Robots.txt

Robots.txt, sitenin kök dizininde bulunan ve uyumlu tarayıcılara hangi yolları tarayabileceklerini bildiren metin dosyasıdır. Tarama yönetimi aracıdır. Özel bilgileri koruyan bir erişim kontrolü veya arama sonuçlarından kaldırmanın genel yöntemi değildir.

Noindex ile farkı nedir?

Noindex, sayfanın arama sonuçlarına alınmamasını belirtir. Arama motorunun bu işareti görebilmesi için sayfaya erişebilmesi gerekir. Aynı sayfayı robots.txt ile engellemek işaretin okunmasını önleyebilir. Google'ın robots.txt açıklaması, engellenen bir URL'nin bazı koşullarda içerik taranmadan sonuçlarda görünebileceğini belirtir.

Örnek uygulama

Bir test sitesinin görünmesini istemiyorsanız yalnızca Disallow kuralı eklemek yeterli yaklaşım değildir. Erişim koruması veya uygun noindex düzeni düşünülür. Canlıya geçişte bu ayarların bilinçli olarak gözden geçirilmesi gerekir. Testten kalan engeller önemli sayfaların taranmasını durdurabilir.

Nasıl kontrol edilir?

/robots.txt adresi doğrudan açılır. Kuralların doğru alan adında bulunduğu, beklenen yolları etkilediği ve gerekli kaynakları yanlışlıkla engellemediği incelenir. Büyük değişikliklerde önce örnek URL'ler üzerinden etki kontrolü yapılmalıdır.

Sık yapılan hata

CSS ve JavaScript kaynaklarını gereksiz yere engellemek sayfanın yorumlanmasını zorlaştırabilir. Ayrıca robots dosyası herkes tarafından okunabilir; gizli yönetim yolu saklamak için uygun değildir. Güvenlik, sunucu ve uygulama erişim kontrolleriyle sağlanır.

Crawl budget tarama yönetiminin bağlamını, sitemap keşif tarafını açıklar. Teknik denetim için SEO rehberine bakabilirsiniz.