Crawl Budget

Crawl budget, arama motorunun bir siteyi taramaya ayırdığı kapasite ve isteği anlatmak için kullanılan kavramdır. Özellikle çok büyük veya çok sayıda gereksiz URL üreten sitelerde önem kazanır. Küçük bir kurumsal sitedeki her görünürlük problemini tarama bütçesine bağlamak doğru değildir.

Hangi durumlarda incelenir?

Filtre kombinasyonları, takvim sayfaları veya parametreler çok sayıda benzer adres üretebilir. Sunucu hataları ve yavaş yanıtlar da taramayı zorlaştırabilir. Önemli sayfaların keşfi gecikiyorsa önce site yapısı, erişim ve gereksiz URL üretimi kontrol edilir.

Örnek

Bir mağazada renk, beden, fiyat sıralaması ve sayfalama her kombinasyonda yeni adres oluşturuyorsa URL sayısı ürün sayısından çok daha hızlı büyüyebilir. Hangi filtre sayfalarının gerçekten arama ihtiyacı karşıladığı belirlenmelidir. Hepsini aynı anda engellemek yerine içerik ve teknik yapı birlikte değerlendirilir.

Nasıl yaklaşılır?

Önemli sayfalara açık iç bağlantılar verilir. Site haritası uygun adresleri içerir. Bozuk yönlendirmeler ve gereksiz çoğaltmalar azaltılır. Robots kuralları dikkatle hazırlanır; noindex görülmesi gereken sayfaların taramasını engellemek çelişkili bir kurgu oluşturabilir.

Yanlış yorum

Tarama sayısının artması tek başına başarı değildir. Amaç arama motorunun daha fazla istek yapması değil, değerli sayfaları doğru biçimde keşfedebilmesidir. İçerik kalitesi ve dizine alınma değerlendirmesi ayrıca ele alınır.

Robots.txt, sitemap ve canonical farklı görevler üstlenir. Bu araçların birlikte kullanımını SEO rehberinde inceleyebilirsiniz.