İçeriğe atla
loopcode

Tüm yazılar

Tarama bütçesi ve log analizi: botun ne yaptığını görmek

Google sitenizin her sayfasını taramaz. Hangilerini taradığını sunucu günlükleri dışında hiçbir yerden öğrenemezsiniz.

Tarama bütçesi, arama motorunun belirli bir sürede sitenizde taramaya istekli olduğu sayfa sayısıdır. İki şeyden oluşur: sunucunuzun kaldırabileceği yük ve motorun sitenize duyduğu ilgi.

Kimin için sorun?

Birkaç yüz sayfalık bir sitede tarama bütçesi sorun değildir. Şu durumlarda sorun olur:

  • On binlerce sayfalı e-ticaret siteleri
  • Filtre kombinasyonlarıyla URL üreten yapılar
  • İçeriği çok sık değişen haber ve ilan siteleri
  • Sunucusu yavaş olan siteler

Bütçeyi tüketen şeyler

  1. Parametreli URL’ler. Sıralama, filtre, oturum kimliği parametreleri sonsuz varyasyon üretir.
  2. Yönlendirme zincirleri. Her adım ayrı bir tarama isteğidir.
  3. Yumuşak 404’ler. "Ürün bulunamadı" diyen ama 200 dönen sayfalar.
  4. Yinelenen içerik. Aynı içeriğin beş farklı URL’den erişilmesi.
  5. Düşük değerli sayfalar. Etiket arşivleri, boş kategori sayfaları, yazdırma sürümleri.

Log analizi neyi gösterir

Sunucu günlükleri, arama motoru botlarının gerçekte ne yaptığını gösteren tek kaynaktır. Search Console özet verir; günlükler ham gerçeği verir.

Bakılacak sorular:

  • Bot en çok hangi sayfaları tarıyor? En değerli sayfalarınız listede mi?
  • Tarama isteklerinin yüzde kaçı 200 dışında bir kod alıyor?
  • Parametreli URL’ler toplam taramanın ne kadarını yiyor?
  • Önemli sayfalarınız en son ne zaman tarandı?
  • Yapay zekâ tarayıcıları (GPTBot, PerplexityBot) hangi sayfaları çekiyor?

Basit bir başlangıç

Apache veya nginx erişim günlüğünden Googlebot satırlarını süzüp en çok taranan yolları saymak, çoğu sorunu ortaya çıkarır. Karmaşık araca gerek yok; birkaç satırlık bir komut yeterli.

Bütçeyi iyileştirme

  • Değersiz URL desenlerini robots.txt ile taramadan çıkarın
  • Yönlendirme zincirlerini tek adıma indirin
  • Site haritasını yalnızca indekslenebilir, 200 dönen URL’lerle sınırlayın
  • Sunucu yanıt süresini düşürün — hızlı site daha çok taranır
  • Önemli sayfalara iç bağlantı sayısını artırın

Yanlış anlaşılan nokta

Tarama bütçesini artırmak sıralamayı yükseltmez. Amaç, mevcut bütçenin doğru sayfalara harcanmasıdır. Botun günde bin sayfa taraması, o bin sayfa filtre kombinasyonuysa hiçbir işe yaramaz.