Yapay zekâ şirketleri web’i iki farklı amaçla tarıyor: model eğitmek ve kullanıcının sorusuna anlık cevap üretmek. Bu ikisini ayırmak, içerik sahibi için kritik bir karar.
Tarayıcıları tanıyın
- GPTBot — OpenAI, model eğitimi
- OAI-SearchBot — OpenAI, ChatGPT arama sonuçları için
- ClaudeBot — Anthropic
- PerplexityBot — Perplexity, anlık yanıt
- Google-Extended — Google’ın yapay zekâ eğitimi; normal aramayı etkilemez
- CCBot — Common Crawl, birçok modelin veri kaynağı
Önemli ayrım: Google-Extended’i engellemek arama sıralamanızı etkilemez ama AI Overviews’ta kullanılmanızı sınırlar. Googlebot’u engellemek ise sizi aramadan tamamen çıkarır.
Karar çerçevesi
Üç senaryo:
- Görünürlük istiyorum: arama ve yanıt tarayıcılarını açın. Çoğu işletme için doğru olan bu.
- Eğitim verisi olmak istemiyorum ama yanıtlarda çıkmak istiyorum: eğitim botlarını engelleyin, arama botlarını açın.
- İçeriğim ücretli/özel: hepsini engelleyin ve teknik erişim kontrolüyle destekleyin.
robots.txt örneği (ikinci senaryo)
User-agent: GPTBot
Disallow: /
User-agent: CCBot
Disallow: /
User-agent: OAI-SearchBot
Allow: /
User-agent: PerplexityBot
Allow: /llms.txt nedir?
llms.txt, sitenin kökünde duran ve dil modellerine sitenizin yapısını özetleyen bir Markdown dosyasıdır. robots.txt "nereye girebilirsin" der; llms.txt "burada ne var" der.
Tipik içeriği: sitenin ne yaptığı, en önemli sayfaların listesi ve kısa açıklamaları, dokümantasyon bağlantıları.
Dürüst olmak gerekirse: bu bir öneri standardıdır, henüz büyük sağlayıcılar tarafından resmen desteklenmiyor. Maliyeti düşük olduğu için eklemek mantıklı, ama sihirli bir etki beklemeyin.
Engellemek işe yarıyor mu?
Saygılı tarayıcılar robots.txt’ye uyar. Uymayanlar da var. Gerçekten korumanız gereken içerik varsa, kimlik doğrulamanın arkasına koyun — robots dosyası bir kilit değil, bir tabeladır.
Ölçüm
Sunucu günlüklerinizde bu botların isteklerini sayın. Hangi sayfaları çektiklerini görmek, GEO çalışmanızın en somut geri bildirimidir. Bir sayfa hiç çekilmiyorsa, yanıtlarda görünmesi de beklenmez.