Ne anlama gelir?
Operatörler farklı amaçlar için farklı adlar (token) belgeliyor. OpenAI eğitim için GPTBot'u, ChatGPT araması için OAI-SearchBot'u kullanıyor; Perplexity arama için PerplexityBot'u kullanıyor; Anthropic ise ClaudeBot ile Claude-SearchBot'u ayırıyor. Google-Extended ve Applebot-Extended gibi bazı adlar, kendi başına tarama yapmayan, yalnızca kontrol amaçlı token'lardır.
ChatGPT-User ve Perplexity-User gibi kullanıcı tetiklemeli ajanlar, bir kişi istediği için sayfayı ziyaret eder; operatörleri bu ziyaretlerde robots.txt'in geçerli olmayabileceğini söylüyor. CDN ve güvenlik duvarı bot kuralları da bir tarayıcıyı daha robots.txt'i okumadan engelleyebilir.
Neden önemli?
Yanlış token'ı engellemek, eğitimi hiç etkilemeden bir siteyi yapay zekâ arama yanıtlarından çıkarabilir ya da tam tersini yapabilir. Eğitime izin verip vermeyeceğinize ve kaynak gösterilebilir olmak isteyip istemediğinize ayrı ayrı karar verin; ardından robots.txt ile CDN ayarlarının aynı şeyi söylediğini kontrol edin.
Örnek
Bir SaaS şirketinin robots.txt dosyası, ikisi de eğitim botu gibi göründüğü için GPTBot ile OAI-SearchBot'u aynı grupta engelliyor. Şirket istediği gibi OpenAI'ın model eğitiminin dışında kalıyor, ama ChatGPT arama yanıtlarının da dışına çıkmış oluyor. Grubu ikiye ayırmak, eğitim tercihini korurken arama erişimini geri getiriyor.
Sık yapılan yanlışlar
- Eğitim tarayıcılarını engellemek bir siteyi yapay zekâ arama yanıtlarından çıkarmaz; arama tarayıcıları ayrıdır.
- robots.txt bir erişim denetimi değil, bir taleptir; kullanıcı tetiklemeli ajanlar ona uymayabilir.
- Taranabilir olmak önerilmek demek değildir; bu, hedef değil başlangıç şartıdır.