Ne anlama gelir?
OpenAI, GPTBot'u her birinin kendi robots.txt token'ı olan birkaç ayrı ajandan biri olarak belgeliyor. GPTBot model eğitimini kapsar. OAI-SearchBot sayfaların ChatGPT arama yanıtlarında görünüp görünemeyeceğini belirler; ChatGPT-User ise bir kullanıcının isteği gerektirdiğinde sayfaları ziyaret eder.
Bu ayarlar birbirinden bağımsızdır: OpenAI'ın kendi örneği, arama sonuçlarında görünmek için OAI-SearchBot'a izin verip GPTBot'u engelleyen bir sitedir. OpenAI, robots.txt değişikliğinin sistemlerine yansımasının yaklaşık 24 saat sürebileceğini belirtiyor.
Neden önemli?
Pek çok site GPTBot'u toptan bir 'yapay zekâya hayır' düğmesi gibi engelledi. Bu, meşru bir tercih olan model eğitiminden çıkmayı sağlar; ancak siteyi ChatGPT aramasından çıkarmaz, ChatGPT'nin markayı anmasını da engellemez. Eğitim kararını arama görünürlüğünden ayrı ve bilinçli olarak verin.
Örnek
'User-agent: GPTBot' ve 'Disallow: /' satırlarından oluşan bir robots.txt grubu, sitenin tamamını model eğitiminden çıkarır. OAI-SearchBot için 'Allow: /' içeren ayrı bir grup ise sayfaların ChatGPT arama yanıtlarında gösterilmeye ve kaynak olarak yer almaya uygun kalmasını sağlar.
Sık yapılan yanlışlar
- GPTBot'u engellemek bir siteyi ChatGPT aramasından çıkarmaz; bunu OAI-SearchBot belirler.
- GPTBot'u engellemek, eğitim için gelecekte yapılacak taramaları ilgilendirir; ChatGPT'nin markanızı bugün nasıl anlattığını tek başına değiştirmez.
- Bir ChatGPT kullanıcısı bir sayfayı sorduğunda o sayfayı çeken ajan GPTBot değil, ChatGPT-User'dır.