Ne anlama gelir?
OAI-SearchBot, OpenAI'ın eğitim tarayıcısı GPTBot'tan ve bir kullanıcının isteği üzerine sayfa çeken ChatGPT-User'dan ayrıdır. OAI-SearchBot'a izin vermek, sitenin sayfalarının ChatGPT arama yanıtlarında gösterilebileceğine ve kaynak olarak kullanılabileceğine dair robots.txt sinyalidir.
OpenAI, robots.txt değişikliklerinin yansımasının yaklaşık 24 saat sürebileceğini belirtiyor. Botu engelleyen CDN veya güvenlik duvarı kuralları, robots.txt izin verse bile pratikte engellemeyle aynı sonucu doğurur.
Neden önemli?
Alıcılar ChatGPT'de araştırma yaparken kaynak gösterilmek isteyen B2B markalar için asıl önemli olan, OAI-SearchBot'un siteye erişebilmesidir. Yalnızca model eğitiminden çıkmak isteyen ekipler bu botu GPTBot ile birlikte sıklıkla yanlışlıkla engelliyor.
Örnek
Bir siber güvenlik şirketi, araştırma raporlarının ChatGPT yanıtlarında kaynak gösterilmesini ama model eğitiminin dışında kalmasını istiyor. robots.txt dosyası GPTBot'u engelliyor ve OAI-SearchBot'a izin veriyor; CDN bot kuralları da arama tarayıcısı doğrulama ekranına takılmayacak şekilde güncelleniyor.
Sık yapılan yanlışlar
- OAI-SearchBot'a izin vermek kaynak gösterimini veya öneriyi garanti etmez; yalnızca sayfaları buna uygun hâle getirir.
- OAI-SearchBot'u engellemek model eğitiminden çıkmanın yolu değildir; eğitimi GPTBot kontrol eder.
- Engellenen bir site yine gezinme bağlantısı olarak görünebildiği için kaynaklar arasında yer almadığını fark etmek kolay değildir.