Son birkaç haftadır aynı soru farklı ağızlardan geliyor: "robots.txt dosyamda GPTBot'a izin verdim, ama sunucu kayıtlarında ya da test araçlarında GPTBot 403 alıyor. Neden?" Sitesi Cloudflare arkasındaysa cevap neredeyse her zaman aynı yerde çıkıyor. Benim sitem de Cloudflare arkasında çalıştığı için bu ekranlarla epey haşır neşirim, bugün nerede ne olduğunu ve hangi botu neden açık ya da kapalı tutmak isteyebileceğinizi anlatayım.
robots.txt bir rica, Cloudflare ise kapıdaki görevli
Önce kafadaki karışıklığı çözelim. robots.txt, sitenizin kökünde duran ve tarayıcılara "şuralara girme" diyen bir metin dosyası. Uyup uymamak botun insafına kalmış; Cloudflare'in kendi dokümanı da robots.txt yönergelerinin gönüllü olduğunu, tarayıcıların bunları görmezden gelebileceğini açıkça yazıyor.
Cloudflare'in engellemesi ise istek daha sizin sunucunuza ulaşmadan, kenarda (edge) çalışıyor. Bir yapay zekâ tarayıcısını panelden engellediğinizde sistem alan adınızda bir WAF özel kuralı oluşturuyor ya da var olanı güncelliyor. GPTBot kapıya geldiğinde bu kural ona 403 Forbidden dönüyor. robots.txt'de ne yazdığınızın burada hiçbir önemi yok, çünkü bot o noktada sizin dosyanıza değil Cloudflare'in kuralına takılıyor.
Yani tablo şu: robots.txt "girebilirsin" diyor, Cloudflare "giremezsin" diyor ve sözü geçen Cloudflare oluyor.
Engel nereden geliyor olabilir
Benzer durumda olanlar için baktığım yerler şunlar:
- İlk bakılacak yer AI Crawl Control ekranı. Panelde alan adınızı seçip AI Crawl Control bölümüne girin. Tarayıcıların listelendiği sekmede her botun yanında bir Eylemler (Actions) sütunu var, orada İzin ver ya da Engelle seçiliyor. GPTBot'un yanında Engelle duruyorsa 403'ün kaynağı bu. Eskiden bu ürünün adı AI Audit'ti, Ağustos 2025'te AI Crawl Control adını aldı.
- İkincisi yapay zekâ tarayıcı ve ajan erişim politikaları. Güvenlik (Security) altındaki Ayarlar ekranında bot trafiği filtresini seçince "AI Crawler and Agent access policies" diye bir bölüm çıkıyor. Eskiden "Block AI bots" denen ayarın yeni hâli bu. Burada tek tek bot yerine davranışa göre karar veriyorsunuz, aşağıda anlatacağım.
- Elle yazılmış WAF kuralları da olabilir. Bir ara siz ya da siteyi kuran kişi user agent'ta "GPT" geçen istekleri engelleyen bir kural yazmış olabilir. Güvenlik olayları kaydında 403'ü hangi kuralın verdiği görünüyor, en hızlı teşhis oradan.
- Bunun tersi de oluyor: botu engellediniz ama hâlâ geçiyor. Cloudflare dokümanı bu durumda AI Crawl Control kuralını WAF özel kuralları listesinin en üstüne taşımayı, araya giren atlama (skip) ya da yönlendirme kurallarını kontrol etmeyi öneriyor.
Bir not: ücretsiz planda Cloudflare yapay zekâ tarayıcılarını yalnızca user agent bilgisinden tanıyor. Kendini dürüstçe tanıtan bilinen botlar yakalanıyor, kimliğini saklayan bir tarayıcıyı bu planda ayırt edemiyor. Daha ayrıntılı tespit Bot Management olan ücretli planlarda.
Eğitim botu başka, arama botu başka
Asıl karar vermeniz gereken yer burası, çünkü "yapay zekâ botlarını kapatayım" deyip hepsini aynı sepete atınca kendi ayağınıza sıkabiliyorsunuz.
OpenAI'ın kendi dokümanına göre üç ayrı kimliği var:
- GPTBot: üretken yapay zekâ modellerinin eğitiminde kullanılabilecek içerikleri tarıyor. Bunu engellerseniz içeriğiniz model eğitimine girmiyor.
- OAI-SearchBot: ChatGPT'nin arama özelliklerinde siteleri göstermek için tarıyor. Bunu engelleyen siteler ChatGPT arama yanıtlarında gösterilmiyor (en fazla gezinme bağlantısı olarak çıkabiliyor).
- ChatGPT-User: bir kullanıcı ChatGPT içinden bir sayfayı açtırdığında gelen ziyaret. Otomatik tarama yapmıyor ve OpenAI bu ziyaretlerde robots.txt kurallarının geçerli olmayabileceğini söylüyor.
Bu ikisi birbirinden bağımsız. Yani "içeriğim model eğitiminde kullanılmasın ama ChatGPT'de biri benim sektörümü sorduğunda sitem kaynak olarak çıksın" demek mümkün: GPTBot kapalı, OAI-SearchBot açık. Bir işletme sitesi için ben şahsen bu ayrımı önemli buluyorum, çünkü müşteri artık sadece Google'a değil ChatGPT'ye de "Sivas'ta iyi bir diş kliniği" diye soruyor. OpenAI ayrıca robots.txt değişikliğinin arama tarafına yansımasının 24 saat kadar sürebileceğini yazıyor, değişiklik yapınca hemen sonuç beklemeyin.
Cloudflare da 2026'da kendi panelini bu mantığa göre yeniledi. Botlar artık üç davranışa göre gruplanıyor: Arama (Search), Ajan (Agent) ve Eğitim (Training). Her biri için Engelle, yalnızca reklam gösterilen sayfalarda engelle ya da İzin ver seçebiliyorsunuz. Eğitim için bir de "Disallow" seçeneği var, bu engeli kapıda değil robots.txt üzerinden bildiriyor.
Googlebot gibi çift görevli tarayıcılarda dikkat
Burada gözden kaçan bir tuzak var. Bazı tarayıcılar hem arama hem eğitim için çalışıyor. Cloudflare'in Temmuz 2026'daki duyurusunda, Eğitim'i engellemeyi seçen müşterilerde Googlebot, Applebot ve BingBot'un da engelleneceği yazıyordu. 15 Eylül 2026'da gelen "Disallow AI Training" ayarı bu sorunu yumuşatmak için çıktı: Cloudflare'in "Accountable" dediği, kurallara uyan çift amaçlı tarayıcılar arama için açık kalıyor, eğitim tercihiniz robots.txt üzerinden bildiriliyor. Cloudflare Apple, Google ve Microsoft'un bu ayara uyduğunu ya da uymayı taahhüt ettiğini yazıyor. Eğitim tarafında Engelle'yi seçerseniz ise bu tarayıcılar arama dahil tamamen duruyor.
Pratikte şunu söyleyebilirim: Google'da görünmek sizin için önemliyse Eğitim satırında Engelle yerine Disallow seçeneğini kullanın ve kaydettikten sonra Search Console'da tarama istatistiklerine bir göz atın. Google'ın eğitim için ayrı bir kimliği de var: robots.txt'de Google-Extended'a izin vermemek Googlebot'un arama taramasını etkilemiyor.
Pay Per Crawl ve 402 kodu
Bazı sitelerde 403 yerine 402 Payment Required görebilirsiniz. Bu, Cloudflare'in Pay Per Crawl denemesiyle ilgili. Fikir şu: site sahibi yapay zekâ tarayıcısına "içeriğe erişmek istiyorsan ücret öde" diyor, ödeme yapan tarayıcı içeriği alıyor. Temmuz 2025'te kapalı beta olarak başladı ve dokümanlarda hâlâ özel beta olarak geçiyor, yani herkesin panelinde açık bir özellik değil. Ücretli planlarda engelleme yanıtını 403 ya da 402 olarak seçebiliyor, yanıta düz metin bir açıklama da ekleyebiliyorsunuz (örneğin lisans için iletişim adresi). Küçük bir işletme sitesi için bunun bugün pek karşılığı yok, ama 402 görünce şaşırmayın diye yazdım.
Benim önerdiğim düzen
Siteniz bir işletme sitesiyse ve amacınız bulunmaksa bence makul başlangıç şu: arama botlarına açık, ajan botlarına açık, eğitim botları için karar sizin. İçeriğinizin model eğitiminde kullanılmasını istemiyorsanız Eğitim'i Disallow yapın, Engelle'yi değil. Sonra robots.txt dosyanızın Cloudflare'in ayarıyla çelişmediğini kontrol edin; bir yerde izin verip öbür yerde engellemek, bugünkü 403 sorusunun ta kendisi.
Bir de yeni domain açtıysanız varsayılanlara bakın. Cloudflare'in yazdığına göre 15 Eylül 2026'dan sonra eklenen alan adlarında reklam gösteren sitelerde Eğitim için Disallow, Ajan için de "reklamlı sayfalarda engelle" hazır geliyor; reklamsız sitelerde Eğitim açık başlıyor. Siz hiçbir şeye dokunmadığınızı düşünürken panel sizin yerinize bir karar vermiş olabilir.
Sitenizin hem Google hem yapay zekâ aramalarında nasıl göründüğüne birlikte bakmak isterseniz SEO danışmanlığı sayfasından ulaşabilirsiniz. Panelde takıldığınız bir ekran olursa da yorumlara yazın.
Bu yazı hakkında söylemek istedikleriniz için bana yazın.
