Üyelik Yok Sınırsız Kullanım Gerçek Veri %100 Ücretsiz Gizlilik Önce Hızlı Sonuç Rapor İndir Mobil Uyumlu

AI Tarayıcı Erişim Denetimi

GPTBot, OAI-SearchBot, ChatGPT-User, ClaudeBot, PerplexityBot ve 12 AI botunun daha bir sayfaya erişip erişemediğini kontrol eder: satır numarasıyla robots.txt kuralı, her botun gerçek User-Agent’ıyla canlı istek, WAF engeli tespiti ve kopyalanabilir robots.txt şablonları.

Canlı veri alınıyor…

Kısa cevap

AI Tarayıcı Erişim Denetimi, ChatGPT, Claude, Perplexity ve diğer yapay zekâ hizmetlerinin botlarının bir sayfaya ulaşıp ulaşamadığını test eder. Her bot için iki katmana bakar: canlı robots.txt dosyanızın ne söylediğine ve sunucunuzun o botun gerçek User-Agent değeriyle gelen isteğe nasıl yanıt verdiğine. Hangi kuralın veya yanıtın hangi botu neden engellediğini açıkça görürsünüz.

Nasıl çalışır

  1. Bir sayfa adresi girin, örneğin https://ornek.com/fiyatlar.
  2. Araç canlı robots.txt dosyanızı indirir ve her bot için RFC 9309 kurallarına göre değerlendirir: en özel user-agent grubu geçerlidir, en uzun eşleşen kural kazanır, eşitlikte Allow kazanır, * ve $ joker karakterleri dikkate alınır.
  3. Gerçek tarayıcı olan botlar için sayfayı o botun User-Agent değeriyle, beşer beşer ister ve her yanıtı normal bir tarayıcı isteğiyle karşılaştırır.
  4. Sonuçta bir puan kartı, bot bot ayrıntılı bir tablo ve kopyalanmaya hazır üç robots.txt şablonu alırsınız.

Ne kontrol eder

  • Bot başına robots.txt kuralı — izin verildi mi, engellendi mi; gerekçesi ve kararı veren kuralın satır numarasıyla birlikte. Dosya yoksa (404) her şeye izin verilmiş sayılır; sunucu hatası (5xx) ise her şeyin engellendiği anlamına gelir.
  • Bot başına sunucu yanıtı — sunucunuzun her tarayıcının User-Agent değerine döndürdüğü HTTP durum kodu, normal bir tarayıcının aldığı kodun yanında.
  • WAF ve bot doğrulama sayfaları — içeriğiniz yerine sunulan cf-mitigated başlığı, "Just a moment", "Attention Required" veya captcha sayfalarını tespit eder.
  • OpenAI — GPTBot (eğitim), OAI-SearchBot (arama) ve ChatGPT-User (kullanıcı isteği).
  • Anthropic — ClaudeBot (eğitim), Claude-SearchBot (arama) ve Claude-User (kullanıcı isteği).
  • Perplexity — PerplexityBot (arama) ve Perplexity-User (kullanıcı isteği).
  • Kontrol belirteçleri — Google-Extended ve Applebot-Extended tarayıcı değildir; bu yüzden yalnızca robots.txt kuralları kontrol edilir.
  • Diğer AI botları — CCBot, Bytespider, Amazonbot, Meta-ExternalAgent, DuckAssistBot, MistralAI-User ve cohere-ai.
  • noai sinyalleri — meta robots etiketinde veya X-Robots-Tag başlığında noai ve noimageai değerleri.

Neden önemlidir

Yapay zekâ asistanları sayfaları farklı amaçlarla çeker. Eğitim botları gelecekteki modeller için metin toplar; arama botları asistanın yanıt verirken kullandığı dizini oluşturur; kullanıcı isteği botları ise biri o anda sayfanızı sorduğu için sayfayı açar. Arama veya kullanıcı isteği botlarını engellemek sayfalarınızı bu yanıtların dışında bırakabilir; eğitim botlarını engellemek ise birçok yayıncının tercih ettiği meşru bir seçimdir. Sorun şu ki iki katman birbiriyle çelişebilir: robots.txt bir bota izin verirken bir güvenlik duvarı kuralı ona sessizce 403 veya doğrulama sayfası gösterebilir.

Puan da bu ayrımı yansıtır: arama ve kullanıcı isteği botlarından iki katmanı birden geçenlerin oranı × 100. Eğitim botları tabloda görünür ama puana katılmaz. Bu, AI aramada erişilebilirlik için kendi ölçütümüzdür; OpenAI, Anthropic, Perplexity veya Google'ın yayımladığı bir kural değildir ve yüksek puan, herhangi bir asistanın sizi kaynak göstereceği anlamına gelmez.

Yaygın sorunlar nasıl düzeltilir

robots.txt içinde yanlışlıkla engelleme. Tablodaki satır numarasıyla kuralı bulun. Geniş bir User-agent: * ve Disallow: / kombinasyonu, kendine ait grubu olmayan tüm AI botlarını yakalar. İstediğiniz botlar için ayrı bir grup ekleyin ya da arama ve kullanıcı isteği botlarına izin verip eğitim botlarını engelleyen "AI aramada görün, eğitimden çık" şablonundan başlayın. "Hepsine izin ver" ve "Hepsini engelle" şablonları diğer iki tercihi karşılar. Düzenlenen dosyayı Robots.txt Test Aracı ile test edin; sıfırdan oluşturmak için Robots.txt Oluşturucu aracını kullanın.

robots izin veriyor, sunucu engelliyor. Sunucu sütununda 403, 429 veya doğrulama sayfası görünürken tarayıcı isteği 200 dönüyorsa CDN veya güvenlik duvarınızdaki bot ayarlarını inceleyin ve size ulaşmasını istediğiniz AI tarayıcılarına izin verin.

İçerik okunamıyor. AI tarayıcılarının çoğu JavaScript çalıştırmaz; metninizin ham HTML'de olduğunu JavaScript Render Denetimi ile doğrulayın ve önemli sayfalarınızı llms.txt Doğrulayıcı ile kontrol ettiğiniz bir llms.txt dosyasında listeleyin.

Sıkça sorulan sorular

Bu araç IP tabanlı engellemeyi tespit edebilir mi?

Hayır. İsteklerimiz botların yayımlanmış IP aralıklarından değil, kendi sunucumuzun IP adresinden ve her botun User-Agent değeriyle gönderilir. Yalnızca bu IP aralıklarını engelleyen bir güvenlik duvarı bizim testimizi geçirirken gerçek botu engellemeye devam edebilir.

Eğitim botları neden puana dahil değil?

GPTBot veya ClaudeBot gibi eğitim botlarını engellemek meşru bir tercihtir ve arama ile kullanıcı isteği botlarının size ulaşmasını etkilemek zorunda değildir. Tablo yine de durumlarını gösterir; böylece eğitimden çıkma tercihinizin çalıştığını doğrulayabilirsiniz.

Arama botu ile kullanıcı isteği botu arasındaki fark nedir?

OAI-SearchBot gibi arama botları, asistanın arama dizini için sayfaları önceden tarar. ChatGPT-User veya Claude-User gibi kullanıcı isteği botları ise bir kişi asistana sayfayı sorduğunda sayfayı anlık olarak açar. Her şirket botlarını belgeler; örneğin OpenAI tarayıcı belgeleri.

Google-Extended ve Applebot-Extended neden istenmiyor?

Bunlar tarayıcı değil, kontrol belirteçleridir. Google ve Apple, normal botlarının taradığı içeriğin AI özelliklerinde nasıl kullanılabileceğine karar vermek için bu belirteçlerin robots.txt kuralını okur. Sayfanızı isteyen ayrı bir bot olmadığından yalnızca kural kontrol edilir.

404 dönen bir robots.txt AI tarayıcılarını engeller mi?

Hayır. RFC 9309'a göre bulunamayan bir robots.txt (404), tarayıcıların her şeyi çekebileceği anlamına gelir. Sunucu hatası (5xx) ise tersidir: dosya yeniden yüklenene kadar tüm site engellenmiş sayılmalıdır. Bu yüzden kararsız çalışan bir robots.txt, izin vermek istediğiniz botları da engelleyebilir.

AI Tarayıcı Erişim Denetimi ücretsiz mi?

Evet, ücretsiz olarak kullanabilirsiniz; rapor bot tablosunu ve kopyalanabilir şablonları içerir. Bir sayfanın yapay zekâya ne kadar hazır olduğuna daha geniş açıdan bakmak için AI Görünürlük Denetimi aracını deneyin.

AI Tarayıcı Erişim Denetimi kimin işine yarar?

İlgili araçlar

JavaScript Render Denetimi

JavaScript çalıştırmayan AI tarayıcılarının bir sayfadan ne aldığını gösterir: ham HTML ile headless Chromium render’ını alan alan karşılaştırır (title, canonical, robots, başlıklar, kelime, link, JSON-LD, hreflang), JS bağımlılık yüzdesini, yalnızca render sonrası görünen metni ve SSR/prerender düzeltmelerini verir.

Aracı aç →

AI Prompt Dostu İçerik Denetimi

İçeriğinizin insanların yapay zekâ sohbet botlarına yazdığı prompt’ları ne kadar iyi yanıtladığını kontrol eder. Prompt uyumunu — doğrudan yanıtlar, bağımsız bağlam, tanımlar, adımlar ve karşılaştırmalar — puanlar; böylece ChatGPT ve Perplexity sayfanızdan tam bir yanıt çıkarabilir.

Aracı aç →

Konu Otoritesi Haritası

Sitenizin bir konuyu ne kadar tam kapsadığını — Google’ın ve yapay zekânın konu otoritesini değerlendirdiği şekilde — haritalar. İç bağlantılarınızı, başlıklarınızı ve H etiketlerinizi tarar, insanların arattığı gerçek alt başlıklarla karşılaştırır; kapsadığınız alt başlıkları ve daha güçlü bir konu kümesi için oluşturmanız gereken içerik boşluklarını gösterir.

Aracı aç →

AI SSS Optimizasyonu

İçeriğinizi yapay zekâya hazır SSS’lere dönüştürür. Mevcut soruları tespit eder, yanıtlamanız gereken yüksek niyetli soruları önerir, yanıtlarınızı snippet uygunluğu için puanlar ve kopyala-yapıştır FAQPage JSON-LD schema üretir. Metin yapıştırın veya URL girin.

Aracı aç →

Varlık Çıkarıcı

Bir sayfanın içerdiği adlandırılmış varlıkları (kişi, kuruluş, yer, kavram) — yapay zekânın ve Google Bilgi Grafiği’nin okuduğu şekilde — çıkarır. Her varlığı bahis sayısı ve tür tahminiyle listeler, varlık zenginliğini ve çeşitliliğini puanlar, schema işaretlemesinin varlıklarınızı nerede daha net tanımlayacağını gösterir. Metin yapıştırın veya URL girin.

Aracı aç →

AI İçerik Skoru

İçeriğin yapay zekâ odaklı aramada ne kadar iyi performans gösterdiğine dair tek bir 0–100 kalite puanı. Okunabilirlik, yapı, yanıt dostuluğu, derinlik, özgünlük sinyalleri ve E-E-A-T’yi tek bir notta birleştirir ve öncelikli iyileştirme listesi verir. Metin yapıştırın veya URL girin.

Aracı aç →