Robots.txt Test Aracı

Nasıl çalışır

1. Bir alan adı veya tam URL gir (örneğin https://example.com).
2. Araç, o sunucudan /robots.txt dosyasını tam bir tarayıcı gibi ister ve ham yanıtı okur.
3. Dosyayı satır satır ayrıştırır, yönergeleri her User-agent bloğu altında gruplar.
4. Her kuralın temiz, yapılandırılmış bir dökümünü, HTTP durumunu ve bulunan sitemap URL'lerini alırsın.

Neleri gösterir

• HTTP durumu — dosyanın var olup olmadığı (200), eksik (404) ya da hatalı oluşu.
• User-agent blokları — * joker karakteri dahil, her tarayıcıya göre gruplanmış kurallar.
• Disallow kuralları — her tarayıcıya çekmemesi söylenen tam yollar.
• Allow kuralları — daha geniş bir Disallow'u geçersiz kılan açık istisnalar.
• Crawl-delay — bir tarayıcıdan uyması istenen kısıtlama yönergesi.
• Sitemap bildirimleri — her Sitemap: satırı ve URL'si.
• Ham dosya — başıboş karakterleri görebilmen için değiştirilmemiş kaynak.

Yaygın kullanım senaryoları

• Kazara engellemeleri yakalama — bir Disallow: / tüm siteni gizlemediğinden emin ol.
• Yayın öncesi kontrol — canlıya geçmeden önce bir staging engelinin kaldırıldığını doğrula.
• Sitemap keşfi — bir sitenin tarayıcılara duyurduğu sitemap URL'lerini bul.
• Rakipleri denetleme — bir rakibin indeksten hangi bölümleri tuttuğunu gör.

Örnek

Aracı bir mağazada çalıştır; /cart/ ve /checkout/ yollarını yasaklayan bir User-agent: * bloğu, açık bir Allow: /cart/info istisnası ve bir Sitemap: https://example.com/sitemap.xml satırı görebilirsin — doğru sayfaların engellendiğini, ürünlerin taranabilir kaldığını doğrular.

Sıkça sorulan sorular

Robots.txt Test Aracı ücretsiz mi?

Evet — tamamen ücretsiz, kayıt ve limit yok. İstediğin kadar alan adı test et.

Robots.txt bir sayfanın indekslenmesini durdurur mu?

Tek başına hayır. Bir Disallow yalnızca taramayı durdurur; engellenen bir URL, başka sayfalar ona link verirse yine de sonuçlarda görünebilir. Bir sayfayı indeks dışında tutmak için noindex etiketi kullan — etiketleri Meta Etiket Analizcisi ile kontrol et — ve robots.txt rehberimizi oku.

Bu, robots.txt oluşturmaktan nasıl farklı?

Bu araç canlı bir dosyayı okur ve doğrular. Sıfırdan yeni bir dosya oluşturmak için Robots.txt Oluşturucu kullan, sonra referans verdiği sitemap'i Sitemap Bulucu & Doğrulayıcı ile doğrula.