Nasıl çalışır
- Kurallarını yapılandır — user-agent'ı seç ve izin verilecek veya engellenecek yolları ekle.
- İsteğe bağlı olarak bir crawl-delay ayarla ve sitemap URL'ni ekle.
- Dosyayı üret, çıktıyı kopyala veya indir.
- Sitenin kök dizinine
robots.txtolarak yükle.
Ne üretir
- User-agent blokları —
*ile tüm tarayıcıları hedefle veya belirli bir botu adlandır. - Disallow kuralları —
/admin/veya/sepet/gibi yolların taranmasını engelle. - Allow kuralları — engellenmiş bir klasör içindeki belirli yolları yeniden aç.
- Crawl-delay — buna uyan botlar için istekler arası isteğe bağlı bir duraklama.
- Sitemap referansı — XML site haritana işaret eden tam bir
Sitemap:satırı. - Temiz biçimlendirme — doğru sıralama ve satır başına bir direktif, dağıtıma hazır.
Yaygın kullanım senaryoları
- Yeni site açılışı — arama motorları taramaya başlamadan önce mantıklı bir robots.txt oluştur.
- Özel alanları engelleme — admin, ödeme veya hazırlık yollarını dizinden uzak tut.
- Tarama bütçesini koruma — botların filtreli veya yinelenen URL'lerde zaman kaybetmesini durdur.
- Sitemap ekleme — tarayıcıların site haritanı otomatik keşfedebilmesini sağla.
Örnek
Admin alanını engelleyip diğer her şeye izin vermek ve bir sitemap bildirmek için araç şunu üretir: User-agent: * — doğrudan kök dosyana kopyala.
Disallow: /admin/
Allow: /
Sitemap: https://ornek.com/sitemap.xml
Sıkça sorulan sorular
Robots.txt Oluşturucu ücretsiz mi?
Evet — tamamen ücretsiz, kayıt ve sınır yok. Tarayıcında çalışır ve girdini asla saklamaz.
Dosyayı nereye koyarım?
Alan adının kökünde, https://ornek.com/robots.txt adresinde bulunmalıdır. Yükledikten sonra kuralların istendiği gibi davrandığını Robots.txt Test Aracı ile doğrula ve site haritanın çözümlendiğini Sitemap Bulucu & Doğrulayıcı ile kontrol et.
Yanlış bir kural SEO'ma zarar verebilir mi?
Evet — yanlış bir Disallow: / tüm sitenin taranmasını engelleyebilir. Dağıtmadan önce her zaman iki kez kontrol et. robots.txt rehberimiz her direktifi ve yaygın tuzakları ayrıntılı olarak açıklar.