SEO'ya yeni başlayanlar için Robots.txt Test Aracı

SEO'ya yeni başlayanlar neden buna ihtiyaç duyar?

Siteniz için Google'da site: araması yaptınız ve karşınıza hiçbir sonuç çıkmadı. İlk tepkiniz içeriği suçlamak, başlıkları baştan yazmak olabilir. Oysa Google'ın bir sayfayı dizine ekleyebilmesi için önce ona ulaşabilmesi gerekir ve bu kapıyı tek bir satır kapatabilir: Disallow: /. Yeni başlayanlar sonucun hemen görünmesini bekler, ama değişikliklerin yansıması saatlerden aylara kadar sürebilir; bu yüzden bekleme süresiyle gerçek bir engeli birbirinden ayırmak gerekir. Robots.txt Test Aracı siteniz için robots.txt dosyasını canlı olarak çeker, kuralları User-agent bloklarına göre dizer ve baktığınız yolların Googlebot, Googlebot-Image ve Bingbot için taranabilir olup olmadığını, kararı veren satırla birlikte gösterir. Böylece "içerik mi kötü, yoksa kapı mı kapalı?" sorusunun ilk yarısını on dakikada cevaplarsınız. Önce site: aramasında ne gördüğünüzü not edin, sonra aracı çalıştırın; böylece tahmin yürütmek yerine tek bir somut kanıta bakarsınız. Araç yalnızca robots.txt dosyasını okur; sayfanın dizinde olup olmadığını, noindex etiketi taşıyıp taşımadığını ya da sıralamasını söylemez. Yeni bir siteyse Google henüz sizi keşfetmemiş de olabilir; bu durumda robots.txt temiz çıkar ve çözüm beklemek ya da sitemap göndermektir.

SEO'ya yeni başlayanlar için rehber

Önce hangi adresi gireceğinizi seçin

Alan adınızı https://siteniz.com biçiminde girin ve altındaki kutuya sorundan şüphelendiğiniz yolları satır satır ekleyin: bir yazı için /blog/ilk-yazim/, bir kategori için /kategori/seo/, bir ürün için /urun/mavi-canta/ gibi. Üst sınır 20 yoldur; yeni başlıyorsanız ana sayfa ve bir yazıyla iki ya da üç yol denemek yeterlidir. Araç tam olarak girdiğiniz hostun robots.txt dosyasını okur; www.siteniz.com ile staging.siteniz.com iki ayrı çalıştırmadır ve ikisini ayrı ayrı denemek size düşer. Önce Google'da site:siteniz.com araması yapıp ne gördüğünüzü not edin, sonra aracı çalıştırın; iki bilgiyi yan yana koymak işinizi kolaylaştırır. Bu adım sitenizin dizinde olduğunu ya da olmadığını kanıtlamaz, yalnızca hangi adrese bakacağınızı netleştirir.

Sonucu hangi sırayla okuyun

Önce Özet bölümündeki HTTP durumuna bakın. 404 ise dosya yoktur ve tarayıcılar varsayılan olarak serbesttir; 5xx ise Google dosyaya ulaşılana kadar hiçbir şeyi taramamayı seçer, yani sorun sunucudadır. 200 görüyorsanız URL testi tablosuna geçin. Her yol için Tarama sütununda İzinli ya da Engelli yazar, Belirleyen kural ise satır numarasını gösterir. Eşleşmede en uzun kalıp kazanır, eşitlikte Allow kazanır; Disallow: /blog/ olsa bile daha uzun bir Allow: /blog/ilk-yazim/ o yazıyı açık bırakır. Googlebot-Image satırı görselleriniz içindir; yazınız İzinli olsa bile görsel klasörü kapalı olabilir. Googlebot için Engelli görüyorsanız o satır sorunun kaynağıdır. Hepsi İzinli ise robots.txt aklanmış olur, ama sayfanın dizinde olduğu anlamına gelmez.

Engel bulursanız düzeltme sırası

Engelleyen satırı ve numarasını not edin, sonra dosyanın nereden geldiğini bulun. Kök dizinde düz bir metin dosyasıysa barındırma panelinizin dosya yöneticisinden açıp o satırı silin ya da daraltın; bir eklenti veya site oluşturucu üretiyorsa ayarı orada arayın ve dosyayı elle düzenlemeye çalışmayın. Kaydettikten sonra aracı aynı yollarla yeniden çalıştırın ve İzinli sonucunu görün. Sitemap satırı varsa Özet'teki Bildirilen sitemap'ler bölümünde göründüğünden emin olun. Ardından sayfanın kendi robots etiketine Meta Tag Analyzer ile, dizin durumuna ise Search Console'daki URL denetimi ile bakın. Sırayı atlamayın: önce kaynak, sonra düzeltme, en son doğrulama. Düzeltmeden sonra Google'ın sayfayı yeniden taraması günler ya da haftalar alabilir; aracın İzinli demesi dizine girileceğinin sözü değildir.

Bu aracın söylemediği şeyler

• Sayfanın dizinde olup olmadığını göstermez; bunun için Search Console'daki URL denetimi ve site: araması gerekir.
• Meta robots ya da X-Robots-Tag görmez, bu yüzden İzinli çıkan bir sayfa yine de noindex olabilir; sayfa etiketi için Meta Tag Analyzer'ı kullanın.
• Parola koruması, güvenlik duvarı ya da CDN'in bot engelini göremez; yalnızca dosyanın ne istediğini okur.
• Dosyayı düzenlemez, canlı ile staging sürümünü karşılaştırmaz ve değişiklikleri izlemez.

Örnek senaryolar

Sık yapılan hatalar

• Engelli ile dizinden silinmiş aynı sanılıyor. Disallow bir sayfanın taranmasını engeller, dizinden kaldırmaz; sayfa başka yerden link aldıysa ya da önceden dizindeyse yine görünebilir.
• Yanlış hostu test etmek. www'lu ve www'suz adres ya da staging alt alan adı ayrı robots.txt dosyalarına sahip olabilir; hangisinin Google'da aradığınız site olduğunu bilmeden sonuç yorumlamayın.
• Sonuç bekleme süresi atlanıyor. Engeli kaldırdıktan bir gün sonra site: araması yapıp hâlâ sonuç yoksa pes etmek erkendir; Google'ın yeniden taraması zaman alır.
• Her sorunu robots.txt'e yüklemek. Dosya temiz çıkınca aramayı bırakmayın; sayfa noindex olabilir, çok yeni olabilir ya da Google henüz bulmamış olabilir.

Sık sorulan sorular

Sitem Google'da çıkmıyor, robots.txt yüzünden olabilir mi?

Olabilir. Dosyada Googlebot'u kapsayan bir Disallow: / varsa Google sayfalarınızı tarayamaz. Robots.txt Test Aracı'na alan adınızı ve birkaç yol girerseniz Googlebot için İzinli mi Engelli mi olduğunu ve kararı veren satırı görürsünüz. İzinli çıkıyorsa robots.txt sorun değildir; site yeni olabilir, sayfalarda noindex bulunabilir ya da Google sizi henüz keşfetmemiş olabilir. Bu aracın cevabı yalnızca ilk eleme içindir.

Robots.txt dosyam yoksa Google siteme gelmez mi?

Gelir. Dosya yoksa ve sunucu 404 dönüyorsa tarayıcılar her şeyi taramakta serbest kabul edilir; araç da bunu tek satırlık bir raporla gösterir. Dosyasız site tek başına sorun sayılmaz. Ancak sunucu 5xx hatası veriyorsa durum farklıdır: Google dosyaya ulaşılana kadar siteyi taramamayı seçer. O yüzden önce Özet'teki HTTP durumuna bakın, sonra gerekirse barındırma sağlayıcınıza yazın.

Robots.txt'te Disallow varsa sayfam indekslenmez mi?

Tek başına garanti değil. Disallow Google'a sayfayı taramamasını söyler, dizinden silmez. Sayfa daha önce dizine girdiyse ya da başka sitelerden link aldıysa listede görünmeye devam edebilir. Bir sayfayı aramadan kaldırmak istiyorsanız noindex etiketi gerekir; ama o etiketin okunması için sayfanın taranabilir olması lazım. Etiketi Meta Tag Analyzer ile kontrol edin.

Engeli kaldırdım, Google siteme ne zaman gelir?

Kesin bir süre yok. Google'ın belgelerine göre değişikliklerin yansıması birkaç saatten birkaç aya kadar sürebilir. Dosyayı düzelttikten sonra aracı yeniden çalıştırıp İzinli gördüğünüzden emin olun, sonra Search Console'da sitemap'inizi gönderin ve birkaç hafta bekleyin. Hemen sonuç görmemeniz, düzeltmenin işe yaramadığı anlamına gelmez; yalnızca Google'ın henüz yeniden gelmediğini gösterir. Bu arada site: aramasını her gün tekrarlamak yerine haftada bir bakmanız ve tarihli kısa bir not tutmanız yeterlidir.

Kaynak: Yeni bir sitenin neden hiç görünmeyebileceğini, taranmamış olmaktan tarayıcı yönergelerinin engellemesine kadar, Moz'un arama motorlarının nasıl çalıştığını anlatan rehberi özetliyor.