WordPress site sahipleri için Robots.txt Test Aracı

WordPress site sahipleri neden buna ihtiyaç duyar?

Siteyi yayına aldınız, haftalar geçti, ama Google'da tek bir sayfanız bile görünmüyor. WordPress'te bu hikâyenin en sık nedeni, Ayarlar > Okuma altındaki “Arama motorlarının bu siteyi dizine eklemesini engelle” kutusunun geliştirme döneminden kalmasıdır; Ahrefs bu ayarı bir SEO ölüm fermanı olarak anıyor ve ilk bakılacak yer olarak gösteriyor. Öte yandan etiket, tarih, yazar ve site içi arama arşivleri varsayılan olarak dizine girip asıl yazılarınızla yarışan zayıf sayfalar üretebiliyor. Temanız ve eklentileriniz de ayrı bir yük bindiriyor. Bu karışıklıkta ilk soru basit: sunucu arama motorlarına hangi yolları gösteriyor? Robots.txt Test Aracı, alan adınızın canlı robots.txt dosyasını çeker, kuralları kullanıcı-ajanına göre gruplar ve girdiğiniz yolların Googlebot, Googlebot-Image ve Bingbot için taranıp taranamayacağını söyler. Dosyada Disallow: / gibi bir satır varsa bunu saniyeler içinde görürsünüz. Yine de aracın yalnızca robots.txt'yi okuduğunu, noindex etiketini veya indeks durumunu görmediğini baştan bilmeniz gerekir; bu sayfa sonucu nasıl yorumlayacağınızı anlatıyor. Tema ve eklenti kaynaklı yavaşlık ayrı bir konu, burada odak yalnızca taramaya izin verilip verilmediği.

WordPress site sahipleri için rehber

İlk 10 dakikada neye bakmalı

Panelden başlayın: WordPress'te Ayarlar > Okuma sayfasını açın ve “Arama motorlarının bu siteyi dizine eklemesini engelle” kutusunun işaretli olup olmadığına bakın. Ardından aracı çalıştırıp alan adınızı girin; yanındaki kutuya /, /ornek-yazi/, /etiket/seo/, /author/editor/ ve /?s=test gibi yolları satır satır ekleyin. WordPress varsayılan olarak sanal bir robots.txt sunar; içinde genellikle /wp-admin/ yasağı ve admin-ajax.php için bir Allow istisnası bulunur. Bir SEO eklentisi kullanıyorsanız dosya o eklentinin editöründen de değişmiş olabilir. Raporun üstündeki Özet bölümünde HTTP durumu, User-agent blokları ve Bildirilen sitemap’ler satırları çıkar. Bu adım işaretli bir kutunun etkisini göstermez: kutu çoğu güncel sürümde robots.txt yerine sayfalara noindex etiketi ekler, araç ise bu etiketi görmez.

Sonucu nasıl okumalı

URL testi tablosunda her yol için İzinli veya Engelli görürsünüz; yanında hangi User-agent grubunun kullanıldığı ve kararı veren satır numarası yer alır. Eşleştirmede en uzun kalıp kazanır, eşitlikte Allow kazanır. Yani Disallow: /wp-content/ altında bir Allow: /wp-content/uploads/ satırı varsa görseller açık kalır. Engelli, yalnızca taranmayacağı anlamına gelir; sayfa başka yerlerden link alıyorsa sonuçlarda yine görünebilir. İzinli ise sayfanın indekslendiği ya da indekslenebileceği demek değildir, çünkü noindex etiketi veya X-Robots-Tag başlığı bu araçta görünmez. Dosya 404 dönüyorsa araç tek satırlık bir uyarı verir: tüm tarayıcılara izin var. 5xx dönüyorsa Google dosya yeniden erişilebilir olana kadar taramayı durdurabilir, bu yüzden hosting hatasını önce çözün.

Hangi sırayla düzeltmeli

Sırayla ilerleyin: Disallow: / gibi tüm siteyi kapatan satırları arayın; varsa dosyayı yönettiğiniz yerden, örneğin SEO eklentinizin (Yoast SEO ya da Rank Math) robots.txt düzenleyicisinden kaldırın. Kök dizinde fiziksel bir robots.txt dosyası duruyorsa o, sanal dosyanın önüne geçer. Sonra Search Console'da URL Denetimi ile asıl sayfanın dizin durumuna bakın; çünkü robots.txt temiz çıksa bile sorun noindex olabilir. Etiket ve yazar arşivlerini kapatmak istiyorsanız bunu Disallow ile değil noindex ile yapın; Disallow yazarsanız Google noindex etiketini hiç okuyamaz. En sonda dosyadaki Sitemap satırının güncel sitemap adresini gösterdiğini doğrulayın ve aracı yeniden çalıştırın.

Örnek senaryolar

Sık yapılan hatalar

• Ayarlar > Okuma kutusunu atlamak. Robots.txt temiz çıkınca sorunun bittiğini sanmak yaygın hatadır. Dizine eklemeyi engelle kutusu işaretliyse sayfalar noindex alabilir ve bu araçta görünmez.
• Noindex işini robots.txt'ye yüklemek. Etiket veya yazar arşivlerine Disallow yazmak taramayı durdurur ama indeksten çıkarmaz. Üstelik Google sayfadaki noindex etiketini de okuyamaz.
• Yanlış adresi test etmek. Yalnızca girdiğiniz adresin robots.txt dosyası okunur; www'lu ve www'suz adresler ya da bir staging alt alan adı ayrı sonuç verebilir. Asıl yayındaki adresi girdiğinizden emin olun.
• /wp-content/ ve /wp-includes/ klasörlerini kapatmak. Eski rehberlerden kalan bu kurallar Google'ın tema CSS ve JavaScript dosyalarını okumasını engelleyebilir. URL testinde bu yolların Engelli çıkıp çıkmadığına bakın.
• İzinli sonucunu indekslendi saymak. Bu sonuç yalnızca taramaya izin verildiğini söyler. Sayfanın dizinde olup olmadığını Search Console'daki URL Denetimi gösterir.

Sık sorulan sorular

WordPress sitem Google'da çıkmıyor, robots.txt'yi nasıl kontrol ederim?

Alan adınızı Robots.txt Test Aracı'na girin ve raporda önce HTTP durumuna, sonra Disallow: / gibi tüm siteyi kapatan satırlara bakın. Ana sayfanızı ve bir yazı adresini yol kutusuna ekleyip Googlebot için İzinli sonucunu görmeniz gerekir. Dosya temizse sıradaki durak Ayarlar > Okuma altındaki dizine eklemeyi engelleme kutusu ve sayfanın noindex etiketidir. Bu üç kontrolü sırayla yapınca sorunun taramada mı, etikette mi yoksa bekleyen bir indekslemede mi olduğunu ayırt edersiniz.

WordPress etiket sayfalarını noindex yapmak için robots.txt kullanılır mı?

Kullanılmaz, doğru yöntem değil. Robots.txt'ye Disallow: /etiket/ yazarsanız Google bu sayfaları taramaz ama sayfa başka yerden link alıyorsa adres yine sonuçlarda görünebilir ve içindeki noindex etiketini de okuyamaz. Etiket, tarih ve yazar arşivleri için noindex'i Yoast SEO veya Rank Math ayarlarından verin. Kısacası taramaya açık bırakın, indekslemeyi etiketle kapatın. Ayarı değiştirdikten sonra birkaç yolu yapıştırıp sonucu yeniden görmek iki dakikanızı alır.

Yoast veya Rank Math robots.txt'yi değiştirirse araç bunu görür mü?

Eklentinin editöründe kaydettiğiniz kural canlıya geçtiyse raporda görürsünüz, çünkü dosya eklentiden değil, sunucunun gerçekten verdiği yanıttan okunur. Kök dizinde fiziksel bir robots.txt varsa WordPress'in sanal dosyasının önüne geçer, o yüzden panelde gördüğünüzle araçta çıkan farklı olabilir. Bu durumda geçerli olan, araçtaki ham dosyadır. Hangi eklentinin yazdığını araç söylemez; bunu dosya düzenleyicilerine bakarak bulmanız gerekir.

Robots.txt temiz ama WordPress sitem hâlâ dizinde yok, neden?

Taramaya izin verip vermediğinizi yalnızca robots.txt söyler. Sayfada noindex etiketi, Ayarlar > Okuma kutusunun yarattığı engel ya da sitenin yeni olması indekslemeyi geciktirebilir. Önce Meta Tag Analyzer ile sayfanın robots etiketine bakın, sonra Search Console'da URL Denetimi'nde Google'ın o adresi nasıl gördüğünü inceleyin. Yayından birkaç gün geçtiyse bu sırayı izlemek zaman kazandırır. Hiçbir araç indekslemeyi garanti edemez; amaç engelleri tek tek elemektir.

WordPress robots.txt dosyasına hangi yolları yazmalıyım?

Çoğu site için varsayılan kural yeterlidir: /wp-admin/ kapalı, admin-ajax.php açık. Gereksiz kural eklemek risklidir, çünkü /wp-content/ veya /wp-includes/ gibi klasörleri kapatmak Google'ın tema CSS ve JavaScript dosyalarını okumasını engelleyebilir. Bir kural eklediyseniz önce dosyanın yedeğini alın, sonra araçta ilgili yolu yazıp Googlebot sonucunu görün ve ana sayfayla bir yazı adresinin hâlâ İzinli olduğunu doğrulayın. Emin değilseniz dosyayı varsayılana döndürmek güvenli seçenektir.

Kaynak: Tarih, yazar ve etiket arşivlerinin değer katmadığında dizine girdiğini ve site içi arama sayfalarının noindex olması gerektiğini Yoast'un kapsamlı WordPress SEO rehberi anlatıyor.