Ghost kullanıcıları için Robots.txt Test Aracı

Ghost kullanıcıları neden buna ihtiyaç duyar?

Ghost, etiket ve yazar arşivlerini varsayılan olarak dizine açık bırakıyor ve toplu noindex seçeneği sunmuyor. İçeriği zayıf bu sayfalar zamanla yazılarınızla aynı sorgu için yarışabiliyor. Forumlarda "ghost noindex tag pages" diye aranan çözümlerden biri, temaya kendi robots.txt dosyanızı koyup arşiv yollarını kapatmak. Ama tek satırlık bir yol hatası, örneğin fazla geniş yazılmış bir Disallow, gerçek yazılarınızı da tarayıcılara kapatabilir. Üstelik dosyayı tema ile birlikte yüklediğinizde canlı sitede ne yayınlandığını çoğu zaman bir daha açıp bakmazsınız.

Robots.txt Test Aracı, sitenizin canlı /robots.txt dosyasını çeker, User-agent bloklarına ayırır ve girdiğiniz yolların Googlebot, Googlebot-Image ve Bingbot için izinli mi engelli mi olduğunu, kararı veren satırla birlikte gösterir. Bir yazı adresini ve bir etiket adresini birlikte yapıştırırsanız, yalnızca arşivin kapandığını, yazının açık kaldığını hemen doğrularsınız. Araç yalnızca robots.txt okur; sayfanın noindex olup olmadığını ya da dizinde olup olmadığını söylemez. Bu yüzden sonucu, Search Console'daki dizin durumuyla birlikte okumanız gerekir. Kısa adını (slug) değiştirdiğiniz yazıların eski adreslerini de aynı şekilde deneyebilirsiniz.

Ghost kullanıcıları için rehber

İlk 10 dakikada neye bakmalı

Önce alan adınızı girin, ardından yol kutusuna üç farklı türde adres ekleyin: bir yazı (/ghost-seo-rehberi/), bir etiket arşivi (/tag/haberler/) ve bir yazar sayfası (/author/ayse/). Etiket ve yazar yollarını, sitenizde gerçekten kullandığınız kalıplarla yazın; kutu en fazla 20 yol kabul ediyor, dolayısıyla en çok trafik alan birkaç arşivi de ekleyebilirsiniz. Ghost temaları, tema klasörünün kökünde bir robots.txt taşıyabilir ve bu dosya varsayılanın yerine geçer; temanızı yeni zip ile yüklediyseniz testi mutlaka yüklemeden sonra yapın. Özet bölümünde HTTP durumunun 200 olduğuna ve Bildirilen sitemap'ler satırında sitemap adresinizin yer aldığına bakın. Araç yalnızca girdiğiniz host'un dosyasını okur; www'lu ve www'suz adres iki ayrı koşudur. Bu adım dosyanın sunulduğunu kanıtlar, yazılarınızın dizinde olduğunu kanıtlamaz.

Sonucu nasıl okumalı

URL testi tablosunda yazı satırının İzinli, etiket ve yazar satırlarının Engelli çıkmasını bekliyorsunuz. Belirleyen kural sütunundaki satır numarasını alıp robots.txt İçeriği bölümünde o satırı bulun. Eşleştirmede en uzun kalıp kazanır, eşitlikte Allow kazanır; yani Disallow: /tag/ satırının yanına eklediğiniz Allow: /tag/haberler/ o tek arşivi yeniden açar. Bir yazı Engelli çıkıyorsa genellikle fazla geniş bir kalıp ya da yanlış yerleşmiş bir * sorumludur. Satırda eşleşen kural yok yazıyorsa o yol hiçbir kurala takılmamıştır. Engelli, taranmaz demektir; dizinden çıkarılır demek değildir. Bağlantı alan ya da daha önce dizine girmiş bir arşiv sayfası, robots.txt kapalı olsa da sonuçlarda kalabilir.

Hangi sırayla düzeltmeli

Gerçek yazıları kapatan hatayı ilk sırada düzeltin, arşivlere ondan sonra geçin. Ghost toplu noindex sunmadığı için arşivleri gerçekten dizinden uzak tutmak istiyorsanız temanın şablonlarına, örneğin default.hbs içinde yalnızca etiket ve yazar sayfalarında çıkacak şekilde, bir meta robots etiketi eklemeniz gerekir; ama aynı arşivi Disallow ile de kapatırsanız Google bu etiketi hiç göremez. Bu yüzden her arşiv için tek yöntem seçin. Değişiklikten sonra testi yeniden çalıştırın, ardından sayfanın robots etiketini Meta Tag Analyzer ile, dizin durumunu Search Console'daki URL denetimiyle kontrol edin. Aracın dosyayı düzenlemediğini, staging ile canlıyı karşılaştırmadığını ve izleme yapmadığını unutmayın; her değişiklikten sonra elle yeniden test etmeniz gerekir. Dosyayı sıfırdan yazmak isterseniz Robots Generator ile taslak çıkarabilirsiniz.

Örnek senaryolar

Sık yapılan hatalar

• Disallow ile noindex'i karıştırmak. Disallow sayfayı taramayı engeller, dizinden çıkarmaz. Arşivi hem kapatıp hem noindex etiketi koyarsanız Google etiketi okuyamaz.
• Testi tema yüklenmeden yapmak. Yerel ortamda hazırladığınız dosya canlı siteye geçmemiş olabilir. Sonucu her zaman yayındaki alan adı üzerinden alın.
• Yalnızca bir yol denemek. Sadece arşiv yolunu test ederseniz yazıların açık kaldığından emin olamazsınız. Her zaman en az bir yazı adresini yanına ekleyin.
• www ve www'suz adresi aynı sanmak. Araç tam girdiğiniz host'un dosyasını okur. İki adresin ayrı sonuç verdiği bir kurulumda ikisini ayrı ayrı çalıştırmanız gerekir.
• Cloudflare gibi engelleri robots.txt'te aramak. Güvenlik duvarı ya da CDN seviyesindeki bot engelleri robots.txt'te görünmez. Araç İzinli dese bile sunucu o botu geri çevirmiş olabilir.

Sık sorulan sorular

Ghost robots.txt dosyasını nasıl test ederim?

Alan adınızı Robots.txt Test Aracı'na girin ve yol kutusuna bir yazı, bir etiket ve bir yazar adresi ekleyin. Araç canlı /robots.txt dosyasını çeker, Googlebot, Googlebot-Image ve Bingbot için her yolun izinli mi engelli mi olduğunu ve kararı veren satırı gösterir. Temanıza dosya ekleyip yüklediyseniz sonucu mutlaka yüklemeden sonra alın. Araç yalnızca bu dosyayı okur; sayfaların noindex olup olmadığını ya da dizinde bulunup bulunmadığını söylemez, onun için Search Console'a bakın.

Ghost etiket sayfalarını noindex yapmak için robots.txt yeterli mi?

Hayır. Ghost etiket ve yazar arşivlerini varsayılan olarak dizine açık bırakır ve toplu noindex seçeneği sunmaz. Robots.txt'teki Disallow sayfanın taranmasını engeller, dizinden çıkarmaz; üstelik taranamayan sayfada Google noindex etiketini göremez. Gerçekten noindex istiyorsanız tema şablonlarını düzenleyip etiket ve yazar sayfalarına meta robots etiketi eklemeniz gerekir. İkisini aynı arşive birlikte uygulamayın. Robots.txt sonucunu bu araçla, noindex etiketini ise Meta Tag Analyzer ile ayrı ayrı doğrulayın.

Ghost temasına robots.txt eklersem varsayılan dosyaya ne olur?

Ghost temaları kök dizinde bir robots.txt taşıyabilir ve bu dosya Ghost'un varsayılanının yerine geçer. Bu yüzden varsayılanda bulunan bir satır sizin dosyanızda yoksa canlı sitede de olmaz; örneğin Sitemap satırını kendiniz yazmanız gerekebilir. Aracın Özet bölümündeki Bildirilen sitemap'ler satırı bunu hemen gösterir. Varsayılan içeriği ezberden varsaymak yerine, canlı ham dosyayı robots.txt İçeriği bölümünde okuyup yollarla birlikte test edin.

Ghost sitemde GPTBot veya ClaudeBot robots.txt ile engellenmiş mi?

Haber ve AI tarayıcıları bölümü, girdiğiniz yollar için Googlebot-News, GPTBot, ClaudeBot, PerplexityBot, CCBot gibi 11 token'ın hangi gruba düştüğünü ve İzinli, Kısmen engelli ya da Engelli sonucunu gösterir. Bu yalnızca dosyanın ne istediğidir. Botun kurala uyup uymadığını görmez; sunucu loglarını da, Cloudflare gibi bir güvenlik duvarının bot engellemesini de okumaz. Kısmen engelli sonucunda hangi yolların kapalı kaldığı ayrıca listelenir.

Ghost'ta yazının adresini değiştirdim, robots.txt testi buna yardımcı olur mu?

Kısmen. Ghost kısa adı değiştirdiğinizde otomatik yönlendirme oluşturmaz; 301'leri redirects.yaml dosyasına yazıp Settings içindeki Labs bölümünden yüklemeniz gerekir. Robots.txt testi yönlendirmeyi doğrulamaz, ama eski ya da yeni adresin bir Disallow satırına takılıp takılmadığını gösterir. Yönlendirmenin tek ve temiz bir 301 verdiğini ayrıca Redirect Checker ile sınayın. Bu kontrolü, adresini değiştirdiğiniz her yazı için ayrı ayrı tekrarlayın.

Kaynak: Ghost forumundaki etiket ve yazar sayfaları tartışması, bu arşivlerin neden noindex gelmediğini ve çözüm olarak özel robots.txt ya da şablonlara noindex etiketi eklemenin önerildiğini gösteriyor.