Haber yayıncıları için Robots.txt Test Aracı

Haber yayıncıları neden buna ihtiyaç duyar?

Haberi ilk siz verdiniz, ama Top Stories'te sonradan yazılan daha yeni versiyonlar öne geçti; çünkü Google güncel içeriği tercih ediyor. Üstüne yayıncılar, yapay zekâ özeti çıkan sorgularda tıklamaların düştüğünü bildiriyor. Bu koşullarda görünürlüğünüzü kontrol edebildiğiniz az sayıda şey kalıyor ve robots.txt bunlardan biri. Tek satırlık bir Disallow, bölümünüzün tamamını Googlebot-News'ten saklayabilir. Ya da tam tersi, yayınlarınızı istemediğiniz bir yapay zekâ botuna açık bırakabilir. Çoğu zaman bunu kimse fark etmez; çünkü dosya yıllar önce yazılmış, CMS güncellemeleriyle ya da bir CDN taşımasıyla değişmiş olabilir. Robots.txt Test Aracı, sitenizin canlı dosyasını çeker, /haber/ ya da /son-dakika/ gibi yollarınızı Googlebot, Googlebot-Image ve Bingbot için test eder. Ayrıca Googlebot-News, GPTBot, ClaudeBot, PerplexityBot gibi on bir haber ve AI token'ı için, test ettiğiniz yolların tamamına bakarak İzinli, Kısmen engelli ya da Engelli sonucunu gösterir. Sitemap bildirimlerinizi de listeler, dolayısıyla haber sitemap'inizin dosyada duyurulup duyurulmadığını görürsünüz. Yazar adı ve tarih gibi şeffaflık sorunları da görünürlüğü kesebilir; robots.txt ise onlardan önce gelen ilk kapıdır. Aşağıda sonucu nasıl okuyacağınızı ve nerede yanıltabileceğini bulacaksınız.

Haber yayıncıları için rehber

Önce hangi yolları test edeceğinize karar verin

Alan adı kutusuna sitenizin asıl adresini yazın; araç tam olarak o host'un robots.txt dosyasını okur, yani m.siteniz.com ya da haber.siteniz.com ayrı bir çalıştırma ister. Yol kutusuna en fazla yirmi satır girebilirsiniz. Şunlarla başlayın: bir son dakika haberi (/gundem/ornek-haber-123456), bir arşiv sayfası (/arsiv/2024/), bir etiket sayfası (/etiket/secim) ve haber sitemap'inizin yolu. Görsel klasörünüzü ve varsa abonelere özel /premium/ yolunu da ekleyin. Bu on dakikalık iş, dosyayı gözle okumaktan daha güvenilirdir; çünkü en uzun kalıp kazanır ve eşitlikte Allow geçer, bu yüzden kısa bir Allow uzun bir Disallow'un altında kalabilir. Bu adım bir yolun dizinde olduğunu göstermez; yalnızca tarayıcıların o yolu isteyip isteyemeyeceğini söyler.

Haber ve AI tarayıcıları tablosunu okuma

Raporda Haber ve AI tarayıcıları bölümüne inin. Her token için Kullanılan grup ve İzinli, Kısmen engelli ya da Engelli sonucu yazar; Kısmen engelli durumunda N/M yol izinli görünür ve engellenen yollar listelenir. Googlebot-News kendi grubu yoksa Googlebot grubuna düşer, diğer token'lar kendi grubunu ya da * grubunu kullanır. Google-Extended ve Applebot-Extended gerçek birer tarayıcı değil, kontrol token'ıdır. Hangi botu engelleyeceğiniz editoryal ve ticari bir karardır; araç bunu önermez, yalnızca dosyanın o an ne istediğini gösterir. Sonuç bir botun kurala uyduğunu kanıtlamaz. Sunucu günlüklerini ve Cloudflare gibi bir güvenlik duvarının bot engelini de göremez.

Sorun çıkarsa hangi sırayla düzeltmeli

Önce HTTP durumuna bakın: dosya 404 gibi bir 4xx döndürürse rapor tek satırlık bir Sonuç'tur ve tüm tarayıcılar varsayılan olarak izinlidir; 5xx döndürürse en üstte Google'ın dosyaya yeniden ulaşana kadar siteyi taramayacağı uyarısı çıkar ve altındaki satırlar hata sayfasından hesaplandığı için İzinli görünse de geçerli değildir. Sonra URL testinde haber yollarınızın Googlebot için Engelli çıkıp çıkmadığına bakın ve Belirleyen kural sütunundaki satır numarasından dosyayı açın. Dosya ya sunucunun kök dizinindeki robots.txt'tir ya da CMS'iniz sanal olarak üretiyordur; hosting panelinizdeki dosya yöneticisine bakarak hangisi olduğunu görebilirsiniz. Değişiklikten sonra aracı aynı yollarla yeniden çalıştırın. Son olarak Bildirilen sitemap'ler satırında haber sitemap'inizin durduğunu doğrulayın. Rapor sayfanın noindex olup olmadığını, X-Robots-Tag başlığını ya da dizin durumunu göstermez; bunun için Meta Tag Analyzer ve Search Console gerekir.

Örnek senaryolar

Sık yapılan hatalar

• Tek bir host'u test edip bitirmek. Araç yalnızca girdiğiniz host'un dosyasını okur; www.siteniz.com ile haber.siteniz.com ayrı çalıştırma ister ve karşılaştırmayı sizin yapmanız gerekir.
• Engelli sonucunu dizinden çıktı sanmak. Engelli yalnızca taranmama demektir; sayfa linklenmişse ya da daha önce dizine girmişse sonuçlarda kalabilir.
• Yol kutusunu boş bırakmak. Yol girmezseniz yalnızca URL'nizin kendi yolu test edilir; haber, arşiv, etiket ve görsel yollarını eklemezseniz kısmi engelleri kaçırırsınız.
• Google-Extended'i tarayıcı sanmak. Google-Extended ve Applebot-Extended kontrol token'ıdır, gerçek bir tarayıcı değildir; sonucu bir botun siteye gelip gelmediği olarak okumayın.
• İzinli sonucunu güvence saymak. İzinli yalnızca dosyanın o botu geri çevirmediğini söyler; noindex, parola koruması ya da CDN bot engeli bu raporda görünmez.

Sık sorulan sorular

Robots.txt Googlebot-News'u engellerse Google News'ten düşer miyim?

Dosyada Googlebot-News için ya da onun düştüğü grupta haber yollarınıza Disallow varsa, Google'a o içeriği taramamasını söylemiş olursunuz. Araç, Googlebot-News'in hangi gruba düştüğünü ve yolların İzinli mi Engelli mi olduğunu gösterir. Haber yüzeylerinde yer almak ayrıca tarih ve yazar bilgisi gibi politika koşullarına bağlıdır; rapor bunları ya da sıralamanızı ölçmez. Aynı yolları Googlebot için de test edin, çünkü ikisi farklı sonuç verebilir.

GPTBot ve ClaudeBot'u engellemek Google sıralamamı etkiler mi?

GPTBot ve ClaudeBot, Googlebot'tan ayrı token'lardır ve robots.txt'te kendi User-agent gruplarıyla yönetilir; onları engellemek Googlebot grubundaki kurallarınızı değiştirmez. Araç her token için kullanılan grubu ve sonucu gösterdiğinden, genel bir * Disallow'unun hepsini kapatıp kapatmadığını görebilirsiniz. Karar editoryal ve ticaridir; araç öneri yapmaz. Sıralama etkisini de ölçmez, bunun için Search Console verilerinize bakmanız gerekir.

Robots.txt'e Disallow koymak haberi Google'dan kaldırır mı?

Hayır. Disallow yalnızca tarayıcıdan sayfayı istememesini ister; sayfa başka sitelerden link alıyorsa ya da daha önce dizine girdiyse sonuçlarda görünmeye devam edebilir. URL testi bölümü de Engelli sonucunun taranmama anlamına geldiğini, dizinden çıkarma anlamına gelmediğini belirtir. Bir haberi gerçekten kaldırmak istiyorsanız sayfa düzeyinde noindex ya da Search Console'daki kaldırma aracı gerekir; bu araç ikisini de görmez.

Haber sitemap'imin robots.txt'te görünmesi şart mı?

Şart değildir; sitemap'i Search Console üzerinden de bildirebilirsiniz. Yine de robots.txt'e eklenen bir Sitemap: satırı tarayıcıların dosyayı keşfetmesini kolaylaştırır. Araç Özet bölümünde Bildirilen sitemap'ler satırını gösterir ve her Sitemap: URL'sini listeler. Yeni bir haber sitemap adresi açtıysanız satırın dosyada olduğunu iki dakikada teyit edebilirsiniz. Sitemap dosyasının içeriğini ya da geçerliliğini ise doğrulamaz.

Robots.txt İzinli gösteriyor ama haber aramada çıkmıyor, neden?

İzinli sonucu yalnızca robots.txt'in taramaya engel olmadığını söyler. Sayfada noindex etiketi, X-Robots-Tag başlığı ya da parola koruması olabilir; araç bunların hiçbirini görmez. Sayfa çok yeniyse henüz taranmamış da olabilir. Meta etiketi için Meta Tag Analyzer'ı, dizin durumu için Search Console'daki URL Denetimi'ni kullanın. Hosting tarafında bir CDN ya da güvenlik duvarı bot engeli olması da mümkündür; bunu dosya göstermez.

Kaynak: Haber yüzeylerinde yer alma koşullarını, görünür yayın tarihi ve yazar bilgisi dahil, Google News politikaları, Publisher Center Yardım sayfası anlatır.