Webflow tasarımcıları için Robots.txt Test Aracı

Webflow tasarımcıları neden buna ihtiyaç duyar?

Webflow projenizi müşteriye teslim ettiniz, birkaç hafta sonra Google'da yourproject.webflow.io adresinin canlı sitenizin kopyası gibi listelendiğini fark ediyorsunuz. Ya da tam tersi: hazırlık alan adını kapatırken kuralı yanlış yere koydunuz ve gerçek alan adı taranamaz hale geldi. Webflow'da yapılandırılmış veri, canonical ve robots ayarlarının çoğunu elle yönettiğiniz için bu tür hatalar kolay gözden kaçıyor; alttaki koda sınırlı erişim de neyin yayında olduğunu görmeyi zorlaştırıyor. Robots.txt Test Aracı bu noktada size tek bir soruya net cevap verir: bu host'un robots.txt dosyası gerçekte ne söylüyor? Alan adını girersiniz, araç dosyayı canlı olarak çeker, User-agent bloklarını, Disallow ve Allow satırlarını, Sitemap bildirimlerini ve HTTP durumunu listeler. İsterseniz en fazla 20 yol yazıp Googlebot, Googlebot-Image ve Bingbot için taranabilir mi diye de sorarsınız. Yine de unutmayın: robots.txt taramayı yönetir, indekslemeyi değil. Bu yüzden sonuç tek başına bu site indekse girmez demek değildir; sadece kapının açık mı kapalı mı olduğunu gösterir. Gerisi için sayfa etiketlerine ve Search Console'a bakmanız gerekir. Hazırlık alanını ve canlı alanı ayrı ayrı çalıştırmak iki dakikanızı alır.

Webflow tasarımcıları için rehber

Önce iki host'u ayrı ayrı çalıştırın

Önce yourproject.webflow.io adresini girin, ardından canlı alan adınızı www'lu haliyle çalıştırın. Araç yalnızca girdiğiniz host'un robots.txt dosyasını okur; iki sonucu yan yana koyup karşılaştırmak size kalıyor. Sonuç sayfasında önce HTTP durumuna bakın: 404 görürseniz dosya yok demektir ve tüm tarayıcılara varsayılan olarak izin verilir, 5xx görürseniz Google dosyaya yeniden ulaşılana kadar hiçbir şeyi taramamayı tercih eder. Sonra isteğe bağlı yol kutusuna /blog/ornek-yazi ya da /urunler/ornek-urun gibi CMS koleksiyon yollarınızdan beş sekiz tanesini yapıştırın. Yol listesine hem açık kalması gereken hem de kapalı olmasını beklediğiniz adresleri koyun. Bu kısa kontrol, yayın öncesi her şey açık mı sorusunu cevaplar. Cevaplamadığı şey ise sayfaların noindex etiketi taşıyıp taşımadığıdır; araç robots.txt dışında hiçbir şeyi görmez.

Sonucu nasıl okumalı

Özet bölümünde User-agent bloğu sayısı, Disallow kuralları ve bildirilen sitemap'ler çıkar. Asıl önemli kısım URL testidir: her yol için Googlebot, Googlebot-Image ve Bingbot ayrı ayrı İzinli veya Engelli olarak görünür, yanında hangi grubun kullanıldığı ve Belirleyen kural ile satır numarası yazar. Eşleştirmede en uzun kalıp kazanır, eşitlikte Allow kazanır; yani Disallow: /blog ile Allow: /blog/one-cikan birlikte varsa ikinci yol açık kalır. Canlı sitede Engelli gördüğünüz her koleksiyon yolunu gözden geçirin, hazırlık alanında İzinli gördüğünüz yol ise tek başına sorun değildir ama bakmaya değer. İzinli, sayfanın noindex olduğunu ya da olmadığını kanıtlamaz; Engelli ise sayfanın indeksten çıktığını kanıtlamaz, başka sayfalar link veriyorsa URL yine sonuçlarda belirebilir. robots.txt İçeriği bölümünde fazladan boşluk ya da yanlış yazılmış bir yönerge varsa onu da orada yakalarsınız.

Bulgudan sonra hangi sırayla ilerlemeli

Canlı alanda kritik bir yol Engelli çıkıyorsa önce onu düzeltin, çünkü gelir getiren sayfaların taranması buna bağlı. Kuralı Webflow'da Project Settings > SEO altındaki robots.txt alanında düzeltip siteyi yeniden yayınlayın, ardından aracı tekrar çalıştırıp sonucun değiştiğini doğrulayın. İkinci adımda hazırlık alanını düşünün: robots.txt yalnızca taramayı durdurur, Google'da zaten bulunan webflow.io sayfalarını kaldırmaz. Bu sayfaların durumunu Search Console'dan izleyin ve sayfa etiketlerini Meta Tag Analyzer ile kontrol edin. Üçüncü adımda Sitemap satırına bakın; canlı alanın sitemap adresi listede yoksa Search Console'a elle gönderebilirsiniz. Bu kontrol dosyanın doğru yayında olduğunu gösterir, sayfalarınızın sıralanacağını ya da indeksleneceğini göstermez.

Örnek senaryolar

Sık yapılan hatalar

• Yalnızca bir host'u denemek. yourproject.webflow.io ile canlı alan adının robots.txt dosyaları ayrı okunur. Yalnızca birine bakıp diğeri için sonuç çıkarmayın.
• Robots.txt'i indeks engeli sanmak. Disallow yalnızca taramayı durdurur; engellenen bir URL başka sayfaların linkiyle sonuçlarda görünebilir. İndeksten uzak tutmak için sayfa etiketini ayrıca kontrol edin.
• Yol kutusunu boş bırakmak. Yalnızca genel özete bakarsanız belirli bir CMS yolunun kapalı olduğunu fark etmeyebilirsiniz. Koleksiyon sayfalarından örnek yollar ekleyin.
• Değişikliği yayınlamadan test etmek. Araç canlı dosyayı okur; tasarım ekranında yaptığınız ama yayınlamadığınız değişiklik sonuçta görünmez. Yayınladıktan sonra yeniden çalıştırın.
• 404 sonucunu sorun saymamak ya da abartmak. Dosya yoksa tarayıcılara varsayılan olarak izin verilir; bu bir engel değildir. Ama hazırlık alanını kapatmayı planlıyorsanız dosyanın hiç olmadığını bilmeniz gerekir.

Sık sorulan sorular

Webflow.io hazırlık alan adının indekslenmesini robots.txt ile engelleyebilir miyim?

Robots.txt yalnızca taramayı durdurur, indekslemeyi değil. Hazırlık alan adı daha önce indekslendiyse ya da başka sayfalar ona link veriyorsa URL sonuçlarda görünmeye devam edebilir. Aracı yourproject.webflow.io için çalıştırdığınızda Disallow: / satırını görürseniz tarayıcılar engellenmiş demektir, ama bu indeksten çıktığı anlamına gelmez. Dizinden çıkarmak için noindex etiketi gerekir ve Google'ın bu etiketi görebilmesi için sayfa taranabilir olmalıdır. Bu yüzden aracı Meta Tag Analyzer ve Search Console ile birlikte kullanın.

Webflow SEO kontrol listesine robots.txt kontrolünü nasıl eklerim?

Yayın öncesi listenize iki satır ekleyin: canlı alan adının robots.txt dosyası 200 dönüyor mu ve önemli koleksiyon yolları İzinli mi. Aracı www'lu ve www'suz adresle ayrı ayrı çalıştırın, CMS şablonlarından birer örnek yol yapıştırın. Sitemap satırının göründüğünü de işaretleyin. Her teslimde aynı yolları kullanırsanız sonuçları kıyaslamak kolaylaşır. Bu kontrol yalnızca tarama izninin doğrulanmasıdır; başlık, açıklama ve canonical ayrı kontrol ister.

Webflow'da robots.txt'i değiştirdim, sitemap neden görünmüyor?

Araç dosyada Sitemap: ile başlayan her satırı Özet'teki Bildirilen sitemap'ler satırında listeler. Görünmüyorsa değişikliği yayınlamamış olabilirsiniz, yanlış host'u girmiş olabilirsiniz ya da satır dosyada yoktur. robots.txt İçeriği bölümüne bakıp satırın gerçekten orada olup olmadığını doğrulayın. Sitemap satırının varlığı, sitemap'in geçerli olduğunu ya da Google'ın tüm URL'leri indeksleyeceğini göstermez; yalnızca adresin tarayıcılara duyurulduğunu gösterir.

Webflow SEO için iyi mi diye bakarken robots.txt'te neyi kontrol etmeliyim?

Platformun iyi ya da kötü olması burada belirleyici değil; dosyanın içeriği belirleyici. Canlı alan adında Disallow: / olmadığını, CMS koleksiyon yollarının Googlebot için İzinli çıktığını ve Sitemap satırının bulunduğunu kontrol edin. Webflow'da bazı ayarları elle yönettiğiniz için bu doğrulama özellikle değerli. Araç sıralama ya da hız hakkında bir şey söylemez. Sonuçları müşteriye göstermek isterseniz ham dosyayı da ekran görüntüsüne alın.

Hazırlık alanı İzinli çıktı, yine de sorun var mı?

Olabilir. İzinli yalnızca robots.txt'in taramaya izin verdiğini söyler; sayfada noindex etiketi olup olmadığını araç görmez. Hazırlık alanında İzinli çıkıyor ve noindex da yoksa Google sayfaları tarayıp indeksleyebilir, bu da canlı sitenizin kopyası gibi görünebilir. Sayfanın robots etiketini Meta Tag Analyzer ile, indeks durumunu Search Console ile kontrol edin. Sonuca varmak için yalnızca robots.txt'e güvenmeyin.

Kaynak: Webflow SEO rehberi ve webflow.io uyarısı, varsayılan hazırlık alan adı indekslenirse kopya içerik riski doğabileceğini ve robots.txt'in indekslemeyi değil taramayı yönettiğini anlatıyor.