Webflow tasarımcıları için Robots.txt Oluşturucu

Webflow tasarımcıları neden buna ihtiyaç duyar?

Lansman öncesinde Webflow'da sık karşılaşılan bir sorun, webflow.io hazırlık adresinin dizine girip canlı sitenizin kopyası gibi davranmasıdır. Müşteriye gönderdiğiniz taslak bağlantı bir yerde paylaşılırsa aynı içerik iki alan adında birden yaşamaya başlar. Robots.txt akla ilk gelen çözümdür, ama bir tuzağı vardır: dosya taramayı yönetir, dizinleme kararını vermez. Google'da zaten görünen bir sayfayı tek başına kaldırmaz. Alttaki koda erişimin sınırlı olduğunu, schema gibi şeyleri özel kodla kendinizin eklediğini biliyorsunuz. Robots.txt ise ayarlardan doğrudan düzenleyebildiğiniz nadir teknik dosyalardan biri. Robots.txt Oluşturucu işinizi burada kısaltır: sitemap adresini, engellemek istediğiniz yolları ve genel politikayı seçersiniz, karşınıza tek bir User-agent: * grubu içeren temiz bir metin çıkar. Onu Webflow'daki robots.txt alanına yapıştırırsınız. Aşağıda hangi yolları engelleyeceğinizi, çıktıyı nasıl okuyacağınızı ve aracın neleri yapmadığını bulacaksınız. Böylece lansman günü tek bir yanlış satır yüzünden müşterinin tüm sitesini taramaya kapatmazsınız. Yüzlerce koleksiyon öğesi olan bir CMS sitesinde hangi yolların kapanacağını önceden görmek de işinizi hızlandırır. Bu kontrolü her teslimden önce on dakikada bitirebilirsiniz.

Webflow tasarımcıları için rehber

Önce neyi engelleyeceğinize karar verin

Önce Webflow'da Site settings içindeki SEO sekmesini açın ve Robots.txt alanında şu an ne yazdığına bakın; doluysa metni bir yere kopyalayın. Sonra aracı açıp Engellenecek yollar alanına her satıra bir yol yazın, örneğin /tesekkurler ve /kayit-onay. Form sonrası açılan üç teşekkür sayfanız varsa üç satır yeterlidir; her yolun başına eğik çizgi koymayı unutmayın. Sitemap URL’si alanına https://siteadi.com/sitemap.xml gibi tam adresi girin. Varsayılan politika olarak Tüm robotlara izin ver seçili kalsın. CMS koleksiyon klasörlerinizi, örneğin /blog veya /projeler, engellemeyin; bunlar büyük olasılıkla aranmasını istediğiniz sayfalardır. Araç yazdığınız yolların sitenizde gerçekten var olup olmadığına bakmaz, yani yanlış yazılmış bir yol sorunsuz biçimde çıktıya girer. Bu yüzden yolları Designer'daki sayfa listesinden bakarak yazın.

Çıktıyı nasıl okuyacaksınız

Araç, İngilizce "Generated Code" başlığı altında bir metin bloğu verir; User-agent, Disallow ve Sitemap robots.txt söz dizimi olduğu için çevrilmez. İlk satır her zaman User-agent: * olur, ardından her yol için ayrı bir Disallow: satırı gelir, en sonda da doldurduysanız Sitemap: satırı yer alır. Sitemap satırında alan adınızın https ile başlayan tam biçimini görmelisiniz; eksik veya yanlış yazılmış bir adres burada hemen göze çarpar. Yol girmediyseniz boş bir Disallow: satırı görürsünüz; bu, her şeye izin verildiği anlamına gelir. Tüm robotları engelle seçeneğini seçerseniz çıktı Disallow: / olur ve yazdığınız yollar yok sayılır. Bu seçenek yalnızca henüz yayında olmayan bir alan adı için mantıklıdır, canlı bir müşteri sitesinde asla. Çıktının düzgün görünmesi, Google'ın sayfalarınızı dizine ekleyeceğini veya kuralları beklediğiniz gibi uygulayacağını kanıtlamaz.

Webflow'da sırayla ne yapmalı

İngilizce "Copy to clipboard" düğmesiyle metni kopyalayın, Site settings içindeki SEO sekmesinde Robots.txt alanına yapıştırın, kaydedin ve siteyi yayınlayın; yayınlamadan değişiklik canlıya geçmez. Ardından tarayıcıda siteadi.com/robots.txt adresini açıp metnin göründüğünü doğrulayın. Kuralların gerçekten istediğiniz yolları kapattığını görmek için Robots.txt Tester aracına geçin ve en az bir engelli, bir açık adresi deneyin. webflow.io adresi için ise aynı SEO sekmesindeki alt alan adı dizinlemesini kapatma seçeneğine bakın; bu, robots.txt dosyasıyla aynı iş değildir. Araç Allow satırı, ikinci bir User-agent grubu, crawl-delay veya ikinci bir Sitemap satırı üretmez. Bunları elle eklerseniz o satırlar kontrol edilmez, bu yüzden elle eklediğiniz her satırı ayrıca test edin.

Örnek senaryolar

Sık yapılan hatalar

• Robots.txt'yi dizinden çıkarma aracı sanmak. Robots.txt taramayı kısıtlar, Google'da görünen sayfayı kaldırmaz. webflow.io kopyası zaten dizindeyse ek adım gerekir.
• CMS klasörünü topluca engellemek. /blog veya /projeler gibi koleksiyon yollarını Disallow yaparsanız tüm öğeler taramadan çıkar. Yalnızca teşekkür ve gizli sayfa yollarını yazın.
• Yayınlamayı unutmak. Robots.txt alanına yapıştırıp kaydetmek yetmez; Webflow'da siteyi yayınlamadan canlı dosya değişmez. Sonra siteadi.com/robots.txt adresini açıp kontrol edin.
• Tüm robotları engelle seçeneğini canlıda bırakmak. Bu seçenek Disallow: / üretir ve yol satırlarını yok sayar. Müşteri sitesi yayındaysa tüm tarama engellenir.
• Elle eklenen satırları denetlememek. Araç Allow, crawl-delay veya ikinci bir grup yazmaz; bunları kendiniz eklerseniz kontrol edilmez. Yayından önce bir testten geçirin.

Sık sorulan sorular

Webflow'da robots.txt nereden düzenlenir?

Site settings içindeki SEO sekmesinde Robots.txt alanı bulunur. Araçta Sitemap URL’si ve Engellenecek yollar alanlarını doldurup İngilizce "Generated Code" başlığı altındaki metni "Copy to clipboard" düğmesiyle kopyalar, bu alana yapıştırırsınız. Kaydedip siteyi yayınlamadan değişiklik canlıya geçmez. Yayından sonra siteadi.com/robots.txt adresini açıp dosyanın göründüğünü kontrol edin. Araç Webflow'a bağlanmaz ve dosyayı sizin yerinize kurmaz; yalnızca doğru biçimlendirilmiş metni hazırlar.

webflow.io alt alan adının dizine girmesini nasıl kapatırım?

Site settings içindeki SEO sekmesinde alt alan adı dizinlemesini kapatma seçeneği vardır; asıl iş için onu kullanın. Robots.txt Oluşturucu bu ayarın yerine geçmez, çünkü ürettiği dosya canlı alan adınız için hazırlanmış bir metindir. Robots.txt taramayı kısıtlar ama Google'da zaten görünen sayfaları kaldırmaz. Ayarı değiştirdikten sonra siteyi yayınlayın ve webflow.io adresini Robots.txt Tester ile kontrol edin.

Robots.txt Webflow SEO için canonical etiketinin yerini tutar mı?

Hayır, ikisi farklı işler yapar. Robots.txt botların hangi yolları taramasına izin verildiğini söyler; canonical etiketi ise benzer sayfalardan hangisinin esas adres olduğunu belirtir. Araç yalnızca robots.txt metnini üretir, canonical etiketlerinize bakmaz ve onları düzeltmez. Webflow'da yinelenen içerik sorununuz varsa canonical ayarını sayfa veya CMS şablonu düzeyinde ayrıca kontrol etmeniz gerekir.

CMS koleksiyon sayfalarını robots.txt ile engellemeli miyim?

Aranmasını istediğiniz koleksiyon öğelerini, örneğin /blog altındaki yazıları, engellemeyin. Disallow: /blog yazarsanız botlar bu klasördeki tüm öğeleri taramaz. Yalnızca teşekkür sayfası gibi aranmasını istemediğiniz yolları Engellenecek yollar alanına yazın. Büyük CMS sitelerinde hangi koleksiyonun dizine girmesini istediğinizi önceden netleştirin, sonra çıktıyı Robots.txt Tester ile örnek bir öğe adresiyle deneyin. Bu deneme, Google'ın o sayfaları dizine ekleyeceğini kanıtlamaz; yalnızca kuralın adresi kapatıp kapatmadığını gösterir.

Tüm robotları engelle seçeneğini ne zaman kullanırım?

Henüz yayında olmayan, aranmasını hiç istemediğiniz bir alan adı için düşünebilirsiniz. Bu seçenek Disallow: / üretir ve Engellenecek yollar alanına yazdığınız yolları yok sayar. Müşterinin canlı sitesinde kullanırsanız tüm site taramaya kapanır. Canlı sitede Varsayılan politika olarak Tüm robotlara izin ver seçili kalsın; kapatmak istediğiniz sayfaları tek tek yol olarak yazmak çok daha güvenlidir. Lansmandan önce alan adını bağladıktan sonra Site settings içindeki Robots.txt alanını açıp bu satırın kalmadığından emin olun.

Kaynak: Webflow SEO rehberi ve yapılandırma adımları, varsayılan webflow.io hazırlık alan adının dizine girerse yinelenen içerik yaratabileceğini ve robots.txt'nin dizinlemeyi değil taramayı yönettiğini anlatıyor.