robots.txt nedir ve nasıl yazılır?
robots.txt, sunucunuzun kök dizininde duran ve arama motoru tarayıcılarına sitenizin hangi bölümlerini tarayabileceklerini söyleyen küçük bir metin dosyasıdır. Doğru yazıldığında özel sayfaları korur ve tarama bütçesini verimli kullanır; yanlış yazıldığında sitenizin tamamını Google'dan gizleyebilir.
robots.txt kuralları nasıl çalışır?
Dosya basit kurallar kullanır. User-agent tarayıcıyı seçer, Disallow bir yolu engeller, Allow bir yolu yeniden açar, Sitemap ise sitemap dosyanızı gösterir. Arkasında hiçbir şey olmayan boş bir Disallow satırı, her şeye izin verildiği anlamına gelir.
- User-agent: * — tüm tarayıcılar için geçerlidir.
- Disallow: /admin/ — admin klasörünü engeller.
- Allow: /admin/open/ — bir yolu yeniden açar.
- Sitemap: https://ornek.com/sitemap.xml — sitemap'inizi duyurur.
Sıralamayı bozan yaygın hatalar
En sık yapılan hata CSS ve JavaScript dosyalarını engellemektir — Google böylece bozuk bir sayfa işler. robots.txt ayrıca bir sayfayı dizinden kaldıramaz; bunun için noindex etiketi kullanın. Unutmayın: bozuk bir Disallow satırı tüm siteyi yanlışlıkla engelleyebilir.
FreetoolsY ile temiz bir robots.txt üretin
Robots.txt Generator, izin verilen ve engellenen yollarınızdan dosyayı oluşturur ve tek tıkla kopyalamanızı sağlar. Dosyayı küçük tutun, sonrasında Search Console'da test edin ve noindex etiketi ile canonical adreslerle birlikte kullanın — üçü bir arada Google'ın sitenizi nasıl tarayacağı konusunda size tam kontrol verir.