Robots.txt Oluşturucu
Bir web sitesinin arka planındaki en sessiz ama en güçlü yönetici robots.txt dosyasıdır. Bu basit metin dosyası, sitenize gelen Google, Bing veya Yandex gibi arama motoru botlarına (örümceklerine) hangi kapıdan girip hangi kapıdan girmemeleri gerektiğini söyler.
Yukarıdaki Robots.txt Oluşturucu Aracı, kodlama bilmenize gerek kalmadan, siteniz için en sağlıklı ve SEO uyumlu dosyayı saniyeler içinde hazırlar.
Robots.txt Nedir ve Neden Önemlidir?
Bu dosya, sitenizin ana dizininde (root) bulunur (siteadi.com/robots.txt). Arama motoru botları sitenize geldiğinde ilk olarak bu dosyayı okur.
- Tarama Bütçesi (Crawl Budget): Google’ın sitenizde geçireceği süre sınırlıdır. Gereksiz sayfaları (Admin paneli, etiket sayfaları vb.) engelleyerek, botların önemli sayfalarınıza odaklanmasını sağlarsınız.
- Güvenlik: Yönetici paneli (
/wp-admin/gibi) veya özel dosyaların Google arama sonuçlarında çıkmasını engeller. - Site Haritası: Botlara haritanızın nerede olduğunu göstererek indekslenme hızınızı artırır.
Robots.txt Komutları Ne Anlama Gelir?
- User-agent: Kuralın hangi bot için geçerli olduğunu belirtir.
*işareti “Tüm botlar” demektir. - Disallow (İzin Verme): Botların girmesini istemediğiniz klasör veya sayfalardır.
- Örnek:
Disallow: /admin/(Admin klasörüne girme)
- Örnek:
- Allow (İzin Ver): Yasaklı bir klasörün içindeki özel bir dosyaya izin vermek için kullanılır.
- Sitemap: Site haritanızın tam yolunu belirtir.
En Sık Yapılan Hata!
Sitenizi yapım aşamasındayken Disallow: / komutuyla tüm botlara kapatmış olabilirsiniz. Siteyi yayına aldığınızda bu satırı kaldırmayı unutursanız, siteniz Google’dan tamamen silinir. Aracımızı kullanarak temiz bir dosya oluşturup FTP üzerinden ana dizine yükleyebilirsiniz.
SEO çalışmalarınızda URL yapınızı düzeltmek isterseniz SEO Uyumlu Link Oluşturucu, sitenizin hızını kontrol etmek isterseniz İnternet Hız Testi araçlarımızı kullanabilirsiniz.