Robots. txt Nedir? Robots. txt en basit anlamda web sunucusuna yerleştirilen bir komut dosyasıdır. SEO çalışmaları açısından önemli olan robots. txt dosyası sayesinde arama motoru botlarına sitenizde hangi bölümlerin dizine eklenip, hangi bölümlerin eklenmeyeceğinin bilgisi verilmektedir. Arama motoru botları web siteleri ziyaret ettiğinde ilk olarak robots. txt dosyasını ziyaret etmektedir. Böylece dosyadaki komutlara göre taranacak dizinleri tespit ederek, sitenin izin verilen bölümlerini arama ağı dizinlerine eklerler. Bazı durumlarda web sitesinin önemli bilgiler içeren kimi bölümleri arama motoru botlarının erişimine kapatılmak istenmektedir. Böyle durumlarda robots. txt kullanımından faydalanılmaktadır. Ancak robots. txt dosyası oluştururken çok dikkatli olunmalıdır. Çünkü yanlış oluşturulacak bir robots. txt dosyası sonrasında sitenin gerekli olan bölümleri arama motorlarının erişimine kapatılabilir. Bu da SEO açısından sitenize zarar verebilir.