Robots.txt dosyası sitenizin sunucusunda bulunan basit bir txt dosyasıdır. Bu dosya Google robotlarının sitenizde hangi sayfaları ziyaret edeceğini, hangi sayfaları dizine eklemeyeceğini bildirir. Botlar sitenizi incelemeden önce ilk olarak robots.txt dosyanızı ziyaret ederler. Kısaca özetlemek gerekirse robots.txt dosyasını günümüz trafik polislerine benzetebiliriz.   Aşağıda yaygın olarak kullanılan robots.txt kodlarını görebilirsiniz. Site geneline izin verir -> User-agent: *Disallow: Site genelini erişime kapatır -> User-agent: *Disallow: / Abc klasörüne erişimi açar -> User-agent: *Disallow: /folder/ Abc klasörüne erişimi kapatır -> User-agent: *Disallow: /folder/