Hocalar Robots. txt nasıl oluşturulur, nasıl çalışır ve ne işe yarar vs gibi bilgilere ihtiyacım var. Şimdiden teşekkürler. !!!

SawIV saolasın ayrıca konu burada varmış. !!!

Robots. txt dosyası genel olarak robotlara komutlar verdiğin dosyadır. Biraz ararsan Googlede hatta tahribat eski konularda bu konuyla ilgili detaylı bilgi var. Robots. txtlerle ilgili tek yenilik siteharitasının tüm robotlar tarafından algılanmasını sağlayan komuttur. Aşağıdaki rnekte robotların indexlememesi gereken dosyalar ve siteharitasının yeri belirtilmiştir. User-agent: Disallow: /cgi-bin/Disallow: /admin/Disallow: /ozel-dosyalar/Sitemap: http://www.bilmemne.com/sitemap. xml