Bir robot txt dosyasının sınırı nedir?
Google 500 KB (KB) robots.txt dosya boyutu sınırı uygular. Maksimum dosya boyutunu aşan içerik yok sayılır. Robotların boyutunu azaltabilirsiniz.