Google valvoo 500 KB (KB) robots.txt tiedoston kokorajoitus. Sisältöä, joka ylittää tiedoston enimmäiskoon, ei oteta huomioon. Voit pienentää robottien kokoa.