גוגל אוכפת מגבלת גודל קובץ robots.txt של 500 KB (KB). מתעלמים מתוכן החורג מגודל הקובץ המרבי. אתה יכול להקטין את גודל הרובוטים.