Maksymalna waga pliku robots.txt
Nie ma żadnego oficjalnego limitu dotyczącego maksymalnej wagi pliku robots.txt. Jednak zaleca się, aby plik ten był jak najmniejszy, ponieważ roboty wyszukiwarek muszą go pobrać za każdym razem, gdy przeglądają witrynę, co może wpłynąć na czas ładowania strony.
Przyjęło się, że plik robots.txt nie powinien przekraczać rozmiaru 500 KB. Jednak wiele popularnych robotów wyszukiwarek, takich jak Googlebot czy Bingbot, obsługuje pliki o znacznie większych rozmiarach, a niektóre nawet do 10 MB.