Wenn dir kleine Fehler in der robots.txt passieren, passiert normalerweise nichts Schlimmes! Die Web-Crawler ignorieren die falschen oder unvollständigen Anweisungen. Es kann also passieren, dass unfertige Bereiche der Webseite in den Index gelangen, diese lassen sich aber eigentlich auch wieder entfernen!