Die robots.txt Date wird verwendet, um das Verahlten von Suchmaschinenrobotern zu steuern. Wenn z.B. bei einer bestimmten Unterseite nicht gewünscht wird, dass diese von Bots aufgerufen werden kann, so wird diese Unterseite für Roboter über die robots.txt Datei mit dem Befehl "Disallow" gesperrt. Hier gehts zum robots.txt Generator