Die robots.txt-Datei ist unter anderem dafür da Suchmaschinen zu sagen, wie Sie mit der Webseite oder auch Unterseiten umgehen sollen. Sie liegt im root-Verzeichnis Ihrer Webseite Struktur. Beispielsweise können hier Anweisungen dazu gegeben werden eine Seite gar nicht bei der Suchmaschine zu indexieren. Außerdem können auch dauerhafte Umleitung (301-Redirects) auf eine neue URL durchgeführt werden.