Bei einer robots.txt-Datei handelt es sich um eine Textdatei. Diese ist eine Art Anleitung für Bots und Crawler (z.B. Googlebot), in der steht, welche Verzeichnisse einer Website gelesen werden dürfen und welche nicht. So können zum Beispiel auch doppelte Dateien von der Indexierung ausgeschlossen werden.