Die “Wayback Machine” auf archive.org hat auch einen Verlauf der robots.txt-Dateien für die Websites, die sie crawlen. Sie können auf ein beliebiges Datum klicken, für das sie Daten haben, und sehen, was die Datei an diesem Tag enthielt.