Robots. txt è utilizzato come parte del Robots Exclusion Standard, un protocollo volontario che l' Archivio Internet rispetta che impedisce ai bot di indicizzare alcune pagine delineate dal suo creatore come off-limits. Di conseguenza, l' Archivio Internet ha reso indisponibile un certo numero di siti web che ora sono inaccessibili attraverso la Wayback Machine. Attualmente, l' Archivio Internet applica le regole robotots.
Se un sito impedisce all' archivio Internet di registrarlo, quale file viene ancora salvato?
Robots