Nel 1996 Brewster Kahle, con Bruce Gilliat, ha sviluppato un software per scansionare e scaricare tutte le pagine del World Wide Web accessibili al pubblico, la gerarchia Gopher, il bollettino Netnews (Usenet) e il software scaricabile. Le informazioni raccolte da questi "crawler" non comprendono tutte le informazioni disponibili su Internet, poiché la maggior parte dei dati è limitata dall' editore o memorizzata in database non accessibili. Questi "crawler" rispettano anche lo standard di esclusione dei robot per i siti web i cui proprietari scelgono di non apparire nei risultati delle ricerche o di non essere messi in cache. Per superare le incongruenze nei siti web parzialmente in cache, Archive-It.
Quando è stato necessario il programma per scansionare e archiviare il web creato?
1996