n::::技术细节.网络时光机已经开发了软件用于“爬虫索引”并下载所有可公开访问的万维网页面、Gopher层次结构、Usenet公告板系统和可下载软件。这些“爬虫”收集的信息并不能包括互联网上所有可用的信息，因为许多数据受发布者限制或存储在不可访问的数据库中。为了克服部分缓存网站的不一致性，2005年，互联网档案馆开发了Archive-It.org，使得机构和内容创作者可以自愿收集和保存数字内容，并创建数字档案馆。爬虫索引来自各种来源，其中一些是从第三方导入的，而另一些是由存档内部生成的。自2010年