网站时光机

title: 历史.
content: 网站时光机由互联网档案馆的创始人布鲁斯特·卡利和Bruce Gilliat于2001年推出,以解决网站在维护或关闭时无法查看内容的问题,此外还能查看网页的历史存档版本,创始人Kahle和Gilliat希望以此能为整个互联网“普及所有知识”(universal access to all knowledge)。。  Wayback Machine这个名称源于动画片The Rocky and Bullwinkle Show中的“WABAC机器 ”(发音为"Way-back" ),这是一个时间旅行装置。在动画片的皮博迪的不可能的历史一集中,角色使用这一机器来见证、参与甚至改变历史上的著名事件。  网站时光机于1996年开始存档缓存网页,目标是在五年后将服务公之于众。从1996年到2001年,信息保存在数字磁带上,Kahle偶尔允许研究人员和科学家使用数据库。2001年,互联网档案馆成立五周年时,加州大学伯克利分校举行了网站时光机的公布仪式。当Wayback Machine推出时,它已经存档了超过100亿个页面。  如今,数据存储在互联网档案馆的大型Linux节点群集上。有时会重新访问并存档网站的新版本(参见下文技术细节)。如果网站允许网络时光机“爬虫索引”网站并保存数据,则也可以通过在搜索框中输入网站的URL手动捕获网站。
title: 技术细节.
content: 网络时光机已经开发了软件用于“爬虫索引”并下载所有可公开访问的万维网页面、Gopher层次结构、Usenet公告板系统和可下载软件。这些“爬虫”收集的信息并不能包括互联网上所有可用的信息,因为许多数据受发布者限制或存储在不可访问的数据库中。为了克服部分缓存网站的不一致性,2005年,互联网档案馆开发了Archive-It.org,使得机构和内容创作者可以自愿收集和保存数字内容,并创建数字档案馆。  爬虫索引来自各种来源,其中一些是从第三方导入的,而另一些是由存档内部生成的。自2010年以来,""一直在运行,并捕获全球网站。  快照捕获的频率因网站而异。“Worldwide Web Crawls”中的网站包含在“爬网列表”(crawl list)中,每次爬网都会将网站存档一次。爬网可能需要数月甚至数年才能完成,具体取决于其大小。例如,"Wide Crawl Number 13"从2015年1月9日开始,于2016年7月11日完成。但是,一次可能有多个爬网正在进行,并且一个站点可能包含在多个爬网列表中,因此,对站点进行爬网的频率有很大的不同。
title: 存储容量的增加.
content: 随着多年来技术的发展,网站时光机的存储容量不断增加。2003年,仅经过两年的公开访问,网站时光机便以每月12兆字节的速度增长。数据存储在由互联网档案馆的工作人员定制设计的PetaBox机架系统上。第一个100兆字节的机架于2004年6月全面投入使用,不过很快就知道,它们需要的存储空间远不止这些。  互联网档案馆在2009年其定制的存储体系结构迁移到Sun开放式储存,并在Sun系统的加利福尼亚园区的Sun模块化数据中心中托管了一个新的数据中心。,网站时光机包含大约3千兆字节的数据,并以每月100兆字节的速度增长。  2013年1月,该公司宣布了2400亿个URL的突破性里程碑。2013年10月,该公司宣布了“保存页面”(Save a Page)功能,允许任何互联网用户存档URL的内容。这成为了托管恶意二进制文件的服务滥用威胁。  截至,网站时光机存有4350亿个网页,将近9PB的数据,并且每周增长约20TB。  据报道,,网站时光机存有约15 PB的数据。 ,网站时光机存有超过25PB的数据。
title: 成长.
content: 2013年10月至2015年3月,该网站的全球Alexa排名从163变为208。2019年3月,该排名为244。
title: 网站排除方针.
content: 历年来,网站时光机一直尊重机器人排除标准(robots.txt)以决定一个网站是否会被爬网;或者如果已经被爬网,它的存档是否可以公开查看。通过使用robots.txt,网站所有者可以选择退出网站时光机。如果站点阻止了网页存档,则域中以前存档的任何页面也将立即显示为不可用。此外,互联网档案馆表示,“有时网站所有者会直接联系我们,要求我们停止对网站进行爬网或存档。我们会遵守这些请求。”  2017年4月17日,有报道称,一些网站已经倒闭,成为暂停的域(Domain parking)。它们通过使用robots.txt把自己排除在搜索引擎之外,导致在无意中被网站时光机排除。  网站时光机的网站排除方针(Website exclusion policy)部分基于2002年加利福尼亚大学伯克利分校信息管理和系统学院发布的《管理删除请求和维护档案完整性的建议》(英语:Recommendations for Managing Removal Requests and Preserving Archival Integrity),此建议赋予网站所有者阻止访问网站存档的权利。网站时光机遵守了这一政策,以避免昂贵的诉讼。  网站排除方针于2017年开始放宽,当时它停止遵循robots.txt,并对美国政府和军方的网站进行爬网和显示网页。截至2017年4月,网站时光机更广泛地忽略了robots.txt,而不仅对于美国政府网站。
title: 用途.
content: 自2001年网站时光机公开发布以来,学者们一直在研究它的存储和收集数据的方式,以及其存档中实际包含的页面。截至2013年,学者们已经在网站时光机上撰写了大约350篇文章,其中大部分来自信息技术、图书馆学和社会科学领域。社会科学学者们使用网站时光机分析了从90年代中期至今网站的发展对公司的成长的影响。  当网站时光机存档一个页面时,它通常会包含大多数超链接,以使这些链接被互联网的不稳性定轻易破坏时,能够仍然保持活动状态。印度的研究人员研究了网站时光机保存在线学术出版物中的超链接的能力的有效性,发现它保存了略多于一半的超链接。  有记者使用网站时光机查看失效的网站、过时的新闻报道以及被更改的网站内容。其内容已被用于追究政治家的责任,揭穿争论场合上的谎言。2014年,乌克兰分离主义叛军领导人伊戈尔·斯特列尔科夫的社交媒体的存档页面显示,他吹嘘自己的部队击落了一架疑似乌克兰军用飞机,后来才知道这架飞机实际上是一架马航民航客机(马来西亚航空17号班机),之后,他删除了发布的这篇文章,并指责乌克兰军方击落了这架飞机。2017年,在社交网站reddit的讨论中,有人表示访问过"archive.org" 并发现白宫网站删除了所有提及气候变化的内容,对此,一位用户评论道:“科学家有必要在华盛顿举行一次游行”,此事成为了为科学游行(March for Science)举行的原因。  2020年第一季度,网站"web.archive.org"是各不同语言版本的维基百科中最受欢迎且最可靠的来源之一。

Summary: 网站时光机(英语:Wayback Machine)是万维网的数字档案馆,由位于美国加利福尼亚州旧金山的非营利组织互联网档案馆创建,亦为该组织最重要的服务之一。它允许用户“回到过去”,查看过去的网站的样子。其创始人布鲁斯特·卡利(Brewster Kahle)和Bruce Gilliat开发了网站时光机,旨在通过保存已失效网页的存档副本,以“普及所有知识”(英语:universal access to all knowledge)。自2001年推出以来,已有4520多亿页面被加入档案馆。

Wayback Machine: La Wayback Machine (littéralement « la machine à revenir en arrière ») est un site web mis à disposition par Internet Archive afin d'offrir un accès à des clichés instantanés de pages web stockés par l'organisme.