开放资料

<image>

开放资料指的是经过挑选和许可、可以被任何人自由使用、再利用和再分发的数据。这类数据不受著作权、专利权以及其他管理机制的限制，其开放性使得数据能够被广泛共享和应用。开放数据运动与开放源代码、内容开放以及开放获取等其他“开放”运动有着共同的核心理念，即促进信息共享、协同合作和创新发展。

## 定义

根据开放知识的定义，开放数据具有以下特性：

- 可获取性与可访问性：数据应当可以完整获取，并且获取成本不高，理想情况下能够通过网络下载。数据需以易于修改和再利用的格式（如CSV、TSV、JSON等机器可读格式）提供。
- 再利用与再分发：数据应当在允许再利用和再分发的许可协议下发布，且该许可协议不得对使用主体或用途设置限制。例如，禁止商业用途或限定特定领域使用的协议均不符合开放数据的要求。
- 普遍参与性：所有人都应有平等机会使用、再利用和再分发这些数据，不允许存在任何人为限制。

开放数据还强调互用性，即不同来源、不同格式的数据能够相互整合和协同工作，从而支持建立更大规模和复杂度的信息系统。

## 概论

一般来说，Open Data 的应用主要为非文字的资料素材，像是地图、基因体、联结体、化学分子、数学以及科学公式、医学资料与应用，生命科学以及生物多样性。开放这些资料时常常会因为这些资料本身具有的商业价值，或是经过汇整后可以成为有价值的产品，而引发出不同声音的意见。资料的读取，再次使用等，一般都由特定组织所监管，这些组织可能为私人或是公家机关。资料的读取和再次使用的监管方法可能为，资料读取的限制，透过版权与授权，专利的申请，或是付费要求等。Open Data 的倡议者们认为，这些限制都有违公众的利益同时这些资料都应该能自由取得，没有限制也不该索取费用。除此之外，资料的再次使用也不该需要其他的许可，虽然依照再次使用的不同性质（例如延伸性的创作）可以经由授权来控管。

一个典型关于为何我们需要资料开放的说法：

许多科学家都曾经指出，在这历史的一刻，正当我们拥有技术能力将科学资料以全球性的层次来发布和送出，加强彼此之间的合作关系和加快加深新科技的发明时，很讽刺的看到我们忙着将资料封闭起来，并严禁使用更先进的技术在这些知识上

资料的创造者通常不会考量到资料应该标注的拥用者、授权方式以及再次使用的限制等资讯。举例来说，对很多科学家来说，他们不会把因为工作而公布刊出的资料看成是属于他们所有而设限，并把这些资料在期刊上的刊出视为将资料释放到公众领域的方法。但是，因为没有确切的授权声明让人无法清楚知晓该资料集（data set）的状态并可能对这些在开放的精神下释出的资料在使用范围上造成限制。因为这些不确定性也造成公众或是私人组织与机构例如 IEEE有机会汇集这些资料，然后使用版权宣告来限制资料的使用授权或是进而贩卖这些资料。

在 "Toward Open Data" （迈向资料开放）一书中，Connolly (2005, v.i.) 列出两句引言:

- I want my data back. - 我要拿回我的资料（Jon Bosak circa 1997）
- I've long believed that customers of any application own the data they enter into it. 长久以来，我一直相信客户拥有他们输入于任何一个应用程序内的资料的完整所有权.（这句引言指的是关于 Veen 自己的心律资料）

## 历史背景与发展

开放数据的理念已存在多年，但“开放数据”这一术语是在互联网崛起后逐渐获得广泛关注的。自2009年以来，美国、英国、加拿大、新西兰等国家陆续推出公众信息开放计划，使得开放数据成为主流媒体讨论的焦点。与此同时，开放政府数据作为开放数据的重要组成部分，由于其数据种类繁多、量大且大部分受到法律规定必须公开，成为推动数据开放的重要力量。

在科学界，开放数据的理念可追溯到20世纪中期的默顿规范传统，旨在通过信息共享促进学术合作和技术创新；而在政府领域，各国政府陆续建立了数据目录和在线平台，如美国的Data.gov、英国的Data.gov.uk、加拿大的Data.gc.ca等，推动政府信息透明化和社会监督。

### 开放科学数据

关于 科学资料的开放获取 概念的制度化主要源自为了准备在 1957-1958 年间举办的 International Geophysical Year 所建构的 World Data Center 系统。The International Council of Scientific Unions (现在改名为 International Council for Science) 建立了数个 World Data Centers 以求尽可能降低资料减损的可能性，并尽可能扩大资料的获取性，并在 1955 年提出新的建议，要求资料必须以“机器可读取”的格式来储存。

虽然开放-科学-资料运动的发起是在互联网出现之前就已经展开，但是一个快速，遍布更广的网络系统的出现，彻底改变了开放科学资料的环境，因为将资料的刊出与取得的代价都不像前那般昂贵，也不用花那么大的精力。

在 2004，所有 经济合作与发展组织 (Organisation for Economic Co-operation and Development, OECD) 会员国的科技长官，这包含了世界上大多数“已开发”国家，签署了一份共同声明主要内容为，所有由公家机关出资收集的资料都必需要公开释出。紧随着对会员国内各资料产出机构发出的要求和激烈的争辩，OECD 在 2007 发布了 经济合作暨发展组织公帑赞助研究资料之近用原则与基准 (OECD Principles and Guidelines for Access to Research Data from Public Funding) 的软性约定 (soft-law)建议。

### 开放政府数据

开放政府数据特指政府收集和管理的信息数据，通常受到法律规定必须公开。这类数据因其数量庞大、种类丰富以及数据质量较高而备受关注。开放政府数据的开放可以促进政府效能提升、降低运作成本，并为公众、企业和研究者提供数据支持，从而推动社会经济发展。

有些国家及地区政府已经建立了网站，来发布他们收集的部分数据。

- 联合国世界银行统计数据下载 http://data.worldbank.org.cn/
- Data.gov - 美国政府的 open-data 网站，2009 年 5 月启用。2013年，时任美国总统奥巴马签署要求“联邦政府资讯应具有开放性和机器可读性”的行政命令，要求联邦政府机关在网络上开放发布其非敏感性资料时应具有机器可读性。2018年12月美国国会通过《开放、公开、电子化与必要的政府资料法》将该行政命令法律化，2019年1月经过川普总统签字后生效。
- Data.gov.uk - 英国政府的 open-data 网站，2009 年9 月启用。
- Data.gov.au - 澳大利亚政府的 open-data 网站，2011 年 3 月启用。
- Data.gc.ca - 加拿大政府的 open-data 网站，2011 年 3 月启用。
- opendata.go.ke - 肯亚政府的 open-data 网站，2011 年 7 月启用。
- data.norge.no - 挪威政府的 open-data 网站，2010 年 4 月启用。
- data.overheid.nl - 荷兰政府的 open-data 网站。
- data.gov.tw - 台湾的政府开放资料平台，2013年4月29日启用。
- data.gov.in - 印度的政府资料开放平台，2013年5月启用。
- data.gov.hk - 香港政府资料一线通，2011 年 3 月 31 日启用。

台湾在2010年由“青平台”开始推动“台湾开放资料计划”，并注册 opendata.tw / opendata.org.tw 两个网址。2011年台北市政府成立台湾第一个政府的开放资料平台2015年4月，行政院宣布制定“政府资料开放咨询小组设置要点”，广邀民间公（协）会、社会团体代表、学者专家与各机关代表等参与，在政院层级由时任行政院副院长张善政担任召集人，于同年6月1日召开首次会议，中央各二级机关也分别设置咨询小组，推动开放资料工作。

## 实施与挑战

实施开放数据的过程通常是一个迭代过程，主要包括以下几个环节：

- 数据集选取：初期常从小规模、简单的数据集开始，以便积累经验。
- 开放许可协议的应用：在法律上确保数据开放，使数据的使用、再利用和再分发不受不合理限制。
- 数据的技术开放：保证数据能够整批获取，并以开放、机器可读的格式发布。常见的技术手段包括在线下载、API、FTP服务器、BitTorrent等。
- 数据的发现与传播：利用数据目录、第三方平台和社区参与，使数据易于被目标用户找到和利用。

尽管开放数据带来诸多优势，但在实际操作过程中也面临一些挑战：

- 数据质量与标准化：不同来源的数据格式不一、更新不及时以及缺乏标准化处理，可能影响数据整合和再利用效果。
- 隐私与安全问题：确保开放数据不包含个人敏感信息和涉及国家安全的内容，是数据开放必须解决的问题。
- 搭便车问题：由于数据收集和维护往往需耗费大量资源，如何平衡公共投入与数据免费开放之间的关系，始终是争论的焦点。
- 技术与成本：数据的开放不仅涉及技术实现，还需要长期投入维护费用，特别是通过API提供实时更新服务时，成本压力较大。

## 与其他开放运动的关系

开放数据运动与开放源代码、开放内容、开放获取等运动具有相似的目标，即促进知识共享和公共利益最大化。开放数据强调的是数据本身的共享与再利用，而开放获取则主要关注学术论文及科研成果的免费访问。

## 推广 Open Data 概念的组织

- 汉斯·罗斯林 Gapminder基金会 http://www.gapminder.org http ://www.facebook.com/gapminder.org http://www.gapminder.org/downloads
- d8taplex
- Scholarly Publishing and Academic Resources Coalition
- "Free our data" (The Guardian technology section)
- The Open Knowledge Foundation
- Talis
- Linking Open Data on the Semantic Web
- Blue Obelisk
- Infochimps.org
- Freebase
- Factual
- Information Retrieval Facility
- Open Data Network - Germany
- OpenSourceApi
- Socrata
- Regards Citoyens - France
- Open Data Day, December 4th, 2010 - International Hackathon
- International Development Research Centre

## 外部链接

- 开放资料定义
- 开放资料问答
- 开放资料的五星级
- OpenPSI the ( OpenPSI project ) is a community effort to create UK government linked data service that supports research. It is a collaboration between the University of Southampton and the UK government, led by OPSI at the National Archive and is supported by JISC funding.
- Talis Community License
- Open Data Commons Database Licence (an update to the Talis Community License)
- Open Data Commons - legal tools for open data
- CKAN - a registry of open data from the Open Knowledge Foundation
- Tim Berners-Lee 在 2009 TED大会 的关于 "Raw Data Now" 演说影片
- Six minute Video of Tim Berners-Lee at TED 大会 2010 showing examples of open data
- 台湾青平台基金会 Open Data 计划
- Open Data Handbook