人类未来研究所

人类未来研究所（Future of Humanity Institute，缩写FHI）是牛津大学曾设立的跨学科研究中心，行政上隶属该校哲学系。研究所由哲学家尼克·博斯特罗姆（Nick Bostrom）创办，2005年在牛津马丁学院（时称詹姆斯·马丁二十一世纪学院）资助下成立，汇集哲学、计算机科学、数学、经济学和社会科学等领域的研究人员，探讨可能决定人类长期前景的重大问题。

研究所的主要议题包括存在风险、全球灾难风险、人工智能安全与治理、生物安全、人类增强、全脑仿真、数字心灵、宏观战略、有效利他主义及长期主义。其研究和公共传播推动了人工智能生存风险及人类长期未来问题进入学术、政策与公众讨论。研究所于2024年4月16日关闭。

## 历史

### 创办与早期研究

研究所成立时原定运作三年，由博斯特罗姆担任创始所长。詹姆斯·马丁（James Martin）经牛津马丁学院提供初始资金；研究所早期与牛津上广实用伦理学中心共用办公空间，并把对技术变革的前瞻研究同实用伦理学结合。2006年至2008年，研究所参加欧盟资助的ENHANCE项目，牛津团队主要研究认知增强的伦理和社会影响。此后，研究重点逐渐集中于人类增强及其他变革性技术、全球灾难与存在风险，以及如何在高度不确定条件下开展判断和决策。

2007年，研究所举办全脑仿真研讨会，安德斯·桑德伯格（Anders Sandberg）和博斯特罗姆据此于次年发表技术报告《全脑仿真：路线图》，系统讨论扫描、建模和模拟生物大脑所需的技术步骤及不确定性。2008年，研究所举办全球灾难风险会议，博斯特罗姆与米兰·M·契尔科维奇（Milan M. Ćirković）主编的《全球灾难风险》（Global Catastrophic Risks）亦在同年出版。该书讨论自然灾害、核战争、生物技术、纳米技术、人工智能及社会崩溃等可能在全球尺度造成严重损害的风险，并尝试建立跨风险的分析框架。这项会议和出版计划成为研究所建设全球灾难风险与存在风险研究领域的重要组成部分。

### 转向人工智能与扩张

约2010年后，研究所逐渐减少认知增强研究，把人工智能安全列为核心方向。博斯特罗姆自2009年起撰写有关存在风险的著作，其中人工智能章节不断扩展，最终形成2014年的《超级智能：路径、危险与策略》（Superintelligence: Paths, Dangers, Strategies）。该书分析通往超级智能的可能路径、智能爆炸、目标错位和控制问题，并讨论降低风险的技术及战略方案。《纽约客》报道指出，该书使博斯特罗姆及研究所的人工智能风险研究在硅谷和公共领域获得显著关注，同时也引发人工智能研究者的强烈分歧。

研究所同时参与牛津马丁学院“未来技术影响计划”。卡尔·贝内迪克特·弗雷（Carl Benedikt Frey）和迈克尔·A·奥斯本（Michael A. Osborne）在该计划中建立职业自动化概率模型，估计美国约47%的工作机会处于高计算机化风险之中；论文后来发表于《技术预测与社会变革》。

2015年，生命未来研究所向人类未来研究所和剑桥大学存在风险研究中心提供100万英镑，开展机器智能的技术与政策研究；资金来自埃隆·马斯克和开放慈善项目等捐助者。牛津大学与剑桥大学据此组建联合的战略人工智能研究中心，并扩充人工智能安全研究。此前的2014年，《独立报》刊登斯蒂芬·霍金、斯图尔特·罗素、马克斯·泰格马克和弗兰克·维尔切克的联合评论，将人类未来研究所列为当时少数专门研究人工智能等生存风险的机构之一。

2017年，政治学家艾伦·达福（Allan Dafoe）建立人工智能治理计划，研究高级人工智能对国际安全、权力关系、制度设计及国际合作的影响；该计划后来成为研究所最大的团队，并于2021年脱离牛津大学，改组为独立的人工智能治理中心。研究所还设立生物安全团队、全球优先事项项目、人口伦理团队、研究学者计划及博士奖学金。鼎盛时期约有40名员工，另有实习生、访问学者和学生研究人员。

研究所扩张也得到大额慈善资助。开放慈善项目于2017年提供160万英镑；2018年，Good Ventures与开放慈善项目承诺最多捐助1330万英镑，其中600万英镑为预先拨款，其余部分同招聘进度挂钩。这是当时牛津大学哲学系历来数额最大的捐赠，资金主要用于校正人工智能与治理、生物安全、青年研究人员培养和博士奖学金。

### 后期与关闭

2020年初，研究所生物安全团队开始关注新型冠状病毒疫情，并建议员工准备远程工作。疫情期间，研究人员成立“流行病预测项目”，为政府人员提供疫情预测和不确定性分析，同时研究实验室安全、全球稳定及极端风险治理。托比·奥德（Toby Ord）同年出版《The Precipice: Existential Risk and the Future of Humanity》，综合讨论核战争、气候变化、自然与人工制造的疫情及失控人工智能等存在风险；《纽约客》报道认为，冠状病毒疫情使该书有关全球准备不足的论述更具现实意义。

研究所的最终报告称，牛津大学哲学系自2020年起冻结其招聘与筹款，导致多名高级和青年研究人员离职；哲学系于2023年底通知剩余员工不再续约，研究所遂于2024年4月16日关闭。博斯特罗姆和桑德伯格把这一过程形容为长期“行政阻力”及官僚程序造成的衰亡。《牛津邮报》亦报道，研究所方面认为其在哲学系内受到日益增加的行政限制。

牛津大学发言人则表示，校方会定期审查最适合学术研究的组织结构，关闭决定是在研究治理程序中作出；校方承认研究所对新兴领域的重要贡献，并称相关研究可能继续由校内其他研究人员承担。研究所关闭后，官方网站保留了论文档案及桑德伯格撰写的最终报告。

## 研究方向与成果

### 存在风险与宏观战略

存在风险是研究所长期贯穿各项目的核心概念。博斯特罗姆将其界定为可能造成人类灭绝，或永久、剧烈限制人类未来潜力的风险，并主张由于后果涉及整个人类未来，降低这类风险具有特殊的道德与政策重要性。研究所研究的风险包括核战争、自然或人工制造的流行病、人工智能失控、纳米技术、极端气候变化、天体撞击和未知技术危害，并发展风险分类、观测选择效应、预测和极端不确定性决策方法。博斯特罗姆后来提出“脆弱世界假说”，设想技术发展可能产生一种在现有治理条件下几乎必然毁灭文明的能力，并讨论技术管制、全球治理和监测措施可能带来的安全收益与政治代价。

“宏观战略”研究试图在多种相互关联的技术、制度和价值不确定性中，寻找对人类长期未来影响最大的决策。相关工作和有效利他主义和长期主义相互影响，涉及研究优先次序、未来世代的道德地位、人口伦理、信息危害、单边主义者诅咒和道德不确定性。研究所与有效利他主义中心合作建立全球优先事项项目，研究政府和慈善资源应如何配置，并参与推动全球优先事项研究成为独立学术领域。

### 人工智能与新兴技术

人工智能研究分为技术安全和治理两条主线。技术安全工作关注高级人工智能的目标设定、可控性、价值学习、可解释性、奖励设计及多智能体互动；治理研究则考察国家竞争、企业行为、算力与研发资源、国际协调、军备竞赛和监管制度。2018年，研究所研究人员与OpenAI、电子前沿基金会、剑桥大学存在风险研究中心等机构合作发表《人工智能的恶意使用》，分析人工智能在数字安全、实体安全和政治安全领域被滥用的可能方式，并提出改进预测、预防及缓解机制。

研究所也研究人类增强、神经伦理、全脑仿真、数字心灵、纳米技术、地外文明和极端丰裕社会。桑德伯格曾就向地外智慧生命发送信息主张审慎，认为高度先进文明既可能带来知识与帮助，也可能构成难以评估的危险；他同时认为“天空为何寂静”可能关系到人类文明能否长期存续。研究所晚期还开展“数字心灵”和“宏大未来”项目，分别研究人工智能是否可能具有感受能力及其伦理地位，以及未来智能、能源和文明发展的物理与计算极限。

博斯特罗姆在研究所关闭前出版《深层乌托邦：已解决世界中的生活与意义》（Deep Utopia: Life and Meaning in a Solved World），把研究重点从避免灾难扩展到人工智能顺利发展、疾病和物质匮乏等问题得到解决后，人类如何寻找意义、目标与价值。《独立报》将其概括为对“后工作”、“后稀缺”乃至“后工具性”社会的思想实验。

### 政策与公共传播

研究所除发表学术论文和专著外，也通过会议、博客、报告、议会证词和政府咨询推动新兴议题进入政策讨论。博斯特罗姆曾向英国上议院人工智能委员会作证；奥德及其他研究人员就国家安全、极端风险、疫情准备和人工智能政策向英国议会提交证据。研究人员还参加2015年波多黎各人工智能会议和2017年阿西洛马会议，并同学术界、产业界及非营利组织建立合作网络。

## 影响与争议

研究所推动存在风险、人工智能对齐、人工智能治理、全脑仿真和长期主义等议题获得更广泛关注。牛津马丁学院称其已成为研究人类长期与宏观问题的知名跨学科中心；其研究也获得Good Ventures、开放慈善项目等慈善机构的支持。《自然》在研究所关闭后指出，“深层未来”研究已扩散到多个学科和机构，其研究者继续尝试预测并防止可能威胁人类的情景。

人工智能生存风险研究长期存在学术争议。《纽约客》2015年的报道指出，不少人工智能研究者认为智能爆炸和超级智能失控缺乏现实依据，或者会转移社会对算法偏见、就业冲击和现有系统安全等近期问题的关注；支持者则认为，后果一旦极端严重，即使发生时间和可能性仍高度不确定，也值得提前研究。长期主义亦被批评可能把遥远未来置于当前贫困、气候变化和社会不平等等问题之上，并可能为高度集中的治理或监控措施提供理由。博斯特罗姆的“脆弱世界假说”虽讨论全面监控和预防性执法等方案，但原文同时强调这些措施本身可能造成严重滥用，不能据此直接得出总体政策结论。

2023年，博斯特罗姆在1996年一封电子邮件中的种族主义言论被公开。他随后道歉并否定这些言论，牛津大学启动调查，有效利他主义中心等相关机构亦公开谴责。此事加剧了外界对博斯特罗姆、人类增强、长期主义和优生学历史联系的争论。不过，牛津大学公开解释关闭决定时仅提到研究治理和组织结构审查，并未说明该调查是关闭研究所的原因。

## 外部链接

- https://www.futureofhumanityinstitute.org/
- 《人类未来研究所2005—2024年最终报告》，牛津大学研究档案库

## 基本资料

- 原文名：Future of Humanity Institute
- 原文名：en
- 简称：FHI
- 成立时间：2005年
- 撤销：2024年4月16日
- 类型：跨学科研究中心
- 总部：英格兰牛津
- 上级组织：牛津大学哲学系
- 所长：尼克·博斯特罗姆