人類未來研究所

人類未來研究所（Future of Humanity Institute，縮寫FHI）是牛津大學曾設立的跨學科研究中心，行政上隸屬該校哲學系。研究所由哲學家尼克·博斯特羅姆（Nick Bostrom）創辦，2005年在牛津馬丁學院（時稱詹姆斯·馬丁二十一世紀學院）資助下成立，匯集哲學、電腦科學、數學、經濟學和社會科學等領域的研究人員，探討可能決定人類長期前景的重大問題。

研究所的主要議題包括存在風險、全球災難風險、人工智慧安全與治理、生物安全、人類增強、全腦仿真、數字心靈、宏觀戰略、有效利他主義及長期主義。其研究和公共傳播推動了人工智慧生存風險及人類長期未來問題進入學術、政策與公眾討論。研究所於2024年4月16日關閉。

## 歷史

### 創辦與早期研究

研究所成立時原定運作三年，由博斯特羅姆擔任創始所長。詹姆斯·馬丁（James Martin）經牛津馬丁學院提供初始資金；研究所早期與牛津上廣實用倫理學中心共用辦公空間，並把對技術變革的前瞻研究同實用倫理學結合。2006年至2008年，研究所參加歐盟資助的ENHANCE項目，牛津團隊主要研究認知增強的倫理和社會影響。此後，研究重點逐漸集中於人類增強及其他變革性技術、全球災難與存在風險，以及如何在高度不確定條件下開展判斷和決策。

2007年，研究所舉辦全腦仿真研討會，安德斯·桑德伯格（Anders Sandberg）和博斯特羅姆據此於次年發表技術報告《全腦仿真：路線圖》，系統討論掃描、建模和模擬生物大腦所需的技術步驟及不確定性。2008年，研究所舉辦全球災難風險會議，博斯特羅姆與米蘭·M·契爾科維奇（Milan M. Ćirković）主編的《全球災難風險》（Global Catastrophic Risks）亦在同年出版。該書討論自然災害、核戰爭、生物技術、納米技術、人工智慧及社會崩潰等可能在全球尺度造成嚴重損害的風險，並嘗試建立跨風險的分析框架。這項會議和出版計劃成為研究所建設全球災難風險與存在風險研究領域的重要組成部分。

### 轉向人工智慧與擴張

約2010年後，研究所逐漸減少認知增強研究，把人工智慧安全列為核心方向。博斯特羅姆自2009年起撰寫有關存在風險的著作，其中人工智慧章節不斷擴展，最終形成2014年的《超智慧: 出現途徑、可能危機, 與我們的因應對策》（Superintelligence: Paths, Dangers, Strategies）。該書分析通往超智慧的可能路徑、智慧爆發、目標錯位和控制問題，並討論降低風險的技術及戰略方案。《紐約客》報導指出，該書使博斯特羅姆及研究所的人工智慧風險研究在矽谷和公共領域獲得顯著關注，同時也引發人工智慧研究者的強烈分歧。

研究所同時參與牛津馬丁學院「未來技術影響計劃」。卡爾·貝內迪克特·弗雷（Carl Benedikt Frey）和麥可·A·奧斯本（Michael A. Osborne）在該計劃中建立職業自動化機率模型，估計美國約47%的工作機會處於高電腦化風險之中；論文後來發表於《技術預測與社會變革》。

2015年，生命未來研究所向人類未來研究所和劍橋大學存在風險研究中心提供100萬英鎊，開展機器智能的技術與政策研究；資金來自埃隆·馬斯克和開放慈善項目等捐助者。牛津大學與劍橋大學據此組建聯合的戰略人工智慧研究中心，並擴充人工智慧安全研究。此前的2014年，《獨立報》刊登史蒂芬·霍金、斯圖爾特·羅素、馬克斯·泰格馬克和弗蘭克·維爾切克的聯合評論，將人類未來研究所列為當時少數專門研究人工智慧等生存風險的機構之一。

2017年，政治學家艾倫·達福（Allan Dafoe）建立人工智慧治理計劃，研究高級人工智慧對國際安全、權力關係、制度設計及國際合作的影響；該計劃後來成為研究所最大的團隊，並於2021年脫離牛津大學，改組為獨立的人工智慧治理中心。研究所還設立生物安全團隊、全球優先事項項目、人口倫理團隊、研究學者計劃及博士獎學金。鼎盛時期約有40名員工，另有實習生、訪問學者和學生研究人員。

研究所擴張也得到大額慈善資助。開放慈善項目於2017年提供160萬英鎊；2018年，Good Ventures與開放慈善項目承諾最多捐助1330萬英鎊，其中600萬英鎊為預先撥款，其餘部分同招聘進度掛鉤。這是當時牛津大學哲學系歷來數額最大的捐贈，資金主要用於校正人工智慧與治理、生物安全、青年研究人員培養和博士獎學金。

### 後期與關閉

2020年初，研究所生物安全團隊開始關注新型冠狀病毒疫情，並建議員工準備遠程工作。疫情期間，研究人員成立「流行病預測項目」，為政府人員提供疫情預測和不確定性分析，同時研究實驗室安全、全球穩定及極端風險治理。托比·奧德（Toby Ord）同年出版《The Precipice: Existential Risk and the Future of Humanity》，綜合討論核戰爭、氣候變化、自然與人工製造的疫情及失控人工智慧等存在風險；《紐約客》報導認為，冠狀病毒疫情使該書有關全球準備不足的論述更具現實意義。

研究所的最終報告稱，牛津大學哲學系自2020年起凍結其招聘與籌款，導致多名高級和青年研究人員離職；哲學繫於2023年底通知剩餘員工不再續約，研究所遂於2024年4月16日關閉。博斯特羅姆和桑德伯格把這一過程形容為長期「行政阻力」及官僚程序造成的衰亡。《牛津郵報》亦報導，研究所方面認為其在哲學系內受到日益增加的行政限制。

牛津大學發言人則表示，校方會定期審查最適合學術研究的組織結構，關閉決定是在研究治理程序中作出；校方承認研究所對新興領域的重要貢獻，並稱相關研究可能繼續由校內其他研究人員承擔。研究所關閉後，官方網站保留了論文檔案及桑德伯格撰寫的最終報告。

## 研究方向與成果

### 存在風險與宏觀戰略

存在風險是研究所長期貫穿各項目的核心概念。博斯特羅姆將其界定為可能造成人類滅絕，或永久、劇烈限制人類未來潛力的風險，並主張由於後果涉及整個人類未來，降低這類風險具有特殊的道德與政策重要性。研究所研究的風險包括核戰爭、自然或人工製造的流行病、人工智慧失控、納米技術、極端氣候變化、天體撞擊和未知技術危害，並發展風險分類、觀測選擇效應、預測和極端不確定性決策方法。博斯特羅姆後來提出「脆弱世界假說」，設想技術發展可能產生一種在現有治理條件下幾乎必然毀滅文明的能力，並討論技術管制、全球治理和監測措施可能帶來的安全收益與政治代價。

「宏觀戰略」研究試圖在多種相互關聯的技術、制度和價值不確定性中，尋找對人類長期未來影響最大的決策。相關工作和有效利他主義和長期主義相互影響，涉及研究優先次序、未來世代的道德地位、人口倫理、資訊危害、單邊主義者詛咒和道德不確定性。研究所與有效利他主義中心合作建立全球優先事項項目，研究政府和慈善資源應如何配置，並參與推動全球優先事項研究成為獨立學術領域。

### 人工智慧與新興技術

人工智慧研究分為技術安全和治理兩條主線。技術安全工作關注高級人工智慧的目標設定、可控性、價值學習、可解釋性、獎勵設計及多智能體互動；治理研究則考察國家競爭、企業行為、算力與研發資源、國際協調、軍備競賽和監管制度。2018年，研究所研究人員與OpenAI、電子前沿基金會、劍橋大學存在風險研究中心等機構合作發表《人工智慧的惡意使用》，分析人工智慧在數字安全、實體安全和政治安全領域被濫用的可能方式，並提出改進預測、預防及緩解機制。

研究所也研究人類增強、神經倫理、全腦仿真、數字心靈、納米技術、地外文明和極端豐裕社會。桑德伯格曾就向地外智慧生命發送資訊主張審慎，認為高度先進文明既可能帶來知識與幫助，也可能構成難以評估的危險；他同時認為「天空為何寂靜」可能關係到人類文明能否長期存續。研究所晚期還開展「數字心靈」和「宏大未來」項目，分別研究人工智慧是否可能具有感受能力及其倫理地位，以及未來智能、能源和文明發展的物理與計算極限。

博斯特羅姆在研究所關閉前出版《深層烏托邦：已解決世界中的生活與意義》（Deep Utopia: Life and Meaning in a Solved World），把研究重點從避免災難擴展到人工智慧順利發展、疾病和物質匱乏等問題得到解決後，人類如何尋找意義、目標與價值。《獨立報》將其概括為對「後工作」、「後稀缺」乃至「後工具性」社會的思想實驗。

### 政策與公共傳播

研究所除發表學術論文和專著外，也通過會議、部落格、報告、議會證詞和政府諮詢推動新興議題進入政策討論。博斯特羅姆曾向英國上議院人工智慧委員會作證；奧德及其他研究人員就國家安全、極端風險、疫情準備和人工智慧政策向英國議會提交證據。研究人員還參加2015年波多黎各人工智慧會議和2017年阿西洛馬會議，並同學術界、產業界及非營利組織建立合作網路。

## 影響與爭議

研究所推動存在風險、人工智慧對齊、人工智慧治理、全腦仿真和長期主義等議題獲得更廣泛關注。牛津馬丁學院稱其已成為研究人類長期與宏觀問題的知名跨學科中心；其研究也獲得Good Ventures、開放慈善項目等慈善機構的支持。《自然》在研究所關閉後指出，「深層未來」研究已擴散到多個學科和機構，其研究者繼續嘗試預測並防止可能威脅人類的情景。

人工智慧生存風險研究長期存在學術爭議。《紐約客》2015年的報導指出，不少人工智慧研究者認為智能爆炸和超級智能失控缺乏現實依據，或者會轉移社會對演算法偏見、就業衝擊和現有系統安全等近期問題的關注；支持者則認為，後果一旦極端嚴重，即使發生時間和可能性仍高度不確定，也值得提前研究。長期主義亦被批評可能把遙遠未來置於當前貧困、氣候變化和社會不平等等問題之上，並可能為高度集中的治理或監控措施提供理由。博斯特羅姆的「脆弱世界假說」雖討論全面監控和預防性執法等方案，但原文同時強調這些措施本身可能造成嚴重濫用，不能據此直接得出總體政策結論。

2023年，博斯特羅姆在1996年一封電子郵件中的種族主義言論被公開。他隨後道歉並否定這些言論，牛津大學啟動調查，有效利他主義中心等相關機構亦公開譴責。此事加劇了外界對博斯特羅姆、人類增強、長期主義和優生學歷史聯繫的爭論。不過，牛津大學公開解釋關閉決定時僅提到研究治理和組織結構審查，並未說明該調查是關閉研究所的原因。

## 外部連結

- https://www.futureofhumanityinstitute.org/
- 《人類未來研究所2005—2024年最終報告》，牛津大學研究檔案庫

## 基本資料

- 原文名：Future of Humanity Institute
- 原文名：en
- 簡稱：FHI
- 成立時間：2005年
- 撤銷：2024年4月16日
- 類型：跨學科研究中心
- 總部：英格蘭牛津
- 上級組織：牛津大學哲學系
- 所長：尼克·博斯特羅姆