人工智慧安全

人工智慧安全（英語：Artificial Intelligence Safety，簡稱AI安全）是一門跨學科的研究領域，其核心關切在於如何防範人工智慧系統可能引發的事故、濫用或其他形式的危害。隨著人工智慧技術的迅速發展，尤其是在通用性日益增強的大規模模型相繼問世之後，人類對其潛在風險的憂慮已不再局限於技術失靈或誤用，而逐步延伸至更深遠的存在層面——即某些極端情境下，人工智慧或許會對人類文明構成生存性威脅，甚至帶來不可逆的崩潰。

圍繞這一關切，AI安全的研究大致可歸納為三個相互關聯的方向。其一是「對齊」問題，即如何確保人工智慧系統的行為始終契合設計者或使用者的真實意圖與價值取向，避免因指令理解偏差或目標設定失當而產生意料之外的後果。其二是風險監控，強調在系統實際運行過程中，持續捕捉異常狀態、識別潛在故障，並及時發現系統被惡意利用的苗頭。其三是魯棒性，旨在增強系統在面對錯誤輸入、環境突變或蓄意攻擊時的穩定性和抗干擾能力，從而在不確定的現實條件下依然維持安全運行。

該領域通常把風險區分為兩類：一類是惡意行為者刻意利用人工智慧造成的誤用，另一類是系統在無人違規操作的情況下自行偏離設計者意圖所導致的事故。圍繞這兩類風險，研究者大致沿四條路線展開工作：使系統在對抗性輸入與罕見情境下仍能可靠運作的魯棒性，用以識別異常、惡意使用與模型內部運作的監控，確保系統實際追求預期目標的對齊，以及處理系統部署環境與社會技術條件的系統安全。

該領域關注的風險跨度極大，近端包括演算法偏差、隱私侵害、虛假資訊、自動化網路攻擊與武器化，遠端則涉及失去對高級人工智慧系統的控制，乃至人類生存風險。風險的嚴重程度與主要來源在研究者之間存在明顯分歧：調查顯示，人工智慧研究者整體對技術前景持樂觀態度，但仍普遍認為極端不利後果的可能性不容忽視。研究工作除技術層面外，也包括推動安全規範與公共政策的制定。

「人工智慧安全」一詞自2010年代初中期開始流行，其早期概念與詞彙大量借自強化學習研究，有效利他主義、長期主義與生存風險研究則構成了這一新興領域的思想基礎；與傳統學科不同，其社群長期倚賴網路論壇、職業諮詢機構與少數幾家慈善基金維繫，研究成果亦多先行發布於預印本與論壇。這一以生存風險為核心的自我敘述亦招致批評，有系統性文獻回顧指出，實際的安全研究大量集中於對抗魯棒性、可解釋性等當前系統的具體問題，與既有的技術與系統安全工程一脈相承，過度強調生存風險反而可能排除其他取徑的研究者。

2023年前後，生成式人工智慧能力的快速提升使該領域成為公共政策議題。當年11月的首屆全球人工智慧安全峰會促成美英兩國各自設立人工智慧安全研究所，2025年1月並發布了首份《國際人工智慧安全報告》；但同年2月的第三屆峰會已改稱人工智慧行動峰會，議程由風險防範轉向推廣應用，英美兩國隨後先後將其安全研究所改名改組，重心移往可證明的安全威脅。研究人員則普遍擔憂，安全防護措施的推進速度仍落後於人工智慧能力迭代的步伐。

## 動機

人工智慧安全領域所關注的風險範圍廣泛，既包括已經出現的問題，也包括未來可能發生的威脅。當前已顯現的風險包括：關鍵系統中的人工智慧故障、演算法決策中的偏見與歧視、以及利用人工智慧進行大規模監控。新興風險則包括：人工智慧導致的失業、基於人工智慧的輿論操縱、自主武器的開發、人工智慧輔助的網路攻擊，以及利用人工智慧設計生物武器等。此外，該領域還討論了一些更具推測性的長遠風險，例如未來通用人工智慧（AGI）脫離人類控制，或人工智慧被用於建立永久性的專制政權。

### 存在安全

並非所有研究者都認同對通用人工智慧的擔憂。吳恩達在2015年曾提出一個廣為人知的類比，認為這種憂慮好比「人類尚未登陸火星，便開始憂慮火星上的人口過剩問題」，意指當前擔心還為時過早。另一方面，斯圖爾特·J·羅素則主張採取更謹慎的立場，認為回顧人類在技術上的創造力，不應輕易斷言此類風險不可能出現。

部分人士對通用人工智慧（AGI）所引發的擔憂持批評態度，例如吳恩達（Andrew Ng）在2015年便將其形象地比喻為「人類尚未登陸火星，便開始憂慮火星上的人口過剩問題」。而斯圖爾特·J·羅素則敦促人們保持謹慎，他認為「與其低估人類的創造力，不如對其抱有合理的預期」。

關於人工智慧技術所帶來風險的嚴重性及其主要根源，研究者們之間存在著顯著的觀點分歧，儘管調查顯示專家們對後果嚴重的風險非常重視。在兩項針對人工智慧研究人員的調查中，受訪者總體上對人工智慧持樂觀態度，但認為高級人工智慧造成「極其糟糕（例如人類滅絕）」後果的可能性僅為5%。在2022年一項針對自然語言處理領域的調查中，37%的受訪者同意或勉強同意人工智慧的決策有可能導致「至少與全面核戰爭一樣糟糕」的災難。

## 歷史

### 早期的風險討論

人工智慧帶來的風險在電腦時代初期就開始受到認真討論：

此外，如果我們朝著製造能夠學習、且行為會因經驗而改變的機器的方向前進，就必須面對這樣一個事實：我們賦予機器的每一分獨立性，都意味著它有可能多一分對我們意願的違抗。

早在1988年，布萊·惠特比便在《人工智慧：專業精神手冊》一書中明確指出，人工智慧的發展必須遵循倫理和社會責任原則。2008年至2009年間，AAAI委託進行了一項關於人工智慧長期社會影響的研究，專家組雖對科幻小說中的激進預言持懷疑態度，但仍形成了一項重要共識，即「進一步研究理解和驗證複雜計算系統行為範圍的方法，以最大限度地減少意外結果，將具有重要價值」。隨後，羅曼·揚波爾斯基在2011年的人工智慧哲學與理論會議上正式提出了「人工智慧安全工程」這一術語，他系統列舉了既有系統的失敗案例，並預警「隨著人工智慧能力的增強，此類事件的發生頻率和嚴重程度將穩步增加」。

2014年，伴隨哲學家尼克·博斯特羅姆《超級智能：路徑、危險與策略》一書的出版，關於通用人工智慧潛在生存性風險的討論被推至公眾視野的中心。博斯特羅姆在書中指出，通用人工智慧的興起可能引發勞動力替代、政治與軍事結構操縱乃至人類滅絕等重大風險。這一警示迅速在科技界與思想界引起強烈共鳴，埃隆·馬斯克、比爾·蓋茨和史蒂芬·霍金等意見領袖均公開表達了類似擔憂。

### 領域的形成與制度化

「人工智慧安全」這一術語自2010年代前期開始逐步被採用，並隨著強化學習系統取得一系列突破性成果而逐漸普及。該領域早期的許多概念和術語，直接來源於強化學習研究中的失效案例與技術討論。

從學術社群的形成來看，人工智慧安全與傳統學科有所不同。根據研究者的分析，有效利他主義、長期主義以及對生存風險的關注，共同構成了這一領域的思想基礎。該領域的討論主要在線上論壇進行，包括LessWrong、有效利他主義論壇以及2018年設立的對齊論壇。人才招募部分依賴於專門從事職業諮詢的組織，如80,000 Hours。研究成果通常先發布在arXiv預印本平台和上述論壇上，以非正式的同行評議方式獲得反饋。在資金方面，該領域早期高度依賴於開放慈善，以及由山姆·班克曼-弗里德創辦的FTX未來基金，該基金在2022年FTX破產後解散。

不過，也有研究者主張這一以生存風險為核心的敘事失之偏狹，其系統性文獻回顧顯示，實際的安全研究大量集中於對抗魯棒性、可解釋性等當前系統的具體問題，與既有的技術與系統安全工程一脈相承。

此後，一系列有組織的行動與研究議程迅速展開。2015年，數十位人工智慧專家聯名簽署了一封公開信，呼籲深入研究人工智慧的社會影響並勾勒出具體研究路徑，至今已獲得包括楊立昆、肖恩·萊格、約書亞·本希奧和斯圖爾特·羅素在內的超過8000人簽署。同一年，斯圖爾特·羅素等學者在加州大學伯克利分校創立了人類兼容人工智慧中心，專注於確保人工智慧系統與人類價值觀保持一致。未來生命研究所則投入650萬美元，專項資助以確保人工智慧保持安全、合乎倫理且有益為目標的研究項目。2016年，美國白宮科技政策辦公室與卡內基梅隆大學共同舉辦了「人工智慧安全與控制公共研討會」，這是白宮探討人工智慧「優勢與劣勢」的系列研討會之一。同年，該領域最早且最具影響力的技術議程之一《人工智慧安全中的具體問題》正式發表。2017年，生命未來研究所資助的阿西洛馬有益人工智慧會議匯聚了百餘位思想領袖，共同制定了有益人工智慧的發展原則，其中明確納入了「避免競爭」的準則，要求開發團隊積極開展合作，杜絕在安全標準上偷工減料。

與此同時，技術社群對安全問題的探索也日益進行。2018年，DeepMind的安全團隊發布了一份系統性概述，探討了人工智慧在規範對齊、魯棒性與安全保障方面的核心挑戰與潛在應對路徑，次年，研究人員便在ICLR上組織了針對這些議題的專題研討會。《機器學習安全中未解決的問題》進一步梳理了魯棒性、監控、對齊和系統安全性等方向的研究藍圖，美國國家科學基金會其後一項預計提供2000萬美元的學術研究征案，範圍即與這一划分相近。

### 政策介入與轉向

生成式模型能力的快速提升，使人工智慧安全在2023年前後進入公共政策層面，同時也使該領域內部的分歧公開化：當年未來生命研究所與人工智慧安全中心先後發表公開信，呼籲公眾正視人工智慧帶來的生存風險，取得包括科技公司負責人與電腦科學教授在內的數千人聯署；FAccT會議的組織者則發表回應信，主張應優先處理已有實證的現實危害，取得逾250人聯署。英國時任首相里希·蘇納克明確表示希望將英國打造為「全球人工智慧安全監管的地理中心」，並於同年11月主辦了首屆全球人工智慧安全峰會。此次峰會重點討論了前沿人工智慧模型被濫用和失控的風險，並宣布了制定《高級人工智慧安全國際科學報告》的計劃。翌年，即2024年，美國和英國在人工智慧安全科學領域建立起新的合作夥伴關係，美國商務部長吉娜·雷蒙多與英國技術大臣米歇爾·多內蘭於4月1日簽署諒解備忘錄，決定共同推進先進人工智慧模型的測試工作。2025年1月，由約書亞·本吉奧領銜、96位國際專家共同組成的團隊發布了首份《國際人工智慧安全報告》。這份受30個國家和聯合國委託撰寫的報告，是迄今首部針對先進人工智慧潛在風險的全球性科學評估，系統闡述了濫用、系統故障及社會動盪等多重威脅類型，旨在為各國政策制定者提供堅實的循證基礎。

此後，圍繞人工智慧安全的政策走向出現調整。第三屆全球人工智慧峰會於2025年2月在巴黎舉行，會議名稱改為「人工智慧行動峰會」，議程重心從風險防控轉向技術推廣與投資促進。會議的最終宣言雖獲得61個國家與區域組織的簽署，但美國和英國均拒絕簽署，國際科學報告以及各國安全研究所之間的合作網路在會議議程中亦被邊緣化。峰會結束數日後，英國將其人工智慧安全研究所從AI Safety Institute更名為AI Security Institute，工作重心從廣義的安全風險轉向針對人工智慧模型和基礎設施的安全防護。2025年6月，美國商務部將該國的人工智慧安全研究所改組為人工智慧標準與創新中心，商務部長霍華德·盧特尼克表示，新機構將聚焦於網路安全、生物安全與化學武器等「可驗證的風險」。

## 研究重點

人工智慧安全研究領域包括魯棒性、監控和對齊。

### 魯棒性

魯棒性指電腦系統在運行過程中遇到錯誤、異常輸入或非預期狀況時，仍能維持正常功能的能力。一個具備魯棒性的系統，不會因個別故障或意外干擾而崩潰或產生危險輸出。

#### 對抗魯棒性

人工智慧系統通常容易受到對抗樣本的攻擊，即攻擊者故意設計旨在導致模型出錯的輸入樣本。例如，2013年，Szegedy等人發現，在圖像中添加特定的、不易察覺的擾動會導致圖像被高置信度地錯誤分類。在2017年的一項研究中發現儘管擾動通常足夠大，可以被感知，但這仍然是神經網路面臨的一個問題。

<image>

右側圖像經擾動後預測為鴕鳥。（左圖）為正確預測的樣本，（中圖）為應用擾動後放大 10 倍的圖像，（右圖）為對抗樣本。

對抗魯棒性與系統安全性密切相關。研究者已證實，一段聽上去正常的音訊，可以在不被人類察覺的情況下被精確修改，使語音轉文本系統將其轉錄為攻擊者預設的任意文字。網路入侵檢測系統和惡意軟體檢測系統同樣需要具備對抗魯棒性，因為攻擊者會專門設計繞過檢測的手段。

用於評估其他人工智慧系統輸出的模型（稱為獎勵模型）同樣需要具備對抗魯棒性。在訓練語言模型時，獎勵模型通常用於評估模型回復的質量，語言模型則被訓練以最大化這一評分。研究者發現，如果語言模型訓練時間過長，它會逐漸發現並利用獎勵模型評分機制中的漏洞，從而獲得高分，但在真正需要完成的任務上表現反而變差。這一問題可通過提高獎勵模型自身的對抗魯棒性來緩解。

更廣泛而言，任何用於評估其他AI系統的人工智慧系統都必須具備對抗魯棒性——即在面對惡意輸入時仍能保持可靠性能的能力。這一要求同樣適用於監控工具，因為它們也可能成為被攻擊者篡改以獲取更高獎勵評分的突破口。

大型語言模型（LLM）可能容易受到提示注入和模型竊取的攻擊，並可能被用於生成虛假資訊。提示注入是指將指令嵌入到提示資訊中，以繞過安全措施。

#### 容錯性和冗餘性

在對安全性要求極高的應用場景中，研究者提出利用架構冗餘和設計多樣性的方法來降低風險。具體而言，是由多個獨立開發或使用不同數據、演算法訓練的模型共同處理同一任務，通過投票或共識機制匯總它們的輸出，而不是僅依賴單一模型進行決策。這樣，即使其中一個模型發生故障、遭到攻擊或產生錯誤，整個系統仍可能維持正確的判斷。

### 監控

#### 估計不確定性

在高風險應用場景（如醫療診斷）中，人類操作者需要知道在多大程度上可以信任人工智慧系統的輸出。機器學習模型通常以輸出機率的方式來表明其置信度，但研究表明，這些機率往往偏高，即模型表現出過度自信，尤其當輸入數據與訓練數據分布不同時，這種現象更為顯著。校準研究的目的，就是使模型輸出的機率儘可能準確地反映其實際正確率。

與之相關的另一項技術是異常檢測，也稱分布外檢測，其目標是判斷人工智慧系統當前是否處於訓練時未見過的不尋常環境中。例如，當自動駕駛汽車遭遇傳感器故障，或駛入訓練數據中未曾覆蓋的複雜路況時，系統應及時向駕駛員發出預警，提示其接管操控或安全停車。異常檢測的一個基本實現方式是訓練一個分類器，用來區分正常輸入和異常輸入。除此之外，目前還有多種其他技術被用於這一目的。

#### 檢測惡意使用

學術界和政府機構均對人工智慧的惡意使用表達了關切，具體包括：利用人工智慧開發武器、實施大規模輿論操縱，以及發動自動化的網路攻擊。對於在線提供強大人工智慧工具的企業（如OpenAI）而言，這些風險是運營中需要應對的現實問題。為防止濫用，OpenAI開發了檢測系統，可根據使用者的使用行為對其進行標記或功能限制。

#### 透明度

神經網路常被描述為難以觀察內部決策過程的「黑箱」。由於其運算涉及數量龐大的參數與複雜的非線性變換，人類難以直接追蹤其推理步驟，這使得預測其可能出現的故障類型十分困難。2018年，一輛自動駕駛汽車在行駛中撞上一名行人致死，事後調查因無法透徹理解車輛的人工智慧系統何以未能識別行人，事故的確切原因難以完全釐清。這一事件凸顯了提升人工智慧決策透明度的迫切需要,也引發了醫療保健領域關於是否應該使用統計效率高但不透明的模型的爭論。

提升透明度的一個關鍵益處是使系統的決策變得可解釋。在某些應用場景中，為了保障公平性，法律要求對自動決策提供解釋，例如在自動篩選求職申請或信用評分分配時，被拒絕者有權知悉原因。可解釋的人工智慧系統能夠滿足這一要求。

透明度的另一個價值在於幫助研究者定位系統出錯的原因。在2020年新冠疫情初期，研究人員曾藉助透明度工具發現，一個用於分析醫學圖像的分類器，其判斷依據並非病灶本身的特徵，而是與疾病無關的醫院標記。這解釋了該系統為何在某些情況下會做出錯誤分類。

透明度工具還可用於糾正模型中的錯誤。在一項關於定位和編輯GPT中事實關聯的研究中，研究者識別出了影響模型回答「艾菲爾鐵塔在哪裡」這一問題的具體參數，並通過編輯這些參數，使模型轉而回答鐵塔位於羅馬而非法國。在此案例中，研究者是有意引入錯誤以驗證技術的可行性，但這類方法在原理上有望用於高效修復模型中的事實性錯誤。模型編輯技術也在電腦視覺領域有相應的研究。

一些學者認為，人工智慧系統的不透明性本身即是一個重要的風險來源，更深入地理解其內部運作方式，有助於預防未來可能發生的嚴重後果。「內部」可解釋性研究即以此為目標，試圖打開神經網路的黑箱。該研究的一個方向是識別網路中單個神經元所代表的概念。例如，研究者在CLIP模型中發現了一個神經元，它會對穿蜘蛛俠服裝的人物圖片、蜘蛛俠素描以及「蜘蛛」一詞產生選擇性激活。另一個方向是解釋神經元之間的連接關係與資訊傳遞模式。例如，在Transformer架構的注意力機制中，研究者發現了特定的模式匹配迴路，這些迴路可能在語言模型從上下文中獲取資訊的過程中發揮關鍵作用。內部可解釋性常被類比為一種針對人工智慧的「神經科學」，兩者都致力於理解複雜系統的內部運作。不同之處在於，機器學習研究者能夠對系統進行精確的全量測量和任意的局部刪除實驗，這在生物神經科學中無法實現。

#### 檢測木馬

機器學習模型可能被植入「木馬」或「後門」，即惡意行為者在模型訓練或部署過程中蓄意嵌入的隱藏漏洞。例如，一個被植入木馬的人臉識別系統，可能在檢測到特定的首飾時便放行未授權人員；被植入木馬的自動駕駛車輛，可能在特定觸發信號出現前表現完全正常。對於使用大規模公開網際網路數據訓練的模型（如CLIP或GPT-3），攻擊者植入木馬的難度可能並不高。在一項研究中，研究者僅修改了300萬張訓練圖像中的300張，便成功在圖像分類器中植入了木馬。除了自身構成安全風險外，木馬攻擊也為研究者提供了一個測試和改進監控與檢測工具的具體場景。

Anthropic公司在2024年發表的一項研究中表明，大型語言模型可以通過訓練植入持久性的後門。這些被稱為「休眠代理」的模型，可被設定為在特定日期之後才開始產生惡意輸出（如生成含有漏洞的代碼），在此之前則保持完全正常的行為。研究顯示，監督式微調、基於人類反饋的強化學習以及對抗訓練等當前主流的安全訓練手段，均未能成功移除這些後門。

### 對齊

對齊研究的核心問題，是如何確保人工智慧系統實際追求的行為目標與設計者或使用者的真實意圖、偏好和倫理原則相一致。行為符合預期的系統稱為已對齊，反之則稱為未對齊。人工智慧的風險通常被分為誤用與事故兩大類；對齊失敗屬於事故類，即在沒有惡意行為者介入的情況下，系統自行偏離了設計者的本意。關於人工智慧失控或追求權力的擔憂，其技術根源多被追溯到對齊失敗的問題上。

與之相對，能力控制研究關注的是在系統未能對齊時如何限制其影響範圍，兩者常被並列為應對同一風險的兩條路徑。研究者通常將對齊失敗區分為兩個層次：設計者寫下的目標本身即與真正的意圖有落差，稱為外部未對齊；系統在訓練中實際習得的目標與設計者寫下的目標不一致，則稱為內部未對齊。前者是目標表述的問題，後者是目標泛化的問題，兩者所需的應對手段並不相同。

外部未對齊源於設計者通常無法將其所有期望和不期望的行為完整列出，只能退而使用易于衡量的代理目標，例如以「獲得人類認可」作為訓練信號。代理目標可能忽略某些必要的約束，也可能僅依據系統表面的行為表現給予獎勵。系統在優化過程中，可能找到代理目標的漏洞，以違背設計者本意甚至有害的方式高效提升指標分數，這一現象稱為規範博弈。

獎勵模型的過度優化是規範博弈的一個典型案例：語言模型在長時間訓練後，會逐漸學會利用獎勵模型評分機制中的缺陷來獲得高分，但在原本需要完成的任務上表現反而退步。社交媒體平台的推薦系統也面臨類似的問題，將點擊量或使用時長作為優化指標，並不等同於使用者的真實福祉，系統可能推送更具煽動性或令人沉迷的內容來達成指標，而非提供有益資訊。

糾正規範博弈需要人類對系統的輸出進行評價。然而，當系統在某一領域的能力接近甚至超過人類評估者時，評價本身就變成了瓶頸：驗證一段代碼是否存在漏洞，或判斷一份摘要是否忠實於原文，可能比生成這些內容更加耗時。在這種情況下，系統可能學會產出對評估者看起來有說服力、但實質上並不正確的結果，即針對評估者而非任務本身進行優化。

可擴展監督研究的正是如何在這種人力監督受限的條件下，仍然能夠有效地評估和引導人工智慧系統的行為。一類做法是不直接寫出目標，而是從人類的比較判斷中學習獎勵函數，再以強化學習優化該函數，此一方法後被用於微調大型語言模型，使其更貼近使用者指令。但獎勵模型本身只是人類偏好的近似，其誤差同樣會被優化過程放大，因此對獎勵模型對抗魯棒性的要求，正是可擴展監督得以成立的前提；不確定性估計、異常檢測與透明度工具，也可視為在人類難以直接判讀系統行為時用以支撐監督的技術手段。

即使設計者對目標的表述完全正確，系統在訓練環境中表現良好，也不能保證它真正學會了設計者的意圖。實驗表明，強化學習智能體可能學到一個在訓練環境中與預期目標高度相關、但在新環境中卻偏離原意的替代目標，這一現象稱為目標錯誤泛化。這類問題只有在系統被部署到真實環境、遭遇訓練中未曾出現的數據分布時才會暴露，無法僅通過訓練階段的測試來排除。這也是異常檢測和分布外檢測在安全研究中受到重視的重要原因之一。能力更強的系統還可能自發形成一些工具性策略，如獲取更多計算資源、抗拒被關機或被修改等，因為這些行為有助於保障其最終目標的實現，無論最終目標是什麼。這種策略傾向並非由程式設計師預先寫入，而是在系統被優化以追求某個目標的過程中自然湧現的。2025年的一項實證研究發現，LLM能夠通過策略性地優化措辭，在不直接撒謊的情況下實現對資訊的操縱與欺騙。

## 系統安全和社會技術因素

人工智慧的風險，以及更廣泛的技術風險，通常被簡單劃分為誤用或事故兩類。一些學者認為這種二分法存在局限。例如，古巴飛彈危機就不宜被簡單歸結為一次事故或技術誤用。政策分析者指出，「誤用和事故的視角往往只關注導致損害的因果鏈的最後一步——即誤用技術的人，或行為異常的系統——然而，相關的因果鏈通常要長得多。」風險往往源自更深層的結構性或系統性因素，包括市場競爭帶來的開發壓力、損害的快速擴散、技術發展的迅猛速度、對未來走向的高度不確定，以及相關組織安全文化的欠缺。在更廣泛的安全工程領域，以STAMP為代表的風險分析框架，便將組織安全文化等結構性因素視為核心分析對象。

受結構視角啟發，一些研究人員強調了利用機器學習來提升社會技術安全因素的重要性，例如，利用機器學習進行網路防禦、改進機構決策以及促進合作。另一些研究人員則強調了讓人工智慧從業者和領域專家共同參與設計過程以解決結構性漏洞的重要性。

### 網路防禦

一些學者擔心人工智慧會加劇網路攻擊者和網路防禦者之間本已不平衡的局面。這將增加「先發制人」的動機，並可能導致更具侵略性和破壞性的攻擊。為了降低這種風險，一些人倡導更加重視網路防禦。此外，軟體安全對於防止強大的人工智慧模型被竊取和濫用至關重要。近期研究表明，人工智慧可以通過自動化日常任務和提高整體效率，顯著增強技術和管理方面的網路安全工作。人工智慧安全研究還探討了在訓練過程中保護機器學習系統免受數據投毒攻擊的防禦技術。特別是，標籤翻轉攻擊會降低模型性能，同時難以使用傳統的數據驗證方法檢測到。為了應對這種風險，近期研究提出了與模型無關的檢測流程，該流程監控學習行為並結合多個檢測器來識別可疑的訓練樣本。這些方法旨在通過提高在對抗性環境下運行的人工智慧系統的彈性和可信度來加強網路防禦。

### 改進機構決策

人工智慧在經濟和軍事領域的進步，可能帶來前所未有的政治挑戰。一些學者將當前的人工智慧競賽比作冷戰時期的軍備競賽，在那段歷史中，少數決策者在緊要關頭的謹慎判斷，常常直接決定了局勢走向是維持穩定還是滑向災難。人工智慧研究者認為，人工智慧技術本身也可用於改善決策質量，例如人工智慧預測系統和政策諮詢系統。

### 促進合作

許多全球性的重大威脅，如核戰爭和氣候變化，本質上都屬於合作難題。正如經典的囚徒困境模型所示，即使每個參與者都理性地以自身利益為出發點採取行動，最終的結果仍可能是所有人共同受損。以氣候變化為例，儘管科學界已明確警告不採取行動的災難性後果，但單個國家或企業出於自身經濟利益的考量，往往缺乏足夠的動力單方面大幅減排。

在人工智慧領域，合作面臨的一項突出挑戰是避免出現「競相降低標準」的局面。在這種局面下，國家和企業為爭奪先發優勢而競相開發更強大的人工智慧系統，安全措施被視為拖慢速度的成本而被不斷削減，最終釀成災難性事故，令所有參與者共同受損。對這一局面的擔憂，促使政治和技術領域的多方力量努力推動人與人之間以及人工智慧系統之間的合作。目前，大多數人工智慧研究聚焦於設計在獨立環境中執行任務的單個智能體，但學者指出，隨著人工智慧系統自主性的增強，研究和塑造它們之間的交互方式，可能與設計單個智能體本身同等重要。

## 在治理方面

<image>

人工智慧治理是指為人工智慧系統的開發和使用制定規範、標準和法規的過程。其目標在於引導技術發展朝著安全、公平和負責任的方向演進。

人工智慧安全的解決方案可在本地和全球兩個層面展開。本地方案聚焦於確保單個系統的安全性和有益性；全球方案則著眼於建立跨司法管轄區的統一安全標準，使所有人工智慧系統都受到同等程度的安全約束。

人工智慧安全治理的研究，範圍從對人工智慧社會影響的基礎性探討，到針對特定應用場景的具體治理措施均有覆蓋。在基礎研究層面，有研究者認為，人工智慧因其廣泛的適用性，將成為與電力和蒸汽機同級別的通用技術，從根本上改變社會結構。一部分研究致力於梳理可能出現的特定風險，包括大規模失業、自主武器、虛假資訊傳播、社會監控以及權力集中。另一些研究則關注加劇這些風險的深層因素，如行業快速發展帶來的監管困難、強大模型獲取門檻的降低，以及前述「競相降低標準」的競爭態勢。

DeepMind長期治理與戰略負責人艾倫·達福強調了競相開發人工智慧的危險性以及合作的潛在必要性：「在部署先進強大的系統之前保持高度謹慎，這或許是確保人工智慧安全性和一致性的必要且充分條件；然而，如果參與者在先發優勢或相對優勢顯著的領域展開競爭，那麼他們將被迫選擇次優的謹慎程度。」一個研究方向致力於開發評估人工智慧問責制的方法、框架和機制，指導和促進對基於人工智慧的系統進行審計。這些方法面臨的一個關鍵挑戰是缺乏廣泛接受的標準，以及對方法要求的模糊性，此外，行業內也缺乏安全文化。

為提升人工智慧安全性，人們開發了多種框架，旨在使人工智慧的輸出符合倫理準則，並降低濫用和數據洩露等風險。諸如英偉達的 Guardrails、 Llama Guard、 Preamble的可定製 Guardrails 以及 Claude's Constitution 等工具，能夠緩解提示注入等漏洞，並確保輸出符合預定義的原則。這些框架通常被集成到人工智慧系統中，以提高安全性和可靠性。

### 哲學視角

人工智慧安全研究與哲學，尤其是倫理學，有著緊密的關聯。義務論倫理學——一種強調遵守道德規則的倫理框架——被一些學者提議作為指導人工智慧系統行為、使其與人類價值觀相符的理論基礎。其基本思路是將明確的道德規則嵌入人工智慧系統的決策邏輯中，以此引導系統避開有害行為。然而，這一進路也受到了一些質疑，學者們也提出了其他被認為更具前景的替代方案。

### 政府行動

關於是否應在當前階段對人工智慧實施監管，專家意見存在分歧。一部分專家認為，在技術尚未充分成熟的階段匆忙立法可能抑制創新，且對技術本質理解不足時制定的法規可能產生反效果。另一部分人則主張未雨綢繆，認為在潛在的災難性風險面前，等待充分理解後再行動可能為時已晚，應及早採取預防措施。

除了正式立法之外，政府機構也提出了倫理和安全方面的建議。2021年3月，美國國家人工智慧安全委員會報告稱，人工智慧的進步可能會使「確保系統符合目標和價值觀，包括安全性、穩健性和可信度」變得越來越重要。隨後，美國國家標準與技術研究院起草了一份人工智慧風險管理框架，其中建議，當「存在災難性風險時，應以安全的方式停止開發和部署，直到風險得到充分控制」。

自2021年起，全球圍繞人工智慧安全與倫理的治理浪潮不斷高漲。當年9月，中國發布了人工智慧倫理準則，強調人工智慧決策必須始終處於人類控制之下並呼籲建立問責機制；同月，英國也公布了為期十年的國家人工智慧戰略，明確指出政府「認真對待未對齊通用人工智慧的長期風險，以及它將給世界帶來的不可預見的變化」，並闡述了評估包括災難性風險在內的人工智慧長期風險的行動方案。此後，英國持續推動人工智慧安全議題的國際化，於2023年11月舉辦首屆全球人工智慧安全峰會，為政策制定者和世界領導人提供了探討人工智慧當前與未來風險、以及如何通過全球協調方式降低這些風險的契機。然而，對中國人工智慧安全路徑的審視顯示，有觀點認為其方法在關鍵方面仍存在加強資訊管制的不安全因素。

在政府機構推動下，美國也積極布局人工智慧技術安全研究。IARPA啟動了旨在識別與防禦針對人工智慧系統木馬攻擊的TrojAI項目，DARPA則致力於可解釋人工智慧研究並提高其抵禦對抗性攻擊的能力；NSF則支持可信機器學習中心，為人工智慧安全實證研究提供數百萬美元資助。在國際層面，2024年聯合國大會通過了首項旨在促進「安全、可靠和值得信賴」的人工智慧系統的全球決議，強調在人工智慧全生命周期中尊重、保護和促進人權。同年5月，英國科學、創新與技術部也在首爾人工智慧峰會上宣布通過「系統性人工智慧安全快速資助計劃」撥款850萬英鎊用於安全研究，並與十餘個國家及歐盟簽署協議建立國際人工智慧安全研究所網路，計劃在舊金山設立辦事處，以促進合作與資訊共享。

在核武器與戰略威懾這一敏感領域，人類對決策的絕對控制成為各大國的共識底線。2024年11月，中國領導人和美國領導人都重申必須保持人類對核武器使用的控制，而非交由人工智慧。隨後美國國會在《2025財年國防授權法案》中加入相關條款，明確人工智慧的使用不得損害核保障的完整性，總統關於核武器使用的決定執行過程中必須有積極的人類行動。2026年2月，川普政府也公開重申核武器決策必須有人參與這一國防部政策。

圍繞更具約束力的全球治理框架，2025年9月，法國人工智慧安全中心、未來社會和人類兼容人工智慧中心聯合發布全球人工智慧紅線呼籲，敦促各國政府在2026年底前達成一項具有約束力的國際協議以禁止不可接受的用途，該宣言由包括十位諾貝爾獎得主在內的兩百位知名人士簽署並在聯合國大會上宣布。然而，在監管鬆緊的取向上各國仍存在分歧。2025年12月，川普總統簽署行政命令建立「人工智慧國家政策框架」，不鼓勵各州監管並敦促國會立法阻止此類監管。白宮稱此舉系出於經濟與國家安全考慮，但批評聲音認為這給人工智慧監管帶來了不確定性。由此，全球人工智慧安全治理在激烈的技術與規則競爭中，繼續在合作共識與差異化路徑之間尋找平衡。

### 企業自律

除遵守正式法律法規外，人工智慧實驗室和公司通常還會採納一系列自願性的安全實踐和行業規範。治理研究者的目標之一，就是影響和塑造這些自律規範。文獻中經常提及的安全建議包括：接受獨立的第三方審計、設立漏洞賞金計劃以鼓勵外部發現系統缺陷、共享人工智慧事故案例（業界已為此建立了專門的事故資料庫）、遵循研究成果和模型的負責任發布指南，以及加強人工智慧實驗室的資訊安全與網路安全防護。

各公司也做出了承諾。Cohere、 OpenAI和AI21提出並達成一致，制定了「部署語言模型的最佳實踐」，重點在於減少濫用。為了避免加劇競爭，OpenAI 在其章程中聲明：「如果一個價值觀一致、注重安全的計劃在我們之前接近構建通用人工智慧（AGI），我們承諾停止與該計劃競爭，並開始協助該計劃。」此外，DeepMind 執行長 Demis Hassabis、Facebook 人工智慧總監 Yann LeCun 等行業領袖也簽署了公開信，例如《阿西洛馬原則》和《自主武器公開信》。

### 非營利組織

2020年代，美國和歐洲湧現出多個非營利組織，致力於人工智慧安全及相關公共政策，其中包括安全人工智慧聯盟、生命未來研究所（Future of Life Institute）和公眾優先行動）。這些組織通常扮演矽谷監督者的角色，倡導制定特定的聯邦、州或地方法規。它們也與「引領未來」（Leading the Future）等行業組織展開競爭，後者主張放鬆對人工智慧公司的監管。

### 國際法規

在《特定常規武器公約》框架下，各國自2014年以來一直在討論致命性自主武器系統。2016年，該條約締約國設立了致命自主武器系統政府專家組（不限成員名額），以繼續進行相關討論。討論內容涵蓋國際人道主義法、問責制、可能的禁令和規章，以及對人工智慧武器所需的人為控制程度。