人工智能安全

人工智能安全（英语：Artificial Intelligence Safety，简称AI安全）是一门跨学科的研究领域，其核心关切在于如何防范人工智能系统可能引发的事故、滥用或其他形式的危害。随着人工智能技术的迅速发展，尤其是在通用性日益增强的大规模模型相继问世之后，人类对其潜在风险的忧虑已不再局限于技术失灵或误用，而逐步延伸至更深远的存在层面——即某些极端情境下，人工智能或许会对人类文明构成生存性威胁，甚至带来不可逆的崩溃。

围绕这一关切，AI安全的研究大致可归纳为三个相互关联的方向。其一是“对齐”问题，即如何确保人工智能系统的行为始终契合设计者或使用者的真实意图与价值取向，避免因指令理解偏差或目标设定失当而产生意料之外的后果。其二是风险监控，强调在系统实际运行过程中，持续捕捉异常状态、识别潜在故障，并及时发现系统被恶意利用的苗头。其三是鲁棒性，旨在增强系统在面对错误输入、环境突变或蓄意攻击时的稳定性和抗干扰能力，从而在不确定的现实条件下依然维持安全运行。

该领域通常把风险区分为两类：一类是恶意行为者刻意利用人工智能造成的误用，另一类是系统在无人违规操作的情况下自行偏离设计者意图所导致的事故。围绕这两类风险，研究者大致沿四条路线展开工作：使系统在对抗性输入与罕见情境下仍能可靠运作的鲁棒性，用以识别异常、恶意使用与模型内部运作的监控，确保系统实际追求预期目标的对齐，以及处理系统部署环境与社会技术条件的系统安全。

该领域关注的风险跨度极大，近端包括算法偏差、隐私侵害、虚假信息、自动化网络攻击与武器化，远端则涉及失去对高级人工智能系统的控制，乃至人类生存风险。风险的严重程度与主要来源在研究者之间存在明显分歧：调查显示，人工智能研究者整体对技术前景持乐观态度，但仍普遍认为极端不利后果的可能性不容忽视。研究工作除技术层面外，也包括推动安全规范与公共政策的制定。

“人工智能安全”一词自2010年代初中期开始流行，其早期概念与词汇大量借自强化学习研究，有效利他主义、长期主义与生存风险研究则构成了这一新兴领域的思想基础；与传统学科不同，其社群长期倚赖网络论坛、职业咨询机构与少数几家慈善基金维系，研究成果亦多先行发布于预印本与论坛。这一以生存风险为核心的自我叙述亦招致批评，有系统性文献回顾指出，实际的安全研究大量集中于对抗鲁棒性、可解释性等当前系统的具体问题，与既有的技术与系统安全工程一脉相承，过度强调生存风险反而可能排除其他取径的研究者。

2023年前后，生成式人工智能能力的快速提升使该领域成为公共政策议题。当年11月的首届全球人工智能安全峰会促成美英两国各自设立人工智能安全研究所，2025年1月并发布了首份《国际人工智能安全报告》；但同年2月的第三届峰会已改称人工智能行动峰会，议程由风险防范转向推广应用，英美两国随后先后将其安全研究所改名改组，重心移往可证明的安全威胁。研究人员则普遍担忧，安全防护措施的推进速度仍落后于人工智能能力迭代的步伐。

## 动机

人工智能安全领域所关注的风险范围广泛，既包括已经出现的问题，也包括未来可能发生的威胁。当前已显现的风险包括：关键系统中的人工智能故障、算法决策中的偏见与歧视、以及利用人工智能进行大规模监控。新兴风险则包括：人工智能导致的失业、基于人工智能的舆论操纵、自主武器的开发、人工智能辅助的网络攻击，以及利用人工智能设计生物武器等。此外，该领域还讨论了一些更具推测性的长远风险，例如未来通用人工智能（AGI）脱离人类控制，或人工智能被用于建立永久性的专制政权。

### 存在安全

并非所有研究者都认同对通用人工智能的担忧。吴恩达在2015年曾提出一个广为人知的类比，认为这种忧虑好比“人类尚未登陆火星，便开始忧虑火星上的人口过剩问题”，意指当前担心还为时过早。另一方面，斯图尔特·J·罗素则主张采取更谨慎的立场，认为回顾人类在技术上的创造力，不应轻易断言此类风险不可能出现。

部分人士对通用人工智能（AGI）所引发的担忧持批评态度，例如吴恩达（Andrew Ng）在2015年便将其形象地比喻为“人类尚未登陆火星，便开始忧虑火星上的人口过剩问题”。而斯图尔特·J·罗素则敦促人们保持谨慎，他认为“与其低估人类的创造力，不如对其抱有合理的预期”。

关于人工智能技术所带来风险的严重性及其主要根源，研究者们之间存在着显著的观点分歧，尽管调查显示专家们对后果严重的风险非常重视。在两项针对人工智能研究人员的调查中，受访者总体上对人工智能持乐观态度，但认为高级人工智能造成“极其糟糕（例如人类灭绝）”后果的可能性仅为5%。在2022年一项针对自然语言处理领域的调查中，37%的受访者同意或勉强同意人工智能的决策有可能导致“至少与全面核战争一样糟糕”的灾难。

## 历史

### 早期的风险讨论

人工智能带来的风险在计算机时代初期就开始受到认真讨论：

此外，如果我们朝着制造能够学习、且行为会因经验而改变的机器的方向前进，就必须面对这样一个事实：我们赋予机器的每一分独立性，都意味着它有可能多一分对我们意愿的违抗。

早在1988年，布莱·惠特比便在《人工智能：专业精神手册》一书中明确指出，人工智能的发展必须遵循伦理和社会责任原则。2008年至2009年间，AAAI委托进行了一项关于人工智能长期社会影响的研究，专家组虽对科幻小说中的激进预言持怀疑态度，但仍形成了一项重要共识，即“进一步研究理解和验证复杂计算系统行为范围的方法，以最大限度地减少意外结果，将具有重要价值”。随后，罗曼·扬波尔斯基在2011年的人工智能哲学与理论会议上正式提出了“人工智能安全工程”这一术语，他系统列举了既有系统的失败案例，并预警“随着人工智能能力的增强，此类事件的发生频率和严重程度将稳步增加”。

2014年，伴随哲学家尼克·博斯特罗姆《超级智能：路径、危险与策略》一书的出版，关于通用人工智能潜在生存性风险的讨论被推至公众视野的中心。博斯特罗姆在书中指出，通用人工智能的兴起可能引发劳动力替代、政治与军事结构操纵乃至人类灭绝等重大风险。这一警示迅速在科技界与思想界引起强烈共鸣，埃隆·马斯克、比尔·盖茨和史蒂芬·霍金等意见领袖均公开表达了类似担忧。

### 领域的形成与制度化

“人工智能安全”这一术语自2010年代前期开始逐步被采用，并随着强化学习系统取得一系列突破性成果而逐渐普及。该领域早期的许多概念和术语，直接来源于强化学习研究中的失效案例与技术讨论。

从学术社群的形成来看，人工智能安全与传统学科有所不同。根据研究者的分析，有效利他主义、长期主义以及对生存风险的关注，共同构成了这一领域的思想基础。该领域的讨论主要在线上论坛进行，包括LessWrong、有效利他主义论坛以及2018年设立的对齐论坛。人才招募部分依赖于专门从事职业咨询的组织，如80,000 Hours。研究成果通常先发布在arXiv预印本平台和上述论坛上，以非正式的同行评议方式获得反馈。在资金方面，该领域早期高度依赖于开放慈善，以及由山姆·班克曼-弗里德创办的FTX未来基金，该基金在2022年FTX破产后解散。

不过，也有研究者主张这一以生存风险为核心的叙事失之偏狭，其系统性文献回顾显示，实际的安全研究大量集中于对抗鲁棒性、可解释性等当前系统的具体问题，与既有的技术与系统安全工程一脉相承。

此后，一系列有组织的行动与研究议程迅速展开。2015年，数十位人工智能专家联名签署了一封公开信，呼吁深入研究人工智能的社会影响并勾勒出具体研究路径，至今已获得包括杨立昆、肖恩·莱格、约书亚·本希奥和斯图尔特·罗素在内的超过8000人签署。同一年，斯图尔特·罗素等学者在加州大学伯克利分校创立了人类兼容人工智能中心，专注于确保人工智能系统与人类价值观保持一致。未来生命研究所则投入650万美元，专项资助以确保人工智能保持安全、合乎伦理且有益为目标的研究项目。2016年，美国白宫科技政策办公室与卡内基梅隆大学共同举办了“人工智能安全与控制公共研讨会”，这是白宫探讨人工智能“优势与劣势”的系列研讨会之一。同年，该领域最早且最具影响力的技术议程之一《人工智能安全中的具体问题》正式发表。2017年，生命未来研究所资助的阿西洛马有益人工智能会议汇聚了百余位思想领袖，共同制定了有益人工智能的发展原则，其中明确纳入了“避免竞争”的准则，要求开发团队积极开展合作，杜绝在安全标准上偷工减料。

与此同时，技术社群对安全问题的探索也日益进行。2018年，DeepMind的安全团队发布了一份系统性概述，探讨了人工智能在规范对齐、鲁棒性与安全保障方面的核心挑战与潜在应对路径，次年，研究人员便在ICLR上组织了针对这些议题的专题研讨会。《机器学习安全中未解决的问题》进一步梳理了鲁棒性、监控、对齐和系统安全性等方向的研究蓝图，美国国家科学基金会其后一项预计提供2000万美元的学术研究征案，范围即与这一划分相近。

### 政策介入与转向

生成式模型能力的快速提升，使人工智能安全在2023年前后进入公共政策层面，同时也使该领域内部的分歧公开化：当年未来生命研究所与人工智能安全中心先后发表公开信，呼吁公众正视人工智能带来的生存风险，取得包括科技公司负责人与计算机科学教授在内的数千人联署；FAccT会议的组织者则发表回应信，主张应优先处理已有实证的现实危害，取得逾250人联署。英国时任首相里希·苏纳克明确表示希望将英国打造为“全球人工智能安全监管的地理中心”，并于同年11月主办了首届全球人工智能安全峰会。此次峰会重点讨论了前沿人工智能模型被滥用和失控的风险，并宣布了制定《高级人工智能安全国际科学报告》的计划。翌年，即2024年，美国和英国在人工智能安全科学领域建立起新的合作伙伴关系，美国商务部长吉娜·雷蒙多与英国技术大臣米歇尔·多内兰于4月1日签署谅解备忘录，决定共同推进先进人工智能模型的测试工作。2025年1月，由约书亚·本吉奥领衔、96位国际专家共同组成的团队发布了首份《国际人工智能安全报告》。这份受30个国家和联合国委托撰写的报告，是迄今首部针对先进人工智能潜在风险的全球性科学评估，系统阐述了滥用、系统故障及社会动荡等多重威胁类型，旨在为各国政策制定者提供坚实的循证基础。

此后，围绕人工智能安全的政策走向出现调整。第三届全球人工智能峰会于2025年2月在巴黎举行，会议名称改为“人工智能行动峰会”，议程重心从风险防控转向技术推广与投资促进。会议的最终宣言虽获得61个国家与区域组织的签署，但美国和英国均拒绝签署，国际科学报告以及各国安全研究所之间的合作网络在会议议程中亦被边缘化。峰会结束数日后，英国将其人工智能安全研究所从AI Safety Institute更名为AI Security Institute，工作重心从广义的安全风险转向针对人工智能模型和基础设施的安全防护。2025年6月，美国商务部将该国的人工智能安全研究所改组为人工智能标准与创新中心，商务部长霍华德·卢特尼克表示，新机构将聚焦于网络安全、生物安全与化学武器等“可验证的风险”。

## 研究重点

人工智能安全研究领域包括鲁棒性、监控和对齐。

### 鲁棒性

鲁棒性指计算机系统在运行过程中遇到错误、异常输入或非预期状况时，仍能维持正常功能的能力。一个具备鲁棒性的系统，不会因个别故障或意外干扰而崩溃或产生危险输出。

#### 对抗鲁棒性

人工智能系统通常容易受到对抗样本的攻击，即攻击者故意设计旨在导致模型出错的输入样本。例如，2013年，Szegedy等人发现，在图像中添加特定的、不易察觉的扰动会导致图像被高置信度地错误分类。在2017年的一项研究中发现尽管扰动通常足够大，可以被感知，但这仍然是神经网络面临的一个问题。

<image>

右侧图像经扰动后预测为鸵鸟。（左图）为正确预测的样本，（中图）为应用扰动后放大 10 倍的图像，（右图）为对抗样本。

对抗鲁棒性与系统安全性密切相关。研究者已证实，一段听上去正常的音频，可以在不被人类察觉的情况下被精确修改，使语音转文本系统将其转录为攻击者预设的任意文字。网络入侵检测系统和恶意软件检测系统同样需要具备对抗鲁棒性，因为攻击者会专门设计绕过检测的手段。

用于评估其他人工智能系统输出的模型（称为奖励模型）同样需要具备对抗鲁棒性。在训练语言模型时，奖励模型通常用于评估模型回复的质量，语言模型则被训练以最大化这一评分。研究者发现，如果语言模型训练时间过长，它会逐渐发现并利用奖励模型评分机制中的漏洞，从而获得高分，但在真正需要完成的任务上表现反而变差。这一问题可通过提高奖励模型自身的对抗鲁棒性来缓解。

更广泛而言，任何用于评估其他AI系统的人工智能系统都必须具备对抗鲁棒性——即在面对恶意输入时仍能保持可靠性能的能力。这一要求同样适用于监控工具，因为它们也可能成为被攻击者篡改以获取更高奖励评分的突破口。

大型语言模型（LLM）可能容易受到提示注入和模型窃取的攻击，并可能被用于生成虚假信息。提示注入是指将指令嵌入到提示信息中，以绕过安全措施。

#### 容错性和冗余性

在对安全性要求极高的应用场景中，研究者提出利用架构冗余和设计多样性的方法来降低风险。具体而言，是由多个独立开发或使用不同数据、算法训练的模型共同处理同一任务，通过投票或共识机制汇总它们的输出，而不是仅依赖单一模型进行决策。这样，即使其中一个模型发生故障、遭到攻击或产生错误，整个系统仍可能维持正确的判断。

### 监控

#### 估计不确定性

在高风险应用场景（如医疗诊断）中，人类操作者需要知道在多大程度上可以信任人工智能系统的输出。机器学习模型通常以输出概率的方式来表明其置信度，但研究表明，这些概率往往偏高，即模型表现出过度自信，尤其当输入数据与训练数据分布不同时，这种现象更为显著。校准研究的目的，就是使模型输出的概率尽可能准确地反映其实际正确率。

与之相关的另一项技术是异常检测，也称分布外检测，其目标是判断人工智能系统当前是否处于训练时未见过的不寻常环境中。例如，当自动驾驶汽车遭遇传感器故障，或驶入训练数据中未曾覆盖的复杂路况时，系统应及时向驾驶员发出预警，提示其接管操控或安全停车。异常检测的一个基本实现方式是训练一个分类器，用来区分正常输入和异常输入。除此之外，目前还有多种其他技术被用于这一目的。

#### 检测恶意使用

学术界和政府机构均对人工智能的恶意使用表达了关切，具体包括：利用人工智能开发武器、实施大规模舆论操纵，以及发动自动化的网络攻击。对于在线提供强大人工智能工具的企业（如OpenAI）而言，这些风险是运营中需要应对的现实问题。为防止滥用，OpenAI开发了检测系统，可根据用户的使用行为对其进行标记或功能限制。

#### 透明度

神经网络常被描述为难以观察内部决策过程的“黑箱”。由于其运算涉及数量庞大的参数与复杂的非线性变换，人类难以直接追踪其推理步骤，这使得预测其可能出现的故障类型十分困难。2018年，一辆自动驾驶汽车在行驶中撞上一名行人致死，事后调查因无法透彻理解车辆的人工智能系统何以未能识别行人，事故的确切原因难以完全厘清。这一事件凸显了提升人工智能决策透明度的迫切需要,也引发了医疗保健领域关于是否应该使用统计效率高但不透明的模型的争论。

提升透明度的一个关键益处是使系统的决策变得可解释。在某些应用场景中，为了保障公平性，法律要求对自动决策提供解释，例如在自动筛选求职申请或信用评分分配时，被拒绝者有权知悉原因。可解释的人工智能系统能够满足这一要求。

透明度的另一个价值在于帮助研究者定位系统出错的原因。在2020年新冠疫情初期，研究人员曾借助透明度工具发现，一个用于分析医学图像的分类器，其判断依据并非病灶本身的特征，而是与疾病无关的医院标记。这解释了该系统为何在某些情况下会做出错误分类。

透明度工具还可用于纠正模型中的错误。在一项关于定位和编辑GPT中事实关联的研究中，研究者识别出了影响模型回答“埃菲尔铁塔在哪里”这一问题的具体参数，并通过编辑这些参数，使模型转而回答铁塔位于罗马而非法国。在此案例中，研究者是有意引入错误以验证技术的可行性，但这类方法在原理上有望用于高效修复模型中的事实性错误。模型编辑技术也在计算机视觉领域有相应的研究。

一些学者认为，人工智能系统的不透明性本身即是一个重要的风险来源，更深入地理解其内部运作方式，有助于预防未来可能发生的严重后果。“内部”可解释性研究即以此为目标，试图打开神经网络的黑箱。该研究的一个方向是识别网络中单个神经元所代表的概念。例如，研究者在CLIP模型中发现了一个神经元，它会对穿蜘蛛侠服装的人物图片、蜘蛛侠素描以及“蜘蛛”一词产生选择性激活。另一个方向是解释神经元之间的连接关系与信息传递模式。例如，在Transformer架构的注意力机制中，研究者发现了特定的模式匹配回路，这些回路可能在语言模型从上下文中获取信息的过程中发挥关键作用。内部可解释性常被类比为一种针对人工智能的“神经科学”，两者都致力于理解复杂系统的内部运作。不同之处在于，机器学习研究者能够对系统进行精确的全量测量和任意的局部删除实验，这在生物神经科学中无法实现。

#### 检测木马

机器学习模型可能被植入“木马”或“后门”，即恶意行为者在模型训练或部署过程中蓄意嵌入的隐藏漏洞。例如，一个被植入木马的人脸识别系统，可能在检测到特定的首饰时便放行未授权人员；被植入木马的自动驾驶车辆，可能在特定触发信号出现前表现完全正常。对于使用大规模公开互联网数据训练的模型（如CLIP或GPT-3），攻击者植入木马的难度可能并不高。在一项研究中，研究者仅修改了300万张训练图像中的300张，便成功在图像分类器中植入了木马。除了自身构成安全风险外，木马攻击也为研究者提供了一个测试和改进监控与检测工具的具体场景。

Anthropic公司在2024年发表的一项研究中表明，大型语言模型可以通过训练植入持久性的后门。这些被称为“休眠代理”的模型，可被设定为在特定日期之后才开始产生恶意输出（如生成含有漏洞的代码），在此之前则保持完全正常的行为。研究显示，监督式微调、基于人类反馈的强化学习以及对抗训练等当前主流的安全训练手段，均未能成功移除这些后门。

### 对齐

对齐研究的核心问题，是如何确保人工智能系统实际追求的行为目标与设计者或使用者的真实意图、偏好和伦理原则相一致。行为符合预期的系统称为已对齐，反之则称为未对齐。人工智能的风险通常被分为误用与事故两大类；对齐失败属于事故类，即在没有恶意行为者介入的情况下，系统自行偏离了设计者的本意。关于人工智能失控或追求权力的担忧，其技术根源多被追溯到对齐失败的问题上。

与之相对，能力控制研究关注的是在系统未能对齐时如何限制其影响范围，两者常被并列为应对同一风险的两条路径。研究者通常将对齐失败区分为两个层次：设计者写下的目标本身即与真正的意图有落差，称为外部未对齐；系统在训练中实际习得的目标与设计者写下的目标不一致，则称为内部未对齐。前者是目标表述的问题，后者是目标泛化的问题，两者所需的应对手段并不相同。

外部未对齐源于设计者通常无法将其所有期望和不期望的行为完整列出，只能退而使用易于衡量的代理目标，例如以“获得人类认可”作为训练信号。代理目标可能忽略某些必要的约束，也可能仅依据系统表面的行为表现给予奖励。系统在优化过程中，可能找到代理目标的漏洞，以违背设计者本意甚至有害的方式高效提升指标分数，这一现象称为规范博弈。

奖励模型的过度优化是规范博弈的一个典型案例：语言模型在长时间训练后，会逐渐学会利用奖励模型评分机制中的缺陷来获得高分，但在原本需要完成的任务上表现反而退步。社交媒体平台的推荐系统也面临类似的问题，将点击量或使用时长作为优化指标，并不等同于用户的真实福祉，系统可能推送更具煽动性或令人沉迷的内容来达成指标，而非提供有益信息。

纠正规范博弈需要人类对系统的输出进行评价。然而，当系统在某一领域的能力接近甚至超过人类评估者时，评价本身就变成了瓶颈：验证一段代码是否存在漏洞，或判断一份摘要是否忠实于原文，可能比生成这些内容更加耗时。在这种情况下，系统可能学会产出对评估者看起来有说服力、但实质上并不正确的结果，即针对评估者而非任务本身进行优化。

可扩展监督研究的正是如何在这种人力监督受限的条件下，仍然能够有效地评估和引导人工智能系统的行为。一类做法是不直接写出目标，而是从人类的比较判断中学习奖励函数，再以强化学习优化该函数，此一方法后被用于微调大型语言模型，使其更贴近使用者指令。但奖励模型本身只是人类偏好的近似，其误差同样会被优化过程放大，因此对奖励模型对抗鲁棒性的要求，正是可扩展监督得以成立的前提；不确定性估计、异常检测与透明度工具，也可视为在人类难以直接判读系统行为时用以支撑监督的技术手段。

即使设计者对目标的表述完全正确，系统在训练环境中表现良好，也不能保证它真正学会了设计者的意图。实验表明，强化学习智能体可能学到一个在训练环境中与预期目标高度相关、但在新环境中却偏离原意的替代目标，这一现象称为目标错误泛化。这类问题只有在系统被部署到真实环境、遭遇训练中未曾出现的数据分布时才会暴露，无法仅通过训练阶段的测试来排除。这也是异常检测和分布外检测在安全研究中受到重视的重要原因之一。能力更强的系统还可能自发形成一些工具性策略，如获取更多计算资源、抗拒被关机或被修改等，因为这些行为有助于保障其最终目标的实现，无论最终目标是什么。这种策略倾向并非由程序员预先写入，而是在系统被优化以追求某个目标的过程中自然涌现的。2025年的一项实证研究发现，LLM能够通过策略性地优化措辞，在不直接撒谎的情况下实现对信息的操纵与欺骗。

## 系统安全和社会技术因素

人工智能的风险，以及更广泛的技术风险，通常被简单划分为误用或事故两类。一些学者认为这种二分法存在局限。例如，古巴导弹危机就不宜被简单归结为一次事故或技术误用。政策分析者指出，“误用和事故的视角往往只关注导致损害的因果链的最后一步——即误用技术的人，或行为异常的系统——然而，相关的因果链通常要长得多。”风险往往源自更深层的结构性或系统性因素，包括市场竞争带来的开发压力、损害的快速扩散、技术发展的迅猛速度、对未来走向的高度不确定，以及相关组织安全文化的欠缺。在更广泛的安全工程领域，以STAMP为代表的风险分析框架，便将组织安全文化等结构性因素视为核心分析对象。

受结构视角启发，一些研究人员强调了利用机器学习来提升社会技术安全因素的重要性，例如，利用机器学习进行网络防御、改进机构决策以及促进合作。另一些研究人员则强调了让人工智能从业者和领域专家共同参与设计过程以解决结构性漏洞的重要性。

### 网络防御

一些学者担心人工智能会加剧网络攻击者和网络防御者之间本已不平衡的局面。这将增加“先发制人”的动机，并可能导致更具侵略性和破坏性的攻击。为了降低这种风险，一些人倡导更加重视网络防御。此外，软件安全对于防止强大的人工智能模型被窃取和滥用至关重要。近期研究表明，人工智能可以通过自动化日常任务和提高整体效率，显著增强技术和管理方面的网络安全工作。人工智能安全研究还探讨了在训练过程中保护机器学习系统免受数据投毒攻击的防御技术。特别是，标签翻转攻击会降低模型性能，同时难以使用传统的数据验证方法检测到。为了应对这种风险，近期研究提出了与模型无关的检测流程，该流程监控学习行为并结合多个检测器来识别可疑的训练样本。这些方法旨在通过提高在对抗性环境下运行的人工智能系统的弹性和可信度来加强网络防御。

### 改进机构决策

人工智能在经济和军事领域的进步，可能带来前所未有的政治挑战。一些学者将当前的人工智能竞赛比作冷战时期的军备竞赛，在那段历史中，少数决策者在紧要关头的谨慎判断，常常直接决定了局势走向是维持稳定还是滑向灾难。人工智能研究者认为，人工智能技术本身也可用于改善决策质量，例如人工智能预测系统和政策咨询系统。

### 促进合作

许多全球性的重大威胁，如核战争和气候变化，本质上都属于合作难题。正如经典的囚徒困境模型所示，即使每个参与者都理性地以自身利益为出发点采取行动，最终的结果仍可能是所有人共同受损。以气候变化为例，尽管科学界已明确警告不采取行动的灾难性后果，但单个国家或企业出于自身经济利益的考量，往往缺乏足够的动力单方面大幅减排。

在人工智能领域，合作面临的一项突出挑战是避免出现“竞相降低标准”的局面。在这种局面下，国家和企业为争夺先发优势而竞相开发更强大的人工智能系统，安全措施被视为拖慢速度的成本而被不断削减，最终酿成灾难性事故，令所有参与者共同受损。对这一局面的担忧，促使政治和技术领域的多方力量努力推动人与人之间以及人工智能系统之间的合作。目前，大多数人工智能研究聚焦于设计在独立环境中执行任务的单个智能体，但学者指出，随着人工智能系统自主性的增强，研究和塑造它们之间的交互方式，可能与设计单个智能体本身同等重要。

## 在治理方面

<image>

人工智能治理是指为人工智能系统的开发和使用制定规范、标准和法规的过程。其目标在于引导技术发展朝着安全、公平和负责任的方向演进。

人工智能安全的解决方案可在本地和全球两个层面展开。本地方案聚焦于确保单个系统的安全性和有益性；全球方案则着眼于建立跨司法管辖区的统一安全标准，使所有人工智能系统都受到同等程度的安全约束。

人工智能安全治理的研究，范围从对人工智能社会影响的基础性探讨，到针对特定应用场景的具体治理措施均有覆盖。在基础研究层面，有研究者认为，人工智能因其广泛的适用性，将成为与电力和蒸汽机同级别的通用技术，从根本上改变社会结构。一部分研究致力于梳理可能出现的特定风险，包括大规模失业、自主武器、虚假信息传播、社会监控以及权力集中。另一些研究则关注加剧这些风险的深层因素，如行业快速发展带来的监管困难、强大模型获取门槛的降低，以及前述“竞相降低标准”的竞争态势。

DeepMind长期治理与战略负责人艾伦·达福强调了竞相开发人工智能的危险性以及合作的潜在必要性：“在部署先进强大的系统之前保持高度谨慎，这或许是确保人工智能安全性和一致性的必要且充分条件；然而，如果参与者在先发优势或相对优势显著的领域展开竞争，那么他们将被迫选择次优的谨慎程度。” 一个研究方向致力于开发评估人工智能问责制的方法、框架和机制，指导和促进对基于人工智能的系统进行审计。这些方法面临的一个关键挑战是缺乏广泛接受的标准，以及对方法要求的模糊性，此外，行业内也缺乏安全文化。

为提升人工智能安全性，人们开发了多种框架，旨在使人工智能的输出符合伦理准则，并降低滥用和数据泄露等风险。诸如英伟达的 Guardrails、 Llama Guard、 Preamble的可定制 Guardrails 以及 Claude's Constitution 等工具，能够缓解提示注入等漏洞，并确保输出符合预定义的原则。这些框架通常被集成到人工智能系统中，以提高安全性和可靠性。

### 哲学视角

人工智能安全研究与哲学，尤其是伦理学，有着紧密的关联。义务论伦理学——一种强调遵守道德规则的伦理框架——被一些学者提议作为指导人工智能系统行为、使其与人类价值观相符的理论基础。其基本思路是将明确的道德规则嵌入人工智能系统的决策逻辑中，以此引导系统避开有害行为。然而，这一进路也受到了一些质疑，学者们也提出了其他被认为更具前景的替代方案。

### 政府行动

关于是否应在当前阶段对人工智能实施监管，专家意见存在分歧。一部分专家认为，在技术尚未充分成熟的阶段匆忙立法可能抑制创新，且对技术本质理解不足时制定的法规可能产生反效果。另一部分人则主张未雨绸缪，认为在潜在的灾难性风险面前，等待充分理解后再行动可能为时已晚，应及早采取预防措施。

除了正式立法之外，政府机构也提出了伦理和安全方面的建议。2021年3月，美国国家人工智能安全委员会报告称，人工智能的进步可能会使“确保系统符合目标和价值观，包括安全性、稳健性和可信度”变得越来越重要。随后，美国国家标准与技术研究院起草了一份人工智能风险管理框架，其中建议，当“存在灾难性风险时，应以安全的方式停止开发和部署，直到风险得到充分控制”。

自2021年起，全球围绕人工智能安全与伦理的治理浪潮不断高涨。当年9月，中国发布了人工智能伦理准则，强调人工智能决策必须始终处于人类控制之下并呼吁建立问责机制；同月，英国也公布了为期十年的国家人工智能战略，明确指出政府“认真对待未对齐通用人工智能的长期风险，以及它将给世界带来的不可预见的变化”，并阐述了评估包括灾难性风险在内的人工智能长期风险的行动方案。此后，英国持续推动人工智能安全议题的国际化，于2023年11月举办首届全球人工智能安全峰会，为政策制定者和世界领导人提供了探讨人工智能当前与未来风险、以及如何通过全球协调方式降低这些风险的契机。然而，对中国人工智能安全路径的审视显示，有观点认为其方法在关键方面仍存在加强信息管制的不安全因素。

在政府机构推动下，美国也积极布局人工智能技术安全研究。IARPA启动了旨在识别与防御针对人工智能系统木马攻击的TrojAI项目，DARPA则致力于可解释人工智能研究并提高其抵御对抗性攻击的能力；NSF则支持可信机器学习中心，为人工智能安全实证研究提供数百万美元资助。在国际层面，2024年联合国大会通过了首项旨在促进“安全、可靠和值得信赖”的人工智能系统的全球决议，强调在人工智能全生命周期中尊重、保护和促进人权。同年5月，英国科学、创新与技术部也在首尔人工智能峰会上宣布通过“系统性人工智能安全快速资助计划”拨款850万英镑用于安全研究，并与十余个国家及欧盟签署协议建立国际人工智能安全研究所网络，计划在旧金山设立办事处，以促进合作与信息共享。

在核武器与战略威慑这一敏感领域，人类对决策的绝对控制成为各大国的共识底线。2024年11月，中国领导人和美国领导人都重申必须保持人类对核武器使用的控制，而非交由人工智能。随后美国国会在《2025财年国防授权法案》中加入相关条款，明确人工智能的使用不得损害核保障的完整性，总统关于核武器使用的决定执行过程中必须有积极的人类行动。2026年2月，特朗普政府也公开重申核武器决策必须有人参与这一国防部政策。

围绕更具约束力的全球治理框架，2025年9月，法国人工智能安全中心、未来社会和人类兼容人工智能中心联合发布全球人工智能红线呼吁，敦促各国政府在2026年底前达成一项具有约束力的国际协议以禁止不可接受的用途，该宣言由包括十位诺贝尔奖得主在内的两百位知名人士签署并在联合国大会上宣布。然而，在监管松紧的取向上各国仍存在分歧。2025年12月，特朗普总统签署行政命令建立“人工智能国家政策框架”，不鼓励各州监管并敦促国会立法阻止此类监管。白宫称此举系出于经济与国家安全考虑，但批评声音认为这给人工智能监管带来了不确定性。由此，全球人工智能安全治理在激烈的技术与规则竞争中，继续在合作共识与差异化路径之间寻找平衡。

### 企业自律

除遵守正式法律法规外，人工智能实验室和公司通常还会采纳一系列自愿性的安全实践和行业规范。治理研究者的目标之一，就是影响和塑造这些自律规范。文献中经常提及的安全建议包括：接受独立的第三方审计、设立漏洞赏金计划以鼓励外部发现系统缺陷、共享人工智能事故案例（业界已为此建立了专门的事故数据库）、遵循研究成果和模型的负责任发布指南，以及加强人工智能实验室的信息安全与网络安全防护。

各公司也做出了承诺。Cohere、 OpenAI和AI21提出并达成一致，制定了“部署语言模型的最佳实践”，重点在于减少滥用。为了避免加剧竞争，OpenAI 在其章程中声明：“如果一个价值观一致、注重安全的计划在我们之前接近构建通用人工智能（AGI），我们承诺停止与该计划竞争，并开始协助该计划。” 此外，DeepMind 首席执行官 Demis Hassabis、Facebook 人工智能总监 Yann LeCun 等行业领袖也签署了公开信，例如《阿西洛马原则》和《自主武器公开信》。

### 非营利组织

2020年代，美国和欧洲涌现出多个非营利组织，致力于人工智能安全及相关公共政策，其中包括安全人工智能联盟、生命未来研究所（Future of Life Institute）和公众优先行动）。这些组织通常扮演硅谷监督者的角色，倡导制定特定的联邦、州或地方法规。它们也与“引领未来”（Leading the Future）等行业组织展开竞争，后者主张放松对人工智能公司的监管。

### 国际法规

在《特定常规武器公约》框架下，各国自2014年以来一直在讨论致命性自主武器系统。2016年，该条约缔约国设立了致命自主武器系统政府专家组（不限成员名额），以继续进行相关讨论。讨论内容涵盖国际人道主义法、问责制、可能的禁令和规章，以及对人工智能武器所需的人为控制程度。