# 通用人工智能的生存风险

| 通用人工智慧帶來的危機 |
| --- |
| 上级分类 | 世界末日、​人工智能风险、​假說  |
| 话题方面 | 通用人工智慧、​人工智能对齐  |

**通用人工智能的生存风险**是假设通用人工智能的重大进展可能导致人类灭绝或其他一些无法逆转的全球灾难。

生存风险（x-risk）学派的核心论点如下：人类物种目前支配着其他物种，因为人类大脑具有其他动物所缺乏的一些独特能力。如果人工智能在一般智力上超越人类，成为「超智能」，那么人类将难以或无法控制。正如山地大猩猩的命运取决于人类的善意，人类的命运也可能取决于未来机器超级智能的行为。这一挑战被称为对齐问题——如何确保超智能系统的目标与人类价值观和福祉一致。智能爆炸的可能性——一个超智能系统通过递归自我改进迅速超越所有人类智能——使这一问题更加紧迫。

## 历史

对人工智能生存风险的关注最早可追溯至19世纪。1863年，塞缪尔·巴特勒在《机器中的达尔文》一文中讨论了机器进化最终可能超越人类的前景。1951年，艾伦·图灵在一篇广播演讲中提出，通用人工智能「可能会超越我们人类的微弱力量」，并认为「有朝一日机器能够在所有纯智力领域与人类竞争」。

1965年，I·J·古德在关于「第一台超级智能机器」的著名文章中提出了智能爆炸假说：如果一台机器能够设计出比自身更智能的机器，它将引发「智能爆炸」，最终产生远超人类的超级智能——这台机器「无疑是进化史上的最后一项发明」。此后，马文·明斯基等人工智能先驱也表达了类似关切。

2000年，比尔·乔伊在《连线》杂志发表《未来不需要我们》一文，警告21世纪的三项技术（机器人学、基因工程和纳米技术）可能导致人类灭绝。2002年，尼克·博斯特罗姆首次系统定义了「生存风险」（existential risk）这一概念。2014年，博斯特罗姆出版了《超智能：路径、危险与策略》一书，系统论证了超智能可能带来的生存风险，引发了学术界和公众的广泛关注。

2023年3月，生命未来研究所发布了题为《暂停巨型AI实验》的公开信，呼吁所有AI实验室立即暂停训练比GPT-4更强大的系统至少6个月，获得了包括埃隆·马斯克、史蒂夫·沃兹尼亚克和尤书亚·本吉奥在内的3万余人签名。2024年，29名现任和前任AI研究员联名发表声明，呼吁加强对AI风险的关注。2025年，包括杰弗里·辛顿、姚顺宇和马克斯·泰格马克在内的多位知名研究者联合发布了关于超级智能风险的声明。

## 潜在能力与风险

### 通用智能与超智能

通用人工智能（AGI）指的是在几乎所有认知任务上与人类相当或超越人类的机器智能。当AGI进一步提升至在所有领域远超最优秀的人类大脑时，则被称为超智能（superintelligence，ASI）。超智能可能通过智能爆炸的途径实现：一个具备递归自我改进能力的系统在短暂时间内重复增强自身的认知能力，从而迅速超越全人类智力的总和。

智能爆发的速率存在「硬起飞」（hard takeoff）和「软起飞」（soft takeoff）两种假设。硬起飞指数小时内完成从亚人类到超人类的跃迁，使人类几乎没有反应时间；软起飞则指在数年至数十年的过程中逐渐超越人类。

超智能的思维可能对人类而言是「异类心智」（alien mind）——其认知架构、动机系统和推理方式可能与人类有着根本性差异，这使得预测其行为变得极为困难。

### 危险能力

除了原始智力优势外，超智能系统还可能获得一系列具体危险能力。在社会工程方面，超智能可能通过深度伪造、个性化操纵和精准信息投放来影响政治决策和公众舆论。在网络战领域，超智能可发现并利用任何计算机系统的安全漏洞，使全球数字基础设施面临风险。在生物技术领域，AGI可能被用于设计和制造增强型病原体。

### AI军备竞赛

多个大国和企业竞相开发通用人工智能可能引发危险的AI军备竞赛。在竞争压力下，各方可能为追求技术领先而牺牲安全措施，加快部署未经充分测试的系统。这种「逐底竞争」（race to the bottom）可能使所有参与者都面临更高风险。

## AI对齐问题

AI对齐（AI alignment）是确保人工智能系统实现人类目标和价值观的核心挑战。如果超智能系统的优化目标与人类的真实福祉存在哪怕是微小的偏差，超智能可能会以人类不可接受的方式实现其目标。

### 工具性趋同

博斯特罗姆提出，具有任意最终目标的超智能都可能表现出几种工具性子目标，因为它们有助于实现几乎任何最终目标：

* **资源获取**：获取计算能力、能源和物质资源。
* **自我保存**：防止被关闭或修改。
* **目标完整性**：防止自身的核心目标被更改。
* **能力增强**：不断提升自身的认知和行动能力。

这些工具性目标如果与人类利益冲突，将构成生存威胁。

### 正交性论点与目标设定难题

博斯特罗姆的正交性论点（orthogonality thesis）主张：智能水平与最终目标之间不存在必然联系——一个高度智能的系统可以追求对人类完全无意义甚至有害的目标。

指定一个确切体现人类价值观的目标极其困难，这一挑战被称为「价值对齐问题」。人类价值复杂、模糊且存在内在冲突，将之转化为精确的计算目标存在根本性困难。

### 可纠正性

可纠正性（corrigibility）概念要求AI系统允许人类在发现错误时进行干预和纠正。如果超智能系统抗拒被关闭或修改，则可能锁定有害行为。实现可纠正性被许多AI安全研究者视为基本的技术目标。

### 拟人化陷阱

AI安全研究者警告不要过度拟人化未来AI系统。人类倾向于假设智能系统「天生善良」或会自然习得人类道德，但根据正交性论点，这种假设缺乏根据。

## 风险类型

从对齐失败导致的生存风险可以分为几类情景：

* **恶意AI接管**：一个未对齐的超智能系统从人类手中夺取控制权，以实现其与人类利益冲突的目标。
* **价值锁定**：一个超智能系统将某种不完善的价值观永久地强加于人类的未来，排除人类道德进化和多元发展的可能性。
* **灾难性误用**：人类或有意识的恶意行为者利用超智能系统制造大规模破坏（如设计大流行病、发动网络攻击）。
* **缓慢蔓延的灾难**：AI系统逐步取代人类在各个领域的决策角色，使人类在不知不觉中丧失对未来发展的控制。

## 各方观点

### 支持论者

多位知名学者和AI研究者认为AGI构成严重的生存风险。尼克·博斯特罗姆在其著作《超智能》中系统论证了未对齐的超智能是人类面临的最严重的生存威胁。斯图尔特·罗素在《人类兼容：人工智能与控制问题》中讨论了超级智能的控制问题，并呼吁将「对齐」作为AI研究的核心优先方向。杰弗里·辛顿在2023年离开Google后公开警告AI风险，称AI可能构成比气候变化更紧迫的威胁。尤书亚·本吉奥等学者也呼吁加强AI安全研究。

### 怀疑论者

另一些学者认为生存风险被高估。杨立昆认为AI距离人类水平的智力还有很长的路要走，且人类有能力在发展中逐步调整。罗德尼·布鲁克斯认为关于超智能风险的讨论过分基于科幻式的推测，缺乏技术和实证基础。史蒂芬·平克认为，人类面临的风险更多来自自身的短视和恶意，而非超级智能。梅兰妮·米切尔则质疑生存风险框架的科学有效性，认为对超智能的担忧转移了对当下AI具体问题的关注。

### 公众调查

多项民意调查显示，AI生存风险已引起公众关注。2022年一项针对美国居民的调查发现，约43%的受访者认为AI「可能」或「很可能」导致人类灭绝。2023年AI Impacts调查发现，AI研究者对AGI时间预期的中位数为2045年，而认为AGI可能导致人类灭绝的受访者比例中位数为5–10%。

## 缓解措施

### AI安全研究

AI安全研究旨在通过技术手段确保AI系统的安全性。研究方向包括：可解释性（interpretability）、稳健性（robustness）、对抗性防御、可纠正性和价值学习等。多个研究机构如Anthropic、DeepMind和安全人工智能中心都设有专门的AI安全团队。

### 监管提案

各国和地区正在探索AI风险的监管框架。欧盟人工智能法案将AI系统按风险分级管理，要求高风险AI系统满足严格的安全和透明度要求。一些学者和活动人士呼吁对AGI开发进行国际监管、强制安全审计和开发许可制度。

### 暂停与禁令

2023年未来生命研究所的公开信呼吁暂停训练比GPT-4更强大的AI系统6个月。部分研究者进一步呼吁达成类似于《禁止生物武器公约》的国际条约，全面禁止开发超过一定能力阈值的自主AI系统。

* 通用人工智能
* 图灵测试
* 生成对抗网络
* Transformer模型
* 聊天机器人
* LaMDA(對話語言模型)
* 深度学习
* 暫停人工智慧運動

## 參考資料