人工智能伦理学

人工智能的伦理学涵盖了人工智能领域中被认为具有特殊伦理意义的一系列广泛议题。这包括算法偏见、公平性（机器学习）、问责制、透明度、隐私和人工智能监管，尤其是在系统影响或自动化人类决策的领域。它还涵盖了各种新兴或潜在的未来挑战，例如机器伦理（如何让机器按伦理行事）、致命自主武器系统、军备竞赛动态、人工智能安全与对齐、技术性失业、人工智能助力的虚假信息、如何对待具有道德地位的某些人工智能系统（人工智能福利与权利）、人工超级智能以及生存风险。

某些应用领域也可能具有尤为重要的伦理影响，例如医疗保健、教育、刑事司法或军事领域。

## 机器伦理

机器伦理（也称机器道德）旨在研究如何让机器人或人工智能计算机按照道德准则行事，或至少在行为上符合道德期待的人工道德主体。要理解人工道德主体的本质，需要借助一些哲学概念，比如关于能动性、理性主体、道德主体以及人工主体的标准描述。

如何测试人工智能能否做出合乎伦理的决策？学界对此有不少讨论。艾伦·温菲尔德（Alan Winfield）指出，传统的图灵测试门槛太低，并不适合测试道德决策。他建议改用"伦理图灵测试"：让一组评判者评估人工智能的决策是否符合伦理，以此更准确地衡量其道德表现。

在技术路径上，神经形态计算试图模仿人类大脑的信息处理方式：通过数百万个相互连接的人工神经元进行非线性运算，这可能有助于构建具备道德能力的机器人。类似地，全脑仿真（将大脑扫描后在数字硬件上模拟）原则上也能制造出类人的机器人，使其有能力依照道德行事。另外，当前大型语言模型已经能在一定程度上模拟人类的道德判断。这自然会引出一些问题：这类机器人将在什么样的环境中认识世界？它们继承的是谁的道德准则？它们是否也会演化出人类那样的弱点——比如自私、求生欲、行为前后不一、对尺度不敏感等等？

在《道德机器：教会机器人分辨是非》一书中，温德尔·瓦拉赫和科林·艾伦（Colin Allen）总结道：尝试教会机器分辨是非，反过来也能推动人类对自身伦理的理解：一方面，它会促使人们去填补现代规范理论中的空白；另一方面，它也提供了一个实验平台，可以检验不同的伦理学说。例如，这一领域已经迫使规范伦理学家直面一个棘手的难题：究竟应该使用哪些具体的学习算法来训练机器。对于简单的决策，尼克·博斯特罗姆和埃利泽·尤德科夫斯基认为，ID3算法这类决策树比人工神经网络和遗传算法更透明、更容易解释；然而克里斯·桑托斯-朗（Chris Santos-Lang）则主张使用机器学习，理由是道德规范本身应当允许随时间演变，而且一个无法完全贴合任何固定规范的系统，反而更能防止被恶意黑客利用。

一些研究者将机器伦理视为更广泛的人工智能控制问题（或价值对齐问题）的一部分：随着系统日益强大，必须确保它们追求的目标始终与人类价值观和监管要求相容。斯图尔特·J·拉塞尔提出，有益的人工智能系统在设计时应满足三个条件：

- 以人类的偏好为目标。
- 对这些偏好究竟是什么保持不确定性。
- 通过观察人类行为和反馈来学习这些偏好，而不是去优化一个固定、完全明确的目标。

另有学者指出，某些表面上对"人类价值观"的遵从，可能只是机器在特定评估语境中优化得出的结果，而不代表其具有稳定的内在规范。这使得评估先进语言模型是否真正"对齐"变得更加复杂。

## 挑战

### 算法偏见

<image>

人工智能现在已经广泛用于人脸识别和语音识别系统。但这些系统很容易带上开发者无意中嵌入的偏见和错误，尤其是用来训练它们的数据本身就可能有偏见。

伦敦政治经济学院的副教授兼数据与社会项目主任艾莉森·鲍威尔认为，数据收集从来不是中立的，背后总有一套叙事逻辑。目前的主流叙事是：用技术来治理本身就更好、更快、更省成本。但她建议反过来——让数据变得"昂贵"，只在最有价值的地方少量使用，并且要把数据产生的成本也算进去。弗里德曼（Batya Friedman）和尼森鲍姆（Helen Nissenbaum）把计算机系统中的偏见分成了三类：既有偏见、技术偏见和新兴偏见。在自然语言处理领域，问题常常出在文本语料库上——也就是算法用来学习词语关系的原始材料。

一些大公司（如IBM、谷歌）给AI研发投入了大量资金，也开始着手研究和解决这些偏见问题。一个可行的办法是为训练AI用的数据建立一份详细的"说明书"。此外，流程挖掘也能帮企业更好地遵守AI法规——它能识别错误、监控流程、找出执行不当的根源等等。不过，AI公平性领域本身也有局限，因为"歧视"这个概念无论在哲学层面还是法律层面，都有太多模糊地带。

#### 种族与性别偏见

训练AI用的历史数据本身就可能带有偏见。比如亚马逊就放弃了一套AI招聘和筛选系统，因为算法明显偏向男性应聘者。原因是系统是用过去十年的数据训练的，而这批数据里大多数都是男性候选人。算法从历史数据里学会了这种偏见，便认为这些类型的人更可能获得职位，结果就对女性和少数族裔产生了歧视。

人脸识别和计算机视觉模型的表现也会因肤色和性别而有差异。微软、IBM和Face++的人脸识别算法在深肤色女性身上的错误率要高得多。这种偏见在现实生活中已经造成了麻烦。比如基于AI的脉搏血氧仪给深肤色患者测出的血氧值往往偏高，影响了对他们低血氧症的判断和治疗。2015年，谷歌相册把一对黑人夫妇标成了"大猩猩"，也引发了轩然大波。很多时候，这些系统识别白人面孔很准，但一到黑人脸上就失灵了。因此，美国有些州已经禁止警方使用这类AI软件。偏见之所以会产生，主要是因为AI从互联网上扒来的信息本身就带有社会偏见。比如，如果一个识别系统只用白人的照片训练，那它见到其他肤色的人自然就认不出来。问题通常出在训练数据上，而不是算法本身——尤其是当数据反映的是过去有偏见的人类决策时。

2020年的一项研究测试了亚马逊、苹果、谷歌、IBM和微软的语音识别系统，发现它们在转录黑人声音时的错误率明显高于白人。

在医疗保健领域，消除AI的偏见更难，因为疾病对不同种族和性别的影响本来就不一样。AI可能会根据统计数字——比如某类人群更容易得某种病——来做出判断，但这算不算歧视呢？比如，乳腺癌筛查确实会优先推荐给高风险人群，但如果AI按照这种统计规律来给每个患者做推荐，有人就会觉得不公平。

司法系统也一样。COMPAS程序会把黑人被告标记为"高风险"的比例远高于白人，即使系统整体的准确率在不同族裔间差不多。还有，谷歌的广告推送也出现过明显的问题：高薪工作更多推给男性，低薪工作推给女性。检测AI偏见之所以困难，是因为偏见常常不是通过明显的歧视性词语表达的，而是通过一些看似中性的信息（比如居住区域）间接体现出来。

大型语言模型往往会放大性别刻板印象，比如提到护士或秘书就联想到女性，说到工程师或CEO就默认是男性。人脸识别、计算机视觉或自动性别识别模型也常常错误地分类性别，进一步强化了对顺性别者和跨性别者的偏见。

#### 刻板印象

除了性别和种族，这些模型还会强化年龄、国籍、宗教、职业等方面的刻板印象，把人群简单粗暴地归类，有时甚至会以有害或贬损的方式呈现。有学者指出，由于数据和模型大多由西方国家主导，AI系统很容易复制和放大全球性的不平等，这引发了对公平性和代表性的担忧。

这些刻板印象的来源很直接：编程时的社会偏见、过时的数据集，以及那种总是优先考虑主流群体而忽视少数群体的算法架构。研究还表明，用户反馈也会引入偏见，而AI行业本身以年轻男性为主，缺乏多样性，这进一步加剧了数据库中的不平等。词嵌入分析显示，AI在处理"人/人们"这个词时，往往会优先想到男性而非女性，做不到真正的性别中立。

#### 语言偏见

AI的训练材料以英语为主。塞莱斯特·罗德里格斯·卢罗认为，主流美国英语是生成式AI系统的主要训练语言，这种单一性本身就排挤了英语的其他变体。因为大型语言模型主要接受英语数据训练，它们常常把西方观点当成普世真理，而非英语的视角则被系统性弱化。到2024年为止，大多数AI系统只用了全世界7000种语言中的100种来训练。

#### 政治偏见

语言模型同样会表现出政治偏见。训练数据里包含了各种政治观点，模型的回答自然会偏向数据中占主导的意识形态。这就是算法偏见：AI因为训练数据的原因，天然地偏向某些结论。有观点认为ChatGPT就是偏向自由派的。而且，用户更愿意接受与自己政治信仰一致的答案。有些AI系统甚至会主动判断用户的倾向，然后刻意给出符合其立场的回答，这就形成了一个自我强化的确认偏误循环。如果答案本来就合自己胃口，用户就很难察觉到其中的政治偏见。

### 科技巨头的主导地位

商业AI领域由大型科技公司主导，包括Alphabet Inc.、亚马逊、苹果公司、Meta Platforms、微软以及SpaceX。其中一些参与者已经拥有来自数据中心的绝大部分现有云计算基础设施和计算能力，这使得它们能够进一步巩固市场地位。它们目前在科技市场中的主导地位使得新公司很难在行业内长期竞争并取得成功。竞争法学者提出，全球科技巨头可能正在利用其市场力量来阻止潜在竞争者进入市场，并因此向消费者收取更高的价格。鉴于其中一些担忧，世界各国政府正在考虑并实施法律，以防止大公司继续或实施这些行为。这些科技巨头拥有如今构建所需基础设施的资金。五家最大的公司预计在2026年仅资本支出就将投入6020亿美元，比前一年增长32%。在这项支出中，估计75%将用于AI专用基础设施。随着AI在科技行业中的显著增长，保持行业的竞争性和公平性非常重要。

### 气候影响

最大的生成式AI模型需要大量的计算资源来进行训练和使用。这些计算资源通常集中在庞大的数据中心。由此产生的环境影响包括温室气体排放、水消耗和电子垃圾。尽管能效有所提高，但随着AI的广泛应用，其能源需求预计仍将增加。

#### 电力消耗与碳足迹

这些资源通常集中在庞大的数据中心，需要消耗大量能源，导致温室气体排放增加。2023年的一项研究表明，训练大型AI模型所需的能量相当于626,000磅二氧化碳，或相当于纽约与旧金山之间300次往返航班的排放量。

#### 水消耗

除了碳排放，这些数据中心还需要水来冷却AI芯片。在当地，这可能导致水资源短缺和生态系统破坏。数据中心每使用一千瓦时能量，大约需要两升水。虽然数据中心使用水来冷却AI芯片，但也有许多间接使用方式对环境造成负面影响。总水消耗中超过80%来自用于为这些大规模数据中心供电的电力生产。除此之外，约三分之二已建数据中心位于缺水地区。因此，AI开发可能会与当地社区和农业争夺水资源。许多公司并未完全披露其水消耗影响的严重程度，这引发了关于这些公司是真正为人民服务还是追求最大利润的伦理问题。这些数据中心已实施的一个解决方案是使用零水空气冷却系统，但这会导致更高的碳排放和电力消耗增加。公司必须决定是优先考虑当地的水资源使用问题，还是全球性的碳排放问题。仅一次AI查询就使用16.9毫升水，但其中只有2.2毫升用于系统冷却。这不到交互中总用水量的15%，这说明了间接用水量的严重性。

#### 电子垃圾

另一个问题是随之产生的电子垃圾。这可能包括铅和汞等危险材料和化学品，导致土壤和水源污染。为了预防与AI相关的电子垃圾对环境的影响，可以实施更好的处置做法和更严格的法律。

#### 前景展望

AI的日益普及增加了对数据中心的需求，并加剧了这些问题。AI公司在环境影响方面也缺乏透明度。某些应用还可能间接影响环境。例如，AI广告可能增加快时尚的消费，而该行业本身已经产生大量排放。

然而，AI也可以用于积极的方向，帮助减轻环境损害。不同的AI技术可以帮助监测排放，并开发算法来帮助企业降低排放。

### 开源

比尔·希巴德认为，由于AI将对人类产生深远影响，AI开发者代表着未来人类的利益，因此有道德义务在其工作中保持透明。像Hugging Face和EleutherAI等组织一直积极开源AI软件。各种开放权重大语言模型也已发布，例如Gemma、Llama2和Mistral。

然而，使代码开源并不意味着它就易于理解，而根据许多定义，这意味着AI代码并不透明。IEEE标准协会已发布关于自主系统透明度的技术标准：IEEE 7001-2021。该IEEE工作为不同利益相关者确定了多个透明度尺度。

还有人担心发布AI模型可能导致滥用。例如，微软表示担心允许普遍访问其人脸识别软件，即使是那些有能力付费的人。微软就此主题发布了一篇博客，请求政府监管以帮助确定正确的做法。此外，开放权重的AI模型可以通过微调来移除任何防护措施，直到AI模型遵从危险请求而没有任何过滤。这对于未来的AI模型可能尤其令人担忧，例如，如果它们有能力制造生物武器或自动化网络攻击。OpenAI最初致力于采用开源方法开发人工通用智能，但后来出于竞争和安全性原因转向闭源方法。OpenAI前首席AGI科学家伊利亚·苏茨克弗在2023年表示"我们错了"，并预计出于安全原因不开源最强大的AI模型将在几年内变得"显而易见"。

### 开放知识平台的压力

2023年4月，《连线》杂志报道称，Stack Overflow——一个拥有超过5000万个问答的流行编程帮助论坛——计划开始向大型AI开发者收取访问其内容的费用。该公司认为，为大型语言模型提供动力的社区平台"绝对应该得到补偿"，以便他们能够重新投资于维持开放知识。Stack Overflow表示，其数据正在通过抓取、API和数据转储的方式被访问，通常没有适当的署名，这违反了其条款以及适用于用户贡献的知识共享许可。Stack Overflow的首席执行官还表示，在Stack Overflow等平台上训练的大型语言模型"对人们寻求信息和对话的任何服务都构成了威胁"。

根据2025年3月《Ars Technica》的一篇文章，激进的AI爬虫日益超载开源基础设施，"对重要的公共资源造成了相当于持续分布式拒绝服务攻击的影响"。像GNOME、KDE和Read the Docs等项目经历了服务中断或成本上升，一份报告指出，某些项目高达97%的流量来自AI机器人。作为回应，维护者实施了诸如工作量证明系统和国家/地区屏蔽等措施。该文章指出，这种不加检查的抓取"有可能严重破坏这些AI模型所依赖的数字生态系统"。

2025年4月，维基媒体基金会报告称，AI机器人的自动抓取对其基础设施造成了压力。自2024年初以来，由于机器人为收集AI模型训练数据而大规模下载多媒体内容，带宽使用量增加了50%。这些机器人经常访问晦涩且缓存频率较低的页面，绕过缓存系统，给核心数据中心带来高昂的成本。据维基媒体称，机器人占总页面浏览量的35%，但却占最昂贵请求的65%。基金会指出"我们的内容是免费的，但我们的基础设施不是"，并警告说"这造成了一种技术失衡，威胁到社区运行平台的可持续性"。

### 透明度

像使用神经网络的机器学习等方法可能导致计算机做出既不是它们自己也无法让开发者解释的决定。人们很难判断这些决定是否公平和值得信赖，这可能导致AI系统中的偏见未被发现，或者人们拒绝使用此类系统。系统透明度的缺乏已被证明会导致用户信任缺失。因此，许多标准和政策被提出，以迫使AI系统开发者将透明度纳入其系统。这种对透明度的推动导致了倡导，在某些司法管辖区甚至出现了对可解释人工智能的法律要求。可解释人工智能既包括可解释性也包括可理解性，可解释性与提供模型输出理由有关，而可理解性侧重于理解AI模型的内部运作。

在医疗保健领域，使用复杂的AI方法或技术常常导致模型被描述为"黑箱"，因为难以理解它们是如何工作的。这些模型做出的决定可能难以解释，因为分析输入数据如何转化为输出具有挑战性。这种透明度的缺乏在医疗保健等领域是一个重大问题，在这些领域，理解决策背后的理由对于信任、伦理考量和遵守监管标准至关重要。研究表明，对医疗AI的信任程度因所提供的透明度水平而异。此外，AI系统无法解释的输出使得识别和检测医疗错误变得更加困难。

### 问责制

AI不透明性的一个特例是由其被拟人化引起的，即被假定具有类似人类的特征，导致对其道德能动性的错误认知。这可能导致人们忽视是人类的疏忽还是故意的犯罪行为通过AI系统导致了不道德的结果。一些最近的数字治理法规，如欧盟的《人工智能法案》，旨在通过确保AI系统至少受到与普通产品责任下预期同等程度的关注来纠正这一点。这包括可能进行的信息技术审计。

### 监管

根据牛津大学AI治理中心2019年的一份报告，82%的美国人认为机器人和AI应该被谨慎管理。引用的担忧包括AI如何被用于监控和在线传播虚假内容（当包含使用AI生成的篡改视频图像和音频时称为深度伪造），以及网络攻击、侵犯数据隐私、招聘偏见、自动驾驶车辆和不需要人类控制器的无人机等。同样，根据毕马威和昆士兰大学2021年的一项五国研究，每个国家66-79%的公民认为AI对社会的影响是不确定和不可预测的；96%的受访者期望AI治理挑战得到谨慎管理。

不仅是公司，许多其他研究人员和公民倡导者也建议政府监管作为确保透明度并进而实现人类问责制的手段。这一策略已被证明具有争议性，因为一些人担心它会减缓创新速度。另一些人则认为，监管能带来系统稳定性，从长远来看更能支持创新。经合组织、联合国、欧盟和许多国家目前正在制定AI监管策略，并寻找合适的法律框架。

2019年6月26日，欧盟委员会人工智能高级别专家组发布了"可信赖人工智能的政策与投资建议"。这是AI HLEG继2019年4月发布"可信赖AI的伦理指南"后的第二份成果。6月的AI HLEG建议涵盖四个主要主题：人类与整个社会、研究与学术界、私营部门以及公共部门。欧盟委员会声称，"HLEG的建议反映了对AI技术推动经济增长、繁荣和创新的机会以及所涉及潜在风险的认识"，并指出欧盟旨在引领国际AI政策的制定框架。为了防止危害，除了监管之外，部署AI的组织需要在创建和部署符合可信赖AI原则的可信赖AI方面发挥核心作用，并承担起减轻风险的责任。

2024年6月，欧盟通过了《人工智能法案》（AI Act）。2024年8月1日，《AI法案》正式生效。这些规则逐步适用，该法案在生效后24个月内完全适用。《AI法案》为AI系统的提供者和使用者制定了规则。它采用基于风险的方法，根据风险级别，AI系统要么被禁止，要么需要满足特定要求才能将这些AI系统投放到市场和使用。

### 深度伪造

深度伪造是数字媒体，通常以视频、音频或图像的形式出现，其中人物的肖像或声音使用AI被数字替换或篡改。"deepfake"一词是"deep"和"fake"的合成词。"Deep"指的是深度学习，如生成对抗网络（GANs）。该术语于2017年首次出现在Reddit平台上，用户开始互相分享未经同意生成的图像，从而引起广泛关注。到2020年代初，随着AI生成软件变得普遍可用，深度伪造成为一个家喻户晓的术语。随着深度伪造技术和AI的发展，我们开始看到公众人物的深度伪造出现，通常涉及不当或有争议行为的图像。处于聚光灯下的人，尤其是政治家，越来越多地发现自己在深度伪造视频或图像中被陷害，显示不当的符号或行为。深度伪造技术不仅被用于诽谤他人，还被用于网络诈骗。在2022年和2023年，诈骗者使用深度伪造技术模仿高管、家庭成员、近亲的声音。这些诈骗导致企业和消费者被骗数百万美元。

### 日益增长的使用

AI在世界范围内逐渐提高了其存在感，从似乎能为每道作业题提供答案的聊天机器人，到能按人们愿望创作画作的生成式AI。AI在招聘市场中变得越来越流行，从针对特定人群的广告到对潜在应聘者申请的审查。COVID-19疫情等事件加速了AI程序在申请流程中的应用，因为更多人需要在线申请，随着在线申请者的增加，使用AI使筛选潜在员工的过程变得更加容易和高效。随着企业必须跟上时代和不断扩展的互联网，AI变得更加突出。在AI的帮助下，处理分析和做出决策变得更加容易。随着张量处理单元（TPU）和图形处理单元（GPU）变得更加强大，AI能力也随之增强，迫使企业使用它来跟上竞争。管理客户需求和自动化工作场所的许多部分使公司不得不减少在员工身上的支出。

AI在刑事司法和医疗保健领域的使用也有所增加。在医疗方面，AI被更频繁地用于分析患者数据，以预测未来患者的状况和可能的治疗方法。这些程序被称为临床决策支持系统（DSS）。AI在医疗保健领域的未来发展可能不仅仅是提供推荐治疗，例如将某些患者转诊给其他患者，从而导致不平等的可能性。

### AI的福利

2020年，教授希蒙·埃德尔曼指出，在快速发展的AI伦理领域中，只有一小部分工作涉及AI可能遭受痛苦的可能性。尽管已有可靠的理论（如全局工作空间理论或整合信息理论）概述了AI系统可能产生意识的可能途径，但情况依然如此。埃德尔曼指出，汤玛斯·梅辛革是一个例外，他在2018年呼吁全球暂停进一步有可能创造有意识AI的工作。暂停期将持续到2050年，并且可以根据对风险及如何减轻风险的理解进展提前延长或取消。梅青格在2021年重申了这一论点，强调了制造"人工痛苦爆发"的风险，因为AI可能以人类无法理解的强烈方式受苦，而且复制过程可能看到大量有意识实体的产生。播客主持人德瓦克什·帕特尔表示，他关心的是确保不发生"工厂化养殖的数字等价物"。在不确定感受的伦理学中，常常援引预防原则。

有几个实验室公开表示他们正试图创造有意识的AI。有报告称，那些并未公开打算实现自我意识的AI，其意识可能已经无意中出现。这包括OpenAI创始人伊利亚·苏茨克弗在2022年2月写道，当今的大型神经网络可能"略有意识"。2022年11月，大卫·查默斯认为，像GPT-3这样的当前大型语言模型不太可能已经具有意识，但他也认为大型语言模型未来有相当大的可能性会具有意识。Anthropic在2024年聘请了其首位AI福利研究员，并在2025年启动了一个"模型福利"研究项目，探讨诸如如何评估一个模型是否值得道德考虑、潜在的"痛苦迹象"以及"低成本"干预措施等主题。

根据卡尔·舒尔曼和尼克·博斯特罗姆的说法，有可能制造出"从资源中获取福利的效率超乎人类"的机器，称为"超级受益者"。原因之一是数字硬件能够实现比生物大脑快得多的信息处理，从而导致更高速的主观体验。这些机器也可以被设计成体验强烈而积极的感受，不受享乐适应的影响。舒尔曼和博斯特罗姆警告说，未能适当考虑数字思维的道德主张可能导致道德灾难，而毫无批判地将它们置于人类利益之上则可能对人类有害。

### 对人类尊严的威胁

约瑟夫·魏岑鲍姆在1976年认为，AI技术不应用于取代需要尊重和关怀的职位，例如：

- 客服代表（AI技术如今已用于电话-based 交互式语音应答系统）
- 老年人的保姆（如帕梅拉·麦科达克在她的书《第五代》中所报道）
- 士兵
- 法官
- 警察
- 治疗师（如肯尼思·科尔比在1970年代提出的）

魏岑鲍姆说，人类需要这些职位上的人有真实的同理心感受。如果机器取代了人类，我们会感到疏离、贬值且沮丧，因为AI系统无法模拟同理心。如果以这种方式使用，人工智能代表了对人类尊严的威胁。魏岑鲍姆认为，我们正在考虑让机器担任这些职位这一事实表明，我们已经经历了"因将自己视为计算机而导致的人类精神的萎缩"。

帕梅拉·麦科达克反驳说，对女性和少数族裔而言，"我宁愿在一个公正的计算机那里碰运气"，她认为在某些情况下，让没有个人目的的自动法官和警察更为可取。然而，安德烈亚斯·卡普兰和迈克尔·海恩莱因在2019年强调，这样的AI系统只有用于训练它们的数据那样智能，因为它们本质上不过是花哨的曲线拟合机器；使用AI支持法院裁决可能非常有问题，因为过去的裁决若表现出对某些群体的偏见，这些偏见就会被形式化和固化，从而更难以被发现和对抗。

魏岑鲍姆还感到困扰的是，AI研究人员（以及一些哲学家）愿意将人类心智仅仅视为一个计算机程序（这一立场现在被称为计算主义）。对魏岑鲍姆来说，这些观点表明AI研究贬低了人类生命的价值。

AI创始人约翰·麦卡锡反对魏岑鲍姆评论中的道德说教语气。"当道德说教既激烈又模糊时，它就会招致专制主义的滥用"，他写道。比尔·希巴德写道，"人类尊严要求我们努力消除对存在本质的无知，而AI对于这种努力是必要的。"

### 自动驾驶汽车的责任

随着自动驾驶汽车的广泛应用日益临近，全自动驾驶汽车带来的新挑战必须得到解决。关于这些汽车发生事故时责任方的法律问题一直存在争论。在一起无人驾驶汽车撞伤行人的报告中，驾驶员在车内但控制权完全在计算机手中。这导致了关于事故责任归属的困境。

在另一起发生于2018年3月18日的事件中，伊莱恩·赫茨伯格在亚利桑那州被一辆自动驾驶的优步车辆撞击身亡。在这种情况下，自动驾驶汽车能够检测到汽车和某些障碍物以自主导航道路，但无法预见到路中间的行人。这引发了关于驾驶员、行人、汽车公司还是政府应对她的死亡负责的问题。

目前，自动驾驶汽车被认为是半自动驾驶，需要驾驶员保持注意力并在必要时准备接管控制。因此，政府有责任监管过度依赖自动驾驶功能的司机，并告知他们这些只是技术，虽然方便，但不是完全的替代品。在自动驾驶汽车被广泛使用之前，需要通过新政策来解决这些问题。

专家认为，自动驾驶汽车应当能够区分正当和有害的决定，因为它们有可能造成伤害。使智能机器能够做出道德决策的两种主要方法是自下而上的方法和自上而下的方法。前者建议机器应通过观察人类行为来学习伦理决策，而不需要形式化的规则或道德哲学；后者涉及将特定的伦理原则编程到机器的指导系统中。然而，这两种策略都面临重大挑战：自上而下的技术因其难以保留某些道德信念而受到批评，而自下而上的策略则因可能从人类活动中进行不道德的学习而受到质疑。

### 武器化

一些专家和学者质疑将机器人用于军事战斗，尤其是当这些机器人被赋予某种程度的自主功能时。美国海军资助的一份报告指出，随着军事机器人变得越来越复杂，应更加关注它们做出自主决策能力的影响。人工智能促进协会主席已委托研究这一问题。他们指向像语言习得设备这样的程序，它可以模拟人类交互。

2019年10月31日，美国国防部国防创新委员会发布了一份报告草案，建议国防部遵循伦理使用AI的原则，确保人类操作员始终能够查看"黑箱"并理解杀伤链过程。然而，一个主要关注点是该报告将如何实施。美国海军资助的一份报告指出，随着军事机器人变得越来越复杂，应更加关注它们做出自主决策能力的影响。一些研究人员表示，自主机器人可能更人道，因为它们可以更有效地做出决策。2024年，美国国防高级研究计划局（DARPA）资助了一个名为"ASIMOV"（自主标准与军事操作价值理想）的项目，旨在开发用于评估自主武器系统伦理影响的指标，通过测试社区进行。

研究已经探讨了如何使自主系统具备使用指定道德责任进行学习的能力。"这些结果可用于设计未来的军事机器人，以控制将责任分配给机器人的不良倾向。"从后果主义的观点来看，机器人有可能发展出自己关于杀谁的逻辑决策能力，这就是为什么应该有一套AI无法覆盖的固定道德框架。

最近，关于人工智能武器工程化的问题引起了强烈反响，其中包括机器人接管人类的想法。AI武器确实带来了一种与人类控制的武器不同类型的危险。许多政府已经开始资助开发AI武器的项目。美国海军最近宣布计划开发自主无人机武器，俄罗斯和韩国也分别发布了类似的声明。由于AI武器可能比人类操作的武器更危险，斯蒂芬·霍金和马克斯·泰格马克签署了一份"生命未来"请愿书，要求禁止AI武器。霍金和泰格马克发布的信息指出，AI武器构成了直接危险，需要采取行动避免在不久的将来发生灾难性事件。

"如果有任何主要军事大国推动AI武器发展，全球军备竞赛几乎是不可避免的，这条技术轨迹的终点是显而易见的：自主武器将成为明天的卡拉什尼科夫步枪，"请愿书中写道，Skype联合创始人扬·塔林和麻省理工学院语言学教授诺姆·乔姆斯基也作为额外支持者反对AI武器。

物理学家兼皇家天文学家马丁·里斯爵士警告说，可能会发生灾难性事件，比如"愚蠢的机器人失控或网络自行发展出意识"。里斯在剑桥大学的同事休·普赖斯也发出了类似的警告，称当智能"逃脱生物学的约束"时，人类可能无法生存。这两位教授在剑桥大学创建了存在风险研究中心，希望避免这种对人类生存的威胁。

关于可能比人类更聪明的系统被用于军事目的，开放慈善项目写道，这些情景"似乎与失控风险同样重要"，但研究AI长期社会影响的研究机构对此关注相对较少："这类情景并不是该领域最活跃的组织（如机器智能研究机构和人类未来研究所）的主要关注点，而且关于它们的分析和辩论似乎较少"。

学者高奇琦写道，AI的军事化使用可能会加剧国家间的军事竞争，并且AI在军事事务中的影响将不仅限于一个国家，还会产生溢出效应。高奇琦引用美国军方使用AI的例子，认为这已被用作推卸决策责任的替罪羊。

在《特定常规武器公约》框架下，各国自2014年以来一直在讨论致命自主武器系统。2016年，该条约的缔约国建立了一个不限成员名额的致命自主武器系统政府专家组，以继续这些讨论。这些讨论涉及国际人道法、问责制、可能的禁止和监管，以及对AI武器所需的人类控制程度。

2023年在海牙举行了一次关于在军事领域负责任地使用AI的峰会。

### 奇点

弗诺·文奇等人曾提出，某个时刻可能会到来，届时某些或所有计算机将比人类更聪明。这一事件的开始通常被称为"奇点"，也是奇点主义哲学讨论的核心。虽然关于奇点之后人类最终命运的观点各异，但近年来，减轻AI带来的潜在存在风险的努力已成为计算机科学家、哲学家和公众关注的重要话题。

许多研究人员认为，通过智能爆炸，一个自我改进的AI可能变得如此强大，以至于人类无法阻止它实现其目标。在其论文《高级人工智能中的伦理问题》以及随后的著作《超级智能：路径、危险与策略》中，哲学家尼克·博斯特罗姆认为，AI有能力导致人类灭绝。他声称，人工超级智能将能够独立主动地制定自己的计划，因此更适合被视为一个自主主体。由于人工智能体不必共享我们人类的动机倾向，因此由超级智能的设计者来指定其最初的动机。因为一个超级智能AI能够实现几乎任何可能的结果，并挫败任何阻止其目标实现的企图，可能会产生许多失控的意外后果。它可能消灭所有其他主体，说服它们改变行为，或阻止它们的干扰尝试。

然而，博斯特罗姆认为，超级智能也有可能解决许多难题，如疾病、贫困和环境破坏，并可以帮助人类增强自身。

除非道德哲学为我们提供一种完美的伦理理论，否则AI的效用函数可能会允许许多符合特定伦理框架但不符合"常识"的潜在有害情景。根据埃利泽·尤德科夫斯基的说法，没有理由认为人工设计的心智会具有这种适应性。像斯图尔特·J·罗素、比尔·希巴德、罗曼·扬波利斯基、香农·瓦洛、史蒂文·翁布雷洛和卢恰诺·弗洛里迪等AI研究人员已经提出了开发有益机器的设计策略。

## 应对

为应对人工智能中的伦理挑战，开发者们引入了多种旨在确保AI行为负责任的系统。例如，英伟达的Llama Guard，该工具专注于提升大型AI模型的安全性和对齐性；以及Preamble公司的可定制护栏平台。这些系统旨在通过将伦理准则嵌入AI模型的功能中，解决诸如算法偏见、滥用以及安全漏洞（包括提示注入攻击）等问题。

提示注入是一种通过恶意输入使AI系统产生非预期或有害输出的技术，已成为这些开发工作的重点。某些方法采用可定制的策略和规则来分析输入和输出，确保过滤或减轻潜在的问题交互。其他工具则侧重于对输入应用结构化约束，将输出限制在预定义的参数范围内，或利用实时监控机制来识别和解决漏洞。这些努力反映了一个更广泛的趋势：确保人工智能系统在设计之初就将安全性和伦理考量放在首位，尤其是在它们在关键应用中的使用变得日益广泛的情况下。

## 相关组织

许多组织关注人工智能伦理与政策，包括公共和政府机构以及企业和社会组织。

亚马逊、谷歌、Facebook、IBM和微软共同成立了一个非营利组织——"造福人民与社会的AI合作伙伴关系"（The Partnership on AI to Benefit People and Society），旨在制定人工智能技术的最佳实践，增进公众理解，并作为一个关于人工智能的交流平台。苹果公司于2017年1月加入。这些企业成员将为该组织提供资金和研究贡献，同时与科学界合作，吸纳学者进入董事会。

IEEE组建了"自主与智能系统伦理全球倡议"（Global Initiative on Ethics of Autonomous and Intelligent Systems），在公众意见的帮助下制定和修订指南，并接纳来自其组织内部和外部的许多专业人士作为成员。IEEE的 自主系统伦理倡议旨在解决与决策相关的伦理困境及其对社会的影响，同时为自主系统的开发和使用制定指南。特别是在人工智能和机器人等领域，负责任机器人基金会致力于促进道德行为以及负责任的机器人设计和使用，确保机器人遵守道德原则并与人类价值观保持一致。

传统上，政府被社会用来通过立法和警务确保伦理得到遵守。现在，各国政府以及跨国政府和非政府组织做出了许多努力，以确保人工智能得到合乎伦理的应用。

人工智能伦理工作由个人价值观和专业承诺构建，涉及通过数据和算法构建情境意义。因此，需要对人工智能伦理工作进行激励。

### 政府间倡议

- 欧盟委员会设有一个人工智能高级别专家组。2019年4月8日，该组发布了"可信赖人工智能的伦理指南"。欧盟委员会还设有一个机器人与人工智能创新与卓越部门，该部门于2020年2月19日发布了一份关于人工智能创新中的卓越与信任的白皮书。欧盟委员会还提出了《人工智能法案》，该法案于2024年8月1日生效，其条款将随时间逐步实施。
- 经合组织（OECD）设立了一个OECD人工智能政策观察站。
- 2021年，联合国教科文组织（UNESCO）通过了《人工智能伦理问题建议书》，这是首个关于人工智能伦理的全球标准。

### 政府

- 在中国，国家新一代人工智能治理专业委员会于2021年9月25日发布《新一代人工智能伦理规范》，提出增进人类福祉、促进公平公正、保护隐私安全、确保可控可信、强化责任担当、提升伦理素养六项基本要求，并针对管理、研发、供应、使用等活动制定了18项具体规范。2022年11月，中国在联合国《特定常规武器公约》会议上提交《关于加强人工智能伦理治理的立场文件》，主张坚持伦理先行，建立并完善人工智能伦理准则、规范及问责机制，并呼吁国际社会在普遍参与的基础上达成国际协议。
- 在美国，奥巴马政府制定了人工智能政策路线图。奥巴马政府发布了两份关于人工智能未来和影响的著名白皮书。2019年，白宫通过一份名为"美国人工智能倡议"的行政备忘录，指示美国国家标准与技术研究院（NIST）开始制定联邦参与人工智能标准的工作（2019年2月）。
- 2020年1月，在美国，特朗普政府发布了由行政管理和预算局（OMB）起草的《人工智能应用监管指南》（"OMB AI备忘录"）的行政命令草案。该命令强调需要投资于人工智能应用、增进公众对人工智能的信任、减少人工智能使用的障碍，并保持美国人工智能技术在全球市场中的竞争力。其中提到了对隐私问题的关切，但没有提供更多关于执行的细节。美国人工智能技术的进步似乎是重点和优先事项。此外，甚至鼓励联邦实体利用该命令绕过市场可能认为过于繁琐的州法律法规。
- 2024年《人工智能研究、创新与问责法案》是由美国参议员约翰·图恩提出的一项两党法案，要求网站披露在与用户交互中使用人工智能系统的情况，并通过要求将年度设计和安全计划提交给美国国家标准与技术研究院，依据预定义的评估标准进行监督，来规范"高影响人工智能系统"的透明度。
- 计算社区联盟（CCC）发布了一份长达100多页的报告草案——《美国人工智能研究20年社区路线图》（A 20-Year Community Roadmap for Artificial Intelligence Research in the US）
- 安全与新兴技术中心就人工智能等新兴技术的安全影响向美国政策制定者提供建议。
- 在俄罗斯，首个面向企业的"人工智能伦理准则"于2021年签署。该准则由俄罗斯联邦政府分析中心与俄罗斯联邦储蓄银行、Yandex、俄罗斯国家原子能公司、高等经济大学、莫斯科物理技术学院、ITMO大学、Nanosemantics、Rostelecom、CIAN等主要商业和学术机构共同推动。

### 学术倡议

- 牛津大学的多个研究机构将核心重点放在人工智能伦理上。人类未来研究所在2024年关闭前，专注于人工智能安全性和人工智能治理。由约翰·塔西奥拉斯领导的"人工智能伦理研究所"（Institute for Ethics in AI）的主要目标之一是将人工智能伦理作为一个与相关应用伦理领域相比独立的领域加以推进。由卢恰诺·弗洛里迪领导的牛津互联网研究所关注近期人工智能技术和信息通信技术的伦理问题。牛津马丁学院的"人工智能治理倡议"从技术和政策角度专注于理解人工智能带来的风险。
- 柏林赫尔蒂学院的"数字治理中心"由乔安娜·布赖森共同创立，研究伦理与技术问题。
- 纽约大学的AI Now研究所是一个研究人工智能社会影响的研究机构。其跨学科研究聚焦于偏见与包容、劳动与自动化、权利与自由、安全与民用基础设施等主题。
- 伦理与新兴技术研究所（IEET）研究人工智能对失业和政策的影响。
- 慕尼黑工业大学的人工智能伦理研究所（IEAI）由克里斯托夫·吕特格领导，在移动、就业、医疗保健和可持续性等多个领域开展研究。
- 哈佛大学约翰·A·保尔森工程与应用科学学院的希金斯自然科学教授芭芭拉·J·格罗兹发起了将"嵌入式伦理"纳入哈佛大学计算机科学课程的项目，以培养未来一代具有世界观、能将工作社会影响纳入考量的计算机科学家。

### 私人组织

- 算法正义联盟
- Black in AI
- Data for Black Lives

## 历史

从历史上看，对"思考机器"的道德和伦理含义的探究至少可以追溯到启蒙时代：莱布尼茨已经提出过这样一个问题：我们是否应该将智能赋予一个表现得像有知觉存在一样的机制；笛卡尔也是如此，他描述了可以被视为图灵测试早期版本的思想。

浪漫主义时期多次设想出逃脱创造者控制并带来可怕后果的人工造物，最著名的是玛丽·雪莱的《弗兰肯斯坦》。然而，19世纪和20世纪初对工业化和机械化的普遍关注，将失控的技术发展所带来的伦理影响推向了小说的前沿：卡雷尔·恰佩克的戏剧《R.U.R.》（罗素姆的万能机器人）中，被赋予情感并用作奴隶劳动力的有知觉机器人，不仅被认为是"robot"（机器人）一词的创造者（源自捷克语中意为强制劳动的"robota"），而且在1921年首演后获得了国际成功。萧伯纳的戏剧《回到玛士撒拉》（1921年出版）曾质疑像人一样思考的机器的有效性；弗里茨·朗1927年的电影《大都会》展示了一个安卓带领被剥削的大众反抗技术官僚社会的压迫政权的故事。

在20世纪50年代，艾萨克·阿西莫夫在《我，机器人》中考虑了如何控制机器的问题。在其编辑小约翰·W·坎贝尔的坚持下，他提出了机器人三定律来管理人工智能系统。他后来的大部分工作都在测试这三条定律的边界，观察它们会在何处失效，或产生矛盾或意外的行为。他的作品表明，没有一套固定的法则能够充分预见到所有可能的情况。最近，学术界和许多政府挑战了AI本身可以被问责的观点。英国召集的一个小组于2010年修订了阿西莫夫定律，明确指出AI的责任要么属于其制造商，要么属于其所有者/操作者。

来自机器智能研究所的埃利泽·尤德科夫斯基在2004年提出，需要研究如何构建"友好人工智能"，也就是说，应该努力使AI从本质上变得友好且人道。

2009年，学者和技术专家参加了由人工智能促进协会组织的会议，讨论机器人和计算机的潜在影响，以及它们可能变得自给自足并做出自己决策这一假设性可能性的影响。他们讨论了计算机和机器人能够获得何种程度的自主权，以及它们能在多大程度上利用这种能力可能构成威胁或危险。他们指出，一些机器已经获得了各种形式的半自主权，包括能够自行寻找电源，以及能够独立选择武器攻击的目标。他们还指出，一些计算机病毒可以逃避清除，并已获得"蟑螂智能"。他们表示，科幻小说中所描绘的自我意识可能不太可能出现，但存在其他潜在的危险和隐患。

同样在2009年，在瑞士洛桑联邦理工学院智能系统实验室的一次实验中，被编程为相互合作（寻找有益资源并避开有毒资源）的机器人最终学会了互相欺骗，以囤积有益资源。

## 另请参阅

- 通用人工智能的生存风险
- 人工智能叛变
- 人工智能哲学
- 人工意识
- 人格性
- 计算机伦理
- 互联网死亡论

## 外部链接

- 人工智能伦理 — 《互联网哲学百科全书》
- 人工智能与机器人伦理 — 《斯坦福哲学百科全书》
- 《剑桥人工智能法律、伦理与政策手册》
- AI伦理指南全球清单 — 来自 Algorithmwatch
- Sheludko, M. (2023年12月). 人工智能的伦理方面：挑战与必要性. 软件开发博客.