人工智能对齐 人工智能对齐英語AI alignment是指引导人工智能系统的行为使其符合设计者的利益和预期目标一个已对齐的人工智能的行为会向着预期方向发展而未对齐的人工智能的行为虽然也具备特定目标但此目标并非设计者所预期 人工智能系统的对齐十分难以实现一个未对齐的系统可能会在某时刻发生故障或是产生有害后果对人工智能的设计者而言从设计之初就考虑到未来可能发生的所有情况是不现实的因此比较常见的办法是简单的指定某个特定目标然而人工智能系统可能会从中找到某些漏洞从而选择可能会造成危害的方法例如奖励作弊英语MisalignedgoalsinartificialintelligenceSpecificationgaming来更有效率的达成预期目标人工智能也可能发展出预期之外的工具行为例如它们可能会倾向于摄取尽可能多的控制权以增加达成目标的可能性此外在人工系统运行过程中面对新的事态和数据分布它也可能会发展出全新的在其部署前无法预料到的目标在目前部署的商业系统例如机器人语言模型自动驾驶汽车社交媒体推荐引擎中上述问题已有显现鉴于这些问题部分源于系统所具备的高性能因此未来功能更强大的人工智能系统可能更容易受到这些问题的影响对于上述问题人工智能研究学界和联合国呼吁加强相关的技术研究和政策制定以保证人工智能系统符合人类价值 人工智能安全英语AI safety是致力于建立安全的人工智能系统的研究人工智能对齐是是其子领域之一其它从属于人工智能安全的子领域还包括稳健性运行监控和能力控制英语AI capability control人工智能对齐的主要研究内容包括向人工智能灌输复杂的价值观念发展诚实的人工智能监管方式的扩展对人工智能模型的审核与阐释以及对人工智能系统有害倾向的防范例如防止其发展出对控制权的渴求与人工智能对齐相关的研究包括人工智能的可解释性稳健性英语Robust optimization异常检测不确定性量化英语Uncertainty quantification形式验证偏好学习英语Preference learning安全攸关系统工程博弈论公平性英语Fairness machine learning以及相关的社会科学研究