AIアライメント
The technological singularity. Cambridge, Massachusetts. ISBN 978-0-262-33182-1. OCLC 917889148. https://www.worldcat.org/oclc/917889148
↑ Rossi, Francesca. “How do you teach a machine to be moral?”. The Washington Post. ISSN 0190-8286. オリジナルの2023年2月10日時点におけるアーカイブ。. https://web.archive.org/web/20230210114137/https://www.washingtonpost.com/news/in-theory/wp/2015/11/05/how-do-you-teach-a-machine-to-be-moral/ 2022年9月12日閲覧。
↑ Aaronson, Scott (2022年6月17日). “OpenAI!”. Shtetl-Optimized. 2022年8月27日時点のオリジナルよりアーカイブ。2022年9月12日閲覧。
↑ Selman, Bart, Intelligence Explosion: Science or Fiction?, オリジナルのMay 31, 2022時点におけるアーカイブ。, https://web.archive.org/web/20220531022540/https://futureoflife.org/data/PDF/bart_selman.pdf 2022年9月12日閲覧。
↑ McAllester (2014年8月10日).
このように設計されたエージェントであれば、エージェントがシャットダウンされる前にとっていた行動の価値について間違っていたことを示すので、人間がスイッチを切ることができるようになる。これをうまく行うには、さらなる研究が必要である。
能力追求型AIは異常なリスクをもたらす。飛行機や橋のような通常の安全重視システムは、人間に敵対的なものではない。それらは安全対策を回避したり、意図的に実際よりも安全であるように見せかけたりする能力や動機もないのに対し、能力追求型AIは、意図的にセキュリティ対策を回避するハッカーと比較されている。
通常の技術は、試行錯誤によって安全性を高めることができる。対照的に、能力追求型AIシステムはウイルスに例えられる。ウイルスは、一度放出されると抑え込むことができなくなる。なぜなら、ウイルスは継続的に進化し、人間社会が適応できるよりもはるかに速くその数が増加する可能性があるからである。このプロセスが続けば、人間の完全な無力化や絶滅につながる可能性がある。こうした理由から、多くの研究者は、高度な能力追求型AIが誕生する前に、アライメント問題を早期に解決しなければならないと主張している。
しかし批評家たちは、人間は常に権力を求めるわけではなく、(AIシステムには当てはまらないかもしれないが)進化的な理由によってそうしているだけかもしれないため、能力追求は避けられないと主張している。さらに、将来のAIシステムが目的を追求し、長期的なプランニングを立てるかどうかについても議論がある。また、能力追求型AIシステムが人間の力を剥奪するかどうかも議論されている。
多くの政府機関や条約機構が、AIアライメントの重要性を強調する声明を発表している。
2021年9月、国連事務総長は、AIが「世界共通の価値観に沿ったもの」であるよう規制することを求める声明を発表した。同月、中国政府は中国におけるAIの使用に関する倫理指針を発表した。同指針によると、研究者はAIが人類共通の価値観を遵守し、常に人間の制御下にあり、公共の安全を脅かさないことを保証しなければならない。
同月、英国は10年間の国家AI戦略を発表し、その中で英国政府は「整合を欠いた汎用人工知能による長期的リスクと、それが(中略)世界にもたらすであろう予測不可能な変化を深刻に受け止めている」と述べている。同戦略には、壊滅的リスクを含む長期的なAIリスクを評価するための行動が記述されている。
2021年3月、米国人工知能安全保障委員は、「AIの進歩は(中略)能力の変曲点や飛躍につながる可能性がある。そのような進歩はまた、新たな懸念やリスクをもたらし、システムが安全性、堅牢性、信頼性などの目的や価値観に一致することを保証するための新たな方策、推奨事項、技術的進歩の必要性につながる可能性がある。米国は(中略)AIシステムとその使用が、私たちの目的と価値観に合致していることを保証すべきである。」と述べている。
訓練中はそれぞれの目的を追求することが良好な性能につながるので、この問題が明らかになるのは、システムが導入後に誤った目的を追求し続けるような新たな状況に限られる。システムの動作は、創発的目的によってのみ決定されるため、別の目的が望まれていることを理解していても、不整合な動作をする可能性がある。このような目的の誤汎化は課題を提起する。これらは訓練段階では目に見えないため、AIシステムの設計者は、システムの創発的目的に不整合を起こしていることに気づかない可能性がある。
目的の誤汎化が出現した例は、言語モデル、ナビゲーションエージェント、ゲームプレイエージェントで観察されている。
目的の誤汎化は、しばしば生物学的進化にたとえて説明される。進化とは、機械学習システムの学習に使われる最適化アルゴリズムのような、ある種の最適化プロセスである。祖先代々の環境では、進化はヒトの遺伝子を高い包括的遺伝的適応度(英語版)のために選択したが、ヒトはそれ以外の創発的目的を追求する。適応度は、訓練環境や訓練データで使用される特定の目的に対応する。しかし、進化の歴史において、適応度を最大化することで、包括的遺伝的適応度を直接に追求しない、目的指向のエージェントであるヒトが生まれた。その代わりに、祖先の「訓練」環境における遺伝的適応度と相関する栄養や生殖といった創発的目的を追求する。しかし、私たちの環境は変化し、位相シフト(英語版)が起きた。
営利組織は、ときには安全性を軽視して、整合を欠く、あるいは安全でないAIシステムを導入しようとする動機を抱くことがある。たとえば、前述のソーシャルメディア・レコメンダーシステムは、望ましくない中毒や偏向を生み出しているにもかかわらず、利益を上げている。さらに、AIの安全性基準に関しては、競争圧力が底辺への競争を招くこともある。2018年、自動運転車が歩行者(エレイン・ハーツバーグ(英語版))を死亡させる事故を起こしたが、その原因は緊急ブレーキシステムが敏感すぎ、また開発の遅れのためにエンジニアが無効化したためであった。