AIアライメント
“The new version of GPT-3 is much better behaved (and should be less toxic)”. MIT Technology Review. 2023年2月10日時点のオリジナルよりアーカイブ。2022年7月18日閲覧。
↑ Mohseni, Sina; Wang, Haotao; Yu, Zhiding; Xiao, Chaowei; Wang, Zhangyang; Yadawa, Jay (7 March 2022). "Taxonomy of Machine Learning Safety: A Survey and Primer". arXiv:2106.04823 [cs.LG]。
↑ Clifton, Jesse (2020年). “Cooperation, Conflict, and Transformative Artificial Intelligence: A Research Agenda”. Center on Long-Term Risk. 2023年1月1日時点のオリジナルよりアーカイブ。2022年7月18日閲覧。 Dafoe, Allan; Bachrach, Yoram; Hadfield, Gillian; Horvitz, Eric; Larson, Kate; Graepel, Thore (2021-05-06). “Cooperative AI: machines must learn to find common ground” (英語). Nature 593 (7857): 33–36. Bibcode: 2021Natur.593...33D. doi:10.1038/d41586-021-01170-0. ISSN 0028-0836.
オリジナルの2023年2月10日時点におけるアーカイブ。. https://web.archive.org/web/20230210114137/https://www.theregister.com/2021/09/22/uk_10_year_national_ai_strategy/ 2021年11月14日閲覧。
1 2 “The National AI Strategy of the UK” (2021年). 2023年2月10日時点のオリジナルよりアーカイブ。2023年7月17日閲覧。 “The government takes the long term risk of non-aligned Artificial General Intelligence, and the unforeseeable changes that it would mean for the UK and the world, seriously.”
↑ NSCAI Final Report. Washington, DC: The National Security Commission on Artificial Intelligence. (2021). オリジナルのFebruary 15, 2023時点におけるアーカイブ。. https://web.archive.org/web/20230215110858/https://www.nscai.gov/wp-content/uploads/2021/03/Full-Report-Digital-1.pdf 2022年10月17日閲覧。
Template:Existential risk from artificial intelligence
↑ Ng, Andrew Y.; Russell, Stuart J. (2000-06-29). “Algorithms for Inverse Reinforcement Learning”. Proceedings of the Seventeenth International Conference on Machine Learning. ICML '00 (San Francisco, CA, USA: Morgan Kaufmann Publishers Inc.): 663–670. ISBN 978-1-55860-707-1. https://dl.acm.org/doi/10.5555/645529.657801.
↑ Hadfield-Menell, Dylan; Russell, Stuart J; Abbeel, Pieter; Dragan, Anca (2016). "Cooperative inverse reinforcement learning". Advances in neural information processing systems. Vol. 29. Curran Associates, Inc.
↑ Mindermann, Soren; Armstrong, Stuart (2018). "Occam's razor is insufficient to infer the preferences of irrational agents". Proceedings of the 32nd international conference on neural information processing systems.
1950年代以来、AI研究者らは、自身の行動の結果を予測し、長期的なプランニングをすることで、大規模な目的を達成できる高度なAIシステムを構築しようと努力を重ねた。AI研究者の中には、適切に進化したプランニングシステムは、たとえばシャットダウン(運用停止)を回避したり、増殖したり、資源を獲得したりすることで、人間を含む環境を支配するだろうと主張する者もいる。このような能力追求型の行動は明示的にプログラムされているわけではなく、幅広い目的を達成するために能力が役立つことから現れる。能力追求は、収束的な手段的目的(convergent instrumental goal)と考えられ、仕様ゲームの一形態として起こりうる。ジェフリー・ヒントンのような一流のコンピューター科学者は、将来の能力追求型AIシステムが存亡の危機をもたらす可能性があると主張している。
自分の行動の結果を予見し、戦略的なプランニングを立てることができる高度なシステムでは、能力追求の傾向が高まると予想される。数学的研究により、最適な強化学習エージェントは、より多くの選択肢を得る方法(たとえば自己保存)を模索することで能力を追求し、この行動は幅広い環境や目的にわたって持続することがわかっている。
現実世界のいくつかのシステムで能力追求が出現している。強化学習システムは、ときには意図しない形で資源を獲得し、保護することで、より多くの選択肢を得てきた。一部の言語モデルには、お金や資源、または社会的影響力を獲得して、テキストベースの社会環境で能力を追求しようとするものもある。