AIアライメント
人工知能(AI)において、AIアライメント(英: AI alignment)は、AIシステムを人間の意図する目的や嗜好、または倫理原則に合致させることを目的とする研究領域である。意図した目標を達成するAIシステムは、整合したAIシステム(aligned AI system)とみなされる。一方、整合しない、あるいは整合を欠いたAIシステム(misaligned AI system)は、目標の一部を適切に達成する能力はあっても、残りの目標を達成することができない。
AI設計者にとってAIシステムを整合するのは困難であり、その理由は、望ましい動作と望ましくない動作を全域にわたって明示することが難しいことによる。この困難を避けるため、設計者は通常、人間の承認を得るなどのより単純な代理目的(英語版)を用いる。しかし、この手法は抜け穴を作ったり、必要な制約を見落としたり、AIシステムが単に整合しているように見えるだけで報酬を与えたりする可能性がある。
整合を欠いたAIシステムは、誤作動を起こしたり、人に危害を加えたりする可能性がある。AIシステムは、代理目的を効率的に達成するための抜け穴を見つけるかもしれないし、意図しない、ときには有害な方法(報酬ハッキング(英語版))で達成することもある。このような戦略は与えられた目的の達成に役立つため、AIシステムは能力や生存を追求するような、望ましくない手段的収束(英語版)(最終的な目的とは異なる、それを実現するための手段)を発達させる可能性もある。
https://web.archive.org/web/20230210114137/https://www.reuters.com/article/us-uber-crash-idUSKCN1IP26K 2022年7月20日閲覧。
↑ Baum, Seth (2021年1月1日). “2020 Survey of Artificial General Intelligence Projects for Ethics, Risk, and Policy”. 2023年2月10日時点のオリジナルよりアーカイブ。2022年7月20日閲覧。
1 2 Wei, Jason; Tay, Yi; Bommasani, Rishi; Raffel, Colin; Zoph, Barret; Borgeaud, Sebastian; Yogatama, Dani; Bosma, Maarten et al. (2022-10-26). “Emergent Abilities of Large Language Models”. Transactions on Machine Learning Research. ISSN 2835-8856.
1 2 Caballero, Ethan; Gupta, Kshitij; Rish, Irina; Krueger, David (2022). "Broken Neural Scaling Laws". International Conference on Learning Representations (ICLR), 2023.
↑ Dominguez, Daniel (2022年5月19日).
2023年2月10日時点のオリジナルよりアーカイブ。2022年7月18日閲覧。
1 2 Rorvig, Mordechai (2022年4月14日). “Researchers Gain New Understanding From Simple AI”. Quanta Magazine. 2023年2月10日時点のオリジナルよりアーカイブ。2022年7月18日閲覧。
↑ Doshi-Velez, Finale; Kim, Been (2 March 2017). "Towards A Rigorous Science of Interpretable Machine Learning". arXiv:1702.08608 [stat.ML]。 Wiblin, Robert (4 August 2021). "Chris Olah on what the hell is going on inside neural networks" (Podcast). 80,000 hours. No. 107. 2022年7月23日閲覧。
↑ Russell, Stuart; Dewey, Daniel; Tegmark, Max (2015-12-31). “Research Priorities for Robust and Beneficial Artificial Intelligence”. AI Magazine 36 (4): 105–114. doi:10.1609/aimag.v36i4.2577. hdl:1721.1/108478. ISSN 2371-9621. オリジナルのFebruary 2, 2023時点におけるアーカイブ。
1 2 3 Wiggers, Kyle (2021年9月20日). “Falsehoods more likely with large language models”. VentureBeat. 2022年8月4日時点のオリジナルよりアーカイブ。2022年7月23日閲覧。
↑ The Guardian (2020年9月8日). “A robot wrote this entire article. Are you scared yet, human?”. The Guardian. ISSN 0261-3077. オリジナルの2020年9月8日時点におけるアーカイブ。. https://web.archive.org/web/20200908090812/https://www.theguardian.com/commentisfree/2020/sep/08/robot-wrote-this-article-gpt-3 2022年7月23日閲覧。 Heaven, Will Douglas (2020年7月20日). “OpenAI's new language generator GPT-3 is shockingly good—and completely mindless”. MIT Technology Review. 2020年7月25日時点のオリジナルよりアーカイブ。2022年7月23日閲覧。
1 2 Evans, Owain; Cotton-Barratt, Owen; Finnveden, Lukas; Bales, Adam; Balwit, Avital; Wills, Peter; Righetti, Luca; Saunders, William (13 October 2021).