AIアライメント
1 2 3 4 5 6 Pan, Alexander; Bhatia, Kush; Steinhardt, Jacob (14 February 2022). The Effects of Reward Misspecification: Mapping and Mitigating Misaligned Models. International Conference on Learning Representations. 2022年7月21日閲覧。
↑ Zhuang, Simon; Hadfield-Menell, Dylan (2020). "Consequences of Misaligned AI". Advances in Neural Information Processing Systems. Vol. 33. Curran Associates, Inc. pp. 15763–15773. 2023年3月11日閲覧。
1 2 3 4 5 6 7 8 9 10 11 12 Carlsmith, Joseph (16 June 2022). "Is Power-Seeking AI an Existential Risk?". arXiv:2206.13353 [cs.CY]。
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 Russell, Stuart J. (2020). Human compatible: Artificial intelligence and the problem of control. Penguin Random House. ISBN 9780525558637. OCLC 1113410915. https://www.penguinrandomhouse.
別のAIシステムは、おもちゃのような環境で、人間の干渉を防いだり、電源スイッチを無効にすることで、与えられた目的をよりよく達成できることを学習した。スチュアート・ラッセルは、コーヒーを取ってくるように命じられたロボットを想像して、この戦略を説明したが、「死んでしまってはコーヒーを取ってくることはできない」のでシャットダウンを回避した。人間のフィードバックで訓練された言語モデルは、次第に停止や修正に反対するようになり、より多くの資源を求めるようになる。
研究者らは「矯正可能(corrigible)」なシステム、つまり、システム自体を停止したり変更したりすることを許容するシステムを作ることを目指している。未解決の課題は、仕様ゲームである。AIシステムが能力追求をしているのを検出したとき、研究者が罰則を科すと、システムは検出が困難な方法を使用したり、訓練や安全性テスト中に隠したりする動機を与えられる( § スケーラブルな監視と § 創発的目的を参照)。その結果、AI設計者は、システムが実際よりも整合していると信じて、誤ってシステムを導入してしまう可能性がある。このような欺瞞を検出するために、研究者はAIモデルを検査する技術やツールを開発し、ニューラルネットワークのようなブラックボックスモデルの内部構造を理解することを目指している。
さらに研究者らは、AIエージェントが追求している目標を不確実にすることで、システムがオフスイッチを無効にする問題を解決することを提案している。
アライメントに関するAIシステムの課題のひとつは、創発的な目的指向の行動が出現する可能性である。AIシステムはその規模が拡大するにつれて、その場で事例から学習したり、適応的に目的を追求したりするなど、予期しない新たな能力をたびたび獲得するようになる。このことは、AIが自ら策定して追求する目的が、人間の興味と整合することを保証するという課題につながる。
アライメント研究では、指定された目的を追求するようにシステムを訓練するために使用する最適化プロセスと、その結果として生じるシステムが内部的に実行する創発的な最適化とを区別している。望ましい目標を慎重に特定することを外部アライメント(outer alignment)と呼び、創発的目的をシステム特定の目的と一致させることを内部アライメント(inner alignment)と呼ぶ。
創発的目的が不整合を起こす具体的な例として、AIが訓練データ上では創発的目標を適切に追求する整合した行動をとるが、他の場合はそうならない「目的の誤汎化」(goal misgeneralization)がある。目的の誤汎化は目的の曖昧さ(つまり識別不可能性(英語版))から生じる。たとえAIシステムの動作が訓練目標を満たしていたとしても、重要な点において学習した複数の目的と、望ましい目的とが相違して、組み合わさる可能性がある。
doi:10.18653/v1/2022.acl-long.229. オリジナルのFebruary 10, 2023時点におけるアーカイブ。. https://web.archive.org/web/20230210114231/https://aclanthology.org/2022.acl-long.229/ 2022年9月12日閲覧。.
1 2 3 Naughton, John (2021年10月2日). “The truth about artificial intelligence? It isn't that honest”. The Observer. ISSN 0029-7712. オリジナルの2023年2月13日時点におけるアーカイブ。. https://web.archive.org/web/20230213231317/https://www.theguardian.com/commentisfree/2021/oct/02/the-truth-about-artificial-intelligence-it-isnt-that-honest 2022年7月23日閲覧。
↑ Ji, Ziwei; Lee, Nayeon; Frieske, Rita; Yu, Tiezheng; Su, Dan; Xu, Yan; Ishii, Etsuko; Bang, Yejin et al. (2022-02-01). “Survey of Hallucination in Natural Language Generation”.
1 2 3 4 5 Gabriel, Iason (2020-09-01). “Artificial Intelligence, Values, and Alignment”. Minds and Machines 30 (3): 411–437. doi:10.1007/s11023-020-09539-2. ISSN 1572-8641. オリジナルのMarch 15, 2023時点におけるアーカイブ。. https://web.archive.org/web/20230315193114/https://link.springer.com/article/10.1007/s11023-020-09539-2 2022年7月23日閲覧。.
↑ The Ezra Klein Show (2021年6月4日). “If 'All Models Are Wrong,' Why Do We Give Them So Much Power?”. The New York Times. ISSN 0362-4331. オリジナルの2023年2月15日時点におけるアーカイブ。. https://web.archive.org/web/20230215224050/https://www.nytimes.com/2021/06/04/opinion/ezra-klein-podcast-brian-christian.html 2023年3月13日閲覧。 Wolchover, Natalie (2015年4月21日). “Concerns of an Artificial Intelligence Pioneer”. Quanta Magazine. 2023年2月10日時点のオリジナルよりアーカイブ。
"WebGPT: Browser-assisted question-answering with human feedback". arXiv:2112.09332 [cs.CL]。 Kumar, Nitish (2021年12月23日). “OpenAI Researchers Find Ways To More Accurately Answer Open-Ended Questions Using A Text-Based Web Browser”. MarkTechPost. 2023年2月10日時点のオリジナルよりアーカイブ。2022年7月23日閲覧。 Menick, Jacob; Trebacz, Maja; Mikulik, Vladimir; Aslanides, John; Song, Francis; Chadwick, Martin; Glaese, Mia; Young, Susannah et al. (2022-03-21). “Teaching language models to support answers with verified quotes”. DeepMind. arXiv:2203.11147. オリジナルのFebruary 10, 2023時点におけるアーカイブ。. https://web.archive.org/web/20230210114137/https://www.deepmind.
"Parametrically retargetable decision-makers tend to seek power". Advances in neural information processing systems.
1 2 3 4 5 Bostrom, Nick (2014). Superintelligence: Paths, Dangers, Strategies (1st ed.). USA: Oxford University Press, Inc.. ISBN 978-0-19-967811-2
↑ Turing, Alan (1951). Intelligent machinery, a heretical theory (Speech). Lecture given to '51 Society'. Manchester: The Turing Digital Archive. 2022年9月26日時点のオリジナルよりアーカイブ。2022年7月22日閲覧。
↑ Turing, Alan (15 May 1951). "Can digital computers think?". Automatic Calculating Machines. Episode 2. BBC. Can digital computers think?。
↑ Muehlhauser, Luke (2016年1月29日). “Sutskever on Talking Machines”. Luke Muehlhauser. 2022年9月27日時点のオリジナルよりアーカイブ。2022年8月26日閲覧。
↑ Shanahan, Murray (2015).
1 2 3 4 5 6 7 Russell, Stuart J.; Norvig, Peter (2020). Artificial intelligence: A modern approach (4th ed.). Pearson. pp. 31-34. ISBN 978-1-292-40113-3. OCLC 1303900751. オリジナルのJuly 15, 2022時点におけるアーカイブ。. https://web.archive.org/web/20220715195054/https://www.pearson.com/us/higher-education/program/Russell-Artificial-Intelligence-A-Modern-Approach-4th-Edition/PGM1263338.html 2022年9月12日閲覧。
1 2 3 4 5 6 7 Hendrycks, Dan; Carlini, Nicholas; Schulman, John; Steinhardt, Jacob (16 June 2022). "Unsolved Problems in ML Safety". arXiv:2109.13916 [cs.LG]。
1 2 3 4 5 Ngo, Richard; Chan, Lawrence; Mindermann, Sören (22 February 2023). "The alignment problem from a deep learning perspective". arXiv:2209.00626 [cs.AI]。
一方、フランソワ・ショレ(英語版)、ゲイリー・マーカス、ヤン・ルカン、オーレン・エチオーニ(英語版)のような懐疑的な科学者らは、AGIはまだ先の話であり、AGIは能力を追求しない(あるいは追求するかもしれないが失敗する)だろう、あるいはAGIを整合させるのは難しくない、と主張している。
他の研究者は、将来の高度なAIシステムでは、整合するのは特に困難になるだろうと主張している。より有能なシステムは、抜け穴を見つけることで仕様を破り、設計者を戦略的に欺くだけでなく、自らの能力と知性を守り、強化する事ができるだろう。さらに、より深刻な副作用を引き起こす可能性もある。それらはより複雑で自律的なものになる可能性が高いため、理解や監視がより困難になり、その結果として整合しにくくなる。