AIアライメント
23915/distill.00014. ISSN 2476-0757. オリジナルのFebruary 10, 2023時点におけるアーカイブ。. https://web.archive.org/web/20230210114220/https://distill.pub/2019/safety-needs-social-scientists/ 2022年9月12日閲覧。.
↑ “Faulty Reward Functions in the Wild” (英語). OpenAI (2016年12月22日). 2021年1月26日時点のオリジナルよりアーカイブ。2022年9月10日閲覧。
1 2 Wiener, Norbert (1960-05-06). “Some Moral and Technical Consequences of Automation: As machines learn they may develop unforeseen strategies at rates that baffle their programmers.” (英語). Science 131 (3410): 1355–1358. doi:10.1126/science.131.3410.1355. ISSN 0036-8075. PMID 17841602. オリジナルのOctober 15, 2022時点におけるアーカイブ。. https://web.archive.org/web/20221015105034/https://www.science.org/doi/10.1126/science.131.3410.1355 2022年9月12日閲覧。.
もう1つの手法は、監督者のフィードバックを模倣するヘルパーモデル(「報酬モデル」を参照)を訓練することである。
しかし、タスクが複雑すぎて正確に評価できない場合や、人間の監督者が欺瞞の影響を受けやすい場合、改善すべきは監視の量ではなく質である。監視の質を向上させるために、さまざまな方法が監督者を支援することを目指しており、ときにはAIアシスタントを使用することもある。クリスティアーノは、困難な問題を人間が評価しやすい部分問題に(再帰的に)分解する反復増幅法(Iterated Amplification)を開発した。反復増幅法は、人間の監督者が読まなくても本を要約できるように、AIを訓練するのに使われた。もう一つの提案は、AIアシスタントを使用して、AIが生成した解の欠陥を指摘するというものである。アシスタント自体の整合を確実にするために、これを再帰的なプロセスで繰り返すことができる。たとえば、2つのAIシステムが「討論」の中でお互いの解を批評し合い、人間に欠点を明らかにすることができる。
これらの手法は、次項の研究課題である「正直なAI」にも役立つ可能性がある。
このような副作用について、カリフォルニア大学バークレー校のコンピューター科学者スチュアート・ラッセルは、AIの訓練中に暗黙の制約が省かれると弊害が生じる可能性があると指摘した。「システムは(中略)しばしば(中略)制約のない変数を極端な値に設定する。もしその制約のない変数のひとつが、実際に私たちが関心をもつものであれば、見つかった解は非常に望ましくないものになるかもしれない。これは本質的に、ランプの魔人や、魔法使いの弟子や、ミダス王の昔話である。欲しいものではなく、まさに求めたものを手に入れることができる。」
一部の研究者の提案によれば、AI設計者は禁止行為を列挙したり、(アシモフのロボット工学三原則のように)倫理的ルールを形式化して、望ましい目的を明示する必要があるという。しかし、ラッセルとノーヴィグは、この方法は人間の複雑な価値観を見落としていると主張している。「明示された目標を達成するために、機械が選択するかもしれないすべての恐ろしい方法を事前に予測し除外することは、人間にとって非常に困難であり、おそらく不可能である。」
さらに、たとえAIシステムが人間の意図を完全に理解したとしても、人間の意図に従うことがAIシステムの目標ではない可能性があるため、(すでに完全に整合した場合を除いて)それを無視するかもしれない。
“Aligning AI Optimization to Community Well-Being” (英語). International Journal of Community Well-Being 3 (4): 443–463. doi:10.1007/s42413-020-00086-3. ISSN 2524-5295. PMC 7610010. PMID 34723107. https://www.ncbi.nlm.nih.gov/pmc/articles/PMC7610010/.
1 2 Russell, Stuart; Norvig, Peter (2009). Artificial Intelligence: A Modern Approach. Prentice Hall. pp. 1010. ISBN 978-0-13-604259-4. https://aima.cs.berkeley.edu/
↑ Smith, Craig S.. “Geoff Hinton, AI's Most Famous Researcher, Warns Of 'Existential Threat'” (英語). Forbes. 2023年5月4日閲覧。
↑ Geoffrey Hinton (3 March 2016). The Code That Runs Our Lives. The Agenda. 該当時間: 10:00. 2023年3月13日閲覧。
↑ Future of Life Institute (2017年8月11日). “Asilomar AI Principles”. Future of Life Institute.
人間は同じ創発的目的を追求し続けるが、それはもはや遺伝的適応度を最大化するものではない。甘い食べ物(創発的目的)への嗜好は、もともとは包括的適応度に沿ったものだったが、今では過食や健康問題につながっている。性欲は人間にセックスを追求させ、それは本来、より多くの子孫を残そうとするものであったが、現代人は避妊をすることで、セックスと遺伝的適応度を切り離している。
研究者らは、レッドチーミング、検証、異常検知、解釈可能性などの手法を使用して、望ましくない創発的目的を検出し、除去することを目指している。これらの技術の進歩は、2つの未解決の問題を軽減するのに役立つ可能性がある。
創発的目的は、システムが訓練環境の外に導入されたときに初めて明らかになるものだが、たとえ短期間であっても、高リスクにある環境に整合を欠くシステムを導入するのは危険であろう。このような高いリスクは、自律走行、医療、軍事用途では一般的である。AIシステムが自律性と能力を獲得し、人間の介入を回避できるようになれば、その危険はさらに高まる( § 能力追求と手段的戦略を参照)。
十分に能力を持つAIシステムは、AIが指定された目標を追求していると人間の監督者に不正に信じ込ませるような行動を取る可能性があり、それによってシステムがより多くの報酬と自律性を得るのに役立つ( § スケーラブルな監視と、次の節の欺瞞に関する議論を参照)。
com/us/higher-education/program/Russell-Artificial-Intelligence-A-Modern-Approach-4th-Edition/PGM1263338.html
1 2 3 4 5 “Specification gaming: the flip side of AI ingenuity”. Deepmind (2020年4月21日). 2023年2月10日時点のオリジナルよりアーカイブ。2022年8月26日閲覧。
↑ Manheim, David; Garrabrant, Scott (2018). "Categorizing Variants of Goodhart's Law". arXiv:1803.04585 [cs.AI]。
1 2 3 “Learning from Human Preferences”. OpenAI (2017年6月13日). 2021年1月3日時点のオリジナルよりアーカイブ。2022年7月21日閲覧。
↑ “Specification gaming examples in AI — master list”. 2023年7月17日閲覧。
1 2 3 Lin, Stephanie; Hilton, Jacob; Evans, Owain (2022). “TruthfulQA: Measuring How Models Mimic Human Falsehoods” (英語). Proceedings of the 60th Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers) (Dublin, Ireland: Association for Computational Linguistics): 3214–3252.
さらに、システムが導入された後、新たな状況やデータの分布(英語版)に直面したとき、望ましくない創発的目的を開発する可能性もある。
今日、こうした問題は、言語モデル、ロボット、自律走行車、ソーシャルメディアの推薦システムなど、既存の商用システムに影響を及ぼしている。AI研究者の中には、こうした問題はシステムが部分的に高性能化することに起因しているため、より高性能な将来のシステムではより深刻な影響を受けるだろうと主張する者もいる。
ジェフリー・ヒントンやスチュアート・ラッセルなどの一流のコンピューター科学者は、AIは超人的な能力に近づいており、もし整合を欠けば人類の文明を危険にさらしかねないと主張している。
AI研究コミュニティや国連は、AIシステムを人間の価値観に沿ったものとするために、技術的研究と政策的解決策を呼びかけている。
AIアライメントは、安全なAIシステムを構築する方法を研究するAI安全性(英語版)の下位分野である。そこには、ロバスト性(堅牢性)、監視、AI能力制御(英語版)などの研究領域もある。アライメントに関する研究課題には、AIに複雑な価値観を教え込むこと、正直なAIの開発、スケーラブルな監視、AIモデルの監査と解釈、能力追求のようなAIの創発的行動の防止などが含まれる。アライメントに関連する研究テーマには、解釈可能性、(敵対的)ロバスト性、異常検知、不確実性定量化(英語版)、形式的検証、嗜好学習(英語版)、安全重視工学(英語版)、ゲーム理論、アルゴリズム公平性、および社会科学などがある。