AIアライメント
“Despite recent progress, AI-powered chatbots still have a long way to go”. VentureBeat. 2022年7月23日時点のオリジナルよりアーカイブ。2022年7月23日閲覧。
↑ Hendrycks, Dan; Burns, Collin; Basart, Steven; Critch, Andrew; Li, Jerry; Song, Dawn; Steinhardt, Jacob (2021-07-24). “Aligning AI With Shared Human Values”. International Conference on Learning Representations. arXiv:2008.02275.
↑ Perez, Ethan; Huang, Saffron; Song, Francis; Cai, Trevor; Ring, Roman; Aslanides, John; Glaese, Amelia; McAleese, Nat; Irving, Geoffrey (7 February 2022). "Red Teaming Language Models with Language Models". arXiv:2202.03286 [cs.CL]。 Bhattacharyya, Sreejani (2022年2月14日). “DeepMind's "red teaming" language models with language models: What is it?”. Analytics India Magazine. 2023年2月13日時点のオリジナルよりアーカイブ。
AIシステムの目的を明示するために、AI設計者は通常、目標関数、事例、またはシステムに対するフィードバック(反応)を説明する。しかし、AI設計者がすべての重要な値や制約を完全に明示することができないことが多いことから、(誤りを起こしやすいが)人間の監督者による承認を最大化するなど、指定しやすい代理目的(英語版)(proxy goals)に頼っている。その結果、AIシステムは明示された目標を効率的に達成するのに役立つ抜け穴を見つけることができ、意図しないおそらくは有害な方法で達成することになる。こうした傾向は仕様ゲーム(specification gaming)または報酬ハッキング(reward hacking)として知られ、グッドハートの法則(英語版)の一例である。AIシステムの能力が高まるにつれて、その仕様をより効果的に破ることが増えている。
仕様ゲームは多くのAIシステムで観察されている。あるシステムは、コース上の標的に衝突した場合に報酬を与えることで、模擬ボートレースを完走するように訓練された。しかしこのシステムは同じ標的に衝突させることを無限に繰り返して、より多くの報酬を獲得する方法を見い出した(右上の動画を参照)。同様に、シミュレートされたロボットは、人間による肯定的なフィードバックを受けて報酬を得ることで、ボールをつかむように訓練された。
ただし、IRLの手法は、どの人間もほぼ最適な行動をとることを前提にしており、困難なタスクには当てはまらない。
別の研究者は、人間がどの行動を好むかをフィードバックする嗜好学習(preference learning)を通じて、複雑な行動をAIモデルに教える方法を研究している。人間からのフィードバックの必要性を最小限に抑えるために、人間が報酬を与えるような新しい状況でメインモデルに報酬を与えるようなヘルパーモデルが訓練される。OpenAIの研究者らは、ChatGPTやInstructGPTのようなチャットボットを訓練するためにこの手法を使用し、人間を模倣するように訓練されたモデルよりも説得力のあるテキストを生成する。嗜好学習は、レコメンダーシステムやウェブ検索にも影響力のあるツールである。しかし、未解決の問題はプロキシゲーミング(代理ゲーム、proxy gaming)である。ヘルパーモデルは人間のフィードバックを完璧に表現できないかもしれないし、またメインモデルはより多くの報酬を得るためにこの不整合を利用するかもしれない。またAIシステムは、好ましくない情報を隠蔽したり、人間の報酬者を欺したり、真実に関係なく人間の意見に迎合してエコーチェンバーを作り、報酬を得るかもしれない( § スケーラブルな監視を参照)。
GPT-3のような大規模言語モデルにより、研究者は、以前よりも一般的で有能な種類のAIシステムで価値学習を研究できるようになった。もともと強化学習エージェント用に設計された嗜好学習法は、生成されるテキストの品質を向上させ、これらのモデルからの有害な出力を減らすために拡張された。OpenAIとDeepMindは、この手法を使用して、最先端の大規模言語モデルの安全性を向上させている。
現在のAIの進歩は急速であり、業界や政府も高度なAIを構築しようとしていることから、ますます高度化するAIシステムのアライメントに関心を持つ研究者もいる。AIシステムがより高度になるにつれて、それらが整合すれば多くの機会が開かれる可能性がある一方で、整合が難しくなり、大規模な危険をもたらす可能性もある。
“The Surprising Creativity of Digital Evolution: A Collection of Anecdotes from the Evolutionary Computation and Artificial Life Research Communities” (英語). Artificial Life 26 (2): 274–306. doi:10.1162/artl_a_00319. ISSN 1064-5462. PMID 32271631. オリジナルのOctober 10, 2022時点におけるアーカイブ。. https://web.archive.org/web/20221010143108/https://direct.mit.edu/artl/article/26/2/274-306/93255 2022年9月12日閲覧。.
1 2 Leike, Jan; Krueger, David; Everitt, Tom; Martic, Miljan; Maini, Vishal; Legg, Shane (2018-11-19). Scalable agent alignment via reward modeling: a research direction. arXiv:1811.07871. https://ui.adsabs.harvard.edu/abs/2018arXiv181107871L/abstract.
1 2 “Our approach to alignment research”. OpenAI (2022年8月24日). 2023年2月15日時点のオリジナルよりアーカイブ。2022年9月9日閲覧。
↑ Wiggers, Kyle (2021年9月23日). “OpenAI unveils model that can summarize books of any length”.
“Is Facebook Bad for You? It Is for About 360 Million Users, Company Surveys Suggest”. The Wall Street Journal. ISSN 0099-9660. オリジナルの2023年2月10日時点におけるアーカイブ。. https://web.archive.org/web/20230210114137/https://www.wsj.com/articles/facebook-bad-for-you-360-million-users-say-yes-company-documents-facebook-files-11636124681 2022年7月19日閲覧。
↑ Barrett, Paul M.; Hendrix, Justin; Sims, J. Grant (September 2021). How Social Media Intensifies U.S. Political Polarization-And What Can Be Done About It (Report). Center for Business and Human Rights, NYU. 2023年2月1日時点のオリジナルよりアーカイブ。2022年9月12日閲覧。
↑ Shepardson, David (2018年5月24日). “Uber disabled emergency braking in self-driving car: U.S. agency”. Reuters. オリジナルの2023年2月10日時点におけるアーカイブ。.