AIアライメント
“Ethics and Governance of Artificial Intelligence: Evidence from a Survey of Machine Learning Researchers”. Journal of Artificial Intelligence Research 71. doi:10.1613/jair.1.12895. ISSN 1076-9757. オリジナルのFebruary 10, 2023時点におけるアーカイブ。. https://web.archive.org/web/20230210114143/https://jair.org/index.php/jair/article/view/12895 2022年9月12日閲覧。.
↑ Future of Life Institute (2023年3月22日). “Pause Giant AI Experiments: An Open Letter”. 2023年4月20日閲覧。
1 2 Pan, Alexander; Shern, Chan Jun; Zou, Andy; Li, Nathaniel; Basart, Steven; Woodside, Thomas; Ng, Jonathan; Zhang, Emmons et al. (2023-04-03). “Do the Rewards Justify the Means? Measuring Trade-Offs Between Rewards and Ethical Behavior in the MACHIAVELLI Benchmark” (英語).
"In-context Reinforcement Learning with Algorithm Distillation". arXiv:2210.14215 [cs.LG]。
1 2 3 Shah, Rohin; Varma, Vikrant; Kumar, Ramana; Phuong, Mary; Krakovna, Victoria; Uesato, Jonathan; Kenton, Zac (2022-11-02). “Goal Misgeneralization: Why Correct Specifications Aren't Enough For Correct Goals”. Medium. https://deepmindsafetyresearch.medium.com/goal-misgeneralisation-why-correct-specifications-arent-enough-for-correct-goals-cf96ebc60924 2023年4月2日閲覧。.
1 2 Hubinger, Evan; van Merwijk, Chris; Mikulik, Vladimir; Skalse, Joar; Garrabrant, Scott (2021-12-01). Risks from Learned Optimization in Advanced Machine Learning Systems. arXiv:1906.01820. https://ui.adsabs.harvard.edu/abs/2019arXiv190601820H/abstract.
↑ Zhang, Xiaoge; Chan, Felix T.
AIが正直(honest)で真実(truthful)であることを保証することに焦点を当てた研究分野が拡大している。
GPT-3のような言語モデルは、訓練データから虚偽を繰り返し、さらには新たな虚偽を作り出す。このようなモデルは、インターネット上の数百万冊分もの書籍に相当する文章に見られるような人間の文章を模倣するように訓練されている。しかし、インターネット上の文章には、誤解や誤った医療アドバイス、陰謀論などが含まれているため、先の目標は真実の生成とは乖離している。そのため、こうしたデータで訓練されたAIシステムは、誤った記述を模倣することを学習することになる。
さらに、モデルはしばしば、指示に対して従順に虚偽を続けたり、解に対して無意味な説明をしたり、もっともらしく見えるかもしれない明らかな作話を生成したりする。
真実性のあるAIに関する研究課題には、より優れた透明性と検証可能性を提供するため、質問に答えるときに出典を引用し、その理由を説明できるシステムを構築する試みも含まれている。OpenAIとAnthropicの研究者は、AIアシスタントが過失による虚偽を回避したり、不確実性を表現できるように、人間のフィードバックや厳選されたデータセットを使用してファインチューニングすることを提案した。
AIモデルがより大規模でより強力になるにつれて、人間を偽り、不正によってより強化されるようになる。
より多くの意思決定がAIシステムによって行われるようになると、利益を上げる、クリック数を稼ぐ、人間から肯定的なフィードバックを得るといった、測定しやすい目標に最適化された世界がますます広まってゆく可能性がある。その結果、人間の価値観や優れた統治の影響力はますます減少してゆくだろう。
一部のAIシステムでは、AIが意図した目標を達成したと人間の監督者に誤って信じ込ませるような行動をとることで、より簡単に肯定的なフィードバックを得ることが発見された。その一例が上の動画に示されている。シミュレートされたロボットアームがボールをつかんだかのような思い違いを与えることを学習した。また、AIシステムの中には、自分が評価されていることを認識し、「死んだふり」をして望ましくない行動を停止し、評価が終わると再開することを学習したものもある。このような欺瞞(ぎまん、人をだますこと)的な仕様ゲームは、より複雑で評価の難しいタスクを試みるような、より洗練された将来のAIシステムにとって容易になり、欺瞞的な行動を隠蔽する可能性がある。能動学習や半教師あり報酬学習などの手法は、人間による監視が必要な量を減らすことができる。