AIアライメント
別の研究では、最適な強化学習(reinforcement learning、RL)アルゴリズムは、幅広い環境で能力を追求することが数学的に示されている。その結果、これを導入すると元に戻せない可能性がある。こうした理由から、研究者らは、高度な能力追求型のAIが誕生する前に、AIの安全性とアライメントの問題を解決しなければならないと主張している。
将来の能力追求型AIシステムは、選択によって、あるいは偶然に導入される可能性がある。政治指導者や企業が、最も競争力がある強力なAIシステムを持つことに戦略優位性を見い出せば、彼らはそれを導入することを選択するかもしれない。加えて、AI設計者が能力追求の行動を検知して、AIに罰則を科すると、そのAIシステムは、罰則を回避する方法で能力追求をしたり、導入前に能力追求を控えたりして、この仕様を悪用する動機を抱くようになる。
. https://web.archive.org/web/20230202181059/https://ojs.aaai.org/index.php/aimagazine/article/view/2577 2022年9月12日閲覧。.
1 2 Wirth, Christian; Akrour, Riad; Neumann, Gerhard; Fürnkranz, Johannes (2017). “A survey of preference-based reinforcement learning methods”. Journal of Machine Learning Research 18 (136): 1–46.
1 2 Christiano, Paul F.; Leike, Jan; Brown, Tom B.; Martic, Miljan; Legg, Shane; Amodei, Dario (2017). "Deep reinforcement learning from human preferences". Proceedings of the 31st International Conference on Neural Information Processing Systems. NIPS'17. Red Hook, NY, USA: Curran Associates Inc. pp. 4302–4310. ISBN 978-1-5108-6096-4。
1 2 3 4 5 6 Heaven, Will Douglas (2022年1月27日).
しかし、このロボットはボールとカメラの間に手を置いて成功したように誤認させることを学習した(右下の動画を参照)。チャットボットは、大規模であっても誤りを免れないインターネット上のコーパステキストを模倣するように訓練された言語モデルに基づいている場合、しばしば虚偽の出力を生成する。ChatGPTのようなチャットボットは、人間が真実または役に立つと評価するようなテキストを生成するよう再訓練された場合、人間を納得させるような偽の説明をでっち上げることができる。AIアライメントの研究者の中には、人間が仕様ゲームを検出して、安全で有用な目標に向けてAIシステムを慎重に誘導することを目指している人もいる。
整合を欠いたAIシステムが導入される結果、副作用をもたらす可能性がある。ソーシャルメディア・プラットフォームでは、クリック率(英語版)を最適化することで、世界規模で依存症ユーザーを生み出していることが知られている。スタンフォード大学の研究者は、このような推薦システム(レコメンダーシステム)は、「社会と消費者の幸福という測定しにくい組み合わせでなく、単純なエンゲージメント指標(英語版)を最適化する」ため、ユーザーとの乖離(かいり)が生じているとコメントしている。