現在のAIの進歩は急速であり、業界や政府も高度なAIを構築しようとしていることから、ますます高度化するAIシステムのアライメントに関心を持つ研究者もいる。AIシステムがより高度になるにつれて、それらが整合すれば多くの機会が開かれる可能性がある一方で、整合が難しくなり、大規模な危険をもたらす可能性もある。
高度なAIの開発.
能力追求.
将来の能力追求型AIシステムは、選択によって、あるいは偶然に導入される可能性がある。政治指導者や企業が、最も競争力がある強力なAIシステムを持つことに戦略優位性を見い出せば、彼らはそれを導入することを選択するかもしれない。加えて、AI設計者が能力追求の行動を検知して、AIに罰則を科すると、そのAIシステムは、罰則を回避する方法で能力追求をしたり、導入前に能力追求を控えたりして、この仕様を悪用する動機を抱くようになる。
実存的リスク.
他の研究者は、将来の高度なAIシステムでは、整合するのは特に困難になるだろうと主張している。より有能なシステムは、抜け穴を見つけることで仕様を破り、設計者を戦略的に欺くだけでなく、自らの能力と知性を守り、強化する事ができるだろう。さらに、より深刻な副作用を引き起こす可能性もある。それらはより複雑で自律的なものになる可能性が高いため、理解や監視がより困難になり、その結果として整合しにくくなる。
研究課題と取り組み.
人間の価値観と嗜好の学習.
スケーラブルな監視.
AI研究者のは、設計者が複雑な目標を追求するようにAIシステムを管理できない場合、単純な人間のフィードバックを最大化するなど、評価しやすい代理目標を使用してシステムを訓練し続けることができると主張している。より多くの意思決定がAIシステムによって行われるようになると、利益を上げる、クリック数を稼ぐ、人間から肯定的なフィードバックを得るといった、測定しやすい目標に最適化された世界がますます広まってゆく可能性がある。その結果、人間の価値観や優れた統治の影響力はますます減少してゆくだろう。
これらの手法は、次項の研究課題である「正直なAI」にも役立つ可能性がある。
正直なAI.
さらに、モデルはしばしば、指示に対して従順に虚偽を続けたり、解に対して無意味な説明をしたり、もっともらしく見えるかもしれない明らかな作話を生成したりする。