AIアライメント
スタートアップ企業Anthropicは、嗜好学習を使用して、モデルを有益、正直、無害になるようファインチューニングすることを提案した。言語モデルを整合する他の方法としては、価値駆動型データセット(values-targeted datasets)やレッドチーミングがある。レッドチーミングでは、別のAIシステムや人間が、モデルの挙動が安全でない入力を見つけようとする。安全でない挙動は、たとえまれであっても容認できないことがあるため、重要な課題は、安全でない出力の割合を極めて低く抑えることである。
機械倫理(英語版)(machine ethics)は、幸福(ウェルビーイング、wellbeing)、平等、公平といった道徳観念や、危害を加えない、虚偽を避ける、約束を守るといった道徳的価値観をAIシステムに直接教え込むことで、嗜好学習を補完するものである。他の手法が、特定のタスクに対する人間の嗜好をAIシステムに教えようとするのに対し、機械倫理は、多くの状況に適用できる幅広い道徳的価値感を植え付けることを目的としている。機械倫理における一つの問題は、アライメントが何を達成すべきかということである。つまり、AIシステムは、プログラマーの文字通りの指示、暗黙の意図、顕示選好(英語版)、プログラマーがより多くの知識を得て理性的な場合に持つであろう選好、それとも客観的な道徳基準に従うべきか。さらには、さまざまな人々の嗜好を集約することや、価値観の固定化を避けること、つまり人間の価値観を完全に表していない高性能AIシステムの最初の価値観が無期限に保持されることを避けることも課題としてあげられる。
人間の価値観、目的、嗜好を考慮して行動するようにAIシステムを整合させることは難しい課題である。もともとこれらの価値観は、間違いを犯し、偏見を抱き、完全に明記し難い複雑で進化する価値観を持った人間によって教えられる。AIシステムは、しばしば指定された目標の小さな欠陥でさえも学習することがあり、これは仕様ゲームや報酬ハッキング(グッドハートの法則(英語版)の一例)として知られる傾向である。研究者らは、人間の価値観、模倣学習(英語版)、嗜好学習を表すデータセットを使用して、意図された行動を可能な限り完全に明示することを目指している。中心的な未解決の課題は、スケーラブルな監視(scalable oversight)、つまり、特定の領域で人間を上回ったり欺いたりできるAIシステムを監視することの難しさである。
AI設計者が目標関数を明示的に指定することは困難であるため、多くの場合、人間による例や望ましい行動のデモンストレーションを模倣するようにAIシステムを訓練する。逆強化学習(Inverse reinforcement learning、IRL)は、人間の実演から人間の目的を推測することでこれを拡張する。協調型IRL(Cooperative IRL、CIRL)は、人間とAIエージェントが協力して人間の報酬関数を教え、最大化することを想定している。CIRLでは、AIエージェントは、報酬関数について不確かなことを人間に問い合わせることでそれを学習する。この擬似的な謙虚さは、仕様ゲームや能力追求傾向( § 能力追求と手段的戦略)を緩和するのに役立つ可能性がある。
PMID 33947992. オリジナルのDecember 18, 2022時点におけるアーカイブ。. https://web.archive.org/web/20221218210857/https://www.nature.com/articles/d41586-021-01170-0 2022年9月12日閲覧。.
↑ Prunkl, Carina; Whittlestone, Jess (2020-02-07). “Beyond Near- and Long-Term: Towards a Clearer Account of Research Priorities in AI Ethics and Society” (英語). Proceedings of the AAAI/ACM Conference on AI, Ethics, and Society (New York NY USA: ACM): 138–143. doi:10.1145/3375627.3375803. ISBN 978-1-4503-7110-0. オリジナルのOctober 16, 2022時点におけるアーカイブ。. https://web.archive.org/web/20221016123733/https://dl.acm.org/doi/10.1145/3375627.3375803 2022年9月12日閲覧。.
↑ Irving, Geoffrey; Askell, Amanda (2019-02-19). “AI Safety Needs Social Scientists”. Distill 4 (2): 10.23915/distill.00014. doi:10.