多目的直接選好最適化における次元衝突のカリキュラム学習による抑制

大規模言語モデル(LLM)のアラインメントはLLMの応答を人間の好みと一致させるための重要な手段であるが，通常単独の目的関数を用いるため，平均的な人間の好みを学習してしまう．制御可能な多目的アラインメントは“有用性”や“無害性”といった複数の次元を用意してアラインメントを行い，かつ推論時に選好重みを用いて次元を跨いだ制御を可能とすることで，LLMが多様な人間の好みを学習し，反映した応答を可能にする技術である．中でも多目的直接選好最適化(MODPO)[1]は，人間がアノテーションした公開多目的選好データ[2,3]を用いて実行可能なため，実用性に優れる．本研究は，既存のMODPO手法が次元衝突の課題を抱えていることを実験的に示した．ここで，1つのクエリに2つの応答が紐づいたデータセットにおいて，ある次元で好まれる応答と別の次元で好まれる応答が異なる事例である衝突事例に注目した．DPOモデルは各応答に対して暗黙的報酬を与えるが，衝突事例に対して注目したい次元に応じた暗黙的報酬を与えることがMODPOの本質的な目標であると言える．しかし，既存のMODPO手法では衝突事例に対して選好重みを用いて条件付けた暗黙的報酬を与えることが難しいことを確認した．我々はこの次元衝突の原因を，MODPO手法が学習の中で次元非依存の一般的な選好と次元固有の選好を切り分けて学習できていないことにあると考えた．そこでMODPOにカリキュラム学習を導入し，(i)まず次元共有の選好を学習し，(ii)次に次元固有の選好を学習し，(iii)最後に選好次元の制御を学習することを提案した．また，カリキュラム学習の特徴を活用したKLダイバージェンスに基づく損失関数を提案した．本損失関数は，提案手法の特徴である第二段階までに次元固有の暗黙的報酬を学習している点を利用して設計されている．また，本損失関数はDPOの理論と多目的強化学習で一般的な線形スカラー化を組み合わせる形で自然に導出できる．