大規模言語モデルを多様な人間にアラインメントさせるためには，選好次元を複数用意し，推論時に選好重みを用いて応答を制御することが重要である．その手段に制御可能多目的選好最適化（MODPO）があるが，本研究はMODPOモデルが仮定する暗黙的報酬が，次元ごとに好ましい応答が異なるデータに対して目的次元に即した応答を選択できない，次元衝突の問題を指摘する．本研究は次元衝突の問題を解決するため，カリキュラム学習と新たな損失関数を提案する．2次元・5次元の多目的選好データセットを用いた評価において，提案手法がベースラインに比べて選好重みに条件付属けられた暗黙的報酬を付与することを確認した．

大規模言語モデル(LLM)のアラインメントはLLMの応答を人間の好みと一致させるための重要な手段であるが，通常単独の目的関数を用いるため，平均的な人間の好みを学習してしまう．制御可能な多目的アラインメントは“有用性”や“無害性”といった複数の次元を用意してアラインメントを行い，かつ推論時に選好重みを用いて次元を跨いだ制御を可能とすることで，LLMが多様な人間の好みを学習し，反映した応答を可能にする技術である．中でも多目的直接選好最適化(MODPO)[1]は，人間がアノテーションした公開多目的選好データ[2,3]を用いて実行可能なため，実用性に優れる．本研究は，既存のMODPO手法が次元衝突の課題を抱えていることを実験的に示した．ここで，1つのクエリに2つの応答が紐づいたデータセットにおいて，ある次元で好まれる応答と別の次元で好まれる応答が異なる事例である衝突事例に注目した．DPOモデルは各応答に対して暗黙的報酬を与えるが，衝突事例に対して注目したい次元に応じた暗黙的報酬を与えることがMODPOの本質的な目標であると言える．しかし，既存のMODPO手法では衝突事例に対して選好重みを用いて条件付けた暗黙的報酬を与えることが難しいことを確認した．我々はこの次元衝突の原因を，MODPO手法が学習の中で次元非依存の一般的な選好と次元固有の選好を切り分けて学習できていないことにあると考えた．そこでMODPOにカリキュラム学習を導入し，(i)まず次元共有の選好を学習し，(ii)次に次元固有の選好を学習し，(iii)最後に選好次元の制御を学習することを提案した．また，カリキュラム学習の特徴を活用したKLダイバージェンスに基づく損失関数を提案した．本損失関数は，提案手法の特徴である第二段階までに次元固有の暗黙的報酬を学習している点を利用して設計されている．また，本損失関数はDPOの理論と多目的強化学習で一般的な線形スカラー化を組み合わせる形で自然に導出できる．