多目的直接選好最適化における次元衝突のカリキュラム学習による抑制

大規模言語モデルを多様な人間にアラインメントさせるためには，選好次元を複数用意し，推論時に選好重みを用いて応答を制御することが重要である．その手段に制御可能多目的選好最適化（MODPO）があるが，本研究はMODPOモデルが仮定する暗黙的報酬が，次元ごとに好ましい応答が異なるデータに対して目的次元に即した応答を選択できない，次元衝突の問題を指摘する．本研究は次元衝突の問題を解決するため，カリキュラム学習と新たな損失関数を提案する．2次元・5次元の多目的選好データセットを用いた評価において，提案手法がベースラインに比べて選好重みに条件付属けられた暗黙的報酬を付与することを確認した．