自己回帰性を組み込んだ直接選好最適化

大規模言語モデル（LLM）を改善するための学習方針として、人間の選好データを用いた強化学習（RLHF）が注目を集めている[1,2,3]。RLHFを実現するための多くの手法では、応答文を評価する報酬モデル（通常はLLM）と方策モデル（学習対象のLLM）を同時に訓練する必要があるが、直接選好最適化（DPO）[4]では、報酬モデルを解析的に導出し学習対象から除外することで、効率的で安定した勾配法による学習を可能にする。現在では、DPOは数学や対話など幅広いタスクで用いられている[5,6]。DPOやその改善手法[7,8,9]では、応答文全体に対して選好を付与するBradley-Terry(BT)モデル[10]を導入し、人間の選好がBTモデルに従うことを仮定する。そのため、DPOにおける報酬モデル𝑟(𝑥,𝑦)は、入力𝑥に対する応答文全体𝑦を評価するように定義される。しかし、方策モデルであるLLMは自己回帰的に接頭辞𝑦≤𝑖（応答文𝑦の先頭から𝑖トークン目までの部分列）を逐次生成するため、応答文の生成過程と評価過程が整合していない。従来のRLHF手法でこの不整合を解決するには、ル𝑟∗(𝑥,𝑦≤𝑖)の導入により、ADPOが導かれる。接頭辞ごとに応答文を評価する報酬モデルを明示的に学習する必要があるが、そのための学習データの構築は困難であった。例えば、各位置𝑖における望ましい応答𝑦𝑤≤𝑖と望ましくない応答𝑦𝑙≤𝑖をラベル付けすることは、時間や費用の観点から現実的ではない。一方で、DPOでは報酬モデルを明示的に学習する必要がなく、追加の学習データを構築する必要はない。ゆえに、DPOの暗黙的な報酬モデルを自己回帰的な方策モデルに整合させることは有望である。本研究では、自己回帰性を組み込んだ直接選好最適化手法であるAutoregressiveDPO(ADPO)を提案する。応答文の接頭辞𝑦≤𝑖ごとに応答を評価する報酬モデル𝑟∗(𝑥,𝑦≤𝑖)を導入し、DPOの損失を再構成することで、ADPOが導出される。具体的には、(1)報酬モデル𝑟(𝑥,𝑦)によって構成したエネルギー関数とそれらのボルツマン分布によってDPOを再定式化する。次に、(2)DPOでは自己回帰的な方策モデルによって非自己回帰的なボルツマン分布を再パラメータ化していることを示し、報酬モデル𝑟(𝑥,𝑦)を𝑟∗(𝑥,𝑦≤𝑖)で置き換えることで、再パラメータ化における不整合を解消する。最後に、(3)𝑟∗(𝑥,𝑦≤𝑖)を用いてDPOの損失を再構成することで、DPOの理論的基盤を踏襲しつつADPOの損失関数を導く。図1に示すように、ADPOの損失関数は、DPOの損失関数において対数シグモイド関数を総和の内側に移動させた形式となる。実験により、ADPOが既存手法よりも高い性能を達成することを確認した。Thisworkispublishedwithoutpeerreviewandislicensedbytheauthor(s)underCCBY4.0(https://creativecommons.org/licenses/by/4.0/).org/licenses/by/4.0/).損失関数の導出ADPOでは、DPOと同様に𝑝1の対数尤度を最大化することで学習を行う。𝑝2を学習モデル𝜋𝜃により再パラメータ化し、自己回帰的に分解すると、ADPOの損失関数は次の形に導かれる。[𝑇∑(𝛽log𝜋𝜃(𝑦𝑤𝑖|𝑦𝑤<𝑖,𝑥)𝜋ref(𝑦𝑤𝑖|𝑦𝑤<𝑖,𝑥)𝑖=1log𝜎LADPO=−𝔼(𝑥,𝑌)∼D)]−𝛽log𝜋𝜃(𝑦𝑙𝑖|𝑦𝑙<𝑖,𝑥)(12)𝜋ref(𝑦𝑙𝑖|𝑦𝑙<𝑖,𝑥)DPOの損失関数（式(6)）と比較すると、ADPOの損失関数では対数シグモイド関数が総和の内側に位置している。図2(a,b)に示すように、DPOでは応答全体同士を一度に比較する一方で、ADPOでは応答を細かく比較し集計していると解釈できる。応答の分割手法ここまでは、応答文𝑦がT個のトークンに分割されるという前提で議論を行ってきた。しかし、ADPOの損失関数（式(12)）はトークン単位に限らず任意の分割に適用可能である。そこで本研究では、応答の分割手法として、Static手法とAdaptive手法を用いる。Static手法では、図2(b,c)に示すように、それぞれの応答を先頭から𝑘トークンごとに分割して比較する。𝑘が小さいほど細かい粒度での比較となり、𝑘が十分大きい場合はDPOと一致する。望ましい応答と望ましくない応答のトークン長が異なる場合、応答の末尾付近ではpaddingトークン（図中の白色の長方形）と応答内のトークン（図中の赤か青色の長方形）が比較されるため、望ましい比較とならない可能性がある。Adaptive手法では、図2(d,e)に示すように、それぞれの応答を𝑚分割して比較する。𝑚が大きいほど細かい粒度での比較となり、𝑚=1の場合はDPOと一致する。Adaptive手法では、望ましい応答と望ましくない応答の分割数が必ず同じになるため、paddingトークンと応答内のトークンの比較は起こらない。4実験4.1実験設定モデル実験では、Llama-3-8B-Base(L-3-8B)[11],Gemma-3-12B-PT(G-3-12B)[12],Qwen-3-8B-Base(Q-3-8B)[13],DeepSeek-Math-7B(DS-7B)[14]の4つのモデルを学習し、ADPOの性能を検証する。データセット学習データにはGSM8K(GSM)[15]の学習スプリットを、評価データにはGSM8Kの評価スプリットとMATH500(MATH)[16]を用いる。GSM8Kは小学校レベル、MATH500は競技数学レベルの数学問題で構成されるデータセットであり、どちらも回答に複数段階の論理推論が要求される。評価指標には最終回答の正誤に基づく正解率(%)を用いる。比較手法比較手法にはDPOとcDPO[9]を用いる。cDPOはDPOの改良手法であり、推論過程において最終解答に寄与すると推定されるトークンに重みを付与し、損失を再重み付けする。提案手法DPOに対応する提案手法としてADPOを用いることに加え、cDPOにも自己回帰性を導入し、cADPOとして用いることができる。ADPOとcADPOのいずれにおいても、応答の分割粒度はAdaptive設定(𝑚=256)を用いる2）。4.2実験結果既存手法との性能比較既存手法との性能比較の結果を表1に示す。実験で用いた全てのモデルと評価データにおいて、提案手法であるADPOとcADPOは、それぞれ対応する既存手法であるDPOとcDPOよりも高い性能を示した。Qwen-3-8BをcADPOで学習した際に、GSM8KとMATH500のス2）学習データにおける選好データの構築手順や、cADPOの損失関数などの詳細な実験設定を付録Bに示す。org/licenses/by/4.0/).手法L-3-8BG-3-12BQ-3-8BDS-7BGSMMATHGSMMATHGSMMATHGSMMATHDPO64.418.077.039.887.053.867.832.0ADPO68.121.078.341.288.155.470.033.4cDPO67.916.877.238.691.056.872.933.4cADPO68.820.278.940.491.757.273.535.4コアはそれぞれ91.7と57.2となり、最も高い性能を達成した。応答の分割手法の影響ADPOにおける応答の分割粒度の性能への影響を分析するために、Static手法とAdaptive手法それぞれにおいて𝑘と𝑚の探索実験を行った。結果を表2に示す。なお、Adaptive手法の𝑚=1はDPOと等価であるため、スコアはDPOと一致する。Static手法では、𝑘≤4の設定においてDPOよりも一貫して高い性能を達成した。全体的な傾向として、𝑘が小さくなるほど高い性能を示しており、細かい粒度で応答を比較することが性能改善につながると考えられる。Adaptive手法では、𝑚が小さい（𝑚≤16）設定ではDPO（𝑚=1）からの性能改善は確認できなかった一方で、𝑚が大きい（𝑚≥128）設定ではDPOよりも高い性能を達成した。したがって、Static手法での結果と同様に、細かい粒度で応答を比較することの有効性が示唆される。Static手法とAdaptive手法の結果を比較すると、Adaptive手法の方が高い性能を示す傾向が確認された。この結果は、paddingトークンと応答内のトークンの比較が起こりうるというStatic手法の問題が、Adaptive手法では起こらないことによるものだと考えられる。対話タスクでの性能検証数学以外のタスクにおけるADPOの有効性を確かめるために、Llama-3-8B-Instructを用いて対話タスクにおける学習を行い、DPO、SimPO[7]と性能を比較した3）。学習データ・評価ベンチマークの設定はすべて既存研究[7]を踏襲した。具体的には、UltraFeedback[17]の指示文を用いてモデルの応答文を取得し、PairRM[18]によって望ましい応答文と望ましくない応答文を決定することで学習データを構築した。評価ベンチマークにはAlpacaEval2[19]、Arena-Hard[20]、MT-Bench[21]3）数学タスクで用いたcDPOは、学習時に応答の正誤判定が必要なため、対話タスクでは使用できない。法（Static/Adaptive）内での最高性能を、太字は両手法を通じての最高性能を表す。粒度L-3-8BG-3-12BQ-3-8BDS-7BGSMMATHGSMMATHGSMMATHGSMMATHStatic（応答の先頭𝑘トークンごとに比較）𝑘=865.018.276.940.087.854.268.432.0𝑘=466.317.477.440.888.554.268.232.0𝑘=266.618.677.641.288.354.270.133.6𝑘=166.418.078.139.888.554.470.434.8Adaptive（応答を𝑚分割して比較）𝑚=164.418.077.039.887.053.867.832.0𝑚=264.319.676.940.288.053.868.633.4𝑚=1664.518.077.140.887.352.468.833.4𝑚=12866.718.277.641.089.254.669.833.6𝑚=25668.121.078.341.288.155.470.033.4𝑚=51267.319.077.940.088.054.070.434.4Llama3-8B-Instruct手法AlpacaEval2Arena-HardMT-BenchLCWRWRScoreSFT26.025.322.36.9DPO40.337.932.67.0SimPO44.740.533.87.0ADPO45.841.134.47.1を用いた。AlpacaEval2ではLength-Controlled(LC)およびWinRate(WR)を、Arena-HardではWinRate(WR)を、MT-Benchではスコアを報告する。対話タスクにおける性能検証の結果を表3に示す。ADPOはすべてのベンチマークにおいて、既存手法を上回る性能を示した。この結果から、ADPOは数学タスクのみならず対話タスクにおいても有効であり、タスク横断的な有効性が示唆される4）。5おわりに本研究では、自己回帰性を組み込んだ直接選好最適化手法であるAutoregressiveDPO(ADPO)を提案した。ADPOでは、接頭辞ごとに応答を評価する報酬モデルを導入することで、DPOの再パラメータ化における不整合を解消する。実験では、既存の直接選好最適化手法と比較して、ADPOが高い性能を達成することを確認した。本研究が直接選好最適化における理論的整合性の重要性を示し、今後の選好学習手法の発展に貢献することを期待する。4）対話タスクにおける応答の分割手法の影響分析を付録Cに記載する。org/licenses/by/4.0/).