自己回帰性を組み込んだ直接選好最適化

直接選好最適化（DPO）は、人間の選好を用いて大規模言語モデル（LLM）を改善する学習手法として広く用いられている。LLMは自己回帰的に応答文を生成するが、DPOは応答文全体を対象とするBradley-Terryモデルを仮定した上で報酬を計算しているため、方策モデルの生成過程と報酬モデルの評価過程が整合していない。本研究では、応答を接頭辞ごとに評価する報酬モデルをDPOに導入することで、この不整合を理論的に解消し、自己回帰性を組み込んだ直接選好最適化手法を提案する。複数のモデルを用いた実験の結果、提案手法はDPOを含む既存手法を上回る性能を示した。