自己生成・自己選好データを活用した事後学習の効果検証

事前学習を終えた大規模言語モデルに対して，教師あり微調整(SupervisedFine-Tuning;SFT)[1]や直接選好最適化(DirectPreferenceOptimization;DPO)[2]といった事後学習を施すことにより，モデルの指示追従能力の向上や人間の選好に沿った応答生成が可能となっている．これらの事後学習に用いられるデータは，モデルに適切な振る舞いを学習させるため，高品質であることが望まれ，従来は人手で作成したデータが積極的に用いられてきた．しかし，人手によるアノテーションは高いコストを伴い，スケーラビリティに欠けるという課題がある．この課題に対し，近年では言語モデルが生成したデータを事後学習に活用して性能向上を図るアプローチが注目を集めている．しかし，既存研究の多くはより高性能な外部モデルが生成したデータを学習対象のモデルが模倣する蒸留のアプローチになっており[3]，性能の上限が外部モデルに依存する可能性がある．また，計算資源やライセンス制約によって，高性能な外部モデルを利用できず，利用可能な単一モデルのみを用いて学習を完結させたいという状況も想定される．このような状況下では，外部モデルに依存せず，学習対象であるモデル自身の能力のみで性能向上を図ることが可能な事後学習手法が求められる．このような背景から，我々は，学習対象の言語モデル自身が生成したデータを活用する事後学習に着目した．具体的には，学習対象の言語モデルが単一の入力に対して複数の応答候補を生成し，それらを同一モデルによって選好することで，新たな事後学習用データセットを構築する．本研究では，応答の選好基準として最小ベイズリスク(MinimumBayesRisk;MBR)に基づくスコアを用いる．以降，本稿ではMBRスコアと呼ぶ．MBRスコアは複数の候補の中から期待損失を最小化するという原理に基づく指標である．先行研究では，MBRスコアの算出にあたって，参照文に基づくニューラル評価器(BLEURT[4])や，意味的類似度指標(BERTScore[5])，さらに外部モデルを用いたLLM-as-a-Judge[6]による評価スコアが主に用いられている[7,8]．これに対して，本研究では，応答生成だけでなくMBRスコアの算出も学習対象のモデル自身で行う．すなわち，本研究の目的は，単一の言語モデルによる自己生成および自己選好データを用いた事後学習によって，外部モデルに依存せずにモデルの性能向上に寄与する方法を模索することである．