大規模言語モデルのためのアライメントデータ合成手法の実験的評価

膨大なデータセットで訓練された大規模言語モデル(LLM)は言語理解と言語生成を含む様々な自然言語処理タスクを解けることが示されており，様々な問題解決に応用されている[1,2,3,4]．しかしながら，LLMは時に有害なテキスト，不正確なテキスト，バイアスのあるテキストを出力することが知られている[5,6,3,7,8]．そのため，現在の課題はLLMの行動を人間の選好に適合させ，無害で正確な，バイアスのない応答を生成するようモデルを誘導することである．言語モデルのアライメントは、LLMの振る舞いを人間の選好に合わせて最適化するために広く使用されている手法である[9,10,2]．アライメント手法の性能は選好データセットの選択に大きく依存する．しかし，選好データセットを構築するには、高価な人間によるアノテーションが必要であり，これが大規模で高品質な選好データセットを構築するための大きなボトルネックとなっている．そのため，人間の選好の知識を抽出するために、高性能なLLM（GPT-4など）を使って選好データの合成(synthesize)を行う手法が広く研究されている[11,12,13,14,15,16,17,18]．しかしながら，先行研究の多くは英語を対象としており，ドメインも一般的な指示応答タスクを扱っている．そのため，非英語の少データタスクにおいて選好データをどのように効果的に構築・利用できるかについては十分に解明されていない。本研究では少データタスクとして日本語のAnswerCarefullyデータセット1）を対象として選好データの合成手法の比較を行った．比較手法としては応答文のみを合成し報酬モデルによって応答文間の選好をラベル付けする手法(報酬モデルベース合成)と，指示文と応答文とその選好をまとめて合成する手法(自己合成)とを評価した(図1)．データの合成にはオープンソースの日本語LLMであるcalm3-22b-chat(CALM3)[19]を用い，合成したデータセットを使いCALM3のアライメントを行った．GPT-4oと人手評価の結果，両合成手法は元データセットのみを用いたアライメントよりも高い評価値が得られた．また，人手評価では自己合成による手法の方が報酬モデルベース合成による手法よりも高い評価が得られた．さらに，JapaneseMTBenchの評価から，他のタスクの性能は学習前のモデルと同1）https://llmc.nii.ac.jp/answercarefully-dataset/.CALM3𝑥Dataset𝑥$%&{(𝑥,𝑦)}𝑥!,𝑦!!∈#CALM3等の性能を保持していることを確認した．実験結果はアライメントデータの合成が日本語少データタスクでも有用であることを示した．