アライメントは大規模言語モデル(LLM)の振る舞いを人間の選好に合わせて無害で正確な，バイアスのない応答を生成するようモデルを誘導する手法である．アライメントの効果は選好データセットの質と量に大きく依存することが知られているが，人手による高品質な選好アノテーションを集めることは非常に高価である．そのため，高性能なLLMを用いて選好データを自動生成する手法が広く研究されている．しかしながら先行研究の多くは英語の多量のデータのあるドメインでの評価がほとんどであり，真に合成データが必要な非英語少データドメインにおける合成方法は明らかにされていない．本研究は日本語LLM(CALM3)を用い，日本語のAnswerCarefullyデータセットを基にデータ合成手法を評価した．人手評価の結果，データ合成を行わない場合および外部の報酬モデルを用いた合成方法と比較して，CALM3のみを使った合成方法の方が高い性能が得られた．本研究成果は日本語の少データドメインでも選好データの合成が効果的であることを示すものであり，今後の日本語LLMの研究開発に活かされるものであると考えられる．

膨大なデータセットで訓練された大規模言語モデル(LLM)は言語理解と言語生成を含む様々な自然言語処理タスクを解けることが示されており，様々な問題解決に応用されている[1,2,3,4]．しかしながら，LLMは時に有害なテキスト，不正確なテキスト，バイアスのあるテキストを出力することが知られている[5,6,3,7,8]．そのため，現在の課題はLLMの行動を人間の選好に適合させ，無害で正確な，バイアスのない応答を生成するようモデルを誘導することである．言語モデルのアライメントは、LLMの振る舞いを人間の選好に合わせて最適化するために広く使用されている手法である[9,10,2]．アライメント手法の性能は選好データセットの選択に大きく依存する．しかし，選好データセットを構築するには、高価な人間によるアノテーションが必要であり，これが大規模で高品質な選好データセットを構築するための大きなボトルネックとなっている．そのため，人間の選好の知識を抽出するために、高性能なLLM（GPT-4など）を使って選好データの合成(synthesize)を行う手法が広く研究されている[11,12,13,14,15,16,17,18]．しかしながら，先行研究の多くは英語を対象としており，ドメインも一般的な指示応答タスクを扱っている．そのため，非英語の少データタスクにおいて選好データをどのように効果的に構築・利用できるかについては十分に解明されていない。本研究では少データタスクとして日本語のAnswerCarefullyデータセット1）を対象として選好データの合成手法の比較を行った．比較手法としては応答文のみを合成し報酬モデルによって応答文間の選好をラベル付けする手法(報酬モデルベース合成)と，指示文と応答文とその選好をまとめて合成する手法(自己合成)とを評価した(図1)．データの合成にはオープンソースの日本語LLMであるcalm3-22b-chat(CALM3)[19]を用い，合成したデータセットを使いCALM3のアライメントを行った．GPT-4oと人手評価の結果，両合成手法は元データセットのみを用いたアライメントよりも高い評価値が得られた．また，人手評価では自己合成による手法の方が報酬モデルベース合成による手法よりも高い評価が得られた．さらに，JapaneseMTBenchの評価から，他のタスクの性能は学習前のモデルと同1）https://llmc.nii.ac.jp/answercarefully-dataset/.CALM3𝑥Dataset𝑥$%&{(𝑥,𝑦)}𝑥!,𝑦!!∈#CALM3等の性能を保持していることを確認した．実験結果はアライメントデータの合成が日本語少データタスクでも有用であることを示した．