大規模言語モデル(LLM)が、人間の指示に沿った応答を生成する能力を評価する指標の一つに、指示追従性がある。本研究では、LLMの指示追従性の向上を目的とした人工データ生成手法を提案する。生成対象のデータは、指示データと選好データである。指示データについては、人手で作成された小規模なデータをLLMを用いて拡張する。選好データについては、正例として指示データの応答を用い、負例をLLMで生成する。生成されたデータの質を確保するために、ROUGE-LとLLM-as-a-Judgeによるフィルタリングを適用した。実験により、提案手法により生成されたデータを用いてLLMを学習することで、指示追従性の向上が確認できた。

大規模言語モデル(LLM)が人間の指示に従った応答を生成する能力を評価する指標の1つに、指示追従性がある。指示追従性の向上のために、教師あり学習やDirectPreferenceOptimization(DPO)[1]などの学習方法が用いられる。これらの学習方法には、大規模かつ高品質なデータが必要である。特に、指示追従性においては、指示にさまざまな制約が含まれるため、応答のアノテーションに時間とコストが必要である。この課題を解決するために、LLMを用いたデータ拡張が提案されている[2]。人間が作成した小規模なシードデータをもとに、LLMが新たな指示や応答を生成することで、低コストで大規模なデータの構築を可能にした。指示追従性を対象としたLLMによるデータ拡張は、主に英語において検証されている[3]。一方で、日本語では指示追従性以外での有効性は示されている[4,5]が、指示追従性における効果は十分に検証されていない。本研究では、日本語の指示追従性能の向上を目的とした、LLMによるデータ拡張の効果を検証する。構築するデータは、指示と応答のペアからなる指示データと、指示に対する正例と負例を含む選好データを対象とする。LLMが生成する指示は、制約を持つ必要がある。そこで、指示が持つ制約を指示制約カテゴリとして分類し、その説明を作成した。LLMは、シードデータの指示を指示制約カテゴリとその説明を用いて、新しい指示を生成する。生成された指示に対して、類似の指示を除外するROUGE-L[6]と、低品質の指示を除外するLLM-as-a-Judge[7]による2つのフィルタリングを適用した。フィルタリング後の指示に対してLLMで応答を生成し、別途LLM-as-a-Judgeにより評価することで、指示データを構築する。選好データの拡張では、拡張した指示データの指示と応答をそれぞれ選好データの指示と正例とし、負例のみ新たにLLMで生成する。表1に、データセットから除外された例と、除外されなかった例を示す。構築した人工データセットを用いてLLMを学習し、その指示追従性を評価した。評価には、多言語指示追従ベンチマークであるM-IFEval[8]の英語および日本語データセットを用いた。その結果、指示データと選好データを用いてLLMを学習することで、指示追従性の向上が確認できた。