LLMの日本語指示追従性向上のための人工データセットの構築

大規模言語モデル(LLM)が、人間の指示に沿った応答を生成する能力を評価する指標の一つに、指示追従性がある。本研究では、LLMの指示追従性の向上を目的とした人工データ生成手法を提案する。生成対象のデータは、指示データと選好データである。指示データについては、人手で作成された小規模なデータをLLMを用いて拡張する。選好データについては、正例として指示データの応答を用い、負例をLLMで生成する。生成されたデータの質を確保するために、ROUGE-LとLLM-as-a-Judgeによるフィルタリングを適用した。実験により、提案手法により生成されたデータを用いてLLMを学習することで、指示追従性の向上が確認できた。