日本語の包括的な指示追従性データセットの構築

大規模言語モデル(LLM)の言語理解能力を評価するデータセットには、常識や意味の理解を測るものとしてGLUE[1]、様々な専門分野の知識を測るものとしてMMLU[2]などが存在する。LLMの評価の観点は、このような知識の有無だけでなく、人間の指示に対して追従しているかという点もあり、指示追従性に関する英語のデータセットが存在する[3]。GLUEやMMLUの日本語データセットは既に開発されている[4,5]が、日本語において指示追従性の一部を測るデータセットは存在する[6]ものの、包括的な評価は困難である。本研究では、日本語において指示追従性を包括的に測ることができるデータセットを構築する。まず、日本語における指示追従性の分類を行い、その分類に基づくインストラクションと正解応答の作成を人手で行う。構築したデータセットはLLMの学習データと評価ベンチマークとしての使用用途が考えられるが、本研究では評価ベンチマークとして8種類のLLMに対して指示追従性能を測る実験を行う。実験には構築したデータセットのインストラクションを使用し、LLMの応答に対してクラウドソーシングによる人手評価と強力なLLMによる自動評価の2つの方法で定量的に評価する。