大規模言語モデル(LLM)は急速な発展により、幅広い知識を保有し、多種多様な応答が可能になっている。LLMの知識や言語能力の評価にはGLUEやMMLUなどのデータセットが存在し、JGLUEなどの日本語データセットも構築されている。LLMの生成評価の観点は、これら以外に、人間の指示に対して追従しているかという点がある。しかし、指示追従性を評価する為の日本語データセットは存在するものの、カバーする範囲が狭い。本研究では、日本語の包括的な指示追従性データセットを構築する。さらに、構築したデータセットを評価ベンチマークとして、既存のLLMの指示追従性を評価する実験を行う。構築したデータセットはichikara-instruction2データに含まれる形で提供予定である。

大規模言語モデル(LLM)の言語理解能力を評価するデータセットには、常識や意味の理解を測るものとしてGLUE[1]、様々な専門分野の知識を測るものとしてMMLU[2]などが存在する。LLMの評価の観点は、このような知識の有無だけでなく、人間の指示に対して追従しているかという点もあり、指示追従性に関する英語のデータセットが存在する[3]。GLUEやMMLUの日本語データセットは既に開発されている[4,5]が、日本語において指示追従性の一部を測るデータセットは存在する[6]ものの、包括的な評価は困難である。本研究では、日本語において指示追従性を包括的に測ることができるデータセットを構築する。まず、日本語における指示追従性の分類を行い、その分類に基づくインストラクションと正解応答の作成を人手で行う。構築したデータセットはLLMの学習データと評価ベンチマークとしての使用用途が考えられるが、本研究では評価ベンチマークとして8種類のLLMに対して指示追従性能を測る実験を行う。実験には構築したデータセットのインストラクションを使用し、LLMの応答に対してクラウドソーシングによる人手評価と強力なLLMによる自動評価の2つの方法で定量的に評価する。