日本語の包括的な指示追従性データセットの構築

大規模言語モデル(LLM)は急速な発展により、幅広い知識を保有し、多種多様な応答が可能になっている。LLMの知識や言語能力の評価にはGLUEやMMLUなどのデータセットが存在し、JGLUEなどの日本語データセットも構築されている。LLMの生成評価の観点は、これら以外に、人間の指示に対して追従しているかという点がある。しかし、指示追従性を評価する為の日本語データセットは存在するものの、カバーする範囲が狭い。本研究では、日本語の包括的な指示追従性データセットを構築する。さらに、構築したデータセットを評価ベンチマークとして、既存のLLMの指示追従性を評価する実験を行う。構築したデータセットはichikara-instruction2データに含まれる形で提供予定である。