文脈の違いに着目した言外の意図理解日本語ベンチマークの構築

対話における言外の意図は文脈に応じて変化しうるため，大規模言語モデル（LLM）が人間と円滑にコミュニケーションを行うためには，文脈を踏まえた言外の意図理解能力が重要である。本研究では，同一の発話文に対して異なる文脈を与え言外の意図を回答させることで文脈依存的な言外の意図理解を評価可能な日本語ベンチマークを構築した。構築したベンチマークを用いて複数のLLMを評価した結果，いずれのモデルも文脈依存事例において高い正解率を示し，文脈情報を利用した言外の意図理解が可能であることが示された。さらに，ベンチマーク規模の影響を分析した結果，構築段階で無作為に並べ替えられたベンチマークの先頭400件程度のみを用いた評価であっても，全体評価を安定して近似できることが確認された。