対話における言外の意図は文脈に応じて変化しうるため，大規模言語モデル（LLM）が人間と円滑にコミュニケーションを行うためには，文脈を踏まえた言外の意図理解能力が重要である。本研究では，同一の発話文に対して異なる文脈を与え言外の意図を回答させることで文脈依存的な言外の意図理解を評価可能な日本語ベンチマークを構築した。構築したベンチマークを用いて複数のLLMを評価した結果，いずれのモデルも文脈依存事例において高い正解率を示し，文脈情報を利用した言外の意図理解が可能であることが示された。さらに，ベンチマーク規模の影響を分析した結果，構築段階で無作為に並べ替えられたベンチマークの先頭400件程度のみを用いた評価であっても，全体評価を安定して近似できることが確認された。

大規模言語モデル（LargeLanguageModel;LLM）の著しい発展が続く中で，LLMの性能を様々な観点から評価することが求められている。LLMの性能を評価するにあたっては，主にベンチマークと呼ばれる評価用データセット群が用いられる[1]。英語におけるベンチマークはGLUE[2]を先駆けとして数多くのデータセットが構築されている。一方で日本語においてはGLUEの日本語版であるJGLUE[1]などのベンチマークの構築が急速に進められているものの，依然として英語と比べ日本語のベンチマークは少なく，日本語におけるベンチマークのさらなる構築が期待される。LLM評価の観点のひとつとして挙げられるのが対話における曖昧な意図や要求を読み取る能力である。人間の対話では，意図や要求を直接的にではなく間接的に表現する発話が見られる（間接発話行為）[3]。人間は対話の文脈をもとに，このような間接的な発話によって表現された意図を推測する。同じ文であっても文脈に応じて発話の意図は異なり得る[3]。LLMが人間と円滑にコミュニケーションをとるためには，文脈に応じて変化する曖昧な意図を理解することが重要である。しかしながら，対話における曖昧な意図に関連するデータセットはいくつか構築されている[4]ものの，文脈が異なることによる意図解釈の変化に着目しているものは少ない。そこで本研究では，LLMが対話において文脈に応じて変化する言外の意図を理解できているのかを評価するための日本語のベンチマークを構築し，LLMの理解能力を評価することを目的とする。元来，ベンチマーク構築研究ではデータサイズが大きいほど信頼性があるとされ，多くのデータを収集することが目指されてきた。しかしながら巨大なベンチマークでのLLM評価は評価そのものに多大なコストがかかることが指摘されている。そこで，無作為抽出や項目反応理論を用いた抽出により信頼性を損なわずにベンチマークの問題数を削減し，LLM評価のコストを抑える研究がなされている[5][6]。そこで本研究では異なる規模のベンチマークを用いてベンチマークの大規模化の必要性についても検証する。