文脈の違いに着目した言外の意図理解日本語ベンチマークの構築

大規模言語モデル（LargeLanguageModel;LLM）の著しい発展が続く中で，LLMの性能を様々な観点から評価することが求められている。LLMの性能を評価するにあたっては，主にベンチマークと呼ばれる評価用データセット群が用いられる[1]。英語におけるベンチマークはGLUE[2]を先駆けとして数多くのデータセットが構築されている。一方で日本語においてはGLUEの日本語版であるJGLUE[1]などのベンチマークの構築が急速に進められているものの，依然として英語と比べ日本語のベンチマークは少なく，日本語におけるベンチマークのさらなる構築が期待される。LLM評価の観点のひとつとして挙げられるのが対話における曖昧な意図や要求を読み取る能力である。人間の対話では，意図や要求を直接的にではなく間接的に表現する発話が見られる（間接発話行為）[3]。人間は対話の文脈をもとに，このような間接的な発話によって表現された意図を推測する。同じ文であっても文脈に応じて発話の意図は異なり得る[3]。LLMが人間と円滑にコミュニケーションをとるためには，文脈に応じて変化する曖昧な意図を理解することが重要である。しかしながら，対話における曖昧な意図に関連するデータセットはいくつか構築されている[4]ものの，文脈が異なることによる意図解釈の変化に着目しているものは少ない。そこで本研究では，LLMが対話において文脈に応じて変化する言外の意図を理解できているのかを評価するための日本語のベンチマークを構築し，LLMの理解能力を評価することを目的とする。元来，ベンチマーク構築研究ではデータサイズが大きいほど信頼性があるとされ，多くのデータを収集することが目指されてきた。しかしながら巨大なベンチマークでのLLM評価は評価そのものに多大なコストがかかることが指摘されている。そこで，無作為抽出や項目反応理論を用いた抽出により信頼性を損なわずにベンチマークの問題数を削減し，LLM評価のコストを抑える研究がなされている[5][6]。そこで本研究では異なる規模のベンチマークを用いてベンチマークの大規模化の必要性についても検証する。