マルチモーダルかつ長い文脈の処理が求められる語用論的推論ベンチマーク

自然言語処理(NLP)や人工知能(AI)の研究において、言語の意味を理解できるシステムの実現は重要な目標の一つである。言語は「文字通りの意味」だけでなく「文脈依存の意味」をしばしばもち、人間の言語運用やコミュニケーションにおいては、こうした文脈依存の意味が重要な役割を果たす。文脈依存の意味を取り扱う言語学の領域は「語用論」と呼ばれる[1,2]。言語モデルを中心とするAI技術の発展と社会浸透を目指すうえで、モデルの語用論的推論能力の向上は重要な課題である[3]。言語モデルの語用論的能力を改善するためには、その時点で存在しているモデルの能力を正確かつ詳細に把握する必要がある。そのため、NLP領域において語用論的意味理解・推論についてのデータセットやベンチマークはこれまでも提案されてきた(§2)。しかしながら既存のベンチマークには、タスクにおいて考慮すべき文脈が短い対話に限定されている、回答に不要な情報が文脈として含まれない、の理由を問うカテゴリの問題。©栗城祥子難度が最新のモデルの評価には不十分である、扱うモーダルが多くの場合テキストのみであるといった課題がある。今後、大規模言語モデル(LLM)や大規模視覚言語モデル(VLLM)の語用論的推論能力の向上を目指す研究のために、これらの課題を解決したベンチマークが必要である。本研究では、上記の課題を解決するマルチモーダルかつ長い文脈の処理を要する語用論的推論ベンチマークを構築した(§3)。コーパスとして、権利処理がなされた漫画データ[4,5]を採用し、見開き106ページの漫画についての4択の多肢選択式問題を、計101問人手で作成した。各設問は7つのカテゴリに分類し、各選択肢は一貫性のある方法で作成した。構築したベンチマークの概要を図1に示す。また、構築したベンチマークを用いて、最先端のVLLMと人間の正解率の評価実験を行った(§4)。実験の結果、最先端のVLLMであっても人間の被験者と比較して低い正解率しか達成することができず、現状のVLLMの語用論的推論能力には依然として課題が残ることが分かった。Thisworkispublishedwithoutpeerreviewandislicensedbytheauthor(s)underCCBY4.0(https://creativecommons.org/licenses/by/4.0/).org/licenses/by/4.0/).カテゴリ定義例REASON対象吹き出しにおける発話・行為・現象の理由として正しいものを選択する。男の子がこのように発話している理由として、最も適切なものはどれですか？INTENT対象吹き出しにおける発話・行為の意図・目的として正しいものを選択する。彩ちゃんがこのようにぴかるに言った目的として、最も適切なものを1つ選びなさい。FEELING対象吹き出しの場面において、明示されていない心情の説明として正しいものを選ぶ。この場面におけるぴかるの心情として最も適切なものを選びなさい。REFERENCE対象吹き出しにおける指示詞の対象として正しいものを選ぶ。「あれ」の指すものとして最も適切なものを選びなさい。ELLIPSIS対象吹き出しにおいて生じている格省略の補完として正しいものを選ぶ。なにが「だんだん遠くなってる」のですか？INDIRECT対象吹き出しにおける修辞的・婉曲的な発話の直截的な意味として正しいものを選ぶ。この発話の直截的な意味として、最も適切なものを選びなさい。IMPLICATURE対象吹き出しの発話やその場面が暗示することとして正しいものを選ぶ。この発話が暗示することとして最も適切なものを選びなさい。作品1作品2合計対象ページ数(見開き)4759106含まれる発話数5918111,402REASON171128INTENT549FEELING13518REFERENCE5611ELLIPSIS51328INDIRECT5510IMPLICATURE167合計5150101問題数答えとして尤もらしさが低く、誤答肢であると判断しうる選択肢。3.3構築したベンチマークの統計『ぴかる★元気です！』(作品1、©栗城祥子)と『学園ノイズ』(作品2、©オオシマヒロユキ)の2作品をコーパスとしてベンチマークを構築した。各作品のジャンルは、恋愛とバトルである。コーパスとベンチマークの統計を表2に示す。また、作成した各設問と選択肢の長さを付録の表5に示す。4VLLMの評価実験4.1実験設定出題形式3.2節で作成した設問と選択肢を、VLLMに入力した。プロンプトを付録§B.1に示す。推論時のVLLMのtemperatureは0、top_pは1、top_kは0、seedは42に設定した。なお、選択肢の提示順はシャッフルした。た場合、w/omangaは与えなかった場合の正解率(%)。All列は、作品1/2の正解率を問題数で重み付けしたうえで平均を計算した値。Humanは人間が解いた際の正解率。Model作品1作品2AllQwen3-32Bw/manga50.9860.0055.45w/omanga49.0234.0041.58Llama-4-17Bx16Ew/manga41.1842.0041.59w/omanga41.1826.0033.67Llama-4-18Bx128Ew/manga47.0640.0042.58w/omanga52.9436.0044.55GPT-5w/manga82.3558.0070.30w/omanga64.7140.0052.48Human1w/manga96.0788.0092.07Human2w/manga94.1190.0092.08また、nページ目の発話についての問題を入力する際には、nページ目までの全ての漫画画像(.jpg)をモデルに入力した。ただし、通常のサイズで漫画を入力した場合にはモデルのコンテキスト長を超過するため実験を行うことができないので、元PDFの0.5倍の解像度の画像を使用した。解像度の参考画像を付録§B.2に示す。また、比較のため、文脈となる漫画画像を与えない設定でも実験を行った。対象モデルオープンモデルと商用モデルで実験を行い、正解率を記録した。オープンモデルとしてQwen3-VL-32B-Instruct、Llama-4-Scout-17B-16E-Instruct、Llama-4-Maverick-17B-128E-Instruct-FP8を、商用モデルとしてgpt-5-2025-08-07を対象とした。また、比較のために同一の問題を人間の被験者にも出題した。被験者は日本語を母語とし日本で生育した50代の男女1名ずつの計2名であり、いずれも対象作品は未読であった。漫画画像と問題をいずorg/licenses/by/4.0/).モデルREASONINTENTFEELINGINDIRECTREFERENCEIMPLICATUREELLIPSISw/w/ow/w/ow/w/ow/w/ow/w/ow/w/ow/w/oQwen3-32B60.742.944.433.361.144.450.030.054.572.742.942.955.627.8Llama-4-17Bx16E32.135.733.344.461.150.030.010.045.527.342.928.644.427.8Llama-4-18Bx128E46.435.755.655.638.961.110.020.063.663.657.128.638.944.4GPT-571.457.155.622.283.355.640.050.072.772.757.128.683.355.6れも紙面で配布し3）、手書きでの回答を求めた。4.2結果実験の結果(表3)、構築したベンチマークにおいて人間は90%程度正解できるのに対して、VLLMは最新の大規模モデル(GPT-5)であっても70%程度の正解率しか達成できなかった。このことは、マルチモーダルかつ長い文脈を扱う語用論的推論能力に関して、現状のVLLMと人間には依然としてギャップが存在することを示唆している。作品1では漫画画像を文脈として与えた場合と与えない場合でのモデル正解率の差が小さかったのに対し、作品2では同様の事象は起こらなかった。どちらの作品でも、漫画画像を与えない場合の正解率はチャンスレート(25.00%)よりも高かった。これには、誤答肢3(easy)など容易に誤答と見抜ける誤答肢を設けていることや、設問・選択肢作成時のくせがアーティファクトとして残存し、モデルに画像なしでも正解させる手がかりを与えていることなど、複数の原因が考えられる。4.3分析設問カテゴリ別の正解率を表4に示す。多くのモデルで特に正解率が低いのはINDIRECTであった。GPT-5の回答を観察したところ、このカテゴリの問題においては、発話の言外の意味を捉えず字義通りな解釈を選択したり、言外の意味を捉えたような解釈ではあるが文脈にそぐわない選択肢を誤って選択する傾向が見られた。また、問題の位置(何ページ目に関する問題か)によって正解率に変動が出るかを分析するため、問題番号によって全問題を5つのセグメントに分割し、それぞれの正解率を集計した。結果を図2,3に示す。セグメントごとの正解率について、作品・モデルを横断する一貫した傾向は見て取ることができず、問題の位置によって正解率が変動するわけで3）問題用紙の画像を付録§B.3に示す。はないことが分かった。重要な点として、この結果は、VLLMの低い正解率の原因が長文脈の処理能力のみではないことを示唆している。長文脈の処理能力の低さのみが誤答の原因となるならば、入力される画像枚数の少ない前半のセグメントほど、正解率が高くなるはずであるためである。5おわりに本研究では、マルチモーダルかつ長い文脈の処理が求められる語用論的推論ベンチマークを構築し、VLLMと人間の正解率の評価実験を行った。実験の結果、最新のVLLMであっても人間の正解率には劣後することが示された。今後は、ベンチマークの問題数を増やすとともに、構築したベンチマークを用いてVLLMの語用論的推論能力やその内部機序について分析することを予定している。org/licenses/by/4.0/).