マルチモーダルかつ長い文脈の処理が求められる語用論的推論ベンチマーク

言語の文脈依存の意味を理解するための語用論的推論能力は、人間のみならず言語モデルや視覚言語モデルにとっても重要である。ベンチマークはモデルの語用論的推論能力を向上させる研究の基盤となるが、既存のベンチマーク群には文脈の長さ・複雑さやモーダルの単一性、高性能なモデルの評価における難度の不十分さ等の問題がある。本研究では漫画をコーパスとすることで、これらの課題に取り組む語用論的推論ベンチマークを構築した。構築したベンチマークでVLLMと人間の語用論的推論能力を比較評価した結果、最先端のVLLMでも人間の正解率に劣ることが示された。