視覚情報による曖昧性解消コーパスの検討

自然言語における曖昧性とは、一つの文が複数の解釈を持つ現象をさす。この曖昧性を解消するためには、視覚情報[1,2,3,4]や話し方の抑揚[5]などの補助的な情報がしばしば必要となる。特に視覚情報は、実世界の理解において重要な役割を果たしており、曖昧性解消の主要な手掛かりとして注目されている。視覚情報を用いた曖昧性解消のタスクでは、文が持つ複数の意味を視覚的な文脈と結びつける必要があり、言語と視覚の両方を深く理解する高度な処理が求められる。視覚情報を活用した曖昧性解消能力は、VLM（Vision&LanguageModel）の実世界での応用において特に重要である。この能力により、ユーザの指示や意図の誤解を防ぐだけでなく、モデルが高度な推論を行う基盤を提供する期待される。現在のところ、既存のVLMが視覚情報を活用して曖昧性を解消する能力についての評価は十分に検討されていない。ARO[6]やWinoground[7]などのベンチマークは、視覚情報を用いて文中の単語の関係性を理解する優れた評価ツールを提供している。しかし、これらのベンチマークで使用されている例示の多くは、曖昧性のある文を含んでいない点で課題が残る。一方で、LAVA[1]やTAB[2]のようなベンチマークは、曖昧性に特化した文と画像を結びつけるタスクを設定しているが、これらのデータセットには量や質の面での制約がある。これにより、曖昧性解消能力を正確に評価するための基盤が不十分であるといえる。本研究は、VLMの視覚情報による曖昧性解消能力を評価し、その改善に向けたデータセットの構築を試みる。大規模視覚言語生成モデルの進展[8,9]により、データの収集や質の制御が容易になることが期待される。本研究では、生成モデルを用いて試験的にデータを収集し、そのデータを基に画像と曖昧性が解消された文を結びつけるタスクを設計する。これにより、既存VLMの曖昧性への対応能力を評価し、エラーケースを分析して弱点を探る。定量評価と定性分析を通じ、データセットの不足点を明確にし、今後の研究の基盤となることを目指す。