自然言語の曖昧性の解消は、システムとユーザ間の意味の一致を達成する上で解決すべき重大な課題である。そのためには、実世界での視覚情報と自然言語の統合処理が鍵となる。本研究では、既存のVision&LanguageModelを対象に、視覚情報を利用した曖昧性理解能力を評価するためのデータセットの検討を行った。さらに、試験的に収集したデータを用いて、曖昧性が解消された文と画像の識別能力を測定することでVLMが視覚情報を活用して曖昧性を解消する能力を評価した。実験結果に基づき、既存モデルの曖昧性解消能力の可能性を探求するとともに、エラーケースの分析を行った。この分析から、モデルが持つ曖昧性に対する弱点と、ベンチマークやデータセットの今後の課題について考察を行った。

自然言語における曖昧性とは、一つの文が複数の解釈を持つ現象をさす。この曖昧性を解消するためには、視覚情報[1,2,3,4]や話し方の抑揚[5]などの補助的な情報がしばしば必要となる。特に視覚情報は、実世界の理解において重要な役割を果たしており、曖昧性解消の主要な手掛かりとして注目されている。視覚情報を用いた曖昧性解消のタスクでは、文が持つ複数の意味を視覚的な文脈と結びつける必要があり、言語と視覚の両方を深く理解する高度な処理が求められる。視覚情報を活用した曖昧性解消能力は、VLM（Vision&LanguageModel）の実世界での応用において特に重要である。この能力により、ユーザの指示や意図の誤解を防ぐだけでなく、モデルが高度な推論を行う基盤を提供する期待される。現在のところ、既存のVLMが視覚情報を活用して曖昧性を解消する能力についての評価は十分に検討されていない。ARO[6]やWinoground[7]などのベンチマークは、視覚情報を用いて文中の単語の関係性を理解する優れた評価ツールを提供している。しかし、これらのベンチマークで使用されている例示の多くは、曖昧性のある文を含んでいない点で課題が残る。一方で、LAVA[1]やTAB[2]のようなベンチマークは、曖昧性に特化した文と画像を結びつけるタスクを設定しているが、これらのデータセットには量や質の面での制約がある。これにより、曖昧性解消能力を正確に評価するための基盤が不十分であるといえる。本研究は、VLMの視覚情報による曖昧性解消能力を評価し、その改善に向けたデータセットの構築を試みる。大規模視覚言語生成モデルの進展[8,9]により、データの収集や質の制御が容易になることが期待される。本研究では、生成モデルを用いて試験的にデータを収集し、そのデータを基に画像と曖昧性が解消された文を結びつけるタスクを設計する。これにより、既存VLMの曖昧性への対応能力を評価し、エラーケースを分析して弱点を探る。定量評価と定性分析を通じ、データセットの不足点を明確にし、今後の研究の基盤となることを目指す。