大規模視覚言語モデルにおける言語タスクに対する視覚情報の影響

大規模視覚言語モデル（LVLM)は言語情報に加えて視覚情報も扱うことができる言語モデルである。一般的にLVLMは、視覚と言語の両方を同時に扱うようなタスクで用いられることが前提とされているが、言語情報のみで解決可能なタスク（言語タスク）に限定して使用することも可能である。ただし、LVLMの構築過程では画像情報と整合が取られているため、視覚情報が追加的に与えられる状況において、その画像がタスクに密接に関連する場合だけでなく、逆に敵対的であったり無関係であったりする場合に応答がどのように変化するのかは明らかではない。本研究では、心理学的効果検証の一種であるプライミングを参考に、LVLMを用いて言語タスクを解く際に、視覚情報を追加的に挿入することで言語タスクへの影響を調査する。実験の結果、言語タスクにおいて視覚情報を追加することで、精度と確信度の両方に変化が観測され、LVLMでもプライミング効果を確認でき、LVLMが言語タスクを扱う際でも視覚情報の影響を受けることが明らかとなった。