大規模視覚言語モデルにおける言語タスクに対する視覚情報の影響

大規模視覚言語モデル（LVLM)[1,2,3,4,5]は、言語情報を扱うための大規模言語モデル（LLM）[6,7,8]と視覚情報を扱うためのビジョンエンコーダ[9,10,11]を統合することで構築される。視覚と言語の２つのモダリティを統合的に処理することで、視覚情報と言語情報の両方を同時に扱うような高度な推論を行うことができる。この統合は、視覚情報と言語情報を同時に用いるタスクを通じて実現され、LLMの推論過程において視覚情報を活用すタスクにおいても視覚情報を補助的に用いている例。一方、右側は視覚情報によって推論が変化する例である。ることを可能にしている。しかし、訓練プロセスでは常に関連性の高い画像と言語が提供されるため、言語タスクに追加的な視覚情報が提供される場面は存在しない。そのため、言語のみで解決可能なタスク（言語タスク）や視覚情報が不要な状況、言語情報が主導的役割を果たす問題解決において、視覚情報の寄与や相互作用がLVLMの応答にどの程度影響を与えるのか定かではない[12,13,14,15]。この影響を理解することは、モデルの性能向上にとどまらず、モデルがどのように機能しているかを深く理解する上でも重要である。視覚と言語といった異なるモダリティが言語タスクの解決にどのように影響を及ぼすかを明確にすることで、モデルが情報を統合して意思決定を行う仕組みの解明に貢献できる。さらに、視覚と言語情報の相互作用は、人間の認知メカニズムと密接に関連しており[16]、人間の認知における視覚の役割を踏まえると、LVLMが視覚情報をどのように活用して言語的推論を行うかを明らかにすることで、人間の認知と類似したプロセスが見られるかを探ることができる。本稿では、心理学的効果検証の一種であるプライミングを参考に、言語タスクにおいて視覚情報がLVLMの精度と確信度にどのような影響を与えるかを調査した。実験では、感情分類タスクである.TaskTextサポート画像敵対画像ノイズ画像EQQuestion:WhatpositiondoesRomanTurekplay?(Answer:goaltender)Sentence:Equalstheoriginalandinsomewaysevenbettersit.Isthissentencenegativeorpositive?(Answer:positive)SST2SST2[17]と、特定のエンティティに関する質問応答タスクであるEntityQuestions（EQ）[18]の2つの言語タスクを対象とした。実験では、答えに導くこと意図したサポート画像、回答を惑わすことを意図した敵対画像、特定の意味を持たないノイズ画像の3種類をLVLMに与え、それに伴う精度と確信度の変化を分析した。実験の結果、言語タスクにおいても視覚情報を追加することで、精度と確信度の両方に変化が観測された。この結果から、LVLMでもプライミング効果が生じることがわかり、LVLMが言語タスクを扱う際でも視覚情報の影響を受けることが明らかとなった。