大規模視覚言語モデル（LVLM)は言語情報に加えて視覚情報も扱うことができる言語モデルである。一般的にLVLMは、視覚と言語の両方を同時に扱うようなタスクで用いられることが前提とされているが、言語情報のみで解決可能なタスク（言語タスク）に限定して使用することも可能である。ただし、LVLMの構築過程では画像情報と整合が取られているため、視覚情報が追加的に与えられる状況において、その画像がタスクに密接に関連する場合だけでなく、逆に敵対的であったり無関係であったりする場合に応答がどのように変化するのかは明らかではない。本研究では、心理学的効果検証の一種であるプライミングを参考に、LVLMを用いて言語タスクを解く際に、視覚情報を追加的に挿入することで言語タスクへの影響を調査する。実験の結果、言語タスクにおいて視覚情報を追加することで、精度と確信度の両方に変化が観測され、LVLMでもプライミング効果を確認でき、LVLMが言語タスクを扱う際でも視覚情報の影響を受けることが明らかとなった。

大規模視覚言語モデル（LVLM)[1,2,3,4,5]は、言語情報を扱うための大規模言語モデル（LLM）[6,7,8]と視覚情報を扱うためのビジョンエンコーダ[9,10,11]を統合することで構築される。視覚と言語の２つのモダリティを統合的に処理することで、視覚情報と言語情報の両方を同時に扱うような高度な推論を行うことができる。この統合は、視覚情報と言語情報を同時に用いるタスクを通じて実現され、LLMの推論過程において視覚情報を活用すタスクにおいても視覚情報を補助的に用いている例。一方、右側は視覚情報によって推論が変化する例である。ることを可能にしている。しかし、訓練プロセスでは常に関連性の高い画像と言語が提供されるため、言語タスクに追加的な視覚情報が提供される場面は存在しない。そのため、言語のみで解決可能なタスク（言語タスク）や視覚情報が不要な状況、言語情報が主導的役割を果たす問題解決において、視覚情報の寄与や相互作用がLVLMの応答にどの程度影響を与えるのか定かではない[12,13,14,15]。この影響を理解することは、モデルの性能向上にとどまらず、モデルがどのように機能しているかを深く理解する上でも重要である。視覚と言語といった異なるモダリティが言語タスクの解決にどのように影響を及ぼすかを明確にすることで、モデルが情報を統合して意思決定を行う仕組みの解明に貢献できる。さらに、視覚と言語情報の相互作用は、人間の認知メカニズムと密接に関連しており[16]、人間の認知における視覚の役割を踏まえると、LVLMが視覚情報をどのように活用して言語的推論を行うかを明らかにすることで、人間の認知と類似したプロセスが見られるかを探ることができる。本稿では、心理学的効果検証の一種であるプライミングを参考に、言語タスクにおいて視覚情報がLVLMの精度と確信度にどのような影響を与えるかを調査した。実験では、感情分類タスクである.TaskTextサポート画像敵対画像ノイズ画像EQQuestion:WhatpositiondoesRomanTurekplay?(Answer:goaltender)Sentence:Equalstheoriginalandinsomewaysevenbettersit.Isthissentencenegativeorpositive?(Answer:positive)SST2SST2[17]と、特定のエンティティに関する質問応答タスクであるEntityQuestions（EQ）[18]の2つの言語タスクを対象とした。実験では、答えに導くこと意図したサポート画像、回答を惑わすことを意図した敵対画像、特定の意味を持たないノイズ画像の3種類をLVLMに与え、それに伴う精度と確信度の変化を分析した。実験の結果、言語タスクにおいても視覚情報を追加することで、精度と確信度の両方に変化が観測された。この結果から、LVLMでもプライミング効果が生じることがわかり、LVLMが言語タスクを扱う際でも視覚情報の影響を受けることが明らかとなった。