大規模視覚言語モデルにおける視覚情報の伝播経路とRegisteringの考察

大規模視覚言語モデル（Large-scaleVisionLanguageModels;LVLMs）[1,2,3]は大規模言語モデル（LargeLanguageModels;LLMs）に視覚エンコーダーを付加することにより，LLMの知識や推論能力を活用して視覚情報を要するタスクにおいて高い性能を示してきており[3,4]，その能力は自動運転[5]や画像診断[6]といった領域での活用も模索されている．LVLMでは，通常，画像や動画は数百のトークン列としてLLMに入力されることから，視覚情報を扱う際の推論効率はテキストのみを扱う場合と比べると低くなる．これまでの研究で，LVLMを含むマルチモーダル言語モデルにおいて，視覚情報がどのようにテキスト側に伝播するのかが明らかにされてきた[7,8,9]．例えば画像とマルチモーダルモデルには視覚情報を単一トークンを介してテキスト側に伝播させるものと，個々の画像トークンから直接テキスト側にその情報を伝えるものがあることが明らかになっている．このような分析はモデルの解釈性の観点でも意義を持つものであるが，その分析結果がモデルの性能向上や推論効率の向上に活用されることは多くはない．そこで，本研究では，モデルの画像情報の伝播経路を分析した上で，個々のモデルの振る舞いからLVLMの性能改善・推論効率の向上を図る．実験の結果，LVLMは画像トークン・画像終端の特殊トークン両方を通じてテキスト側に視覚情報を渡している可能性が高いことが示された．そこで，LVLMのLLM部分での視覚情報の扱いをより効率良くするために，特殊トークンに視覚情報を書き込むことができるような構成を提案する．提案手法では，テキストトークンが個々の画像トークンの代わりに，この特殊トークンを参照するようなAttention構造を持つ．これによって，この特殊トークンの数を減らすことを目標とすることで，推論効率の向上が期待される．