大規模視覚言語モデルは大規模言語モデルに視覚エンコーダを統合することで，視覚情報とテキスト情報を要する様々なタスクにおいて高性能を達成してきた．視覚情報とテキスト情報の統合方法はモデルによって様々であるが，どの手法を採用する場合も，視覚情報は数百の画像トークンとしてモデルに入力されており，推論効率の低下の一因となっている．一方で，大規模視覚言語モデルは入力画像を無視してテキストを生成することもあり，視覚情報をモデルがどのように扱っているのかは自明でない．そこで本研究では，モデルがどのように視覚情報を扱っているのかを分析した上で，大規模言語モデル側での画像トークンの削減と視覚情報の伝播経路の明確化を実現する手法を提案する．

大規模視覚言語モデル（Large-scaleVisionLanguageModels;LVLMs）[1,2,3]は大規模言語モデル（LargeLanguageModels;LLMs）に視覚エンコーダーを付加することにより，LLMの知識や推論能力を活用して視覚情報を要するタスクにおいて高い性能を示してきており[3,4]，その能力は自動運転[5]や画像診断[6]といった領域での活用も模索されている．LVLMでは，通常，画像や動画は数百のトークン列としてLLMに入力されることから，視覚情報を扱う際の推論効率はテキストのみを扱う場合と比べると低くなる．これまでの研究で，LVLMを含むマルチモーダル言語モデルにおいて，視覚情報がどのようにテキスト側に伝播するのかが明らかにされてきた[7,8,9]．例えば画像とマルチモーダルモデルには視覚情報を単一トークンを介してテキスト側に伝播させるものと，個々の画像トークンから直接テキスト側にその情報を伝えるものがあることが明らかになっている．このような分析はモデルの解釈性の観点でも意義を持つものであるが，その分析結果がモデルの性能向上や推論効率の向上に活用されることは多くはない．そこで，本研究では，モデルの画像情報の伝播経路を分析した上で，個々のモデルの振る舞いからLVLMの性能改善・推論効率の向上を図る．実験の結果，LVLMは画像トークン・画像終端の特殊トークン両方を通じてテキスト側に視覚情報を渡している可能性が高いことが示された．そこで，LVLMのLLM部分での視覚情報の扱いをより効率良くするために，特殊トークンに視覚情報を書き込むことができるような構成を提案する．提案手法では，テキストトークンが個々の画像トークンの代わりに，この特殊トークンを参照するようなAttention構造を持つ．これによって，この特殊トークンの数を減らすことを目標とすることで，推論効率の向上が期待される．