大規模視覚言語モデルにおける視覚情報の伝播経路とRegisteringの考察

大規模視覚言語モデルは大規模言語モデルに視覚エンコーダを統合することで，視覚情報とテキスト情報を要する様々なタスクにおいて高性能を達成してきた．視覚情報とテキスト情報の統合方法はモデルによって様々であるが，どの手法を採用する場合も，視覚情報は数百の画像トークンとしてモデルに入力されており，推論効率の低下の一因となっている．一方で，大規模視覚言語モデルは入力画像を無視してテキストを生成することもあり，視覚情報をモデルがどのように扱っているのかは自明でない．そこで本研究では，モデルがどのように視覚情報を扱っているのかを分析した上で，大規模言語モデル側での画像トークンの削減と視覚情報の伝播経路の明確化を実現する手法を提案する．