条件付き対数尤度ベクトルに基づく視覚言語モデルのモデルマップの初期検討

近年、多数の視覚言語モデル（Vision-LanguageModel;VLM）が公開され、画像キャプション生成や視覚質問応答などの幅広いタスクで高い性能を示している。一方で、モデルの種類が急増し、複数のベンチマークを用いた評価をすべてのモデルに対して行うことは計算コストが高い。新しいモデルを採用する際、ベンチマークスコアに加えて特性の近い既存モデルが分かると、適切な比較対象を選びやすい。大規模言語モデル（LargeLanguageModel;LLM）に対しては、固定したテキスト集合に対する対数尤度ベクトルを用いて、多数のモデルを共通空間に配置することで、特性の近いモデルを可視化する手法が提案されている[1]。この論文では、モデルを確率分布として扱い、対数尤度ベクトルから得られる距離でモデルの分布間距離（KLダイバージェンス）が近似できるという理論的証明がなされている。また、対数尤度ベクトルはベンチマークスコアを一定程度説明・予測できることも報告されている。本研究の主目的は、このモデルマップ手法[1]をVLMに拡張することである。VLMの入力は画像を含むため、LLMの議論をそのまま適用できない。本稿では、VLMの出力するテキスト𝑥を画像𝐼で条件付けられたテキスト生成分布と捉え、モデルの差を条件付き分布𝑝(𝑥|𝐼)の比較として定式化する。実験では、OpenVLMLeaderboard[2]に掲載される56種類の実際のモデルを対象とし、MS-COCO[3]の画像キャプションペアデータを用いてに2次元マップによる可視化を行う。これにより、モデルファミリーや世代差に対応するまとまりがマップ上に形成されるかを確認する。また、公開されている8種類のベンチマークスコアと対数尤度ベクトルの相関を調べ、VLMにおける対数尤度ベクトルの性質を考察する。