言語モデルを対数尤度ベクトルで表し、モデル間の関係を可視化するモデルマップ手法が提案されている。この手法では、多数のモデルを共通空間に配置しモデル同士の関係を俯瞰することができる。本稿では、このモデルマップ手法を視覚言語モデル（Vision-LanguageModel;VLM）へ拡張する枠組みを示す。複数のVLMに画像とテキストのペアデータセットを与えて、モデルが出力するテキストの生成分布の差をモデル間の距離として計測する。画像キャプションペアデータに関する条件付き対数尤度から各VLMの対数尤度ベクトルを構成し、次元削減による可視化を行った結果、モデルファミリーや世代差に対応するまとまりがマップ上に形成されることを確認した。また、データの負の対数尤度の平均と8種類の公開ベンチマークスコアの相関を調べたところ、全体平均スコアとの相関は弱く、OCRBenchのみ中程度の相関が観察された。

近年、多数の視覚言語モデル（Vision-LanguageModel;VLM）が公開され、画像キャプション生成や視覚質問応答などの幅広いタスクで高い性能を示している。一方で、モデルの種類が急増し、複数のベンチマークを用いた評価をすべてのモデルに対して行うことは計算コストが高い。新しいモデルを採用する際、ベンチマークスコアに加えて特性の近い既存モデルが分かると、適切な比較対象を選びやすい。大規模言語モデル（LargeLanguageModel;LLM）に対しては、固定したテキスト集合に対する対数尤度ベクトルを用いて、多数のモデルを共通空間に配置することで、特性の近いモデルを可視化する手法が提案されている[1]。この論文では、モデルを確率分布として扱い、対数尤度ベクトルから得られる距離でモデルの分布間距離（KLダイバージェンス）が近似できるという理論的証明がなされている。また、対数尤度ベクトルはベンチマークスコアを一定程度説明・予測できることも報告されている。本研究の主目的は、このモデルマップ手法[1]をVLMに拡張することである。VLMの入力は画像を含むため、LLMの議論をそのまま適用できない。本稿では、VLMの出力するテキスト𝑥を画像𝐼で条件付けられたテキスト生成分布と捉え、モデルの差を条件付き分布𝑝(𝑥|𝐼)の比較として定式化する。実験では、OpenVLMLeaderboard[2]に掲載される56種類の実際のモデルを対象とし、MS-COCO[3]の画像キャプションペアデータを用いてに2次元マップによる可視化を行う。これにより、モデルファミリーや世代差に対応するまとまりがマップ上に形成されるかを確認する。また、公開されている8種類のベンチマークスコアと対数尤度ベクトルの相関を調べ、VLMにおける対数尤度ベクトルの性質を考察する。