条件付き対数尤度ベクトルに基づく視覚言語モデルのモデルマップの初期検討

言語モデルを対数尤度ベクトルで表し、モデル間の関係を可視化するモデルマップ手法が提案されている。この手法では、多数のモデルを共通空間に配置しモデル同士の関係を俯瞰することができる。本稿では、このモデルマップ手法を視覚言語モデル（Vision-LanguageModel;VLM）へ拡張する枠組みを示す。複数のVLMに画像とテキストのペアデータセットを与えて、モデルが出力するテキストの生成分布の差をモデル間の距離として計測する。画像キャプションペアデータに関する条件付き対数尤度から各VLMの対数尤度ベクトルを構成し、次元削減による可視化を行った結果、モデルファミリーや世代差に対応するまとまりがマップ上に形成されることを確認した。また、データの負の対数尤度の平均と8種類の公開ベンチマークスコアの相関を調べたところ、全体平均スコアとの相関は弱く、OCRBenchのみ中程度の相関が観察された。