CLIPは，画像と文章を同一の空間へ写像して学習することで共通の埋め込み表現を獲得し，表現間のコサイン類似度に基づくCLIPScoreによる画像–文章間の大局的な類似性評価を可能とした．一方で，この表現は入力の局所領域間の関係を捉えられていないことが指摘されている．本研究では，CLIPおよび派生モデルの出力に基づく新たな画像–文章間の類似性評価，および局所領域間のアライメントの可視化手法を提案する．評価実験により，提案法はCLIPScoreなどのベースラインと同等以上の人手評価との相関を示し，さらに局所対応を可視化できることを確認した．

画像と自然言語の対応関係を学習した視覚言語モデルは，マルチモーダルな基盤モデルとして幅広い下流タスクに応用されている．特に視覚言語モデル内で画像と文章とを対応付ける手法として，入力を同じ埋め込み空間に写像するというシンプルな構造のCLIP[1]がよく用いられる．下流タスクでは一般に，CLIPが画像と文章それぞれの全体表現を対照学習して得た表現が利用される．しかし，モデルが特別に設計された構造でない限り，直接CLIPから局所的な表現を得ることはできない．また，単一のベクトルとして得られる全体表現には局所的な情報が反映されていないおそれがある．既存研究では，CLIPの出力を元にして画像–文章間の類似度を測るCLIPScore[2]が，画像の局所的な構成や関係性を扱えないこと[3]，文や画像の構造を捉えられていないこと[4]が指摘されている．もしも，全体表現だけでなく画像–文章間の局所対応を考慮したスコアリングを行うことができれば，これらの問題を解決する糸口になると考えられる．そこで本研究では，事前学習済みのCLIPおよびその派生モデルから得られる表現から，最適輸送を用いて画像–文章間の局所アライメントを推定し，それに基づく画像–文章間の類似度評価，およびアライメントの可視化手法を提案する．類似度評価で計算したスコアと人手評価との相関はベースラインと同等以上となり，得られたアライメントの可視化を通して，これらのモデルがどのように局所対応を捉えているのかを確認した．