CLIPと不均衡最適輸送を用いた画像–文章間の類似性評価および局所アライメントの可視化

画像と自然言語の対応関係を学習した視覚言語モデルは，マルチモーダルな基盤モデルとして幅広い下流タスクに応用されている．特に視覚言語モデル内で画像と文章とを対応付ける手法として，入力を同じ埋め込み空間に写像するというシンプルな構造のCLIP[1]がよく用いられる．下流タスクでは一般に，CLIPが画像と文章それぞれの全体表現を対照学習して得た表現が利用される．しかし，モデルが特別に設計された構造でない限り，直接CLIPから局所的な表現を得ることはできない．また，単一のベクトルとして得られる全体表現には局所的な情報が反映されていないおそれがある．既存研究では，CLIPの出力を元にして画像–文章間の類似度を測るCLIPScore[2]が，画像の局所的な構成や関係性を扱えないこと[3]，文や画像の構造を捉えられていないこと[4]が指摘されている．もしも，全体表現だけでなく画像–文章間の局所対応を考慮したスコアリングを行うことができれば，これらの問題を解決する糸口になると考えられる．そこで本研究では，事前学習済みのCLIPおよびその派生モデルから得られる表現から，最適輸送を用いて画像–文章間の局所アライメントを推定し，それに基づく画像–文章間の類似度評価，およびアライメントの可視化手法を提案する．類似度評価で計算したスコアと人手評価との相関はベースラインと同等以上となり，得られたアライメントの可視化を通して，これらのモデルがどのように局所対応を捉えているのかを確認した．