CLIPと不均衡最適輸送を用いた画像–文章間の類似性評価および局所アライメントの可視化

CLIPは，画像と文章を同一の空間へ写像して学習することで共通の埋め込み表現を獲得し，表現間のコサイン類似度に基づくCLIPScoreによる画像–文章間の大局的な類似性評価を可能とした．一方で，この表現は入力の局所領域間の関係を捉えられていないことが指摘されている．本研究では，CLIPおよび派生モデルの出力に基づく新たな画像–文章間の類似性評価，および局所領域間のアライメントの可視化手法を提案する．評価実験により，提案法はCLIPScoreなどのベースラインと同等以上の人手評価との相関を示し，さらに局所対応を可視化できることを確認した．