CLIPのモダリティギャップは本当に埋めるべきか？

マルチモーダルモデルに関する研究は長年に渡り取り組まれている[3,4]．マルチモーダルモデルの中でも特に画像と言語を扱うモデルは，Vision-LanguageModel(VLM)[5,6,7,4]と呼ばれ，近年特に盛んに研究されている領域の一つである[8]．VLMの代表的なモデルの一つにContrastiveLanguage–ImagePre-training(CLIP)[1]がある．CLIPは，画像とテキストのペアを用いて「正例を近づけて負例を引き離す」という対照学習を行うことで，画像と言語を同一の埋め込み空間へマッピングする．対照学習の性質[9]からもわかるように，CLIPの埋め込み空間は,同じものを指す画像とテキストの埋め込みが近くに分布しつつ，空間上には均一に分布しているのが理想的である[10]（図1右）．しかし，実際のCLIPの埋め込み空間ではモダリティギャップ[2]という現象の存在が確認されている．モダリティギャップは，図1の左に示すように，モダリティごとに埋め込みがまとまっていて，みの比較．赤と青は別々のモダリティを表す．（左）実際のCLIPの埋め込みは同一モダリティが近くに配置されている[11,12]．（右）理想的なCLIPの埋め込みは対応する画像とテキストが近くにあり，それらが散らばって配置されている[10]．モダリティ間では埋め込みが分離している現象である．多くの研究が，このギャップの存在を問題視しており，これを縮める様々な手法を提案している[2,11,12,13,14,15,16,17,18,19,20,21]．ところが，これらの研究では「モダリティギャップは埋めるべきもの」という暗黙の前提が置かれており，モダリティギャップとzero-shotタスクの性能に関して，詳細な分析は未だ十分に行われていない．そこで本研究では，既存のギャップ補正手法を整理し，複数のギャップ補正手法を用いてモダリティギャップとタスク性能の関係を網羅的に分析する．また，「埋めるべき」とされているモダリティギャップの指標としての限界を提示するため，zero-shotタスク性能に寄与する部分と寄与しない部分に分解する分析を行う．本研究の貢献は，以下の通りである．1.提示する分類体系に基づいた3つの手法を用いて，全15種類のzero-shot画像分類タスクによる広範な実験を行った．結果から，「モダリティギャップを縮めることは性能向上に必ずしも寄与しない」ことをより網羅的に示した．Thisworkispublishedwithoutpeerreviewandislicensedbytheauthor(s)underCCBY4.0(https://creativecommons.org/licenses/by/4.0/).org/licenses/by/4.0/).習）によるzero-shot画像分類タスクの正解率と各評価指標の結果．（右）AlignCLIP（事前学習）によるzero-shot画像分類タスクの正解率と各評価指標の結果．各値は，1を最高，0を最低として正規化されており，図中の実線が全15データセットでの平均値を示す．また，帯は標準偏差を示す．評価指標本研究では，Yamaguchietal.[16]に倣い，埋め込み空間の性質を表す評価指標として以下の指標を用いる．