CLIPのモダリティギャップは本当に埋めるべきか？

CLIP[1]というマルチモーダル事前学習モデルには，モダリティギャップ[2]という現象の存在が報告されている．これは，画像とテキストの埋め込みが埋め込み空間内で分離してしまう現象を指す（図1左）．既存の研究は，モダリティギャップの存在を問題視し，このギャップを埋める手法を提案している．しかし，このギャップが埋まることで本当にzero-shotタスクの性能が向上するかは，未だ十分に検証されていない．本研究では，モダリティギャップとzero-shotタスク性能との関係について網羅的に分析する．また，モダリティギャップ全体に対するzero-shotタスクの性能に寄与する成分比がデータセットごとに異なることを示すことで，ギャップの絶対値がタスク性能を説明する指標として不十分であることを示す．