対照学習により構築する視覚・言語の基盤モデルCLIPの新たな転移学習方法としてDueTを提案する．DueTは単一モーダルのコーパスで事前学習されたモデルにより画像・テキストエンコーダを初期化して固定し，両エンコーダに追加したゲート機構付のアダプタのみを学習する．英語・日本語ドメインの0-shot画像・テキスト検索において，単純なﬁne-tuningや画像エンコーダのみ転移・固定する従来手法に比べ，提案手法が精度やパラメータ効率性の観点で優れていたことを報告する．

CLIP[1]が視覚と言語の融合理解における基盤モデルとして，テキストからの画像生成[2,3]や視覚情報を考慮した対話[4]を始め様々なタスクで革新的な成果を挙げている．CLIPは4億件という膨大な画像・テキストのペアを用いた対照学習により，正しい（誤った）ペアに対して画像・テキストの各エンコーダが出力する特徴ベクトルの類似度が高く（低く）なるようにscratchから学習された．ここで，CLIPよりも視覚と言語の意味的対応付けに優れた基盤モデルを少量の学習データから構築するためには，比較的学習しやすい単一モーダルの事前学習済モデルの転移学習が重要になると考える．本研究では視覚・言語の基盤モデルの学習方法DueT（Dual-adapterTuning）を提案する．DueTは単一モーダルの事前学習済モデルを各エンコーダのパラメータの固定値とし，さらに両エンコーダにゲート機構を持つアダプタを追加して学習を行う（図1右）．英語・日本語ドメインの実験において，単純な転移学習や画像エンコーダのみ転移・固定するLiT[5]に比べて，DueTは優れた性能を達成できた.∗Equalcontribution.†NTTにおけるインターンシップ期間中の貢献.From-scratchLocked-imageDual-adapterTuning(DueT)/Fine-tuningTuningImage❄️Adapter🔥Image❄️🔥AdapterImage🔥❄️Text🔥Text🔥Textコーダを学習（）．中央:LiT(Locked-imageTuning)[5]．事前学習済みの画像エンコーダを固定（）し，テキストエンコーダのみ学習する．右:DueT(Dual-adapterTuning)．両エンコーダに追加したアダプタのみ学習する．