# DueT: 視覚・言語の Dual-adapter Tuning による基盤モデル

西田京介 $1 *$ 長谷川拓 $1 *$ 前田航希 $2 \dagger \quad$ 齋藤邦子 1
1 日本電信電話株式会社 NTT 人間情報研究所
2 東京工業大学
\{kyosuke.nishida.rx, taku.hasegawa.ps\}@hco.ntt.co.jp

## 概要

対照学習により構築する視覚・言語の基盤モデル CLIP の新たな転移学習方法として DueT を提案する. DueT は単一モーダルのコーパスで事前学習されたモデルにより画像・テキストエンコーダを初期化して固定し，両エンコーダに追加したゲート機構付のアダプタのみを学習する. 英語・日本語ドメインの 0-shot 画像・テキスト検索において，単純な fine-tuning や画像エンコーダのみ転移・固定する従来手法に比べ，提案手法が精度やパラメータ効率性の観点で優れていたことを報告する.

## 1 はじめに

CLIP [1] が視覚と言語の融合理解における基盤モデルとして，テキストからの画像生成 $[2,3]$ や視覚情報を考慮した対話 [4] を始め様々なタスクで革新的な成果を挙げている. CLIP は 4 億件という膨大な画像・テキストのペアを用いた対照学習により，正しい（誤った）ぺアに対して画像・テキストの各エンコーダが出力する特徴べクトルの類似度が高く （低く）なるように scratch から学習された. ここで， CLIP よりも視覚と言語の意味的対応付けに優れた基盤モデルを少量の学習データから構築するためには，比較的学習しやすい単一モーダルの事前学習済モデルの転移学習が重要になると考える。

本研究では視覚・言語の基盤モデルの学習方法 DueT（Dual-adapter Tuning）を提案する. DueT は単一モーダルの事前学習済モデルを各エンコーダのパラメータの固定値とし，さらに両エンコーダにゲー 卜機構を持つアダプタを追加して学習を行う（図 1 右). 英語・日本語ドメインの実験において，単純な転移学習や画像エンコーダのみ転移・固定する LiT [5] に比べて，DueT は優れた性能を達成できた.


/ Fine-tuning

Locked-image Tuning

Dual-adapter Tuning (DueT)

図 1 視覚・言語の基盤モデルの学習方法. 左: 両エンコーダを学習 (始). 中央: LiT (Locked-image Tuning) [5].事前学習済みの画像エンコーダを固定（料）し，テキストエンコーダのみ学習する. 右: DueT (Dual-adapter Tuning).両エンコーダに追加したアダプタのみ学習する.

## 2 関連研究

## 2.1 視覚・言語の基盤モデル

視覚・言語の基盤モデルとして CLIP [1] および ALIGN [6] が提案されて以降，性能改善に向けて様々な観点から研究が行われている。

転移学習全てのパラメータをランダムに初期化して学習する from-scratch $[1,6,7,8,9,10]$ と，画像テキストエンコーダを各モーダルの事前学習済モデルで初期化する fine-tuning $[11,12,13]$ のいずれかが多く採用されている (図 1 左). 最近では, 画像エンコーダのみを事前学習済モデルで初期化・固定し, テキストエンコーダのみを学習する Locked-image Tuning (LiT) [5] が提案されている（図 1 中央).

## クロスアテンション CLIP はクロスアテンショ ン機構を持たないため，両モーダルを入力とする クロスエンコーダ $[11,12,9]$ ，クロスアテンション を行うテキストエンコーダ [13]・テキストデコー ダ $[13,8]$ などの追加に関する検討が行われている.

目的関数 masked 言語モデリング [11,12,10], causal 言語モデリング $[8,13]$, masked 画像モデリング [12]，画像・テキストマッチング $[11,12,13]$ など
様々な目的関数の追加が検討されている. また，対照学習自体もトークンレベルでの類似度 [7], 難解な負例の追加 $[10,14]$ による改善が検討されている.

## 2.2 パラメータ効率的な転移学習

事前学習済の言語モデルを効率的に下流タスクに適応させるための技術が盛んに研究されている.代表的な手法には adapter tuning [15, 16, 17, 18, 19], prefix tuning [20,21], additive methods [22, 23, 24], sparse-finetuning $[25,26]$ などがある. また，これらを統一的に扱うアプローチも提案されている $[27,28]$.

特に adapter tuning は Transformer の層間に，アダプタと呼ばれる小さな追加モジュール（一般的には 2 層のフィードフォワードネットワーク;FFN）を残差接続付きで挿入し，アダプタのみを学習する.

## 2.3 本研究の位置付け

adapter tuning [15] のアイデアを下流タスクではなく CLIP の事前学習に導入した初めての研究である.単一モーダルの事前学習の忘却を防ぎ高精度かつパラメータ効率的な転移学習の実現を狙う。転移学習を除く前記した CLIP の拡張研究は扱わないが，これらは提案手法と組み合わせた利用が可能である.

## 3 提案手法

基盤モデルの学習方法として DueT（Dual-adapter Tuning）を提案する、モデルは画像・テキストの Transformer [29] エンコーダから構成される. 事前学習済モデル（ViT [30] や BERT [31] など）で各エンコーダの初期化を行い, Transformer ブロックに追加した Gated Adapter Unit（GAU）のみを学習する.

入出力画像（テキスト）エンコーダは，パッチ （トークン）の系列を入力として受け取り，d 次元ベクトルの系列 $\boldsymbol{H}=\left[\boldsymbol{h}_{\mathrm{CLS}}, \boldsymbol{h}_{1}, \ldots, \boldsymbol{h}_{\mathrm{SEP}}\right]$ を出力する.各エンコーダの出力 $\boldsymbol{h}_{\mathrm{CLS}} \in \mathbb{R}^{d}$ を学習可能パラメー タによる線形変換および $L_{2}$ 正規化にて $d_{m}$ 次元の特徴べクトル $\boldsymbol{x}, \boldsymbol{y}$ にそれぞれ射影し, 最終的に内積 $\boldsymbol{x}^{\top} \boldsymbol{y}$ によって画像・テキストの類似度を求める.

GAU 一般的なアダプタを [15]を学習可能なゲー 卜係数 $\alpha$ によりアダプタの入出力を混合する GAU に拡張する. 各エンコーダの全ての Transformer ブロック $(l=1 \ldots L)$ に式 (1)のGAUを挿入する.

$
\begin{aligned}
\operatorname{GAU}^{l}\left(\boldsymbol{H}^{l}\right) & =\alpha^{l} \mathrm{FFN}^{l}\left(\operatorname{LN}\left(\boldsymbol{H}^{l}\right)\right)+\left(1-\alpha^{l}\right) \boldsymbol{H}^{l}, \\
\operatorname{FFN}^{l}(\boldsymbol{h}) & =\phi\left(\boldsymbol{h} \boldsymbol{W}_{\text {down }}^{l}+\boldsymbol{b}_{\text {down }}^{l}\right) \boldsymbol{W}_{\text {up }}^{l}+\boldsymbol{b}_{\text {up }}^{l}
\end{aligned}
$

図 2 Gated Adapter Unit（GAU）. 左: 各 Transformer ブロックに挿入した GAU および LNを学習し（世），FFN や Self-Attention のパラメータは更新しない (䊅). 右: GAU は 2 層の FFN および学習可能なゲート係数 $\alpha$ を持つ.

ここで，入力 $\boldsymbol{H}^{l}$ は Transformer の FFN モジュールの残差接続後の出力である. LN は layer normalization [32] を表す1). $\boldsymbol{W}_{\text {down }}^{l} \in \mathbb{R}^{d \times m}, \boldsymbol{b}_{\text {down }}^{l} \in \mathbb{R}^{m}$, $\boldsymbol{W}_{\mathrm{up}}^{l} \in \mathbb{R}^{m \times d}, \boldsymbol{b}_{\mathrm{up}}^{l} \in \mathbb{R}^{d}, \alpha^{l} \in \mathbb{R}$ は GAU 毎に独立した学習可能パラメータである. 入出力・中間層の次元を $d, m$ とする。活性化関数 $\phi$ は GeLU [33] である.

図 2 に GAU の例を示す. Transformer 本体は LN のパラメータを除いて固定し，GAU のみを学習する.なお，全てのゲート係数が 0 のとき，エンコー ダは事前学習済モデルに等しくなる。

対照学習ミニバッチ内に同じ画像やテキストが含まれた際のノイズを軽減するため，UniCL [34]のアイデアに基づく損失関数を用いる。画像・テキストのハッシュ値 $(s, t)$ のいずれかが同じ値となるぺアを正例 $\mathbf{P}$ ，他のランダムに形成されるぺアを負例 Bとして，以下の損失関数の合計を最小化する。

$
\begin{aligned}
L_{\mathrm{i} 2 \mathrm{t}} & =-\frac{1}{|\mathbf{B}|} \sum_{i \in \mathbf{B}} \frac{1}{\left|\mathbf{P}_{i}\right|} \sum_{k \in \mathbf{P}_{i}} \log \frac{\exp \left(\boldsymbol{x}_{i}^{\top} \boldsymbol{y}_{k} / \tau\right)}{\sum_{j \in \mathbf{B}} \exp \left(\boldsymbol{x}_{i}^{\top} \boldsymbol{y}_{j} / \tau\right)} \\
L_{\mathrm{t} 2 \mathrm{i}} & =-\frac{1}{|\mathbf{B}|} \sum_{i \in \mathbf{B}} \frac{1}{\left|\mathbf{P}_{i}\right|} \sum_{k \in \mathbf{P}_{i}} \log \frac{\exp \left(\boldsymbol{y}_{i}^{\top} \boldsymbol{x}_{k} / \tau\right)}{\sum_{j \in \mathbf{B}} \exp \left(\boldsymbol{y}_{i}^{\top} \boldsymbol{x}_{j} / \tau\right)}
\end{aligned}
$

ここで，兀は温度パラメータである。

学習効率性画像・テキストエンコーダの層数 $L$ と次元数 $d$ が同じとき, DueT の学習対象パラメー 夕数（\#TP）はおよそ $4 L d m$ となる. エンコーダとして ViT-B/16 と $\mathrm{BERT}_{\text {base }}(L=12, d=768$, 合計パラメータ数 194.7M) を用いた場合， $m=1536$ とした時の\#TP は全体の約 $29.1 \%$ （56.8M）となる.


## 4 評価実験

英語・日本語の CLIPを構築して評価を行った。

## 4.1 事前学習済モデル

画像エンコーダ（IE） ImageNet-21k [35] から学習されたViT-B/16 [36,37]を用いた。

テキストエンコーダ（TE）英語モデルには BERT-base-uncased [31,38]を用いた. 日本語モデルには Wikipedia および CC-100-ja [39] から [31] の設定で学習した BERT-base-uncased を用いた。

## 4.2 訓練データセット

YFCC-CLIP Radford ら [1]により整備された英語の自然言語により記述されたタイトルあるいは説明を持つ約 15M 件の Flickr 画像 (YFCC100M [40] のサブセット）を用いる。なお, ImageNet-21kには Flickr 画像が多く含まれているため YFCC-CLIP は IE の学習ドメインに近いデータセットと言える。

JWeb5M 我々が独自に広範囲の Web サイトから収集した $5 \mathrm{M}$ 件の画像・日本語テキストペアである. 100 件のサンプリング調査を実施したところ， 32 件の画像に日本語文字が含まれているなど IE の学習ドメインからは遠いデータセットと言える. 単語数の中央值は 9 語であり，自然文ではない数単語のみのテキストも含まれる。詳細は付録 A に示す.

## 4.3 評価データセット

英語 / 日本語の 0-shot（下流タスクでの fine-tuning を行わない）の画像・テキスト検索タスクにて，訓練データにて学習した基盤モデルを評価する.

COCO [41] / STAIR Captions [42] 5000 件のテス卜画像（[43] の分割）. 各画像に 5 件の自然文キャプション. それぞれの単語数の中央値は $11 / 12$ 語.

Flickr30k [44] / F30kEnt-JP [45] 1000 件のテスト画像 ([43] の分割). 各画像に 5 件の自然文キャプション. それぞれの単語数の中央値は $12 / 17$ 語.

上記セットの画像は Flickr 由来であるため, IE の事前学習と YFCC-CLIP に近いドメインと言える。詳細は付録 B に示す. また， 0 -shot の評価とは異なるが, YFCC-CLIP・JWeb5M の訓練セットから開発・テスト用に 10,000 ペアを分割して利用した.

評価指標 [11] と同様に，クエリに対する $k$ 件の検索結果に正しい事例が含まれる割合である Recall@k $(k=1,5,10)$ の平均値を報告する.表 1 英語モデルのテキスト・画像検索 $(\mathrm{I} \rightarrow \mathrm{T}, \mathrm{T} \rightarrow \mathrm{I})$ 性能. \#TP は学習対象パラメータ数. † 0 -shot 検索タスク。

表 2 日本語モデルの検索性能。 0 -shot 検索タスク.

## 4.4 実験設定

提案手法 $m=3072$ とした GAUを両エンコーダの全層に挿入した. 学習対象パラメータ数 (\#TP) は $113.4 \mathrm{M}$ であった. 特徴べクトル $\boldsymbol{x}, \boldsymbol{y}$ の次元を $d_{m}=512$ とし, バッチサイズ 8192 で 16 エポック学習した. Ablationテストでは $m=1536$ とした （\#TP=56.8M）．その他の詳細は付録 C に示す.

ベースラインエンコーダ（IE・TE）の初期化およびパラメータ固定について 4 つの手法を用意した. その他の設定は提案手法と揃えた。

$\cdot$ from-scratch（FS） IE・TE の両方をランダムに初期化して学習する (194.7M).
- fine-tuning（FT） IE・TE の両方を事前学習済モデルで初期化して学習する (194.7M).

・LiT [5] IEを事前学習済モデルで初期化および固定. TEはランダム初期化して学習 (108.9M).

・LiT-FT IE・TEの両方を事前学習済モデルで初期化し，TEのみを学習する（108.9M）.

## 4.5 実験結果

表 1 ・2 に英語・日本語モデルの評価結果を示す.提案手法 DueT は 0 -shot 画像・テキスト検索においてべースラインの評価スコアを上回った. 特に， F30kEnt-JP の画像検索においては，学習パラメータ数を約 $58 \%$ に抑えつつ fine-tuning（from-scratch）に比べてスコアを 5.9 (40.4) ポイント改善した.

ベースラインの中では fine-tuning が優れていた.
表 3 GAU の学習パラメータ数による検索性能の変化.水色セルは fine-tuning（FT）と同程度の性能を表す.

表 4 GAUを挿入する層の範囲による検索性能の変化.

YFCC-CLIP のテストセットでは最高スコアを達成したが，訓練データに過学習し易く0-shot 検索の評価セットでは英語・日本語共に全て提案手法のスコアを下回った. 特に，画像エンコーダの事前学習と訓練セットのドメインが異なる日本語モデルの評価では提案手法のスコアを大きく下回った.

LiT は事前学習済の画像エンコーダがカバーしていないドメインへの適応能力が低く, 日本語モデルの評価において大きくスコアを落とした。また，転移学習を行わない from-scratch の場合は, 5-15M 程度の学習データ数では不足していることが分かった.

## 4.6 Ablation テスト

学習データにJWeb5M を用いて, 本研究の主な貢献である GAU の導入に関する評価を行った。

パラメータ効率的な学習が可能か？表 3 に示す通り, DueT はSTAIR（F30kEnt-JP）では 14.3M （3.7M）個のパラメータ更新により，194.7M 個を更新する fine-tuning と同等の性能が得られており，パラメータ効率的な学習が実現できた.

全ての層にアダプタは必要か？ 表 4 に示す様に GAU を挿入する Transformer ブロック数を減らした場合の性能は低下した. 画像・テキストエンコーダの両方の適応が CLIP で用いられる対照学習において重要であることが示唆された。表 5 ゲート機構の違いによる検索性能の変化.

表 6 ゲート係数の初期値と学習による検索性能の変化.

アダプタのゲート係数は有効か？ 表 5 にゲートを用いない場合（ $\alpha=1.0$ 固定）および 1 層の FFN によりトークンあるいは文レベルで大力に適応的なゲート機構（詳細は付録 D に示す）との比較結果を示す. まず，ゲート係数の有無の比較により，ゲー 卜係数を導入することの有効性を確認できた。一方で，FFNによる適応的なゲート機構とゲート係数の間に明確な性能差は確認されなかった.

## ゲート係数の初期値および学習の影響はあるか？表 6 に示す通り, ゲート係数 $\alpha$ を学習により更新す ることで性能が改善された。また，初期値を大きく 設定すると，学習初期から未学習の GAU の影響が 強くなるため転移学習が進みにくい問題があった。

## 5 おわりに

対照学習により構築する視覚・言語の基盤モデル CLIP [1] の事前学習に adapter tuning [15] による転移学習を導入した DueT を提案した. 単一モーダルの事前学習済モデルを各エンコーダのパラメータの固定值とし, 両エンコーダに [15] から拡張したゲート機構付のアダプタ GAUを追加して学習を行う.

本研究の貢献膨大な学習データを要する CLIP において, 単一モーダルの事前学習済モデルの転移学習は重要なテーマである. fine-tuning や LiT [5] よりも精度およびパラメータ効率性の観点で優れた手法を提案できたことは，基盤モデルの研究に関する大きな貢献と言える. そして，評価実験を通じて日本語 CLIP の構築における転移学習に要する追加パラメータ数などの知見が得られた. 本研究の成果は，視覚と言語の融合的な理解を必要とする対話やナビゲーション，コンテンツ生成・検索など産業上重要なサービスの発展に貢献できる.

## 参考文献

[1] Alec Radford, et al. Learning transferable visual models from natural language supervision. In ICML, pp. 8748-8763, 2021.

[2] Aditya Ramesh, et al. Hierarchical text-conditional image generation with CLIP latents. arXiv:2204.06125, 2022.

[3] Robin Rombach, et al. High-resolution image synthesis with latent diffusion models. In CVPR, pp. 10674-10685, 2022.

[4] Jean-Baptiste Alayrac, et al. Flamingo: a visual language model for few-shot learning. arXiv:2204.14198, 2022.

[5] Xiaohua Zhai, et al. LiT: Zero-shot transfer with locked-image text tuning. In CVPR, pp. 18123-18133, 2022.

[6] Chao Jia, et al. Scaling up visual and vision-language representation learning with noisy text supervision. In ICML, pp. 4904-4916, 2021.

[7] Lewei Yao, et al. FILIP: fine-grained interactive language-image pre-training. In ICLR, 2022.

[8] Jiahui Yu, et al. CoCa: Contrastive captioners are image-text foundation models. arxiv:2205.01917, 2022.

[9] Lu Yuan, et al. Florence: A new foundation model for computer vision. arxiv:2111.11432, 2021.

[10] Yangguang Li, et al. Supervision exists everywhere: A data efficient contrastive language-image pre-training paradigm. In ICLR, 2022.

[11] Junnan Li, et al. Align before fuse: Vision and language representation learning with momentum distillation. In NeurIPS, pp. 9694-9705, 2021.

[12] Amanpreet Singh, et al. FLAVA: A foundational language and vision alignment model. In CVPR, pp. 15638-15650, 2022.

[13] Junnan Li, et al. BLIP: bootstrapping language-image pre-training for unified vision-language understanding and generation. In ICML, pp. 12888-12900, 2022.

[14] Manling Li, et al. Clip-event: Connecting text and images with event structures. In CVPR, pp. 16420-16429, 2022.

[15] Neil Houlsby, et al. Parameter-efficient transfer learning for NLP. In ICML, pp. 2790-2799, 2019.

[16] Jonas Pfeiffer, et al. Adapterhub: A framework for adapting transformers. In EMNLP, pp. 46-54, 2020.

[17] Jonas Pfeiffer, et al. Adapterfusion: Non-destructive task composition for transfer learning. In EACL, pp. 487-503, 2021.

[18] Ruidan He, et al. On the effectiveness of adapter-based tuning for pretrained language model adaptation. In ACL/IJCNLP, pp. 2208-2222, 2021.

[19] Rabeeh Karimi Mahabadi, James Henderson, and Sebastian Ruder. Compacter: Efficient low-rank hypercomplex adapter layers. In NeurIPS, pp. 1022-1035, 2021.

[20] Xiang Lisa Li and Percy Liang. Prefix-tuning: Optimizing continuous prompts for generation. In ACL-IJCNLP, pp. 4582-4597, 2021.

[21] Brian Lester, Rami Al-Rfou, and Noah Constant. The power of scale for parameter-efficient prompt tuning. In EMNLP, pp. 30453059, 2021.

[22] Demi Guo, Alexander M. Rush, and Yoon Kim. Parameter-efficient transfer learning with diff pruning. In ACL-IJCNLP, pp. 48844896, 2021.

[23] Edward J. Hu, et al. LoRA: Low-rank adaptation of large language models. In ICLR, 2022.

[24] Jeffrey O. Zhang, et al. Side-tuning: A baseline for network adaptation via additive side networks. In ECCV, pp. 698-714, 2020.

[25] Yi-Lin Sung, Varun Nair, and Colin Raffel. Training neural networks with fixed sparse masks. In NeurIPS, pp. 24193-24205, 2021.

[26] Elad Ben Zaken, Yoav Goldberg, and Shauli Ravfogel. BitFit: Sim- ple parameter-efficient fine-tuning for transformer-based masked language-models. In ACL, pp. 1-9, 2022.

[27] Yuning Mao, et al. Unipelt: A unified framework for parameterefficient language model tuning. In ACL, pp. 6253-6264, 2022.

[28] Junxian He, et al. Towards a unified view of parameter-efficient transfer learning. In ICLR, 2022.

[29] Ashish Vaswani, et al. Attention is all you need. In NIPS, pp. 5998-6008, 2017.

[30] Alexey Dosovitskiy, et al. An image is worth 16x16 words: Transformers for image recognition at scale. In ICLR, 2021.

[31] Jacob Devlin, et al. BERT: pre-training of deep bidirectional transformers for language understanding. In NAACL-HLT, pp. 41714186, 2019.

[32] Lei Jimmy Ba, Jamie Ryan Kiros, and Geoffrey E. Hinton. Layer normalization. arxiv:1607.06450, 2016.

[33] Dan Hendrycks and Kevin Gimpel. Gaussian error linear units (GELUs). arxiv:1606.08415, 2016.

[34] Jianwei Yang, et al. Unified contrastive learning in image-text-label space. In CVPR, pp. 19163-19173, 2022.

[35] Jia Deng, et al. ImageNet: A large-scale hierarchical image database. In CVPR, pp. 248-255, 2009.

[36] Andreas Steiner, et al. How to train your ViT? data, augmentation, and regularization in vision transformers. arxiv:2106.10270, 2021.

[37] Andreas Steiner. Vision transformer and MLP-mixer architectures, 2021. https://github.com/google-research/vision_ transformer.

[38] Google. BERT, 2018.https://github.com/google-research/ bert.

[39] Alexis Conneau, et al. Unsupervised cross-lingual representation learning at scale. In ACL, pp. 8440-8451, 2020.

[40] Bart Thomee, et al. YFCC100M: the new data in multimedia research. Commun. ACM, Vol. 59, No. 2, pp. 64-73, 2016.

[41] Tsung-Yi Lin, et al. Microsoft COCO: common objects in context. In ECCV, pp. 740-755, 2014.

[42] Yuya Yoshikawa, Yutaro Shigeto, and Akikazu Takeuchi. STAIR captions: Constructing a large-scale japanese image caption dataset. In ACL, pp. 417-421, 2017.

[43] Andrej Karpathy and Li Fei-Fei. Deep visual-semantic alignments for generating image descriptions. IEEE Trans. Pattern Anal. Mach. Intell., Vol. 39, No. 4, pp. 664-676, 2017.

[44] Bryan A. Plummer, et al. Flickr30k entities: Collecting region-tophrase correspondences for richer image-to-sentence models. Int. J. Comput. Vis., Vol. 123, No. 1, pp. 74-93, 2017.

[45] Hideki Nakayama, Akihiro Tamura, and Takashi Ninomiya. A visually-grounded parallel corpus with phrase-to-region linking. In LREC, pp. 4204-4210, 2020.

[46] Armand Joulin, et al. Bag of tricks for efficient text classification. In EACL, pp. 427-431, 2017.

[47] Paulius Micikevicius, et al. Mixed precision training. In ICLR, 2018.

[48] Tianqi Chen, et al. Training deep nets with sublinear memory cost. arXiv:1604.06174, 2016.

[49] Ilya Loshchilov and Frank Hutter. Decoupled weight decay regularization. In ICLR, 2019.

[50] Christian Szegedy, et al. Going deeper with convolutions. In CVPR, pp. 1-9, 2015.

[51] Samuel G. Müller and Frank Hutter. TrivialAugment: Tuningfree yet state-of-the-art data augmentation. In ICCV, pp. 754-762, 2021 .

## A JWeb5M

JWeb5M は本研究のために我々が広範囲な Web サイトから収集した画像・日本語キャプションを基に構築したデータセットである。 ユニーク画像数 4,942,737 (md5 ハッシュ値による確認)，キャプション数は $4,369,144$ となる. 画像は短辺のサイズが 256 以上になるようにダウンロード時にリサイズした. 言語判定には学習済の fastText [46] モデル 2) を利用した. キャプションを mecab-unidicにより単語分割した際の単語数の分布を図 3 に示す. 文字数および単語数の平均（中央）值は 26.3（20.0）文字, 11.9 （9.0）単語であった. 自然文ではなく1２単語のキャプションも含まれる。また， 100 画像をサンプリングして調査した際, 日本語の文字（漢字, ひらがな，カタカナ）を含む画像は 32 枚であった.

## B評価データセット

COCO [41] は 123K 件の画像を含み，各画像に 5 件のキャプションが付与されている. 画像は Flickr から収集され，クラウドワーカにより自然文のキャプションが作成された. nltk-punct による単語数の平均（中央）値は 11.3（11）単語であった. 日本語版である STAIR Captions [42] は, COCO と同じ画像に対してクラウドワーカによって新たに各画像 5 件の日本語キャプションが作成された. mecab-unidic による単語数の平均（中央）值は 12.5（12）単語であった。

Flickr30K は $31 \mathrm{~K}$ 件の画像を含み，各画像に 5 件のキャプションが付与されている. 単語数の平均 （中央）值は 31.4（12）単語であった. 日本語版である F30kEnt-JP [45] は， Flickr30k の各キャプションを専門家が翻訳してキャプションが作成された. 単語数の平均（中央）值は 18.4（17）単語であった. COCO および Flickr30k については，従来研究と同様に，[43] におけるデータセットの分割に従ってテストデータの画像を選択した。

## C 実験設定

学習には 8 枚の NVIDIA A100 80GB GPUを用いた. バッチサイズを 8192 とし, mixed precision training [47] および gradient checkpointing [48]を用いて 16 エポック学習した. オプティマイザには


language-identification.html

図 $3 \mathrm{JWeb5M}$ の各キャプションの単語数の分布. 横軸：単語数（bin 幅 10), 縦軸: 頻度（対数）

AdamW [49] を用い，学習率は 5e-4 とした. 温度パラメータ $\tau$ は 0.015625 （1/64）で固定とした. 1 エポック毎にチェックポイントを保存し, 開発セットの評価値（画像検索・テキスト検索それぞれの $\mathrm{R} @ 1, \mathrm{R} @ 5, \mathrm{R} @ 10$ の平均値）の上位 3 つのチェックポイントのモデルに対するテストセットの評価値の平均を実験結果として報告した.

YFCC-CLIP の学習時は Inception-style random cropping [50]を用い, 解像度は $224 \times 224$ とした. JWeb5M の学習時は上記の設定からクロップ範囲のスケールの下限のみ 0.9 に変更した。また，共通の augmentation 手法として TrivialAugment Wide [51]を採用し,画像の正規化は CLIP [1] と同様に行った. テキストエンコーダへの入力は最大 77 トークンとした. テスト時は, 解像度 $224 \times 224$ のリリイズ・中央からのクロップと正規化のみ行った. テキストエンコー ダにおけるプロンプトテキストは学習・テスト時のいずれも利用していない.

## D 適応的ゲート機構

表 5 の実験では，式(1)のゲート係数 $\alpha^{l}$ を 1 層の FFN に変更して, 文・トークンレベルの適応的なゲート機構の評価を行った. $\operatorname{GAU}^{l}\left(\boldsymbol{H}^{l}\right)$ を

$
\operatorname{FFN}_{\alpha}^{l}\left(\boldsymbol{H}^{l}\right) \operatorname{FFN}^{l}\left(\operatorname{LN}\left(\boldsymbol{H}^{l}\right)\right)+\left(1-\operatorname{FFN}_{\alpha}^{l}\left(\boldsymbol{H}^{l}\right)\right) \boldsymbol{H}^{l},
$

としたとき，

$
\begin{aligned}
\mathrm{FFN}_{\alpha, \text { sent }}^{l}\left(\boldsymbol{H}^{l}\right) & =\sigma\left(\boldsymbol{h}_{\text {CLS }}^{l}{ }^{\top} \boldsymbol{w}_{\text {gate }}^{l}+b_{\text {gate }}^{l}\right) \in \mathbb{R} \\
\operatorname{FFN}_{\alpha, \text { token }}^{l}\left(\boldsymbol{H}^{l}\right) & =\sigma\left(\boldsymbol{H}^{l} \boldsymbol{w}_{\text {gate }}^{l}+b_{\text {gate }}^{l}\right) \in \mathbb{R}^{n}
\end{aligned}
$

と定義した. $\sigma$ はシグモイド関数である. $\boldsymbol{w}_{\text {gate }}^{l} \in$ $\mathbb{R}^{d}, b_{\text {gate }}^{l} \in \mathbb{R}$ は学習可能パラメータ, $n$ は系列の長さである.