マルチモーダル言語理解タスクにおけるDual ProtoNCE に基づく転移学習
A Transfer Learning Method for the Multimodal Language Understanding
Based on Dual ProtoNCE
小槻 誠太郎 ∗1

石川 慎太朗 ∗1

杉浦 孔明 ∗1

Seitaro Otsuki

Shintaro Ishikawa

Komei Sugiura∗1

慶應義塾大学

Keio University

We focus on the task of identifying target objects in domestic environments according to free-form natural
language instructions. In this study, we propose a novel transfer learning approach for multimodal language understanding, Prototypical Contrastive Transfer Learning (PCTL) which uses a new contrastive loss, Dual ProtoNCE.
Our experiment demonstrated that PCTL outperformed existing methods.

1.

はじめに

に referring expression comprehension (REC) があり，既存研究で取り組まれている [Yu 18]．REC タスクにおいて，モデルは参照表現で説明された物体を接地することを求められる．一方，我々のタスクは REC タスクよりも少し柔軟に定式化される．具体的には，候補物体が対象物体であるかという 2
値分類として定式化されるため，対象物体が複数与えられる場
合や一つも与えられない場合を扱うことが出来る．
画像と自然言語の命令文から対象物体を特定するモデルの研究は複数存在する [Magassouba 19,Ishikawa 21]．特に TargetDependent UNITER [Ishikawa 21] (TDU) は画像と自然言語の関係性の学習に UNITER 型注意機構を導入し，汎用事前学
習モデルの利用を可能にしたモデルである．また，小槻ら [小槻 22] は画像中の領域間の関係性のモデル化，及び画像中の領域群と命令文の特徴量の関係のモデル化を行う TDP-MAT を提案している．HLSM-MAT [Ishikawa 22] は，敵対的な摂動を特徴量空間に加える Moment-based Adversarial Training(MAT) を提案し，vision-and-language navigation (VLN) に
おいて，サブゴールおよび状態表現の特徴量空間に対して適用している．

高齢化が進展する現代社会において，在宅介助者の不足が深刻な社会問題となっている．こうした社会問題に対する解決策の一つとして生活支援ロボットが挙げられるが，生活支援
ロボットが人間と自然な対話をする能力は未だ不十分である．
こうしたロボットの言語理解モデルの学習には，実際の環境で収集されたデータを利用することが望ましい．しかし，実世
界データの収集及びアノテーションには大きなコストがかかる．それに対し，シミュレーション上であれば，実世界で行うよりも低いコストでデータを収集できるため，シミュレーショ
ンデータを用いた学習は便利である．
本研究では自然言語による命令文と状況を説明する画像が与えられた際，正しく命令内容を解釈し，対象物体を特定するタスクを扱う．例えば Bring me the book closest to thelamp. という命令文及びいくつかの本と一つのランプが置いてある画像が与えられた際，その中からランプに最も近い本を対象物体として予測する事が望ましい．
本研究において，我々はシミュレーションデータから獲得した経験を転移させ，実環境データにおけるモデルの性能を向上させることを目的とする．物体操作に関するマルチモーダル言
語理解タスクにおいて，多くの既存手法は実環境データのみを用いて学習されている [Hatori 18, Magassouba 19, Ishikawa
21]．しかし，こうした手法においてデータセットを大規模化することは，実環境データの収集コストが高いため容易ではな
い．それに対して，シミュレータを利用すると，実環境データの収集に比べて非常に低いコストで学習用データを収集することができる．結論として転移学習によってシミュレーション
データを利用することにより，モデルの効率的な性能向上が期待される．
我々はマルチモーダル言語理解タスクにおける新しい転移学習手法として Prototypical Contrastive Transfer Learning(PCTL) を提案する．PCTL は新たに設計された対比損失である Dual ProtoNCE によって，転移元ドメインのデータと転移先ドメインのデータの間で対照学習を行う．そのため，Dual
ProtoNCE の最小化によって，転移元ドメインと転移先ドメ
インの間の差異の影響を低減することが期待される．

2.

3.

問題設定

本論文で用いる用語として対象物体，候補物体，コンテキスト
物体，対象領域，候補領域，コンテキスト領域の定義は [小槻 22]に従う．本論文では，Multimodal Language Understanding
for Fetching Instruction (MLU-FI) タスクに取り組む．本タ
スクでは，命令文と，それに対応する画像から物体検出器によって抽出された候補領域，コンテキスト領域群が与えられ，候補物体が対象物体であるか否かの 2 値分類を行うことが求められる．MLU-FI における入力と出力は以下である．

• 入力： 命令文，候補領域，コンテキスト領域• 出力： 候補物体が対象物体である確率の予測値 p(ŷ = 1)
ここで y はラベル，ŷ はその予測であり，y = 1 は候補物体が対象物体であることを示す．
図 2 に対象タスクで与えられる画像の代表例を示す．命令
文は Look in the left wicker vase next to the potted planton the second ﬂoor at the foot of the stairs. である．赤と緑のバウンディングボックスはそれぞれ候補領域と対象領域であり，青いバウンディングボックスは残りのコンテキスト領域群である．ここでは対象物体は緑色のバウンディングボックスに囲まれた花瓶であり，与えられた候補領域が対象物体を囲んでいないため，p(ŷ = 1) = 0 となることが望ましい．
本研究では候補領域及びコンテキスト領域を物体検出器によって抽出することを前提とする．また，本タスクでは評価尺度として分類精度を使用する．

関連研究

Uppal ら [Uppal 22] はマルチモーダル言語理解言語における最近の動向を紹介しており，タスクの定式化，評価指標，モ
デル構造，そしてバイアスや公平性，敵対的攻撃などのその他の話題を説明している．マルチモーダル言語理解タスクの一つ
連絡先: 小槻誠太郎，慶應義塾大学，神奈川県横浜市港北区日吉 3-14-1，otsu8sei14@keio.jp1図 1: 学習フレームワーク図

y1 , (x2 − x1 ) · (y2 − y1 )]T という 7 次元ベクトルを使用した．
ここで (x1 , y1 ) 及び (x2 , y2 ) は入力画像の幅及び高さによって正規化されていると仮定する．

本研究において，転移学習を行うにあたって転移先ドメインのデータは実世界で，転移元ドメインのデータはシミュレー
ションによって収集される．これらのデータはいずれも自然言
語による命令文と視覚的データのペアで構成されており，室内環境における物体操作に関するマルチモーダル言語理解タスクに向けて収集されている．

4.

4.1

提案手法

本研究ではマルチモーダル言語理解タスクにおける Dual
ProtoNCE に基づく転移学習手法，PCTL を提案する．本研
究では提案手法を物体操作に関するマルチモーダル言語理解
タスクに対して適用するが，提案手法はより広くマルチモーダ
ル言語理解タスクにおける転移学習に応用できると考えられる．図 1 に PCTL の学習フレームワークの外観を示す．提案フレームワークは Encoder，Momentum Encoder，Clustering
Module の 3 つのモジュールに大別される．
ネットワークへの入力 x を次のように定義する．
x = {xinst , xcand , Xcont }(1)(i)

Xcont = {xcont |i = 1, . . . , Ndet }.

Model Architecture

Encoder fθ は x を入力にとり 768 次元の特徴量を出力するモデルであり，fθ の構造は Target-Dependent UNITER[Ishikawa 21] (TDU) と同一である．fθ の出力は TDU のMulti-Layer Transformer の最終層の出力のうち，xcand を入力した位置に対応する特徴量である．
本章以降，転移元ドメインのサンプルを (xs , ys ) と表し，同様に転移先ドメインのサンプルを (xt , yt ) と表す．我々は本モジュールの入出力を以下のように記す．
u = fθ (xs ) ∈ R768 , v = fθ (xt ) ∈ R768 .

(3)u 及び v はそれぞれ転移元ドメイン及び転移先ドメインの特徴量ベクトルである．これらはクラスタリングや損失に利用される．Classiﬁer g は 2 層の MLP 及び softmax 関数で構成されるモデルである．g は fθ の出力を受け取り，予測確率p(ŷ = 1) = g(fθ (x)) を計算する．
Momentum Encoder fθ′ は fθ と同じ構造を持ち，fθ のパラメータ θ の指数移動平均 θ ′ をパラメータとして持つモデルである．式 (3) と同様に入力 xs 及び xt に対する fθ′ の出力を u′ ，v ′ と記す．

(2)

(i)

上式において xinst ，xcand そして xcont はそれぞれ命令文，候補領域の特徴量，i 番目のコンテキスト領域の特徴量を表し，Ndet は Faster R-CNN [Ren 17] によって入力画像から検出された領域の数を表す．なお xcand ，Xcont 及び xinst から抽出した言語特徴量に対しては，positional encoding を付与す
る．xcand 及び Xcont に対する positional encoding は，バウ
ンディングボックスの左上の頂点の座標を (x1 , y1 )，右下の頂点の座標を (x2 , y2 ) とするとき，[x1 , y1 , x2 , y2 , x2 − x1 , y2 −4.2

Clustering

4.3

Contrastive Transfer Learning

Clustering Module は各エポックの直前に v ′ ，u′ に対して
k 近傍法によるクラスタリングを，クラスタ数を変えて M 回行う．m 回目のクラスタリングにおけるクラスタ数を k (m) と記す．また，m 回目の v ′ ，u′ に対するクラスタリングで得た(m)(m)
i 番目のクラスタの重心をそれぞれ ci ，di とし，これをi 番目のクラスタのプロトタイプと呼ぶ．

Contrastive Transfer Learning では転移学習のために一般化された対比損失である Dual ProtoNCE を計算し，転移元
ドメインと転移先ドメインの差異を考慮した学習を行う．
4.3.1 InfoNCE
教師なし表現学習は，学習データ集合 A = {a1 , a2 , . . . , an }が与えられた際，A を Z = {z1 , z2 , . . . , zn } に写像するモデル f を学習することを目的とする．このとき，zi = f (ai ) がai を最もよく表現するように学習されることが望ましい．対照学習は InfoNCE [Oord 18, He 20] に代表される対比損失を最小化することでこの目的を達成する手法である．InfoNCE
は次のように定式化される．
n∑
exp(zi · zi′ /τ )LInfoNCE = −
log ∑
(4)
′
j∈J exp(zi · zj /τ )i=1

図 2: MLU-FI タスクの代表例

2

こ こ に J = {i, n + 1, n + 2, . . . , n + r} で あ る ．上 式にい て zi は ア ン カ ー の ，z}i′ は 正 例 の 特 徴 量 で あ り，{ お′
zj | j = n + 1, n + 2, . . . , n + r は r 個の負例の特徴量である．また，τ は温度パラメータである．我々は [Radford 21]
に従い τ を学習可能パラメータとし，1/τ = 0.07 となるように初期化する．さらに学習を安定させるため，1/τ が 100 より大きくならないよう数値をクリップする．

我々が最終的に最小化する損失関数 L は以下である．
L = λLDualProtoNCE + Lt + Ls
(8)
(
n
∑
(i)
(i)
Lt =
LCE (g(fθ (xt )), yt )
i=1

)

(9)

)
M
1 ∑
(m)
(i)
+
LCE (g(ds ), ys ) .
M m=1

(10)

1 ∑
(i)
+
LCE (g(c(m)), yt )
s
M m=1
M

4.3.2 ProtoNCE
ProtoNCE は特徴量の表現をクラスタのプロトタイプに近づけるように InfoNCE を一般化した対比損失である．特徴量z ′ に関する m 回目のクラスタリングによって得られた i 番目
(m)のプロトタイプを hi として，ProtoNCE は次のように定式
化される．
(
n
∑
exp(zi · zi′ /τ )LProtoNCE = −log ∑′j∈J exp(zi · zj /τ )
i=1
)
M
(m)
(m)
(5)
exp(zi · hs /ϕs )
1 ∑
+
log ∑
,
(m)
(m)
M m=1
/ϕj )
′ exp(zi · hj

Ls =

n
∑
i=1

(

(i)
LCE (g(fθ (x(i)
s )), ys )なお LCE は交差エントロピー誤差を表し， λ はハイパーパラ
(m)
(m)
(i)
メータである．また，cs 及び ds は特徴量 fθ (xt ) 及び(i)fθ (xs ) にそれぞれ最も近いプロトタイプである.

j∈JJ ⊂ {1, 2, . . . , k (m) }, s ∈ J ′ , r ′ = |J ′ \ {s}|.

5.

実験

上式においてhs は}zi に最も近い正のプロトタイプを表す．
{(m)hj | j ∈ J \ {s} は hs を除いたプロトタイプからランダ

5.1

データセット

′本研究では多様な実世界の室内環境における，自由視点の
MLU-FI タスクに焦点を当てる．一方このタスクの標準データセットとして実環境で収集されたものは存在しないため，我々は必要なデータを REVERIE データセット [Qi 20] より収集することで新しく REVERIE-fetch データセットを作成した．
本研究では転移元ドメインのデータを ALFRED [Shridhar
20] データセットから抽出し，ALFRED-fetch-b データセットを作成した．ALFRED データセットは，シミュレーション環
境で収集された Vision-and-Language Navigation (VLN) タ
スクのためのデータセットである．ALFRED-fetch-b データ
セットを構成するデータは ALFRED データセットの訓練集合から抽出された命令文及び画像である．
これらの REVERIE データセット及び ALFRED データセッ
トから抽出したデータに対する事前処理として，Faster R-CNN
を使用して画像から候補領域及びコンテキスト領域群を抽出し，サンプルを作成した．またサンプルのうち，対象領域と候補領域の GIoU [Rezatoﬁghi 19] が 0.80 より大きいものを正例，0.45 より小さいものを負例とした．ここで対象領域は元
データセットで与えられている．そしてテスト集合に関しては物体検出器の検出失敗に起因する不適切な例を除去した．
REVERIE-fetch データセットは訓練集合に 8302，検証集
合に 994，テスト集合に 947 サンプルの合計 10243 サンプルのデータを含む．ALFRED-fetch-b データセットは訓練集合に 27492，検証集合に 3470，テスト集合に 3324 サンプルの合
計 34286 サンプルのデータを含む．

ムに選出された r ′ 個の負のプロトタイプである．ϕ はクラス
タ中のインスタンスがプロトタイプ h に集中している度合いを表現する．ϕ の定義は [Li 21] を参照されたい．以降 ϕ をconcentration factor と呼ぶ．

4.3.3 Dual ProtoNCE
我々が提案する Dual ProtoNCE LDualProtoNCE は，IntraDomain 損失 LIntra と Inter-Domain 損失 LInter の和として定義される．
我々はまず転移元ドメインのデータ及び転移先ドメインのデータに対して独立に ProtoNCE を適用し，LIntra = LTarget +LSource を計算する．ここに LTarget 及び LSource は次のように定義される．
(n∑exp(† vi · † vi′ /τ )− log ∑
LTarget =†† ′j∈J exp( vi · vj /τ )
i=1
(6)
)
M
(m)
(m)
exp(† vi · † cs /ϕs )
1 ∑
+
log ∑
†
† (m) /ϕ(m) )M m=1jj∈J ′ exp( vi · cj
(
n
†
† ′
∑
exp( ui · ui /τ )− log ∑
LSource =†† ′j∈J exp( ui · uj /τ )
i=1
(7)
)
M
(m)
(m)
exp(† ui · † ds /φs )
1 ∑
log ∑
+
.
†
† (m) /φ(m) )M m=1′ exp( ui · dj
j

5.2

j∈J

上式において a は a /∥a∥2 を表す．また，ϕ は c の，φ はd の concentration factor である．さらに我々は 2 つのドメイ
ン間のギャップを解決するため，LInter = LS2T + LT2S を計算する．LS2T は転移元ドメインの特徴量 u と転移先ドメインのプロトタイプ c の間に定義される対比損失，LT2S は転移先ドメインの特徴量 v と転移元ドメインのプロトタイプ d の間に定義される対比損失であり．それぞれ次のように定式化される．

(r, r ′ ) = (32, 32), k (1) = 64, λ = 1/32, τ ′ = 0.2, α = 10fθ が持つ Multi-Layer Transformer の層数は 12，隠れ層の次元数は 768，Attention の Head 数は 12 である．また，使用したモデルは 1 億 1 千万個の学習可能パラメータを持つ．
Optimizer として SGD(momentum=0.9) を利用し，MultiLayer-Transformer の学習率を 8 × 10−5 ，その他のモジュールの学習率を 8 × 10−4 ，バッチサイズを 64 とし，30 エポックの学習を行った．本実験ではメモリ 24GB 搭載の GeForce RTX
3090 及びメモリ 64GB 搭載の Intel Core i9-10900KF を使用した. 学習にはおよそ 2 時間を要し，推論には約 59.3ms/sampleを要した．
学習の際，各エポック終了時に検証集合での損失関数の値を評価し, REVERIE-fetch データセットの検証集合における損失関数 LCE の値が最も低いときの，テスト集合における精度
を，最終的な精度とした．

exp(† ui · † cs /ϕs )
1 ∑∑
log ∑
,
†
† (m) /ϕ(m) )M i=1 m=1
′ exp( ui · cjjnLS2T = −

M

(m)

(m)

j∈J

exp(† vi · † ds /φs )
1 ∑∑
log ∑
.
†
† (m) /φ(m) )M i=1 m=1
′ exp( vi · djjn

LT2S = −M(m)

パラメータ・学習設定

PCTL のハイパーパラメータを次のように設定する．

†

(m)

j∈J

3

表 1: REVERIE-fetch データセットにおける定量的結果
MethodAccuracy [%]Target domain only
73.0 ± 1.87
Fine-tuning
73.4 ± 11.8
MCDDA+ [Saito 18]
74.9 ± 3.94
Ours
78.1 ± 2.49

5.3

実験結果

表 1 に REVERIE-fetch データセットにおける各手法の精度を示す．左側が手法，右側が手法に対応する精度であり，精度の欄には 5 回の試行における平均値と標準偏差を示す．
ベースラインとして以下の 3 つの手法を用意した．

• Target domain only: 転移先ドメインのデータのみで学習を行う．
• Fine-tuning: 転移元ドメインのデータによる pretraining を行った後，転移先ドメインのデータによる ﬁnetuning を行う．
• MCDDA+: [Saito 18] で提案された教師なし転移学習手法である MCDDA を，転移先ドメインの教師データを利用するよう拡張して適用する．
ベースライン (i) 及び (ii) は，それぞれ転移元ドメインのデー
タを一切使用しない場合，転移元ドメインのデータで pretraining を行う場合に対して提案手法を比較するために設定した．
[Saito+, CVPR18] において MCDDA は画像分類データセッ
トにおける転移学習手法として良好な結果が報告されている．
そのため，我々は MCDDA を教師あり転移学習設定に拡張した MCDDA+をベースライン (iii) に設定した．
表 1 に示すように，提案手法の精度は全てのベースライン
を上回った．具体的にはベースライン (i), (ii), (iii) の精度はそれぞれ 73.0%，73.4%，74.9%であり，提案手法の精度 78.1%
はそれぞれを 5.1 ポイント，4.7 ポイント，3.2 ポイント上回った．なお，提案手法とベースライン手法 (i) との性能差は統計有意であった（p < 0.01）．
定性的結果を図 3 に示す．図において，赤と緑のバウンディ
ングボックスはそれぞれ候補領域と対象領域である．命令文
は Go down the stairs to the lower balcony area and turnoﬀ the lamp on the dresser であり，対象物体は衣装棚の上に位置するランプである．ベースライン手法 (i) は候補物体が対象物体ではないと予測してしまっている一方，提案手法は正確に候補物体が対象物体であると予測している．

6.

図 3: REVERIE-fetch データセットにおける定性的結果[He 20] He, K., Fan, H., Wu, Y., Xie, S., and Girshick, R.:
Momentum Contrast for Unsupervised Visual Representation
Learning, in CVPR, pp. 9729–9738 (2020)[Ishikawa 21] Ishikawa, S. and Sugiura, K.: Target-dependent
UNITER: A Transformer-Based Multimodal Language Comprehension Model for Domestic Service Robots, RA-L, Vol. 6,
No. 4, pp. 8401–8408 (2021)[Ishikawa 22] Ishikawa, S. and Sugiura, K.: Moment-based Adversarial Training for Embodied Language Comprehension, in
ICPR, pp. 4139–4145 (2022)[Li 21] Li, J., Zhou, P., et al.: Prototypical Contrastive Learningof Unsupervised Representations, in ICLR (2021)[Magassouba 19] Magassouba, A., Sugiura, K., et al.: Understanding Natural Language Instructions for Fetching Daily
Objects Using GAN-Based Multimodal Target–Source Classiﬁcation, RA-L, Vol. 4, No. 4, pp. 3884–3891 (2019)[Oord 18] Oord, A. v. d., Li, Y., and Vinyals, O.: Representation
Learning with Contrastive Predictive Coding, arXiv preprint
arXiv:1807.03748 (2018)[Qi 20] Qi, Y., Wu, Q., Anderson, P., Wang, X., Wang, W. Y.,
et al.: Reverie: Remote embodied visual referring expression
in real indoor environments, in CVPR, pp. 9982–9991 (2020)[Radford 21] Radford, A., Kim, J. W., Hallacy, C., Ramesh, A.,et al.: Learning Transferable Visual Models From Natural
Language Supervision, in ICML, pp. 8748–8763 (2021)[Ren 17] Ren, S., He, K., et al.: Faster R-CNN: Towards RealTime Object Detection with Region Proposal Networks, IEEE
Trans. PAMI, Vol. 39, No. 6, pp. 1137–1149 (2017)

おわりに本研究ではマルチモーダル言語理解タスクにおける Dual
ProtoNCE に基づく転移学習手法を提案した．本研究の貢献は以下である．

[Rezatoﬁghi 19] Rezatoﬁghi, H., Tsoi, N., Gwak, J., et al.: Generalized intersection over union: A metric and a loss for bounding box regression, in CVPR, pp. 658–666 (2019)• 物体操作に関するマルチモーダル言語理解タスクに転移学習を導入した．
• ProtoNCE [Li 21] を拡張した転移学習手法である PCTLを提案した．
• PCTL において転移学習のために一般化された対比損失である Dual ProtoNCE を提案した．
• REVERIE-fetch データセットにおける MLU-FI の精度において，PCTL はベースライン手法を上回った．

[Saito 18] Saito, K., Watanabe, K., Ushiku, Y., and Harada, T.:
Maximum classiﬁer discrepancy for unsupervised domain
adaptation, in CVPR, pp. 3723–3732 (2018)[Shridhar 20] Shridhar, M., Thomason, J., Gordon, D., Bisk, Y.,
Han, W., Mottaghi, R., Zettlemoyer, L., and Fox, D.: ALFRED: A Benchmark for Interpreting Grounded Instructions
for Everyday Tasks, in CVPR, pp. 10740–10749 (2020)[Uppal 22] Uppal, S., Bhagat, S., Hazarika, D., Majumder, N.,
Poria, S., Zimmermann, R., and Zadeh, A.: Multimodal research in vision and language: A review of current and emerging trends, Information Fusion, Vol. 77, pp. 149–171 (2022)

謝辞
本研究の一部は，JSPS 科研費 20H04269，JST ムーンショット，
NEDO の助成を受けて実施されたものである．

参考文献[Yu 18] Yu, L., Lin, Z., Shen, X., Yang, J., Lu, X., et al.: MAttNet: Modular Attention Network for Referring Expression
Comprehension, in CVPR, pp. 1307–1315 (2018)[Hatori 18] Hatori, J., Kikuchi, Y., Kobayashi, S., et al.: Interactively Picking Real-World Objects with Unconstrained Spoken
Language Instructions, in ICRA, pp. 3774–3781 (2018)[小槻 22] 小槻 誠太郎, 石川慎太朗, 杉浦孔明：TDP-MAT に基づく
実画像を対象とした物体操作指示理解, 第 40 回日本ロボット学会
学術講演会, 4I1-02 (2022)4