生活支援タスクにおける大規模視覚言語モデルと拡散確率モデルを用いた参照表現セグメンテーション
Referring Expression Segmentation With Large-Scale Visual Language Modeland Diﬀusion Probabilistic Model in Household Tasks
飯岡 雄偉 ∗1

吉田 悠 ∗1

和田 唯我 ∗1

畑中 駿平 ∗1

杉浦 孔明 ∗1

Yui Iioka

Yu Yoshida

Yuiga Wada

Shumpei Hatanaka

Komei Sugiura∗1

慶應義塾大学

Keio University

In this paper, we propose the Multimodal Diﬀusion Segmentation Model (MDSM), which generates a mask inthe ﬁrst stage and reﬁnes it in the second stage. We introduce a crossmodal parallel feature extraction mechanismand extend diﬀusion probabilistic models to handle crossmodal features. Our proposed MDSM surpasses that of
the baseline method by a large margin of +10.13 mean IoU.

1.

はじめに

高齢化が進行する現代社会では，日常生活において介助支援の必要性が高まっている．それに伴って，在宅介助者の不足が社会問題となっており，これを解決するため，被介助者を物理的に支援可能な生活支援ロボットが注目されている [Yamamoto
19]．生活支援ロボットにとって，自然言語による命令を理解し，物体操作を行うことは必須である．しかし，ロボットの自然言語の理解能力は現状不十分である．
本研究では，自然言語を理解し，対象物のセグメンテーショ
ンマスクを生成するモデルの構築を目標とする．そのために，対象物を特定する自然言語による命令文が与えられた際，正しく内容を解釈し，対象物を特定する Object Segmentationfrom Manipulation Instructions (OSMI) タスクを扱う．図 1に OSMI タスクの例を示す. 具体的には，“Go to the livingroom and fetch the pillow closest to the radio art on thewall.” という命令文が与えられたときに，ロボットは，ラジオの絵に最も近い枕に対してマスクを生成することが求められる. 対象物を特定する際，画素単位のマスクを用いた対象物の予測はバウンディングボックスを用いた予測と比較して，物体の位置や形状を正確に把握するのにはるかに有用である.
OSMI タスクでは，複数の参照表現を含む命令文理解が求められる. しかし，ロボットは 1 つの参照表現を理解することさえ難しい. 例えば，[Qi 20] では先進技術での参照表現理
解の精度が約 50%であり，人間による精度の 90.76%とは乖離があることが報告されている. さらに，OSMI タスクは，(1)
命令文に含まれる複数の物体に対する参照表現の理解，(2) 複数の物体候補から対象物の予測，(3) バウンディングボックス
ではなく画素単位でのマスク生成が必要であり，単純な参照表
現セグメンテーション (RES) タスクよりも難しい. そのため，
RES タスクを扱うモデルの多くは，OSMI タスクには不十分である.
本研究では，2 段階でマルチモダリティにおけるセグメンテー
ションマスクの生成を行う Multimodal Diﬀusion Segmentation Model (MDSM) を提案する．図 1 に MDSM の概要を示す．提案手法は，多数の参照表現を含む自然言語表現によって対象物のセグメンテーションマスクの生成を行う．MDSM
は，1 段階目でセグメンテーションマスクを生成し，2 段階目
ではそれを修正する．我々は拡散確率モデル [Ho 20] を拡張
し，言語情報を処理することで OSMI タスクに応用する．多くの既存研究 [Yang 22, Liu 19] では，対象物と関係のない領域を予測することが多い．それに対して，MSDM は従来の 1段階モデルよりも対象物と関係する領域を予測する．
本論文における主な貢献は以下である．

図 1: 提案手法の具体例.

• 2 段階のマルチモーダルセグメンテーションモデルである MDSM を提案する．
• 並列クロスモーダル特徴抽出機構を新規モジュールである Multimodal Encoder に導入する．
• 拡散確率モデルを拡張し，クロスモーダル特徴量を新規モジュールである Crossmodal Reverse Decoder に導入
する．

2.

関連研究

[Uppal 22] では，視覚言語モダリティを扱う研究の動向がまとめられている．RES タスクでは，参照表現を含む文および画像を入力とし，画素単位での参照領域予測を目的とする．
LAVT [Yang 22] は，RES を扱う代表的な手法であり，画像をエンコードする段階で，注意機構を介して言語特徴量とマージされたクロスモーダル特徴量を抽出する．また，石川らは、画像全体ではなく，画像内の関係領域に注目することで，対象物と他の物体との関係を直接的に学習する Target-dependent UNITERを提案した [Ishikawa 21]．Text-to-Image Generation では，
言語情報に基づいたもっともらしい画像の生成を行うことを目的とする．Rombach らは，拡散確率モデルを，文やバウン
ディングボックスなどの条件に対応した柔軟な生成器を提案
し，高解像度での合成を実現している [Rombach 22]．また，
REVERIE データセット [Qi 20] は，屋内環境における家事作業に関するデータセットであり，複数の対象物に対する参照表
現を含む自然言語の指示が付与された画像が含まれている．

連絡先: 飯岡雄偉，慶應義塾大学，神奈川県横浜市港北区日吉3-14-1，kmngrd1805@keio.jp1図 2: 提案手法 MDSN のネットワーク構造. (a) intermediate training step，(b) diﬀusion step．

3.

問題設定

(1)

本論文では，実世界の室内環境において，物体操作に関する
命令文の対象物をセグメントする OSMI タスクを扱う．本タスクでは，与えられた命令文が指す画像内の対象物に対して，
セグメンテーションマスクを生成することが望ましい．本論文
では，以下のように用語を定義する.
• 命令文: ロボットに家事作業を命令する文．
• 対象物: 命令文を生活支援ロボットが実行するときに，動作の対象となる物体．ただし，各画像における対象物は1 つしか存在しないことを前提とする．
また，入力は画像及び命令文であり，出力は画素単位での対象物に対するセグメンテーションマスクである．
本タスクと関連の深い RES タスクにおいて，標準的である
mIoU, oIoU, Precision@k (P@k) を評価尺度とする.

4.

Ei−1 = Fi−1 ⊙ Si−1 + vi−1 ,ただし，Si−1 , Conv, ⊙ はそれぞれ，Fi−1 の重みマップ，1 × 1の畳み込み，要素ごとの乗算を表す.

4.1.2 Output
intermediate training step では，バイリニア補間によるアッ
プサンプリングを行った各 Fi をチャネル方向に結合し，最終的なセグメンテーションを行う. 最終的な出力である H × Wの 2 値予測マスク画像 ŷit は，p (ŷit ) において閾値 0.5 以上の値を 1，それ以外を 0 としたものとする.

提案手法

図 2 に，MSDM のネットワーク構造を示す．MSDM は，
RES タスクにおいて代表的な手法である LAVT [Yang 22] を拡張した，OSMI タスクを扱うモデルである．
本研究では，家庭内環境での命令文理解において，提案手法の有用性を検証する．ただし，本手法における CLIP[] を並列に用いたクロスモーダル特徴抽出機構や，拡散確率モデル [Ho20] に基づいた視覚言語セグメンテーションは，より幅広いドメインにも適用可能だと考えられる．

4.1

4.2

Intermediate Training Step

(1)

H

(1)

×W

(1)

Diﬀusion Step

4.2.1 Forward Encoder(i)diﬀusion step での入力は，x0 ，Hit , および p (ŷit ) である. Forward Encoder は一般的な拡散確率モデル [Ho 20] と同様に，マルコフ過程に基づいて，ガウシアンノイズを徐々に加算する機構である. ここでは，x0 を入力とし，t 回ガウシア
ンノイズが加算された画像 xt ∈ RH×W ×3 を出力する. 加算
されるノイズは以下の正規分布で表される確率分布 q(xt |x0 )に従う. 確率分布 q(xt |x0 ) および xt は以下のように表せる.
√()√
q(xt |x0 ) : = N xt ; ᾱt x0 , 1 − ᾱt I ,√√xt = ᾱt x0 + 1 − ᾱt ϵ,intermediate training step での入力は，画像 x0 ∈ RH×W ×3
および v × l 次元の one-hot ベクトル集合である命令文 xL である. ただし，H, W , v, l はそれぞれ画像の高さ，幅，命令文の語彙サイズ，トークン数を表す.
また，xL を入力とし，BERT [Devlin 19] を用いて言語特
徴量 Hl ∈ RC×l を抽出した. ここで，C は各トークンにおける特徴量の次元数を示す.
4.1.1 Multimodal Encoder
第 1 層目の Multimodal Encoder は，x0 を入力とし，画像特徴量 V1 ∈ RH1 ×W1 ×C1 を出力する. ここで，Hi , Wi , Ci
は，それぞれ第 i 層目の画像サイズおよびチャネル数を示す.
まずは，x0 をそれぞれ Swin-B [Liu 21] および CLIP im(1)age encoder [Radford 21] に入力し，画像特徴量 Vsw ∈′(1)
H1 ×W1 ×C1
Cclp
Rおよび，Vclp ∈ Rを得る. ここで，Cclp はCLIP image encoder によって出力される画像特徴量の次元を
′(1)

(1)

Vsw と Vclp をチャネル方向に結合して，3 × 3 の畳み込みを行うことで， V1 を出力する.
以降，第 i 層目の Multimodal Encoder では，後述する
Pixel-Word Attention Module (PWAM) [Yang 22] よって抽出される特徴量 Fi−1 ∈ RHi−1 ×Wi−1 ×Ci−1 および Vi−1 から得られるマルチモーダル特徴量 Ei−1 ∈ RHi−1 ×Wi−1 ×Ci−1
を入力とし，Vi を出力する. なお，入力 Ei−1 は以下のようにして求められる.
Si−1 = tanh(Conv(Fi−1 )),ここで，I は単位行列を表す．また，αt および ᾱt は以下のように定義する.

αt := 1 − βt ,ᾱt :=

t
∏

αs ,

s=1

ここで，βt は t 回目に加算されるノイズの重みである.
4.2.2 Crossmodal Reverse Decoder(i)
Crossmodal Reverse Decoder では (xt , Hit , p (ŷit )) を入力とし，H × W の各ピクセルにおける対象物のクラスである
確率 p (ŷdiﬀ ) を出力する.
はじめに，xt を用いて，Forward Encoder における t 回

×C

1
clp
表す. 次に，得られた Vclp を整形し，Vclp ∈ R clp
√
(1)
(1)
を得る. ただし，Hclp = Wclp = Cclp /C1 とする. 最後に，2

表 1: MDSM におけるパラメータ設定.
Intermediate. stepDiﬀusion step

目に加算されたノイズ ϵt ∈ RH×W ×3 を求める. 予測ノイ(n )ズ ϵ̂t b ∈ RHnb ×Wnb ×Cnb は，事前学習された拡散確率モデ
ル [Ho 20] に対して，xt を入力して抽出する. ここで，nb
は UNet 構造における各層のインデックス番号を表し，Hnb ,Wnb , Cnb はそれぞれ，第 nb 層目の画像サイズおよびチャネ
ル数を表す. 次に，以下の式に従い，マルチモーダル特徴量′(n )Hseg b ∈ RHnb ×Wnb ×Cnb を得る.

エポック数

11

バッチサイズ16
5 × 10

学習率

1−5

1 × 10−3

AdamW

Adam

(β1 = 0.9, β2 = 0.99)(β1 = 0.9, β2 = 0.99)

Optimizer

(nb )
(n )
x̂t−1
= xt b − ϵ̂t5′(nb )
Hseg= x̂0 b + Hit b
(n )

(n )

(n )
′(n )

(n )

ここで，x̂t b は xt b の予測値を示す．次に，Hseg b に対して
(n )

バイリニア補間を行うことで，リサイズされた特徴量 Hsegb ∈RH1 ×W1 ×Cnb を抽出する.
ネル方向に結合することで，マルチモーダル特徴量 Hseg ∈RH×W ×Cseg を求める. ここで，Cseg は特徴量の次元を表す.
最後に，Hseg および p (ŷit ) を用いて，以下のように diﬀusion
step におけるマスクである確率の推定値 p (ŷdiﬀ ) を求める.

(n )
得られた各 Hsegb をすべてチャ“Go to the laundry room and straighten the picture closest

to the light switch.”∆p = fBN (ReLU(fFC (Hseg )))p(ŷdiﬀ ) = p (ŷit ) + ∆p,
ここで，zdiﬀ は，H × W の 2 値正解マスク画像 y と p (ŷit )との差分の予測値を表す. また，fBN , fFC はそれぞれ，バッ
チ正規化，線形結合を表す. 最終的な出力である H × W の 2
値予測マスク画像 p(ŷdiﬀ ) は，ŷdiﬀ において 0.5 以上の値を1，それ以外を 0 としたものとする.
intermediate training step における損失関数には交差エントロピー誤差を，diﬀusion step における損失関数には平均絶対誤差を用いた.

5.

実験

5.1

データセット“Go to the lounge and remove the small brown chair facing

the counter.”(a) ベースライン手法(c) 正解マスク

図 3: 成功例の定性的結果. (a) LAVT [Yang 22], (b) 提案手法, (c) 正解マスク画像.
は 508G, 71.2G であった. 提案手法の学習にはメモリ 24GB 搭
載の GeForce RTX 3090 および Intel Core i9-10900KF，また64GB の RAM を使用した. 提案手法における訓練時間はそれ
ぞれ，intermediate training step で約 1 時間 45 分，diﬀusion
step で約 1 時間 25 分であった. また，1 サンプルあたりの推論時間はそれぞれ，intermediate training step で約 0.039 秒，
diﬀusion step で約 0.36 秒であった. 提案手法では，diﬀusion
step での学習時において，1 ステップごとに検証集合による損失を算出し，3 エポック目以降で最も低い損失を記録した時のテスト集合における精度を，最終的な精度とした.

本研究で扱う OSMI タスクでは，対象物に対する家事作業の命令文と画像，および対象物の正解マスク画像が必要である．
しかし，我々の知る限り，これらの要件を満たす既存のデータセットが存在しなかったため，全ての要件を満たす SHIMRIE
データセットを構築した．本データセットに含まれるマスク画
像は，Matterport3D データセットに含まれるボクセル単位でのクラス情報，および REVERIE データセットに含まれる対象物のバウンディングボックス情報を用いて収集した. 命令文
は REVERIE-dataset から収集することで，正解マスク画像と対応させた. 本研究では，計算量削減のため，640×480 の元画像を 256×256 にリサイズした.
SHIMRIE データセットには，4341 枚の画像に対応する，11371 の命令文とマスクとのペアが含まれている. 命令文は英語で記述されており，語彙サイズは 3558，全単語数は 196541
語，平均文長は 18.8 である. SHIMRIE データセットでは，全11371 サンプルのうち，10153 サンプルを訓練集合に，856 サ
ンプルを検証集合に，362 サンプルをテスト集合にそれぞれ使用した. 分割の方法は REVERIE-dataset を踏襲している. また，検証集合は 582 サンプルの seen 集合，および 274 サンプ
ルの unseen 集合から構成されており，テスト集合は unseen
集合のみで構成されている. ここで，seen 集合，unseen 集合
はそれぞれ，訓練集合において既知の環境，未知の環境を表す.
intermediate training step において，訓練集合はモデルの学習に，検証集合はハイパーパラメータを調整するために使用した．また，テスト集合はモデルの性能評価に使用した．また
diﬀusion step においては，検証集合をモデルの学習，テスト
集合をモデルの性能評価に使用した.

5.2(b) 提案手法

5.3

実験結果

5.3.1 定量的結果
表 2 にベースライン手法 (i) と提案手法との比較に関する定量的結果を示す. 各スコアは，5 回実験における平均値および標準偏差を表す. また，提案手法は diﬀusion step の有無による 2 つの場合 (ii)(iii) で実験を行った. ベースライン手法として LAVT [Yang 22] を使用した. LAVT は OSMI タスクと深く関連する RES タスクにおいて，良好な性能が報告されているモデルであるため，ベースライン手法として選択した.
表 2 より，主要尺度である mIoU において，(i)，(ii) はそれぞれ 24.27, 30.19%であり，(ii) が 5.92 ポイント上回った.
さらに，oIoU および P@k のいずれにおいても (ii) は (i) と同等以上の性能であった. また，(iii) における mIoU は 34.40%
であり，(i) を 10.13 ポイント上回った. さらに，oIoU およびP@k のいずれにおいても (iii) は (i) を上回った. したがって，(iii) が最も良好な性能であった. この (i) と (iii) における性能
差は統計有意であった（p < 0.05）
5.3.2 定性的結果
図 3 に定性的結果を示す．図において，パネル (a), (b), (c)はそれぞれ，ベースライン手法の予測マスク，提案手法の予測
マスク，正解マスクを示す. 上段における命令文は，“Go tothe laundry room and straighten the picture closest to the

実験設定

表 1 に提案手法におけるハイパーパラメータ設定を示す.
intermediate training step，diﬀusion step における訓練可能なパラメータ数はそれぞれ 123M，1.09M であり，積和演算数3表 2: 比較実験の定性的結果. “ME” は intermediate training step における Multimodal Encoder モジュールを表す.

Diﬀ. step[%]ME(i) LAVT

mIoU

oIoU

P@0.5

P@0.6

P@0.7

P@0.8

P@0.9

24.27±3.15

22.25±2.85

21.27±5.66

13.37±3.74

5.97±2.50

0.94±0.38

0.00±0.00[Yang 22](ii) Ours✓✓

30.19±3.98

27.08±2.89

31.66±6.52

23.04±4.66

10.33±1.63

1.55±1.36

0.00±0.00✓

34.40±3.79

31.59±3.03

36.63±6.1427.79±5.28

16.30±2.98

6.41±1.19

0.66±0.62

表 3: 条件 (b) における Ablation study. “Feat.” は intermediate training step で得られる特徴量を表す.
[%]

Cond.

Feat.

mIoU

oIoU

P@0.5

P@0.6

P@0.7

P@0.8

P@0.9

(b-1)

(0)
(1)
(2)
(3)
Hit , Hit , Hit , Hit

34.09±4.1431.57±3.07

35.52±6.04

27.29±4.93

16.35±3.16

6.35±1.22

1.82±1.33

(b-2)

(0)
(1)
(2)
Hit , Hit , Hit

34.40±3.79

31.59±3.03

36.63±6.1427.79±5.28

16.30±2.98

6.41±1.19

0.66±0.62

(b-3)

(0)
(1)
(3)
Hit , Hit , Hit

33.68±4.37

30.61±4.1735.80±6.73

26.46±4.66

15.69±3.88

6.08±1.58

0.50±0.41

(b-4)

(0)
(2)
(3)
Hit , Hit , Hit

33.44±4.52

30.51±3.89

35.03±6.3626.85±6.02

15.91±4.36

5.25±0.82

1.66±1.48(b-5)

Hit , Hit , Hit

32.54±4.97

29.97±4.1435.30±6.72

26.24±6.26

13.15±3.77

3.26±1.95

0.50±0.41

(1)

(2)

(3)

参考文献

light switch” であり，対象物は壁の手前にかけられた絵画である. ベースライン手法では，誤って対象物ではない屋外の領域を予測している. それに対して，提案手法では正解マスクと同じ絵画の領域を予測している. 同様に，下段における命令
文は，“Go to the lounge and remove the small brown chairfacing the counter” であり，対象物は左側の茶色い椅子である. 提案手法では，ベースライン手法と比較して不足の少ない
適切な領域を予測している.
5.3.3 Ablation studies
Ablation study として，以下の条件を定めた.
(a) 並列クロスモーダル特徴抽出機構の有無: intermediate
training step において，並列クロスモーダル特徴抽出機
構を取り除き，その有効性を調査する.

[Devlin 19] Devlin, J., Chang, M., Lee, K., and Toutanova, K.:
BERT: Pre-training of Deep Bidirectional Transformers for
Language Understanding, in NAACL-HLT, pp. 4171–4186(2019)[Ho 20] Ho, J., Jain, A., and Abbeel, P.: Denoising Diﬀusion
Probabilistic Models, Advances in Neural Information Processing Systems, Vol. 33, pp. 6840–6851 (2020)[Ishikawa 21] Ishikawa, S., et al.: Target-dependent UNITER:
A Transformer-Based Multimodal Language Comprehension
Model for Domestic Service Robots, RA-L, Vol. 6, No. 4, pp.
8401–8408 (2021)[Liu 19] Liu, R., Liu, C., Bai, Y., and Yuille, A.: CLEVR-Ref+:
Diagnosing Visual Reasoning with Referring Expressions, in
CVPR, pp. 4185–4194 (2019)(i)(b) Crossmodal Reverse Decoder における Hit の有無: dif(i)fusion step において，Hit の性能への寄与を調査する.
表 2，3 にそれぞれ条件 (a)，(b) における定量的結果を示す. 表 2 より，条件 (a-1) における mIoU は，条件 (a-2) よりも 5.92 ポイント低かった. また，oIoU および P@k において，P@0.9 を除き大きく悪化した. これより，並列クロスモーダル
特徴抽出機構は性能向上に寄与しているといえる. 表 3 より，
条件 (b-3)，(b-4)，および (b-5) における mIoU は条件 (b-1)と比較して，それぞれは 1.55，0.65，0.41 ポイント低かった.
一方，条件 (b-2) では，条件 (b-1) よりも，mIoU が 0.31 ポ[Liu 21] Liu, Z., Lin, Y., Cao, Y., Hu, H., Wei, Y., Zhang, Z.,
Lin, S., and Guo, B.: Swin Transformer: Hierarchical Vision
Transformer using Shifted Windows, in ICCV, pp. 10012–
10022 (2021)(0)[Radford 21] Radford, A., Kim, J. W., Hallacy, C., Ramesh, A.,
Goh, G., Agarwal, S., Sastry, G., et al.: Learning Transferable
Visual Models From Natural Language Supervision, in ICML,
pp. 8748–8763 (2021)[Qi 20] Qi, Y., Wu, Q., Anderson, P., Wang, X., Wang, W. Y.,
Shen, C., and Hengel, A.: REVERIE: Remote Embodied Visual Referring Expression in Real Indoor Environments, in
CVPR (2020)

イント高かった. これより，Hit が最も性能向上のために重(0)要だといえる. これは，解像度の高い特徴量である Hit が画

素単位のセグメンテーションに有効であったためだと考えられる．

6.

[Rombach 22] Rombach, R., Blattmann, A., Lorenz, D.,
Esser, P., and Ommer, B.: High-Resolution Image Synthesis With Latent Diﬀusion Models, in CVPR, pp. 10684–10695(2022)

おわりに

本論文では，実世界の室内環境において，物体操作に関する
命令文の対象物をセグメントする OSMI タスクを扱った. 本研究の貢献は以下である.
• 2 段階からなるマルチモーダルセグメンテーションモデ
ル MDSM を提案した.
• CLIP [Radford 21] および Swin Transformer [Liu 21]
による並列クロスモーダル特徴抽出機構を導入した.
• DDPM [Ho 20] を拡張し，マルチモーダル特徴量を扱う
Crossmodal Reverse Decoder を導入した.
• 新しく構築した SHIMRIE データセット上で，標準的な尺度について MDSM はベースライン手法を上回った．
謝辞[Uppal 22] Uppal, S., Bhagat, S., Hazarika, D., Majumder, N.,et al.: Multimodal Research in Vision and Language: A Review of Current and Emerging Trends, Information Fusion,Vol. 77, pp. 149–171 (2022)[Yamamoto 19] Yamamoto, T., Terada, K., Ochiai, A., Saito, F.,et al.: Development of Human Support Robot as the researchplatform of a domestic mobile manipulator, ROBOMECH,
Vol. 6, No. 1, pp. 1–15 (2019)[Yang 22] Yang, Z., Wang, J., Tang, Y., Chen, K., Zhao, H.,
and Torr, P.: LAVT: Language-Aware Vision Transformer for
Referring Image Segmentation, in CVPR, pp. 18155–18165(2022)

本研究の一部は，JSPS 科研費 20H04269，JST ムーンショット，
NEDO の助成を受けて実施されたものである．

4