Vision-and-Language Navigation タスクにおける敵対的サブゴール生成
Generating Subgoals with Adversarial Network on Vision-and-Language Navigation
石川 慎太朗 ∗1

杉浦 孔明 ∗1

Shintaro Ishikawa

Komei Sugiura∗1

慶應義塾大学

Keio University

In this paper, we focus on a vision-and-language task in which a robot is instructed to execute householdtasks. We propose Moment-based Adversarial Training (MAT), which uses two types of moments for perturbation
updates in adversarial training. We introduce MAT to the embedding spaces of the instruction, subgoals, and state
representations to handle their varieties. We validated our method on the ALFRED benchmark, and the results
demonstrated that our method outperformed the baseline method for all the metrics on the benchmark.

1.

はじめに高齢化が進行する現代社会において，日常生活における介護・支援の必要性が高まっている．それに伴って，在宅介護者の不足が社会問題となっており，障がいを持つ人々を物理的に支援可能な生活支援ロボットに注目が集まっている．一方，生活支援ロボットが人間との間で言語を介した自然な対話を行う能力は，現状不十分である．
本研究では，自然言語の命令文を適切な行動に対応付けるモデルの開発に取り組む．具体的には，“Rinse oﬀ a mug andplace it in the coﬀee maker” という命令が与えられたときに，ロボットがマグカップを発見し，水で洗浄した後，コーヒーメーカーのもとに運ぶといった動作が望ましい．
人間は家事タスクを指定する際に，高レベルな命令文を使用する場合が多く，ロボットはそれらを適切なサブゴールに分解することが求められる．例えば，前述のタスクは大きく 3 つのサブゴールに分けられ，それらは適切な順序で実行される必要がある．人間はこのような階層的なタスクを容易に実行することが可能だが，ロボットにとっては挑戦的な課題である．ALFRED ベンチマーク [Shridhar 20] においても，人間は 91.0%の精度を記録している一方で，最先端の手法 [Blukis21] の精度は 25%を下回る．
既存手法では，階層的な構造をもとにサブゴールを生成することで，高レベルな命令文の解釈に取り組んでいる．しかし，そのような命令文においてサブゴールは明示的に指定されないため，しばしば予測に失敗してしまう．特にロボットが未知の環境においては，タスクの失敗が顕著に表れている．
本研究では，サブゴールの生成過程に敵対的学習を導入することで，様々なシナリオを扱うことができるモデルを開発する．これにより，汎用的なサブゴールの予測が実現し，様々な環境においてタスクが遂行可能になると考えられる．既存手法と異なる点は，VILLA [Gan 20] に基づく敵対的な摂動をサブゴールおよび状態表現の特徴量空間に加えている点である．
本研究の貢献を以下に示す．

図 1: ALFRED の例• 敵対的摂動更新アルゴリズム Momentum-based Adversarial Training (MAT) を提案する．

2.

関連研究

VLN に代表されるロボットと自然言語の分野においては，現在に至るまで多くの研究が行われている [Anderson 18, Kollar
10,Tellex 11,Kuo 20]．[Wu 21] は，VLN に関して包括的な調査を実施しており，命令文の種類に応じたタスクの分類を試みている．また，近年の VLN では，Transformer の注意機構に基づいたモデルが高い性能を記録している．MTCM [Magassouba
19] は，参照表現を含む命令文および画像をもとに，対象物体を特定するモデルである．Target-dependent UNITER [Ishikawa21] は，Transformer の注意機構を利用して，命令文および物体間の関係性をモデル化している．
VLN は Single-turn と Multi-turn の 2 種類のタスクに分類される．Single-turn のタスクにおいては，ロボットが探索を開始する前に一連の命令文が与えられる．このタスクは，命令文に経路に関する情報が含まれるか否かによって，さらにGoal-orientation と Route-orientation の 2 種類に分けられる．
前者の場合は，命令文によって複数のゴール条件が与えられるものの，経路に関する情報は一切与えられない．一方，後者の場合は，特定の経路に関する情報が与えられる．CrossMap
Transformer [Magassouba 21] は，命令文およびカメラ画像をもとに順次経路を生成するモデルであり，Goal-oriented な命令文を入力として Single-turn のタスクを実行する．

• Vision-and-Language Navigation (VLN) において，サブゴールおよび状態表現の特徴量空間に対し，敵対的な摂動を導入する．
連絡先: 石川慎太朗，慶應義塾大学，神奈川県横浜市港北区日吉 3-14-1，shin.0116@keio.jp1図 2: 提案手法のネットワーク構造

Multi-turn のタスクにおいては，複数の段階にわたってガイドからナビゲーターへ命令文が与えられる．このタスクは，ナビゲーターがガイドと対話できるか否かによって，さらにImperative と Interactive の 2 種類に分けられる．前者の場合は，ナビゲーターからガイドへ応答することは許されていない．
後者の場合は，ガイドとナビゲーターは互いにやり取りを行いつつ情報を共有することが可能である．CVDN [Thomason 20]
は，家庭環境における複数の人間の対話履歴に関して，Multiturn かつ Interactive なタスクを提供している．

3.

4.

提案手法

提案手法のネットワーク構造を図 2 に示す．ネットワークはState Encoder，Language Encoder，Subgoal History Encoder，Subgoal Predictor といった 4 つのモジュールから構成される．各モジュールの詳細については本章で後述する．本
手法は，代表的な階層型 VLN モデルである HLSM [Blukis 21]をもとにしているものの，Episodic Transformer [Pashevich21] 等の他の VLN モデルにも適用可能である．

4.1

問題設定

入力

時刻 t における k 番目のサブゴール予測について，ネットワークの入力 xt,k を以下のように定義する．

本研究では，シミュレーション環境において，自然言語の命令文を適切な行動に対応付けるモデルを開発することを目的とする．我々は ALFRED ベンチマーク [Shridhar 20] を使用する．ALFRED は，家庭環境における長期的かつ階層的なタスクを含むデータセットを提供している．モデルにおいては，各時刻において適切な行動を出力しつつ，最終的に複数のサブゴールから構成されるゴール条件を達成することが望ましい．
図 1 に ALFRED の例を示す．このエピソードには，“Put aclean apple on a wooden table” という命令文が付与されている．ロボットは，はじめに電子レンジのもとに移動し，リンゴを中から取り出した後，シンクへと運ぶ．そして，リンゴを洗った後，木製の机のもとに運び，そこに置く必要がある．
本タスクの入出力を以下のように定義する．

xt,k = {l, G1:k−1 , st },G1:k−1 = {g1 , g2 , · · · , gi , · · · , gk−1 },
(i)

(i)

(1)
(2)

(i), Cmask },gi = {Cact , Carg

(3)

st = {Vt , ht , pt }(4)

• 入力: 高レベルな命令文，各時刻におけるカメラ画像

l は命令文，G1:k−1 は過去のサブゴール群，st は現在の状態表
(i)
(i)
(i)
現を表し，Cact はサブゴールの種類，Carg は対象物体，Cmaskは対象物体の 3 次元マスクを表す．st は探索中の累積的な知識をもとにした環境に関する 3 次元情報であり，Observation
Model [Blukis 21] に基づいて定期的に更新される．Vt は環境中の物体の位置情報を示すボクセルマップ，ht はロボットが把持している物体，pt はロボットの姿勢を表す．

• 出力: 各時刻における各行動に関する確率の予測値

4.2

また，本論文で使用する用語を以下のように定義する．

Language Encoder では，事前学習済みの BERT [Devlin18] を用いて命令文 l の処理を行う．なお，CLS トークンの埋め込み表現を命令文の特徴量 ϕl とする．Subgoal History
Encoder では，複数層の Transformer を使用して，過去のサブゴール群 G1:k−1 に対する処理を自己回帰的に行う．得ら(1:k−1)(k−1)
れる特徴量群 ϕgのうち ϕgをサブゴールの特徴量とする．State Encoder では，現在の状態表現 st に対して，(t)ϕs = {ht , fmp s (Vt )} という処理を行う．ここで，fmp s は空間的なプーリング処理を表し，Vt を視界に含まれる物体群に関する one-hot 表現へと変換する．

• 高レベルな命令文: タスク全体を通して，ロボットが達成すべき自然言語の命令文．ロボットは，この命令文を複数の暗黙的なサブゴールに分解する必要がある．
• サブゴール: 物体とのやり取りが求められるサブタスク．
• 行動: AI2-THOR 環境 [Kolve 17] において定義されている行動群のうちの 1 つ．行動は，“MoveAhead”“RotateRight” “RotateLeft” “LookUp” “LookDown”“PickUp” “Put” “Open” “Close” “ToggleOn” “ToggleOﬀ” “Slice” “Stop” の計 13 種類存在する．
我々は AI2-THOR 環境を使用する．AI2-THOR は，photorealistic な家庭環境における対話的なシミュレータである．ALFRED には 8 種類の評価指標が存在する．その中で，我々はSeen/Unseen Success Rate (SR) および Seen/Unseen GoalConditioned Success Rate (GC) をモデルの評価に使用した．
これらについては後の章で説明する．

4.3Encoders

Subgoal Predictor

Subgoal Predictor には，各エンコーダの出力を連結した特(k−1)(t)
徴量群 Φt,k = {ϕl , ϕg, ϕs } を入力する．そして，以下に示すように，サブゴールの種類および対象物体を得る．
(k)2p(Ĉact ) = softmax(fmlp (Φt,k )),

(5)

(k)
p(Ĉarg) = softmax(fmlp (Φt,k ))(6)

fmlp は多層パーセプトロンを表す．
続いて，以下の式に基づき，環境中の物体群に関する鳥瞰図表現を導出する．
bt,k = {at ,k−1∑(i)fmp p (Cmask ), fmp p (Vt )}(7)

at は上から見た環境の 2 次元情報を表し，各位置は 7 種類のクラス (“pickable” “receptacle” “togglable” “openable”“ground” “obstacle” “observed”) のいずれかに属する．fmp p
は平面的なプーリング処理を表し，環境に関する 3 次元情報を 2 次元情報へと変換する．
最後に，対象物体の 3 次元マスクを以下のように計算する．
(k)

(8)

Moment-based Adversarial Training(9)∂E∇δ E(δ) =(10)∂δ
f はネットワーク全体，CE(·, ·) は交差エントロピー誤差を表す．
続いて，Adam をもとにした 2 種類の移動平均を導入する．
mt = ρ1 mt−1 + (1 − ρ1 )∇δ E(δt ),(11)

vt = ρ2 vt−1 + (1 − ρ2 )(∇δ E(δt ))2(12)データセット

本実験では，モデルの評価に ALFRED ベンチマーク [Shridhar 20] を使用した．ALFRED は，各エピソードに対する専門家のデモンストレーションおよび命令文から構成される．命令文は，Amazon Mechanical Turk を通じて 3 人以上のアノテータによって作成され，高レベルなものと低レベルなものの両方が含まれる．なお，事前処理として，各エピソードについてサブゴール群を取り出し，カメラ画像をもとに対象物体およびその 3 次元マスクの情報を抽出した．当該データセットは，25,743 の命令文および 8,055 のエピソードから構成される．各エピソードは，“Pick & Place” “Stack & Place” “Pick Two& Place” “Clean & Place” “Heat & Place” “Cool & Place”“Examine in Light” といった 7 種類のタスクに分類される．
我々は，[Shridhar 20] に従ってデータセットを分割した．検証集合およびテスト集合はそれぞれ Seen 集合と Unseen 集合に分けられる．Seen 集合のエピソードは，訓練集合に登場する既知の環境で実施され，Unseen 集合のエピソードは，訓練集合に登場しない未知の環境で実施される．

VILLA [Gan 20] に基づき，我々は特徴量空間に対して直接的に摂動を加える．摂動 δ を δ = {δl , δg , δs } と定義する．δl ，δg ，δs はそれぞれ命令文，過去のサブゴール群，現在の状態表現に対する摂動を表す．
はじめに，以下に示すように，交差エントロピー誤差の δ に関する勾配を計算する．
E(δ) = CE(f (x + δ), g),

実験設定

5.2

flun は LingUNet [Misra 18] を表し，ftrans は鳥瞰図表現とロボットの一人称視点の対応付けを行う．そして，最終出力を(k)(k)(k)gk = {Cact , Carg , Cmask } とする．

4.4

実験

5.1

表 1 に実験設定を示す．#L，#H，#A はそれぞれ Transformer の層数，隠れ層の次元数，Attention Head の数を表す．
また，α は各イテレーションにおける摂動の更新回数を表す．
我々のモデルのパラメータ数は 1 億 1100 万である．学習には，メモリ 32GB 搭載の Tesla V100 を 4 台使用し，2 日間を要した．各エピソードの推論に要する時間は 2 分であった．

i=0p(Ĉmask ) = flun (ftrans (bt,k , pt ), ϕl )

5.

5.3

実験結果

定量的結果を表 2 に示す．評価尺度には Seen/Unseen SRおよび Seen/Unseen GC を使用した．SR は SR = Ns /N と定義される．ここで，N はエピソードの総数を表し，Ns は成功したエピソードの総数を表す．なお，物体の位置および状態がエピソードのゴール条件を満たしている場合に，当該エピソードにおいて「成功」したと見なす．主要評価尺度にはUnseen SR を選択した．
我々は，HLSM をベースライン手法とした．これは，HLSMが代表的な階層モデルであり，ALFRED において良好な結果が報告されているためである．Unseen SR に関して，検証集合において，提案手法は 17.66%を記録し，ベースライン手法は 11.80%を記録している．テスト集合においては，提案手法は 21.84%を記録し，ベースライン手法は 16.29%を記録している．これより，提案手法がベースライン手法をそれぞれ 5.55%と 5.86%上回っていることがわかる．
Ablation Study には，以下の 2 条件を定めた．

t は現在の摂動更新ステップ，ρ1 と ρ2 は各移動平均の平滑化係数を表す．これらを用いて，摂動の更新幅 ∆δt を導出する．
mtm̂t =,(13)
1 − (ρ1 )tvtv̂t =,(14)
1 − (ρ2 )tm̂t(15)v̂t + εη は MAT の学習率，ε はゼロ除算を避けるための小さな値を表す．
最後に，∆δt を用いて摂動を更新する．
∆δt
δt+1 = Π∥δ∥≤ϵ (δt +)(16)∥∆δt ∥F∆δt = η √Π∥·∥≤ϵ は ϵ 球への投影，∥ · ∥F はフロべニウスノルムを表す．

4.5

表 1: パラメータ設定
Language Encoder
Subgoal History Encoder
Optimizer

損失関数

学習には，以下の損失関数を使用する．

L = Lcln + Lat + λLkl ,(17)Lcln = CE(f (xt,k ), gk ),(18)Lat = CE(f (xt,k + δ), gk ),(19)

Learning rate
Epoch
Batch size
Loss weight

Lkl = DKL (f (xt,k )∥f (xt,k + δ))+ DKL (f (xt,k + δ)∥f (xt,k ))

MAT

(20)

λ は項の重み，DKL (·∥·) はカルバック・ライブラー情報量を表す．

3#L: 12#H: 768#A: 12#L: 2#H: 128#A: 8Adam(β1 = 0.9, β2 = 0.999)
5 × 10−5
6
1
1.5
α=7
η = 1 × 10−3
λ = 1.5
ρ1 = 0.9, ρ2 = 0.999

表 2: 定量的結果
MethodCondition

MAT

full(i)(ii)-a(ii)-b(ii)-c✓

Perturbation
ϕlϕg
ϕs[Zhang 21][Nottingham 21][Blukis 21]

Ours

✓
✓
✓✓✓✓✓✓✓✓✓✓✓✓✓

Validation
Unseen
Seen
SRGC
SRGC
11.12
17.89
13.63
21.11
12.7
23.4
11.80
24.70
25.00
36.37
17.66
31.79
30.98
42.29
16.69
31.18
31.71
41.82
15.71
30.6630.85
41.54
15.96
31.89
30.24
42.63
14.25
29.06
30.73
40.68

(i) W/o MAT: 敵対的学習において，MAT を適用する場合としない場合で，性能にどの程度の差が生じるかを調査する．

[Devlin 18] Devlin, J., Chang, M.-W., Lee, K., et al.: Bert: Pretraining of deep bidirectional transformers for language understanding, arXiv preprint arXiv:1810.04805 (2018)[Gan 20] Gan, Z., Chen, Y.-C., Li, L., Zhu, C., Cheng, Y., et al.:Large-scale adversarial training for vision-and-language representation learning, arXiv preprint arXiv:2006.06195 (2020)(ii) Selective adversarial training: 命令文，サブゴール，状態表現のそれぞれの特徴量空間に，敵対的摂動を付与する場合としない場合で，性能にどの程度の差が生じるかを調査する．

[Ishikawa 21] Ishikawa, S. and Sugiura, K.: Target-Dependent
UNITER: A Transformer-Based Multimodal Language Comprehension Model for Domestic Service Robots, IEEE RA-L,
Vol. 6, No. 4, pp. 8401–8408 (2021)

表 2 に示すように，テスト集合における Unseen SR に関して，MAT を適用しない場合に 20.99%を記録している．また，命令文，サブゴール，状態表現のそれぞれの特徴量空間に摂動を付与しない場合に，21.39%, 21.52%, 20.27%を記録している．これより，状態表現に対する MAT が最も性能向上に寄与していると考えられる．
定性的結果を図 3 に示す．図 3 より，ロボットがカップをランプのもとに運び，明かりをつけることに成功している様子が確認できる．

6.

Test
UnseenSeen
SRGCSRGC
10.23
20.27
18.41
25.27
6.38
17.27
13.35
23.31
16.29
27.74
25.11
35.79
21.84
32.41
33.01
43.65
20.99
32.03
30.66
43.10
21.39
31.03
32.29
43.30
21.52
33.43
31.57
44.38
20.27
30.66
30.14
41.23

[Kollar 10] Kollar, T., Tellex, S., Roy, D., and Roy, N.: Toward
understanding natural language directions, in HRI, pp. 259–266 (2010)[Kolve 17] Kolve, E., Mottaghi, R., Han, W., VanderBilt, E.,
Weihs, L., et al.: Ai2-thor: An interactive 3d environment forvisual ai, arXiv preprint arXiv:1712.05474 (2017)[Kuo 20] Kuo, Y.-L., Katz, B., and Barbu, A.: Deep compositional robotic planners that follow natural language commands, in ICRA, pp. 4906–4912 (2020)

おわりに[Magassouba 19] Magassouba, A., Sugiura, K., Quoc, A. T.,
et al.: Understanding natural language instructions for fetching daily objects using GAN-based multimodal target–sourceclassiﬁcation, IEEE RA-L, Vol. 4, No. 4, pp. 3884–3891 (2019)

本研究では，自然言語の命令文を適切な行動に対応付けるモデルの開発に取り組んだ．提案手法による貢献を以下に示す．

• VLN において，サブゴールおよび状態表現の特徴量空間に対し，敵対的な摂動を導入した．

[Magassouba 21] Magassouba, A., Sugiura, K., et al.: CrossMap
Transformer: A Crossmodal Masked Path Transformer Using Double Back-Translation for Vision-and-Language Navigation, IEEE RA-L, Vol. 6, No. 4, pp. 6258–6265 (2021)• 敵対的摂動更新アルゴリズム MAT を提案した．
• ALFRED ベンチマークにおいて，提案手法がベースライン手法を全ての評価尺度で上回った．

[Misra 18] Misra, D., Bennett, A., Blukis, V., et al.: Mapping
instructions to actions in 3d environments with visual goal
prediction, arXiv preprint arXiv:1809.00786 (2018)

謝辞
本研究の一部は，JSPS 科研費 20H04269，JST ムーンショット，NEDO の助成を受けて実施されたものである．

[Nottingham 21] Nottingham, K., Liang, L., Shin, D., et al.:Modular framework for visuomotor language grounding, arXiv
preprint arXiv:2109.02161 (2021)

参考文献[Pashevich 21] Pashevich, A., Schmid, C., and Sun, C.: Episodic
Transformer for Vision-and-Language Navigation, arXiv
preprint arXiv:2105.06453 (2021)[Anderson 18] Anderson, P., Wu, Q., et al.: Vision-and-language
navigation: Interpreting visually-grounded navigation instructions in real environments, in CVPR, pp. 3674–3683 (2018)[Shridhar 20] Shridhar, M., Thomason, J., Gordon, D., Bisk, Y.,
et al.: Alfred: A benchmark for interpreting grounded instructions for everyday tasks, in CVPR, pp. 10740–10749 (2020)[Blukis 21] Blukis, V., Paxton, C., et al.: A persistent spatial semantic representation for high-level natural language instruction execution, arXiv preprint arXiv:2107.05612 (2021)[Tellex 11] Tellex, S., Kollar, T., Dickerson, S., Walter, M., et al.:Understanding Natural Language Commands for RoboticNavigation and Mobile Manipulation., in AAAI, Vol. 2 (2011)[Thomason 20] Thomason, J., Murray, M., Cakmak, M., andZettlemoyer, L.: Vision-and-dialog navigation, in CoRL, pp.
394–406 (2020)[Wu 21] Wu, W., Chang, T., and Li, X.: Visual-and-Language
Navigation:
A Survey and Taxonomy, arXiv preprint
arXiv:2108.11544 (2021)[Zhang 21] Zhang, Y. and Chai, J.: Hierarchical Task Learningfrom Language Instructions with Uniﬁed Transformers andSelf-Monitoring, arXiv preprint arXiv:2106.03427 (2021)

図 3: 定性的結果

4