Bilingual Case Relation Transformer に基づく
複数言語による物体操作指示文生成○兼田寛大，神原元就，杉浦孔明（慶應義塾大学）

1.

はじめに

ユーザと自然にコミュニケーションを行い介助や家事をサポートする生活支援ロボットは，少子高齢化や人手不足などの社会的課題の解決策として期待されている．生活支援ロボットの実用化のため様々な研究が行われており，その 1 つとして物体操作などの指示をロボットが正確に理解する技術が挙げられる．このためには実世界の画像と指示文が紐づいたマルチモーダ
ルコーパスによる訓練が重要であるが，現時点でコー
パスへの指示文付与は人手で行われているためコストが高く規模が限られるという問題がある．
そこで既存コーパスの拡充を行う際に，指示文の付与を自動化することでこの問題を解決することを考える．そのために本研究では画像から英語または日本語の指示文を生成することを目指す．本論文では，本タスクを Fetching Instruction Generation (FIG) タスクと呼ぶこととする．図 1 に本タスクの入力画像例を示
す．この場合，英語では “move the teddy bear to the
top right box，” 日本語では “左下の箱にある茶色の人
形を右上の箱に移してください” などの指示文を付与することが望ましい．
しかし，FIG タスクにおいて正確な指示文を生成することは容易ではない．特に対象物体を正確に記述することは難しい．実際に既存研究では生成した 100 文のうち 34 の生成文において対象物体に関する誤り（動物の人形に対して “緑色の箱” と生成するなど）がみられた [1]．また，複数言語による FIG タスクを扱った研究は非常に少ない．
このような背景から，本論文では Bilingual CRT を提案する．Bilingual CRT は対象物体と目標領域の参照表現を含む指示文を，英語および日本語で生成する．
また，提案手法は複数言語を 1 つのモデルで扱うことが可能である．Bilingual CRT は既存手法の CRT [1]を拡張し，Transformer Embedder および対象物体の領域画像に関する再構成損失を新たに導入する．これにより，対象物体に関する記述をより正確にする．
提案手法の主要な新規性は以下に示す通りである．
• エンコーダへの入力前の処理として，Transformer
Embedder を導入する．

• 英語と日本語の 2 言語での生成を可能とする．
• 損失関数として対象物体の領域画像に対する再構
成損失を新たに導入する．

2.

関連研究

マルチモーダル言語処理分野のサーベイ論文として，[2] が挙げられる．Vision and Language 分野で用いられる有名データセットとして，MSCOCO データセッ
ト [3]，Flickr30k [4]，STAIR Captions [5] などが挙げ

図 1 FIG タスクで与えられる入力画像例．茶色の人形が対象物体 (ピンク)，右上の領域が目標領域 (水色)．

られる．これらのデータセットでは画像とそのキャプションがセットとなっており，主に画像キャプショニン
グタスクにて用いられる．一方で，本論文で扱う FIG
タスクでは画像中の対象物体についての指示文を生成することが目的である．従って，本論文では対象物体を明示的に含む PFN-PIC データセット [6] を用いる．
FIG タスクを扱う既存研究として，Multi-ABN [7]や ABEN [8] が挙げられる．Multi-ABN は生活支援ロ
ボットのためのデータセット生成の自動化を問題提起
し，ABEN は FIG タスクにおいて高い性能を示した．
また，MTCM-AB [9] は指示文から対象物体を特定す
る言語理解モデルである．指示文に必要な情報が不足している場合や，同一の物体が画像内に存在する場合などにおいて，正確に対象物体を特定することができる．
提案手法の類似手法として，ORT [10] と CRT [1] が挙げられる．CRT は Transformer を用いた言語生成モデルである．CRT はエンコーダへの入力前の処理として線形変換を用いるが，提案手法では Transformer エンコーダを用いた処理に変更したという違いがある．

3.

問題設定

本論文では英語と日本語の 2 言語における FIG タス
クを扱う．このタスクでは，与えられた画像に含まれる対象物体を目標領域へ移動させるための指示文を生成することを目指す．これらの指示文は対象物体および目標領域を特定するための位置参照表現を含むものとする．本タスクでは，与えられた画像に対して対象
物体と目標領域を正確に特定することができる明確な指示文を生成することが望ましい．
FIG タスクにおいて，入力は対象物体，目標領域，コンテキスト情報を含む画像およびそれぞれの座標情報である．また，出力は対象物体と目標領域の参照表現を含む指示文である． 本タスクの評価として，[1] と同様の尺度を用いる．日本語の指示文の評価には SPICE
および MOS を除いた尺度を用いる．ここで，本論文で使用する用語を以下のように定義する．
• 対象物体 : FIG タスクにおいて移動させる日常用品． （ペットボトル，缶，コップなど）

与えることで指示文が得られる．すなわち，モデルの切り替えは不要である．

図 2 Bilingual CRT の構造．Trm，EL，FFN，DL，
MHA，head，GN はそれぞれ Transformer レイヤ，エンコーダレイヤ，順伝搬型ネットワーク層，
デコーダレイヤ，multi-head attention 層，attention head，ジェネレータを示す．

• 目標領域 : FIG タスクにおいて移動先となる 4 つの領域（右上，右下，左下，左上）のうちの 1 つ．
• コンテキスト情報 : Up-Down Attention [11] により得られた画像中の領域群
また，本論文では対象物体の画像中における座標は与えられることを前提とする．本タスクを扱うために，
画像および指示文に対して事前処理を行った．画像にはMSCOCO データセット [3] により事前訓練された UpDown Attention モデルを用い，物体検出を行った．また日本語の指示文は形態素解析エンジンである MeCabを用いて分かち書きに変換した．これは辞書の作成や評価において英語と同様の手法で実行するためである．
さらに文末の句点，感嘆符および疑問符の削除を行った．これは日本語の指示文において句点，感嘆符および疑問符が全角および半角で混同されていたことによりそのままでは扱うことが難しかったためである．例
として “動かして!” と “動かして！” はどちらも “動かして！” という文節を指すが，半角の記号が用いられているために前者はこのまま処理することができなかった．

4.

手法

4.1 モデル概要および多言語化
モデル入力は x = (X <targ> , x<dest> , X <cont> ) である．ここで，X <cont> = (x<1> , x<2> , ..., x<N > ),<i>x<i> = (x<i>, x<i>
は対象VG ) である．さらに，xV物体について ResNet-50 [12] に入力して conv2 x 層，
conv3 x 層，conv4 x 層から得た特徴量，目標領域について ResNet-50 に入力して conv5 x 層から得た特徴量，コンテキスト情報の各画像領域について ResNet-101 に入力して conv5 x 層から得た特徴量を表す．また，Nはコンテキスト情報に含まれる物体の数を表す．x<i>Gは各領域についての幾何的特徴量である [1]．
図 2 に Bilingual CRT の構造を示す．xG および緑の矢印は幾何的特徴量を示し，オレンジの矢印は画像特徴量を示す．出力はトークン yj である．ここで，j は予測するトークンのインデックスを示す．また，gi<enc>は対象物体の領域画像を再構成することを目的としたベクトルを表す．本モデルにおける注意機構の効果として，空間参照表現を獲得することができ，品質の高い指示文を生成することができる．提案手法は主に 3 つのモ
ジュールからなり，それぞれを Transformer Embedder,
エンコーダ，デコーダと呼ぶ．
Bilingual CRT は複数の言語で書かれた指示文を混合して学習することで，1 つのモデルで英語および日本語の指示文を生成する．そのために，学習時には指示文の文頭に言語に応じて<en>または<ja>トークンを挿入する．生成時にはいずれかのトークンを文頭に4.2 Transformer Embedder
Transformer Embedder では X <targ> ， x<dest> ，X <cont> を入力とする．ここで，X <targ> は対象物
体の領域画像を ResNet-50 に入力し，conv2 x 層，
conv3 x 層，conv4 x 層から得られた出力を結合したベクトルである．
X <targ> は Transformer レイヤ [13] に入力される．
まず Query QT ，Key KT ，Value VT がパラメータ行
列 Wq ，Wk ，Wv を用いて以下の式 (1) で計算される．
QT = Wq X, KT = Wk X, VT = Wv X
(1)
ただし X = X <targ> である．次に，multi-head attention 層においては注意が計算される．multi-head attention 層は内部に独立した注意機構を NT 個並列に持ち，
QT ，KT ，VT をそれぞれ NT 個に分割したものがそれぞれへの入力となる．この注意機構のことを attention head と呼ぶ．それぞれの attention head におい⊤
QT KTが計算される．ここで，dk は Key のて，ωA = √dk
隠れ層の次元数である．
その後，各ヘッドの出力 hsa = VT softmax(ωA ) が計算される．NT 個の attention head の出力はパラメー
タ行列 WM を用いて以下の式 2 のように計算される．
<2>
<NT >
}WM
(2)
hmh = {h<1>sa , hsa , ..., hsa
最後に，hmh を FFN 層と畳み込み層に入力し，h<trm>
outを得る．その後，h<trm>，目標領域，コンテキスト情out
報を同様に Transformer レイヤに入力し，Transformer
Embedder の出力 hv ∈ RNA ×512 を得る．ここで，NAは入力された領域の数を示す．
4.3 エンコーダ
エンコーダは 3 層のエンコーダレイヤによって構成される．エンコーダレイヤは box multi-head attention
層と FFN 層で構成される．入力は Transformer Embedder からの出力 hv = h<enc>および hG をとる．こin
こで，hG は x<i>を結合したベクトルである．
G
Box multi-head attention 層では入力として h<el>inをとる．ここで，h<el>は最初の層では h<enc>，そinin
れ以外の層では前のエンコーダレイヤの出力である．
領域 m, n に対して相対位置ベクトル Λ(m, n) ={λ(δw, wm ), λ(δh, hm ), λ(wn , wm ), λ(hn , hm )} が計算される．ただし，λ(x, y)，wi ，hi ，δw，δh はそれぞm
れ log(x/y)，領域 i の幅，領域 i の高さ，|rxmin
−
n
m
n
mn
=
rxmin |，|rymin − rymin | を示 す．その後 ，ωG
ReLU(fem (Λ(m, n)WG )) が Transformer で用いられる positional encoding fem およびパラメータ行列 WG
を用いて以下の式で計算される．次に，式 (1) と同様に QE ，KE ，VE が計算される．その後，式 (2) と同様の処理を行い，出力 h<el>out を得る．
4.4 デコーダ
デコーダは 3 層のデコーダレイヤによって構成され
る．デコーダレイヤは masked multi-head attention 層，
multi-head attention 層，および FFN 層で構成される．
デコーダの入力は h<dec>である．ここで，h<dec>
=
in
in
<enc>
hout
である．デコーダでは，ŷ1:j−1 を用いて自己回帰的にトークン予測を行う．まず，masked multi-headattention 層では式 (1) および式 (2) と同様に自己注意hemb を計算する．ただし，訓練時は j トークン以降をマスクすることで，過去の情報のみを参照するようにする．次に multi-head attention 層では，式 (1) と同様に QD ，KD ，VD が計算される．その後，式 (2) と同様の処理を行い，出力 h<dec>を得る．
j

表 1 各手法による英語の生成文の品質評価
手法
ORT [10]
CRT [1]
提案手法

5.

実験設定

データセットとして PFN-PIC [6] を用いた．データ
セットの事前処理として，画像ごとに対象物体の座標，
目標領域の情報 (右上，右下，左上，左下のいずれか)，
および指示文がデータセットにおいてまとめられていたため，サンプルごとにセットとなるよう整形を行った．本研究では，訓練集合，検証集合，テスト集合をそれぞれ 81087，8774，898 となるように分割した．訓練集合と検証集合には PFN-PIC データセットの train
を分割して用い，訓練集合はパラメータの学習に，検証集合はハイパーパラメータの検証に選択した．テス
ト集合には validation を用い，性能の評価に使用した．
学習可能パラメータは 3400 万である．
提案手法のハイパーパラメータ設定は以下に示すとおりである。バッチサイズは 15，エポック数は 15，学
習率は 5.0 × 10−4 ，エンコーダを構成するエンコーダ
レイヤおよびデコーダを構成するデコーダレイヤの数
は 3，Transformer Embedder を構成するエンコーダレ
イヤの数は 2，multi-head attention 層中の attention
head の数は 4，α は 5.0 × 10−3 である．
本提案手法の学習はメモリ 11GB 搭載 GeForce RTX
2080 Ti ×1， 64GBRAM，そして Intel Corei9 9900K
により行われる．Up-Down Attention [11] による特徴抽出のみメモリ 24GB 搭載 TITAN RTX ×1，
256GBRAM，そして Intel Corei9 9820X という構成により行っている．学習は 60 分程度で完了し，1 サン
プルあたりの推論にかかる時間は 44ms 程度であった．
未知データに対して汎化性能の高いハイパーパラメー
タを選択するため，200 バッチ分訓練を行うごとに検METEOR
17.4 ± 0.9
23.1 ± 0.7
24.6 ± 0.3

CIDEr-D
SPICE
29.3 ± 2.3
26.7 ± 1.3
96.6 ± 12.0 44.0 ± 2.3
115.8 ± 3.4 48.2 ± 0.1

表 2 各手法による日本語の生成文の品質評価
手法
CRT [1]
提案手法

4.5 ジェネレータおよび損失関数
ジェネレータの入力は hg = h<dec>であり，全結合j
層およびソフトマックス関数を用いて j 番目のトーク
ンについての確率の予測値 p(ŷj ) を計算する．
損失関数は交差エントロピー誤差関数と再構成損失の加重和を用いており，以下の式で示される．
I
J
I
∑
1 ∑∑
L=−
log(p(wij )) + α∥gi<inp> − gi<enc> ∥I i=1 j=1
i=1
第 1 項は交差エントロピー誤差，第 2 項は再構成損失を表す．ここで，I ，J ，p(wij )，α，gi<inp> ∈ R1×1200 ，gi<enc> ∈ R1×1200 はそれぞれサンプル数，各文の長さ，サンプル中のトークン wij の予測確率，重み，入力の対象物体の領域画像を１次元に変換整形したベクトル，
対象物体の領域画像に関するエンコーダの出力を線形変換したベクトルを表す．ここで，再構成損失は入力画像を潜在空間にマッピングした後に再構成を行い，元の入力画像との ℓ1 ノルムを計算した値である．そのため，再構成損失を小さくするように訓練させることで，入力画像の特徴を保持するように学習が行われる．対
象物体の領域画像に関する再構成損失を導入すること
で，対象物体の色や形状の記述に関する誤りを減らすことが期待できる．

BLEU4
7.3 ± 1.4
14.9 ± 1.1
16.4 ± 0.6

BLEU4
25.4 ± 1.1
25.8 ± 0.6

図3

METEOR
29.4 ± 0.3
29.5 ± 0.6

CIDEr-D
94.2 ± 4.7
116.5 ± 3.9

適切な指示文を付与できた例．

証集合を用いてその時点での性能を評価した．最終的に 15 エポックまでで英語および日本語の CIDEr-D ス
コアの平均値が最も高いハイパーパラメータを選択し，テスト集合に対して評価を行った．

6.

実験結果

6.1 定量的結果
表 1 および表 2 に提案手法およびベースラインの結果を示す．表 1 は英語の指示文の結果であり，表 2 は
日本語の指示文の結果である．なお実験は各手法につき 5 回学習およびテストを行い，表にはその平均値および標準偏差を示す．また実験の際，各論文の設定値を参考にして ORT [10] については 20 エポック，またCRT [1] については 10 エポック訓練した．
ベースラインは ORT と CRT とした．今回用いた評価
尺度は BLEU4，METEOR，CIDEr-D，SPICE, MOS
である．また 5 つの自動評価尺度における主要尺度は英語の指示文は SPICE，日本語の指示文は CIDEr-D とする．上記の評価尺度のうち，CIDEr-D および SPICE
は画像キャプショニングタスク用の尺度であり，FIG
タスクと性質が似ていることから使用した．BLEU4，
METEOR に関しては今回のタスクに特化した尺度ではないものの，自然言語の分野において一般的な評価尺度であるため使用した．
表 1 より，主要尺度である SPICE に関しては ORT
が 26.7，CRT が 44.0 であったのに対し，提案手法は48.2 であった．CIDEr-D に関しては ORT が 29.3，CRTが 96.6 であったのに対し，提案手法は 115.8 であった．
従って，既存手法と比較して提案手法が優れるという結果を得た．また表 2 より，日本語においても既存手法と比較して提案手法が優れるという結果を得た．
6.2 定性的結果
図 3 に適切な指示文を生成出来た例を示す．それぞれの図において，ピンクで囲まれた領域が対象物体を

表 3 被験者実験の結果．各手法における MOS の平均値および 95%信頼区間の上限および下限を示す．
手法
正解文 (Upper bound)
ORT [10]
CRT [1]
提案手法

MOS
4.42 ± 0.11
1.35 ± 0.08
3.29 ± 0.19
4.01 ± 0.16

表 4 各条件における英語の生成文の品質評価
TE なし
RL なし
提案手法

BLEU4
15.9 ± 1.5
16.5 ± 1.3
16.4 ± 0.6

METEOR
24.2 ± 0.8
24.5 ± 0.5
24.6 ± 0.3

CIDEr-D
SPICE
110.7 ± 10.2 45.3 ± 3.8
111.8 ± 6.9 46.8 ± 1.9
115.8 ± 3.4 48.2 ± 0.1

示し，水色で囲まれた領域が目標領域を示す．
図 3 の左に示す画像では対象物体が左上の領域にある
青と白のチューブ，目標領域が左下の領域である．正解
文ではそれぞれの参照表現として対象物体に “blue andwhite tube，” 目標領域に “lower left box” が当てられている．既存手法は対象物体について “white bottle withthe red cap” と不正確な表現になっているが，提案手法
はこのサンプルに対して対象物体の参照表現を “tubewith the blue lid，” 目標領域の参照表現を “lower left”
としており，適切な指示文を出力できた．
図 3 の右に示す画像では対象物体が左下の領域にあるコーラの缶，目標領域が左上の領域である．ここで，左下の領域には２つのコーラの缶があるため，指示文
は正確に対象物体を特定できることが重要である．正解文ではそれぞれの参照表現として対象物体に “水色のスポンジの隣にあるコーラの缶，” 目標領域に “右上の箱” が当てられている．既存手法では対象物体の参照
表現を “左下の箱の中にあるコーラの缶” としており，どちらのコーラを指しているのか不明瞭な表現となってしまっている．一方で，提案手法はこのサンプルに対して対象物体の参照表現を “右側にある方のコーラ缶，” 目標領域の参照表現を “右上の箱” としており，“右側にある方” ともう 1 つのコーラを参照して対象物体を特定することで，品質の高い指示文を生成できた．
6.3 被験者実験
生成文の品質について，被験者による評価を行った．
被験者は 20 代の男性日本語話者 5 名とした．実験をするにあたり，テスト集合の正解文およびテスト集合についての生成文から無作為にそれぞれ 50 文抽出した
うえで，被験者への提示順も無作為とした．被験者には指示文と対応する画像を提示し，指示文の明瞭さによって以下に示すように 5 段階で評価させた．被験者には各自の作業速度で評価作業を行わせた．
1 : とても悪い，2 : 悪い，3 : 普通，4 : 良い，5 : とても良い

表 3 に，被験者実験によって得られた各手法における MOS の平均値および 95%信頼区間を示す．表より，

ORT の MOS は 1.35，CRT の MOS は 3.29 であったのに対し，提案手法の MOS は 4.01 であった．また正解
文の MOS は 4.42 であるため，提案手法によって生成された指示文は正解文に近い品質を達成したといえる．
6.4 Ablation Study
新規性である Transformer Embedder と再構成損失
が性能にどの程度影響を与えるか検証するため，英語の指示文について Ablation study を行った．検証は各手法につき 5 回学習およびテストを行い，表 4 にはその平均値および標準偏差を示した．TE は Transformer

Embedder，RL は再構成損失を表す．まず Transformer
Embedder の有無を比較すると，主要尺度である SPICEに関して Transformer Embedder なしのモデルは 45.3
であった一方で，Transformer Embedder ありのモデ
ルは 48.2 であった．従って，Transformer Embedder
は性能向上に寄与していることが分かった．また、再構成損失の有無を比較すると，SPICE に関して再構成
損失なしのモデルは 46.8 であった一方で，再構成損失ありのモデルは 48.2 であった．従って，再構成損失も同様に性能向上に寄与していることが分かった．

7.

結論

本論文では，対象物体および目標領域を含む画像から物体操作指示文を生成するタスクを扱った．提案手法の主要な貢献は以下に示す通りである．
• 英語および日本語の物体操作指示文を 1 モデルで生成する Bilingual CRT を提案した．
• Bilingual CRT では Transformer Embedder および再構成損失を新たに導入し，各評価尺度においてベースライン手法を上回る品質を達成した．
• 被験者実験において，人間の付与した指示文に近い品質の生成文を得られることを確認した．
謝辞
本研究の一部は，JSPS 科研費 20H04269，JST CREST，
JST ムーンショット型研究開発事業 JPMJMS2011，NEDOの助成を受けて実施されたものである．

参

考

文

献

[1] K. Motonari and S. Komei, “Case Relation Transformer:
A Crossmodal Language Generation Model for Fetching
Instructions,” IROS, 2021.
[2] A. Mogadala, et al., “Trends in integration of vision andlanguage research: A survey of tasks, datasets, and methods,” arXiv preprint arXiv:1907.09358, 2019.
[3] T.-Y. Lin, M. Maire, S. Belongie, J. Hays, P. Perona, D.
Ramanan, P. Dollár, and C.L. Zitnick, “Microsoft coco:
Common objects in context,” ECCV, pp.740–755, 2014.
[4] P. Young, et al., “From image descriptions to visual denotations: New similarity metrics for semantic inference over
event descriptions,” ACL, vol.2, pp.67–78, 2014.
[5] Y. Yoshikawa, Y. Shigeto, and A. Takeuchi, “Stair captions: Constructing a large-scale japanese image caption
dataset,” arXiv preprint arXiv:1705.00823, 2017.
[6] J. Hatori, Y. Kikuchi, S. Kobayashi, et al., “Interactively
picking real-world objects with unconstrained spoken language instructions,” ICRA, pp.3774–3781, 2018.
[7] A. Magassouba, K. Sugiura, and H. Kawai, “Multimodal
attention branch network for perspective-free sentence generation,” CoRL, pp.76–85, 2020.
[8] T. Ogura, et al., “Alleviating the burden of labeling: Sentence generation by attention branch encoder–decoder network,” IEEE RA-L, vol.5, no.4, pp.5945–5952, 2020.
[9] A. Magassouba, K. Sugiura, and H. Kawai, “A multimodal
target-source classiﬁer with attention branches to understand ambiguous instructions for fetching daily objects,”
IEEE RA-L, vol.5, no.2, pp.532–539, 2020.
[10] S. Herdade, A. Kappeler, K. Boakye, and J. Soares, “Image captioning: Transforming objects into words,” arXiv
preprint arXiv:1906.05963, 2019.
[11] P. Anderson, X. He, C. Buehler, et al., “Bottom-up andtop-down attention for image captioning and visual question answering,” CVPR, pp.6077–6086, 2018.
[12] K. He, X. Zhang, S. Ren, and J. Sun, “Deep residual learning for image recognition,” CVPR, pp.770–778, 2016.
[13] A. Vaswani, N. Shazeer, N. Parmar, et al., “Attention is
all you need,” arXiv preprint arXiv:1706.03762, 2017.