言語処理学会 第26回年次大会 発表論文集 (2020年3月)

自動運転車の対話的操作を実現するための自然言語の空間意味表現に基づくグラウンディング
大田原 菜々 †††1

塚原 裕史 ‡お茶の水女子大学

欅 惇志 ‡‡

小林 一郎 †

株式会社デンソーアイティーラボラトリ{g1420511, koba}@is.ocha.ac.jp, ‡ {htsukahara, akeyaki}@d-itlab.co.jp

はじめにEVENT(r=駐車して
l=PLACE(r=手前にl=PLACE(f=スペース
c=STATE(r=が停まっている
l=OBJ(f=白い車)))))

近年，自動運転の実用化に向けた活動が急速に進展しており, 既に一部の機能に特化はしているものの, 市

𝛾%

𝛾$

𝛾#

𝛾"

𝛾&場に投入された車種も存在する. しかし, 現状の自動運転車には, 例外的な交通状況に対する操作性にはま𝜙"だ解決しなくてはならない多くの課題が存在する. そラクション手段である発話によって対話的に運転指示現れる場所や物体などの言葉と, 実世界上の場所や物体を結び付ける技術が必要であると考えられる. このことを踏まえ, 本研究では, 自動運転車を対話的に操作するための, 自然言語と実世界空間のグラウンディング (対応付け) を行い, 運転指示に応じた行動を出力するモデルの構築を目指す.

2

𝜆$
スペース

𝜙&
𝜆%が停まっている𝜆&
白い車

確率伝搬法と呼ばれる手法を使用する. Tellex らの手法では, それぞれの環境と言葉の組み合わせを独立に扱い, それぞれの確率を最大にするような近似的な計算を行っていたため, グラフ全体の確率について必ずしも最大化されているとは限らなかった. 本研究では,確率伝搬法による近似を用いてグラフ全体の繋がりを考慮した周辺確率を計算し最大化を行う.

2.1

グラウンディングにおける推論

𝜆#
手前に

𝜙%

図 2: SDC と生成された G3を行えるようにすることで, システム側で認識が難し望まれる. この技術を実現するためには, 対話の中で𝜙$𝜆"駐車しての解決方法の一つとして, 誰にとっても身近なインタ

い例外的な交通状況が発生した場合に対処する技術が𝜙#グラウンディンググラフの生成

グラウンディンググラフは, SDC に変換された駐車図 1 に提案手法の概要を示す. 本研究では, Kol-指示から自動的に生成する. SDC の要素を前から順に

lar ら [1] により提案された SDC (Spatial Description
Clause) と呼ばれる空間関係を表すことが出来る意味構造に変換された運転指示と, 車に取り付けられたセンサーにより認識される環境表現を入力として与える. SDC の構造に基づいた確率的グラフィカルモデ
ルを生成し, 確率を計算することで, 自然言語と実世界空間のグラウンディングを行う. グラフィカルモデ
ルは, Tellex ら [2] により提案された G3 (GeneralizedGrounding Graph) を使用する. 図 2 に SDC とそのSDC から生成された G3 の例を示す.
なお, 運転指示から SDC への変換は, 稲子ら [3] による既存手法によるものとする. G3 の確率の計算は,見て行き, ルールに従って G3 を生成することで, SDCの階層的な構造を反映している.

2.2

グラフにおける素性の設定

素性は, 空間に関する素性と, 言語に関する素性をそれぞれ用意する. 空間に関する素性は, 因子ノードに接続する環境変数ノードの数と種類ごとに考える.
また, 空間については, 車と駐車場の間の具体的な距離のような定量的な素性と, 位置の順序関係のような定性的な素性の 2 種類を用意した. 言語に関する素性― 1269 ―Copyright(C) 2020 The Association for Natural Language Processing.
All Rights Reserved.

図 1: 提案手法概要
では, 辞書を人手で作り, 異なる表現ではあるが同じ

2.4

意味を表す言葉を吸収する.

重みパラメータの学習式 (6) で与えられる重み因子により G3 の周辺確率を計算し, 得られた周辺確率を用いてパラメータ θα,s2.3

確率伝搬法による周辺確率分布の計算の更新を行う.

Ψα (xα |θα ) = exp

確率伝搬法は, ノードからノードへメッセージを伝(∑)
θα,s ts (xα )(6)s

搬させることで, 観測されているノードの情報を元に,観測されていないノードの周辺確率を計算する手法でα は因子ノードを区別するインデックスである. パある [4]. Algorithm 1 が確率伝搬法のアルゴリズムでラメータの更新には, IPF アルゴリズム (Iterative Pro-ある.

portional Fitting Algorithm) [5] を用いる. 更新式は,式 (7) で与える.
(q)

Algorithm 1 確率伝搬アルゴリズム
1 メッセージの初期化

(q+1)
(q)
θα,s← θα,s+ η log

全てのメッセージを 1.0 に初期化する.
(0)

(0)

mα→i = 1, Γmi→α = 1(1)2 メッセージの計算
以下の式で, 因子ノードから確率変数ノードへのメッセージの伝搬 (2) と, 確率変数ノードから因子ノードへのメッセージの伝搬 (3) を行う.
∑∏
(t+1)
(t)
mα→i (xi ) ∝Ψα (xα )mj→α (xj )

(q)

(7)

pα (ts (xα )|θα ) + µ

ここで, p̂α (ts (xα )) は学習データから与えられる経(q)験分布, pα (ts (xα )|θα ) は, 確率伝搬法により与えられる, 因子の周辺分布である. µ は, パラメータがオーバーフローすることを防ぐ正則化項であり, この値を導入することで安定した学習を行うことが出来る. また, η は学習率であり, 1 から始まり, 学習が進むにつ(2)て減衰するよう設定をした.

j∈xα \ixα\i(t+1)

p̂α (ts (xα )) − µ(θα,s − 1)

mi→α (xi ) ∝∏(t)mβ→i (xi )

(3)

実験

3β∈∂i\α

3 周辺確率の計算収束したメッセージを m∗α→j として, 確率変数ノー

実験では, 駐車指示内に含まれる物体や位置と, 実環ドの周辺確率 (4) と因子ノードの周辺確率 (5) を以境に存在する物体の対応付けを行った. 素性は定性的下の式で計算する.
∏p(xi ) ∝m∗α→i (xi )な素性のみを用いた場合, 定量的な素性のみを用いた

α∋ip(xα ) ∝ Ψα (xα )∏m∗j→α (xj )(4)場合, 両方を用いた場合の 3 種類について結果を出した. また, 駐車指示から SDC への変換には稲子ら [3](5)の手法を用いた.

j∈xα3.1実験設定

対象データは, 環境データと SDC に変換した駐車指示の組み合わせを用いる. 環境データは, LiDAR で― 1270 ―Copyright(C) 2020 The Association for Natural Language Processing.
All Rights Reserved.

表 1: SDC の構造とグラウンディンググラフの例

IDSDC の例

グラウンディンググラフの例

1

EVENT(r=停めてください l=PLACE(r=の右隣数261
1000

りに l=OBJ(f=白いワゴン)))

2

EVENT(r=と め て116
1000

l=PLACE(r=の 手 前 にl=OBJ(f=白い大きな車 r=左側の)))

3

48
1000

EVENT(r=停めてください l=PLACE(r=一番手
前 に l=PLACE(r=の 右 側 l=OBJ(f=白 い 乗 用車))))

..
.

..
.

..
.

センシングされたデータを yaml ファイルで記述した..
.

度が高かった µ = 0.1 の結果を示す.

データである. 環境内には駐車場が 7 ヶ所, 車が 4 台あり, 2 台は駐車場に, 2 台は駐車場の正面の少し離れた場所に停まっている. 環境は合計 8 種類あり, うち3.2

SDC の解析4 種類は自車が駐車場の手前, 残りの 4 種類は自車が図 3 に SDC の構造の分布を示す. 横軸が SDC の構駐車場の正面にあり, 自車の座標を基準に駐車場や他造の ID, 縦軸がその ID の SDC が対象コーパスに現の車の座標や向きが表されている. 駐車指示データは,れた頻度である. 駐車指示を SDC に変換した際の構クラウドソーシングを用い, 100 人のクラウドワーカ

文のパターンは, 全部で 144 種類あった. 最も単純なに自車から見た環境データの写真を見せ, ある位置にID 1 の構造と, この OBJECT SDC に relation を追駐車したいときの駐車指示 1000 文を収集した. なお,加した ID 2 の構造の数を合わせると 377 であり, 1/3

今回の実験では, “左の白い軽自動車と、乗用車の真ん以上をこの 2 種類が占めていた. 本実験では, この 2中に停めて。両方の車から、一台分開けて” のような種類のグラウンディングの精度を計算している. また,駐車指示が 2 文以上にまたがる文は除外している. ま

表 1 は, それぞれの SDC の構造と, その SDC から生た, 駐車指示の視点について, “白いワゴンの (自分が成されるグラウンディンググラフを表している.

乗っている車から見て) 右隣に停めて” のように, 視点が自分の場合と, “白いワゴンの (白いワゴンから見て)右隣に停めて” のように, 視点が物体の場合の両方が3.3

結果と考察存在していた. 本実験では, 視点が自分の場合以外は

表 2, 3, 4 に, 学習を 5000 回行った際の結果を示す.

除外して計算を行っている. 更新式の正則化パラメー

表 2 は, 表 1 における ID 1 の SDC のみ, 表 3 は, ID 2タについては, 値を変えて複数回実験を行い, 最も精の SDC のみ, 表 4 は ID 1, 2 の SDC を使った場合の― 1271 ―Copyright(C) 2020 The Association for Natural Language Processing.
All Rights Reserved.

図 3: SDC の構造の分布

表 3: ID 2 のみ
allevent placeobject

組み合わせ

0.49

0.91

0.420.39

定性

0.49

0.91

0.30

0.24

定量

0.48

0.91

0.460.39

表 4: ID 1 と ID 2
allevent placeobject

組み合わせ

0.71

0.97

0.71

0.66

定性

0.56

0.97

0.54

0.42

定量

0.700.970.72

0.66

おわりに4精度である. それぞれの表の all は, 駐車指示に現れる

本研究では, 自動運転車を対話により操作すること全ての SDC に対するグラウンディングが正しい確率,を目的とし, 駐車シーンにおいて駐車指示を正しく理

event は駐車指示内の出来事に関するグラウンディン解し駐車場所を推定する手法を提案した. 今後は, グ

グ, place は場所に関するグラウンディング, object はラウンディングについて, 学習可能な SDC の構造を物体に関するグラウンディングが正しい確率を表して増やし, 様々な駐車指示に対応出来るようモデルを拡いる.

張したい. また, SDC を時間に依存する運転指示にもID 1 のみを用いた場合の精度については, 2 つの対応できるように, 時空間意味記述へ拡張し, 例えば素性を使った際は all で 79%と, 高い精度での推論が「後ろの車が来る前に, 隣のレーンに入って」のような行えていた. しかし, ID 2 については, 2 つの素性を動的な運転指示に対しても対応できるようにして行き使った際の all で 49%であり, ID 1 と比較し大幅にたい.

精度が下がってしまった. この理由として, ID 2 のSDC は, “EVENT(r=とめて l=PLACE(r=の手前にl=OBJ(f=白い大きな車 r=左側の)))” のように, 位置関係を表す言葉が 2 つ現れている. つまり, 視点を持ち込まなければならないような言葉が複数出てしまい,

参考文献[1] T.Kollar, S.Tellex, D.Roy, N.Roy:

Understanding Natural Language Directions,

位置関係が複雑になったため, ID 1 と比べ精度が下

ACM/IEEE Int. Conf. on Human-Robot Inter-がったということがある. また, ID 2 で計算を行ってaction (HRI), pp.259-266, 2010.

いる素性が環境表現の特徴を捉えておらず, 推論が正しく行えていない可能性も考えられる.

Toward[2] S.Tellex, T.Kollar, S.Dickerson, M.R.Walter,
A.G.Banerjee, S.Teller, N.Roy: Understanding

表 2: ID 1 のみ
allevent placeobject

組み合わせ

0.79

1.00.82

0.83

定性

0.61

1.00.66

0.73

定量

0.77

1.00.79

0.82

Natural Language Commands for Robotic Navigation and Mobile Manipulation, AAAI, 2011.
[3] A.Inago, H.Tsukahara, I.Kobayashi:

Parsing

Parking Instructions for Self-driving Cars into
Spatial Semantic Descriptions, ICICA, 2019[4] 渡辺 有祐:グラフィカルモデル, 講談社, 2016.
[5] J. N. Darroch and D. Ratcliﬀ, Generalized Iterative Scaling for Log-Linear Models, Ann. Math.
Statist. 43 (1972) 1470-1480.

― 1272 ―Copyright(C) 2020 The Association for Natural Language Processing.
All Rights Reserved.