自動運転車の対話的操作を実現するための自然言語の空間意味表現に基づくグラウンディング
理学専攻・情報科学コース

1

大田原 菜々 (指導教員：小林 一郎)

はじめにEVENT(r=駐車してl=PLACE(r=手前にl=PLACE(f=スペース
c=STATE(r=が停まっている
l=OBJ(f=白い車)))))

近年，自動運転の実用化に向けた活動が急速に進展しており, 既に一部の機能に特化はしているものの, 市場に投入された車種も存在する. しかし, 現状の自動運転車には, 例外的な交通状況に対する操作性にはまだ解決しなくてはならない多くの課題が存在する. その解決方法の一つとして, 誰にとっても身近なインタラクション手段である発話によって対話的に運転指示を行えるようにすることで, システム側で認識が難しい例外的な交通状況が発生した場合に対処する技術が望まれる. この技術を実現するためには, 対話の中で現れる場所や物体などの言葉と, 実世界上の場所や物体を結び付ける技術が必要であると考えられる. このことを踏まえ, 本研究では, 自動運転車を対話的に操作するための, 自然言語と実世界空間のグラウンディング (対応付け) を行い, 運転指示に応じた行動を出力するモデルの構築を目指す.

2

確率伝搬法を用いたグラウンディング

2.1

提案手法概要

𝜙"

𝜙#

𝜙$
𝜆#

𝜆"
駐車して手前に𝛾%

𝛾$

𝛾#

𝛾"

𝜙%
𝜆$

𝛾&

𝜙&
𝜆%

スペースが停まっている𝜆&
白い車

図 2: SDC と生成された G3

2.2

グラウンディンググラフの生成

グラウンディンググラフは, SDC に変換された駐車指示から自動的に生成する. SDC の要素を前から順に見て行き, ルールに従って G3 を生成することで, SDCの階層的な構造を反映している.

2.3

グラフにおける素性の設定

素性は, 空間に関する素性と, 言語に関する素性をそれぞれ用意する. 空間に関する素性は, 因子ノードに接続する環境変数ノードの数と種類ごとに考える. 言語に関する素性では, 辞書を人手で作り, 異なる表現ではあるが同じ意味を表す言葉を吸収する.

図 1 に提案手法概要を示す. 本研究では, Kollar ら [1]により提案された SDC (Spatial Description Clause)と呼ばれる空間関係を表すことが出来る意味構造に変換された運転指示と, 車に取り付けられたセンサーにより認識される環境表現を入力として与える. SDC の構造に基づいた確率的グラフィカルモデルを生成し,確率を計算することで, 自然言語と実世界空間のグラウンディングを行う. グラフィカルモデルは, Tellex
ら [2] により提案された G3 (Generalized GroundingGraph) を使用する. 図 2 に SDC とその SDC から生成された G3 の例を示す.
なお, 運転指示から SDC への変換は, 稲子ら [3] による既存手法によるものとする. G3 の確率の計算は,確率伝搬法と呼ばれる手法を使用する. Tellex らの手法では, それぞれの環境と言葉の組み合わせを独立に扱い, それぞれの確率を最大にするような近似的な計算を行っていたため, グラフ全体の確率について必ずしも最大化されているとは限らなかった. 本研究では,確率伝搬法による近似を用いてグラフ全体の繋がりを考慮した周辺確率を計算し最大化を行う.

2.4

確率伝搬法による周辺確率分布の計算

確率伝搬法は, ノードからノードへメッセージを伝搬させることで, 観測されているノードの情報を元に,観測されていないノードの周辺確率を計算する手法である [4]. Algorithm 1 が確率伝搬法のアルゴリズムである.

2.5

重みパラメータの学習式 (6) で与えられる重み因子により G3 の周辺確率を計算し, 得られた周辺確率を用いてパラメータ θα,sの更新を行う.
()∑Ψα (xα |θα ) = exp
θα,s ts (xα )(6)sα は因子ノードを区別するインデックスである. パラ
メータの更新には, IPF アルゴリズム (Iterative Proportional Fitting Algorithm) を用いる. 更新式は, 式

図 1: 提案手法概要

1

数回実験を行い, 最も精度が高かった µ = 0.1 の結果を示す.

Algorithm 1 確率伝搬アルゴリズム
1 メッセージの初期化
全てのメッセージを 1.0 に初期化する.
(0)mα→i = 1,(0)
mi→α = 1

3.2(1)

2 メッセージの計算
以下の式で, 因子ノードから確率変数ノードへのメッセージの伝搬 (2) と, 確率変数ノードから因子ノードへのメッセージの伝搬 (3) を行う.
∑∏
(t+1)
(t)
mα→i (xi ) ∝Ψα (xα )mj→α (xj )
(t+1)

(2)

j∈xα \ixα\imi→α (xi ) ∝∏(t)mβ→i (xi )(3)β∈∂i\α3 周辺確率の計算収束したメッセージを m∗α→j として, 確率変数ノードの周辺確率 (4) と因子ノードの周辺確率 (5) を以下の式で計算する.
∏p(xi ) ∝m∗α→i (xi )α∋ip(xα ) ∝ Ψα (xα )∏(4)m∗j→α (xj )実験結果と考察

図 3 に示す実験結果では, 縦軸が精度, 横軸が学習回数である. 色がそれぞれの素性についての結果を表していて, マゼンタが定量的な素性のみ, 黄色が定性的な素性のみ, シアンが定量的な素性と定性的な素性を用いた場合である. また, all は駐車指示内の全てのグラウンディングが正しい場合の精度, place は場所 (駐車位置) に関するグラウンディングが正しい場合の精度, object は物体 (車) に関するグラウンディングが正しい場合の精度である.
学習の最後の 5000 ステップ目では, 両方の素性を組み合わせた場合が最も正解率が高く, all で 79.2%であった. 次に高かったのが定量的な素性を用いた場合で, all で 77.2%, 定性的な素性を用いた場合が最も低く, 60.5%だった. 定性的な素性だけを用いた学習で,正解率が 15%以上下がってしまった原因は, 素性の数が少ないことが挙げられる. 定量的な素性では, 細かい位置の違いまで区別することが可能だが, 定性的な素性では順序関係を求めるだけであるので, 実世界の特徴を捉えるための情報が不足していたと考えられる.

(5)j∈xα(7) で与える.
(q)

(q+1)
(q)
θα,s← θα,s+ η logp̂α (ts (xα )) − µ(θα,s − 1)
(q)

(7)

pα (ts (xα )|θα ) + µ

ここで, p̂α (ts (xα )) は学習データから与えられる経(q)験分布, pα (ts (xα )|θα ) は, 確率伝搬法により与えられる, 因子の周辺分布である. µ は, パラメータがオーバーフローすることを防ぐ正則化項であり, この値を導入することで安定した学習を行うことが出来る. また, η は学習率である.

3

図 3: 実験結果

4

本研究では, 自動運転車を対話により操作することを目的とし, 駐車シーンにおいて駐車指示を正しく理解し駐車場所を推定する手法を提案した. 今後は, グラ
ウンディングについて, 学習可能な SDC の構造を増やし, 様々な駐車指示に対応出来るようモデルを拡張したい. また, SDC を時間に依存する運転指示にも対応できるように, 時空間意味記述へ拡張し, 例えば「後ろの車が来る前に, 隣のレーンに入って」のような動的な運転指示に対しても対応できるようにして行きたい.

実験

実験では, 駐車指示内に含まれる物体や位置と, 実環境に存在する物体の対応付けを行った. 素性は定性的な素性のみを用いた場合, 定量的な素性のみを用いた場合, 両方を用いた場合の 3 種類について結果を出した.

3.1おわりに実験設定

参考文献

対象データは, 環境データと SDC に変換した駐車指示の組み合わせを用いる. 環境データは, LiDAR でセンシングされたデータを yaml ファイルで記述したデータである. 環境内には駐車場が 7ヶ所, 車が 4 台あり, 2台は駐車場に, 2 台は駐車場の正面の少し離れた場所に停まっている. 環境は合計 8 種類あり, うち 4 種類は自車が駐車場の手前, 残りの 4 種類は自車が駐車場の正面にあり, 自車の座標を基準に駐車場や他の車の座標や向きが表されている. 駐車指示データは, クラウドソーシングを用い, 100 人のクラウドワーカに自車から見た環境データの写真を見せ, ある位置に駐車したいときの駐車指示を収集した. 今回, “EVENT(r=停めて l=PLACE(r=の手前に l=OBJECT(f=白い車)))”のような, 単純な形の SDC に限定し実験を行なった.
更新式の正則化パラメータについては, 値を変えて複[1] T.Kollar, S.Tellex, D.Roy, N.Roy: Toward Understanding
Natural Language Directions, ACM/IEEE Int. Conf. on
Human-Robot Interaction (HRI), pp.259-266, 2010.
[2] S.Tellex,T.Kollar,
S.Dickerson,
M.R.Walter,
A.G.Banerjee, S.Teller, N.Roy: Understanding Natural Language Commands for Robotic Navigation andMobile Manipulation, AAAI, 2011.
[3] 稲子 明里, 塚原 裕史, 小林 一郎: Parsing Parking Instructions for Self-driving Cars into Spatial Semantic Descriptions, ICICA, 2019[4] 渡辺 有祐:グラフィカルモデル, 講談社, 2016.

2