言語処理学会 第26回年次大会 発表論文集 (2020年3月)

動作と言語のシンボルグラウンディングへの取り組み：
自動運転車の対話的操作を目指して小林 一郎
お茶の水女子大学 基幹研究院 自然科学系

koba@is.ocha.ac.jp

1

はじめに搬法により各ノードの確率値を計算することにより，自然言語と実世界空間のグラウンディングを行う. グ

本稿では，自然言語の意味を制御対象の動作へ結び

ラフィカルモデルは, Tellex ら [5] により提案された

つけるシンボルグラウンディングについて，株式会社

G3 (Generalized Grounding Graph) を使用する. G3には，車の操作も確率変数として含まれており，自然言語での発話から操作対象や目的場所の選択と同時に車の操作も選択される．
以下，各部の処理について概説する．

デンソーアイティラボラトリの塚原裕史氏，および，慶應義塾大学の大前学氏との共同研究である自動運転車の対話的操作に関する取り組み [10] を紹介する．

2

発話操作の概要
図 1 に我々が構築している自動運転車の発話操作手法の概要を示す.
システムに与えられる入力情報は，自動運転車の操作者による自然言語発話，および，自動運転車が自らのセンサーを用いて観測する環境情報となる．自然言語発話が与えられると，空間的意味カテゴリに基づく構文解析パーザにより，Kollar ら [2] により提案された SDC (Spatial Description Clause) と呼ばれる空間関係を表すことが出来る意味構造に変換される．その情報と車に取り付けられたセンサーにより認識される環境表現の対応関係を捉えるために，SDC の構造に

3

運転指示文の空間意味表現変換

3.1

空間意味表現を用いた構文解析

本 研 究 で は ，Combinatory

CategoricalGrammar(CCG)[4] に よ る 構 文 木 の 統 語 カ テ ゴ
リに相当する部分に，SDC の空間意味カテゴリを採用する．それらのカテゴリを文法規則とした CCG を用い，Shift-Reduce 法に基づくパーザを構築した [8].
図 2, 3 に「赤い車の隣に停めて」という駐車指示をSDC 木に変換した例と CCG による構文木に変換した例をそれぞれ示す.

基づいた確率的グラフィカルモデルを生成し，確率伝環境表現!

言語!

パーザ""#!

赤いバスの!
隣に停めて!
''-./0!"1234.

*駐車指示!

)*+(,!#!$%#%"(56(命令#&$%"!

%$

駐車場所＋経路を!
車に命令!

)'+*,

赤いバス の手前に 停めて 赤いバス の手前に 停めて&'1

停めて & 2 の手前に & $ 赤いバス'(

図 1: 自動運転車への発話操作の概要― 401 ―

Copyright(C) 2020 The Association for Natural Language Processing.
All Rights Reserved.

グラフ全体の確率について必ずしも最大化されているとは限らなかった. 本研究では, 確率伝搬法による近似を用いてグラフ全体の繋がりを考慮した周辺確率を計算し最大化を行う [3, 6].
図 2: SDC 木

E

グラウンディンググラフの生成

4.1

L

グラウンディンググラフは, SDC に変換された駐車L\O E\LO
赤い車 の隣に 停めて指示から自動的に生成する [7]. SDC の要素を前から順に見て行き, ルールに従って G3 を生成することで,SDC の階層的な構造を反映している.
図 3: SDC の意味カテゴリによる構文木

3.2!"!#$%&'()*+,'-./0!%&'123,'-./0!%4'5675
8'9$/$!%&':;<=+>?
,'@AB%4'C>)DDDDD

SDC 木への変換

パーザによって解析された木を SDC に変換におい'%'$'#'"て，深さ 1 の部分木ごとに行い，日本語の駐車指示'&コーパス [8] を参照して得たヒューリスティックな知識に基づいた変換規則を用いる [9, 1]. 図 4 は深さ 1 の構!"!#文木 L ( O (赤い車 the red car) (L\O) (の隣に next("to)) を SDC PLACE(r=の隣に next to l=OBJ(f= 赤!"#$!$(#%&'!%($()*(!&(%+,-.$/0(&1/"

い車 the red car)) に変換する例である.
図 5: 例：SDC と生成された G3!"#$%$&'$&()*+$&%\'+$&,-.++/

Yes/

0,12345678
9:;</No/

Yes/

No/0,12@9:;</Yes/

B/

4.2

B/

0,12=<>?</B/

素性は, 空間に関する素性と, 言語に関する素性をNo/

A23456789:;</Yes/

グラフにおける素性の設定それぞれ用意する. 空間に関する素性は, 因子ノード
No/

CDEF$G$&H$I+JKLMNMON@PI&GK+&QRIS$TRKLMNMON@PI&HK+$&URHS++/9!".VW/に接続する環境変数ノードの数と種類ごとに考える.

B/

言語に関する素性では, 辞書を人手で作り, 異なる表現ではあるが同じ意味を表す言葉を吸収する.

X%GIY$&QR-.$TR'HZ$&UR()*++/
9["/

図 4: 深さ 1 の部分木から SDC への変換の例

4.3

確率伝搬法による周辺確率分布の計算

確率伝搬法は, ノードからノードへメッセージを伝搬させることで, 観測されているノードの情報を元に,4確率伝搬法を用いたグラウンディング

観測されていないノードの周辺確率を計算する手法である [6]. Algorithm 1 が確率伝搬法のアルゴリズムである.

G3 の確率の計算は, 確率伝搬法と呼ばれる手法を使用する. Tellex らの手法 [5] では, それぞれの環境

4.4

重みパラメータの学習と言葉の組み合わせを独立に扱い, それを Conditional

Random Field を用いてモデル化し，部分グラフの確式 (6) で与えられる重み因子により G3 の周辺確率率を最大にするような近似的な計算を行っていたため,を計算し, 得られた周辺確率を用いてパラメータ θα,sの更新を行う.

― 402 ―

Copyright(C) 2020 The Association for Natural Language Processing.
All Rights Reserved.

Algorithm 1 確率伝搬アルゴリズム

ここで, p̂α (ts (xα )) は学習データから与えられる経(q)験分布, pα (ts (xα )|θα ) は, 確率伝搬法により与えら1 メッセージの初期化れる, 因子の周辺分布である. µ は, パラメータがオーメッセージの初期化バーフローすることを防ぐ正則化項であり, この値を全てのメッセージを 1.0 に初期化する.
(0)mα→i = 1,(0)mi→α = 1(1)

導入することで安定した学習を行うことが出来る. また, η は学習率である.

2 メッセージの計算
以下の式で, 因子ノードから確率変数ノードへの子ノードへのメッセージの伝搬 (3) を行う.
∑∏
(t+1)
(t)
mα→i (xi ) ∝Ψα (xα )mj→α (xj ) (2)j∈xα \ixα\i(t+1)

mi→α (xi ) ∝∏(t)mβ→i (xi )(3)β∈∂i\α実験

5

メッセージの伝搬 (2) と, 確率変数ノードから因実験では, 駐車指示内に含まれる物体や位置と, 実環境に存在する物体の対応付けを行った. 素性は定性的な素性のみを用いた場合, 定量的な素性のみを用いた場合, 両方を用いた場合の 3 種類について結果を出した.
図 6 に示す実験結果では, 縦軸が精度, 横軸が学習回

3 周辺確率の計算収束したメッセージを m∗α→j として, 確率変数数である. 色がそれぞれの素性についての結果を表していて, マゼンタが定量的な素性のみ, 黄色が定性的ノードの周辺確率 (4) と因子ノードの周辺確率な素性のみ, シアンが定量的な素性と定性的な素性を(5) を以下の式で計算する∏ .
p(xi ) ∝m∗α→i (xi )用いた場合である. また, all は駐車指示内の全てのグ

α∋ip(xα ) ∝ Ψα (xα )∏(4)m∗j→α (xj )

(5)

j∈xα

ラウンディングが正しい場合の精度, place は場所 (駐車位置) に関するグラウンディングが正しい場合の精度, object は物体 (車) に関するグラウンディングが正しい場合の精度である. 精度においては両方の素性を

Ψα (xα |θα ) = exp(∑

組み合わせた場合が最も正解率が高く, 次に高かった)
θα,s ts (xα )(6)sα は因子ノードを区別するインデックスである. パラメータの更新には, IPF アルゴリズム (Iterative Pro-portional Fitting Algorithm) を用いる. 更新式は, 式(7) で与える.
(q)p̂α (ts (xα )) − µ(θα,s − 1)
(q+1)
(q)
θα,s← θα,s+ η log(q)pα (ts (xα )|θα ) + µのが定量的な素性を用いた場合であった．定性的な素性を用いた場合が最も低くかった．定性的な素性だけを用いた学習で, 正解率が下がってしまった原因は, 素性の数が少ないことが挙げられる. 定量的な素性では,細かい位置の違いまで区別することが可能だが, 定性的な素性では順序関係を求めるだけであるので, 実世界の特徴を捉えるための情報が不足していたと考えら

(7)

れる.

図 6: 言語指示におけるグラウンディングの実験結果（縦軸：精度；横軸：学習回数）― 403 ―

Copyright(C) 2020 The Association for Natural Language Processing.
All Rights Reserved.

6

おわりに
本稿において，動作と言語におけるシンボルグラウンディングの取り組みを自動運転車への対話的操作を例に示した．表現学習が可能になったことで，複数のモダリティの対応関係をとることが容易になった．しかし，その対応関係に対する明確なメカニズムに対する解析は難しく，かつ，確実であるという保証がない．
本稿で紹介した手法は，統計的機械学習の手法を基礎とし，グラウンディングのメカニズムが明確であるものを紹介した．

[7] 大田原菜々, 塚原裕史, 小林一郎. 自動運転の対話的操作を実現するための自然言語の空間意味表現に基づ
くグラウンディンググラフの生成. 日本知能情報ファジィ学会 ファジィ システム シンポジウム 講演論文集,Vol. 34, pp. 446–449, 2018.
[8] 稲子明里, 塚原裕史, 小林一郎. 自動運転の言葉による指示を対象にした空間的意味表現の構造化への取り組
み. 人工知能学会全国大会論文集, Vol. JSAI2017, .
[9] 稲子明里, 塚原裕史, 小林一郎. 自動運転の駐車指示を対象にした空間的意味記述の生成への取り組み. 人工知能学会全国大会論文集, Vol. JSAI2018, .
[10] 塚原裕史, 日垣博考, 大前学, 大田原菜々, 稲子明里, 小林一郎. 音声によって運転指示可能な自動運転車両の開発. 人工知能学会全国大会論文集, Vol. JSAI2018, .

謝辞
本稿における研究内容は，（株）デンソーアイティ
ラボラトリの塚原裕史氏，慶應義塾大学の大前学先生との共同研究の成果であり，共同研究に関わってくださった大田原菜々さん，稲子明里さん，日垣博考さん，他皆様に感謝申し上げます．

参考文献[1] Akari Inago, Hiroshi Tsukahara, and Ichiro
Kobayashi. Parsing parking instructions for selfdriving cars into spatial semantic descriptions. he8th International Conference on Intellignet Computing and Applications, 2019.
[2] Thomas Kollar, Stefanie Tellex, Deb Roy, andNicholas Roy. Toward understanding natural language directions. In HRI ’10: Proceedings of the 5th
ACM/IEEE international conference on Humanrobot interaction, pp. 259—-266, 3 2010.
[3] Nana Otawara,Hiroshi Tsukahara,
IchiroKobayashi, and Atsushi Keyaki.
Understanding natural language parking instructions andgrounding for self-driving cars. NeuralPS 2019
Workshop: Machine Learning for AutonomousDriving, 2019.
[4] Mark Steedman. The Syntactic Process. MIT Press.
[5] Stefanie Tellex, Thomas Kollar, Steven Dickerson, Matthew R. Walter, Ashish G. Banerjee, SethTeller, and Nicholas Roy. Understanding naturallanguage commands for robotic navigation and mobile manipulation. In Proceedings of the National
Conference on Artificial Intelligence (AAAI), pp.
1507–1514, San Francisco, CA, 8 2011.
[6] 大田原菜々, 塚原裕史, 小林一郎. 自動運転の対話的操作を実現するための自然言語の実環境へのグラウンディング. 人工知能学会全国大会論文集, Vol. JSAI2019, .

― 404 ―

Copyright(C) 2020 The Association for Natural Language Processing.
All Rights Reserved.