日本ロボット学会誌 Vol. xx No. xx, pp.1〜6, 2021

解

1

説

ロボティクスと自然言語処理
Natural Language Processing in Robotics

持 橋
Daichi Mochihashi∗

∗

大

地∗

∗

統計数理研究所

The Institute of Statistical Mathematics

1. は じ め に
筆者は自然言語処理の研究者であるが, 2014 年頃から, 科
研費基盤 (B)「潜在意味空間において感覚情報を言語化し言語的思考を行うロボットの実現」の分担者, 2018 年から同基盤 (B) 「運動の統計的理解と動力学に基づく適応的確率ロボティクス」の代表者として, 本特集の執筆者でもある
知能ロボティクスの研究者と共同研究を行ってきた. そうした中で, ロボティクスの国際会議である IROS に参加したり [1] [2], 機会をいただいて 2019 年の CoRL ではチュー
トリアルを行ったりしている [3].
まずは運動の制御といった物理面が重要なロボティクス
ではあるが, 今後はロボティクスの物理的側面が成熟するのに伴い, その上で動く情報処理がより重要になってくると考えられる. 特に, ロボットが人間と共生して動作することを考える場合, ロボットとの相互の情報伝達の手段としては, 複雑で構造的な知識を伝えることのできる自然言語によらざるを得ない. ゆえに, ロボットにどのように自然図 1 自然言語処理のトップ国際会議の 1 つである, NAACL
2019 における言語ロボティクスと空間認識のワークショッ
プ SpLU-RoboNLP 2019 のホームページ.

実際に, 2017 年の ACL ではワークショップとして “Language Grounding for Robotics” † が企画されており, それを受けて 2019 年には図 1 のように NAACL においてSpLU-RoboNLP 2019 (Spatial Language Understanding & Grounded Communication for Robotics) †† が開催されて, それぞれ 13 本, 9 本の論文が採録されている††† .

言語を理解させるのか (人間→ロボット, 言語理解), およびこうしてロボティクスにおいても自然言語処理の重要性

ロボットが自分の状態や意図をどのように人間に伝えるのが増し, また言語処理側でもロボット上での言語処理が視か (ロボット→人間, 言語生成) の問題は今後ますます重要

野に入り始めていることから, 谷口 (立命館大) と筆者らは性を増すと考えられる. そこで本稿では, 一般のロボティク

2018 年に計測自動制御学会の研究会として LangRobo 研
究会‡ を立ち上げ, 6 回にわたって研究会を開いて, 言語ロ
ボティクスに関する議論を重ねてきた. この議論の内容は,2019 年 2 月に開かれた NII 湘南会議 “Learning to communicate: Challenges in language learning by AI, robots
and humans” を経て, 幹事団を中心としたロボティクス,
自然言語処理, 言語学にわたるメンバー (谷口忠大 (立命館), 持橋大地 (統数研), 長井隆行 (電通大), 中村友昭 (電通大), 萩原良信 (立命館), 小林一郎 (お茶大), 内田諭 (九大),稲邑哲也 (NII), 井之上直也 (東北大), 岩橋直人 (岡山県立大)) によって今後のロボティクスに必要となる自然言語処
理の展望をまとめたサーベイ論文 “Survey on frontiers on
language and robotics” として, Advanced Robotics 誌に掲載されている [4]. 本稿でふれることのできない様々な話
題については, この論文を参照されたい.

ス研究者・技術者に向けて, ロボティクスに関係する自然言語処理の概観, 現状および課題を, 筆者の共同研究の成果を交じえつつ紹介する.

2. 自然言語処理とロボティクス
自然言語処理は計算言語学ともいわれる. コンピュー
タサイエンスの一分野であるため, ジャーナルより国際会
議の論文が大きな意味を持つ分野であるが, トップ国際会
議である ACL (Association of Computational Linguis-tics) では, 最近になって論文の投稿エリアとして「ロボティクス」が明示されるようになっている. 例えば, 最近の
ACL-IJCNLP 2021 においては, “Language Grounding
to Vision, Robotics and Beyond” が存在しており, 論文の査読はこのエリアの中で行われるため, ロボティクスとの接続は明確に重要なエリアとして認識されているといえる.
原稿受付
キーワード：natural language processing, unsupervised learning, logical form, segmentation∗ 〒190-8562 東京都立川市緑町 10-3
∗ 10-3 Midori-cho, Tachikawa City, Tokyo 190-8562

日本ロボット学会誌 xx 巻 xx 号

—1—

ニューラルネットが全盛の現在, 自然言語処理を用いる† https://robo-nlp.github.io/2017_index.html†† https://splu-robonlp.github.io/††† https://www.aclweb.org/anthology/venues/robonlp/‡ http://www.emergent-symbol.systems/home

2021 年 xx 月vironmgoal loWalk straight passed bathtub and stopwith closet on the left and toilet on thewith thright.
2
era atロボティクスは End-to-End のニューラルネットを組むこWe thとで, 与えられた目的を最適化する研究が多い. しかし, こrobot c
うしたアプローチには特有の限界もあると考えられる. そこで以下では, そうした現在の多くのアプローチとその問
start lo
題点について述べ, 適切な知識表現によってそれらを解決
necessする研究について紹介する. また, そうした方法の基礎とな
reach t
りうる筆者の共同研究について説明し, 今後の展望を議論する.
The
Exit the office then turn left and thenGo up the stairs and turn right. Go past
turn left in the hallway and head down
the bathroom and stop next to the bed.
3. End-to-End 言語ロボティクスとその限界
pleme
the hallway until you get to a door on
your left and go into office 359 thenWalk all the way up the stairs, andexperi
言語ロボティクス研究で日本で最近最も話題になったの
stop.
immediately turn right. Pass theは, 2018 年の CEATEC に出展された, PFN 社の全自動
bathroom on the left, and enter thescreenGo outthe room and take a left. Go
bedroom that is right there, and stop
. of
この基礎となる技術とし片付けロボット† だと思われる
Over 4
into, 乱雑な箱の中から特定の物体
the first room on your left.
there.
て, [5] では図 2(a) のように
図 3 VLN のデータセットにおける自然言語による指示 (一部) tributin
を指示された場所に移動することを目的としロボットがLeave the office and, takea left. Take
Walk up the stairs turn right at the top
Enter house through double doors,
continue straight across dining room, turnleft into bar and stop on the circle on the
ground.
持 橋 大 地

toilet doorways.

と, 初期位置からの画像の例. [7] による.
指示が曖昧な場合などに適宜人間に聞き返しながらタスク
the next left at the hallway. Walk down
and walk through the doorway continue
なお
,
2019
年になって杉浦ら[6] はthe, 言語情報と画像情報に
the
hall
and
enter
the
first
officeonthestraight
and stop inside
bedroom.
を遂行する. 学習アーキテクチャは図 2(b) のように完全にleft. Stop next to the door to office 359.
同時に張ったアテンションを駆使することで, [5] よりさら

ニューラルネットで組まれており, 指示発話を音声認識し4.3. Rに高い精度を達成し, アテンションによってどの情報に注

In t
an ave(three per trajectory) shown with the view from the starting pose.
PFN 社はその後上に述べた, 実際に空間を動き回って片付 than v“move the rectangular object, with a green andけを行うロボットの研究を行っている. また, Anderson ら
white label, located in the middle of the top
tions rは Vision-and-Language Navigation (VLN) を 2018 年に
right box, to the top left box.”
3 のようにシミュレータの仮想空間上でtion a leading to a new提案しpose[7],s図t+1= hvt+1 , t+1 , ✓t+1 i, , 時々 the foのように, かなり長い指示文†† tでも適切に解析して, 正刻々得られる画像情報を用いて自然言語で与えられた経路 is relaand generating a new .image
observation ot+1 . The episode
しい物体を目的の場所に移動できたことが報告されているを探索し, 実行するタスクを提案した. この場合の Room(approends when the agent selects
the special
stop action,
which
to Room(R2R)
タスクにおいては, 自然言語で与えられた
trated
指示に従い, 初期位置から, ある部屋に移動することがタス
is augmented to the simulator
actionspace
defined in Secクとなる. ロボットは指示文を LSTM に基づく seq2seq に abstraction 3.2.2. The task is successfullycompleted if the action
よって行動系列に書き換えつつ, 強化学習によって現実に
sequence delivers the agent
close to an intended
goal loca- , differe
近い環境の中で経路を探索する. このタスクの登場によりrobot’
自然言語処理の分野でもtion v ⇤ (refer to Section 4.4
for evaluation, 音声認識のように逆に発話を生details).
成する確率を利用したり [8], 簡単なタスクから人間のよう an imp(a) 箱の物体移動タスク. ここでは, 赤で囲まれた物体をに少しずつ学習したり [9] といった研究が進みつつある.
4.2. Data Collection
右上の場所に移動することが自然言語で指示される.
gationこうした
End-to-Endの方法は与えられたタスクにおいwhich does not
Figuresets of vocabuTo generate navigation
data, we use theMatterport3Dて高い精度を発揮できるが, 一方で多くの場合は指示文にining the object
with th, ドメイン外の場合には対応
対する正解の動作を必要としregion annotations to sample
start pose s0 andgoal location
ules, our model
することができない.
また,明確な制約がある場合,
あるいen object names
son whv ⇤ pairs that are (predominantly)
in different rooms. For
ssions referring
は眼前の画像を超えた論理的推論が必要な場合に対応でき
exture, size, or
latorseach pair, we find the shortest
path v .: たとえばv ⇤ in, 家庭用ロボットにおいて
the relevant
ないという問題がある
た結果は LSTM と後段のニューラルネットをブラックボッ

目しているかも分かる方法を提案した.
Figure4. Randomly
selectedexamples of navigation instructions
クスとして最適化することで, 完全に
End-to-End で動作
これらは決まった視点からの画像による研究であるが,することが特徴である. 論文では

given as text or
the instruction
destination) is

nstruction using(only for speech0weighted, undirected navigation graph G, discarding paths
で」といった指示は多くみられると考えられるが, こうし 4.4. E
that are shorter than 5m,た論理的な制約をand paths ,that
contain less than言語に対して何の事前知識も持たない
four or more than six edges.
In total
we sample 7,189 paths
One
End-to-Endなシステムが勝手に認識して必ず制約を守る
Fig. End-to-End
2: Overview of
the neural network architecture. The image.
(b)のニューラルネットによるアーキテクチャ
input from our vision system is split into copped images
ように動作することは期待できない.
このほか,
capturing most of the visual diversity in the dataset. The
to manusing SSD, which are then fed into CNN to extract image
図 2 PFN社の, 言語的指示による片付けロボット [5].
• 「その人」など代名詞を含む文
features. Image and text features extracted from the vision
path
lengthas illustrated in Figure 5.
tioning
and text (speech) average
input are fed into
the target
object is 10m,
• 「きのう会った人に渡しておいて」のように埋め込み
detection module, while only the text feature is fed intoFor
each path, we collect文を持つ関係節
three associated navigation indefine
the destination box selection
model.
https://projects.preferred.jp/tidying-up-robot/
こうした指示文は長いが, 代名詞や解釈が状況に依存する動詞な•「一番小さいコップに入れて持ってきて」といった論
structions using Amazon Mechanical
Turk (AMT). To thisnaviga
どを含んでおらず, 曖昧性が非常に低い表現であることには注意「絶対に動かさないように運んで」「あの部屋は掃除しない

an image taken
sed detector.
encoder model †e image (within ††sifier that takess input.
be ambiguous,or and ask forする必要がある. model [6], but we have additionally madeexpression
listenera modification to support zero-shot recognition of unseen
objects.
The xxtargetrecognition is formulated as a task to find
JRSJ Vol.
No.objectxx
the best bounding box b̂ from a set of predicted boundingn the following boxes B = {b }, given an instruction q and the entire imageifrom a view I. As shown in Figure 2, the image is first

理操作

—2—

xx, 2021

Thomason, Padmakumar, Sinapov, Walker, Jiang, Yedidsion, Hart, Stone, Mooney
ロボティクスと自然言語処理

3

NP : the( x.(office(x) ^ owns(alice, x)))
NP/N : P.(the( x.(P (x) ^ owns(alice, x))))N : office

NP : alice (NP/N)\NP : y. P.(the( x.(P (x) ^ owns(y, x))))Alice

office’s2:による
A CCG-driven-calculus
parse ofthe expression
Alice’s office.
図 Figure
4 CCG“Alice’s oﬃce”の構文解析と, 対応するλ 式. これにより, どちらも名詞である Alice と oﬃce が, 意味的にどのような関係にあるかが明示されている. ここでは NP と N を区別しているが, 一般には必ずしもその必要はない.
withonly the semantic form (Liang, Jordan, & Klein,2011). Some works incorporateon-日本では, 戸次
も, End-to-Endなシステムが自動的に認識してくれるわけのように解析することが可能になる[10].

tology matching (Kwiatkowski, Choi, Artzi, & Zettlemoyer, 2013); instead we have an openらによる ccg2lambda というシステム [12] が最もよく知ら
domain of predicates and closed domain of objects (A.5).
こうした意味で, 言語の構造的認識はこれからのロボティれている.
Annotating natural language with semantic forms is an expensive human e↵ort. Conseクスには不可欠となると考えられる. こうしたアプローチ
もちろん, 実際にはどの単語がどんな λ 式を持つのかがquently, some work has focused on overcoming data sparsity during training. For example,
はニューラルネットを作ることに比べて難しいため比較的全て分かっているわけではないから最小限の構文解析結
identifying incorrect parses using unskilled annotators enables active learning to, rectify, 本稿ではそのう
数が少ないが,mistakes
様々な研究が行われており( [10] では
44 個の指示文と式のペア) から始め, 感覚
using domain experts(Iyer, Konstas,果Cheung,
Krishnamurthy,& λZettlemoyer,2017). Other 2work
directly queries .human users情報を同時に用いて
to resolve ambiguities(He, Michael, Lewis,
ち構文および時間に関するつの研究を紹介する, 最も確率の高い構文解析結果と, λ式& Zettlemoyer, 2016b) or induces training examples
automaticallyfromexisting
conversaによる表現, および λ 式の変数がどの物体に対応している
data (Artzi & Zettlemoyer, 2011).
4. tional
構造的言語処理とロボティクス
かを自動的に学習し, 知識を増やしていく. 図 5 では, “theIn our past work, we built on these ideas togathertraining
examples for a semantic
heavy
mug”
という表現がどのようなλ 式で表されるのか
4. 1 CCGparser
による論理表現とロボット
from human-robot dialog (Thomason et al., 2015). Here, we train a parser using(heavy を無視したり, mug が形容詞である可能性もある)
Thomason examples
ら [10] は, induced
CCG (Combinatory
Categorialfrom human-robot
conversations under the assumption that users are
を探索し, the(λxi .(and(heavy(x),cooperative (A.3 )and
A.4). We extend this dialog
strategy
to additionallylearn mug(x))))language という λ 式
Grammar, 組み合わせ範疇文法
によってロボットとの対の表現を得ている
.
なお
,
the
とは
,
条件を満たす唯一の実
grounding in robot perception.
話文を感覚情報とグラウンディングしつつ構文解析し,さ体を返す関数であり, ここではその実体が物体 o1 である確らに対話によって知識を動的に更新してタスクを実行する
率が 0.018, o である確率が 0.982 と計算され, 結果として方法を示した.2.3 Language Grounding with Machine Perception 2
この λ 式全体が物体 o と結び付けられている.
CCG [11] は文法のフォーマリズムの一つでありCFGthe blue cup) to an object 2referent in the world
Mapping from a referring expression, (e.g.,
上記の実行にあたり, heavy(o1 ) などの述語が成り立つ(句構造文法) のように
, NP(名詞句
VP(動詞句), PP(problem
前is an exampleof the) や
symbolgrounding(Harnad, 1990). Symbol grounding
con確率は, 物体を操作した際の視覚, 触覚, 音情報からこれま
nectsinternal
representationsof
informationinamachinetoworld
knowledge
andsensory
置詞句) といった先験的なカテゴリを仮定しないのが特徴
での認識結果を正例として
SVM で識別器を学習し, 内部
perception. GroundedlanguageS(learning
symbols with natural language.
である. かわりにカテゴリとしては, 基本的に文) や N(bridges
名で使用している[13].
Early work coupledvisionwith のような
speech descriptions of objects to learn grounded seman詞) といった自明なものしかなく, たとえばheavy
tics (Roy & Pentland, 2002). Many approaches learn perceptual classifiers for words given
形容詞は後ろに box のような名詞をとって全体で “heavy, 可能な物体の集合が与えられている, 述語のsome pairing of human descriptions and labeled このように
visual scenes(A. Lazaridou & Baroni.,box” という名詞の働きをするため,
N/Nと表される. また,
λ式の一部が既知である
(’s
や
the
など
)
といった制限はあ2014; Sun, Bo, & Fox, 2013). Some approaches additionally incorporate language modelingread のような他動詞は後に
books
N をとり
,
or semantics into
theのような名詞
learning phase(Fahnestock,
Patki,& Howard, のブラックボックスではなく2019; Paxton, Bisk,
るものの, End-to-End, 確率
これによって次に前に主語となる名詞がくれば文になるShih, 的に不確実性も考慮しつつ
Thomason, Byravan, & Fox, 2019;S Bisk,
Choi, & Marcu, 2018; Pillai&
Matuszek,, ロボットが内部で明示的に意
2018; FitzGerald,& Zettlemoyer,
2013; 味解析を行う研究も進みつつある
Krishnamurthy & Kollar, 2013; .Zitnick& , 固定され動詞節 S\N となるため, (S\N)/NArtzi,
と表される
.
これにより
Parikh,2013;
Matuszek,
FitzGerald,
Zettlemoyer,
Bo,
&
Fox,
2012a).
In
thisarticle,our
このように, 「何かの言葉を前後にとって何かになる」とた行動を事前に End-to-End で学んでおくだけでなく, ロ
agent learns perceptual classifiers given pairings of referring expressions (induced from clariいう操作は関数適用とみなすことができ, 図 4 のように,ボットが自ら何が不明であるのか人間に聞きfication dialogs) and object referents, together withlabels between individual concept words , 自らの知識“’s” のような言葉に
λ式を結びつけておけば,全体の意味. なお, こうした知能の(e.g., blue) and objects obtained through activeを動的に増やすことが可能になる
learning during dialog.
表現は構文解析と同時に λ 式を関数適用する (β 簡約する)枠組みは, 日本において岩橋・杉浦らが 2006 年に発表したことによって求められる. このようにして, CCG を用いれ 332 LCore [14] [15] と類似しており, 本稿で説明した研究は, そPadmakumar, Sinapov, Walker, Jiang, Yedidsion, Hart, Stone, Mooney
ば, 構文解析と意味解析を自然に結びつけられるという点 Thomason,
れを最先端の確率的なCCG や Active learning といったが最も大きな特徴である. 図 4 に, “Alice’s oﬃce” に対応技術を用いて言い換えたものと考えることもできる.
する CCG の構文解析木と, その λ 式を示した. こうした
y 2 P(x)cp g 2 D(P(x))
cd score(y)the( xi .(heavy(x)))-1 o10.364 (g 6= o2 )解析により,
o2
0.636
-1.45
Move the light mug from Bob’s oﬃce to thethe( xi .(and(heavy(x), mug(x)))) -1.2 o1
0.018 (g 6= o2 )
o2
0.982
-1.22
west, middle pod.
the( xi .(mug(x)))-1.2 o10.111 (g 6= o2 )
o2
0.889
-1.32
ような複雑な文も,ではない.

relocate(the(λx.(lightweight) ∧ mug(x))),the(λy.(oﬃce(y) ∧ owns(robert, y))),the(λz.(west(z) ∧ middle(z) ∧ pod(z))))

日本ロボット学会誌 xx 巻 xx 号

and(heavy, mug)

-1.2

and(heavy, mug)1

(g 6= o2 )Table 6: Example of finding the best latent parse for x : the heavy mug given denotation o2 .
図 5 表現 “the heavy mug” に対応する λ 式の探索とスコア.
In this example, alternative parses arise from the parser choosing to skip individual words
ここでは
2 番目の
式が選ばれ
, 学習データとして追加
in x. In general,
alternatives
can ariseλfrom,for example,
prepositional phrase attachment
される
ambiguity andlexical.polysemy. In this example, the parser favors skipping the noun mug,but the re-ranking score after grounding finds that including it improves the parse. The
highest score is marked in bold and paired with the best latent parse for this utterancedenotation pair.

2021 年 xx 月

—3—
We select the highest scoring latent parse y ⇤ , given byy ⇤ = argmaxyi⇤ (score(yi⇤ )).

(9)

持

4

橋

大

地

九 日 付 の 英 有力 紙 タイムズ は 、 同 国 南部の ウェ

PLANNERdataset. We see that our model has comparaical に近い
forms.ポートランド
Table 4 shows
the difference
Input :: ( LTL,
state)
イマスの 海軍基地を 欧州 向けin物
Output :: Actions (north, south, east, west)の 陸揚げ 基地forとして
日本
企業 ないし an
企業
連合 に
ble performance to previous models in terms 資 complexities
eitherprogressing
expresGENERATIVE MODELFEEDBACK: LTL PROG
PLANNER: DQN-LTL
売却 する 構想 が 浮上 し て い る と 報じ た 。
of navigating to the correct goal location. How- そっくり
sion
along
a
sequenceoftruth
assignmentsas
五輪 五 位 の 清水宏保 は インカレ も ２ 種目 を 制 しever, this metric can still reward incorrect paths て opposed
to executing
it bybuilding
おり 、 堀井に どこ まで迫る
か 。 models for(e.g., ones that violate specified constraints)
semantic types in the expression.
図 8 京大コーパスの教師なし形態素解析の結果の例. 辞書や
as long as they end up in the correct final lo教師データはまったく使用していない.
cation. In Table 3 we compare to the best-図 7 のようにWorld CCGOperation
Complexityから得られた λ 式による論理表現より,
MODEL CHECKER
LTL LOGICAL FORM
performing
model interms
of pathaccuracy.
Input:: ( LTL, trajectory)
south southGridworld
south east south west
Input :: Natural
language instruction
progression
O(|S|
⇥
|s|)
順序に関する制約をコンパクトに表すことができる.
Output :: Reward (1 / 0)
Output :: LTL representations
We see that our model outperforms the previexecution
O(|S||s| )ousshows
best-performing
model
we model.
evaluate
3: Figurethe pipelineof ourweaklywhen
supervised
The generative model
on atthe left
図Figure6 行動系列の背後に隠れた, LTL(
線形時間論理) による論LTL:
lamp U ⇧ (at chair)learns理式の探索と学習
to compose
logicalform
binary feedback.
Once trained,analthe planning component on the right[16].
the aentire
pathwithtaken.
We furthermore
CCG: a.move(a) ^ post(a,intersect
takes in LTL logical forms to produce actions in the environment.
the type of) による制約
natural language instructions( x.chair(x),you))^pre(a,front(you,4. 2 LTLyse(線形時間論理
x.lamp(x)))
that
involve complex temporal constraints. We
End-to-End
な方法で必ずしも上手く扱えない現象とし
4.1 Planninginan
Environment
icy
to
pick
an
action
a
for
a
state
s
to
returndo this by taking all instructionsin the datasetて, 時間や順序に依存する制約がある. ロボットに対する
7 Table「ランプがある椅子の前まで移動する」
LTL
と CCG
a new state s’ and図
rewardr fromthe environ-complexities of を表す
4: Comparing
different
feedOnce we produce
LTL interpretationsof inthat
containnaturallanguagecounterparts
of
の論理表現
.
LTL
の方が
,
「〜まで」といった順序を含む指示として, 「台所を通ってからリビングに移動して」のment. The estimation ofback
Q(s,
a)
at
the
current
systems in navigation domains i.e., progresstructions, we
use Q-learningwith (e.g.,
LTL task
条件をコンパクトに表すことができる.
temporaloperators
until,timestep
eventually,is then fiupdatedsion
asinvs.
theexecution
equation beように順序を指定する場合や, 「常に子供を避けて行動しfor LTL forms or a CCG parse.
specifications to formulate a plan.
We briefly
low wherespecifi↵ is the learning rate.
nally, always..) and evaluate models
go over the planning mechanism, that takesて」といった必ず守るべき制約を与える場合は多いと考え
5. ロボティクスにおける動作の分節化
cally
on
this
subset.
These
temporalsentences
into accountthe state and LTLtask, to select 2019
Q(s, a)でも発Q(s, a) + ↵[r + maxa Q(s0 , a0 ) Q(s, a)]られる. 本稿冒頭で示した
SpLU-RoboNLP
actions to navigate
the goallocation.
form to20%of thedata (476) sentences. We see 5. 1 形態素解析と運動データ表された Patel らの研究 [16] は, 指示文に対応するこうし
In the simplest
form ofQ-learning,a Q-table, is
7 Conclusionthat our model that grounds to temporal
logical
こうした中で筆者はロボットの連続的な動きを「動作」
MarkovLTL(
Decision
Processes: ) で表し
A Markov
Deた制約を
線形時間論理, 指示文と行動のペア
used to store required values for states, whichform
outperforms
previous
modelsunder
thisに分節化することを中心として, 電通大・阪大・お茶大のグ
cision Process , (MDP)
is a tuple M =is impractical for large(orstate spaces.
をデータとして論理式を潜在変数として学習する手法を
In infinite)
this paper
we use a weakly supervised seevaluation.
(S, A, T, R, finer-grained) where S and A
are a finite sets
ループと共同研究を進めてきた.
図 9 に示したように, 提案An alternative is to use some form of func提案した (図 6). これにより, ロボットが各状態で現在満た
mantic parsing model to ground natural lanof states and actions, T : S ⇥ A ⇥ S ! [0, 1] istion approximation法ではロボットの運動データを
on the Q-value function.
, 完全に教師なしで「動作」すべき制約を更新し, 必ず条件を満たす動作を行うことがguage
to temporal
form — a formal lanthe transition function,
Pr(R) Recl.
We useDeep Q-Networks(DQN)(Mnih et al.,logical
Data R : S⇥A⇥S
System !Prec.
Acc.
EDの系列に分解することができ,
ロボティクスだけでなく
,舞
is
the
rewardfunctionandisthediscount
fac可能になる. ニューラル手法では, このように「必ず条件を
thattoallows
handling of complex, tempo2015) to employ neuralguage
networks
approxiAll
Seq2seq
31.6
30.33
91.5
3.25
踊学, 動物学[18]などにも有用な基礎技術と考えられる.
tor. An agent learns a policy ⇡ i.e., a probabilmate theanexperienceral with
eventsthat
are typically unable to be han満たす」というような指定を自動的に行うことはできない. 2.24function
Ours
33.5 32.34
93.7Q-value
ity distribution over state-action pairs, that alこの問題は,日本語や中国語のような言語において
replay buffer and targetdled
networkthatstabiliseby most (traditionally Markovian) meth- “ロLTLit(Linear
Temporal
Logic)[17]takeは強化学習の文脈で
lows
to determine
the actions
it shouldinlearning.
The
Q-learning
updatesare computed+1.9 +2.01 +2.2 -1.01ボットは歩いたのような文字列を「ロボット/はevalu/歩い/た」
ods. We ”proposea more fine-grained
すでに導入されている, 時間に関わる制約を表すことので
each state with probability⇡(a|s). The statewith respect to a target network which is onlyと単語に分割する(+
場合により,品詞等の情報を付与する
Seq2seqQ⇡ (s,31.2
91.2
3.91
the paththetaken, rather than just the )action value orTemporaldenoteda) al- 30.19
きる論理であり, Q-value
LTL の論理式
ϕ は次の形式で定義される. 1.27 to ation
updatedperiodicallyattemptof
to decrease
Ours
34.3
35.2
94.5
形態素解析といわれるタスクと同じであり, 共同研究は言っlows attribution of values to states and actions
goal location, and show that our approachmorechance of the policy
diverging.
::= πaction| ¬ϕ |selection
ϕ ∧ ψ |atϕevery∨ ψ |state.
⋄ϕ |+3.1□ϕ | ○ϕ|ϕ∪ψ
toϕenable, ロボットの運動の「形態素解析」をしているとい+5.01 +3.3 -2.64てみればcloselyadherestopath
constraints
thanall
preDQN with LTL: To handle temporal conえる.
通常はこの問題は,言語の場合は上記のような文字
vious models,
while also showing comparaQ-Learning
DQN: Thenot,
Q-learning
straints,
we use a non-Markovian
reward deciここで¬, ∧, ∨andは通常通りのor, andalであるが
, その他
Table
3: Forpath evaluation,
wesionevaluate
preci列→単語分割結果の正解データを大量に準備し, そこからgorithm
isanoff-policy
algorithm
that
aims
processthat
incorporates
theLTL
expresble
performace
on reaching the goal location.
に ⋄ は eventually を, □ は globally を, ∪ は until を, ○sion, recall,accuracy(higheris better)
dis-SVM や MDP.
to learn Q-values
for states.
It learnsa tarsion andinto edit
the environmentTherewardnavigation dataset was not
CRF,
最近ではニューラルネットなどを使って分
While
the
SAIL
はget
next
をそれぞれ意味する
よって, compared
is_corridorのようtanceusing(loweris. otherbetter),to thepreviouspolicywhile
somebehaviourfunctionR
is therefore defined over state his割を教師あり学習することで解くことができる.
specifically constructed with these temporal,
な場所を表す述語を
p, q とすると, たとえば∧et(R○al.,q)2016)
best model;
Seq2seqrefersto (⋄p)(Mei
policy for action
selection.
At everystep,tories:⋄S⇤! Pr(R) instead of only the presequential
constraints
in
mind,
the
fine-grained
しかし,
ロボットや人間の動作についてそうした「正解」
the Q-learning
processa behaviour
vious
state. The Q-value function of a policy ⇡
while
Ours
is ourweakly supervised
method.
は「最終的にp にいて, uses
次に最終的にq polにいる」という条
evaluations, 基準が明確でない上にshow our method allows
dealingを用意するのは, 言語のようにかな
件を表す.
†
with these naturally occurring
constraints
bet- ,
り厳密な規則性があるとはいえず,困難である. そのため
このとき, ロボットが p を通過すると, この条件は ⋄q にComplexity: An important contribution of何らかの方法で
ter than previous
state-of-the-art
methods.
Fu, 教師なしで自動的に「動作」を学習する必「進める」ことができるため, ある論理式に従うはずの多数
ture work involves
our approach is the efficiency of our feed-要があると考えられる. incorporating the structureの行動履歴を集めれば, そこからその論理式を逆算するこback mechanism over previous execution mod- 実は言語においてもこの問題は重要であり
of LTL to jointly learn logical forms and, 未知の言語
execuとができる. 具体的には, 自然言語による指示を seq2seq で
els. Previous work built execution models forや新語を自動的に認識できる教師なしの単語分割はtion models, especially in domains that specif, 長く
後置記法で表した LTL の論理式に変換し, その論理式は強CCG parses of instructions, while our work未解決問題であった
ically require temporalreasoning.
††.
このような中
,
筆者は
2009
年に,
化学習を通じて, 各時刻で行動と合っていれば 1, 合っていmakes use of LTL progression to reward log-ノンパラメトリックベイズ法と動的計画法, MCMC を組み
Avoid red corridors until you go to the green chair0なければ 0 の報酬を受け取ることで学習される. このとき,常に〜を満たせ (□) という制約は, すべての時点で論理式が成り立つことを要求するとして処理することができる.

2 節でみたように, 言語による指示を seq2seq で直接, 運動系列に変換することも可能ではあるが, こうして論理表
現を介することで解釈性も上がり, 様々な制約を人間が明
示的にロボットの動作に取り入れることが可能になる. 実
験により, 時間的順序を含む命令について, この方法は単純な seq2seq より高精度であることが確認されている. また,

JRSJ Vol. xx No. xx

合わせることで文を「単語」に自動的に分解する教師なし
形態素解析を発表した [19]. これは文字–単語の階層マルコ
フ言語モデルであり, 文字の ∞-グラムモデルからまず「単—4—† 自然言語では, 「彼をの言っつ」「側アる聞のと」のように非文法的な文は許容されず, ほとんど出現しないという強い制約がある.

†† これは重要な問題であるため, それまでにもいくつかの試みがあったが, ヒューリスティックを用いたり, EM アルゴリズムのような最尤推定を基にしていたため, 局所解に陥ってしまい, 意味のある結果が得られていなかった.

xx, 2021

Graphical model of the proposed metho

ロボティクスと自然言語処理

5!( : Classes (Gaussian process)()  Segments of the latent variables")  S

!!
"
#
$
%
&!
'
(

Decoder of VAE

図 9 HDP-GP-HSMM による運動の分節化. 上段の各関節の運動軌跡が, 統計モデルにより自動的に, 下段のように「動作」の系列に分解されている.

1 神戸では異人館 街の 二十棟 が破損した 。
2 神戸 では 異人館 街の 二十棟 が破損した 。
10 神戸 では 異人館 街の 二十棟 が破損した 。
50 神戸 で は異人 館 街 の 二 十 棟 が 破損 し た 。
100 神戸 で は 異 人館 街 の 二 十 棟 が 破損 し た 。
200 神戸 で は 異人館 街 の 二 十 棟 が 破損 し た 。

Observedvalue'  Observed time-series data

図 10 教師なし形態素解析の学習過程. MCMC 法に基づき,観測された文字列の単語分割を繰り返し確率的にサンプリングすることで言語モデルを改善し, 学習を行う.

語」の綴りが無限個生成され, それを n グラムモデルで組

Time
step

)

図 11 HVGH による, VAE で圧縮された潜在空間での軌跡のガウス過程による分節化.

表現する必要がある. 線形モデルである主成分分析はこの目的には適しておらず, 確率的主成分分析のカーネル拡張

riments: An example
of, segmentation
results using HVGH (Cont.
.
10
み合わせることで文が生成されたと考え, 文の文字列からであるガウス過程潜在変数モデル (GPLVM) [24] を使うと,「単語」を逆に推論する 学習の過程は 図のようにな

高次元の運動をより本質的な次元に圧縮できることが知らる. まず, ランダムな単語分割あるいは「文」が一つの単語れている [25]. 我々はこの考察をもとに, GPLVM とほぼ等価なニューラルネットによって図のように観測時系
HVGH was able to obtain significant latent space
only from time11series
data
次に学習データの各文に対して新しい単語分割を動的計画
列を低次元の潜在空間に圧縮し, この潜在空間の時系列をLatent space
represents the, featureof unit 分節化する
motions
and the characteristics
法を用いて確率的にサンプリングしそれによって言語モ
HVGH† [2] をさらに提案した. HVGH では潜デルを更新する. 以上をモデルが収束するまで繰り返す. こof time-series
data
在系列が分節化された後に, 潜在空間での状態ごとのガウとなる自明な分割から始め, 上記の言語モデルを学習する.

れにより, 例えば京大コーパス (毎日新聞の記事の一部) のHVGH

ス過程だけでなく, 観測時系列を低次元に圧縮するニュー

Latent space( latent variables: 3-dimensional )ラルネットも VAE を用いて最適化し, これらの学習を交互

文字列のみから, 図 8 のように「単語」への分割を辞書や教師データを使わず, 教師なしで学習することができる.

に行う. 実験により, 図 12 のように 96 次元の関節角デー

5. 2 単語から動作へ

タをフルに利用して学習を行うことができ, VAE によってこの方法を応用すれば, ロボットの運動も「動作」(＝単圧縮された潜在空間において, それぞれの動作は一定の軌語) に分解することができる. 最初に離散化して言語と同様.&.'跡を通ることを明らかにした.

に記号列にすることも可能であるが [20], 我々はここでガウ

6. 今 後 の 課 題

ス過程 [21] を用い, 単語の綴りにあたる各「動作」の軌道が図 11 の Zj のように, 状態ごとのガウス過程から生成されeries datat 14-14 たと考える. 運動データは図 11 の S のような軌道をなす

End-to-End アプローチを補完する, 自然言語の構造的な."から, この問題は全体の軌道を, 言語と同様に「単語」, すSquatting

なわち動作に分解する問題であり, 図 10 と同様な方法で,MCMC 法により分割を繰り返し推定する.

Arm circle
Squatting
統計的には, こうした分割問題は隠れセミマルコフモデ
Jogging ル [22]Kneeと呼ばれ, 通常の隠れマルコフモデルと異なり
, 状
raise
Twist

.'

Jumping
Arm circle

態が 1 つ前の時刻の観測値だけに依存しないのが特徴であJogging

る. [1] ではさらに, 階層ディリクレ過程 [23] を用いて潜在Twist

状態の数も自動的に推定する HDP-GP-HSMM を提案し,Time Step
適切な状態数が推定されることを確かめている.

5. 3 VAE による潜在空間での分割
上記の研究では, 観測値としては肩や肘といった代表的な数次元の関節角の時系列を用いていたが, 全身の動作を表現するためには, 高次元の運動をより低次元に縮約して日本ロボット学会誌 xx 巻 xx 号."

Knee raise

.&
図 12

—5—

HVGH による潜在空間で分節化された動作の軌跡. 各
フレームに対応する点は時系列で連続している.

13† Hierarchical Dirichlet process–Variational autoencoder–Gaussian

process–Hidden semi-Markov model の略.

2021 年 xx 月

持

6

橋

大

認識を使用したロボティクスについて紹介した. 構造的な

ACL 2020, pages 2539–2556, 2020.
[10] Jesse Thomason, Aishwarya Padmakumar, Jivko Sinapov, Nick
Walker, Yuqian Jiang, Harel Yedidsion, Justin Hart, Peter
Stone, and Raymond J. Mooney. Jointly Improving Parsing andPerception for Natural Language Commands through HumanRobot Dialog. The Journal of Artiﬁcial Intelligence Research(JAIR), 67:327–374, 2020.
[11] Mark Steedman. The Syntactic Process. Language, Speech,
and Communication. MIT Press, 2000.
[12] Pascual Martínez-Gómez, Koji Mineshima, Yusuke Miyao, andDaisuke Bekki. ccg2lambda: A Compositional Semantics System. In ACL-2016 System Demonstrations, pages 85–90, 2016.
[13] Saeid Amiri, Suhua Wei, Shiqi Zhang, Jivko Sinapov, Jesse
Thomason, and Peter Stone. Multi-modal Predicate Identiﬁcation using Dynamically Learned Robot Controllers. In IJCAI18, 2018.
[14] Naoto Iwahashi. Robots That Learn Language: A Developmental Approach to Situated Human-Robot Conversations. In
International Workshop on Emergence and Evolution of Linguistic Communication, pages 143–167, 2006.
[15] 杉浦孔明, 岩橋直人, 柏岡秀紀, 中村哲. 言語獲得ロボットによる発話理解確率の推定に基づく物体操作対話. 日本ロボット学会誌,
28(8):978–988, 2010.
[16] Roma Patel, Stefanie Tellex, and Ellie Pavlick. Learning
to Ground Language to Temporal Logical Form. In SpLURoboNLP 2019, 2019.
[17] Zohar Manna and Amir Pnueli. The Temporal Logic of Reactive and Concurrent Systems: Speciﬁcation. Springer, 1992.
[18] 三村喬生, 中村友昭, 松本惇平, 西条寿夫, 須原哲也, 持橋大地, 南本敬史. 霊長類における身体動作時系列の分節推移構造推定. In 2019 年
度人工知能学会全国大会, pages 1C4–J–3–01, 2019.
[19] Daichi Mochihashi, Takeshi Yamada, and Naonori Ueda.
Bayesian Unsupervised Word Segmentation with Nested
Pitman-Yor Language Modeling. In Proceedings of ACLIJCNLP 2009, pages 100–108, 2009.
[20] Tadahiro Taniguchi, Shogo Nagasaka, Kentarou Hitomi, Naiwala P. Chandrasiri, Takashi Bando, and Kazuhito Takenaka.
Sequence Prediction of Driving Behaviour Using Double Articulation Analyzer. IEEE Transactions on Systems, Man, andCybernetics: Systems, 46(9):1300–1313, 2015.
[21] Carl Edward Rasmussen and Christopher K. Williams. Gaussian Processes for Machine Learning. MIT Press, 2006.
[22] Kevin Murphy. Hidden semi-Markov models (segment models),
2002. http://www.cs.ubc.ca/˜murphyk/Papers/segment.pdf.
[23] Yee Whye Teh, Michael I. Jordan, Matthew J. Beal, andDavid M. Blei.
Hierarchical Dirichlet Processes.
JASA,
101(476):1566–1581, 2006.
[24] Neil Lawrence. Gaussian process latent variable models for visualisation of high dimensional data. In Advances in Neural
Information Processing Systems, pages 329–336, 2004.
[25] K Grochow, S.L. Martin, A. Hertzmann, and Z. Popović. Stylebased Inverse Kinematics. ACM transactions on Graphics,
23(3):522–531, 2004.
[26] Tomoaki Nakamura, Takayuki Nagai, and Tadahiro Taniguchi.
SERKET: An Architecture For Connecting Stochastic Models
to Realize a Large-Scale Cognitive Model. Frontiers in Neurorobotics, 12(25), 2018.
[27] Tadahiro Taniguchi, Tomoaki Nakamura, Masahiro Suzuki, Ryo
Kuniyasu, Kaede Hayashi, Akira Taniguchi, Takato Horii, andTakayuki Nagai. Neuro-SERKET: Development of Integrative
Cognitive System through the Composition of Deep Probabilistic Generative Models. New Generation Computing, 84, 2019.

アプローチではあるものの, 従来そのために用いられていた古典的な教師あり学習とは異なり, これらは構文木や論
理式, 単語分割といった人手によるアノテーションを必要とせず, ロボットが自ら学習する点が特徴である.
一方で, ロボットに必要な構造的な認識はそれら以外にも, 3 節で述べたように代名詞や関係節を含む文, 仮想的な条件を含む文 (「もし雨が降りそうなら, 洗濯物を取り入れておいて」), メタファーの理解など, 多数の側面があると考えられる. 研究はこれまで, それぞれの側面に注目して進められてきたが, 実際にはそれらのモジュールを統合する学習が必要になり, また開発もモジュール別に可能になることが望まれる. これを可能とする中村・谷口らのSerket [26], Neuro Serket [27] はこの意味で, 非常に重要なフレームワークだと考えられる. VLN のように現実のロボットの動作に近いシミュレーション環境とタスクも整ってきている現在, より多くの自然言語処理研究者がロボティ
クスに関わることで, 問題を統合的に解決し, 言語の中だけでは解けない言語理解が可能になることを筆者は期待して
いる.
謝

辞

共同研究者の皆様と LangRobo 研究会のメンバー, および研究会に参加された皆様に感謝いたします. 本
研究は, 日本学術振興会科研費 26280096 および 18H03295の支援を受けて行いました.
参

考 文

献

[ 1 ] Masatoshi Nagano, Tomoaki Nakamura, Takayuki Nagai,
Daichi Mochihashi, Ichiro Kobayashi, and Masahide Kaneko.
Sequence Pattern Extraction by Segmenting Time Series Data
Using GP-HSMM with Hierarchical Dirichlet Process. In IROS
2018, pages 4067–4074, 2018.
[ 2 ] Masatoshi Nagano, Tomoaki Nakamura, Takayuki Nagai,
Daichi Mochihashi, Ichiro Kobayashi, and Wataru Takano.
High-dimensional Motion Segmentation by Variational Autoencoder and Gaussian Processes. In IROS 2019, pages 105–111,
2019.
[ 3 ] Daichi Mochihashi. Gaussian Process Generative Models for
Language and Robotics, 2019. CoRL 2019 Tutorial.
[ 4 ] T. Taniguchi, D. Mochihashi, T. Nagai, S. Uchida, N. Inoue,
I. Kobayashi, T. Nakamura, Y. Hagiwara, N. Iwahashi, andT. Inamura. Survey on frontiers on language and robotics. Advanced Robotics, 33(15–16):700–730, 2019.
[ 5 ] J. Hatori, Y. Kikuchi, S. Kobayashi, K. Takahashi, Y. Tsuboi,
Y. Unno, W. Ko, and J Tan. Interactively Picking Real-World
Objects with Unconstrained Spoken Language Instructions. In
ICRA 2018, pages 3774–3781, 2018.
[ 6 ] A. Magassouba, K. Sugiura, and H. Kawai. A Multimodal
Target-Source Classiﬁer with Attention Branches to Understand Ambiguous Instructions for Fetching Daily Objects.
IEEE Robotics and Automation Letters, 5:532–539, 2020.
[ 7 ] Peter Anderson, Qi Wu, Damien Teney, Jake Bruce, Mark Johnson, Niko Sünderhauf, Ian Reid, Stephen Gould, and Antonvan den Hengel. Vision-and-Language Navigation: Interpreting Visually-Grounded Navigation Instructions in Real Environments. In CVPR 2018, pages 3674–3683, 2018.
[ 8 ] Shuhei Kurita and Kyunghyun Cho. Generative LanguageGrounded Policy in Vision-and-Language Navigation with
Bayes’ Rule. In ICLR 2021, page to appear, 2021.
[ 9 ] Wang Zhu, Hexiang Hu, Jiacheng Chen, Zhiwei Deng, Vihan
Jain, Eugene Ie, and Fei Sha. BabyWalk: Going Farther in
Vision-and-Language Navigation by Taking Baby Steps. In

JRSJ Vol. xx No. xx

地

持橋 大地（Daichi Mochihashi）
統計数理研究所 数理・推論研究系 准教授. 2005
年奈良先端大・情報・博士後期課程修了. 博士(理学). ATR 音声言語コミュニケーション研
究所, NTT コミュニケーション科学基礎研究
所各研究員を経て現職. 統計的自然言語処理と機械学習, 特に意味的処理と連続系との接続に興味を持つ.

—6—xx, 2021