# 学会記事
## ロボティクス・グラウンディングと自然言語処理

持橋大地 ${ }^{\dagger}$

## 1 はじめに

言語処理学会 2020 年年次大会はオンライン開催となりましたが, テーマセッションとして,筆者を中心に 23 人のメンバーで『ロボティクス・グラウンディングと自然言語処理』を企画しました．実際にはオンライン開催のため多くの方へのアピールが望めないことから，研究発表以外の講演はほぼキャンセルとなりましたが，来年以降も同様のテーマセッションを企画予定です。そこで本稿では，(1)このテーマセッションの成り立ち，(2) 自然言語処理においてロボティクスやグラウンディングがなぜ重要なのか, (3) 言語処理とロボティクス研究の潮流, (4)今後何が望まれるか，について解説します。ロボット先進国の日本において，テキストだけ，あるいは画像処理などとの単純な結合を超えたこのテーマの重要性に興味を持っていただければと考えています.

## 2 自然言語処理とロボティクスの関係

個人的な話になりますが，筆者がロボティクス研究と関わるようになったのは，2013 年頃でした，それまでATR 音声研で周囲にロボットを扱っている研究者はいたものの，自分で直接研究に携わることはありませんでしたが, この時お茶の水女子大学の小林先生と産総研の麻生氏が研究室を訪ねて来られ，教師なし形態素解析を拡張してロボットの「動作」を解析したいのだがどうすればよいか，というご相談だったと記憶しています。筆者はいったん記号に直すのではなく，すべてをガウス過程で書いて隠れセミマルコフモデルにすれば良いのではないか， というアイデアをその場でお話しし，それは後年，トップ国際会議 IROS に我々の研究として発表されました (Nagano, Nakamura, Nagai, Mochihashi, Kobayashi, and Kaneko 2018; Nagano， Nakamura, Nagai, Mochihashi, Kobayashi, and Takano 2019). そこから, 電通大の長井・中村研究室も含めた共同研究が始まりました，現在は，筆者が研究代表者の科研費 (B)「運動の統計的理解と動力学に基づく適応的確率ロボティクス」で引き続き研究を行っています.

こうした中で，ロボティクスにおいては自然言語処理の技術は，あまり深く浸透していないことがわかってきました. 例えば，ロボットに対する発話は多くの場合, 構文解析や係り受け


図 1 動作の情報と, mMLDA で学習された動作概念の確率分布。概念は言葉や物体と共有されており, マルチモーダル情報から自動的に学習されます.

解析されているわけではなく，そもそも与える入力文も「棚の上にあるペットボトルを取って，机に置いて」のように，自然言語処理のコーパスに現れる文に比べて複雑度が非常に限られています。一方で，文は多くの場合口語体で，音声認識を通じて得られるためにノイズも多く，書き言葉用に訓練された解析器を用いても充分な効果は期待できません，言語の複雑度が現状では限られている一方で, 悲虽に只バ页上に動作しなけ杣ならないということが，現実のロボットで言語を扱う際の特徴といえます。

こうした理由で, 機械的・物理的な研究が主流を占めるロボティクス界で言語や知的情報処理 （䓡熊口ボテイクス）に興味を持つ研究者（特に日本のグループ）は, ロボットが, 赤ちゃんが言葉を覚えるように自律的に言葉や概念を獲得する研究を発展させてきました．先の相談も，この
流れに沿ったものです。この方法ではモデルはすべてデータから自動的に学習されるため, ロバスト性に対する問題はありません．電通大（現在は阪大）の長井研究室では，トピックモデルとして知られる LDA（潜在ディリクレ配分法）をもとに，視覚や触覚といった感覚情報に拡張することで, 物体のもつ「概念」を自動的に学習するマルチモーダル LDA (MLDA)(Nakamura, Araki, Nagai, and Iwahashi 2011)1および mMLDA(Fadlil, Ikeda, Abe, Nakamura, and Nagai 2013)を開発しました（図 1）。図 1 では，動作の概念（トピック）は，LDA でモデル化される物体や言葉の概念と結びつけられて学習されます。

また，NICT の杉浦・岩橋ら（現在はそれぞれ慶応大，岡山県立大）は，図 2 のようにロボットが人間とインタラクションを行う中で，音素レベルの不完全な音声認識結果から「ぼおる」「つくえ」といった物体の名前や「わたして」といった動作を表す言葉を対話の中で学習できることを示しました2(Iwahashi 2006; 杉浦，岩橋，柏岡，中村 2010)．杉浦らはその後，ニューラルネットを用いて曖昧な発話をマルチモーダル情報から頑健かつ高精度に理解する研究を様々に行っており，また 2019 年のロボット学会企画セッションにおいて，招待講演「ロボティクスにおける言語の利活用」(杉浦 2019) を行っています.

$
\begin{aligned}
& \text { [Situation: Object } 2 \text { was manipulated most recently] } \\
& \text { U: ハコエルモちかづけて. / Move-closer box Elmo. } \\
& \text { R: ミドリハコをちかづけて? / Move-closer green box? } \\
& \text { U: いいえ. / No. } \\
& \text { R: アオイハコをちかづけて? / Move-closer blue box? } \\
& \text { U: はい. / Yes. } \\
& \text { R: (The robot moves Object } 3 \text { closer to Object 1.) }
\end{aligned}
$

図 2 ロボットとの対話実験.LCore (Iwahashi 2006) に基づく共有信念の確率をもとに，発話理解の確信度に応じて応答が生成されています。
^{1}$ https://github.com/naka-lab/MLDA で実装が公開されています.

2 言語自体をこうして創発的に考える研究は，NLP2019 の橋本敬氏によるチュートリアル「言語の創発構成論〜言語進化の計算機実験・実験室実験の紹介」にあるように，複雑系の分野で歴史があります。情報理論に基づいてより理論的に扱う研究としては, Nowak ら (Plotkin and Nowak 2000) の一連の研究が有名です.
}

しかし, これらの研究は言語のモデルとしては単純なマルコフモデルや HMM, LSTM といったモデルが使われており, 自然言語処理の成果を充分に利用したものではありませんでした. これは, 先に述べたようにほとんどの自然言語処理のモデルが教師あり学習を基にしており，ロボティクスでうまく用いることができなかったことにも依っています.

グラウンディングの必要性一方で, 自然言語処理の側では, ニューラルネットにより画像の情報を容易に扱うことができ3 ${ }^{3}$ End-to-End の学習が可能になったことで, 言葉を画像や株価のような連続値と結びつける研究が可能になりました。単語べクトルも同時に用いることで,従来は離散的な記号であった言葉が視覚のような連続量と結びつき得ること，すなわち言葉のグラウンデイングが完全ではないにせよ, 可能になりました. そこで 2019 年の言語処理学会年次大会では, 『実世界にグラウンドされた言語処理』テーマセッションが企画され, 10 本の論文が集まりました。

これらの二者はロボティクス側と言語処理側という違いがあるだけで，同じものを目指していることから，二者を統合したのが今年の『ロボティクス・グラウンディングと自然言語処理』 です。筆者はこれより前, 谷口（立命館大）をはじめとするロボティクスの研究者・言語学および自然言語処理の研究者と “LangRobo 研究会”4を立ち上げ, どのような言語処理が必要なのか, 現状のロボティクスに何が欠けているのかについて重ねて議論してきました. 議論の結果は，NII 湘南会議を経て，Advanced Roboticsにおけるサーベイ論文 (Taniguchi, Mochihashi, Nagai, Uchida, Inoue, Kobayashi, Nakamura, Hagiwara, Iwahashi, and Inamura 2019)としてまとめられています.今回の言語処理学会でのセッションは, これを言語処理コミュニティに問いかけて分野の交流を図る試みでした。

## 3 ロボティクスとグラウンディング研究の潮流

ロボティクスとグラウンディングは，世界的に見ても注目を集めている領域です。たとえば，最も新しい ACL 2020 と EMNLP 2020 では, エリアとして "Language Grounding to Vision, Robotics and Beyond”というズバリの領域が存在して論文が採択されています. 自然言語処理における最初の集まりは，ACL 2017 における「Robo-NLP 2017」ワークショップ5 だったと思われますが,これはNAACL-HLT 2019 において空間把握 (spatial language understanding, SpLU) と合体して，「SpLU-RoboNLP 2019」6として引き継がれています.ワークショップの論文はす
^{5}$ https://robo-nlp.github.io/2017_index.html

6 https://splu-robonlp.github.io/
}

べて ACL Anthology7で公開されていますので，ご興味のある方は確認されると良いでしょう.

ロボティクス側では，マドリードで開催されたロボティクスのトップ国際会議である IROS 2018 において, 日本からは谷口（立命館大), 堀井（電通大), 長井 (阪大), 稲邑 (NII) らを中心に “Workshop on Language Grounding and Robotics” が企画され，筆者も招待講演を行いました ${ }^{8}$. ここでは 9 本の研究発表があり，テキスト中心の自然言語処理のものとはまた異なった内容になっています.こちらも，論文はワークショップのサイトで読むことができます.

## 4 今後望まれる研究

ロボティクスおよび自然言語処理, 言語学の研究者と上記のサーベイ論文をまとめる中で, これからのロボティクスに必要な課題も見えてきました。現在のロボティクスにおける言語理解では，ロボットの動作に直結する「〜を片付けて」「〜を取って」のような単純な教示文がほとんどを占めています. 最初に述べたように, ここには構文解析や照応解析, 意味解析 (semantic parsing) はほとんど含まれていません 9 . また副詞や形容詞の理解, メタファー, 語用論といった言語的要素も落ちているため,「ちょっと妹の様子を見てきてくれないかな?」のような発話の意図を理解して適切な行動と応答を行うことは，現在はほぼ不可能です。画像処理とのグラウンディングの分野では, 複雑な状況の理解の試みが進んでいますが, 静的な画像からの情報で, かつ認識側からのアクションが起こせなければ，理解できる範囲にも限界が生じると考えられます.インタラクションの中で動的に言語を理解し, 行動するロボティクスとの融合は, これからますます望まれると考えられます.

## 謝 辞

これまで議論いただいた共同研究者の皆様，および LangRobo 研究会の皆様に感謝いたします. 本テーマセッションの提案者は次の通りです（敬称略，所属は大会時）。持橋大地（統数研), 谷口忠大 (立命館大), 中野幹生 (HRI), 杉浦孔明 (NICT), 高村大也 (産総研), 亀田克宙（国立歴史民俗博物館），荒牧英治 (NAIST)，Eric Nichols (HRI)，中山英樹（東大），小林一郎（お茶の水女子大）, 乾健太郎（東北大）, 亀甲博貴（京大）, 宮尾祐介（東大), 岩橋直人（岡山県立大), 井之上直也 (東北大), 内田諭 (九大), 森信介 (京大), 長井隆行 (阪大), 稲邑哲也 $(\mathrm{NII})$, 坪井祐太 $(\mathrm{PFN})$, 海野裕也 $(\mathrm{PFN})$, 中村知昭（電通大), 萩原良信（立命館大).
: / /$ iros2018.emergent-symbol.systems

9 ごく少数ですが, 教示文を CCG で解析して論理式に変換する研究 (Thomason+, IJCAI 2015) なども存在しています.
}

## 参考文献

Fadlil, M., Ikeda, K., Abe, K., Nakamura, T., and Nagai, T. (2013). "Integrated Concept of Objects and Human Motions Based on Multi-layered Multimodal LDA." In IEEE/RSJ International Conference on Intelligent Robots and Systems, pp. 2256-2263.

Iwahashi, N. (2006). "Robots That Learn Language: A Developmental Approach to Situated

Human-Robot Conversations." In International Workshop on Emergence and Evolution of Linguistic Communication, pp. 143-167.

Nagano, M., Nakamura, T., Nagai, T., Mochihashi, D., Kobayashi, I., and Kaneko, M. (2018). "Sequence Pattern Extraction by Segmenting Time Series Data Using GP-HSMM with Hierarchical Dirichlet Process." In IROS 2018, pp. 4067-4074.

Nagano, M., Nakamura, T., Nagai, T., Mochihashi, D., Kobayashi, I., and Takano, W. (2019). "High-dimensional Motion Segmentation by Variational Autoencoder and Gaussian Processes." In IROS 2019, pp. 105-111.

Nakamura, T., Araki, T., Nagai, T., and Iwahashi, N. (2011). "Grounding of Word Meanings in LDA-Based Multimodal Concepts." Advanced Robotics, 25, pp. 2189-2206.

Plotkin, J. B. and Nowak, M. A. (2000). "Language Evolution and Information Theory." Journal of Theoretical Biology, 205, pp. 147-159.

Taniguchi, T., Mochihashi, D., Nagai, T., Uchida, S., Inoue, N., Kobayashi, I., Nakamura, T., Hagiwara, Y., Iwahashi, N., and Inamura, T. (2019). "Survey on Frontiers on Language and Robotics." Advanced Robotics, 33 (15-16), pp. 700-730.

杉浦孔明 (2019). ロボティクスにおける言語の利活用. 第 37 回日本ロボット学会学術講演会 OS 「確率ロボティクスとデータ工学ロボティクス」招待講演.

杉浦孔明，岩橋直人，柏岡秀紀，中村哲 (2010). 言語獲得ロボットによる発話理解確率の推定に基づく物体操作対話. 日本ロボット学会誌, 28 (8), pp. 978-988.

## 略歴

持橋大地：1998 年東京大学教養学部基礎科学科第二卒． 2005 年奈良先端科学技術大学院大学情報科学研究科自然言語処理学講座博士後期課程修了. 博士 (理学)．ATR 音声言語コミュニケーション研究所研究員，NTTコミュニケー ション科学基礎研究所リサーチアソシエイト／リサーチスペシャリストを経て，2011年より現職. 自然言語処理および統計的機械学習に興味を持つ.