分節化したロボット動作と説明文の対応学習
End-to-end Learning of Segmented Robot Behaviors and
Descriptions
脇本 宏平 1∗ 吉野 幸一郎 1 中村 哲 1
Kohei Wakimoto1
Koichiro Yoshino1
Satoshi Nakamura1
奈良先端科学技術大学院大学 情報科学研究科
Graduated School of Information Science, Nara Institute of Science and Technology
11

Abstract: Behavior description is necessary for robots that cooperate with humans. Recently,
end-to-end approaches are applied to the behavior description, as a generation task of natural
language given a sequence of robot observations. On the other hand, segmenting robot observation
is a conventional approach to bridge the natural language description and the robot behavior
sequence. In this research, we introduce the segmentation of robot observation in the end-to-end
learning of robot behavior description given the sequence of robot observations. Our experimental
results show that the proposed segmentation improved the results of the behavior description.

1

はじめに

人間に代わって家事などの作業を行う生活支援ロボットの研究開発が盛んになっている。このようなロボッ
トは、人間から受け取った自然言語による指示に従って行動したり、自身の行動を人が解釈できるように自然言語による文で説明したりできることが期待されている。そこで、ロボットの動作と自然言語による命令文・説明文の対応学習の研究が取り組まれてきた。ロボットの動作は多数のアクチュエータ動作系列から構成され、これをこのまま対応学習に用いることは難しい。そこで、ロボット動作と自然言語による指示文・説明文の関係学習のために、「腕を上げる」や「手首を曲げる」といった、動作の基本単位をあらかじめ定義
し、この基本単位の組み合わせによって、より複雑な動作を表現するアプローチが用いられてきた [1, 2]。これに対し、こうした基本動作をあらかじめ人手で定義せず、実際のロボットの動作中に頻出する動作区間で区切った物を使用する場合もある [3, 4, 5, 6]。このように、時系列情報として観測されるロボット動作を、特定の動作のまとまりの組み合わせとして構造化することを、本稿では動作の分節化と呼ぶ。つまり、ロボッ
ト動作と自然言語による命令文・説明文の対応学習は、分節化された動作系列であるロボット動作と、単語系列である自然言語文の対応学習であると解釈できる。
また近年、機械翻訳や音声認識などの分野で、ニュー∗ 連絡先： 奈良先端科学技術大学院大学 情報科学研究科〒 630-0192 奈良県生駒市高山町 8916-5
E-mail: wakimoto.kohei.wd5@is.naist.jp

ラルネットワークモデルを用いて２つの系列間の学習を
End-to-end で行う手法が成果を上げており、ロボットの動作情報系列と単語系列の対応学習でも利用され始めている [7, 8, 9]。Yamada ら [10] は、Recurrent Auto
Encoder を用いて、動作系列と単語系列を双方向に変換する手法を提案している。しかし、この先行研究ではロボット動作は分節化されておらず、多量の学習デー
タが必要となる。これに対して、これまで行われてきたような分節化をロボット動作に対して適用した上でEnd-to-end 学習に用いることで、少量の学習データでも適切に学習が行われることが期待される。
そこで本研究では、ロボット動作から動作の指示文・説明文を生成するシステムの構築を目的とし、encoderdecoder モデルを用いる際に、ロボット動作の分節化を考慮する。この際、明示的な分節化として k 平均法によるクラスタリングと SentencePiece を用いた教師な
し学習による分節化を用いる手法を提案する。また近年、End-to-end の手法である encoder-decoder モデル
を用いる研究において、入力のどの部分が出力のどの部分に対応しているかを学習する Attention 機構 [11]が有効に働くことが報告されている。そこで本研究では、入力に対する暗黙的な分節化が行われることを期待して、Attention 機構を導入する。

2

関連研究

ロボットの動作分節化を行う先行研究では、ロボッ
トに様々な家事タスクを実行させ、頻出する動作を基本動作として抽出し、これらの基本動作の組み合わせ
としてによってより複雑な動作を階層的に構成する手法が提案されている [4, 5]。これらの研究は、ロボットの動作の分節化、構成化を目的としている。ロボットの動作と自然言語による指示文・説明文の対応を学習することは、重要な課題である [12]。その中でも、近年入力と出力の対応を直接学習する End-to-end での学習が提案されている。Yamada らはロボット動作用と自然言語の指示文・説明文用の 2 種類の Recurrent Auto
Encoder (RAE) を使用したモデルを提案している [10]。
RAE はニューラルネットワークにおいて同じ情報を入出力に用いることで、入力されたものが持つ情報を中間の隠れ層に圧縮・保存しようとする Auto Encoder
を、再帰構造により系列データに対して拡張したものである [13]。この RAE により、ロボット動作系列および動作指示文・説明文系列をそれぞれ隠れ層に圧縮し、これらを近づけるように学習を行うことで対応学習を行おうとした。Yamada らのモデルでは、ロボットの動作系列全体を単一ベクトルに埋め込むが、系列デー
タを再帰構造を持つネットワークで扱う場合の一般的な問題として、勾配が徐々に消失し、適切に学習が行われない場合があるという問題がある。また、実際のロボット動作では、類似した部分系列が系列上に存在する場合があるが、このモデルではこのような情報を有効に活用できない。これらのことから、家事動作な
どの複雑な動作への対応が困難かつ、多量の学習デー
タが必要とされる。
本研究ではこの問題を解決するため、Attention 機構
による暗黙的な分節化と、クラスタリング・チャンキ
ングによる明示的な分節化によって、対応学習を容易にすることを試みる。

3

分節化を用いた動作と指示文・説明文の対応学習3.1

問題設定

本研究では、ロボットが家庭内のような家具や持ち運べる物体が複数存在する環境で、物をつかんで運んだり、ごみを捨てたりすることができる状況で、ロボットが自身の行動を説明する文を出力することを目的とする。ロボットは一定時間ごとに、自分自身の全身の関節の角度と、自身が持つカメラに映る周囲の状況を観測する。それらの時系列データをもとに、行った動作を説明する文を、日本語の単語の系列として生成する。
この対応学習のため、あらかじめ作成したいくつかの動作と、その動作に対する指示文・説明文のペアデー
タを用いて学習を行う。以下に入出力の詳細を示す。

3.1.1

入力となるロボットの観測

ロボットの動作軌道を表す関節特徴量は、各時刻において観測される、ロボットの全身の各関節の回転角
度と、車輪による回転・前後左右への水平移動の速度値を各次元に持つベクトルの系列とする。
また画像特徴量は、Convolutional Auto Encoder(CAE)[14] を用いてロボットの観測画像の特徴ベクトルを抽出したものを用いる。各時刻における周囲の状
況を、ロボットに搭載したカメラで 160 × 120 ピクセ
ル、3 チャネルの画像として撮影する。このカメラ画像
を encoder Convolutional Neural Network (CNN) で
10 次元のベクトルに変換し、decoder CNN で元の画像を復元するように学習を行う。今回、4000 枚のカメラ
画像を学習データとして、あらかじめこの CAE を学習する。こうして学習された CAE にカメラ画像を入力した時の encoder の最終層を、その画像の特徴ベクトルとする。この画像特徴ベクトルを、各時刻毎に関節角ベクトルに対して連結したものを動作情報とする。

3.1.2

出力となる動作の指示文・説明文

各動作に対する指示文・説明文は、「コップをテーブ
ルに置いて」というような日本語の一文とする。各文は形態素解析により分かち書きし、単語を表す one-hot
ベクトルの系列として表現する。

3.2

Encoder-decoder モデルを用いた動作と説明文の対応学習

既存研究では、ロボットの動作系列と自然言語による指示文・説明文の系列が、異なるネットワークで独立に学習されていた。これに対し本研究では、動作情報系
列を入力とし、動作に対応する文を出力する encoderdecoder モデルによって学習を行う。encoder-decoder
モデルは、再帰構造を持つニューラルネットワークに入力系列を入力していき、入力系列の入力が終わった時点から出力系列の出力を始めるようにネットワーク
を学習することで入出力系列の対応学習を行う（図 1）。
これを本研究で扱うロボット動作系列の入力と自然言語による説明文・指示文の出力に適用しようとする場
合、ロボット動作系列の方が長大な系列となり、再帰型
ニューラルネットワークによく起こる勾配消失の問題を生じやすい。そこでこの勾配消失の問題を解決するた
め、End-to-end 以前の研究で行われていたように動作の分節化を導入する。本節ではまず一般的な encoderdecoder モデルについて説明し、その後暗黙的な分節化として Attention 機構の導入について説明する。また、明示的に分節化を行う手法として、k 平均法によ図 1: encoder-decoder モデル
るクラスタリングとエントロピー基準によるチャンキ
ングを導入する。

3.2.1

動作と説明文の対応学習

ロボットの動作角とロボットが各時刻で持つ画像特徴量を入力として、自然言語による指示文・説明文を出力する encoder-decoder モデルを適用する。encoderと decoder にはそれぞれ 1 層の LSTM[15] を使用する。
encoder への入力は関節角と画像特徴量の生データである。decoder は動作系列が埋め込まれたベクトルを受け取り、分かち書きされた日本語の単語系列を出力する。このように単純に encoder-decoder モデルを本タスクに適用する場合、デコーダ部分の出力が高々数十単語となるのに対し、エンコーダ部分の入力はフレー
ムレートにも依存するが、数百から数千となる。この場合、入出力の対応を学習することは困難であり、大量の学習データが必要となることが予想される。

3.2.2

Attention 機構の導入

まずこの問題の解決策として期待されるのは、Attention 機構である。Attention 機構では、デコーダの復号
化時のある時刻における出力に、エンコーダによって符号化された系列データの各時刻の入力をどの程度重みをつけて利用するかを決定する (図 2)。この Attention 機構により、文中の各単語に対して注意の重みが強く働いている動作の部分系列が、その単語と対応したクラスになることが期待される。これを本研究では、
Attention による暗黙的な分節化と呼ぶ。

3.2.3

明示的な動作の分節化

Attention は encoder-decoder モデルと同時に学習されるため、対応学習に最も適した分節化を学習できる
可能性がある。一方で、モデルが複雑化するため、必要とする学習データが増加する懸念も存在する。そこ

図 2: Attention 機構を持つ encoder-decoder モデル
で本研究では、こうした動作の分節化を、k 平均法によるクラスタリングと、エントロピー基準によるチャンキングによって、教師なしながら明示的に行う手法についても検討を行う。この手法では、まず連続値のベクトルで表現される各時刻のロボットの全身の関節
角ベクトルを、非階層クラスタリング手法である k 平
均法 [16] を用いて量子化する (図 3(1))。次に、量子化された系列をサブワード分割を用いてチャンキングする (図 3(2))。サブワード分割は、有限種類の記号系列から頻出する部分系列を抽出し符号化を行う手法である。本研究ではサブワード分割に SentencePiece[17] を使用し、量子化された動作系列のチャンキングを行った。この操作により、時刻毎に与えられる動作クラスを表すクラスターの列から、頻出する動作パターンを分節化した系列への変換を行うことができる。

4

評価実験

評価実験では、ロボットシミュレータによって生成されたロボット動作に対して自然言語による指示文・説明文を付与する実験を行った。分節化を全く行わない
encoder-decoder モデルと、Attention 機構を導入したモデル、明示的な分節化を導入したモデル、それら両方を導入したモデルの比較評価を行い、提案手法の有効性を示す。

4.1

実験条件

本研究では SIGVerse[18] というシミュレータを使用した。またシミュレータ上で動作する実験用のロボット

4.2

図 3: 明示的分節化
として、トヨタ自動車 (株) が開発した Human Support
Robot (HSR)[19] の 3D モデルを使用した (図 4)。ロボッ
トが動作する環境は、World Robot Summit (WRS) におけるロボット動作環境に準拠し、テーブルや本棚などの家具や、把持可能な物体が複数配置されている家
庭内環境とした。Attention 機構および分節化の有効性の検討のため (1) 分節化なし、(2) 提案する分節化の結果を入力に使用 (明示的分節化)、(3)Attention 機構のみ利用（暗黙的分節化）、(4) 明示的に分節化した動作
系列に対し Attention 機構を持つネットワークを使用、という４つのモデルでの実験を行った。

データセット

学習データとして、シミュレータ上でロボットが物
体ををつかむ、物体を捨てるといった動作を行う、50個の動作を用意した。ロボットの動作情報および画像情報のサンプリングは 0.3 秒毎に行い、この系列をロボットの動作系列とした。ここで関節角情報は、ロボッ
トの全身の９個の関節角度および車輪による水平方向の直進・回転移動情報を表す 12 次元のベクトルであり、視覚情報はロボットの手先のカメラで撮影された 160
× 120 ピクセルの画像から CAE により抽出された 10次元の特徴ベクトルである。各ロボット動作に対応する説明文をアノテーションするため、クラウドソーシ
ングによって指示文収集を行った。用意した 50 個の動作の動画に対し、それぞれ 20 人の被験者に対応する指示文をアノテーションしてもらい、合計 1000 個の日本語の文を用意した。すなわち、1 個の動作に対し、20個の指示文が対応するマルチレファレンスデータを構築した。今回作成したデータセットでは、ロボットが行う動作は大きく分けて、「取ってくる」、「置く」、「拾う」、「落とす」、「見に行く」という 5 種類の動作に分類できる。
「取ってくる」という動作を行う一つの動画に対してアノテーションされた指示文の例を表 1 に示す。収集した説明文を京都テキスト解析ツールキット(KyTea)[20] で分かち書きした結果、日本語の語彙数は470 個であった。50 個の動作と言語のペアデータのうち、40 個を訓練用、5 個を検証用、5 個を評価用デー
タとする 10 分割交差検証を行い、全ての動作動画に対する評価を行った。
表 1: 収集されたマルチレファレンスの指示文
テーブルの上のコップを取って戻ってきてテーブルの上のコップを取ってテーブルのコーヒーカップ持ってきてガラストップテーブルのマグカップを持ってきてコーヒーを持ってきて下さい

4.3

学習

各 encoder-decoder モデルと分節化の学習条件を示す。k 平均法の動作クラスタ数は Elbow method [21]により 150 個とした。チャンキングにおいては語彙数
を 200 個として SentencePiece によるチャンキングを行い、量子化されたロボット動作系列を分節化された動作系列に変換した。encoder-decoder モデルには 160
ユニット、1 層の LSTM を用いた。
図 4: ロボットと作業環境

表 2: 各手法の BLEU スコア
モデル
BLEU-2 BLEU-3(1) 分節化なし(2) 明示的分節化(3) Attention 機構のみ利用(4) Attention 機構+明示的分節化

参照文

表 3: 各モデルの生成例
1. 床のティーポットを拾って
2. 寝室の様子を見てきて分節化なし
明示的分節化Attention 機構
のみ利用
Attention 機構+明示的分節化

4.4

1. ののののののののののののの
2. ののののののててててててて
1. 床の上のソースを取って
2. 部屋の様子を見てきて
1. テーブルの上のソースを取って
2. テーブルの上のぬいぐるみを持ってきて
1. 床にあるソースを拾って
2. キッチンの上の様子を見て評価基準

本研究では、評価基準として BLEU[22] を使用した。
BLEU は生成文と参照文で出現する単語 n-gram の一致率を計算する評価手法である。今回は１動画に対し 20
文の参照文が与えられるマルチレファレンスの設定であるため、各参照文に対して独立に 2,3,4-gram の BLEU
スコアを算出し、4-gram のスコアが最大となる参照文をその出力文のスコア計算に用いた。

4.5

実験結果

4.5.1

自動評価

各モデルの BLEU のスコア平均による自動評価の結果を表 2 に示す。表 2 の各値は、各動画についての
2,3,4-gram の BLEU スコアの平均である。評価に用いる参照文は、各動画においてスコアが最大となる文を用いた。Attention 機構による暗黙的分節化、クラスタ
リングとチャンキングによる明示的分節化、およびその両方を用いたモデルで、分節化を用いない encoderdecoder モデルと比較して、性能が向上することを確認した。Attention 機構や明示的分節化単体を適用する
よりも、両方を適用するほうがいずれのスコアもよくなっていることが確認された。この結果から Attention
機構を用いた暗黙的分節化と、クラスタリング・チャ
ンキングを用いた明示的分節化双方を用いることが有効であることがわかる。

0.0649
0.331
0.324
0.339
4.5.2

0.107
0.295
0.294
0.301

BLEU-4
0.128
0.264
0.266
0.269

生成された説明文の比較表 3 に同じロボット動作系列に対する各手法の生成結果を示す。なお、参照文は提案手法の BLEU スコア
計算に用いられた文である。分節化を用いない通常のencoder-decoder モデルでは、非文が生成され、意味のある文を生成することができなかった。これは、今回の学習データが非常に少量であることもあり、長い生の動作系列に対してうまく学習を行うことができなかったためと考えられる。これに対して、分節化を用いたモデルはいずれもある程度動作を反映した文章が生成できた。分節化を用いた手法では、生成された文章において「拾う」「取る」といった動作を表現する部分はある程度特徴をつかんでいる。しかし、動作で扱った物体の名称についてはほとんど正しく生成できなかった。これらの情報は画像情報を適切に利用することで改善が可能と考えられ、この改善は今後の課題である。

4.6

評価指標に関する検討

今回使用した自動評価では単語の一致率のみを基準としている。しかし、例えば「取ってくる」と「持ってくる」のように、異なる単語であっても同様の動作を表す場合や、「カップ」と「コップ」などのように別の表現で同じ物体を表現する場合への考慮が必要である。これに関しては、マルチレファレンスを用いた今回の評価により、ある程度吸収ができていると考えられるが、分散表現を利用した同義語の吸収などを行うことも考えられる。また、自動評価には限界もあるた
め、正しい文を生成できているかの評価を人手で行うことも必要である。

5

まとめ

本研究では、ロボット動作情報から動作を説明する
適切な文章を生成するシステムの構築を行った。これを End-to-end で行うため、動作の暗黙的、明示的な分節化を導入した。ロボットシミュレータの出力を用いた実験の結果、提案する動作の分節化がロボット動作と動作指示文・説明文の End-to-end 学習において有効であることが確認された。今後は各分節化手法において形成された基本動作の分析および可視化を行うとともに、今回はうまく生成を行うことができなかった画
像情報に含まれる内容についての生成についても検討を行う。

謝辞
本研究の一部は JSPS 科研費 JP17H06101 の助成を受けて行った。

参考文献[1] 橋本さゆり, 小林一郎. 深層強化学習と言葉による離散化を用いたロボット制御への取組み. 人工知能学会全国大会論文集 JSAI2018, pp. 2A303-2A303, 2018.
[2] 田村優樹, 長崎達也, 中野雅広, 原田実. 意味解析に基づくロボット指示システム Athena2011. 研究報告音声言語情報処理 (SLP), Vol. 2012, No. 10, pp. 1-8, 2012.
[3] 森武俊, 祢次金佑, 下坂正倫, 佐藤知正. 日常動作の概
念関係と隠れマルコフモデルを利用した動作のオンラ
イン分節化. 日本ロボット学会誌, Vol. 25, No. 1, pp.
130-137. 2007.
[4] 中村友昭, アッタミミムハンマド, 長井隆行, 持橋大地,
小林一郎, 麻生英樹, 金子正秀. ガウス過程の隠れセミ
マルコフモデルに基づく身体動作の分節化. 人工知能学会 第 30 回全国大会論文集, pp. 1035-1035, 2016.
[5] 岩田健輔, 池田成満, 青木達哉, 西原成, 中村友昭, 長井隆行. 動作の分節化に基づく家事タスクにおける行動の構造化, 人工知能学会 第 30 回全国大会論文集, pp.
1O24-1O24, 2016.
[6] 長野匡隼, 中村友昭, 長井隆行, 持橋大地, 小林一郎, 金子正秀. 階層ディリクレ過程による動作クラス数推定を導入した GP-HSMM による連続動作からの基本動作抽
出. 情報処理学会 第 80 回全国大会論文集, pp. 95-96,
2018.
[7] I. Sutskever, O. Vinyals and Q. Le. Sequence tosequence learning with neural networks. NIPS, pp.
3104-3112, 2014.
[8] C.C. Chiu, T. Sainath, Y. Wu, R. Prabhavalkar,
P. Nguyen, Z. Chen, A. Kannan, R. J. Weiss, K.
Rao, K. Gonina, N. Jaitly , B. Li, J. Chorowski and
M. Bacchiani. State-of-the-art speech recognition
with sequence-to-sequence models. IEEE-ICASSP,
pp. 4774-4778, 2018.
[9] M. Plappert, C. Mandery and T. Asfour. Learninga bidirectional mapping between human whole-body
motion and natural language using deep recurrent
neural networks. Robotics and Autonomous Systems,
Vol. 109, pp. 13-26, 2018.
[10] T. Yamada, H. Matsunaga and T. Ogata. Paired recurrent autoencoders for bidirectional translation between robot actions and linguistic descriptions. IEEE
RA-L, pp. 3441-3448, 2018.

[11] M. T. Luong, H. Pham and C. D. Manning. Eﬀective
approaches to attention-based neural machine translation. EMNLP, pp. 1412-1421, 2015.
[12] J. Fasola and M. J. Mataric. Using semantic fields
to model dynamic spatial relations in a robot architecture for natural language instruction of service
robots. IEEE/RSJ IROS, pp. 143-150, 2013.
[13] O. Fabius and J. R. van Amersfoort. Variational recurrent auto-encoders. ICLR, 2015.
[14] X. Guo, X. Liu, E. Zhu and J. Yin. Deep clusteringwith convolutional autoencoders. ICONIP, pp. 373382, 2017.
[15] S. Hochreiter and J. Schmidhuber. Long short-term
memory. Neural Comput, Vol. 9, No. 8, pp. 17351780, 1997.
[16] J. Hartigan, M. Wong. A k-means clustering algorithm. J R Stat Soc Series C, Vol. 28, No. 1, pp.
100-108, 1979.
[17] T. Kudo and J. Richardson. SentencePiece: A simple and language independent subword tokenizer anddetokenizer for Neural Text Processing. EMNLP,
2018.
[18] T. Inamura, T. Shibata, H. Sena, T. Hashimoto,N. Kawai, T. Miyashita, Y. Sakurai, M. Shimizu,
M. Otake, K. Hosoda, S. Umeda, K. Inui and Y.
Yoshikawa. Simulator platform that enables social interaction simulation -SIGVerse: SocioIntelliGenesis
simulator-. IEEE/SICE SII pp. 212-217, 2010.
[19] U. Yamaguchi, F. Saito, K. Ikeda and T. Yamamoto.
HSR, Human Support Robot as Research and Development Platform. ICAM, pp. 39-40, 2015.
[20] G. Neubig，Y. Nakata and S. Mori． Pointwise prediction for robust, adaptable japanese morphologicalanalysis. ACL-HLT, pp. 529-533, 2011.
[21] P. Bholowalia and A. Kumar. EBK-means: A clustering technique based on elbow method and k-means
in WSN. Int J Comput Appl, Vol. 105, No. 9, 2014.
[22] K. Papineni, S. Roukos, T. Ward and W. J. Zhu.
Bleu: a Method for Automatic Evaluation of Machine Translation. ACL, pp. 311-318, 2002.