知能と情報（日本知能情報ファジィ学会誌）Vol.32, No.1, pp.632 – 642（2020）

132

原著論文

ヒューマノイドロボットを用いた言語理解による動作生成†濵園 侑美＊１ ・小林 一郎＊２ ・麻生英樹＊３ ・中村 友昭＊４ ・長井

隆行＊５ ・持橋 大地＊６

現在，日本は超高齢化社会に突入しており，それに伴う人手不足問題をロボットを利用して解決をはかろうとする取り組みが増えている．近年では，ロボットを安価に入手出来るようになったり，人とロボットが触れ合う機会も増えており，
人間とロボットのコミュニケーションが大きく発展する可能性がある．本研究は，家庭内でロボットを用いる場面を想定し，人の言葉を理解し動作を生成するヒューマノイドロボットの実現に向けた取り組みである．言葉の意味を捉える方法
は，単語が元々持っている意味や単語同士の意味的関係から意味ネットワークを生成するも方法があるが，本研究では，
言葉の意味の捉え方に文章中の単語の頻度情報や周辺に出現する単語の類似を用いて自動的に意味を付与する手法である，分散表現を用いる．それにより，曖昧な言語表現であっても分散表現上では一つの表現に定まり，扱いが容易になる．
ロボットに動作を生成させる方法として，ロボットの関節の動きと人間の関節の動きは異なるということに留意し，ロボットが行える基本動作を組み合わせることにより，人の動きを真似て行える枠組みを提案する．この枠組みにより，基本動作を組み合わせて，複雑な動作を表現および生成すること可能がとなる．言葉と動作の対応関係を捉える方法は様々あるが，本研究ではニューラルネットワークの技術を用い，多様なロボット動作と曖昧な表現との対応関係を学習する枠組みを提案し検証する．これらにより，人の言葉による指示からロボットが動作を生成し動作することが可能となる．また，初めて行う動作であっても言葉の意味から推測し，ロボットが動作生成することが可能となる．
キーワード：自然言語処理，機械学習，ヒューマノイドロボット，ニューラルネットワーク，マルチタスクラーニング

1. はじめに語が 1 つの表現に定まり，さらに単語同士の関係が人の想定する意味関係と近い相関関係を取る特徴を持つ．動作は，ロボッ

少子高齢化社会の到来によって起こりうる人手不足の問題

トが人の動作を真似て行うことができるように，自らが行えるを，ロボット利用によって解決をはかろうとする場面が増える

基本動作を組み合わせてひとつの行為を生成する枠組みを構築と考えられるいま，家庭内において人間とロボットが協調してし，複数の基本動作から複雑な行為を表現する対応関係を明暮らせるように，ロボットは居住者の言葉や身振りをまねる確にする．また，言葉と動作の対応関係を学習することによっことで居住者の経験を得て，学習することが必要となると考て，初めて行う動作であっても言葉から推測し，動作を行なええる．このことを踏まえ，本研究は人の言葉による指示からロるようにし，多様なロボット動作と多様な人の言葉の対応関係

ボットが動作を生成し動作することを目標にする．言葉は，人を学習する枠組みを提案し検証する．なお，本研究は家庭内で間とロボットのインタラクションが容易になるよう，分散表現のロボット利用を目指すため，日常生活の動作，特に調理動作を用いて表現する．分散表現は多様な意味を持つことがある単を対象とし，言葉は動作を表す動詞や物の名前を表す名詞ではなく，その量や質を表現する副詞や形容詞に注目し，ロボット†

Motion Generation Using Humanoid Robot with Language
Understanding
Yumi HAMAZONO, Ichiro KOBAYASHI, Hideki ASOH,
Tomoaki NAKAMURA, Takayuki NAGAI,
and Daichi MOCHIHASHI＊１ お茶の水女子大学大学院 人間文化創成科学研究科

Humanities and Sciences Advanced, Ochanomizu University＊２ お茶の水女子大学大学院 基幹研究院 自然科学系

Natural Science Division, Faculty of Core Research, Ochanomizu University＊３ 産業技術総合研究所 人工知能研究センター

Artificial Intelligence Research Center, National Institute of Advanced
Industrial Science and Technology(AIST)＊４ 電気通信大学

The University of Electro-Communications＊５ 大阪大学

Osaka University＊６ 統計数理研究所 数理・推論研究系

Department of Statistical Inference and Mathematics, The Institute of
Statistical Mathematics

632

動作と言葉の対応関係を学習する．

2. 関連研究
ニューラルネットワークやリカレントニューラルネットワー
ク（RNN）を用い，ロボットに動作を生成させる研究は広く行われている．神経力学モデル MTRNN（Multiple Timescale

Recurrent Neural Network）[1] は RNN を拡張したモデルで，再起結合を持つことで力学モデルとしての性質を持つ．現在の状態を入力とし，次時刻の動作を出力とするものであり，動作を学習，認知，生成することができる．これを用いて，Sugita
ら [2] 及び Ogata ら [3] はパラメータを共有する MTRNN と

RNN を用い，ロボット動作と単語列をそれぞれ学習すること
で，相互想起を実現するモデルを提案した．また，Stramandi-

noli ら [4] は既に獲得している低次元における動作と言葉の対応関係に基づいて，RNN を用いることでより高次元の動作と言語表現の統合を目指した．しかし，いずれの場合も名詞や動Vol.32 No.1

ヒューマノイドロボットを用いた 言語理解による動作生成

133

知の「小さく 混ぜる」動作を生成しようとする場合，既知の「大きく 切る」，「小さく 切る」の関係から「大きい」と「小さい」の関係性を推定でき，「大きく 混ぜる」動作と「大きい」と「小さい」の関係性を用いて「小さく 混ぜる」動作を推定し，動作を生成する．
言葉を意味空間へ配置する方法は word2vec [20, 21] を用い，対象とする言葉は，動作を変化させる曖昧表現（「大きい」，「小さい」，「しっかり」，「手早い」などの形容詞や副詞）と，動作に関する単語（「切る」，「混ぜる」，「振る」などの動詞）を組み合わせたものとする．動作を表現空間へ配置する方法
は，Activity-Attribute Matrix を動作生成に応用した時系列対
図1

応 AAM を用いる．また，言葉と動作の対応関係の学習には提案手法の概要（未知語「小さく 混ぜる」の動作推定例）

詞などの具体的な言葉に対する動作生成である．本研究では，

ニューラルネットワークを用いる．

3.2

言語の意味表現

より人間の言葉に対応するために，名詞で表される物や動作のHinton ら [22] によって提案された分散表現とは，単語を固

大きさや量を具体的な数値として表さず，曖昧に表現する形容

定長の高次元の実数ベクトルで表現し，類似の意味を持つ単語

詞や副詞の意味理解に基づくロボットの動作生成を行う．

を近いベクトルに対応させる手法である．各概念に一つの計

自然言語処理分野においても，ニューラルネットワークを

算要素を割り当てる局所表現（one-hot representation）に比べ，用いて機械翻訳 [5, 6]，文書分類 [7]，固有名詞抽出 [8]，質疑より単語同士の関係とベクトル同士の関係が対応づけられる．

応答 [9] などの様々なタスクを解決する取り組みが行われてい分散表現生成手法のうち，本研究では Mikolov ら [20, 21] にる．例えば GNMT（Google’s Neural Machine Translation）[10]

よって公開された word2vec1 を用いる．これはニューラルネッ

は，Attention 機構 [11] を導入した Encoder-Decoder [6, 12] モ

トワークを用いて単語の分散表現を得る手法であり，文章中のデルで，Encoder，Decoder 共に 8 層の LSTM [13] を使用した単語の出現頻度と周辺に出現する単語の類似により，単語をベ機械翻訳である．このように，自然言語処理におけるニューラ

クトル化する．word2vec は，学習方法の違いにより CBOW とルネットワークの使用の多くは巨大なネットワークの End-to-

Skip-gram の 2 つに分類されるが，双方とも生成されたベクトEnd である．本研究では，巨大なネットワークを作ることなくル同士の計算によって単語の意味を表現可能である [23] と知学習させるための工夫を行う．

られている．これにより，単語の意味関係から未知の単語の組

なお，語義曖昧性解消への取り組みとして，Knowledge-Base

み合わせに対する動作の推定を可能にする．word2vec によりに基づく手法 [14] や教師あり学習 [15]，教師なし学習 [16]，半分散表現を生成した場合，用いるコーパスに依存して生成され教師あり学習 [17] による手法が取られている．近年では，分散たベクトル同士の関係性が変化する．本研究は調理動作を対象表現を用いて解決する手法 [18, 19] が台頭している．しかし，とするため，コーパスはクックパッド2 のレシピを用いた．ま

分散表現によって生成された言葉の意味空間はコーパスに依存た，word2vec を用いる際の前処理としてクックパッドデータ

しており，言葉以外の関係性との乖離が見られる．そこで本論の材料コーパスを辞書とすることで，MeCab [24] による分か文では，言葉の意味空間と，言葉以外の空間として動作表現空ちを正確にし，既存辞書を用いる場合よりも更に料理に適した間を結びつける手法を提案する．

分散表現を生成出来るように工夫した．4.1 節で述べる本研究3. 言語表現からの動作生成
3.1で用いる曖昧表現の word2vec による言葉の分散表現を主成分分析し，可視化した結果が図 2 である．
図 2 より，速度が速いことを表す「手早い」と「一気に」，概要

動作を変化させる曖昧表現と動作を意味する動作表現とを組少量であることを表す「少し」と「ちょっと」がそれぞれ近いみ合わせた言葉と，その言葉が意味する動作の対応関係が既知

ことがわかる．一方で，逆の意味である「細かい」と「ザクザであるとする．動作との対応関係が分からない未知の言葉が与ク」が近い．これは，word2vec による分散表現の作成前提でえられた時に，既知の言葉との意味関係から対応する動作を生ある，分布仮説 [25] の「同じ文脈に現れる単語は似た意味を成する手法を提案する．

持つ傾向にある」により，対義語同士もまた同じ文脈に出やす

図 1 に提案手法の概要を例と共に示す．

いため，類義語と対義語は区別することができないことが原因

言葉は言葉の意味空間に，動作は動作表現空間にそれぞれ配である．これを解消するために，潜在的意味解析をベースとし置され，言葉と動作の関係により 2 つの空間の関係性を学習

た辞書知識を利用する手法 [26] や，意味的に関連している単することで，言葉から動作を推定し，動作が生成できるように語群は似たベクトルになるようにファインチューニングする，

なる．
例えば，
「大きく 混ぜる」，「大きく 切る」，「小さく 切る」の

1

https://code.google.com/p/word2vec/

3 つの言葉とそれぞれの動作が既知であるとする．この時，未2

http://www.nii.ac.jp/dsc/idr/cookpad/cookpad.html

2020/2633

知能と情報（日本知能情報ファジィ学会誌）

134

表 1 関節の動作可能範囲
関節軸名称

記号

腰ヨー軸

CY
NY
NP
RSY
RSP
REP
RWY
RWP
RWR
LSY
LSP
LEP
LWY
LWP
LWR

首ヨー軸
首ピッチ軸
右肩ヨー軸
右肩ピッチ軸右肘ピッチ軸右手首ヨー軸右手首ピッチ軸
右手首ロール軸
左肩ヨー軸
左肩ピッチ軸左肘ピッチ軸左手首ヨー軸図 2 word2vec による分散表現

左手首ピッチ軸
左手首ロール軸

可動範囲（deg） 最大速度（deg/s）-163 to +163
-70 to +70-20 to +70-88 to +88-140 to +60-158 to +0-165 to +105-100 to +100
-163 to +163
-88 to +88-140 to +60-158 to +0-105 to +165
-100 to +100
-163 to +163

130
150
300
172
133
229
300
223
300
172
133
229
300
223
300

Activity

ふる

0 0 1
0 1 0
炒める 1 1 1
切る
0 1 1
混ぜる 1 1 0x y z
Attribute
ふるう

図 4 HIRONXC を用いた AAM 作成

表 1 に各関節が動く範囲を示す．ほぼ全ての関節で，1 秒で
図 3 ロボットの関節

任意の角度に移動可能なことがわかる．

Jython を使い，HIRONXC を連続で動作させる場合，1 動作につき以下のフォーマットでの入力が必須である．

Retrogitting という手法 [27] があるが，本研究は分散表現の精[[[CY, NY, NP],

度をあげることが目的ではないため，用いない．

[RSY, RSP, REP, RWY, RWP, RWR],[LSY, LSP, LEP, LWY, LWP, LWR],

3.3

ヒューマノイドロボット概観[RH1, RH2, RH3,RH4], [LH1, LH2,LH3,LH4]], T]

図 3 に本研究で使用する HIRONXC の概観3 を示す.

つまり，全ての関節角情報を HIRONXC に対して与えなけれ

HIRONXC は（株）川田工業社製ヒューマノイドロボット

ばならない．

であり，オープンソフトウェア OpenHRP3 を持つプラットフォームである．双碗，双眼を持ち，左右手元にカメラがつい

3.3.1

動作構成

て，Jython で動作する．また，全部で 23 つの関節を持ってお関節情報は可読性が低く，また人手でロボット動作を作成す

り，体全体を動かす 1 つ（腰ヨー軸：CY），首の左右上下運動る際にも不便である．そこで，ロボットを基本動作からよりに 2 つ（首ヨー軸：NY，首ピッチ軸：NP），両腕に各 6 つ（右複雑な動作を構成するために，Cheng ら [28] による Activity-

肩ヨー軸：RSY，右肩ピッチ軸：RSP．右肘ピッチ軸：REP，

Attribute Matrix を参考にする．

右手首ヨー軸：RWY，右手首ピッチ軸：RWP，右手首ロール
軸：RWR，左肩ヨー軸：LSY，左肩ピッチ軸：LSP，左肘ピッ3.3.2

Activity - Attribute Matrix

チ軸：LEP，左手首ヨー軸：LWY，左手首ピッチ軸：LWP，左Activity-Attribute Matrix（以下 AAM）は動作と動作に関連

手首ロール軸：LWR），両手に各 4 つ（右手関節：RH1，RH2，

している意味属性を符号化したものである．具体例を図 4 でRH3，RH4，左手関節：LH1，LH2，LH3，LH4）の関節を持示す．

つ．それぞれの関節角と時間 T を指定することで，T 秒かけて

M を Activity（活動）， N を Attribute（属性）とし，各要素指定された角度へと関節を動かすことが可能である．

ai j (i ∈ M, j ∈ N) において Attribute の Activity への含有関係

http://robot-support.kawada.jp/support/hiro/ より引用いる場合は 1，用いられていない場合 Attribute j は 0 とする，について Activity i を構成するのに Attribute j が用いられて
3

634

Vol.32 No.1

ヒューマノイドロボットを用いた 言語理解による動作生成
表21352. 係数ベクトルの準備

時系列対応 AAM の概要

1. で準備した各基本ベクトル方向にどの程度移動させるか
速く切る
速く混ぜる
ゆっくり切る
細かく切る
ザクザク混ぜる

CY
NY
NP
RSY
RSP
REP
RWY
RWP
RWR
LSY
LSP
LEP
LWY
LWP
LWR
RH1
RH2
RH3
RH4
LH1
LH2
LH3
LH4

0
0
0
0
0
p x1

p1
0
-5
3.5
0
0
-5
0
-5
6
0
p y1 p z 1

↑

↑

↑

x
y
z
0.0 0.0 0.0
0.0 0.0 0.0
0.0 0.0 0.0
0.1 1.8 0.7-2.3 0.7 0.1
2.1 -0.5 -2.7
0.0 0.0 0.1
0.2 0.2 2.7
0.0 -1.8 0.0
0.0 0.0 0.0
0.0 0.0 0.0
0.0 0.0 0.0
0.0 0.0 0.0
0.0 0.0 0.0
0.0 0.0 0.0
0.0 0.0 0.0
0.0 0.0 0.0
0.0 0.0 0.0
0.0 0.0 0.0
0.0 0.0 0.0
0.0 0.0 0.0
0.0 0.0 0.0
0.0 0.0 0.0

8
8
3
5
8
p s1

0
3.5
0
0
6
p x2

p2
3.5
5
-3.5
0
3.5
5
1
5
-6
0
p y2 p z 2

↑

↑

8
8
3
5
8
p s2

…

…

↑

x
y
z
0.0 0.0 0.0
0.0 0.0 0.0
0.0 0.0 0.0
0.1 1.8 0.7-2.3 0.7 0.1
2.1 -0.5 -2.7
0.0 0.0 0.1
0.2 0.2 2.7
0.0 -1.8 0.0
0.0 0.0 0.0
0.0 0.0 0.0
0.0 0.0 0.0
0.0 0.0 0.0
0.0 0.0 0.0
0.0 0.0 0.0
0.0 0.0 0.0
0.0 0.0 0.0
0.0 0.0 0.0
0.0 0.0 0.0
0.0 0.0 0.0
0.0 0.0 0.0
0.0 0.0 0.0
0.0 0.0 0.0

…

0
-3.5
0
0
-6
pxn

pn
3.5
5
0
0
3.5
5
1
5
0
0
py n pz n

↑

↑

8
8
3
5
8
ps n

↑

x
y
z
0.0 0.0 0.0
0.0 0.0 0.0
0.0 0.0 0.0
0.1 1.8 0.7-2.3 0.7 0.1
2.1 -0.5 -2.7
0.0 0.0 0.1
0.2 0.2 2.7
0.0 -1.8 0.0
0.0 0.0 0.0
0.0 0.0 0.0
0.0 0.0 0.0
0.0 0.0 0.0
0.0 0.0 0.0
0.0 0.0 0.0
0.0 0.0 0.0
0.0 0.0 0.0
0.0 0.0 0.0
0.0 0.0 0.0
0.0 0.0 0.0
0.0 0.0 0.0
0.0 0.0 0.0
0.0 0.0 0.0

M × N 行列により動作を表現する．図 4 では，Activity として調理動作を例に捉え，それに伴い Attribute として図 4 の右図ように右手の指先を前後に動かす (x)，左右に動かす (y)，上下に動かす (z) を基本ベクトルを設定した．例えば，ふる動作
は， x = 0, y = 0, z = 1 となっているので，上下に動かす動きであることが分かり，また，切る動きは x = 0, y = 1, z = 1 より，左右と上下の動きが含まれていることが分かる．

3.3.3

時系列対応 AAM

ロボットを実際に動かすにはそれぞれの関節角を指定する必要がある．そこで本論文では，AAM を改良した「時系列対応 AAM」を提案する．時系列対応 AAM は，Attribute それぞれに対して，係数となるベクトルとの内積を取ることにを示すベクトル（係数ベクトル）を生成する

3. 基本行列と係数ベクトルの内積
1. の基本行列と 2. で生成された係数ベクトルの内積を計算し，関節角座標（以下，「座標」と呼ぶ）を求める

4. 移動先座標の取得および動作時間の追加
3. で計算された座標に現在の座標を加えて，移動先の座標を取得する．スピードから時間 T を計算し，ロボットに与える座標のフォーマットは以下の様になる．

[[[CY, NY, NP],
[RSY, RSP, REP, RWY, RWP, RWR],[LSY, LSP, LEP, LWY, LWP, LWR],[RH1, RH2, RH3,RH4], [LH1, LH2,LH3,LH4]], T]
なお時間 T は，表 1 の関節の動作最大速度より，多くの関節でどの角度にも 1 秒以内で動作可能なため，tn = 10 − psn とする．具体例を上記の順に従って以下に示す．

1. 基本行列の準備
要素動作 x, y, z の各基本ベクトルを並べた基本行列の準備のため，ロボットを実際に x, y, z の各方向に 1 cm ずつ
動かし，その時の各関節角の変化を測定する．その結果，準備される基本行列は，表 2 の「↑」下の x, y, z に紐づく値となる．

2. 係数ベクトルと動作速度の組の生成係数行列の生成を調理動作「切る」を例に説明する．
切る動作は常に x が 0 で（前後の動きはなく），まず z が負（下へ）の動きをし，次に z が正（上へ）の動きをしな
がら y が正（左へ）動く，という特徴から生成される．このとき，動作の違いは特に y （左右の動き）と速度 ps によって種類を生成できる．表 2 を見ると，複数の種類の「切る」という動作が， y と ps の値によって差別化されていることがわかる．
次に，「速く切る」という動作を見てみると，[[px1 , py1 , pz1 , ps1 ], [px2 , py2 , pz2 , ps2 ], …, [pxn , pyn , pzn , psn ]]の値は [[0,0,-5,8],[0,3.5,5,8],…,[0,3.5,5,8]] となっており，

より，ロボットの動作生成を可能にし，さらに Activity を生

時間の経過と共にその動作を示すベクトルが表示されてい成する過程において，それぞれの Attribute の度合い，時系列

ることがわかる．

性，速度等が重要となるため，単位時間あたりの各 Attributeの変動割合にその動作を行うスピードを組み合わせる．本研
究では，右手の指先の動き x ， y ， z を Attribute とし，単位時間あたりの x ， y ， z の変動割合に，その動作を行うスピー
ド ps = [0, 10] を組み合わせた [p x , py, pz , ps ] を時系列に n 個並べた [p1, p2, …, pn ] = [[p x1 , py1 , pz1 , ps1 ], [p x2 , py2 , pz2 , ps2 ], …

, [pxn , pyn , pzn , psn ]] をロボットに与えることにより，動作の生成を可能にする．表 2 に本研究の時系列対応 AAM を示す．次章にて表 2 の使用法を具体例と共に示す．

3.3.4

動作生成

3. 基本行列と係数ベクトルの内積，移動先座標の取得および動作時間の追加
表 2 中，「速く切る」における最初の係数ベクトルと動作速度の組は，[p x1 , py1 , pz1 , ps1 ] = [0, 0, −5, 8] である．そのうちの係数ベクトル [p x1 , py1 , pz1 ] と基本行列の内積の結果に現在の座標，つまり初期状態のInitialpose = [[0.0, 0.0, 0.0],[-0.6, 0, -100, 15.2, 9.4, 3.2],[ 0.6, 0, -100, -15.2, 9.4, -3.2],[0.0, 0.0, 0.0, 0.0], [0.0, 0.0, 0.0, 0.0]]を加え，さらに動作のスピード ps1 から計算した動作時間

ロボットの動作生成の手順を以下に示す．

t1 = 10 − ps1 を組み合わせ，以下のようになる．

1. 基本行列の準備[[[0.0, 0.0, 0.0],[-4.1, -0.4, -86.4, 14.7, -3.9, 3.2],

各要素動作の基本ベクトルを並べた基本行列を準備する

2020/2635

知能と情報（日本知能情報ファジィ学会誌）

136

p1 終了時

初期状態

p2 終了時図 5 「速く切る」の動作例
Net1[0.6, 0.1, -100, -15.2, 9.4, -3.2],[0.0, 0.0, 0.0, 0.0], [0.0, 0.0, 0.0, 0.0]], 2.0]

この動作生成を引き続き [p x2 , py2 , pz2 , ps2 ] = [0, 3.5, 5, 8]にも適用した結果のロボットの動作を図 5 に示す．
初期状態と p1 終了時を比べると，ロボットの右手が下に降りており，次の p1 終了時と p2 終了時を比べると，ロボットの右手が左斜め上にあがっており，ロボットで切る動作が生成できていることが確認出来る．

Net2

4. ロボット動作制御モデルの構築
本章では，まず本研究におけるニューラルネットワークを用いた学習のための適切な誤差最適化手法について検証する．次に，曖昧表現と動作表現の組み合わせによって，生成される動作が変化するモデルを 4 種類構築し，そのモデルの比較を行う．本構築モデルは，入力により特定の出力が変化するモデルである．自然言語処理分野では，Collobert ら [29] が様々な問
Net3

題に適用可能な共通の言語モデルの構築を深層学習を用いた

Multitask Learning によって目指した．また，Kingma ら [30]は一部ラベル付けされた MNIST や SVHN のデータを用い，

VAE（Variational AutoEncoder）[31] によって自動に入力の特徴を捉え，文字を特徴に合わせて出力するモデルを構築した．
本研究ではこれら先行研究を参考にモデルを構築する．また，
入力をラベルとする場合と word2vec による分散表現とする場合についての比較を行い，分散表現の有用性についての検証も行う．なお，本研究では入力の検証とモデルの検証であるたNet4め，出力である動作は単純な動作とした．

4.1

図6

Network の概要

実験仕様

言葉と動作の関係を学習するために，ニューラルネットワー

Net2：曖昧表現と動作表現からそれぞれの中間層を経た後ク（NN）を用いる．まず，最適化手法の検証として，図 6 に足し合わせ，ロボット動作を出すネットワーク．

示したネットワークのうち Net1 について，すべての訓練デー

Net3：曖昧表現と動作表現のそれぞれの中間層を足し合タに対する誤差関数 E(w) =∑N

n=1 En (w) を最小化するバッチ

学習と，データの一部を使って重み En (w) の更新を行う確率的わせ，中間層を経た後ロボット動作を出すネット
ワーク．

勾配降下法を検証する．またネットワークの検証は Net1 から

Net4：動作表現によって曖昧表現が変化すると仮定する．

Net4 の 4 種類を用い，入力をラベル，つまり One-hot のベク

まず，曖昧表現と動作表現のそれぞれの中間層を足トルとした場合と word2vec で作った分散意味表現とした場合

し合わせ，出力された動作により変化した曖昧表現とで比較した．なお，Net1 の中間層での活性関数はシグモイの中間層と，動作表現の中間層を足し合わせ，中間層

ド関数，Net2，Net3，Net4 の中間層での活性化関数はソフト
プラス関数とする．

を経た後ロボット動作を出すネットワーク．
ネットワークの学習方法は誤差逆伝播法を用い，またロボッ

Net1：曖昧表現と動作表現を結合して一つのベクトルとし

ト動作の出力では活性化関数にシグモイド関数を用いた．言葉て入力し，ロボット動作を出す 3 層のニューラルネッ

は，クックパッドのレシピに出現する調理動作表現で最も多い

トワーク．中間層での活性化関数はシグモイド関数「切る」と 2 番目に多い「混ぜる」に係り受けしている曖昧表を用いる．

現のうち，動作の大きさや速さを表す曖昧表現 12 個（「さっ636

Vol.32 No.1

ヒューマノイドロボットを用いた 言語理解による動作生成

p1
動作

p2
p x 2 p y2 p z 2
0
0
-3.5
0
-3.5
0
-3.5
0
3
0
3.5
5
3.5 -3.5
0
0
0
3.5

p x3
0
0
0
0
-3.5
0

p y3
0
3.5
0
0
0
0

p3

p y1
0
3.5
0
0
3.5
0

図7

ロボット動作（左：切る，右：混ぜる）

ふるう
炒める
切る
混ぜる
つぶす

p s1
5
5
5
5
5
5

動作の時系列対応 AAM

p x1
0
0
3.5
0
0
0

ふる

pz1
3.5
0
0
-5
0
-3.5

表3

p s2
5
5
5
5
5
5

pz3
3.5
0
-3
-5
0
-3.5

p s3
5
5
5
5
5
5

p x4
0
0
3.5
0
0
0

p4
p y4 p z 4
0
-3.5
-3.5
0
0
0
3.5
5
3.5
0
0
3.5

p s4
5
5
5
5
5
5

図8
と」
「ざっと」「ザクザク」「たっぷり」
「手早い」
「一気に」
「少
し」
「細かい」
「ちょっと」「しっかり」「きちんと」「じっくり」）と，その曖昧表現と組み合わせて使える調理に関する動作表現

6 個（「ふる」「ふるう」「炒める」「切る」「混ぜる」「つぶす」）
を対象とし，ラベルの場合は，曖昧表現は 12 次元，動作表現
は 6 次元で表し，分散表現の場合は word2vec の skip-gram を用いて，1 単語を 100 次元の分散表現で表した．動作は，3.3.1
節に示した時系列対応 AAM を用いて人手で作成し，動作表現

6 個について表 3 に示すような pn = [pxn , pyn , pzn , psn ] の 4 次
元からなる動作を用い， p1 から p6 の連続する 6 つの動作により，24 次元のベクトルで表した．
表 3 で示した動作のうち「切る」と「混ぜる」は図 7 のように表現出来る．
「 切 る 」の 動 き を 例 に と る と ， p1

p1 =[px1 , py1 , pz1 , ps1 ]=の 動 き は ，[0, 0, −5, 5]，次 の p2 の 動 き は ，

p2 =[px2 , py2 , pz2 , ps2 ] = [0, 3.5, 5, 5] で表されており，確かに図7 左でも p1 で z へ， p2 で y と z への動きを同時に行っている．曖昧表現による動作の程度変化は，例えば「さっと」という動きは「速」くて「大きい」動作の程度であると仮定し，表p5
p x 5 p y5 p z 5
0
0
3.5
0
3.5
0
-3.5
0
3
0
0
-5
3.5 -3.5
0
0
0
-3.5

137

p s5
5
5
5
5
5
5

p6
p x 6 p y6 p z 6
0
0
-3.5
0
-3.5
0
0
0
-3
0
3.5
5
-3.5
0
0
0
0
3.5

p s6
5
5
5
5
5
5

曖昧表現の動作の程度変化

から p6 = [p x6 , py6 , pz6 , ps6 ] の 24 とし，中間層のノード数は 2から 30 を試行し，最も平均二乗誤差が小さくなった 20 とする．訓練データとして，6 個の動作表現と，12 個の曖昧表現のうちいずれか 7 個をそれぞれ組み合わせた全 42 種の言葉に対し，各 100 個の動作を仮定した動作程度変化になるように切断
正規分布により生成し，全 4200 個の動作を作成した．学習をした後，訓練データとして与えた曖昧表現と動作表現の組み合
わせの 42 種，未知の言葉として訓練データにない動作表現と曖昧表現の組み合わせの 30 種の動作を評価した．

4.2

実験結果

表 4 から表 8 は式 1 で示す誤差率を算出し，パーセントで換算した結果である．予測動作と生成結果で出力された動作をそれぞれロボットに動作させ， p1 から p6 の各時間終了時の予測
動作と生成結果動作結果の距離の差（単位：cm）を予測動作の移動距離で割った割合と，その動作にかかる時間の予測動作と生成動作結果の誤差（単位：秒）を予想動作の時間で割った割合を足し合わせてその平均を取る．

着色部や ps を変更することで動作を変化させる．なお，動作√
61 ∑ ©­ (Xi − xi )2 + (Yi − yi )2 + (Zi − zi )2 |Ti − ti | ª®
+(1)√
12 i=1 ­Ti ®
Xi2 + Yi2 + Zi2«¬
ここで Xi ，Yi ， Zi ，Ti は時刻 pi で予想した動き， xi ， yi ， zi ，によって変化する p x , py, pz は異なる．また， p x , py, pz の大き

ti は生成結果の動きである．表 4，表 5，表 7，表 8 は入力をさは [-10, 10] の範囲に限定し作成する．

word2vec のベクトルとした場合についてのそれぞれの動作に

3 の着色部や速さを表す ps を大きくすることで表現する．他の曖昧表現も図 8 のように程度変化を仮定し，それぞれ表 3 の以上を用いて，ネットワークを構築する．入力層のノード

ついての誤差率を表しており，着色部は曖昧表現と動作表現の数は Net1 ではラベルの場合は 18，word2vec の場合は 200，

未知の組み合わせを与えた場合である．また表 6 は入力をラベ

Net2，Net3，Net4 ではラベルの場合は 12 と 6，word2vec のル，つまり One-hot にした場合と word2vec にした場合のそれ場合は 100 と 100，出力層のノード数を p1 = [p x1 , py1 , pz1 , ps1 ]ぞれについて，ネットワーク毎の誤差率の平均を表している．

2020/2637

知能と情報（日本知能情報ファジィ学会誌）

138

表 4 Net1 バッチ学習
動作表現
ふる

ふるう

炒める

切る

混ぜる

つぶす

じっくり

65.5
70.4
74.0
57.6
69.2
75.0
86.5
74.6
68.4
151.1
115.6
93.8

59.0
64.6
69.0
51.0
58.1
63.6
59.9
52.5
50.9
125.4
94.1
76.8

56.8
62.6
67.0
49.2
55.9
61.6
50.0
47.7
47.4
114.6
88.9
73.0

56.4
62.2
66.6
48.7
55.5
61.1
46.7
46.9
47.1
111.4
88.0
72.7

57.1
63.1
67.8
49.5
55.1
60.7
48.3
45.7
45.1
114.1
87.0
71.7

55.6
61.7
66.5
47.8
52.3
57.8
42.3
38.7
40.6
108.0
81.0
66.6

平均

83.5

68.7

64.5

63.6

63.8

59.9

さっと
ざっと
ザクザク
たっぷり
曖昧表現

手早い
一気に
少し
細かい
ちょっと
しっかり
きちんと

表5

予想

Net1 確率的勾配降下法
動作表現

ふる

ふるう

炒める

切る

混ぜる

つぶす

じっくり

32.7
41.4
46.4
30.4
20.4
29.9
90.2
60.1
31.1
133.4
67.1
53.8

42.2
48.2
57.3
35.8
29.8
35.6
45.1
26.5
17.7
80.1
40.8
30.9

45.5
51.4
53.4
37.3
38.3
45.3
33.7
23.1
28.0
61.5
41.7
36.1

27.4
33.4
42.5
21.0
22.0
25.1
20.2
16.2
18.8
48.5
27.4
23.5

40.5
47.5
58.0
40.5
33.1
41.2
27.5
24.6
25.0
76.9
54.8
50.1

36.8
43.5
54.5
30.0
24.6
26.5
113.3
48.0
32.4
143.7
79.3
41.7

平均

53.1

40.8

41.2

27.2

43.3

56.2

さっと
ざっと
ザクザク
たっぷり
曖昧表現

手早い
一気に
少し
細かい
ちょっと
しっかり
きちんと

バッチ学習

図 9 「さっと」「ふるう」のロボット動作
表 6 ネットワーク比較
誤差率

Network

入力

Net1

word2vec
ラベル

Net2て誤差率が大きくなった．一方，確率勾配降下法を用いた場合

word2vec
ラベル

考察

表 4 と表 5 を比較すると，バッチ学習では全ての動作に対し

word2vec
ラベル

Net3

4.3

確率的勾配降下法

Net4

word2vec
ラベル

既知

未知

40.74 47.70
42.05 47.49
32.08 46.91
32.13 47.78
8.44
8.79

12.71
14.00

8.48
8.93

12.10
12.54

には誤差率がバッチ学習に対しては小さくなったが，動作により誤差率のばらつきが見られた．

た結果が図 9 である．バッチ学習より確率的勾配降下法を用い

例えば「切る」動作では，誤差が他の動作に比べて極端に小た場合の方が，より動作表現に近い動きができていることが確さくなっている．「切る」動作は動作の程度変化が p1 から p6

認出来る．しかし，動作の程度は予想動作と異なっており，曖の 24 次元のうち，py2 ，ps2 ，py4 ，ps4 ，py6 ，ps6 の 6 次元でしか昧表現の学習が適切に行われているとは言いがたい．

起きておらず，他の動作，例えば「つぶす」動作では pz1 ，ps1 ，

表 6 より，既知の入力の場合でも未知の入力でも，Net1 の

pz2 ，ps2 ，pz3 ，ps3 ，pz3 ，ps3 ，pz4 ，ps4 ，pz5 ，ps5 ，pz6 ，ps6 の未知の入力を除いて word2vec を用いた場合の方がラベルを用

12 次元に比べて少ないためと考えられる．

いた場合よりも誤差率が小さくなった．word2vec で生成したバッチ学習では，全ての動作がほぼ同じ動きになった．全て言葉の意味空間は本研究で有効であると言える．

の動作の平均的な動きになったため，誤差率のばらつきが少な

ネットワーク構成について，Net1 と比較し，Net2，Net3，

くなったと考えられる．なお，いずれの場合も同一動作表現とNet4 では誤差率が小さくなった．よって，入力の方法として似た曖昧表現の組み合わせた動作についての白色部と着色部の曖昧表現と動作表現を連結した場合より，分けて入力とした場

誤差率には大きな違いは見られなかった．言葉の意味空間にお合が有用である．また Net3，Net4 が Net2 よりも誤差率の平ける曖昧表現間の関係性が，動作に反映されて生成出来ている

均は小さくなっており，動作表現と曖昧表現の言葉を足し合わと考えられ，これは曖昧表現と動作表現をそれぞれベクトルとせた後，ロボット動作を出力する前に一度中間層を経たネット

して入力とすることで可能になっていると想定される．

ワーク構成の学習が有用であると言える．また Net4 はの未知

「さっと」「ふるう」を入力とし，実際にロボットに動作させの入力に対する誤差率の平均が最小であり，未知の入力に対し638

Vol.32 No.1

Net3

Net4

図 10 「ザクザク」「混ぜる」のロボット動作
ヒューマノイドロボットを用いた言語理解による動作生成
表 7 Net2 評価結果

139

表 8 Net4 評価結果

動作表現

動作表現

ふるう

炒める

切る

混ぜる

つぶす

じっくり

30.1
31.8
28.2
21.7
9.7
8.6
99.3
79.1
39.0
158.0
54.4
46.9

30.6
31.3
36.7
23.1
12.7
10.7
140.2
52.8
31.6
130.3
61.4
29.3

26.9
28.0
26.4
18.4
12.4
13.2
65.6
25.3
14.9
50.6
38.8
15.8

18.4
19.7
20.3
10.2
9.1
8.7
16.1
13.7
9.1
17.7
18.3
13.0

29.4
30.7
36.6
24.9
13.8
12.3
83.6
48.3
27.2
92.4
58.8
31.4

31.4
34.9
41.5
25.8
15.9
11.4
145.7
43.1
26.2
84.2
73.5
23.8

平均

50.6

49.2

28.0

14.5

40.8

46.5

さっと
ざっと
ザクザク
たっぷり
曖昧表現

手早い
一気に
少し
細かい
ちょっと
しっかり
きちんと

ふる

ふるう

炒める

切る

混ぜる

つぶす

じっくり

9.0
11.3
6.1
0.9
8.4
6.8
18.8
15.1
6.7
25.9
14.6
7.1

9.0
7.9
7.5
1.2
10.0
8.5
37.0
14.7
7.9
23.1
17.2
10.2

9.4
10.6
8.9
1.7
9.0
7.4
9.3
6.1
4.6
12.3
14.8
8.2

8.8
7.5
6.5
0.8
9.8
7.5
1.7
1.2
1.7
4.8
6.5
2.9

10.1
9.0
10.4
1.6
10.0
9.7
13.7
12.0
2.9
19.9
22.4
11.9

10.1
12.7
11.2
2.5
10.6
7.5
28.8
7.1
4.4
18.2
15.8
9.7

平均

10.9

12.9

8.5

5.0

11.1

11.6

さっと
ざっと
ザクザク
たっぷり
曖昧表現

ふる

手早い
一気に
少し
細かい
ちょっと
しっかり
きちんと

ては，動作表現によって曖昧表現が変化するという仮定を用いの 3 つの手法は，より「混ぜる」動きができており，特に Net3，

ると有効であると言える．

Net4 は予想データとより似た動きになることが確認出来る．

表 7 と表 8 を比較すると，表 7 は，動作表現毎の誤差率のまた，曖昧表現の入力として全くの未知語として「きちん

平均が 14.5% から 50.6% となっており，ばらつきがある一方，と」や「しっかり」と word2vec のベクトルがコサイン類似度

表 8 では動作表現毎の誤差率の平均が 5.0% から 12.9% と大(それぞれ 0.67，0.66) により意味が近いと判断された「ちゃんきくは変わらないことから，Net4 では各動作の特徴を捉えると」を「切る」と一緒に与えた場合と「きちんと」「切る」を入ことができていると言える．

力とした場合，また．「ザクザク」「切る」と近い表現として，また，1 つの曖昧表現における動作表現毎の誤差率について， 「キャベツ」を「切る」という入力を与えた場合と「ザクザク」
表 5 や表 7 は，白色部と着色部にばらつきがある一方，表 8 は予測
白色部と着色部に大きな差が見られないことより，曖昧表現が「切る」を入力とした場合のそれぞれの動作結果は図
11 であ
Net1
Net2
る．「ちゃんと」を入力とした場合も「キャベツ」を入力とし動作毎に変化する学習できていると言える．

た場合も，それぞれの近い言葉と似た動きであるが，わずかな「ザクザク」「混ぜる」の全てのネットワークの p1 から p3 ま差異をもつ動作が生成がされた．言葉意味空間から曖昧表現にでの動作は図 10 のようになる．Net1 に比べ Net2，Net3，Net4

よる動作の変化を推測し，動作生成できていると言える．

8

Net3

Net4

図 10 「ザクザク」「混ぜる」のロボット動作ては，動作表現によって曖昧表現が変化するという仮定を用いでの動作は図 10 のようになる．Net1 に比べ Net2，Net3，Net4

ると有効であると言える．

の 3 つの手法は，より「混ぜる」動きができており，特に Net3，

表 7 と表 8 を比較すると，表 7 は，動作表現毎の誤差率のNet4 は予想データとより似た動きになることが確認出来る．

平均が 14.5% から 50.6% となっており，ばらつきがある一方，また，曖昧表現の入力として全くの未知語として「きちんと」

表 8 では動作表現毎の誤差率の平均が 5.0% から 12.9% と大や「しっかり」と word2vec のベクトルがコサイン類似度（そきくは変わらないことから，Net4 では各動作の特徴を捉える

れぞれ 0.67，0.66）により意味が近いと判断された「ちゃんと」ことができていると言える．

を「切る」と一緒に与えた場合と「きちんと」「切る」を入力とまた，1 つの曖昧表現における動作表現毎の誤差率について，

した場合，また．
「ザクザク」「切る」と近い表現として，「キャ

表 5 や表 7 は，白色部と着色部にばらつきがある一方，表 8 はベツ」を「切る」という入力を与えた場合と「ザクザク」「切白色部と着色部に大きな差が見られないことより，曖昧表現がる」を入力とした場合のそれぞれの動作結果は図 11 である．

動作毎に変化する学習できていると言える．

「ちゃんと」を入力とした場合も「キャベツ」を入力とした場「ザクザク」「混ぜる」の全てのネットワークの p1 から p3 ま合も，それぞれの近い言葉と似た動きであるが，わずかな差異

2020/2639

知能と情報（日本知能情報ファジィ学会誌）
ヒューマノイドロボットを用いた言語理解による動作生成140を判断できるような仕組みの導入が必要と考えられる．なお本していない単語に対して，ゼロ頻度問題が起こりうるが，例え研究ではの組み合わせ
word2vec を用いているため，レシピコーパスに出現
ば subword[32, 33, 34] によって，対応できるとしていない単語に対して，ゼロ頻度問題が起こりうるが，例え考えられる．
ば subword の組み合わせ [32, 33, 34] によって，対応できると考えられる．
謝辞
本研究は科学研究費補助金（26280096）の支援を受けた．ま謝辞た，クックパッドのコーパスを利用させて頂きました．関係各
本研究は科学研究費補助金（26280096）の支援を受けた．ま
位に感謝申し上げます．
「きちんと」

た，クックパッドのコーパスを利用させて頂きました．関係各「ちゃんと」

位に感謝申し上げます．
参 考 文 献Y. Yamashita and J. Tani: “Emergence of functional hierarchy
in a multiple timescale neural network model: a humanoid robot
文 No.11,
献 p. e1000220, 2008.
experiment,” PLoS Comput参Biol,考Vol.4,
Y. Yamashita“Emergence
functional hierarchy[2] [1]
Y. Sugita
and J. andTani:J. Tani:“Learning
semanticofcombinatoriality
a multiple
timescale
networkmodel: a processes,”
humanoid robot
fromintheinteraction
betweenneurallinguistic
and behavioral
experiment,”
PLoS
ComputAdaptive
Behavior,
Vol.13,
No.1,Biol,
pp. Vol.4,
33-52,No.11,
2005. p. e1000220, 2008.
Y. Sugita
and J. J.Tani:
semantic[3] [2]
T. Ogata,
M. Murase,Tani, “Learning
K. Komatani,and H. combinatoriality
G. Okuno:
from theinteraction
linguistic
andbehavioral
processes,”“Two-waytranslationof between
compoundsentencesandarmmotionsbyAdaptive
Behavior,
Vol.13,
No.1, pp.
33-52,
recurrent
neuralnetworks,”
Intelligent
Robotsand2005.
Systems, 2007.
[3]
T.2007.
Ogata,
M. Murase,
J. Tani,
H. 2007.
G. Okuno:
IROS
IEEE/RSJInt. Conf.
on, K.
pp.Komatani,
1858-1863.andIEEE,“Two-way translationof compound
sentences and[4] F. Stramandinoli,
D. Marocco,
and A. Cangelosi:“Thearmmotions
ground- by
ing recurrentof higher orderin actionand language:a cognitive
neuralconcepts
networks,”
IEEE/RSJInt. Conf.
on Intelligent
robotics
model,”
Neural Networks,
Vol.32,
pp. 165-173,IEEE,
2012. 2007.
Robotsand Systems(IROS 2007),
pp. 1858-1863.
「ザクザク」[5] [4]
D. Bahdanau,
K. Cho, and
Y. Bengio:and
Neuralmachine translation「キャベツ」
F. Stramandinoli,
D. Marocco,
A. Cangelosi:“The groundby jointly
to align
and translate,
ing oflearning
higher orderconcepts
in action2014.
and language: a cognitive
図 11 未知語入力時の「切る」ロボット動作
図 11 未知語入力時の「切る」ロボット動作[6] I. Sutskever,O. Vinyals,
andNetworks,
Q. V Le:Vol.32,“Sequence
to sequence
robotics model,”Neuralpp. 165-173,
2012.
learningwith neuralnetworks,”
in Neural
Information[5]
D. Bahdanau,
K. Cho,and Y.Advances
Bengio: Neural
MachineTranslation
Processing
Systems
27, CurranInc.,2014.
pp. 3104-3112,
by Jointly
Learning
to AlignAssociates,
and Translate,をもつ動作が生成がされた．言葉意味空間から曖昧表現による
2014.
[6]
I.
Sutskever,O.
V.
inyals,
and
Q.
V
Le:
“Sequence
to sequence
5. おわりに[7] J. Xu,
P. Wang,
Tian, networks,”
B. Xu, J. Zhao,
F. Wang,and H.Information
Hao:
動作の変化を推測し，動作生成できていると言える．
learning
withG.neural
Advancesin Neural“Shorttext
clustering
via
convolutional
neuralnetworks,”
Proc.
of
本研究では，複数の動作生成に適したネットワークについて
Processing Systems 27, Curran Associates, Inc., pp. 3104-3112,
the 1stWorkshop on Vector Space Modeling for Natural Language
2014.
検証した．学習する際の最適手法は，確率的勾配降下法がバッ
5. おわりに
Processing,Computational
Linguistics,
pp.and62-69,[7]
J. Xu, P.Association
Wang, G. for
Tian,
B. Xu, J. Zhao,
F. Wang,
H. Hao:チ学習に比べ大きく効果があった．一部の言葉と動作の関係が2015.
“Short text clustering via convolutional neural networks,” Proc. of
本研究では，複数の動作生成に適したネットワークについて[8] J. Hammerton:“Namedentity Space
recognition
with forlong
short-term
既知の場合，ラベルを入力にした場合も word2vec を入力とし
the 1st Workshop
on Vector
Modeling
NaturalLanguage
検証した．学習する際の最適手法は，確率的勾配降下法がバッ
memory,”
Proc.
of
the
SeventhConf.
onNaturalLanguage
LearnProcessing, pp. 62-69, 2015.
た場合も，曖昧表現と動作表現の組み合わせが未知の場合に動ing atpp. 172-175,
2003.
チ学習に比べ大きく効果があった．一部の言葉と動作の関係が[8]
J. HLT-NAACL
Hammerton: 2003,“Namedentity recognition
with long short-term
作推定可能であり，特に word2vec を用いた場合は言葉をラベ[9] E. Stroh and P. Mathur: Question answering using deep learning,memory,” Proc. of the Seventh Conf. on Natural Language Learn既知の場合，ラベルを入力にした場合も word2vec を入力とし2016.
ルとして与えた場合に比べ誤差が小さくなり，言葉の分散意味
ing at HLT-NAACL 2003, pp. 172-175, 2003.
た場合も，曖昧表現と動作表現の組み合わせが未知の場合に動 [10] Y. Wu, M. Schuster, Z. Chen, Q. V. Le, M. Norouzi, W. Macherey,
表現の有用性を確認した. また，言葉と動作の関係学習に用い[9] E. Stroh and P. Mathur: Question Answering Using Deep LearnM. Krikun, Y. Cao, Q. Gao, K. Macherey, J. Klingner, A. Shah,
作推定可能であり，特に word2vec を用いた場合は言葉をラベ
ing, 2016.
たネットワークの構成による誤差の違いを結果として得，入力
M. Johnson, X. Liu, Ł. Kaiser, S. Gouws, Y. Kato, T. Kudo, H.
[10] Y. Wu, M. Schuster, Z. Chen, Q. V. Le, M. Norouzi, W. Macherey,
ルとして与えた場合に比べ誤差が小さくなり，言葉の分散意味
Kazawa, K. Stevens, G. Kurian, N. Patil, W. Wang, C. Young, J.
層について，曖昧表現と動作表現を連結した場合に比べそれぞ
M. Krikun, Y. Cao, Q. Gao, K. Macherey, J. Klingner, A. Shah,
表現の有用性を確認した. また，言葉と動作の関係学習に用いSmith, J. Riesa, A. Rudnick, O. Vinyals, G. Corrado, M. Hughes,
れ入力を行った方が良い結果となった．また，適切な中間層のM. Johnson, X. Liu, Ł. Kaiser, S. Gouws, Y. Kato, T. Kudo, H.
andJ. Dean: Google’s neural machine translation system: Bridgたネットワークの構成による誤差の違いを結果として得，入力
Kazawa, K. Stevens, G. Kurian, N. Patil, W. Wang, C. Young, J.
形を得，さらに動作表現により曖昧表現が変化するという仮説
ing the gap between human and machine translation, 2016.
Smith, J. Riesa, A. Rudnick, O. Vinyals, G. Corrado, M. Hughes,層について，曖昧表現と動作表現を連結した場合に比べそれぞ[11] V. Mnih, N. Heess, A. Graves, and K. kavukcuoglu: “Recurrentが示された．なお入力にword2vec を用いたネットワークにつand ofJ. Dean:MachineTranslation
System:modelsvisual Google’s
attention,”Neural
Advancesin Neural
Information
Pro-Bridgれ入力を行った方が良い結果となった．また，適切な中間層のいて，全く行ったことのない曖昧表現の動作を生成することが
ing
the
Gap
BetweenHuman
andMachineTranslation,
2016.
cessing Systems 27, Curran Associates, Inc., pp. 2204-2212, 2014.
形を得，さらに動作表現により曖昧表現が変化するという仮説
V. Mnih,
N. Heess,andkavukcuoglu:“Recurrent
でき，既知の表現からの推測ができていると考えられる．
[12][11]
K. Cho,B. Merrië
nboer,A.
C. Graves,
Gulcehre,
D.K.
Bahdanau,
F. Bougares,
models ofandvisualAdvances phrase
in Neural
Information Proが示された．なお入力にword2vec を用いたネットワークにつH. Schwenk,
Y. attention,”
Bengio: “Learning
representations
今後の課題として，肘を上げたまま動かす，動きを連続させcessing
Systems
27,
CurranAssociates,
Inc.,
pp.
2204-2212,
using RNN encoder-decoder for statistical machine translation,”2014.
いて，全く行ったことのない曖昧表現の動作を生成することがるなどのより複雑なロボット動作への適用，「にんじんを小さ[12]
K.ofCho,B. Merriënboer,
C. Gulcehre,
D.inBahdanau,
F. Bougares,Proc.
the 2014
Conf. on Empirical
Methods
Natural Language
でき，既知の表現からの推測ができていると考えられる．
く切る」，「ごぼうを小さく切る」で大きさが変わるように，動H. Schwenk,
and Association
Y. Bengio: for“LearningphraseLinguistics,
representations
Processing(EMNLP),
Computational
using RNN2014.
encoder-decoder for statistical machine translation,”
今後の課題として，肘を上げたまま動かす，動きを連続させ
pp. 1724-1734,
作対象に対して動作が変わると考えられるため
3 語以上の入力
Proc. of the2014
Conf. on Empirical
Methods inmemory,”
Natural Lan[13]S.
Hochreiter
andJ. Schmidhuber:“Long short-term
るなどのより複雑なロボット動作への適用，「にんじんを小さへの対応，「きれいに」や「ちゃんと」のような，より曖昧な言
guage
Processing(EMNLP),pp.
1724-1734,
2014.
Neural Computation, Vol.9, No.8, pp. 1735-1780, 1997.
く切る」，「ごぼうを小さく切る」で大きさが変わるように，動 [14][13]葉の入力に対しての動作生成が挙げられる．また，家庭内で使S. Hochreiterandsense
J. Schmidhuber:“Longmemory,”M. Lesk:“Automatic
disambiguation
usingshort-term
machine readComputation,
Vol.9,
No.8,
1735-1780,
1997.
作対象に対して動作が変わると考えられるため 3 語以上の入力
ableNeuraldictionaries:
how to tella pineconepp.
from
an ice creamcone,”
う場合には口頭での指示が考えられ，非文法文や音声認識誤り[14]
M.ofLesk:
disambiguation
using machineProc.
the 5th“Automaticannual Int. sense
Conf. on
Systems documentation,
Cite- readへの対応，「きれいに」や「ちゃんと」のような，より曖昧な言や，指示を行う人によって期待する行動が異なる場合が想定さ
seer,able
pp. dictionaries:
24-26, 1986. how to tell a pine cone from an ice cream cone,”葉の入力に対しての動作生成が挙げられる．また，家庭内で使 [15] C. Leacock,
れる．その対応として，過去の動作からの推定や，周りの状況
Proc. ofG.the
5th annual
Int.
Conf. on“Using
Systems
documentation,
A Miller,and M.
Chodorow:
corpusstatistics pp.
and 24-26,
wordnet1986.
relations for sense identification,” Computationalう場合には口頭での指示が考えられ，非文法文や音声認識誤りを判断できるような仕組みの導入が必要と考えられる．なお本
Linguistics,
Vol.24,
No.1,
pp. and147-165,
1998.
[15]
C. Leacock,
G. A
Miller,M. Chodorow:“Using corpus statis研究では
word2vec を用いているため，レシピコーパスに出現
や，指示を行う人によって期待する行動が異なる場合が想定さ
tics and wordnet relations for sense identification,” Computational
れる．その対応として，過去の動作からの推定や，周りの状況
[1]

9

640

Vol.32 No.1

ヒューマノイドロボットを用いた 言語理解による動作生成
Linguistics, Vol.24, No.1, pp. 147-165, 1998.
[16] H. Schütze: “Automatic word sense discrimination,” Computational linguistics, Vol.24, No.1, pp. 97-123, 1998.
[17] D. Yarowsky: “Hierarchical decision lists for word sense disambiguation,” Computers and the Humanities, Vol.34, No.1-2,
pp. 179-186, 2000.
[18] X. Chen, Z. Liu, and M. Sun: “A unified model for word sense
representation and disambiguation,” Proc. of the 2014 Conf. on
Empirical Methods in Natural Language Processing (EMNLP),
pp. 1025-1035, 2014.
[19] I. Iacobacci, M. T. Pilehvar, and R. Navigli: “Embeddings forword sense disambiguation: An evaluation study,” Proc. of the54th Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers), pp. 897-907, 2016.
[20] T. Mikolov, K. Chen, G. Corrado, and J. Dean: Eﬃcient
Estimation of Word Representations in Vector Space, CoRR,
Vol.abs/1301.3781, 2013.
[21] T. Mikolov, I. Sutskever, K. Chen, G. S. Corrado, and J. Dean:“Distributed representations of words and phrases and their compositionality,” Advances in Neural Information Processing Systems, pp. 3111-3119, 2013.
[22] G. E. Hinton: Distributed representations, 1984.
[23] O. Levy and Y. Goldberg: “Neural word embedding as implicit
matrix factorization,” Advances in neural information processing
systems, pp. 2177-2185, 2014.
[24] T. Kudo, K. Yamamoto, and Y. Matsumoto: “Applying conditional random fields to japanese morphological analysis,” EMNLP,
Vol.4, pp. 230-237, 2004.
[25] Z. S Harris: “Distributional structure,” Word, Vol.10, No.2-3,
pp. 146-162, 1954.
[26] W. Yih, G. Zweig, and J. Platt: “Polarity inducing latent semantic
analysis,” Proc. of the 2012 Joint Conf. on Empirical Methods in
Natural Language Processing and Computational Natural Language Learning, pp. 1212-1222, 2012.
[27] M. Faruqui, J. Dodge, S. K. Jauhar, C. Dyer, E. Hovy, and N. A.
Smith: “Retrofitting word vectors to semantic lexicons,” Proc. ofthe 2015 Conf. of the North American Chapter of the Association
for Computational Linguistics: Human Language Technologies,
pp. 1606-1615, 2015.
[28] H. Cheng, F. Sun, M. L. Griss, P. Davis, J. Li, and D. You: “Nuactiv: Recognizing unseen new activities using semantic attributebased learning,” Proc. of the 11th annual Int. Conf. on Mobile
systems, Applications, and Services, pp. 361-374, 2013.
[29] R. Collobert and J. Weston: “A unified architecture for natural language processing: Deep neural networks with multitask learning,”
Proc. of the 25th Int. Conf. on Machine Learning, pp. 160-167.
ACM, 2008.
[30] D. P. Kingma, S. Mohamed, D. J. Rezende, and M. Welling:“Semi-supervised learning with deep generative models,” Advances in Neural Information Processing Systems, pp. 3581-3589,
2014.
[31] D. P. Kingma and M. Welling: Auto-encoding Variational Bayes,
arXiv preprint arXiv:1312.6114, 2013.
[32] J. Zhao, S. Mudgal, and Y. Liang: “Generalizing word embeddings
using bag of subwords,” Proc. of the 2018 Conf. on Empirical
Methods in Natural Language Proc., pp. 601-606, 2018.
[33] P. Bojanowski, E. Grave, A. Joulin, and T. Mikolov: “Enriching
word vectors with subword information,” Trans. of the Association
for Computational Linguistics, Vol.5, pp. 135-146, 2017.
[34] Y. Pinter, R. Guthrie, and J. Eisenstein: “Mimicking word embeddings using subword RNNs,” Proc. of the 2017 Conf. on Empirical
Methods in Natural Language Proc., pp. 102-112, 2017.
（2018 年 11 月 15 日 受付）（2019 年 10 月 4 日 採録）

2020/2141［問い合わせ先］〒112-8610

東京都文京区大塚 2-1-1

お茶の水女子大学 理学部 3 号館 506 室 小林研究室
濵園侑美

TEL: 03-5978-5708
E-mail: hamazono.yumi@is.ocha.ac.jp

著

者

紹

介
はまぞの

ゆみ

濵園 侑美［非会員］

2015 年お茶の水女子大学理学部情報科学科卒
業．2017 年同大学院人間文化創成科学研究科
理学専攻博士前期課程修了．現在，同大学院
人間文化創成科学研究科理学専攻博士後期課
程在学中．

こばやし

いちろう

小林 一郎［正会員］

1995 年東京工業大学大学院総合理工学研究科
システム科学専攻博士課程単位取得退学. 同
年博士（工学）．同年法政大学経済学部研究助手．1996 年から 2003 年まで法政大学経済学部助教授．2000 年から 2005 年まで理化学研究所脳科学総合研究センター客員研究員．
2003 年お茶の水女子大学理学部情報科学科助教授．2007 年 ドイツ人工知能研究所客員研
究員．2007 年 から 2008 年までスタンフォー
ド大学 CSLI 客員研究員．2011 年お茶の水女子大学大学院理学専攻教授．2017 年 より 産業技術総合研究所人工知能研究センター 招聘
研究員.．現在お茶の水女子大学基幹研究院自然科学系教授. 自然言語処理，人工知能，機能言語学などの研究に従事．
あそう

ひでき

麻生 英樹［非会員］

1981 年東京大学工学部計数工学科卒業．1983
年同大学院工学系研究科情報工学専攻修士課
程修了．同年通商産業省工業技術院電子技術総合研究所入所．1993 年から 1994 年にドイ
ツ国立情報処理研究センターに客員研究員として滞在．2015 年から国立研究開発法人産業
技術総合研究所人工知能研究センター副研究センター長を務める．脳の情報処理モデルへの興味にもとづき，ニューラルネットワーク，
統計的機械学習，などの基礎理論・アルゴリ
ズムと，学習能力を持つ知的情報処理システ
ムへの応用に関する研究開発に従事．
なかむら

ともあき

中村 友昭［非会員］

2009 年電気通信大学大学院電気通信学研究科
博士前期課程修了．2011 年同博士後期課程修了．博士（工学）．2011 年日本学術振興会特別研究員（PD）．2013 年ホンダ・リサーチ・インスティチュート・ジャパンリサーチャー．
2014 年より電気通信大学情報理工学研究科助教．2019 年より同研究科准教授．知能ロボットの研究に従事．日本ロボット学会，人工知能学会各会員．

641

知能と情報（日本知能情報ファジィ学会誌）

142
ながい

たかゆき

長井

隆行［非会員］

1993 年慶應義塾大学理工学部電気工学科卒
業．1995 年同大学院理工学研究科電気工学専攻前期博士課程修了．1997 年同後期博士課
程修了．博士（工学）．1998 年電気通信大学
助手，2003 年カリフォルニア大学サンディエ
ゴ校客員研究員，2015 年電気通信大学教授を経て，2018 年より大阪大学大学院基礎工学研

もちはし

だいち

持橋 大地［非会員］

1998 年東京大学教養学部基礎科学科第二卒
業．2005 年奈良先端科学技術大学院大学情報科学研究科博士後期課程終了．博士（理学）．
ATR 音声言語コミュニケーション研究所，
NTT コミュニケーション科学基礎研究所を経て，2011 年より統計数理研究所 准教授．

究科教授．電気通信大学人工知能先端研究センター特任教授，玉川大学脳科学研究所特別研究員，産総研人工知能研究センター客員研究員を兼務．IROS Best Paper Award Finalist，
Advanced Robotics Best Paper Award，人工知能学会論文賞など多数受賞．知能ロボティク
ス，認知発達ロボティクス，ロボット学習に関する研究に従事．AI とロボティクスの融合
による，人間のように柔軟で汎用的な知能の実現を目指している．

Motion Generation Using Humanoid Robot with Language Understandingby
Yumi HAMAZONO, Ichiro KOBAYASHI, Hideki ASOH, Tomoaki NAKAMURA, Takayuki NAGAI, and Daichi MOCHIHASHI
Abstract:

Currently, the advent of the low birthrate and aging society in Japan has become a problem so it will be increased that theopportunity to resolve the problem by using robots at home. Therefore, it is convinced that robots will have more opportunities forbeing active at home. These days, we can get robots more inexpensively and it makes the communication between human and robot
will be significant progress. When the robot is at home, the condition in which the robot can live together with residents is that the
robot mimics residents’ experiences telling by words and gestures so that learns how or what to do at home. The objective of thisstudy is to make a robot enable to properly behave based on instructions given by people. We therefore consider a way of associatingwords with robot’s actions so that a robot can behave by understanding the meaning of words. As a concrete example, we focus
on various types of cooking actions represented by words with adverbial expressions and use multilayer perceptron to learn relation
between adverbial expressions and robot’s actions. The meaning of elementary cooking instructions is represented with distributed
semantics by means of word2vec. To represent the actions of a robot, we have expanded the framework of Activity-Attribute Matrix(AAM) so as it can deal with the motion of actions. We have employed multilayer perceptron to learn the correspondence between
those actions and the meaning of the instructions, and confirmed how much the actions that a robot has never done can be precisely
estimated with the meaning of the given unknown instructions with the learned model.
Keywords: natural language processing, machine learning, humanoid robot, neural network, multitask learning

Contact Address: Yumi HAMAZONO
Kobayashi Lab., Ochanomizu University
room 506, Faculty of Science Bld.3, 2-1-1 Ohtsuka, Bunkyo-ku, Tokyo 112-8610, Japan
TEL: +81-3-5978-5708
E-mail: hamazono.yumi@is.ocha.ac.jp642

Vol.32 No.1