物体操作タスクのためのペナルティ項付き尤度最大化によるHMM 軌道生成○杉浦孔明, 岩橋直人, 柏岡秀紀 (情報通信研究機構)

HMM Synthesis by Penalized Likelihood Maximization for Object Manipulation Tasks○ Komei Sugiura, Naoto Iwahashi, and Hideki Kashioka
National Institute of Information and Communications TechnologyAbstract— This paper presents an imitation learning method for object manipulation such as rotating an object or placing
one object on another. In the proposed method, motions are generated by using hidden Markov models (HMMs) withpenalized likelihood maximization. The method was evaluated in physical experiments in terms of motion generation.
Experimental results showed that appropriate motions were generated even when the object placement was changed.

1. はじめに
生活支援ロボットにとって，日用品等のオブジェクトを操作する機能は必要不可欠であるが，各種の日用品や棚に対応する動作を事前にプログラムするコストは非常に大きい．加えて，事前にプログラムされた動作がユーザにとってイメージしにくいものであった場合，安心して動作指示できないという問題もある．本研究は，これらの問題を解決するため，模倣学習の枠組みにより動作を学習する手法の構築を目的とする．このような学習手法を構築することで，プログラミングスキルが必要とされないユーザフレンドリな動作教示方法を実現できる．
代表的な模倣学習手法には，Dynamic Movement
Primitives [1, 3]，リカレントニューラルネット [4]，隠れマルコフモデル (HMM) [2,5,7,8] などがある．我々はこれまで，模倣学習問題に対し HMM の適用を試みている [6]．ただし，HMM を用いて単純なサンプリングにより軌道を生成すると，生成された軌道は不連続なものとなる．これに対し [6] では，速度・加速度（動的特徴量）を用いた尤度最大化を利用して連続的な軌道を生成させている．一方，動的特徴量の利用には，学習パラメータ数の増加というデメリットも存在する．そこで本研究では，学習パラメータ数を削減した軌道生成手法を提案する．

2. ペナルティ項付き尤度最大化による軌道生成
本研究では，[6] と同様の物体操作タスクを想定する．
ロボットがオブジェクトを動かす軌道を模倣学習の枠組みで得ることを考える．ここで，求める軌道をオブジェクトの重心軌道とし，動作を表す HMM は既に学習済みであると仮定する．時刻 t における特徴量を次のように定義する．
[]>
(1) >
ξt = x>xt(1)
t ,∆ここに，xt は時刻 t におけるトラジェクタの位置ベクトルであり，∆(1) xt は 1 次のデルタパラメータである．
既存手法 [6] では，0,1,2 次のデルタパラメータを特徴量として HMM パラメータ λ を学習する．ここに，0,1,2 次のデルタパラメータはそれぞれ，位置，速度，加速度に対応する．これに対し提案手法では，0,1 次のデルタパラメータのみを学習パラメータとすることにより，パラメータ数を削減する．パラメータ数の削減は，データ収集のコストが大きい問題（動作学習，声質変換 [9] など）で有益である．

2 次のデルタパラメータを用いなければ，学習パラメータ数を削減できるものの，望ましい軌道が生成されない可能性がある．そこで提案手法では，[10] で提案された尤度最大化にペナルティ項を加え，最適軌道を得ることを考える．
いま速度の微分が急激に変化しないという制約について考える．定数 σ 2 を用いて，ペナルティ項 P ({xt }|σ 2 )を以下のように定義する．
T1 ∑ (2) 2
12∆ xt }
P ({xt }|σ ) = exp{− 2Z2σt=1=T∏N (∆(2) xt |0, σ 2 I)(2)t=1

ここに，Z は正規化のための係数を表す．ペナルティ項により，σ 2 が小さいと {xt } は滑らかになり，σ 2 が大きいと {xt } は滑らかでなくなる．以降では，σ 2 をマクロパラメータと呼ぶ．
ペナルティ項つきのコスト関数 L を以下のように定義する．

L = log P (Ξ(1) |q, λ) + log P ({xt }|σ 2 )

(3)

(1)

こ こ に ，Ξは 位 置 と 速 度 の 軌 道 ，つ ま り[ > (1) > ]>xt , ∆ xtの 軌 道 で あ る ．L の 第 1 項 と 第 2項はいずれもガウス分布であるので，これらをまとめて Ξ(2) で表すことにすると，
1(4)L = − (Ξ(2) − µ)> Σ−1 (Ξ(2) − µ) + K
2[]>(1) >ここに，Ξ(2) は x>
xt , ∆(2) x>の軌道，K はt ,∆t定数である．L の最大化は，[6] と同様にして解くことができる．

第13回システムインテグレーション部門講演会(SI2012)(2012年12月18日～20日・福岡)- 2305 -SY0012/12/0000 - 2305 © 2012 SICE

3. 実験
3·1

実験設定

本実験の目的は，提案手法による動作生成結果をベースライン手法と比較評価することである．ベースライン
手法としては，位置と速度のみを用いた HMM 軌道生成手法を用いる．生成された軌道と，パラメータ数を削減しない手法による生成軌道の誤差を評価する．Table 1に比較した手法間の差異を示す．手法 (b) および (c) では，学習時に加速度に関する特徴量を用いない．
学習データは以下のようにして収集した．動作ラベ
ルを自然言語で被験者に呈示し，机の上に置かれたオブジェクトを操作させた．用いた動作ラベルは 7 種類であり，各動作に対しサンプル数は 9 とした．学習データにおける 2 次のデルタパラメータの分散を考慮し，マクロパラメータを σ 2 = 0.1 と設定した．

手法

Table 1 比較した手法間の差異
特徴量(a) パラメータ削減なし(b) 提案手法(c) ベースライン

3·2

位置，速度，加速度位置，速度位置，速度Fig.2 軌道生成誤差の比較．(a)「載せる」，(b)「飛び越えさせる」，(c)「近づける」，(d)「離す」，(e) 「上げる」，(f)「下げる」，(g)「回す」．

4. おわりに
本論文では，「載せる」「回す」などの参照点に依存した動作を模倣学習する手法を述べた．提案手法では，軌道の滑らかさを表すマクロパラメータを導入することで，ベースライン手法に比べて良好な結果を得た．

σ2なし
ありなし

謝辞
本研究の一部は，科研費（若手 (B)24700188，および新学術領域「人ロボット共生学」公募課題 24118710）の助成を受けて実施されたものである．

結果

参考文献

Fig. 1 に，動作「回す」および「載せる」に対して生成された軌道の例を示す．図より，ベースライン（赤）による軌道は振動しているが，提案手法（青）の軌道は滑らかであることがわかる．
次に，提案手法およびベースライン手法により生成された軌道 Ξ̂ を，手法 (a) による Ξ と比較し，生成誤差 D(Ξ, Ξ̂) を評価する．生成誤差 D(Ξ, Ξ̂) を，フレーム長 T で正規化されたユークリッド距離で与える．
T1 ∑√|xt − x̂t |2(5)D(Ξ, Ξ̂) =T
t=1

ここに，xt および x̂t は，それぞれ Ξ と Ξ̂ のフレーム
t における位置ベクトルを表す．
Fig. 2 に手法 (a) に対する誤差 D(Ξ, Ξ̂) を示す．図より，(a)〜(g) の動作において，ベースライン手法に比べて提案手法の誤差が小さいことがわかる．また，全ての動作について，提案手法による誤差は 0.2 ピクセル以内であることから，提案手法によってパラメータを削減しても実用的に問題ないといえる．

[1] Ijspeert, A., Nakanishi, J. and Schaal, S.: Learning attractor landscapes for learning motor primitives, Advances in neural information processing systems, Vol. 15, pp. 1523–1530 (2002).
[2] Inamura, T., Toshima, I., Tanie, H. and Nakamura, Y.: Embodied
symbol emergence based on mimesis theory, International Journalof Robotics Research, Vol. 23, No. 4, pp. 363–377 (2004).
[3] Matsubara, T., Hyon, S. and Morimoto, J.: Learning stylistic dynamic movement primitives from multiple demonstrations, ProcIROS, pp. 1277–1283 (2010).
[4] Ogata, T., Murase, M., Tani, J., Komatani, K. and Okuno, H. G.:
Two-way translation of compound sentences and arm motions byrecurrent neural networks, Proceedings of the 2007 IEEE/RSJ International Conference on Intelligent Robots and System, pp. 1858–1863 (2007).
[5] Ogawara, K., Takamatsu, J., Kimura, H. and Ikeuchi, K.: Generation of a task model by integrating multiple observations of humandemonstrations, Proceedings of the 2002 IEEE International Conference on Robotics and Automation, pp. 1545–1550 (2002).
[6] Sugiura, K., Iwahashi, N. and Kashioka, H.: Motion generation byreference-point-dependent trajectory HMMs, Proc. IROS, pp. 350–356 (2011).
[7] Tagniguchi, T., Hamahata, K. and Iwahashi, N.: Unsupervised Segmentation of Human Motion Data Using Sticky HDP-HMM andMDL-based Chunking Method for Imitation Learning, Advanced
Robotics, Vol. 25, No. 17, pp. 2143–2172 (2011).
[8] Takano, W. and Nakamura, Y.: Statistically integrated semiotics thatenables mutual inference between linguistic and behavioral symbols
for humanoid robots, Proceedings of the 2009 IEEE International
Conference on Robotics and Automation, pp. 2490–2496 (2009).
[9] Toda, T., Black, A. and Tokuda, K.: Voice conversion based on
maximum-likelihood estimation of spectral parameter trajectory,
IEEE Trans. Audio, Speech, and Language Processing, Vol. 15,
No. 8, pp. 2222–2235 (2007).
[10] Tokuda, K., Yoshimura, T., Masuko, T., Kobayashi, T. and Kitamura, T.: Speech parameter generation algorithms for HMM-based
speech synthesis, Proceedings of ICASSP, pp. 1315–1318 (2000).

Fig.1 提案手法（青）およびベースライン手法（赤）による生成結果．左:「回す」．右：「載せる」- 2306 -