The 28th Annual Conference of the Japanese Society for Artificial Intelligence, 2014

1I5-OS-09b-5

RPD-HMM に基づく逐次動作生成による物体操作の模倣学習
Online Motion Generation based on Reference-Point-Dependent HMMs
杉浦 孔明∗1是津 耕司∗1Komei Sugiura

Koji Zettsu∗1 (独) 情報通信研究機構
National Institute of Information and Communications Technology

Object-manipulating motions such as rotating an object or placing one object on another are fundamental fordomestic service robots, but diﬃcult to program beforehand. This paper presents an imitation learning method forgenerating object-manipulating trajectories in a online manner. In this method, control parameters are generated
from the maximum likelihood trajectories given by reference-point-dependent HMMs (hidden Markov models).
In the experiments, a user demonstrated the manipulation of objects so that the motion could be learned. The
experimental results have shown that the proposed method decreases the average generation error in the trajectories.

1. はじめに2.

RPD-HMM に基づく逐次動作生成

生活支援ロボットにとって，日用品をハンドリングする機能は必要不可欠であるが，各種の日用品や棚に対応する動作を事前にプログラムするコストは非常に大きい．加えて，事前にプログラムされた動作がユーザにとってイメージしにくいものであった場合，安心して動作指示できないという問題もある．
本研究では，物体操作の模倣学習機構の構築を目的とする．
用途の例としては，「食器棚からコップを取り出す」動作をユーザの教示から学習し，他の状況において「グラスを取り出す」等の動作を生成させるような状況を想定している．このような学習手法を構築することで，プログラミングスキルが必要とされないユーザフレンドリな動作教示方法を実現できる．
ただし，人間の多様な動作を学習・模倣することは簡単ではない．例えば，「X を Y に載せる」や「Z を回す」などの動作をユーザがロボットに教示することを考える．認知言語学では，動かされるオブジェクトをトラジェクタ，トラジェクタの基準になるオブジェクトをランドマークと呼ぶ．通常の模倣学習の設定では教師データにランドマークの情報は含まれないため，上記の 2 種類の動作のように，ランドマークを必要とする動作と必要としない動作を同じ枠組みで学習させることは困難である．
この問題に取り組んだ先行研究では，操作軌道を 2 つのオブジェクト間の相対軌道として表現し，確率モデル等を用いて軌道を学習させるものが多い (例えば [Ogawara 02])．我々は参照点に依存した隠れマルコフモデル（Reference-Point-DependentHMM，以下 RPD-HMM と略記）を用いて模倣学習を最尤軌道生成として定式化したが，逐次動作生成は不可能であった [Sugiura07,Sugiura 11]．一方，HMM に基づく逐次的な動作生成を扱った先行研究（例えば [Calinon 10]）もあるが，これらの手法では最尤軌道が得られる保証はない．このような背景のもと，本研究では [Sugiura 11] を拡張し，オンライン型の逐次動作生成手法を提案する．提案手法の独自性は以下である．

2.1

RPD-HMM による物体操作の模倣学習「X を Y にのせる」や「Z を回す」など参照点に依存した動作の模倣では，世界座標系での動作軌道の模倣に意味はなく，適切な座標系を推定し軌道を汎化しなければならない．本研究では，[Sugiura 11] と同様の物体操作タスクを想定する．いま，ロボットがオブジェクトを動かす軌道を模倣学習の枠組みで得ることを考える．ここで，求める軌道をオブジェクトの重心軌道とし，動作を表す HMM は既に学習済みであると仮定する．
時刻 t における特徴量を次のように定義する．

[]>
ξt = xt> , ẋt> , ẍt>(1)ここに，xt , ẋt , ẍt は時刻 t におけるオブジェクト重心の位置，速度，加速度である．
HMM から連続的な軌道を生成するために，トラジェクトリHMM [Tokuda 00] を用いて尤度最大化基準による軌道生成を行なう．出力確率密度関数がガウス分布であることを利用すると，対数尤度を最大化する軌道 x = {xt |t = 1, .., |x|} は，最終的に次の線形方程式を x について解くことで得られる．

W > Σ−1W x = W > Σ−1 µ(2)ここに，µ は状態 q の各要素に対応する平均ベクトルを並べたベクトル，Σ は q の各要素に対応する共分散行列を対角に並べた行列，W は差分近似係数を並べた行列である．詳細については，[Sugiura 11] を参照されたい．

2.2

逐次型動作生成トラジェクトリ HMM は連続軌道を閉形式で求められるという利点があり，音声合成分野で実績がある．一方，ロボティクスへの応用では時々刻々と変化する環境に応じて軌道を変更できないという問題があった．すなわち，ロボティクスでは逐次型の動作生成に対応することが望ましい．
Calinon らは，HMM と Gaussian Mixture Regression に基づく逐次型の動作生成手法を提案した [Calinon 10]．提案された式において混合数を 1 とすると，以下を得る．

• RPD-HMM から生成された最尤軌道を基準とした逐次動作生成手法を構築する．

ẋt = µẋ + Σẋx Σ−1xx (µx − xt )連絡先: 杉浦孔明，京都府相楽郡精華町光台 3-51(3)The 28th Annual Conference of the Japanese Society for Artificial Intelligence, 2014
ここに，Σẋx は位置と速度の共分散，Σxx は位置の分散である．
提案手法では，式 (2) と式 (3) を組み合わせることで逐次型動作生成を行う．式 (2) により最尤軌道 x̂ が得られ，その差分として ẋˆ が得られる．よって，これらを用いて上式の µẋ および µx を置き換えることで以下が得られる．

ẋt = ẋˆ t + Σẋx Σ−1xx (x̂t − xt )(4)

Σẋx および Σxx は RPD-HMM の学習時に得られた値を用いればよい．HMM の学習において対角共分散行列を用いた場合は，正の係数 α と単位行列 I を用いて，以下のように簡単化する．
Σẋx = αI

図 1: 提案手法による「載せる」動作の生成．(1)K = 0，(2)K = 4，(3)K = 8，(4)K = 12 に対応する．白い縁取りの軌道はテストセット用の被験者が実行した軌道である．

(5)以上より，RPD-HMM による最尤軌道を基準とした逐次型の更新式が得られた．ẋt に補正項がない場合（障害物がない場合など）には，生成される軌道は最尤軌道と一致する．一方，補正項を加えれば，動的に障害物を回避することが可能である．

3. 実験
3.1

実験設定

本実験の目的は，提案手法による動作生成結果をベースライン手法と比較評価することである．ベースライン手法として
は，非逐次型の RPD-HMM [Sugiura 11] を用いる．比較尺度として，後述する生成誤差を用いる．提案手法のパラメータとして，式 (5) において α = 0.1 とした．
動作ラベルを自然言語で被験者に呈示し，机の上に置かれたオブジェクトを操作させた．用いた動作は 5 種類であり，各動作に対し 9 回動作を行わせた．得られた軌道を学習セットとし，HMM を学習させた．次に，別の被験者に対し各動作に対し 10 回ずつ動作を行わせ，テストセットを構築した．
オブジェクトの画像特徴量および 2 次元座標は，固定カメラ（Microsoft 製 Kinect）を用いて得る．オブジェクトの抽出およびトラッキングは，色および距離に基づくヒューリスティックな手法により行なった．カメラのフレームレートは 30[frame/sec]で，解像度は 320x240 とした．図 1 にカメラ画像の例と抽出された動作の軌道を示す．

図 2: 軌道生成誤差 D(x∗ , x̂) の比較．(a)「載せる」，(b)「飛び越えさせる，(c)「上げる」，(d)「下げる」，(e)「回す」．

4.

おわりに行動の模倣には，人間の多様な行動を一般化するとともに時々刻々と変化する状況に応じて動作を生成することが不可欠であり，実現のために解くべき課題は多い．本論文では，RPDHMM を用いて物体操作をモデル化し，逐次動作生成を行う手法について述べた．本手法の応用としては，CG のモーション付与やヒューマノイドの上半身動作生成などが挙げられる．
謝辞
本研究の一部は，科研費（若手 (B)24700188）の助成を受けて実施されたものである．

3.2 実験結果提案手法が滑らかな軌道を生成できることを示すために，人為的に外力を加えた場合を想定した実験を行なった．具体的には，式 (4) で得られた ẋt に対し，時刻 t = [1, 10] において鉛直上方向の速度に定数 K を加えた．図 1 に，「オブジェクト 4 にオブジェクト 10 を載せる」動作に対して生成された軌道の例を示す．図において，(1)〜(4) はそれぞれ，(1)K = 0，(2)K = 4，(3)K = 8，(4)K = 12，に対応する．(1) の軌道ではトラジェクタがオブジェクト 9 と衝突しているが，(3) のように外力を加えることで障害物回避が可能なことがわかる．
次に，定量的な比較を行なう．提案手法およびベースライン手法により生成された軌道 x̂ を，被験者が実行した軌道 x∗ ={xt∗ |t = 1, .., T } と比較し，生成誤差 D(x∗ , x̂) を評価する．生成誤差 D(x∗ , x̂) を，フレーム長 T で正規化されたユークリッド距離で定義する．

1 T
D(x , x̂) = ∑T t=1∗√|xt∗ − x̂t |2

参考文献[Calinon 10] Calinon, S., D’halluin, F., Sauser, E. L., Caldwell, D. G.,and Billard, A. G.: Learning and Reproduction of Gestures by Imitation, IEEE Robotics & Automation Magazine, Vol. 17, No. 2, pp. 44–54(2010)[Ogawara 02] Ogawara, K., Takamatsu, J., Kimura, H., and Ikeuchi, K.:
Modeling manipulation interactions by hidden Markov models, in Proceedings of the 2002 IEEE/RSJ International Conference on Intelligent
Robots and Systems, pp. 1096–1101 (2002)[Sugiura 07] Sugiura, K. and Iwahashi, N.: Learning object-manipulation
verbs for human-robot communication, in Proceedings of the 2007
workshop on Multimodal interfaces in semantic interaction, pp. 32–38(2007)[Sugiura 11] Sugiura, K., Iwahashi, N., and Kashioka, H.: Motion Generation by Reference-Point-Dependent Trajectory HMMs, in Proc. IROS,
pp. 350–356 (2011)(6)[Tokuda 00] Tokuda, K., Yoshimura, T., Masuko, T., Kobayashi, T., andKitamura, T.: Speech Parameter Generation Algorithms for HMMBased Speech Synthesis, in Proceedings of ICASSP, pp. 1315–1318(2000)

すなわち，D(x∗ , x̂) が小さいほど，人間の実行した軌道に近いといえる．図 2 に生成誤差 D(x∗ , x̂) を示す．図より，(a)〜(e)の動作において，ベースライン手法に比べて提案手法の誤差が小さいことがわかる．

2