䣔䣕䣌䢴䢲䢳䢴䣃䣅䢵䣐䢴䢯䢷

物体操作タスクにおけるマクロパラメータを用いた HMM 軌道生成
○杉浦孔明, 岩橋直人, 柏岡秀紀 (情報通信研究機構)

1. はじめに
生活支援ロボットにとって，日用品等のオブジェクトを操作する機能は必要不可欠であるが，各種の日用品や棚に対応する動作を事前にプログラムするコストは非常に大きい．加えて，事前にプログラムされた動作がユーザにとってイメージしにくいものであった場合，安心して動作指示できないという問題もある．本研究は，これらの問題を解決するため，模倣学習の枠組みにより動作を学習する手法の構築を目的とする．このような学習手法を構築することで，プログラミングス
キルが必要とされないユーザフレンドリな動作教示方法を実現できる．
模倣学習分野では，確率モデルによるアプローチ，リ
カレントニューラルネット [8] や Dynamic Movement
Primitives [3, 7] によるアプローチが代表的である．確率モデルによるアプローチでは，隠れマルコフモデル(HMM) などの Markov Switching Process [2] やガウス
過程 [10] を用いるものが多い [4, 9, 13, 14]．我々はこれまで，模倣学習問題に対し HMM の適用を試みてきた [11, 12]．HMM には学習・認識・生成に強力なアルゴリズムが存在する，というメリットがある．
ただし，HMM を用いて単純なサンプリングにより軌道を生成すると，生成された軌道は不連続なものとなる．これに対し [11] では，速度・加速度（動的特徴
量 [16]）を用いた尤度最大化を利用して連続的な軌道を生成させている．一方，動的特徴量の利用には，学習パラメータ数の増加というデメリットも存在する．そこで本研究では，学習パラメータ数を削減した軌道生成手法を提案する．学習パラメータ数の削減は，デー
タ収集のコストが大きい問題領域（動作学習，声質変
換 [15] など）で有益である．
提案手法の独自性は以下である．

• 加速度の代わりにマクロパラメータ（4. 節参照）を導入し，パラメータ数を削減する．マクロパラメー
タにより，振動しない軌道の生成が可能になる．

2. タスク
2·1

参照点に依存した動作

参照点に依存する動作の概念を，模倣学習の枠組みによりロボットに学習させる問題について考える．参照点に依存する動作とは，「A を B に載せる」動作や「Aを回す」動作などを指す．このとき，動かされるオブジェクトをトラジェクタ，トラジェクタの基準になるオ
ブジェクトをランドマークと呼ぶことにする [6]．上記の 2 種類の動作のように，ランドマークを必要とする
動作と必要としない動作を同じ枠組みで学習させることは簡単ではない．このような情報は，通常訓練デー

᪥ᮏ兑兀儧儬Ꮫ఍➨䢵䢲ᅇグᛕᏛ⾡ㅮ₇఍凚䢴䢲䢳䢴ᖺ䢻᭶䢳䢹᪥ࠥ䢴䢲᪥凛

図 1 左:既存手法 [11] により生成された軌道．右:実験環境．

タ中に明示されていないためである．我々が提案した
手法 [12] による動作生成の例を図 1 に示す．

2·2 ハードウェア
実験に用いたロボットシステムを図 1 右図に示す．
ロボットシステムは，7 自由度のロボットアーム (三菱重工製 PA-10)，4 自由度のロボットハンド (Barrett
Technology 製 BarrettHand)，マイクロフォン，ステレ
オカメラ (Point Grey Research 製 Bumblebee 2)，視線表
出ユニット (Directed Perception 製 PTU-46-70 にロボッ
トヘッドを取付) からなる．
オブジェクトの画像特徴および 2 次元座標 (カメラ座標系) は，固定されたステレオカメラを用いて得る．なお，オブジェクトの抽出およびトラッキングは，色およびステレオカメラから得られる距離に基づくヒュー
リスティックな手法により行う．カメラのフレームレー
トは 30[frame/sec] であり，解像度は 320×240 である．

3. 参照点に依存した HMM による模倣学習
本節では，[11, 12] で提案された動作学習および動作生成手法の概略を述べる．

3·1 デルタパラメータを用いた軌道のモデル化
移動するオブジェクトが一つで複数の静止オブジェ
クトが存在する動画像が与えられたとする．この動画像から，移動する物体 (トラジェクタ) の重心軌道 Ξ と，
静止オブジェクトの重心位置の集合 O S を抽出し，学習時の訓練サンプル V とする．

V = (Ξ, O S )]>[>>Ξ = ξ>
1 , ξ 2 , ..., ξ T
[
]>
(1) >
ξ t = x>
xt , ∆(2) x>
t ,∆
t

(1)
(2)
(3)

ここに，xt は時刻 t におけるトラジェクタの位置ベクトルであり，xt の次元を m とする．本研究では，m = 2を仮定するものの，本手法は 3 次元空間 (m = 3) にも適用可能である．∆(k) xt (k = 0, 1, 2) は，音声処理分野
では（k 次の）デルタパラメータと呼ばれ，HMM から䣔䣕䣌䢴䢲䢳䢴䣃䣅䢵䣐䢴䢯䢷
軌道を生成する際に用いられている．デルタパラメー
タは次のように定義される．
L∑置の分散に設定する．
W

Σ(0) (1) = εI

(10)

(k)

∆(k) xt =w(k) (τ )xt+τ

(k = 0, 1, 2)(4)

τ =−L(k)ここに，L(0) = 0，w(0) (0) = 1 とする．
一般的に w(k) (τ ) は以下のように定義される1 ．

11∆(1) xt = − xt−1 + xt+1
2
2
1
1
1
(2)
∆ xt = xt−1 − xt + xt+1
(5)
4
2
4
つまり，1，2 次のデルタパラメータは速度，加速度に対応すると考えられる（付録 A 参照）．
HMM として，状態数 N の left-to-right 型 HMM を用いる．以下では，HMM の全パラメータを λ と表すこととする．λ は，初期状態分布 π = {πi }，状態遷移
確率 A，出力確率分布 b = {bi (·)} からなる．出力確率分布として，混合数 1 のガウス分布を用いる．動作学
習の詳細については，[12] を参照されたい．
3·2

参照点に依存した HMM による動作生成

HMM は事前に学習されているものとする．状態系
列 q̄ と HMM パラメータ W λ が与えられたうえで，生成軌道の確率を最大化する最適軌道 W Ξ̂ を得ることを考える．世界座標系 W における最適軌道 W Ξ̂ は以下により与えられる．
WΞ̂ = argmax P (W Ξ| q̄, W λ)

(6)

WΞ

= argmax P (W Ξ| q̄, C λ, xrtraj , xr )4. マクロパラメータを用いた HMM 軌道生成
既存手法 [11, 12] では，0,1,2 次のデルタパラメータを特徴量として HMM パラメータ λ を学習する．これに対し提案手法では，0,1 次のデルタパラメータのみを
学習パラメータとすることにより，パラメータ数を削減する．パラメータ数の削減は，データ収集のコストが大きい問題（動作学習，声質変換 [15] など）で有益である．

2 次のデルタパラメータを用いなければ，学習パラ
メータ数を削減できるものの，望ましい軌道が生成されない可能性がある．そこで提案手法では，[16] で提案された尤度最大化に制約条件を加え，最適軌道 W Ξ̂を得ることを考える．以下では，簡単のため，座標系の表記を省略する．つまり，W λ を λ と表記することにする．
いま速度の微分が急激に変化しないという制約について考える．定数 σ 2 を用いて，{xt } のエネルギーE({xt }) と制約項 P ({xt }|σ 2 ) を以下のように定義する．

E({xt }) =1
exp{−E({xt })}Z
T∏=N (∆(2) xt |0, σ 2 I)

(7)
rtraj

(s = 1, 2, ..., N )ここに，R は回転行列を表す．同様に，R を用いて位置以外の平均ベクトルと共分散ベクトルを変換する．
W (k)(s) = R Cµ(k) (s)W (k)(s) = R CΣ(k) (s) R>µΣ(k = 1, 2)(k = 0, 1, 2)

(8)
(9)

rtraj

最後に，トラジェクタ初期位置 x
を起点とする軌
道を生成するために，正の数 ε  1 を，第 1 状態の位
1 音声合成では，後退差分 (w (1) (−1), w (1) (0)) = (−1, 1) や，中心差分の定数倍 (w(2) (−1), w(2) (0), w(2) (1)) = (1, −2, 1) も用いられる．

᪥ᮏ兑兀儧儬Ꮫ఍➨䢵䢲ᅇグᛕᏛ⾡ㅮ₇఍凚䢴䢲䢳䢴ᖺ䢻᭶䢳䢹᪥ࠥ䢴䢲᪥凛(11)

P ({xt }|σ 2 ) =WΞここに，固有座標系を C ，トラジェクタ初期位置を x ，参照点を xr とする．固有座標系については，[12] を参照されたい．
HMM パラメータ λ は固有座標系上で学習されているため，軌道生成時には座標変換を行う必要がある．まず，状態 s における k(= 0, 1, 2) 次のデルタパラメータの平均ベクトル Cµ(k) (s) と共分散行列 C Σ(k) (s) に関して，C から W への座標変換を行う．位置に関する平均ベクトル Cµ(0) (s) は，以下の同次変換行列により変換
される．
][
]
[
] [
C (0)
W (0)
R xrtrajµ (s) − Cµ(0) (1)
µ (s)
=
1
1
0
1

T
1 ∑ (2) 2∆ xt
2σ 2 t=1

(12)

t=1

ここに，Z は正規化のための係数，N (·) はガウス分布を表す．制約項により，σ 2 が小さいと {xt } は滑らかになり，σ 2 が大きいと {xt } は滑らかでなくなる [17]．
以降では，σ 2 をマクロパラメータと呼ぶ．
制約項つきのコスト関数 L を以下のように定義する．

L = log P (Ξ(1) |q, λ) + log P ({xt }|σ 2 )(13)

こ こ に ，Ξ(1) は 位 置 と 速 度 の 軌 道 ，つ ま り[ > (1) > ]>xt , ∆ xtの 軌 道 で あ る ．L の 第 1 項 と 第 2項はいずれもガウス分布であるので，これらをまとめて Ξ(2) で表すことにすると，

L = log P (Ξ(2) |q, λ)1(14)= − (Ξ(2) − µ)> Σ−1 (Ξ(2) − µ) + K
2
[
]>
(1) >
ここに，Ξ(2) は x>
xt , ∆(2) x>の軌道，K はt ,∆t定数である．また，[]−1−1
Σ−1 = diag Σ−1(15)
qL0 +1 , ΣqL0 +2 , ..., ΣqT −L0[]>>>µ = µ>(16)
qL0 +1 , µqL0 +2 , ..., µqT −L0
L0 = max L(k)k(17)

である．µqi は 3m×1 の平均ベクトル，Σqi は 3m×3m

䣔䣕䣌䢴䢲䢳䢴䣃䣅䢵䣐䢴䢯䢷
表 1 比較した手法間の差異
特徴量

手法(a) パラメータ削減なし(b) 提案手法(c) ベースライン

位置，速度，加速度
位置，速度
位置，速度

σ2
なし
あり
なし

の共分散行列であり，以下のように定義される．
[]>µqi = µqi (x)> , µqi (∆(1) x)> , 0[]
Σqi = diag Σqi (x), Σqi (∆(2) x), σ 2 I(18)
次に，L を {xt } に関して最大化するための準備として，Ξ(2) を xt で表現する．式 (4) を行列表現すると，

Ξ = Wx(19)となる．ここに，][>> >x = x>
1 , x2 , ..., xT>

W = [wL0 +1 , wL0 +2 , ..., wT −L0 ]
[
]
(0)
(1)
(2)
wt = wt , wt , wt[(k)wt = 0m×(t−L(k) −1)m , w(k) (−L(k) )Im×m , ...,
w(k) (0)Im×m , ..., w(k) (L(k) )Im×m , 0m×(T −t−L(k) )m]>である．Ξ̂ = argmaxΞ L を解いて最適軌道を求めるた
めに，以下を考える．
∂L= −W > Σ−1 (W x − µ) = 0
(20)
∂x
以上より，

x = (W > Σ−1 W )−1 W > Σ−1 µ

5. 実験
実験設定

本実験の目的は，提案手法による動作生成結果をベー
スライン手法と比較評価することである．ベースライン手法としては，位置と速度のみを用いた HMM 合成
手法を用いる．生成された軌道と，パラメータ数を削
減しない手法による生成軌道の誤差を評価する．表 1に比較した手法間の差異を示す．手法 (b) および (c) では，学習時に加速度に関する特徴量を用いない．
学習データは以下のようにして収集した．動作ラベ
ルを自然言語で被験者に呈示し，机の上に置かれたオ
ブジェクトを操作させた．用いた動作ラベルは以下の7 種類であり，各動作に対しサンプル数は 9 とした．
「上げる」，「近づける」，
「離す」，
「回す」，
「載
せる」，
「下げる」，「飛び越えさせる」
学習データにおける 2 次のデルタパラメータの分散を考慮し，マクロパラメータを σ 2 = 0.1 と設定した．

5·2

定性的結果

図 2 に，動作「離す」に対して生成された軌道の例を示す．図において，縦軸および横軸はそれぞれ x 座᪥ᮏ兑兀儧儬Ꮫ఍➨䢵䢲ᅇグᛕᏛ⾡ㅮ₇఍凚䢴䢲䢳䢴ᖺ䢻᭶䢳䢹᪥ࠥ䢴䢲᪥凛標およびフレーム数を表し，軌道 (a)(b)(c) はそれぞれ
手法 (a)(b)(c) に対応する．図より，軌道 (c) は振動し，軌道 (a) との誤差が大きいことがわかる．一方，軌道(b) と軌道 (a) の誤差は非常に小さい．つまり，図 2 は，提案手法による軌道生成誤差がベースライン手法に比べて小さいことを，定性的に示唆している．
図 3 に σ 2 が軌道形状に与える影響を示す．図の軌道は，提案手法により生成された軌道「回す」の t-x プ
ロットである．図より，σ 2 が小さいと軌道は滑らかになり，σ 2 が大きいと軌道は滑らかでなくなることが定性的に確認できる．

5·3 定量的結果および考察
提案手法およびベースライン手法により生成された軌道 Ξ̂ を，手法 (a) による Ξ と比較し，生成誤差を評価する．評価尺度として，時系列の比較のために一般的に用いられているユークリッド距離を用いる [5]．生成誤差 D(Ξ, Ξ̂) は，フレーム長 T で正規化されたユー
クリッド距離で与えられる．
1 ∑√|xt − x̂t |2
T t=1
T

(21)

を得る．

5·1

図 2 軌道「離す」の生成結果（x 座標）．

D(Ξ, Ξ̂) =(22)

ここに，xt および x̂t は，それぞれ Ξ と Ξ̂ のフレーム
t における位置ベクトルを表す．
図 4 に手法 (a) に対する誤差 D(Ξ, Ξ̂) を示す．図より，(a)〜(g) の動作において，ベースライン手法に比べて提案手法の誤差が小さいことがわかる．また，全ての動作について，提案手法による誤差は 0.2 ピクセル以内であることから，提案手法によってパラメータを削減しても実用的に問題ないといえる．
最後に，学習パラメータ数の削減について考察する．
声質変換の分野では，0 および 1 次のデルタパラメー
タを用いることが多い [15]．また，音声合成では，コスト関数を最大化するように W を変更する手法も提案されている [1]．本研究はこれらの研究に影響を受けたものであるが，マクロパラメータ σ 2 により大域的な滑らかさを制御できる点が異なる．なお，本研究では
σ 2 を設計者が与えたが，σ 2 に事前分布を導入するアプ
ローチも可能であると考えられる．

6. おわりに
本論文では，「載せる」「回す」などの参照点に依存した動作を模倣学習する手法を述べた．提案手法では，軌道の滑らかさを表すマクロパラメータを導入することで既存手法 [12] に比べ学習すべきパラメータ数を削䣔䣕䣌䢴䢲䢳䢴䣃䣅䢵䣐䢴䢯䢷図 3 マクロパラメータ σ 2 = 100(左)，0.1(中)，0.001(右) に対する「回す」軌道の形状 (x 座標)．
術領域「人ロボット共生学」公募課題 24118710）の助成を受けて実施されたものである．

参考文献

図 4 軌道生成誤差の比較．(a)「載せる」，(b)「飛び越えさせる」，(c)「近づける」，(d)「離す」，(e) 「上げる」，(f)「下げる」，(g)「回す」．

減することができる．提案手法の応用タスクとしては，
音声対話による物体操作や，日用品ハンドリングの模
倣学習，などが挙げられる．

デルタパラメータの係数A

本節では，デルタパラメータの係数について説明する．いま，1 変数関数 f (x + ∆x) のテイラー展開について考える．∆x2 以降の項を無視すると，以下の前進差分近似が得られる．

f (x + ∆x) − f (x)(23)∆x
このとき，厳密な微分項との誤差は，∆x およびそれより高次の項から構成されるので，1 次精度の差分近似と呼ばれる．一方，f (x) の中心差分は，以下のように表すことができる．
f (x + ∆x) − f (x − ∆x)(24)
f 0 (x) =2∆x
このとき，誤差は ∆x2 およびそれより高次の項から構成されるので，2 次精度の差分近似である．また，2 階微分の差分近似についても同様に考えることができる．
以上より，式 (5) の設定においては，w(1) (τ ) および(2)w (τ ) をそれぞれ，速度の（2 次精度の）差分近似式の係数，および加速度の（2 次精度の）差分近似式の係数とみなすことができる．一方，w(k) (τ ) として 2 次以
上の精度の差分近似式の係数や，3 階微分の差分近似
式の係数なども考えられるものの，データが少ない場合には性能向上が難しい．
f 0 (x) =謝辞
本研究の一部は，科研費（若手 (B)24700188，および新学᪥ᮏ兑兀儧儬Ꮫ఍➨䢵䢲ᅇグᛕᏛ⾡ㅮ₇఍凚䢴䢲䢳䢴ᖺ䢻᭶䢳䢹᪥ࠥ䢴䢲᪥凛[1] Chen, L., Nankaku, Y., Zen, H., Tokuda, K., Ling, Z. and Dai, L.:
Estimation of window coefficients for dynamic feature extraction for
HMM-based speech synthesis, Proc. Interspeech, pp. 1801–1804(2011).
[2] Fox, E., Sudderth, E., Jordan, M. and Willsky, A.: Bayesian Nonparametric Methods for Learning Markov Switching Processes, Signal Processing Magazine, IEEE, Vol. 27, No. 6, pp. 43–54 (2010).
[3] Ijspeert, A., Nakanishi, J. and Schaal, S.: Learning attractor landscapes for learning motor primitives, Advances in neural information processing systems, Vol. 15, pp. 1523–1530 (2002).
[4] Inamura, T., Toshima, I., Tanie, H. and Nakamura, Y.: Embodied
symbol emergence based on mimesis theory, International Journalof Robotics Research, Vol. 23, No. 4, pp. 363–377 (2004).
[5] Keogh, E. and Kasetty, S.: On the need for time series data mining
benchmarks: A survey and empirical demonstration, Data Mining
and Knowledge Discovery, Vol. 7, No. 4, pp. 349–371 (2003).
[6] Langacker, R. W.: Foundations of Cognitive Grammar: Theoretical
Prerequisites, Stanford Univ Pr (1987).
[7] Matsubara, T., Hyon, S. and Morimoto, J.: Learning stylistic dynamic movement primitives from multiple demonstrations, Proc
IROS, pp. 1277–1283 (2010).
[8] Ogata, T., Murase, M., Tani, J., Komatani, K. and Okuno, H. G.:
Two-way translation of compound sentences and arm motions byrecurrent neural networks, Proceedings of the 2007 IEEE/RSJ International Conference on Intelligent Robots and System, pp. 1858–
1863 (2007).
[9] Ogawara, K., Takamatsu, J., Kimura, H. and Ikeuchi, K.: Generation of a task model by integrating multiple observations of humandemonstrations, Proceedings of the 2002 IEEE International Conference on Robotics and Automation, pp. 1545–1550 (2002).
[10] Rasmussen, C. E. and Williams, C. K. I.: Gaussian Processes for
Machine Learning, The MIT Press (2005).
[11] Sugiura, K., Iwahashi, N. and Kashioka, H.: Motion generation byreference-point-dependent trajectory HMMs, Proc. IROS, pp. 350–
356 (2011).
[12] Sugiura, K., Iwahashi, N., Kashioka, H. and Nakamura, S.:
Learning, Generation, and Recognition of Motions by ReferencePoint-Dependent Probabilistic Models, Advanced Robotics, Vol. 25,
No. 6-7, pp. 825–848 (2011).
[13] Tagniguchi, T., Hamahata, K. and Iwahashi, N.: Unsupervised Segmentation of Human Motion Data Using Sticky HDP-HMM andMDL-based Chunking Method for Imitation Learning, Advanced
Robotics, Vol. 25, No. 17, pp. 2143–2172 (2011).
[14] Takano, W. and Nakamura, Y.: Statistically integrated semiotics
that enables mutual inference between linguistic and behavioral
symbols for humanoid robots, Proceedings of the 2009 IEEE International Conference on Robotics and Automation, pp. 2490–2496(2009).
[15] Toda, T., Black, A. and Tokuda, K.: Voice conversion based on
maximum-likelihood estimation of spectral parameter trajectory,
IEEE Trans. Audio, Speech, and Language Processing, Vol. 15,
No. 8, pp. 2222–2235 (2007).
[16] Tokuda, K., Yoshimura, T., Masuko, T., Kobayashi, T. and Kitamura, T.: Speech parameter generation algorithms for HMM-based
speech synthesis, Proceedings of ICASSP, pp. 1315–1318 (2000).
[17] 伊庭幸人: 岩波講座 物理の世界 物理と情報〈3〉ベイズ統計と統計物理, 岩波書店 (2003).