䣔䣕䣌䢴䢲䢳䢳䣃䣅䢵䣒䢵䢯䢸

参照点に依存したトラジェクトリ HMM による動作生成○杉浦孔明, 岩橋直人, 柏岡秀紀 (情報通信研究機構)

1. はじめに
生活支援ロボットにとって，日用品等のオブジェクトを操作する機能は必要不可欠であるが，各種の日用品や棚に対応する動作を事前にプログラムするコストは非常に大きい．加えて，事前にプログラムされた動作がユーザにとってイメージしにくいものであった場合，安心して動作指示できないという問題もある．本研究は，これらの問題を解決するため，模倣学習の枠組みにより動作を学習する手法の構築を目的とする．このような学習手法を構築することで，プログラミングスキルが必要とされないユーザフレンドリな動作教示方法を実現できる．
物体操作の模倣学習における主な問題のひとつは，観測された軌道そのものはモデルとしての利用性が低いということである [3]．これは同じ「載せる」動作であっても，オブジェクトの配置の違いによって軌道が全く異なるためである．この問題に取り組んだ先行研究では，物体操作を 2 つのオブジェクト間の相対軌道として表現するものが多い (例えば [5, 6])．これらの手法においては，2 つのオブジェクトが与えられているという前提があるため，関連物体をユーザが指定しなくてはならないという制約があった．この制約に対し，我々は，関連物体の推定と軌道学習を同時に行う方法を提案している [7, 8]．
一方，物体操作に限らず，模倣学習における軌道のモデル化には，隠れマルコフモデル (HMM) が用いられることが多い．ただし，HMM を用いて単純なサンプリングにより軌道を生成すると，生成された軌道は不連続なものとなる．これに対し，本論文では，トラジェクトリ HMM [9] を利用して連続的な軌道を生成する手法について述べる．提案手法の独自性は，以下の2 点である．

• 学習時に動作の表現に適切な座標系（固有座標系）を推定する．軌道生成時に固有座標系上の HMMを変換する．
• トラジェクトリ HMM を用いて連続的な物体操作軌道を生成する

2. タスク
2·1

参照点に依存した動作

空間的移動の概念には，参照点に依存しているものがある．
「A を B に載せる」動作や「A を回す」動作がこれにあたる．いま，参照点に依存する動作の概念を，模倣学習の枠組みによりロボットに学習させる問題を考える．このとき，動かされるオブジェクトをトラジェクタ，トラジェクタの基準になるオブジェクトをランドマークと呼ぶことにする [4]．上記の 2 種類の動作のように，ランドマークを必要とする動作と必要としない動作を同じ枠組みで学習させることは簡単ではない．

➨䢴䢻ᅇ᪥ᮏ兑兀儧儬Ꮫ఍Ꮫ⾡ㅮ₇఍凚䢴䢲䢳䢳ᖺ䢻᭶䢹᪥ࠥ䢻᪥凛

図 1 左:カメラ画像の例．右:動画像から抽出された観測情報．

図 2 実験に用いたロボット

このような情報は，通常訓練データ中に明示されていないためである．

2·2 ハードウェア
実験に用いたロボットシステムを図 2 に示す．ロボットシステムは，7 自由度のロボットアーム (三菱重工製 PA-10)，4 自由度のロボットハンド (Barrett Technology 製 BarrettHand)，マイクロフォン，ステレオカメラ(Point Grey Research 製 Bumblebee 2)，視線表出ユニット (Directed Perception 製 PTU-46-70 にロボットヘッドを取付) からなる．
オブジェクトの画像特徴および 2 次元座標 (カメラ座標系) は，固定されたステレオカメラを用いて得る．なお，オブジェクトの抽出およびトラッキングは，色およびステレオカメラから得られる距離に基づくヒューリスティックな手法により行う．カメラのフレームレー
トは 30[frame/sec] であり，解像度は 320×240 である．
図 1 にカメラ画像の例とその内部表現を示す．新規動作の学習や動作認識を行う際には，オブジェクトの座標時系列が利用される．

3. 参照点に依存した HMM による動作学習
3·1 デルタパラメータを用いた軌道のモデル化
移動するオブジェクトが一つで複数の静止オブジェクトが存在する動画像が与えられたとする．この動画像から，移動する物体 (トラジェクタ) の重心軌道 Ξ と，静止オブジェクトの重心位置の集合 O S を抽出し，学䣔䣕䣌䢴䢲䢳䢳䣃䣅䢵䣒䢵䢯䢸図 3 デルタパラメータを用いた軌道生成の例．(a) 位置のみ，(b) 位置および 1 次のデルタパラメータ，(c)位置および 1,2 次のデルタパラメータ，を用いた軌
道生成の結果．

図 4 動作と参照点・固有座標系の関係．左:「近づける」，右:「上げる」

数を K とする．固有座標系として，以下の C1 から C4を定義する．

習時の訓練サンプル V とする．

V = (Ξ, O S )[]>>>Ξ = ξ>
1 , ξ 2 , ..., ξ T
[]>
(1) >
ξt = x>
xt , ∆(2) x>
t ,∆t

(1)
(2)
(3)

ここに，xt は時刻 t におけるトラジェクタの位置ベクトルであり，xt の次元を m とする．本研究では，m = 2を仮定するものの，本手法は 3 次元空間 (m = 3) にも適用可能である．∆(k) xt (k = 0, 1, 2) は，音声処理分野ではデルタパラメータと呼ばれ，HMM から軌道を生成する際に用いられている．デルタパラメータは次のように定義される．

∆(k)xt =(k)L∑w(k) (τ )xt+τ

(k = 0, 1, 2)(4)

τ =−L(k)ここに，L(0) = 0，w(0) (0) = 1，L(1) = L(2) = 1 とする．また，w(1) (τ ) = τ2 ，w(2) (τ ) = 43 τ 2 − 21 と定義する．よって，

11∆(1) xt = − xt−1 + xt+122111∆(2) xt = xt−1 − xt + xt+1424(5)(6)となる．便宜的に，位置を 0 次のデルタパラメータと呼ぶ．定義より，1 次および 2 次のデルタパラメータは速度および加速度の定数倍とみなすことができる．
デルタパラメータによる軌道生成の効果を図 3 に示す．図 3 は，動作「載せる」に関して，軌道生成を行った結果である．図において，左図に t-y プロット，右図に x-y プロットを示す．図より，位置のみを用いた場合には不連続な軌道が生成されているのに対し，1，2次のデルタパラメータを用いることで滑らかな軌道が生成できることがわかる．
HMM として，状態数 N の left-to-right 型 HMM を用いる．以下では，HMM の全パラメータを λ と表すこととする．λ は，初期状態分布 π = {πi }，状態遷移
確率 A，出力確率分布 b = {bi (·)} からなる．出力確率分布として，混合数 1 のガウス分布を用いる．

3·2 固有座標系タイプ
本研究では，固有座標系は有限個のタイプに分類できるものとする．固有座標系タイプを k とし，その総➨䢴䢻ᅇ᪥ᮏ兑兀儧儬Ꮫ఍Ꮫ⾡ㅮ₇఍凚䢴䢲䢳䢳ᖺ䢻᭶䢹᪥ࠥ䢻᪥凛

C1 : ランドマークを原点とする，カメラ座標系を平行移動した座標系．ただし，変換後の座標系において x1 の x 座標が負になる場合には，x 軸を反転させる．y 軸は重力方向とする．動作の例としては，「載せる」などが挙げられる．
C2 : ランドマークを原点とし，x1 に向かう軸を x 軸とする直交座標系 (図 4 左図参照)．動作の例としては，「近づける」などが挙げられる．
C3 : x1 を原点とする，カメラ座標系を平行移動した座標系 (図 4 右図参照)．動作の例としては，「上げる」などが挙げられる．
C4 : 画面中心 xcenter を原点とする，カメラ座標系を平行移動した座標系．固有座標系に関係ない動作，例えばアルファベットを描くなどが C4 に分類される．
C3 , C4 では参照点が唯一に定まるので，参照点の探索を行なわない．参照点の候補集合 O R を以下のように定義する．
{}
O R = {O S , x1 , xcenter } , xr r = 1, 2, ..., |O R |3·3 参照点に依存した HMM の学習
固有座標系タイプ k と参照点 r によって決定されるr固有座標系 Ck (xr ) 上での軌道を Ck (x ) Ξ と表記することにする．以下の尤度最大化基準により，固有座標系
タイプ k ，参照点インデックス列 r ，HMM パラメータ
λ を探索する．
(λ̂, k̂, r̂) = argmax
λ,k,rL∑rrlog P (Ck (x ) Ξl ; Ck (x ) λ)

(7)

l=1

ここに Ξl は l 番目の訓練サンプルにおける軌道を表す．
式 (7) の解は [8] を参照されたい．
軌道生成時に用いる状態系列において，状態継続長は任意のものを設定可能である．ここでは合理的な状態継続長として，訓練集合における平均の状態継続長を用いる．訓練集合中の平均状態系列 q̄ は以下で表される．

q̄ = (qinit , q1 , q2 , ..., qT̄ , qfinal )(8)= (Sinit , 1, ..., 1, 2, ..., 2, ..., N, ..., N , Sfinal )| {z }| {z } | {z }d¯1d¯2d¯N

ここに d¯i は状態 i の平均継続長を表し，T̄ =ある．

∑ ¯i di で䣔䣕䣌䢴䢲䢳䢳䣃䣅䢵䣒䢵䢯䢸
4. 参照点に依存したトラジェクトリ HMM
による動作生成学習された HMM から軌道を生成することを考える．
状態系列 q̄ と HMM パラメータ W λ が与えられたうえ
で，生成軌道の確率を最大化する最適軌道 W Ξ̂ を得ることを考える．世界座標系 W における最適軌道 W Ξ̂ は以下により与えられる．
WΞ̂ = argmax P (W Ξ| q̄, W λ)

(9)

WΞ

= argmax P (W Ξ| q̄, C λ, xrtraj , xr )(10)

図 5 訓練サンプル数と生成された軌道の関係WΞr

ここに，固有座標系を C ，トラジェクタ初期位置を x traj ，参照点を xr とする．
HMM パラメータ λ は固有座標系上で学習されているため，軌道生成時には座標変換を行う必要がある．まず，状態 s における k(= 0, 1, 2) 次のデルタパラメータの平均ベクトル Cµ(k) (s) と共分散行列 C Σ(k) (s) に関して，C から W への座標変換を行う．位置に関する平均ベクトル Cµ(0) (s) は，以下の同次変換行列により変換される．
[] [][]W (0)C (0)R xrtrajµ (s)µ (s) − Cµ(0) (1)=1101(s = 1, 2, ..., N )ここに，R は回転行列を表す．同様に，R を用いて位置以外の平均ベクトルと共分散ベクトルを変換する．
W (k)(s) = R Cµ(k) (s)W (k)(s) = R CΣ(k) (s) R>µΣ(k = 1, 2)(k = 0, 1, 2)

(11)
(12)

rtraj

最後に，トラジェクタ初期位置 xを起点とする軌道を生成するために，正の数 ε  1 を，第 1 状態の位置の分散に設定する．
W

Σ(0) (1) = εI

(13)以上より，C λ から W λ が得られた．式 (9) の解を付録に示す．

5. 実験設定
本実験の目的は，生成軌道の学習が収束するために必要な訓練サンプル数を示すことである．

5·1 訓練データおよびテストデータ
動作ラベルを自然言語で被験者に呈示し，机の上に置かれたオブジェクトを操作させた．用いられた動作
ラベルは，以下の 7 種類である．

図 6 生成軌道の例

6. 結果
6·1 定性的結果
図 5 に，訓練サンプル数と生成された軌道の関係を示す．図における軌道は，オブジェクト 3 をオブジェク
ト 2 に「載せる」を軌道を示す．図において，SubjectA は，同じ物体配置において被験者 A が実行した軌道，TA-n は n 個のサンプルを用いて学習された HMM から生成された軌道を示す．図より，TA-2 の最終位置は被験者のものと離れているが，TA-8 の最終位置は被験者のものとほぼ等しいことがわかる．このことから，TA-8の最終状態の分散は適切に学習されていたと考えられる．実際に，TA-2，TA-4，TA-6，TA-8 の最終状態の分散 (縦方向) は，それぞれ 26.6，23.5，5.41，7.44 であった．
図 6 に，様々な物体配置における動作生成の結果を示す．各動作の [動作ラベル，トラジェクタ ID，ランドマーク ID] はそれぞれ，(a) [飛び越えさせる, 3, 2]，(b)[飛び越えさせる, 3, 1]，(c) [近づける, 4, 1]，(d) [近づける, 1, 3]，(e) [回す, 1] である．図より，関連物体の組み合わせに応じて，適切な軌道が生成されていることがわかる．例えば，軌道 (a) と (b) は同じ HMM から生成されているものの，配置に応じて逆向きの軌道が生成されている．

「上げる」，「近づける」，「離す」，「回す」，「載せる」，「下げる」，「飛び越えさせる」
表 1 に訓練集合名とサンプル数 L を示す．TA-3 からTA-9 は，TA-2 に訓練サンプルを一つずつ追加したものである．学習時に用いられた配置が，動作生成時に用いられないようにするため，訓練集合とは異なる別のテスト集合 RA-5 を用意した．RA-5 は，TA-n と同様に 7 種類の動作からなり，各動作に対し軌道を 5 個含む．

➨䢴䢻ᅇ᪥ᮏ兑兀儧儬Ꮫ఍Ꮫ⾡ㅮ₇఍凚䢴䢲䢳䢳ᖺ䢻᭶䢹᪥ࠥ䢻᪥凛

Data set
TA-2
TA-3..
.
TA-9RA-5

表 1 訓練集合およびテスト集合
Subject # of motion labels# of trajectories
per motion label

AA..
.
AA

77..
.
7723..
.
95䣔䣕䣌䢴䢲䢳䢳䣃䣅䢵䣒䢵䢯䢸
ここに，[]−1−1Σ−1 = diag Σ−1,
Σ,...,
ΣqL0 +1
qL0 +2qT −L0[]>>>µ = µ>
qL0 +1 , µqL0 +2 , ..., µqT −L0
L0 = max L(k)

(17)
(18)
(19)

k

µqi は 3m × 1 の平均ベクトル，Σqi は 3m × 3m の共分散行列，K は定数である．q は状態系列であり，q = q̄とする．
式 (4) を行列表現すると，
Ξ = Wx

図 7 訓練サンプル数と生成誤差 D(Ξ, Ξ̂) の関係

6·2

定量的結果

提案手法により生成された軌道 Ξ̂ を，被験者が実行した軌道 Ξ と比較し，生成誤差を評価する．評価尺度として，時系列の比較のために一般的に用いられているユークリッド距離を用いる [2]．生成誤差 D(Ξ, Ξ̂) は，フレーム長 T で正規化されたユークリッド距離で与えられる．

1 ∑√|xt − x̂t |2T t=1
T

D(Ξ, Ξ̂) =(14)7. おわりに
本論文では，「載せる」「回す」などの参照点に依存した動作を模倣学習する手法を述べた．提案手法は，デルタパラメータを利用して連続的な軌道を生成することができるという特徴を持つ．提案手法の応用タスクとしては，音声対話による物体操作 [10] や，RoboCup@Home [1]における日用品ハンドリングの模倣学習，などが挙げられる．

トラジェクトリ HMM を用いた軌道生成

本付録では，[9] で提案された軌道生成について説明する．以下では，簡単のため，座標系の表記を省略する．つまり，W λ を λ と表記することにする．
HMM λ の出力確率分布はガウス分布であることから，式 (9) を変形すると，Ξ̂ = argmax log P (Ξ|q, λ)Ξ}{1 > −1> −1= argmax − Ξ Σ Ξ + Ξ Σ µ + K2Ξ➨䢴䢻ᅇ᪥ᮏ兑兀儧儬Ꮫ఍Ꮫ⾡ㅮ₇఍凚䢴䢲䢳䢳ᖺ䢻᭶䢹᪥ࠥ䢻᪥凛となる．ここに，[]>> >x = x>
1 , x2 , ..., xT>

W = [wL0 +1 , wL0 +2 , ..., wT −L0 ]
[]
(0)
(1)
(2)
wt = wt , wt , wt[(k)wt = 0m×(t−L(k) −1)m , w(k) (−L(k) )Im×m , ..., w(k) (0)Im×m ,]>..., w(k) (L(k) )Im×m , 0m×(T −t−L(k) )m制約 (20) の下で，式 (15) を解くために，以下を考える．

ここに，xt および x̂t は，それぞれ Ξ と Ξ̂ のフレームt における位置ベクトルを表す．ただし，x̂t は，xt と同数のフレームを含むようにリサンプリングを行うものとする．
図 7 に定量的結果を示す．図は，D(Ξ, Ξ̂) を訓練サンプル数で平均化したものをプロットしたものである．
図の縦軸は生成誤差，横軸は訓練サンプル数を表す．図より，サンプル数が 7 以上の場合において，生成誤差が収束していることがわかる．このことから，提案手法による軌道学習のために，7 個程度のサンプルが必要であることがわかる．

A(20)(15)(16)∂ log P (W x|q, λ)=0∂x(21)

式 (16)，(20)，(21) より，

W > Σ−1 W x = W > Σ−1 µ(22)を得る．式 (22) は Cholesky 分解を用いて，O(T m3 ) で解ける．
参考文献[1] http://www.ai.rug.nl/robocupathome/: RoboCup@Home Rules &Regulations.
[2] Keogh, E. and Kasetty, S.: On the need for time series data mining
benchmarks: A survey and empirical demonstration, Data Mining
and Knowledge Discovery, Vol. 7, No. 4, pp. 349–371 (2003).
[3] Krüger, V., Kragic, D., Ude, A. and Geib, C.: The meaning ofaction: a review on action recognition and mapping, Advanced
Robotics, Vol. 21, No. 13, pp. 1473–1501 (2007).
[4] Langacker, R. W.: Foundations of Cognitive Grammar: TheoreticalPrerequisites, Stanford Univ Pr (1987).
[5] Ogawara, K., Takamatsu, J., Kimura, H. and Ikeuchi, K.: Modelingmanipulation interactions by hidden Markov models, Proceedings ofthe 2002 IEEE/RSJ International Conference on Intelligent Robotsand Systems, pp. 1096–1101 (2002).
[6] Regier, T.: The Human Semantic Potential: Spatial Language andConstrained Connectionism, Bradford Books (1996).
[7] Sugiura, K. and Iwahashi, N.: Learning object-manipulation verbs
for human-robot communication, Proceedings of the 2007 workshopon Multimodal interfaces in semantic interaction, pp. 32–38 (2007).
[8] Sugiura, K., Iwahashi, N., Kashioka, H. and Nakamura, S.: Learning, Generation, and Recognition of Motions by Reference-PointDependent Probabilistic Models, Advanced Robotics, Vol. 25,
No. 6-7, pp. 825–848 (2011).
[9] Tokuda, K., Yoshimura, T., Masuko, T., Kobayashi, T. and Kitamura, T.: Speech parameter generation algorithms for HMM-basedspeech synthesis, Proceedings of ICASSP, pp. 1315–1318 (2000).
[10] 杉浦孔明, 岩橋直人, 柏岡秀紀, 中村哲: 言語獲得ロボットによる発話理解確率の推定に基づく物体操作対話, 日本ロボット学会
誌, Vol. 28, No. 8, pp. 978–988 (2010).