DEIM Forum 2016 G4-5

多次元時系列データからのモーション検出・分類手法
菅野滉介†

奥健太††

川越 恭二††† 立命館大学情報理工学研究科 〒 525–8577 滋賀県草津市野路東 1 丁目 1-1†† 立命館大学情報理工学部 〒 525–8577 滋賀県草津市野路東 1 丁目 1-1
E-mail: †sugano@coms.ics.ritsumei.ac.jp, ††oku@fc.ritsumei.ac.jp, † † †kawagoe@is.ritsumei.ac.jp
あらまし

近年モーションキャプチャの普及により様々な分野で活用されている．モーションキャプチャデータ（MCD）

は，関節等の様々な部位の位置や角度に関する多次元時系列データとして扱われる．しかし，アプリケーション毎に異なる動きの特徴を用いるため，既存手法では精度や処理速度の観点から，MCD をスポーツトレーニング等のアプリケーションに適用することが難しい．そこで，本研究では，多次元時系列データ類似度算出方法である A-LTK を拡張した新たな部分シーケンスマッチング手法 A-LTK for MCD を提案する．
キーワード

モーションキャプチャ，データマイニング，時系列データ

1. は じ め に

2. 1 映像を用いた研究
Cao ら [3] は，人間行動の検索について研究を行った．彼ら

近年，センサテクノロジの進化により，様々なストリーミンは，行動パターンを抽出するため，3D シフトに基いた映像のマグデータが取得可能となった．中でもモーションキャプチャは，イニング手法を提案した．Turaga ら [4] は，機械学習によって映画や CG，ゲーム，医療，スポーツ等の様々な分野で活用さ映像から人間の行動が認識できるか調査を行った．この調査は，れている．

行動のモデリング，low-level の特徴抽出，活動のモデリングのモーションキャプチャデータ（MCD）を用いた既存の研究に3 つの視点から行われている．Ren ら [5] は，カメラの画像かは，映像を用いた方法や動作モデル/骨格モデルを用いた方法

ら深度情報を用いたハンドジェスチャーの認識手法を提案した．

がある．後者の動作モデル/骨格モデルを用いる研究では，関彼らは，Kinect から取得した深度情報を用いて，提案手法であ節等の様々な部位の位置や角度に関する多次元時系列データとる Finger-Earth Mover’s Distance(FEMD) を評価した．

して MCD が扱われる．しかし，アプリケーション毎に異なる

これらの研究では，映像を用いた人間行動の認識を使って，動きの特徴を用いるため，既存の手法では精度や処理速度の観様々な手法やアプリケーションが提案されている．しかし，本点から，MCD をスポーツトレーニング等のアプリケーション研究では，映像ではなく動作モデル/骨格モデルを用いた人間に適用することが難しい．の行動を用いるため，その点で異なっている．

そこで，本研究では，多次元時系列データ類似度算出方法

2. 2 動作モデル/骨格モデルを用いた研究である A-LTK [1] と，A-LTK を拡張した A-LTK2.0 [2] を提Rptis ら [6] は，Kinect から得られたスケルトンデータか案した．A-LTK は，βと呼ばれるパラメータを変えることで，ら，ダンスのジェスチャーを分類する手法を提案した．彼らは，精度と計算コストを制御可能な類似度算出手法である．一方，skeleton-tracking 手法という特徴ベクトル抽出手法を開発し，A-LTK2,0 では，A-LTK を部分シーケンスマッチングに適用その特徴ベクトルからダンスのジェスチャーを推測した．彼らするため，二段階の処理を行い精度と計算コストのバランスをは，16 個の節から構成されているスケルトンデータを用いて評取った．

価を行った．Zhang ら [7] は，ゴルフのスイングを評価するた

しかし，MCD は関節の位置や角度に関する 3 次元データのめのシステムを提案した．彼らは，Kinect から得られたスケル集合として表されるため，MCD を通常の多次元時系列データトンデータから特徴を抽出し，隠れマルコフモデルを用いることして扱う既存方法で正確な精度を求めるためには，多くの処とで評価を行った．Kapadia ら [8] は，モーションデータベー理時間が必要となる．そこで，本論文では，特徴のある関節集スと検索システムを提案した．彼らも，入力に Kinect から得合ごとに類似度を算出することで精度と処理効率を向上させるられるデータをクエリとしている．彼らは，高速な検索を可能部分シーケンスマッチング手法である A-LTK for MCD を提とするために索引付に用いる幾つかのキーを開発した．

案する．

2. 関 連 研 究

これらの研究では，Kinect のスケルトンデータに特化した分類方法が開発されている．

2. 3 多次元時系列データの分類研究

本章では，モーションの検出についての研究を述べる．2. 1

Matsubara ら [9] は，ストリームデータから意味のあるモー節では，映像を用いた研究について述べ，2. 2 節で動作モデル/ションパターンを検索し，異常なデータを検出する手法を提案

骨格モデルを用いた研究について述べる．最後に 2. 3 多次元時した．彼らの提案した Stream Scan は，複数の情報を持つスト系列データの分類手法に関する研究について述べる．

リームデータを監視する．この手法では，1 次元の時系列データを用いて，局所特徴ベクトルを生成し，新たな時系列データを構築する．

3. 3. 1 keypoints
時系列データを間引き，残った時刻点を keypoints と呼ぶ．

keypoints の選別には，2 つの方法がある．
まず，前後の点との差分を取る．その差分がある閾値以上の
図 1 A-LTK の例

タを分類する手法を組み合わせることで，多次元に対応している．Ho ら [10] は，サイクロンの軌道を多次元時系列データとし，それを分類する手法を提案した．彼らは，次元数を減らすために Isometric Feature Mapping(ISOMAP) という手法を開発し，類似度算出に LCS を用いて評価を行った．
しかし，これらの研究では 1 桁程度の少ない次元数のデータセットを用いて評価が行われている．本研究では，MCD のよ
うな 2 桁以上の次元数の多次元時系列データを対象としている．

時にその点を keypoints とする．次に，二階差分を取る．その二階差分がある閾値以下の時にその点を keypoints とする．
以下に示す β は，抽出する keypoints の数を制御するために使われる．
β=keypoints の数
元の時系列データの時刻点の数(1)

3. 3. 2 局所特徴ベクトル
次に，3 つの局所特徴ベクトル生成方法を記述する．一つ目
である式 (2) は，ある点の前後の点を結合し，新たなベクトルを構築する．二つ目の方法である式 (3) は，前後の点との差分を取り，局所特徴ベクトルを構築する．三つ目の手法である式

3. 従 来 研 究
時系列データ間の類似度算出手法は多く提案されている．例としてユークリッド距離やマンハッタン距離等が存在する．しかし，これらの手法は部分シーケンスマッチングに適用できない．そこで，部分シーケンスマッチングにも適用可能な類似度算出手法が提案されてきた．

3. 1 DTW
DTW は有名な時系列データ間の類似度算出手法である．
DTW は，高い精度を得ることが可能だが，O(n2 ) なため計算コストが大きいことが知られている．そのため，DTW の計算コストを減らす手法が多く開発されている．

3. 2 AMSS(4) は，先述した手法の組み合わせである．
pBi =(vi−p , ..., vi , ..., vi+p )(2)

q Δi =(vi−q+1 − vi−q , ..., vi − vi−1 ,(3)

vi+1 − vi , ..., vi+t − vi+t−1 )pB + q Δi =(pBi , q Δi )(4)

A-LTK で は ，類 似 度 算 出 に コ サ イ ン 類 似 度 を 用 い る ．
AS =< a1 (t = KP1 ), a2 (t = KP2 ), ..., ar (t = KPr ) > は，
A-LTK によって処理されたベクトルであり，ak (t = KPk ) は
時刻点 k における keypoint とする．この時 AS1 と AS2 という 2 つの特徴ベクトル間の類似度を算出するための関数

DA−LT K (A, B) は，以下のように定義される．

中 村 ら [11] は ，Angular Metrics for Shape Similarity

DA−LT K (AS1 , AS2 )あり，以下の式で定義される．
∞


if length(AS1 ) = 0 and length(AS2 ) = 0,



0


AM SS(∆S1 , ∆S2 )

if length(AS1 ) = 0 or length(AS2 ) = 0, COS(H(AS ), H(AS ))+0

12

=
if length(∆S1 ) = 1 and length(∆S2 ) = 0,(max(D(ASA−LTK
1 , R(AS2 ),−∞DA−LT K (R(AS1 ), AS2 ),if length(∆S1 ) = 1 or length(∆S2 ) = 1,
D
A−LT K (R(AS1 ), R(AS2 ))=Sim(H(∆S),H(∆S))+
12/(length(AS1 ) + length(AS2 ) − 1)otherwise.






max(AM SS(∆S1 ), R(∆S2 )),
AM SS(R(∆S1 ), ∆S2 )),
DTW や AMSS と同じような数式で表現されるが，正規化をAM SS(R(∆S1 ), R(∆S2 ))otherwise.
行う点で異なっている．
3. 3 A-LTK
3. 4 A-LTK2.0(AMSS) を提案した．AMSS は，DTW と同様に動的計画法でA-LTK(Multi-dimensional time series Approximation with

A-LTK は，β というパラメータを用いて精度と計算コスト

use of Local features at Thinned-out Keypoints) [1] は，処理の制御を行っていた．しかし，β パラメータが 100% に近い場時間を軽減可能なように考案された時系列データの類似度算出

合 DTW や AMSS のような既存手法と同じ結果となる．また，方法である．A-LTK の特徴は，2 つある．まず，時系列データ部分シーケンスマッチングへの適用を考慮した際に小さすぎるを間引くことで処理時間を軽減する．次に，その間引いたデーβ の値も類似度の算出をより困難にさせる．そこで，我々は βパラメータに着目し，A-LTK を拡張した部分シーケンスマッ

かし，図 4 より，A-LTK2.0 では二段階の処理を行うため，A-チング手法である A-LTK2.0 を提案した．

LTK に処理時間の面で劣る結果となった．そこで本論文では，

3. 4. 1 ‘Coarse to Fine‘手法

MCD の特徴を活かす手法である A-LTK for MCD を提案する．

A-LTK2.0 では，部分シーケンスマッチングを二段階で行う．
以下に A-LTK2.0 の基本的なアイディアを示す．二段階処理に 2 つのタイプの A-LTK を用いる．一段階目は，β の値を小さくした A-LTK である Coarse A-LTK を用いる．Coarse

A-LTK では，少ない数の keypoints を抽出する．また，Coarse
A-LTK では，閾値 ε を設定し，その閾値よりも類似度が低い部分シーケンスをフィルタリングする．二段階目は，β の値を大きくした Fine A-LTK を用いる．Fine A-LTK では，一段階目のフィルタリング処理で残った部分シーケンスについてkeypoints を一部復元し，より詳細なマッチングを行うことで，精度と計算コストのバランスを取る．

図3

精度

図4

処理時間

図 2 A-LTK2.0

3. 4. 2 部分シーケンスマッチング
A-LTK2.0 における部分シーケンスマッチング方法について記載する．

A-LTK2.0 で は ，Coars A-LTK と Fine A-LTK で 異 なる パ ラ メ ー タ を 使った ス ラ イ ディン グ ウィン ド ウ を 行 う．

Coarse A-LTK で用いるパラメータを βCoarse ，W sizeCoarse ，SlengCoarse とする．Fine A-LTK で用いるパラメータを β
F ine ，W sizeF ine ，SlengF ine とする．異なる β パラメータを用いた A-LTK によって間引かれるためスライディングウィン
ドウに用いるパラメータが異なる．その元となるウィンドウサ
イズ W size は，入力クエリの時刻点の数とする．

3. 5 A-LTK2.0 における評価実験
この実験では，社交ダンス（ルンバ）のデータセットを用いて実験を行った．各データの次元数は，57 次元 (19*3) で構成されている．このデータセットは，ルンバの基本ステップが 41個あり，それら全てを含む長いシーケンスのデータが 1 つ存在する．それぞれのデータの長さは，基本ステップの平均が 1348
フレーム，長いシーケンスが 3448 フレームである．これらのデータを元に DTW，AMSS，A-LTK の各手法にスライディングウィンドウ方式を適用し，比較を行った．

3. 6 実 験 結 果
図 3 より，A-LTK2.0 が他の手法より良い精度となった．し4. A-LTK for MCD
本章では，A-LTK を MCD の特徴に合わせ拡張した A-LTKfor MCD について記載する．
4. 1 基本的考え方
MCD は，関節の位置や角度に関する 3 次元データの集合として表される．そのため，MCD を通常の多次元時系列データとして扱う既存手法で正確な精度を求めるためには，多くの処理時間が必要となる．そこで，A-LTK for MCD では，A-LTKをより MCD に適したマッチングとするため，MCD を腕，上半身，下半身，脚等の複数のパーツのデータに分け，部分的な特徴点を用いることで精度向上と処理時間の削減を目指す．

4. 2 MCDMCD は，J 個の関節を持ち，各関節は xyz の 3 次元の位置情報または角度情報を持っている．この時，MCD の次元数は(J ∗ 3) 次元となる．また，MCD は M 個の時刻点を持っている．時刻点同士の間隔を s 秒とした時，一つのデータの長さは(M ∗ s) 秒で表される．
4. 3 手法

A-LTK for MCD における部分シーケンスマッチング手法の定義を以下に記載する．
多くの動きを含む長いシーケンスの MCD を T とする．T の時刻点の数を Nt とした時，T =< t1 , t2 , ...tNt > となる．同様

に，部分シーケンスマッチングのクエリとして用いるデータを•上半身（11 関節）

Q，Q の時刻点の数を Nq とした時，Q =< q1 , q2 , ...qNq > と•下半身（8 関節）なる．この時，Nt > Nq を必ず満たす．

•両腕（6 関節）•両足（6 関節）

まず，任意の j(1 < j < J) 個の関節からなるデータ Tsubjointとクエリ Qsubjoint 作成する．次に A-LTK2.0 にスライディン

類似度算出手法には，A-LTK を用いた．また，A-LTK でのグウィンドウ方式を適用し，Tsubjoint の中から Qsubjoint と類似特徴ベクトルの構築方法には，1B を用いた．本実験では，度の高い部分を抽出する．異なる関節集合 subjoint ごとに類似0.3, 0.5, 0.8 の 3 パターンで β を変化させ，各々の精度と処理度の高い部分 Tsubjoint が抽出される．抽出された Tsubjoint か時間を評価した．

ら，もっとも類似した部分シーケンスを求めるために Tsubjoint

表 1 予備実験結果（精度）の集約処理を行う．集約処理には，最も単純な集約処理である関節集合を一つの多次元データとして扱う方法を使用することとする．

4. 4 評 価 方 法
任意の関節からなるデータのパターンを複数用意し，その全身

上半身 下半身両腕両足

β = 0.8 0.634

0.293

0.707

0.536 0.609

β = 0.5 0.659

0.415

0.683

0.561 0.659

β = 0.3 0.683

0.415

0.610

0.561 0.585

データを元に部分シーケンマッチングが可能かどうか評価を行う．比較手法として，A-LTK2.0 や A-LTK 等の類似度算出手

表 2 予備実験結果（処理時間 (sec)）

法だけでなく，既存次元圧縮手法である SVD や PCA を適用したデータを用いた A-LTK2.0 との比較も行う．
しかし，任意の関節からなるデータのみで部分シーケンスのマッチングが可能であるかの妥当性の検証を最初に行うことは難しい．そこで，まずは完全なマッチングが可能であるかの検

全身

上半身 下半身

両腕両足

β = 0.8 62.00

57.45

57.98

56.29 56.96

β = 0.5 27.01

23.77

24.39

23.39 23.85

β = 0.3 12.21

10.14

9.98

9.47

9.31

証を行う．任意の関節からなるデータのみで類似度算出が可能かどうかを判断する予備実験を行った．

5. 3 実 験 結 果
表 1 と表 2 は，予備実験の結果を表している．この結果から，

5. 予 備 実 験

完全なマッチングでは，従来の全ての関節を使った全身の多次

A-LTK for MCD では，特徴のある関節のデータのみを用い元時系列データと同程度もしくはより良い精度であることが分ることで次元数を減らす．そこで，どの関節が最も MCD としかる．また，処理時間についても軽減されていることが分かる．ての特徴を示しているのか調べる実験を行った．なお，MCD

そこで，今後は，集約処理と部分シーケンマッチングに適用をを用いた完全なマッチングを行い，精度の高い関節の集合のい行い，精度と処理時間の評価を行っていく予定である．

くつかを A-LTK for MCD を用いた部分シーケンスマッチングにて評価を行う．

5. 1 データセット

6. お わ り に本研究では，特徴のある関節集合ごとに類似度を算出するこ社交ダンス（ルンバ）のデータセットを用いて予備実験をとで精度と処理効率を向上させる部分シーケンスマッチング手行った．このデータセットは，予め 11 カテゴリに分類された法である A-LTK for MCD を提案するための予備調査を行っ41 個のデータが存在する．各データの関節数 J は 19 で，次元た．MCD を腕，上半身，下半身，脚等の関節集合のデータに数は 57(19 ∗ 3) である．また，データの平均時刻点数 Mavg は分けることで，どの部分が最も特徴を捉えているか調べる実験

1341.54 個で，平均の長さは 13.42 秒である．図 5 は，MCDを行った．実験結果から，今回使用したデータセットでは，従の例である．

来よりも同程度もしくはより良い精度での検出が可能であることが分かった．また，処理時間については軽減されていることも分かった．今後は，部分シーケンスマッチングでの評価を行う予定である．また，他のデータセットでの調査も行い特徴のある部分が手動や固定ではなく，自動で検出する手法も検討を予定している．
図 5 MCD の例

7. 謝

辞

本研究の一部は，文科省私大戦略的基盤系性支援事業（2013-

5. 2 実 験 内 容
本予備実験では，19 の関節を人の特徴を元にして下記の 4 グループに分類した．

•全身（19 関節全て）

17）および JSPS 科研費 24300039 の助成を受けた．

文

献[1] Yu Fang el al. Multi-dimensional time series approximation
using local features at thinned-out keypoints. In ICCSIT
2014.
[2] Kenta Oku Kosuke Sugano, Yu Fang and Kyoji Kawagoe.
A coarse-to-fine method for subsequence matching of human behavior using multi-dimensional time-series approximation. In 17th International Conference on Information
Integration and Web-based Applications and Services (iiWAS2015).
[3] Y. Gao W. Liu L. Cao, R. Ji and Q. Tian. Mining spatiotemporal video patterns towards robust action retrieval.
In Neurocomputing, Vol. 105, pp. 61–69, 2013.
[4] P. Turaga, R. Chellappa, V.S. Subrahmanian, andO. Udrea. Machine recognition of human activities: Asurvey. Circuits and Systems for Video Technology, IEEE
Transactions on, Vol. 18, No. 11, pp. 1473–1488, Nov 2008.
[5] Zhou Ren, Jingjing Meng, and Junsong Yuan. Depth camera based hand gesture recognition and its applications inhuman-computer-interaction. In Information, Communications and Signal Processing (ICICS) 2011 8th International
Conference on, pp. 1–5, Dec 2011.
[6] Michalis Raptis, Darko Kirovski, and Hugues Hoppe.
Real-time classification of dance gestures from skeleton
animation.
In Proceedings of the 2011 ACM SIGGRAPH/Eurographics Symposium on Computer Animation, SCA ’11, pp. 147–156, New York, NY, USA, 2011.
ACM.
[7] Lichao Zhang, Jui-Chien Hsieh, and Jiangping Wang. A
kinect-based golf swing classification system using hmm andneuro-fuzzy. In Computer Science and Information Processing (CSIP), 2012 International Conference on, pp. 1163–1166, Aug 2012.
[8] Mubbasir Kapadia, I-kao Chiang, Tiju Thomas, Norman I.
Badler, and Joseph T. Kider, Jr. Eﬃcient motion retrieval
in large motion databases. In Proceedings of the ACM
SIGGRAPH Symposium on Interactive 3D Graphics andGames, I3D ’13, pp. 19–28, New York, NY, USA, 2013.
ACM.
[9] Y. Matsubara, Y. Sakurai, N. Ueda, and M. Yoshikawa. Fastand exact monitoring of co-evolving data streams. In Data
Mining (ICDM), 2014 IEEE International Conference on,
pp. 390–399, Dec 2014.
[10] Shen-Shyang Ho, Wenqing Tang, and W. Timothy Liu.
Tropical cyclone event sequence similarity search via dimensionality reduction and metric learning. In Proceedings of the 16th ACM SIGKDD International Conferenceon Knowledge Discovery and Data Mining, KDD ’10, pp.
135–144, New York, NY, USA, 2010. ACM.
[11] 中村 徹夜. 他. Amss:時系列データの小売雨的な類似度測定手法. 電子情報通信学会論文誌 D.