計測自動制御学会東北支部 第 310 回研究集会 (2017.7.21)
資料番号 310-5

モーションキャプチャデータの統計解析によるキーポーズの抽出
Keypose Extraction by Statistical Analysis of
Motion Capture Data
○近藤秀光*, 三浦武*, 松尾健史*, 田島克文*○Hidemitsu Kondo*, Takeshi Miura*, Kenshi Matsuo*, Katsubumi Tajima**秋田大学*Akita University
キーワード : モーションキャプチャ (motion capture), 統計解析 (statistical analysis), 一般化
分散 (generalized variance), キーポーズ（keypose）
連絡先 : 〒010-8502 秋田県秋田市手形学園町 1-1 秋田大学大学院 理工学研究科
三浦 武, Tel. : (018)889-2329, Fax. : (018)837-0406, E-mail : miura@mail.ee.akita-u.ac.jp1. はじめにに用いられる代表的なポーズ群のことである）.

モーションキャプチャシステムとは, 被験者キーポーズを抽出する方法として, 文献 4)での 3 次元空間における身体動作を数値化する際は Curve Simplification 法, 文献 5)ではクラスタに用いられる測定装置である 1). 近年では, アニリング法が提案されてきたが, これらの手法はメーション等でキャラクタの動きを実際の人間抽出の際, 動作データごとに抽出アルゴリズムの動きに近づけることなどを目的として, モーにおいて用いるパラメータの調整を行う必要がションキャプチャデータが活用されている 2).

あった 3). 文献 6)においては, 身体を包む外接空

しかし, モーションキャプチャデータの取り間であるキネスフィアを用いることで身体の広扱いについては, その大規模なデータ量およびがり具合を考慮し, その体積の時間変化におい高次元性が問題視されてきた 3). このことによて極値の生じる瞬間の姿勢をキーポーズと見なりデータ内容を簡潔に把握することが難しいこしている. 一方で, キーポーズ抽出法とは異なとはよく知られている. この問題を解決する方るが, 文献 7)では, 身体の広がり具合に関して法の 1 つとして, 動作中の主要な姿勢を示すキその特徴量を, 関節座標値の分散共分散行列をーポーズを表示して動作全体を簡潔に示すとい用いて高精度に抽出可能であることを示した.

うアプローチがある（ここで言うキーポーズと本研究では, 文献 7)で用いられている手法をは, 動作データ量の削減のために用いられるキ応用し, 関節座標値の分散共分散行列から導出ーフレームではなく, 動作を要約して示すためした一般化分散 8)による統計解析を用いたキー-1 -ポーズ抽出の可能性について検討する. また,

σyz(n)

文献 6)では, キネスフィアの体積の時間変化にσyy(n)おける極値全てをキーポーズとしていたが, 極

Sagittal plane

Vertical axis

大値のみ, または極小値のみからキーポーズをσxy(n)抽出した場合との抽出精度の比較は十分に行わ

Frontal plane

れていないため, 本研究ではその比較も行う.
σzx(n)

2. キーポーズ抽出

Horizontal plane
Frontal axis

2.1 関節座標値の一般化分散導出

σxx(n)

運動学においては一般的に, 3 次元空間で行わ
Sagittal axis

れる被験者の動作は, 図 1 に示すような互いにσzz(n)直交する 3 軸（前額軸, 垂直軸, 矢状軸）および図1軸により形成される 3 面（前額面, 矢状面, 水平

Fig. 1

人体モデル

Human body model面）を用いて解析される 9). 一方で, 関節座標系は x, y および z 軸で構成され, 各軸はそれぞれ列が求められるが, 本研究では, 関節の広がり前額軸, 垂直軸および矢状軸に対応しており,具合の変化を時間軸上で示し, その極値を得る

前額面は xy 平面, 矢状面は yz 平面, 水平面は zx必要がある. よって, 分散共分散行列を単一の平面に対応している. また, 関節座標系の原点値とするために(1)式より一般化分散を導出すは骨盤に固定されている.

る.

本研究では, 人体モデルの全関節の中で図 1σ xx (n) σ xy (n) σ xz (n)に示した主要な 16 関節（頭, 首, 両肩, 両肘, 両∑(n) = σ (n) σ (n) σ (n)yx

手首, 両指, 両膝, 両足首, 両足指）の座標を考

分散共分散行列は(1)式によって示される .

pα (n) =+σ xz (n)σ yx (n)σ zy (n) − σ xx (n)σ yz (n)σ zy (n)−σ xy (n)σ yx (n)σ zz (n) − σ xz (n)σ yy (n)σ zx (n)⎡ σ (n) σ (n) σ (n) ⎤xyxz⎢ xx⎥⎢ σ (n) σ (n) σ (n) ⎥(n)=∑ ⎢ yxyyyz⎥⎢ σ (n) σ (n) σ (n) ⎥zyzz⎣ zx⎦{(1)(2)式により, 空間における関節の広がり具合の時間変化が得られる.

}{ p (n) − p (n)}βj(2)= σ xx (n)σ yy (n)σ zz (n) + σ xy (n)σ yz (n)σ zx (n)7)

1 J∑ p (n) − pα (n)J j=1 α jyz

σ zx (n) σ zy (n) σ zz (n)慮している. 関節座標値の各フレームにおけるσ αβ (n) =yy

2.2 一 般 化 分 散 の 時 間 変 化 に お け る

β

極値からのキーポーズ抽出法

1 J∑ p (n)J j=1 α j

第 2.1 節の手法によりモーションキャプチャ

ここで, pαj(n)は各関節の座標, n はフレーム番号,データにおける一般化分散の値の時間変化が得

j は関節番号, J は全関節数, α および β は x, y まられる. 一般化分散の時間変化における極小値

たは z である.

および極大値は, 動作において静止した瞬間を示している. また, 一般化分散の時系列データ(1)式により各フレームにおける分散共分散行-2 -表1は身体の広がり具合の時間変化を示すため, 文献 6)と同様, 極値の生じる瞬間の姿勢はキーポ検証において使用されたモーション
Table 1ーズになりうる.
ただし, 第 1 章で述べたように, 文献 6)では,キャプチャデータ
Motion capture data usedin the verification.

Motion Category

身体を包む外接空間の体積の時間変化において,

Index

Number offrames

Number ofkeyposes

07_01
316
4
07_02
329
507_03415
509_01
1484
Run
09_02
130
4
09_03
362
4
144_13
1,946
44
Punch Sequence
144_142,055
44
144_20
2,270
58
93_03
442
8
Charleston
93_04
506
10
93_05
556
12
10_05
476
5Soccer - Kick ball
10_06
573
5124_01
643
5Baseball - Pitch
124_021319
10Play Violin
79_17
804
34
All data : Frame rate is 120[fps], Downloaded from Carnegie Mellon(10)Mocap DatabaseWalk

極小値および極大値の生じる瞬間の姿勢をキーポーズとすることを提案しているが, 極大値のみまたは極小値のみからキーポーズを抽出した場合との比較は十分に行われていないため, 検討の必要がある. ゆえに本研究では, 一般化分散の時間変化において生じた極値からのキーポーズ抽出を i) 極小値のみ, ii) 極大値のみ, iii) 極小値および極大値の 3 パターンに分けて行う.

3. 検証

表2

Ground-truth キーポーズの決定基準

Table 2

Criteria to determinethe ground-truth

3.1 キーポーズ抽出法の妥当性検証

keyposes

本研究で用いた キーポーズ 抽出法の妥当性

Motioncategory

Ground-truth keypose

を 検 証 す る . 検 証 に 用 い た デ ー タ は Carnegie

Walk

Moment of heel strike11).

Mellon Mocap データベース 10)からダウンロード

RunMoment of heel strike11).

された, 7 種の動作に関するモーションキャプチ

PunchSequence

Arm-extention pose and drawing-back pose3).

ャデータである. 動作の周期性がキーポーズ抽Charleston

出に与える影響を調べるため, 周期性が高い動Soccer Kick ball作（Walk, Run, Punch Sequence および Charleston）

Baseball Pitch

および低い動作（Soccer - Kick ball, Baseball -Play Violin

Pitch および Play Violin）それぞれを含むよう, 用Foot-Up pose, foot-forward pose (including crossedpose), foot-backward pose and kick12).
Upright posture, steps for kick , kick and followthrough13).
Upright posture, completion of leg-flextion, legextended position, stride leg-planted and followthrough14).
Stopped moment of up bow and down bow15).

ーポーズの時間差がキーポーズの間隔の 1/4 よいるデータを決定した. 各データの情報を表 1

り短い場合, 両者が一致したものと見なしていに示す.

る 3).

キーポーズ抽出の評価のため各データにおい

3.2 検証結果て全フレームの姿勢を目視し, Walk および Run
では運動学に, Soccer - Kick ball および Baseball -検証を行ったデータの例として, 図 2 には

pitch では一連の動きの中で重要な姿勢を示した

Charleston（93_03）の, 図 3 には Soccer - Kick Ball

図に, Charleston および Play Violin では, 動画を（10_05）の一般化分散の時間変化, 抽出された用いた動作解説に基づき ground-truth キーポーズ

キーポーズおよび ground-truth キーポーズを示す.

を決定した. 動作ごとの決定基準をまとめ, 表 2

また, 上記 2 つのデータのキーポーズ抽出評価に示す. なお, 抽出の評価に Fmeasure16)を用いる.

を表 3 に示す. なお, Charleston は, ダンスの 1 種

ただし, 抽出されたキーポーズと ground-truth キで, 細かい前後のステップを繰り返し踏む動作-3 -Generalized Variance-5(×10 ) 4.0
3.0
2.0
1.00.0100200
Frame300200
Frame300

200300Present method

100

Ground – truth keyposes

100

Frame

図2

Generalized Variance

Fig.2

一般化分散の時間変化および抽出されたキーポーズ（Charleston, 93_03）

Temporal variation of generalized variance and extracted keyposes (Charleston, 93_03)(×10-5)1.00.50.0100200

Frame300

Present method

100200300
Frame

Ground – truth keyposes

100200300
Frame

図3Fig.3

一般化分散の時間変化および抽出されたキーポーズ（Soccer - Kick ball, 10_05）

Temporal variation of generalized variance and extracted keyposes (Soccer - Kick ball, 10_05)-4 -0.500

0.500

Local maximum

0.500

0.600

0.545

Local minimum+ Local maximum

0.500

1.000

0.667

であり, Soccer - Kick ball は直立状態から 3 歩踏

(1)(2)(1) 03 (2) 04 (3) 05

値全てのキーポーズを抽出した場合に 0.667 と(1)

(3)

(1)

minimum+maximummaximum

minimum

最も高い値が得られた.

（Soccer - Kick ball, Baseball – Pitch および Play

1.0Fmeasure

Violin）では, Fmeasure が低い値を示した.
上記では動作ごとの周期性に基づいて結果を分析したが, 以降では 3 種類のキーポーズ抽出

(3)

(3)

(1)
(2)

maximum(1) 17minimum+maximum
Play Violin

minimum

maximum

minimum+maximum

0.5
0.0

パターンごとにそれぞれの傾向を分析する. 各

minimum(1)0.0の値が高くなった一方で , 周期性の低い動作(1)

Sequence および Charleston）においては, Fmeasure

0.5

Pitch

(1)

Fmeasure

図 4 に示す. 周期性が高い動作（Walk, Run, Punch(1) 01 (2) 02

(1)
(2)

1.0

各データにおいて同様の評価を行った結果を

(2)

(1)
(2)

(1)
(2)

Kick ball

(3)

0.5
0.0

(3)

(1) 05 (2) 06(3)Fmeasure

間に Charleston ほどの大きな差はなかったが, 極(2)

(1)

1.0

minimum+maximum

maximumminimum

(1)
(2)

Fmeasure

0.0

Kick ball では, 表 3 (b) のように 3 つの抽出法のCharleston

0.5

らキーポーズを抽出した場合における Fmeasure が低い値となった. 一方で, 周期性の低い Soccer -(1) 03 (2) 04 (3) 05

(2)

1.0

0.889 と特に高い値となり, 極小値のみの場合は(3)

minimum+maximum

maximumminimum

み出しボールを蹴る動作である.

動作である Charleston においては, 極大値のみか

(2)

(1)

Punch Sequence

0.50.0表 3 (a) に示されているように, 周期性の高い

(3)

(1)

1.0

minimum+maximum

maximumminimum

(3)

0.500

(3)

Local minimum

0.0(1)

Fmeasure(2)

Recall(1)(2)

Precision

Fmeasure

Keypose0.5Run(3)(b) Soccer - Kick ball, 10_01.bvh(1) 01 (2) 02 (3) 03

(2)

1.0

(3)

0.621

(3)

0.800

(3)

0.451

(3)

0.889

minimum+maximum

(1)

0.800

maximum

(2)

0.800

Local minimum+ Local maximum

minimum(2)

Local maximum

0.0

(1)

0.111

(3)

0.143

(3)

0.091

(3)

Local minimum

Walk

0.5
(1)

Fmeasure(2)

Recall(1)

Precision

Fmeasure

Keypose(1)(a) Charleston, 93_03.bvh(1) 01 (2) 02 (3) 03(2)Fmeasure

1.0(2)

表 3 抽出されたキーポーズの評価
Table 3 Evaluation of extracted keyposes

動作種別ごとに, まず抽出パターンごとの

図 4 抽出されたキーポーズの Fmeasure

Fmeasure の平均を導出し, その全動作種別の平均

Fig. 4

Fmeasure of extracted keyposesを求め, 比較を行なった. 極小値のみでキーポみで抽出した場合は 0.649, 極大値および極小値ーズを抽出した場合の平均値は 0.295, 極大値の双方から抽出した場合は 0.587 となり, 極大値の-5 -みからキーポーズを抽出した場合の平均値が最み, ii) 極大値のみ, iii) 極小値および極大値の 3も高い値となった.

パターンに分けた極値からの抽出方法においては, 極大値のみからキーポーズを抽出した場合

3.3 考察に Fmeasure の平均値が最も高い値となり, よって本研究で用いたキーポーズ抽出法では, 動作有効性は高いと考えられるが, 周期性の低い動の周期性が抽出に影響を与えた. 周期性の低い作からの抽出では十分な結果は得られなかった.

動作では, 図 4 の下部 3 つに示したように, i) 極

今後は周期性の低い動作におけるキーポーズ

小値のみ, ii) 極大値のみ, iii) 極小値および極大抽出の改善, および同じく身体の広がり具合の値の双方, のいずれの抽出パターンにおいても時間変化からキーポーズを決定した従来法 6)とFmeasure の値が低いため, 動作の周期性が低い場の比較が課題である.

合の抽出法に改善が必要と考えられる.
一方で, 3 つの抽出パターンごとの Fmeasure の平参考文献

均に関して, 極大値のみからキーポーズを抽出

1) A.Menache : Understanding Motion Capture for

した場合に Fmeasure の平均値が最も高い値を示しComputer Animation, 1/40, Morgan Kaufmann

たのに対して, 極小値のみから抽出した場合の(2011)

平均値は他の 2 つの 1/2 程度の値となったことか

2) 中澤篤志：知っておきたいキーワードモーシ

ら, 極小値のみからキーポーズを抽出することョンキャプチャ, 映像情報メディア学会誌,は有効ではないと考えられる. また, 残る 2 つの63-9, 1224/1227 (2009)

パターンを比較した場合, 周期性の高い動作に

3) T.Miura, T.Kaiga, T.Shibata, H.Katsura, K.Tajima

おいて Fmeasure は高い値を示し, 周期性の低い動and H.Tamamoto : Adaptive Keypose Extraction
from Motion Capture Data, Journal of Informa-

作でも極値全てから抽出したパターンと同程度

tion Processing, 22-1, 67/75 (2014)の値を得たことから, 極大値のみからキーポー

4) I.S.Lim and D.Thalman : Key-Poseture Extraction

ズを抽出することが有効であると考えられる.

Out of Human Motion Data by Curve Simplifica-

ただし, その場合でも得られた Fmeasure の値はtion, Proceedings of 23rd Annual International

0.649 と十分に高い値とは言えないため, やはりConference of the IEEE Engineering in Medicine

周期性の低い動作における抽出について何らか

and Biology Society, 2, 1167/1169 (2001)
5) F.Liu, Y.Zhuang, F.Wu and Y.Pan : 3D Motionの改善が必要である.

Retrieval with Motion Index Tree, Computer Vision and Image Understanding - Special Issue on

4. おわりにVideo Retrieval and Summarization, 92, 265/284

本研究では, 関節座標値の分散共分散行列か(2003)

ら導出した一般化分散による統計解析を用いた

6) 八村広三郎：モーションキャプチャデータかキーポーズ抽出, および一般化分散の時間変化

らの特徴フレームの抽出, 人文科学とコンピにおける極値からの抽出について検討を行った.

ュータシンポジウム論文集, 2002-13, 305/308

その結果, 周期性の高い動作においては(2002)
7) T.Miura, N.Matsumoto, T.Kaiga, H.Katsura,

ground-truth キーポーズとの一致の度合いは比較

K.Tajima and H.Tamamoto : Indexing of Motion

的高かったが, 周期性の低い動作では異なるキCapture Data Using Feature Vectors Derivedーポーズが多く抽出された. また, i) 極小値のfrom Posture Variation, Journal of Information-6 -Processing, 21-2, 358/361 (2013)8) R.A.Johnson and D.W.Wichern : Applied Multivariate Statistical Analysis, 122/124, Pearson(2007)
9) 明石謙 : リハビリテーション医学全書 4 運動学, 2/4, 医歯薬出版株式会社 (1987)
10) Carnegie Mellon Mocap Database : http://mocap.cs.smu.edu
11) J.Perry and J.Burnfield: Gait Analysis : Normaland Pathological Function, 2/19, Slack Inc(1992)
12) How to the Charleston Step | Swing Dance : http://www.youtube.com/watch?v=fQSY-2VtBvg
13) J.R.Olson and G.R.Hunter : Anatomic and Biomechanical Analyses of the Soccer Style Free
Kick, National Strength and Conditioning
Association Journal, 7-6, 4/10 (1985)
14) P.Jacobs : The Overhand Baseball Pitch : A Kinesiological analysis and Related Strength Conditioning Program, National Strength and Conditioning Association Journal, 9-1, 5/9 (1987)
15) The Violin : http://www.the-violin.com/up-anddown-bow/16) 松原希, 縄田和満, 中井検裕：統計学入門,
269/273, 東京大学出版会 (1991)-7 -