ダンスモーションの反復練習とその上達過程の可視化
理学専攻

1情報科学コース

2140651

はじめに

2.4

処理手順

2.1

モーションデータの取得
図 1 左側のパネル操作により講師とユーザのモーションデータを読み込んだのち，何個目のモーションデータを再生するかを選択する．
画面右側では，2.3 節で説明したクラスタリングの結果を表示する．上から順に，左手，右手，左足，右足，頭部を表しており，どの部位についてクラスタリングをするかを選択する．クラスタリング結果表示部は横軸が時系列を表しており，左端が初回のダンス，右端が最終回のダンスを表している．横線はクラスタを表しており，上から講師のモーションデータとの類似度が高い順番に並んでいる．表示部に見られる縦線は，何回目に計測したモーションデータが各クラスタに格納されているかを可視化している．これを観察することでユーザは，時系列に沿って自身のダンスを分析できる．例えば，突発的に時々現れる癖はどのようなものであるか，さらには練習が進むにつれて自身のモーションがどのように変化したか，といった点を観察できる．
LadarChart ボタンを押すと，図 2 に示すような別ウィンドウが表示される．レーダーチャートの下部で，各時系列データの色の割り当てを表示する．レーダー
チャートの各要素は部位，軸はクラスタ数を表す．中心に近い側がクラスタリング結果表示部で講師との類似度が最も低かったクラスタ，中心から遠い側が講師との類似度が最も高かったクラスタとなっている．各
時系列データの各部位の格納されたクラスタを点で結ぶことで，レーダーチャートを表示する．これを観察

モーションデータの補正

モーションデータのクラスタリングに先立ち，データ間の補正を施す必要がある．
体格補正: ダンサーと講師間には体格差が生じるため，これを補正する．現状では単純なアフィン変換（拡大縮小）を適用している．
時間補正：取得した時系列データは記録開始時刻に対するモーション開始の相対時刻が揃っていないことがあるので，これを補正する．時間補正には Multi Dimensional Dynamic Time Warping(MD-DTW)[3] を用いる．
空間補正：取得した時系列データはそれぞれ立っている位置や身体の向きが異なるため，これを補正する．
現状では単純なアフィン変換（拡大縮小および平行移動）を適用している．

2.3

可視化システム

図 1: 可視化システムのスナップショット．

現時点の我々の実行環境では，Azure Kinect DK を用いて，同一ダンサーによる同一のダンスの反復練習を複数回（10〜20 回程度）にわたって計測する．また，模範的な動作を習得している講師のダンスも 1,2 回程度計測する．

2.2(指導教員：伊藤 貴之)

続いて本手法では，モーションデータのクラスタリング結果を可視化する．可視化システムのキャプチャを図 1 に示す．

ダンスの練習方法で最も一般的な方法は，同じ動きを何度も繰り返し練習する反復練習である．しかしこの方法は，長期的な上達の過程を実感しにくく，機械的に練習を反復するだけの非効率な練習になりかねない．
ダンスの指導・分析・比較のための研究は多く存在する．田中ら [1] は学習者と指導者のダンスを簡易に見比べることができる上達支援システムを開発している．紅林ら [2] は，複数人のダンスについて，時間経過による変位や空間や平面における変位を比較している．しかし，従来の研究は経験者と初心者を比較し分析する研究が多く，一人のダンサーの反復的な練習を深く分析する研究は少ない．
そこで本論文では，一人のダンサーによる反復的な練習を計測し，それらを時系列データとして比較・分析することを目的とし，ダンサーの動作に関する無意識な修正点を見出す作業を支援する可視化システムを提案する．

2

川西 真美

クラスタリング

補正したモーションデータに対してクラスタリングを適用する．ここでは左手，右手，左足，右足，頭の 5つの部位についてそれぞれ独立に，関節の隣接フレーム間の座標移動距離をベクトルとして，k-means 法を適用してクラスタリングする．

1

ションが格納された．
以上により，Jazz は，被験者 1 が 5 回目から，被験者 2 の Left Arm が 6 回目からダンスの改善が見られたことから，5〜6 回目から改善が見られやすいと示唆された．Waack は，被験者 1 が 5〜6 回目から，被験者 2 が 5 回目からダンスの改善が見られたことから，Jazz 同様 5〜6 回目から改善が見られやすいと示唆された．また，被験者 1 は Right Arm，被験者 2 はRight Leg が他の部位に比べて苦手であることが示唆された．Girls は，全ての被験者において 4〜5 つ目のクラスタに多くモーションが格納されるという結果になった．このことにより，Girls は他のジャンルに比べクラスタリングの精度が低いことが示唆される．
また，被験者間の結果を比較すると，被験者 1 と 2 はジャンルごとに可視化結果にばらつきがあるのに対し，被験者 3 は全てのジャンルにおいて類似度の高い結果となった．この結果から，被験者 3 に対してクラスタリングが正しく動作されていないことが示唆される．

図 2: レーダーチャートのスナップショット．
することでユーザは，他の部位に比べ得意な部位はどれか，苦手な部位はどれかなど，部位ごとの特徴を観察できる．

3

実行例

3.1

ダンスモーションの計測

4

本論文では，ダンス練習過程の可視化システムを提案し，3 人の初学者のダンスモーションから有効性を議論した．この可視化システムでは，モーションキャプチャシステムを用いて計測した同一ダンサーによる複数回のダンスについて，前処理として補正を施した
後にクラスタリングを適用し，モーション間の差異に関する分類結果を可視化する．
3 人の初学者によるダンスモーションの可視化結果から，各ジャンルにおけるダンスの改善が見られやす
いタイミングや，各被験者の苦手とする部位について読み取ることができた．また，Girls はクラスタリングの精度が低く，被験者によってクラスタリングが正しく動作しないことがあるという結果が現れた．この要因として，各ジャンルの特性，体格補正と空間補正が十分ではなかったことなどが考えられる．今後，この考察に関してさらに検証し，システムを改善したい．
また，講師による模範的なモーションからの差異が特に大きい関節を重要関節として色を変えて表示する，振付を動作ごとに再生できるようにする，といった機能も追加したい．
謝辞：本論文にあたり研究方針について多くのアドバイスをいただいた神戸大学の土田修平氏に感謝申し上げます．

計測したモーションデータを提案手法により可視化した．振付は，Jazz，Waack，Girls の 3 種類で，いずれも著者が振付したものである．これを，ダンス経験が 1〜2 年以内の被験者 3 人が，約 10 秒間 (2 × 8 分の長さ)，BPM110 のメトロノーム音に合わせてそれぞれ 12 回ずつ踊ったダンスを計測した．また，講師データとして，著者が各ジャンルについてそれぞれ 1回ずつ踊ったダンスも計測した．

3.2

まとめ

可視化結果

各被験者のクラスタリング結果について説明する．
クラスタ数はいずれも 5 に設定した．
被験者 1 は，Jazz において，全ての部位で 5 回目以降のモーションが 2〜4 つ目のクラスタに格納されたことから，5 回目からダンスの改善が見られたことが示唆された．Waack は，Left Arm が 6 回目以降，LeftLeg と Right Leg が 5 回目以降，Right Arm が 9 回目以降のモーションが多く 2 つ目のクラスタに格納されるという結果となった．Girls は，全ての部位において5 つ目のクラスタに格納されるモーションが多いという結果になった．
被験者 2 は，Jazz において，Left Arm が 6 回目以降のモーションが 3 つ目のクラスタに格納されたことから，6 回目からダンスの改善が見られたことが示唆された．Waack は，Left Arm，Right Arm，Left Leg は
5 回目以降のモーションが 2〜3 つ目のクラスタに多く格納されたことから，5 回目からダンスの改善が見られたことが示唆された．Right Leg は 5 つ目のクラスタに最も多くのモーションが格納された．Girls は，全ての部位において 4 つ目のクラスタに格納されるモーションが最も多いという結果になった．
被験者 3 は，Jazz において，Left Arm，Right Arm，
Left Leg について 5 つ目のクラスタにモーションが最も多く格納された．また，Waack，Girls ともに，全ての部位において 5 つ目のクラスタに最も多くのモー参考文献[1] 田中佑典，齋藤剛，モーションキャプチャを用いたダンス上達支援システムの開発，情報処理学会
第 75 回全国大会講演論文集，No. 1，pp. 225-226(2013)．
[2] 紅林秀治，小林健太，兼宗進，KINECT センサーを用いた簡易動作分析システムの開発，情報処理学会コンピュータと教育 (CE) 研究会，Vol. 2013CE-118 (2013)．
[3] G. A. ten Holt, et al.，Multi-Dimensional Dynamic Time Warping for Gesture Recognition，Advanced School for Computing and Imaging(2007).

2