ダンスモーションの反復練習とその上達過程の可視化
川西 真美(指導教員：伊藤 貴之)

はじめに

1

2.2

モーションデータのクラスタリングに先立ち，データ間の時間補正と空間補正を施す必要がある．また，講師による模範動作データがある場合には，ダンサーと講師との間の体格補正も施す必要がある．

ダンスの練習方法で最も一般的な方法は，同じ動きを何度も繰り返し練習する反復練習である．しかし，この方法には主に 2 つの問題点がある．1 つ目は，長期的な上達の過程を実感しにくいという点である．2つ目は，ただ機械的に練習を反復するだけでは非効率な練習になりかねないということである．
本研究では，ダンサーが無意識のうちに行っている動作の修正点を見出す作業を支援する可視化システムを開発している．はじめにモーションキャプチャシス
テムを用いて，同一ダンサーによる同一のダンスを複数回計測する．続いて，それらのモーションデータについて位置・時刻・体格の補正を適用後，クラスタリングを適用し，結果を可視化する．
ダンスの指導・分析・比較のための研究は多く存在する．筋野ら [1] は，NPR 手法を用い，ダンスをリアルタイムで指導するシステムの開発を進めている．紅林ら [2] は，複数人のダンスについて，時間経過による変位や空間や平面における変位を比較している．しかし，従来の研究は経験者と初心者を比較し分析する研究が多く，一人のダンサーの反復的な練習を深く分析する研究は少ない．そこで本研究では，一人のダンサーによる反復的な練習を計測し，それらを時系列データとして比較・分析することを目的とした．

2.2.1

2.2.2

2.2.3

2.1.1

Azure Kinect DK

2.3

クラスタリング補正したモーションデータに対してクラスタリングを適用する．ここでは左手，右手，左足，右足の 4 つの部位についてそれぞれ独立にクラスタリングを適用している．現時点での実装では単純に，各部位を構成する複数の関節等の座標値をベクトルとして，k-means法を適用してクラスタリングする．

現時点の我々の実行環境では，Azure Kinect DK を用いてダンサーのモーションを計測している．Azure
Kinect DK は，Microsoft 社が発売した高度な AI センサーを備えたカメラである．近赤外線を利用した距離画像センサーと映像センサー（ビデオカメラ）を内蔵しており，これにより 24 箇所の関節の位置座標をリアルタイムで追跡・算出することができる．

2.1.2

空間補正

取得した時系列データはそれぞれ立っている位置や身体の向きが異なるため，これを補正する．現状では単純なアフィン変換（拡大縮小および平行移動）を適用している．

1. モーションデータの取得
2. モーションデータの補正
3. クラスタリング
4. 可視化画面の作成
モーションデータの取得

時間補正

取得した時系列データは記録開始時刻に対するモーション開始の相対時刻が揃っていないことがあるので，これを補正する．時間補正には，Dynamic Time Warping(DTW) を用いる．DTW とは，時系列データ同士の類似度を算出する手法の一つである．各点の距離を総当たりで算出した後，最短となるパスを見つけることで類似度を算出する．
また，本手法では一つの関節につき xyz 座標の 3 座
標が存在するため，通常の DTW ではなく，MultiDimensional Dynamic Time Warping(MD-DTW)[3]を用いる．これは DTW を多次元で行うことのできる手法である．

本章では提案手法の処理手順を示す．提案手法は以下の 4 ステップから構成される．

2.1

体格補正

ダンサーと講師間には体格差が生じるため，これを補正する．現状では単純なアフィン変換（拡大縮小）を適用している．

提案手法

2

モーションデータの補正

2.4

可視化システム続いて本手法では，モーションデータのクラスタリング結果を可視化する．
可視化システムのキャプチャを図 1 に示す．図 1 左側にある File Open というボタンを押すことで，補正を終えたモーションデータを記述したファイルを選択し，データを入力する．Main タブの横にある矢印タブを押すと，取得したモーションデータのうち何個目のモーションデータを再生するかを選択できる．ここで，モーションデータの通し番号にもとづいて，各モーションの骨格に別々の色を割り当てる．1 個以上のモーションデータを選択して Play ボタンを押すと，選択したモーションデータの骨格の動きが同時に再生される．
画面右側では，2.3 節で説明したクラスタリングの結果を表示する．Left Arm，Right Arm，Left Leg，Right Leg，いずれかのボタンを押すことで，どのモーションデータの取得過程

本研究では同一ダンサーによる同一のダンスの反復練習を複数回（10〜20 回程度）にわたって計測する．
本研究では同一ダンサーによる動作の変化を分析することを目的としているが，同一ダンサーが模範的ではないダンスを反復している状況も起こりえる．そこで，模範的な動作を習得している講師のダンスも 1,2回程度計測することで，これとの差異も可視化できるようにした．

85

図 2 は，クラスタ数を 5 に指定した時のクラスタリング結果である．Left Arm，Left Leg，Right Leg の上から 2 番目のクラスタ，Right Arm の上から 1 番目のクラスタに着目すると，全て 9 回目以降のモーションが多く含まれていることがわかる．また，全ての部位について上から 5 番目のクラスタに着目すると，5〜10 回目のモーションが集中して格納されていることが分かる．これらのことから，全ての部位について，5〜10 回目と 10 回目以降でモーションに大きく差異が生まれており，特に 9,10 回目付近で反復練習に違いが生まれていることが推察される．
また，図 2 について，Left Arm と Right Arm のク
ラスタリング結果はあまり類似していないのに対し，Left Leg と Right Leg のクラスタリング結果はモーション数が少ないクラスタについてもモーション数が多いクラスタについても類似度が高いことが読み取れる．他の振付についても，同じ部位での左右の違いについてさらに検証したい．

図 1: 可視化システムのスナップショット．
部位についてクラスタリングをするかを選択する．
Num.Cluster 欄でクラスタ数を指定する．Play Cluster 欄ではどのクラスタを再生するかを指定できる．この指定により，特定のクラスタに属するダンスモーションの骨格を一斉に再生する．
クラスタリング結果表示部は横軸が時系列を表しており，左端が初回のダンス，右端が最終回のダンスを表している．この表示部に見られる赤い線は，何回目に計測したモーションデータが各クラスタに格納されているかを可視化している．これを観察することでユーザは，時系列に沿って自身のダンスを分析できる．

3

実行結果

3.1

ダンスモーションの計測

4

本研究では，モーションキャプチャシステムを用いて計測した同一ダンサーによる複数回のダンスについて，モーションデータの補正を行なった後にクラスタリングを実施し，モーション間の差異を可視化するシステムを提案した．このシステムにより，異なる時系列のダンスの骨格を同時に再生して比較観察することが可能になった．また，クラスタリング結果から現れる反復練習の効果，あるいは部位ごとにクラスタリング結果の差異などを分析することが可能になった．
しかし現状では，クラスタの相違点やクラスタごとの特徴をを理解するのがまだ容易ではない．そこで今後は，各クラスタから代表モーションを選出し，代表モーション群を同時再生して比較できるようにする機能も設けたい．また，各クラスタの特徴をより直感的に理解できるようにするため，講師による模範的なモーションからの差異が特に大きい関節を重要関節として，色を変えて表示する，振付を動作ごとに再生できるようにする，といった機能を追加したい．

計測したモーションデータを提案手法により可視化した．計測に用いたダンスは，著者が振付した約 7 秒
間 (2 × 8 分の長さ) の HIPHOP ダンスである．振付には，基礎の動きから構成される難易度の低いものを選んだ．ダンス中に楽曲は再生せず，無音で踊った．
本研究では，模範的な動作を習得している講師のダンスを 1,2 回程度計測し，それとの差分も可視化することを想定していた．しかし，コロナ禍の影響もあって，まだ講師のダンスを計測するに至っていない．そのため同一被計測者によるダンスの中から 1 つを選び，架空の講師のダンスモーションとして可視化を実施した．

3.2

まとめ

謝辞 ダンスモーションの計測にご協力いただいた神戸大学の土田修平氏に感謝申し上げます．

参考文献可視化結果[1] 筋野正太，森谷友昭，高橋時市郎：NPR 機能を付加したダンスの動作解析・指導システム，情報科学技術フォーラム講演論文集，Vol.11，No.3，pp.353354(2012)．
[2] 紅林秀治，小林健太，兼宗進：KINECT センサーを用いた簡易動作分析システムの開発，研究報告コン
ピュータと教育（CE），Vol.2013-CE-118，No.20，pp.1-7(2013)．
[3] G. A. ten Holt, M. J. Reinders, E. A. Hendriks：
Multi-Dimensional Dynamic Time Warping forGesture Recognition，Thirteenth annual conference of the Advanced School for Computing andImaging(2007).

図 2: クラスタ数 5 での各部位のクラスタリング結果．

(左上) 左腕．(右上) 右腕．(左下) 左足．(右下) 右足．
86