WISS 2021

ダンスモーションの反復練習とその上達過程の可視化
川西 真美 ∗

土田 修平 †伊藤 貴之 ∗概要. 我々は，同一のダンスを反復的に練習した際の動作の差異や変化を可視化することで，ダンスのスキル向上に寄与する可視化システムを開発している．本手法では，同一人物による同一のダンスの練習を複数回計測する．そして各モーションに対して，動作のタイミングを揃える時間補正，ダンサーの位置や身体の向きを揃える空間補正を適用する．講師による模範動作も計測されている場合には，ダンサーと講師の間の体格差を補正する体格補正も適用する．続いて補正後の各モーションを構成する手足などのパーツに対してクラスタリングを適用し，クラスタリング結果を可視化する．ユーザはその可視化結果にもとづいて任意の複数のモーションを選んで，これらをアニメーション表示することで，ダンサーの動作の差異や変化を確認することができる．

1

はじめにダンスの練習方法で最も一般的な方法は，同じ動きを何度も繰り返し練習する反復練習である．しかし，この方法はダンスの初学者にとって，長期的な上達の過程を実感しにくく，ただ機械的に練習を反復するだけでは非効率な練習になりかねないという問題点がある．
本研究では，ダンサーが無意識のうちに行っている動作の修正点を見出す作業を支援する可視化システムを開発している．はじめにモーションキャプチャシステムを用いて，同一ダンサーによる同一のダンスを複数回計測する．続いて，それらのモーションデータについて位置・時刻・体格の補正を適用後，クラスタリングを適用し，結果を可視化する．

2

関連研究

ダンスの指導・分析・比較のための研究は多く存在する．筋野ら [1] は，NPR 手法を用い，ダンスをリアルタイムで指導するシステムの開発を進めている．紅林ら [2] は，複数人のダンスについて，時間経過による変位や空間や平面における変位を比較している．しかし，従来の研究は経験者と初心者を比較し分析する研究が多く，一人のダンサーの反復的な練習を深く分析する研究は少ない．そこで本研
究では，一人のダンサーによる反復的な練習を計測し，それらを時系列データとして比較・分析することを目的とした．
Copyright is held by the author(s). This paper is nonrefereed and non-archival. Hence it may later appear
in any journals, conferences, symposia, etc.
∗お茶の水女子大学
†神戸大学

提案手法

3

本章では提案手法の処理手順を示す．提案手法は以下の 4 ステップから構成される．

1. モーションデータの取得
2. モーションデータの補正
3. クラスタリング
4. 可視化画面の作成
3.1

モーションデータの取得

現時点の我々の実行環境では，Azure Kinect DKを用いてダンサーのモーションを計測している．本研究では同一ダンサーによる同一のダンスの反復練習を複数回（10〜20 回程度）にわたって計測する．
本研究では同一ダンサーによる動作の変化を分析することを目的としているが，同一ダンサーが模範的ではないダンスを反復している状況も起こりえる．
そこで，模範的な動作を習得している講師のダンスも 1,2 回程度計測することで，これとの差異も可視化できるようにした．

3.2モーションデータの補正

モーションデータのクラスタリングに先立ち，データ間の補正を施す必要がある．
体格補正: ダンサーと講師間には体格差が生じるため，これを補正する．現状では単純なアフィン変換（拡大縮小）を適用している．
時間補正：取得した時系列データは記録開始時刻に対するモーション開始の相対時刻が揃っていないことがあるので，これを補正する．時間補正には Multi Di-

mensional Dynamic Time Warping(MD-DTW)[3]を用いる．MD-DTW とは，時系列データ同士の類似度を算出する DTW を多次元に拡張した手法であり，多次元空間における最短パスから類似度を算出する．

WISS 2021

空間補正：取得した時系列データはそれぞれ立っている位置や身体の向きが異なるため，これを補正する．現状では単純なアフィン変換（拡大縮小および平行移動）を適用している．

3.3

クラスタリング

補正したモーションデータに対してクラスタリングを適用する．ここでは左手，右手，左足，右足の4 つの部位についてそれぞれ独立にクラスタリングを適用している．現時点での実装では単純に，各部位を構成する複数の関節等の座標値をベクトルとして，k-means 法を適用してクラスタリングする．

3.4

可視化システム続いて本手法では，モーションデータのクラスタリング結果を可視化する．可視化システムのキャプチャを図 1 に示す．操作方法の詳細については文献[4] を参照いただきたい．

図 1. 可視化システムのスナップショット．

4
4.1

実行結果
ダンスモーションの計測

計測したモーションデータを提案手法により可視化した．本手法の有効性をダンスのジャンルごとに検証するために，Jazz，Waack，Lock，Girls の 4つのジャンルについてダンスを計測した．いずれも著者が振付したものであり，約 10 秒間 (2 × 8 分の長さ)，BPM110 のメトロノーム音に合わせて踊ったものである．各振付について計 12 回計測し，うち 1〜3 回目はダンサー自身が正しいと考える形で踊り，4〜6 回目は力を抜いて踊り，7〜9 回目は腕のみ正しく，10〜12 回目は足のみ正しく踊った．また，このうち 1 回目のダンスを架空の講師のダンスモーションとして可視化を実施した．

4.2

可視化結果

各ジャンルのダンスに対するクラスタリング結果について以下に説明する．クラスタ数はいずれも 5に設定した．

Jazz での結果は以下の通りであった．全ての部位において，1〜6 回目の結果は類似していたが，7〜12 回目の結果は類似しなかった．特に，Left Arm
は 7 回目以降のモーションが全て 2 つ目のクラスタに格納されたのに対し，Right Arm は全て 4 つ目のクラスタに格納されたことから，腕において左右差が大きいことが示唆される．また，著者らの想定通りの可視化結果が現れたのは Right Leg のみという結果になった．
Waack での結果は以下の通りであった．全ての部位において，1〜6 回目の結果は同じとなった．7〜
12 回目の結果においても，Left Arm と Right Arm，Left Leg と Right Leg のそれぞれについて類似度が高かった．また，Left Arm，Right Arm について，7〜9 回目のモーションが 2〜4 つ目のクラスタに，10〜12 回目のモーションが 5 つ目のクラスタに分類されたことから，想定通りの結果が現れていた．
Lock での結果は以下の通りであった．Lock もWaack 同様，全ての部位において 1〜6 回目の結果が同じとなり，7〜12 回目の結果が Left Arm と RightArm，Left Leg と Right Leg のそれぞれについて類似度が高いという結果となった．また，全ての部位において 7〜12 回目のモーションが 4〜5 つ目のクラスタに分類され，想定通りの結果は現れなかった．
Girls での結果は以下の通りであった．Left Armと Right Arm において，全く同じ結果となった．
Left Leg と Right Leg においては，1〜6 回目の結果は同じものとなったが，7〜12 回目について，LeftLeg は 4〜5 つ目のクラスタに分類されたのに対し，Right Leg は 11〜12 回目のモーションが 3 つ目のクラスタに分類されたことから，Right Arm に関して想定通りの結果が現れていた．

5

まとめ

本研究では，モーションキャプチャシステムを用いて計測した同一ダンサーによる複数回のダンスについて，前処理として補正を施した後にクラスタリングを適用し，モーション間の差異に関する分類結果を可視化するシステムを提案した．このシステムにより，異なる時系列のダンスの骨格を同時に再生して比較観察することが可能になった．また，クラスタリング結果から現れる反復練習の効果，あるいは部位ごとのクラスタリング結果の差異などを考察することが可能になった．
しかし現状では，クラスタの相違点やクラスタごとの特徴を可視化結果から理解するのがまだ容易ではない．そこで今後は，各クラスタの特徴をより直感的に理解できるようにするため，講師による模範的なモーションからの差異が特に大きい関節を重要関節として，色を変えて表示する，振付を動作ごとに再生できるようにする，といった機能を追加したい．

ダンスモーションの反復練習とその上達過程の可視化

参考文献[1] 筋野正太，森谷友昭，高橋時市郎，NPR 機能を付加したダンスの動作解析・指導システム，情報科学
技術フォーラム講演論文集，Vol.11，No.3，pp.353354，2012．
[2] 紅林秀治，小林健太，兼宗進，KINECT センサーを用いた簡易動作分析システムの開発，研究報告コン
ピュータと教育（CE），Vol.2013-CE-118，No.20，
pp.1-7，2013．
[3] G. A. ten Holt, M. J. Reinders, E. A. Hendriks，Multi-Dimensional Dynamic Time Warping forGesture Recognition，Thirteenth annual conference of the Advanced School for Computing andImaging，2007.
[4] 川西真美, 土田修平, 伊藤貴之, ダンスモーションの反復練習とその上達過程の可視化, インタラクション 2021, 1Q-07, 2021.