情報処理学会 インタラクション 2021
IPSJ Interaction 2021

1Q07
2021/3/10

ダンスモーションの反復練習とその上達過程の可視化
川西 真美1,a)

土田 修平2

伊藤 貴之1

概要：カメラや赤外線センサを用いた比較的安価な人体モーションキャプチャ技術の充実により，人体運動の計測が手軽になり，その用途が飛躍的に拡大した．我々はこの技術を活用して，同一のダンスを反復的に練習した際の動作の差異や変化を可視化することで，ダンスのスキル向上に寄与する可視化システムを開発している．本手法では，同一人物による同一のダンスの練習を複数回計測する．そして各モーションに対して，動作のタイミングを揃える時間補正，ダンサーの位置や身体の向きを揃える空間補正を適用する．講師による模範動作も計測されている場合には，ダンサーと講師の間の体格差を補正する体格補正も適用する．続いて補正後の各モーションを構成する手足などのパーツに対してクラスタリングを適用し，クラスタリング結果を可視化する．ユーザはその可視化結果にもとづいて任意の複数のモーションを選んで，これらをアニメーション表示することで，ダンサーの動作の差異や変化を確認することができる．

1. はじめにンキャプチャシステムを用いて，同一ダンサーによる同一のダンスを複数回計測する．続いて，それらのモーションダンスの練習方法で最も一般的な方法は，同じ動きを何データについて位置・時刻・体格の補正を適用する．以上度も繰り返し練習する反復練習である．しかし, この方法の前処理を終えた後に，モーションデータについてクラスには主に 2 つの問題点がある．1 つ目は，長期的な上達のタリングを適用し，クラスタリング結果を可視化する．こ過程を実感しにくいという点である．練習量に対しどれだの可視化画面を操作することで複数のダンスモーションをけ上達しているのかを実感できないと，練習の頻度や量に指定し，これらをアニメーション表示することでダンサー際限がなくなってしまうことがある．2 つ目は，ただ機械のモーションを比較観察することができる．

的に練習を反復するだけでは非効率な練習になりかねな

本報告の構成は以下の通りである．2 節では関連技術・いということである．多くのダンサーは練習の過程で，自関連研究について述べる．3 節では提案手法について，4己の動作の変化や修正点を見出している．つまり，自己の節ではその実行結果を述べる．5 節ではまとめを述べる．

変化や修正点を明らかにすることが，ダンスをより上達させる．
一方で近年，カメラや赤外線センサを用いた比較的安価な人体モーションキャプチャ技術の充実により，人体運動の計測が手軽な工程になっている．本研究ではこの技術を

2. 関連技術・関連研究
2.1 モーションキャプチャシステム
近年のセンサ技術の発展にともない，多様な方式のモーションキャプチャシステムが既に製品化されている．

活用し，ダンサーが無意識のうちに行っている動作の修正

OptiTrack や Vicon8i，Qualisys 等は光学式モーション点を見出す作業を支援する可視化システムを開発していキャプチャシステムである．光学式モーションキャプチャ

る．具体的には，どのポイントやタイミングで動作のズレは，身体にマーカーを装着し，そのマーカーの位置を複数が生じやすいか，的確な動作を実現できた頻度はどれくら台のカメラを用いトラッキングする手法である．他の手法

いか，ダンサーの癖はどこに生じやすいか，といった点をに比べ高精度でデータを取得できる点が特徴である．その可視化することにより，ダンスの反復練習の効率を高める．

反面，広い空間や多くの人員，専用のカメラを複数台用意

本手法の手順は以下のとおりである．はじめにモーショする必要がありコストが高い，またマーカーを装着する手間がかかり気軽に計測できない，といった難点がある．

12a)

お茶の水女子大学
Ochanomizu University, 2-1-1 Otsuka, Bunkyo-ku, Tokyo
112–8610, Japan
神戸大学
Kobe University
g1720511@is.ocha.ac.jp© 2021 Information Processing Society of Japan

LIBERTY，PATRIOT は磁気式モーションキャプチャシステムである．磁気式モーションキャプチャは，キャプチャ空間に磁界を発生させ，その空間内にあるセンサを用いてキャプチャを行う手法であり，カメラを用いない．こ649

情報処理学会 インタラクション 2021
IPSJ Interaction 2021

1Q07
2021/3/10の手法についても，磁場発生装置やセンサなどコストが高く，磁場の影響を受けない環境を用意する必要があるなど，計測へのハードルが高いという難点がある．

MVN などの慣性式モーションキャプチャシステムは，角速度計，加速度計，地磁気計などの動きを検知する慣性センサを用いるキャプチャ手法である．この手法は，光学式モーションキャプチャや磁気式モーションキャプチャに比べ，場所の制約がなく多様なシーンでの計測が可能な反面，位置精度が低いという難点があり，用途によっては不図 1

向きな場合がある．

Azure Kinect DK の外観．*1

これらを踏まえ，我々はより安価で容易にモーションキャプチャが可能で，且つ位置精度の高いモーションキャ対して，Dynamic Time Warping (DTW) による時間補正プチャシステムを検討し，Azure Kinect DK を用いることを施して比較可視化する手法を提案した．ただし，ダンスにした．

を対象としてこのアプローチの有効性を検証した研究は，我々が検索する限り見当たらない．
以上のように，ダンスの指導・分析・比較のための研究

2.2 モーションの解析と可視化
ダンスに関する各種の研究に既にモーションキャプチャや，モーションデータを対象とした可視化手法は多く存在が適用されている．八村ら [1] は，能楽，日本舞踊，現代舞する．しかし，従来の研究は経験者と初心者を比較し分析踊，世界各地の民族舞踊などの舞踊のキャプチャを行い，する研究が多く，一人のダンサーの反復的な練習を深く分デジタルアーカイブ化している．Li ら [2]，Zhuang ら [3]析する研究は少ない．そこで本研究では，一人のダンサーは，音楽とダンスのデータを同時に機械学習することで，による反復的な練習を計測し，それらを時系列データとし音楽からダンスを生成する手法を提案している．て比較・分析することを目的とした．

2012 年に中学校でダンスが必修化したことにより，ダン3. 提案手法

ス指導を支援するシステムの開発や，初心者と経験者の違本章では提案手法の処理手順を示す．提案手法は以下のいを解析する研究も増えた．飯野ら [4] や長谷川ら [5] は

HIPHOP ダンスを対象として初心者と経験者の違いを解

4 ステップから構成される．

析している．武居ら [6] はロックダンスの基本の技・トゥ( 1 ) モーションデータの取得

エルロックの指導システムを開発している．黒宮ら [7] は( 2 ) モーションデータの補正

日本舞踊に焦点を当て，日本舞踊の動作を客観的・定量的( 3 ) クラスタリングに解析・評価する手法について述べている．

( 4 ) 可視化画面の作成

上述の事例のように単一のジャンルに特化してダンスを解析する研究もあれば，ジャンルを限定せず動作分析や指3.1 モーションデータの取得

導支援を実現する研究も活発に発表されている．田中ら [8]3.1.1 Azure Kinect DK

は，学習者と指導者のダンスを簡易に見比べることができ現時点の我々の実行環境では，Azure Kinect DK(図 1)る上達支援システムを開発している．この研究では，ダンを用いてダンサーのモーションを計測している．Azureスの重要な要素として顔の向きとリズムについて着目して

Kinect DK は，Microsoft 社が発売した高度な AI センサーいる．筋野ら [9] は，ダンスをリアルタイムで指導するシを備えたカメラである．近赤外線を利用した距離画像セン

ステムの開発を進めている．この研究では，指導が必要なサーと映像センサー（ビデオカメラ）を内蔵しており，こ関節について NPR 手法を用い，どのように改善すべきか

れにより図 2 で示すように，24 箇所の関節の位置座標をリを示している．紅林ら [10] は，KINECT センサーによりアルタイムで追跡・算出することができる．Azure Kinect

取得したデータを用いて，ダンスをアニメーションによっ

DK を利用することにより，使用者が特殊な装置やマーて再現するだけでなく，複数人のダンスについて，時間経カーを身につけることなく，比較的簡単にモーションキャ過による変位や空間や平面における変位を比較している．

プチャを実現できる．

モーションデータをクラスタリングして可視化する研究

3.1.2 モーションデータの取得過程
本研究では同一ダンサーによる同一のダンスの反復練習も，ダンスに限定しなければ既に多数発表されている．Liuら [11] は，ジェスチャーをベクトル表現して球にプロットした新たな可視化手法を提案している．Urribarri ら [12]は，空手型から得られたモーションキャプチャデータに© 2021 Information Processing Society of Japan*1*2

https://www.microsoft.com/ja-jp/p/azure-kinectdk/8pp5vxmd9nhq?activetab=pivot%3aoverviewtab
https://docs.microsoft.com/ja-jp/azure/kinect-dk/bodyjoints

650

情報処理学会 インタラクション 2021
IPSJ Interaction 2021

1Q07
2021/3/10

が，Dynamic Time Warping(DTW) を用いる予定である．

DTW とは，時系列データ同士の類似度を算出する手法の一つである．各点の距離を総当たりで算出した後，最短となるパスを見つけることで類似度を算出する．
長さ np ，nq の二つの時系列データ P，Q の DTW 距離d(P, Q) は以下のように定義する．
d(P, Q) = f (np , nq )(1)f (i, j) = ||pi − pq || + min(f (i, j − 1),f (i − 1, j), f (i − 1, j − 1))(2)

f (0, 0) = 0, f (i, 0) = f (0, j) = ∞(3)

また，本手法では一つの関節につき xyz 座標の 3 座標が存在するため，通常の DTW ではなく，Multi-DimensionalDynamic Time Warping(MD-DTW)[13] を用いる．これは DTW を多次元で行うことのできる手法である．

MD-DTW では，(2) のノルムとして 3 次元ベクトルの
図 2 Azure Kinect DK で取得できる 24 箇所の関節情報．

*2

ユークリッド距離√||pi − qj || = (pi,x − qj,x )2 + (pi,y − qj,y )2 + (pi,z − qj,z )2を複数回（現状では 10〜20 回程度を想定）にわたって計を用いる．

測する．

3.2.3 空間補正

本研究では同一ダンサーによる動作の変化を分析するこ

取得した時系列データはそれぞれ立っている位置や身体とを目的としているが，同一ダンサーが模範的ではないダの向きが異なるため，これを補正する．現状では単純なアンスを反復している状況も起こりえる．模範的ではない動フィン変換（拡大縮小および平行移動）を適用している．

作を反復しても上達を妨げるだけでなく，動作によってはダンサーの身体にも悪影響を及ぼしかねない．そこで，同

3.3 クラスタリング

一ダンサーのダンスだけでなく，模範的な動作を習得して補正したモーションデータに対してクラスタリングを適いる講師のダンスも 1,2 回程度計測することで，これとの用する．ここでは左手，右手，左足，右足の 4 つの部位に差異も可視化できるようにした．

ついてそれぞれ独立にクラスタリングを適用している．現時点での実装では単純に，各部位を構成する複数の関節等

3.2 モーションデータの補正
モーションデータのクラスタリングに先立ち，データ間の時間補正と空間補正を施す必要がある．また，講師によの座標値をベクトルとして，k-means 法を適用してクラスタリングする．他のクラスタリング手法の適用についても検討したい．

る模範動作データがある場合には，時間補正や空間補正の前にダンサーと講師との間の体格補正も施す必要がある．

3.2.1 体格補正

3.4 可視化システム
続いて本手法では，モーションデータのクラスタリング

ダンサーと講師間には体格差が生じるため，これを補正結果を可視化する．この可視化画面を操作することで複数する．現状では単純なアフィン変換（拡大縮小）を適用しのダンスモーションを指定し，これらをアニメーション表ている．

示することでダンサーのモーションを比較観察することが3.2.2 時間補正できる．

ここでの時間補正には 2 種類の補正がある．1 つは開始

可視化システムのキャプチャを図 3 に示す．図 3 左側に時刻をそろえることである．取得した時系列データは記録ある File Open というボタンを押すことで，補正を終えた開始時刻に対するモーション開始の相対時刻が揃っていなモーションデータを記述したファイルを選択し，データをいことがあるので，これを補正する．もう 1 つは，不正確入力する．

なダンスによって時間的なズレが生じたモーションを比較するための補正である．
不正確なダンスのための時間補正はまだ実装していない© 2021 Information Processing Society of Japan

画面左側の Main タブの横にある矢印タブを押すと，図4 に示すように，取得したモーションデータのうち何個目のモーションデータを再生するかを選択できる．複数の651

情報処理学会 インタラクション 2021
IPSJ Interaction 2021

1Q07
2021/3/10

図 3 可視化システムのスナップショット．

モーションデータを同時に選択することも可能である．ここで，モーションデータの通し番号にもとづいて，各モーションの骨格（関節やボーン）に別々の色を割り当てる．1

図 4 多数のダンスモーションの中からいくつかを選択するための画面．

個以上のモーションデータを選択して Play ボタンを押すと，選択したモーションデータの骨格の動きが同時に再生される．
画面右側では，3.3 節で説明したクラスタリングの結果を表示する．上から順に，Left Arm，Right Arm，Left Leg，Right Leg がそれぞれ左手，右手，左足，右足を表しており，いずれかのボタンを押すことで，どの部位についてクラスタリングをするかを選択する．Num.Cluster 欄でクラスタ数を指定する．Play Cluster 欄ではどのクラスタを再生するかを指定できる．この指定により，特定のクラスタ

図 5に属するダンスモーションの骨格を一斉に再生する．

計測の様子．

クラスタリング結果表示部は横軸が時系列を表しており，り，著者の 1 人が踊ったダンス動画を真似ながらダンスを左端が初回のダンス，右端が最終回のダンスを表している．

反復し，その一部始終を計測した．図 5 はその様子である．

この表示部に見られる赤い線は，何回目に計測したモー

本研究では，同一ダンサーによる反復練習を計測するほションデータが各クラスタに格納されているかを可視化しかに，模範的な動作を習得している講師のダンスも 1,2 回ている．これを観察することでユーザは，時系列に沿って程度計測し，それとの差分を可視化することを想定してい自身のダンスを分析できる．例えば練習の初期段階に多いた．しかし，研究着手時のコロナ禍の影響もあって，まだ癖はどのようなものであるか，あるいは突発的に時々現れ講師のダンスを計測するに至っていない．そのため本研究る癖はどのようなものであるか，さらには練習が進むにつでは，同一被計測者によるダンスの中から 1 つを選び，それて自身のモーションがどのように変化したか，といったれを架空の講師のダンスモーションとして可視化を実施

点を観察できる．

した．

4. 実行結果
4.1 ダンスモーションの計測

4.2 可視化結果
図 6 は，クラスタ数を 3 に指定した時のクラスタリンダンスモーションを計測したデータを提案手法により可グ結果である．Left Arm，Left Leg，Right Leg において，視化した．計測に用いたダンスは，著者の 1 人が振付した

1〜4 回目のモーションが全て同じクラスタに属し，それ以約 7 秒間 (2 × 8 分の長さ) の HIPHOP ダンスである．振外のモーションが他の 2 つのクラスタに格納されている．

付には，ボックスやダウンなど HIPHOP の基礎の動きかまた，Right Arm についても，2,7 回目のモーションのみら構成される難易度の低いものを選んだ．ダンス中に楽曲が同一クラスタに，3,4 回目のモーションのみが別の同一は再生せず，無音で踊った．被撮影者はダンス経験者であクラスタに格納されている．これらのことから，はじめの© 2021 Information Processing Society of Japan652

情報処理学会 インタラクション 2021
IPSJ Interaction 2021

1Q07
2021/3/10

図 6 クラスタ数 3 での各部位のクラスタリング結果．(左上) 左腕．

(右上) 右腕．(左下) 左足．(右下) 右足．

4 回のモーションと 5 回目以降のモーションでは明確な違いがあることが示唆される．
図 7 は，クラスタ数を 5 に指定した時のクラスタリング

図 7 クラスタ数 5 での各部位のクラスタリング結果．(左上) 左腕．

(右上) 右腕．(左下) 左足．(右下) 右足．

結果である．Left Arm について見ると，格納されているモーション数が 5 以下のクラスタは可視化画面上で上からいることがわかる．また，全ての部位について上から 5 番3 番目と 4 番目のクラスタである．それに対して、上から目のクラスタに着目すると，5〜10 回目のモーションが集2 番目のクラスタには多くのモーションが格納されている．

中して格納されていることが分かる．これらのことから，一方で Right Arm では，上から 2 番目，3 番目， 4 番目の全ての部位について，5〜10 回目と 10 回目以降でモーショクラスタには 5 個以下のモーションが格納されているのにンに大きく差異が生まれており，特に 9,10 回目付近で反復対して，上から 1 番目と 5 番目のクラスタには多くのモー練習に違いが生まれていることが推察される．

ションが格納されている．Left Leg と Right Leg の 2 部位

また，図 6 と図 7 の両方について，Left Arm と Right

では全く同様に，上から 1 番目，3 番目，4 番目のクラスタ

Arm のクラスタリング結果はあまり類似していないのにには 5 個以下のモーションが格納されており，2 番目と 5対し，Left Leg と Right Leg のクラスタリング結果はモー番目のクラスタには多くのモーションが格納されている．

ション数が少ないクラスタについてもモーション数が多

ここで，Left Arm，Right Arm，Left Leg，Right Leg そいクラスタについても類似度が高いことが読み取れる．これぞれについて，格納されているモーションが 5 個以下のの一因として，今回適用振付が，腕の動きは左右異なる動クラスタに着目すると，全ての部位について 1〜4 回目のきを含んでいたが、足の動きはほとんどが左右対称な動きデータが格納されていることがわかる．つまり，クラスタで構成されていたからではないかと考察する．他の振付に数を 3 に指定した時と同様，1〜4 回目のモーションの中についても，同じ部位での左右の違いについてさらに検証しは外れ値が多いことが示唆される．

たい．

続いて，多数のモーションが割り当てられているクラスタに着目する．Left Arm，Left Leg，Right Leg の上から 2

5. まとめ番目のクラスタ，Right Arm の上から 1 番目のクラスタに

本報告では，モーションキャプチャシステムを用いて計着目すると，全て 9 回目以降のモーションが多く含まれて測した同一ダンサーによる複数回のダンスについて，モー© 2021 Information Processing Society of Japan653

情報処理学会 インタラクション 2021
IPSJ Interaction 2021

ションデータの補正を行なった後にクラスタリングを実施して，モーション間の差異を可視化するシステムを提案した．このシステムにより，異なる時系列のダンスの骨格を

1Q07
2021/3/10[13]G. A. ten Holt, M. J. Reinders, E. A. Hendriks：MultiDimensional Dynamic Time Warping for Gesture Recognition，Thirteenth annual conference of the Advanced
School for Computing and Imaging(2007).

同時に再生して比較観察することが可能になった．また，クラスタリング結果から現れる反復練習の効果，あるいは部位ごとにクラスタリング結果の差異などを分析することが可能になった．
しかし現状では，同じクラスタに属するダンスモーションの骨格を同時再生することはできるが，違うクラスタに属するダンスモーションを同時再生して比較する機能がまだ実装されていない．そのため，クラスタの相違点を理解するのがまだ容易ではない．そこで今後は，各クラスタから代表モーションを選出し，代表モーション群を同時再生して比較できるようにする機能も設けたい．また，各クラスタの特徴をより直感的に理解できるようにするため，講師による模範的なモーションからの差異が特に大きい関節を重要関節として，色を変えて表示する，振付を動作ごとに再生できるようにする，といった機能を追加したい．
参考文献
八村広三郎：モーションキャプチャによる舞踊のデジタルアーカイブ，情報処理学会研究報告コンピュータビジョンとイメージメディア（CVIM），Vol.2007，No.1(2007-CVIM157)，pp.1-8(2007)．
[2] Jiaman Li：Learning to Generate Diverse Dance Motions
with Transformer，arXiv:2008.08171(2020)．
[3] Wenlin Zhuang：Music2Dance: DanceNet for Musicdriven Dance Generation，arXiv:2002.03761(2020)．
[4] 飯野友里恵，森谷友昭，高橋時市郎：ストリートダンス動作の分析とダンス指導へ の応用，映像情報メディア学会技術報告，Vol.35，No.14，pp.49-52(2011)．
[5] 長谷川聡，八村広三郎，鹿内菜穂，泉朋子，仲谷善雄：ス
トリートダンス未経験教師間のピアエデュケーション支援システム，第 76 回全国大会講演論文集，Vol.2014，No.1，pp.599-601(2014)．
[6] 武居拓郎，仲谷善雄，岡田大地：ストリートダンス未経験教師のロックダンス教育を支援する，第 74 回全国大会講演論文集，Vol.2012，No.1，pp.607-608(2012)．
[7] 黒宮明，吉村ミツ，村里英樹：骨格角度情報による日本舞踊動作の解析，情報処理学会研究報告人文科学とコンピュータ（CH），Vol.2003，No.59(2003-CH-058)，pp.65-71(2003)．
[8] 田中佑典，齋藤剛：モーションキャプチャを用いたダンス上達支援システムの開発，第 75 回全国大会講演論文集，Vol.2013，No.1，pp.225-226(2013)．
[9] 筋野正太，森谷友昭，高橋時市郎：NPR 機能を付加したダンスの動作解析・指導システム，情報科学技術フォーラ
ム講演論文集，Vol.11，No.3，pp.353-354(2012)．
[10] 紅林秀治，小林健太，兼宗進：KINECT センサーを用いた簡易動作分析システムの開発，研究報告コンピュータと教育（CE），Vol.2013-CE-118，No.20，pp.1-7(2013)．
[11] Lucas Liu：MoViz: A Visualization Tool for Comparing
Motion Capture Data Clustering Algorithms，MOCO ’20:
Proceedings of the 7th International Conference on Movement and ComputingJuly，Article No.9，pp.1–8(2020)．
[12] Dana K. Urribarri：Overview+detail Visual Comparisonof Karate Motion Captures，Computer Science – CACIC
2019，pp.139-154(2019)．

[1]© 2021 Information Processing Society of Japan654