情報処理学会 インタラクション 2022
IPSJ Interaction 2022

2P04
2022/2/21

ダンスモーションの反復練習の可視化とその有効性の検証
川西 真美1,a)

土田 修平2

伊藤 貴之1

概要：カメラや赤外線センサを用いた比較的安価な人体モーションキャプチャ技術の充実により，人体運動の計測が手軽になり，その用途が飛躍的に拡大した．我々はこの技術を活用して，同一のダンスを反復的に練習した際の動作の差異や変化を可視化することで，ダンスのスキル向上に寄与する可視化システムを開発している．本手法では，同一人物による同一のダンスの練習を複数回計測する．そして各モーションに対して，ダンサーと講師の間の体格差を補正する体格補正，動作のタイミングを揃える時間補正，ダンサーの位置や身体の向きを揃える空間補正を適用する．続いて補正後の各モーションを構成する手足などのパーツに対してクラスタリングを適用し，クラスタリング結果を可視化する．ユーザはその可視化結果にもとづいて任意の複数のモーションを選んで，これらをアニメーション表示することでダンサーの動作の差異や変化を確認することができる．本報告では可視化システムの処理手順や機能の説明に加えて，4種類のジャンルのダンスを対象として計測したモーションデータを可視化し，有効性を検証した．

1. はじめにンキャプチャシステムを用いて，同一ダンサーによる同一のダンスを複数回計測する．続いて，それらのモーションダンスの練習方法で最も一般的な方法は，同じ動きを何データについて位置・時刻・体格の補正を適用する．以上度も繰り返し練習する反復練習である．しかし，この方法の前処理を終えた後に，モーションデータについてクラスはダンスの初学者にとって，主に 2 つの問題点がある．1

タリングを適用し，クラスタリング結果を可視化する．こつ目は，長期的な上達の過程を実感しにくいという点であの可視化画面を操作することで複数のダンスモーションをる．練習量に対しどれだけ上達しているのかを実感できな指定し，これらをアニメーション表示することでダンサーいと，練習の頻度や量に際限がなくなってしまうことがあのモーションを比較観察できる．

る．2 つ目は，ただ機械的に練習を反復するだけになりか

本報告では可視化システムの処理手順や機能の説明に加ねないということである．多くのダンサーは練習の過程

えて，4 種類のジャンルのダンスを対象として計測したモーで，自己の動作の変化や修正点を見出している．つまり，ションデータを可視化し，その有効性について議論する．

自己の変化や修正点を明らかにすることが，ダンスをより

本報告の構成は以下の通りである．2 章では関連技術・上達させる．上記の 2 点について理解を深めることが，よ関連研究について，3 章では提案手法について述べる．4 章

り効率的な反復練習へ繋がる．

では 4 種類のジャンルのダンスに関する実行結果を示す．

本研究では，ダンサーが無意識のうちに行っている動作の修正点を見出す作業を支援する可視化システムを開発している．具体的には，ダンスの上達が見られたのはどのタ

5 章ではまとめを述べる．

2. 関連研究

イミングか，身体のどの部位において動作のズレが生じや2012 年に中学校でダンスが必修化したことにより，ダンすいか，的確な動作を実現できた頻度はどれくらいか，ダス指導を支援するシステムの開発や，初心者と経験者のダンサーの癖はどこに生じやすいか，といった点を可視化すンスの違いを解析する研究が活発に進められている．飯野ることにより，ダンスの反復練習の効率を高める．

ら [1] や長谷川ら [2] は Hiphop ダンスを対象として初心者

本手法の手順は以下のとおりである．はじめにモーショと経験者の違いを解析している．武居ら [3] はロックダンスの基本の技・トゥエルロックの指導システムを開発して12a)

お茶の水女子大学
Ochanomizu University, 2-1-1 Otsuka, Bunkyo-ku, Tokyo
112–8610, Japan
神戸大学
Kobe University
g1720511@is.ocha.ac.jp© 2022 Information Processing Society of Japanいる．黒宮ら [4] は日本舞踊に焦点を当て，日本舞踊の動作を客観的・定量的に解析・評価する手法について述べている．
上述の事例のように単一のジャンルに特化してダンスを362

情報処理学会 インタラクション 2022
IPSJ Interaction 2022

2P042022/2/21

解析する研究が多数発表されている一方で，ジャンルを限定せず動作分析や指導支援を実現する研究も活発に発表されている．田中ら [5] は学習者と指導者のダンスを簡易に見比べることができる上達支援システムを開発している．この研究ではダンスの重要な要素として，顔の向きとリズムについて着目している．筋野ら [6] はダンスをリアルタイムで指導するシステムの開発を進めている．この研究では，指導が必要な関節について NPR (Non Photo-Realistic) 手法を用いて表現し，どのように改善すべきかを示している．

図 1

紅林ら [7] は KINECT センサーにより取得したデータをAzure Kinect DK の外観．*1

用いて，ダンスをアニメーションによって再現すると同時に，「時間経過による変位」「空間や平面における変位」の2 種類の変位を複数人のダンスに対して比較している．林ら [8] はモーションキャプチャと加速度センサを活用した練習支援システムを開発しており，モデルの動きを参照する必要のない練習方法の実現を目指している．Nam ら [9]はモーションキャプチャだけでなく靴下型のウェアラブルデバイスを用いることで，足にかかる圧力や足首の動きを計測しアバターに反映させるダンストレーニングゲームを開発している．
モーションデータをクラスタリングして可視化する研究も，ダンスに限定しなければ既に多数発表されている．Liuら [10] はジェスチャーをベクトル表現して球にプロットした新たな可視化手法を提案している．Daniel ら [11] は豚の咀嚼運動データを適用して，生体力学分野での複数モーションデータのインタラクティブに可視化する手法を提案している．
以上のように，ダンスの指導・分析・比較のための研究や，モーションデータを対象とした可視化手法は多く存在

図 2

Azure Kinect DK で取得できる 24 箇所の関節情報．*2

する．しかし，従来の研究は経験者と初心者を比較し分析する研究が多く，一人のダンサーの反復的な練習を深く分を備えたカメラである．近赤外線を利用した距離画像セン析する研究は少ない．そこで本研究では，一人のダンサーサーと映像センサー（ビデオカメラ）を内蔵しており，こによる反復的な練習を計測し，それらを時系列データとしれにより図 2 で示すように，24 箇所の関節の位置座標をリて比較・分析することを目的とした．

アルタイムで追跡・算出することができる．Azure Kinect

3. 提案手法
本章では提案手法の処理手順を示す．提案手法は以下の4 ステップから構成される．

DK を利用することにより，使用者が特殊な装置やマーカーを身につけることなく，比較的簡単にモーションキャプチャを実現できる．

3.1.2 モーションデータの取得過程( 1 ) モーションデータの取得

本研究では同一ダンサーによる同一のダンスの反復練習( 2 ) モーションデータの補正を複数回（現状では 10〜20 回程度を想定）にわたって計( 3 ) クラスタリング測する．
本研究では同一ダンサーによる動作の変化を分析するこ( 4 ) 可視化画面の作成とを目的としているが，同一ダンサーが模範的ではないダ

3.1 モーションデータの取得ンスを反復している状況も起こりえる．そこで，同一ダン

3.1.1 Azure Kinect DK

サーのダンスだけでなく，模範的な動作を習得している講

現時点の我々の実行環境では，Azure Kinect DK(図 1)を用いてダンサーのモーションを計測している．Azure

Kinect DK は，Microsoft 社が発売した高度な AI センサー

© 2022 Information Processing Society of Japan*1*2

https://www.microsoft.com/ja-jp/p/azure-kinectdk/8pp5vxmd9nhq?activetab=pivot%3aoverviewtab
https://docs.microsoft.com/ja-jp/azure/kinect-dk/bodyjoints363

情報処理学会 インタラクション 2022
IPSJ Interaction 2022

2P04
2022/2/21

師のダンスも 1，2 回程度計測することで，これとの差異用する．ここでは左手，右手，左足，右足，頭部の 5 つのも可視化できるようにした．

部位についてそれぞれ独立にクラスタリングを適用している．現時点での実装では単純に，各部位を構成する複数の関節等の座標値，具体的には左手が図 2 の CLAVICLE ＿3.2 モーションデータの補正
モーションデータのクラスタリングに先立ち，データ間LEFT，SHOULDER ＿ LEFT，ELBOW ＿ LEFT，WRISTの時間補正と空間補正を施す必要がある．また，講師によ＿ LEFT の 4 つの関節，右手が CLAVICLE ＿ RIGHT，る模範動作データがある場合には，時間補正や空間補正の

SHOULDER ＿ RIGHT，ELBOW ＿ RIGHT，WRIST ＿前にダンサーと講師との間の体格補正も施す必要がある．

RIGHT の 4 つの関節，左足が HIP ＿ LEFT，KNEE ＿3.2.1 体格補正

LEFT，ANKLE ＿ LEFT，FOOT ＿ LEFT の 4 つの関

ダンサーと講師間には体格差が生じるため，これを補正

節，右足が HIP ＿ RIGHT，KNEE ＿ RIGHT，ANKLE

する．現状では単純なアフィン変換（拡大縮小）を適用し＿ RIGHT，FOOT ＿ RIGHT の 4 つの関節，頭部が HEAD，ている．

NOSE，EYE ＿ LEFT，EAR ＿ LEFT，EYE ＿ RIGHT，

3.2.2 時間補正

EAR ＿ RIGHT の 6 つの関節の座標値をベクトルとして，ここでの時間補正には 2 種類の補正がある．1 つは開始時刻をそろえることである．取得した時系列データは記録

k-means 法を適用してクラスタリングする．他のクラスタリング手法の適用についても検討したい．

開始時刻に対するモーション開始の相対時刻が揃っていないことがあるので，これを補正する．もう 1 つは，不正確

3.4 可視化システム

なダンスによって時間的なズレが生じたモーションを比較するための補正である．
不正確なダンスのための時間補正はまだ実装していないが，Dynamic Time Warping(DTW) を用いる予定である．

DTW とは，時系列データ同士の類似度を算出する手法の一つである．各点の距離を総当たりで算出した後，最短となるパスを見つけることで類似度を算出する．
長さ np ，nq の二つの時系列データ P，Q の DTW 距離d(P, Q) は以下のように定義する．
d(P, Q) = f (np , nq )(1)f (i, j) = ||pi − pq || + min(f (i, j − 1),f (i − 1, j), f (i − 1, j − 1))
f (0, 0) = 0, f (i, 0) = f (0, j) = ∞

(2)
図 3

(3)

可視化システムのスナップショット．

また，本手法では一つの関節につき xyz 座標の 3 座標が続いて本手法では，モーションデータのクラスタリング存在するため，通常の DTW ではなく，Multi-Dimensional結果を可視化する．この可視化画面を操作することで複数

Dynamic Time Warping(MD-DTW)[12] を用いる．これのダンスモーションを指定し，これらをアニメーション表は DTW を多次元で行うことのできる手法である．

示することでダンサーのモーションを比較観察することがMD-DTW では，(2) のノルムとして 3 次元ベクトルのユークリッド距離√||pi − qj || = (pi,x − qj,x )2 + (pi,y − qj,y )2 + (pi,z − qj,z )2できる．
可視化システムのキャプチャを図 3 に示す．図 3 左側にある Teacher File Open というボタンを押すことで，補正を終えた講師のモーションデータを記述したファイルを選を用いる．

択し，データを入力する．同様に，Student File Open と3.2.3 空間補正

いうボタンを押すことで，ユーザのモーションデータを入取得した時系列データはそれぞれ立っている位置や身体力する．の向きが異なるため，これを補正する．現状では単純なア

画面左側の Main タブの横にある Coloring タブを押す

フィン変換（拡大縮小および平行移動）を適用している．と，取得したモーションデータのうち何個目のモーション
データを再生するかを選択できる．複数のモーションデー

3.3 クラスタリング補正したモーションデータに対してクラスタリングを適© 2022 Information Processing Society of Japan

タを同時に選択することも可能である．ここで，モーションデータの通し番号にもとづいて，各モーションの骨格

364

情報処理学会 インタラクション 2022
IPSJ Interaction 2022

2P04
2022/2/21（関節やボーン）に別々の色を割り当てる．1 個以上のモーションデータを選択して Play ボタンを押すと，選択したモーションデータの骨格の動きが同時に再生される．
画面右側では，3.3 節で説明したクラスタリングの結果を表示する．上から順に，Left Arm，Right Arm，Left Leg，Right Leg，Head がそれぞれ左手，右手，左足，右足，頭部を表しており，いずれかのボタンを押すことで，どの部位についてクラスタリングをするかを選択する．Num.Cluster
欄でクラスタ数を指定する．Play Cluster 欄ではどのクラスタを再生するかを指定できる．この指定により，特定のクラスタに属するダンスモーションの骨格を一斉に再生する．Play Representative Motions ボタンを押すと，各クラスタの代表ダンスモーションを一斉に再生できる．ここで代表ダンスモーションとは，各クラスタの中央値を指している．また，Clustering Color Coded 欄にチェックを入れると，クラスタごとの骨格に別々の色を割り当てるよう変更することができる．
クラスタリング結果表示部は横軸が時系列を表しており，左端が初回のダンス，右端が最終回のダンスを表している．また，横線はクラスタを表しており，上から講師のモーションデータとの類似度が高い順番に並んでいる．表示部に見られる縦線は，何回目に計測したモーションデータが各クラスタに格納されているかを可視化している．これを観察することでユーザは，時系列に沿って自身のダンスを分析できる．例えば，練習の初期段階に多い癖はどのようなものであるか，あるいは突発的に時々現れる癖はどのようなものであるか，さらには練習が進むにつれて自身のモーションがどのように変化したか，といった点を観察できる．

4. 実行結果
4.1 4 種類のダンスモーションの計測
計測したモーションデータを提案手法により可視化し

図 4

上から Jazz，Waack，Lock，Girls についての計測の様子．

は計測せず，同一被計測者によるダンスの中から 1 つを選び，それを架空の講師のダンスモーションとして可視化を実施した．

た．本手法の有効性をダンスのジャンルごとに検証するた
めに，Jazz，Waack，Lock，Girls の 4 種類のジャンルにつ4.2 可視化結果

いてダンスを計測した．いずれも著者が振付したものであ

各ジャンルのダンスに対するクラスタリング結果についり，約 10 秒間 (2 × 8 分の長さ)，BPM110 のメトロノーて以下に説明する．クラスタ数はいずれも 5 に設定した．

ム音に合わせて踊ったものである．各振付について計 12

ここで，本研究では 4.1 節で説明した方法で計測したた回計測し，うち 1〜3 回目はダンサー自身が正しいと考え

め，Left Arm，Right Arm は 1〜3 回目と 7〜9 回目が上部る形で踊り，4〜6 回目は力を抜いて踊り，7〜9 回目は腕のクラスタ，4〜6 回目と 10〜12 回目が下部のクラスタにのみ正しいと考える形で，10〜12 回目は足のみ正しいと考格納されると想定される．また，Left Leg，Right Leg はえる形で踊った．計測した例を図 4 に示す．

1〜3 回目と 10〜12 回目が上部のクラスタ，4〜9 回目が下

本研究ではもともと，同一ダンサーによる反復練習を計測するほかに，模範的な動作を習得している講師のダンス部のクラスタに格納されると想定される．この想定結果と実際の実行結果を比較する．

も 1，2 回程度計測し，それとの差分を可視化することをJazz での結果は図 5 の通りであった．全ての部位にお想定していた．しかし，本報告ではシステムの有効性の検いて，1〜6 回目の結果は類似していたが，7〜12 回目の証結果を示すために，体格補正を必要としない同一被計測結果は類似しなかった．特に，Left Arm は 7 回目以降の者のデータを比較した．そのため本研究では講師のダンスモーションが全て 2 つ目のクラスタに格納されたのに対© 2022 Information Processing Society of Japan365

情報処理学会 インタラクション 2022
IPSJ Interaction 2022

2P042022/2/21

図 5

Jazz について各部位のクラスタリング結果．

図 7

Lock について各部位のクラスタリング結果．

図 6

Waack について各部位のクラスタリング結果．

図 8

Girls について各部位のクラスタリング結果．

し，Right Arm は全て 4 つ目のクラスタに格納されたこと

Leg においては，1〜6 回目の結果は同じものとなったが，から，腕において左右差が大きいことが示唆される．また，7〜12 回目について，Left Leg は 4〜5 つ目のクラスタに分

著者らの想定通りの可視化結果が現れたのは Right Leg の類されたのに対し，Right Leg は 11〜12 回目のモーションみという結果になった．

が 3 つ目のクラスタに分類されたことから，Right Leg に

Waack での結果は図 6 の通りであった．全ての部位にお関して想定通りの結果が現れていた．

いて，1〜6 回目の結果は同じとなった．7〜12 回目の結果
においても，Left Arm と Right Arm，Left Leg と Right

4.3 考察Leg のそれぞれについて類似度が高かった．また，Left可視化結果を踏まえ，各ジャンルについて考察する．

Arm，Right Arm について，7〜9 回目のモーションが 2〜

Jazz の結果について，腕において左右差が大きい結果と4 つ目のクラスタに，10〜12 回目のモーションが 5 つ目のなった理由は Jazz というジャンルの特性ではないかと考クラスタに分類されたことから，想定通りの結果が現れてえられる．Jazz は他の 3 つのジャンルとは異なり，左右いた．

で同じことを繰り返す動きが少ないダンスであるからとい

Lock での結果は図 7 の通りであった．Lock も Waackう理由が考えられる．さらに多様な振付で可視化を実行す同様，全ての部位において 1〜6 回目の結果が同じとなり，るとともに，文献なども調査しながら，この仮説について7〜12 回目の結果が Left Arm と Right Arm，Left Leg と検証したい．また，Right Leg 以外の部位について想定通

Right Leg のそれぞれについて類似度が高いという結果とりの結果が現れなかったことに関して，Jazz はダンサーのなった．また，全ての部位において 7〜12 回目のモーショ立つ位置の変動の大きいダンスであるため，正しく踊ったンが 4〜5 つ目のクラスタに分類され，想定通りの結果は1 3 回目の腕の動きと立っている位置を変えず腕のみ踊っ現れなかった．

た 7 9 回目の腕の動きが類似しているとクラスタリングでGirls での結果は図 8 の通りであった．Left Arm と Rightきなかったのではないかと考えた．この要因として，単純Arm において，全く同じ結果となった．Left Leg と Rightなアフィン変換による空間補正，単純に関節等の座標値を© 2022 Information Processing Society of Japan366

情報処理学会 インタラクション 2022
IPSJ Interaction 2022

2P04
2022/2/21

ベクトルとしたクラスタリング，といった可能性が考えら

参考文献

れる．

飯野友里恵，森谷友昭，高橋時市郎，ストリートダンス動作の分析とダンス指導へ の応用，映像情報メディア学会技術報告，Vol.35，No.14，pp.49-52(2011)．
[2] 長谷川聡，八村広三郎，鹿内菜穂，泉朋子，仲谷善雄，ス
トリートダンス未経験教師間のピアエデュケーション支援システム，第 76 回全国大会講演論文集，Vol.2014，No.1，pp.599-601(2014)．
[3] 武居拓郎，仲谷善雄，岡田大地，ストリートダンス未経験教師のロックダンス教育を支援する，第 74 回全国大会講演論文集，Vol.2012，No.1，pp.607-608(2012)．
[4] 黒宮明，吉村ミツ，村里英樹，骨格角度情報による日本舞踊動作の解析，情報処理学会研究報告人文科学とコンピュータ（CH），Vol.2003，No.59(2003-CH-058)，pp.65-71(2003)．
[5] 田中佑典，齋藤剛，モーションキャプチャを用いたダンス上達支援システムの開発，第 75 回全国大会講演論文集，Vol.2013，No.1，pp.225-226(2013)．
[6] 筋野正太，森谷友昭，高橋時市郎，NPR 機能を付加したダンスの動作解析・指導システム，情報科学技術フォーラ
ム講演論文集，Vol.11，No.3，pp.353-354(2012)．
[7] 紅林秀治，小林健太，兼宗進，KINECT センサーを用いた簡易動作分析システムの開発，研究報告コンピュータと教育（CE），Vol.2013-CE-118，No.20，pp.1-7(2013)．
[8] 林 貴宏，尾内 理紀夫，モーションキャプチャと加速度セン
サを用いた振りの練習支援，電気学会論文誌Ｅ（センサ・マイクロマシン部門誌），Vol.129，No.6，pp.173-180(2009)．
[9] S.H.Nam，J.Y.Kim，Dance Exergame System for Health
Using Wearable Devices，IEEE Access，Vol.6，pp.4822448230(2018)．
[10] Lucas Liu，MoViz，A Visualization Tool for Comparing
Motion Capture Data Clustering Algorithms，MOCO ’20，
Proceedings of the 7th International Conference on Movement and ComputingJuly，Article No.9，pp.1–8(2020)．
[11] Daniel Keefe，Marcus Ewert，William Ribarsky，RemcoChang，Interactive Coordinated Multiple-View Visualization of Biomechanical Motion Data，IEEE Transactions
on Visualization and Computer Graphics，Vol.15，No.6，pp.1383-1390(2009)．
[12] G. A. ten Holt， M. J. Reinders， E. A. Hendriks，MultiDimensional Dynamic Time Warping for Gesture Recognition，Thirteenth annual conference of the Advanced
School for Computing and Imaging(2007).

Waack の結果について，腕においても足においても左右差が少なかった理由として，左右で同じことを繰り返す動きの多い振付であることが考えられる．また，足よりも腕について想定通りの結果が現れたことに関しては，Waackが腕を大きく使うダンスであるということと，ダンサーの立つ位置の変動が少なかったことが要因として考えられる．

Lock の結果について，腕においても足においても左右差が少なかった理由として，Waack 同様に繰り返しの多い振付であることが考えられる．全ての部位において 7〜12 回目のモーションが 4〜5 つ目のクラスタに分類されたことに関しては要因が考えられなかったため，他の振付で追加の検証を行ない，議論を深めたい．

Girls の結果について，Right Leg に関してのみ想定通りの結果が現れていた理由として，Girls というジャンルが上半身より下半身に重きを置くダンスであることが考えられる．腕どうしよりも足どうしの方が類似度が低かったことに関しても，同じ要因が考えられる．さらに文献などを調査するとともに，多様な振付で可視化を実行することで，この仮説を検証したい．

5. まとめ
本報告では，本研究で開発しているダンス練習過程の可視化システムを紹介し，4 種類のジャンルのダンスモーションにおける可視化結果を示してその有効性を議論した．この可視化システムでは，モーションキャプチャシステムを用いて計測した同一ダンサーによる複数回のダンスについて，前処理として補正を施した後にクラスタリングを適用し，モーション間の差異に関する分類結果を可視化する．
このシステムにより，異なる時系列のダンスの骨格を同時[1]に再生して比較観察することが可能である．また，クラスタリング結果から現れる反復練習の効果，あるいは部位ごとのクラスタリング結果の差異などを考察することが可能である．4 種類のジャンルのダンスモーションにおける可視化結果から，Jazz の Right Leg，Waack の Left Arm，

Right Arm，Girls の Right Leg に関して想定通りの結果が現れた．それ以外の部位について想定通りの結果が現れなかった要因として，各ジャンルの特性，空間補正が十分ではなかったこと，適切なクラスタリング手法を適用できていなかったことなどが考えられる．今後，この考察に関してさらに検証し，システムを改善したい．
また，現状では各モーションデータの相違点やクラスタごとの特徴を可視化結果から理解するのが容易ではない．
そこで今後は，講師による模範的なモーションからの差異が特に大きい関節を重要関節として色を変えて表示する，振付を動作ごとに再生できるようにする，といった機能を追加したい．

© 2022 Information Processing Society of Japan367