情報処理学会 インタラクション 2023
IPSJ Interaction 2023

3B-48
2023/3/1

Dance with Rhythmic Frames:
コマ送り提示による VR ダンス学習システム
時田 聡実1,a)

石黒 祥生2

大谷 健登1

西野 隆典3

武田 一哉1

概要：ダンスを練習する方法として，動画観察による方法が一般的であるが，身体の複数の部位で異なる動作を組み合わせた複雑な身体運動を動画で見るだけでは，一度で全ての要素を確認できず，何度も見直す必要がある．また動画では，ポーズの変遷など時間変化もあり，複雑多数な情報が一度に提示される．
そのため，次々と流れていく多数の情報に対して即座に理解し記憶する力が必要であり，個人の能力や経験に依存する．関連研究では，動画内の複雑多様な情報の理解を容易にするために，動作の時間的変化を仮想空間内に可視化する方法や，仮想現実感を用いて直接三次元姿勢を提示する方法が示されたが，テンポが一定でない学習を対象とした可視化による効果の検証にとどまっており，テンポを維持したままでのリズムに合わせた学習には対応していない．小学生の運動遊びの学習に関する研究では，リズムに合わせた刺激を与えることで，優位に身体技能の向上が見られることを確認した．本研究では，リズミカルかつ正確なダンスの習得のための，曲のテンポを維持したまま，リズムに基づいて抽出したダンスポーズをリズムに合わせて提示するコマ送り提示を用いたシステム「Dance with Rhythmic Frames」を提案する．

1. はじめにと流れていく多数の情報に対して即座に理解し記憶する力が必要であり，個人の能力や経験に依存する (図 1 左)．

ダンスは，幅広い世代の人が楽しむことができる世界中で人気のスポーツである．日本では，中学の体育の授業で必修となっているほか，一般社団法人ストリートダンス協会*1 によると国内のダンス人口は 600 万人以上にのぼる．
ダンスを学習する方法として，主に二通りの方法がある．
一つは，ダンスレッスンに参加し，教師の動きを模倣し，指摘された間違いを修正しながら学習する，対面による方法である．この方法は最も効果的だが，日常生活において常に教師と対面して練習することや，特に個人練習において専属トレーナーをつけることは難しい．もう一つは，

図 1

各映像提示手法による学習の違い

YouTube やダンス教室などの動画を観察し，動画内の人物を模倣しながら学習する，動画観察による方法である．動

動画観察における次々と流れていくポーズの時間変化の画観察による方法は個人練習方法として一般的であるが，理解を容易にするために，動作の時間的変化を仮想空間内ダンスのような身体の複数の部位で異なる動作を組み合わに可視化する研究がある [1][2]．関連研究は，動作の変化をせた複雑な身体運動を動画で見るだけでは，一度で全ての線や点により可視化することで，記憶力に依存する時間変要素を確認できず，何度も見直す必要がある．また，動画化に関する情報の理解を容易にしている．ダンスの上達のではポーズの変遷など時間変化もあり，複雑多数な情報がためにはリズムに合わせてポーズをとることが重要である

一度に提示される．そのため動画観察による学習は，次々が，これらの研究では，テンポ (Beats Per Minute; BPM)が一定でない学習を対象とした可視化による効果の検証に

123a)*1名古屋大学
東京大学
名城大学
tokida.satomi@g.sp.m.is.nagoya-u.ac.jp
一 般 社 団 法 人 ス ト リ ー ト ダ ン ス 協 会,
https://www.streetdancekyoukai.com/index.html© 2023 Information Processing Society of Japan

とどまっており，テンポを維持したままでのリズムに合わせた学習には対応していない．小学校体育授業において，リズム太鼓により運動学習中にリズム刺激を与えることが生徒にもたらす学習成果を調査した研究では，バックス

972

情報処理学会 インタラクション 2023
IPSJ Interaction 2023

3B-48
2023/3/1

キップやケンケンなどの技能習得を行う際，リズムに合わせてリズム太鼓によるリズム刺激を行うことで，リズム刺激がない場合に比べて優位に技能の向上が見られたと述べている [3]．このことから，ダンス学習においてもリズムに基づく提示を行うことで，技能習得に効果があると考えられる．
また，動画内の人物の三次元姿勢の理解を補助するために仮想現実感 (Virtual Reality; VR) を用いた練習方法がある [4]．ヘッドマウントディスプレイ (Head MountedDisplay; HMD) を用いて三次元で人物を観察することで，二次元動画から推測するのが難しい三次元姿勢を提示でき，正確な姿勢の理解に役立つ．しかし，この方法で教師の三次元姿勢を正確に理解するためには，教師を正面から観察するだけでなく多方面から観察する必要があり，音楽のリズムと同時進行での理解は難しい．
そこで本研究では，曲のテンポを維持したまま，リズムに基づいて抽出したダンスポーズをリズムに合わせて提示する「コマ送り提示」を用いた VR システム「Dance withRhythmic Frames」を構築し，リズミカルなダンスの学習をサポートすることを目的とする (図 1 右)．リズムごとのポーズを抽出する例としては，図 2 に示すような体育の教材が挙げられるが，抽出したポーズを横に並べて提示しているだけであり，曲に合わせた提示は行っていない [5]．予備実験では，ダンス学習をコマ送り提示で行うことによるリズミカルなダンス習得への効果を，動画から抽出した画像を用いて検証した．また，従来研究とは異なり，動作の軌跡を学習者の周囲に可視化する．これにより，学習者は提示された情報に合わせて身体を動かすだけで三次元姿勢を理解することができる．リズムに基づくコマ送り提示と三次元動作の軌跡を組み合わせた本システムを用いてダンスを学習することにより，リズミカルかつ正確なダンスの習得が期待される．

2. 関連研究2.1 動作の時間変化の可視化に関する研究
濵西らは，二次元動画内の動きを三次元空間の円上に可視化し，時間的・空間的な変化を軌跡や人型モデルで表現している [1]．HMD を用いて動作の変化を視覚的に観察することで，記憶力に依存する時間軸表現に依存した動画観察による学習の難しさを解決する方法を示している．また，砂田らは，モーションキャプチャで取得した動作情報に対して，身体の動きから直観的に把握することの困難な，動きの速度，加速度の大きさや変化，軌跡の形状の可視化方法として，球や三角形の大きさや色，線分などを動作軌跡に沿って三次元空間に配置する方法を提案している [2]．この可視化手法は，従来の CG アニメーションと比較して，速度，加速度の大きさや変化といった時間的変遷を表すのに適している．しかし，これらの研究では曲のテンポを維持したままでの提示に対応していない．本研究では，動作の時間的変化を曲のテンポを維持したまま可視化する．

Jen-Shuo らは，回転を表す円形の矢印を用いて，回転情報に関する現在のタスクの合図 (キュー) と将来のタスクの合図 (プリキュー) を提示することがユーザのパフォーマンスに与える影響を調べた．[6] 結果として，プリキューはパフォーマンスを向上させ，開始地点と終了地点を強調して表示することで短時間でタスクを完了できることを示している．本研究でも，手足の動作のプリキューを曲線で提示し，リズムに合わせてキューを強調して表示するように設計した．

2.2 VR を用いたダンス学習に関する研究
VR を用いてダンス学習における三次元姿勢の把握を容易にするための研究はこれまでにも行われてきた．臼井らは，HIPHOP ダンス学習者向けの VR 教材を提案している [4]．このシステムではプロダンサーの動きをモーションキャプチャで測定することにより三次元教師モデルを作成し，学習者は HMD を装着して教師モデルを観察することによりダンスを学習する．ダンス経験者による検証を通して，VR 教材の教師モデルは情報が少ない分動きがわかりやすく，ダンス学習に使用可能であると報告している．
本研究でも，ダンサーの動きをモーションキャプチャで測定することにより三次元教師モデルを作成して提示する．
市販の VR ダンスゲームには，前方から流れてくるボールやラインに沿って体を動かすもの*2 *3 や，流れてくる壁図 2

文部科学省発行の中学校向け「ダンス」リーフレットでは，リズムごとのポーズを抽出して横に並べることにより，ダンス動作を提示している [5]．に合わせたポーズをとりながら体を動かすもの*4 などがある．これらのゲームによりリズム感を養うことができるが，動作解析を容易にするためにダンスの動きを大きく間引き*2*3*4© 2023 Information Processing Society of Japan

AudioTrip, http://www.kinemotik.com/audiotrip/
DanceCollider, https://www.dancecollider.com
OhShape, https://ohshapevr.com

973

情報処理学会 インタラクション 2023
IPSJ Interaction 2023

しており，ダンス動作の学習という観点では適切な提示ができていない．本研究での提案システムは，既存のゲーム

3B-48
2023/3/1

4. 予備実験と同様にリズムに合わせてポーズ情報を提示する．しかしダンス学習をリズムに基づくコマ送り提示で行うことにポーズを間引きせずに人型モデルとして提示することで，よる効果を検証するために，16 歳から 23 歳の男女 9 名のダンス動作に必要なリズム感をポーズと共に正確に身につ被験者 (経験者 3 名，趣味程度の経験者 3 名，初心者 3 名)けることができる．

による予備実験を行った．コマ送り提示では，動画観察に

3. Dance with Rhythmic Frames

よる学習方法とは異なりポーズ間の動きを推測して動く必要がある．この実験では，リズム感を養うと同時に，ポー提案するダンス学習システム「Dance with Rhythmic

ズ間の動きを推測して正しく動くことができるか調べるこ

Frames」は，人物の三次元姿勢推定を行う BEV を用いて，とを目的とした．被験者は，リズムに合わせて自動で切りYouTube などの任意の動画からダンサーの骨格情報を抽替わる手本画像を観察することにより，ダンス学習を行っ出し，三次元人型モデルの生成と動作の軌跡の可視化を行た．提示する手本画像は，ダンス動画からリズムごとのダう．また，リズムに合わせて作成した MIDI ファイルをもンスポーズ画像を抽出したものである．ポーズ間の動きはとに，それぞれのリズムの人型 3D モデルを学習者の正面手本画像上に矢印で軌跡を示すことにより提示した．提示に提示する．人型モデルの生成は Blender*5 を用いて行い，したスライドの例を図 5 に示す．

ユーザに提示するシステムの作成には Unity*6 を用いる．
本システムの概要を図 3 に示す．ユーザは HMD を装着することで，本システムを用いてダンス学習を行うことができる．実際に本システムを体験するユーザの様子と，ダンス学習システムの画面の様子を図 4 に示す．
図5

スライド中央に手本人物の鏡映したポーズ画像を，スライド左上に現在の拍数を１〜８で表示した．滑らかに動く動作部分にのみ矢印で動きの方向を示した (右図)．

被験者を撮影した動画を分析した結果，ダンス経験の程度により動きのしなやかさに個人差はあるが，9 名全員が提示したスライドのポーズをリズムに合わせて模倣することで繋がりのあるダンス動作を行うことができた．図 6 は，提示スライドとその時の被験者のポーズを横に並べたもの
図 3

コマ送り提示でのダンス学習システムの構成図である．この図から，全員が同じタイミングで同じポーズを模倣していたことがわかる．つまり，リズムに基づくコマ送り提示によりダンスを学習することで，正確なリズムで踊ることができることが検証された．
しかし，提示スライド内の手本人物と被験者のポーズを比較すると，腕の角度や足の幅，腰の位置などが人によって異なることがわかる．特に未経験者ほど手本人物との差が大きい．このことから，コマ送り提示のみでは正確な姿勢の習得はできないと考えられる．
そこで，本システムでは正確な姿勢の習得のため，ダンス動作の軌跡を学習者の周囲に線で可視化することにより提示する．予備実験での手法を，VR を用いた三次元動作

図 4

HMD を装着して本システムを体験するユーザ (左) とユーザが見ているシステム画面 (右)の軌跡の可視化と組み合わせることで，リズミカルかつ正確な姿勢でのダンス動作の習得が期待される．

5. 実装
*5
*6

Blender, https://www.blender.org
Unity, https://unity.com© 2023 Information Processing Society of Japan

5.1 単元カメラ映像によるモーション推定
モーションキャプチャには，二次元動画像内の人物の三974

情報処理学会 インタラクション 2023
IPSJ Interaction 2023

3B-48
2023/3/1

図 8
図 6

コマ送り提示の様子

提示スライド (左) とその時の被験者のポーズ (右)5.3 三次元動作の軌跡の可視化
次元骨格を機械学習で推定する BEV[7] を用いる．BEV によって推定した三次元骨格座標をもとに，三次元メッシュ人型モデルを作成することができる (図 7)．

ダンス動作の軌跡を学習者の周囲に線で可視化することにより提示する．これにより，学習者は提示された情報に合わせて身体を動かすだけで三次元姿勢を理解することができる．軌跡の可視化方法としては，以下の通りである．
モーションキャプチャにより推定した各画像の三次元骨格情報には，71 個の関節の x 座標，y 座標，z 座標が含まれている．本システムでは，ダンスの動作の認識に重要だと思われる両手と両足の関節座標を抽出し，その軌跡を三次元空間に描くものとする．BEV により得られた三次元骨格情報を Unity で使用する座標に合わせて，Python で座標変換を行う．変換した座標を Unity で読み込み，曲のテンポに合わせて各関節の位置座標を移動させ，両手足の図 7

入力画像 (左)．BEV の出力結果を入力画像に重ねたもの (中動作の軌跡を三次元空間内に可視化する (図 9)．

央)．BEV の出力結果を頭上から見たもの (右)．

本システムでは，入力動画を ﬀmpeg を用いて画像に分割して BEV に入力し，それぞれの画像の三次元骨格情報を取得する．取得した骨格情報は，Python を用いて使用する部分のみを切り出す．三次元メッシュモデルは，取得した骨格座標から Blender を用いて生成する．

5.2 リズムに基づくコマ送り提示でのモデル表示
リズムに合わせて人型モデルを提示するために，リズム

図 9

動作の軌跡の可視化の様子．図中の白色の線は左手の動作の軌跡を，黄色の線は右手の動作の軌跡を表している．に基づく MIDI ファイルを作成して使用する．MIDI ファ
イルの作成には LogicPro*7 を使用した．MIDI ファイルには音を発するタイミングや消すタイミングの情報が含まれている．Unity で MIDI ファイルを読み込み，音を発する

6. デモンストレーションの説明

タイミングに合わせて学習者の前方に BEV を用いて作成

インタラクション 2023 のデモンストレーションでは本した三次元メッシュモデルを提示する．また，次のポーズシステムを HMD*8 を着用して体験する．来場者は HMDをわかりやすくするために，三次元モデルは学習者の前方を装着し，リズムに基づく人型モデルと三次元姿勢の提示から学習者の方向に一定速度で近づいてくるシステムとすをもとにダンス学習システムを体験する．

る．モデルは特定の位置まで進み，ポーズをとるリズムに合わせて消える．次のポーズのモデルは，一つ前のモデル

7. まとめと今後の展望
本研究では，動画観察によりダンスを学習する際の課題が消えると同時に前方に確認することができる (図 8)．
*8*7Logicpro, https://www.apple.com/logic-pro/© 2023 Information Processing Society of Japan

Meta Quest2, https://www.meta.com/jp/quest/products/quest2/975

情報処理学会 インタラクション 2023
IPSJ Interaction 2023

3B-48
2023/3/1

として (1) 次々と流れていく複雑多様な情報の理解が困難であること (2) リズムに合わせた提示に対応しておらず，リズミカルなダンスの習得が困難であることの二つを挙げた．以上の課題の解決方法として，動作の軌跡を学習者の周囲に可視化するのに加え，リズムごとのダンスポーズをコマ送りで提示する手法を提案した．予備実験により，コマ送り提示での学習効果を検証したのち，HMD を用いてダンスを学習するシステムを作成した．本システムを用いることで，ダンス学習に重要なリズムの情報を失うことなく，従来の動画観察における認知的負荷を軽減し，リズミカルなダンスの習得をサポートすることが期待される．
今後は，システム構成について検討を進め，キューやプリキューの提示方法や提示速度の変化による学習効果を検証する予定である．また，コマ送り提示による提示と連続した動画による提示での学習効果の比較を行い，コマ送り提示が動画に比べてどのように有効であるかを示す．さらに，ダンス以外のスポーツでも検討を行い，コマ送り提示による提示がどのような動きの提示に適しているのかを明らかにしていく．
参考文献
[1]

[2]

[3]

[4]

[5]
[6]

[7]

Natsuki Hamanishi and Jun Rekimoto. Motion-speciﬁcbrowsing method by mapping to a circle for personal
video observation with head-mounted displays. In Augmented Humans Conference 2021, AHs’21, p. 240–250,
New York, NY, USA, 2021. Association for Computing
Machinery.
砂田治弥, 横山清子, 松河剛司. モーションキャプチャで測定した動作情報の可視化についての検討. 電子情報通信学会技術研究報告 = IEICE technical report : 信学技報, Vol.
114, No. 25, pp. 113–118, 05 2014.
本田 拓二七澤 朱音. 運動のリズムを重視した体育学習がもたらす効果に関する研究. 体育科教育学研究, 30 巻 2 号,
pp. 1–11, 2014.
Yoko Usui, Katsumi Sato, Shinichi Watabe, and Erina
Yanagida. Vr teaching materials for dance practice. In
2019 8th International Congress on Advanced Applied
Informatics (IIAI-AAI), pp. 178–183, 2019.
文部科学省. 新学習指導要領に基づく中学校向け「ダンス」
リーフレット, 2011.
Jen-Shuo Liu, Barbara Tversky, and Steven Feiner. Precueing sequential rotation tasks in augmented reality. In
28th ACM Symposium on Virtual Reality Software andTechnology, pp. 1–11, 2022.
Yu Sun, Wu Liu, Qian Bao, Yili Fu, Tao Mei, andMichael J. Black. Putting people in their place: Monocular regression of 3D people in depth. In IEEE/CVF
Conf. on Computer Vision and Pattern Recognition(CVPR), June 2022.

© 2023 Information Processing Society of Japan

976