情報処理学会 インタラクション 2021
IPSJ Interaction 2021

1A12
2021/3/10

FreeDance:適応型ダンス練習継続支援システム
何 毅1

谷上 明日華1

鄭 暁潔1

彭 以琛1

吉田 匠吾1

謝 浩然1

金井 秀明1

宮田 一乘1

概要：継続的な運動は健康維持に必要である. 一方，モチベーションの維持を考慮した研究は稀少である．
本研究は，適応型ダンス練習支援システム FreeDance を提案し、ダンス練習の動機づけを促進する．そのため，三面壁型透明スクリーンを取り入れることで没入感の向上を図った．加えて，ユーザのダンスに対し動きの判定機能を設け，キャラクターからの応援インタラクションをユーザに伝えることを実現した．
また，ユーザが選択したキャラクターは，ユーザの動きに合わせ，ダンス速度を調整する．これにより，一面的なダンス指導ではなく，ユーザの選好に合わせたダンス練習が可能となり，キャラクターと共にダンスを楽しむ環境を提供する．これらを考慮し，モチベーション向上の仕組みを取り入れ，ユーザは楽しみながらダンスを継続し，結果として健康維持が期待できる．

1. はじめに

これらより，モチベーションの向上を図る．結果として，心身共にユーザの健康維持ができることを期待する．

近年，ダンスは，義務教育での科目導入やアーケードゲー
ム，インターネット配信におけるダンス動画の普及により，触れる機会が多くなった．従来のダンス支援システム
は一面のスクリーンを利用し，ユーザと指導モーションを同時に表示させ, ユーザに動き方を提示する．これらの手法により，ユーザは基礎的な動作練習を行う．また，ダンス指導に対し，ユーザは受け身であることが多い．そのため，指導が一面的であることで，ダンスに面白さを感じることができず，モチベーションの継続がしがたい，ダンス練習に対するモチベーションが低下し，練習を断念してしまうことが多い．これらの問題点を解消するため，本研究
図 1では，適応型ダンス練習支援システム FreeDance を提案す

FreeDance 研究概念図る (図 1)．ダンス練習を継続的に行うためには，モチベーションの維持が重要である．ユーザが楽しいと実感できる要因を分析し，インタラクション機能を設計することで，ユーザのモチベーション維持を促進する．本システムは，2. 関連研究
2.1 ダンスの練習支援

インタネット上のダンス動画を活用し，ユーザの選好で練ダンス指導は主に指導者と対面で行われる．Trajkova

習曲の設定を行い，ダンス練習支援を提供する．また，３

ら [1] はリモートにおけるダンス指導の支援システムを提名のアドバイザーキャラクターを用いることで，高い没入案しており，自宅でバレエ練習を実現させた．Dayrit ら [2]

感が期待できる三面壁型スクリーンに投影する．加えて，はディスプレイに指導者とユーザの 3D モデルを並列に表ユーザの動きを評価し，ユーザに合わせてキャラクターの示させ，深度カメラでユーザの動きを抽出し，指導者の動ダンス速度が調整できる．そして，キャラクターがユーザきと比較するダンス支援を提案した．Anderson ら [3] はのダンスの動きに応じてアドバイスを提供する．具体的に鏡面スクリーンを設計し，スクリーンに深度カメラで抽出は，ユーザを励ますコメントをスクリーン上に表示するこしたユーザのスケルトンを投影することで，ユーザの動きとで，ユーザに楽しいと実感できるダンス体験をもたらす．

練習の支援を行った．それぞれの方法は事前に記録されたモーションデータを使用する．しかし，これらの練習手法

1

北陸先端科学技術大学院大学© 2021 Information Processing Society of Japan

では，没入感が高いとはいいがたい．一方，本研究では，

158情報処理学会 インタラクション 2021
IPSJ Interaction 2021

1A12
2021/3/10

ユーザを囲むように三面壁型スクリーンを導入することで，練習時の没入感を高めることを目指す．

2.2 プロジェクションマッピングによる活動支援
プロジェクションマッピングは制作や活動の支援で広く運用されている．制作支援の例として，Xie ら [4] は大規模なバルーンアート制作を簡易化し，目標としたモデルを各層ごとに分割し，キャリブレーションを行うことで，ユーザの制作を支援した．Peng ら [5] と Ajisaka ら [6] はプロ
ジェクションマッピング技術をもってドミノとルービック

図 3

三面壁型スクリーンキューブの操作支援を実現した．

3. システム概要

動画を利用し，初心者向けに収集を行った．ダンス動画から Alphapose[9] と 3d-pose-baseline[10] を利用して指定ダ

本研究は，ダンスによる健康維持に興味がある者などをンスの 3D ポーズを推定した．図 4 はインターネット上の対象に，ダンス練習が継続できる支援システムを設計した．

ダンス動画から推定した 3D ポーズの一部となる．これに継続的なダンス練習には，集中できる環境が重要であるとより推定した 3D ポーズで構成したダンスモーションは練仮定し，没入感を実感できるよう三面壁型スクリーンの製習用データとして使用する．

作を行った．このスクリーンにアドバイザーキャラクターをプロジェクターで表示させ，ダンス練習の支援を行った．
また，ダンスの評価手法を考案し，ユーザのダンス練習を支援することでモチベーションの向上を目指した．

3.1 システムのフレームワーク
FreeDance は，図 2 が示すように，インターネット上の配信動画から，ダンスデータを収集し，姿勢推定アルゴリ
ズムで 3D 姿勢のデータを推定する．推定したデータをア
図 4

ドバイザーキャラクターと連動させる．これにより，三面ダンスの動画から 3D ポーズを推定する

壁型スクリーンに投影させ，ユーザのダンス支援を行う．
また，MikuMikuDance (MMD)*1 のモーションデータとまた，リアルタイムでユーザの動きに対し判定を行った．

モデルデータも活用した．これにより，インターネット上に配布されたダンスの MMD モーションデータ，あるいはダンス動画を利用し，ユーザの選好を考慮することで，選択肢の幅を広げた練習支援ができる．

3.4 キャラクターの設定
三面スクリーンに３名のキャラクターを投影した．キャラクターは指導者としてダンス指導を行うのではなく，ア
図 2

システムのフレームワークドバイザーとして，ユーザの動きをリードする役目を果た
す．具体的には，キャラクター側がユーザの動きに合わせる設定を行った．よって，一面的な練習指導ではなく友人

3.2 三面壁型スクリーン
三面壁型スクリーンを用いることで没入感の向上を目指とダンスを楽しむ雰囲気を提示した．これにより，ダンス練習をゲーム感覚で楽しみながら行うことを実現した．

した．Ishii ら [7] と Takashima ら [8] の研究を参照し，パイプ６本とポリエチレンシートを用いて，組み立てを行い，3.5 リアルタイムダンス評価
リアルタイムによるユーザのダンス評価は，アドバイ

図 3 のように三面壁型スクリーンを製作した．

ザーキャラクターとユーザの動きのマッチング度の高さか

3.3 ダンスデータの収集
ダンスデータの収集手法は，インターネット上のダンス© 2021 Information Processing Society of Japan

ら判定を行う．そのため，マッチング度が高いほど，評価*1

https://sites.google.com/view/vpvp/

159

情報処理学会 インタラクション 2021
IPSJ Interaction 2021

1A12
2021/3/10

点数は高くなる．評価のアルゴリズムは深度カメラを利用して実装を行った．またユーザのモチベーション維持を考慮し，評価点数を表示せず，アドバイザーキャラクターからのコメントを表示した．評価点数の範囲は 0-1 とし，数値に応じて，アドバイザーキャラクターの動きの速度と音楽の再生速度も変化する．ここで，Scoretotal を全体的な評価点数，v をアドバイザーキャラクターの動きの速度と音楽の再生速度とする．評価法を以下に示す．

2 Scoretotal は 5 秒ごとに平均値を計算して，速度 v の図 5 システムの全体像調整を行う．

2 Scoretotal >0.5，ユーザがキャラクターと動きが合わせたと合格判断し，v = 1．

2 0.3<Scoretotal <0.5，ユーザが動きに合わせづらいとし，v = 0.7．

4.1 スクリーン配置
三面のスクリーンの表面材料はポリッドスクリーン*2 を参考にし，ポリエチレンシートを利用した．スクリーンは
図 5 に示すように，高さは 180cm，横は 90cm であり，三面のスクリーンは同じ規格である．隣接するスクリーンの2 0.1<Scoretotal <0.3，v = 0.5．

間は 150° の角度をつける。実験によって、この範囲の角

2 Scoretotal <0.1，v = 0.3．
2 速度変化に応じて，アドバイザーキャラクターからコ度はもっともいい投影効果を得ることができる。

メントを表示する．

2 上記のすべての評価について合格の閾値は予備実験に4.2 実装環境て確定した．本研究は，ユーザのモチベーションを損本システムは，Unity 2018 を利用して開発を行った．三ねないため，評価におけるが合格の閾値を高く設置し面のスクリーンを配置して，3 名のアドバイザーキャラク

ない．上記の通り，一定の程度でキャラクターの動きターを投影する．三面のスクリーンは図 3 に示すようにとマッチングしたら，合格とする．この閾値はユーザ配置した．短焦点のプロジェクターを地面に置き，斜め上方向に投影を行う．その時，両側のスクリーンは中央のスによる調整は可能である．
本システムの目的は，ユーザにダンスを習得することだ
けではなく，ユーザがダンス練習を持続できるようモチベーションを維持することが目的である．ゆえに，評価基
準は動きのマッチング度だけではなく，リズムに合わせたクリーンと比べ，プロジェクターの投影方向に角度があるため，投影された画像が縦長に伸びる．ゆえに，両側スクリーンへ投影するキャラクターをスクリーン範囲内に収めるようにキャリブレーションを行う．

動きも考慮している．
評価点数はシステム上では Scoretotal として式 (1) のように計算する．

Scoretotal = αScoremotion + βScorerhythm .

(1)

ここで，Scoremotion と Scorerhythm は各ユーザの動きのマッチング度と音楽のリズムのマッチング度を表す．α図 6

枠線の四角を操作することで，投影したキャラクターのゆがみと β を 0.5 とし，ユーザによる調整もできる．例えば，αや位置の調整ができる．

を高く，β を低くすることで，動きに関して評価を厳格に設定し，ユーザの習得レベルの要望に合わせてダンス練習を行うことができる．

4. システム構築
システムの全体を図 5 に示す．プロジェクターとスクリーンの距離は 150cm である．また，プロジェクターの光がユーザの顔に直射しないよう，短焦点プロジェクター

EPSON ELPLP 87 を使用する．Kinect V2 をスクリーン

キャリブレーションは Processing で Keystone*3 を使用して行った，この操作は，スクリーン内に収めるようキャラクターの上下位置を調整する．投影の調整を図 6 に示
す．キャリブレーションを行った結果を図 7 に示す．
ここで，キャラクター以外の物体を背景に表示する場合、キャラクタに施した補正がそれらの物体にも適用され、不自然な印象を与えてしまう可能性がある．そのため、キャラクタの背景を黒一色にした．の前に置き，ユーザの動きを計測する．Kinect とユーザの*2

距離はおおよそ 150cm である．

*3

© 2021 Information Processing Society of Japan

Keystone でキャリブレーションを図のように行い，グリッド

http://polidscreen.com/start.html
http://keystonep5.sourceforge.net/160

情報処理学会 インタラクション 2021
IPSJ Interaction 2021

1A122021/3/10*8 と星野源の「恋」*9 とした．
キー」

実験において，「恋するフォーチュンクッキー」を選択した被験者は 4 名，「恋」を選択した被験者は 3 名であった．
具体的な評価内容を以下に述べる．

( 1 ) 事前に用意したダンス動画を被験者に選択させ，選択したダンス動画を閲覧しながら，ウォームアップさせる．

( 2 ) ユーザに，ダンス動画を見てダンスを約２分程度（曲の A Part）練習をさせる．

( 3 ) ユーザに，FreeDance を利用して同じダンスを約２分
図 7程度（曲の A Part）練習をさせる．

キャリブレーションを行った結果．

( 4 ) ユーザにアンケート票を記入し，システム評価を実施する．

5.2 被験者調査
被験者のダンス経験とダンス環境等についてアンケー
ト調査を実施した．被験者のダンス練習の頻度は，年間に全く行わない者が 6 名，月一回行ったことある被験者は 1
図 8

Unity でキャラクターとユーザの配置シーンである．カメラ

名．被験者全員はダンスを継続していないことが調査からはユーザ視点で配置され，側面の動きを見えるようにした.

わかった．また，対面とオンラインの指導では，対面指導

また，Unity のヴァーチャルカメラを図 8 のように三面にキャラクターを配置した．ユーザを原点としてキャラク
ターに 70° 角度をつけて表示し，両側の面からも動きが見えるように工夫した．本システムが利用したキャラクターのモデルはインターネット上で配布された UnityChan*4 ，初音ミク*5 と鏡音リン*6 *7 のモデルである．

を受けたい者は６名，オンライン指導は１名となった．さらに，指導の動きを見ながらダンスができる者と指導の動きを見てもダンスはできない者は各 3 名であった．また，動きを見る以外，詳しい説明を聞きながらダンスができる者は 1 名であった．

5.3 比較実験の結果

5. 評価実験
本システムの有効性を検証するため評価実験を実施した．評価実験では，本システムを使用した場合としない場合について比較実験を行った．評価の目的は，ユーザがダンス練習を行うことで，楽しさを感じ，モチベーションのFreeDance システム全体機能を実施し，アンケート調査を行った．調査結果は，ダンス動画を見ながら練習することが楽しいと感じた者は全体の 14.3%（1 人），FreeDanceを利用して同じダンスを練習するほうが楽しいと感じた者
は 85.7%（6 人）であった．

維持に寄与できたかの検証である．アンケート調査では，本システムの評価について調査した．

5.1 インターネット動画によるダンス練習との比較実験
本実験では，7 名の被験者（男性 5 名，女性 2 名）が，事前に用意したダンス曲を選択し，選択した動画を閲覧しながら，ダンス練習を実施する．同様の曲で本システムを使ったダンス練習を体験してシステムの有効性を評価した．
本研究の対象者はダンスの初心者，あるいは未経験者
図 9 ユーザが FreeDance を利用してダンス練習をする様子のため，認知度が高く，練習しやすいダンスを選定した．
実験用ダンス曲を AKB48 の「恋するフォーチュンクッ
*4*5
*6
*7

Unity Technologies Japan の オ リ ジ ナ ル キ ャ ラ ク
ター.https://unity-chan.com/
制作者：よっさん. https://piapro.jp/t/QcRy?f=KPU3
制作者：む〜ぶ. https://piapro.jp/t/gg-6
ク リ プ ト ン・フ ュ ー チ ャ ー・メ デ ィ ア 株 式 会 社 の キ ャ ラ ク
ター.https://ec.crypton.co.jp/pages/prod/virtualsinger© 2021 Information Processing Society of Japan

図 9 に被験者が本システムでダンス練習を行った様子を「 恋 す る フ ォ ー チ ュ ン ク ッ キ ー 」練 習 用 の 動 画
https://www.youtube.com/watch?v=SLsT2eaS SM ，モーションデータ配布者：青蓮*9 「恋」
練習用の動画 https://www.youtube.com/watch?v=AovsISrqa0，モーションデータ配布者：むつごろう*8161

情報処理学会 インタラクション 2021
IPSJ Interaction 2021

1A122021/3/10

をしたい者は 7 名うち 6 名となり，結果として，本システ示す．

ムはユーザに没入感をもたらし，ユーザのモチベーション

5.4 システム全体の評価
FreeDance を使用し，ユーザ体験についての五段階評価アンケートを実施した．アンケート結果は図 10 に示す．

を向上させることを確認した．よって，FreeDance を利用したダンス練習はモチベーションを維持しながら，継続的にダンス練習できる可能性が高いと期待できる．

6. まとめ本研究では，ダンス練習の意欲や継続および，モチベーションを向上するための適応型ダンス支援システム FreeDanceを提案した．従来のダンス支援システムでは実現できなかったユーザが楽しんで練習を継続できるインタラクション機能を取り入れることで，ダンス支援システムを実現できた．また，評価実験では，アンケート調査結果によって，このシステムの有効性を証明できた．これらを踏まえて，今後の課題もいくつがあげられた．本研究はスクリーンの後方から，ユーザの正面に動画を投影している．短焦点のプロジェクターを使うことによりシステム配置エリアの面積を減少することはできたが，空間の広さに応じた対応は
図 10 評価実験アンケート結果実現できていない．また，正面から投影することで，稀にユーザの目に照射される可能性があるため，ダンス練習に

図 10 はすべての被験者に対し，本システムを評価した支障が出ることがある．これを解消するために，頭上からアンケート結果の平均値である．五段階評価で，A から E

スクリーンへ投影する，或いはスクリーンに加工処理を施までの質問は以下となる．

し，強い光線を遮断することでこれらの問題を解消してい2 質問 A：本システムに没入感を実感することができきたい．加えて，ユーザとキャラクターのインタラクショ

たか2 質問 B：キャラクターと共にダンスを行うことは楽しいか

2 質問 C：キャラクターからの応援メッセージは励みになったか

2 質問 D：キャラクターをダンス練習仲間として意識できたか．

2 質問 E：もう一回 FreeDance を使ってダンス練習したン機能とコミュニケーションは文字表示などにとどまっている．そのため，今後はアドバイザーキャラクターに仲間意識が芽生えるような仕組みを取り入れ，機能を充実させていきたい．また，ダンス練習のモチベーション向上に着目しているが，ダンスの分割練習，振り返り機能を付与することで，練習支援の機能も強化できると想定している．
これらの課題に対し，より高いモチベーションの向上効果を図り，ダンス教育での利用を期待する．

いか．
調査結果では，FreeDance のユーザ評価として，楽しくダンスを行うことができたとの回答が高い結果となった．

参考文献
[1]

また，三面壁型スクリーンを使用したことで，没入感を実感できたとの回答は高い．アンケート結果による，質問 Aに没入感を実感した者は 7 名うちの 5 名，質問 B に対し，

[2]

楽しいと感じた者は 7 名うちの 6 名．本研究の目的であるシステムに対する没入感とキャラクターと共に楽しみながらダンス練習を行えることが明らかになった．一方，応援メッセージはユーザの動きを評価し，自動的にアドバイザーキャラクターの速度を調整する機能として効果はあっ[3]

たものの，質問 C においては，練習の励みになる効果がある場合とない場合の回答は半々であり，期待通りの結果に繋がらなかった．また，質問 D では 7 名のうち 5 名がキャラクターをダンス仲間として認識できたと回答が高かった．
質問 E においては，本システムを再び利用してダンス練習© 2021 Information Processing Society of Japan[4]

Trajkova, M. and Cafaro, F.: E-ballet: designing for remote ballet learning, Proceedings of the 2016 ACM International Joint Conference on Pervasive and Ubiquitous Computing: Adjunct, pp. 213–216 (2016).
Dayrit, F. L., Kimura, R., Nakashima, Y., Blanco, A.,
Kawasaki, H., Ikeuchi, K., Sato, T. and Yokoya, N.:
Remagicmirror: Action learning using human reenactment with the mirror metaphor, International Conference on Multimedia Modeling, Springer, pp. 303–315(2017).
Anderson, F., Grossman, T., Matejka, J. and Fitzmaurice, G.: YouMove: enhancing movement training with
an augmented reality mirror, Proceedings of the 26th annual ACM symposium on User interface software andtechnology, pp. 311–320 (2013).
Xie, H., Peng, Y., Chen, N., Xie, D., Chang, C.-M. andMiyata, K.: BalloonFab: Digital fabrication of largescale balloon art, Extended Abstracts of the 2019 CHI162

情報処理学会 インタラクション 2021
IPSJ Interaction 2021

[5]

[6]

[7]

[8]

[9]
[10]

1A12
2021/3/10

Conference on Human Factors in Computing Systems,
pp. 1–6 (2019).
Peng, Y., Mishima, Y., Igarashi, Y., Miyauchi, R.,
Okawa, M., Xie, H. and Miyata, K.: Sketch2Domino:
Interactive Chain Reaction Design and Guidance, 2020
Nicograph International (NicoInt), IEEE, pp. 32–38(2020).
Ajisaka, S., Hara, S., Matsuchi, M., Luo, S., Yoshida, S.,Xie, H. and Miyata, K.: Learning Rubik’s Cube throughUser Operation History, 2020 Nicograph International(NicoInt), IEEE, pp. 43–46 (2020).
Ishii, A., Tsuruta, M., Suzuki, I., Nakamae, S., Suzuki, J.
and Ochiai, Y.: Let Your World Open: CAVE-based Visualization Methods of Public Virtual Reality towards aShareable VR Experience, Proceedings of the 10th Augmented Human International Conference 2019, pp. 1–8(2019).
Takashima, K., Oyama, T., Asari, Y., Sharlin, E., Greenberg, S. and Kitamura, Y.: Study and design of a shapeshifting wall display, Proceedings of the 2016 ACM Conference on Designing Interactive Systems, pp. 796–806(2016).
Fang, H.-S., Xie, S., Tai, Y.-W. and Lu, C.: RMPE:
Regional Multi-person Pose Estimation, ICCV (2017).
Martinez, J., Hossain, R., Romero, J. and Little, J. J.:
A simple yet eﬀective baseline for 3d human pose estimation, ICCV (2017).

© 2021 Information Processing Society of Japan

163