情報処理学会 インタラクション 2019
IPSJ Interaction 2019

3B-19
2019/3/6

ダンスにおけるアイソレーション練習支援システム
土居将史†

塚田浩二†

概要：ダンスにおいて，体の一部のみを動かす「アイソレーション」という動作がある．この動作は多くのダンスジャンルの基礎になるため重要である．しかし初級者などの知識が乏しい者が，鏡を見ながら練習しても，「アイソレーション」が上手に出来ているのかの判断が難しい．本研究では，ダンス初級者が一人でも利用可能な，「アイソレーシ
ョン」の練習支援システムを提案する．練習者は，軸となる箇所（例: 胸）にスマートフォンを専用の固定具で固定し，可動させる箇所（例: 頭）にスマートウォッチを固定する．この状態でアイソレーション動作を行うことで，両デバイスのモーションセンサ等から，軸のぶれや可動部の動きを計測し，振動等で練習者にフィードバックする．本
論文では，提案のコンセプト／実装，及びモーションキャプチャを用いた予備実験について述べる．

1. 背景と目的理解しやすいように試みた．
山内ら[2]は，Kinect とワイヤレスミニマウスを用いて初ストリートダンスの上達のためには，基礎動作の練習が心者のためのダンス練習支援システムを開発した．この研重要である．ストリートダンスの基礎動作の一つとして，究では，Kinect でユーザーの各関節の座標を求め，あらか「アイソレーション」（以下，「アイソレ」）という動作があじめ用意した見本の座標データと比較を行い，それらの座る（図１）．これは，体の一部のみ動かし，その他の部位を標が同じ領域にあれば「良い」と判定した．またワイヤレしっかり止めるという基礎動作である．しかし，ダンスのスミニマウスをビートに合わせてクリックしてもらい，ユ知識の乏しい初級者が一人で鏡を見ながら練習しても，アーザーがリズムを正確に取れているかどうかを判定した．

イソレができているかどうか判断するのは難しい．

田中ら[3]は，モーションキャプチャを用いたダンス上達

本研究では，初級者が一人でも利用可能な，スマートフ支援システムを開発した．この研究では，学習者のモーシ

ォンとスマートウォッチを中心とした，アイソレ練習支援ョンデータを取り，それをもとに簡易キャラクター（アバシステムを提案する．

ター）を生成した．さらに，予め用意されている上級者のデータと体や足の動き／顔の向き／リズムの取り方を比較できるようにした．アバターは，各部位が点表示された棒人間であり，正規化することによって体形差の解消を試みた．
藤本ら[4]はダンサーのステップに合わせて音が奏でられる，ウェアラブルダンシング演奏システムを提案した．
靴につけた小型無線加速度センサを用いて，ダンサーのステップを識別し，スクリプトを用いてステップ毎に音を割

図 1

アイソレーションの一例．腰や首を固定しつつ，胸を左右に動かしている．

り当てる仕組みである．
土田ら[5]は，自分のダンス動画から，その動作にあったダンス楽曲を検索できる楽曲検索システム，「 Query-by-2. 関連研究
本章では，本研究に関連する研究事例を紹介する．
武井ら[1]は，ダンス未経験者の教師が，ロックダンスの技をしっかり理解・納得した上で自らの上達と生徒に効果的に指導できる，ロックダンス指導の支援システムを構築した．この研究では，熟練者のダンスの基礎技を行なった動画を撮り，その動画を別の熟練者が見て，技のコツを回答してもらう．それらをもとに解説付きの 3D モデルを手Dancing」を提案した．自分のダンス動画から，OpenPose ライブラリを用いてポーズ（姿勢）とモーション（動作）を抽出し，類似したポーズ／モーションを含むダンス動画を検索する．ここで，ダンス動画に付けられた楽曲を参照することで，自分のダンスに適した楽曲を検索できる仕組みを提案した．
本研究では，ダンスの基礎動作であるアイソレのトレーニングに焦点をあて．

動で作成し，ダンスの基礎技を行う際の「体の使い方」を† 公立はこだて未来大学
Future University Hakodate© 2019 Information Processing Society of Japan773

情報処理学会 インタラクション 2019
IPSJ Interaction 2019

3B-19
2019/3/6

3. 提案について述べる．

本研究ではダンス初級者を対象に，アイソレ動作の上手さをウェアラブルセンサで検出し，リアルタイム／振り返り形式のフィードバックを与えることで，アイソレ練習を支援するシステムを構築する．
具体的には，スマートフォンとスマートウォッチを中心とした入出力システムを構築する（図 2）．まず，アイソレの動きに応じて，「可動する場所」「軸となる箇所」にスマートウォッチとスマートフォンを装着する．ここで，両デバイスのモーションセンサを用いて，可動部と軸部の動きの差分を検出し，「軸の安定性」「可動部の動き方（移動量／なめらかさ等）」を評価軸とする．こうした評価結果をリアルタイム／振り返り用にスマートフォンから通知することで，アイソレーションの練習を支援する．具体的には，軸のぶれや可動方向のずれ等の情報はリアルタイムに振動等で通知し，可動部の変化量等は練習後にスマートフォンでグラフ化して提示する．フィードバックの流れを図 3 に示す．

4.1 ハードウェア
プロ ト タ イプ の ハ ード ウ ェ アは ， ス マー ト フ ォン にAndroid 端末である Moto G Plus (5th Gen.)，スマートウォッ
チに Wear OS by Google の端末である ASUS Zen Watch を使用した．アイソレの動作検出には，それぞれに内蔵されている 3 軸加速度センサ／3 軸ジャイロセンサを使用した．
また，リアルタイムでフィードバックを返すために，それぞれの振動モーターを使用した ＊1．
またスマートフォン，スマートウォッチを身体に固定する器具を作成した（図 4）．アイソレは首／胸／腰等複数の部位で行う可能性があり，デバイスの装着部位が変化する．
そこで，スマートウォッチにはキャップ型／バンド型の 2種類，スマートフォンにはバンド型の 1 種類の固定具を用意した．バンド型の固定具は長さの調整が可能であり，胸や腰にフィットするように巻いて利用することができる．
キャップ型の固定具は，正面にスマートウォッチをはめ込む固定具を用意しており，かぶるだけで利用できる．なお，各固定具は，3D プリンターを用いて ABS 樹脂で自作した．
利用時の一例として首のアイソレ時の固定具使用方法を図5 に示す．

加速度／ジ ャ イ ロ セン サ
→可動部の動き を 取得

加速度／ジ ャ イ ロ セン サ
→軸部の動き を 取得

リ ア ルタ イ ムに振動（ 可動方向のずれ等

リ ア ルタ イ ムに振動
（ 軸のぶれ等）測定データ を保存

振り 返り 用にグラ フ 化

図 2システムの構成

図 4

スマートウォッチ（頭用／胸用）とスマートフ
ォンの固定具振動でフ ィ ード バッ ク

測定グラ フ によ る
振り 返り
練習後

練習中

図 3

システム全体の流れ

4. 実装
ここでは，プロトタイプのハードウェア／ソフトウェア
図 5＊1 当初は AppleWatch と iPhone での実装を検討したが，スマートウォッチが自動的にスリープモードになる問題が解決困難だったため，Android© 2019 Information Processing Society of Japan

本システムの使用例（首のアイソレ用）端末を利用することにした．

774

情報処理学会 インタラクション 2019
IPSJ Interaction 2019

4.2 ソフトウェア
プロトタイプのソフトウェアは，Java を用いて Android

3B-19
2019/3/6の後モーションキャプチャから得た，各部位の Position（以下，「座標」）データをグラフ化し，検証を行った．

／Wear OS 用のアプリをそれぞれ実装した．
まず，データの記録について述べる．スマートウォッチ
で可動部の動きを加速度センサ／ジャイロセンサで取得し，スマートフォンに随時 Bluetooth 経由で送信する．スマートフォンでは，軸部の動きを加速度センサ／ジャイロセンサで取得しつつ，スマートウォッチからのセンサデータと合わせて CSV 形式で保存する．計測終了後，CSV データはクラウドサービス Firebase のストレージにアップロードされ，PC 等他の端末などからも利用できるよう配慮する．
次に，リアルタイムのフィードバックについて述べる．
リアルタイムのフィードバックは，「可動方向のずれ」「軸部のぶれ」といった単純な動作に焦点をあてているため，システムの応答性も勘案して閾値ベースで判定を行う．後図 6

モーションキャプチャによる予備実験の様子

述するような予備実験を通して初級者／上級者のアイソレのデータを取得し，適切な閾値を設定する．加速度センサ／ジャイロセンサの入力が特定の閾値を超えると，可動部5.1.2 結果と考察のずれはスマートウォッチの振動として，軸部のぶれはス

ここではスペース等の関係から，一部の結果のみを述べマートフォンの振動として通知される．なお，初級者にとる．首のアイソレ時の可動部，軸部の座標 X の値の変化をっては閾値を厳しくしすぎると常時通知されてしまう可能

グラフ化したものを図 7 に示す．X 座標を取り上げたのは，性があるため，上達具合に応じて閾値を調整できる機能を左右に首を動かすアイソレを行ったため，最も特徴が表れ用意する．

やすかったためである．

最後に，振り返りのフィードバックについて述べる．振り返りのフィードバックは，ユーザ自身のアイソレ時のモーションデータをスマートフォン上でグラフ化して表現することができる．ここでは，過去の自分のデータや上級者のデータを同時に表示して，比較する機能を用意する．さらに，上級者と比較した際のデータの差分から，アイソレの上手さを指標化して表示したり，苦手な部分を強調表示したりする機能の実装を進めている．

5. 予備実験
本章では，モーションキャプチャによるアイソレ動作の予備検証と，本システムを用いたアイソレ動作の予備実験について述べる．
5.1 モーションキャプチャによる検証実験
5.1.1 目的と手法
本システムで利用するアイソレの上手さの判定基準の参考とするために，予備実験を実施した．この実験では，モーションキャプチャにより，ダンス経験が長い上級者とダンス経験が浅い初級者で，モーションキャプチャから得たデータに違いが出るかどうかを検証した．被験者の詳細は
表 1 に示す．
実験方法としては 8 ビートのリズムに合わせて，首，胸，図 7

首のアイソレにおける可動部（頭）（上）と軸部（胸）（下）の座標 X

腰の 3 種類のアイソレを左右に 10 秒間行ってもらう．そ© 2019 Information Processing Society of Japan775

情報処理学会 インタラクション 2019
IPSJ Interaction 2019

3B-19
2019/3/6

年齢

ダンス歴

ジャンル

上級者

21

3年

poppin’

初級者

18

1 年未満

breakin'表 1

モーションキャプチャ実験の被験者データ

まず，可動部の結果を述べる（図 7 上）．赤い四角内に注目すると，上級者の方が初級者のグラフよりも最高値／最低値の付近での持続時間が長いことが分かる．これは，初級者よりも上級者の方が，アイソレがスムーズに行えており，アイソレの最大可動域に達した際に，しっかり止めることが出来ているためだと考える．さらに図 5 の矢印から上級者の方が初級者よりも，グラフの最大値と最小値の差が大きいことが分かる．これは，初級者よりも上級者の方がアイソレの可動域が広いことを示すと考える．
次に軸部の結果について述べる（図 7 下）．矢印に注目す
ると，上級者の方が初級者よりもグラフの最大値と最小値の差が小さかった．この結果から，初級者より，上級者の方が軸のぶれが小さく，しっかり固定できていると考えることができる．
このように，上級者と初級者に対して，アイソレの技術の差を定量的に計測できることを確認した．
図 8

5.2 本システムによる予備実験

首のアイソレにおける可動部（上）と軸部（下）の加速度 Y

5.2.1 目的と手法
本システムで扱う加速度センサにより，上手さの判断基準として利用可否を確認するため，本システムを使用した立ち上がり／立ち下がりが早く，素早く最大値／最小値付予備実験を実施した．
被験者は，ダンス上級者二人，ダンス初心者二人である．
被験者の詳細は表 2 に示す．実験方法としては，首の左右のアイソレを対象として，スマートフォンを胸／スマートウォッチを頭に固定具で装着する．次に，8 ビートのリズムを提示して首のアイソレを 10 秒間行ってもらう．その後，スマートフォンとスマートウォッチで被験者のアイソレ時の加速度データを取得／グラフ化して検証を行った．

年齢

ダンス歴

ジャンル

上級者

21

2年

lock

初心者

22－－

表 2

まず，可動部の結果を述べる（図 8 上）．上級者は波形の本システムの予備実験の被験者データ

5.2.2 結果と考察
初心者／上級者について，首のアイソレ時の可動部／軸部の Y 軸加速度の変化をグラフ化したものを図 6 に示す．
今回は両デバイスが横向きに固定されており，左右に動かす際，Y 座標に大きく影響が出るため，Y 軸に大きく影響近に到達しており，合間に動きの少ない状態を挟む傾向が観察できる．これは，可動部の動きが素早く，かつ可動後にきちんと静止しているためであると考える．一方，初心者は波形の立ち上がり／立ち下がりが緩やかであり，常に動き続けている様子が観察できる．これは，可動部が漫然と左右に動き続けており，動きにメリハリがないためだと考える．
次に，軸部の結果を述べる（図 8 下）．上級者の波形は，可動部が動きに伴う小さいピークが見られるものの，概ね加速度は 0 付近を推移しており，軸部のブレが少ない傾向が確認できる．一方，初心者の波形は可動部と同様に常になだらかに動き続けており，ほとんど静止していないことが確認できる．
このように，加速度センサにおいてもアイソレ技術（可動部の動きの速さ／最大可動時の静止／軸部のぶれ）を検出できる可能性が示唆された．今後は，被験者数を増やしつつ，フィードバックに適切なパラメーターを調整していきたい．

が出るため，Y 軸に焦点をあてた．

© 2019 Information Processing Society of Japan776情報処理学会 インタラクション 2019
IPSJ Interaction 2019

3B-19
2019/3/6

6. まとめと今後の展望
本研究では，ダンスの知識の乏しい初級者でも一人で利用可能な，スマートフォンとスマートウォッチを中心とした，アイソレの練習を支援するシステムを提案した．練習者は，アイソレ時にスマートフォンを軸部に，スマートウォッチを可動部に装着する．システムでは，軸部／可動部の動きを加速度センサ／ジャイロセンサで記録しつつ，振動モーターを用いたリアルタイムフィードバック機能と，グラフを用いた振り返り支援機能を提供する．またモーションキャプチャや本システムを用いた予備実験により，アイソレの技術を定量的に計測できることを確認した．
今後は，評価実験を通してリアルタイムフィードバックの判定精度の向上，及び振り返り時の支援機能の効果の検証を進める．また，現状の固定具は着脱性が十分容易とは言えないため，一人で手軽に装着できるように改良を進める．

参考文献
[1]

[2]

[3]

[4]

[5]

武井拓郎，仲谷善雄，岡田大地．ストリートダンス未経験教
師のロックダンス教育を支援する，情報処理学会第 74 回全国大会講演論文集，2012(1)，pp.607-609，2012-03-06．
山内雅史，篠本亮，北原鉄朗．Kinect を用いたダンス学習支援システムの開発，情報処理学会第 75 回全国大会講演論文集，2013(1)，pp.895-896，2013-03-06．
田中佑典，齊藤剛．モーションキャプチャを用いたダンス上達支援システムの開発，情報処理学会第 75 回全国大会講演
論文集，2013(1)，pp.225-227，2013-03-06．
藤本 実, 藤田直生, 竹川佳成, 寺田 努, 塚本昌彦．ウェアラ
ブルダンシング演奏システムの設計と実装, 情報処理学会論文誌，Vol. 50，No. 12，pp. 2900-2909，2009-12.
土田修平，深山 覚，後藤 真孝．Query-by-Dancing: 身体動作の類似性に基づくダンス楽曲検索システム，第 25 回イン
タラクティブシステムとソフトウェアに関するワークショップ 2017 論文集, (Sep. 2018).

© 2019 Information Processing Society of Japan777