WISS2012

ダンスパフォーマンスにおける自走型スクリーンを用いた隊形練習支援
土田 修平

寺田 努

塚本 昌彦∗

概要. 近年，ダンススタジオの増加やキッズダンスの流行など，ダンスパフォーマンスによる身体表現能力やリズム感の向上に注目が集まっている．ダンスの初心者でも大人数でダンスパフォーマンスを披露する機会が増えているが，複数人でのダンスパフォーマンスでは音楽と振り付けが上手くリンクしているものであっても，隊形が崩れているとダンスパフォーマンスとしての質が大幅に低下してしまう．そのためダンスパフォーマンスにおいて，隊形の練習は振り付けの習得と同様に重要な要素となっている．隊形を上手く魅せるためには，バラつきなく人との間隔を保つことと，次の隊形へスムーズに移行することを意識しなければならない．しかし練習の際に一人でもダンサーが欠ければ，隊形の適当な間隔を掴む事が困難となる．そこで本研究では，隊形練習において一部のダンサーが欠けてもスムーズに練習を行うための自走型スクリーンを用いたダンス練習支援システムを提案する．システムの提案にあたって，一人で踊る際，自走ロボットと踊る際，プロジェクタ映像と踊る際の 3 つの隊形の練習方法において実際にダンサーと二人で踊った際の感覚に近いかを調査した．その結果から，プロジェクタ映像と踊る際が最も二人で踊る際の感覚に近く，自走ロボットと踊る際が最も二人で踊る際の位置の再現性が高いことを確認した．これら 2つの手法を組み合わせることで現実に近い練習が行える．

1

はじめに

近年，ダンススタジオの増加やキッズダンスの流行など，ダンスパフォーマンスによる身体表現能力やリズム感の向上に注目が集まっており，ダンスの初心者でも大人数でダンスパフォーマンスを披露する機会が増えている．複数人でのダンスパフォーマ
ンスでは，音楽と振り付けが上手くリンクしているものであっても，隊形が崩れているとダンスパフォーマンスとしての質が大幅に低下してしまう．
ダンスパフォーマンスを上手く魅せるためには，バラつきなく人との間隔を保つことと，次の隊形へスムーズに移行することを意識しなければならない．
しかし練習の際に一人でもダンサーが欠ければ，隊形の適当な間隔をとることが困難となる．これまでにダンスパフォーマンスを支援する様々な研究が行われている．モーションキャプチャ技術を用いた手法 [1, 2] や慣性センサを用いた手法 [3] など振り付けの習得を支援するものが挙げられる．しかし，隊形練習に着目した研究は行われていない．そこで本研究では，自走ロボットを用いて人に近い存在感を提示しダンサーが欠けても隊形の練習ができるシステムを提案する．提案システムでは，人間のように俊敏な移動が行える自走型スクリーンに欠けたダンサーを投影することにより，欠けたダンサーに近い存在感を提示し，ダンサーと一緒に踊っているかのような感覚を与える．また，考えられる隊形の練習∗

Copyright is held by the author(s).
Shuhei Tsuchida and Masahiko Tsukamoto, 神戸大学
大学院工学研究科, Tsutomu Terada , 神戸大学大学院工学研究科 / 科学技術振興機構さきがけ

方法毎に提示される異なった存在感によって，実際にダンサーと二人で踊る際の感覚に近かったかを評
価実験により検証する．以降，2 章では関連研究について述べ，3 章では隊形の練習方法を列挙し，本研究の基盤となる自走型スクリーンを用いた隊形練
習支援システムの要件，隊形練習方法の評価実験の結果と考察，システム機能，構成について詳細に述べる．4 章では本システムの実装を行い，最後に 5章でまとめを行う．

2関連研究

近年，ロボティクス技術の進展に伴い人と踊る様々なロボットが開発されている [4]．小菅ら [5] が開発した社交ダンスパートナロボット「PBDR (PartnerBallroom Dance Robot)」は社交ダンスに必要な動きを実現するための様々な機構が組み込まれている．このシステムは社交ダンスに特化しており，ストリートダンスパフォーマンスのような複数人での激しい動きや振りを行うダンスは考慮していない．中村ら [6] は教示映像を常に被験者の前に表示させる，さらに映像のみでは表現できない奥行きをロボットによって表現するダンストレーニングシステムを開発した．実際の移動の距離をロボットについていくことによって学ぶことができる．しかし，ロボットと対面して踊るため実際にダンサーと隊形を組んで踊るような本番に近い感覚は得られない．

WISS 2012

図 1. 考えられる隊形練習手法

3システム設計

3.1

隊形練習方法通常のダンスの練習では，ダンサー全員が揃っている状態で鏡を見ながらの練習を行う．隊形練習において一部のダンサーが欠けた場合，それを補う手法として以下の 3 つが考えられる．

• あらかじめ撮影しておいた参考となる動画を見ながら踊る手法

図 2. OMNIKIT2010• プロジェクタを用いて欠けているダンサーを投影することによって欠けているダンサーとの感覚を掴む手法• 人間と同じ速度で移動する自走型ロボットを用いて，欠けているダンサーが存在するかのように感じさせる手法
本研究では，この中で最も存在感が感じられると思われる自走ロボットを用いた手法を実現する．

3.2

システム要件

これまでに述べた関連研究では主に振り付けの習得，生成を支援したものであるが，本研究では隊形に重点をおいた練習支援を提案する．ダンサーが欠けた場合に人間に近い移動を行える自走ロボットを用いてダンサーに近い存在感を提示する．ここで，隊形練習支援システムを構築するためのシステム要件を以下に述べる．

• 人の動作に近い移動を自走ロボットがスムー

振り付けが揃っているかなどの実際に一緒に踊った場合に得られる情報の共有が必要である．
以上にあげた 2 つの要件が，ダンサーが欠けた場合に人に近い存在感を提示することによって隊形練習支援を行うシステムに求められる要件である．

3.3

隊形練習方法についての実験考えられるそれぞれの隊形練習手法 (図 1) において，実際にダンサーと二人で踊る際の感覚に近いかどうか評価した．被験者は 3 年以上のダンス経験をもつダンサー 9 名である．被験者には 8 拍 ×3 の約12 秒間の振りを参考動画をもとに覚えさせた．この振りには，提示される存在感による影響が大きいと考えられる以下の 3 つの要素が含まれている．

• 交差 ↑ ↓: 前後に交差するように移動する• 接近 → ←: すばやく相手と接近するズに行い，ダンサーが移動する位置を正確に再現する．

• 平行移動 → →: 一定の距離を保ちながら移ロボットの移動がスムーズに行われなければ隊形の移動に支障が出てしまう可能性がある．また，自走ロボットがスムーズに移動できても指定された位置に移動してくれなくては全体の隊形に歪みが出てしまい，意味のない感覚を得ることになってしまう．

実験はダンサーと二人で踊る際の感覚と一人で踊る，自走ロボットと踊る，プロジェクタ映像と踊る際の 3 つの場合を比較した．
実験 1 については，鏡を見ながら一人で踊ってもらった．実験 2 については，OMNIKIT2010(図 2)を付属の無線コントローラで操縦し，欠けているダンサーが存在するかのように感じさせる．実験 3 に• 実際にダンサーと一緒に踊っている感覚を得る．

動するダンスパフォーマンスにおける自走型スクリーンを用いた隊形練習支援

表 1. アンケートの質問項目

質問 1
質問 2
質問 3
質問 4
質問 5

前後の交差を行う時，ダンサーと踊る際の感覚に近かったか？
すばやくダンサーと接近する時，ダンサーと踊る際の感覚に近かったか？
横並びで間隔を保ちながら移動する時，ダンサーと踊る際の感覚に近かったか？
振り，動作はしやすかったか？
距離感を掴みやすかったか？

ついては，プロジェクタを用いて欠けているダンサーを壁に投影した映像を鏡越しに確認することで，欠けているダンサーとの感覚を掴ませる．実験 1，2，3 と「ダンサーと二人で踊る」をそれぞれ 3 回ずつ，計 12 回踊ってもらった．1 回踊り終える毎に，カメラを用いて取得したダンサーの位置を保存した．カメラとしては Microsoft 社の Kinect を用いた．実験後アンケートによる調査を行った．質問項目 (表1) は振りに含まれる 3 つの要素を考慮した 5 つであり，それぞれ 5 段階評価で評価してもらった．
また参考として自由コメント欄を設けた．

3.4

実験結果

アンケート結果を表 2 に，二人で踊る際とそれぞれの手法との位置のずれの平均を表 3 に，被験者 1，2 が移動した具体的な軌跡を図 3 に示す．
実験結果を基にどの手法が実際に二人で踊る際の感覚と移動に近いかの考察を行う．
回答の分散が手法間で同一であった質問 1 に関して，一元配置分散分析法を用いて平均値の差の検定を行ったところ，有意差は存在しなかった (p =0.112 > 0.05)．しかし，数値としては自走ロボッ
トと踊る際の評価が一番高かった．これはプロジェ
クタ映像には奥行きがなくわかりづらい上に映像に意識が向いてしまったこと，一人で踊る時には隣に合わせるものがないためわかりづらく鏡を利用しても奥行きについては感覚がわからないこと，また，前後の交差ではロボットにぶつかる心配が少ないた
めにロボットとの距離をとりやすかったことなどが原因として考えられる．今回の実験では有意差がなかったため，多くの被験者による実験を行う必要がある．自由コメント欄において被験者の一人は，一人でやるよりもロボットと踊る方が感覚を掴みやすいと回答していた．また，一人の方が踊る時に感覚を得やすいとした人は，頭の中で前と後ろで大きく動くという感覚が作られていたので，前後の際には一人でも一緒に踊っているようなイメージをしやすかったと回答している．
回答の分散が手法間で同一であった質問 2 に関して，一元配置分散分析法を用いて平均値の差の検定

図 3. 被験者１，２の移動の軌跡を行ったところ，有意差は存在した (p = 0.026 <0.05)．次に，それぞれの手法間においてシェッフェの方法を用いて平均値の差の検定を行ったところ，一人で踊る際とプロジェクタ映像と踊る際の平均値の差においてのみ有意差が存在した (p = 0.028 < 0.05)．
これは，一人で踊る際よりもプロジェクタ映像と踊る際の方がダンサーに接近する感覚に近いといえる．
また，数値としてはプロジェクタ映像と踊る際の評価が一番高いことがわかる．これは，横移動を行う
時に奥行きは関係ないこと，他の手法と比較して一緒に踊る人やロボットと衝突する心配がなく，最も適切な間隔をとりやすかったことが原因であると考えられる．また，自走ロボットと踊る際には，コントローラでの操縦となり常に一定のスピードでしか移動できないために，人の移動に合わせるため必然として不規則な動きをしてしまい注意が必要以上に向いてしまうこと，ロボットに高さがないため踏まWISS 2012

表 2. 評価アンケート集計結果

1 人で踊るロボットと踊る
プロジェクタ映像と踊る

質問 1
平均 分散
2.0
1.6
3.0
1.1
2.0
0.7

質問 2
平均 分散
1.7
0.4
2.7
2.2
3.2
0.8

質問 3
平均 分散
2.1
1.2
2.6
1.8
3.4
1.1

質問 4
平均 分散
3.8
1.7
2.0
1.6
4.1
0.8

質問 5
平均 分散
1.4
0.2
2.6
1.1
2.9
0.3

表 3. 二人で踊る際とそれぞれの手法との距離の平均 (mm)

被験者番号
1 人で踊るロボットと踊る
プロジェクタ映像と踊る

1207
202
254

2185
203
218

ないように意識が足元に向いてしまうことなどが感覚を掴みにくかった原因と考えられる．しかし，自走ロボットと踊る際の分散値が大きく，何人かは高評価を挙げていた．理由としては，実際にロボットが近づいてくるので，距離を意識しやすくダンサーと踊る際の感覚に近かったためであると考えられる．
さらに，原因としては，コントローラでの操縦であったために，スムーズに移動できることもあり，そこに評価の差が表れたのではないかと考えられる．また，一人で踊る際には，近づいてくるダンサーがいないために接近する感覚はほとんどなかったこと，ダンサーという基準がいないのでどの程度移動すれば良いかわからないことなどが低い評価の原因と考えられる．
回答の分散が手法間で同一であった質問 3 に関して，一元配置分散分析法を用いて平均値の差の検定を行ったところ，有意差は存在しなかった (p =0.090 > 0.05)．しかし，数値としてはプロジェクタ映像と踊る際の評価が一番高かった．原因としては，
質問 2 と同様であると考えられる．また，一人で踊る際には質問 2 の内容に加え，ダンサーという基準がなく歩幅を調整しようとする意識が低くなってしまったことが評価の下げる原因である可能性も考えられる．質問 2 と同様に今回の実験では有意差がなかったため，多くの被験者による実験を行う必要がある．また，質問 2 に比べて質問 3 のほうが一人で踊る際の評価が高くなっていた．これは，一人で大きく一歩を踏み出す際の方が不安が大きく，すばやく接近したり前後に交差するといった大きな動きに対して，横並びで移動という小さな動きでの細かな調整であったために，質問 2 よりも質問 3 のほうが感覚としての評価が高かったと考えられる．自走ロ
ボットと踊る際には，自走ロボットという基準があるために，大きく踏み出してすばやく接近することと，横並びで小さな動きで調整しながら移動することとでは，感覚の差がほとんど生まれなかったため，3353469532

4415
3605525363278306

6320
196
256

7570
481
280

8337
257
237

9281317469

評価が質問 2 とほぼ同様であったと考えられる．
回答の分散が手法間で同一であった質問 4 に関して，一元配置分散分析法を用いて平均値の差の検定を行ったところ，有意差は存在した (p = 0.003 <0.05)．次に，それぞれの手法間においてシェッフェの方法を用いて平均値の差の検定を行ったところ，自走ロボットと踊る際とプロジェクタ映像と踊る際の平均値の差においてのみ有意差が存在した (p =0.024 < 0.05)．これは，自走ロボットと踊る際よりもプロジェクタ映像と踊る際の方が振り，動作がしやすいといえる．また，数値としてはプロジェク
タ映像と踊る際の評価が一番高いことがわかる．隣に何もいないという状況は一人で踊る際と同様であるのに評価の差が出た原因としては，距離感の掴みやすさの違いが振りの踊りやすさにも影響したと考えられる (質問 5 参照)．また，踊っている映像を鏡越しに確認できるので，一緒に踊っているような感覚を得られたことも一因して挙げられる．一人で踊る際には，評価の分散値が高く評価が 2 極化した．
衝突する心配がないので振りや動作を大きく行えたと感じた人は評価を高め，見本となるものが見えないために不安に感じた人は評価を低くしている．また，一方ダンサーやロボットがいようが振り，動作への影響は感じないと答えた被験者が一人いた．これは，彼が普段からダンスショーを想定した練習よ
りも，個人で踊る場面を想定した練習を行ってきたことが原因と考えられる．自走ロボットと踊る際には，質問 2，質問 3 でも述べたようにロボットが不規則に動くためそちらに注意が向いてしまい，振りや動作がおろそかになってしまったこと，ロボットの動きが音にあっていなかったので踊りにくかった
こと，ロボットの音に気をとられたことなどが評価が低い原因として考えられる．
回答の分散が手法間で同一であった質問 5 に関して，一元配置分散分析法を用いて平均値の差の検定を行ったところ，有意差は存在した (p = 0.002 <ダンスパフォーマンスにおける自走型スクリーンを用いた隊形練習支援0.05)．次に，それぞれの手法間においてシェッフェの方法を用いて平均値の差の検定を行ったところ，一人で踊る際とプロジェクタ映像と踊る際の平均値の差においてのみ有意差が存在した (p = 0.006 < 0.05)．
これは，一人で踊る際よりもプロジェクタ映像と踊る際の方が距離感が掴みやすいといえる．また，数値としてプロジェクタ映像と踊る際の評価が一番高いことがわかる．原因としては，奥行きの距離感が掴みにくいとしても，質問 2，3 での評価が高く全体としては距離感を掴みやすかっためであると考えられる．一人で踊る際には，基準となるダンサーやロボットがいないために距離感が掴みにくかったた
め，評価は低かった．自走ロボットと踊る際については，質問 2，3 での評価がそのまま反映されたた
めか，評価は 2 極化した．
有意差がある質問 2，4，5 の結果から，ダンサーの感覚はプロジェクタ映像と踊る際が最も二人で踊る際に近いことがわかった．
次に軌跡情報についての考察を行う．3 回の実験で取得した二人で踊る際の軌跡情報と同じく 3 回の実験で取得したその他の手法で踊る際の軌跡情報のデータを総当たりの 9 通りでそれぞれ比較し，取得した軌跡情報の時刻に対して最も近い時刻毎の軌跡情報との距離を求めその平均を算出した．また，求めた平均距離を二人で踊る際とそれぞれの手法の組み合わせ毎に平均を算出した．算出した平均値が短い程二人で踊る際の軌跡情報と近似しているため，正しく位置取りができたといえる．表 3 の結果から，9 人中 4 人は自走ロボットと踊る際，3 人は一人で踊る際，2 人はプロジェクタ映像と踊る際が最も距離が短く，9 人中 5 人はプロジェクタ映像と踊る際，4 人は一人で踊る際が最も距離の平均が大きくなった．このことから，自走ロボットと踊る際が最も二人で踊る際の移動に近いことがわかる．一人で踊る
際とプロジェクタ映像と踊る際とではこの結果からはどちらがより二人で踊る際の移動に近いとは判断できない．
自走ロボットと踊る際は，実際の位置取りとしては最も正確に行なえていたことになる．これは一人で踊る際とプロジェクタ映像と踊る際では隣に何も存在するものはないが，自走ロボットと踊る際は実際に隣にロボットが存在するため，ロボットという基準ができて位置取りがしやすかったことや，質問2 のアンケート結果からもいえるようにダンサーと踊る際と同様に衝突しないように無意識に移動が制限されたことなどが考えられる．

3.5

システム機能アンケート結果，軌跡情報の考察から，感覚の類似性においてはプロジェクタ映像と踊る際が，位置の再現性においては自走ロボットと踊る際がそれぞれ二人で踊る際の感覚，移動に近いことがわかった．

図 4. システム構成

これらを踏まえて提案システムでは，3.2 節で述べた要求を満たすように下記の通り設計した．
1 つ目に人の動作に近い移動を自走ロボットがスムーズに行えるように，8 方向に移動可能で，モータの回転を細かく制御できる自走ロボットを用いる．
2 つ目にダンサーが移動する位置を正確に再現するために，Kinect を用いてリアルタイムでの位置情報を取得し補正する．補正のためにロボットの向きを知る必要があるため，スクリーン上の 2 点間の深度差から求められる Kinect と平行な面からの傾きをリアルタイムで取得する．また，大きなずれを防ぐためスクリーンの揺れを 6 軸モーションセンサで取得する．
3 つ目に実際にダンサーと一緒に踊っているような感覚を得るために，自走ロボットにスクリーンを搭載し，プロジェクタからあらかじめ撮影しておいたダンサーの映像を投影する．これにより，投影されたダンサーを鏡越しに確認ができるため前面にプロジェクションした際と同じ効果が得られ，また直接ロボットを見た際に，単なるロボットよりもリアリティが増すと考えられる．
これらを満たすシステムを実装することで，ダンサーが欠けても位置と感覚が二人で踊る際に近い，隊形練習支援を提案する．
システムの構成を図 4 に示す．参考となるダンサーの振り付け，位置情報をあらかじめ撮影，保存し，そのデータを基にロボットが移動できるようプログラミングを行う．システム全体の流れは以下のようになる．

(1) 参考となるダンサーの振り付けを撮影し，その際の位置情報を取得，保存しておく．

(2) 動画の再生に合わせて自走型スクリーンを移動させる．
ダンサーから得られた位置情報を基準として，位置WISS 2012とする．

S=

Z2 − Z1
X12(1)

また，現在地と目的の位置からずれた距離に応じて自動で自走型スクリーンを目的の位置へ戻す動作を行う．

5

図 5. 外観の補正を，リアルタイムで得られるスクリーンの向きから向きの補正を行う．参考となるダンサーの映像をスクリーンに投影し，鏡越しに振りを確認することができるため，一緒に踊っているような感覚が得られると同時に保存した位置情報を基に自走型ス
クリーンを移動させることで，ダンサーに近い存在感を得ることができるため，距離感を掴むことができると考える．

4

おわりに

本論文では，欠けたダンサーの代わりに自走ロボットを用いる，ダンスの隊形練習支援システムを提案した．隊形の練習方法において，実際にダンサーと二人で踊った際の感覚に近いかを調査し，提示内容によって隊形移動における他のダンサーとの間隔が変化することがわかった．
現在，音楽に合わせて自走型スクリーンを移動させることができていない．そのため今後の課題として，自走型スクリーンが遅れないよう移動速度を上げることが挙げられる．スクリーンがダンサーの移動と合わせることができれば提案手法が有効であるか調査する必要がある．また，有意差を出しやすくするめにも実験のデータ数を増やし，より隊形練習に近い 2 人以上での実験を行う必要もある．今後，複数台の自走型スクリーンを使用してより複雑な隊形練習支援を行うことや提示する存在感による振りなどへの影響を細かく調査することを目指す．

実装

実装したシステムの外観を図 5 に示す．自走ロボットとしては土佐電子社の OMNIKIT2010 に 6軸モーションセンサを取り付けたスクリーンを設置した．スクリーンは風の抵抗を少なくするために網戸のネットを用いた．さらにロボットには小型PC(SONY 社の VGN-UX90PS) を搭載している．
スクリーンの 3 次元位置を計測するメイン PC には，深度計測カメラ (Microsoft 社の Kinect)，プロジェクタ (BenQ 社の MP522 ST)，スピーカ (BOSE 社の Computer MusicMonitor) が接続されている．
アプリケーションは Microsoft Visual Studio 201
0 で，C ♯ を用いて開発した．アプリケーションの機能を簡単に説明する．小型 PC との Socket 通信と 6 軸モーションセンサとのシリアル通信を開始し，自走型スクリーンの現在地から目的地までの距離，Kinect と水平な方向を基準としたスクリーンの傾き，プログラムの現在の進行状況，目的地の X，目的地の Z の値をリアルタイムで表示する．Kinect と平行な面を X 軸としたスクリーンの傾き S を以下の (1) 式より求め，S を 0 に近付けるようスクリーンを回転させる．これによってスクリーンと鏡が平行になる．スクリーンに向かって左端の深度を Z1 ，右端の深度を Z2 ，2 点間の X 軸方向の距離を X12

参考文献[1] L. Deng, et al.: Real-Time Mocap Dance Recognition for an Interactive Dancing Game, 2011
IEEE Computer Society Conference on Computer
Animation and Virtual Worlds (CASA ’11) Vol.
22, pp. 229–237 (Apr. 2011).
[2] K. Hachimura, et al.: A Prototype Dance Training Support System with Motion Capture andMixed Reality Technologies, Proc. IEEE International Workshop on Robot and Human Interactive Communications (ROMAN 2004), pp. 217–222 (Sep. 2004).
[3] 林 貴宏, 尾内理紀夫: モーションキャプチャと加速度センサを用いた振りの練習支援, 電気学会論文
誌 E, Vol. 129, No. 6, pp. 173–180 (June 2009).
[4] 中村彰宏, 大林千尋, 柴田智広: ダンシング Roomba〜踊る掃除制御〜, 情報処理学会研究報告, Vol.
2011-EC-20, No. 10, pp. 1–6 (June 2011).
[5] K. Kosuge, et al.: Partner Ball-room Dance
Robot-PBDR-, SICE Journal of Control,
Measurement, and System Integration (SICE
JCMSI), pp. 74–80 (Jan. 2008).
[6] A. Nakamura, et al.: Multimodal Presentation
Method for a Dance Training System, Proc. of theSIGCHI Conference on Human Factors in Computing Systems Extended Abstracts (CHI ’05),
pp. 1685–1688 (Apr. 2005).