WISS 2019

DanceUnisoner: グループダンスパフォーマンス動画作成インタフェース
土田 修平 ∗ 深山 覚 ∗ 後藤 真孝 ∗概要. 複数人でのダンスパフォーマンス作成を支援するシステム DanceUnisoner を提案する．振付師が複数人のダンスパフォーマンスを考えるとき，頭の中でその振り付けを想像しつつ，鏡で自分の踊りを確認しながら具体化する．理想的には複数のダンサーが常に振付師の傍にいて，その場で振り付けを踊ってもらうことが望ましいが，現実的には難しい．そこで，複数人でのダンスのイメージを振付師 1 人でも検討・確認できるグループダンスパフォーマンス動画作成インタフェース DanceUnisoner を開発した．DanceUnisoner
では，ダンサー 1 人が踊っているダンス動画をコピー & ペーストの要領で三次元空間に配置していくこと
で，グループダンスの動画を手軽に作成できる．配置されたダンサーの位置やサイズ，その動作タイミングの調整を，スライダーやボタンなどの GUI 操作で簡単に行える Beginner Mode と，それらのパラメータをダンサーごとに細かく調整できる Professional Mode の 2 種類のインタフェースをもつ．振付師は，作成中のグループダンスの動画を繰り返し再生しながら，複数のダンサーの配置等をインタラクティブに調整して試行錯誤することで，グループダンスパフォーマンスの振り付けの検討・確認・共有ができる．

1

はじめに

複数のダンサーが一緒に踊るグループダンスのパ
フォーマンスを披露する機会は増えている．2015 年に株式会社ヤマハミュージックジャパンがダンスに関する意識調査を小学生の子どもがいる全国 1000
名（男女各 500 名）に対して実施した結果，親世代と子ども世代の習い事の変化として，ダンスを習っている割合が 2.7% から 12.5% に増加したことがわかった [2]．また，一般社団法人ストリートダン
ス協会は，ストリートダンス人口が 600 万人を超えたと発表した．日本高校ダンス部選手権 DANCESTADIUM では，参加チーム数が 2008 年の 47 チー
ムから 2018 年の 957 チームに，総動員数が 1,850
名から 47,520 名に増加した．
複数人でのダンスパフォーマンスを 1 人の振付師が考える場合，理想的にはダンサーの配置等の振り付けを確認するために，十分なスキルを備えた複数のダンサーが常に傍に待機していて，考えた振り付
けをダンサーが即座に習得してミスなく踊り続けてくれることが望ましい．しかし現実的には，十分なスキルをもった複数のダンサーを手配するのは容易ではなく，長時間待機して踊ってもらうのはコストがかかる．また，考えた振り付けを振付師自身が踊れても，その動きや立ち位置の移動等を他のダンサーに的確に伝えるには時間がかかる．ダンサーにとっても，ミスなく繰り返し踊るのは体力・精神的に難しい．そのため現状では，頭の中で全体のパフォー
マンスを想像しつつ，鏡の前で振付師自身が踊って確認しながら振り付けを考える必要がある．

∗

Copyright is held by the author(s).
産業技術総合研究所

グループダンスの振り付け作成を支援する方法として，紙とペンを用いる従来の方法に加え，いくつかのアプリケーション [1] や研究 [8] が既に提案されてきた．例えば，Schulz ら [7] は，モーションキャ
プチャで取得した動作情報を用いて，複数人のダンスパフォーマンス作成のためのオーサリング環境を提案した．しかし，モーションキャプチャのための特殊なデバイスや環境を準備する必要があり，手軽に利用できなかった．また振り付けを作成する段階
ではダンサーの動作が確定しているとは限らず，動作が変更されるたびにキャプチャするのは現実的ではない．振り付けの試行錯誤を可能にするには，ス
マートフォン等で手軽に動画撮影するだけで利用できる支援が望ましい．
そこで本研究では，1 人で踊っているダンス動画
から，複数人で踊ったかのようなダンス動画を手軽に作成できるインタフェース DanceUnisoner を提案する．振付師は，頭の中で想像するグループダン
スパフォーマンスの振り付けを使用楽曲に合わせて踊り，その動画をスマートフォン等で撮影する．次に，撮影した動画と楽曲を DanceUnisoner に入力すると，1 人のダンス動画が画面上で複製されて複数個並ぶ動画が表示され，グループダンス全体としてのイメージを確認できる．そして，表示されている各ダンサーの位置やサイズ，動作タイミングのずれを GUI 操作でインタラクティブに変更すること
で，様々な組み合わせを試行錯誤して素早く確認・修正できる．DanceUnisoner で作成したダンスパ
フォーマンス動画は，振付師にとって便利なだけでなく，実際に踊るダンサーに振り付けの全体像を直観的に伝える手段としても有用である．
本研究の貢献は以下の 2 つである．

WISS 2019

• ダンサー 1 人が踊っているダンス動画からグ
ループダンスパフォーマンスの動画を生成し，その全体像を確認しながら様々な変更・検討が可能な新たなインタフェースを提案した.

• グループダンスの人数や配置，向き，大きさ，
時間ずれを一括で容易に変更できるシンプルな GUI を提案して実装した．

2

関連研究

ダンスの振り付け作成を支援するツールはこれまで数多く提案されており，Alaoui らがそれら研究についてまとめている [3]. COMPOSE [6] など，アニメーションを活用した振り付け作成支援ツールが1990 年代前半に開発され，その後，モーションキャ
プチャを取り入れた手法 [4] やタブレットとスタイ
ラスペンを活用した手法 [5] などが提案されてきた．
上記の研究の多くは，ダンサー 1 人の振り付け作
成支援に主眼を置いており，グループダンスに着目した研究は少ない. そうしたグループダンスの振り付け作成支援のオーサリング環境は，Schulz ら [7]がモーションキャプチャを用いて実現した．これは，グループダンスの振り付け作成過程を細かく保存，編集，可視化する目的には適している．しかし，複数の構想段階の振り付けを限られた時間で多く試したい場合には，モーションキャプチャの利用は手軽と言い難い．我々の DanceUnisoner は，モーショ
ンキャプチャシステムのような特殊な装置が不要で，スマートフォン等の汎用デバイスで撮影した動画を利用できるため，様々な振り付けを試行錯誤しながら手軽に作成・確認できる特長を持つ．
振り付け作成支援を目的とはしていないが，深度データを活用したダンスパフォーマンスの動画編集シ
ステムが提案されている．栗原 [10] らは，Microsoftの Kinect で得られる深度情報と画像の色情報を組み合わせることで，ダンスパフォーマンスを立体的に表示する動画編集システムを提案した．このシス
テムでは，複数人によるダンスパフォーマンスを立体的に見せることに成功していた．一方で，深度センサを持つカメラが必要なため手軽ではなく，低解像度な点群表示となってしまうことから指先の動き
や服装の違いなどのダンサーの細かな振り付けや見た目を確認しずらいため，ダンスパフォーマンスの作成支援には適していなかった．

3

DanceUnisoner

本節では，DanceUnisoner の機能を紹介することで，1 人のダンス動画からグループダンスの動画を手軽に作成でき，インタラクティブに配置等を試
行錯誤しながら振り付けを効果的に支援できること
を述べる．

3.1

設計

グループダンスパフォーマンスの振り付けは，ダンサー 1 人の場合と違って考慮すべき要素が多い．
具体的には，ダンサーの人数，身長・体型，向き，ダンサー同士の位置関係，フォーメーション（陣形）の変化，ダンサーごとの振り付けの違い，動作タイ
ミングの違い等を考慮する必要がある．振付師は，頭の中でこれらを考慮してダンスパフォーマンスの全体像を想像しつつ，振り付けを作成している．その際，振り付けを試作する度に鏡の前で踊って確認することはできるが，複数のダンサーの動きは想像するしかない．
複数のダンサーの動きを想像して振り付けを作成
すると，それを実際にダンサーが踊ったときに異なる印象となってしまう問題が生じる．例えば，グルー
プダンスを正面から見たときに，ダンサー同士が予想外に重なってしまう問題が起きることがあるが，これは振り付け作成時には想像しづらい．また個々のダンサーの動きに意図的でない若干のずれが生じる場合に，全体像としてどのような印象になるのか
は，実際にダンサーに踊ってもらうまではわかりに
くい．さらにグループダンス特有の難しさとして，実際に複数のダンサーによって踊ってもらうことで初めて全体像が掴めるため，振り付けの試作から修正点の発見までの時間がかかりすぎ，十分な回数の修正作業をしにくいという問題もある．このようなグループダンスの振り付けに際しての難しさを軽減して支援するために，ダンス経験が豊富な第一著者の知見を活かしながら，以下の 3 項目を満たすように DanceUnisoner を設計した．

• パラメトリック：グループダンスの人数・身長や体型の違い・フォーメーション等の重要要素をスライダ等で手軽に変更できる．

• ビジュアル：三次元空間でカメラ視点を変えながらグループダンスを直観的に把握できる．

• インタラクティブ：振り付けの作成・記録・確認・修正のサイクルを速く，かつ容易に回せるインタフェースを備える．

3.2 入力データ
DanceUnisoner に入力するデータとして，ダンスパフォーマンスに使用する楽曲（例えば 4/4 拍子
で 16 小節程度のループ可能なダンス楽曲），振付師
自身やダンサー 1 人の踊りを撮影したダンス動画，
それを撮影した際の背景画像の 3 つを用いる．ダンスの録画では，モーションキャプチャや深度センサ
といった特殊なデバイスが不要で，スマートフォン
等の任意の汎用カメラを用いて，楽曲に合わせた踊りを撮影するだけでよい．背景画像も，ダンス動画
中のダンサーが映っていない画像を切り出して準備できる．このように，入力データはすべて手軽に準DanceUnisoner: グループダンスパフォーマンス動画作成インタフェース

図 1. 三次元空間にダンサーを配置した画面表示例．

図 2. ダンサー人数変更時の画面表示例．

備できるように設計した．

3.3 グループダンスの表現方法
1 人が踊っている動画を組み合わせてグループダ
ンスを表現するために，三次元空間の床の上に，入力ダンス動画を貼って立てた板（ビルボード）をコ
ピー & ペーストするように多数複製して違う場所に配置する．配置された全動画を楽曲と同期させてループ再生することで，あたかも複数のダンサーが同時に踊っているかのような可視化を実現する．可視化の例を図 1 に示す．この方法は，コンピュータグ
ラフィックスによるアニメーションでダンサーを表現する場合と比べて手軽な上，入力ダンス動画に含まれている服装の揺れや質感といった実際のパフォー
マンスの見た目を想像しながら振り付けがしやすいため優れている．動画加工による映像の歪みが生じることがあるが，振り付け作成支援の目的では許容できる範囲であった．

3.4

編集インタフェース

グループダンスの振り付けにおいて重要な，ダンサーの人数，位置，見た目，動作の 4 項目に着目し，それらを調整できるインタフェースを検討した．

3.4.1

ダンサーの人数

グループダンスではダンサー全員が常に舞台上で踊っていることは稀で，踊っている人数は変動する．
そのため，表示される（複製される）ダンサーの人数を容易に増減できるインタフェースが必要である．
そこで DanceUnisoner では，スライダ操作を行うだけで，表示人数を変更できるようにする．変更
すると，人数が増えた場合にはダンサーが複製されて新たに自動配置され，人数が減った場合には配置済みのダンサーが消える．ダンサー追加時には，ダンサーの間隔を一定に保つように配置され，配置後に全ダンサーの位置の平均が原点座標となるように，
全ダンサーが自動的に再配置されるようにする．これにより，ユーザはダンサーを配置・整列させる手

図 3. フォーメーション設定の画面表示例．

間を省け，簡単にダンサーの人数を変更できる．ダンサー人数を変更した際の画面を図 2 に示す．

3.4.2

ダンサーの位置

グループダンスではダンサーが単に横並びで踊るだけでなく，奥行きを伴う様々なフォーメーション（陣形) をとる．フォーメーションを作るには全ダンサーの位置を変更する必要があるが，1 人ずつ三次元空間に配置する作業は手間がかかる．そのため，ダンサーの人数に応じたフォーメーションを自動的に決定し，そのフォーメーションに沿ってダンサーが自動的に再配置されるインタフェースが望ましい．
DanceUnisoner では，フォーメーションの列数に着目し，スライダ操作で列数を指定するだけで，その列数に沿って自動的にダンサーが並べられるようにする（図 3）．その際に，前から見てダンサーが重なりにくいように，ダンサーの背後にいるダンサー
は，前列のダンサーの間から見えるように配置される．こうしてスライダ操作だけで，様々なフォーメー
ションのグループダンスを即座に作成できる．
さらにダンサーの間隔も，グループダンスの印象に関わる重要な要素である．実際，グループダンス
パフォーマンスを披露する際は，あらかじめ舞台の大きさを調査し，その大きさに合わせてダンサーのWISS 2019

図 4. ダンサーの間隔を変更した画面表示例．

図 6. ダンサーの向きを変更した画面表示例．

図 5. ダンサーの身長・体型を変更した画面表示例．

図 7. ダンサーの動作タイミングをずらした画面表示例．

間隔を入念に調整しておく必要がある．
ダンサーの間隔の指定では，原点座標を基準に，奥行き方向と左右方向の 2 種類の間隔を与える必要がある，DanceUnisoner では，縦軸が奥行き方向の間隔，横軸が左右方向の間隔を表す二次元平面上の1 点をクリックすると，その奥行きと左右の間隔を同時に指定できるインタフェース 2D pad（図 9 参照) を提案する．2D pad 上でドラッグ操作をする
ことで，画像をドラッグして拡大・縮小させるかのごとく，ダンサーのフォーメーションを連続的に拡大・縮小できる（図 4）．

3.4.3

ダンサーの見た目

人数と位置を調整した段階では，現実とは違って，見た目のサイズが全く同じ複数のダンサーが踊っているように見える．しかし実際には，様々な身長・体型をもったダンサーが存在し，それらはダンスパ
フォーマンスの印象にも影響を及ぼす．そのため簡単な操作でダンサーの見た目をばらつかせるインタ
フェースが必要である．
DanceUnisoner では，ユーザが設定した値の範
囲内で一様分布に従ってダンサーごとの乱数値を発生させ，それに基づいてそれぞれのダンサーの動画の縦横比を伸縮表示する．これにより，様々な身長・体型をもったダンサーが並んでいる様子を擬似的に表現できる（図 5）.

3.4.4

ダンサーの動作タイミング

グループダンスでダンサーの動作タイミングが揃うことは一般に望ましいが，実際には，わずかな揺らぎやずれが必ずある．そのため，動画のコピー &ペーストによって全ダンサーが一切のずれなく完全に同じ動作タイミングで踊ると，不自然な印象を与えてしまう．
DanceUnisoner では，まず，ダンサーの向きを変更するために，いくつかのダンサーの動画を左右反転表示する．ダンサーが交互に左右で向かい合うよ
うに設定できるほか，反転対象のダンサーの比率を設定することもできる（図 6）．次に，ダンサー間
で動作タイミングをわざとずらすために，ユーザが設定した値（例えば数十ミリ秒）の範囲内で一様分
布に従ってダンサーごとの乱数値を発生させ，それに基づいてそれぞれのダンサーの動画の再生開始時
刻にオフセットをかける（図 7）．さらに，グルー
プダンスでは同じ動作を 1 拍ずらして踊ることがよくあるため，ダンサーの動作タイミングをダンサーの位置に応じてビート単位でずらすことも可能にする（1 拍，2 拍，4 拍の 3 種類を選択可能）．

4

実装

前節に述べた全機能を有する DanceUnisoner を実装した．インタフェースは openFrameworks 0.9.8を用いて実装し，macOS Sierra にて動作確認をした．DanceUnisoner の想定される利用手順を図 8 に示す．利用手順は，撮影，前処理，インタラクティ
ブ編集，生成の 4 段階に分けられ，それぞれの実装と機能詳細を以下で述べる．

4.1

撮影

ユーザである振付師（ダンサー）は，複数ダンサー
によるダンスパフォーマンスの振り付けを想像しつつ，その 1 人の動きを使用楽曲を流しながら自身で踊り，その様子を撮影する．あるいは，1 人で踊っ

DanceUnisoner: グループダンスパフォーマンス動画作成インタフェース

図 8. DanceUnisoner の利用手順．
図 10. （上側） スライダを変更すると，ダンサーの人
数，フォーメーションの列数がインタラクティブに変化する．
（下側）2D pad 上でドラッグすると，ダンサーの間隔が連続的に変化する．

図 9. Beginner Mode 時の画面．振り付けの全体像を見ながら，グループダンス作成時に考慮すべき要素（ダンサーの位置，サイズ，動作タイミングのずれ）をインタラクティブに調整できる．

ている既存のダンス動画を利用してもよい．動画の撮影時にダンサーが映りこんでいない背景も撮影す
れば，別途，背景画像を用意する必要がない．

4.2

前処理

入力された楽曲の音響信号を用いて，ダンス動画
中で楽曲が再生されていて，かつ，振り付けが撮影されているシーンを自動的にトリミングする．具体的には，音響フィンガープリント手法 [9] を用いて動画中の楽曲開始位置を自動検出し，楽曲開始位置
からユーザが指定する時間長の区間（例えば楽曲と同じ 16 小節の区間）を，実際に使用するダンサー
1 名分の動画として切り出す．その後，背景画像を用いた背景差分処理によって，動画の各フレームにおいてダンサーに該当する人型の領域を切り抜く．

4.3 インタラクティブ編集
DanceUnisoner は，全ダンサーを一括で手軽に調整できる Beginner Mode と，手間は増えるが各ダンサーを細く調整できる Professional Mode の 2
つのインタフェースをもつ．
Beginner Mode 時の画面を図 9 に示す．ダンサーの個別操作が不要で，グループダンス全体がどのように見えるかに注力して編集ができる．ユーザはまず，想定するパフォーマンスのダンサー人数をスラ
イダ操作で入力する．操作中に表示人数が変わり続け，所望のイメージになったら操作をやめればよい．
あらゆる操作において，このように操作途中にフィードバックが得られる．続いて，Depth Line スライ
ダを用いてフォーメーションの列数を指定すると，現在の人数に応じて自動的にダンサーが配置・整列される（図 10 上側)．フォーメーション決定後，奥行き・左右方向のダンサーの間隔を変更したい場合には，2D pad を用いて調整できる．三次元空間の
カメラ視点は，ダンサーの画面上でマウスをドラッ
グすると変更でき（原点座標を向いたままカメラ位
置やズームが変わる），ダンサーの配置を三次元的に確認しながら，ダンサーの間隔を調整できる（図10 下側）．
次に，Professional Mode 時の画面を図 11 に示
す．ダンサーが等間隔に並ばないフォーメーションを試したい，ダンサー 1 人だけサイズを変え，動作タイミングをずらしたいなど，Beginner Mode だ
けでは実現しにくい振り付け構成を，各ダンサーのパラメータを個別に調整することで実現できるモードである．具体的には，各ダンサーの位置，縦横比，
左右反転，動作タイミングのずれを個別に変更でき
る．なお本モードでの調整後に Beginner Mode に戻って，個別設定されたダンサー間隔の比率を保持したままさらに 2D pad を用いて直感的に調整すると便利である．

4.4

動画ファイル生成

振り付けが完成したら Rendering ボタンを押すと，画面で見るよりも高画質な動画ファイルとして

WISS 2019ではそれらを個別に変更したりばらつかせたりできるため，何が違和感の原因なのか，違和感を低減す
るばらつきの幅はどの程度なのか，といった探求が本研究を出発点に可能になると考えている．その探究で得られる知見は，コンピュータグラフィックス
やアニメーションのキャラクタ等によるグループダ
ンス動画作成にも役立つ可能性がある．

謝辞
本研究の一部は JST ACCEL (JPMJAC1602)の支援を受けた．
図 11. Professional Mode 時の画面．各ダンサーのパラメータを個別に調整できる．

出力できる．生成された動画は，振り付け結果の記録であるとともに，実際にその振り付けで踊る複数のダンサーに対して，フォーメーションの中での各ダンサーの役割やパフォーマンスの全体像を伝える
効果的な手段となる．

5

議論と今後の課題実装した DanceUnisoner で様々なグループダン
スを振り付けした結果，提案したインタラクティブ
な編集機能によって，ユーザはグループダンスの印
象を確認しながら振り付けの試行錯誤と検討ができ，納得のいくまで修正を繰り返すことができる点が確かに優れていることがわかった．特に，複数のダンサーに実際に踊ってもらって確認して修正する場合と比べ，DanceUnisoner での確認と修正のサイクルが圧倒的に速く，容易に回せる点は大きな特長といえる．また，Beginner Mode は振り付け経験の乏
しいダンサーやしろうとが使っても楽しく，グルー
プダンスの魅力を広めるツールとしても役に立つと考えられる．
グループダンスの面白さは、今回対応済みのダンサーの人数，身長・体型，向き，ダンサー同士の位
置関係，動作タイミングの違いだけでなく，未対応のフォーメーションの変化，ダンサーごとの振り付
けの違いなどからも生まれる．今後はそうした未対
応の項目を支援する機能などを追加していく予定である．また，パフォーマンス全体を通じた振り付けの構成を支援する機能も検討していきたい．
今後，DanceUnisoner をダンス研究のツールとして活用することで，グループダンス動画においてどのような要素が重要かを探求できる可能性がある．
全く同じ踊り（ダンス動画）をコピー & ペーストして多数同期再生するときの違和感が，全く同じ服
装・身長・体型のダンサーが表示される見た目に起因するのか，ずれのない全く同じ動作タイミングに起因するのか，正確に均等配置されるフォーメーションに起因するのかは自明ではない．DanceUnisoner

参考文献[1] Dance Designer. http://www.choreopro.com/
Dance_Designer_s/47.htm.
[2] 親世代と子供世代を比較するとダンスを習っている人が約 5 倍に増加！, 2016 年 1 月 15 日（最終閲覧日：2019 年 8 月 5 日）.
https://prtimes.jp/main/html/rd/p/
000000075.000010414.html.
[3] S. F. Alaoui, K. Carlson, and T. Schiphorst.
Choreography As Mediated Through Compositional Tools for Movement: Constructing A
Historical Perspective. In Proceedings of the
ACM International Workshop on Movement
and Computing (MOCO ’14), pp. 1:1–1:6, 2014.
[4] J. C. P. Chan, H. Leung, J. K. T. Tang, andT. Komura. A Virtual Reality Dance Training System Using Motion Capture Technology.
IEEE Transactions on Learning Technologies,
4(2):187–195, 2011.
[5] M. C. Felice, S. F. Alaoui, and W. E. Mackay.
Knotation: Exploring and Documenting Choreographic Processes. In Proceedings of the 2018
CHI Conference on Human Factors in Computing Systems (CHI ’18), pp. 448:1–448:12, 2018.
[6] T. Schiphorst, T. Calvert, C. Lee, C. Welman,
and S. Gaudet. Tools for Interaction with theCreative Process of Composition. In Proceedings of the SIGCHI Conference on Human Factors in Computing Systems (CHI ’90), pp. 167–
174, 1990.
[7] A. Schulz, W. Matusik, and L. Velho. ChoreoGraphics: An Authoring Tool for Dance Shows.
Journal of Graphics Tools, 17(4):159–176, 2013.
[8] A. Soga and I. Yoshida. Simulation System forDance Groups using a Gamepad. In Proceedingsof GRAPP/IVAPP, pp. 365–368, 2012.
[9] A. Wang. An Industrial Strength Audio Search
Algorithm. In Proceedings of the 4th International Conference on Music Information Retrieval (ISMIR ’03), 2003.
[10] 栗原 竜矢, 岡部 誠, 尾内 理紀夫. 動画内オブジェクトを容易に編集可能な 2.5 次元動画編集シ
ステムの検討. インタラクティブシステムとソフ
トウェアに関するワークショップ (WISS 2012),2012.