WISS 2016

Dance DJ: ライブパフォーマンスのためのダンス動作ミックスシステム
岩本 尚也 ∗ 加藤 卓哉 †原 健太 ‡柿塚 亮 §

森島 繁生 ¶

概要. 本発表では，バーチャルキャラクタのダンスを実時間で制御/演出するためのシステム”Dance DJ”を提案し，その実演を行う．本システムが生まれた背景として，近年 3D ホログラム技術を用いたキャラクタのライブ演出が話題となったことが挙げられる．キャラクタを用いたライブ演出は，その楽曲に含まれている音楽的，感情的要素をキャラクタが体現する有効な可視化演出であると言えるが，その演出は事前に用意された映像に合わせてバンドが楽曲を演奏することで成り立っており，ライブならではのグルーブが欠けてしまうのではないかと考えた．そこで我々は，観客がそのライブからよりグルーブを感じることができるよう，キャラクタのダンスを実時間で制御/演出可能とするシステムを提案する．最後にユーザテストやライブ会場での実演を通じて得られたフィードバックから有効性を示すと共に，システムの改良も行った．

1

はじめに

近年，3D ホログラム技術を用いたキャラクタのライブ演出が話題となっている．キャラクタを用いたライブ演出は，楽曲に込められた音楽的，言語的，感情的要素をダンスで体現し観客に伝える観点から有効な可視化手法の一つであると言えるが，実際は事前に制作された映像に合わせてバンドが演奏しており，ライブならではのグルーブが欠けてしまうと考えた．そこで我々は観客がライブでグルーブを感じることができるよう，実時間でキャラクタのダンスを演出可能にするシステムを提案する．
提案する Dance DJ の着想は，DJ が観客の雰囲気に合った楽曲を選び，異なる楽曲と自然に繋げていく手順が元となる．DJ に楽器の演奏や作曲のスキルが必ずしも必要でないのと同様に，我々のシステ
ムでもユーザに対しダンスのスキルを要求することなく，雰囲気に合ったダンスを逐次選び，現在のダンスと違和感なく繋げていくことができるように設計されている．その操作を直感的に行うために我々は DJ が実際に用いる MIDI コントローラを使用し，ダンスを制御するための機能の割り当てを行う．本システムのプロトタイプをユーザテスト及び実際のライブでの実演から得られたフィードバックを通じて更なる改良を行った．

2関連研究

実時間でキャラクタのモーションを制御する手法として，モーションキャプチャの使用が第一に挙げCopyright is held by the author(s).
早稲田大学†早稲田大学‡明治大学§早稲田大学¶早稲田大学理工学術院総合研究所∗

られるが，金銭的コストがかかる上に，実演するアクターも必要となる．その他，ゲームでのキャラク
タコントロールの際に用いられている，ボタン操作をクエリとしてモーションを変更する手法 [2] が考えられるが，ダンスのような複雑な動きを限られたボタンで操作することは困難であると言える．
我々が提案する MIDI コントローラを用いたシステムに該当する研究として，データの可視化やロボットのモーションコントロールを実現する研究 [4, 1, 3]が挙げられる．このように，MIDI コントローラは様々な用途に対し，実時間でフィードバックを得ながら制御が可能な仕組みを提供できる．中でも，DJツールをロボットのダンスモーション生成に用いた研究 [5] では，実時間に楽曲や動きのテンポの制御を実現している．しかしながら，選択可能なモーションとして，キックやパンチといった限られたデータベースの動きしか表現できない．そこで我々は複雑なダンスモーションのコントロールを MIDI コントローラを用いて実現する手法を提案する．

3

提案システムの概要

本システムのシステム画面を図 1 に示す．本シス
テムでは，DJ が左右に置いた異なる楽曲のディスクをそれぞれミックスしていくように，図の右側に示した三体のキャラクタの内，左右の二体は異なるモーションを踊らせ，左右の姿勢をミックスしたものを中央に表示する．加えて，中央のキャラクタは観客に向けてプロジェクタ等で表示される．なお，
この中間姿勢はユーザが与えた 0.0 から 1,.0 の値を用いて各関節角度から球面調和関数によって姿勢を補間する．ユーザが与える値が 0.0 では左，1.0 では右の姿勢と一致する．ユーザが本システムをプレイする際には，楽曲が切り替わるタイミングでその値を MIDI コントローラを用いて調節可能である．
本システムの鍵となる発想は，ダンスの制御に必WISS 2016

図 1. (左図). 観客から見えるキャラクタ一体がダンスを踊る映像．(右図) ユーザ視点でのシステム画面．
三体のキャラクタが並び，右と左でそれぞれ異なるダンスモーションを踊っており，その両者をブレンドしたものが中央のキャラクタとして表示されている．

図 2. MIDI コントローラのボタン配置

テムを使用してもらい，その操作性に関する意見を伺った．得られた意見として，ある被験者からは，本システムを用いるとキャラクタを制御することが非常に容易であった一方，いいタイミングでダンスをミックスすることが難しかったという意見が得られた．また使い始めて時間が経つと，そのタイミングを掴んでいる実感があったと言う．異なる被験者からは楽曲のテンポとマッチすると心地よさが得られたという意見と共に，テンポを合わせるために実際に DJ と即興でコミュニケーションを取る試みが見られた．
また，ライブ会場において約 30 人程度の観客の前で 20 分間の実演を行った．実演直前の VJ と切り替わりの際，プロジェクタの映像に本システムのキャラクタが表示された瞬間，観客から驚きの歓声が沸いた．また，楽曲とダンスのテンポが合った瞬
間，観客から「(タイミングが) 合った！」といった声を聞くことができた．ライブ終了後，観客に話を伺ったところ，「システムの仕組みに非常に興味がある」といった意見が得られた．またライブで実演したユーザから楽曲とダンスのテンポを合わせることが大変だったという意見を得た．
上記より得られたフィードバックをもとに，ユーザがボタンを楽曲のテンポと同じタイミングでクリックすると，選択しているダンスのテンポを自動で調節する仕組みやデータベースで用いているダンスが終わりに近づくとそれを知らせる機能等，プロトタ
イプからの改良を行った．今後はこの改良されたシステムの評価や実演を行っていく予定である．

参考文献
要な機能を MIDI コントローラに割り振る点にある．我々が用いた MIDI コントローラを図 2 に示す．このボタン配置は一般的に DJ が使用しているDJ のものとほぼ同一の配置である．我々は，左右対称に配置された Play/Pause ボタンを左右のダンスモーションのスタート/ストップに対応付ける．また，Tempo Fader をダンスモーションのスピードを調節するスライダとして用いる．先ほど述べたダン
スモーションのミックスには Cross Fader を用いる．
Cross Fader が右側に寄っている場合は，右側の姿勢が，左側の場合は左側の姿勢が高い割合でミックスされる．また，ターンテーブルによってキャラクタの踊っているダンスモーションの数フレームを前後することができ，細かいフレームでのテンポ調整に使用できる．

4

評価実験及び課題とシステムの改良

本システムの有用性を評価するために，ユーザスタディとライブ会場での実演を行った．ユーザスタ
ディでは，DJ 経験者 3 名におよそ 30 分程度本シス[1] P. Groth and D. A. Shamma. Spinning Data:Remixing Live Data Like a Music Dj. In CHI ’13
Extended Abstracts on Human Factors in Computing Systems, CHI EA ’13, pp. 3063–3066, NewYork, NY, USA, 2013. ACM.
[2] L. Kovar, M. Gleicher, and F. Pighin. MotionGraphs. ACM Trans. Graph., 21(3):473–482, jul
2002.
[3] A. Norman and X. Amatriain. Data jockey, aTool for Meta-Data Enhanced Digital DJing andActive listening. In ICMC. Michigan Publishing,
2007.
[4] M. M. Ragnhild, M. Mckelvin, R. Nest, L. Valdez,
K. ping Yee, M. Back, and S. Harrison. SeismoSpin: A Physical Instrument for Digital Data. In
CHI 03: CHI 03 extended abstracts on Humanfactors in computing systems, pp. 832–833. ACMPress, 2003.
[5] T. Shirokura, D. Sakamoto, Y. Sugiura, T. Ono,
M. Inami, and T. Igarashi. RoboJockey: Realtime, Simultaneous, and Continuous Creation of
Robot Actions for Everyone. In Proceedings ofthe 7th International Conference on Advances in
Computer Entertainment Technology, ACE ’10,pp. 53–56, New York, NY, USA, 2010. ACM.