情報処理学会 インタラクション 2023
IPSJ Interaction 2023

2B-372023/3/1

3D Dance Composer for Smartphones: モーションクリップを用いた振付記録・再生アプリ
萩原智大†1松下匠武†1曽我麻佐子†1

概要：本研究では，スマートフォンを用いたタッチ操作のみで様々な種類の踊りの振付を記録・シミュレーション・再現することを目的とした振付作成システム 3D Dance Composer for Smartphones を開発した．本システムでは，モーションデータに含まれる 1 つの動作ごとにカットしたモーションクリップを組み合わせて振付を作成し，振付を 3 次元的に保存する．また，組み合わせたモーションクリップを編集することで所持していないモーションを生成し，手軽に振付の再現ができる．本稿では，3D Dance Composer で振付を作成する手法について述べる．さらに，本システムの有用性を検証するためにバレエのレッスン用の振付再現を試みた．

1. はじめに
近年，モーションキャプチャ技術の発達により，舞踊や伝統芸能などの動きを 3 次元のモーションデータとして記録できるようになった．また，スマートフォンの普及により，タッチで操作するアプリが増加し，GUI として一般化している．そこで本研究では，舞踊の記録・再現・シミュレーションを目的とし，モーションデータを用いて手軽に振付を作成することができるスマートフォン用アプリ 3DDance Composer を開発した．
先行研究として，215 個のバレエの基本ステップを用いてレッスン用の振付するシステム Web3D Dance Composerの開発を行っている[1]．本研究では，バレエのモーションアーカイブを大幅に拡充し，スマートフォン版に改良した
3D Dance Composer を新たに開発した．さらに，沖縄県の伝統舞踊である琉球舞踊への適用を試みた．

(a)GUI 表示(b)GUI 非表示
図 1：GUI

は，全てのメニューを表示した画面であり，(b)は作成した舞踊動作の保存・記録を目的とした既存の舞踊記譜法[2]振付を見るために GUI を最小化した画面である．本システや身体の部位単位で動作を記述するシステムが存在するが，ムは，スマートフォン端末で動作させるため全てタッチ操

これらは汎用性が高い反面，バレエや日本舞踊などの基本作に対応しており，直感的に振付を作成することができる．

動作が存在する舞踊の記述には効率が悪い．また，近年でタップで基本動作や各メニューを操作できるほか，3D 空間は AI を用いて動きを自動生成する研究[3]も増加しているのピンチイン・ピンチアウトによる視点変更，スワイプにが，古典舞踊については，創作の需要は少ない．

よる動作一覧のスクロール，ドラッグによる再生速度変更

本研究では，舞踊の様式にあった振付を手軽に容易に記に対応している．時系列に追加した各基本動作を編集する

録し 3DCG アニメーションで再生できるアプリの開発を目ことで，身体部位動作の差し替えや身体方向の変更が可能

指している．本研究では，構築したモーションアーカイブである．作成した振付は 3DCG アニメーションとして再生でどの程度の振付の記録・再現が可能か検証するため，バし，CSV 形式で振付の保存と呼び出しができる．

レエのレッスンで実際に使用された振付と，琉球舞踊の古2.2 モーションクリップ

典作品の振付について，記録・再現を行った．

2. 3D Dance Composer
2.1 概要本システムでは，プロのダンサーの実演によりモーションキャプチャを使用して収録した振付のモーションデータを 1 つの動作ごとにフレームをカットしたモーションクリップを用いる．3D Dance Composer を使用してバレエ動作短い基本動作を時系列に組み合わせていくことで振付のモーションデータを導入したバレエ版と琉球舞踊の基本を作成する．3D Dance Composer の GUI を図 1 に示す．(a)動作のモーションデータを導入した琉球版を作成した．

†1 龍谷大学大学院理工学研究科© 2023 Information Processing Society of Japan630

情報処理学会 インタラクション 2023
IPSJ Interaction 2023

2B-37
2023/3/1付に使用された全身のモーションクリップ数は合計 47 個であり，そのうちアーカイブにないものは 2 個であった．
しかしこれらは類似動作を使用することで大まかな動きの再現には差し支えないことが確認できた．所要時間は，全身のモーションクリップのみであれば 1 分程度，腕の動作の差替えおよび身体方向の変更が含まれているものは 3 分程度であった．腕の動作については，腕を動かすタイミングの変更ができないため，厳密な再現はできていないが，大まかな振付を記録・再生する目的としては十分実用に耐図 2：モデルの持つ情報えうるものと考えられる．

バレエ版では，プティアレグロというレッスンジャンル

3.2 琉球版：古典作品の再現で使われるステップを中心とした全身の基本動作が 543 個

琉球舞踊の古典作品の再現では，プロの舞踊家が踊る女収録されている．琉球版では，全身の基本動作が 131 個あ踊りと男踊りの振付を 3D Dance Composer を用いて再現をり，腕の差替え用動作が 9 個ある．手指の差替え用動作と試みた．古典作品の振付の動画から基本動作の脚の動きがして，Leap motion で収録したモーションクリップが 6 個あ同じモーションクリップを選択し，腕の差替え動作を行うる[4]．

ことで基本動作を再現した．女踊りでは，約 8 分の振付で2.3 振付の連結あり，所要時間は約 1 時間，使用した動作数は 39 個であっモーションクリップ間を自然に繋げるために各動作のた．男踊りでは，約 4 分の振付であり，所要時間は約 1 時

開始・終了時の基本姿勢を符号化し，連結するモーション間，使用した動作数は 27 個であった．女踊りはある程度再クリップ間の基本姿勢が合うように組み合わせる．モーシ

現できたが，男踊りは腕の差替え動作数の不足により，半ョンクリップは，開始姿勢の種類で絞り込まれたリストを分程度しか再現することができなかった．振付の再現にか画面に表示し，選択できるようになっている．時系列に動かった時間については，リストに表示させる基本動作があ作を追加すると動作の終了時の基本姿勢に繋がる基本姿勢まり絞り込めていなかったため，再現に時間がかかったとのモーションクリップを自動でリストに表示する．基本動考えられる．

作のモーションクリップを組み合わせることで様式に合っ4. まとめた振付を容易に作成することができる．
2.4 振付の編集
時系列に追加した振付の編集は，キャラクタモデルを操作する．キャラクタモデルの持つ情報を図 2 に示す．振付の編集では，身体方向の変更ができる．基本は正面を向いた状態でモーションが再生されるが，方向の選択肢を用意してあり，左右 45 度から 180 度までの 8 方向に変更可能である．また，記録できる振付の幅を広げるために，必要に応じて時系列に追加した全身の基本動作から腕と手指のダンスや舞踊など様々な種類の振付を記録・再生することを目的としてモーションクリップを組み合わせて振付を作成するシステム 3D Dance Composer を開発し，バレエと琉球舞踊の振付再現を試みた．その結果，大まかに振付を再現することができることが分かったが，腕の差替え動作を再生するタイミングや動作数の不足により，厳密に再現することができなかった．今後は，プロの振付家に使用してもらい実際に使えるシステムかの検証を考えている．

身体部位動作を差し替えることができる．小道具を持ちながら踊る振付を再現するために図 2 で示す階層構造を構築
し，小道具グループを表示することで小道具を持たせている．小道具を持たせない場合は，小道具グループを非表示にする．
モーションクリップの拍数を変更することができ，1 拍から 16 拍で選択することができる．
拍数を変更すると，差し替えた腕と手指のモーションクリップの長さも身体の動作に合わせて正規化されるため，同じ再生時間になる．

3. 実行例
3.1 バレエ版：レッスン用振付再現
バレエのレッスン用振付の再現では，4 人のバレエ教師が作成した 16 拍のアレグロレッスンのシークエンス各 1個について，3D Dance Composer で記録・再現を試みた．振© 2023 Information Processing Society of Japan

謝辞

モーションデータ収録にご協力いただいた皆様に謝意を表する．なお，本研究の一部は， JSPS 科研費20K12568 の助成によるものである．

参考文献
曽我麻佐子, 海野敏, 安田孝美, 横井茂樹, 3DCG によるバレエ振付のための体系的符号化と創作支援システム, 芸術科学会論文誌, vol.3, no.1, pp.96-107(2004).
[2] Hutchinson, A.：Labanotation, or, Kinetography, Laban, 3rd rev.
ed., Theatre Arts Books, New York (1984).
[3] Deok-Kyeong Jang, Soomin Park, Sung-Hee Lee, Motion Puzzle:Arbitrary Motion Style Transfer by Body Part, ACM Transactions
on Graphics (2022).
[4] 萩原智大, 曽我麻佐子, 伝統舞踊のモーションデータを用いた簡易振付作成システム, 情報処理学会研究報告, vol.2022DCC-30, no.14, pp.1-6(2022).
[1]631