情報処理学会 インタラクション 2023
IPSJ Interaction 2023

2A-02
2023/3/1

ChoreAugmented:
VR 環境におけるダンス創作のための身体拡張インタフェース
松下匠武†1曽我麻佐子†1

概要：VR 環境下で身体動作を拡張することにより，ダンスの振付創作を支援するシステム ChoreAugmented の開発を行った．振付の作成手法として，既存の振付創作手法を参考に，仮想空間におけるインタラクションを想定した複数のメソッドを実装した．メソッドは，VR デバイスの入力を適用する身体部位の変更や動きの加工・増幅などにより，ユーザの動きとは異なる動作を生成する．仮想空間におけるダンスの振付創作の可能性をさぐるため，3 人の振付家にシステムを体験してもらい，評価を行った．

1. はじめにな操作でストレスを与えないこと，長時間使用可能であること，自身の動きの確認がしやすいことなど，ユーザビリ

人間拡張とは，人間の能力をテクノロジーによって自由ティの高さが要求される．そこで本研究では，VR 環境におに増強・拡張させる技術である[1]．人間拡張の一種である

ける振付作成に適したインタフェースについても検討を行

身体拡張は，日常生活では行えない動作や体験を可能にすった．

る．身体拡張の方法には，外骨格やパワードスーツ等を用ダンサーの動きをリアルタイムに入力し，ダンスパフォいる方法もあるが，近年では，市販の VR (Virtual Reality)ーマンスに活用する例は多くあるが，これらは舞台上でのデバイスを用いることで，仮想空間で手軽に身体拡張を体映像投影が主流である[3][4]．身体動作の入力からダンスの験できるようになった．現実空間で不可能または困難なこ創作支援を行っている例としては，ダンサーに取り付けたとを仮想空間上で体験することにより，生活，産業，芸術センサが描く幾何学図形から即興で動きを創作する試みなど様々な分野での応用が期待できる．我々は，ダンス創[5]や，深度カメラで取得した人体動作とその動作を言葉で作支援システムの開発を継続的に行っており，実演不可能タグ付けしたものを保存していき，言葉と身体のアプローな動作を振付家やダンサーが CG で見ることが創作支援にチから振付創作の可能性を開拓したもの[6]，モーションキつながることを確認している [2]．そこで本研究では， VRャプチャと 3D 技術を駆使して，ユーザがリアルタイムで環境下で身体動作を拡張することにより，ダンスの振付創さまざまな身体と動きの視覚化を試すことができるシステ作を支援するシステムである ChoreAugmented（Choreo-ム[7]などがる．

Augmented：振付拡張）の開発を行った．

モーションキャプチャや Kinect など身体動作をそのまま

本システムは，VR デバイスの入力を基に，仮想空間に存導入することによるインタラクションはこれまでにも多く在する仮想ダンサーの身体をリアルタイムに制御する．た

行われている[8]が，本研究では，ダンスの創作手法を基にだし，仮想ダンサーの動きは，ユーザの動きがそのまま全身体機能の感覚の拡張や置換を行うことで，実際の舞踊のて反映されるわけではない．VR デバイスによる入力は頭創作や教育に有効活用することを想定している．と両手のみであり，さらに，入力動作を適用する身体部位仮想空間において身体拡張を行う研究として，指を伸ばの変更や動きの加工・増幅などにより，ユーザの動きとはすことによる身体所有感の生起について検討した研究[9]異なる動作を生成する．

がある．VR デバイスを装着したダンサーとのインタラク

本研究では，仮想空間におけるダンスの振付創作の可能ション[10]なども行われているが，拡張された身体の動作性をさぐるため，3 人の振付家にシステムを体験してもらをダンスの創作支援に用いる研究はまだあまりなされていう実験を行った．

ない．

本システムの使用法は，システムが作成した動作をダンスの振付にそのまま使用すること，システムが作成した動2. ChoreAugmented

作を基に新しい振付を考案すること，システムの体験によ

2.1 システム概要って振付創作に関する新しい気づきを得ることなどを想定している．
振付家に VR システムを使用してもらうためには，簡単システムの概要図を図 1 に示す．本システムは，VR デバイスの入力を基に，仮想空間に存在する仮想ダンサーの身体をリアルタイムに制御する．VR デバイスとして，Meta†1 龍谷大学大学院© 2023 Information Processing Society of Japan460

情報処理学会 インタラクション 2023
IPSJ Interaction 2023

2A-02
2023/3/1

モーションデータユーザの入力

動作変換

IK

メソッド

メソッド
部位変更

モーション
合成

IK制御

モーション
合成

生成振付
モーション
記録

図 1

図 2

システム概要Quest 2 の HMD (Head Mounted Display) を頭に装着し，コントローラを左右の手で把持する．VR デバイスによる入力は頭と両手のみであるが，身体の動きを拡張することで，本来動かすことのできない脚の動きを操作することも可能である．入力動作を仮想ダンサーに割り当てる際に，ルールを基に動作を適用する身体部位の変更や動きの加工・増幅を行う．このルールとルールを適用するインタフェースを合わせたものを本研究ではメソッドと定義する．さらにIK (Inverse Kinematics) 制御およびモーションデータの合成によりユーザの動きとは異なる全身のダンスの振付を作成する．
本研究で対象とするダンスはコンテンポラリーダンスである．コンテンポラリーダンスの振付創作では，音楽，物語，感情なども発想の起点となりえるが，本研究では身体の表現的な語彙力の増幅を目的とし，多関節の骨格構造で表現できる人体の動き（振付）の創出を想定している．
振付の作成手法として，コンテンポラリーダンスの振付創作手法を参考に，仮想空間におけるインタラクションを想振付作成の概要図

腕（手首，肘，肩，鎖骨），両脚（つま先，足首，膝，股関節）に IK が適用されており，それぞれの末端関節である頭，右手首，左手首，右つま先，左つま先から逆伝播的に各部位の関節の角度を制御する．起動時は，仮想ダンサーの頭と両手首の関節はそれぞれ HMD と両手のコントロー
ラに追従し，両つま先の関節は仮想空間上の地面に固定されている．
あらかじめ用意したモーションデータの合成にも対応している．モーション再生時は基本的に両腕を除いた部位の動作をモーションに差し替える．モーションデータの差し替えはメソッドの適用よりも優先される．また，作成した動作の任意の身体部位を記録することができ，モーションデータと同様に合成することが可能である．
ユーザの入力を基に選択したメソッドに応じて末端部位動作の変換，動作を割り当てる先端部位の変更を行い，その後 IK で制御し作成した動作にモーションを合成したものが振付として仮想空間のダンサーに出力される．

3. メソッド

定した複数のメソッドを提案する．仮想空間において動き

振付作成手法は無数にあり，既存の振付創作手法を基にの実現可能性を体験することで，振付の創造につなげるこしたメソッドであっても，インタフェース次第で異なるメとが期待できる．

ソッドとなる．また，これらを VR システムとして実装す

2.2 振付の作成方法

るインタフェースの設計は，創作支援への有用性に影響す

振付作成の概要図を図 2 に示す．ユーザが行う入力として，HMD と両手に持ったコントローラの位置座標，回転角度を毎フレーム取得している．

ると考えられる．
本研究では，振付家を対象とした創作実験を行うにあたり，6 つのメソッドを用意した．用意したメソッドは，実メソッドではユーザの入力を基に入力動作の変換や，動際の振付創作手法を基に実装した Bind，Away，Zigzag，Scan

作を割り当てる部位を変更することで，末端関節の位置とと ， 仮 想 空 間 に お け る 身 体 拡 張 を 想 定 し た Replace ，角度を算出する．入力動作の変換では，HMD とコントロー

HeadMove である． 一部のメソッドは，過去に試作[11]しラの情報を仮想ダンサーに割り当てる際に，入力された動たメソッドをより分かりやすく直感的になるようにインタ作を別の動きに変更する．例えば，直線の動きをジグザグフェースを改良したものである．また，メソッドにより適にするなどがある．部位の変更では，入力された情報をほ用する身体部位や，オプション，合成するモーションを切かの部位に割り当てる．例えば，手を動かしたときの動きり替えることができるが，ユーザがメソッドやオプションを足に割り当てる，手と足を同時に動かすなどがある．

等のメニューを操作することによる身体的負担が予想され

IK による姿勢制御では，毎フレームに先端以外の 16 関るため，今回の実験ではメソッドの切替はオペレータが行節の角度を制御する．IK の制御には，アセットの一つであうことを想定した．ユーザが行う入力は，HMD と両手に持る FinalIK の VRIK を用いた．胴（頭，首，背骨，腰），両ったコントローラの位置座標と回転角度，コントローラの© 2023 Information Processing Society of Japan461

情報処理学会 インタラクション 2023
IPSJ Interaction 2023

側面にあるグリップボタンのみとした．

2A-02
2023/3/1

3.3 Replace

Zigzag は手首や頭の動きをジグザグに変換するもので，

Replace は，両腕の動きを別の部位の動きに差し替えるメ

Scan は手でなぞった経路に合わせてユーザが選択した末ソッドである（図 5）．本システムの Replace では腕の動き端部位を自動的に動かすメソッドである．その他のメソッを脚に差し替えており，HMD とコントローラの位置関係

ドは次節で述べる．

を腰から足の位置関係に当てはめることで制御を行う．オ

3.1 Bind

プションで 3D キャラクタの体を上下反転することができ

Bind は，複数の身体部位を，一定距離で動かすメソッドでる．また，脚の動きの曲がる方向や，足首の繊細な表現をある．本システムでの Bind は，ボタンを押している間，手可能にするため，コントローラの角度を割り当て，脚にひ首に身体の末端部位を一定の距離を保ったまま追従させる．

ねりを加えることもできるようにした．

図 3 は左手首と左足で Bind を実行したときの例である．
追従させる部位には，ボタンを押したときのコントローラと一番近い位置の末端部位が選択される．追従させる間隔は，ボタンを押したときの手と選択部位の間隔を保つように追従する．追従させている部位をユーザがある程度自由に操作できるようにするため，コントローラの角度により追従させる向きを制御できるようにした．

図 5

Replace

3.4 HeadMove
HeadMove は，HMD の動きに体幹の部位が追従するメソッドである．ユーザの頭の位置と角度を使用する．頭の動きに影響を受ける範囲を①首まで，②腰まで，③足までの3 パターンから選択できるようにした．図 6 は頭の動きに影響を受ける範囲を足までとしたときの実行例である．一
図 3

Bind

般的な人体骨格モデルの IK 制御は腰をルートとし，階層構造が下位のオブジェクトしか操作できない．本手法では，3.2 Away

右足首をルートとし，右膝，右股関節，腰，背骨，首，頭Away は，複数の身体部位の距離を離すように動かすメソッドである．本システムでの Away は，身体の末端部位の順に階層構造をもたせ，そのオブジェクトに IK を設定した．

を 2 つ（部位①，部位②）選択し，部位①と反対方向に部位②を動かす．図 4 は，部位①に左手首，部位②に頭を選択し Away を実行したときの例である．メソッドの開始時に二つの部位の中点の座標を記録し，この座標に対して部位①と点対称の位置に部位②を移動させる．このメソッド
ではユーザによるボタン操作は必要とせず常に連動する．

図 6

HeadMove

4. 振付家によるムーブメント作成実験
4.1 実験方法
本研究では，仮想空間におけるダンスの振付創作の可能性をさぐるため，3 人の振付家にシステムを体験してもら
図 4Away© 2023 Information Processing Society of Japan

う実験を行った．

462

情報処理学会 インタラクション 2023
IPSJ Interaction 2023

2A-02
2023/3/1

実験時間は一人当たり約 70 分で，実験の手順は，振付家ことにより，ダンスの振付を作成するシステム

1 人ずつ Bind，Away，Zigzag，Scan，Replace，HeadMove

ChoreAugmented の開発を行った．振付の作成手法として，を順次体験してもらった後，システムを自由に使用してもダンスの振付創作手法を参考に，仮想空間におけるインタらい，その後にインタビューを行った．振付家による実験

ラクションを想定した 6 つのメソッドを実装した．仮想空風景と VR 画面を図 7 に示す．3 人の振付家とも自身の身間におけるダンスの振付創作の可能性をさぐるため，3 人体を動かしながら体験を行った．仮想ダンサーの動きをみの振付家にシステムを体験してもらった．その結果，創作ることで，新たなインタラクションを行っている姿も見受活動に対する有用性は 3 人ともに肯定的であったが，有用けられた．と判断したメソッドは相違があった．
メソッドを用いることにより現実世界では身体の可動域，重心，疲労などの影響で実演が困難な姿勢を繊細に作りこむ姿が見受けられた．これは振付家にとって身体を拡張することであり，身体を拡張することが振付創作に有用である可能性を示唆している．
今回の実験では，被験者への負担を考慮し，メソッドの切り替えはオペレータが担当したが，振付家は 3 人とも約70 分の実験を通して画面酔いや疲労を感じることもなく，実用に十分耐えうるものであった．今後は，振付家が単独

図 7

振付家による実験風景と VR 画面

4.2 結果と考察
システム体験後のインタビューの結果，3 人の振付家がで使用可能なインタフェースの提案も検討していく．
謝辞

本研究の一部は，JSPS 科研費 19H04424 の助成によるものである．

共通して Bind，Away，Replace，HeadMove のメソッドが振付創作に有用であると述べた．その他のメソッドについて

参考文献

は振付家により評価は様々であったが，3 人が共通して使[1]えないと判断したメソッドはなかった．
本システムはユーザの身体入力を使用しリアルタイムで動作作成を行っているため直感的に操作でき，自身の動きを取り入れることができる自由度と，即時にフィードバックが得られるため試行の回数が増え様々な形で動きを作成できたことがこのシステムが創作支援に有用であると判断された一因だと考えられる．
3 人の振付家が共通して有用だと述べた 4 種類のメソッドのうち，Bind は 3 人の振付家の利用時間や動きの発案の種類が一番多かった．Bind は，ボタン入力により動きの操作の切り替えがある分，指示を出すことのできる条件が増えるため，動きの選択肢が広がったことが好評だった理由の一つと考えられる．
しかし，すべてのメソッドにボタン入力による操作を入れることが良いとは限らない．例えば Away のインタフェースを Bind と同様に，ボタン入力時に近い部位でメソッドを適用するようにした場合，手と足で Away メソッドを実行した際に，仮想身体の可動範囲が狭くなる．また，頭のデバイスにはボタンがないため部位を選択できないという問題もある．そのため，メソッドごとに最適な UI を検討することが必要である．

5. まとめ本研究では， VR デバイスを用いて身体動作を拡張する© 2023 Information Processing Society of Japan

暦本純一. 人間拡張が築く未来. 東京大学大学院情報学環紀要 情報学研究, 2021, no. 4, p. 19-45.
[2] Soga, A. et al.. Body-part Motion Synthesis System and its
Evaluation for Discovery Learning of Dance. IEICE Transactions
on Information and Systems. 2016, vol.E99-D, no. 4, p. 10241031.
[3] “Augmented Dance”. https://movingdigits.eu/ , (参照 2022-1221).
[4] “Augmented Choreography”.
http://www.sal.disco.unimib.it/projects/augmented-choreography/, (参照 2022-12-21).
“YCAM InterLab + Yoko Ando R&D Project「 RAM」”.
https://special.ycam.jp/ram/en/, (参照 2022-12-21).
[6] Suganuma, K. et. al.. “KOTOBA SHINTAI” : A Workshop to
Explore the Interconnectivity between Words and Body
Movements. SIGGRAPH Asia 2015 Symposium onEducation.2015, no. 15, p. 1-3.
[7] Hsueh, S. et. al.. Understanding Kinaesthetic Creativity in Dance.
In Proceedings of the 2019 CHI Conference on Human Factors in
Computing Systems (CHI '19). Association for Computing
Machinery. 2019, no. 511, p. 1-12.
[8] Batras, D. et. al.. A virtual reality agent-based platform forimprovisation between real and virtual actors using gestures.
Virtual Reality International Conference. 2016, p. 1-4.
[9] 小川奈美. 他. えくす手：バーチャルな拡張身体を用いたピアノとのインタラクション. 日本バーチャルリアリティ学会
論文誌. 2018, vol. 23 no. 3, p. 91-101.
[10] Weber, R and Cook, J.. Choreographic Encounters in XR:
Reflections on Dancing in/Dancing with the Digital. Body, Space& Technology. 2022, vol. 21, no. 1, p. 1–27.
[11] 松下匠武. 他. VR デバイスを用いた身体動作拡張によるダンスムーブメント作成システムの試作. 日本バーチャルリア
リティ学会大会論文集. 2022, vol. 27, p. 1-4, 2022.
[5]463