情報処理学会 インタラクション 2015
IPSJ Interaction 2015

A48
2015/3/5

身体部位動作の合成とタイミング調整による振付シミュレーションシステム
矢崎 雄帆†1

曽我 麻佐子†1

概要：本研究の目的は，モーションキャプチャで取得した 3D モーションデータを用いてダンスの振付創作を支援するためのシステムを開発することである．本研究では，ユーザが選択した基本動作に，複数の身体部位動作を自動で組み合わせて短い振付を生成し，3D アニメーションでシミュレーションを行うシステムを開発した．本システムはタブレット端末上で動作し，基本動作や合成する身体部位をタッチ操作で選択することができる．生成できる振付のバリエーションを増やすため，合成に使用する身体部位を 6 種類に細分化し，合成タイミングの調整を行っている．
また，不自然な動作が生成されにくいように足，腕，胴体の接地状態を考慮し，制約付けによって合成の可否判定，解除，タイミング変更を行う．生成された振付の合成動作と合成タイミングは後で手動で調整することができる．本研究で提案した制約の有効性を確認するため，制約を用いた振付と用いていない振付を生成し比較する実験を行った．その結果，本システムの制約は自然な動作を生成するために有効であることが確認された．

A Simulation System for Choreography
by Body-Part Motion Synthesis and its Timing Adjustment
YUHO YAZAKI†1

ASAKO SOGA†1

Abstract: This paper describes a system for supporting creation of contemporary dance choreography using 3D motion dataacquired by motion capture. In this study, a system that automatically generates short choreographies by combining a basic
motion with multiple body-part motions has been developed. Generated choreographies are simulated in 3D animation. Thissystem runs on a tablet, so the user can select a basic motion and body-part category by a touch operation. To increase the varietyof generated choreographies, the whole body is segmented into six parts, and the synthesis timing is adjusted. Moreover, thegeneration of unnatural motions is prevented by the constraints, which include the interruption and determination of the motion
synthesis as well as adjustment of the synthetic timing with the ground state of foot, arms and torso. The synthesis timing and thesynthesized motion of the generated choreographies can be adjusted manually after the automatic composition. To evaluate theutility of the constraints, an experiment was conducted to compare the generated choreographies using constraints withchoreographies without constraints. As a result, the proposed constraint for the system was confirmed to be effective forgenerating a natural motion.

1. はじめに付を作成するのに手間がかかる，選択が難しいタイミングの振付を作成しにくいといった問題点があった．そこで本

近年，教育課程でダンスが必修化されたことにより，ダ研究では，合成する動作および合成タイミングを自動で決ンスの初心者が自身でダンスの振付を考える場面が出てき定することで振付を生成し，さらに生成した振付が不自然ている．またコンテンポラリーダンスでは，様式や教則本なものとならないように，合成時に身体の制約を考慮するが存在しないため，ダンサーや振付家が独自の新しい振付ようにした．また，システムに実装した制約付けが有効かを創作することが求められている．このように，ダンスのどうかを確認するため，評価実験を行った．

トレーニングや作品創作においてアイディアを思いつくき動作の自動合成に関する研究として，型付資料に基づいっかけとなるものがあると振付創作にかける時間や労力をて仕舞のアニメーションを自動合成するシステム 2) や上半削減できると思われる．そこで本研究では，タブレット端

身と下半身でそれぞれ別の動作データを接合し新しい動作末で動作するダンスの創作支援システムとして，複数の身を生成するシステム 3) などが提案されている．前者は動作

体部位動作を自動で組み合わせて短い振付を生成し，3D アを時系列に繋ぎ合わせてアニメーションを生成し，後者はニメーションでシミュレーションを行うシステムを開発し複数の身体部位の動作を合成して新しい動作を生成していた．

る．本システムは，ダンスの創作支援を目的としている点，我々は，複数の身体部位動作をタッチ操作で組み合わせ振付のバリエーションを増やすために身体部位を細分化してダンスの振付を対話的に作成するシステムを既に開発しより多くの要素動作を使用している点，様々なタイミングている．このシステムを用いた実験では，振付の創作支援で合成できる点，不自然な動作が生成されないように身体システムとしての有用性を確認している 1)．しかし，合成構造を考慮した制約を設けている点などで異なる．

する動作やタイミングをユーザが選択するため，複雑な振†1 龍谷大学
Ryukoku University© 2015 Information Processing Society of Japan325

2. 振付のシミュレーションシステム
2.1 システム概要
本システムでは，ユーザが選択した振付の基本となる動作に全身動作や部位動作を合成して短い振付動作を生成する．対象はダンサーや振付家とし，システムで生成した短い振付を時系列に組み合わせることでダンスを創作することを想定している．生成した振付にユーザが自由にアレンジを加えて実演することで，ダンスの学習やトレーニングの支援して活用することが期待できる．本システムは，新しい振付のアイディアを思いつくきっかけを手助けするためのものである．したがって生成された振付を必ずしも実演できなくてもよい．生成した振付は 3DCG キャラクタで確認することができ，気に入ったものは保存して繰り返し見たり，後から編集したりすることができる．自動生成で大量に振付を提示し，気に入った振付はこだわって編集することで，ユーザの想像力にはたらきかけつつ実際に振付を創作へ取り入れる場合に現実的な動きの模索を行うといった使い方を想定している．
システムで使用する動作はあらかじめモーションキャプチャにより取得して用意したコンテンポラリーダンスのモーションデータである．動作カテゴリの種類には，作成する振付の基本となる Base，動作合成に使用する全身動作の Blend，身体部位動作の Add がある．動作カテゴリの種類と要素動作の数を表 1 に示す．本システムで使用した要素動作の数は 118 個であり，Base には 40 個，Blend には 6個，Add には 72 個の動作が収録されている．Add は身体部位ごとに 5 つの動作カテゴリに分けられており，それぞれに対応した身体部位動作が収録されている．
本システムはタブレットで動作し，自由に持ち運ぶことができるため，ダンスの創作を行う際に好きな場所で気軽に使用することができる．入力はタッチ操作によって行うため，直感的に操作することができる．

BaseBlend

AddBody
L-Leg
Shoulders
ArmsNeck合計

称と合成タイミングが表示される．本システムには目的に応じた 4 つのモードがあり，上部のトグルで切り替えることができる．図 1 は振付作成モードの画面である．
(1) 振付作成モード
振付作成モードでは，作成する振付の設定と振付の自動生成を行う．画面上部の動作リスト内に表示されたボタンでBaseの動作を1つ選択する．Base動作は3D空間でプレビューされる．その下部に表示された6つの動作カテゴリのトグルで合成する身体部位を選択して設定する．合成開始ボ
タンを押すと，設定をもとに合成された振付動作が自動で生成され，Saveボタンが表示される．振付動作は一度に10個生成され，振付変更ボタンで他の生成された振付動作に切り替えることができる．さらに，Saveボタンを押すと最後に再生されていた振付が保存される．
(2) 保存再生モード
保存再生モードでは，振付作成モードで保存した振付を確認することができる．図2に保存再生モードの操作画面を示す．振付作成モードで保存した振付がボタンとして表示される．ボタンのラベルの名称は，振付の作成に使用したBaseの動作名と保存した順番を組み合わせたものとなる．

表 1：システムで使用する要素動作の種類と数
動作カテゴリ名

図 1：システムの実行画面

個数（個）40610137723210118

2.2 インタフェースと機能

振付は最大で30個保存することができる．また，振付削除
トグルをOnにしてから振付が保存されているボタンを選択することで不要となったものを消去することができる．

図 2：保存再生モードの操作画面

図 1 にシステムの実行画面を示す．画面中央の 3D 空間には振付動作が反映される人体キャラクタが表示されており，画面下部のタイムラインには選択された Base 動作の再生時間が表示され，その上下には合成されている動作の名© 2015 Information Processing Society of Japan(3) 視点変更モード
視点変更モードでは，3D 空間のカメラ視点を変更できる．
視点を正面や斜め横，背面などに変更する機能の他に，ド326

ラッグ操作によって視点を自由に変更する機能，スライドバーを操作してズームイン・アウトを行う機能がある．
(4) 再生速度変更モード再生速度変更モードでは現在再生している振付の再生速度を変更することができる．スロー再生，早送り，一時停止機能の他に，スライドバーを操作することで自分の好きな速度で再生できる機能がある．
2.3 振付作成の手順
自動生成の手順を図3に示す．ユーザが選択したBase動作にランダムで選択した動作をランダムで設定したタイミン
グで合成することにより短い全身動作の振付を生成する．

図 3：自動生成の手順

Blend動作はBase動作に全身動作を加算して混ぜ合わせることで合成を行い，Add動作はBase動作の身体部位動作を他の動作に差し替えることで合成を行う4)．また，合成タイミングの調整を行うことで動作が中途半端に合成されることを防いでいる．図4は生成された振付の例である．この例では，前方に右足を踏み出す動作（StampFront）をBase動作とし，両腕を羽ばたかせるようなArmsの動作（Swan）と左脚を横に出して振るL-Legの動作（LegShake）が合成されている．

図 4：振付の生成結果

身体部位の動作合成により，体全体が宙に浮いた状態で部のみしか再生されない可能性がある．これを防ぐために，移動したり手や足を地面に着かずに立ち上がったりといっ動作がはみ出した部分がBase動作の先頭から合成されるよ

た人体動作として不自然な動作が生成されてしまう可能性

うに合成タイミングが変更される 4)．

がある．このような動作は，身体を支持している部位に対して部位動作を合成することで生成される可能性が高い．

3.2 接地判定による合成タイミングの自動調整

そのため，身体を支持している部位への合成に制約を設け接地状態により合成可否を判定し，接地していたら合成ている．制約付けにより，前述したような不自然な動作がをせずに合成タイミングを調整する6)．接地の判定は3Dキ生成されることを抑制している．

ャラクタの関節点のy座標の値と床面のy座標の値との距離

また，ユーザが自動で生成された動作に対して「合成さによって行う．一定の値よりも距離が小さければ接地してれている要素動作はいいがもう少し前または後ろで合成さいるとし，大きければ接地していないとする．本システムれて欲しい」，「今合成されている要素動作よりも他の要素

では，L-Leg動作を合成する場合は脚，ShouldersとArms動動作の方がよい」となる場合が考えられる．そのため，本作を合成する場合は腕，Blend動作を合成する場合は胴体のシステムでは合成されている動作の変更や合成タイミング接地判定を行う．本システムでは，左脚のみが接地していをユーザが微調整することができる機能を実装した．

る区間，両腕のいずれかの部分が接地している区間，胴体が接地している区間を合成不可能な区間としている．また，

3. 振付の自動生成手法
3.1 合成タイミングの自動決定
本システムでは，合成する動作と合成するタイミングを制約によって合成不可能となった動作は適当な時刻に合成タイミングが調整される．図5に制約付けによる合成タイミングの調整について示す．
合成タイミングが合成不可能な区間内のときに動作をシステムが自動的に選択する 5) ．ユーザが選択した動作カ合成した場合，不自然な動作が生成される可能性がある．

テゴリのうちからシステムが動作カテゴリをランダムに選これを避けるために，合成タイミングが合成不可能な区間択し，それぞれの動作カテゴリに含まれる動作から合成す内のときは制約によってその動作の合成は行われない．制る動作を1つずつランダムに選択する．動作合成が開始され約によって合成が行われなかった動作は，図5のように次にるタイミングは，ユーザが選択したBase動作の再生時間の合成可能となった時刻から動作の合成が開始されるように長さに0.01～0.99の範囲の乱数の値を掛けた時刻としてい合成タイミングが調整される．また，合成開始時に合成可る．また，Base動作の再生時間から合成する動作の再生時能と判定し，その動作の途中から合成不可能と判定された間が大きくはみ出している場合は，合成する動作がごく一場合は，その時点から合成は解除される．

© 2015 Information Processing Society of Japan327

100%500(a)図 5：接地判定による合成タイミングの調整

3.3 合成タイミングの手動修正
合成されている要素動作の種類と合成タイミングは後で手動で修正することができる．振付を生成すると，タイ
ムラインにあるBase動作の再生時間を表すスライドバーの上下に合成されている動作の名称と合成タイミングが表示される．動作名を押すと合成動作の編集画面が表示され，要素動作の種類とタイミングを修正できる．図6に動作の編集画面を示す．編集画面には2つのモードがあり，編集している動作名の横に表示されたトグルを操作することで切り替えることができる．TimeChengeモードではスライドバーを操作することで動作の合成タイミングと再生時間の調整(b)(c)
図 7：評価結果

評価結果より，「4：そのまま使えそう」，「3：アレンジすれば使えそう」を合わせると(a)は66%，(b)は95%となり，制約付けによって不可能な動作が生成されにくくなった．
また，(c)では99%となり，不可能な動作はほとんど生成されなくなった．本システムの目的はダンスの創作支援であるため，多少アレンジが必要であっても，使えそうな振付が95%の確率で生成されれば十分に有用であると考えられる．しかし，制約付けによって出現しなくなった動作もあるため，制約の有無を切り替えられるようにすることで，初心者向けと上級者向けといった目的別に使用できるシス
テムへの発展が期待される．

ができ，OtherMotionモードでは合成されている動作を同じ動作カテゴリ内の他の動作に変更することができる．

5. まとめ本研究では，振付の創作支援を目的とし，複数の身体部位動作を自動で組み合わせて短い振付を生成して 3D アニメーションでシミュレーションを行うシステムを開発した．
不自然な動作が生成されることを抑制するため，動作合成時の制約や，ユーザが振付動作を編集できる機能を実装した．実装した制約の有効性についての評価から，制約を付けなかったものより不自然な動作が生成されにくくなり，制約の有効性が示された．今後の課題として，制約の増加，制約の有無の切り替えや振付の編集機能の充実などが挙げられる．

図 6：合成動作と合成タイミングの編集画面

参考文献

ど高いとした．結果を図 7 に示す．

1) 曽我麻佐子，海野敏，平山素子：動作合成システムとタブレット端末を用いた現代舞踊の創作支援，情報処理学会論文誌デジタルコンテンツ（DCON），vol.2，no.2，pp.10-19，2014．
2) 岩月正見，尾下真樹，山中玲子，中司由起子，関建志：能の型付資料に基づく仕舞のアニメーション自動合成システム，第 11回情報科学技術フォーラム，pp 27-34，2012．
3) 林祐介，西尾孝治，小堀研一：部位接合に基づく動作の生成，
第 7 回情報科学技術フォーラム，pp.301-302，2008．
4) 松本早紀子，曽我麻佐子：タブレット端末と3DCGを用いたダンス振付合成システム，インタラクション2013論文集，pp.707-708，
2013．
5) 矢崎 雄帆，曽我 麻佐子：身体部位の動作合成による振付の自動生成システムの試作，第 19 回日本バーチャルリアリティ学会
大会論文集，pp.656-657，2014．
6) 河野良之, 曽我麻佐子, 藤田和弘：タッチパネルデバイスを用いた振付合成・編集システムの試作，第 15 回日本バーチャルリア
リティ学会大会論文集，pp.124-127，2010．

© 2015 Information Processing Society of Japan328

4. システム評価システムに実装した接地状態による制約と手動による合成動作の編集が有効かどうかを確認するため評価実験を行った．評価方法は，(a)制約を付けずに生成した振付，(b)制約を付けて生成した振付，(c)(b)を修正した振付を 100 個ずつ作成し，振付の創作に使用できるかどうかを評価した．
(a)は振付家が「4：そのまま使えそう」，「3：アレンジすれば使えそう」，「2：あまり使いたくない」，「1：使えない」，「0：人間には不可能」の 5 段階で評価し，(b)と(c)は著者が「2：あまり使いたくない」を除いた 4 段階で評価し比較を行った．評価値は値が小さいほど評価が低く，大きいほ