芸術科学会論文誌 Vol. 22, No. 3, pp. 9:1 – 9:19 (2023)

組上げ型振付制作プロセスに基づく
ハウスダンスデザインシステム
大字

諒 1)

藤代 一成 2) (正会員)

1) 慶應義塾大学 大学院理工学研究科

2) 慶應義塾大学 理工学部

A House Dance Design System
Based on Constructive Choreographic Process
Ryo Oji1)

Issei Fujishiro2)

1) Graduate School of Science and Technology, Keio University
2) Faculty of Science and Technology, Keio University{ryo.oji, fuji} ＠ fj.ics.keio.ac.jp
概要
昨今，多数の 3DCG 制作ソフトウェアの登場により，制作プロセスやそれを支援するユーザインタフェースが洗練され，3D モーション制作の難度は大きく低下してきた．しかし，モーション制作の基本がキーフレーム操作であることに変わりはなく，依然として，複雑なダンスモーションはおろか，自然なモーションの制作にもかなりの技術が要求される．一方で，実際のダンスモー
ション制作プロセスはより単純である．特に，過去から現在までのダンス文化の集合体であるハウスダンスでは，ダンサーは各部
位のモーションを要素として捉え，それらを連動させる組上げ型の制作プロセスを経ることで，様々な振付を制作してきた．そこで本研究では，様々なモーションと実際の振付制作で用いられる操作の関係性を明らかにし，多種多様なハウスダンスモーションの直観的制作を可能にするビジュアルプログラミング環境を提案する．提案システムでは，要素モーションに対する操作を表す
ノードをインタラクティブに接続することで振付制作プロセスを，さらにその制作した振付を順に接続することでシーケンス制作
プロセスを再現する．実際に制作されたダンスモーションおよびシステムに対するユーザ評価から，モーションの自然さと提案環
境の有用性が実証された．

Abstract
With recent advent of numerous 3DCG production software, the diﬃculty of 3D motion production has been greatly
reduced, because production processes and user interfaces supporting them have become more sophisticated. However,the basis of motion production still lies in keyframe manipulation, and thus, considerable skill is required to exude thenaturalness of even simple motions. On the other hand, actual dance motion production processes are much simpler.
Especially in house dance, which is a compilation of dance cultures from past to present, dancers have created various
choreographies by considering each motion of body parts as an element and going through a constructive production
process to link them together. In this study, we clarify the relationship between various motions and operations usedin actual choreography production to propose a visual programming environment that enables intuitive production of awide variety of house dance motions. The proposed system reproduces the actual process of choreography production
by connecting nodes that represent operations on elementary motions interactively, and further reproduces the actual
process of sequence creation by smoothly connecting the created choreographies in order. Empirical evaluations proved
the naturalness of the created dance motions and the usefullness of the proposed environment.

– 9:1 –

芸術科学会論文誌 Vol. 22, No. 3, pp. 9:1 – 9:19 (2023)

システム拡張後に制作されたモーションとシーケンスに

1 序論
昨今，多数の 3DCG 制作ソフトウェアの登場により，制作プロセスやそれを支援するユーザインタフェースが洗練され，3D モーション制作の難度は大きく低下してきた．例えば，フリー 3DCG ソフトウェアのひとつであるMikuMikuDance (MMD) [1] は，圧倒的に簡素化されたユーザインタフェースをもつという特長から，制作プ
ロセスが明瞭なソフトウェアとして有名である．MMDの普及により，現在では MMD 用 3D モデルが有志によ対する評価を得るため，新しく導入した基本モーション
であり区別の難しい肩のモーション，予備実験では精度が低かった前ジャッキン，新たに制作できるようになったシーケンスに対する評価実験（7.3 項），および提案シ
ステムを用いたワークショップ（7.4 項）を行う．そして，システム拡張による出力モーションの精度向上，および本システムの有用性を実証する．

2 関連研究り多数制作され，今日では様々な 3D モデルにダンスを

本節では，プリミティブダンスモーションの定義およ

踊らせるのがブームとなり，ダンスモーションへの注目

びダンスモーション制作インタフェースの先行研究につ度は大きく向上した．しかし，モーション制作の基本がいて説明し，本研究の位置づけを明確にする．

キーフレーム操作であることに変わりはなく，依然とし

2.1

プリミティブダンスモーションの定義

ダンスモーション研究において，プリミティブとなるて，複雑なダンスモーションはおろか，自然なモーショ

モーションの定め方は多種多様である．園田ら [4] は，ンの制作にもかなりの技術が要求される．
一方で，実際のダンスモーション制作プロセスはより体の各部位の速度や全身が向く方向の変化，その動き単純である．特に，過去から現在までのダンス文化の集により占領されるスペースの広さといった，モーション合体であるハウスダンス [2] では，ダンサーは各部位のデータの物理的情報によりプリミティブダンスモーショ

モーションを要素として捉え，それらを連動させる組上ンを定義し，長時間のモーションキャプチャデータからげ型の制作プロセスを経ることで，様々な振付を制作しそれらを抽出する手法を提案した．白鳥ら [5] は，音楽てきた．

のリズムや構造，雰囲気に，朝比奈ら [6] は，音楽の歌

そこで本研究では，様々なモーションと実際の振付制

詞にそれぞれ注目し，それらの特徴とダンスモーション作で用いられる操作の関係性を明らかにし，多種多様なの対応関係を抽出することでダンスモーションを生成す

ハウスダンスモーションの直観的制作を可能にするビる手法を提案した．岡田ら [7] は，一連のダンスシーケ

ジュアルプログラミング環境を提案する．本システムでンスからプリミティブモーションを抽出するタスクをダ

は，要素モーションに対する操作を表すノードをインタンサーに対して実施することで，定性的にプリミティブ

ラクティブに接続することで，実際の振付制作プロセス

モーションを定義づけた．

を再現している．

2.2

ダンスモーション制作インタフェース

矢崎ら [8] は，ユーザが体の各部位のモーションを指先行報告 [3] でのプロトタイプからは，主に以下の 5

定することで，それらが合成されたコンテンポラリーダ

点を拡張した：• シーケンスエディタ：4.3 項，5.1 項 (b)，6.6 項

ンスモーションを出力するインタフェースを提案した．

• 合成関節のより細かな指定：5.1 項 (c)岩本ら [9] は，異なる曲同士のミキシングと同じ手法で• 組み上げた部位の動きが明確となる結果表示画面のダンスモーションのブレンドが可能なディスクジョッ
キーを用いたインタフェースを提案した．ダンスシーケ

追加：5.1 項 (d)• 新たな基本モーションの導入：5.2 項ンス制作においては，曽我ら [10] がクラシックバレエに• 全てのモーションに対し腰の平行移動成分を反映：

おけるプリミティブモーションの選択型インタフェース
を，Chen ら [11] がリズムのとり方を指定できるグラフ

5.2 項
先行報告 [3] での予備実験により，実際に制作された型インタフェースを各々提案した．尾下 [12] は，能の台

ハウスダンスモーションの視聴者評価から，プロトタイ

本の文章を入力することで，台本通りのモーションシー

プシステムの妥当性は実証されている（7.2 項）．さらに，ケンスを生成するインタフェースを提案した．

– 9:2 –

芸術科学会論文誌 Vol. 22, No. 3, pp. 9:1 – 9:19 (2023)

2.3

他部位に影響を与えない動きであるため，ハウスダンス

本研究の位置づけ

前二項において説明した研究と本研究の相違点は主とを踊るダンサーは足の動きであるステップに対し，適宜して 2 点にまとめられる．1 つ目は，プリミティブモー

アイソレーションを組み合わせることで踊りのバリエー

ションの定義である．従来手法の多くは，プリミティブ

ションを高めていくことができる．

モーションを全身の動きとして定義しており，各部位の3.2

スケルトンアニメーション

動きの集合としては定義していない．矢崎ら [8] は，本研

スケルトンアニメーションでは，親関節を基準とした究と同様に各部位の動きに着目しているものの，各部位

関節 i の状態 ji を，スケール成分を表す 3 次元ベクトルの動きは単独モーションでのみ決定され，複数モーショ

si ∈ R3 ，回転成分を表す単位クォータニオン qi ∈ R4 ，ンからの影響を考慮していない点で本研究と異なる．2

平行移動成分を表す 3 次元ベクトル ti ∈ R3 の 3 種類のつ目は，対象ジャンルである．従来手法は，クラシック

パラメタの組 (si , qi , ti ) ∈ R10 により表現する：

バレエや能といった，どれもプリミティブモーションがji = (si , qi , ti ) .

明確に存在するジャンル，または不特定のジャンルを対n 個 (n ∈ N) の関節から成るスケルトンモデルの場合，象としており，ハウスダンスのような様々なモーションを組み上げることで新たなモーションを制作するジャンルを対象としていない．

(1)

ルート関節番号を 0 とし，それ以外の関節番号は順不同とする．関節 i (i = 0, · · · , n − 1) の親関節を aparent(i)とすると，各関節の親子関係 r は各関節の親関節の組本研究では組上げ型（constructive）の制作プロセスを経るハウスダンスを対象に，様々なモーションと実際の振付制作で行う操作の関係性を明らかにする．そして，多種多様なダンスモーションの直観的制作を可能にするビジュアルプログラミング環境を提案する．

()
aparent(0) , aparent(1) , · · · , aparent(n−1) により表 現 される．ただし，ルート関節の親はルート関節自身とする．
このとき，フレーム k においてモデルがとるポーズ fk は親関節を基準とした各関節状態の組 (j0 , j1 , · · · , jn−1 ) ∈R10n により表現され，ポーズ fk と各関節の親子関係 r

3 モーションと操作の関係性を用いて順運動学により全身の状態が表現される．合計

本節では，ハウスダンスにおける様々なモーションとl 個 (l ∈ N) のフレームから成るモーションの場合，単一

実際の振付制作で行う操作の関係性を定義した後，そのフレームの表示時間を d ∈ R とすると，モーション m

定義を用いて実際の振付制作プロセスを表現する．

は以下のように表現される：

3.1

ハウスダンスの特徴

m = (d, r, f0 , f1 , · · · , fl−1 ) .

ハウスダンスとは，4 分の 4 拍子で刻まれるキックが3.3

特徴的なハウスミュージックに合わせて踊るダンスジャンル [2] である．その起源は，1977 年シカゴのクラブで，ダンサーたちが様々なダンスジャンルをハウスミュー
ジックに合わせて踊っていたことであるとされている．
そのためハウスダンスでは，ストリートダンスの基本である各部位を独立して動かす，アイソレーションとよばれる動きを採り入れている．首のアイソレーションの例
としては，首より下の部位を動かさずに顔を正面に向けたまま，首の付け根を軸に頭全体を前後または左右に動かすものがある．他にも単に顔の方向だけを変える首の(2)

ハウスダンスモーションの定義

任意のスケルトンアニメーションデータは式 (2) で表現されることから，その形式で表される全ての組の集まりをモーション集合 M とすると，ハウスダンスモーショ()

ン集合 H ∈ Rn+l+1 n：総関節数，l：総フレーム数 は
以下のように定義される：{}
H = x ∈ M | x はハウスミュージックで踊る動き .

次に，ハウスダンスモーションのうち，そのモーション
単体でダンスとして成立する最小単位のモーションの集合を基本モーション集合 P (P ⊂ H) と定義する：

アイソレーション，腕を動かさずに肩を上下または前後{}
P = x ∈ H | x は最小単位のモーション .

させる肩のアイソレーション，上半身と足を動かさずに

ハウスダンスには基本モーションとして，3.1 項で説明

腰を前後または左右させる腰のアイソレーションが知した首・肩・腰のアイソレーションおよび足の動きであられている．このように，各部位のアイソレーションはるステップに加え，リズムをとる動きを含める．ここで，– 9:3 –

芸術科学会論文誌 Vol. 22, No. 3, pp. 9:1 – 9:19 (2023)

腰は足元のルート関節の子関節，首は首の付け根を表す集合から，ハウスダンスモーション集合 H への写像に関節とその子関節全て，肩は腕の付け根を表す関節とそ等しい．

の子関節全て，足は足の付け根を表す関節とその子関節

ダウン，前ジャッキン，後ジャッキンと同時に行えるの全てとする．それぞれの動きの集合を以下の 5 種類に直はダウンで踊れる足の基本モーション Pfdown
oot ，アップ

和分解する：と同時に行えるのはアップで踊れる足の基本モーション

{

}

Pfup
oot のみであることに注意すると，各操作は以下のよ

Pneck = x ∈ P | x は首の動き ,{}Pshoulder = x ∈ P | x は肩の動き ,{}Phip = x ∈ P | x は腰の動き ,{}Pf oot = x ∈ P | x は足の動き ,{}Prhythm = x ∈ P | x はリズムをとる動き .

うに規定される：
ダウン化

down
down : Pfdown
oot × Prhythm → H,

アップ化

up
up : Pfup
oot × Prhythm → H,f rontJ

前ジャッキン化 f rontJ : Pfdown
oot × Prhythm → H,
rearJ
rearJ : Pfdown
oot × Prhythm → H.

元来，命名されたステップというものは，特定のリズム

後ジャッキン化のとり方でその足運びをすることにダンサーが心地よい

down (a, b) = a ⊕d b

down(a ∈ Pfdown
oot , b ∈ Prhythm ),と感じたからこそ命名されている．したがって，全てのup (a, b) = a ⊕u bup(a ∈ Pfup
oot , b ∈ Prhythm ),ステップを全てのリズムで踊れるわけではない．ステッf rontJ (a, b) = a ⊕f b

プはダウンまたはアップで踊れるものの 2 種類に分けら

f rontJ(a ∈ Pfdown
oot , b ∈ Prhythm ),rearJ (a, b) = a ⊕r b

rearJ
(a ∈ Pfdown
oot , b ∈ Prhythm ).

れることから，それぞれを以下の 2 種類に直和分解する：{}
Pfdownoot = x ∈ Pf oot | x はダウンで踊れるもの ,{}Pfup
oot = x ∈ Pf oot | x はアップで踊れるもの .

(b) 結合ハウスダンスでは各部位のモーションを要素と捉え，それらを連動させる組上げ型制作プロセスを経ることでハウスダンスでは，ダウン，アップ，前ジャッキン，後様々なモーションを制作している．あるモーションに対ジャッキンの計 4 種類のリズムのとり方が存在し，ダして任意部位の基本モーションを組み上げるという操作

ンサーはそれを適宜変化させることで踊りのバリエー

は，ハウスダンスモーション集合 H の直積 H 2 の部分

ションを高めている．ここで，ダウンは音楽の拍の瞬間集合であるハウスダンスモーション集合 H と基本モーに膝が曲がった状態を，アップは膝が伸びた状態をさション集合 P の直積集合 H × P ⊂ H 2 から，ハウスダ

す．また，ジャッキンは上半身全体を回す動きであり，

ンスモーション集合 H への写像に等しく，以下のよう

前ジャッキンは前回りに回すことで音楽の拍の瞬間にに表現される：

上半身が前にある状態を，後ジャッキンは後回りに回

combine : H × P → H,

すことで後にある状態をさす．したがって，リズムの基本モーションの集合 Prhythm はダウン，アップ，前ジャッキン，後ジャッキンの計 4 種類に直和分解される：

{
}
down
= x ∈ Prhythm | x はダウンの動き ,Prhythm{}up
Prhythm= x ∈ Prhythm | x はアップの動き ,{}f rontJ
Prhythm= x ∈ Prhythm | x は前ジャッキンの動き ,
{
}
rearJ
= x ∈ Prhythm | x は後ジャッキンの動き .
Prhythmcombine (a, b) = a ⊗ b (a ∈ H, b ∈ P ) .
(c) 連結(a)，(b) で説明した操作を通して数秒程度の振付を制作した後，ダンサーはそれらの振付を連続的に行うことで長尺のダンスシーケンスを制作している．ある振付の後に別の振付へ遷移させる操作は，ハウスダンスモーション集合 H の直積 H 2 から，ハウスダンスモーション
集合 H への写像に等しく，以下のように表現される：(a) リズム化

concatenate : H 2 → H,

ハウスダンスでは，リズムに乗りながら足の動きを行

concatenate (a, b) = a ⊞ b (a ∈ H, b ∈ H) .

うことが多い．ある足の動きをリズム化するという操作
は，足の基本モーション Pf oot とリズムの基本モーショ(d) 速度変更

ン Prhythm の直積集合 Pf oot × Prhythm ⊂ H 2 で表現さ実際の振付制作プロセスにおいて，モーションの速度

れるハウスダンスモーション集合 H の直積 H 2 の部分

は頻繁に変更される．速度変更は単一のモーションに対– 9:4 –

芸術科学会論文誌 Vol. 22, No. 3, pp. 9:1 – 9:19 (2023)で実現する．そのため，一部関節に対し，ダウンで踊れる足の基本モーションの回転成分と，前ジャッキンの基
本モーションの回転成分を加算する手法を提案する．すなわち，一般的なアニメーションシステムで採用される
加算ポーズブレンド手法を指定関節に対してのみ適用
図 1: ダウンで踊れるステップを前ジャッキンのリズムで踊る
振付に対し首のアイソレーションを組み上げる例（添付ビデ
オ：1. 組上げ型振付制作プロセスの例）

する．ここで，加算ポーズブレンド手法とは，各フレー
ムにおける基本ポーズと派生ポーズの差分ポーズを計算
し，差分ポーズに係数を乗じたうえで基本ポーズに加算することで，基本ポーズを外挿したポーズを生成する手する操作であることから，ハウスダンスモーション集合

法 [13] をさす．

H からハウスダンスモーション集合 H への写像に等しダウンで踊れる足の基本モーションを基本ポーズ，前い．特に 2 倍速化，0.5 倍速化を行うことから，それぞジャッキンの基本モーションを派生ポーズとすると，前れは以下のように表現される：

ジャッキン化は以下のように表現される：double : H → H,

double (a) = a (a ∈ H) ,s∗i = si + βi ∆si ,half (a) =−a (a ∈ H) .

qi∗ = exp (βi ∆qi ) q i ,t∗i = ti + βi ∆ti ,+half : H → H,
3.4

組上げ型振付制作プロセスの例{∆si = si − si ,()∆qi = log qi q −1,i∆ti = ti − ti ,()
i は指定関節().
i は指定関節ではない

図 1 および添付ビデオ（1. 組上げ型振付制作プロセスのb ∈ R \ {0}0()
ここで， si , q i , ti は基本ポーズ，(si , qi , ti ) は派生ポー例）に示す．ここで 3.3 項より，ダウンで踊れるステッズ，(∆si , ∆qi , ∆ti ) は基本ポーズから派生ポーズへの差

down
down
プは集合 Pfdown
oot の元 pf oot ∈ Pf oot ，前ジャッキンのf rontJf rontJf rontJ
動きは集合 Prhythm の元 prhythm ∈ Prhythm ，首のアイ

分ポーズ，(s∗i , qi∗ , t∗i ) はブレンド後のポーズ，βi は加算

ソレーションは集合 Pneck の元 pneck ∈ Pneck である．

4.2

ダウンで踊れるステップを前ジャッキンのリズムで踊る振付に対し，首のアイソレーションを組み上げる例を，

βi =ブレンド係数をそれぞれ表す．
結合

また，ダウンで踊れるステップを前ジャッキンのリズム

実際の振付制作において，結合はあるモーションを行で踊るという操作は (a) の前ジャッキン化，前ジャッキ

いながら，結合したい部位の動きをその部位の基本モーン化された振付に対して首のアイソレーションを組み上ションへ変更することで実現する．そのため，一部関節げる操作は (b) の結合に等しい．従って，この組み上げに対し，あるモーションの回転成分を結合したい部位のられた振付は以下のように表現できる：

基本モーションへオーバーライドする手法を提案する．

(

(

)

f rontJ
combine f rontJ pdown
f oot , prhythm , pneck)(3)

あるモーションを基本ポーズ，結合したい部位の基本
モーションを派生ポーズとすると，結合は以下のように

f rontJ= pdownf oot ⊕f prhythm ⊗ pneck .

表現される：

4 組上げ型モーションの生成s∗i = (1 − αi ) si + αi si ,()α
qi∗ = qi q −1
qi ,i

本節では，3 節で定義した各種操作のうち，リズム化のひとつである前ジャッキン化，結合，連結および速度変更について，モーションデータを用いて実現する手法をそれぞれ説明する．

4.1

前ジャッキン化

実際の振付制作において，前ジャッキン化はあるダウンで踊れる足の基本モーションを行いながら，一部関節t∗i = (1 − αi ) ti + αi ti ,{()
1 i は指定関節().
αi =0 i は指定関節ではない)(
ここで， si , q i , ti は基本ポーズ，(si , qi , ti ) は派生ポーズ，(s∗i , qi∗ , t∗i ) はオーバーライド後のポーズ，αi はオー
バーライド係数をそれぞれ表す．

の動きを前ジャッキンの基本モーションと混合すること– 9:5 –

芸術科学会論文誌 Vol. 22, No. 3, pp. 9:1 – 9:19 (2023)

4.3

節状態の差から算出し，ai0 は以下から算出される：

連結

ダンサーがある振付を別の振付へ連結させる際，各関

ai0 =節の速度や加速度が滑らかに変化するように全身の動き−8v0i t1 − 20xi0.
t21を変化させる．そのため，単位時間あたりの加速度の変遷移開始時の関節 i の加速度 ai0 の値次第では，収束まで化率を表す，躍度が最小となるモーションを生成する慣の過程で差分係数 γi (t) が 0 をとり，オーバーシュート

性補間手法 [14] を採用した．

が発生する可能性がある．それを防ぐためには，収束時

具体的には，振付 A から振付 B への遷移は，時刻 0 に

刻 t1 を以下のように補正する必要がある：()
5xi
t1 = min t1 , − i0 .
v0

開始し，時刻 t1 に完了すると仮定する．このとき，時刻t での関節 i の状態は，時刻 t での振付 B の関節状態に対して，遷移開始時における振付 A，B 間の関節状態の

4.4

速度変更

初期差分に，差分係数 γi (t) を乗じたものを加算するこ

本来コンピュータアニメーションは，フレームを高速とで算出される．ここで，関節状態とは，式 (1) で表さで描画することで実現され，その速度は単一フレームれる関節 i の状態 ji を表し，遷移においてスケール成分の表示時間にのみ依存する．そのため，一般的アニメー

は変化しないとする．以下，差分係数 γi (t) を導出する．

ションシステムと同様の手法である，モーション m がも躍度が最小となる差分係数 γi (t) は，躍度最小モデル

つ単一フレームの表示時間 d に係数を乗算する手法を提[15] により算出する．このモデルでは，評価関数 C を以案する．速度変更は以下のように表現される：d∗ = βd.

下のように表現する：)2∫ (1 t1 d3 γi (t)
C=
dt.
2 0
dt3

(4)

ここで，d は変更前の単一フレームの表示時間，d∗ は変更後の単一フレームの表示時間，β は倍率係数をそれぞ評価関数 C が最小となる関数 γi (t) が最適であり，評価れ表す．

関数 C が極値をとる際は，関数 γi (t) がオイラーポアソ

5 システムン方程式を満たすため，以下の式が導かれる：

d6 γi (t)= 0.
dt6
以上より，差分係数 γi (t) は 5 次式であることがわかる．
時刻 t における差分係数 γi (t) が時刻 t1 で 0 に収束す

本節では，前二節で定式化した組上げ型振付制作プロ
セスを再現するビジュアルプログラミング環境について
説明する．

5.1

システムの画面構成

提案システムは 図 2 に示すような，多種多様なダンる場合，γi (t) は以下のように表現される：

スモーションの直観的制作を可能にするビジュアルプロ

ai0 2
t + v0i t + xi0 ,2
ai t2 + 6v0i t1 + 12xi0,
A=− 0 1
2t51
3ai t2 + 16v0i t1 + 30xi0
B= 0 1,
2t41
3ai t2 + 12v0i t1 + 20xi0.
C=− 0 12t31

γi (t) =At5 + Bt4 + Ct3 +グラミング環境を提供している．本システムの開発にはUnity 2021.3.4，およびエディタ拡張用フレームワーク
NodeGraphProcessor を利用した．
インタフェースは主に 3 画面から構成されている．図C は，それぞれ振付・シーケンスエディタ，ボ
B ，○
A ，○
2○
A は
ディマスクエディタ，結果表示画面である．図 2 ○ここで，xi0 は遷移開始時での振付 A，B 間の関節 i の状
態の差を，v0i は遷移開始時での振付 A の関節 i の速度を，ai0 は遷移開始時での振付 A の関節 i の加速度をそれぞれ表す．xi0 は遷移開始 1 フレーム前における振付

A と遷移開始フレームの振付 B の関節状態の差から，v0i

振付編集時には振付エディタ，シーケンス編集時にはシーケンスエディタとなる．また，処理実行時には，振付・シーケンスエディタが結果表示画面へ遷移する．その他は Unity 標準機能であるため，説明は割愛する．各
画面の詳細については，以下で説明する．

は振付 A の遷移開始 1 フレーム前と 2 フレーム前の関– 9:6 –

芸術科学会論文誌 Vol. 22, No. 3, pp. 9:1 – 9:19 (2023)

C は結果表示画面をそれぞれ表B はボディマスクエディタ，○
A は振付・シーケンスエディタ，○
図 2: 提案システムの画面構成．○
C 2 はともに結果表示画面のモードに伴い表示するものが変化し，本図は振付モードでの画面である
C1 と○
す．○

(a) 振付エディタ
振付エディタでは，要素モーションとそのモーションに対する操作を表すノードをインタラクティブに接続することで，組上げ型振付制作プロセスにおける振付制作
プロセスを再現する．ユーザのインタラクティブなノー
ド操作を可能にするために，振付エディタにはノードの作成・削除・移動・グループ化，データ形式上互換性のあるノード間の接続，redo・undo 機能が実装されている．

(b) シーケンスエディタ
シーケンスエディタでは，振付を表すノードをインタ
ラクティブに接続することで，組上げ型振付制作プロセスにおけるシーケンス制作プロセスを再現する．また，振付エディタと同様に，シーケンスエディタでもインタ
ラクティブなノード操作が可能である．

(c) ボディマスクエディタ

図 3: 各ノードの外観．上は振付エディタ，下はシーケンスエ

ボディマスクエディタでは，前ジャッキン化および結ディタのノードをそれぞれ表す合において合成対象となる関節を指定する．プロトタイ
プ [3] では，例えば胴体，右腕，左腕などのパーツ全体で部位に寄った部位をそれぞれ表示する．先行報告 [3] での指定のみ可能であったが，拡張後は腰，脊椎，胸，右は，振付モードのみが実装されていたが，システム拡張

腕の付け根，右肘，右手首などの関節単位での指定が可

後はシーケンスモードが追加され，組み上げた部位の動能となり，システム上で表現できるモーションの幅が広

きがより明確となった．

がった．

5.2

導入されている基本モーション本システムに導入されている基本モーションは合計 16(d) 結果表示画面
結果表示画面は 2 モードおよび 2 画面により構成され種類である．具体的には，ストリートダンスモーション

る．モードには，振付モードとシーケンスモードが存在

データセット AIST Dance Video Database[16] を 3 次

C 2
C 1 は最終的な振付を，図 2 ○する．前者では，図 2 ○元再構成した，AIST++[17] で提供されるハウスダンス

は制作途中の振付をそれぞれ表示する．後者では，図の基本モーション 10 種類と，長尺シーケンスから抽出

C 2 は組み上げたC 1 は最終的なシーケンスを，図 2 ○2○

した 1 種類，および著者が作成した 5 種類である．なお，– 9:7 –

芸術科学会論文誌 Vol. 22, No. 3, pp. 9:1 – 9:19 (2023)

先行報告 [3] では，AIST++[17] で提供される基本モーション 3 種類と長尺シーケンスから抽出した 1 種類，および著者が作成した 2 種類の合計 6 種類のみが導入済であったが，システム拡張により合計 10 種類のモーションが追加された．さらに，先行報告 [3] では未導入であった腰の平行移動成分を全てのモーションに対し導入し，上下運動によるダンス特有のリズム感の反映を試みた．

5.3

ノード

3 節の各種定義をもとに，本システムに実装した各ノードの外観を 図 3 に示す．また，振付エディタ，シーケ
ンスエディタに実装されているノードの詳細をそれぞれ
付録の 表 A.1，表 A.2 に示す．各ノードは振付エディ
タでは Primitive，Operation，Outcome，シーケンスエ
ディタでは Primitive, Control のいずれかのカテゴリに属す．入出力形式には，独自に定義した HouseDance-

Motion，HumanBodyMask，ChoreographyGraph，制御部を用いる．HouseDanceMotion はモーションデー

図 4: 提案システムを用いて組上げ型振付制作プロセスを再現

タ，HumanBodyMask はモーションデータの部分的合する際の一連のユーザ操作の流れ成を容易にするための関節指定用データ，Choreogra-

phyGraph は振付エディタによって制作した振付をそれ

6 ユーザ操作

ぞれ表す．また，制御部はシーケンスエディタにのみ存

本節では，本システムを用いて組上げ型振付制作プロ

在する形式であり，Sequence start ノードから順に繋げセスを再現する際に行う一連のユーザ操作の例，および

ることで振付の順番を指定できる．

各操作について説明する．

本システムでは冗長性を防ぐ観点から，全てのダンス

6.1

一連の操作の例

モーションデータ形式を HouseDanceMotion に統一し本システムを利用するユーザは，図 4 に示す一連の操ている．なぜならば，全てのモーションデータは式 (2)

作を行うことで組上げ型振付制作プロセスを再現するこにより表現されるからである．そのため，各種操作を表とができる．図 4 のステップ 1（振付エディタ・ボディ

すノードに対し定義域外のモーションを入力することもマスクエディタで振付制作）においては，以下に示す一仕様上不可能ではないが，最終的な振付の人体構造的妥連の操作により振付を制作する．

当性は保証されない．例えば，ダウンで踊れる足の基本

1–1 足の基本モーションに対する処理

モーションであるトレインをアップと同時に踊ることは（a）クリップ選択

人体構造上不可能である．しかし，エディタ上では実現（b）速度変更可能であるため，トレインをアップ化した際は，本来曲（c）前ジャッキン化

がらないはずの角度へ膝が曲がった振付など，人体構造

1–2 首・肩・腰の基本モーションに対する処理を維持していない出力が得られる可能性がある．そのた（a）クリップ選択

め，定義域外モーションの入力により，出力結果の人体（b）速度変更

構造的妥当性が失われる点はエディタ上で反映されるべ（c）結合（結合関節の選択，結合度決定）

きであり，そもそも入力できないようにする，または入力時に警告を表示するといった対応が必要である．

1–3 途中振付の速度変更
以下では，ステップ 1 での振付制作，およびステップ 4でのシーケンス制作における各操作の詳細を説明する．

– 9:8 –

芸術科学会論文誌 Vol. 22, No. 3, pp. 9:1 – 9:19 (2023)

図 5: 3.4 項に示した 3 種類の基本モーションと本システムによりそれらを組み上げて制作した振付の同フレームにおけるポーズ．
左から順にダウンで踊れる足の基本モーション，前ジャッキンの基本モーション，顔を上下に動かす首の基本モーション，最終的な振付の同フレームにおけるポーズをそれぞれ表す（添付ビデオ：2. 提案環境を用いた振付制作）

6.2

クリップ・ボディマスク選択

クリップ選択には Animation Clip ノードを，ボディ
マスク選択には Human Body Mask ノードを用いる．

Animation Clip ノードでは，ノード左側に存在する ⊙をクリックすることで，本システム内に存在する全てのモーションデータを一覧で表示するウィンドウが表示される．この一覧からモーションデータを選択するこ

図 6: 3.4 項に示した制作プロセスを再現する振付エディタのとができ，選択されたモーションデータ名がノード左側

ノード構成例（添付ビデオ：2. 提案環境を用いた振付制作）の矩形枠内に表示される．同様の手順を Human Body

6.5

Mask ノードにおいても行うことで，ボディマスクを選
択できる．

6.3

速度変更

速度変更には Speed ノードを用いる．Speed ノードには 4.4 項の手法が実装されている．ノードの左下に存

前ジャッキン化

在する矩形枠に数値を入力することで，式 (4) における前ジャッキン化には Animation Additive Mix ノードを用いる．Animation Additive Mix ノードには 4.1 項

倍率係数 β を指定できる．

6.6

シーケンス制作の手法が実装されている．ノード左側の Main Clip が基

シーケンス制作は，シーケンスエディタ上で Sequence

本ポーズ，Sub Clip が派生ポーズ，Body Mask が指定

start ノード，複数の Choreography ノード，Sequence

関節，Weight が加算ブレンド係数に，ノード右側の Out

end ノードの各制御部を順に接続する．Choreography

がブレンド後のポーズにそれぞれ対応する．

ノードでは，6.2 項と同様の手順でシーケンスに含める

6.4

結合

振付が選択可能であるだけでなく，6.5 項と同様の手順

結合には Animation Override Mix ノードを用いる．

で，その振付を続けて踊る拍数も指定できる．実行時にAnimation Override Mix ノードには 4.2 項の手法が実は，4.3 項の手法に基づき，本システムにより所望のシー装されている．ノード左側の Main Clip が基本ポーズ，ケンスが生成される．

Sub Clip が派生ポーズ，Body Mask が指定関節，Weightがオーバーライド係数に，ノード右側の Out がオーバーライド後のポーズにそれぞれ対応する．

7 結果と評価
本節では，はじめに本システムを用いて制作したモーションを示し，次に先行報告 [3] での予備実験，および新たに実施したモーションとシーケンスの評価実験，ワー– 9:9 –

芸術科学会論文誌 Vol. 22, No. 3, pp. 9:1 – 9:19 (2023)(a) パドブレとよばれるダウンで踊れる足の基本モーションに対し，腰・肩・首の基本モーションを結合した例(b) トレインとよばれるダウンで踊れる足の基本モーションを前ジャッキン化し，腰・肩の基本モーションを結合した例

図 7: 本システムにより制作された複雑な振付例の同フレームにおけるポーズ（添付ビデオ：3. 複雑な振付例）
クショップの結果について順に説明する．実行環境はないのでしょうか？ステップを表すモーションであるの

CPU：AMD Ryzen 9 5900X @ 3.7GHz，RAM：64GBに，上下運動が反映されていないのは不自然に感じます」

であり，3D モデルはミライ小町 [18] を用いた．

というコメントをくれた方に，拡張結果である図 5 を再7.1

度見てもらったところ，「なんだかフワフワしている気も組上げ型振付制作プロセスの再現

3.4 項に示した 3 種類の基本モーションと本システム

しますが，許容範囲だと思います．恐らく mocap の精によりそれらを組み上げて制作した振付の同フレームに度か，キャラクタの脚が長いので，床に正しく脚がついおけるポーズを 図 5 に示す．図 5 全体は式 (3) を表していないのかなという気もします」とのコメントを得た．

ている．モデルの関節数 n は 22 個，フレーム数 l は 127

また，本システムにより制作した，4 拍目から 5 拍目

フレームである．単一フレームの表示時間 d は 0.017

にかけてツーステップからパドブレへ連結したシーケン

秒，指定関節における加算ブレンド係数 β とオーバーラ

ス例を図 8 に，実際に提案環境を用いて制作する過程をイド係数 α はともに 1 にそれぞれ設定している．また，

添付ビデオ（4. 提案環境を用いたシーケンス制作）に示

その制作プロセスを再現する振付エディタのノード構成

す．躍度が最小となるモーションが生成されており，破例を図 6 に，実際に提案環境を用いて制作する過程を添

綻のない自然なモーションの遷移が実現されていること付ビデオ（2. 提案環境を用いた振付制作）に示す．ツーが確認できる．

ステップの腰から首にかけての関節の動きが前ジャッキ

7.2

予備実験

ンの動きと混合されているとともに，顔を上下に動かす

先行報告 [3] では，組上げ型振付制作プロセスの再現

首関節の動きがそのまま反映されていることが確認できにより制作されたモーションの精度，および提案環境のる．さらに，本システムにより制作した，より複雑な振妥当性の実証に向け，予備実験を行った（2022 年 7 月

付例を図 7 および添付ビデオ（3. 複雑な振付例）に示す．

実施）．具体的には，参加者 17 人（ダンス未経験者：14

先行報告 [3] の発表の際に「腰の平行移動成分は反映し人，半年以上のダンス経験者：3 人）に対し，2 種類のタ– 9:10 –芸術科学会論文誌 Vol. 22, No. 3, pp. 9:1 – 9:19 (2023)

図 8: 本システムにより制作された，4 拍目から 5 拍目にかけてツーステップからパドブレへ連結したシーケンス例（添付ビデオ：
4. 提案環境を用いたシーケンス制作）

スクに対して各 2 問，計 4 問を出題した．1 種類目は提示された複数個の基本モーションから組み上げられた最終的な振付を 5 個の選択肢から推測するタスク，2 種類
目は提示された最終的な振付を構成する基本モーション
を 6 個の選択肢から 1 問目は 2 個，2 問目は 3 個推測するタスクである．
各設問において，はじめに提示した基本モーションの組および振付は以下の通りである．

• 設問 1：前ジャッキンの基本モーションと顔を左右に向ける首の基本モーション

図 9: 組上げ型振付制作プロセスの再現により制作されたモー• 設問 2：ツーステップとよばれるダウンで踊れる足の基本モーションと前ジャッキンの基本モーショ

ションの精度に対する予備評価実験の結果．全体，ダンス未経
験者，半年以上のダンス経験者ごとの各設問の正答率を表す

ン，顔を上下に動かす首の基本モーション• 設問 3：ファーマーとよばれるダウンで踊れる足の結合された振付から各基本モーションを推測するタスク

基本モーションと顔を上下に動かす首の基本モーであることから，共通要素である前ジャッキン化が正答ションを結合した振付

率を低下させていると考えられる．しかし，全ての設問• 設問 4：パドブレとよばれるダウンで踊れる足の基において半年以上のダンス経験者の正答率は 100 % であ本モーションを前ジャッキン化した振付に顔を左右ること，および設問 1，3 において全体の正答率は最低に向ける首の基本モーションを結合した振付

でも 88.2 % であることから，プロトタイプの妥当性が全体，ダンス未経験者，半年以上のダンス経験者ごとの各実証されたといえる．

設問の正答率を図 9 に示す．設問 2 は前ジャッキン化さ

7.3

モーションとシーケンスの評価実験

れたツーステップを推測するタスク，設問 4 は前ジャッシステム拡張後のモーションとシーケンスに対するキン化されたパドブレと顔を左右に向けるモーションが評価を得るために，新しく導入した基本モーションであ– 9:11 –芸術科学会論文誌 Vol. 22, No. 3, pp. 9:1 – 9:19 (2023)

り，区別の難しい肩のモーション，予備実験では精度が低かった前ジャッキン，新たに制作できるようになった
シーケンスに対する評価実験を行った（2023 年 1 月実
施）
．具体的には，参加者 12 人（ダンス未経験者：10 人，
半年以上のダンス経験者：2 人）に対し，計 3 種類のタスクを出題した．各タスクの内容は以下の通りである．

• タスク 1：トレインとよばれるダウンで踊れる足の基本モーションと，肩を上下する肩の基本モーショ

図 10: タスク 1 の結果．全体，ダンス未経験者，半年以上のンが提示され，その 2 つを結合した振付を 4 個の選

ダンス経験者ごとの正答率を表す

択肢から推測するタスク• タスク 2：ツーステップとよばれるダウンで踊れる足の基本モーションと，前ジャッキンの基本モーションが提示され，ツーステップを前ジャッキン化
した振付として自然なものを，拡張前の出力結果と拡張後の出力結果のどちらかから選択するタスク• タスク 3：パドブレとよばれるダウンで踊れる足の基本モーションと，ファーマーとよばれるダウンで踊れる足の基本モーションが提示され，その 2 つを連結したシーケンスの自然さを 7 段階で評価するタスク

図 11: タスク 2 の結果．拡張前・拡張後の出力結果に対し，自然であると答えた人数の内訳を表す

以下，それぞれのタスクについて考察する．
答えた人は 11 人であった．今回提示した 2 つの出力結(a) タスク 1 についての考察
タスク 1 における，全体，ダンス未経験者，半年以上果において，リズム化をした関節の種類は全て同一のものダンス経験者ごとの正答率を図 10 に示す．それぞれのとしていた．そのため，拡張後が自然であると答えたの正答率は，全体が 66.6 %，ダンス未経験者が 60 %，半人が多数を占めた理由は，拡張点のひとつである腰の平

年以上のダンス経験者は 100 % であった．上記の結果か

行移動成分の導入に伴い，上下運動によるダンス特有のら，やはりダンス未経験者にとって，微細な肩の動きのリズム感が反映されたからであると考えられる．

変化を判別することは難しいということが分かる．その(c) タスク 3 についての考察

理由としては，変化部位である肩が末端部位ではないこ

タスク 3 の結果を図 12 に示す．評価値 2 は外れ値ととが考えられる．なぜならば，7.2 項で説明した予備実した．外れ値が生じた原因としては，評価値 2 を選択し験での設問 1 は首の基本モーションを結合した振付をた回答者はダンス未経験者であり，かつタスク 1 の回答

推測する問題であり，その問題の正答率は全体で 100 %が不正解であったことから，ダンスモーションの識別がであったからである．従って，結果表示画面（モード：

不得意であった可能性が考えられる．中央値は 7，最大シーケンス）で表示される肩に寄った視点を，選択肢の値は 7，最小値は 5，第一四分位は 6，第三四分位は 7 で隣に同時に提示すれば，より高い正答率が望めると考えあった．上記のような高い評価を得られたのは，4.3 項

られる．

で説明した，各関節の速度や加速度を滑らかに変化させ(b) タスク 2 についての考察

る慣性補間手法 [14] が有効であったからであると考えら

タスク 2 において，拡張前・拡張後の出力結果に対し，れる．今回は単一の足の基本モーションから，他の単一自然であると答えた人数の内訳を図 11 に示す．拡張前の足の基本モーションへの連結例を提示した．システムが自然であると答えた人は 1 人，拡張後が自然であるとの利用の仕方によっては，より複雑な振付間の連結も生じ得るため，引き続き検討が必要である．

– 9:12 –芸術科学会論文誌 Vol. 22, No. 3, pp. 9:1 – 9:19 (2023)

表 1: ワークショップ参加者の基本情報（ダンス経験）

参加者

性別

年齢（歳） ダンス歴

主ジャンル

振付制作経験

A

男

27

5年

Break

有

B

女

24

8年

Jazz Hiphop, Vogue

有

C

女

22

13 年

Jazz

無

表 2: ワークショップ参加者の基本情報（Unity，3D ヒューマンアニメーションに関する知識）

7.4

ゲームエンジン等での 3D ヒューマン

3D ヒューマンアニメーションのアニメーションデータの使用経験

数理的知識の程度

有

有

詳細な部分まで分かる

B

無

有

基本的なことは分かる

C

有

無

全く分からない

参加者

Unity の使用経験

A

ワークショップ

システム全体に対する評価を得るために，ダンス経験がありかつ情報工学を専攻する 3 名を対象に，提案シス
テムを用いたワークショップを開催した（2023 年 1 月実施）．ワークショップの一シーンを図 13 に示す．
ワークショップの流れは以下の通りであり，合計 3 時間実施した．

• 基本情報の収集：5 分• 研究説明（背景，目的，モーションと操作の定義）：
15 分• チュートリアル：50 分• 自由な振付・シーケンス制作：50 分

図 12: タスク 3 の結果．評価値 2 は外れ値とした• ディスカッション：60 分
参加者のダンス経験，ヒューマンアニメーションに関す

義までに留め，システムについては，チュートリアルをる基本情報の一覧をそれぞれ表 1，表 2 に示す．また，通して理解してもらう形とした．

表 2 における，3D ヒューマンアニメーションの数理的

以下，チュートリアル，自由な振付・シーケンス制作，知識の程度は，それぞれ具体的に以下の経験があるかど

およびディスカッションの内容について説明する．

うかで判断してもらった．

(a) チュートリアル• 詳細な部分まで分かる：回転成分の表現方法を数種

参加者に提案システムの機能を理解してもらうため

類知っている，実際に行列計算をしたことがある等に，筆頭著者の指導のもとで，4 段階のチュートリアル• 基本的なことは分かる：フレーム・キーフレーム・を実施した．1 段階目は，足の基本モーションを表す 1

順運動学などを理解している，どのようなデータ構

つのアニメーションクリップをそのまま結果表示画面

造で表現されるか知っている等に出力した．ここでは，振付・シーケンスエディタ上で• 全く分からない：特に経験なしのノード操作（エディタ上に追加，ノード間を繋げる方

そして，研究説明は背景，目的，モーションと操作の定法，redo・undo），出力に至るまでのワークフローを理解– 9:13 –芸術科学会論文誌 Vol. 22, No. 3, pp. 9:1 – 9:19 (2023)(a) 参加者 A が制作した振付グラフ

図 13: ワークショップの一シーン．本図は自由に振付・シーケンスを制作する様子を表す(b) 参加者 B が制作したシーケンスグラフ

してもらった．2 段階目は，首の基本モーションを結合した振付を制作した．1 段階目で選択した足の基本モーションに対し，Animation Override Mix ノードを用いて，首の基本モーションを結合した．その過程で，ボディマスクエディタや Weight ノードの挙動を理解してもらった．3 段階目は，前ジャッキン化した振付を制作
した．2 段階目までで制作した振付に対し，Animation

Additive Mix ノードを用いて前ジャッキン化すること
で，リズム化と結合の計算の違いを理解してもらった．4(c) 参加者 C が制作した振付グラフ

段階目は，シーケンスを制作した．シーケンスエディタ

図 14: 各参加者が制作した振付・シーケンスグラフ

上で Choreography ノードを用いて，3 段階目までに制作した振付グラフと著者が作成した振付グラフを連結することで，シーケンスエディタの挙動を理解してもらった．また，結果表示画面のモードによる違いも理解してもらった．
以上の 4 段階のチュートリアルにより，参加者は自由に振付・シーケンスを制作できる状態となった．

り，合成関節を腕部分全体の関節，パラメタを負の値に設定している．図 14(b) は参加者 B が制作したシーケ
ンスグラフであり，合計 9 個の Choreography ノードを接続することで，32 拍分のダンスシーケンスを制作している．激しい動作 4 拍の後に，静かな動作 4 拍という一連の流れを，動作の種類を変えながら合計 4 回繰り返したシーケンスとなっている．図 14(c) は参加者 C が制(b) 自由な振付・シーケンス制作
参加者に対し，制作物の具体的な指示を与えず，自由に振付やシーケンスを制作するよう指示した．それぞれの参加者は，互いにシステムの挙動や制作のコツを話し合いながら，制作を進めていた．
各参加者が制作した振付・シーケンスグラフの一部を図 14 に示す．図 14(a) は参加者 A が制作した振付グラフである．ヒールトゥとよばれる足の基本モーションに対し，ピーターとよばれる足の基本モーションの脇を開いて腕全体を上に上げる動作を合成することを試みてお作した振付グラフである．ヒールトゥとよばれる足の基
本モーションに肩を上下する肩の基本モーションを結合し，その後前ジャッキン化した振付を制作している．また，合成結果が大きく破綻した動作となることを防ぐた
めに，パラメタを小さく設定している．

(c) ディスカッション
ワークショップを通して，提案システムの良い点・改善点・今後の課題について議論した．提案システムの良い点・改善点・今後の課題，および感想などは以下の通りである．

– 9:14 –芸術科学会論文誌 Vol. 22, No. 3, pp. 9:1 – 9:19 (2023)• 他ダンスジャンルへの適用：ハウスダンスのように

提案システムの良い点として，以下が挙がった．

組上げ型振付制作プロセスを採用するジャンルであ• 使いやすく，一般的なキーフレーム操作での制作よ

れば，簡単な作業のみで適用可能であるため（B）

りも直観的である点（A, C）• 振付とシーケンスの 2 段階に分けて制作すること• 複数の処理をまとめて表現するノードの導入：前
ジャッキン化のように繰り返し使用する処理が多で，より組上げ型の意味を理解できる点（B）

かったため，またノードとエッジでグラフが煩雑に• モーションが元々導入されており，ハウスダンスをなるのを防げるため（A）

知らない人でも制作できる点（B, C）• 振付間の遷移が自然であるため，ハウスダンスのことを知らなくとも，自由にシーケンスを制作でき

最後に，感想として，以下が挙がった．

• ダンスの振付制作過程を組上げ型として捉えてるこる点（B）と自体がおもしろいと感じた（A, B, C）

次に，改善点として，以下が挙がった．

• 振付の減算が可能なのは興味深かった（A)• 各モーションの詳細を簡単に確認する機能：各モー• ある振付を目的に制作するというより，ある振付とションがどういう動きかが分からず，少し制作しに別の振付を合成したらどのようになるのだろう，とくかったため（A, B, C）

いった興味本位での制作が多く，新しい動きを生み出す機会を提供してくれるクリエイティブな面があ• シーケンス制作中に，途中の振付から結果を確認すると感じた（B）

る機能：9 拍目から確認したいと思ったが，やり方以上の議論から，提案システムは，制作する上での機が分からなかったため（A, B）• クリップ中盤に存在する，各基本モーションの左足

能が幾分か不足しつつも，従来のキーフレーム操作によの動きを抽出する機能：全ての基本モーションが右る制作よりも直観的かつ使いやすいことが分かった．ま足スタートであり，システム上抽出が不可能であった，提案システムは，例え制作者にモーション制作経験たため（B）が無かったとしても，自由にハウスダンスモーション• 2 倍速化後のモーションを自然にすること：Speedの制作が可能な環境であることが分かった．以上より，ノードで 2 倍速化は可能だが，単純に 2 倍速化してワークショップを通し，提案システムの有用性は実証さも自然な動作にはならなかったため（A）れた．

• より多くの基本モーションの導入：制作できる振付の幅が狭いと感じたため（B, C）

8 結論と今後の課題
本論文では，様々なモーションと実際の振付制作で行• ダウンを含むモーションにおける膝関節の曲がり具
合を調整可能にすること：前ジャッキンと同様に，ダウンの度合いも調整したかったため（C）

う操作の関係性を明らかにすることで，多種多様なハウ
スダンスモーションの直観的制作を可能にするビジュ
アルプログラミング環境，すなわち組上げ型ダンスモー• 処理されるノードと処理されないノードの区別：最終的に Result ノードに繋がっていなければ，例えノード間が接続されていても処理されないという仕様は，挙動が一見よく分からず，エッジを削除せねばならないのではないかと不安になったため（A）
そして，今後の課題として，以下が挙がった．

ション制作システムを提案した．先行報告 [3] での予備実験に加え，新たに実施したモーションとシーケンスの評価実験，提案システムを用いたワークショップにより，システム拡張による出力モーションの精度向上，および本システムの有用性が実証された．
今後の課題として以下の 4 点を挙げる．

• ターンや低い姿勢で踊るフロアの導入：ハウスダンスにおいて重要であるため（B, C）

8.1

足の接地の考慮

現在の提案環境に導入されている足の基本モーション• 大きく移動する場合の再現：現在はその場での立ちは，AIST++[17] で提供されるものをそのまま用いてい踊りだけだが，振付で大きく移動する場合も再現でるため，どれも足の接地が考慮されておらず，ダンスときると表現の幅が広がりそうであるため（A）

しての自然さが幾分か損なわれている．そのため，どの– 9:15 –芸術科学会論文誌 Vol. 22, No. 3, pp. 9:1 – 9:19 (2023)

フレームにおいても同一平面上に足裏が接地するようを，段階的に紐解くひとつの手段となり得ると考えるか

モーションを修正する必要がある．

らである．本システムの拡張範囲からは大きく外れるた

ノード構築時の自動補完

め，今回はシステムへ追加しなかったが，今後も継続し

8.2

5.3 項で説明した通り，本システムでは，ある操作を表すノードに対して，本来定義域外のモーションを入力することも可能であるため，結果としてユーザは妥当でな
いダンスモーションを得る可能性がある．そこで，ユー
ザが既に選択したモーションをシステム側が認識し，次に合成すべきモーションを自動補完する機能を実装する
ことで，ユーザが所望のダンスモーションを制作できる可能性が高められると考える．

8.3て検討していく必要がある．

謝辞
3D モデルの使用を許諾してくれた株式会社バンダイ
ナムコ研究所に深謝する．
本研究の一部は，科研費基盤研究（A）21H04916 の支援により実施された．

参考文献[1] 樋 口 優 ，MikuMikuDance ，https://sites.google.

振付制作支援システムとしての拡張

com/view/vpvp/, 最終アクセス日：2023 年 7 月

5.3 項では，定義域外モーションの入力により，出力

15 日．

の人体構造的妥当性が失われる点にはエディタ上での対応が必要であると言及した．しかし，むしろ定義域外[2] 若杉実，ダンスの時代，リットーミュージック，
2019．

モーションの入力を許容することで，新たなダンスモー
ションの創出へ繋がる可能性がある．例えば，7.4 項 (c)[3] 大字諒，藤代一成，“組上げ型振付制作プロセスに基づくハウスダンスデザインシステムのプロトタイ「ディスカッション」にて，ワークショップの参加者 A

ピング”，芸術科学会 NICOGRAPH2022 予稿集，

は「振付の減算が可能なのは興味深かった」と発言して

pp. F–3:1—F–3:8，2022．

おり，実際に参加者 A が制作したモーションは，データセット上では一見表現不可能なものであった．このよう[4] Masafumi

Mitsu

features from motion capture data,” The Journalを負に設定すれば振付同士の減算を行い，大幅に想定外

of the Institute of Image Electronics Engineersの出力が得られる．そのため，上記の参加者 A の事例

of Japan, Vol. 37, No. 3, pp. 303–311, 2008.

があったように，定義域外モーションの入力を許容する[5] Takaaki Shiratori,

Atsushi Nakazawa,

andKatsushi Ikeuchi, “Dancing–to–music character

ンの創出へ繋がる可能性がある．実際，Dornelas ら [19]animation,” Computer Graphics Forum, Vol. 25,の報告によれば，システムと対話することで人間が着想

No. 3, pp. 449–458, 2006.

を得る形式の振付制作支援システムは 2021 年 7 月段階[6] Wakana Asahina, Naoya Iwamoto, Hubert. P. H.
Shum, and Shigeo Morishima, “Automatic dance

ションの入力は制限するべきではなく，むしろ許容する

generation system considering sign language

ことで，本システムは振付制作支援システムにも発展さ

information,” in ACM SIGGRAPH 2016 Posters,

せられると考えられる．

8.4

Tsuruta,mentation of dancing movement by extracting

加算を行い，比較的想定通りの出力が得られるが，重みで 18 種類存在する．以上の点から，一概に定義域外モー

Seiya

Yoshimura, and Kozaburo Hachimura, “Seg-に，加算の重みを 0〜1 の範囲に設定すれば振付同士のことは，人間の創造性を刺激し，新たなダンスモーショ

Sonoda,ser. SIGGRAPH ’16, Article No. 23, 2016.

ダンス初心者に向けたシステム拡張

本システムはダンサーに対して，新しいモーションを[7] Narumi

提供するシステムであるが，ダンス初心者もターゲット
として含め，より活用範囲を広げることはひじょうに重要である．なぜならば，本システムの主軸である組上げ
型の振付制作プロセスは，初心者にとって難解である複数部位の動作から構成される複雑なダンスモーション– 9:16 –Okada,

Naoya

Iwamoto,Tsukasa

Fukusato, and Shigeo Morishima, “Dance motion
segmentation method based on choreographic
primitives,” in Proceedings of the 10th International Conference on Computer Graphics
Theory and Applications, ser. GRAPP 2015, pp.

芸術科学会論文誌 Vol. 22, No. 3, pp. 9:1 – 9:19 (2023)

1–10，2020．

332–339, 2015.
[8] Yuho Yazaki, Asako Soga, Bin Umino, and[17] Ruilong Li, Shan Yang, David A. Ross, andMotoko Hirayama, “Automatic composition by

Angjoo Kanazawa, “AI choreographer: Musicbody–part motion synthesis for supporting dance

conditioned 3D dance generation with AIST++,”

creation,” in 2015 International Conference onin 2021 IEEE/CVF International Conference

Cyberworlds (CW), pp. 200–203, 2015.

on Computer Vision (ICCV), pp. 13381–13392,
2021.

[9] Naoya Iwamoto, Takuya Kato, Hubert P. H.
Shum, Ryo Kakitsuka, Kenta Hara, and Shigeo[18] Bandai Namco Research Inc.，ミライ小町，https:

Morishima, “DanceDJ: A 3D dance animation//www.miraikomachi.com/, 最終アクセス日：2023

authoring system for live performance,” in Ad-

年 7 月 15 日．

vances in Computer Entertainment Technology,[19] Iago Felicio Dornelas, Rodrigo Duarte Seabra,and Adler Diniz De Souza, “Systematic mapping

pp. 653–670, 2018.
Takami Yasuda,of technologies for supporting choreographic

and Shigeki Yokoi, “Web3D Dance Composer:

composition,” Journal on Interactive Systems,

Automatic composition of ballet sequences,”

Vol. 13, No. 1, pp. 232–242, September 2022.

[10] Asako Soga,

Bin Umino,

in ACM SIGGRAPH 2006 Research Posters,
ser. SIGGRAPH ’06, pp. 5–es, 2006.
[11] Kang Chen, Zhipeng Tan, Jin Lei, Song–Hai
Zhang, Yuan–Chen Guo, Weidong Zhang, and
Shi–Min Hu, “Choreomaster:

Choreography–

oriented music–driven dance synthesis,” ACM
Transactions on Graphics, Vol. 40, No. 4,
Article No. 145, 2021.
[12] Masaki Oshita, “Generating animation fromnatural language texts and semantic analysis
for motion search and scheduling,” The VisualComputer, Vol. 26, No. 5, pp. 339–352, 2010.
[13] 向井智彦，川地克明，三宅陽一郎，キャラクタアニ
メーションの数理とシステム—3 次元ゲームにおける身体運動生成と人工知能—，コロナ社，2020．

[14] David Bollo, “Inertialization: High–performance
animation transitions in ’Gears of War’,” Game
Developers Conference, 2018.
[15] Tamar Flash and Neville Hogan, “The coordination of arm movements: an experimentally conﬁrmed mathematical model,” Journal of Neuroscience, Vol. 5, No. 7, pp. 1688–1703, 1985.
[16] 土田修平，深山覚，濱崎雅弘，後藤真孝，“AIST
dance video database: ダンス情報処理研究のためのストリートダンス動画データベース”，情報処理学会研究報告，Vol. 2020–MUS–126，No. 9，pp.

– 9:17 –芸術科学会論文誌 Vol. 22, No. 3, pp. 9:1 – 9:19 (2023)

付録 A ノードの仕様
表 A.1: 振付エディタに実装したノードの詳細
カテゴリ

名称

入出力形式

Primitive

Animation Clip
Human Body Mask

出力：HouseDanceMotion
入力：なし
出力：HumanBodyMask
入力：なし

WeightOperation

入力：なし

アニメーションクリップの選択
ボディマスクの選択
加算・結合度の指定

出力：Float
入力：（HouseDanceMotion, Float）

Speed

用途

出力：HouseDanceMotion

モーションの速度変更

入力：(HouseDanceMotion, HouseDanceMotion,

Animation Additive Mix

HumanBodyMask, Float)

モーションの前ジャッキン化

出力：HouseDanceMotion
入力：(HouseDanceMotion, HouseDanceMotion,

Animation Override Mix

HumanBodyMask, Float)

モーションの結合

出力：HouseDanceMotion

Outcome

入力：HouseDanceMotion

Result

出力：なし
入力：HouseDanceMotion

Sub Result

出力：なし

最終結果の表示
途中結果の表示表 A.2: シーケンスエディタに実装したノードの詳細

カテゴリ

名称

Primitive

Choreography

ControlSequence start
Sequence end

入出力形式
入力：(制御部, ChoreographyGraph, int)
出力：制御部
入力：なし
出力：制御部
入力：制御部
出力：なし– 9:18 –用途
振付の選択

シーケンスの開始
シーケンスの終了

芸術科学会論文誌 Vol. 22, No. 3, pp. 9:1 – 9:19 (2023)

大字 諒

2021 年慶應義塾大学理工学部情報工学科卒業．2023 年，同大学大学
院理工学研究科開放環境科学専攻
情報工学専修修士課程修了．修学時は，ハウスダンスを対象としたモーション制作システムの研究開発に従事．

藤代 一成（正会員）

1988 年理学博士（東京大学）．東京
大学，筑波大学，お茶の水女子大学，東北大学を経て，2009 年より慶應
義塾大学理工学部情報工学科教授．

CG・可視化や知的環境メディアに関する研究に従事．第 16 回 CG

Japan Award 受賞．本会では副会長，評議員，NICOGRAPH Inter-national アドバイザリ委員等を歴任．日本工学会，情報処理学会フェロー，画像電子学会名誉会員，ACM シニア
会員．IEEE シニア会員および Visualization Academy
会員．現在，日本学術会議連携会員，情報処理学会 CGVI研究会主査．

– 9:19 –