計測自動制御学会東北支部 第 206 回研究集会 (2002.12.10)
資料番号 206-4

音楽情報による自動人形の動作自動生成
Automatic Generation of Dancing Motions for the Computer
Controlled Automata Using Music Data
○佐藤文明 ∗ ，猪岡光 ∗○ Fumiaki Satoh∗ , Hikaru Inooka∗∗∗

東北大学大学院情報科学研究科

Graduate School of Information Sciences, Touhoku University

キーワード : 自動人形 (Automata)，舞踊動作 (Dancing Motions)，自動生成 (Automatic Generation)，MIDI(MIDI)，

連絡先 : 〒 980-8579 宮城県仙台市青葉区荒巻字青葉 01 東北大学工学部機械系２号館 知能制御システム学研究室
佐藤文明，Tel.: (022)217-7021，Fax.: (022)217-7019，E-mail: fsatoh@control.is.tohoku.ac.jp

1.

緒言

種多様な舞踊動作の実現のためには，いかにこの作業の困難さを緩和するかが重要となる．その解人を楽しませることが目的であるアミューズメン

決方法として，舞踊動作の自動生成があげられる．

トロボットの一つに，音楽に合わせて踊りを踊る自動人形がある．従来の自動人形は 1 種類の舞踊動作を繰り返すのみであったが，池浦らにより開発されたコンピュータ制御による自動人形(CCA:ComputerControlled Automata) 1) はハードウェアを変更することなく複数の舞踊動作を行うことが可能である．
アミューズメントロボットは人を楽しませるという目的から，多種多様な動作をすることが望ましい．CCA においては多種多様な舞踊動作をする

舞踊動作とは音楽に合わせた動作である．よって舞踊動作を生成したい楽曲から情報を取得し，それを利用することで音楽と動作を同期させることが可能となる．また動作を生成する際に何らかのルールが必要である．そこで舞踊動作に見られる特徴を抽出し，それをルールと して設定する．
そうすることで，舞踊に関する知識や教示作業を必要とせず，舞踊としての面白さ，美しさを表現できる舞踊動作の自動生成が可能となる．ということに相当する．しかしその動作教示において，教示者は舞踊の知識や多大な作業時間を必要とするため，過去に教示された舞踊動作は少数であり CCA の特徴である汎用性を生かしているとは言えない状況である．

過去の研究では，バレエ音楽に対し人間により教示された動作から 1 曲ごとに特徴を抽出し，それをその曲に対するルールとして設定することで舞踊動作を自動生成した 2) ．しかしこの手法では 1
曲ごとにルールを設定する必要があるため，多種CCA に舞踊動作を教示する際，最も困難な作業

多様な舞踊動作の実現のためには多くのルールをは舞踊動作をイメージするという作業である．多

—1—

3.

舞踊動作ルールの設定

以降，人間により教示された動作を模範動作と呼ぶこととする．

3.1

音楽と同期した動作生成

音楽から情報を取得し，音楽と動作とを同期させるために，本研究では音楽として MIDI ファイルを利用することとした．MIDI ファイルとは楽器同士を接続しその音楽情報をディジタル信号によって伝達するためのインタフェースである MIDI (MusicalInstrument Digital Interface)の標準フォーマットで作られたファイルである．MIDI ファイルはバイナ
リデータを解析することで，音の鳴り始めおよびFig. 1

CCA の概観

鳴り終わりのタイミング，テンポなどの情報を容易に取得することが可能である．

用意する必要があった．そこで本研究では，普遍

模範動作データから得られる舞踊動作の特徴の的なルールを設定し動作を自動生成することを目一つとして，音楽のリズムに合わせて動作が始ま的とする．
る，終わるというものがある．音楽を解析することにより得られた情報から舞踊動作を生成するた

2.

CCA の概要

めに，この特徴を利用する．つまり，MIDI データ

CCA は人形制御部分，音楽再生部分，人形本体から音の鳴るタイミング，音の止まるタイミング部分の 3 つの部分からなる．人形本体部分の概観が分かるので，そのタイミングに合わせて CCA のを Fig. 1 に示す．

各関節も動作させる．一つの音の始まりが動作の自由度は始まり，音の終わりが動作の終わりに対応することとなる．具体的には動作の始点と終点での CCA• 右足を軸とした体全体の回転の各関節の角度を決定し，その間の動作を補完す• 左足 (前後の振り)ることで一連の動作を生成する．

• 腰 (右屈・左屈)• 右腕 (前後の振り)• 左腕 (前後の振り)本研究では補完方法として，三角関数を用いる．
動作の始点の時間，角度をそれぞれ Tn ，Θn ，また終点の時間，角度をそれぞれ Tn+1 ，Θn+1 としたとき，時刻 t(Tn <= t < Tn+1 ) における角度 θ(t) を式 1で与える．

計 5 自由度である.

θ(t) = Θn +—2—Θn+1 − Θn2½

1 − cosµt − Tnπ
Tn+1 − Tn¶¾(1)このとき，境界時刻 (t = Tn , Tn+1 ) では常に角速度は 0 となり，動作が止まることになる．

模範動作から得られる特徴

3.2

舞踊動作に見られる特徴的な動作とは何かを調査するため，模範動作データから特徴を抽出した．
その結果，• よく動く関節，それほど動かない関節がある• 同時に動きやすい関節の組み合わせがある• 回転は 1 回の動作で一回転することが多い• 回転以外の各関節は初期位置で停止することが多い• 各関節の 1 回の動作の大きさはほぼ等しい

Fig. 2

体の回転部の動作自動生成アルゴリズム

Fig. 3ズム

その他の関節部の動作自動生成アルゴリという特徴が得られた．各関節について詳しく見ると，• 回転は他の関節の動作と関連しない• 右腕と左腕は同時に動作する• 腰は両腕と同時には動作しないことが多い• 左足は両腕および腰が共に動作するときに動作することが多いという特徴が得られた．

4.

舞踊動作の自動生成

4.1

自動生成アルゴリズム

模範動作から得られた特徴を舞踊動作ルールとして設定し，舞踊動作自動生成アルゴリズムを作成する．ここで，体の回転部のみ他の関節との関連性が見られなかったため，アルゴリズムは体の回転部，その他の関節部の 2 つのパートに分けることとした．体の回転部の動作生成アルゴリズム—3—

を Fig. 2 に，その他の関節部の動作生成アルゴリ
ズムを Fig. 3 にそれぞれ示す．
実際は全ての音に対して動作するわけではないので，音が鳴ったときに，関節の動作状態を決定するパラメータと して，動作生成率を定義する．
動作生成率とは音が鳴ったときに関節が動作する確率である．今回は，模範動作データを解析し一つの楽曲の中で各関節が動いている時間が全体のどの程度を占めるかを求め，その平均により動作生成率を次のように決定した．
体の回転:0.4

Fig. 5

動作自動生成例（一部拡大）

両腕:0.6

腰:0.1(両腕動作時)示す．Fig. 5 にお いて，縦軸の 値が 0 のとき Note:0.3(両腕非動作時)

Oﬀ(音が鳴っていない状態)，1 のとき Note On(音:0.5(両腕および腰動作時)が鳴っている状態) を意味する．動作生成の際のサ左足

また，動作方向は正方向に動く確率，負方向にンプリング時間が 50[ms] であるため，多少のずれがある．この例では一つの音が短いため，2 つの動く確率を共に 0.5 とした．

1回の各関節の動作量は，これも模範動作データ音をつなげて一つの音とみなし動作を生成している．Note On のタイミングにおいて動作は止まっを解析した結果をもとに，ており，そこから動き始めて Note Oﬀ の時間にお体の回転:360[deg]いて動作が止まることが分かる．

その他の関節:30[deg]とした．また，回転を除く各関節は初期位置(0[deg])で停止することが多いという特徴から，回転以外5.

自動生成した動作の感性評価

5.1

実験条件の 各 関節 の 角 度 が 初期 位 置 の 場 合は ±30[deg] へ ，±30[deg] の場合は初期位置へそれぞれ移動するこ自動生成した舞踊動作の成功度を評価するため，ととした．なお，ハードウェアの限界として360[deg]

人形の CGシミュレータにより表示した舞踊動作をの移動に必要な時間は約 2.4秒，30[deg]の移動に必用いて SD 法による感性評価実験を行った．結果を要な時間は約 0.25 秒である．音の長さがこれらの比較するため，模範動作の感性評価も行った．
実験条件は次の通りである．

時間条件に満たない場合，音が連続するならば複数の音をつなげて一つの音とみなし，つなげた音

被験者:20 代の男女 8 人の始点，終点に対し各関節の角度を決定した．

使用曲:バレエ音楽 3 種類
回数4.2

舞踊動作自動生成例:6 回 (自動生成動作 3 回，模範動作 3 回)

評価項目は過去の研究 3) をもとに ，「面白い-つ以上のアルゴリズムに基づき舞踊動作を自動生まらない」「美しい-みにくい」「軽快な-重々しい」成した例を Fig. 4 に，一部拡大した図を Fig. 5 に「飽きない-退屈な」の 5 対「滑らかな-ぎこちない」—4—

Fig. 4動作自動生成例—5—実際に CCA に対し同様の事を行いたい．

参考文献
1) R.Ikeura，M.Kimura and H.Inooka: Motion
Planning of Computer Controlled Automata，
2nd IEEE International Workshop on Robotand Human Communication (ROMAN 93)，pp.
356/360，Nov．1993．
2) S.Ito and H.Inooka: Automatic Generation ofDancing Motion for the Computer Controlled Automata Based on the Dancing Rules , Proceedingsof SICE Annual Conference, 3176/3181, 2002
3) 景 亜霓, 猪岡 光: シミュレータによる人形の動きの感性評価，第 4 回日本感性工学会大会予稿集, 134,
(2002)

Fig. 6

感性評価実験結果とした．また，一対比較評価の判定の度合は 7 段階とし，それぞれに+3 〜-3 の得点を与えた．

5.2

実験結果実験結果を Fig. 6 に示す．
全ての項目において評価は模範動作を下回り，得点は負数であった．成功度は低いといえる．その原因として，設定した舞踊動作ルールが単純だったことが考えられる．

6.

結言

本研究では，過去に自動人形に教示された舞踊動作を模範動作とし，模範動作から舞踊動作の特徴を抽出した．抽出した特徴から 1 つの舞踊動作ルー
ルを定め，複数の楽曲に対し舞踊動作を自動生成した．以上の手法により生成した舞踊動作の成功度を評価するため，感性評価実験を行った．その結果，自動生成した舞踊動作の成功度は低かった．
今後，舞踊動作自動生成の成功度が高くなるよ
う舞踊動作ルールの見直し，改良を行う予定である．さらにそのルールを他のジャンルの楽曲に対しても適用し舞踊動作を自動生成し，成功度を評価する予定である．また，シミュレータではなく—6—