ピアノ演奏に基づくマリオネット
ピアノ演奏に基づくマリオネットダンス
演奏に基づくマリオネットダンスの生成と表示
ダンスの生成と表示
関口 博之†

崔雄†

八村広三郎‡

Generating Marionette Dance Based on the Piano Performance
HIROYUKI SEKIGUCHI†WOONG CHOI†

1. はじめに

KOZABURO HACHIMURA‡

プレイヤーは演奏者であると同時に振付師になって，演奏をよりアクティブに楽しむことが可能である．ア

近年，電子楽器は極めて身近なものになった．特ドリブ演奏が困難な初心者でも，自分の演奏に合わせに電子ピアノなどは，価格が安くなっただけでなく，て人形が踊るのを見て楽しむことができる．さらに，サンプリング音源の採用によって楽器音のクオリティタッチやテンポの正確さを人形の踊りに反映させれば，も飛躍的に向上した．しかし，電子楽器がいくら安く演奏上の欠点を視覚的に把握することも可能になる．

高性能になっても，楽器の習得には依然として膨大な

このように，本システムはエンターティメント性だけ時間とコストが必要であることに変わりはない．特にでなく，教育ツールとしても大きな可能性を持つ．

ピアノのような鍵盤楽器をマスターするには単調な繰り返し練習が必須となるため，長期間にわたってモチベーションを持続することは難しい．

2. 操り人形 CG の提示
今日，音楽は音だけでなく，映像とともに楽しむ我々は，ピアノの演奏や練習をより楽しく行うにことがごく一般的となっている．しかし，映像を持たは，視覚情報の付加が有効であると考え，プレイヤーない楽曲に対しては，曲のイメージ写真か，もしくは，の演奏に応じて踊る，操り人形 CG を提示するシステ

幾何学模様の動画を提示するしかなかった．演奏情報ムを構築した．図１に利用中の本システムを示す．

から CG を生成するシステムもいくつか報告されているが[1,2]，オフライン処理によるものであったり，楽器や演奏者の様子を表示するものであったりと，本システムのように，演奏中のプレイヤー自身が楽しむことを目的としたものは見当たらない．
本システムでは視覚による楽しさの提供という観点から，その表示内容を演奏とともに踊る人形とした．
人形動作の生成手法もピアノの演奏手法に基づいたユニークなものとなっている．なお，表示オブジェクトにはリアルな人体モデルではなく，操り人形を選んでいるが，これは次の３つの理由からである．
１）打鍵動作と
１）打鍵動作と操り打鍵動作と操り人形操作の類似性
操り人形操作の類似性

図1 使用中の本システム

本システムの最大の特徴は，プレイヤーが曲をアレンジしたり，アドリブを加えたりすることによって，演奏を行いながら，人形の動きをコントロールすることを可能にした点にある．すなわち本システム上では，† 立命館大学衣笠総合研究機構
Kinugasa Research Organization, Shizuoka University‡ 立命館大学情報理工学部
School of Science and Engineering, Ritsumeikan University

ピアノの打鍵動作と操り人形の吊上げ操作は，慣性を持つ物体（ピアノの場合はハンマー）に運動エネルギーを与えるという点で類似している．このため，操り人形の吊上げ操作をピアノの打鍵動作に置き換えても，操作者はそれほど違和感を覚えない．また，長年改良を加えられてきたピアノの鍵盤メカニズムは，極めて優れたタッチセンサでもあり，これをコントローラとして用いることで，吊り上げの速度や大きさをダイナミックかつ精妙に操作することが可能になる．

情報処理学会 インタラクション 2010

２）人形操作の
２）人形操作の簡易性
人形操作の簡易性

増え，表現の幅が広がる．ただし，それに伴って操作人体モデルを構成するには，指関節を除いても，も煩雑化するため，ここでは連結部への吊り糸装着は十数個のボディパーツが必要になる．これらの各パーツに対して位置と姿勢をコントロールするには，数十歩行動作の実現に必要な膝のみとしている．
3.2

操り人形の動力学ものパラメータ（６自由度×パーツ数）を同時に決定

それぞれの円筒には，重力，周囲の円筒から引かしなければならない．一方，操り人形を操作するには，れる力，吊り糸による張力の３種類の力が加わる．

数本の吊り糸の端点座標を指定するだけでよい．

（図３）これらの力の合力は各瞬間における各円筒の本来，人形の操作用ではないピアノ鍵盤でも，操作内容をこのように限定することで，人形操作のイン重心位置を変化させ，重心のまわりに働くトルクは円筒の姿勢を変化させる．

ターフェイスとしての利用が十分可能になる．
３）操り人形３）操り人形動作
操り人形動作の動作のユニーク性
ユニーク性
人体のリアルな動きをシミュレートするには，関節の可動範囲や筋力といった人体の運動学的な制約を考慮しなければならない．これに対して操り人形を表示対象とした場合，個々のボディパーツを物理法則のみに基づいて動かすだけで，操り人形独特のコミカルで，かつ，操り人形としてのリアルな動きを再現できる．
こうした操り人形の動きは比較的単純な物理シミュレーションで実現できるため，ごく一般的な PC 上でもリアルタイムに CG 動画の生成が可能となる．

図3 円筒（ボディパーツ）に働く力

3. 操り人形モデル
操り人形モデル
3.1

操り人形の構成

本システムの操り人形は，相互に連結された 12 個または 14 個の円筒から構成される．頭，腰はそれぞれ１個の円筒で表現しているが，胸腹部は形状が不自然にならないよう，女性体形（図２左）では２つ，男性体型（図２右）では４つの円筒を組み合わせて構成している．腕と足は関節を境にして上下に分かれ，左右合わせてそれぞれ４個の円筒からなる．

図4 円筒の端点に働く力

円筒間に働く力を計算するため，円筒間には仮想バネを設けている．糸で連結した時の挙動にするにはバネ定数の値を大きくすればよいが，ある値を超えると勝手に振動を始め，しまいに発散してしまうため，適当な値に調整する必要がある．振動や発散はダンピ
ング係数を増やすことでも抑えられるが，係数の増加
図2 操り人形の構成

円筒の端点には吊り糸が付けられており，これを引き上げることで円筒の糸側を持ち上げられるようになっている．吊り糸は基本的に自由端（頭頂部，左右の手，左右の足先）に付けるが，連結部である，肘，膝，首，肩などにも付けておくと，取り得るポーズがとともに人形の動きは緩慢になっていく．
各円筒の重心 GC (gravity center) まわりの合成トル
ク gtorque は，円筒の両端 F, H にかかる合力 fall, hallの慣性軸に対する垂直成分ベクトル ftorque, htorque を求めた後，両者の差分に端点間の距離を乗じた量として求められる．
（図４）
円筒全体にかかる合力 gforce と，重心まわりのトルピアノ演奏に基づくマリオネットダンスの生成と表示

ク gtorque が算出できたら，各々を質量，慣性モーメントで割ることで加速度と角加速度が得られる．ここでオイラー法を用いて速度と角速度を求め，ついで，重心座標と姿勢角を求める．こうして得られた重心位
置と姿勢角からは，次の瞬間の合力とトルクが計算できる．全ての円筒に対してこの計算ループを繰り返し行うことで，操り人形のアニメーションが実現される．

4. 演奏と人形動作との対応付け
図5 右手による鍵盤打鍵に対応する人形の動作

ピアノには 88 もの鍵盤があり，これは各円筒の動きをコントロールするには十分な数である．しかし，人の手で同時に押さえられる鍵盤数は高々10 個であり，指の届く範囲にも限界がある．また，各鍵盤に各円筒に対する特定の動き（移動や回転）を割り付けると，それらの操作は非常に複雑なものになる．本シス
テムでは，演奏に支障のない範囲で人形の操作を可能にするために，「このような弾き方に対してはこのような動き」といったメタレベルの対応付けを行っている．以下，これらの対応付け手法を具体的に示す．
4.1

多くのピアノ演奏において，右手パートはメロデ
ィ（主旋律）とハーモニー（副旋律）を担当し，広い音域を自由に，拍子に縛られることなく動く．これに対し，ベースとコード（和音）を担当する左手パートの音域は比較的狭い範囲に限定され，打鍵のタイミン
グも拍子に合わせた規則的なものになる傾向がある．
ところで，この右手パートと左手パートの関係は，舞踊における手と足の動きの関係に類似している．すなわち，足（下半身）は身体を支えると同時にリズム保持の役目を負うことから，動作範囲が制限され，かつ，規則的な動きになる．一方，舞踊の表現部分を担う手（上半身）の動きは，ダイナミック，かつ，ユニークなものになることが多い．
以上の事実を踏まえ，本システムでは，右手で弾かれる高音部パートを人形の手の動きに対応させ，左手の低音部パートを足の動きに対応させている．
4.2

図6 左手による鍵盤打鍵に対応する人形の動作

右・左手パートと手・足動作との対応付け

吊り糸端点の高さ

ピアノ曲において突然現れる高音域や低音域の音は一種の強調表現と考えられる．そこでこれらの音に応じて人形の動きにアクセントをつけるため，ピアノの中心（左手・右手パートの境界点）からの距離に応じて，吊り糸の位置が高くなるように設定した．すな
わち，高い音を弾くほど，手はより高く上がり，足については，低い音を弾くほどより高く上がるようになっている．
（図５，図６）4.3

吊り糸の引き点の前後左右位置の決定

人形の手足を，上下だけでなく，前後左右に動かすには，糸の引き点を持ち上げると同時に，水平面上で前後左右に動かす必要がある．本システムではその水平面上の座標を次のように定めている．
１）単音弾きの場合手に対しては，図７左に示すように，糸の引き点を体の正面方向に動かし，足に対しては，同図中左にあるように，膝は正面，足先は後に動かす．膝と足先とで動作方向を反対にしているのは，足を持ち上げた時，膝が自然に曲がった状態にするためである．
一般的な踊りでは手や足を左右交互に動かすことが多くみられることから，吊り上げる手と足の左右を１音ごとに切り替えるようにした．これにより単音を続けて弾いた場合，上半身は両手を交互に振り上げる動きとなり，下半身は足踏み動作を行うことになる．
２）和音弾きの場合和音を弾いた場合は，両手または両足をそれぞれ左右反対方向に同時に動かすようにしている．すなわ
ち上半身は肘を曲げて腕を左右に広げた状態（図７中右），下半身は足を左右に広げた状態（図７右）になる．腕と足の開き角は和音の音程差に応じて決まり，音程差が小さいときは開きを狭く，音程差が１オクターブのときに最大（180 度）となるようにしている．
単音で弾くか複音で弾くか，メロディーとハーモニーの音程差をどの程度に取るかはアドリブで容易に情報処理学会 インタラクション 2010

対応できる．すなわち，プレイヤーは演奏しながら人れる．人形の動きも鍵盤の動きを反映し，きびきびと形の踊り方を自由にコントロールすることができる．

した挙動を示す．一方 B の部分の右手は A とは打って変わって，持続和音の連続となる．これを反映し，人形は両手を持ち上げてゆっくり閉じたり開いたりする動作を示す．このように，本システムでは弾き方の変化が人形の踊りに大きな変化を与える．なお，B におけるコード進行は音楽的に極めてユニークなものであるが，現時点では人形の踊りには全く反映されていない．この点は早急に改善したいと考えている．

図7 吊り糸端点の水平位置と人形の形状

4.4

打鍵の強弱と人形の動き

糸の端点位置は打鍵する鍵盤によって一意に定まるが，この点は打鍵と同時にこの位置に移動するのではなく，打鍵の強弱（打鍵速度）に対応した速度で移動するようにしている．これにより，演奏者はタッチを介して人形の動きに緩急を付けることができる．
鍵盤を離した瞬間から糸の吊り点は元の位置に向かって移動を開始する．ただし，通常のピアノ鍵盤では鍵盤の復帰速度は検出できないため，本システムで

図8 「イパネマの娘」演奏中の人形の踊り

6. 結論は打鍵時の速度で戻るようにしている．
4.5

体軸の動き

ピアノの演奏に応じて人形の踊りをリアルタイムリズムに合わせて体を揺らすことで，いわゆるノに生成して表示するシステムを構築した．本システム

リのある踊り方になる．頭頂部に付けた吊り糸を左右では，タッチを変えたり，ハーモニーを付加したり，に振らすと首から下の慣性により体軸が左右に揺れるオクターブの上げ下げといった単純なアドリブを行う

ことから，これを利用して踊りのノリを実現している．

ことで，演奏しながら，人形を操ることが可能である．

糸を振らせる大きさはランダムに変化させている．
4.6

人形の向き

ただし，音楽自体を理解して踊りを生成している
わけではないため，曲想が異なっても弾き方が同じで人形がいつも正面を向いて踊っていては映像としある限り，動き方も同じになってしまうという問題がての面白味に欠ける．そこでここでは演奏データからある．これについては演奏から抽出した和声の種類抽出したコード（和音）に基づいて人形の向きに変化（例えばマイナーかメジャーか）やコード進行に基づをつけている．コードは 12 種の円環状のデータなのいて動きや踊り方を変える手法を現在検討している．

で，方向との対応付けを行うのに都合がよい．また，また，プレイヤーの振り付けに対する自由度は多少失演奏者は演奏中に任意のコードを選択したり転調を行われるが，曲想に合わせた基本的な踊りを，弾き方にったりすることで，演奏しながら人形の向きを変更す応じて変化させるような手法も，踊り方のバリエーシることが可能である．演奏データからのコードの抽出

ョンを増やす上で有効と考えられる．曲想をいかに抽手法については説明が長くなるため本稿では割愛する．

出するかなどの解決すべき問題は多いが，今後はこの5. 実験と考察

手法の実装手法についても考えていきたい．

参「イパネマの娘」（トム・ジョビン作曲, 1962）のピアノ演奏中の人形画像を図８に示す．この曲は AB-A の３部形式である．左手パートは全体を通じて分散和音の単音弾きとなっており，これを反映して，人形はリズムに合わせて左右交互に足踏み動作を行う．
A の部分の右手パートは短いハネ音で軽快に弾か考

文献1) 松本英明，後藤真孝，村岡洋一: 音楽演奏情報による仮想演奏者の CG アニメーション生成，
情報処理学会 グラフィクスと CAD 研究報告，
IPSJ SIG Notes 98(16), pp.11-16 (1998)．
2) 関口博之，英保茂: 計算機によるピアノ演奏動作の生成と表示，情報処理学会論文誌，Vol.40,
No.6, pp.2827-2837 (1998) ．