音楽に踊らされるパフォーマンス

CG ダンサーによるインタラクティブ

Interactive Performance of a Music-danced CG Dancer

後藤 真孝

村岡 洋一3This paper presents interactive performance where music
and CG are integrated by a CG dancer whose motion is changed according to two players' musical performance in real time. Previous work
achieved interaction between a CG dancer and a player's performance.
Usual jam session involves musical interaction among players. However, music played by two players did not directly choreograph a CG
dancer in real time. Our performance involves the following three kindsof interaction at the same time: 1) interaction between two players
through their musical sounds, 2) direct or indirect interaction between
each player and a CG dancer, 3) interaction between the players throughthe CG dancer. In the case of the second interaction, one player plays
the drums and only determines the timing of a dancer's motion mappedto each drum sound (direct interaction), and the other player changes
the mapping between the drums and the dancer's motions by playing akeyboard instrument or a guitar (indirect interaction). The third interaction, two players' cooperation, is therefore important to achieve anexciting performance full of variety. The system that enables this performance was implemented on workstations connected to the Ethernet.
In our experiment, the three kinds of interaction were performed on thesystem, and music danced the CG dancer.
Summary.

1

はじめに

本研究におけるインタラクティブパフォーマンスとは，三次元 CG (Computer Graphics) による仮想のダンサーと音楽が，二人のプレーヤーのインタラクションによって融合されたパフォーマンスである．このパフォーマンスでは，二人のプレーヤーが即興演奏によりセッションをおこなうだけでなく，その演奏された音楽に従ってリアルタイムに踊りの振付けが変わる一人の CG ダンサーが，両プレーヤーに対して同時に表示される．そこではプレーヤーは，音によるインタラクションと CG によるインタラクションを，同時におこなうことができる．本研究は，このようなパフォー
3

Masataka Goto, 早稲田大学 理工学部/日本学術振興会特別研究員, Yoichi Muraoka, 早稲田大学

理工学部

10

WISS'95

マンスの実現を通じて，音楽と映像が融合した新たなインタラクションを探求することを目的とする．
我々は既に，音楽演奏による CG ダンサーとのインタラクションを実現していた[1][2]．しかしそこでは一人のプレーヤーが，演奏音により CG ダンサーと一対一のインタラクションをおこなうだけで，二人のプレーヤー間のインタラクションは実現されていなかった．一方，通常の即興演奏によるセッションでは，二人のプレーヤー間のインタラクションによって音楽が成立している．演奏の繰り返しや終りを指示する身体的な合図などの視覚を通じたインタラクションはおこなわれるが，あくまで演奏に対する補助的なものであり，CG などの映像を主体としたインタラクションと演奏が同時にはなされていなかった．
本稿では，二人のプレーヤーが演奏する音楽によってリアルタイムに踊りが制御される CG ダンサーを実現することで，以下の三種類のインタラクションが同時におこなわれるインタラクティブパフォーマンスを提案する．
1. プレーヤー同士の演奏によるインタラクション

2. 各プレーヤーと CG ダンサーとの直接的／間接的インタラクション
3. CG ダンサーを介したプレーヤー同士のインタラクション

1. は通常のセッションでおこなわれるような，音楽的なインタラクションである．2.
は本研究で新たに提案するインタラクションの形態で，一方のプレーヤーはド ラム
ス (複数の打楽器で構成される) を演奏することで CG ダンサーと直接的インタラクションをおこない，他方はピアノなどのメロディー・コード楽器を演奏することで間接的インタラクションをおこなう．CG ダンサーは，打楽器の種類と踊りのポーズとのマッピングのセットを複数持っている．直接的インタラクションでは，打楽器音を演奏することでダンサーの動作のタイミングを決定し，ダンサーはその打楽器にマッピングされている踊りのポーズをとる．一方，間接的インタラクションでは，演奏する音数・音高などによってこのマッピングのセットを変更することで，ダンサーの踊り全体の雰囲気を性格付けする．つまり，前者では打楽器音が鳴る瞬間に動作が起きるが，後者では演奏音に応じてマッピングが変更されるだけでその時点では動作は起きない．二人が協調して演奏・インタラクションをおこなうことで，はじめて変化に富んだ良いパフォーマンスが実現できる．3. は，こうしたプレーヤーの演奏によって踊らされる CG ダンサーを介して，二人のプレーヤーが協調してその踊りを変えようとするインタラクションである．
本パフォーマンスを実現するシステムは，すでにネットワークで接続された複数の計算機上に実装された．二人のプレーヤーの演奏は，それぞれネットワークを通じて，MIDI 制御をおこなう計算機と CG ダンサーを表示する計算機へ送られ出力される．実際に運用した結果，プレーヤーは演奏により CG ダンサーを踊らせることができ，三種類のインタラクションが可能であった．

2

インタラクティブパフォーマンス

本研究で実現するインタラクティブパフォーマンスの概念図を図 1 に示す．基本的に，二人のプレーヤーはそれぞれが即興演奏をすることでセッションをおこなう．同時に，プレーヤーは自分達の演奏によって CG ダンサーを踊らせる．ここで重要なのは，CG ダンサーが音楽に合わせて踊るのではなく，二人のプレーヤーの演奏する

Interactive Performance of a Music-danced CG Dancer

11

CG Dancer
Sound

Sound

Interactive Performance
CGCGSoundSound

Player A

Player B

図 1. インタラクティブパフォーマンス

音楽によってリアルタイムに振付けされ踊らされるということである．ただし，各プレーヤーは完全に思い通りにはダンサーを踊らせることはできない．プレーヤー
A は，自分の演奏音で直接ダンサーを動かすことはできるが，その動きがどういうものになるかという演奏音と踊りのポーズとのマッピングは，自由に変えられない．
一方，プレーヤー B は，プレーヤー A がダンサーにどういう動きをさせるかという踊りのポーズのマッピングを演奏によって変えることができるが，自分が演奏しただけではダンサーは動かない．このように，二人が協調して演奏することではじめてダンサーを変化に富んで踊らせることができ，単なるセッションのインタラクションを超えた音楽と CG が密接に結び付いたパフォーマンスを実現できる．
このパフォーマンスでは以下の三種類のインタラクションが同時におこなわれる(図 2) ．

1. プレーヤー同士の演奏によるインタラクション

プレーヤーがお互いに相手の演奏に反応し合いながら即興演奏をおこなう音楽的なインタラクションである．これは通常のセッション演奏でもおこなわれており，二人は協調して良い音楽にしようとする．

2. 各プレーヤーと CG ダンサーとの直接的／間接的インタラクション
プレーヤー A が演奏すると，CG ダンサーはその演奏音にマッピングされた動きをする．この動きをプレーヤー A が見ることで，さらに動きを自分の演奏で直接変化させようとするので，これを直接的インタラクションと呼ぶ．一方，プレーヤー B が演奏すると，その内容に応じてこのマッピングが切替えられる．プレーヤー B はこのマッピングの変更をプレーヤー A の演奏を通じて確認することで，さらにマッピングを変えようとする (ダンサーの踊りを間接的に変更しようとする) ので，これを間接的インタラクションと呼ぶ．

12

WISS'95
CG Dancer

Timing
Mapping

DirectInteraction
Indirect
Interaction

Cooperative
Interaction

MusicalInteraction
Player A

Player B

図 2. 三種類のインタラクション

3. CG ダンサーを介したプレーヤー同士のインタラクション
二人のプレーヤーが，自分達の演奏によって踊らされる CG ダンサーを見ることで，協調してその踊りを変えようとするインタラクションである．プレー
ヤー A は自分の演奏により，プレーヤー B が設定したマッピングに適した動かし方をしようとする．一方プレーヤー B は自分の演奏により，プレーヤー Aの演奏の仕方に適したマッピングに変えようとする．こうして，二人は協調して良い映像 (CG) にしようとする．

二人のプレーヤーはそれぞれ異なった楽器を即興演奏する．プレーヤー A はドラムスを担当し，ドラムスを構成するバスド ラム (BD) ，スネアド ラム (SD) ，ロータ
ム (LT) ，ミドルタム (MT) ，ハイタム (HT) ，クラッシュシンバル (CR) ，ライドシ
ンバル (RI) の各打楽器により，CG ダンサーと直接的インタラクションをおこなう．
これらの打楽器の種類ごとに異なる踊りのポーズがマッピングされており，打楽器音の発音と同時にダンサーが動く．一方，プレーヤー B はピアノなどのメロディー・コード楽器を担当し，間接的インタラクションをおこなう．そして，演奏の音数・音高やメロディーとコードのどちらを弾いているかといった局所的な雰囲気に基づいて，踊りのポーズのマッピングが切替えられる．すなわち，プレーヤー A は音楽においてリズムを担当すると共にダンサーの踊りのタイミングを決定し，プレーヤーB は音楽全体の雰囲気の性格付けをすると共に踊り全体の雰囲気を決定する．

3

音楽に踊らされる CG ダンサー

音楽に踊らされる CG ダンサーは，図 3 のように体の各部位のオブジェクトが関節において連結した構造をしており，各関節を自由に動かすことができる．踊りの各ポーズは，これらの関節の角度の変化や，ダンサーの位置の移動，体の回転などで実現される．そして，この踊りのポーズと打楽器とのマッピングのセットを複数種

Interactive Performance of a Music-danced CG Dancer
DirectInteraction

13

Indirect
Interaction

BDSDLTMT
HTCR
RI
Drum-sounds

Pose-mapping 1
Pose-mapping 2

図 3.

CG ダンサーの構造
Pose-mapping n

図 4. 打楽器と踊りのポーズとのマッピング類用意しておく (図 4) ．ダンサーは，各マッピングにおいて打楽器音が鳴っていないときの待機姿勢を持っており，打楽器が演奏されると，その発音した瞬間に現在マッピングされているポーズをとり，その後ゆるやかに待機姿勢に戻る．
直接的インタラクションによる踊りでは，打楽器 BD と SD の演奏音により基本的な動作をする1 ．そして，他の打楽器音の場合にはアクセントとなるような動作をし，踊りに多様な変化をつける．特に，打楽器 CR や RI のようなシンバルの場合には，それらの音と同様な派手な動きをする．
間接的インタラクションによる踊りでは，演奏から音数，音高の平均 (傾向) ，メロディーとコードのどちらを弾いているかを分析し，その結果に応じてマッピングのセットを切替える．例えば，音数が多くなると派手な動きになり，音高が高くなると両手を挙げるような重心の高い動きになり，コードが演奏されるとダイナミックな動きになるといったようなマッピングの切替えをおこなう．

4実装

本インタラクティブパフォーマンスを実現するシステムには，大きく分けて以下の四つの処理が必要となる．

1. 各プレーヤーの演奏を入力する処理
2. 各プレーヤーの演奏を音として出力する処理
3. プレーヤー B の演奏を分析する処理
4. 音楽に踊らされる CG ダンサーを表示する処理

以上の処理を一つのプロセスで実現する実装も考えられるが，本実装ではこれらの各処理を担当する複数のプロセスを生成し，お互いに通信することでシステムを実現する．これらのプロセスをサーバ・クライアント・モデルに基づいて実装すること
1

BD と SD が最も基本的なリズム形成の役割を演ずる．

通常のドラムスの演奏においても，

14

WISS'95

で，ネットワーク上に分散した複数の計算機上で動作可能とし，計算負荷を分散できるようにする．
現在の実装では，Ethernet 上に分散した複数のワークステーション (SGI Indigo2Extreme) 上でシステムは動作する．演奏音の入力と出力は MIDI (Musical Instrument Digital Interface) [3] によりおこない，各プロセス間の通信には RMCP (RemoteMusic Control Protocol) [1] を用いた．RMCP は，MIDI と LAN を融合した分散協調システムにおけるサーバ・クライアント間の通信プロトコルであり，シンボル化された音楽情報をネットワークを通じて伝送するために設計された．本実装では，
RMCP はプレーヤーの演奏情報である MIDI メッセージを，RMCP パケットとして伝送する役割をする．クライアントが RMCP パケットとして送信 (ブロードキャスト) することにより，システムの実装や拡張が容易になるだけでなく，演奏情報をネットワーク上の様々な機器で同時に活用できる．
MIDI Instrument

CG Dancer

MIDI

RMCP Sound ServerRMCP Animation Server

RMCP Music Analyzer

RMCP MIDI Station

Player A
Drums

RMCP MIDI Stationoror

RMCP MIDI Receiver

RMCP MIDI Receiver

Player B
MIDIMIDI

図 5.

PianoGuitar

RMCP によるシステム構成図

RMCP により実装したシステムの構成図を図 5 に示す．前述の四つの必要な処理の内，1. の演奏入力を RMCP MIDI Receiver あるいは RMCP MIDI Station が担当し，2. の演奏音出力を RMCP Sound Server が担当し，3. の演奏分析を RMCPMusic Analyzer が担当し，4. の CG 出力を RMCP Animation Server が担当する．
以下では，これらのプロセスについて順番に説明する．なお，二人のプレーヤーが同一のディスプレイを見ることができない場合や，同一の音源の音を聞くことができない場合は，各プレーヤーのもとで別々に RMCP Sound Server ，RMCP Animation
Server を実行してもよい．

4.1 RMCP MIDI Receiver, RMCP MIDI Station

各プレーヤーは，MIDI 楽器と RMCP MIDI Receiver か，RMCP MIDI Station を用いて演奏する．演奏手段として MIDI 楽器の鍵盤などを用いる場合には，MIDI
楽器から送られてくる MIDI メッセージを RMCP MIDI Receiver が受信し，これを RMCP パケットとしてブロードキャストする．通常はこの入力手段を用いる．一方，演奏手段として計算機のキーボード・マウスを用いる場合には，RMCP MIDI
Station が MIDI メッセージを生成し，RMCP パケットとしてブロードキャストすInteractive Performance of a Music-danced CG Dancer

15

る．この場合，プレーヤーは各キーが鍵盤に割り当てられたキーボードを押すか，画面上の鍵盤をマウスでクリックして演奏する．

4.2 RMCP Sound Server

RMCP Sound Server は，受信した RMCP パケットに含まれる MIDI メッセージをMIDI 楽器に送ることにより，実際の演奏音として出力する．ただし，両プレーヤーの演奏手段が MIDI 楽器のときに，それらの楽器から直接出る演奏音を聞く場合には，本 Server を動作させなくてもよい．

4.3 RMCP Music Analyzer

プレーヤー B の演奏情報は，一旦 RMCP Music Analyzer により音数，音高，メロデ
ィーとコードのどちらを弾いているかが分析され，その結果を次の RMCP Animation
Server が受信する．現在の実装では RMCP Music Analyzer は，1 秒ごとに，過去 3秒間のプレーヤー B の演奏を分析して結果を出力する．具体的には，以下のように三項目を分析する．
 音数

3 秒間に発音した音数を求める．ただし，鍵盤を弾いた強さ (MIDI key velocity)によって重み付けをおこなう．一つの音につき，最も弱く弾いた場合の 0 から最も強く弾いた場合の 1 までの値を加算する．つまり，音数が多いほど，強く弾くほど大きな値となる．
 音高

3 秒間に発音した音の高さ (MIDI note number) に対して，MIDI key velocityによる重み付き平均値を求める．これにより，強く弾いた音の高さをより優先できる．ただし現在の実装では，高い音が多く含まれる演奏部分を検出したいため，3 秒間の音高の最大値からその 1 オクターブ下までの範囲の音に関してのみ平均する．
 メロディーとコードのどちらを弾いているか同時に発音した音数の平均値を求める．同時に発音した音数は，メロディー2 では 1 になり，コードではコード構成音の数となる．つまり，この平均値が大きいほどメロディーよりもコードを多く弾いたことになる．

4.4 RMCP Animation Server

RMCP Animation Server は，受信した RMCP パケットの内容に応じてリアルタイムに生成した CG ダンサーを表示する．本 Server はプレーヤー A の演奏情報を直接受信し，その打楽器にマッピングされたポーズを表示する．プレーヤー B の演奏情
報は RMCP Music Analyzer の分析結果として受信し，その内容に応じたマッピングに変更する．
実装した RMCP Animation Server が表示する CG ダンサーの画像を図 6 に示す．中央の人型のキャラクターが CG ダンサー \Cindy" である．左下の 7 個のオブジェクトは，プレーヤー A の演奏状態を表し，右下の 6 個のオブジェクトは，プ2

本稿では，即興演奏も含めて単音で演奏されるものはすべてメロディーと呼ぶ．

16

WISS'95

Player A
Drum-sounds
CRRILTMTBDSD

Player B
Pose-mappingHT

図 6. 音楽に踊らされる45

6

1

2

3

CG ダンサー \Cindy"

レーヤー B の演奏によって選択された現在のマッピングの種類を表している．なお，
Cindy の両脇にある二つの小さなオブジェクトは，視覚的・芸術的効果を高めるための装飾である．
プレーヤー B の演奏の分析結果によって切替える踊りのポーズのマッピングのセットは，現在の実装では六種類となっている．これらの各マッピングの特徴と演奏分析結果との対応を以下に示す．

1. 通常のマッピング

他のマッピングの条件に当てはまらないような大きな特徴のない演奏では，このマッピングが選択される．

2. 1. よりも動きが派手なマッピング
音数が 1. よりも多いときに選択される．
3. おとなしい動きのマッピング
音数が非常に少ないときに選択される．

4. 重心が高い (両手を挙げ続けている) 動きのマッピング
高い音の演奏が続いたときに選択される．

5. 体全体を使ったダイナミックな動きのマッピング
コードが演奏され，音数が十分多いときに選択される．

6. 5. よりもさらにダイナミックな動きのマッピング
コードが演奏され，音数が 5. よりもさらに多いときに選択される．
以上のうちいくつかの踊りのポーズの例を図 7 に示す．
なお，RMCP Animation Server は汎用的な実装をおこなっており，例えば音楽音響信号に対するリアルタイムビートトラッキングシステムと組み合わせることにより，コンパクトディスクなどによる音楽に同期して踊らせることも可能である [4]．

Interactive Performance of a Music-danced CG Dancer

図 7.

517

CG ダンサーの踊りのポーズの例

実験結果

実験では，プレーヤー A はシンセサイザー (Korg 01/W FD) の鍵盤によりドラムスを演奏し，プレーヤー B は MIDI ギター3 (Roland GK2, GR09) を演奏した．通常ドラムスは，ドラムセットの前に座り，ドラムスティックを用いて演奏するものと考えられがちであるが，練習をすることによりシンセサイザーの鍵盤で演奏することも可能になる．ただし，今回は用いなかったが，ドラムスの演奏には MIDI 出力可能なド ラムセット (ドラムパッド ) を利用してもよい．
ロック・ポップス・フュージョン系の曲を二人で即興演奏して実験した結果，プレーヤーは演奏により CG ダンサーを直接的／間接的に踊らせることができた．音楽だけを通じたインタラクションと比較すると，CG ダンサーの踊りを変えたいために演奏をより変化させようとする傾向が見られた．また，CG ダンサーを協調して踊らせようとするインタラクションもなされたことで，本研究が提案した三種類のインタラクションを達成するインタラクティブパフォーマンスが実現できた．そこでは音楽と CG の相乗効果により，より魅力的なパフォーマンスとなることを確認した．

6

おわりに

本稿では，CG ダンサーと二人のプレーヤーが音楽を通じてお互いに影響を与え合うことで実現するインタラクティブパフォーマンスについて述べた．このパフォー
3

特殊なピックアップをつけることによりMIDI 出力を可能にしたギター．

18

WISS'95

マンスでは，プレーヤー同士が演奏によるインタラクションをおこなうだけでなく，CG ダンサーに対して直接的／間接的インタラクションをおこなう．さらに，二人のプレーヤーが協調して CG ダンサーの踊りを変えようとすることで，CG ダンサーを介したプレーヤー間のインタラクションも起きる．ネットワークで接続された複数の計算機上へ実装して実験した結果，演奏音だけでは得られない新たなインタラクションをおこなうことができた．
本研究のような，複数メディアを用いて複数のインタラクションを同時に実現する上で重要なことは，メディア間の不整合を起こさないようにシステムを設計することである．例えば，音楽的に良いインタラクションをしようとすると，映像的に良いインタラクションができなくなるのは望ましくない．そこで本研究では，以下の二点に工夫しながら設計した．
 音楽においてリズムを担当するド ラムスの演奏を，踊りのタイミングを決定する直接的インタラクションに適用し，音楽全体の雰囲気を性格付けするメロディー・コード楽器の演奏を，踊り全体の雰囲気を決定する間接的インタラクションに適用した．これにより，違和感なく同時に三種類のインタラクションが可能になった．
 派手な演奏には派手な踊りを割り当て，静かな演奏にはおとなしい踊りを割り当てるといった，マッピングと演奏内容に統一感を出す設計をしたことで，大きく動かしたいのに静かに弾かなければならないというような矛盾を回避した．
以上のように設計したことで，音楽と CG が相乗効果を出すようなインタラクティブパフォーマンスを実現できた．
本稿では二人のプレーヤーと CG ダンサーのインタラクションを提案したが，今後は三人以上のプレーヤーによるインタラクティブパフォーマンスも研究していきたい．今回は一箇所で実験したが，RMCP によりネットワークを利用して実装したことで，複数箇所にいるプレーヤー間にも自然に拡張できる．そこで今後は，遠隔地間のインタラクティブパフォーマンスも実現していく予定である．

謝辞
実験においてプレーヤー B として協力して頂いた日高 伊佐夫 氏に感謝する．また，現在の RMCP Animation Server の原型となるシステムを共に開発した橋本 裕司 氏に感謝する．

参考文献
[1]

後藤 真孝, 橋本 裕司 : MIDI 制御のための分散協調システム | 遠隔地間の合奏を目指して|, 情処研報, Vol.93, No.109, 音楽情報科学 93-MUS-4-1 (1993).

[2]

後藤 真孝 : 分散協調インタラクティブシステム | 音と CG による遠隔地間のインタ
ラクション | , NICOGRAPH'93 CG 教育シンポジウムプロシーディングス, pp.44-49(1993).

[3]

MIDI 規格協議会 規格検討委員会 : MIDI 1.0 規格 (Document Ver.4.1 日本語版) , MIDI
規格協議会 (1989).

[4]

Music

Masataka Goto and Yoichi Muraoka:

A Beat Tracking System for Acoustic Signals of, ACM Multimedia 94 Proceedings, pp.365-372 (1994).