1995/11/27 WISS’95

村岡 洋一

１．はじめに２．インタラクティブパフォーマンス
３．音楽に踊らされるＣＧダンサー

後藤 真孝

早稲田大学 理工学部

インタラクティブパフォーマンス

４．実装
５．実験結果１．はじめに

No.2

６．おわりにNo.1

音楽に踊らされるＣＧダンサーによる内容

従来のパフォーマンス

インタラクティブパフォーマンス

三次元ＣＧ

音楽演奏によるＣＧダンサーとのインタラクション

音楽

ＣＧダンサーとの一対一のインタラクション
二人のプレーヤーのインタラクション

× 二人のプレーヤー間のインタラクション
通常の即興演奏によるセッション

音によるインタラクション
同時に！
二人のプレーヤー間の音楽と映像が融合したインタラクションで音楽が成立

新たなインタラクションの探求
No.3

× ＣＧなどの映像を主体としたインタラクション
No.4

ＣＧによるインタラクション

２．インタラクティブパフォーマンス

CG Dancer

Timing

二人の演奏にリアルタイムに振付けされ踊らされる

Mapping

Cooperative
Interaction

DirectInteraction
Indirect
Interaction

CG Dancer
SoundSound

MusicalInteraction

Interactive Performance

Player A

Player B

CGCGSound

三種類のインタラクション

Sound

Player B

ドラムスを即興演奏

メロディー・コード楽器（７種類の打楽器）を即興演奏

１．プレーヤー同士の演奏によるインタラクション
２．各プレーヤーとＣＧダンサーとの直接的／間接的インタラクション
３．ＣＧダンサーを介した・ それぞれが即興演奏をすることでセッションをする

プレーヤー同士のインタラクション
No.5

・自分達の演奏によってＣＧダンサーを踊らせる

No.6

Player A

CG Dancer

CG Dancer

TimingTiming

Mapping

DirectInteraction
Indirect
Interaction

Mapping

Cooperative
Interaction

DirectInteraction
Indirect
Interaction

MusicalInteraction
Player A

打楽器の種類と踊りのポーズとのマッピングのセット

Cooperative
Interaction

MusicalInteraction
Player B

Player A

Player B

２．各プレーヤーとＣＧダンサーとの１．プレーヤー同士の演奏によるインタラクション

直接的／間接的インタラクション
音楽的なインタラクション

直接的インタラクション （プレーヤーＡ）

・ お互いに相手の演奏に反応し合いながら即興演奏する・ 打楽器音を演奏することでダンサーの動作のタイミングを決定

・通常のセッション演奏でもおこなわれている・ ダンサーはその打楽器にマッピングされている・協調して良い音楽にしようとする

踊りのポーズをとる

No.8

No.7

・ この動きを見ることでさらに動きを自分の演奏で直接変化させようとする

直接的インタラクション （プレーヤーＡ）
CG Dancer

Timing

打楽器の種類と踊りのポーズとのマッピングのセット

・ 打楽器の種類ごとに異なる踊りのポーズがマッピング
７種類の打楽器
バスドラム（ＢＤ） スネアドラム（ＳＤ）

Mapping

DirectInteraction
Indirect
Interaction

Cooperative
Interaction

ロータム（ＬＴ）

ミドルタム（ＭＴ）

ハイタム（ＨＴ）

クラッシュシンバル（ＣＲ）ライドシンバル（ＲＩ）
・ 打楽器音が鳴る瞬間にダンサーが動く
音楽においてリズムを担当すると共にMusicalInteraction
Player A

ダンサーの踊りのタイミングを決定
Player B

間接的インタラクション （プレーヤーＢ）
２．各プレーヤーとＣＧダンサーとの・ 演奏の局所的な雰囲気に基づいてマッピングを切替え

直接的／間接的インタラクション

局所的な雰囲気
音数

間接的インタラクション （プレーヤーＢ）

音高の平均
・ 演奏内容によってマッピングのセットを変更しメロディー／コード

ダンサーの踊り全体の雰囲気を性格付け
・ ダンサーは動かない・ この変更をプレーヤーＡの演奏を通じて確認することでさらにマッピングを変えようとする

踊り全体の雰囲気を決定

No.10

音楽全体の雰囲気の性格付けをすると共にNo.9（ダンサーの踊りを間接的に変更）

CG Dancer

各プレーヤーは完全に思い通りにはTiming

ダンサーを踊らせることができない

Mapping

DirectInteraction
Indirect
Interaction

プレーヤーＡ

Cooperative
Interaction○ 自分の演奏音で直接ダンサーを動かすことができる
× その動きがどういうものになるかは自由に変えられないプレーヤーＢ○ ダンサーにどういう動きをさせるかを変えられるMusicalInteraction
Player A

× 自分が演奏しただけではダンサーは動かない
Player B

二人が協調して演奏することではじめて３．ＣＧダンサーを介したダンサーを変化に富んで踊らせることができるプレーヤー同士のインタラクション
協調して踊りを変えようとするインタラクション

単なるセッションのインタラクションを超えた・ プレーヤーＡ
プレーヤーＢが設定したマッピングに適した動かし方にしようとするプレーヤーＢ・

音楽とＣＧが密接に結び付いたパフォーマンスを実現

No.12

・協調して良い映像（ＣＧ）にしようとする

No.11

プレーヤーＡの演奏の仕方に適したマッピングに変えようとする

３．音楽に踊らされるＣＧダンサー

ＣＧダンサーの踊らされ方

yCind

ＣＧダンサーの構造
Player A

体の各部位のオブジェクトが関節において連結

Drum-sounds

踊りのポーズ・ 関節角度の変化

CR

RI

LTMT

BD

SD

Player B
Pose-mappingHT

プレーヤーＡの演奏状態

・位置の移動

4

5

6

1

2

3

プレーヤーＢの演奏による
現在のマッピングの種類

・ 体の回転直接的インタラクションによる踊り（プレーヤーＡ）

打楽器と踊りのポーズとのマッピング
DirectInteraction

基本的な動作

Indirect
Interaction

スネアドラム（ＳＤ）
ロータム（ＬＴ）

待機姿勢

BD

バスドラム（ＢＤ）

ミドルタム（ＭＴ）

SDLTMT

アクセントとなるような動作

HTCR
RI

クラッシュシンバル（ＣＲ）ライドシンバル（ＲＩ）

ポーズ

Drum-sounds

ハイタム（ＨＴ）派手な動作

Pose-mapping 1

No.14

待機姿勢

Pose-mapping n

No.13

Pose-mapping 2

４．実装

ＣＧダンサーの踊らされ方

yCind

分散環境での実装

Player A
Drum-sounds
CRRILTMTBDSD

Player B

必要な処理

Pose-mapping
HT

4

5

6

1

2

3

１．各プレーヤーの演奏を入力する処理
２．各プレーヤーの演奏を音として出力する処理

プレーヤーＡの演奏状態

プレーヤーＢの演奏による
現在のマッピングの種類

３．プレーヤーＢの演奏を分析する処理
４．音楽に踊らされるＣＧダンサーを表示する処理

間接的インタラクションによる踊り（プレーヤーＢ）

・ ６種類のマッピングのセット

局所的な雰囲気

サーバ・クライアント・モデルに基づいて実装

１．通常のマッピング

・ 各処理を担当する複数のプロセスを生成

２．１よりも派手な動きのマッピング

音数：多３．おとなしい動きのマッピング

音数：少４．重心が高い動きのマッピング

音高：高・ お互いに通信することでシステムを実現

・ ネットワーク上に分散した複数の計算機上で動作可能
・ 計算負荷を分散

５．体全体を使ったダイナミックな動きのマッピング

コード／ 音数：多多No.16

６．５よりもさらにダイナミックな動きのマッピング

No.15

コード／ 音数：多５．実験結果

RMCP Animation Server

４．音楽に踊らされるＣＧダンサーを表示する処理

No.18

RMCP Music Analyzer

３．プレーヤーＢの演奏を分析する処理

２．各プレーヤーの演奏を音として出力する処理

RMCP Sound Server

orMIDI

No.17

・ 演奏情報をネットワーク上の様々なサーバが同時に活用

１．各プレーヤーの演奏を入力する処理

RMCP MIDI Receiver

RMCP MIDI Receiver
RMCP MIDI ReceiverDrums

・ システムの実装や拡張が容易

Ethernet 上に分散した
複数の SGI Indigo2 Extreme 上で動作

RMCP MIDI Station

システム構成・ クライアントがＭＩＤＩメッセージをＲＭＣＰパケットとしてブロードキャスト

MIDI

MIDI Instrument

・ ＭＩＤＩとＬＡＮを融合した分散協調システムにおけるサーバ・クライアント間の通信プロトコル

RMCP Sound Server

ＲＭＣＰ (Remote Music Control Protocol)
・ プロセス間の通信

RMCP MIDI Station

PianoGuitar
MIDI

Player B
or

ＭＩＤＩメッセージ

or・ プレーヤーの演奏情報：

Player A

・ 演奏音の入力と出力

RMCP MIDI Station

CG Dancer

ＭＩＤＩ (Musical Instrument Digital Interface)

RMCP Music Analyzer

RMCP Animation Server

ＭＩＤＩとＲＭＣＰによる実装

６．おわりにプレーヤーの演奏

まとめプレーヤーＡＣＧダンサーと二人のプレーヤーが音楽を通じてシンセサイザーの鍵盤によりドラムスを演奏お互いに影響を与え合うことで実現するプレーヤーＢ

インタラクティブパフォーマンス

ＭＩＤＩギターによりメロディー・コード楽器を演奏

三種類のインタラクション

二人で即興演奏をして実験

１．プレーヤー同士の演奏によるインタラクション

ロック・ポップス・フュージョン系の曲

実験結果

２．各プレーヤーとＣＧダンサーとの直接的／間接的インタラクション

三種類のインタラクションを達成
３．ＣＧダンサーを介したＣＧダンサーを直接的／間接的に踊らせることができたプレーヤー同士のインタラクション

ＣＧダンサーの踊りを変えたいために演奏をより変化させようとする傾向が見られた

ネットワークで接続された複数の計算機上へ実装

ＣＧダンサーを協調して踊らせようとする
インタラクションもなされた

演奏音だけでは得られない
新たなインタラクションを達成

No.20

より魅力的なパフォーマンスとなることを確認

No.19

音楽とＣＧの相乗効果によりインタラクションの設計
複数メディアを用いて複数のインタラクションを同時に実現する上で重要な点

今後の研究

メディア間の不整合を起こさないようにシステムを設計

三人以上のプレーヤーによる本研究における設計上の工夫

インタラクティブパフォーマンス

・違和感なく同時に三種類のインタラクションが可能
ドラムスの演奏

複数箇所にいるプレーヤー間への拡張

音楽においてリズムを担当踊りのタイミングを決定する
直接的インタラクション

ＲＭＣＰによりネットワークを利用して実装したことで自然に拡張可能

メロディー・コード楽器の演奏
音楽全体の雰囲気を性格付け

遠隔地間のインタラクティブパフォーマンス

踊り全体の雰囲気を決定する
間接的インタラクション
・マッピングと演奏内容に統一感
派手な演奏

派手な踊り

静かな演奏

おとなしい踊り

No.22

インタラクティブパフォーマンスを実現

No.21

音楽とＣＧが相乗効果を出すような