複数人のジェスチャによる音楽音響の協調指揮システム
笠 原 俊 一†橋 本 周 司†An interactive gesture system for plural users to realize realtime music rendering
Shunichi Kasahara† and Shuji Hashimoto†1. は じ め に
これまで計算機による指揮システムは，演奏データが既知である MIDI 等による音響生成が主な手法であり，CD 等の音響信号を対象とし，実時間で人間の指揮に追従した音響生成を実現したシステムは少な

Max/Msp
Wii Remote

Wii Remote

図 1 協調演奏指揮システムの概要

い1) ．そこで我々は，ユーザの指揮によるジェスチャ
で CD 等からの音響信号の音量やテンポを制御するこEﬀect のユーザが Conduct のユーザのジェスチャにとにより，誰もが気軽に音楽を楽しむことができるシ

同調することで，役割を交換することができ，ユーザステムの構築を試みてきた2)3) ．一般にこのようなシ同士が協調し合いながら，直感的に音楽を楽しむこと

ステムでは一人のユーザを想定しているが，複数人がを可能にしている．

協奏する音楽では，身体的な引き込みなどを通して，

図 2 にユーザのジェスチャによる演奏情報の取得と独創とは異なった情感の演奏が可能となると考えて，音響制御のブロックダイアグラムを示す．例えば，ユー

複数ユーザによるインタラクティブな指揮システムのザ A によりタイミング，テンポ，音量の制御された音構築を試みている．本稿では，音量やテンポの制御だ

響は，ユーザ B により音響効果が付加され，スピーけでなく，音響効果をジェスチャにより制御可能とすカーから出力される．音響制御およびセンサデータ

ることで，複数のユーザが身体的運動を介してインタ解析には Max/MSP(Cycling’74) を用いており，Wiiラクティブに音楽音響を制御するシステムについて述

Remote からの 3 軸加速度およびボタン制御信号はべる．

aka.wiiremote(http://www.iamas.ac.jp/~aka/max/)

2. 協調演奏指揮システムの概要を用いて Bluetooth を介して取得している．演奏に用いる楽曲データは CD 等から取得し，ジェスチャと図 1 に協調演奏指揮システムの概要を示す．提案

楽曲との同期には，ジェスチャによる拍点とその楽曲する指揮システムでは CD 等の音響信号に対し，テンデータから生成したあらかじめ拍点データを利用する．

ポや音量制御 (Conduct)，音響効果制御 (Eﬀect) を直感的に施すことができる．二人のユーザはそれぞれにConduct ないし Eﬀect の役割が割り当てられ，Wii

3. インタラクションの仕組み

Remote(任天堂 (株)) をインタフェースとし，あらかWii Remote を用いた Conduct と Eﬀect の方法にじめ定められたジェスチャ動作とボタン操作を組み合ついて述べる．タイミング，テンポ，音量の制御 (Con-わせて音楽を指揮する．さらに，それぞれの役割は，duct) においては，Z 軸方向の加速度信号から認識さ† 早稲田大学大学院 理工学研究科 物理学及応用物理学専攻
Major in Pure and Applied Physics, Graduated Schoolof Science and Engineering, Waseda University

れた，振り下ろすジェスチャの拍点とその強さにより制御を行なう．Z 軸加速度信号を f (t) としたとき，打点時刻 tf は加速度閾値 Ac′ から決定され，拍点強さ

情報処理学会 インタラクション 2008

音響効果制御 (Eﬀect) においては，基本的な音響効

Audio signal buffer

果としての Pan(左右音量バランス)，Reverb(反響効
Gesture Intensity

Conduct
Acceleration
Data

User A

Volume Control

果による空間表現)，Equalizer 等に加えてプラグイン

Onset detection
Onset time

Button Press
DataSoundsynchronizeによる音響効果も追加可能である．制御に用いること
beat Dataのできるボタンは 11 個あり，ジェスチャとしては振りや傾き等を利用した振る舞いを想定し，それらの組

Effect Button Press
Data

User B

Acceleration
Data

Onset time
Onset detection

み合わせをユーザの身体的な直感に近いように対応づ

Effect Controlけて音響効果制御を行なう．

Gradient

Audio signal Output

gradient analysis

演奏において，Conduct を担当するユーザの拍点のタイミングに同調するような Eﬀect を担当するユー

図 2 ユーザのジェスチャによる演奏情報の取得と音響制御のブ
ロックダイアグラム

ザによる拍点が数回認識された場合，それらの役割を交換する．役割交換を決定する同調状態を表す量は，[G]
Z-Acceleration

Z

二人の拍点の時間的誤差の蓄積により表現され，時間OnSet的誤差が小さい程，少ない回数で役割の交換が行なわ

Y
t1

Ac’

Xれる．

t2

4. ま と め

thresholdf(t)本稿では，CD 等の音楽音響の音量やテンポの制

tf∫ {Ac’- f(t)}dt

note velocity = K⋅

ts

御だけでなく，ジェスチャによる音響効果制御を可能とし，それらの役割を二人のユーザのジェスチャ

図 3 インタラクションのためのインタフェース. 左；WiiRemote，右；拍点加速度プロファイル

同調により交換することにより，音響信号を介した協調演奏を実現する指揮システムについて報告しv(tf ) は式 (1) より求める∫ (図 3).
tfv(tf ) = K′{Ac − f (t)}dt

た．本システムを用いることにより，２人のユーザ(1)

tsが、身体的に協調して音楽表現を楽しむことができる．今後は，ユーザのジェスチャの違いによる個性

ジェスチャによる拍点が観察された場合，あらかじめの表現や，ユーザ数を制限しないインタラクティブ取得してある拍点データを用いて音響信号と同期させな環境，複数音響信号によるインタラクションへにて再生する．再生速度は拍点データにおける本来の時ついて検討して行きたい．本システムによるデモ音

間間隔とユーザのジェスチャによる拍点の時間間隔の源に関しては，http://www.nicolb45.com/Research/比により決定される．演奏開始において所定回数の拍を参照されたい．

点が検出された場合，その際の拍点時間間隔に基づい謝辞 本研究の一部は科学技術振興機構 CREST 研

た再生速度により再生が開始させる．ユーザが指揮を究「人を引き込む身体的メディア場の生成・制御技術」

やめた場合，直前の再生速度が保持され，再度指揮をの研究助成を受けて行われた．

開始すると再び同期再生ができる．
ピッチの変化を伴わずに再生速度を変化させるために，短時間の固定時間長に分割された音響データに窓処理と位相をずらした合成処理を行なうグラニュラー合成を採用し，実時間での良好な品質での音響再生制御を実現した．また，連続的に Wii Remote を振動させることで，極端に再生速度を遅くして，音をのばすことでフェルマータに相当する間を挿入することや，

Wii Remote 背面にあるボタンを押すことで無音を挿入して「ため」に相当する間を挿入することを可能とした．間の挿入後には，大きく振り上げた後に，振り下ろすことで再び通常の演奏に戻ることができる．

参考文献1) Eric Lee, Thorsten Karrer, Jan Borchers: Toward a Framework for Interactive Systems toConduct Digital Audio and Video Streams,
Computer Music Journal, 30(1):21-36, Spring
2006.
2) 鈴木 健嗣, 金 尚泰, 小尾 正和, 橋本 周司: 音楽
音響と映像信号を対象としたジェスチャによる指揮システム, 情報処理学会 インタラクション 2007
論文集, 2007.
3) 小尾 正和, 鈴木 健嗣, 橋本 周司: 音楽音響信号を対象としたジェスチャによる音楽指揮システム,
情報処理学会第 68 回全国大会, 工学院大学, 2L-6,
2006.