On The Waves: 波紋・水滴を用いたインタラクティブ楽器
中西	  宣人 1	  鈴木	  太朗 1	  有賀	  清一 2	  飯田	  誠 3	  荒川	  忠一 1	  	 本研究では, 波紋・水滴を用いた音楽演奏の為のインタラクティブ・アート作品, “On The Waves”を制作した. 水滴の落とされた位置, および発生する波紋により, 音響表現を実現し, 複数の波紋同士の干渉により, リズム音が生成される. “On The Waves”は, 複数の体験者が水滴を落とすという単純な行為によって,	  即興的なアンサンブル演奏体験を可能とする.

On The Waves: Interactive instruments using water ripples and drops
YOSHIHITO NAKANISHI1	  TARO SUZUKI1	  SEIICHI ARIGA2	  MAKOTO IIDA3	  CHUICHI ARAKAWA1
An interactive art work; ”On The Waves” is developed for musical performance using water ripples anddrops. It has an image processing and simulation function. And this instruments makes sounds depend on thelocation of drops and ripples spread. Additionally, this work achieves improvisational musical expression.

1.

はじめにれる波を音響に反映させる研究を行っている. 彼らは
図 1 に示すように, 水槽の側に置かれた光源を利用し	  近年コンピュータ技術の高度化から, 高度な音響体て, 光源の反対に置かれたスクリーンに液体表面の影験ができる, 楽器に近い性質を持ったインタラクティを反射させ, この影を画像処理によって解析し, 音響ブ・アート作品が多く見られる. 特に, 音響合成に加出力している. この研究では, 他楽器とのアンサンブえ, 画像処理やフィジカル・コンピューティングを併ル演奏も行われている. 1）

用し, 物理的な現象を取り込んだ作品表現が散見されTomczak は, レーザーモジュールとフォトトランジる. しかしながら, コミュニケーションを誘発するよスタを複数利用し, ガラス容器内の波の状態を観察しうな作品は少ない.て 音 響 に 反 映 さ せ る ”Triton Plus” を 開 発 し て い	  本研究では,インタラクティブ・アート作品を通じ,る. ”Triton Plus”では, 容器内の液体にレーザーを照射体験者同士のコミュニケーションを誘発し, 体験者同し, 波の反射光をフォトトランジスタで検出している.

士が自然に音楽コミュニケーションを実現できる

光の反射の変化と, 波の変化を関連づけ, 音響に変換“On The Waves”の制作を行った.

している. 2）

2.

研究の背景・目標

図1 Dannenberg らの画像処理方法 1）	  音楽表現を目的とし, 自然現象を取り入れた作品は多く見られる. 例えば Dannenberg らは, 液体表面に現図2 従来の楽器を通じたコミュニケーションイメージ	  これらのインタラクティブ楽器などの作品群は, 図
2 のようなコミュニケーション概念に整理できる.

1

東京大学大学院 学際情報学府 学際情報学専攻

The University of Tokyo, Graduate School of Interdisciplinary
Information Studies
2

桜美林大学 総合科学系

J. F. Oberlin University, Department of Integrated Science3

東京大学 先端科学技術研究センター

The University of Tokyo, Research Center for Advanced Science And
Technology

図中で P は人を表し, A は作品を示す. 赤矢印は, コミュニケーションを表す.	  これらの作品は, 体験者と一つの組み合わせで独立	 

情報処理学会 インタラクション 2011

した構造である.

3.2

作品構成

図3 本研究で目指す楽器を通じたコミュニケーションイメージ

図5 作品外観	  本研究では図 3 に示すように, 一つの作品を通じ,本研究では, 先に述べた Dannenberg らの研究のよ

複数人が同時に体験でき, それによってコミュニケーうに, 画像処理のみならず, シミュレーションを併用ションが誘発される作品を目指している. 著者らは,した. これにより, 物理現象全てを取得せずに, 波のこのような作品形態により, 複数の体験者同士のコミ情報を得ることができる. 画像処理により水滴の落下ュニケーションが, 芸術作品を通じて活発になること

位置および波紋の数を検出し, シミュレーションを併を示してきた. 3）

用し, 波紋の広がりと干渉の情報を遅延無く取得する

本稿で述べる“On The Waves”ではその発展として,ことがきる. これにより, 音響に変換する.

体験者同士の間に位置し, コミュニケーションを支援する作品環境を構築した.

3.

On The Waves

3.1

コンセプト

“On The Waves”は, 作品内に水滴を落とすことで本作品は, 図 5 に示すような外観で, 木製の円形構造（φ900800mm）である. この円形構造は, 後述するように, 複数の体験者に対し平等な作品へのアクセスを実現する. また, 井戸に近い造形であるため,「水滴を落とす」という行為を想起させることを期待した. 作品内部には, アクリル円形水槽（φ800

波紋を発生させ, 図 4 に示すように, 画像処理により100mm）がはめ込まれており, 水が張られている. 内

物理的な情報を取得し, シミュレーションによりその部側面には 8 つのスピーカが内側向きに取り付けられ波紋の広がりを推定する. それらの情報を元に, 音響ており, それぞれオーディオインターフェースアルゴリズムにより音響を出力する.

EDIROL UA-101 に接続されている. この 8 つスピー

本作品では, 音高・音色・音の長さの表現として,カは個別制御が可能である.
装置概要

それぞれ水滴の落ちた位置を音高の制御, 波紋の時間

3.3

的な広がりを音色, 波紋の数を音の長さとして表現す

入力装置については, 図 6 のように, 作品上部に取り付けられた赤外線ウェブカメラ二台（設置角度る.
また, コミュニケーションの誘発には, 音楽の三要72）で直径 800mm の円形領域を取得する. なお,素であるリズム, メロディ, ハーモニーが重要である

赤外線ウェブカメラにはハンファ・ジャパン製 DC-と考え, 波紋の干渉情報を共有するリズムとし, 複数NCR20U（200 万画素, 解像度 640

人での即興的なアンサンブル演奏体験を実現した.

いた.

図4 プログラムの処理

480, 30fps）を用

図6 ウェブカメラの設置方法

On The Waves: 波紋・水滴を用いたインタラクティブ楽器

また, 図 7 のように 8 本の白熱色蛍光灯を設置し,する. ピアノなどに見られる直線的な音高の配列を円液体を取り囲むように真横からライティングを行うこ形に配することで, 立ち位置に依存しない音高配列をとで, 効果的に波紋画像を取得した.

実現した. これにより, 複数の体験者が同じようにアクセス可能となる.
また, 画像処理で取得した液体表面の波紋の数は,水滴落下音の長さに対応づけられる. 具体的には, 水滴落下音の音量エンベロープ制御に対し, 制御時間を伸縮させている.
3.5

波紋のシミュレーション

図7 照明の設置方法入力された画像は, Max/MSP, Jitter を用い, フレーム差分法により水滴の落下位置検出を行う. 検出された水滴の位置を落下位置とする（図 8）.

図9 シミュレーションプログラム	 
図8 水滴の落下検出3.4

水滴落下位置による音高制御

本来ならば, 全ての波紋を追従することが理想であるが, カメラのフレームレートが低いため, 遅延が生じる問題がある. 本研究ではそれを解消するため, 画像 処 理 に よ り 得 ら れ た 座 標 情 報 を , OSC（OpenSoundControl）により Processing 取り込み, 仮想的に波紋の発生から消失までをシミュレートした.
シミュレーション領域は, 水槽内全ての領域をカバーし, 図 9 のような W 400 pixel

H 400 pixel とした. 	  	 Processing では, シミュレーション領域において波紋を円形に広げていくプログラムを作成した.
Processing の入力情報は, 前節で述べた水滴落下位置座標情報とし, その位置から波紋シミュレーションを行う. 波紋は, 1 フレームあたり 5 pixel ずつ広がる.
表1 落下位置による音高変化と領域の設定

画像処理により特定された位置は, 表 1 に示すような 0 から 7 の位置情報として処理される. 各領域は,表 1 に示すような音高を割り振り, サイン波（正弦波）による水滴落下音を表現する.
本作品では, 0 から 7 の領域が 1 オクターブを意味

本プログラムでは, フレームレート 50fps.でシミュレーションを行った. なお本システムでは, 同時シミュレーション数は, 最大 8 つとした.
本作品では, 水滴落下音にローパスフィルタ制御を行うことで, 音色を表現する. シミュレーションによって波紋の大きさの情報を取得し, このローパスフィ

情報処理学会 インタラクション 2011

ルタのカットオフ周波数に使用する. 具体的には, 図

水の波紋に着目した音響表現作品を開発した. また,

10 に示すように, 波紋が大きくなるに従ってカット一つの作品を介して, 複数の人が音楽表現を同時に体オフ周波数が高くなる.

験できる, コミュニケーション援用音響作品を実現した. 本作品は, iiiExhibition12（東京大学第 12 回制作展）にて展示を行い, 複数人での音響体験が確認された（図 12）.
今後は, より豊かな音楽表現, 演奏体験が可能な作品に拡張していくとともに, コミュニケーションの円滑化について, 評価改良を行いたい.

図10 フィルタ制御

また, シミュレーションによって得られた複数の波紋から, 図 11 のように干渉点を検出する. この波紋の干渉情報は, ノイズから生成したハイハット, シンバ
ル,サイン波から生成したキックの三種リズム音を生成する.
ここで, O (位置関係による音響出力) = |Pm – Pn|を定義し, 体験者の落とした水滴の位置関係を表す. 水滴の落ちた領域を P とし, 添字は体験者を意味する. Pnとは, 体験者 n が落とした水滴の位置を意味する. O≦
2 は同じまたは隣り合う領域, O=4 は対角を示し, O≦
2~3 はそれらの間を表す.
ぞれぞれの関係に対して, 以下のような音を対応づける.
• O≦2 : ハイハット音• O≦3 : シンバル音• O = 4 : キック音

図12 iiiExhibition12（東京大学第 12 回制作展）での展示

参考文献

1) Dannenberg, Roger B. and Tom Neuendorffer:“Sound Synthesis from Real-Time Video Images.”
Proceedings of the 2003 International Computer
Music Conference. San Francisco: International
Computer Music Association, pp. 385-388.
（2003）.
2) Tomczak, Sebastian: “Triton Plus”
http://little-scale.blogspot.com/
3) 中西 宣人, 川上 央: 音によるコミュニケーシ
ョン円滑化システム, 日本音響学会春季講演論
文集, pp. 120,（2010）.
図11 O = 4 によりキック音出力

4.

まとめと展望本研究では, 画像処理とシミュレーションにより,