作曲・演奏支援システム The Music Table
牧野真緒,Rodney Berry,樋川直人,鈴木雅実

ATR メディア情報科学研究所〒619-0288 京都府けいはんな学研都市光台2-2-2
E-mail:{mao, rodney, hikawa, msuzuki}@atr.co.jp

1. はじめにThe Music Tableは子供を始めとする音楽に素養の無い人達に向けた,作曲したり音楽を学んだりするインタラクティブシステムである.[1]本システムは,頭上のカメラで,コンピュータがカードの動作および位置を追跡し,そのパターンを即時に音にフィードバックし,目の前のスクリーンにイメージを生成する.（図１）
音楽は楽譜により,そのパターンは可視化されるが,聴く事は出来ない.また,鑑賞するのであれば時空間に存在するだけで,聴く事は出来ても目で見る事が出来ない.「聴く」あるいは「見る」のみでしか把握出来なかった音楽のパターンが本システムによって,身体的に触知する事が可能になった.この「見る」「聴く」に「触る」という身体的行為が加わる事で,ユーザは腕および身体のアクションを通じて,シンボルや意味の世界と身体的動作や体験を融合出来るので,ユーザはその音楽の中で起こっていることを直感的に理解できるのである.またインターフェースの簡略化により,初心者にとって特定の楽器の習熟というフラストレーション無しに,音楽を紡ぎ出す事ができる.
また複数台のThe Music Tableで連奏する事により,ユーザ間のインタラクションにおいて,セッションの楽しさはもちろん,知育においてスキルの伝達もさらに促進される事を期待して,ネットワーク型を実現した.
2. The Music Table概要
2.1. システム構成
本システムで,音楽のフレーズとなる音符のカードをユーザがテーブル上で配置して作曲して行く.カメラを通して,それらを認識したコンピュータが音楽を奏で,映像をカメラ映像に重ねて生成し,ディスプレイへ投影する.カードトラッ
キングには,Augmented Reality Toolkit [2]を使用した.VRMLコンテンツはOpen VRMLでレンダリングされ,The Music Tableのプログラムがそれら3DCGとビデオ映像をオーバーレイさせる.MID用のシークエンサは,Pure Data[3]へ組み込まれている.
2.2. 操作概要
テーブル上のy軸はその音符の音の高さを意味

図1. The Music Table

し,ユーザから遠方に行く程音が高くなる.x軸は時間を示し,テーブルの左から右に向かって音符はそれぞれ演奏される.（図２参照）またカードを右に回転すると,ヴォリュームが増幅し,音符の状態を示すVRMLコンテンツの虫にトゲが生えてくる.左に回すと音もトゲも減少する.カードが右側に傾けられる場合,その音符の音の長さが増加し,虫の節が成長して長くなる.
左に傾けると長さも節も縮小する.

図2.音符カードの操作

一旦音楽のパターンがテーブル上で作られれば,フレーズ・カードをテーブル上に置く事により,そのパターンを保存できる.また,保存されたフレーズはオリジナルの音符カードが存在しなくても,エディット・カードを使って,ディスプレイを見ながらテーブル上で再編集する事が出来る.インストゥルメント（楽器）カード
は,ユーザがテーブル上の全ての音符,あるいは各フレーズ・カードの楽器音を変えることが出来る.
現在のバージョンでは,操作は卓上でのインターフェースで行なわれるゆえに,８ステップで１フレーズの長さとなり,４つのレイヤー上に作曲ができる仕様としている.
3. より良い音楽を創造する支援
より良い音楽を創造するための支援において,やはり専門家の指導が不可欠である.そこで我々は,初心者と芸術家や専門家との間に,どのような違いがあるのか,また教育の現場では彼等の間に,技の伝達がどのような状況で行われているのか,観察する必要があると考える.
3.1. 作曲過程の分析
The Music Tableでのプロとアマチュアの作曲の過程の違いについて分析した[4].何らかの楽器について熟達した人をプロと見なし,そうでない人をアマチュアとし,作曲過程のMIDIデータを採取した.
この分析結果で,両者において明らかな違いを発見した.プロは音符をどのタイミングにどの音階でというポジションに関してより,音符の長さと音の強弱について多くの注意を払っている.つまりプロは変化に富んだ細かい音作りをし,アマチュアは大雑把な音作りをしているという事が言える.具体的には感情を表現する
際に曲へ加える,抑揚やコントラストに関心が向けられているか否かが読み取れる.
3.2. ネットワーク型The Music Table

図3. Net Work型The Music Tableのスクリーン

音楽の学習の中で,教師から直接具体的に指導をしてもらわなくても,生徒は体験を共有して学び取る事がある.つまり共に楽しみながら学ぶうちにスキルが伝達されているのである.
そこで我々は,ネットワークで繋がれた二台のThe Music Tableを制作した.モニタには,相相手の音符の状態が音の大きさを花びらの数,音の長さは葉の数で示され,自分の音符のパターンはスタンドアローン型と同様に表示され,それらを重ねて映し出される.（図３）
これにより相手の演奏が音だけでなく,視覚的に構造やスケジュールが理解でき,より演奏・作曲の体験を共有する事が可能になるものと期待される.
4. 今後の課題とまとめ本研究でAugmented Reality技術を用いて作曲の初心者への支援を目的に制作したThe MusicTableについて述べた.以下に今後の課題を示す.
さらなる作曲支援システムを構築するには,作曲過程のデータをもっと有効な情報へと焦点をあてて分析する必要がある.それらを踏まえて,ネットワークで連奏をした時の,ユーザ間の作曲・演奏の相互作用を分析する.この場合,目的の達成度の評価方法,客観的な分析等をどのように測定すべきか熟慮しなければならない.
また,これらの分析結果を支援システムとして提供する場合,ユーザに必要な情報かつ,分かりやすい形で提供し,リアルタイムに提示しフィードバックする方法を検討する事が重要となる.
謝 辞システム開発にはCSKの古屋隆志氏に携わって頂いた.ここに記し,感謝する.本研究は通信・放送機構の研究委託「超高速ネットワーク社会に向けた新しいインタラクション・メディアの研究開発」において実施したものである.
文 献[1] 1. Berry, R., Makino, M., Hikawa, N., Suzuki,
M., "The Music Table" Proc. 2003 International
Computer Music Conference, Singapore.
International Computer Music Association 2003,
pp. 393-396.
[2] Kato, H., and Billinghurst, M. 1999. “MarkerTracking and HMD Calibration for a Video-based
Augmented Reality Conferencing System”,
Proc. of 2nd Int. Workshop on Augmented Reality,
pp.85-94
http://www.hitl.washington.edu/research/shared_s
pace/download/[3] Pure Data Puckette, M. 1996. “Pure Data.”
Proceedings, International Computer Music
Conference. San Francisco: International
Computer Music Association, pp. 269-272.
http://www-crca.ucsd.edu/~msp/software.html[4] Abe A., Berry R., M. Suzuki, and Hagita
N.”Augmented Music Composition Support asActive Mining”Proc. Of Technical Report ofIEICE, Vol. 103, No. 304, pp.59–64 (2003)