CosTune : 状況に応じた自己演出を可能とする装着型楽器の実装
多田幸生†† ATR 知能映像通信研究所

西本一志†‡

前川督雄†

間瀬健二†

‡ 北陸先端科学技術大学院大学

中津良平†

 科学技術振興事業団、さきがけ研究 21{tada, knishi, maekawa, mase, nakatsu}@mic.atr.co.jp

1

はじめに

我々は、普段の生活の中で、自分の好きな服を身にまとい、視覚情報として周囲に発信することで、自分を表現・演出したり、自分の意識を変化させることができる。例えば、普段と違う雰囲気の服装で外に出ると、いつもと同じ場所を歩いているにも関わらず、自分が他者に与える印象が変化するのはもちろん、服装を変えた本人自身が他者からの視線をいつも以上に意識したりすることがある。
さて、服装と同じように、自分の趣味、嗜好を言葉によらず他者に表現するための手段として、音楽の演奏が挙げられる。元来、音楽は、場の雰囲気を大きく変化させる力を持ち、時には自己陶酔のような気分を生むこともある。例えば、同じ夕焼けの風景であっても、悲しい音楽を聴いていれば悲しげな風景に見えてくるであろうし、青春ドラマの主題歌を聴きながらならば、前向きな、明日へ向かう活力のシンボルとして夕日を拝むことができるであろう。
このように、場所を問わず、いつでも好きな音楽を演奏することができたり、他者に対して音楽を自由に発信することが可能であれば、音楽による自己の演出が可能になるはずである。
しかし、より能動的かつ状況変化に柔軟に対応可能な自己表現・演出の為には、自分なりの音楽を創作し、楽器を演奏し、さらにそれを他者に対して発表すると言うステップが必要であり、これは一般の人には難しいのが現状である。
我々は、上記で述べたような音楽による自分自身の演出を可能にするための手段として、無線通信機能を持つ装着型楽器の提案を行ってきた [1] が、今回、実際にプロトタイプ「CosTune」(Costume + Tune)を試作し、第 13 回 ATR 研究発表会1 においてその試用実験を行うことができた (図 1)。その実装の内容と実験の結果を報告する。CosTune を用いることで、ユーザは、あたかも服を身にまとうように、常に自分の作った音楽を外部に対して発信できるようになり、音楽による自分自身の演出を容易に行うことができるようになる。

図 1: デモの様子

2

CosTune の実装

CosTune は、演奏情報を入力するセンサ部、フレーズを格納するためのデータベース部、フレーズを再生するためのシーケンサ部、フレーズを交換するために外部と通信するための通信部、入力やシーケンサからの出力を音に変換する音源部、から構成される (図 2)。

Phrase Databasephrase exchange
manager

Sensorwireless
communication
controler

Sequencer(MIDIManager)

Tone
Generator

図 2: CosTune 機能図
センサ部は、体に装着されたタッチセンサ等のセンサから演奏情報を入力し、その情報を MIDI データに変換する機能を提供する。センサは、歩きながらでも自然な姿勢で演奏できる位置に設置してある。
また、各センサからの入力と実際に演奏される音とのマッピングは、一意ではなく、たとえば音機能固定マッピング [2] 等の方法でシーケンサからの伴奏デー
タによって変化するようにすることもできる。デー

CosTune : Inplementation of A Wearable MusicalInstrument For Situated Personal Direction
Yukio TADA,
Kazushi NISHIMOTO, Tadao MAEKAWA,
Kenji MASE, and Ryohei NAKATSUATR Media Integration & Communications
Research Laboratories
1
2000 年 11 月 1-2 日 於 ATR

1

タベース部はフレーズデータ2 を格納する機能を提供する。フレーズデータは、センサー部を用いて演奏を行うことでユーザが作成することもできるし、あるいは通信機能を用いて外部から取得することもできる。シーケンサ部は、データベース部に保持されたフレーズデータを、重ね合わせて同時に演奏する機能を提供する。シーケンサ部が出力する演奏デー
タはセンサ部からの出力とマージされた後に音源部に送られ、実際の音として出力される。
なお、今回の実装においては、センサ部のデバイスとして、Infusion Systems 社 [3] の iCube システムを使用し、センサの入力を MIDI 信号に変換した。また、無線通信部分は、市販の 11Mbps、2.4Ghz 無線 LAN
カードを装着した小型のノート PC(CASSIOPEIAFIVA、Windows98) を使用し、新たに開発した UDPを用いた MIDI 送受信プログラムをその上で動作させた。UDP を用いた MIDI の送受信にかかる遅延は数 ms 以下で、演奏の際に遅延が障害となることはなかった。
今回、端末内部にシーケンサ部を実装することが困難だったため、外部にサーバを用意し、伴奏を演奏するシーケンサを実装した。CosTune の演奏は一旦サーバに送られ、そこで伴奏とマージされた上でCosTune に送り返される。その後、CosTune の音源で再生され、演奏者は自分の演奏・他者の演奏・伴奏の全てをヘッドホンで聞くことができる。

3

Glove-type にはストリングス系の音をそれぞれ割り当てた。
まず、演奏のしやすさについてであるが、3 種類とも 1 時間程度の練習でほぼ思い通りに演奏できるようになった。これは、予め伴奏のコード進行を固定しておき、そのコード進行に沿った音階が発生するように操作子と音階とのマッピングを決定した、いわば「疑似音機能固定マッピング」を採用したのが功を奏したと思われる。無線の通信については、壁の多い建物内での実験であったが、20m 程度離れた場所でもセッションに参加することができた。また、通信可能な範囲から離れると相手の音が聞こえなくなり、また元の場所に戻ると再びセッションが可能になる機能も確認できた。実際に歩き回りながらセッションを行うと、携帯電話で言葉を用いて話すよりも、より相手の存在を近くに感じるような、不思議な感覚を得ることができた。

4

現在、Wearable Computing の研究が盛んに行われている。これは、コンピュータを身につけることで、場所や時間にとらわれずに自由に情報を参照する能力を提供するものであり、自分自身の能力をコンピュータの力によって拡張する事を目的とするものである。CosTune の概念が Wearable と異なるのは、自分の能力の拡張を目的としているのではなく、自分の意識の変化を目的としているという点である。
言い換えるならば、何か新しい事ができるようになるのではなく、自分の中に、何か新しい別の世界や状況を作り出す事を目指している。
今後は、今回実装できなかったフレーズの交換による音楽の制作や、CosTune サーバを用いた町の演出についても実装を行い、現在目指している音楽による人や場の演出が可能かどうかの検証を行っていきたい。また、CosTune を携帯電話や携帯端末などのプラットホーム上で実装し、実際に多くの人に使ってもらえる環境を作ることで、新たな展開が期待できるのではないかと考えているところである。

試用実験について

CosTune では、主に以下の二つのやり方で、音楽による自己の表現・演出を行うことを目標としている。
一つは、無線機能を用いてネットワークを構成する事で実現する、リアルタイムな音楽セッションのシステムである。アドホックなネットワークを用いているため、セッションへの途中参加や、セッションからの途中離脱を自由に行うことができる。もう一つは、予め自分で作成しておいたフレーズを CosTune 内に格納しておき、無線通信機能を用いてそのフレーズを常に発信することで、音楽による自分の演出を行うやり方である。人と人とがすれ違うたびに相手の発信するフレーズを受け取ることで、受信者は相手の趣味や嗜好を知ることができ、発信者は他者の視線を意識することができる。今回は前者のセッションシステムを実装し、実際に使ってみた。

3.1

終わりに

参考文献
[1] 多田幸生、西本一志、前川督雄、間瀬健二、中津良平 : 人や場を演出する音楽創奏システムの提案、情報処理学会研究報告、Vol.2000、No.94、(2000MUS-37)、pp.1-8、2000

CosTune プロトタイプを用いたセッション[2] 西本一志、渡邊 洋、馬田一郎、間瀬健二、中津良平 : 創造的音楽表現を可能とする音楽演奏手法の検討 — 音機能固定マッピング楽器の提案、情報処理学会論文誌、Vol.39、No.5、pp.1556-1567、1998

今回、操作子として、Jacket-type、Pants-type、Glove-type の 3 種類を制作し、3 人でセッションを行った。Jacket-type にはピアノやオルガン、笛のような旋律系の音を、Pants-type にはドラム系の音を、
2
MIDI データとして表現される旋律データ、音色情報、及びフレーズ作成者の趣味や年齢などを含んだユーザ情報によって構成される[3] http://www.infusionsystems.com/

2