マルチタッチインタフェースを使用した
パフォーマンスシステム “Motion Score”
平野砂峰旅 ,片寄晴弘

Performance system “Motion Score”
with multitouch interface
SABURO HIRANO†, ‡

1.

はじめに

HARUHIRO KATAYOSE‡

Score”を紹介する．
以下，本論文では，MotionScore のシステムを概観

計算機音楽の分野では，80 年代以降，計算機を楽し，続いてソフトウエアと，そのユーザインタフェー器として利用することで新たな表現の模索が行われてスについて説明する．さらに，マルチタッチインタフ

きたが，1990 年第後半以降，マシンパワーの向上に

ェースの本システムへの有効性について議論し，最後伴い，映像を音楽のように演奏することも技術的に可に，まとめと今後の開発について述べる．

能となってきた．この環境下においては映像と音楽を同時に演奏するという表現手法が取り得る．
この表現手法には，演奏，映像，サウンドの関係を観客に理解させ易いという特質があり，これまでにも2.

システム

この章では，Motion Score のシステムとデータの流れについて説明する．

さまざまな作品制作あるいはシステム開発がなされて2.1

きた．

本システムでは，ユーザインタフェースとして，一システムの概要

古くは 1999 年の古川らの small fish1)，2004 年に入般に普及している iPodTouch（iPhone でも使用可能）っては徳井らの Biosphere of Sounds2)，また，2006 年を使用し，そこで得られた，タッチしたスクリーン上の筆者らによる Phenakistoscope player3),4)があげられの位置と，内蔵されている加速度センサーの情報を，る．その他に，ヤマハから発売されている TENORI-無線 LAN(WiFi)でコンピュータ(MacBook Pro)に送信ON4)もその一例としてあげられよう．

する．コンピュータは,この操作情報により，幾何学

これらのシステムや取り組みは表現の創出という点図形のオブジェクト（以下，図形オブジェクトと略において革新的ではあるが，一方で，計算機のペリフ記）の映像を生成し，プロジェクタを用いて観客に提ェラルの制約を受けたデザイン上の制約から，楽器が示する．生成された図形オブジェクトの動き，特に衝本来有していた多点・連続量制御が実現出来ないとい突によって MIDI メッセージを生成する．その MIDIう課題が存在していた．これに対し，近年，実用化がメッセージは，ソフトウエアシンセサイザを用いて実進んでいるマルチタッチインタフェースを用いること音化され，パワード・スピーカから出力される．

で，計算機楽器が抱えていた制御性の問題を解決でき2.2るとの期待が高まっている．

iPodTouch の操作情報は，無線 LAN(WiFi)によってデータの流れ

本稿では，そのような観点から我々が開発を進めてTUIO プロトコル 5) と OSC プロトコル 6)により，市いる映像と音楽のためのシステム（楽器）“Motion

販の iPhone/iPodTouch アプリケーション OSCemote7)
によって，コンピュータに送信される．コンピュータ

京都精華大学
Kyoto Seika University
関西学院大学
Kwansei Gakuin University

は，iPodTouch からのデータを，ゲイトウエイプログ
ラム flosc8)によって， TCP/IP の xml socket データに情報処理学会 インタラクション 2010

iPodTouch ソフトウエア変換し，AIR アプリケーションである Motion Score に3.1渡す．Motion Score は，flosc からの xmlsocket データ

ここでは，iPodTouch の操作情報を，OSC プロトコを受け取り，グラフィックスの生成，制御を行うと同ルによって送信するアプリケーション，Oscemote に時に，発音の指示を OSC プロトコル で，MAX/MSPついて説明する．Oscemote は，以下の５種類のスクに よ り 実 装 さ れ た OSC-MIDI 変 換 プ ロ グ ラ ム

リーンによって構成されている．(1)最大５点までのPhysicsMIDI に送る．PhysicsMIDI により変換されたマルチタッチインタフェース，(2)３軸の加速度セン

MIDI データは，propellahead 社のソフトウエアシンセ

サー，(3)15 個のタッチ式スイッチ，(4)６本のスライサイザ Reason を発音させる．図１にそのブロックダ

ダーと５個のセレクトスイッチ，３個の ON/OFF ス

イアグラムを示す． また，図２に Motion Score を演

イッチ，(5)IP アドレスや Port ナンバー等ネットワー

奏中の写真を示す．

ク情報の設定．これらのうち(1)~(4)のユーザインタ
フェースの操作情報を，タンジブルユーザインタフェースのためのプロトコル TUIO とサウンド制御のための OSC プロトコルを用いて，無線 LAN でコンピュータに送信する．Oscemote は，OSC プロトコルを用いたリモートコントロールソフトウエアであるといえよう．図 3 に，Motion Score で主に使用している，マルチタッチスクリーンとボタンスクリーンを示す．

図１

Motion Score system のブロックダイアグラム

図 3

OSCemote の操作画面（左:マルチタッチスクリーン，右:ボタンスクリーン）3.2

PC ソフトウエア

PC で は ， flosc,

Motion Score,PhysicsMIDI,Reason の４種類のソフトウエアを使用している．
flosc は，AIR アプリケーションが，直接 UDP/IP のデータを受信できないために，UDP/IP の OSC プロトコ
ルデータを xml socket に変換する，Java で実装されたオープンソースのゲートウエイソフトウエアである．
Motion Score, PhysicsMID, Reason の３つのソフトウエ
アは，それぞれ，グラフィック生成，グラフィックと図２

3.

演奏中の Motion Score

サウンドのマッピング，サウンド生成の役割を分担しソフトウエアている．役割を分担させて実装することにより，グラフィックとサウンドの個別開発，サウンド生成ソフト

この章では，本システムを構成するソフトウエアについて説明する．

ウエアの交換，映像とサウンドのマッピングアルゴリズムの変更などが容易に可能となる．
以 下 ， 筆 者 ら が 実 装 し た Motion Score とマルチタッチインタフェースを使用した，メディアパフォーマンスシステム“Motion Score”の試作
PhysicsMIDI を中心に説明する．Motion Score は，動かじめ，１５個のボタンに割り当てられた，色やオブく図形楽譜というコンセプトのもとに，AS3(Action

ジェクトの内部パラメータを選択することができ，入Script3.0)によって，AIR アプリケーションとして実装

力モードで描かれる図形オブジェクトには，このボタした，グラフィックパフォーマンスソフトウエアであンの色やパラメータが適用される．

る．三角形や円といった幾何学図形のオブジェクト同操作モードにおいては，画面上の図形オブジェクト

士の動き，衝突や重力の変化による動きを，BOX2Dの移動，物理法則に従って移動する図形オブジェクト

ライブラリ 7)を用いた物理演算で実現している．の固定，不要になったオブジェクトの消去ができる．

Motion Score では，iPodTouch を用いて，できるだ

特に，複数のオブジェクトを同時に操作できるので，け直感的にグラフィックを操作し，演奏できることを２つの移動中のオブジェクトを移動させて衝突させた

目指して開発した．Motion Score は，図形オブジェク

り，バネで接続されているオブジェクトを引っ張った

トの入力モードと操作モードの２つのモードを持つ．

りといった操作が可能となる．

モードの切り替えは，前節で説明した(4)ON/OFF スイ

Oscemote では，マルチタッチインタフェースのスッチで行う．入力モードは，円を描くモード，長方形クリーンと，モード切り替えのスクリーン，色やオブを描くモードと多角形を描くモードとに別れる．円をジェクトのグラフィックの切り替えのスクリーンが異描くモードでは，２本の指を使用し，タッチした２点なるため，複数の iPodTouch が，同時に利用できるよが直径になるようにした．そして，指を１本に減らしうにし，モード切り替えと，図形オブジェクトの操作た場合は，描いた円を移動させることができるようにがワンタッチで行えるようにした．

なり，指を離すと，物理演算に従って描いた円が動き次に，サウンドについて説明する．サウンドは幾何出す．長方形を描くモードでは，２本の指の位置を結学図形のオブジェクトが衝突したときに衝突時の位置

ぶ線が対角線となるような長方形を描く．指を減らしやオブジェクトの種類（円形，三角形，四角形）や面た場合は，円の場合と同様に動作する．多角形を描く

積，衝突時の速度や加速度の情報を OSC プロトコル

モードでは，直線，三角形，四角形を作成することがで PhysicsMIDI に送る．PhysicsMIDI は，これらの情でき，タッチしている場所を，図形の頂点座標として報を MIDI メッセージにマッピングするソフトウエア

図形を描くので，直感的に図形を作成することができである．衝突時の位置の Y 座標を note on の note

る．図形の種類は，同時にタッチしている指の本数でnumber(音程情報)に X 座標を control change の pan決定する．指が２本の場合は直線，３本の場合は三角（発音位置）にマッピングしている．また，衝突時の形，４本の場合は四角形を作成できる．指を全て離し速度は note on の velocity(音の強さ)に,オブジェクトのた段階でオブジェクトが動き出すのは，円や長方形の種類は program change（音色）にマッピングした．こ場合と同様である．多角形を描くモードとは別に長方の MIDI メッセージは，ソフトウエアシンセサイザの形を描くモードを設定したのは，自由に描ける四角形Reason に送られ，発音することになる．Reason は，とは別に，長方形を必要とする場合が多いこと，そしサンプリング方式，減算合成方式に対応するソフトウて４本の指を正確な長方形の形にするのに時間がかかエアシンセサイザなので，あらかじめサンプリングしるためである．

た音を発音させることもできれば，電子音を利用する図形オブジェクトは内部パラメータとして，摩擦，こともできる．この MIDI メッセージを，MIDI イン

反発係数，質量を持っている．例えば，摩擦 0，反発

タフェースに接続された MIDI 音源や，他のソフトウ

係数 1.0 のオブジェクト同士を衝突させれば，永久にエアシンセサイザに用いることも可能である．

一定の周期で衝突し，リズムを生成することができる．
図形オブジェクト以外に，ばねオブジェクトによるオ4.

考察

ブジェクト同士の接続，モータオブジェクトによる，複数の図形オブジェクトを自由に操作しながら映像他のオブジェクトの回転などの機能も実装している．とサウンドを同時に演奏するパフォーマンスシステム

これらを組み合わせて，振り子や車輪など様々な動きの開発をおこなった．システムとして，５本の指に対の表現が可能となる．さらに iPodTouch の加速度セン

応した、カーソルによる図形オブジェクトの操作が実サーによって物理演算の重力と，その方向を操作でき現できた．しかし，５本の指を自由自在に使用した演る．この加速度センサーは，モードに関係なく，いつ奏は容易なものではない．この原因として挙げられるでも使用することができる．のは，ピアノをはじめとする多くの楽器が有している，前節で説明した(3)のボタンスクリーンでは，あら多点・連続量制御自体の困難さである．演奏が困難な情報処理学会 インタラクション 2010

鍵盤楽器も，簡単に演奏を楽しむために，電子オルガるパフォーマンスに適しているといえる．タッチイン

ンなどには，アルペジエータやオートアレンジャーなタフェースの直感的な操作は，ユーザインタフェース

どの演奏支援機能が搭載されている．Motion Score にのわかりやすさにもつながっている．

も，独自の演奏支援機能の提供が求められる．

これから，個人のパフォーマンスシステムとしてだ

タッチ型インタフェースの利点である直感的に操作けでなく，マルチユーザに対応した，パフォーマンスできるという点において，本システムのユーザのほとシステムを目指して開発していく．Motion Score を使

んどは，他者のシステム操作を見るだけで，図形オブ用した作品制作を進め，その過程での要求事項を活かジェクトを作成し，操作できるようになった．このこして，マルチユーザに対応し，またスムーズな演奏にとから，タッチ型インタフェースの利点である直感性適したユーザインタフェースを持つ，新たなは十分に活かされていると考えられる．

iPodTouch アプリケーションと Motion Score ソフトウ

2009 年 ９ 月 ， 韓 国 ソ ウ ル に お い て ， International
Intermedia Exhibition「リンクするメディア・アート展」のメディアパフォーマンスにおいて，本システムのプロトタイプを使用してサウンドパフォーマンスを行った．同時に複数の指を使用することにより，様々な形の図形を即座に描いて演奏できる点は，即時性が要求されるパフォーマンスでは有効であった．
iPodTouch のソフトウエアに市販の Oscemote を採用し，複数の iPodTouch を用いることで，モードの切り替えと，図形オブジェクトのスムーズな操作を実現している．モード切り替えとマルチタッチインタフェースを同じスクリーンに配置した，オリジナルな
iPodTouch アプリケーションを実装することで，一台の iPodTouch でもスムーズな操作を実現できると考えられる．さらに，Oscemote は汎用のソフトウエアなので様々なモードを切り替える場合において，そのスイッチの表示が，単なる番号やアルファベットである点が，操作をわかりにくくしている．この点もオリジナルアプリケーションを実装することで解決できる．
複数の iPodTouch の使用できるシステムは，一人の演奏者が複数台使用するだけでなく，多人数での合奏や コ ラ ボ レ ー シ ョ ン へ の 利 用 で き る ． iPodTouch ，iPhone の普及率を考えれば，これらを持った観客の演奏への参加も現実的である．さらに，本システムで採用した OSC プロトコルは，UDP/IP 通信を用いているので，インターネットを介しての合奏やコラボレーションへの対応も可能である．

5.

まとめとこれからの展望

映 像 と 音 の パ フ ォ ー マ ン ス シ ス テ ム “ MotionScore”において，マルチタッチインタフェースを使用することによって，従来の同種のシステムに比べて，多彩な演奏を実現できることがわかった．その反面，複数の指を思い通りに動かし演奏するためには，訓練を要することも確認できた．また，図形オブジェクトの生成も一回の操作で可能であり，即時性が要求されエアの改良を行っていく．

参考文献

1) Furukawa,K.Fujihata, M.and Munch,W. :Small Fish(ZKM Digital art edition),CD-ROM(1999).
2) 徳井直生 伊庭斉志 生成的な音響ソフトウエア作品"Biosphere ofSounds"

芸術科学会論文誌

Vol.3

No.2 pp.178-184(2004)

3) Hirano,S. : Sight Sound -PhenakistoscopeProc. International Conference on New Interfaces forMusical Expression (NIME06), p.419(2006).
4) Hirano,S. , Akayama, H. and Inoue,S. :Development of new visual musical Instrument“Phenakistoscope player”, Proc. International
Conference on New Interfaces for MusicalExpression (NIME07), pp.399-400(2007).
5) Nishibori.Y ,Iwai.T :TENORI-ON
Proc. International Conference on New Interfaces forMusical Expression (NIME06), pp.172-175(2006).
6) Kaltenbrunner, M., Bovermann, T., Bencina, R. andCostanza, E.: TUIO: A protocol for table-top tangibleuser interfaces. 6th International Workshop on
Gesture in Human-Computer Interaction andSimulation, (2005)7) http://www.benchun.net/flosc/ (参照 2009/11/5)
8) http://pixelverse.org/iphone/oscemote/(参照 2009/11/5)
9) http://box2dflash.sourceforge.net/(参照 2009/11/5)．