WISS2010

GummiPIANO-マルチタッチオーディオインタフェースGummiPIANO-multi-Touch audio interface-

吉田 愛美

吉田翼

佐藤 俊樹

小池 英樹∗

Summary.
鍵盤楽器のインタフェースにはいくつかの問題点が考えられる．アルペジオのような離散的に音を変化させる機能と比べ，連続的な音の変化に対応する機能が少ない．さらに，パラメータの制御が複雑であり，操作が難しい．そこで本研究では，これらの問題を解決するためのインタフェースとして
GummiPIANO を提案する．

1

はじめに

本論文では，直感的に操作できるタッチベースのインタフェース GummiPIANO を紹介する．
鍵盤楽器のインタフェースにはいくつかの問題点が考えられる．既存の鍵盤楽器には，離散的に音を変化させる機能に比べて，連続的な音の変化に対応する機能が少ない．GummiPIANO は，ディスプレイ上に表示した鍵盤によって，従来の鍵盤よりも鍵盤境界がなめらかであるため，連続的な音の変化に特化させることができる．
さらに，既存の鍵盤楽器は，パラメータの制御が複雑であり，操作が難しい．しかし，より豊かな音楽表現を行うにはパラメータ数が増える．GummiPIANO は，２次元方向だけでなく，奥行き方向への押し込むといったインタラクションにより，１本の指で複数のパラメータ操作をすることができる．また，マルチタッチ操作により，より多数のパラメータを同時に操作することができる．本研究では，既存の鍵盤楽器の問題を解決するためのインタフェースを提案する．

2関連研究

テーブルトップシステムにおけるオーディオインタフェースの研究は，Sergi らの reacTable[1]，Pattenらの Audiopad[2] が挙げられる．reacTable は，オブジェクトを置く，移動させる，回転させるといったタンジブルインタラクションに加えて、テーブル面で指をすべらせるといったタッチインタラクションも可能である．Audiopad は，オブジェクトを置く，動かす，くっつける，離すといったタンジブルインタラクションを用いている．これらの関連研究は，タンジブルオブジェクトを用いることで，機械的な選択が解決されたと考えられる．しかし，パラメー∗Copyright is held by the author(s).
Ami Yoshida, Tsubasa Yoshida, Toshiki Sato andHideki Koike 電気通信大学大学院 情報システム学研究科
情報メディアシステム学専攻

図 1. GummiPIANO の外観

タの制御が複雑になり，操作は難しいままである．

3

システム構成3.1 ハードウェア構成
GummiPIANO は，透明弾性体を用いたテーブルトップシステムである．テーブルトップの表面や弾性オブジェクトへの接触判定には佐藤らの PhotoelasticTouch [3] を用いている．

3.2

ソフトウェア構成

認識処理には佐藤らの PhotoelasticTouch の認識手法を用い，音響処理には ChucK を開発言語として用いた．PhotoelasticTouch の認識処理によって，接触箇所の２次元位置，圧力，圧力の方向を取得する．それらのデータを同じ PC 内で動作している ChucK に，OSC(Open Sound Controller) という通信プロトコルを用いて送信している．

4

アプリケーション

GummiPIANO は，ディスプレイに鍵盤の表示をしている（図１）．また，GummiPIANO の UI
デザインを図２に示す．

WISS 2010

それから，弾性体上で指を前後に動かすと，ピッチシフト機能として操作できる．また，弾性体上で指を左右に動かすとビブラート機能として操作できる．これらの機能は，弾性体を指で前後左右に動かしたときの，圧力の方向を検出している．従来のビブラート機能やピッチシフト機能は，ホイールやボタン，つまみなどでかかり具合を調整をしている．
ビブラートは，ピッチを保ちながら，音の高さを揺らす機能であるため，この現象と視覚的な指の左右動作を対応させることは可能である．また，ピッチシフトは，原音からオクターブの上げ下げするという機能であるため，この現象と視覚的な指の前後動作は対応している．
図 2. GummiPIANO の UI デザイン

4.1

音の変化

鍵盤の演奏方法として，アルペジオといった離散的な出力があげられる．この GummiPIANO は，テーブル表面を用いて鍵盤を表示しており，従来の鍵盤よりも鍵盤境界がなめらかであるため，離散的な音の変化だけではなく，連続的な音の変化に特化している．
連続的な音程の変化において，上下１オクターブ変化させることができる．１番高い音から一番低い音までを連続的に弾くことで，サイレン音のような表現が可能である．また，トリルも，連続的な音程の変化によって表現が可能である．しかし，テンポによってはかなり早い動作が求められるため，制限されることが多い．そのため，鍵盤と鍵盤の境界を弾くことで，簡単に表現することが可能である．

4.2

パラメータ操作

位置と圧力，圧力の方向をそれぞれピッチ，音量，ピッチシフトとビブラートに割り当てている．２次元方向だけでなく，奥行き方向への押し込むといったインタラクションにより，１本の指で複数の音響エフェクトパラメータを操作することができる．そして，マルチタッチ操作により，より多数のパラメータを同時に操作することが可能である．
弾性体が押された場所によってピッチが変化する．
ピッチは，弾性体を指で押したときの指周辺の二次元位置を調べることで，位置変化を検出している．
位置データは，従来のピアノと同様にピッチに割り当てている．位置をピッチに割り当てることは，自然である．
また，弾性体を押し込むことにより，音量を変化させることができる．音量は，弾性体を押し込んだときの，指周辺の面積変化を調べることで，圧力変化を検出している．圧力データ，つまり押し込む力の強さを音量に割り当てることにより，ボタンで操作するより直感的な操作ができる．

5

考察

鍵盤を弾く際，演奏中は両手とも鍵盤に向かうか，または，右手が鍵盤，左手がホイールやつまみを調整するという操作に制限される．上下１オクターブ変化させるためには，片手で音程を，もう一方の手でピッチベンダを操作しなければならない．しかし，
GummiPIANO では，この操作を片手だけで表現することが可能になった．また，既存のビブラート機能では，弾いている鍵盤すべての音にビブラートがかかってしまう．しかし，GummiPIANO では，一音一音にビブラートをかけること，また，両手でビブラートをかけながら演奏することが可能になった．したがって，右手が鍵盤，左手がホイールやつまみを操作するという制限をとりはらうことができた．そのため，より豊かな音楽表現を行うことが可能になると考えられる．

6

まとめ

鍵盤楽器のインタフェースにはいくつかの問題点が考えられる．本研究では，その問題を解決するためのインタフェースとして GummiPIANO を提案した．今後の課題として，機械的な音色の選択を，タンジブルオブジェクトを用いたインタフェースの実装や，ユーザ評価を行う予定である．

参考文献[1] S. Jorda，G. Geiger，M. Alonso，and M.
Kaltenbrunner. The reacTable:Exploring the Synergy between Live Music Performance and Tabletop Tangible Interfaces, TEI’07[2] P. James, R. Ben and I. Hiroshi. Interaction
Techniques for Musical Performance with Tabletop Tangible Interfaces. :Proceedings of the 2006
ACM SIGCHI international conference on Advances in computer entertainment technology,
ACE ’06[3] 佐藤俊樹, 間宮暖子, 小池英樹, 福地健太郎. LCDと透明弾性体の光弾性を用いたユーザインタフェー
ス. ISS 10