「インタラクション，98」 平成10年3月

握力インタフェースを用いた仮想楽器−GraspMID卜の試作
尾上 直之

澤田 秀之

柵本 周司

早稲田大学理工学部応用物理学科棟本研究室

により、ノート・ピッチベンド・ボリューム・音色等の1．はじめにわれわれが日常行っているコミュニケーションには、MIDIイベントを同時に制御できる仮想楽器GraspMIDIを大きくわけて2種類ある。一つは、身振りや手振り、あ試作した。

るいは音楽などのような非言語的なコミュニケーションで、もう一つは文字や数字、あるいは言葉などのシンボ

2−2．GraspM旧lシステムの構成

ルを用いて行う言語的なコミュニケーションである。前

図1し（a）のように、GraspMIDIは3つの圧力センシングユニットP−Unitと3つの加速度センシングユニットA＿Unit

者は、われわれ人間が後者のコミュニケーション手段をを、球状のやわらかいのシリコン中に埋め込んでできて得るはるか以前から行われていたと考えられており、感性レベルのダイレクトなコミュニケーションといえる。

く、非言語的なコミュニケーションは重要な役割をはたいる。シリコン球の大きさは直径約70mmほどで、これを把持することにより、】P−Unit中の空気の内圧を間接的に変化させ、握力を計測することができる。また、A−Unit

している【1，2】。

を直交座標系の軸と垂直になるように配置し、重力方向現在でも言葉ではあらわせないような感覚的な情報は多を計測することで、GraspMIDIの姿勢を測定できる。

音楽の演奏やパフォーマンスにおいては、非音詩的なコミュニケーションはいろいろなところで行われている。たとえば、指揮者は指揮動作と身振りや手撮りで演奏者に演奏情報を伝える。また、演奏者は楽器をとおして演奏情報を音響信号に変換し、聴衆に伝える。このため、楽器は演秦者の意志を聴衆に伝えるための伝達器であるといえる。しかしながら、尭器は音響を生成するための物理的構造によってその形、演奏方法も様々であるから、演秦者の意志を表現し伝達するためには十分な訓PowモーMaく8500／150（b）

図1．CraspMIDIシステム

練が必要である。

われわれは、これまで画像や加速度センサをもちいた

GraspMIDIのセンシングユニットからの出力は、NationalInstruments社のAD／DA変換ボードを用いて、1／50秒周期で標本化され、12bitのデジタル値として計算機に入力される。また、図1（b）に示すようにCCDカメラからの画像により、CraspMIDIの画像内での位置を特定する音響生成システムを試作検討しt3−10トより柔軟な楽器を作る試みを行ってきた。ここでは、特に握力に着日し、これを用いた仮想楽器の試作について報告する。
2．GraspMtDIシステムの概要

ことができる。

2−1．MtDは電子楽器−GraspM旧卜MIDIは、電子音源の実時間制御を行うためのインタフ

これらの情報は、すべて音楽制御用言語Maxを用いて統合され、MIDIイベントが生成される。外部MIDI音源（あるいは、内蔵ソフトウエアMIDI音源）を利用して、MIDIイベントから音響が生成される。センシングユニッ
ト情報および、動画像情報とMIDIイベントとの対応は、ェースとして設計され、音楽制御において重要な役割を担っている。MIDI制御の電子楽器のインタフェースは、計算機特有のキーボードやマウスといったものを流用しているものや、アコースティック楽器のインタフェース

直接的な対応とニューラルネットワークを用いた対応でを模倣した鍵盤型や弦型のものがほとんどである。これらを演奏するためには十分な訓練が必要である。アコー行っている。

スティック楽器を模倣したインタフェースの流用は、音2−3．P−Unitの構造響を生成するための物理的構造なしで発音できるという電子楽器としての特徴を十分に生かしているとはいえない′。更に、現代音楽の演奏やパフォーマンスにおいては、アコースティック楽器を模倣したインタフェースがP・Unitには、Fujikura製圧力センサFPM−50PG（14mm（W）×17．5mm（H）×1亭mm（D）、1．2g）を用いている。図2のようにゴム製指サックの先端部分約25mmを切り取り、圧力センサに直接取り付けた。本センサでは、最適であるとは言い難い。われわれは、手の握り動作等

標準大気圧に対して土500mmHgの範囲で線形的に指サック内の相互を計測できる。初期内圧は1気圧であり、空気もれをおこすこともなく、耐久性に優れている。

IntroducingCraspMIDいheVirtualMusicalInstrumentuSing
GraspingForceInterfaceNaoyukiOnoe．HideyukiSawadaandShtjiHashimoto

2−4．んUnitの構造

e−rnail三（onoe．sawa，Sh坤）＠shalab・Phys・WaSeda・aCjp

HashimotoLab．．Dept．ofApplledPhysics．Sch00lofScience＆弓nglneering． A＿Unitは、（10mm（W）×3mm（H）×8mm（D））を用いている。本セン
サは、約土2Gの加速度範囲を、0．75V／Gの電圧値として計測することができる。3個を図3のように互いに直交しWasedaUniv．
3−4・1・55N−4−10AOkubo．Sh叫uku．Tokyo169．Japan
Tel：03−5Z86・3233．FAX：03・3202イ5Z3−27−

て配置し、重力方向を計測することにより、CraspMIDIの姿

あらかじめパラメータの対応を学習させておくことにより、センサ空間からMIDI音楽空間への多次元写像を各ユ勢を測定できる。

ーザの感性に基づいて定義することができる。この場
合、ユーザはほとんどセンサを意識する必要はないが、∠厨批ンサ』／■一

学習されていない入力センサ情報に対するMIDIイベント

守肇：。瑚の出力は必ずしも適切であるとは限らない。

幸≡讐
図2．P−Unitの構造

図3．A−Unitの構造

2−5．動画像による位置計測
CCDカメラからの動画像により、画面内でのGraspMIDIの大まかな位置（左上、中央、右下etc・）を計測することができる。CCDカメラからの画像を3×3のエリアに分割し、各エリアで色相のヒストグラムを作成し、GraspMIDIの色相と同一の色相の画素数の合計が最大のエリアをGraspMIDIが存在しているエリアとして認識する。また、画素数の合計値はGraspMIDIのエリア内での大きさをあらわしている。処理時間は、

図4．GraspMIDIシステム制御Patch（直接マッピングの例）

P。WerMacintosh由00／180を使用して、160×120画素の動画像に対して、10納ec程度である。

4．おわりに音楽情報処理をIまじめ、様々な分野でマン・マシンインタフェースの研究が重要な課題となっている。われわ
れは、現代音楽における演奏やパフォーマンスにおい3．MaxによるM旧lイベントの生成
GraspMIDIのセンシングユニット出力の取り込みと動画像処理および、MIDIイベント生成と出力は、全て音楽制御用言語Maxを用いて行っている。センシングユニッて、演奏者の感性情報をより直接的に表現することを目的として、新たなインタフェースの研究を行っている。

ト出力を取り込むのためのdaq（dataacquisition）oqectと、ここでは、握力に注目したデ／†イスGraspMIDIを製作

QuickTimeを用いた動画像処理のためのvideooqectを独自に開発し、これらを用いてPatchを構成している。

し、マルチモーダルな感性表現インタフェースを実現した。
現在、作曲家の協力を得たパフォーマンスを計画してMIDIイベントは、センシングユニットおよび動画像処理の出力を直接MIDIイベントのパラメータとしてマッピいるが、今後はGraspMIDIを音楽制御だけでなく、広くングする方法と、ニューラルネットワークを用いて、あ利用可能なマン・マシンインタフェースデバイスとしてらかじめユーザが学習させたパラメータの対応にした応用して行きたい。

がって、M血Ⅰイベントのパラメータをマッピングする方法の2通りで生成することがセきる。

参考文献

川大照完、橋本周司「仮想膏薬空間」、電子情報通信学会編、オーム

直接的なマッピングでは、P−Unitとノート番号、A−Unit

社、1995とピッチベンドを対応させ、各エリアに音色を設定し、【2】黒川隆夫「ノンバーバルインタフェース」、電子情報通信学会絹、エリア内でのCraspMIDIの大きさによりボリュームを変

オーム社、1994【3】澤田秀之、橋本周司「加速度センサを用いたジェスチャー認識と音化させるといったように、直接センシングユニットの出力値をMIDIイベントのパラメータに変換する。例えば、
GraspMIDIを強く把持し、動画像の左上で回転させると楽制御への応用」、電子情報通信学会論文誌九Voり79・A．No．2．pp45Z−

いった動作では、ピッチの高いピアノの音にモジュレー

川H．Morita．S．HashlmotoandS．Ohteru．NComputerMusicSystemthat
FollowsAHumanConductor ．IEEEComputer，Vol．24．No．7．pp．45−53．1991【5］P．HaTtOnO．K．Asano，W．InoueandS，Hashimoto．MAdaptiveTimbreControI

459、Ig96

ションがかかった状態で発音される。図4は、センシングユニットおよび動画像処理の出力を直接MIDIイベントのUslngGesture

パラメータへマッピングした例である。この例では、．Proc．ICMC．pp・151−15＆．1994t6）H．Sawada．N．OnoeandS．HashimotoMAccelerat10nSensorasanInput
DeviceEbrMusIcalEnvironment●一．Proc．・ICMC．pp．4Zl−424．1996

GraspMIDIで3音源を独立して制御することができる。
制御できるMIDIイベントのパラメータは、P−Unit＝ノー

mN．Onoe．D．ChangandS．Hashlmoto惰BackgrotmdMusicCenerationbased

ト番号（ピッチ）、A−Unit＝ピッチベンド、画像位置＝OnSceneAnalysIs−．Proc．ICMC．pp・413−414．1996【8】澤田秀之、絹本周司、松島俊明「ヒューマンインタフェースとしてプログラム番号（音色）、画素数＝ベロシティである。のジェスチャー狂乱．インタラクション97論文集、情報処理学会、

ただし、それぞれのエリアでのプログラム番号は、あらpp．25−32．1997

かじめ設定しておく必要がある。直接的なマッピングの利点としては、ユーザがこのような対応に慣れると直感【9］H．Sawada．N．OnoeandS．Hashimoto■SoundCenerationUsingTwiddle
InterfhceP，AIM■97CD−ROM，1997

的で理解しやすいことが挙げられるが、反面、常にセンサを意識していなければならないという欠点もある，

UslngDataglovesandTwiddleInterfhce／・PrQCAICMC・PP・309・312・1997（101H．Sawada．N．OnoeandS．Hashimoto・・SoundsinHaムds−ASbund扇od蛸er

ニュ、−ラルネットを用いたマッピングでは、ユーザが−28−