「インタラクション2000」平成12年2月

ジェスチャーによる楽器PlaytheDE†石川修†平井重行†金森務‡片寄晴弘†井口征士†大阪大学大学院基礎工学研究科，‡和歌山大学システム工学部
E−mail：ishikawa＠inolab．sys．es．osaka−u．aC．jp

1．はじめに

3．3次元モーションキャプチャセンサ

90年代に入ってから音楽分野においてもインタ3．1簡易モーションキャプチャセンサ

ラクションが盛んになってきている．音楽分野におDjgitEye3DIW

けるマンマシンインタラクションはもともと音楽の図1にDigitEye3DTMシステムを示す．システムはライブ性・リアルタイム性をコンピュータを導入し赤外線透過フィルタを装着したCCDモノクロカメたいという動機から始まったものであり，例として

ラ，映像信号から位置認識を行うDigitEye3DW本体，新世代の楽器や自動伴奏システムなどが挙げられる．

4つの赤外線球状マーカから構成されている．CCD

新世代の楽器としては人間の動きを各種センサーでモノクロカメラは通常赤外領域で高感度な特性を持検出し，その信号を演奏のトリガー信号とする新世

つ．このシステムはNTSCの垂直同期信号を元に各代の楽器やイベント（MIDIのデータ）の加工機能

マーカに村し時分割発光の制御を行い，CCDカメを組み込んだプログラマブルなMⅡ）Ⅰコントローラ

ラからの映像を各フィールド単位で位置検出処理をが開発されている．最近の研究事例としてMa血n行うという仕組みである．これにより複数マーカのらによるDigitalBaton［1］，津田らによるGraspMIDI個別の3次元位置計測が可能となっている．

【2］等が挙げられ，新世代楽器としてより様々な入力デバイスが研究されている．これらは、今までなかった表現を産み出すツールとして視覚・聴覚的効果も高く，コンピュータ・ミュージックのライブ演奏において大きな注目を集めている．
そこでわれわれは，3次元の画像センサを用いたジェスチャーによる動きから演奏を行う楽器

PlaytheDEの構築を行ってきた．本稿では，このジェスチャーによる楽器PlaytheDEについて報告する．

2，PlaytheDEの概要
PlaytheDEは，3次元のジェスチャ認識により簡単に演奏が行え，今までの楽器に必要であった技能・知識の代行が行えるシステムというコンセプトのも

図1DigitEye3DIWと始められた研究である．ジェスチャによる空間表
現により，今までの楽器とは違ったイメージ表現に

3．2 DigitEyeCLassicオブジェクトよる演奏が可能となる．

DigitEyeClassicオブジェクトは機能制限された

そこでジェスチャーの取込みとして，簡単に使えDigitEye3DTMといえるMAXオブジェクトである．

かつ低価格なセンサの導入・開発が必要となる．そこのオブジェクトは図2のようにCCDカメラから

こでわれわれはハードウェアセンサDigitEye3DPtMのMacintoshのビデオ入力を通して取り込んだ画像に開発を行ってきた［3】［4】．また近年のパソコンの処

村し，DigitEye3DⅦuと同様の処理を行うことで発光理能力の向上，マルチメディア化から，AV入力機点の3次元位置計測を行う．但し，複数発光点の発能のみを用いて入力を行い，残りの処理をソフトウェ

光制御を行わないので，現在は1点のみの3次元位アで行う ソフト ウェ アセンサシス テム

置センサである．また計測されるカメラ軸方向の値（DigitEyeClassicオブジェクト）の開発も行ってきは画像上の発光点の直径を算出しているのみである

た［5］．次章では，PlaytheDEの入力として必要なこため，正確な3次元位置データヘの補正に関しては，れら2つの3次元モーションキャプチャセンサシス

レンズ特性のデータを含んだデータ補正用MAXオ

テムについて紹介する．

ブジェクトを用意している．

ー161−

図3 PIaytheDEのユーザインタフェース
図2 DigitEyeClassicオブジェクトの使用例

う形で実験を実施した．授業は1）ブルースという音楽分野の説明，2）ブルース音階の説明，3）ブルー4．P［aytheDEの実装

スのコード進行についての説明，4）具体的な創作方法の説明，5）創作活動，6）発表という流れで行われた．練習時にはPlaytheDEに興味を持つ生徒が多かったが，実際に発表に用いた生徒は1人であっ

図3にPlaytheDEのエーザインタフエースを示す．
PlaytheDEは，3次元のジェスチャー入力から演奏を行う新世代楽器と言えるものである．そもそも楽器というものは技術，練習が必要であり，実際に演た．多くのデータは得られなかったが，他の楽器を奏を行うには非常に難しいものである．そこで人間用いた生徒が局所和音の構成音にこだわる傾向が多の動きをダイレクトに取り込み，また簡単に演奏をかったのに対し，PlaytheDEでは，スケールにした行う楽器PlaytheDEを構築した．これは簡単に音をがってイメージで表現しているという傾向が確認さ生成することができるので，特別な知識や経験がなれた．

くても感覚的に音楽を表現できるシステムである．

PlaytheDEにはハードウェアセンサDigitEye3DTM
6．おわりにによるバージョンと，DigitEyeClassicオブジェクトによるバージョンを用意した．DigitEye3D7Mを用い今回は3次元モーションキャプチャセンサたバージョンでは，4点のマーカを用いた演奏が可

DigitEye3DWとDigitEyeClassicオブジェクトを用いた楽器PlaytheDEについて報告した．このようにモー能である．一方，DigitEyeClassicオブジェクトによるバー

ションキャプチャとコンピュータを組み合わせるこ

ジョンでは単一のマーカの検出しか行えないとは，新たな表現方法がダイレクトに行える楽器としての機能を果たすと同時に，現在導入が進められている総合的学習の実践に向けて，情報処理教育とが，図2にも示したようにCCDカメラのみで演奏が簡単に行えることが特徴である．

センサ入力からのMDIイベントへのマッピング

芸術教育の融合した領域にも応用可能であるといえには，水平軸方向の位置で音高（MIDInotenumber）が，垂直方向の位置で音量（MIDIvelocity）が，カメる．今後もこのような入力センサとコンピュータをラ軸方向の位置で音の密度が決定される．またこれ用いたインタラクションについて研究を進めていく

らの3次元軸の変更も可能であり，マーカをオン／予定である．

オフすることでテンポ制御が可能な演奏方式も用意しており，ユーザが自由に選択可能である．演奏は参考文献

ユーザがプレイスイッチを押したときにそれぞれの【1］T．Marrin．andJ．Paradiso：rme DigitalBaton：aVersatile

音色で発音するような構成をとっている．音高に関PerformanceInstrument，Proc．ICMC，pp．313−316（1997）

しては，単に位置情報をマッピングするのではなく，［2］H．Sawada．et al．：Soundsin Hands −A Sound Modifier

ブルーススケールやペンタトニックスケールなどのUsing Datagloves and TwiddleInterface−，Proc・ICMC，スケール変換を行っている．また，BGMを流しな

pp．309−312（1997）

がら，ソロを演奏することも可能である．

【3】金森，片寄，井口，戸島，西山：モーションキャプチャ「DigitEye3D」の実装，電子情報通信学会論文誌
Vol．J81−D−IINo．5，pP．804−809（1998）

5．学校での使用評価【4】片寄，金森，平井，坂口，井口：簡易モーションキャ本システムの評価に関して，東大寺学園の音楽のプチャセンサDigitEye3Dとインタラクティブシステムヘ授業内容として委託し，簡単なブルースのアドリブの応用，インタラクション■98，pp．67−72（1998）

創作及び演奏という形で実施された．今回は，［5］平井，片寄，金森，井口：インタラクティプアートのPlaytheDEを含め，どんな楽器を用いても良いといためのソフトウェアセンサ，情処研報，pp．61−66（1998）−162−