(57)【要約】【課題】演奏者の身体動作により仮想の打楽器を演奏するための仮想打楽器演奏システムにおいて、ドラム等の打楽器を実際に設置しなくても、打楽器の演奏を体感できるようにする。【解決手段】演奏者の身体動作により仮想の打楽器を演奏する仮想打楽器演奏システム１であって、３次元空間に仮想の打面位置を設定する打面設定手段１０４と、少なくとも演奏動作に関連する部位の位置情報を検出する動作検出手段１０１と、前記打面位置および前記部位の位置情報に基づいて楽音データを生成する楽音生成手段１０２と、前記楽音データに基づいて楽音を再生する楽音再生手段２５，４３とを備える仮想打楽器演奏システムを提供する。【選択図】      図３
2004252149.tif 000002
【特許請求の範囲】
【請求項１】
演奏者の身体動作により仮想の打楽器を演奏する仮想打楽器演奏システムであって、
３次元空間に仮想の打面位置を設定する打面設定手段と、
少なくとも演奏動作に関連する部位の位置情報を検出する動作検出手段と、
前記打面位置および前記部位の位置情報に基づいて楽音データを生成する楽音生成手段と、
前記楽音データに基づいて楽音を再生する楽音再生手段とを備えることを特徴とする仮想打楽器演奏システム。
【請求項２】
前記打面設定手段が前記演奏者の位置を基準として前記打面の位置を設定することを特徴とする請求項１に記載の仮想打楽器演奏システム。
【請求項３】
前記打面設定手段が、前記打面を複数設定し、前記各打面毎に異なる音色を設定することを特徴とする請求項１または請求項２に記載の仮想打楽器演奏システム。
【請求項４】
前記動作検出手段が、少なくとも前記部位の移動速度および移動角度のいずれか一方の動作データを検出し、
前記楽音生成手段が前記動作データに応じた楽音データを生成することを特徴とする請求項１から請求項３のいずれか１項に記載の仮想打楽器演奏システム。
【請求項５】
前記動作検出手段が、前記部位に設けられ、赤外線を発信する赤外線マーカを有する部位指標部と、該部位指標部からの赤外線を受信する受信部とを備えていることを特徴とする請求項１から請求項４のいずれか１項に記載の仮想打楽器演奏システム。
【請求項６】
前記動作検出手段が、前記部位に設けられた部位指標部と、該部位指標部の複数の画像を同時に取得する撮像部とを備えていることを特徴とする請求項１から請求項４のいずれか１項に記載の仮想打楽器演奏システム。
【請求項７】
携帯端末装置に予め備えられている楽音再生手段を前記楽音再生手段とすることを特徴とする請求項１から請求項６のいずれか１項に記載の仮想打楽器演奏システム。
【請求項８】
前記打面の映像を表示する表示手段を備えることを特徴とする請求項１から請求項７のいずれか１項に記載の仮想打楽器演奏システム。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
この発明は、演奏者の身体動作により仮想の打楽器を演奏するための仮想打楽器演奏システムに関する。
【０００２】
【従来の技術】
従来の仮想楽器演奏システムとしては、演奏者の身体動作により楽音を出力するものがある（例えば、非特許文献１参照。）。この仮想楽器演奏システムでは、広い設置場所を必要とするドラム等の打楽器が不要となり、また、身体に装着して使用するため、場所を選ばずに楽器を演奏できる利点を有する。
【０００３】
【非特許文献１】
［ｏｎｌｉｎｅ］、平成１０年４月１０日、ヤマハ、［平成１５年１月２４日検索］、インターネット＜ＵＲＬ：ｈｔｔｐ：／／ｗｗｗ．ｙａｍａｈａ．ｃｏ．ｊｐ／ｎｅｗｓ／１９９６／９６０４１００１．ｈｔｍｌ＞
【０００４】
【発明が解決しようとする課題】
しかしながら、上記従来の仮想楽器演奏システムにおいては、演奏を行う際に、演奏者の身体動作のみにより楽音を出力していたため、打楽器の打面の配置位置とは無関係に楽音が発生することがある。したがって、演奏者が打楽器の演奏を十分に体感できないという問題があった。
【０００５】
この発明は、上述した事情に鑑みてなされたものであって、ドラム等の打楽器を実際に設置しなくても、打楽器の演奏を体感できる仮想打楽器演奏システムを提供することを目的としている。
【０００６】
【課題を解決するための手段】
上記課題を解決するために、この発明は以下の手段を提案している。
請求項１に係る発明は、演奏者の身体動作により仮想の打楽器を演奏する仮想打楽器演奏システムであって、３次元空間に仮想の打面位置を設定する打面設定手段と、少なくとも演奏動作に関連する部位の位置情報を検出する動作検出手段と、前記打面位置および前記部位の位置情報に基づいて楽音データを生成する楽音生成手段と、前記楽音データに基づいて楽音を再生する楽音再生手段とを備えることを特徴とする仮想打楽器演奏システムを提案している。
この発明に係る仮想打楽器演奏システムによれば、演奏する際には、打面設定手段により設定された仮想打面に向けて、肘、手首、指、手に握られたスティック、足首、足のつま先等の演奏動作に関連する部位を動かして叩く動作を行う。そして、動作検出手段により所定の部位が仮想打面に到達したことが検出されると、楽音生成手段において楽音データが生成される。そして、この楽音データに基づいて楽音再生手段により楽音が出力される。
【０００７】
請求項２に係る発明は、請求項１に記載の仮想打楽器演奏システムにおいて、前記打面設定手段が、前記演奏者の位置を基準として前記打面の位置を設定することを特徴とする仮想打楽器演奏システムを提案している。
この発明に係る仮想打楽器演奏システムによれば、演奏者の座る位置や立つ位置にかかわらず、演奏者と仮想打面との位置関係が変化しないため、演奏者が、立った状態や座った状態で演奏したり、また、移動しながら演奏することが可能となる。
【０００８】
請求項３に係る発明は、請求項１または請求項２に記載の仮想打楽器演奏システムにおいて、前記打面設定手段が、前記打面を複数設定し、前記各打面毎に異なる音色を設定することを特徴とする仮想打楽器演奏システムを提案している。
この発明に係る仮想打楽器演奏システムによれば、打面毎に異なる音色を設定することにより、打面に応じて異なる楽音を発生させることができるため、複数の楽音を有すると共に、広い設置場所が必要となるドラムや木琴・鉄琴等の複数の音色を有する打楽器として使用できる。
【０００９】
請求項４に係る発明は、請求項１から請求項３のいずれか１項に記載の仮想打楽器演奏システムにおいて、前記動作検出手段が、少なくとも前記部位の移動速度および移動角度のいずれか一方の動作データを検出し、前記楽音生成手段が、前記動作データに応じた楽音データを生成することを特徴とする仮想打楽器演奏システムを提案している。
この発明に係る仮想打楽器演奏システムによれば、演奏動作に関連する部位の移動速度や移動角度、すなわち、演奏者の叩く動作の大きさや速さに応じて楽音データを生成するため、音量や音色等を変化させた楽音データを生成することが可能となる。
【００１０】
請求項５に係る発明は、請求項１から請求項４のいずれか１項に記載の仮想打楽器演奏システムにおいて、前記動作検出手段が、前記部位に設けられ、赤外線を発信する赤外線マーカを有する部位指標部と、該部位指標部からの赤外線を受信する受信部とを備えていることを特徴とする仮想打楽器演奏システムを提案している。
この発明に係る仮想打楽器演奏システムによれば、部位の位置に関連する情報を赤外線により受信部に伝達することにより、この部位の位置を特定できるため、演奏の際に各部位を自由に動かすことができる。
【００１１】
請求項６に係る発明は、請求項１から請求項４のいずれか１項に記載の仮想打楽器演奏システムにおいて、前記動作検出手段が、前記部位に設けられた部位指標部と、該部位指標部の複数の画像データを同時に取得する撮像部とを備えていることを特徴とする仮想打楽器演奏システムを提案している。
この発明に係る仮想打楽器演奏システムによれば、演奏動作に関連する部位に取り付けられた部位指標部を撮像部において捉えることにより、この部位の位置を特定できるため、演奏の際に各部位を自由に動かすことができる。
【００１２】
請求項７に係る発明は、請求項１から請求項６のいずれか１項に記載の仮想打楽器演奏システムにおいて、携帯端末装置に予め備えられている楽音再生手段を前記楽音再生手段とすることを特徴とする仮想打楽器演奏システムを提案している。
この発明に係る仮想打楽器演奏システムによれば、楽音データを再生する楽音再生手段として、近年幅広く普及している携行可能なＰＤＡ（ＰｅｒｓｏｎａｌＤｉｇｉｔａｌ  Ａｓｉｓｓｔａｎｔｓ）、携帯電話機等の携帯端末装置を使用することにより、新たに楽音再生手段を設ける必要が無くなるため、仮想打楽器演奏システムのコストダウンを図ることができる。
【００１３】
請求項８に係る発明は、請求項１から請求項７のいずれか１項に記載の仮想打楽器演奏システムにおいて、前記打面の映像を表示する表示手段を備えることを特徴とする仮想打楽器演奏システムを提案している。
この発明に係る仮想打楽器演奏システムによれば、演奏者が表示手段により表示される仮想打面を視認して仮想打面の位置を確認することが可能となる。
【００１４】
【発明の実施の形態】
図１から図１１はこの発明に係る一実施形態を示している。この実施の形態に係る仮想打楽器演奏システム１は、３次元空間に設定された仮想の打面に対して演奏者が叩く動作を行うことによりドラムと同様の楽音を発生するものである。この仮想打楽器演奏システム１は、図１に示すように、スティックＳ、手指、手首、肘、足のつま先等、演奏動作に関連する部位に取り付けられる部位指標部２〜６と、ベルト１１を介して演奏者の腹部に装着されるコントロールユニット２１と、コントロールユニット２１に電気的に接続された携帯電話機（楽音再生手段）２３と、仮想の打面を表示する表示装置（表示手段）２５とを備えている。
【００１５】
部位指標部２〜６は、演奏動作に関連する各部位の位置および動作を検出するものであり、例えば、図２に示すように、スティックの先端部、スティックを握る指、手首および足のつま先に巻き付け、綿ファスナーにより固定されている。
この部位指標部２〜６には、図示しない赤外線マーカおよび加速度センサが設けられている。赤外線マーカは、所謂赤外線発光ダイオードからなり、赤外線によってコントロールユニット２１に各部位の位置や動作に関連する情報を送信するものである。
加速度センサは、各部位の加速度の大きさを検出するものであり、ストレインゲージ等を用いて構成されている。また、手首および肘の関節に設けられる部位指標部４，５には、角度センサ（図示せず）が設けられており、各関節の曲げ角度や捻れ角度を検出するようになっている。
【００１６】
コントロールユニット２１は、仮想の打面および各部位指標部２〜６からの情報に基づいて楽音データを生成するものであり、図３に示すように、受信部３１、３次元部位検出部３３、楽音データ生成部３５および外部接続端子３７（以下、外部Ｉ／Ｆ３７と略称する。）を備えている。
受信部３１は、互いに間隔を隔てて配置された複数の赤外線検出器（図示せず）を備えており、各赤外線検出器が部位指標部２〜６の赤外線マーカからの赤外線を受信するように構成されている。
【００１７】
３次元部位検出部３３は、受信部３１の赤外線検出器において受信した各部位指標部２〜６の情報に基づいて、各部位指標部２〜６の３次元空間内の位置データ、速度データ（動作データ）および角度データ（動作データ）を特定するものである。
すなわち、各部位指標部２〜６の３次元的な位置データは、赤外線マーカから複数の赤外線検出器への赤外線の到達時間に基づいて算出され、コントロールユニット２１の位置を基準として距離および方位により特定されるものである。また、各部位指標部２〜６の速度データは、各部位指標部２〜６の加速度センサにおいて検出された加速度の大きさに基づいて算出されるものである。
また、手首、肘に設けられた部位指標部４，５の角度データは、部位指標部４，５の角度センサにおいて検出された関節の曲げ角度や捻れ角度の大きさの情報と、これら曲げ角度や捻れ角度に基づいて算出される角度の変化（移動角度）の情報とからなる。
これら部位指標部２〜６、受信部３１および３次元部位検出部３３により、演奏動作に関連する部位の位置データ、速度データ、角度データを検出する動作検出手段１０１が構成されている。
【００１８】
楽音データ生成部３５は、３次元部位検出部３３において特定された各部位の位置データ、速度データおよび角度データと、打面データメモリ部３８およびベロシティメモリ部３９に記憶された情報とを照合し、この照合結果に基づいてＭＩＤＩ（Ｍｕｓｉｃａｌ  Ｉｎｓｔｒｕｍｅｎｔｓ  Ｄｉｇｉｔａｌ  Ｉｎｔｅｒｆａｃｅ）規格に準拠した楽音データを生成するものである。
すなわち、打面データメモリ部３８には、表１に示すように、３次元空間に設定された仮想打面の位置および領域からなる打面データと、スネアドラム、ハイハット、タムタム、バスドラム等のノート（音高および音色）とが対応づけて記憶されている。なお、仮想打面の位置は、コントロールユニット２１の位置を基準として距離および方位により設定されている。
【００１９】
【表１】
2004252149.tif 000003
【００２０】
また、ベロシティメモリ部３９には、表２に示すように、演奏検出部位２〜６の角度データ、速度データと、ベロシティ（音量）とが対応づけて記憶されており、角度データや速度データの値が大きい程、大きいベロシティが選択されるようになっている。
【００２１】
【表２】
2004252149.tif 000004
【００２２】
この楽音データ生成部３５は、例えば、図４に示すように、スティックＳの先端部Ｓａが仮想の打面Ｃに到達した場合に、この先端部Ｓａに取り付けられた部位指標部２の位置データが、打面Ｃの打面領域に含まれていると判断する。この際には、楽音データ生成部３５が、この判断結果に基づいて打面データメモリ部３８から打面Ｃに対応するノートを読み出す。
また、この際には、楽音データ生成部３５が、スティックＳの先端部Ｓａが打面Ｃに到達する直前の動作に関連する部位の速度データ、角度データに基づいて、ベロシティメモリ部３９からベロシティを読み出す。ここで、動作に関連する部位とは、スティック先端部、スティックを握る指、手首、肘のことを示している。
つまり、仮想の打面Ｃに向けて手を大きく、速く振った場合には、大きいベロシティが読み出され、また、肘、手首を使わずに指だけを振ったり、手をゆっくり振った場合には、小さいベロシティが読み出されることになる。
【００２３】
また、例えば、図５に示すように、足のつま先が地面に設定された仮想の打面Ｇに到達した場合には、足のつま先が打面Ｇに到達する直前の速度データに基づいて、ベロシティメモリ部３９からベロシティが読み出されることになる。なお、足のつま先を打面Ｇに接触し続ける場合には、足のつま先の移動速度が０となるため、ベロシティを０として、楽音が発生しないようになっている。
【００２４】
以上のように、仮想打面に向けて叩く動作を行うことでノートおよびノートに対応するベロシティを有する楽音データが生成されることになる。
したがって、図３に示すように、これら楽音データ生成部３５、打面データメモリ部３８およびベロシティメモリ部３９により、仮想打面、演奏動作に関連する部位の位置および動作に基づいて楽音データを生成する楽音生成手段１０２が構成されている。
【００２５】
また、このコントロールユニット２１には、画像データ生成部４１、表示部（表示手段）４３、打面設定部４５および操作部４７が設けられている。画像データ生成部４１は、打面データメモリ部３８に記憶されている打面データに基づいて仮想打面の画像データを生成するものであり、生成した画像データを表示部４３に出力するようになっている。表示部４３は、この画像データの映像を表示するようになっている。
【００２６】
打面設定部４５は、後述する記憶用パッド５１と共に、打面データメモリ部３８に打面データおよび各打面に対応づけたノートを記憶させるものである。
記憶用パッド５１は、図６に示すように、平板状に形成されたパッド本体５３と、パッド本体５３の表面５３ａの周縁部に設けられた３つの赤外線マーカ５５と、パッド本体５３の高さ、向きを調整するスタンド５７とを備えている。
赤外線マーカ５５は、部位指標部２〜６に設けられているものと同様であり、これら赤外線マーカ５５の位置データは、打面設定部４５において部位指標部２〜６の位置データと同様にして算出される。そして、これら赤外線マーカ５５の位置データに基づき、打面設定部４５において、コントロールユニット２１の位置を基準とした３次元空間内の打面位置および打面領域からなる打面データが算出されるようになっている。
また、この打面データに対応させるノートは、図示しないノートメモリ部に記憶された多数のノートデータから選択できるようになっている。これら打面データおよび各打面に対応づけたノートの設定は、演奏者が操作部４７を操作することにより行われる。
これら記憶用パッド５１、受信部３１、打面設定部４５、打面データメモリ部３８、ノートメモリ部および操作部４７により仮想の打面を設定する打面設定手段１０４が構成されている。
【００２７】
実際のコントロールユニット２１は、図７に示すように、受信部３１、ＲＡＭ（Ｒａｎｄｏｍ  Ａｃｃｅｓｓ  Ｍｅｍｏｒｙ）６１、ＲＯＭ（Ｒｅａｄ  Ｏｎｌｙ  Ｍｅｍｏｒｙ）６３、操作部４７、表示部４３、外部Ｉ／Ｆ３７およびＣＰＵ（中央処理装置）６５から構成されており、これらは互いに電気的に接続されている。
前述した３次元部位検出部３３、楽音データ生成部３５、打面設定部４５および画像データ生成部４１は、各種のデータを算出する複数の演算プログラムを記憶するＲＯＭ６３と、これら演算プログラムを用いてデータ処理を行うＣＰＵ６５とにより実現される。また、打面データメモリ部３８は、書き換え可能なＲＡＭ６１に含まれており、ベロシティメモリ部３９は、書き換え不能なＲＯＭ６３に含まれている。
【００２８】
なお、操作部４７は、仮想打面の設定のほか、演奏機能の開始・停止等の各種操作を行うようになっている。また、表示部４３は、打面データを表示するほか、ＲＡＭ６１やＲＯＭ６３に記憶されている各種データや、操作部４７における操作状況等の各種情報を表示するようになっている。
外部Ｉ／Ｆ３７は、ケーブル等を介して楽音データや画像データを携帯電話機２３、表示装置２５等の外部機器に送信するためのものである。
【００２９】
携帯電話機２３は、図８に示すように、無線で通話するための通信部７１および音声処理部７３、各種情報を表示する表示部７５、通話キー、テンキー等の押圧可能な複数の操作キーからなる操作キー部７７、携帯電話機２３の各部の動作を制御するプログラム等が記憶されたＲＯＭ７９、各種の制御を行うＣＰＵ８１等を備えており、一般に幅広く普及しているものである。
この携帯電話機２３は、コントロールユニット２１において生成された楽音データに基づいて楽音を再生することができる。すなわち、この携帯電話機２３が、コントロールユニット２１からの楽音データを受信した際には、ＣＰＵ８１がこの楽音データを着信音用音源８３に供給する。そして、着信音用音源８３は、供給された楽音データに基づいて楽音を生成し、スピーカ８５から再生させる。
【００３０】
表示装置２５は、コントロールユニット２１の表示部４３と同様に、画像データ生成部４１において生成された画像データの映像を表示面２５ａに表示するものである。この表示装置２５は、図９（ａ）に示すように、所謂眼鏡の外観をなしている。
コントロールユニット２１を演奏者の腹部に装着し、この表示装置２５を顔にかけた状態においては、図９（ｂ）に示すように、仮想打面Ａ〜Ｆが実際に見えると想定されるように表示面２５ａに映し出される。また、この表示装置２５には、部位指標部２〜６と同様の赤外線マーカ（図示せず）が設けられており、表示面２５ａに表示される仮想打面Ａ〜Ｆの映像が、コントロールユニット２１を基準とした演奏者の顔の向き、すなわち、表示装置２５の向きに合わせて移動するように構成されている。さらに、この表示装置２５は、表示面２５ａに仮想打面Ａ〜Ｆの映像が表示されていても、表示面２５ａの向こう側を視認できるように構成されている。したがって、表示面２５ａに表示される仮想打面Ａ〜Ｆと同時にスティックＳを視認してドラム演奏を容易に行うことができる。
【００３１】
以上のように構成された仮想打楽器演奏システム１の使用方法について説明する。
仮想打面の位置設定は、以下のようにして行われる。はじめに、コントロールユニット２１を演奏者の腹部にベルト１１を介して装着し、演奏者が記憶用パッド５１を所望の位置に配置し、打面の高さ、向きを調整する。そして、図１０に示すように、演奏者がコントロールユニット２１の操作部４７において仮想打面の設定操作を行うことにより（ステップＳ１０１）、打面設定部４５が記憶用パッド５１に設けられた赤外線マーカ５５からの信号を取得し（ステップＳ１０２）、仮想の打面位置および打面領域を算出する。
その後、演奏者が、この仮想打面にバスドラム、スネアドラム、ハイハット、シンバル等のドラムの種類（ノート）を操作部４７において選択すると（ステップＳ１０３）、打面設定部４５が、仮想の打面位置および打面領域からなる打面データと、ドラムの種類とを対応づけてＲＡＭ６１（打面データメモリ部３８）に保存する（ステップＳ１０４）。
そして、演奏者が操作部４７において仮想打面の設定の継続もしくは完了を選択する（ステップＳ１０５）。すなわち、全ての仮想打面の設定が完了していない場合には、演奏者が記憶用パッド５１の位置を動かして上述のステップＳ１０１〜Ｓ１０４の作業を繰り返し行う。また、全ての仮想打面の設定が完了した場合には、演奏者が操作部４７を操作して仮想打面の設定を終了する。
【００３２】
次に、演奏を行う際の仮想打楽器演奏システム１の作用について説明する。
この仮想打楽器演奏システム１を用いて演奏する場合には、予め、図１に示すように、演奏者の肘、手首、指先、足のつま先、およびスティックの先端部に部位指標部２〜６を取り付けておく。また、演奏者の腹部にコントロールユニット２１を取り付け、表示装置２５を顔に装着しておく。また、コントロールユニット２１と、携帯電話機２３および表示装置２５とをケーブル等により電気的に接続しておく。
【００３３】
演奏を開始する際には、操作部４７を操作し、図１１に示すように、３次元部位検出部３３に各部位指標部２〜６の位置データ、速度データおよび角度データを取得させる（ステップＳ２０１）。この状態においては、楽音データ生成部３５が仮想打面を叩く動作の有無を判断する（ステップ２０２）。仮想打面を叩く動作が無い場合には、ステップ２０１の作業が繰り返し行われる。そして、仮想打面を叩く動作を検出した際、すなわち、例えば、スティックＳに取り付けられた部位指標部２が仮想打面に到達した際には、楽音データ生成部３５が、仮想打面に到達する直前の各部位の位置データ、速度データおよび角度データに基づいて楽音データを生成する（ステップＳ２０３）。生成された楽音データは、外部Ｉ／Ｆ３７を介して携帯電話機２３に送信され（ステップＳ２０４）、携帯電話機２３のスピーカ８５から楽音として出力される。
【００３４】
上記のように、この仮想打楽器演奏システム１によれば、３次元空間内設定された仮想打面に向けて叩く動作を行うことにより楽音が発生するため、また、打面に応じて異なる楽音を発生させることができるため、実際にドラムを演奏している状況を十分に体感できると共に、ドラムのイメージトレーニングや基礎練習を行うことができる。
また、実際のドラムとは異なり、ドラムを設置する場所が不要であるため、場所を選ぶことなく手軽に演奏することができる。
【００３５】
さらに、演奏者の位置を基準として仮想打面の位置を設定すると共に、演奏に必要な部位指標部２〜６、コントロールユニット２１、携帯電話機２３および表示装置２５を全て装着する構成となっている。このため、演奏者が、立った状態や座った状態で演奏したり、移動しながら演奏でき、様々な状況下において手軽にドラム演奏を行うことができる。
また、演奏動作に関連する部位の速度データおよび角度データに基づいて楽音データを生成することにより、ベロシティを変化させた楽音データを生成することができるため、表現豊かな演奏を行うことが可能となる。
さらに、演奏動作に関連する部位の情報を赤外線により部位指標部２〜６から受信部３１に伝達して、各部位の位置や動作を特定しているため、部位指標部２〜６とコントロールユニット２１とをケーブル等で電気的に接続する必要が無く、結果として各部位を自由に動かして容易に演奏することが可能となる。
【００３６】
また、近年幅広く普及している携行可能な携帯電話機２３を楽音の音源として使用しているため、新たに楽音の音源を設ける必要が無くなり、仮想打楽器演奏システム１のコストダウンを図ることができる。
さらに、演奏者が表示装置２５（や表示部４３）に表示される仮想打面を視認することにより、仮想打面の位置を確認できるため、仮想打面の設定やドラム演奏を容易に行うことができる。
【００３７】
なお、上記の実施の形態においては、部位指標部２〜６が、各部位に巻き付けて綿ファスナーにより固定されるとしたが、これに限ることはなく、例えば、ボタンにより固定してもよい。
また、部位指標部４，５に加速度センサや角度センサを設けて、演奏動作に関連する各部位の速度データや角度データを特定するとしたが、これに限ることはなく、少なくとも楽音データの生成に必要な部位の位置データ、速度データ、角度データが得られればよい。したがって、例えば、加速度センサ、角度センサを用いずに、３次元部位検出部３３において算出される位置データや位置データの変化に基づいて速度データ、角度データを算出するとしてもよい。
【００３８】
さらに、記憶用パッド５１には、３つの赤外線マーカ５５が設けられるとしたが、これに限ることはなく、３つ以上の赤外線マーカを設けるとしても構わない。
また、演奏動作に関連する部位の位置データ、仮想打面の打面データ等の検出は、部位指標部２〜６、記録用パッド５１、表示装置２５に設けられた赤外線マーカ、およびコントロールユニット２１の受信部３１に設けられた複数の赤外線検出器を用いて行うとしたが、これに限ることはなく、少なくとも部位指標部２〜６、記録用パッド５１および表示装置２５の３次元的な位置を検出できればよい。したがって、例えば、各部位指標部２〜６、記録用パッド５１および表示装置２５に図示しないターゲットマークを設け、受信部３１の代わりに複数のデジタルカメラからなる撮像部（図示せず）を設けるとしてもよい。
【００３９】
この構成の場合には、複数のデジタルカメラにより部位指標部２〜６、記録用パッド５１および表示装置２５に設けられた各ターゲットマークを撮影する。そして、取得した画像データを３次元部位検出部３３において解析することにより、各ターゲットマークの３次元的な位置データを取得することができる。なお、部位指標部２〜６および表示装置２５については、動作を検出する必要があるため、撮像部による撮影は連続的に行われる。
以上のことから、赤外線マーカおよび受信部の場合と同様にして、これらターゲットマークおよび撮像部により、この部位の３次元的な位置を特定できるため、部位指標部２〜６とコントロールユニット２１とをケーブル等で電気的に接続する必要が無く、結果として各部位を自由に動かして容易に演奏することが可能となる。
【００４０】
また、演奏動作に関連する部位の速度データや角度データに応じてベロシティが変化するとしたが、ベロシティ以外にも音色を微小に変化させるとしてもよい。
さらに、楽音データ生成部３５は、ＭＩＤＩ規格に準拠した楽音データを生成するとしたが、これに限ることはなく、少なくとも携帯電話機２３において楽音を再生できるデータ形式の楽音データを生成すればよい。
【００４１】
また、楽音は携帯電話機２３のスピーカ８５から出力されるとしたが、これに限ることはなく、例えば、コントロールユニット２１の外部Ｉ／Ｆ３７にアンプを接続し、楽音が、このアンプを介して別途スピーカから出力されるとしてもよい。この構成の場合には、楽音データ生成部３５において生成された楽音データに対応する楽音を携帯電話機２３からコントロールユニット２１およびアンプを介して別途スピーカから出力されることになる。
さらに、楽音データから楽音に変換する音源として携帯電話機２３を利用するとしたが、これに限ることはなく、音源を備えた携行可能なＰＤＡ等のように携行可能な携帯端末装置であればよい。コントロールユニット２１に楽音データを再生するための演算プログラムを設けるとしてもよい。この場合には、コントロールユニット２１において演算プログラムにより楽音データを楽音に変換し、外部Ｉ／Ｆ３７、アンプを介して別途スピーカに出力することになる。
【００４２】
また、表示装置２５に映し出される仮想打面の映像が、演奏者の顔の向きに合わせて移動するとしたが、これに限ることはなく、この映像が演奏者の頭の動きに関係なく固定されるとしてもよい。
さらに、表示装置２５を、表示面２５ａに表示されると同時にスティックＳを視認できるように構成するとしたが、これに限ることはなく、例えば、演奏動作に関連する各部位に取り付けられる部位指標部２〜６の位置も表示するように構成するとしてもよい。
【００４３】
また、表示装置２５は、顔にかける所謂眼鏡型であるとしたが、これに限ることはなく、打面位置を設定する際や演奏する際に、仮想打面を視認できるものであればよい。したがって、表示装置２５は、例えば、テレビ、パーソナルコンピュータのモニターのように据え置き型のものであってもよい。また、コントロールユニット２１に設けられた表示部４３に仮想打面を映し出すことができるため、特に表示装置２５を設けなくても構わない。また、表示装置２５に映し出される仮想画面は、図９（ｂ）のＡ〜Ｆの様な簡略された画像ではなく、設定されたドラム種類そのものの画像であればさらに好ましい。
【００４４】
さらに、コントロールユニット２１は、演奏者の腹部に装着されるとしたが、これに限ることはなく、少なくとも演奏者の身体に装着されていればよい。ただし、コントロールユニット２１の装着位置は、演奏の際に移動しない部位であることが好ましい。
また、コントロールユニット２１は、演奏者の身体に設けられるとしたが、これに限ることはなく、例えば、地面に配置されるとしてもよい。この構成の場合には、仮想打面の位置が演奏者の動きに合わせて移動することがないため、設置場所を要する実際のドラムなどの打楽器に酷似した状況を作ることができる。
【００４５】
さらに、本実施形態においては、仮想打楽器演奏システム１をドラムに適用した場合について述べたが、これに限ることはなく、他の打楽器に適用してもよい。したがって、例えば、手が打面に直接触れるボンゴ、コンガ等の打楽器に適用してもよいし、音程を有する木琴、鉄琴等の打楽器に適用してもよい。
以上、本発明の実施形態について図面を参照して詳述したが、具体的な構成はこの実施形態に限られるものではなく、本発明の要旨を逸脱しない範囲の設計変更等も含まれる。
【００４６】
【発明の効果】
以上説明したように、請求項１に係る発明によれば、３次元空間内に仮想打面を設定し、この仮想打面に向けて叩く動作を行うことにより楽音が発生するため、実際に打楽器を演奏している状況を十分に体感できる。また、実際の打楽器とは異なり、打楽器を設置する場所が不要であるため、場所を選ぶことなく手軽に演奏することができる。
また、請求項２に係る発明によれば、演奏者の位置を基準として仮想の打面位置を設定することにより、演奏者が、立った状態や座った状態で演奏したり、移動しながら演奏できるため、様々な状況下において手軽に打楽器を演奏することができる。
また、請求項３に係る発明によれば、場所を選ぶことなく、ドラムや木琴、鉄琴等の複数の音色を有する打楽器のイメージトレーニングや基礎練習を行うことができる。
また、請求項４に係る発明によれば、部位の移動速度や移動角度からなる動作データに基づいて楽音データを生成することにより、音量や音色等を変化させた楽音データを生成することができるため、表現豊かな演奏を行うことが可能となる。
また、請求項５および請求項６に係る発明によれば、赤外線マーカおよび受信部により、または、部位指標部および撮像部により演奏動作に関連する部位の位置を特定できるため、各部位を自由に動かして容易に演奏することができる。
また、請求項７に係る発明によれば、楽音再生手段として、近年幅広く普及している携行可能な携帯端末装置を使用することにより、仮想打楽器演奏システムのコストダウンを図ることができる。
また、請求項８に係る発明によれば、演奏者が仮想打面の位置を確認できるため、仮想打面の設定や演奏を容易に行うことができる。
【図面の簡単な説明】
【図１】本発明の実施形態に係る仮想打楽器演奏システムの部位指標部、コントロールユニット、携帯電話機および表示装置を演奏者に装着した状態を示す概略図である。
【図２】図１の仮想打楽器演奏システムにおいて、演奏動作に関連する部位に部位指標部を取り付けた状態を示す概略図である。
【図３】本発明の実施形態に係る仮想打楽器演奏システムを示すブロック図である。
【図４】図３の仮想打楽器演奏システムにおいて、部位指標部を仮想打面に到達させた状態を示す概略図である。
【図５】図３の仮想打楽器演奏システムにおいて、部位指標部を仮想打面に到達させた状態を示す概略図である。
【図６】図３の仮想打楽器演奏システムにおいて、記憶用パッドを示す概略図である。
【図７】図３の仮想打楽器演奏システムにおいて、コントロールユニットの実際の構成を示すブロック図である。
【図８】図３の仮想打楽器演奏システムにおいて、携帯電話機の実際の構成を示すブロック図である。
【図９】図３の仮想打楽器演奏システムにおいて、表示装置の概略を示しており、（ａ）は、表示装置の斜視図であり、（ｂ）は、表示面に映し出された画像を示す図である。
【図１０】図３の仮想打楽器演奏システムにおいて、仮想打面の設定手順を示すフローチャートである。
【図１１】図３の仮想打楽器演奏システムにおいて、演奏を行う際のコントロールユニットの動作を示すフローチャートである。
【符号の説明】
１・・・仮想打楽器演奏システム、２〜６・・・部位指標部、２３・・・携帯電話機（楽音再生手段）、２５・・・表示装置（表示手段）、３１・・・受信部、４３・・・表示部（表示手段）、１０１・・・動作検出手段、１０２・・・楽音生成手段、１０４・・・打面設定手段
【図１】
2004252149.tif 000005
【図２】
2004252149.tif 000006
【図３】
2004252149.tif 000007
【図４】
2004252149.tif 000008
【図５】
2004252149.tif 000009
【図６】
2004252149.tif 000010
【図７】
2004252149.tif 000011
【図８】
2004252149.tif 000012
【図９】
2004252149.tif 000013
【図１０】
2004252149.tif 000014
【図１１】
2004252149.tif 000015