(57)【要約】【課題】  実際のドラムと同じような感覚で演奏することができるとともに、狭い場所でも演奏することができる演奏システムを提供する。【解決手段】  Ｗｅｂカメラ装置３００は、演奏者１００の右手および左手に握られたスティックの赤球１０１および青球１０２、演奏者１００の右脚および左脚に取り付けられた緑球１０３および緑球１０４の映像を撮像して電子楽器２００に画像データを送信する。電子楽器２００は、Ｗｅｂカメラ装置３００から受信した画像データに基づいて、赤球１０１、青球１０２、緑球１０３および緑球１０４の移動軌跡を分析して、打楽器の楽音信号をヘッドホン装置４００に送信して発音させる。【選択図】    図３
2007121355.tif 000002
【特許請求の範囲】
【請求項１】
電子カメラ装置と電子楽器との間で通信を行って仮想のドラム演奏を行う演奏システムであって、
前記電子カメラ装置は、
所定の角度以上の画角を有する光学部材と、
赤、緑、および青からなる原色系のカラーフィルタ、又は、シアン、マゼンタ、黄、および緑からなる補色系のカラーフィルタを有するとともに、前記電子楽器から受信した演奏開始指令に応じて、前記光学部材から入射する略球形の形状で原色系又は補色系の色彩からなる１種類以上の物体の映像を光電変換してカラーの画像信号を出力する撮像素子と、
前記撮像素子に対して読出信号を繰り返し与えて、各読出信号ごとに前記撮像素子から出力される画像信号に基づいて前記物体の略中心位置の位置情報を検出し、その物体の移動軌跡を示す位置情報を順次出力する検出手段と、を備え、
前記電子楽器は、
操作に応じて複数種類の指令を入力する入力手段と、
メロディパートおよびドラムパートを含む複数パートからなる曲を記憶している第１の記憶手段と、
前記入力手段から入力された打楽器演奏の指令に応じて、所定の表示手段に対して複数種類の打楽器のリストを送出して表示させる表示制御手段と、
前記入力手段から入力された打楽器選択の指令に応じて、その選択に係る１種類以上の打楽器および当該打楽器に対する演奏の移動軌跡として予め用意されている基準演奏パターンを第２の記憶手段に記憶して設定する楽器設定手段と、
前記入力手段から入力された曲選択の指令に応じて、前記第１の記憶手段に記憶されている選択に係る曲のドラムパートを消音処理するパート消音手段と、
前記電子カメラ装置に送信した演奏開始指令に応じて、前記電子カメラ装置から受信した前記物体の移動軌跡の位置情報が前記第２の記憶手段に設定されているいずれかの打楽器の基準演奏パターンと一致するか否かを分析する画像分析定手段と、
演奏開始指令に応じて前記第１の記憶手段から読み出して前記パート消音手段によってドラムパートが消音処理された曲を再生して第１の楽音信号を発生するとともに、前記画像分析手段によって前記物体の移動軌跡の位置情報が設定されている打楽器の基準演奏パターンと一致することが分析されたときは、その一致する打楽器の音色の第２の楽音信号を発生して、所定の発音手段に対して当該第１および第２の楽音信号を送出して発音させる信号発生手段と、を備えている。
【請求項２】
前記電子楽器は、前記楽器設定手段によって打楽器が設定された後に、前記入力手段から入力されたテスト演奏の指令に応じて、前記楽器設定手段によって設定された打楽器を１つの打楽器から順に指定して、その指定した打楽器のテスト演奏を促す情報を出力するとともに、前記電子カメラ装置にテスト演奏指令を送信するテスト演奏手段、および、前記電子カメラ装置にテスト演奏指令を送信した後に、前記電子カメラ装置から前記物体の移動軌跡を示す位置情報を受信したときは、その移動軌跡をその指定された打楽器の基準演奏パターンとして前記第２の記憶手段に設定する演奏設定手段をさらに備え、
前記画像分析手段は、前記電子カメラ装置に送信した演奏開始指令に応じて、前記電子カメラ装置から受信した前記物体の移動軌跡の位置情報が前記テスト演奏に基づく基準演奏パターン又は前記予め用意されている演奏基準パターンと一致するか否かを分析することを特徴とする請求項１に記載の演奏システム。
【請求項３】
電子カメラ装置とコンピュータとの間で通信を行って仮想のドラム演奏を行う演奏システムであって、
前記電子カメラ装置は、
所定の角度以上の画角を有する光学部材と、
赤、緑、および青からなる原色系のカラーフィルタ、又は、シアン、マゼンタ、黄、および緑からなる補色系のカラーフィルタを有するとともに、前記電子楽器から受信した演奏開始指令に応じて、前記光学部材から入射する略球形の形状で原色系又は補色系の色彩からなる１種類以上の物体の映像を光電変換してカラーの画像信号を出力する撮像素子と、
前記撮像素子に対して読出信号を繰り返し与えて、各読出信号ごとに前記撮像素子から出力される画像信号に基づいて前記物体の略中心位置の位置情報を検出し、その物体の移動軌跡を示す位置情報を順次出力する検出手段と、を備え、
前記コンピュータは、
操作に応じて複数種類の指令を入力する入力手段と、
メロディパートおよびドラムパートを含む複数パートからなる曲を記憶している第１の記憶手段と、
前記入力手段から入力された打楽器演奏の指令に応じて、所定の表示手段に対して複数種類の打楽器のリストを送出して表示させる表示制御手段と、
前記入力手段から入力された打楽器選択の指令に応じて、その選択に係る１種類以上の打楽器および当該打楽器に対する演奏の移動軌跡として予め用意されている基準演奏パターンを第２の記憶手段に記憶して設定する楽器設定手段と、
前記入力手段から入力された曲選択の指令に応じて、前記第１の記憶手段に記憶されている選択に係る曲のドラムパートを消音処理するパート消音手段と、
前記電子カメラ装置に送信した演奏開始指令に応じて、前記電子カメラ装置から受信した前記物体の移動軌跡の位置情報が前記第２の記憶手段に設定されているいずれかの打楽器の基準演奏パターンと一致するか否かを分析する画像分析定手段と、
演奏開始指令に応じて前記第１の記憶手段から読み出して前記パート消音手段によってドラムパートが消音処理された曲を再生して第１の楽音信号を発生するとともに、前記画像分析手段によって前記物体の移動軌跡の位置情報が前記第２の記憶手段に設定されている打楽器の基準演奏パターンと一致することが分析されたときは、その一致する打楽器の音色の第２の楽音信号を発生して、所定の発音手段に対して当該第１および第２の楽音信号を送出して発音させる信号発生手段と、を備えている。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、演奏システムに関し、特に、仮想の打楽器の演奏を行う演奏システムに関するものである。
【背景技術】
【０００２】
近年、ＣＰＵやその他の半導体などを利用した電子楽器が普及しているが、仮想の打楽器を演奏するための電子楽器も次第に商品化され、高い性能の製品も開発されている。また、仮想の打楽器を演奏するための技術も多く提案されている。ドラムの演奏がギターなどの他の楽器の演奏と大きく異なる点は、音階が必要ないことである。このため、条件さえ整えば子供でも老人でも演奏することが可能である。
ある提案の電子楽器においては、ドラムのスティックに圧電ジャイロセンサ又はマイクロ加速度センサを設け、この角速度センサから結線した回路により角速度を検出して、この角速度を制御信号に変換し、この制御信号により音量および音質を設定するシンセサイザを備えた構成になっている。この構成により、スティックを振るだけで打楽器の音を発生できる。（特許文献１参照）
また、ある提案の電子打楽器においては、中空状のスティック本体内に、発光素子および受光素子を有する光センサと、スティック本体の振り動作に応じて受光素子に入射する光量（反射光量、透過光量）を変化させる振動子を設けた構成になっている。この構成により、スティックを振ると、その振りに応じて振動子が振動し、この振動子の振動に応じて発光素子からの光の反射状態又は透過状態が変化し、この変化に応じた光量を受光素子が受光するため、スティック本体の振り操作を振動子の振動状態の波形として検出することができ、スティック本体の微妙な振動を精度よく検出することができ、しかも非接触方式であるから耐久性にも優れ、信頼性の高いものを得ることができる。（特許文献２参照）
また、ある提案の電子ドラムにおいては、電子ドラムのパッドの外周であるパッド枠の少なくとも一箇所を透明若しくは半透明とした導光板で形成し、その導光板に複数色の光源からの光を導光し発光させる構成とともに、所望の条件に従う点灯信号発生手段からの信号により点滅と発光色の切換とを行う構成になっている。この構成により、パッドに割り付けられた打楽器の種類など、演奏者が所望する情報を発光色、発光数などにより告知できる。（特許文献３参照）
また、ある提案の入力装置およびこれを用いた電子楽器においては、２本のワイヤが１点で固定されたスタンドと、それぞれのワイヤに固定された２本のスティックと、ワイヤに張力が生じたことを検知し、ワイヤが張った状態でこのワイヤが交わる線上での位置を検知するセンサと、位置を表す信号に応じた音色の信号を発生し得る音源装置と、センサが張力を検知したときに音源装置からの信号を出力する出力手段とを備えた構成になっている。この構成により、ワイヤが充分に伸びた瞬間のタイミングとその時の打点位置を電気信号として検出でき、それを用いて電子音源装置を操作することにより電子ドラムシステムの演奏が可能になる。（特許文献４参照）
また、ある提案の仮想楽器演奏装置においては、大型ＴＶ画面の表示装置およびその両脇にビデオカメラが設置された構成になっている。そして、画面に映っている演奏者の手が画面の上部の６つのボタンのいずれかに画面上で接触すると、発音を開始するようになっている。（特許文献５参照）
また、ある提案の運動特定装置、電子楽器、および入力デバイスにおいては、ユーザが紙などに描かれた木琴の絵を打鍵することで、スピーカから木琴の楽音が出力されるようになっている。（特許文献６参照）
また、ある提案の楽音生成装置、楽音生成プログラムおよび楽音生成方法においては、コンピュータの画面を縦方向に複数の区画に分割し、各区画に対して楽器を割り当てている。ドラムの区画においては、カメラで撮像した演奏者の手の画像が縦方向に動くと、その表示位置に応じてドラムの音色を変える構成になっている。（特許文献７参照）
【特許文献１】特開平６−７５５７１号公報
【特許文献２】特開平１０−５５１７５号公報
【特許文献３】特開平１１−３０９８３号公報
【特許文献４】特開２０００−１６３０４９号公報
【特許文献５】特開２００２−０４１０３８号公報
【特許文献６】特開２００４−１８５５６５号公報
【特許文献７】特開２００４−２０５７３８号公報
【発明の開示】
【発明が解決しようとする課題】
【０００３】
しかしながら、上記各特許文献においては、実際のドラムと同じような感覚で演奏することができないという課題、又は、擬似ドラムを設置するだけの広いスペースが必要になるという課題があった。
例えば、特許文献１の構成においては、スティックだけではドラムの種類や位置を判別できないので、ドラム演奏の臨場感を得ることができず、結局は、図４に示されるように、摸擬ドラムのメンブレム部やスネア部に角速度センサを取り付けることになる。したがって、擬似ドラムを設置するためのスペースが必要になる。また、ステックと装置（この場合は、プロセッサの回路部）とを接続するための信号線が必要となり、スティックの操作が制限されてしまうことになる。
また、特許文献２の構成においては、特許文献１の場合と同様に、スティックだけではドラムの種類や位置を判別できないので、ドラム演奏の臨場感を得ることができない上、スティックと楽音発生装置とを接続するための信号線が必要となり、スティックの操作が制限されてしまうことになる。さらに、スティックの振りが激しい場合には、スティック内のセンサ部が破損するおそれもある。
また、特許文献３の構成においては、擬似ドラムとしてのパッドを設置しなければならず、擬似ドラムを設置するだけの広いスペースが必要になるので、狭い家屋では設置することが困難である。
また、特許文献４の構成においては、図１からも明らかなように、スツール付きの大きなスタンドを設置しなければならず、自宅で手軽に演奏することができない。さらに、スティックとスタンドとを結ぶワイヤによって、スティックの操作が制限されてしまうことになる。さらにまた、図４および図６に示されているように、スティック操作を検出するセンサの機構が複雑であるので、製造コストやメンテナンスコストが高くなってしまう。
また、特許文献５の構成においては、表示装置の構成によって演奏者の動作が大きく左右されてしまう。例えば、画面に映る演奏者の大きさが等身大でない場合には、演奏者の手の移動距離と手の画像の移動距離とが異なるので、自由な演奏ができない。また、液晶のような平面タイプの表示装置は早い動きをスムーズに表示できず、ブラウン管を用いた表示装置を設置することが必要になり、広い場所を必要とする。さらに、表示装置にあらかじめ表示されている特定の画像位置に、カメラで撮像された演奏者の手の画像位置を合わせる動作は、空間で手を動かす場合のように自由な動作にはならず、仮想のドラム演奏には適していない。
また、特許文献６の構成を仮想のドラム演奏に取り入れたとすると、平面に置かれた紙などに、ハイハット、バスドラム、フロアタム、スネアドラム、タムタム、トップシンバルなどの各打楽器の絵を描いて、それにスティックなどを打ち当てることになる。しかし、各打楽器は高さが異なるので、実際のドラムと同じように演奏することはできない。
また、特許文献７の構成においては、特許文献５の場合と同様に、画面に映る演奏者の大きさが等身大でない場合には、演奏者の手の移動距離と手の画像の移動距離とが異なるので、自由な演奏ができない。また、図１に示されている液晶のような平面タイプの表示装置のコンピュータでは早い動きをスムーズに表示できず、ブラウン管を用いたコンピュータが必要になり、広い場所を必要とする。さらに、コンピュータの画面にあらかじめ表示されている特定の画像位置に、カメラで撮像された演奏者の手の画像位置を合わせる動作は、空間で手を動かす場合のように自由な動作にはならず、仮想のドラム演奏には適していない。
【０００４】
本発明は、このような従来の課題を解決するためになされたもので、実際のドラムと同じような感覚で演奏することができるとともに、狭い場所でも演奏できるようにすることを目的とする。
【課題を解決するための手段】
【０００５】
本発明は、電子カメラ装置と電子楽器との間で通信を行って仮想のドラム演奏を行う演奏システムであって、
電子カメラ装置（実施形態においては、図１のＷｅｂカメラ装置３００、図２６のデジタルカメラ装置６００、図２７のビデオカメラ装置７００、図２８のカメラ付き携帯電話装置８００に相当する）は、
所定の角度以上の画角を有する光学部材と、赤、緑、および青からなる原色系のカラーフィルタ、又は、シアン、マゼンタ、黄、および緑からなる補色系のカラーフィルタを有するとともに、電子楽器から受信した演奏開始指令に応じて、光学部材から入射する略球形の形状で原色系又は補色系の色彩からなる１種類以上の物体（実施形態においては、図３の赤球１０１、青球１０２、緑球１０３、１０４に相当する）の映像を光電変換してカラーの画像信号を出力する撮像素子（実施形態においては、図１６のＭＯＳ撮像素子３１に相当する）と、撮像素子に対して読出信号を繰り返し与えて、各読出信号ごとに撮像素子から出力される画像信号に基づいて物体の略中心位置の位置情報を検出し、その物体の移動軌跡を示す位置情報を順次出力する検出手段（実施形態においては、図１６の演算処理回路３６に相当する）と、を備え、
電子楽器（実施形態においては、図１の電子楽器２００に相当する）は、
操作に応じて複数種類の指令を入力する入力手段（実施形態においては、図４のスイッチ部２に相当する）と、メロディパートおよびドラムパートを含む複数パートからなる曲を記憶している第１の記憶手段（実施形態においては、図４の曲メモリに相当する）と、入力手段から入力された打楽器演奏の指令に応じて、所定の表示手段（実施形態においては、図４の表示部３に相当する）に対して複数種類の打楽器のリストを送出して表示させる表示制御手段（実施形態においては、図４のＣＰＵ５に相当する）と、入力手段から入力された打楽器選択の指令に応じて、その選択に係る１種類以上の打楽器および当該打楽器に対する演奏の移動軌跡として予め用意されている基準演奏パターン（実施形態においては、図４のプログラムＲＯＭ６に記憶されている各打楽器の基準演奏パターンに相当する）を第２の記憶手段に記憶して設定する楽器設定手段（実施形態においては、図４のＣＰＵ５に相当する）と、入力手段から入力された曲選択の指令に応じて、第１の記憶手段に記憶されている選択に係る曲のドラムパートを消音処理するパート消音手段（実施形態においては、図４のＣＰＵ５に相当する）と、電子カメラ装置に送信した演奏開始指令に応じて、電子カメラ装置から受信した物体の移動軌跡の位置情報が第２の記憶手段に設定されているいずれかの打楽器の基準演奏パターンと一致するか否かを分析する画像分析定手段（実施形態においては、図４のＣＰＵ５に相当する）と、演奏開始指令に応じて第１の記憶手段から読み出してパート消音手段によってドラムパートが消音処理された曲を再生して第１の楽音信号を発生するとともに、画像分析手段によって物体の移動軌跡の位置情報が設定されている打楽器の基準演奏パターンと一致することが分析されたときは、その一致する打楽器の音色の第２の楽音信号を発生して、所定の発音手段（実施形態においては、図１のスピーカ４又は図３のヘッドホン装置４００に相当する）に対して当該第１および第２の楽音信号を送出して発音させる信号発生手段（実施形態においては、図４のＣＰＵ５および音源部９に相当する）と、を備えた構成になっている。
【０００６】
上記発明の演奏システムにおいて、電子楽器は、楽器設定手段によって打楽器が設定された後に、入力手段から入力されたテスト演奏の指令に応じて、楽器設定手段によって設定された打楽器を１つの打楽器から順に指定して、その指定した打楽器のテスト演奏を促す情報を出力するとともに、電子カメラ装置にテスト演奏指令を送信するテスト演奏手段（実施形態においては、図４のＣＰＵ５に相当する）、および、電子カメラ装置にテスト演奏指令を送信した後に、電子カメラ装置から物体の移動軌跡を示す位置情報を受信したときは、その移動軌跡をその指定された打楽器の基準演奏パターンとして第２の記憶手段に設定する演奏設定手段（実施形態においては、図４のＣＰＵ５に相当する）をさらに備え、
画像分析手段は、電子カメラ装置に送信した演奏開始指令に応じて、電子カメラ装置から受信した物体の移動軌跡の位置情報がテスト演奏に基づく基準演奏パターン又は予め用意されている演奏基準パターンと一致するか否かを分析するような構成にしてもよい。
【０００７】
本発明は、電子カメラ装置とコンピュータとの間で通信を行って仮想のドラム演奏を行う演奏システムであって、
電子カメラ装置（実施形態においては、ビデオカメラ装置、又は、図２９のＷｅｂカメラ装置３００、デジタルカメラ装置６００、若しくはカメラ付き携帯電話装置８００に相当する）は、
所定の角度以上の画角を有する光学部材と、赤、緑、および青からなる原色系のカラーフィルタ、又は、シアン、マゼンタ、黄、および緑からなる補色系のカラーフィルタを有するとともに、電子楽器から受信した演奏開始指令に応じて、光学部材から入射する略球形の形状で原色系又は補色系の色彩からなる１種類以上の物体（実施形態においては、図３の赤球１０１、青球１０２、緑球１０３、１０４に相当する）の映像を光電変換してカラーの画像信号を出力する撮像素子（実施形態においては、図１６のＭＯＳ撮像素子３１に相当する）と、撮像素子に対して読出信号を繰り返し与えて、各読出信号ごとに前記撮像素子から出力される画像信号に基づいて前記物体の略中心位置の位置情報を検出し、その物体の移動軌跡を示す位置情報を順次出力する検出手段（実施形態においては、図１６の演算処理回路３６に相当する）と、を備え、
コンピュータ（実施形態においては、図２９のパソコン９００に相当する）は、
操作に応じて複数種類の指令を入力する入力手段（実施形態においては、図３０のスイッチ部９４に相当する）と、メロディパートおよびドラムパートを含む複数パートからなる曲を記憶している第１の記憶手段（実施形態においては、図３０のハードディスク９５に相当する）と、入力手段から入力された打楽器演奏の指令に応じて、所定の表示手段（実施形態においては、図２９の表示部９０に相当する）に対して複数種類の打楽器のリストを送出して表示させる表示制御手段（実施形態においては、図３０のＣＰＵ９１に相当する）と、入力手段から入力された打楽器選択の指令に応じて、その選択に係る１種類以上の打楽器および当該打楽器に対する演奏の移動軌跡として予め用意されている基準演奏パターン（実施形態においては、図３０のプログラムＲＯＭ９２に記憶されている各打楽器の基準演奏パターンに相当する）を第２の記憶手段（実施形態においては、図３０のワークＲＡＭ９３に相当する）に記憶して設定する楽器設定手段（実施形態においては、図３０のＣＰＵ９１に相当する）と、入力手段から入力された曲選択の指令に応じて、第１の記憶手段に記憶されている選択に係る曲のドラムパートを消音処理するパート消音手段（実施形態においては、図３０のＣＰＵ９１に相当する）と、電子カメラ装置に送信した演奏開始指令に応じて、電子カメラ装置から受信した物体の移動軌跡の位置情報が第２の記憶手段に設定されているいずれかの打楽器の基準演奏パターンと一致するか否かを分析する画像分析定手段（実施形態においては、図３０のＣＰＵ９１に相当する）と、演奏開始指令に応じて第１の記憶手段から読み出してパート消音手段によってドラムパートが消音処理された曲を再生して第１の楽音信号を発生するとともに、画像分析手段によって物体の移動軌跡の位置情報が第２の記憶手段に設定されている打楽器の基準演奏パターンと一致することが分析されたときは、その一致する打楽器の音色の第２の楽音信号を発生して、所定の発音手段（実施形態においては、図３０のスピーカ９０１に相当する）に対して当該第１および第２の楽音信号を送出して発音させる信号発生手段（実施形態においては、図３０のＣＰＵ９１およびサウンドシステム９６に相当する）と、を備えた構成になっている。
【発明の効果】
【０００８】
本発明の演奏システムによれば、実際のドラムと同じような感覚で仮想のドラム演奏することができるとともに、狭い場所でも仮想のドラム演奏することができるという効果が得られる。
【発明を実施するための最良の形態】
【０００９】
以下、本発明による演奏システムの第１実施形態およびその変形例、並びに、第２実施形態について、図を参照しながら詳細に説明する。
図１および図２は、第１実施形態における演奏システムの平面図および正面図である。演奏システムは、電子楽器２００およびＷｅｂカメラ装置３００で構成されている。電子楽器２００は、鍵盤１、スイッチ部２、表示部３、および２つのスピーカ４を備えている。この場合の鍵盤１は６１鍵の鍵数で構成されているが、２９鍵、４４鍵、７２鍵、８８鍵でもよい。スイッチ部２は、電源スイッチ、曲選択スイッチ、音色設定スイッチ、テンキースイッチ、カーソルスイッチ、決定スイッチ、戻るスイッチ、スタート／ストップスイッチ、基準演奏パターン設定スイッチなどで構成されている。表示部３は薄型のディスプレイで、ヒンジ（図示せず）によって回動可能な構造になっており、使用しない場合には、鍵盤１側に倒した状態（図１の３ａ）にすることができる。また、図２に示すように、表示部３を起こした状態においては、Ｗｅｂカメラ装置３００をクリップなどの取り付け手段（図示せず）によって装着することができる。Ｗｅｂカメラ装置３００は、本来はパソコンの表示部に装着してテレビ電話として使用するものである。すなわち、パソコンとＵＳＢなどのインターフェースによって接続し、ユーザの顔や身体を撮像した画像をネットワークに接続したパソコンから相手側のパソコンに送信するものである。この実施形態においては、このＷｅｂカメラ装置３００を利用して、仮想のドラム演奏を行う。
【００１０】
図３は、図１および図２に示した演奏システムによって仮想のドラム演奏を行う状態を示す図である。この図において、演奏者１００の右手および左手に握られたスティックの先端には、略球形の形状の赤球１０１および青球１０２が形成されている。また、演奏者１００の右脚および左脚には、同じく略球形の緑球１０３および緑球１０４が装着されている。赤球１０１、青球１０２、緑球１０３および緑球１０４の色は、Ｗｅｂカメラ装置３００の原色系のフィルタの色である赤、青、および緑、又は、補色系のフィルタの色であるシアン、マゼンタ、黄、緑に近いことが望ましいが、それぞれを識別できるならば他の色でもよい。さらに、演奏者１００の頭部には、ヘッドホン装置４００が装着されている。電子楽器２００は、近距離無線通信であるブルートゥース（Bluetooth：登録商標）の無線通信又は赤外線の無線通信によって、ヘッドホン装置４００に対して楽音信号および音声信号を送信する。Ｗｅｂカメラ装置３００は、演奏者１００がステッィクおよび脚で仮想のドラム演奏を行った際に、赤球１０１、青球１０２、緑球１０３および１０４を撮像できるような広い視野角ωのレンズ（図示せず）を有する。望ましくは、９０度ないし１１０度の広角レンズがよいが、演奏者１００が電子楽器２００との間の距離を長く採れば、それより狭い視野角のレンズでも撮像は可能である。
【００１１】
図４は、電子楽器２００の内部構成を示すブロック図である。この図において、ＣＰＵ５は、システムバスを介して、図１および図２に示した鍵盤１、スイッチ部２、表示部３のほかに、プログラムＲＯＭ６、ワークＲＡＭ７、曲メモリ８、音源部９、カメラＩ／Ｆ（インターフェース）１０、ブルートゥースＩ／Ｆ１１、およびネットワークＩ／Ｆ１２に接続され、これら各部との間で指令およびデータの授受を行って、この電子楽器２００全体を制御する。
プログラムＲＯＭ６は、ＣＰＵ５によって実行される制御プログラムや初期データ、および、後述するように、バスドラム、スネアドラム、フロアタム、シンバル、タムタム、ハイハットなどの複数種類の打楽器のリストと各打楽器の移動軌跡としてのデフォルトの基準演奏パターンを記憶している。ワークＲＡＭ７は、ドラム演奏に際して設定された各種のデータ、その他処理する各種のデータを一時的に記憶するバッファエリア、各種のレジスタ、フラグ、変数のためのエリアがある。曲メモリ８は、メモリカードなどの着脱可能な不揮発性メモリで構成され、多数の曲データを記憶することができる。これらの曲データは、メロディパート、コードパート、ベースパート、ドラムパートなどの複数パートで構成されている。なお、後述するドラム設定のデータも曲メモリ８に記憶される。ＣＰＵ５は、演奏者１００の設定によって、これら複数パートの中の１つのパートを消音処理（ミュート）するマイナスワンの機能を有する。したがって、演奏者１００は、任意のパートをマイナスワンに設定してそのパートを演奏し、自動演奏される他のパートとの合奏をすることができる。音源部９は、ピアノ、パイプオルガン、チェンバロの鍵盤楽器の音色はもちろん、バイオリン、チェロ、ギター、コントラバスなどの弦楽器、トランペット、フルート、オーボエなどの管楽器、および、バスドラム、スネアドラム、フロアタム、シンバル、タムタム、ハイハットなどの打楽器の音色のＰＣＭ波形データを記憶している波形メモリ、および、疑似音声の波形データを記憶している音声合成メモリを備えている。音源部９には、Ａ／Ｄ変換回路、フィルタ回路、増幅回路などからなるサウンドシステム１３が接続され、音源部９によって生成された楽音信号および音声信号を図１に示したスピーカ４に送出して発音させる。
【００１２】
カメラＩ／Ｆ１０は、ＵＳＢ若しくはＩＥＥＥの規格に準拠した有線通信によってＷｅｂカメラ装置３００と通信を行って、指令の送信および画像データの受信を行う。ブルートゥースＩ／Ｆ１１は、音源部９によって生成された楽音信号および音声信号をヘッドホン装置４００に対して送出して発音させる。すなわち、音源部９によって生成された楽音信号および音声信号は、スピーカ４又はヘッドホン装置４００に対して選択的に送出される。なお、ブルートゥース無線通信の代わりに、赤外線無線通信、あるいはＦＭ無線通信によって、楽音信号および音声信号を送信する構成にしてもよい。ネットワークＩ／Ｆ１２は、インターネットなどのネットワーク５００を介して配信される曲をダウンロードして曲メモリ８に記憶する。
【００１３】
図５は、ヘッドホン装置４００の内部構成を示すブロック図である。ブルートゥースＩ／Ｆ４０１は、電子楽器２００から送信される楽音信号および音声信号を受信する。信号処理部４０２は、ブルートゥースＩ／Ｆ４０１から得られる楽音信号および音声信号をデジタルからアナログに変換して、ＬチャンネルとＲチャンネルとに分離するステレオ信号処理やフィルタ処理、増幅処理などその他の信号処理を施す。アンプ４０３は、信号処理部４０２から出力されるステレオ信号を、ボリューム４０４の調整に応じた音量で左右のスピーカ４０５から発音させる。
【００１４】
次に、電子楽器２００の動作について、ＣＰＵ５によって実行されるフローチャートおよび表示部３の画面、ワークＲＡＭ７のバッファエリア、レジスタ、フラグ、変数などに記憶されるデータに基づいて説明する。
図６は、メインルーチンのフローチャートである。所定のイニシャライズ（ステップＳＡ１）の後、メニュー画面を表示する（ステップＳＡ２）。そして、最初のメニューにフォーカスを表示する（ステップＳＡ２）。このフォーカス表示は、現在選択されていることを示すために反転表示や枠画像などで行う。次に、カーソルスイッチがオンされたか否かを判別する（ステップＳＡ３）。このスイッチがオンされたときは、フォーカス位置を移動する（ステップＳＡ４）。すなわち、カーソルスイッチの操作に応じて選択するメニューを変更する。
【００１５】
図７は、メニュー画面を示す図である。この画面には、自動演奏、録音、曲配信、ドラム演奏、音色設定、および作曲のメニューが表示され、ドラム演奏のメニューがフォーカス表示されている。また、「戻る」アイコンおよび「決定」アイコンが表示されている。これらのアイコンは、スイッチ部２の戻るスイッチおよび決定スイッチに対応している。このメニュー画面において、決定スイッチがオンされたか否かを判別する（ステップＳＡ６）、このスイッチがオンでない場合には、戻るスイッチがオンされたか否かを判別し（ステップＳＡ７）、このスイッチがオンされたときは、ステップＳＡ４においてカーソルスイッチのオンを判別する。ステップＳＡ６において、決定スイッチがオンされたときは、現在のフォーカス表示によって選択されているメニューを判別する。ドラム演奏が選択されているか否かを判別し（ステップＳＡ８）、このメニューが選択されているときは、ドラム設定処理を実行する（ステップＳＡ９）。ドラム演奏が選択されていない場合には、選択されている他のメニュー処理を実行する（ステップＳＡ１０）。ドラム設定処理又は他のメニュー処理の後は、ステップＳＡ２に移行して再びメニュー画面を表示する。
【００１６】
図８および図９は、ドラム設定処理のフローチャートである。図８において、まず、設定画面を表示する（ステップＳＢ１）。そして、所定のフォーカス表示を行う（ステップＳＢ２）。図１０は、ドラム設定処理における設定画面の内容を示す図である。この図に示すように、設定画面には、「前回設定」、「今回設定」、「デフォルト」、「曲選択」、「録音」の有無の選択メニューが表示され、「決定」アイコン、「戻る」アイコンが表示される。
【００１７】
図８において、いずれかの選択メニュー（図１０ではデフォルト）にフォーカス表示をした後は、カーソルスイッチがオンされたか否かを判別する（ステップＳＢ３）。このスイッチがオンされたときは、フォーカス表示の位置を移動する（ステップＳＢ４）。次に、決定スイッチがオンされたか否かを判別し（ステップＳＢ５）、このスイッチがオンでない場合には、戻るスイッチがオンされたか否かを判別し（ステップＳＢ６）、このスイッチがオンされたときは、図６のメインルーチンに戻る。戻るスイッチがオンでない場合には、ステップＳＢ３においてカーソルスイッチのオンを判別する。ステップＳＢ５において、決定スイッチがオンされたときは、フォーカスされている選択メニューの内容を実行する。前回設定がフォーカスされているか否かを判別し（ステップＳＢ７）、前回設定にフォーカスされている場合には、前回設定のデータを曲メモリ８から読み出す（ステップＳＢ８）。フォーカスされているのが前回設定でない場合には、デフォルトにフォーカス表示されているか否かを判別し（ステップＳＢ９）、デフォルトにフォーカス表示されている場合には、プログラムＲＯＭ６に記憶されている各打楽器の移動軌跡である基準演奏パターンを読み出して（ステップＳＢ１０ａ）、その基準パターンをワークＲＡＭ７に設定する（ステップＳＢ１０ｂ）。そして、フラグＤＰＦを１にセットする（ステップＳＢ１０ｃ）。
【００１８】
ステップＳＢ９においてフォーカスされているのがデフォルトでない場合、又は、ステップＳＢ１０ｃにおいてＤＰＦを１にセットした後は、図９において、今回設定にフォーカスされているか否かを判別する（ステップＳＢ１１）。今回設定にフォーカスされている場合には、設定画面を表示する（ステップＳＢ１２）。図１１はドラム演奏の設定画面を示している。そして、所定の設定項目にフォーカスを表示する（ステップＳＢ１３）。図１１の場合には、右足の設定項目が枠画像によってフォーカス表示されている。また、所定の仮想楽器にラジオボタンを表示する（ステップＳＢ１４）。フォーカスを表示する設定項目の内容、および、ラジオボタンを表示する仮想楽器については、例えば、前回設定の内容に従う。すなわち、図１１に示すように、「右足」演奏に対応する「バス」、「左足」演奏に対応する「ハイハット」がフォーカスされ、右手演奏に対応する仮想楽器として「タムタム」、「フロアタム」、および「トップシンバル」、左手演奏に対応する仮想楽器として「スネア」および「ハイハット」のラジオボタンが有効（黒丸）に設定されている。この画面にも、スイッチ部１５のスイッチに対応して、「選択」アイコンおよび「戻る」アイコンが表示される。
【００１９】
次に、カーソルスイッチがオンされたか否かを判別し（ステップＳＢ１５）、このスイッチがオンされたときは、枠画像のフォーカス表示の位置を移動する（ステップＳＢ１６）。また、カーソルスイッチによってラジオボタンが指定されたか否かを判別し（ステップＳＢ１７）、ラジオボタンが指定されたときは、その指定されたラジオボタンを無効から有効に又は有効から無効に反転する（ステップＳＢ１８）。次に、決定スイッチがオンされたか否かを判別し（ステップＳＢ１９）、このスイッチがオンでない場合には、戻るスイッチがオンされたか否かを判別する（ステップＳＢ２０）。このスイッチがオンされたときは、図８のステップＳＢ１に移行して設定画面を表示するが、戻るスイッチがオンでない場合には、ステップＳＢ１５においてカーソルスイッチのオンを判別する。
【００２０】
一方、ステップＳＢ１１において、フォーカス位置が今回設定でない場合には、曲選択がフォーカス表示されているか否かを判別し（ステップＳＢ２１）、曲選択がフォーカス表示されている場合には、曲選択処理を実行する（ステップＳＢ２２）。曲選択処理においては、曲メモリ８に記憶されている曲リストを画面に表示して、ドラム演奏とともに発音させる曲データをカーソルスイッチおよび決定スイッチの操作に応じて選択する。さらに、選択した曲データにおけるドラムパートの消音処理であるマイナスワン処理を行う（ステップＳＢ２３）。ステップＳＢ２１において、フォーカス位置が曲選択でない場合には、録音がフォーカスされているか否かを判別し（ステップＳＢ２４）、録音がフォーカスされている場合には、フラグＲＦを「１（録音）」にセットする（ステップＳＢ２５）。ＲＦが「１」の場合には、マイナスワンの曲データとドラム演奏との合奏データが曲メモリ８に記憶される。
【００２１】
ステップＳＢ１９において決定スイッチがオンされたとき、又は、ステップＳＢ２３にいてマイナスワン処理を行った後、ステップＳＢ２４において録音でない場合、若しくは、ステップＳＢ２５においてＲＦを「１」にセットした後は、決定画面を表示する（ステップＳＢ２６）。図１２は、ドラム演奏の決定画面の例を示す図である。この画面には、図１０および図１１の画面において設定された内容が表示されるとともに、「基準演奏パターン設定」アイコン、「スタート」アイコン、および「戻る」アイコンが表示される。そして、「スタート」アイコンに対応するスイッチ部２のスタート／ストップスイッチがオンされたか否かを判別する（ステップＳＢ２７）。このスイッチがオンでない場合には、戻るスイッチがオンされたか否かを判別する（ステップＳＢ２８）。戻るスイッチがオンされたときは図８のステップＳＢ１に移行して設定画面を表示するが、戻るスイッチがオンでない場合には、基準演奏パターン設定スイッチがオンされたか否かを判別し（ステップＳＢ２９）、このスイッチがオンされたときは、ＤＰＦを０にリセットする（ステップＳＢ３０）。ＤＰＦが０の場合には、デフォルトの基準演奏パターンでなく、演奏者がテスト演奏を行って基準演奏パターンを設定する。これについては後述する。基準演奏パターン設定スイッチがオンでない場合には、ステップＳＢ２７においてスタート／ストップスイッチのオンを判別する。スタート／ストップスイッチがオンされたときは、ドラム処理を実行する（ステップＳＢ３１）。ドラム処理が終了したときは、図６のメインルーチンに戻る。
【００２２】
なお、スタート／ストップスイッチがオンされたときは、図１２の設定内容に対応して、ワークＲＡＭ７には、図１３に示すような配列ＡＲのデータが記憶される。この図において、縦の行であるｍの値（１〜４）は、右足（１）、左足（２）、右手（３）、左手（４）すなわち演奏者の身体の部位を表し、横の列であるｎの値（１〜６）は、仮想楽器の種類即ちドラムの種類であるバス（１）、ハイハット（２）、タムタム（３）、フロアタム（４）、トップシンバル（５）、スネア（６）を表している。ｍの行とｎの列とが交わった部分のデータ（１又は０）によって、演奏する部位と演奏するドラムとの関係を表している。すなわち、図１３には図１２において選択された設定内容が示されている。例えば、右足（１）はバス（１）を演奏し、左足（２）はハイハット（１）を演奏する。足で演奏できないドラムは「／（非選択マーク）」で区別されている。同様に、右手（３）はタムタム（３）、フロアタム（４）、トップシンバル（５）を演奏し、左手（４）はハイハット（２）、スネア（６）を演奏する設定になっている。
【００２３】
図１４は、図９におけるステップＳＢ２９のドラム処理のフローチャートである。図１４において、図１２の画面で「スタート」アイコンに対応するスタート／ストップスイッチがオンされたか否かを判別し（ステップＳＣ１）、このスイッチがオンされたときはフラグＳＴＦを反転する（ステップＳＣ２）。ＳＴＦを反転した後、又は、ステップＳＣ１においてスタート／ストップスイッチがオンでない場合には、ＳＴＦが「１」であるか否かを判別する（ステップＳＣ３）。ＳＴＦが「１」である場合には、後述する演算処理回路をアクティブにするＥＮが「０」であるか否かを判別し（ステップＳＣ４）、ＥＮが「０」である場合にはこれを「１」にセットする（ステップＳＣ５）。ＥＮが「１」である場合又はＥＮを「１」にセットした後は、音声処理（ステップＳＣ６）、画像処理（ステップＳＣ７）、その他の処理（ステップＳＣ８）を行い、ステップＳＣ１に移行して、スタート／ストップスイッチがオンされたか否かを判別する。したがって、ＳＴＦが「１」になってドラム処理が開始した後は、スタート／ストップスイッチがオンされない限り、ステップＳＣ６からステップＳＣ８までのドラム処理を続行する。ドラム処理中において、スタート／ストップスイッチがオンされて、ステップＳＣ３においてＳＴＦが「０」と判別されたときは、ＥＮを０にリセットして（ステップＳＣ９）、メインフローに戻る。なお、ステップＳＣ８のその他の処理は、電源の低下やその他の異常を検出する処理などである。
【００２４】
図１５は、ステップＳＣ６における音声処理のフローチャートである。まず、ドラム演奏中であるかドラム演奏停止中であるかを表すフラグＬＦが「０（演奏停止中）」若しくは「１（演奏中）」であるか否か、および、基準演奏パターンを演奏者が設定するか若しくは予め用意されたデフォルトの基準演奏パターンにするかを表すフラグＤＰＦが「０（演奏者設定）」若しくは「１（デフォルト）」であるかを判別する（ステップＳＤ１）。ＬＦが「１」又はＤＰＦが「１」である場合には、音声処理を行うことなく図１４の画像処理に移行する。一方、ＬＦが「０」およびＤＰＦが「０」である場合には、ドラム演奏に先立つテストの実施を表すフラグＳＢＦが「０」であるか又は「１」であるかを判別する（ステップＳＤ２）。ＳＢＦが「０」である場合には、ドラム演奏に先立つテストがまだ実施されていない場合である。この場合には、ＳＢＦを「１」にセットして（ステップＳＤ３）、ブルートゥースＩ／Ｆ１１を介して、ヘッドホン装置４００に対してテスト開始の音声メッセージを出力する（ステップＳＤ４）。例えば、「各ドラムの音出しテストを行います」のような音声メッセージを出力する。音声メッセージに代えて又は音声メッセージとともに、テスト開始の文字メッセージを表示部３に表示する構成にしてもよい。
【００２５】
次に、演奏する部位を示す変数ｍおよび演奏対象のドラムを示す変数ｎを共に「１」にセットして（ステップＳＤ５）、ｍおよびｎの値をインクリメントしながら、以下のループを実行する。図１３に示した配列ＡＲにおいて、ＡＲ（ｍ，ｎ）が「１」であるか否かを判別する（ステップＳＤ６）。すなわち、ｍで指定する身体の部位がｎで指定するドラムＤ（ｎ）を演奏するように設定されているか否かを判別する。ＡＲ（ｍ，ｎ）が「１」である場合には、ｍの部位でＤ（ｎ）を演奏する旨の音声メッセージをヘッドホン装置４００に出力する（ステップＳＤ７）。例えば、「右手でタムタムを叩いて下さい」のような音声メッセージを出力する。なおこの場合にも、音声メッセージに代えて又は音声メッセージとともに、演奏を促す旨の文字メッセージを表示部３に表示する構成にしてもよい。そして、フラグＤＦ（ｍ，ｎ）を「１」にセットし（ステップＳＤ８）、タイマレジスタに所定値Ｔの値をセットする（ステップＳＤ９）。すなわち、ｍの部位によるＤ（ｎ）の音出しテストの状態をセットする。また、タイマインタラプトを許可する。Ｔの値としては、例えば、数分ないし十数分が適当である。ここでは、Ｔの値を５分とする。
【００２６】
タイマをセットした後、又は、ステップＳＤ２において、ＳＢＦが「１」である場合すなわちドラム演奏に先立つテストが実施中である場合には、フラグＤＦ（ｍ，ｎ）が「０」にリセットされたか否かを判別する（ステップＳＤ１０）。このフラグが「１」でまだｍの部位によるＤ（ｎ）の音出しテスト中である場合には、タイマの値が「０」に達したか否かを判別する（ステップＳＤ１１）。すなわち、ｍの部位によるＤ（ｎ）の音出しテストの音声メッセージの指示にもかかわらず、その指示に従ったテスト演奏がされない時間が５分を経過したか否かを判別する。５分が経過していない場合には、図１４の画像処理に移行する。そして、図１４のその他の処理（ステップＳＣ８）を経て、ステップＳＣ１に移行し、再び音声処理（ステップＳＣ６）に移行して、図１５のフローチャートにおいて、ステップＳＤ１、ステップＳＤ２を経て、フラグＤＦ（ｍ，ｎ）が「０」にリセットされたか否かを判別するが（ステップＳＤ１０）、このフラグが「１」である場合には、タイマの値が「０」に達したか否かを判別する（ステップＳＤ１１）。タイマの値が「０」に達したとき、すなわち、５分が経過した場合には、何らかの事情で演奏者がドラム演奏を中断したと判断して、ＳＴＦを「０」にリセットして（ステップＳＤ１２）、図１４のフローチャートに戻る。したがって、図１４のステップＳＣ３の判別によって、ステップＳＣ８でＥＮを０にリセットして、メインルーチンに戻る。
【００２７】
図１５のステップＳＤ１０において、フラグＤＦ（ｍ，ｎ）が「０」にリセットされた場合、又は、ステップＳＤ６においてＡＲ（ｍ，ｎ）が「０」である場合には、ｎの値をインクリメントする（ステップＳＤ１３）。そして、ｎの値が最大値ＭＡＸを超えたか否かを判別する（ステップＳＤ１４）。最大値は、図１３に示したようにｍの番号に対応する部位ごとに異なる。最大値を超えていない場合には、ステップＳＤ６に移行して、ステップＳＤ１４までのループを繰り返す。ステップＳＤ１４において、ｎの値が最大値ＭＡＸを超えたときは、ｍの値をインクリメントするとともに、ｎの値を「１」にセットする（ステップＳＤ１５）。このとき、ｍの値が「４」を超えたか否かを判別し（ステップＳＤ１６）、「４」を超えていない場合には、ステップＳＤ６に移行して、ステップＳＤ１５までのループを繰り返す。
【００２８】
ステップＳＤ１５において、ｍの値が「４」を超えたとき、すなわち、演奏者の身体において設定しているすべての部位のテスト演奏が終了したときは、フラグＳＢＦを「０」にリセットして（ステップＳＤ１７）、フラグＬＦを「１」にセットし（ステップＳＤ１８）、図１４の画像処理に移行する。
【００２９】
図１６は、Ｗｅｂカメラ装置３００の回路を示す図である。ＭＯＳ撮像素子３１は、レンズから入射する映像を光電変換して画像信号を出力する。ＭＯＳ撮像素子３１は、任意の画素の読み出しが可能ないわゆるＸ−Ｙアドレス型の撮像素子である。図１７は、ＭＯＳ撮像素子３１の内部構成を示す図である。水平シフトレジスタ４１は、水平方向（Ｘ方向）の画素を駆動する水平パルス信号を出力する。垂直シフトレジスタ４２は、垂直方向（Ｙ方向）の画素を駆動する垂直パルス信号を出力する。ＦＥＴスイッチ群４３は、水平シフトレジスタ４１からの水平パルス信号に応じて、垂直方向に配列された画素列の中から特定の画素列を選択する。この実施形態におけるＷｅｂカメラ装置３００のＭＯＳ撮像素子３１の画素は、図１７では一部しか示していないが、水平方向に４８０個、垂直方向に６４０個の約３０万画素で構成されている。各画素は、赤（Ｒ）、緑（Ｇ）、および青（Ｂ）の原色系のカラーフィルタ、フォトダイオード、ＦＥＴスイッチで構成されている。そして、例えば画素４４に示すように、青のカラーフィルタＢを透過した特定の波長の光がフォトダイオードによって光電変換され、ゲートに印加される垂直パルス信号によってオンになるＦＥＴスイッチを通って、水平パルス信号によってオンとなったＦＥＴスイッチ４３を介して読み出される。この実施形態においては、ＦＥＴスイッチ群４３は、赤系統の画像信号（Ｒｏｕｔ）、緑系統の画像信号（Ｇｏｕｔ）、および青系統の画像信号（Ｂｏｕｔ）を独立して出力する構成になっている。
【００３０】
図１６において、ＭＯＳ撮像素子３１から出力される赤系統の画像信号、緑系統の画像信号、および青系統の画像信号は、利得制御および相関二重サンプリングを行う３系統のＡＧＣ／ＣＤＳ回路３２Ｒ、３２Ｇ、３２Ｂを経て、Ａ／Ｄ変換回路３３Ｒ、３３Ｇ、３３Ｂによってアナログからデジタルに変換されて、マルチプレクサ回路３４に入力される。これら３系統の画像信号は、マルチプレクサ回路３４によって合成されて、例えば、ＮＴＳＣの複合画像信号として画像処理回路３５に入力される。画像処理回路３５においては、ＮＴＳＣの複合画像信号は、１画面のビットマップの画像信号に変換される。
【００３１】
一方、Ａ／Ｄ変換回路３３Ｒ、３３Ｇ、３３Ｂから出力される３系統の画像信号は、演算処理回路３６に入力される。演算処理回路３６は、図１４のステップＳＣ４において、ＣＰＵ５によって１（ハイレベル）によってアクティブにされ、ＣＰＵ５からのクロック信号ＣＬＫ、プリセットデータｋｒ、ｋｂ、ｋｇに応じて、３系統の画像信号を処理して、演算処理回路３６およびＣＰＵ５の両方からアクセスできるダブルポートメモリ３８に記憶して演算処理を行う。赤系統の画像信号、緑系統の画像信号、および青系統の画像信号の中には、各系統の色を全て含む白系統の画像信号が含まれている。このため、図３に示した赤球１０１、青球１０２、緑球１０３、および緑球１０４の各系統の画像信号だけを抽出する必要がある。
【００３２】
図１８は、各系統の画像信号を抽出する回路であり、図１９は、その抽出処理を模式的に示した図である。演算処理回路３６に入力される赤系統の画像信号Ｒｉｎ、緑系統の画像信号Ｇｉｎ、および青系統の画像信号Ｂｉｎは、図１９に示すように、それぞれ白系統の画像信号Ｗを共通に含んでいる。したがって、図１８のＡＮＤ回路３６１によって３系統の画像信号の積を演算して、白系統の画像信号Ｗを抽出する。次に、３つの減算回路３６２、３６３、３６４のプラス端子に各系統の画像信号を入力し、全ての減算回路のマイナス端子にＡＮＤ回路３６１からの出力である白系統の画像信号Ｗを入力すると、それぞれの減算回路からは、図１９に示すように、赤系統だけの画像信号Ｒｏｕｔ、緑系統だけの画像信号Ｇｏｕｔ、および青系統だけの画像信号Ｂｏｕｔが出力される。
【００３３】
図２０は、ダブルポートメモリ３８の構成を示す図である。ダブルポートメモリ３８は、図２０（Ａ）に示すような、赤系統だけの画像信号、緑系統だけの画像信号、および青系統だけの画像信号をそれぞれ１フレーム記憶する複数のフレームメモリ３８１、３８２、３８３を有するとともに、図２０（Ｂ）に示すような、座標データを記憶するエリア３８４を有する。例えば、赤球１０１の画像は、図２０（Ｃ）に示すように、赤球１０１の画像の検出位置Ｐｄ（ｒ，ｎ）がフレームメモリ３８１に記憶される。ここで、ｒは赤球１０１を表し、ｎは初期位置のフレームから移動したｎ番目のフレームを表している。Ｐｄ（ｒ，ｎ）のｘ座標はｘ（ｒ，ｎ）であり、ｙ座標はｙ（ｒ，ｎ）である。そして、赤球１０１、青球１０２、緑球１０３、および緑球１０４の現在位置のｘ座標およびｙ座標が、図２０（Ｂ）に示すエリア３８４に記憶される。
【００３４】
次に、赤球１０１、青球１０２、緑球１０３、および緑球１０４の現在位置のｘ座標およびｙ座標を演算する信号処理について、赤球１０１を例に採って説明する。図２１は、演算処理回路３６における現在位置の座標算出および次の座標を取得するためのスキャン範囲算出の回路を示し、図２２は、スキャン範囲算出の例を示す図である。図２１において、初期位置からｎ番目のフレームにおける現在位置Ｐｄ（ｒ，ｎ）＝ｘ（ｒ，ｎ），ｙ（ｒ，ｎ）は、フリップフロップ回路３６５および減算回路３６６に入力される。減算回路３６６においては、Ｐｄ（ｒ，ｎ）から１フレーム前のＰｄ（ｒ，ｎ−１）が減算され、その差分すなわち前回のフレームから現在のフレームまでの間に赤球１０１が移動した移動成分Δ（ｒ，ｎ）が算出される。Δ（ｒ，ｎ）は、符号を含むベクトルであり、Δ（ｒ，ｎ）＝Δｘ（ｒ，ｎ）＋Δｙ（ｒ，ｎ）として表される。
【００３５】
次に、加算回路３６７において、減算回路３６６からの移動成分Δ（ｒ，ｎ）と現在位置Ｐｄ（ｒ，ｎ）とが加算されて、次のフレームにおける予測位置Ｐｔ（ｒ，ｎ＋１）が算出される。さらに、加算回路３６８においてＰｔ（ｒ，ｎ＋１）にプリセットデータｋｒが加算され、減算回路３６９においてＰｔ（ｒ，ｎ＋１）からｋｒが減算される。そして、減算回路３６９からは次のフレームで赤球１０１を検出するためのスキャン範囲の始点位置Ｐｓ（ｒ，ｎ＋１）が算出され、加算回路３６８からはスキャン範囲の終点位置Ｐｅ（ｒ，ｎ＋１）が算出される。この始点位置Ｐｓ（ｒ，ｎ＋１）および終点位置Ｐｅ（ｒ，ｎ＋１）は、パルス発生回路３７０に入力されて、クロック信号ＣＬＫに同期したスキャン信号Ｐｃ（ｒ，ｎ＋１）が、図１６のタイミングパルス発生回路３７に入力される。タイミングパルス発生回路３７からは、次のフレームにおいて赤球１０１を検出する範囲を指定する駆動信号がＭＯＳ撮像素子３１に入力される。青球１０２、緑球１０３、および緑球１０４の場合も同様である。
【００３６】
図２２において、赤球１０１の初期位置の画像をｉｒ０とする。赤球１０１が移動して次のフレームでの画像をｉｒ１とすると、点線で示す丸の位置を算出し、次のスキャン範囲ｒａ２を設定する。次のフレームでの画像をｉｒ２とすると、点線で示す丸の位置を算出し、次のスキャン範囲ｒａ３を設定する。このように、赤球１０１の移動に応じて次のスキャン範囲を設定しながら赤球１０１の移動軌跡を追跡して、フレームごとの赤球１０１の検出位置の座標を順次、図２０（Ｂ）のエリア３８４に記憶する。青球１０２、緑球１０３、および緑球１０４の場合も同様である。図２０（Ａ）に示したように、各色のフレームメモリは独立しているので、図２２に示すように、赤球１０１の移動軌跡の画像ｉｒｎ（ｎ＝０，１，２，…）と青球１０２の移動軌跡の画像ｉｂｎとが交わるような場合でも、検出に不都合は生じない。緑球１０３、および緑球１０４の場合には、同じフレームメモリに緑色の２つの球の画像が記憶されるが、図３に示したように、右足と左足とが交わることはなく、緑球１０３の移動軌跡と緑球１０４の移動軌跡とは交差しないので、検出に不都合は生じない。なお、初期位置の画像を検出したときは、次の移動位置を予測できないが、図２０（Ｃ）に示すように、やや広い範囲のスキャン位置ａｒ１を設定する。
【００３７】
図２１において、ＣＰＵ５から入力されるプリセットデータｋｒ、および図示しないｋｂ、ｋｇ１、ｋｇ２は、あらかじめ設定された定数、例えば、各球の画像における直径の５倍ないし１０倍又はそれ以上でもよいが、テスト演奏において各球の移動速度に応じてテンポラリに設定する値でもよい。図２０（Ｂ）のエリア３８４に記憶された各球の現在位置の座標は、ＣＰＵ５によって順次読み出されてワークＲＡＭ７に転送され、ＣＰＵ５の画像処理によって赤球１０１、青球１０２、緑球１０３、および緑球１０４の移動軌跡が分析される。ＭＯＳ撮像素子３１は任意のスキャン範囲を設定して各球の位置を検出する。２００５年１０月現在において、市販されている多くの携帯電話装置においては、２０４万画素のＭＯＳ撮像素子の読出速度は、最大３０ｆｐｓ（フレーム／秒）である。したがって、Ｗｅｂカメラ装置３００における３０万画素のＭＯＳ撮像素子に換算すると、その読出速度は２０４ｆｐｓとなる。図２２に示したスキャン範囲ｒａ２，ｒａ３，…を画面全体の１／１０とすると、４個の球の中で、２個の緑球１０３，１０４を検出するためのスキャン範囲は、画面全体の１／５になるので、その読出速度は約１ｍｓである。その後の演算処理の時間を考慮しても、４個の球の位置検出に要する予測時間は２ｍｓもあれば十分である。
【００３８】
図２３は、図１４におけるステップＳＣ７の画像処理のフローチャートである。まず、ＳＴＦが「１」であるか否かを判別し（ステップＳＥ１ａ）、ＳＴＦが「０」である場合には画像処理を行うことなく図１４のフローチャートに戻るが、ＳＴＦが「１」である場合には、ＣＰＵ５は、ダブルポートメモリ３８から各球の座標データを読み出し、ワークＲＡＭ７に記憶する（ステップＳＥ１ｂ）。そして、変数ｍで指定された部位すなわち特定色の球の移動軌跡の判定が可能であるか否かを判別する（ステップＳＥ２）。判定できない場合には図１４のフローチャートに戻るが、判定できたときはフラグＳＢＦが「１（音出しテスト中）」、且つ、フラグＤＰＦが「０（演奏者が基準演奏パターンを設定）」であるか否かを判別する（ステップＳＥ３）。ＤＰＦが「０」、フラグＳＢＦが「１」である場合には、ワークＲＡＭ７の画像エリアＧ（ｍ）に登録する（ステップＳＥ４）。次に、登録したＧ（ｍ）の動画の移動軌跡すなわち動線を検出したか否かを判別する（ステップＳＥ５）。Ｇ（ｍ）の動線を検出したときは、レジスタＲＴの値（初期値は０）をインクリメントする（ステップＳＥ６）。また、Ｄ（ｎ）の音色で発音する（ステップＳＥ７）。すなわち、ｍの部位でＤ（ｎ）を演奏する音声メッセージに応じて、演奏者が仮想のＤ（ｎ）を演奏したときは、音源部１９によってＤ（ｎ）に対応する音色の楽音信号を発生させて、ブルートゥースＩ／Ｆ１１を介して、その楽音信号をヘッドホン装置４００に送信して発音させる。
【００３９】
ステップＳＥ７の発音処理の後は、ＲＴの値が所定回数Ｎに達したか否かを判別する（ステップＳＥ８）。例えば、ｍの部位でＤ（ｎ）を演奏する音声メッセージの指示が、左手のスティックでハイハットを演奏する指示であるとすると、ハイハットの位置と演奏の動線とを確定するために、演奏者に仮想楽器であるハイハットを演奏する動作を何回かさせる必要がある。また、演奏者にとっても、ハイハットを演奏するイメージを把握する必要がある。このため、連続してＮ回（５回ないし１０回程度）、ハイハットのテスト演奏を行う。Ｎの値はあらかじめ設定されているが、演奏者の設定によって任意の回数に変更できるものとする。
【００４０】
ステップＳＥ８において、ＲＴの値がＮの値に達していない場合には、図１４のフローチャートに戻るが、ＲＴの値がＮの値に達したときは、確定動線の演算処理を行う（ステップＳＥ９）。図２４は、右手（ｍ＝３）でトップシンバル（ｎ＝５）のテスト演奏を１０回行ったときの、確定動線の演算処理を説明するための図である。この図において、Ｅ１（ｘ，ｙ）、Ｅ２（ｘ，ｙ）、…Ｅｊ（ｘ，ｙ）は、図３に示した右手のスティックのテスト演奏において、１０ｍｓごとの先端部の赤球１０１の画像の座標を包含する楕円の関数を表している。すなわち、１０ｍｓごとの赤球１０１の画像の座標は、次第に面積が広がるＥ１（ｘ，ｙ）、Ｅ２（ｘ，ｙ）、…Ｅｊ（ｘ，ｙ）の楕円内に存在する。言い換えれば、１０回のテスト演奏の動線が、２次元の楕円関数であるＥ１（ｘ，ｙ）、Ｅ２（ｘ，ｙ）、…Ｅｊ（ｘ，ｙ）の集合で表される３次元の立体的な楕円管の中に存在する。左手のテスト演奏による青球１０２の場合も同様である。
なお、脚によるバスやハイハットの仮想演奏すなわち仮想のペダル演奏の場合には、１０ｍｓごとの緑球１０３、１０４の変位量が小さいので、図２４の各楕円関数の位置はかなり接近した関係になる。
【００４１】
例えば、右手でトップシンバルを叩く動作の時間を０．４秒すなわち４００ｍｓと仮定する。この場合には、赤球１０１の画像の座標の検出回数は４０回であり、１０ｍｓごとの赤球１の画像の座標は、Ｅ１（ｘ，ｙ）、Ｅ２（ｘ，ｙ）、…Ｅ４０（ｘ，ｙ）の４０個の楕円内に存在することになる。この結果、右手でトップシンバルを叩く場合の確定動線Ｃ（３，５）が確定されるとともに、最後の楕円関数Ｅ４０（ｘ，ｙ）がトップシンバルＤ（５）の空間位置ＤＳ（５）として確定される。ステップＳＥ９の演算処理の後は、演算結果をワークＲＡＭ７のＣ（ｍ，ｎ）、ＤＳ（ｎ）に登録する（ステップＳＥ１０）。次に、フラグＤＦ（ｍ，ｎ）を「０」にリセットして（ステップＳＥ１１）、ＡＲ（ｍ，ｎ）の移動軌跡を登録する（ステップＳＥ１２）。そして、図１４のフローチャートに戻る。なお、他のドラムのテスト演奏についても同様である。
ＤＦ（ｍ，ｎ）が「０」にリセットされると、図１５の音声処理のフローチャートにおいて、ステップＳＤ１０からステップＳＤ１３に移行して、次のテスト演奏のドラムを指定することになる。
【００４２】
プログラムＲＯＭ６には、各打楽器の移動軌跡の楕円関数が基準演奏パターンとして予め記憶されている。図１０の設定画面においてデフォルトが決定された場合には、任意の打楽器の仮想位置および基準演奏パターンがすでに設定済みであり、演奏すれば即座に打楽器の音を聞くことができる。したがって、演奏者はテスト演奏を行う必要はないが、選択した打楽器の位置を事前の演奏によって確認する作業は必要である。すなわち、どのように演奏すれば各打楽器の音が発音されるかを確認することになる。
【００４３】
図２３のステップＳＥ３において、ＤＰＦが「１」である場合には、デフォルトの基準演奏パターンを使用するので、テスト演奏を行うことなく実際の演奏の動画検出を行う。あるいは、ステップＳＥ３においてＳＢＦが「０」である場合には、テスト演奏が終了して実際のドラム演奏に移行しているので、実際の演奏の動画検出を行う。したがって、ＤＰＦが「１」又はＳＢＦが「０」である場合には、ｍで指定した部位の球の動線を検出したか否かを判別し（ステップＳＥ１３）、動線を検出したときは、その動線がワークＲＡＭ７に登録した動線Ｃ（ｍ，ｎ）のどれかと一致するか否かを判別する（ステップＳＥ１４）。検出した動線が登録した動線Ｃ（ｍ，ｎ）と一致した場合には、発音タイミングに達したか否かを判別する（ステップＳＥ１５）。この実施形態において、発音タイミングは、図２４の楕円関数ｊ−１（ｘ，ｙ）の位置に球の画像位置が達したタイミング、すなわち、楽器の打面として設定された楕円関数ｊ（ｘ，ｙ）に球の画像位置が達する１０ｍｓ前のタイミングとする。例えば、上記のように、ある球の動線すなわち移動軌跡がＥ１（ｘ，ｙ）、Ｅ２（ｘ，ｙ）、…Ｅ４０（ｘ，ｙ）の４０個の楕円内に存在する場合には、その球の画像位置がＥ３９（ｘ，ｙ）に達したときを発音タイミングとする。発音タイミングに達したときは、１０Ｄ（ｎ）に応じた音色、各球の移動速度に応じた振幅でリズム音信号を音源部９によって発生して、ヘッドホン装置４００に送信して発音させる（ステップＳＥ１６）。次に、フラグＲＦが「１」であるか否かを判別し（ステップＳＥ１７）、ＲＦが「１」である場合には、発生した楽音信号を曲メモリ８に録音する（ステップＳＥ１８）。録音が終了した後、又は、ＲＦが「０」である場合、ステップＳＥ１５において発音タイミングに達していない場合、若しくは、ステップＳＥ１４において動線が登録した動線Ｃ（ｍ，ｎ）と一致しない場合には、図１４のフローチャートに戻る。
【００４４】
図２５は、図３に示した演奏者１００の右手に保持されたスティックの先端部の赤球１０１の画像ｉｒ、左手に保持されたスティックの先端部の青球１０２の画像ｉｂ、右脚および左脚に取り付けた緑球１０３および緑球１０４の画像ｉｇ１およびｉｇ２のそれぞれの移動軌跡を示した図である。画像ｉｒはトップシンバルＤ（５）を演奏する移動軌跡を示し、画像ｉｂはスネアＤ（６）を演奏する移動軌跡を示し、画像ｉｇ１は、変位量が小さいので途中を省略しているが、バスＤ（１）の仮想ペダルを踏む移動軌跡を示し、画像ｉｇ２は静止状態を示している。したがって、ＣＰＵ５は、トップシンバルの音色、スネアの音色、バスの音色で、音源部９に対してリズム音信号を発生する指示を与える。
【００４５】
以上のように、この第１実施形態における演奏システムにおいて、Ｗｅｂカメラ装置３００は、所定の角度以上の画角を有する光学部材と、赤、緑、および青からなる原色系のカラーフィルタを有するとともに、電子楽器２００から受信した演奏開始指令に応じて、光学部材から入射する略球形の形状で原色系又は補色系の色彩からなる赤球１０１、青球１０２、緑球１０３、および緑球１０４の映像を光電変換してカラーの画像信号を出力するＭＯＳ撮像素子３１と、ＭＯＳ撮像素子３１に対して読出信号を繰り返し与えて、各読出信号ごとにＭＯＳ撮像素子３１から出力される画像信号に基づいて、赤球１０１、青球１０２、緑球１０３、および緑球１０４の略中心位置の位置情報を検出し、赤球１０１、青球１０２、緑球１０３、および緑球１０４の移動軌跡を示す位置情報を順次出力する演算処理回路３６と、を備えている。
また、電子楽器２００は、操作に応じて複数種類の指令を入力するスイッチ部２と、メロディパートおよびドラムパートを含む複数パートからなる曲を記憶している曲メモリ８とを備え、ＣＰＵ５は、スイッチ部２から入力された打楽器演奏の指令に応じて、表示部３に対して複数種類の打楽器のリストを送出して表示させ、スイッチ部２から入力された打楽器選択の指令に応じて、その選択に係る１種類以上の打楽器および当該打楽器に対する演奏の移動軌跡としてプログラムＲＯＭ６に予め用意されている基準演奏パターンをワークＲＡＭ７に記憶して設定し、スイッチ部２から入力された曲選択の指令に応じて、曲メモリ８に記憶されている選択に係る曲のドラムパートを消音処理し、Ｗｅｂカメラ装置３００に送信した演奏開始指令に応じて、Ｗｅｂカメラ装置３００から受信した赤球１０１、青球１０２、緑球１０３、および緑球１０４の移動軌跡の位置情報がワークＲＡＭ７に設定されているいずれかの打楽器の基準演奏パターンと一致するか否かを分析する。そして、ＣＰＵ５は、演奏開始指令に応じて曲メモリ８から読み出してドラムパートを消音処理した曲を再生して、メロディパートを含む楽音信号を発生するとともに、赤球１０１、青球１０２、緑球１０３、および緑球１０４の移動軌跡の位置情報が設定されている打楽器の基準演奏パターンと一致するときは、その一致する打楽器の音色のドラム演奏の楽音信号を発生して、ヘッドホン装置４００又はスピーカ４から発音させる。
したがって、実際のドラムと同じような感覚で演奏することができるとともに、狭い場所でも演奏することができる。
【００４６】
なお、上記第１実施形態においては、ＭＯＳ撮像素子３１には赤（Ｒ）、緑（Ｇ）、および青（Ｂ）からなる原色系のカラーフィルタを設けた構成にしたが、シアン（Ｃｙ）、マゼンタ（Ｍｇ）、黄（Ｙｅ）、および緑からなる補色系のカラーフィルタを設ける構成にしてもよい。この場合には、２本のスティックの先端部および演奏者の脚の球の色もシアン、マゼンタ、黄、および緑で構成することが望ましいが、下記の関係式（１）ように、補色系の各色は原色系の色で表される。したがって、原色系の各色も関係式（２）のように表されるので、第１実施形態と同じく赤球、青球、および緑球でもよい。
Ｃｙ＝Ｂ＋Ｇ、Ｍｇ＝Ｂ＋Ｒ、Ｙｅ＝Ｇ＋Ｒ        （１）
Ｒ＝Ｙｅ−Ｇ、Ｂ＝Ｃｙ−Ｇ                      （２）
【００４７】
また、上記第１実施形態においては、各球の位置検出を速くするためにＷｅｂカメラ装置３００の撮像素子にＭＯＳ撮像素子３１を用いたが、ＣＣＤ撮像素子によって撮像素子を構成することも可能である。この場合にも、図１６に示したダブルポートメモリ３８には、図２０に示した３種類のフレームメモリ３８１、３８２、および３８３を設ける。したがって、ＣＰＵ５は、ＣＣＤ撮像素子から１フレームの画像信号を全て読み出してフレームメモリに記憶する必要があるが、記憶した１フレームの全ての画像信号を検索する必要はない。前回検出した位置情報と今回検出した位置情報に基づいて、その１フレームの中の範囲を決定して次の位置情報を検出することができる。このように、ＣＣＤ撮像素子は１フレームのすべての画素を読み出す構成になっているが、一旦、フレームメモリ３８１、３８２、および３８３に記憶した後は、これらのすべてのエリアを読み出す必要はなく、図２２に示したように、移動軌跡に応じて読み出すエリアを指定することができる。
【００４８】
図２６ないし図２８は、第１実施形態の変形例を示す図である。
図２６は、電子楽器２００と通信する電子カメラ装置としてデジタルカメラ装置６００を利用する構成を示している。図２７は、電子楽器２００と通信する電子カメラ装置としてビデオカメラ装置７００を利用する構成を示している。図２８は、電子楽器２００と通信する電子カメラ装置としてカメラ付き携帯電話装置８００を利用する構成を示している。これらの変形例における動作は、第１実施形態の動作と同じである。ただし、これらの電子カメラ装置は、Ｗｅｂカメラ装置３００とは異なり、常時スルー画像を出力している訳ではないので、モードスイッチなどでドラム演奏モードに設定して、電子楽器２００からの指令を受信するとともに、撮像したスルー画像を電子楽器２００に送信する必要がある。なお、デジタルカメラ装置６００、ビデオカメラ装置７００、カメラ付き携帯電話装置８００においても、撮像素子としてはＭＯＳ撮像素子が望ましいが、最近のように、ＣＣＤ撮像素子の性能の著しい向上、および、最近のデジタルカメラ装置およびカメラ付き携帯電話装置におけるＭＯＳ撮像素子の採用などを見ると、本発明に利用する電子カメラ装置としては、そこに使用されている撮像素子の種類を考慮する必要はなくなってきている。
以上のように、これらの変形例においても、上記実施形態と同様に、実際のドラムと同じような感覚で演奏することができるとともに、狭い場所でも演奏することができることは明らかである。
【００４９】
図２９は、第２実施形態の演奏システムの構成を示す外観図である。第２実施形態においては、電子カメラ装置とパソコンとを利用して仮想のドラム演奏を行う演奏システムを構築する。
図２９において、パソコン９００は、薄型のディスプレイである表示部９０を備え、２つのスピーカ９０１に接続されている。さらに、パソコン９００は、Ｗｅｂカメラ装置３００、デジタルカメラ装置６００、カメラ付き携帯電話装置８００、又は図示しないビデオカメラ装置との間で、ＵＳＢやＩＥＥＥの規格に準拠した有線通信、あるいは、ブルートゥース通信や赤外線通信の規格に準拠した無線通信によって、指令や画像の通信を行うことによって、仮想のドラム演奏を実現する。この場合において、例えば、Ｗｅｂカメラ装置３００は、図１６に示した第１実施形態の構成と同じである。
【００５０】
図３０は、Ｗｅｂカメラ装置３００と通信を行う構成を例に採った場合のパソコン９００の内部構成を示すブロック図である。図３０において、ＣＰＵ９１は、システムバスを介して、プログラムＲＯＭ９２、ワークＲＡＭ９３、スイッチ部９４、表示部９０、ハードディスク９５、サウンドシステム９６、カメラＩ／Ｆ９７、ブルートゥースＩ／Ｆ９８、ネットワークＩ／Ｆ９９に接続され、これら各部との間で指令およびデータの授受を行う。
サウンドシステム９６は図２９に示したスピーカ９０１に接続されている。また、カメラＩ／Ｆ９７、ブルートゥースＩ／Ｆ９８、ネットワークＩ／Ｆ９９のそれぞれは、図４に示した第１実施形態と同様に、Ｗｅｂカメラ装置３００、ヘッドホン装置４００、ネットワーク５００と通信を行う構成になっている。
なお、Ｗｅｂカメラ装置３００およびパソコン９０を利用して演奏システムによって仮想のドラム演奏を行う状態は、図３に示した第１実施形態の電子楽器２００に代えて図２９のパソコン９００を使用するものであるので、図面および説明は省略するとともに、図３を援用して第２実施形態を説明する。すなわち、第２実施形態においても、演奏者１００の右手および左手に持ったスティックの先端の赤球１０１および青球１０２、並びに、右脚および左脚に取り付けた緑球１０３および緑球１０４の映像をＷｅｂカメラ装置３００で撮像することによって、仮想のドラム演奏を行うものである。
【００５１】
プログラムＲＯＭ９２は、ＣＰＵ９１によって実行される制御プログラムや初期データ、および、第１実施形態と同様に、バスドラム、スネアドラム、フロアタム、シンバル、タムタム、ハイハットなどの複数種類の打楽器のリストと各打楽器の移動軌跡としてのデフォルトの基準演奏パターンを記憶している。ワークＲＡＭ９３は、ドラム演奏に際して設定された各種のデータ、その他処理する各種のデータを一時的に記憶するバッファエリア、各種のレジスタ、フラグ、変数のためのエリアがある。ハードディスク９５は、ネットワークＩ／Ｆ９８を介してネットワーク５００から配信される多数の曲データを記憶することができる。これらの曲データは、メロディパート、コードパート、ベースパート、ドラムパートなどの複数パートで構成されている。さらに、ハードディスク９５は、バスドラム、スネアドラム、フロアタム、シンバル、タムタム、ハイハットなどの複数種類の打楽器の楽音波形データを記憶することができる。ＣＰＵ９１は、スイッチ部９４からのマイナスワン設定の操作に応じて、これら複数パートの曲におけるドラムのパートを消音処理（ミュート）する機能を有する。サウンドシステム９６は、ドラム演奏の場合には、ハードディスク９５から読み出したマイナスワンの楽音データ、および、仮想のドラム演奏に応じてＣＰＵ９１によって指定された打楽器に対応する楽音波形データに基づく楽音データに対して、Ｄ／Ａ変換処理、フィルタ処理、増幅処理などの信号処理を施して、スピーカ９０１から発音する。
【００５２】
このように、第２実施形態におけるコンピュータ９００は、第１実施形態の電子楽器２００のような鍵盤１、曲メモリ８、音源部９を備えてはいないので、鍵盤楽器、弦楽器、管楽器などの楽音を生成することはできないが、Ｗｅｂカメラ装置３００や他の電子カメラ装置と通信を行うことによって、仮想のドラム演奏に関しては、第１実施形態の場合と同様の動作を行うことができる。
したがって、実際のドラムと同じような感覚で演奏することができるとともに、狭い場所でも演奏することができる。
【図面の簡単な説明】
【００５３】
【図１】第１実施形態における演奏システムの平面図である。
【図２】第１実施形態における演奏システムの正面図である。
【図３】図１および図２の演奏システムによって仮想のドラム演奏を行う状態を示す図である。
【図４】図１の電子楽器の内部構成を示すブロック図である。
【図５】図１のヘッドホン装置の内部構成を示すブロック図である。
【図６】第１実施形態におけるＣＰＵのメインルーチンのフローチャートである。
【図７】図１の表示部におけるメニュー画面を示す図である。
【図８】図６におけるドラム設定処理のフローチャートである。
【図９】図８に続くドラム設定処理のフローチャートである。
【図１０】第１実施形態におけるドラム演奏の設定画面を示す図である。
【図１１】第１実施形態におけるドラム演奏の設定画面を示す図である。
【図１２】第１実施形態におけるドラム演奏の決定画面の例を示す図である。
【図１３】図３のワークＲＡＭに記憶された配列ＡＲのデータを示す図である。
【図１４】図９におけるドラム処理のフローチャートである。
【図１５】図１４における音声処理のフローチャートである。
【図１６】第１実施形態のＷｅｂカメラ装置の内部構成を示すブロック図である。
【図１７】図１６のＭＯＳ撮像素子の一部の回路図である。
【図１８】図１６の演算処理回路の一部の回路図である。
【図１９】図１８の演算処理回路の画像信号の抽出処理を模式的に示した図である。
【図２０】図１６のダブルポートメモリの構成を示す図である。
【図２１】図１６の演算処理回路におけるスキャン範囲算出の回路図である。
【図２２】図２１の回路におけるスキャン範囲算出の例を示す図である。
【図２３】図１４における画像処理のフローチャートである。
【図２４】テスト演奏の移動軌跡の演算処理を説明するための図である。
【図２５】赤球、青球、および２つの緑球の画像の移動軌跡を示す図である。
【図２６】第１実施形態の変形例の構成を示す外観図である。
【図２７】第１実施形態の別の変形例の構成を示す外観図である。
【図２８】第１実施形態のさらに別の変形例の構成を示す外観図である。
【図２９】第２実施形態における演奏システムの外観図である。
【図３０】図２９におけるパソコンの内部構成を示すブロック図である。
【符号の説明】
【００５４】
１０１  赤球
１０２  青球
１０３、１０４  緑球
２００  電子楽器
３００  Ｗｅｂカメラ装置
４００  ヘッドホン装置
６００  デジタルカメラ装置
７００  ビデオカメラ装置
８００  カメラ付き携帯電話装置
９００  パソコン
【図１】
2007121355.tif 000003
【図２】
2007121355.tif 000004
【図３】
2007121355.tif 000005
【図４】
2007121355.tif 000006
【図５】
2007121355.tif 000007
【図６】
2007121355.tif 000008
【図７】
2007121355.tif 000009
【図８】
2007121355.tif 000010
【図９】
2007121355.tif 000011
【図１０】
2007121355.tif 000012
【図１１】
2007121355.tif 000013
【図１２】
2007121355.tif 000014
【図１３】
2007121355.tif 000015
【図１４】
2007121355.tif 000016
【図１５】
2007121355.tif 000017
【図１６】
2007121355.tif 000018
【図１７】
2007121355.tif 000019
【図１８】
2007121355.tif 000020
【図１９】
2007121355.tif 000021
【図２０】
2007121355.tif 000022
【図２１】
2007121355.tif 000023
【図２２】
2007121355.tif 000024
【図２３】
2007121355.tif 000025
【図２４】
2007121355.tif 000026
【図２５】
2007121355.tif 000027
【図２６】
2007121355.tif 000028
【図２７】
2007121355.tif 000029
【図２８】
2007121355.tif 000030
【図２９】
2007121355.tif 000031
【図３０】
2007121355.tif 000032
【手続補正書】
【提出日】平成19年1月19日(2007.1.19)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
電子カメラ装置と電子楽器との間で通信を行って仮想のドラム演奏を行う演奏システムであって、
前記電子カメラ装置は、
所定の角度以上の画角を有する光学部材と、
赤、緑、および青からなる原色系のカラーフィルタ、又は、シアン、マゼンタ、黄、および緑からなる補色系のカラーフィルタを有するとともに、前記電子楽器から受信した演奏開始指令に応じて、前記光学部材から入射する略球形の形状で原色系又は補色系の色彩からなる１種類以上の物体の映像を光電変換してカラーの画像信号を出力する撮像素子と、
前記撮像素子に対して読出信号を繰り返し与えて、各読出信号ごとに前記撮像素子から出力される画像信号に基づいて物体の色彩および当該物体の略中心位置を検出し、検出した色彩によって種類を識別した当該物体の識別情報およびその略中心位置の移動軌跡を示す位置情報を前記電子楽器に対して順次出力する検出手段と、を備え、
前記電子楽器は、
操作に応じて複数種類の指令を入力する入力手段と、
メロディパートおよびドラムパートを含む複数パートからなる曲を記憶している第１の記憶手段と、
前記入力手段から入力された打楽器演奏の指令に応じて、所定の表示手段に対して複数種類の打楽器のリストを送出して表示させる表示制御手段と、
前記入力手段から入力された打楽器選択の指令に応じて、その選択に係る１種類以上の打楽器および当該打楽器に対する演奏の移動軌跡として第２の記憶手段に予め記憶されている基準演奏パターンを第３の記憶手段に記憶して設定する楽器設定手段と、
前記入力手段から入力された曲選択の指令に応じて、前記第１の記憶手段に記憶されている選択に係る曲のドラムパートを消音処理するパート消音手段と、
前記電子カメラ装置に送信した演奏開始指令に応じて、前記電子カメラ装置から受信した物体の識別情報および移動軌跡を示す位置情報が前記第３の記憶手段に設定されているいずれかの打楽器の基準演奏パターンに対応するか否かを分析する画像分析定手段と、
演奏開始指令に応じて前記第１の記憶手段から読み出して前記パート消音手段によってドラムパートが消音処理された曲を再生して第１の楽音信号を発生するとともに、前記画像分析手段によって物体の識別情報および移動軌跡の位置情報が前記第３のメモリに設定されているいずれかの打楽器の基準演奏パターンと対応することが分析されたときは、当該物体の移動位置が当該基準演奏パターンにおける所定の位置に達したタイミングでその対応する打楽器の音色の第２の楽音信号を発生して、所定の発音手段に対して当該第１および第２の楽音信号を送出して発音させる信号発生手段と、を備えている。
【請求項２】
前記電子楽器は、前記楽器設定手段によって打楽器が設定された後に、前記入力手段から入力されたテスト演奏の指令に応じて、前記楽器設定手段によって設定された打楽器を１つの打楽器から順に指定して、その指定した打楽器のテスト演奏を促す情報を出力するとともに、前記電子カメラ装置に当該指定した打楽器のテスト演奏指令を送信するテスト演奏手段、および、前記電子カメラ装置にテスト演奏指令を送信した後に、前記電子カメラ装置から物体の識別情報および移動軌跡を示す位置情報を受信したときは、当該物体の識別情報および移動軌跡を当該指定した打楽器の基準演奏パターンに対応するものとして前記第３の記憶手段に設定する演奏設定手段をさらに備え、
前記画像分析手段は、前記入力手段からテスト演奏の指令が入力された場合には、前記電子カメラ装置に送信した演奏開始指令に応じて、前記電子カメラ装置から受信した物体の識別情報および移動軌跡の位置情報が前記第３の記憶手段に記憶されている前記テスト演奏に基づく基準演奏パターンと対応するか否かを分析することを特徴とする請求項１に記載の演奏システム。
【請求項３】
電子カメラ装置とコンピュータとの間で通信を行って仮想のドラム演奏を行う演奏システムであって、
前記電子カメラ装置は、
所定の角度以上の画角を有する光学部材と、
赤、緑、および青からなる原色系のカラーフィルタ、又は、シアン、マゼンタ、黄、および緑からなる補色系のカラーフィルタを有するとともに、前記電子楽器から受信した演奏開始指令に応じて、前記光学部材から入射する略球形の形状で原色系又は補色系の色彩からなる１種類以上の物体の映像を光電変換してカラーの画像信号を出力する撮像素子と、
前記撮像素子に対して読出信号を繰り返し与えて、各読出信号ごとに前記撮像素子から出力される画像信号に基づいて物体の色彩および当該物体の略中心位置を検出し、検出した色彩によって種類を識別した当該物体の識別情報および移動軌跡を示す位置情報を前記コンピュータに対して順次出力する検出手段と、を備え、
前記コンピュータは、
操作に応じて複数種類の指令を入力する入力手段と、
メロディパートおよびドラムパートを含む複数パートからなる曲を記憶している第１の記憶手段と、
前記入力手段から入力された打楽器演奏の指令に応じて、所定の表示手段に対して複数種類の打楽器のリストを送出して表示させる表示制御手段と、
前記入力手段から入力された打楽器選択の指令に応じて、その選択に係る１種類以上の打楽器および当該打楽器に対する演奏の移動軌跡として第２の記憶手段に予め記憶されている基準演奏パターンを第３の記憶手段に記憶して設定する楽器設定手段と、
前記入力手段から入力された曲選択の指令に応じて、前記第１の記憶手段に記憶されている選択に係る曲のドラムパートを消音処理するパート消音手段と、
前記電子カメラ装置に送信した演奏開始指令に応じて、前記電子カメラ装置から受信した物体の識別情報および移動軌跡の位置情報が前記第３の記憶手段に設定されているいずれかの打楽器の基準演奏パターンと対応するか否かを分析する画像分析定手段と、
演奏開始指令に応じて前記第１の記憶手段から読み出して前記パート消音手段によってドラムパートが消音処理された曲を再生して第１の楽音信号を発生するとともに、前記画像分析手段によって物体の識別情報および移動軌跡の位置情報が前記第３の記憶手段に設定されているいずれかの打楽器の基準演奏パターンと対応することが分析されたときは、当該物体の移動位置が当該基準演奏パターンにおける所定の位置に達したタイミングでその対応する打楽器の音色の第２の楽音信号を発生して、所定の発音手段に対して当該第１および第２の楽音信号を送出して発音させる信号発生手段と、を備えている。
【手続補正２】
【補正対象書類名】明細書
【補正対象項目名】０００５
【補正方法】変更
【補正の内容】
【０００５】
本発明は、電子カメラ装置と電子楽器との間で通信を行って仮想のドラム演奏を行う演奏システムであって、
電子カメラ装置（実施形態においては、図１のＷｅｂカメラ装置３００、図２６のデジタルカメラ装置６００、図２７のビデオカメラ装置７００、図２８のカメラ付き携帯電話装置８００に相当する）は、
所定の角度以上の画角を有する光学部材と、赤、緑、および青からなる原色系のカラーフィルタ、又は、シアン、マゼンタ、黄、および緑からなる補色系のカラーフィルタを有するとともに、電子楽器から受信した演奏開始指令に応じて、光学部材から入射する略球形の形状で原色系又は補色系の色彩からなる１種類以上の物体（実施形態においては、図３の赤球１０１、青球１０２、緑球１０３、１０４に相当する）の映像を光電変換してカラーの画像信号を出力する撮像素子（実施形態においては、図１６のＭＯＳ撮像素子３１に相当する）と、撮像素子に対して読出信号を繰り返し与えて、各読出信号ごとに撮像素子から出力される画像信号に基づいて物体の色彩および当該物体の略中心位置を検出し、検出した色彩によって種類を識別した当該物体の識別情報およびその略中心位置の移動軌跡を示す位置情報を電子楽器に対して順次出力する検出手段（実施形態においては、図１６の演算処理回路３６に相当する）と、を備え、
電子楽器（実施形態においては、図１の電子楽器２００に相当する）は、
操作に応じて複数種類の指令を入力する入力手段（実施形態においては、図４のスイッチ部２に相当する）と、メロディパートおよびドラムパートを含む複数パートからなる曲を記憶している第１の記憶手段（実施形態においては、図４の曲メモリに相当する）と、入力手段から入力された打楽器演奏の指令に応じて、所定の表示手段（実施形態においては、図４の表示部３に相当する）に対して複数種類の打楽器のリストを送出して表示させる表示制御手段（実施形態においては、図４のＣＰＵ５に相当する）と、入力手段から入力された打楽器選択の指令に応じて、その選択に係る１種類以上の打楽器および当該打楽器に対する演奏の移動軌跡として第２の記憶手段（実施形態においては、図４のプログラムＲＯＭ６に相当する）に予め記憶されている基準演奏パターンを第３の記憶手段（実施形態においては、図４のワークＲＡＭ７に相当する）に記憶して設定する楽器設定手段（実施形態においては、図４のＣＰＵ５に相当する）と、入力手段から入力された曲選択の指令に応じて、第１の記憶手段に記憶されている選択に係る曲のドラムパートを消音処理するパート消音手段（実施形態においては、図４のＣＰＵ５に相当する）と、電子カメラ装置に送信した演奏開始指令に応じて、電子カメラ装置から受信した物体の識別情報および当該物体の移動軌跡を示す位置情報が第２の記憶手段に設定されているいずれかの打楽器の基準演奏パターンと対応するか否かを分析する画像分析定手段（実施形態においては、図４のＣＰＵ５に相当する）と、演奏開始指令に応じて第１の記憶手段から読み出してパート消音手段によってドラムパートが消音処理された曲を再生して第１の楽音信号を発生するとともに、画像分析手段によって物体の識別情報および移動軌跡の位置情報が第２の記憶手段に設定されているいずれかの打楽器の基準演奏パターンと対応することが分析されたときは、当該物体の移動位置が当該基準演奏パターンにおける所定の位置に達したタイミングでその対応する打楽器の音色の第２の楽音信号を発生して、所定の発音手段（実施形態においては、図１のスピーカ４又は図３のヘッドホン装置４００に相当する）に対して当該第１および第２の楽音信号を送出して発音させる信号発生手段（実施形態においては、図４のＣＰＵ５および音源部９に相当する）と、を備えた構成になっている。
【手続補正３】
【補正対象書類名】明細書
【補正対象項目名】０００６
【補正方法】変更
【補正の内容】
【０００６】
上記発明の演奏システムにおいて、電子楽器は、楽器設定手段によって打楽器が設定された後に、入力手段から入力されたテスト演奏の指令に応じて、楽器設定手段によって設定された打楽器を１つの打楽器から順に指定して、その指定した打楽器のテスト演奏を促す情報を出力するとともに、電子カメラ装置に当該指定した打楽器のテスト演奏指令を送信するテスト演奏手段、および、電子カメラ装置にテスト演奏指令を送信した後に、電子カメラ装置から物体の識別情報および移動軌跡を示す位置情報を受信したときは、当該物体の識別情報および移動軌跡を当該指定した打楽器の基準演奏パターンに対応するものとして第３の記憶手段に設定する演奏設定手段（実施形態においては、図４のＣＰＵ５に相当する）をさらに備え、
画像分析手段は、入力手段からテスト演奏の指令が入力された場合には、電子カメラ装置に送信した演奏開始指令に応じて、電子カメラ装置から受信した物体の識別情報および移動軌跡の位置情報が第３の記憶手段に記憶されているテスト演奏に基づく基準演奏パターンと対応するか否かを分析するような構成にしてもよい。
【手続補正４】
【補正対象書類名】明細書
【補正対象項目名】０００７
【補正方法】変更
【補正の内容】
【０００７】
本発明は、電子カメラ装置とコンピュータとの間で通信を行って仮想のドラム演奏を行う演奏システムであって、
電子カメラ装置（実施形態においては、ビデオカメラ装置、又は、図２９のＷｅｂカメラ装置３００、デジタルカメラ装置６００、若しくはカメラ付き携帯電話装置８００に相当する）は、
所定の角度以上の画角を有する光学部材と、赤、緑、および青からなる原色系のカラーフィルタ、又は、シアン、マゼンタ、黄、および緑からなる補色系のカラーフィルタを有するとともに、電子楽器から受信した演奏開始指令に応じて、光学部材から入射する略球形の形状で原色系又は補色系の色彩からなる１種類以上の物体（実施形態においては、図３の赤球１０１、青球１０２、緑球１０３、１０４に相当する）の映像を光電変換してカラーの画像信号を出力する撮像素子（実施形態においては、図１６のＭＯＳ撮像素子３１に相当する）と、撮像素子に対して読出信号を繰り返し与えて、各読出信号ごとに前記撮像素子から出力される画像信号に基づいて物体の色彩および当該物体の略中心位置を検出し、検出した色彩によって識別される識別情報および当該物体の移動軌跡を示す位置情報をコンピュータに対して順次出力する検出手段（実施形態においては、図１６の演算処理回路３６に相当する）と、を備え、
コンピュータ（実施形態においては、図２９のパソコン９００に相当する）は、
操作に応じて複数種類の指令を入力する入力手段（実施形態においては、図３０のスイッチ部９４に相当する）と、メロディパートおよびドラムパートを含む複数パートからなる曲を記憶している第１の記憶手段（実施形態においては、図３０のハードディスク９５に相当する）と、入力手段から入力された打楽器演奏の指令に応じて、所定の表示手段（実施形態においては、図２９の表示部９０に相当する）に対して複数種類の打楽器のリストを送出して表示させる表示制御手段（実施形態においては、図３０のＣＰＵ９１に相当する）と、入力手段から入力された打楽器選択の指令に応じて、その選択に係る１種類以上の打楽器および当該打楽器に対する演奏の移動軌跡として第２の記憶手段（実施形態においては、図３０のプログラムＲＯＭ９２に相当する）に予め記憶されている基準演奏パターンを第３の記憶手段（実施形態においては、図３０のワークＲＡＭ９３に相当する）に記憶して設定する楽器設定手段（実施形態においては、図３０のＣＰＵ９１に相当する）と、入力手段から入力された曲選択の指令に応じて、第１の記憶手段に記憶されている選択に係る曲のドラムパートを消音処理するパート消音手段（実施形態においては、図３０のＣＰＵ９１に相当する）と、電子カメラ装置に送信した演奏開始指令に応じて、電子カメラ装置から受信した物体の識別情報および移動軌跡の位置情報が第３の記憶手段に設定されているいずれかの打楽器の基準演奏パターンと対応するか否かを分析する画像分析定手段（実施形態においては、図３０のＣＰＵ９１に相当する）と、演奏開始指令に応じて第１の記憶手段から読み出してパート消音手段によってドラムパートが消音処理された曲を再生して第１の楽音信号を発生するとともに、画像分析手段によって物体の識別情報および移動軌跡の位置情報が第３の記憶手段に設定されているいずれかの打楽器の基準演奏パターンと対応することが分析されたときは、当該物体の移動位置が当該基準演奏パターンにおける所定の位置に達したタイミングでその対応する打楽器の音色の第２の楽音信号を発生して、所定の発音手段（実施形態においては、図３０のスピーカ９０１に相当する）に対して当該第１および第２の楽音信号を送出して発音させる信号発生手段（実施形態においては、図３０のＣＰＵ９１およびサウンドシステム９６に相当する）と、を備えた構成になっている。
【手続補正５】
【補正対象書類名】図面
【補正対象項目名】図２３
【補正方法】変更
【補正の内容】
【図２３】
2007121355.tif 000033