(57)【特許請求の範囲】
【請求項１】
位置変更モード及び演奏モードのいずれか一方を指定するモード指定手段と、
演奏者が保持可能な演奏部材により特定の演奏操作がなされたタイミングにおいて、撮像装置により前記演奏部材を被写体として撮像することにより得られた撮像画像平面上での前記演奏部材の位置を特定操作位置として検出する特定操作位置検出手段と、
前記特定操作位置検出手段により検出された前記演奏部材の特定操作位置が、前記撮像画像平面上に配置された複数の領域のいずれかに属するか否かを判別する判別手段と、
前記演奏モードが指定されているとき、前記判別手段により、前記演奏部材の特定操作位置が複数の領域のいずれかに属すると判別される毎に、前記属すると判別された領域を位置変更対象領域にするとともに、前記属すると判別された領域に対応する音色の楽音の発音を指示する発音指示手段と、
前記位置変更モードが指定されているとき、前記特定操作位置検出手段により前記演奏部材の特定操作位置を検出するための前記特定の演奏操作がなされた回数をカウントするカウント手段と、
前記位置変更モードが指定されているとき、前記カウント手段によりカウントされた前記回数が所定回数となった場合に、前記所定回数検出された前記位置に基づいて、前記位置変更対象領域とされている領域の位置を変更する位置変更手段と、
を備えたことを特徴とする演奏装置。
【請求項２】
演奏装置として用いられるコンピュータに、
位置変更モード及び演奏モードのいずれか一方を指定するモード指定ステップと、
演奏者が保持可能な演奏部材により特定の演奏操作がなされたタイミングにおいて、撮像装置により前記演奏部材を被写体として撮像することにより得られた撮像画像平面上での前記演奏部材の位置を特定操作位置として検出する特定操作位置検出ステップと、
前記検出された前記演奏部材の特定操作位置が、前記撮像画像平面上に配置された複数の領域のいずれかに属するか否かを判別する判別ステップと、
前記演奏モードが指定されているとき、前記判別ステップにより複数の領域のいずれかに属すると判別される毎に、前記属すると判別された領域を位置変更対象領域にするとともに、前記属すると判別された領域に対応する音色の楽音の発音を指示する発音指示ステップと、
前記位置変更モードが指定されているとき、前記演奏部材の特定操作位置を検出するための前記特定の演奏操作がなされた回数をカウントするカウントステップと、
前記位置変更モードが指定されているとき、前記カウントステップによりカウントされた前記回数が所定回数となった場合に、前記所定回数検出された前記位置に基づいて、前記位置変更対象領域とされている領域の位置を変更する位置変更ステップと、
を実行させることを特徴とするプログラム。
【請求項３】
演奏装置に用いられる演奏方法であって、前記演奏装置が、
位置変更モード及び演奏モードのいずれか一方を指定し、
演奏者が保持可能な演奏部材により特定の演奏操作がなされたタイミングにおいて、撮像装置により前記演奏部材を被写体として撮像することにより得られた撮像画像平面上での前記演奏部材の位置を特定操作位置として検出し、
前記検出された前記演奏部材の特定操作位置が、前記撮像画像平面上に配置された複数の領域のいずれかに属するか否かを判別し、
前記演奏モードが指定されているとき、前記複数の領域のいずれかに属すると判別される毎に、前記属すると判別された領域を位置変更対象領域にするとともに、前記属すると判別された領域に対応する音色の楽音の発音を指示し、
前記位置変更モードが指定されているとき、前記演奏部材の特定操作位置を検出するための前記特定の演奏操作がなされた回数をカウントし、
前記位置変更モードが指定されているとき、前記カウントされた前記回数が所定回数となった場合に、前記所定回数検出された前記位置に基づいて、前記位置変更対象領域とされている領域の位置を変更する、演奏方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、演奏装置、演奏方法及びプログラムに関する。
【背景技術】
【０００２】
従来、演奏者の演奏動作を検知すると、演奏動作に応じた電子音を発音する演奏装置が提案されている。例えば、スティック上の部材のみで打楽器音を発音する演奏装置（エアドラム）が知られている。この演奏装置では、演奏者が、センサを内蔵するスティック状の部材を手で保持して振るといった、あたかもドラムを打撃するような演奏動作をすると、センサが当該演奏動作を検知し、打楽器音が発音される。
このような演奏装置によれば、現実の楽器を必要とせずに当該楽器の楽音を発音することができるため、演奏者は、演奏場所や演奏スペースに制約を受けずに演奏を楽しむことができる。
【０００３】
このような演奏装置として、例えば、特許文献１には、演奏者のスティック状の部材を用いた演奏動作を撮像すると共に、当該演奏動作の撮像画像と、楽器セットを示す仮想画像とを合成した合成画像をモニタに表示し、スティック状の部材と仮想的な楽器セットとの位置情報に応じて所定の楽音を発音するように構成された楽器ゲーム装置が提案されている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特許第３５９９１１５号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、特許文献１に記載の楽器ゲーム装置をそのまま適用した場合、仮想的な楽器セットの配置などのレイアウト情報は予め定められているため、演奏中にレイアウト情報を変更させて演奏のバリエーションを増やすことができなかった。
また、特許文献１に記載の楽器ゲーム装置においてレイアウト情報を変更すること自体は、例えば、楽器ゲーム装置本体にレイアウト設定用のスイッチを設けて当該スイッチを操作するなどの方法を採用することで可能になる。しかしながら、このような方法で演奏中にレイアウト情報を変更すると、楽器ゲーム装置本体の調整画面を見ながらスイッチ操作を行わなければならず、直感的な操作でレイアウト情報を変更させることができなかった。
【０００６】
本発明は、このような状況に鑑みてなされたものであり、仮想的な楽器セットの配置などのレイアウト情報を直感的な操作で変更できる演奏装置を提供することを目的とする。
【課題を解決するための手段】
【０００７】
上記目的を達成するため、本発明の一態様の演奏装置は、
位置変更モード及び演奏モードのいずれか一方を指定するモード指定手段と、
演奏者が保持可能な演奏部材により特定の演奏操作がなされたタイミングにおいて、撮像装置により前記演奏部材を被写体として撮像することにより得られた撮像画像平面上での前記演奏部材の位置を特定操作位置として検出する特定操作位置検出手段と、
前記特定操作位置検出手段により検出された前記演奏部材の特定操作位置が、前記撮像画像平面上に配置された複数の領域のいずれかに属するか否かを判別する判別手段と、
前記演奏モードが指定されているとき、前記判別手段により、前記演奏部材の特定操作位置が複数の領域のいずれかに属すると判別される毎に、前記属すると判別された領域を位置変更対象領域にするとともに、前記属すると判別された領域に対応する音色の楽音の発音を指示する発音指示手段と、
前記位置変更モードが指定されているとき、前記特定操作位置検出手段により前記演奏部材の特定操作位置を検出するための前記特定の演奏操作がなされた回数をカウントするカウント手段と、
前記位置変更モードが指定されているとき、前記カウント手段によりカウントされた前記回数が所定回数となった場合に、前記所定回数検出された前記位置に基づいて、前記位置変更対象領域とされている領域の位置を変更する位置変更手段と、
を備えたことを特徴とする。
【発明の効果】
【０００８】
本発明によれば、仮想的な楽器セットの配置などのレイアウト情報を直感的な操作で変更できる。
【図面の簡単な説明】
【０００９】
【図１】本発明の演奏装置の一実施形態の概要を示す図である。
【図２】上記演奏装置を構成するスティック部のハードウェア構成を示すブロック図である。
【図３】上記スティック部の斜視図である。
【図４】上記演奏装置を構成するカメラユニット部のハードウェア構成を示すブロック図である。
【図５】上記演奏装置を構成するセンターユニット部のハードウェア構成を示すブロック図である。
【図６】本発明の演奏装置の一実施形態に係るセットレイアウト情報を示す図である。
【図７】上記セットレイアウト情報が示す概念を仮想平面上で可視化した図である。
【図８】上記スティック部の処理の流れを示すフローチャートである。
【図９】上記カメラユニット部の処理の流れを示すフローチャートである。
【図１０】上記センターユニット部の処理の流れを示すフローチャートである。
【図１１】上記センターユニット部のパッド位置調整処理の流れを示すフローチャートである。
【図１２】パッド位置調整の例を示す図である。
【発明を実施するための形態】
【００１０】
以下、本発明の実施形態について、図面を用いて説明する。
【００１１】
［演奏装置１の概要］
初めに、図１を参照して、本発明の一実施形態としての演奏装置１の概要について説明する。
図１（１）に示すように、本実施形態の演奏装置１は、スティック部１０Ｒ，１０Ｌと、カメラユニット部２０と、センターユニット部３０と、を含んで構成される。本実施形態の演奏装置１は、２本のスティックを用いた仮想的なドラム演奏を実現するため、２つのスティック部１０Ｒ，１０Ｌを備えることとしているが、スティック部の数は、これに限られず１つとしてもよく、３つ以上としてもよい。なお、以下では、スティック部１０Ｒ，１０Ｌを個々に区別する必要がない場合には、両者を総称して「スティック部１０」と呼ぶ。
【００１２】
スティック部１０は、長手方向に延びるスティック状の演奏部材である。演奏者は、スティック部１０の一端（根元側）を手に持ち、手首などを中心として振り上げたり振り下ろす動作を、演奏動作として行う。このような演奏者の演奏動作を検知するため、スティック部１０の他端（先端側）には、加速度センサ及び角速度センサなどの各種センサが設けられている（後述のモーションセンサ部１４）。スティック部１０は、これらの各種センサにより検知された演奏動作に基づいて、センターユニット部３０にノートオンイベントを送信する。
また、スティック部１０の先端側には、後述するマーカー部１５（図２参照）が設けられており、撮像時にカメラユニット部２０がスティック部１０の先端を判別可能に構成されている。
【００１３】
カメラユニット部２０は、光学式の撮像装置として構成され、スティック部１０を保持して演奏動作を行う演奏者を被写体として含む空間（以下、「撮像空間」と呼ぶ）を、所定のフレームレートで撮像し、動画像のデータとして出力する。カメラユニット部２０は、撮像空間内における発光中のマーカー部１５の位置座標を特定し、当該位置座標を示すデータ（以下、「位置座標データ」と呼ぶ）をセンターユニット部３０に送信する。
【００１４】
センターユニット部３０は、スティック部１０からノートオンイベントを受信すると、受信時のマーカー部１５の位置座標データに応じて、所定の楽音を発音する。具体的には、センターユニット部３０は、カメラユニット部２０の撮像空間に対応付けて、図１（２）に示す仮想ドラムセットＤの位置座標データを記憶しており、当該仮想ドラムセットＤの位置座標データと、ノートオンイベント受信時のマーカー部１５の位置座標データとに基づいて、スティック部１０が仮想的に打撃した楽器を特定し、当該楽器に対応する楽音を発音する。
【００１５】
次に、このような本実施形態の演奏装置１の構成について具体的に説明する。
【００１６】
［演奏装置１の構成］
初めに、図２〜図５を参照して、本実施形態の演奏装置１の各構成要素、具体的には、スティック部１０、カメラユニット部２０及びセンターユニット部３０の構成について説明する。
【００１７】
［スティック部１０の構成］
図２は、スティック部１０のハードウェア構成を示すブロック図である。
図２に示すように、スティック部１０は、ＣＰＵ１１（Ｃｅｎｔｒａｌ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ）と、ＲＯＭ（Ｒｅａｄ  Ｏｎｌｙ  Ｍｅｍｏｒｙ）１２と、ＲＡＭ（Ｒａｎｄｏｍ  Ａｃｃｅｓｓ  Ｍｅｍｏｒｙ）１３と、モーションセンサ部１４と、マーカー部１５と、データ通信部１６と、スイッチ操作検出回路１７と、を含んで構成される。
【００１８】
ＣＰＵ１１は、スティック部１０全体の制御を実行し、例えば、モーションセンサ部１４から出力されるセンサ値に基づいて、スティック部１０の姿勢の検知、ショット検出及びアクション検出に加え、マーカー部１５の発光・消灯などの制御を実行する。このとき、ＣＰＵ１１は、マーカー特徴情報をＲＯＭ１２から読み出し、当該マーカー特徴情報に従い、マーカー部１５の発光制御を実行する。また、ＣＰＵ１１は、データ通信部１６を介して、センターユニット部３０との間の通信制御を実行する。
【００１９】
ＲＯＭ１２は、ＣＰＵ１１により各種処理が実行されるための処理プログラムを格納する。また、ＲＯＭ１２は、マーカー部１５の発光制御に用いるマーカー特徴情報を格納する。ここで、カメラユニット部２０は、スティック部１０Ｒのマーカー部１５（以下、「第１マーカー」と適宜呼ぶ）と、スティック部１０Ｌのマーカー部１５（以下、「第２マーカー」と適宜呼ぶ）とを区別する必要がある。マーカー特徴情報とは、第１マーカーと第２マーカーとをカメラユニット部２０が区別するための情報であり、例えば、発光時の形状、大きさ、色相、彩度、あるいは輝度に加え、発光時の点滅スピードなどを用いることができる。
スティック部１０ＲのＣＰＵ１１及びスティック部１０ＬのＣＰＵ１１は、夫々異なるマーカー特徴情報を読み出し、夫々のマーカーの発光制御を実行する。
【００２０】
ＲＡＭ１３は、モーションセンサ部１４が出力した各種センサ値など、処理において取得され又は生成された値を格納する。
【００２１】
モーションセンサ部１４は、スティック部１０の状態を検知するための各種センサであり、所定のセンサ値を出力する。ここで、モーションセンサ部１４を構成するセンサとしては、例えば、加速度センサ、角速度センサ及び磁気センサなどを用いることができる。
【００２２】
図３は、スティック部１０の斜視図であり、外部にはスイッチ部１７１とマーカー部１５が配置されている。
演奏者は、スティック部１０の一端（根元側）を保持し、手首などを中心とした振り上げ振り下ろし動作を行うことで、スティック部１０に対して運動を生じさせる。その際にこの運動に応じたセンサ値がモーションセンサ部１４から出力されるようになっている。
【００２３】
モーションセンサ部１４からのセンサ値を受け付けたＣＰＵ１１は、演奏者が持っているスティック部１０の状態、を検知する。一例としては、ＣＰＵ１１は、スティック部１０による仮想的な楽器の打撃タイミング（以下、「ショットタイミング」とも呼ぶ）を検知する。ショットタイミングは、スティック部１０が振り下ろされてから停止される直前のタイミングであり、スティック部１０にかかる振り下ろし方向とは逆向きの加速度の大きさがある閾値を超えたタイミングである。
【００２４】
図２に戻り、マーカー部１５は、スティック部１０の先端側に設けられた発光体であり、例えばＬＥＤなどで構成され、ＣＰＵ１１からの制御に応じて発光及び消灯する。具体的には、マーカー部１５は、ＣＰＵ１１によってＲＯＭ１２から読み出されたマーカー特徴情報に基づいて発光する。このとき、スティック部１０Ｒのマーカー特徴情報と、スティック部１０Ｌのマーカー特徴情報とは異なるため、カメラユニット部２０は、スティック部１０Ｒのマーカー部（第１マーカー）の位置座標と、スティック部１０Ｌのマーカー部（第２マーカー）の位置座標とを個々に区別し取得することができる。
【００２５】
データ通信部１６は、少なくともセンターユニット部３０との間で所定の無線通信を行う。所定の無線通信は、任意の方法で行うこととしてよく、本実施形態では、赤外線通信によりセンターユニット部３０との間での無線通信を行う。なお、データ通信部１６は、カメラユニット部２０との間で無線通信を行うこととしてもよく、また、スティック部１０Ｒ及びスティック部１０Ｌとの間で無線通信を行うこととしてもよい。
【００２６】
スイッチ操作検出回路１７は、スイッチ１７１と接続され、当該スイッチ１７１を介した入力情報を受け付ける。入力情報としては、例えば、後述するセットレイアウト情報の仮想パッドの位置を変更するためのトリガーとなる信号などが含まれる。このスイッチ１７１は、「パッド位置調整スイッチ」と適宜呼ぶ。
【００２７】
［カメラユニット部２０の構成］
スティック部１０の構成についての説明は、以上である。続いて、図４を参照して、カメラユニット部２０の構成について説明する。
図４は、カメラユニット部２０のハードウェア構成を示すブロック図である。
カメラユニット部２０は、ＣＰＵ２１と、ＲＯＭ２２と、ＲＡＭ２３と、イメージセンサ部２４と、データ通信部２５と、を含んで構成される。
【００２８】
ＣＰＵ２１は、カメラユニット部２０全体の制御を実行し、例えば、イメージセンサ部２４が検出したマーカー部１５の位置座標データ及びマーカー特徴情報に基づいて、スティック部１０Ｒ、１０Ｌのマーカー部１５（第１マーカー及び第２マーカー）の夫々の位置座標を算出し、夫々の算出結果を示す位置座標データを出力する制御を実行する。また、ＣＰＵ２１は、データ通信部２５を介して、算出した位置座標データなどをセンターユニット部３０に送信する通信制御を実行する。
【００２９】
ＲＯＭ２２は、ＣＰＵ２１により各種処理が実行されるための処理プログラムを格納する。ＲＡＭ２３は、イメージセンサ部２４が検出したマーカー部１５の位置座標データなど、処理において取得され又は生成された値を格納する。また、ＲＡＭ２３は、センターユニット部３０から受信したスティック部１０Ｒ、１０Ｌの夫々のマーカー特徴情報も併せて格納する。
【００３０】
イメージセンサ部２４は、例えば、光学式のカメラであり、スティック部１０を持って演奏動作を行う演奏者の動画を所定のフレームレートで撮像する。また、イメージセンサ部２４は、フレームごとの撮像データをＣＰＵ２１に出力する。なお、撮像画像内におけるスティック部１０のマーカー部１５の位置座標の特定については、イメージセンサ部２４が行うこととしてもよく、ＣＰＵ２１が行うこととしてもよい。同様に、撮像したマーカー部１５のマーカー特徴情報についても、イメージセンサ部２４が特定することとしてもよく、ＣＰＵ２１が特定することとしてもよい。
【００３１】
データ通信部２５は、少なくともセンターユニット部３０との間で所定の無線通信（例えば、赤外線通信）を行う。なお、データ通信部１６は、スティック部１０との間で無線通信を行うこととしてもよい。
【００３２】
［センターユニット部３０の構成］
カメラユニット部２０の構成についての説明は、以上である。続いて、図５を参照して、センターユニット部３０の構成について説明する。
図５は、センターユニット部３０のハードウェア構成を示すブロック図である。
センターユニット部３０は、ＣＰＵ３１と、ＲＯＭ３２と、ＲＡＭ３３と、スイッチ操作検出回路３４と、表示回路３５と、音源装置３６と、データ通信部３７と、を含んで構成される。
【００３３】
ＣＰＵ３１は、センターユニット部３０全体の制御を実行し、例えば、スティック部１０から受信したショット検出及びカメラユニット部２０から受信したマーカー部１５の位置座標に基づいて、所定の楽音を発音する制御などを実行する。また、ＣＰＵ３１は、データ通信部３７を介して、スティック部１０及びカメラユニット部２０との間の通信制御を実行する。
【００３４】
ＲＯＭ３２は、ＣＰＵ３１の実行する各種処理の処理プログラムを格納する。また、ＲＯＭ３２は、種々の音色の波形データ、例えば、フルート、サックス、トランペットなどの管楽器、ピアノなどの鍵盤楽器、ギターなどの弦楽器、バスドラム、ハイハット、スネア、シンバル、タムなど打楽器の波形データ（音色データ）を、位置座標などと対応付けて格納する。
【００３５】
音色データ等の格納方法としては、例えば、図６にセットレイアウト情報として示すように、セットレイアウト情報は、第１パッド〜第ｎパッドまでのｎ個のパッド情報を有しており、さらに各パッド情報にパッドの有無（後述する仮想平面における仮想パッドの存在の有無）、位置（後述する仮想平面における位置座標）、サイズ（仮想パッドの形状及び径など）、及び音色（波形データ）などが対応づけられて格納されている。
【００３６】
ここで、図７を参照して、具体的なセットレイアウトについて説明する。図７は、センターユニット部３０のＲＯＭ３２に格納されたセットレイアウト情報（図６参照）が示す概念を仮想平面上で可視化した図である。
図７は、６個の仮想パッド８１が仮想平面上に配置されている様子を示しており、各仮想パッド８１には、第１パッド〜第ｎパッドのうち、パッド有無データが「パッド有」となっているものが対応している。例えば、第２パッド、第３パッド、第５パッド、第６パッド、第８パッド、第９パッドの６つが対応している。さらに、位置データとサイズデータに基づいて仮想パッド８１が配置されている。さらにまた、各仮想パッド８１に音色データが対応付けられている。したがって、ショット検出時におけるマーカー部１５の位置座標が各仮想パッド８１に対応する領域に属した場合、各仮想パッド８１に対応する音色が発音される。
なお、ＣＰＵ３１は、この仮想平面を仮想パッド８１配置と共に後述する表示装置３５１に表示してもよい。
また、本実施形態において、この仮想平面での位置座標は、カメラユニット部２０の撮像画像での位置座標と一致するものとする。
【００３７】
図５に戻って、ＲＡＭ３３は、スティック部１０から受信したスティック部１０の状態（ショット検出など）、カメラユニット部２０から受信したマーカー部１５の位置座標、及び、ＲＯＭ３２から読み出されたセットレイアウト情報など、処理において取得され又は生成された値を格納する。
ショット検出時（すなわち、ノートオンイベント受信時）にマーカー部１５の位置座標が属する領域の仮想パッド８１に対応する音色データ（波形データ）を、ＲＡＭ３３に格納されたセットレイアウト情報から、ＣＰＵ３１が読み出すことで、演奏者の演奏動作に応じた楽音が発音される。
【００３８】
スイッチ操作検出回路３４は、スイッチ３４１と接続され、当該スイッチ３４１を介した入力情報を受け付ける。入力情報としては、例えば、発音する楽音の音量や発音する楽音の音色の変更、セットレイアウト番号の設定及び変更、表示装置３５１の表示の切り替えなどが含まれる。
また、表示回路３５は、表示装置３５１と接続され、表示装置３５１の表示制御を実行する。
【００３９】
音源装置３６は、ＣＰＵ３１からの指示にしたがって、ＲＯＭ３２から波形データを読み出して、楽音データを生成すると共に、楽音データをアナログ信号に変換し、図示しないスピーカから楽音を発音する。
また、データ通信部３７は、スティック部１０及びカメラユニット部２０との間で所定の無線通信（例えば、赤外線通信）を行う。
【００４０】
［演奏装置１の処理］
以上、演奏装置１を構成するスティック部１０、カメラユニット部２０及びセンターユニット部３０の構成について説明した。続いて、図８〜図１１を参照して、演奏装置１の処理について説明する。
【００４１】
［スティック部１０の処理］
図８は、スティック部１０が実行する処理（以下、「スティック部処理」と呼ぶ）の流れを示すフローチャートである。
図８を参照して、スティック部１０のＣＰＵ１１は、モーションセンサ部１４からモーションセンサ情報、すなわち、各種センサが出力するセンサ値を読み出し、ＲＡＭ１３に格納する（ステップＳ１）。その後、ＣＰＵ１１は、読み出したモーションセンサ情報に基づいて、スティック部１０の姿勢検知処理を実行する（ステップＳ２）。姿勢検知処理では、ＣＰＵ１１は、モーションセンサ情報に基づいて、スティック部１０の姿勢、例えば、スティック部１０のロール角及びピッチ角などを算出する。
【００４２】
続いて、ＣＰＵ１１は、モーションセンサ情報に基づいて、ショット検出処理を実行する（ステップＳ３）。ここで、演奏者がスティック部１０を用いて演奏を行う場合、一般には、現実の楽器（例えば、ドラム）を打撃する動作と同様の演奏動作を行う。このような演奏動作では、演奏者は、まずスティック部１０を振り上げ、それから仮想的な楽器に向かって振り下ろす。そしてスティック部１０を仮想的な楽器に打撃する寸前に、スティック部１０の動作を止めようとする力を働かせる。このとき、演奏者は、仮想的な楽器にスティック部１０を打撃した瞬間に楽音が発生することを想定しているため、演奏者が想定するタイミングで楽音を発生できるのが望ましい。そこで、本実施形態では、演奏者が仮想的な楽器の面にスティック部１０を打撃する瞬間又はそのわずかに手前のタイミングで楽音を発音することとしている。
【００４３】
本実施形態においては、ショット検出のタイミングは、スティック部１０が振り下ろされてから停止される直前のタイミングであり、スティック部１０にかかる振り下ろし方向とは逆向きの加速度の大きさがある閾値を超えたタイミングである。
このショット検出のタイミングを発音タイミングとし、発音タイミングが到来したと判断されると、スティック部１０のＣＰＵ１１は、ノートオンイベントを生成し、センターユニット部３０に送信する。これにより、センターユニット部３０において、発音処理が実行されて、楽音が発音される。
ステップＳ３に示すショット検出処理では、モーションセンサ情報（例えば、加速度センサのセンサ合成値）に基づいて、ノートオンイベントを生成する。このとき、生成するノートオンイベントには、発音する楽音の音量を含めることとしてもよい。なお、楽音の音量は、例えば、センサ合成値の最大値から求めることができる。
【００４４】
続いて、ＣＰＵ１１は、スイッチ１７１が操作されたことを検出するスイッチ操作検出処理を実行する（ステップＳ４）。この処理では、ＣＰＵ１１は、スイッチ１７１に押圧操作等の操作がなされた場合に、スイッチ操作検出回路１７からスイッチ１７１が操作されたことを示す信号を受信し、スティックスイッチ情報を「操作検出有り」としてＲＡＭ１３に格納する。また、ＣＰＵ１１は、スイッチ操作検出回路１７からスイッチ１７１が操作されたことを示す信号を受信しなかった場合、スティックスイッチ情報を「操作検出無し」としてＲＡＭ１３に格納する。
【００４５】
続いて、ＣＰＵ１１は、ステップＳ１乃至ステップＳ４の処理で検出した情報、すなわち、モーションセンサ情報、姿勢情報、ショット情報及びスイッチ操作情報を、データ通信部１６を介してセンターユニット部３０に送信する（ステップＳ５）。このとき、ＣＰＵ１１は、スティック識別情報と対応付けて、モーションセンサ情報、姿勢情報、ショット情報及びスティックスイッチ情報をセンターユニット部３０に送信する。
これにより、処理はステップＳ１に戻され、それ以降の処理が繰り返される。
【００４６】
［カメラユニット部２０の処理］
図９は、カメラユニット部２０が実行する処理（以下、「カメラユニット部処理」と呼ぶ）の流れを示すフローチャートである。
図９を参照して、カメラユニット部２０のＣＰＵ２１は、イメージデータ取得処理を実行する（ステップＳ１１）。この処理では、ＣＰＵ２１は、イメージセンサ部２４からイメージデータを取得する。
【００４７】
続いて、ＣＰＵ２１は、第１マーカー検出処理（ステップＳ１２）及び第２マーカー検出処理（ステップＳ１３）を実行する。これらの処理では、ＣＰＵ２１は、イメージセンサ部２４が検出した、スティック部１０Ｒのマーカー部１５（第１マーカー）及びスティック部１０Ｌのマーカー部１５（第２マーカー）の位置座標、サイズ、角度などのマーカー検出情報を、取得しＲＡＭ２３に格納する。このとき、イメージセンサ部２４は、発光中のマーカー部１５について、マーカー検出情報を検出する。
【００４８】
続いて、ＣＰＵ２１は、ステップＳ１２及びステップＳ１３で取得したマーカー検出情報を、データ通信部２５を介してセンターユニット部３０に送信し（ステップＳ１４）、ステップＳ１１に処理を移行させる。
【００４９】
［センターユニット部３０の処理］
図１０は、センターユニット部３０が実行する処理（以下、「センターユニット部処理」と呼ぶ）の流れを示すフローチャートである。
図１０を参照して、センターユニット部３０のＣＰＵ３１は、カメラユニット部２０から、第１マーカー及び第２マーカー夫々のマーカー検出情報を受信し、ＲＡＭ３３に格納する（ステップＳ２１）。また、ＣＰＵ３１は、スティック部１０Ｒ、１０Ｌの夫々から、スティック識別情報と対応付けられたモーションセンサ情報、姿勢情報、ショット情報及びスティックスイッチ情報を受信し、ＲＡＭ３３に格納する（ステップＳ２２）。さらに、ＣＰＵ３１は、スイッチ３４１の操作により入力された情報を取得する（ステップＳ２３）。
【００５０】
続いて、ＣＰＵ３１は、パッド位置調整スイッチが操作されたか否かを判断する（ステップＳ２４）。ＣＰＵ３１は、ステップＳ２２で受信したスティックスイッチ情報が「操作検出有り」の場合、パッド位置調整スイッチが操作されたと判断する。
【００５１】
ステップＳ２４でＹＥＳと判断された場合には、ＣＰＵ３１は、パッド位置調整フラグをオンにする（ステップＳ２５）。なお、パッド位置調整フラグがオンである場合に、仮想平面の任意の位置がショットされた場合、後述するステップＳ３１でパッド位置調整対象となった仮想パッド８１に対応する音色が発音される。
【００５２】
ステップＳ２４でＮＯと判断された場合、又はステップＳ２５の処理の後、ＣＰＵ３１は、ショットありか否かを判断する（ステップＳ２６）。この処理では、ＣＰＵ３１は、スティック部１０からノートオンイベントを受信したか否かにより、ショットの有無を判断する。このとき、ショットありと判断した場合には、ＣＰＵ３１は、パッド位置調整中か否かを判断する（ステップＳ２７）。ショット無しと判断した場合には、ＣＰＵ３１は、処理をステップＳ２１に移行させる。ＣＰＵ３１は、パッド位置調整フラグがオンである場合、パッド位置調整中であると判断し、オフの場合パッド位置調整中ではないと判断する。
【００５３】
ステップＳ２７でパッド位置調整中と判断された場合には、ＣＰＵ３１は、図１１を参照して後述するパッド位置調整処理を行い（ステップＳ２８）、パッド位置決定か否かを判断する（ステップＳ２９）。ＣＰＵ３１は、後述するパッド位置決定フラグがオンの場合パッド位置決定と判断し、オフの場合、パッド位置決定でないと判断する。
【００５４】
パッド位置決定でないと判断された場合には、ＣＰＵ３１は、処理をステップＳ２１に移行させ、パッド位置決定と判断された場合には、ＣＰＵ３１は、パッド位置調整フラグ及びパッド位置決定フラグをオフにして（ステップＳ３０）、処理をステップＳ２１に移行させる。
【００５５】
ステップＳ２７でパッド位置調整中でないと判断された場合には、ＣＰＵ３１は、ショット情報処理を実行する（ステップＳ３１）。ショット情報処理では、ＣＰＵ３１は、ＲＡＭ３３に読み出されたセットレイアウト情報から、マーカー検出情報に含まれる位置座標が属する領域の仮想パッド８１に対応する音色データ（波形データ）を読み出し、ノートオンイベントに含まれる音量データと共に音源装置３６に出力する。すると、音源装置３６は、受け取った波形データに基づいて該当する楽音を発音する。また、マーカー検出情報に含まれる位置座標が属する領域の仮想パッド８１を、図１１を参照して後述するパッド位置調整処理におけるパッド位置調整対象の仮想パッドとする。さらに、ステップＳ３１の前回の処理でパッド位置調整対象となった仮想パッド８１をパッド位置調整対象外とする。このようにすることで、直近にショットされた仮想パッド８１をパッド位置調整対象とすることができる。ステップＳ３１の処理が終了すると、ＣＰＵ３１は、ステップＳ２１に処理を移行させる。
【００５６】
［センターユニット部３０のパッド位置調整処理］
図１１は、図１０のセンターユニット部処理のうち、ステップＳ２８のパッド位置調整処理の詳細な流れを示すフローチャートである。
図１１を参照して、ＣＰＵ３１は、ショット回数がクリアされているか否かを判断し（ステップＳ４１）、クリアされていると判断された場合には、ショット回数を０とする（ステップＳ４２）。
【００５７】
ステップＳ４１でクリアされていないと判断された場合、又は、ステップＳ４２の処理が終了した場合、ＣＰＵ３１は、マーカー検出情報に基づいてショット位置を記録する（ステップＳ４３）。ショット位置は、ショットタイミングにカメラユニット部２０の撮像画像内の位置座標であり、上述したように、本実施形態では、当該撮像画像内の位置座標は、仮想平面における位置座標と一致する。
【００５８】
続いて、ＣＰＵ３１は、ショット回数を１増加させ（ステップＳ４４）、ショット回数の値が４になったか否かを判断する（ステップＳ４５）。ショット回数の値が４になったと判断されない場合には、ＣＰＵ３１は、パッド位置調整処理を終了する。
【００５９】
ショット回数の値が４になったと判断された場合には、ＣＰＵ３１は、ショット位置の平均位置を算出する（ステップＳ４６）。この処理では、４つのショット位置の平均の位置座標を算出する。続いて、ＣＰＵ３１は、算出された平均の位置座標で定められる仮想平面上の位置へパッド位置調整対象の仮想パッド８１を移動させる。さらに、ＣＰＵ３１は、パッド位置決定フラグをオンにする（ステップＳ４７）。
【００６０】
続いて、ＣＰＵ３１は、ショット回数をクリアし（ステップＳ４８）、パッド位置調整処理を終了する。
【００６１】
［パッド位置調整のイメージ］
図１２は、パッド位置調整の例を示した図である。この図によれば、上述したセンターユニット部処理及びパッド位置調整処理で述べたように、パッド位置調整フラグがオフである場合に直近にショットされたパッド８１が、パッド位置調整対象の仮想パッドと指定され、仮想平面上の任意の位置が４回ショットされ、４回ショットされた位置の平均位置にパッド位置調整対象の仮想パッド８１が移動された様子が示されている。
【００６２】
以上、本実施形態の演奏装置１の構成及び処理について説明した。
本実施形態においては、ＣＰＵ３１は、検出されたショットタイミングでの位置座標が複数の仮想パッド８１のいずれかの領域に属した場合、この属した領域の仮想パッド８１を位置変更対象と指定し、検出されたショットタイミングでの位置座標に基づいて、位置変更対象と指定された仮想パッド８１の変更後の位置を決定し、決定された位置に位置変更対象と指定された仮想パッド８１の位置を変更する。
よって、演奏者がショットした仮想パッドを位置変更対象とされ、さらにショットした位置に基づいて、変更後の位置を決定されるので、仮想パッド８１の位置を直感的な操作で変更できる。
したがって、仮想パッドを好みの位置に配置できるので、曲の演奏を容易に行うことができる。また、通常のドラムセットでは不可能な演奏をすることが可能となる。
【００６３】
また、本実施形態においては、スティック部１０は、楽音の発音を指示する演奏モードを、仮想パッド８１の変更位置の決定及び決定された位置への変更を実行する位置変更モードに切り替えるスイッチ１７１を備えており、ＣＰＵ３１は、演奏モードにおけるショットタイミングのうち、直近のショットタイミングにおいて位置変更対象の仮想パッド８１を指定し、スイッチ１７１の操作により演奏モードが位置変更モードに切り替えられたことを条件として、指定された仮想パッド８１の変更後の位置を決定する。
よって、演奏モードにおいて直近にショットされた仮想パッド８１が常に位置変更対象となるので、演奏者は、位置変更対象の仮想パッド８１を容易に指定できる。
【００６４】
また、本実施形態においては、ＣＰＵ３１は、位置変更モードにおいて、ショットタイミングでの位置座標が検出された回数をカウントし、カウントされた回数が４回となった場合に、４回分の位置座標の平均値に基づいて、仮想パッド８１の変更後の位置を決定する。
よって、４回分のショット位置が多少ばらついたとしても、所望の位置へ仮想パッド８１を変更できる。また、１回目のショット位置が所望する変更位置でなかった場合でも、２回目以降のショット位置を所望する変更位置に近づけることで、演奏者の所望の位置へ仮想パッド８１を変更できる。
【００６５】
以上、本発明の実施形態について説明したが、実施形態は例示に過ぎず、本発明の技術的範囲を限定するものではない。本発明はその他の様々な実施形態を取ることが可能であり、さらに、本発明の要旨を逸脱しない範囲で、省略や置換など種々の変更を行うことができる。これら実施形態やその変形は、本明細書などに記載された発明の範囲や要旨に含まれると共に、特許請求の範囲に記載された発明とその均等の範囲に含まれる。
【００６６】
上記実施形態では、仮想的な打楽器として仮想ドラムセットＤ（図１参照）を例にとって説明したが、これに限られるものではなく、本発明は、スティック部１０の振り下ろし動作で楽音を発音する木琴など他の楽器に適用することができる。
【００６７】
また、上記実施形態では、仮想パッド８１の位置を変更させるためのショット回数は４回としたが、これに限られず、１〜３回、又は、５回以上であってもよい。
【００６８】
以下に、本願の出願当初の特許請求の範囲に記載された発明を付記する。
［付記１］
演奏者が保持可能な演奏部材と、
前記演奏部材を被写体とする撮像画像を撮像すると共に、前記撮像画像平面上の前記演奏部材の位置座標を検出する撮像装置と、
前記撮像画像平面に配置された複数の領域の位置及び当該複数の領域夫々に音色を対応させたレイアウト情報を記憶する記憶手段と、
位置変更モード及び演奏モードのいずれか一方を指定するモード指定手段と、
前記演奏部材により特定の演奏操作がなされたタイミングでの前記撮像画像平面上の前記演奏部材の位置を検出する特定操作位置検出手段と、
前記特定操作位置検出手段により検出された前記演奏部材の位置が、前記レイアウト情報に基づいて配置された複数の領域のいずれかに属するか否かを判別する判別手段と、
前記位置変更モードが指定されているとき、前記判別手段により、前記演奏部材の位置が前記複数の領域のいずれかに属すると判別された場合、当該属するとされた領域の位置を、前記位置座標に基づいて変更するとともに、当該変更された位置に基づいて前記記憶手段に記憶されたレイアウト情報を変更する位置変更手段と、
前記演奏モードが指定されているとき、前記判別手段により複数の領域のいずれかに属すると判別された場合に、当該属すると判別された領域に対応する音色の楽音の発音を指示する発音指示手段と、
を備えたことを特徴とする演奏装置。
［付記２］
前記特定操作位置検出手段により前記演奏部材の位置が検出された回数をカウントするカウント手段をさらに備え、
前記位置変更手段は、前記カウント手段によりカウントされた前記回数が所定回数となった場合に、前記所定回数検出された前記位置に基づいて、前記属するとされた領域の位置を変更する、
ことを特徴とする付記１に記載の演奏装置。
[付記３]
演奏者が保持可能な演奏部材と、前記演奏部材を被写体とする撮像画像を撮像すると共に、前記撮像画像平面上の前記演奏部材の位置座標を検出する撮像装置と、前記撮像画像平面に配置された複数の領域の位置及び当該複数の領域夫々に音色を対応させたレイアウト情報を記憶する記憶手段と、位置変更モード及び演奏モードのいずれか一方を指定するモード指定手段と、を有する演奏装置として用いられるコンピュータに、
前記演奏部材により特定の演奏操作がなされたタイミングでの前記撮像画像平面上の前記演奏部材の位置を検出する特定操作位置検出ステップと、
前記検出された前記演奏部材の位置が、前記レイアウト情報に基づいて配置された複数の領域のいずれかに属するか否かを判別する判別ステップと、
前記位置変更モードが指定されているとき、前記演奏部材の位置が前記複数の領域のいずれかに属すると判別された場合、当該属するとされた領域の位置を、前記位置座標に基づいて変更するとともに、当該変更された位置に基づいて前記記憶手段に記憶されたレイアウト情報を変更する位置変更ステップと、
前記演奏モードが指定されているとき、前記判別手段により複数の領域のいずれかに属すると判別された場合に、当該属すると判別された領域に対応する音色の楽音の発音を指示する発音指示ステップと、
を実行させることを特徴とするプログラム。
【符号の説明】
【００６９】
１・・・演奏装置、１０・・・スティック部、１１・・・ＣＰＵ、１２・・・ＲＯＭ、１３・・・ＲＡＭ、１４・・・モーションセンサ部、１５・・・マーカー部、１６・・・データ通信部、１７・・・スイッチ操作検出回路、１７１・・・スイッチ、２０・・・カメラユニット部、２１・・・ＣＰＵ、２２・・・ＲＯＭ、２３・・・ＲＡＭ、２４・・・イメージセンサ部、２５・・・データ通信部、３０・・・センターユニット、３１・・・ＣＰＵ、３２・・ＲＯＭ、３３・・・ＲＡＭ、３４・・・スイッチ操作検出回路、３４１・・・スイッチ、３５・・・表示回路、３５１・・・表示装置、３６・・・音源装置、３７・・・データ通信部、８１・・・仮想パッド
【図１】
0006024136.tif 000002
【図２】
0006024136.tif 000003
【図３】
0006024136.tif 000004
【図４】
0006024136.tif 000005
【図５】
0006024136.tif 000006
【図６】
0006024136.tif 000007
【図７】
0006024136.tif 000008
【図８】
0006024136.tif 000009
【図９】
0006024136.tif 000010
【図１０】
0006024136.tif 000011
【図１１】
0006024136.tif 000012
【図１２】
0006024136.tif 000013