(57)【要約】      （修正有）【課題】演奏者が移動した場合であっても、仮想的な楽器セットの配置が演奏者の位置に応じて適切に変更されることで、無理な体勢で演奏しなくて済むことができる演奏装置を提供する。【解決手段】セットレイアウト情報は、複数の仮想パッド８１夫々の配置の基準となる基準セットレイアウト情報を有し、ＣＰＵは、一対のスティック部に対して正方形を形成する操作がなされたか否かを判別し、正方形を形成する操作がなされたと判別された場合に、基準セットレイアウト情報に対応する撮像画像平面上の予め定められた位置座標と、正方形を形成する操作がなされた場合での撮像画像平面上の一対のスティック部の位置座標とに基づいて、複数の仮想パッド８１夫々の配置を一律に調整する。【選択図】図７
2013190695.tif 000002
【特許請求の範囲】
【請求項１】
演奏者が保持可能な演奏部材と、
前記演奏部材を被写体とする撮像画像を撮像すると共に、前記撮像画像平面上の前記演奏部材の位置を検出する撮像装置と、
前記撮像画像平面に配置された複数の領域の位置及び当該複数の領域夫々に音色を対応させたレイアウト情報を記憶する記憶手段と、
前記演奏部材に対して所定の操作がなされたか否かを判別する所定操作判別手段と、
前記所定の操作がなされたと判別された場合に、当該所定の操作がなされたときの前記演奏部材の位置に基づき、前記記憶手段に記憶されたレイアウト情報内の複数の領域夫々の位置を一律に変更する変更手段と、
前記演奏部材により特定の演奏操作がなされたタイミングにおいて、前記演奏部材の位置が、前記記憶手段に記憶されたレイアウト情報に基づいて配置された複数の領域のいずれかに属するか否かを判別する判別手段と、
この判別手段により領域に属すると判別された場合に、当該領域に対応する音色の楽音の発音を指示する発音指示手段と、
を備えた演奏装置。
【請求項２】
前記レイアウト情報はさらに、前記複数の領域夫々のサイズが対応付けられ、
前記変更手段は、前記記憶手段に記憶された複数の領域の夫々の位置を基準とした位置変化量、及び前記記憶手段に記憶された複数の領域の夫々のサイズを基準としたサイズ変化率を一律に算出し、当該算出された前記位置変化量及び前記サイズ変化率に基づいて、前記記憶手段に記憶された複数の領域の夫々の位置及びサイズを変更する、請求項１に記載の演奏装置。
【請求項３】
前記演奏部材は、前記演奏部材本体の姿勢を検出する姿勢検出手段をさらに備え、
前記所定操作判別手段は、前記姿勢検出手段により検出された姿勢が所定の姿勢であり、かつ、前記撮像画像平面上における前記演奏部材の位置の間に所定の条件が成立する場合に、前記所定の操作がなされたと判別する、
ことを特徴とする請求項１又は２に記載の演奏装置。
【請求項４】
演奏者が保持可能な演奏部材と、前記演奏部材を被写体とする撮像画像を撮像すると共に、前記撮像画像平面上の前記演奏部材の位置座標を検出する撮像装置と、  前記撮像画像平面に配置された複数の領域の位置及び当該複数の領域夫々に音色を対応させたレイアウト情報を記憶する記憶手段と、を有する演奏装置として用いられるコンピュータに、
前記演奏部材に対して所定の操作がなされたか否かを判別する所定操作判別ステップと、
前記所定の操作がなされたと判別された場合に、当該所定の操作がなされたときの前記演奏部材の位置に基づき、前記記憶手段に記憶されたレイアウト情報内の複数の領域夫々の位置を一律に変更する変更ステップと、
前記演奏部材により特定の演奏操作がなされたタイミングにおいて、前記演奏部材の位置が、前記レイアウト情報に基づいて配置された複数の領域のいずれかに属するか否かを判別するステップと、
前記いずれかの領域に属すると判別された場合に、当該領域に対応する楽音の発音を指示するステップと、
を実行させるプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、演奏装置及びプログラムに関する。
【背景技術】
【０００２】
従来、演奏者の演奏動作を検知すると、演奏動作に応じた電子音を発音する演奏装置が提案されている。例えば、スティック上の部材のみで打楽器音を発音する演奏装置（エアドラム）が知られている。この演奏装置では、演奏者が、センサを内蔵するスティック状の部材を手で保持して振るといった、あたかもドラムを打撃するような演奏動作をすると、センサが当該演奏動作を検知し、打楽器音が発音される。
このような演奏装置によれば、現実の楽器を必要とせずに当該楽器の楽音を発音することができるため、演奏者は、演奏場所や演奏スペースに制約を受けずに演奏を楽しむことができる。
【０００３】
このような演奏装置として、例えば、特許文献１には、演奏者のスティック状の部材を用いた演奏動作を撮像すると共に、当該演奏動作の撮像画像と、楽器セットを示す仮想画像とを合成した合成画像をモニタに表示し、スティック状の部材と仮想的な楽器セットとの位置情報に応じて所定の楽音を発音するように構成された楽器ゲーム装置が提案されている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特許第３５９９１１５号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、特許文献１に記載の楽器ゲーム装置をそのまま適用した場合、仮想的な楽器セットの配置などのレイアウト情報は予め定められているため、演奏者が移動した場合には、仮想的な楽器セットの配置はそのままであり、無理な体勢で演奏しなければならなかった。
【０００６】
本発明は、このような状況に鑑みてなされたものであり、演奏者が移動した場合であっても、仮想的な楽器セットの配置が演奏者の位置に応じて適切に変更されることで、無理な体勢で演奏しなくて済むことができる演奏装置を提供することを目的とする。
【課題を解決するための手段】
【０００７】
上記目的を達成するため、本発明の一態様の演奏装置は、
演奏者が保持可能な演奏部材と、
前記演奏部材を被写体とする撮像画像を撮像すると共に、前記撮像画像平面上の前記演奏部材の位置を検出する撮像装置と、
前記撮像画像平面に配置された複数の領域の位置及び当該複数の領域夫々に音色を対応させたレイアウト情報を記憶する記憶手段と、
前記演奏部材に対して所定の操作がなされたか否かを判別する所定操作判別手段と、
前記所定の操作がなされたと判別された場合に、当該所定の操作がなされたときの前記演奏部材の位置に基づき、前記記憶手段に記憶されたレイアウト情報内の複数の領域夫々の位置を一律に変更する変更手段と、
前記演奏部材により特定の演奏操作がなされたタイミングにおいて、前記演奏部材の位置が、前記記憶手段に記憶されたレイアウト情報に基づいて配置された複数の領域のいずれかに属するか否かを判別する判別手段と、
この判別手段により領域に属すると判別された場合に、当該領域に対応する音色の楽音の発音を指示する発音指示手段と、
を備えたことを特徴とする。
【発明の効果】
【０００８】
本発明によれば、演奏者が移動した場合であっても、仮想的な楽器セットの配置が演奏者の位置に応じて適切に変更されることで、無理な体勢で演奏しなくて済むことができる。
【図面の簡単な説明】
【０００９】
【図１】本発明の演奏装置の一実施形態の概要を示す図である。
【図２】上記演奏装置を構成するスティック部のハードウェア構成を示すブロック図である。
【図３】上記スティック部の斜視図である。
【図４】上記演奏装置を構成するカメラユニット部のハードウェア構成を示すブロック図である。
【図５】上記演奏装置を構成するセンターユニット部のハードウェア構成を示すブロック図である。
【図６】上記演奏装置の一実施形態に係るセットレイアウト情報を示す図である。
【図７】上記セットレイアウト情報が示す概念を仮想平面上で可視化した図である。
【図８】上記スティック部の処理の流れを示すフローチャートである。
【図９】上記カメラユニット部の処理の流れを示すフローチャートである。
【図１０】上記センターユニット部の処理の流れを示すフローチャートである。
【図１１】上記センターユニット部のセットレイアウト変更処理の流れを示すフローチャートである。
【図１２】上記スティック部により形成されるスティック基準位置を示す図である。
【図１３】上記スティック部により形成されるスティック変更位置を示す図である。
【発明を実施するための形態】
【００１０】
以下、本発明の実施形態について、図面を用いて説明する。
【００１１】
［演奏装置１の概要］
初めに、図１を参照して、本発明の一実施形態としての演奏装置１の概要について説明する。
図１（１）に示すように、本実施形態の演奏装置１は、スティック部１０Ｒ，１０Ｌと、カメラユニット部２０と、センターユニット部３０と、を含んで構成される。本実施形態の演奏装置１は、２本のスティックを用いた仮想的なドラム演奏を実現するため、２つのスティック部１０Ｒ，１０Ｌを備えることとしているが、スティック部の数は、これに限られず１つとしてもよく、３つ以上としてもよい。なお、以下では、スティック部１０Ｒ，１０Ｌを個々に区別する必要がない場合には、両者を総称して「スティック部１０」と呼ぶ。
【００１２】
スティック部１０は、長手方向に延びるスティック状の演奏部材である。演奏者は、スティック部１０の一端（根元側）を手に持ち、手首などを中心として振り上げたり振り下ろす動作を、演奏動作として行う。このような演奏者の演奏動作を検知するため、スティック部１０の他端（先端側）には、加速度センサ及び角速度センサなどの各種センサが設けられている（後述のモーションセンサ部１４）。スティック部１０は、これらの各種センサにより検知された演奏動作に基づいて、センターユニット部３０にノートオンイベントを送信する。
また、スティック部１０の先端側には、後述するマーカー部１５（図２参照）が設けられており、撮像時にカメラユニット部２０がスティック部１０の先端を判別可能に構成されている。
【００１３】
カメラユニット部２０は、光学式の撮像装置として構成され、スティック部１０を保持して演奏動作を行う演奏者を被写体として含む空間（以下、「撮像空間」と呼ぶ）を、所定のフレームレートで撮像し、動画像のデータとして出力する。カメラユニット部２０は、撮像空間内における発光中のマーカー部１５の位置座標を特定し、当該位置座標を示すデータ（以下、「位置座標データ」と呼ぶ）をセンターユニット部３０に送信する。
【００１４】
センターユニット部３０は、スティック部１０からノートオンイベントを受信すると、受信時のマーカー部１５の位置座標データに応じて、所定の楽音を発音する。具体的には、センターユニット部３０は、カメラユニット部２０の撮像空間に対応付けて、図１（２）に示す仮想ドラムセットＤの位置座標データを記憶しており、当該仮想ドラムセットＤの位置座標データと、ノートオンイベント受信時のマーカー部１５の位置座標データとに基づいて、スティック部１０が仮想的に打撃した楽器を特定し、当該楽器に対応する楽音を発音する。
【００１５】
次に、このような本実施形態の演奏装置１の構成について具体的に説明する。
【００１６】
［演奏装置１の構成］
初めに、図２〜図５を参照して、本実施形態の演奏装置１の各構成要素、具体的には、スティック部１０、カメラユニット部２０及びセンターユニット部３０の構成について説明する。
【００１７】
［スティック部１０の構成］
図２は、スティック部１０のハードウェア構成を示すブロック図である。
図２に示すように、スティック部１０は、ＣＰＵ１１（Ｃｅｎｔｒａｌ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ）と、ＲＯＭ（Ｒｅａｄ  Ｏｎｌｙ  Ｍｅｍｏｒｙ）１２と、ＲＡＭ（Ｒａｎｄｏｍ  Ａｃｃｅｓｓ  Ｍｅｍｏｒｙ）１３と、モーションセンサ部１４と、マーカー部１５と、データ通信部１６と、スイッチ操作検出回路１７と、を含んで構成される。
【００１８】
ＣＰＵ１１は、スティック部１０全体の制御を実行し、例えば、モーションセンサ部１４から出力されるセンサ値に基づいて、スティック部１０の姿勢の検知、ショット検出及びアクション検出に加え、マーカー部１５の発光・消灯などの制御を実行する。このとき、ＣＰＵ１１は、マーカー特徴情報をＲＯＭ１２から読み出し、当該マーカー特徴情報に従い、マーカー部１５の発光制御を実行する。また、ＣＰＵ１１は、データ通信部１６を介して、センターユニット部３０との間の通信制御を実行する。
【００１９】
ＲＯＭ１２は、ＣＰＵ１１により各種処理が実行されるための処理プログラムを格納する。また、ＲＯＭ１２は、マーカー部１５の発光制御に用いるマーカー特徴情報を格納する。ここで、カメラユニット部２０は、スティック部１０Ｒのマーカー部１５（以下、「第１マーカー」と適宜呼ぶ）と、スティック部１０Ｌのマーカー部１５（以下、「第２マーカー」と適宜呼ぶ）とを区別する必要がある。マーカー特徴情報とは、第１マーカーと第２マーカーとをカメラユニット部２０が区別するための情報であり、例えば、発光時の形状、大きさ、色相、彩度、あるいは輝度に加え、発光時の点滅スピードなどを用いることができる。
スティック部１０ＲのＣＰＵ１１及びスティック部１０ＬのＣＰＵ１１は、夫々異なるマーカー特徴情報を読み出し、夫々のマーカーの発光制御を実行する。
【００２０】
ＲＡＭ１３は、モーションセンサ部１４が出力した各種センサ値など、処理において取得され又は生成された値を格納する。
【００２１】
モーションセンサ部１４は、スティック部１０の状態を検知するための各種センサであり、所定のセンサ値を出力する。ここで、モーションセンサ部１４を構成するセンサとしては、例えば、加速度センサ、角速度センサ及び磁気センサなどを用いることができる。
【００２２】
図３は、スティック部１０の斜視図であり、外部にはスイッチ部１７１とマーカー部１５が配置されている。
演奏者は、スティック部１０の一端（根元側）を保持し、手首などを中心とした振り上げ振り下ろし動作を行うことで、スティック部１０に対して運動を生じさせる。その際にこの運動に応じたセンサ値がモーションセンサ部１４から出力されるようになっている。
【００２３】
モーションセンサ部１４からのセンサ値を受け付けたＣＰＵ１１は、演奏者が持っているスティック部１０の状態、を検知する。一例としては、ＣＰＵ１１は、スティック部１０による仮想的な楽器の打撃タイミング（以下、「ショットタイミング」とも呼ぶ）を検知する。ショットタイミングは、スティック部１０が振り下ろされてから停止される直前のタイミングであり、スティック部１０にかかる振り下ろし方向とは逆向きの加速度の大きさがある閾値を超えたタイミングである。
【００２４】
さらに、モーションセンサ部１４のセンサ値には、演奏者がスティック部１０を持ったときの長手方向と水平面とのなす角である「ピッチ角」を検出するために必要なデータも含まれる。
【００２５】
図２に戻り、マーカー部１５は、スティック部１０の先端側に設けられた発光体であり、例えばＬＥＤなどで構成され、ＣＰＵ１１からの制御に応じて発光及び消灯する。具体的には、マーカー部１５は、ＣＰＵ１１によってＲＯＭ１２から読み出されたマーカー特徴情報に基づいて発光する。このとき、スティック部１０Ｒのマーカー特徴情報と、スティック部１０Ｌのマーカー特徴情報とは異なるため、カメラユニット部２０は、スティック部１０Ｒのマーカー部（第１マーカー）の位置座標と、スティック部１０Ｌのマーカー部（第２マーカー）の位置座標とを個々に区別し取得することができる。
【００２６】
データ通信部１６は、少なくともセンターユニット部３０との間で所定の無線通信を行う。所定の無線通信は、任意の方法で行うこととしてよく、本実施形態では、赤外線通信によりセンターユニット部３０との間での無線通信を行う。なお、データ通信部１６は、カメラユニット部２０との間で無線通信を行うこととしてもよく、また、スティック部１０Ｒ及びスティック部１０Ｌとの間で無線通信を行うこととしてもよい。
【００２７】
スイッチ操作検出回路１７は、スイッチ１７１と接続され、当該スイッチ１７１を介した入力情報を受け付ける。入力情報としては、例えば、後述するセットレイアウト情報を変更するためのトリガーとなるセットレイアウト変更信号などが含まれる。
【００２８】
［カメラユニット部２０の構成］
スティック部１０の構成についての説明は、以上である。続いて、図４を参照して、カメラユニット部２０の構成について説明する。
図４は、カメラユニット部２０のハードウェア構成を示すブロック図である。
カメラユニット部２０は、ＣＰＵ２１と、ＲＯＭ２２と、ＲＡＭ２３と、イメージセンサ部２４と、データ通信部２５と、を含んで構成される。
【００２９】
ＣＰＵ２１は、カメラユニット部２０全体の制御を実行し、例えば、イメージセンサ部２４が検出したマーカー部１５の位置座標データ及びマーカー特徴情報に基づいて、スティック部１０Ｒ、１０Ｌのマーカー部１５（第１マーカー及び第２マーカー）の夫々の位置座標を算出し、夫々の算出結果を示す位置座標データを出力する制御を実行する。また、ＣＰＵ２１は、データ通信部２５を介して、算出した位置座標データなどをセンターユニット部３０に送信する通信制御を実行する。
【００３０】
ＲＯＭ２２は、ＣＰＵ２１により各種処理が実行されるための処理プログラムを格納する。ＲＡＭ２３は、イメージセンサ部２４が検出したマーカー部１５の位置座標データなど、処理において取得され又は生成された値を格納する。また、ＲＡＭ２３は、センターユニット部３０から受信したスティック部１０Ｒ、１０Ｌの夫々のマーカー特徴情報も併せて格納する。
【００３１】
イメージセンサ部２４は、例えば、光学式のカメラであり、スティック部１０を持って演奏動作を行う演奏者の動画を所定のフレームレートで撮像する。また、イメージセンサ部２４は、フレームごとの撮像データをＣＰＵ２１に出力する。なお、撮像画像内におけるスティック部１０のマーカー部１５の位置座標の特定については、イメージセンサ部２４が行うこととしてもよく、ＣＰＵ２１が行うこととしてもよい。同様に、撮像したマーカー部１５のマーカー特徴情報についても、イメージセンサ部２４が特定することとしてもよく、ＣＰＵ２１が特定することとしてもよい。
【００３２】
データ通信部２５は、少なくともセンターユニット部３０との間で所定の無線通信（例えば、赤外線通信）を行う。なお、データ通信部１６は、スティック部１０との間で無線通信を行うこととしてもよい。
【００３３】
［センターユニット部３０の構成］
カメラユニット部２０の構成についての説明は、以上である。続いて、図５を参照して、センターユニット部３０の構成について説明する。
図５は、センターユニット部３０のハードウェア構成を示すブロック図である。
センターユニット部３０は、ＣＰＵ３１と、ＲＯＭ３２と、ＲＡＭ３３と、スイッチ操作検出回路３４と、表示回路３５と、音源装置３６と、データ通信部３７と、を含んで構成される。
【００３４】
ＣＰＵ３１は、センターユニット部３０全体の制御を実行し、例えば、スティック部１０から受信したショット検出及びカメラユニット部２０から受信したマーカー部１５の位置座標に基づいて、所定の楽音を発音する制御などを実行する。また、ＣＰＵ３１は、データ通信部３７を介して、スティック部１０及びカメラユニット部２０との間の通信制御を実行する。
【００３５】
ＲＯＭ３２は、ＣＰＵ３１の実行する各種処理の処理プログラムを格納する。また、ＲＯＭ３２は、種々の音色の波形データ、例えば、フルート、サックス、トランペットなどの管楽器、ピアノなどの鍵盤楽器、ギターなどの弦楽器、バスドラム、ハイハット、スネア、シンバル、タムなど打楽器の波形データ（音色データ）を、位置座標などと対応付けて格納する。
【００３６】
音色データ等の格納方法としては、例えば、図６にセットレイアウト情報として示すように、セットレイアウト情報は、第１パッド〜第ｎパッドまでのｎ個のパッド情報を有しており、さらに各パッド情報にパッドの有無（後述する仮想平面における仮想パッドの存在の有無）、位置（後述する仮想平面における位置座標）、サイズ（仮想パッドの形状及び径など）、及び音色（波形データ）などが対応づけられて格納されている。
【００３７】
ここで、図７を参照して、具体的なセットレイアウトについて説明する。図７は、センターユニット部３０のＲＯＭ３２に格納されたセットレイアウト情報（図６参照）が示す概念を仮想平面上で可視化した図である。
図７は、６個の仮想パッド８１が仮想平面上に配置されている様子を示しており、各仮想パッド８１には、第１パッド〜第ｎパッドのうち、パッド有無データが「パッド有」となっているものが対応している。例えば、第２パッド、第３パッド、第５パッド、第６パッド、第８パッド、第９パッドの６つが対応している。さらに、位置データとサイズデータに基づいて仮想パッド８１が配置されている。さらにまた、各仮想パッド８１に音色データが対応付けられている。したがって、ショット検出時におけるマーカー部１５の位置座標が各仮想パッド８１に対応する領域に属した場合、各仮想パッド８１に対応する音色が発音される。
なお、ＣＰＵ３１は、この仮想平面を仮想パッド８１配置と共に後述する表示装置３５１に表示してもよい。また、ＲＯＭ３２に格納されたセットレイアウト情報を以下、「基準セットレイアウト情報」と呼び、基準セットレイアウト情報が有する位置及びサイズを以下、「基準位置」、「基準サイズ」と呼ぶ。
さらに、基準セットレイアウト情報は、図１１で後述するセットレイアウト変更処理により、基準セットレイアウト情報の有する基準位置、及び基準サイズが一律に変更される。
【００３８】
図５に戻って、ＲＡＭ３３は、スティック部１０から受信したスティック部１０の状態（ショット検出など）、カメラユニット部２０から受信したマーカー部１５の位置座標、及び、ＲＯＭ３２から読み出された基準セットレイアウト情報など、処理において取得され又は生成された値を格納する。
ショット検出時（すなわち、ノートオンイベント受信時）にマーカー部１５の位置座標が属する領域の仮想パッド８１に対応する音色データ（波形データ）を、ＲＡＭ３３に格納されたセットレイアウト情報から、ＣＰＵ３１が読み出すことで、演奏者の演奏動作に応じた楽音が発音される。
【００３９】
スイッチ操作検出回路３４は、スイッチ３４１と接続され、当該スイッチ３４１を介した入力情報を受け付ける。入力情報としては、例えば、発音する楽音の音量や発音する楽音の音色の変更、セットレイアウト番号の設定及び変更、表示装置３５１の表示の切り替えなどが含まれる。
また、表示回路３５は、表示装置３５１と接続され、表示装置３５１の表示制御を実行する。
【００４０】
音源装置３６は、ＣＰＵ３１からの指示にしたがって、ＲＯＭ３２から波形データを読み出して、楽音データを生成すると共に、楽音データをアナログ信号に変換し、図示しないスピーカから楽音を発音する。
また、データ通信部３７は、スティック部１０及びカメラユニット部２０との間で所定の無線通信（例えば、赤外線通信）を行う。
【００４１】
［演奏装置１の処理］
以上、演奏装置１を構成するスティック部１０、カメラユニット部２０及びセンターユニット部３０の構成について説明した。続いて、図８〜図１１を参照して、演奏装置１の処理について説明する。
【００４２】
［スティック部１０の処理］
図８は、スティック部１０が実行する処理（以下、「スティック部処理」と呼ぶ）の流れを示すフローチャートである。
図８を参照して、スティック部１０のＣＰＵ１１は、モーションセンサ部１４からモーションセンサ情報、すなわち、各種センサが出力するセンサ値を読み出し、ＲＡＭ１３に格納する（ステップＳ１）。その後、ＣＰＵ１１は、読み出したモーションセンサ情報に基づいて、スティック部１０の姿勢検知処理を実行する（ステップＳ２）。姿勢検知処理では、ＣＰＵ１１は、モーションセンサ情報に基づいて、スティック部１０の姿勢、例えば、スティック部１０のロール角及びピッチ角などを算出する。
【００４３】
続いて、ＣＰＵ１１は、モーションセンサ情報に基づいて、ショット検出処理を実行する（ステップＳ３）。ここで、演奏者がスティック部１０を用いて演奏を行う場合、一般には、現実の楽器（例えば、ドラム）を打撃する動作と同様の演奏動作を行う。このような演奏動作では、演奏者は、まずスティック部１０を振り上げ、それから仮想的な楽器に向かって振り下ろす。そしてスティック部１０を仮想的な楽器に打撃する寸前に、スティック部１０の動作を止めようとする力を働かせる。このとき、演奏者は、仮想的な楽器にスティック部１０を打撃した瞬間に楽音が発生することを想定しているため、演奏者が想定するタイミングで楽音を発生できるのが望ましい。そこで、本実施形態では、演奏者が仮想的な楽器の面にスティック部１０を打撃する瞬間又はそのわずかに手前のタイミングで楽音を発音することとしている。
【００４４】
本実施形態においては、ショット検出のタイミングは、スティック部１０が振り下ろされてから停止される直前のタイミングであり、スティック部１０にかかる振り下ろし方向とは逆向きの加速度の大きさがある閾値を超えたタイミングである。
このショット検出のタイミングを発音タイミングとし、発音タイミングが到来したと判断されると、スティック部１０のＣＰＵ１１は、ノートオンイベントを生成し、センターユニット部３０に送信する。これにより、センターユニット部３０において、発音処理が実行されて、楽音が発音される。
ステップＳ３に示すショット検出処理では、モーションセンサ情報（例えば、加速度センサのセンサ合成値）に基づいて、ノートオンイベントを生成する。このとき、生成するノートオンイベントには、発音する楽音の音量を含めることとしてもよい。なお、楽音の音量は、例えば、センサ合成値の最大値から求めることができる。
【００４５】
続いて、ＣＰＵ１１は、ステップＳ１乃至ステップＳ３の処理で検出した情報、すなわち、モーションセンサ情報、姿勢情報及びショット情報を、データ通信部１６を介してセンターユニット部３０に送信する（ステップＳ４）。このとき、ＣＰＵ１１は、スティック識別情報と対応付けて、モーションセンサ情報、姿勢情報及びショット情報をセンターユニット部３０に送信する。
これにより、処理はステップＳ１に戻され、それ以降の処理が繰り返される。
【００４６】
［カメラユニット部２０の処理］
図９は、カメラユニット部２０が実行する処理（以下、「カメラユニット部処理」と呼ぶ）の流れを示すフローチャートである。
図９を参照して、カメラユニット部２０のＣＰＵ２１は、イメージデータ取得処理を実行する（ステップＳ１１）。この処理では、ＣＰＵ２１は、イメージセンサ部２４からイメージデータを取得する。
【００４７】
続いて、ＣＰＵ２１は、第１マーカー検出処理（ステップＳ１２）及び第２マーカー検出処理（ステップＳ１３）を実行する。これらの処理では、ＣＰＵ２１は、イメージセンサ部２４が検出した、スティック部１０Ｒのマーカー部１５（第１マーカー）及びスティック部１０Ｌのマーカー部１５（第２マーカー）の位置座標、サイズ、角度などのマーカー検出情報を、取得しＲＡＭ２３に格納する。このとき、イメージセンサ部２４は、発光中のマーカー部１５について、マーカー検出情報を検出する。
【００４８】
続いて、ＣＰＵ２１は、ステップＳ１２及びステップＳ１３で取得したマーカー検出情報を、データ通信部２５を介してセンターユニット部３０に送信し（ステップＳ１４）、ステップＳ１１に処理を移行させる。
【００４９】
［センターユニット部３０の処理］
図１０は、センターユニット部３０が実行する処理（以下、「センターユニット部処理」と呼ぶ）の流れを示すフローチャートである。
図１０を参照して、センターユニット部３０のＣＰＵ３１は、カメラユニット部２０から、第１マーカー及び第２マーカー夫々のマーカー検出情報を受信し、ＲＡＭ３３に格納する（ステップＳ２１）。また、ＣＰＵ３１は、スティック部１０Ｒ、１０Ｌの夫々から、スティック識別情報と対応付けられたモーションセンサ情報、姿勢情報及びショット情報を受信し、ＲＡＭ３３に格納する（ステップＳ２２）。さらに、ＣＰＵ３１は、スイッチ３４１の操作により入力された情報を取得する（ステップＳ２３）。
【００５０】
続いて、ＣＰＵ３１は、ショットありか否かを判断する（ステップＳ２４）。この処理では、ＣＰＵ３１は、スティック部１０からノートオンイベントを受信したか否かにより、ショットの有無を判断する。このとき、ショットありと判断した場合には、ＣＰＵ３１は、ショット情報処理を実行する（ステップＳ２５）。ショット情報処理では、ＣＰＵ３１は、ＲＡＭ３３に読み出されたセットレイアウト情報から、マーカー検出情報に含まれる位置座標が属する領域の仮想パッド８１に対応する音色データ（波形データ）を読み出し、ノートオンイベントに含まれる音量データと共に音源装置３６に出力する。すると、音源装置３６は、受け取った波形データに基づいて該当する楽音を発音する。ステップＳ２５の処理が終了すると、ＣＰＵ３１は、ステップＳ２１に処理を移行させる。
【００５１】
ステップＳ２４でＮＯと判断された場合には、ＣＰＵ３１は、セットレイアウト変更か否かを判断する（ステップＳ２６）。この処理では、スティック部１０Ｒ及び１０Ｌの一方が鉛直方向上向きかつ他方が鉛直方向下向きとなり、さらに、スティック部１０Ｒ、１０Ｌの長さを一辺とする正方形が形成された状態で、スティック部１０Ｒ及び１０Ｌが所定時間静止したか否かを判断する。
具体的には、ＣＰＵ３１は、ステップＳ２２で取得した姿勢情報として、スティック部１０Ｒ及び１０Ｌの一方のピッチ角が９０度かつ他方のピッチ角が−９０度となったことを検出し、かつ、ステップＳ２１で取得したマーカー検出情報として、スティック部１０Ｒ及び１０Ｌのマーカー部１５の位置座標を夫々（Ｒｘ１，Ｒｙ１）、（Ｌｘ１，Ｌｙ１）とした場合に、（Ｒｘ１−Ｌｘ１）＝（Ｒｙ１−Ｌｙ１）の関係が成立した状態で、ステップＳ２１で取得したモーションセンサ情報のうち、加速度センサ値及び角速度センサ値が共に０である状態が所定時間継続したか否かを判断する。
【００５２】
セットレイアウト変更と判断した場合には、ＣＰＵ３１は、セットレイアウト変更処理を実行し（ステップＳ２７）、ステップＳ２１に処理を移行させる。他方、セットレイアウト変更無し、と判断した場合には、ＣＰＵ３１は、ステップＳ２１に処理を移行させる。
なお、本実施形態における仮想平面はＸ−Ｙ平面とし、横方向をＸ軸方向、縦方向をＹ軸方向とする。
【００５３】
スティック部１０Ｒ及び１０Ｌが所定時間静止したか否かの判断において、ＣＰＵ３１は、スティック部１０のスイッチ１７１が操作されたことによりセットレイアウト変更信号をスティック部１０から受信した場合には、所定時間経過する前に、セットレイアウト変更と判断してもよい。
【００５４】
［センターユニット部３０のセットレイアウト変更処理］
図１１は、図１０のセンターユニット部処理のうち、ステップＳ２７のセットレイアウト変更処理の詳細な流れを示すフローチャートである。
図１１を参照して、ＣＰＵ３１は、中心座標とオフセット値を算出する（ステップＳ３１）。ここで、スティック部１０Ｒ及び１０Ｌの一方が鉛直方向上向きかつ他方が鉛直方向下向きとなり、さらに、スティック部１０Ｒ、１０Ｌの長さを一辺とする正方形が形成された状態での、基準セットレイアウト情報に対応するスティック部１０Ｒ及び１０Ｌの位置を「スティック基準位置」（図１２参照）と適宜呼び、ステップＳ２６において当該正方形が形成され、セットレイアウト変更と判断された時点でのスティック部１０Ｒ及び１０Ｌの位置を「スティック変更位置」（図１３参照）と適宜呼ぶ。
また、スティック基準位置でのスティック部１０Ｒ及び１０Ｌのマーカー部１５の位置座標を夫々（Ｒｘ０，Ｒｙ０）、（Ｌｘ０，Ｌｙ０）とすると、形成された正方形の中心座標は（（Ｒｘ０＋Ｌｘ０）／２，（Ｒｙ０＋Ｌｙ０）／２）なる。これらの座標は、スティック基準位置に対応する座標として予め定められている。
【００５５】
ステップＳ３１の具体的な処理としては、ＣＰＵ３１は、ステップＳ２６においてセットレイアウト変更と判断された時点に検出したスティック部１０Ｒ及び１０Ｌのマーカー部１５の夫々の位置座標（Ｒｘ１，Ｒｙ１）、（Ｌｘ１，Ｌｙ１）から、正方形の中心座標（（Ｒｘ１＋Ｌｘ１）／２，（Ｒｙ１＋Ｌｙ１）／２）を算出し、さらに、スティック基準位置での正方形の中心座標とスティック変更位置での正方形の中心座標とのオフセット値（（Ｒｘ１＋Ｌｘ１）／２−（Ｒｘ０＋Ｌｘ０）／２，（Ｒｙ１＋Ｌｙ１）／２−（Ｒｙ０＋Ｌｙ０）／２）を算出する。このオフセット値が、基準セットレイアウト情報における複数の仮想パッド８１夫々の基準位置を変更後のセットレイアウト情報の位置に移動させる際のオフセット値となる。
【００５６】
続いて、ＣＰＵ３１は、拡大・縮小率を算出する（ステップＳ３２）。拡大・縮小率とは、基準セットレイアウト情報における複数の仮想パッド８１夫々の基準サイズを変更後のセットレイアウト情報のサイズに拡大又は縮小する際の倍率である。
具体的には、ＣＰＵ３１は、横方向の拡大・縮小率（（Ｒｘ１−Ｌｘ１）／（Ｒｘ０−Ｌｘ０）の大きさ）、及び縦方向の拡大・縮小率（（Ｒｙ１−Ｌｙ１）／（Ｒｙ０−Ｌｙ０）の大きさ）を算出する。
【００５７】
続いて、ＣＰＵ３１は、仮想パッドの位置を調整する（ステップＳ３３）。具体的には、ＣＰＵ３１は、基準セットレイアウト情報における複数の仮想パッド８１夫々の基準位置及び基準サイズにより決定される領域に含まれる全ての位置座標に対して、ステップＳ３２で算出した縦横各方向の拡大・縮小率を乗算し、乗算後の全ての位置座標に対してステップＳ３１で算出したオフセット値を加算する。
例えば、図１３に示すように、基準セットレイアウト情報に基づいて、演奏を行っている最中に演奏者が、横方向及び／又は前後方向に移動して、スティック部１０Ｒ及び１０Ｌを用いて正方形を形成すると、基準セットレイアウト情報における複数の仮想パッド８１夫々が、一律にオフセットかつ縮小（又は拡大）されるように変更されて、演奏者は、変更後のセットレイアウト情報に基づいて演奏することができる。
ステップＳ３３の処理が終了すると、ＣＰＵ３１は、セットレイアウト変更処理を終了する。
【００５８】
以上、本実施形態の演奏装置１の構成及び処理について説明した。
本実施形態においては、セットレイアウト情報は、複数の仮想パッド８１夫々の配置の基準となる基準セットレイアウト情報を有し、ＣＰＵ３１は、一対のスティック部１０に対して正方形を形成する操作がなされたか否かを判別し、正方形を形成する操作がなされたと判別された場合に、基準セットレイアウト情報に対応する撮像画像平面上の予め定められた位置座標と、正方形を形成する操作がなされた場合での撮像画像平面上の一対のスティック部１０の位置座標とに基づいて、複数の仮想パッド８１夫々の配置を一律に調整する。
よって、演奏者がカメラユニット部２０に対して移動した場合に、移動後に所定の操作を行うことで、複数の仮想パッド８１夫々の配置が演奏者の位置に応じて適切かつ一律に変更されるので、無理な体勢で演奏しなくて済むようにできる。
【００５９】
また、本実施形態においては、セットレイアウト情報は、複数の仮想パッド８１夫々に、さらに位置及びサイズを対応付けており、基準セットレイアウト情報は、複数の仮想パッド８１夫々の配置の基準となる基準位置及び基準サイズを含み、ＣＰＵ３１は、複数の仮想パッド８１夫々の基準位置からの位置変化量及び基準サイズからのサイズ変化率を一律に算出し、算出された位置変化量及びサイズ変化率に基づいて、複数の仮想パッド８１夫々の位置及びサイズを調整する。
よって、演奏者がカメラユニット部２０に対して前後左右に移動した場合、左右の移動に対しては、複数の仮想パッド８１夫々の位置を適切に平行移動させて、前後の移動に対しては、複数の仮想パッド８１夫々のサイズを適切に拡大・縮小できる。
【００６０】
また、本実施形態においては、スティック部１０は、スティック部１０自体の姿勢情報を検出し、ＣＰＵ３１は、検出された一対のスティック部１０自体の姿勢情報が鉛直方向に互いに逆向きとなっており、かつ、カメラユニット部２０における一対のスティック部１０の位置座標の間にＸ座標の差の大きさとＹ座標の差の大きさが等しいという条件が成立する場合に、正方形を形成する操作がなされたと判別する。
よって、演奏者は、セットレイアウト情報の位置及びサイズを調整するトリガーとなる正方形を形成する操作を容易に行うことができる。
【００６１】
以上、本発明の実施形態について説明したが、実施形態は例示に過ぎず、本発明の技術的範囲を限定するものではない。本発明はその他の様々な実施形態を取ることが可能であり、さらに、本発明の要旨を逸脱しない範囲で、省略や置換など種々の変更を行うことができる。これら実施形態やその変形は、本明細書などに記載された発明の範囲や要旨に含まれると共に、特許請求の範囲に記載された発明とその均等の範囲に含まれる。
【００６２】
上記実施形態では、仮想的な打楽器として仮想ドラムセットＤ（図１参照）を例にとって説明したが、これに限られるものではなく、本発明は、スティック部１０の振り下ろし動作で楽音を発音する木琴など他の楽器に適用することができる。
【００６３】
また、上記実施形態では、スティック部１０の長さを一辺とする正方形を形成することで、レイアウト情報の調整のトリガーとしたが、これに限られず、平行四辺形など他の図形を形成するようにしてもよい。
【００６４】
以下に、本願の出願当初の特許請求の範囲に記載された発明を付記する。
［付記１］
演奏者が保持可能な演奏部材と、
前記演奏部材を被写体とする撮像画像を撮像すると共に、前記撮像画像平面上の前記演奏部材の位置を検出する撮像装置と、
前記撮像画像平面に配置された複数の領域の位置及び当該複数の領域夫々に音色を対応させたレイアウト情報を記憶する記憶手段と、
前記演奏部材に対して所定の操作がなされたか否かを判別する所定操作判別手段と、
前記所定の操作がなされたと判別された場合に、当該所定の操作がなされたときの前記演奏部材の位置に基づき、前記記憶手段に記憶されたレイアウト情報内の複数の領域夫々の位置を一律に変更する変更手段と、
前記演奏部材により特定の演奏操作がなされたタイミングにおいて、前記演奏部材の位置が、前記記憶手段に記憶されたレイアウト情報に基づいて配置された複数の領域のいずれかに属するか否かを判別する判別手段と、
この判別手段により領域に属すると判別された場合に、当該領域に対応する音色の楽音の発音を指示する発音指示手段と、
を備えた演奏装置。
［付記２］
前記レイアウト情報はさらに、前記複数の領域夫々のサイズが対応付けられ、
前記変更手段は、前記記憶手段に記憶された複数の領域の夫々の位置を基準とした位置変化量、及び前記記憶手段に記憶された複数の領域の夫々のサイズを基準としたサイズ変化率を一律に算出し、当該算出された前記位置変化量及び前記サイズ変化率に基づいて、前記記憶手段に記憶された複数の領域の夫々の位置及びサイズを変更する、付記１に記載の演奏装置。
［付記３］
前記演奏部材は、前記演奏部材本体の姿勢を検出する姿勢検出手段をさらに備え、
前記所定操作判別手段は、前記姿勢検出手段により検出された姿勢が所定の姿勢であり、かつ、前記撮像画像平面上における前記演奏部材の位置の間に所定の条件が成立する場合に、前記所定の操作がなされたと判別する、
ことを特徴とする付記１又は２に記載の演奏装置。
［付記４］
演奏者が保持可能な演奏部材と、前記演奏部材を被写体とする撮像画像を撮像すると共に、前記撮像画像平面上の前記演奏部材の位置座標を検出する撮像装置と、  前記撮像画像平面に配置された複数の領域の位置及び当該複数の領域夫々に音色を対応させたレイアウト情報を記憶する記憶手段と、を有する演奏装置として用いられるコンピュータに、
前記演奏部材に対して所定の操作がなされたか否かを判別する所定操作判別ステップと、
前記所定の操作がなされたと判別された場合に、当該所定の操作がなされたときの前記演奏部材の位置に基づき、前記記憶手段に記憶されたレイアウト情報内の複数の領域夫々の位置を一律に変更する変更ステップと、
前記演奏部材により特定の演奏操作がなされたタイミングにおいて、前記演奏部材の位置が、前記レイアウト情報に基づいて配置された複数の領域のいずれかに属するか否かを判別するステップと、
前記いずれかの領域に属すると判別された場合に、当該領域に対応する楽音の発音を指示するステップと、
を実行させるプログラム。
【符号の説明】
【００６５】
１・・・演奏装置、１０・・・スティック部、１１・・・ＣＰＵ、１２・・・ＲＯＭ、１３・・・ＲＡＭ、１４・・・モーションセンサ部、１５・・・マーカー部、１６・・・データ通信部、１７・・・スイッチ操作検出回路、１７１・・・スイッチ、２０・・・カメラユニット部、２１・・・ＣＰＵ、２２・・・ＲＯＭ、２３・・・ＲＡＭ、２４・・・イメージセンサ部、２５・・・データ通信部、３０・・・センターユニット、３１・・・ＣＰＵ、３２・・ＲＯＭ、３３・・・ＲＡＭ、３４・・・スイッチ操作検出回路、３４１・・・スイッチ、３５・・・表示回路、３５１・・・表示装置、３６・・・音源装置、３７・・・データ通信部、８１・・・仮想パッド
【図１】
2013190695.tif 000003
【図２】
2013190695.tif 000004
【図３】
2013190695.tif 000005
【図４】
2013190695.tif 000006
【図５】
2013190695.tif 000007
【図６】
2013190695.tif 000008
【図７】
2013190695.tif 000009
【図８】
2013190695.tif 000010
【図９】
2013190695.tif 000011
【図１０】
2013190695.tif 000012
【図１１】
2013190695.tif 000013
【図１２】
2013190695.tif 000014
【図１３】
2013190695.tif 000015