(57)【要約】      （修正有）【課題】仮想的な楽器セットの配置などのレイアウト情報を演奏中に素早くかつ容易に変更させて演奏のバリエーションを増やすことができる演奏装置を提供する。【解決手段】ＣＰＵは、スティック部１０のショットタイミングにカメラユニット部により撮像された撮像画像におけるマーカー部１５の位置座標が属する仮想パッドの領域に対応する音色を特定し、当該特定した音色で発音し、ショットタイミングに撮像された撮像画像におけるマーカー部１５の位置座標が、仮想平面におけるコントロールパッドの領域に属した場合、処理対象のセットレイアウト情報を、複数のセットレイアウト情報のうち他の１つに切り替える。【選択図】図３
2013182195.tif 000002
【特許請求の範囲】
【請求項１】
演奏者が保持可能な演奏部材と、
前記演奏部材を被写体とする撮像画像を撮像すると共に、前記撮像画像平面上の前記演奏部材の位置座標を検出する撮像装置と、
前記撮像画像平面に配置された複数の領域及び当該複数の領域夫々に音色を対応させたレイアウト情報を複数種記憶するとともに、当該複数種のレイアウト情報から所望のレイアウト情報を選択する選択手段と、
前記演奏部材により特定の演奏操作がなされたタイミングにおいて、前記演奏部材の位置座標が、前記選択されたレイアウト情報に基づいて配置された複数の領域のいずれかに属するか否かを判別する判別手段と、
この判別手段により領域に属すると判別された場合に、当該領域に対応する音色の楽音の発音を指示する発音指示手段と、
を備え、
前記複数種のレイアウト情報夫々には、前記複数の領域とは別の特定の領域が設けられ、
前記選択手段は、前記演奏部材により特定の演奏操作がなされたタイミングにおいて、前記演奏部材の位置座標が、前記特定の領域に属した場合、選択されている前記レイアウト情報とは別のレイアウト情報を、前記複数のレイアウト情報から選択する、
ことを特徴とする演奏装置。
【請求項２】
前記演奏部材は、前記演奏部材自体のロール角を検出するロール角検出手段を備え、
前記選択手段は、前記演奏部材により特定の演奏操作がなされた際に前記ロール角検出手段により検出された前記ロール角に基づいて、前記複数のレイアウト情報から選択する別の選択情報を決定する、
ことを特徴とする請求項１に記載の演奏装置。
【請求項３】
前記複数のレイアウト情報の夫々に異なるレイアウト番号が付され、
前記選択手段は、前記検出されたロール角が第１の所定範囲に属する場合には前記レイアウト番号を所定数増加させるとともに、第２の所定範囲に属する場合には前記レイアウト番号を所定数減少させる変更を行い、前記別のレイアウト情報として、変更されたレイアウト番号が付されたレイアウト情報を選択する、
ことを特徴とする請求項２に記載の演奏装置。
【請求項４】
演奏者が保持可能な演奏部材と、前記演奏部材を被写体とする撮像画像を撮像すると共に、前記撮像画像平面上の前記演奏部材の位置座標を検出する撮像装置と、を備え、前記撮像画像平面に配置された複数の領域及び当該複数の領域夫々に音色を対応させたレイアウト情報を複数種記憶するとともに、当該複数種のレイアウト情報夫々には、前記複数の領域とは別の特定の領域が設けられた演奏装置として用いられるコンピュータに、
前記演奏部材により特定の演奏操作がなされたタイミングにおいて、前記演奏部材の位置座標が、前記特定の領域に属した場合、選択されている前記レイアウト情報とは別のレイアウト情報を、前記複数のレイアウト情報から選択するステップと、
前記演奏部材により特定の演奏操作がなされたタイミングにおいて、前記演奏部材の位置座標が、前記選択されたレイアウト情報に基づいて配置された複数の領域のいずれかに属するか否かを判別するステップと、
前記いずれかの領域に属すると判別された場合に、当該領域に対応する音色の楽音の発音を指示するステップと、
を実行させるプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、演奏装置及びプログラムに関する。
【背景技術】
【０００２】
従来、演奏者の演奏動作を検知すると、演奏動作に応じた電子音を発音する演奏装置が提案されている。例えば、スティック上の部材のみで打楽器音を発音する演奏装置（エアドラム）が知られている。この演奏装置では、演奏者が、センサを内蔵するスティック状の部材を手で保持して振るといった、あたかもドラムを打撃するような演奏動作をすると、センサが当該演奏動作を検知し、打楽器音が発音される。
このような演奏装置によれば、現実の楽器を必要とせずに当該楽器の楽音を発音することができるため、演奏者は、演奏場所や演奏スペースに制約を受けずに演奏を楽しむことができる。
【０００３】
このような演奏装置として、例えば、特許文献１には、演奏者のスティック状の部材を用いた演奏動作を撮像すると共に、当該演奏動作の撮像画像と、楽器セットを示す仮想画像とを合成した合成画像をモニタに表示し、スティック状の部材と仮想的な楽器セットとの位置情報に応じて所定の楽音を発音するように構成された楽器ゲーム装置が提案されている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特許第３５９９１１５号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、特許文献１に記載の楽器ゲーム装置をそのまま適用した場合、仮想的な楽器セットの配置などのレイアウト情報は予め定められているため、演奏中にレイアウト情報を変更させて演奏のバリエーションを増やすことができなかった。
また、特許文献１に記載の楽器ゲーム装置においてレイアウト情報を変更すること自体は、例えば、楽器ゲーム装置本体にレイアウト設定用のスイッチを設けて当該スイッチを操作するなどの方法を採用することで可能になる。しかしながら、このような方法で演奏中にレイアウト情報を変更すると、面倒で時間がかかり実用性に欠ける。
【０００６】
本発明は、このような状況に鑑みてなされたものであり、仮想的な楽器セットの配置などのレイアウト情報を演奏中に素早くかつ容易に変更させて演奏のバリエーションを増やすことができる演奏装置を提供することを目的とする。
【課題を解決するための手段】
【０００７】
上記目的を達成するため、本発明の一態様の演奏装置は、
演奏者が保持可能な演奏部材と、
前記演奏部材を被写体とする撮像画像を撮像すると共に、前記撮像画像平面上の前記演奏部材の位置座標を検出する撮像装置と、
前記撮像画像平面に配置された複数の領域及び当該複数の領域夫々に音色を対応させたレイアウト情報を複数種記憶するとともに、当該複数種のレイアウト情報から所望のレイアウト情報を選択する選択手段と、
前記演奏部材により特定の演奏操作がなされたタイミングにおいて、前記演奏部材の位置座標が、前記選択されたレイアウト情報に基づいて配置された複数の領域のいずれかに属するか否かを判別する判別手段と、
この判別手段により領域に属すると判別された場合に、当該領域に対応する音色の楽音の発音を指示する発音指示手段と、
を備え、
前記複数種のレイアウト情報夫々には、前記複数の領域とは別の特定の領域が設けられ、
前記選択手段は、前記演奏部材により特定の演奏操作がなされたタイミングにおいて、前記演奏部材の位置座標が、前記特定の領域に属した場合、選択されている前記レイアウト情報とは別のレイアウト情報を、前記複数のレイアウト情報から選択する、
ことを特徴とする。
【発明の効果】
【０００８】
本発明によれば、仮想的な楽器セットの配置などのレイアウト情報を演奏中に素早く変更させて演奏のバリエーションを増やすことができる。
【図面の簡単な説明】
【０００９】
【図１】本発明の演奏装置の一実施形態の概要を示す図である。
【図２】上記演奏装置を構成するスティック部のハードウェア構成を示すブロック図である。
【図３】上記スティック部の斜視図である。
【図４】上記演奏装置を構成するカメラユニット部のハードウェア構成を示すブロック図である。
【図５】上記演奏装置を構成するセンターユニット部のハードウェア構成を示すブロック図である。
【図６】本発明の演奏装置の一実施形態に係るセットレイアウト情報群を示す図である。
【図７】上記セットレイアウト情報群のうちの一のセットレイアウト情報が示す概念を仮想平面上で可視化した図である。
【図８】上記スティック部の処理の流れを示すフローチャートである。
【図９】上記カメラユニット部の処理の流れを示すフローチャートである。
【図１０】上記センターユニット部の処理の流れを示すフローチャートである。
【図１１】上記センターユニット部のセットレイアウト処理の流れを示すフローチャートである。
【図１２】セットレイアウト情報の変更例を示す図である。
【図１３】上記スティック部の操作例を示す図である。
【発明を実施するための形態】
【００１０】
以下、本発明の実施形態について、図面を用いて説明する。
【００１１】
［演奏装置１の概要］
初めに、図１を参照して、本発明の一実施形態としての演奏装置１の概要について説明する。
図１（１）に示すように、本実施形態の演奏装置１は、スティック部１０Ａ，１０Ｂと、カメラユニット部２０と、センターユニット部３０と、を含んで構成される。本実施形態の演奏装置１は、２本のスティックを用いた仮想的なドラム演奏を実現するため、２つのスティック部１０Ａ，１０Ｂを備えることとしているが、スティック部の数は、これに限られず１つとしてもよく、３つ以上としてもよい。なお、以下では、スティック部１０Ａ，１０Ｂを個々に区別する必要がない場合には、両者を総称して「スティック部１０」と呼ぶ。
【００１２】
スティック部１０は、長手方向に延びるスティック状の演奏部材である。演奏者は、スティック部１０の一端（根元側）を手に持ち、手首などを中心として振り上げたり振り下ろす動作を、演奏動作として行う。このような演奏者の演奏動作を検知するため、スティック部１０の他端（先端側）には、加速度センサ及び角速度センサなどの各種センサが設けられている（後述のモーションセンサ部１４）。スティック部１０は、これらの各種センサにより検知された演奏動作に基づいて、センターユニット部３０にノートオンイベントを送信する。
また、スティック部１０の先端側には、後述するマーカー部１５（図２参照）が設けられており、撮像時にカメラユニット部２０がスティック部１０の先端を判別可能に構成されている。
【００１３】
カメラユニット部２０は、光学式の撮像装置として構成され、スティック部１０を保持して演奏動作を行う演奏者を被写体として含む空間（以下、「撮像空間」と呼ぶ）を、所定のフレームレートで撮像し、動画像のデータとして出力する。カメラユニット部２０は、撮像空間内における発光中のマーカー部１５の位置座標を特定し、当該位置座標を示すデータ（以下、「位置座標データ」と呼ぶ）をセンターユニット部３０に送信する。
【００１４】
センターユニット部３０は、スティック部１０からノートオンイベントを受信すると、受信時のマーカー部１５の位置座標データに応じて、所定の楽音を発音する。具体的には、センターユニット部３０は、カメラユニット部２０の撮像空間に対応付けて、図１（２）に示す仮想ドラムセットＤの位置座標データを記憶しており、当該仮想ドラムセットＤの位置座標データと、ノートオンイベント受信時のマーカー部１５の位置座標データとに基づいて、スティック部１０が仮想的に打撃した楽器を特定し、当該楽器に対応する楽音を発音する。
【００１５】
次に、このような本実施形態の演奏装置１の構成について具体的に説明する。
【００１６】
［演奏装置１の構成］
初めに、図２〜図５を参照して、本実施形態の演奏装置１の各構成要素、具体的には、スティック部１０、カメラユニット部２０及びセンターユニット部３０の構成について説明する。
【００１７】
［スティック部１０の構成］
図２は、スティック部１０のハードウェア構成を示すブロック図である。
図２に示すように、スティック部１０は、ＣＰＵ１１（Ｃｅｎｔｒａｌ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ）と、ＲＯＭ（Ｒｅａｄ  Ｏｎｌｙ  Ｍｅｍｏｒｙ）１２と、ＲＡＭ（Ｒａｎｄｏｍ  Ａｃｃｅｓｓ  Ｍｅｍｏｒｙ）１３と、モーションセンサ部１４と、マーカー部１５と、データ通信部１６と、スイッチ操作検出回路１７と、を含んで構成される。
【００１８】
ＣＰＵ１１は、スティック部１０全体の制御を実行し、例えば、モーションセンサ部１４から出力されるセンサ値に基づいて、スティック部１０の姿勢の検知、ショット検出及びアクション検出に加え、マーカー部１５の発光・消灯などの制御を実行する。このとき、ＣＰＵ１１は、マーカー特徴情報をＲＯＭ１２から読み出し、当該マーカー特徴情報に従い、マーカー部１５の発光制御を実行する。また、ＣＰＵ１１は、データ通信部１６を介して、センターユニット部３０との間の通信制御を実行する。
【００１９】
ＲＯＭ１２は、ＣＰＵ１１により各種処理が実行されるための処理プログラムを格納する。また、ＲＯＭ１２は、マーカー部１５の発光制御に用いるマーカー特徴情報を格納する。ここで、カメラユニット部２０は、スティック部１０Ａのマーカー部１５（以下、「第１マーカー」と適宜呼ぶ）と、スティック部１０Ｂのマーカー部１５（以下、「第２マーカー」と適宜呼ぶ）とを区別する必要がある。マーカー特徴情報とは、第１マーカーと第２マーカーとをカメラユニット部２０が区別するための情報であり、例えば、発光時の形状、大きさ、色相、彩度、あるいは輝度に加え、発光時の点滅スピードなどを用いることができる。
スティック部１０ＡのＣＰＵ１１及びスティック部１０ＢのＣＰＵ１１は、夫々異なるマーカー特徴情報を読み出し、夫々のマーカーの発光制御を実行する。
【００２０】
ＲＡＭ１３は、モーションセンサ部１４が出力した各種センサ値など、処理において取得され又は生成された値を格納する。
【００２１】
モーションセンサ部１４は、スティック部１０の状態を検知するための各種センサであり、所定のセンサ値を出力する。ここで、モーションセンサ部１４を構成するセンサとしては、例えば、加速度センサ、角速度センサ及び磁気センサなどを用いることができる。
【００２２】
図３は、スティック部１０の斜視図であり、外部にはスイッチ部１７１とマーカー部１５が配置されている。
演奏者は、スティック部１０の一端（根元側）を保持し、手首などを中心とした振り上げ振り下ろし動作を行うことで、スティック部１０に対して運動を生じさせる。その際にこの運動に応じたセンサ値がモーションセンサ部１４から出力されるようになっている。
【００２３】
モーションセンサ部１４からのセンサ値を受け付けたＣＰＵ１１は、演奏者が持っているスティック部１０の状態、を検知する。一例としては、ＣＰＵ１１は、スティック部１０による仮想的な楽器の打撃タイミング（以下、「ショットタイミング」とも呼ぶ）を検知する。ショットタイミングは、スティック部１０が振り下ろされてから停止される直前のタイミングであり、スティック部１０にかかる振り下ろし方向とは逆向きの加速度の大きさがある閾値を超えたタイミングである。
【００２４】
さらに、モーションセンサ部１４のセンサ値には、図１３の矢印に示すように、演奏者がスティック部１０を持ったときの長手方向を軸とした回転角である「ロール角」を検出するために必要なデータも含まれる。
【００２５】
図２に戻り、マーカー部１５は、スティック部１０の先端側に設けられた発光体であり、例えばＬＥＤなどで構成され、ＣＰＵ１１からの制御に応じて発光及び消灯する。具体的には、マーカー部１５は、ＣＰＵ１１によってＲＯＭ１２から読み出されたマーカー特徴情報に基づいて発光する。このとき、スティック部１０Ａのマーカー特徴情報と、スティック部１０Ｂのマーカー特徴情報とは異なるため、カメラユニット部２０は、スティック部１０Ａのマーカー部（第１マーカー）の位置座標と、スティック部１０Ｂのマーカー部（第２マーカー）の位置座標とを個々に区別し取得することができる。
【００２６】
データ通信部１６は、少なくともセンターユニット部３０との間で所定の無線通信を行う。所定の無線通信は、任意の方法で行うこととしてよく、本実施形態では、赤外線通信によりセンターユニット部３０との間での無線通信を行う。なお、データ通信部１６は、カメラユニット部２０との間で無線通信を行うこととしてもよく、また、スティック部１０Ａ及びスティック部１０Ｂとの間で無線通信を行うこととしてもよい。
【００２７】
スイッチ操作検出回路１７は、スイッチ１７１と接続され、当該スイッチ１７１を介した入力情報を受け付ける。入力情報としては、例えば、後述するセットレイアウト情報を直接指定するためのトリガーとなる信号情報などが含まれる。
【００２８】
［カメラユニット部２０の構成］
スティック部１０の構成についての説明は、以上である。続いて、図４を参照して、カメラユニット部２０の構成について説明する。
図４は、カメラユニット部２０のハードウェア構成を示すブロック図である。
カメラユニット部２０は、ＣＰＵ２１と、ＲＯＭ２２と、ＲＡＭ２３と、イメージセンサ部２４と、データ通信部２５と、を含んで構成される。
【００２９】
ＣＰＵ２１は、カメラユニット部２０全体の制御を実行し、例えば、イメージセンサ部２４が検出したマーカー部１５の位置座標データ及びマーカー特徴情報に基づいて、スティック部１０Ａ、１０Ｂのマーカー部１５（第１マーカー及び第２マーカー）の夫々の位置座標を算出し、夫々の算出結果を示す位置座標データを出力する制御を実行する。また、ＣＰＵ２１は、データ通信部２５を介して、算出した位置座標データなどをセンターユニット部３０に送信する通信制御を実行する。
【００３０】
ＲＯＭ２２は、ＣＰＵ２１により各種処理が実行されるための処理プログラムを格納する。ＲＡＭ２３は、イメージセンサ部２４が検出したマーカー部１５の位置座標データなど、処理において取得され又は生成された値を格納する。また、ＲＡＭ２３は、センターユニット部３０から受信したスティック部１０Ａ、１０Ｂの夫々のマーカー特徴情報も併せて格納する。
【００３１】
イメージセンサ部２４は、例えば、光学式のカメラであり、スティック部１０を持って演奏動作を行う演奏者の動画を所定のフレームレートで撮像する。また、イメージセンサ部２４は、フレームごとの撮像データをＣＰＵ２１に出力する。なお、撮像画像内におけるスティック部１０のマーカー部１５の位置座標の特定については、イメージセンサ部２４が行うこととしてもよく、ＣＰＵ２１が行うこととしてもよい。同様に、撮像したマーカー部１５のマーカー特徴情報についても、イメージセンサ部２４が特定することとしてもよく、ＣＰＵ２１が特定することとしてもよい。
【００３２】
データ通信部２５は、少なくともセンターユニット部３０との間で所定の無線通信（例えば、赤外線通信）を行う。なお、データ通信部１６は、スティック部１０との間で無線通信を行うこととしてもよい。
【００３３】
［センターユニット部３０の構成］
カメラユニット部２０の構成についての説明は、以上である。続いて、図５を参照して、センターユニット部３０の構成について説明する。
図５は、センターユニット部３０のハードウェア構成を示すブロック図である。
センターユニット部３０は、ＣＰＵ３１と、ＲＯＭ３２と、ＲＡＭ３３と、スイッチ操作検出回路３４と、表示回路３５と、音源装置３６と、データ通信部３７と、を含んで構成される。
【００３４】
ＣＰＵ３１は、センターユニット部３０全体の制御を実行し、例えば、スティック部１０から受信したショット検出及びカメラユニット部２０から受信したマーカー部１５の位置座標に基づいて、所定の楽音を発音する制御などを実行する。また、ＣＰＵ３１は、データ通信部３７を介して、スティック部１０及びカメラユニット部２０との間の通信制御を実行する。
【００３５】
ＲＯＭ３２は、ＣＰＵ３１の実行する各種処理の処理プログラムを格納する。また、ＲＯＭ３２は、種々の音色の波形データ、例えば、フルート、サックス、トランペットなどの管楽器、ピアノなどの鍵盤楽器、ギターなどの弦楽器、バスドラム、ハイハット、スネア、シンバル、タムなど打楽器の波形データ（音色データ）を、位置座標などと対応付けて格納する。
【００３６】
音色データ等の格納方法としては、例えば、図６にセットレイアウト情報群として示すように、第１セットレイアウトなどのセットレイアウト情報毎に第１パッド〜第ｎパッドまでのｎ個のパッド情報が対応付けられ、さらに各パッド情報にパッドの有無（後述する仮想平面における仮想パッドの存在の有無）、位置（後述する仮想平面における位置座標）、サイズ（仮想パッドの形状及び径など）、及び音色（波形データ）などが対応づけられて格納されている。
また、複数の仮想パッドの配置や音色などを示すセットレイアウト情報は複数種類存在し、セットレイアウト番号により識別される。具体的には、図６に示すように、第１セットレイアウト〜第ｎセットレイアウトに夫々「１」〜「ｎ」がセットレイアウト番号として付されている。
【００３７】
ここで、図７を参照して、具体的なセットレイアウトについて説明する。図７は、センターユニット部３０のＲＯＭ３２に格納されたセットレイアウト情報群（図６参照）のうち一のセットレイアウト情報（例えば、第１セットレイアウトなど）が示す概念を仮想平面上で可視化した図である。
図７は、６個の仮想パッド８１が仮想平面上に配置されている様子を示しており、各仮想パッド８１には、第１パッド〜第ｎパッドのうち、パッド有無データが「パッド有」となっているものが対応している。例えば、第２パッド、第３パッド、第５パッド、第６パッド、第８パッド、第９パッドの６つが対応している。さらに、位置データとサイズデータに基づいて仮想パッド８１が配置されている。さらにまた、各仮想パッド８１に音色データが対応付けられている。したがって、ショット検出時におけるマーカー部１５の位置座標が各仮想パッド８１に対応する領域に属した場合、各仮想パッド８１に対応する音色が発音される。
【００３８】
また、図７によれば、コントロールパッド９１が仮想平面上に配置されている。コントロールパッド９１とは、セットレイアウト情報を変更するトリガーとなる仮想パッドであり、仮想平面上の予め定められた所定の領域に配置される。例えば、ショット検出時におけるマーカー部１５の位置座標がコントロールパッド９１に対応する領域に属した場合、セットレイアウト番号が１増加（又は減少）する。詳細は、図１１を参照して後述する。
なお、ＣＰＵ３１は、この仮想平面を仮想パッド８１及びコントロールパッド９１の配置と共に後述する表示装置３５１に表示してもよい。
【００３９】
図５に戻って、ＲＡＭ３３は、スティック部１０から受信したスティック部１０の状態（ショット検出など）、カメラユニット部２０から受信したマーカー部１５の位置座標、及び、ＲＯＭ３２から読み出された一のセットレイアウト情報（選択されているセットレイアウト番号に対応したセットレイアウト情報）など、処理において取得され又は生成された値を格納する。
ショット検出時（すなわち、ノートオンイベント受信時）にマーカー部１５の位置座標が属する領域の仮想パッド８１に対応する音色データ（波形データ）を、ＲＡＭ３３に格納されたセットレイアウト情報から、ＣＰＵ３１が読み出すことで、演奏者の演奏動作に応じた楽音が発音される。
【００４０】
スイッチ操作検出回路３４は、スイッチ３４１と接続され、当該スイッチ３４１を介した入力情報を受け付ける。入力情報としては、例えば、発音する楽音の音量や発音する楽音の音色の変更、セットレイアウト番号の設定及び変更、表示装置３５１の表示の切り替えなどが含まれる。
また、表示回路３５は、表示装置３５１と接続され、表示装置３５１の表示制御を実行する。
【００４１】
音源装置３６は、ＣＰＵ３１からの指示にしたがって、ＲＯＭ３２から波形データを読み出して、楽音データを生成すると共に、楽音データをアナログ信号に変換し、図示しないスピーカから楽音を発音する。
また、データ通信部３７は、スティック部１０及びカメラユニット部２０との間で所定の無線通信（例えば、赤外線通信）を行う。
【００４２】
［演奏装置１の処理］
以上、演奏装置１を構成するスティック部１０、カメラユニット部２０及びセンターユニット部３０の構成について説明した。続いて、図８〜図１１を参照して、演奏装置１の処理について説明する。
【００４３】
［スティック部１０の処理］
図８は、スティック部１０が実行する処理（以下、「スティック部処理」と呼ぶ）の流れを示すフローチャートである。
図８を参照して、スティック部１０のＣＰＵ１１は、モーションセンサ部１４からモーションセンサ情報、すなわち、各種センサが出力するセンサ値を読み出し、ＲＡＭ１３に格納する（ステップＳ１）。その後、ＣＰＵ１１は、読み出したモーションセンサ情報に基づいて、スティック部１０の姿勢検知処理を実行する（ステップＳ２）。姿勢検知処理では、ＣＰＵ１１は、モーションセンサ情報に基づいて、スティック部１０の姿勢、例えば、スティック部１０の打撃する動作に関する情報やロール角などを算出する。
【００４４】
続いて、ＣＰＵ１１は、モーションセンサ情報に基づいて、ショット検出処理を実行する（ステップＳ３）。ここで、演奏者がスティック部１０を用いて演奏を行う場合、一般には、現実の楽器（例えば、ドラム）を打撃する動作と同様の演奏動作を行う。このような演奏動作では、演奏者は、まずスティック部１０を振り上げ、それから仮想的な楽器に向かって振り下ろす。そしてスティック部１０を仮想的な楽器に打撃する寸前に、スティック部１０の動作を止めようとする力を働かせる。このとき、演奏者は、仮想的な楽器にスティック部１０を打撃した瞬間に楽音が発生することを想定しているため、演奏者が想定するタイミングで楽音を発生できるのが望ましい。そこで、本実施形態では、演奏者が仮想的な楽器の面にスティック部１０を打撃する瞬間又はそのわずかに手前のタイミングで楽音を発音することとしている。
【００４５】
本実施形態においては、ショット検出のタイミングは、スティック部１０が振り下ろされてから停止される直前のタイミングであり、スティック部１０にかかる振り下ろし方向とは逆向きの加速度の大きさがある閾値を超えたタイミングである。
このショット検出のタイミングを発音タイミングとし、発音タイミングが到来したと判断されると、スティック部１０のＣＰＵ１１は、ノートオンイベントを生成し、センターユニット部３０に送信する。これにより、センターユニット部３０において、発音処理が実行されて、楽音が発音される。
ステップＳ３に示すショット検出処理では、モーションセンサ情報（例えば、加速度センサのセンサ合成値）に基づいて、ノートオンイベントを生成する。このとき、生成するノートオンイベントには、発音する楽音の音量を含めることとしてもよい。なお、楽音の音量は、例えば、センサ合成値の最大値から求めることができる。
【００４６】
続いて、ＣＰＵ１１は、ステップＳ２及びステップＳ３の処理で検出した情報、すなわち、姿勢情報及びショット情報を、データ通信部１６を介してセンターユニット部３０に送信する（ステップＳ４）。このとき、ＣＰＵ１１は、スティック識別情報と対応付けて、姿勢情報及びショット情報をセンターユニット部３０に送信する。
これにより、処理はステップＳ１に戻され、それ以降の処理が繰り返される。
【００４７】
［カメラユニット部２０の処理］
図９は、カメラユニット部２０が実行する処理（以下、「カメラユニット部処理」と呼ぶ）の流れを示すフローチャートである。
図９を参照して、カメラユニット部２０のＣＰＵ２１は、イメージデータ取得処理を実行する（ステップＳ１１）。この処理では、ＣＰＵ２１は、イメージセンサ部２４からイメージデータを取得する。
【００４８】
続いて、ＣＰＵ２１は、第１マーカー検出処理（ステップＳ１２）及び第２マーカー検出処理（ステップＳ１３）を実行する。これらの処理では、ＣＰＵ２１は、イメージセンサ部２４が検出した、スティック部１０Ａのマーカー部１５（第１マーカー）及びスティック部１０Ｂのマーカー部１５（第２マーカー）の位置座標、サイズ、角度などのマーカー検出情報を、取得しＲＡＭ２３に格納する。このとき、イメージセンサ部２４は、発光中のマーカー部１５について、マーカー検出情報を検出する。
【００４９】
続いて、ＣＰＵ２１は、ステップＳ１２及びステップＳ１３で取得したマーカー検出情報を、データ通信部２５を介してセンターユニット部３０に送信し（ステップＳ１４）、ステップＳ１１に処理を移行させる。
【００５０】
［センターユニット部３０の処理］
図１０は、センターユニット部３０が実行する処理（以下、「センターユニット部処理」と呼ぶ）の流れを示すフローチャートである。
図１０を参照して、センターユニット部３０のＣＰＵ３１は、カメラユニット部２０から、第１マーカー及び第２マーカー夫々のマーカー検出情報を受信し、ＲＡＭ３３に格納する（ステップＳ２１）。また、ＣＰＵ３１は、スティック部１０Ａ、１０Ｂの夫々から、スティック識別情報と対応付けられた姿勢情報及びショット情報を受信し、ＲＡＭ３３に格納する（ステップＳ２２）。さらに、ＣＰＵ３１は、スイッチ３４１の操作により入力された情報を取得する（ステップＳ２３）。
【００５１】
続いて、ＣＰＵ３１は、ショットありか否かを判断する（ステップＳ２４）。この処理では、ＣＰＵ３１は、スティック部１０からノートオンイベントを受信したか否かにより、ショットの有無を判断する。このとき、ショットありと判断した場合には、ＣＰＵ３１は、ショット情報処理を実行する（ステップＳ２５）。ショット情報処理では、ＣＰＵ３１は、ＲＡＭ３３に読み出されたセットレイアウト情報から、マーカー検出情報に含まれる位置座標が属する領域の仮想パッド８１に対応する音色データ（波形データ）を読み出し、ノートオンイベントに含まれる音量データと共に音源装置３６に出力する。すると、音源装置３６は、受け取った波形データに基づいて該当する楽音を発音する。
【００５２】
ステップＳ２５の後、又はステップＳ２４でＮＯと判断した場合には、ＣＰＵ３１は、セットレイアウト変更か否かを判断する（ステップＳ２６）。この処理では、ショット検出時におけるマーカー部１５の位置座標がコントロールパッド９１に対応する領域に属した場合、セットレイアウト変更と判断する。セットレイアウト変更と判断した場合には、ＣＰＵ３１は、セットレイアウト処理を実行し（ステップＳ２７）、ステップＳ２１に処理を移行させる。他方、セットレイアウト変更無しと判断した場合には、ＣＰＵ３１は、ステップＳ２１に処理を移行させる。
【００５３】
［センターユニット部３０のセットレイアウト処理］
図１１は、図１０のセンターユニット部処理のうち、ステップＳ２７のセットレイアウト処理の詳細な流れを示すフローチャートである。
図１１を参照して、ＣＰＵ３１は、セットレイアウト情報を直接指定するか否かを判断する（ステップＳ３１）。具体的には、セットレイアウト情報を直接指定するためのトリガーとなる信号情報を、スティック部１０から受信したか否かを判断する。直接指定すると判断した場合には、ＣＰＵ３１は、セットレイアウト番号を変更し（ステップＳ３２）、直接指定すると判断しない場合には、ＣＰＵ３１は、ステップＳ３３に処理を移行させる。
【００５４】
ステップＳ３２におけるセットレイアウト番号の変更は、スイッチ３４１の操作によりＲＡＭ３３に設定されているセットレイアウト番号に基づいて、ＣＰＵ３１が、ＲＯＭ３２からセットレイアウト情報をＲＡＭ３３に読み出すことによって行われる。
【００５５】
続いて、ＣＰＵ３１は、ロール角が０以上か否かを判断する（ステップＳ３３）。この処理では、スティック部１０から受信した姿勢情報に含まれるロール角が０以上か否かを判断する。ロール角が０以上である場合とは、演奏者がスティック部１０を軸まわりに基準位置から右回転させた状態である（図１３参照）。よって、ロール角が０未満である場合とは、演奏者がスティック部１０を軸まわりに基準位置から左回転させた状態となる（図１３参照）。ロール角が０以上と判断した場合には、ＣＰＵ３１は、セットレイアウト番号を１増加させて（ステップＳ３４）、ステップＳ３６に処理を移行させ、ロール角が０未満と判断した場合には、ＣＰＵ３１は、セットレイアウト番号を１減少させて（ステップＳ３５）、ステップＳ３６に処理を移行させる。
【００５６】
続いて、ＣＰＵ３１は、セットレイアウト情報を切り替える（ステップＳ３６）。この処理では、ステップＳ３２、ステップＳ３４、又はステップＳ３５で決定されたセットレイアウト番号に対応するセットレイアウト情報を、ＣＰＵ３１は、ＲＯＭ３２に記憶されたセットレイアウト情報群からＲＡＭ３３に読み出す。
【００５７】
［セットレイアウト情報の変更例］
図１２を参照して、セットレイアウト情報の変更例について説明する。図１２によれば、セットレイアウト情報として第１セットレイアウト〜第ｎセットレイアウトの例が示されており、図１０及び図１１で説明したように、コントロールパッド９１がショットされると、ロール角に応じてセットレイアウト情報が変更される。
例えば、演奏者がスティック部１０を軸まわりに基準位置から右回転させた状態でコントロールパッド９１をショットすると、次のセットレイアウト番号に対応するセットレイアウト情報に変更される。また、左回転させた状態でコントロールパッド９１をショットすると、１つ手前のセットレイアウト番号に対応するセットレイアウト情報に変更される。さらに、演奏者がスティック部１０のスイッチ１７１を押下した状態でコントロールパッド９１をショットすると、ＲＡＭ３３に手動で設定されているセットレイアウト番号に対応するセットレイアウト情報に変更される。
【００５８】
以上、本実施形態の演奏装置１の構成及び処理について説明した。
本実施形態においては、ＣＰＵ３１は、スティック部１０のショットタイミングにカメラユニット部２０により撮像された撮像画像におけるマーカー部１５の位置座標が属する仮想パッド８１の領域に対応する音色を特定し、当該特定した音色で発音し、ショットタイミングに撮像された撮像画像におけるマーカー部１５の位置座標が、仮想平面におけるコントロールパッド９１の領域に属した場合、処理対象のセットレイアウト情報を、複数のセットレイアウト情報のうち他の１つに切り替える。
よって、演奏者は、コントロールパッド９１をショットすることでセットレイアウト情報を変更できるので、様々なバリエーションのドラムセットを素早くかつ容易に切り替えることができる。したがって、通常のドラムセットでは不可能な演奏を実現できる。
【００５９】
また、本実施形態においては、ＣＰＵ３１は、コントロールパッド９１のショットタイミングにおけるスティック部１０が算出したロール角に基づいて、処理対象のセットレイアウト情報を他のセットレイアウト情報に切り替える。
したがって、演奏者は、コントロールパッド９１のショット時において、ステッィク部１０の軸まわりの回転角であるロール角を調節することで所望のセットレイアウト情報を選択することができる。
【００６０】
また、本実施形態においては、ＣＰＵ３１は、コントロールパッド９１のショットタイミングにおけるスティック部１０のロール角が０以上の場合、セットレイアウト番号を１増加させ、当該ロール角が０未満の場合、セットレイアウト番号を１減少させて、増加後又は減少後のセットレイアウト番号に対応するセットレイアウト情報に切り替える。
したがって、演奏者は、コントロールパッド９１のショット時において、スティック部１０のロール角を右まわりにひねることで、セットレイアウト番号を１増加させ、左まわりにひねることで、セットレイアウト番号を１減少させることができる。よって、演奏中に容易に所望のセットレイアウト情報を選択することができる。また、コントロールパッド９１を誤ってショットしてしまいセットレイアウト情報が変更された場合であっても、容易に元に戻すことができる。尚、ここではロール角をセットレイアウトに対応させる構成について示したが、検出されたロール角は音色の変更など他の制御パラメータの変更に用いることも可能である。
【００６１】
以上、本発明の実施形態について説明したが、実施形態は例示に過ぎず、本発明の技術的範囲を限定するものではない。本発明はその他の様々な実施形態を取ることが可能であり、さらに、本発明の要旨を逸脱しない範囲で、省略や置換など種々の変更を行うことができる。これら実施形態やその変形は、本明細書などに記載された発明の範囲や要旨に含まれると共に、特許請求の範囲に記載された発明とその均等の範囲に含まれる。
【００６２】
上記実施形態では、仮想的な打楽器として仮想ドラムセットＤ（図１参照）を例にとって説明したが、これに限られるものではなく、本発明は、スティック部１０の振り下ろし動作で楽音を発音する木琴など他の楽器に適用することができる。
【００６３】
また、上記実施形態でスティック部１０、カメラユニット部２０及びセンターユニット部３０で実行することとしている処理のうちの任意の処理は、他のユニット（スティック部１０、カメラユニット部２０及びセンターユニット部３０）で実行することとしてもよい。例えば、スティック部１０のＣＰＵ１１が実行することとしているショット検出及びロール角の算出などの処理を、センターユニット部３０が実行することとしてもよい。
【００６４】
また、上記実施形態では、スティック部１０のスイッチ１７１が押下された状態でコントロールパッド９１がショットされると、センターユニット部３０のＲＡＭ３３に手動で設定されたセットレイアウト番号に対応するセットレイアウト情報がＲＯＭ３２から読み出されることとしているが、コントロールパッド９１がショットされた場合に限られず、他の仮想パッド８１がショットされた場合にも、セットレイアウト情報をＲＯＭ３２から読出すこととしてもよい。
【００６５】
以下に、本願の出願当初の特許請求の範囲に記載された発明を付記する。
［付記１］
演奏者が保持可能な演奏部材と、
前記演奏部材を被写体とする撮像画像を撮像すると共に、前記撮像画像平面上の前記演奏部材の位置座標を検出する撮像装置と、
前記撮像画像平面に配置された複数の領域及び当該複数の領域夫々に音色を対応させたレイアウト情報を複数種記憶するとともに、当該複数種のレイアウト情報から所望のレイアウト情報を選択する選択手段と、
前記演奏部材により特定の演奏操作がなされたタイミングにおいて、前記演奏部材の位置座標が、前記選択されたレイアウト情報に基づいて配置された複数の領域のいずれかに属するか否かを判別する判別手段と、
この判別手段により領域に属すると判別された場合に、当該領域に対応する音色の楽音の発音を指示する発音指示手段と、
を備え
前記複数種のレイアウト情報夫々には、前記複数の領域とは別の特定の領域が設けられ、
前記選択手段は、前記演奏部材により特定の演奏操作がなされたタイミングにおいて、前記演奏部材の位置座標が、前記特定の領域に属した場合、選択されている前記レイアウト情報とは別のレイアウト情報を、前記複数のレイアウト情報から選択する、
ことを特徴とする演奏装置。
［付記２］
前記演奏部材は、前記演奏部材自体のロール角を検出するロール角検出手段を備え、
前記選択手段は、前記演奏部材により特定の演奏操作がなされた際に前記ロール角検出手段により検出された前記ロール角に基づいて、前記複数のレイアウト情報から選択する別の選択情報を決定する、
ことを特徴とする付記１に記載の演奏装置。
［付記３］
前記複数のレイアウト情報の夫々に異なるレイアウト番号が付され、
前記選択手段は、前記検出されたロール角が第１の所定範囲に属する場合には前記レイアウト番号を所定数増加させるとともに、第２の所定範囲に属する場合には前記レイアウト番号を所定数減少させる変更を行い、前記別のレイアウト情報として、変更されたレイアウト番号が付されたレイアウト情報を選択する、
ことを特徴とする付記２に記載の演奏装置。
［付記４］
演奏者が保持可能な演奏部材と、前記演奏部材を被写体とする撮像画像を撮像すると共に、前記撮像画像平面上の前記演奏部材の位置座標を検出する撮像装置と、を備え、前記撮像画像平面に配置された複数の領域及び当該複数の領域夫々に音色を対応させたレイアウト情報を複数種記憶するとともに、当該複数種のレイアウト情報夫々には、前記複数の領域とは別の特定の領域が設けられた演奏装置として用いられるコンピュータに、
前記演奏部材により特定の演奏操作がなされたタイミングにおいて、前記演奏部材の位置座標が、前記特定の領域に属した場合、選択されている前記レイアウト情報とは別のレイアウト情報を、前記複数のレイアウト情報から選択するステップと、
前記演奏部材により特定の演奏操作がなされたタイミングにおいて、前記演奏部材の位置座標が、前記選択されたレイアウト情報に基づいて配置された複数の領域のいずれかに属するか否かを判別するステップと、
前記いずれかの領域に属すると判別された場合に、当該領域に対応する音色の楽音の発音を指示するステップと、
を実行させるプログラム。
【符号の説明】
【００６６】
１・・・演奏装置、１０・・・スティック部、１１・・・ＣＰＵ、１２・・・ＲＯＭ、１３・・・ＲＡＭ、１４・・・モーションセンサ部、１５・・・マーカー部、１６・・・データ通信部、１７・・・スイッチ操作検出回路、１７１・・・スイッチ、２０・・・カメラユニット部、２１・・・ＣＰＵ、２２・・・ＲＯＭ、２３・・・ＲＡＭ、２４・・・イメージセンサ部、２５・・・データ通信部、３０・・・センターユニット、３１・・・ＣＰＵ、３２・・ＲＯＭ、３３・・・ＲＡＭ、３４・・・スイッチ操作検出回路、３４１・・・スイッチ、３５・・・表示回路、３５１・・・表示装置、３６・・・音源装置、３７・・・データ通信部、８１・・・仮想パッド、９１・・・コントロールパッド
【図１】
2013182195.tif 000003
【図２】
2013182195.tif 000004
【図３】
2013182195.tif 000005
【図４】
2013182195.tif 000006
【図５】
2013182195.tif 000007
【図６】
2013182195.tif 000008
【図７】
2013182195.tif 000009
【図８】
2013182195.tif 000010
【図９】
2013182195.tif 000011
【図１０】
2013182195.tif 000012
【図１１】
2013182195.tif 000013
【図１２】
2013182195.tif 000014
【図１３】
2013182195.tif 000015