(57)【要約】      （修正有）【課題】演奏環境によって演奏操作子が検出しにくい場合でもできるだけ演奏場所を変更せずに対応することができる楽音発生装置を提供する。【解決手段】楽音発音装置１に、マーカー部１５が設けられ演奏者が操作するスティック部１０と、演奏動作時におけるマーカー部１５の位置をスティック部１０の操作位置として検出する撮像部と、スティック部１０の演奏動作時における操作位置が所定の演奏エリア内である場合に、所定の楽音を発音する発音部に対して発音指示を与える発音制御部と、撮像部によりマーカー部１５の位置を検出できたか否かを判定するマーカー検出可否判定部と、マーカー部１５の位置ができないときに、マーカー部１５の発光状態を変更させるスティック制御部とを備えた。【選択図】図１
2013195626.tif 000002
【特許請求の範囲】
【請求項１】
発光部を備えた演奏操作子と、
演奏操作時における前記発光部の所定平面上の位置を検出する位置検出手段と、
前記位置検出手段により前記発光部の所定平面上の位置を検出できたか否かを判定する検出可否判定手段と、
前記検出可否判定手段により前記発光部の所定平面上の位置が検出できないと判定されたときに、前記発光部の発光状態を変更する発光状態変更手段と、
前記検出可否判定手段により前記発光部の所定平面上の位置が検出され、かつ前記検出された位置が前記所定平面上に設けられた演奏エリアに含まれる場合に、楽音を発音する楽音発生手段に対して発音指示を与える発音制御手段と、
を備えていることを特徴とする楽音発生装置。
【請求項２】
前記発光状態変更手段は、前記発光部の発光強度を変更させることを特徴とする請求項１に記載の楽音発生装置。
【請求項３】
前記発光状態変更手段は、前記発光部の発光色を変更させることを特徴とする請求項１又は請求項２に記載の楽音発生装置。
【請求項４】
前記発光状態変更手段により前記発光部の発光状態を変更しても、前記位置検出手段により前記発光部の位置を検出できないときに、前記発光部の位置検出不能を報知する報知手段をさらに備えていることを特徴とする請求項１から請求項３のいずれか一項に記載の楽音発生装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、楽音発生装置に関するものである。
【背景技術】
【０００２】
従来、演奏者（ユーザ）の演奏動作を検知すると、演奏動作に応じた電子音（楽音）を発音する楽音発生装置（楽器ゲーム装置）が提案されている（例えば、特許文献１参照）。また、こうした電子音を発音させる装置において、演奏者が打楽器のスティックに相当する部材（コントローラ）を手に持って振る動作を行うと、それに応じて打楽器音を発音する装置（バーチャルドラム装置）も知られており（例えば、特許文献２参照）、このような装置では、コントローラにセンサを設け、演奏者がこの部材を手で保持して振ると、センサがその動作を検知し、この検知結果に応じた打楽器音を発音させるように構成されている。
例えば打楽器等の現実の楽器は、重量も重く、設置に広いスペースを要することから、自宅等で手軽に演奏や練習を行うことが難しい。
この点、演奏者の演奏動作を検知し、これに応じた楽音を発生させて、仮想の楽器演奏を行う楽音発生装置によれば、現実の楽器を必要とせずに当該楽器の楽音を発音させることができるため、演奏場所や演奏スペースに制約を受けずに手軽に演奏を楽しむことができる。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特許第３５９９１１５号公報
【特許文献２】特許第４５８６５２５号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、このような仮想の楽器演奏を行う装置において、スティック部等の演奏操作子の動きを検出する手段としてカメラ等を用いた場合、演奏場所の壁面の色や、照明の具合等によって演奏操作子を検出しにくい場合がある。
従来、演奏操作子を検出できない場合には、演奏場所を変更する等が必要となり、演奏者にとって不便であった。
【０００５】
本発明は以上のような事情に鑑みてなされたものであり、演奏環境によって演奏操作子が検出しにくい場合でもできるだけ演奏場所を変更せずに対応することができる楽音発生装置を提供することを目的とするものである。
【課題を解決するための手段】
【０００６】
前記課題を解決するために、本発明の楽音発生装置は、
発光部を備えた演奏操作子と、
演奏操作時における前記発光部の所定平面上の位置を検出する位置検出手段と、
前記位置検出手段により前記発光部の所定平面上の位置を検出できたか否かを判定する検出可否判定手段と、
前記検出可否判定手段により前記発光部の所定平面上の位置が検出できないと判定されたときに、前記発光部の発光状態を変更する発光状態変更手段と、
前記検出可否判定手段により前記発光部の所定平面上の位置が検出され、かつ前記検出された位置が前記所定平面上に設けられた演奏エリアに含まれる場合に、楽音を発音する楽音発生手段に対して発音指示を与える発音制御手段と、
を備えていることを特徴とする。
【発明の効果】
【０００７】
本発明によれば、演奏環境によって演奏操作子が検出しにくい場合でもできるだけ演奏場所を変更せずに対応することができるとの効果を奏する。
【図面の簡単な説明】
【０００８】
【図１】（Ａ）は、本発明に係る楽音発生装置の一実施形態の概要を示す図であり、（Ｂ）は、本実施形態における仮想のドラムセットを示した図である。
【図２】図１に示すスティック部のハードウェア構成を示すブロック図である。
【図３】図１に示すスティック部の斜視図である。
【図４】図１に示すカメラユニット部のハードウェア構成を示すブロック図である。
【図５】図１に示すセンターユニット部のハードウェア構成を示すブロック図である。
【図６】モーションセンサ部の垂直方向の加速度の変化を表わした図である。
【図７】演奏場所の壁面を背景にスティック部を振った場合のマーカー部の様子を示す説明図である。
【図８】（Ａ）は、図７に示すマーカー部の発光強度を変更した例を示し、（Ｂ）は、図７に示すマーカー部の発光色を変更した例を示し、（Ｃ）は、図７に示すマーカー部の発光色と発光強度を変更した例を示す図である。
【図９】スティック部の処理の流れを示すフローチャートである。
【図１０】カメラユニット部の処理の流れを示すフローチャートである。
【図１１】センターユニット部の処理の流れを示すフローチャートである。
【発明を実施するための形態】
【０００９】
以下、本発明の実施形態について、図面を用いて説明する。なお、以下に述べる実施形態には、本発明を実施するために技術的に好ましい種々の限定が付されているが、本発明の範囲を以下の実施形態及び図示例に限定するものではない。
【００１０】
［楽音発生装置の概要］
まず、図１（Ａ）及び図１（Ｂ）を参照して、本発明に係る楽音発生装置の一実施形態の概要について説明する。
図１（Ａ）は、本実施形態に係る楽音発生装置の装置構成の概要を示す図である。
図１（Ａ）に示すように、本実施形態の楽音発生装置１は、スティック部１０Ａ、１０Ｂと、カメラユニット部２０と、センターユニット部３０と、を含んで構成されている。なお、本実施形態の楽音発生装置１は、２本のスティックを用いた仮想的なドラム演奏を実現するため、２つのスティック部１０Ａ、１０Ｂを備えることとしているが、スティック部の数はこれに限られず、１つとしてもよく、３つ以上としてもよい。なお、以下では、スティック部１０Ａ、１０Ｂを区別しない場合には、両者を総称して「スティック部１０」と称する。
【００１１】
スティック部１０は、長手方向に延在する棒状の部材であり、演奏者が操作する演奏操作子として機能する。すなわち、演奏者は、スティック部１０の一端（根元側）を手に持ち、手首等を中心とした振り上げ振り下ろし動作を行うことにより、演奏動作を行う。
このような演奏者の演奏動作を検知するため、本実施形態では、スティック部１０の他端（先端側）に、加速度センサなどの各種センサ（後述のモーションセンサ部１４、図２参照）が設けられている。
各種センサによって検知された検知結果（例えば各種センサによって取得された生データ等）が、センターユニット部３０に送信されるようになっている。
また、スティック部１０の先端側には、発光部としてマーカー部１５が設けられており、撮像時にカメラユニット部２０がスティック部１０の先端を容易に判別可能であるように構成されている。
【００１２】
カメラユニット部２０は、スティック部１０を保持して演奏動作を行う演奏者の動画を所定のフレームレートで撮像する撮像部２４（例えば光学式のカメラ、図４参照）等を備える撮像装置であり、本実施形態において、撮像部２４は、演奏動作時におけるマーカー部１５の位置をスティック部１０の操作位置として検出する位置検出手段として機能する。
本実施形態では、カメラユニット部２０は、位置検出手段としての撮像部２４によって取得された画像からスティック部１０のマーカー部１５の位置を検出することによって、演奏者の演奏動作に基づくスティック部１０（演奏操作子）の状態としてスティック部１０の演奏動作時における操作位置を検出する。
【００１３】
センターユニット部３０は、スティック部１０から各種センサ（後述のモーションセンサ部１４）によって検知された検知結果を受信すると、この検知結果及び当該検知結果受信時におけるマーカー部１５の位置座標データに応じて、所定の楽音を発音手段である発音部３６のスピーカ等の音声出力部３６２から発音させる。
具体的には、センターユニット部３０は、その記憶手段であるＲＯＭ（後述する）等に、カメラユニット部２０の撮像空間に対応付けて、図１（Ｂ）に示すような仮想のドラムセットＤの位置座標データを記憶している。センターユニット部３０は、当該仮想のドラムセットＤの位置座標データとモーションセンサ部１４による検知結果受信時におけるマーカー部１５の位置座標データとに基づいて、スティック部１０が打撃した楽器を特定し、当該楽器に対応する所定の楽音を発音させる。
以下、本実施形態に係る楽音発生装置１について具体的に説明する。
【００１４】
［楽音発生装置１の構成］
まず、図２から図５を参照して、本実施形態における楽音発生装置１を構成するスティック部１０、カメラユニット部２０及びセンターユニット部３０の構成について詳細に説明する。
図２は、スティック部１０のハードウェア構成を示すブロック図であり、図３は、スティック部１０の斜視図であり、図４は、カメラユニット部２０のハードウェア構成を示すブロック図であり、図５は、センターユニット部３０のハードウェア構成を示すブロック図である。
【００１５】
［スティック部１０の構成］
図２に示すように、スティック部１０は、ＣＰＵ（Central Processing Unit）等で構成されるスティック制御部１１と、ＲＯＭ（Read Only Memory）１２と、ＲＡＭ（Random Access Memory）１３と、モーションセンサ部１４と、マーカー部１５と、データ通信部１６と、を含んで構成されている。また、スティック部１０は、各部に電源を供給する図示しない電源部を備えている。
【００１６】
ＲＯＭ１２は、スティック制御部１１の実行する各種処理の処理プログラムを格納している。
また、ＲＯＭ１２は、マーカー部１５の発光制御に用いるマーカー特徴情報を格納している。
ここで、マーカー特徴情報とは、同じ撮像空間に複数のマーカー部１５が存在している場合に、各マーカー部１５（本実施形態では、スティック部１０Ａの第１マーカーとスティック部１０Ｂの第２マーカー）を区別するための情報であり、例えば、発光時の形状、大きさ、色相、彩度、あるいは輝度に加え、発光時の点滅スピードなどを用いることができる。スティック部１０が複数ある場合には、各スティック部１０はそれぞれ異なるマーカー特徴情報を有しており、各マーカー特徴情報にしたがった発光制御が行われるようになっている。
【００１７】
ＲＡＭ１３は、モーションセンサ部１４が出力した各種センサ値等、処理において取得され又は生成された値を格納する。
【００１８】
スティック制御部１１は、スティック部１０全体の制御を実行するものである。
例えば、モーションセンサ部１４から検知結果としてのセンサ値（以下、これを「モーションセンサデータ」と称する。）が出力されると、このモーションセンサデータを、データ通信部１６を介してセンターユニット部３０に送信する等、センターユニット部３０との間の通信制御を行う。
また、スティック制御部１１は、マーカー特徴情報をＲＯＭ１２から読み出し、当該マーカー特徴情報にしたがって、マーカー部１５の発光制御を行う。前述のように、複数のスティック部１０Ａ，１０Ｂがある場合には、各スティック部１０Ａ，１０Ｂはそれぞれ異なるマーカー特徴情報にしたがった発光制御が行われる。これは、カメラユニット部２０の撮像部２４によって撮像された画像から、スティック部１０Ａのマーカー部１５（第１マーカー）と、スティック部１０Ｂのマーカー部１５（第２マーカー）とを区別して検出できるようにするためである。すなわち、スティック部１０が複数ある場合に、マーカー部１５が同じように発光すると、カメラユニット部２０で撮像した際に、各マーカー部１５がいずれのスティック部１０のものであるか判別できないおそれがある。このため、スティック部１０Ａのスティック制御部１１及びスティック部１０Ｂのスティック制御部１１がそれぞれ異なるマーカー特徴情報を読み出し、これにしたがってマーカー部１５の発光制御を行うことで、各マーカー部１５の発光を異ならせ、両者の区別を容易としている。
【００１９】
また、本実施形態では、スティック制御部１１は、検出可否判定手段であるマーカー検出可否判定部３１２（図５参照）によって、位置検出手段である撮像部２４によるマーカー部１５の位置検出が不良であると判定されたときに、マーカー部１５の発光状態を変更させる発光状態変更手段として機能する。
本実施形態において、スティック制御部１１は、検出可否判定手段であるセンターユニット部３０のマーカー検出可否判定部３１２からマーカー部１５の発光状態の変更を求める指示信号を受信するようになっており、スティック制御部１１は、この信号を受信すると、その指示にしたがってマーカー部１５の発光状態を変更する。
【００２０】
ここで、マーカー部１５の発光状態とは、マーカー部１５の発光強度、発光色、又はこれらの組合せである。発光強度の変更は例えばマーカー部１５の発光の輝度を調整することにより行われる。また、発光色の変更は例えば点灯させるＬＥＤを他の色を発色させるＬＥＤに変更することにより行われる。
具体的には、スティック制御部１１は、例えばマーカー部１５の発光輝度を「弱」「中」「強」の３段階等、複数の段階に調整することができるようになっており、マーカー検出可否判定部３１２からマーカー部１５の発光強度を上げるように指示された場合には、スティック制御部１１は、マーカー部１５の発光輝度を「弱」から「中」にする等、段階的に輝度を上げることで対応する。
また、本実施形態では、マーカー部１５は、例えば「赤」「青」「黄」の３色等、複数色のＬＥＤによって構成されており、マーカー検出可否判定部３１２からマーカー部１５の発光色を変更するように指示された場合には、スティック制御部１１は、例えばマーカー部１５を構成するＬＥＤのうち、現在点灯しているもの（例えば「赤」）とは異なる色（例えば「青」）のＬＥＤを点灯させることによって対応する。
【００２１】
なお、スティック制御部１１がどの程度マーカー部１５の発光強度を上げるか、どの色のＬＥＤを点灯させるかについては、予め変更順が定められており、指示信号を受ける度に順次この変更順に従って変更していってもよいし、マーカー検出可否判定部３１２からの指示信号に変更内容（例えば発光色を「赤」から「青」に変更等）の指示が含まれていて、スティック制御部１１がこれに従ってマーカー部１５の発光状態を変更してもよい。また、楽音発生装置１を演奏する演奏場所の壁面等の背景ＢＧ（図７等参照）の色相や演奏場所の照度等を検出する手段をスティック部１０に備え、スティック制御部１１がこうした検出手段による検出結果に基づいて最適な発光強度や発光色を判断し、マーカー部１５の発光状態を変更するようにしてもよい。
【００２２】
なお、本実施形態のように、スティック部１０が複数ある場合には、検出可否判定部であるマーカー検出可否判定部３１２は、マーカー部１５の位置を検出できたか否かの判定を各スティック部１０のマーカー部１５毎に行い、それぞれについて必要に応じて指示信号を出力する。
スティック部１０が複数ある場合には、前述のように、各スティック部１０Ａのマーカー部１５（第１マーカー）と、スティック部１０Ｂのマーカー部１５（第２マーカー）とを区別する必要があるため、スティック部１０Ａのスティック制御部１１及びスティック部１０Ｂのスティック制御部１１は、発光状態を変更した結果、両者のマーカー部１５（第１マーカー）、マーカー部１５（第２マーカー）が同じ発光状態（すなわち、同色、同輝度等）にならないように、それぞれ異なるマーカー特徴情報に基づいて発光状態の変更を行う。
【００２３】
なお、スティック制御部１１によって行われる制御はこれに限定されず、例えば、センターユニット部３０からの指示又はモーションセンサ部１４による検知結果であるセンサ値（モーションセンサデータ）等に基づいて、マーカー部１５の点灯／消灯等の発光制御を行うようにしてもよい。
【００２４】
モーションセンサ部１４は、例えばスティック部１０の内部に設けられ、スティック部１０の状態（例えば、振り下ろし位置、振り下ろし速度、振り下ろし角度等）を検知するための各種センサであり、モーションセンサ部１４は、検知結果として所定のセンサ値（モーションセンサデータ）を出力する。モーションセンサ部１４によって検知された検知結果（モーションセンサデータ）は、データ通信部１６を介してセンターユニット部３０に送信される。
ここで、モーションセンサ部１４を構成するセンサとしては、例えば、加速度センサ、角速度センサ及び磁気センサ等を用いることができる。
【００２５】
加速度センサとしては、Ｘ軸、Ｙ軸、Ｚ軸の３つの軸方向のそれぞれに生じた加速度を出力する３軸センサを用いることができる。なお、Ｘ軸、Ｙ軸、Ｚ軸については、図３に示すように、スティック部１０の長手方向の軸と一致する軸をＹ軸とし、加速度センサが配置された基板（図示せず）と平行で、かつ、Ｙ軸と直交する軸をＸ軸とし、Ｘ軸及びＹ軸と直交する軸をＺ軸とすることができる。加速度センサは、Ｘ軸、Ｙ軸、Ｚ軸のそれぞれの成分の加速度を取得するとともに、それぞれの加速度を合成したセンサ合成値を算出することとしてもよい。
本実施形態において、楽音発生装置１を用いて演奏を行う場合、演奏者は、スティック部１０の一端（根元側）を保持し、手首などを中心としてスティック部１０の他端（先端側）を上下動させる振り上げ振り下ろし動作を行うことで、スティック部１０に対して回転運動を生じさせる。ここで、スティック部１０が静止している場合には、加速度センサは、センサ合成値として重力加速度１Ｇに相当する値を算出し、スティック部１０が回転運動をしている場合には、加速度センサは、センサ合成値として重力加速度１Ｇよりも大きな値を算出する。なお、センサ合成値は、例えば、Ｘ軸、Ｙ軸、Ｚ軸の成分の加速度のそれぞれの２乗の総和の平方根を算出することで得られる。
【００２６】
また、角速度センサとしては、例えば、ジャイロスコープを備えたセンサを用いることができる。本実施形態において、角速度センサは、図３に示すように、スティック部１０のＹ軸方向の回転角５０１やスティック部１０のＸ軸方向の回転角５１１を出力するようになっている。
ここで、Ｙ軸方向の回転角５０１は、演奏者がスティック部１０を持ったとき、演奏者から見た前後軸の回転角であるため、ロール角と称することができる。ロール角は、Ｘ−Ｙ平面が、どの程度Ｘ軸に対して傾けられたかを示す角度５０２に対応し、演奏者がスティック部１０を手に持って、手首を軸にして左右に回転させることにより生じる。
また、Ｘ軸方向の回転角５１１は、演奏者がスティック部１０を持ったとき、演奏者から見た左右軸の回転角であるため、ピッチ角と称することができる。ピッチ角は、Ｘ−Ｙ平面が、どの程度Ｙ軸に対して傾けられたかを示す角度５１２に対応し、演奏者がスティック部１０を手に持って、手首を上下方向に振ることにより生じる。
なお、図示は省略しているが、角速度センサは、Ｚ軸方向の回転角も併せて出力することとしてもよい。このとき、Ｚ軸方向の回転角は、基本的にはＸ軸方向の回転角５１１と同じ性質を有し、演奏者がスティック部１０を手に持って、手首を左右方向に振ることにより生じるピッチ角である。
【００２７】
また、磁気センサとしては、図３に示すＸ軸、Ｙ軸、Ｚ軸の３軸方向の磁気センサ値を出力可能なセンサを用いることができる。このような磁気センサからは、磁石による北（磁北）を示すベクトルが、Ｘ軸方向、Ｙ軸方向、Ｚ軸方向のそれぞれについて出力される。出力される各軸方向の成分は、スティック部１０の姿勢（向き）によって異なるため、これらの成分から、スティック制御部１１は、スティック部１０のロール角やＸ軸方向及びＺ軸方向の回転角を算出することができる。
【００２８】
ここで、図６を参照しつつ、モーションセンサ部１４によって検知される検知結果（モーションセンサデータ）について説明する。なお、ここでは、上記各種センサのうち加速度センサによる検知結果を示す。
演奏者がスティック部１０を用いて演奏を行う場合、一般には、現実の楽器（例えば、ドラム）を打つ動作と同様の動作を行う。このような（演奏）動作では、演奏者は、まずスティック部１０を振り上げ、それから仮想的な楽器の打面（演奏面）に向かって振り下ろす。そして実際には打面が存在していないため、演奏者は、スティック部１０を仮想的な楽器に打ちつける寸前に、スティック部１０の動作を止めようとする力を働かせる。
図６は、このようなスティック部１０を用いて演奏動作を行った場合のモーションセンサ部１４の垂直方向の加速度の変化を表わした図であり、スティック部１０からセンターユニット部３０に送信されるモーションセンサデータの一例を示すものである。
なお、垂直方向の加速度とは、水平面に対する垂直方向の加速度を意味し、Ｙ軸成分の加速度から分解し算出することとしてもよく、Ｚ軸方向の加速度（ロール角によってはＸ軸方向の加速度）から分解し算出することとしてもよい。また、図６において、マイナスの加速度は、スティック部１０に加わる下向き方向の加速度を示し、プラスの加速度は、スティック部１０に加わる上向き方向の加速度を示す。
【００２９】
スティック部１０が静止している状態（図６中ａで示される部分）であっても、スティック部１０には重力加速度が加わっているため、重力加速度に逆らう形で静止するスティック部１０のモーションセンサ部１４は、垂直下向き、つまりマイナス方向の一定の加速度を検出する。なお、スティック部１０に加わる加速度が０となるのは、スティック部１０が自由落下している状態のときである。
次に、図６中ｂで示す区間のように、スティック部１０が静止している状態において、振り上げ動作に伴い演奏者がスティック部１０を持ち上げると、重力加速度に対してより逆らう方向に動作することになるため、スティック部１０に加わる加速度はマイナス方向に増加する。その後静止させようとして持ち上げる速度を減少させると、加速度は、マイナス方向からプラスの方向に転換し、振り上げ動作が最高速に到達した時点（図６中のｐ１参照）での加速度は重力加速度のみ（すなわち、重力加速度１Ｇ）になる。
【００３０】
次に、図６中ｃで示す区間のように、振り上げ動作によりスティック部１０が頂点に達すると、演奏者はスティック部１０の振り下ろし動作を行う。振り下ろし動作では、スティック部１０は、重力加速度に従う方向に動作することになるため、スティック部１０に加わる加速度は、重力加速度よりもプラス方向に増加する。その後、振り下ろし動作が最高速に到達すると、スティック部１０には、再び重力加速度のみ（すなわち、重力加速度１Ｇ）が加わる状態となる（図６中のｐ２参照）。
この後、図６中ｄで示す区間のように、再びスティック部１０に対して振り上げ動作を行うと、加わる加速度はマイナス方向に増加し、振り上げ動作を静止させようとすると、加わる加速度はマイナス方向からプラス方向に転じる。
演奏動作が続いている間、演奏者によるスティック部１０の振り上げ振り下ろし動作にしたがって、図６に示したような加速度の変化が繰り返され、この加速度の変化がモーションセンサ部１４によって検知される。
【００３１】
図２に戻り、マーカー部１５は、スティック部１０の先端側に設けられた、例えば、ＬＥＤなどの発光体であり、スティック制御部１１からの制御に応じて発光及び消灯する。
具体的には、マーカー部１５は、スティック制御部１１がＲＯＭ１２から読み出したマーカー特徴情報に基づいて発光する。前述のように、スティック部１０Ａのマーカー特徴情報と、スティック部１０Ｂのマーカー特徴情報とは異なるように設定されている。このため、後述するように、カメラユニット部２０は、スティック部１０Ａのマーカー部（第１マーカー）とスティック部１０Ｂのマーカー部（第２マーカー）とを判別することができ、それぞれの位置座標を、いずれのスティック部１０のものかを区別して取得することができる。
また、前述のように、マーカー部１５は、複数段階に輝度を調整可能であるとともに、発色の異なる複数種類のＬＥＤ等により構成されており、スティック制御部１１の制御によって、その発光強度や発光色を適宜切り替えることが可能となっている。
【００３２】
データ通信部１６は、少なくともセンターユニット部３０との間で所定の無線通信を行う。所定の無線通信は、任意の方法で行うこととしてよく、本実施形態では、赤外線通信によりセンターユニット部３０との間での無線通信を行う。なお、データ通信部１６は、カメラユニット部２０との間で無線通信を行うこととしてもよく、また、スティック部１０Ａ及びスティック部１０Ｂとの間で無線通信を行うこととしてもよい。また、データ通信部１６による通信方式は無線通信に限定されない。例えばスティック部１０とセンターユニット部３０等とをケーブルにより接続し、データ通信部１６により有線通信を行う構成としてもよい。
【００３３】
［カメラユニット部２０の構成］
次に、図４を参照して、カメラユニット部２０の構成について説明する。
カメラユニット部２０は、ＣＰＵ等で構成されるカメラ制御部２１と、ＲＯＭ２２と、ＲＡＭ２３と、撮像部２４と、データ通信部２５と、を含んで構成される。また、カメラユニット部２０は、各部に電源を供給する図示しない電源部を備えている。
【００３４】
ＲＯＭ２２は、カメラ制御部２１の実行する各種処理の処理プログラムを格納している。
ＲＡＭ２３は、撮像部２４により得られたマーカー部１５の位置を示すデータ（演奏動作を行う演奏者の画像等）、この位置を示すデータから算出されたスティック部１０Ａ、１０Ｂのマーカー部１５（第１マーカー及び第２マーカー）のそれぞれの位置座標のデータ等、処理において取得され又は生成された値を格納する。
また、ＲＡＭ２３は、センターユニット部３０から送信されるマーカー検出条件情報を格納する。マーカー検出条件情報とは、スティック部１０Ａ，１０Ｂのマーカー部１５のそれぞれを区別して検出するための条件であり、センターユニット部３０の本体制御部３１によりマーカー特徴情報から生成されるものである。
【００３５】
カメラ制御部２１は、カメラユニット部２０全体の制御を実行するものである。
本実施形態では、カメラ制御部２１は、例えば、撮像部２４により得られたマーカー部１５の位置を示すデータ（すなわち、スティック部１０を持って演奏動作を行う演奏者の画像等、少なくともマーカー部１５を含むスティック部１０周辺を撮像した画像のデータ）及びマーカー検出条件情報に基づいて、スティック部１０Ａ、１０Ｂのマーカー部１５（第１マーカー及び第２マーカー）のそれぞれの位置座標を算出するマーカー位置検出処理を行う。
すなわち、カメラ制御部２１は、状態検知手段である撮像部２４によって得られた画像からスティック部１０のマーカー部１５を検出して、その空間上の位置座標（撮像空間内におけるスティック部１０のマーカー部１５の位置座標）を特定する。また、複数のスティック部１０Ａ，１０Ｂのマーカー部１５が検出された場合には、カメラ制御部２１は、ＲＡＭ２３からマーカー検出条件情報を読み出して、各マーカー部１５がスティック部１０Ａのマーカー部１５（第１マーカー）であるか、スティック部１０Ｂのマーカー部１５（第１マーカー及び第２マーカー）であるかを判別する。
【００３６】
また、カメラ制御部２１は、算出されたスティック部１０Ａ、１０Ｂのマーカー部１５（第１マーカー及び第２マーカー）のそれぞれの位置座標のデータ（すなわち、第１マーカー及び第２マーカーの判別結果を伴う各マーカー部１５の位置座標のデータ。以下、これを「マーカー検出位置情報」という。）を、データ通信部２５を介してセンターユニット部３０に送信する通信制御を行う。
【００３７】
撮像部２４は、例えば、光学式のカメラであり、スティック部１０を持って演奏動作を行う演奏者の動画等、少なくともマーカー部１５を含むスティック部１０周辺を所定のフレームレートで撮像する。
本実施形態において、撮像部２４は、演奏動作時におけるマーカー部１５（発光部）の位置をスティック部１０（演奏操作子）の操作位置として検出する位置検出手段として機能する。
ここで、演奏動作時におけるスティック部１０（演奏操作子）の操作位置とは、演奏動作時において仮想の楽器の演奏面（例えばドラムであればスティック部１０による打撃の対象である打面）としてスティック部１０が振り下ろされた位置であり、後述するショットタイミングにおけるスティック部１０の先端部のマーカー部１５の位置である。
【００３８】
撮像部２４により撮像されたフレームごとの撮像データはカメラ制御部２１に出力される。なお、カメラユニット部２０は、撮像空間内におけるスティック部１０のマーカー部１５の位置座標を特定することとしているが、マーカー部１５の位置座標の特定（すなわち、マーカー位置検出処理、図１５参照）については、撮像部２４で行うこととしてもよいし、カメラ制御部２１が行うこととしてもよい。同様に、撮像した画像内のマーカー部１５がいずれのスティック部１０Ａ，１０Ｂのマーカー部１５（第１マーカー及び第２マーカー）であるかの判別についても、撮像部２４において行ってもよいし、カメラ制御部２１において行うこととしてもよい。
【００３９】
データ通信部２５は、少なくともセンターユニット部３０との間で所定の無線通信（例えば、赤外線通信）を行う。本実施形態では、データ通信部２５は、センターユニット部３０からマーカー検出条件情報を受信する。また、データ通信部２５は、マーカー検出位置情報をセンターユニット部３０に送信する。
なお、データ通信部１６は、スティック部１０との間で無線通信を行うこととしてもよい。また、データ通信部２５による通信方式は無線通信に限定されない。例えばカメラユニット部２０とセンターユニット部３０等とをケーブルにより接続し、データ通信部２５により有線通信を行う構成としてもよい。
【００４０】
［センターユニット部３０の構成］
次に、図５を参照して、センターユニット部３０の構成について説明する。
センターユニット部３０は、ＣＰＵ等で構成される本体制御部３１と、ＲＯＭ３２と、ＲＡＭ３３と、スイッチ操作検出回路３４と、表示回路３５と、発音部３６と、データ通信部３７と、を含んで構成される。また、センターユニット部３０は、各部に電源を供給する図示しない電源部を備えている。
【００４１】
ＲＯＭ３２は、本体制御部３１の実行する各種処理の処理プログラムを格納している。
また、ＲＯＭ３２は、種々の音色の波形データ（すなわち各楽器の音源データ）、例えば、バスドラム、ハイハット、スネア、シンバル、タムなど本実施形態において想定される仮想のドラムセットＤ（図１（Ｂ）参照）を構成する打楽器の波形データを、各楽器の空間上の演奏エリア５（図２等参照）の位置座標等と対応付けて格納している。なお、ＲＯＭ３２に格納されている音色の波形データは、これら打楽器に限定されず、例えばフルート、サックス、トランペットなどの管楽器、ピアノなどの鍵盤楽器、ギターなどの弦楽器の音色の波形データがＲＯＭ３２に格納されていてもよい。
【００４２】
ＲＡＭ３３は、スティック部１０から受信したスティック部１０の状態に関する情報、すなわち、スティック部１０のモーションセンサ部１４によって検知されたスティック部１０（演奏操作子）の動きに関する検知結果（モーションセンサデータ）等や、状態検知手段であるカメラユニット部２０から受信したスティック部１０Ａ、１０Ｂのマーカー部１５（第１マーカー及び第２マーカー）のそれぞれの位置座標のデータ（第１マーカー検出位置情報及び第２マーカー検出位置情報）等を格納する。
また、ＲＡＭ３３は、スティック部１０Ａ，１０Ｂから送信されたスティック部１０Ａのマーカー部１５（第１マーカー）、スティック部１０Ｂのマーカー部１５（第１マーカー及び第２マーカー）のそれぞれのマーカー特徴情報を格納している。
【００４３】
本体制御部３１は、センターユニット部３０全体の制御を実行するものである。
本実施形態では、本体制御部３１は、機能的に見た場合、発音制御部３１１、マーカー検出可否判定部３１２等を備えている。これら発音制御部３１１、マーカー検出可否判定部３１２等としての機能は、ＣＰＵとＲＯＭ３２等に記憶されたプログラムとの共働によって実現される。
【００４４】
発音制御部３１１は、演奏操作子であるスティック部１０の演奏動作時における操作位置が所定の演奏エリア５内である場合に、所定の楽音を発音する発音手段である発音部３６に対して発音指示を与える発音制御手段である。
すなわち、発音制御部３１１は、モーションセンサ部１４によって検知されたスティック部１０（演奏操作子）の動きに関する検知結果（モーションセンサデータ）及びカメラユニット部２０から送られるマーカー検出位置情報に対応して、発音手段である発音部３６に対して所定の楽音を発音するように発音指示の信号（ノートオンイベント）を与える。ここで、ノートオンイベント（発音指示信号）には、ショットタイミング（発音タイミング）、音量、音色（すなわち楽器の種類）等の情報が含まれる。
【００４５】
具体的には、まず、モーションセンサ部１４によって検知されたスティック部１０（演奏操作子）の状態に関する検知結果（モーションセンサデータ）が各スティック部１０（演奏操作子）から送信されると、発音制御部３１１は、これに基づいて、演奏者が持っているスティック部１０の向きや角度等の状態（演奏者の演奏状態と換言することもできる）を検知する。また、発音制御部３１１は、加速度センサが出力する加速度（又はセンサ合成値）に基づいて、スティック部１０による仮想的な楽器の打撃タイミング（ショットタイミング）を検知する。
【００４６】
ここで、図６を参照しつつ、発音制御部３１１によるショットタイミングの検出について説明する。
前述のように、図６は、スティック部１０を用いて演奏動作を行った場合のモーションセンサ部１４の垂直方向の加速度の変化を表わした図である。
演奏者は、仮想的な楽器にスティック部１０を打ちつけた瞬間に楽音が発生することを想定しているため、楽音発生装置１においても、演奏者が想定するタイミングで楽音を発生できるのが望ましい。そこで、本実施形態では、演奏者が仮想的な楽器の打面にスティック部を打ちつける瞬間又はそのわずかに手前で楽音を発音させることとしている。
【００４７】
すなわち、本実施形態においては、センターユニット部３０の発音制御部３１１は、演奏者が仮想的な楽器の打面にスティック部１０を打ちつける瞬間として、振り下ろし動作が行われた後、振り上げ動作が開始された瞬間を検出する。つまり、発音制御部３１１は、図６中ｄで示す区間において、静止状態から、言い換えれば加わる加速度が重力加速度のみとなる時点（図６中のｐ２参照）から、さらにマイナス方向に所定値だけ増加したＡ点を、ショットタイミング（発音タイミング）として検出する。
そして、発音制御部３１１は、このショットタイミングが検出されたときに発音を行うようにノートオンイベント（発音指示信号）を生成する。
【００４８】
また、発音制御部３１１は、モーションセンサ部１４によって検知されたスティック部１０（演奏操作子）の動きに関する検知結果（モーションセンサデータ）に基づいて、演奏者によるスティック部１０の振り下ろし動作の速さや強さ、スティック部１０を振り下ろした位置や角度等を検知する。また、本実施形態では、発音制御部３１１は、発音部３６に対する発音制御を行うにあたって、モーションセンサ部１４によって検知されたスティック部１０（演奏操作子）の動きに関する検知結果（センサ値）のみでなく、カメラユニット部２０から受信したスティック部１０Ａ、１０Ｂのマーカー部１５（第１マーカー及び第２マーカー）それぞれのマーカー検出位置情報も加味する。
そして、発音制御部３１１は、こうした演奏者の演奏動作に応じたノートオンイベントを生成する。すなわち、モーションセンサデータ及びマーカー検出位置情報に基づいて、どの楽器が、どの程度の速さ、強さで、どのタイミングで叩かれたか等を判断し、この判断結果に合致する楽器種類（音色）に対応する波形データをＲＯＭ３３から読み出すとともに、この所定の楽音を、叩かれた速さや強さに対応する音量で、所定のショットタイミングで発音させるように発音指示信号（ノートオンイベント）を発音部３６に出力する。
【００４９】
マーカー検出可否判定部３１２は、演奏動作時におけるマーカー部１５の位置をスティック部１０の操作位置として検出する位置検出手段である撮像部２４によって、マーカー部１５の位置を検出できたか否かを判定する検出可否判定手段である。
【００５０】
スティック部１０による演奏動作が強い照明が当たる場所や、マーカー部１５の発光色と同じような色相の背景ＢＧの前等で行われた場合には、撮像部２４によって得られた画像においてマーカー部１５と背景ＢＧとの区別がつきにくい場合がある。この場合、画像からマーカー部１５の位置を特定することが難しく、実際には演奏動作が行われ、ショット（スティック部１０の振り下ろし動作）が行われたにもかかわらず、前記カメラ制御部２１において、このショットタイミングにおけるマーカー部１５の検出及び位置座標の特定を適切に行うことができない検出不良（ロスト）が生じる。
マーカー検出可否判定部３１２は、位置検出手段の検出不良（ロスト）が生じているか否かを判断する機能部である。
本実施形態では、例えば演奏動作開始前等に、図７に示すように、演奏場所の壁面等の背景ＢＧの前で演奏者が演奏操作子であるスティック部１０を演奏動作時と同様に振って、その振り動作をスティック部１０のモーションセンサ部１４とカメラユニット部２０の撮像部２４とで検出する。これらの検出結果、すなわち、モーションセンサ部１４によって取得されたモーションセンサデータとカメラユニット部２０によって検出されたマーカー検出位置情報とは、ともにセンターユニット部３０に出力される。
マーカー検出可否判定部は、センターユニット部３０に送られたこれらのデータに基づいて、カメラユニット部２０の撮像部２４が適切にスティック部１０のマーカー部１５を検出できているか否かを判断する。
【００５１】
具体的には、例えばモーションセンサ部１４によって取得されたモーションセンサデータからはスティック部１０に振り動作があったことが検出されている場合に、カメラユニットから送られたマーカー検出位置情報がこれに対応していない場合には、マーカー検出可否判定部３１２は、撮像部２４がマーカー部１５の位置を検出することができなかった（すなわち検出不良）と判断する。
なお、マーカー検出可否判定部３１２がスティック部１０の何回の振り動作から位置検出手段の検出不良を判断するかは特に限定されず、少なくとも１回の振り動作があれば、これについて検出不良の有無を判断することができる。
ただ、モーションセンサデータとマーカー検出位置情報との不一致は、位置検出手段としての撮像部２４の検出不良（ロスト）以外の何らかのエラー（例えばマーカー部１５と撮像部２４との間を人が通過したことによるエラー等）で生じる可能性もあるため、複数回振り動作を行い、モーションセンサデータに基づくショット検出に対応するマーカー検出位置情報が得られなかった回数が所定値よりも多い場合に撮像部２４の検出不良（ロスト）と判断することが好ましい。マーカー検出位置情報が得られなかった回数の割合（エラー率）がどの程度の場合に撮像部２４の検出不良（ロスト）と判断するかは、特に限定されず、適宜設定することができる。
【００５２】
マーカー検出可否判定部３１２は、撮像部２４がマーカー部１５の位置を検出することができなかった（すなわち、撮像部２４の検出不良（ロスト）発生）と判断すると、まずマーカー部１５の発光強度を変更するようにスティック部１０に指示する指示信号を出力する。これによりスティック制御部１１によりマーカー部１５の発光強度が変更される（例えば図８（Ａ）参照）。また、全ての発光強度で同様の検出を行った場合に、それでもマーカー部１５の検出ができない状態にあると判断すると、マーカー検出可否判定部３１２は、マーカー部１５の発光色を変更するようにスティック部１０に指示する指示信号を出力する。これによりスティック制御部１１によりマーカー部１５の発光色が変更される（例えば図８（Ｂ）参照）。さらに、全ての発光色で同様の検出を行った場合に、それでもマーカー部１５の検出ができない状態にあると判断すると、マーカー検出可否判定部３１２は、マーカー部１５の発光強度及び発光色の双方を変更するようにスティック部１０に指示する指示信号を出力する。これによりスティック制御部１１によりマーカー部１５の発光強度及び発光色が変更される（例えば図８（Ｃ）参照）。
【００５３】
また、本体制御部３１は、データ通信部３７を介して、スティック部１０及びカメラユニット部２０との間の通信制御を行う。
本実施形態では、本体制御部３１は、データ通信部３７を介して、スティック部１０からモーションセンサデータを受信するとともに、カメラユニット部２０から第１マーカー及び第１マーカーのマーカー検出位置情報を受信する。
また、本体制御部３１は、マーカー特徴情報に基づいてマーカー検出条件情報を生成し、データ通信部３７を介して、カメラユニット部２０に対して、マーカー検出条件情報を送信する。
また、本体制御部３１は、マーカー検出可否判定部３１２からマーカー部１５の発光状態（発光強度、発光色）を変更する指示信号が出力されたときは、これをデータ通信部３７を介して、スティック部１０に出力する。
【００５４】
スイッチ操作検出回路３４は、スイッチ３４１と接続され、当該スイッチ３４１を介した入力情報を受け付ける。入力情報としては、例えば、発音する楽音の音量や発音する楽音の音色の変更、表示装置３５１の表示の切り替えなどが含まれる。
また、データ通信部３７は、スティック部１０及びカメラユニット部２０との間で所定の無線通信（例えば、赤外線通信）を行う。
【００５５】
また、表示回路３５は、表示装置３５１と接続され、表示装置３５１の表示制御を行う。
表示装置３５１は、例えば液晶ディスプレイ（ＬＣＤ：Liquid Crystal Display）等で構成された表示手段である。
本実施形態において、表示装置３５１には、発光状態変更手段であるスティック制御部１１によりマーカー部１５（発光部）の発光状態（発光強度・発光色）を変更しても、位置検出手段である撮像部２４によりマーカー部１５の位置を検出できないときに、マーカー部１５の位置が検出できない旨のメッセージ画面等が表示されるようになっており、表示装置３５１は、演奏者に対してマーカー部１５の位置検出不能を報知する報知手段として機能する。
なお、表示装置３５１に表示されるメッセージの内容は特に限定されず、例えば、演奏場所の変更を演奏者に促すメッセージ等が表示されてもよい。
【００５６】
発音部３６は、所定の楽音を発音する発音手段であり、楽音データ生成部３６１と、音声出力部３６２とを含んでいる。
楽音データ生成部３６１は、発音制御部３１１からの発音指示にしたがって、ＲＯＭ３２から波形データを読み出し、楽音データを生成するとともに、生成した楽音データをアナログ信号に変換する機能部である。
音声出力部３６２は、例えばスピーカ等であり、楽音データ生成部３６１において生成された楽音データに基づく楽音を発音させるものである。なお、音声出力部３６２は、スピーカに限定されず、ヘッドホン等に音声を出力させる出力端子等であってもよい。
【００５７】
［楽音発生装置１の処理］
次に、図９から図１１を参照して、楽音発生装置１の処理について説明する。
図９は、スティック部１０の処理を示すフローチャートであり、図１０は、カメラユニット部２０の処理を示すフローチャートであり、図１１は、センターユニット部３０の処理を示すフローチャートである。
【００５８】
［スティック部１０の処理］
図９に示すように、スティック部１０のスティック制御部１１は、ＲＯＭ１２に格納されているマーカー特徴情報を読み出す（ステップＳ１）。この処理では、スティック部１０Ａ，１０Ｂのスティック制御部１１は、それぞれ異なるマーカー特徴情報を読み出す。異なるマーカー特徴情報の読み出しは、任意の方法で行うことができ、例えば、スティック部１０Ａ、１０Ｂが直接又はセンターユニット部３０を介して通信することで行うこととしてもよく、また、個々のスティック部１０毎に予め１のマーカー特徴情報を対応付けておき、スティック部１０Ａ、１０Ｂのスティック制御部１１は、それぞれ対応付けられた独自のマーカー特徴情報を読み出すこととしてもよい。
【００５９】
スティック制御部１１は、マーカー特徴情報を読み出すと、当該マーカー特徴情報をＲＡＭ１３に格納するとともに、データ通信部１６を介してセンターユニット部３０に送信する（ステップＳ２）。このとき、スティック制御部１１は、スティック部１０Ａ、１０Ｂをそれぞれ区別可能な識別情報（スティック識別情報）と対応付けて、マーカー特徴情報をセンターユニット部３０に送信する。
また、スティック制御部１１は、マーカー特徴情報にしたがってマーカー部１５を点灯させる（ステップＳ３）。
【００６０】
演奏者は、演奏動作を開始する前に、マーカー部１５が点灯されたスティック部１０を１又は数回演奏場所の壁面等の背景ＢＧの前で振り、マーカー部１５が適切に検知されるかどうか動作確認を行う。スティック部１０が演奏者によって振られると、モーションセンサ部１４によってその動作が検知される。
スティック制御部１１は、モーションセンサ部１４からモーションセンサデータ、すなわち、各種センサが出力するセンサ値（検知結果）を読み出して、ＲＡＭ１３に格納する（ステップＳ４）。その後、スティック制御部１１は、読み出したモーションセンサデータをスティック識別情報と対応付けて、データ通信部１６を介してセンターユニット部３０に送信する（ステップＳ５）。
スティック制御部１１は、センターユニット部３０からカメラユニット部２０により適切にマーカー部１５の検出を行うことができた旨のマーカー検出信号を受信したか否かを判断する（ステップＳ６）。マーカー検出信号を受信していないと判断する場合（ステップＳ６；ＮＯ）には、スティック制御部１１は、センターユニット部３０から発光強度変更指示を受信したか否かを判断し（ステップＳ７）、発光強度変更指示を受信したと判断する場合には、マーカー部１５の輝度調整を行う等により、発光強度を上げるように変更する（ステップＳ８）。
他方、発光強度変更指示を受信していないと判断する場合（ステップＳ７；ＮＯ）には、スティック制御部１１は、さらに、センターユニット部３０から発光色変更指示を受信したか否かを判断し（ステップＳ９）、発光色変更指示を受信したと判断する場合（ステップＳ９；ＹＥＳ）には、マーカー部１５の発光色を変更する（ステップＳ１０）。
発光色変更指示を受信していないと判断する場合（ステップＳ９；ＮＯ）には、スティック制御部１１は、さらに、センターユニット部３０から発光色・発光強度変更指示を受信したか否かを判断し（ステップＳ１１）、発光色・発光強度変更指示を受信したと判断する場合（ステップＳ１１；ＹＥＳ）には、マーカー部１５の発光色及び発光強度の両方を変更する（ステップＳ１２）。なお、このとき発光色は、一旦変更を試みた色であってもよいし、未だ適用していない色であってもよい。
【００６１】
マーカー部１５の発光強度を変更した場合（ステップＳ８）、マーカー部１５の発光色を変更した場合（ステップＳ１０）、マーカー部１５の発光色及び発光強度を変更した場合（ステップＳ１２）、及び発光強度変更指示、発光色変更指示、発光色・発光強度変更指示のいずれも受信していない場合（ステップＳ１１；ＮＯ）には、スティック制御部１１は、ステップＳ４に戻って処理を繰り返す。
他方、マーカー検出信号を受信したと判断する場合（ステップＳ６；ＹＥＳ）には、スティック制御部１１は、モーションセンサ部１４からモーションセンサデータ、すなわち、演奏者の演奏動作に対応したセンサ値（検知結果）を読み出して、ＲＡＭ１３に格納する（ステップＳ１３）。その後、スティック制御部１１は、読み出したモーションセンサデータをスティック識別情報と対応付けて、データ通信部１６を介してセンターユニット部３０に送信する（ステップＳ１４）。
スティック制御部１１は、演奏動作が終了したか否かを判断し（ステップＳ１５）、演奏動作が終了したと判断する場合（ステップＳ１５；ＹＥＳ）には、マーカー部１５を消灯させる（ステップＳ１６）。なお、スティック制御部１１が演奏動作終了と判断するのは、例えばモーションセンサ部１４が出力するセンサ値に一定以上の変化があるか否かや、スティック部のスイッチ（図示せず）がＯＦＦとされた場合、センターユニット部３０から演奏終了の信号が送信された場合等である。他方、スティック制御部１１が、演奏動作が終了していないと判断する場合（ステップＳ６１５ＮＯ）には、ステップＳ１３に戻って処理を繰り返す。
【００６２】
［カメラユニット部２０の処理］
図１０に示すように、カメラユニット部２０のカメラ制御部２１は、センターユニット部３０から送信されるマーカー検出条件情報を取得して、ＲＡＭ２３に格納する。（ステップＳ２１）。なお、マーカー検出条件情報とは、スティック部１０Ａ，１０Ｂのマーカー部１５のそれぞれを検出するための条件であり、マーカー特徴情報から生成される（図１１のステップＳ３１，ステップＳ３２参照）。マーカー特徴情報としては、上述のように、例えば、マーカーの形状、大きさ、色相、彩度、あるいは輝度を用いることができる。
続いて、カメラ制御部２１は、マーカー検出条件情報に基づいて、撮像部２４の各種設定を行う（ステップＳ２２）。
【００６３】
続いて、カメラ制御部２１は、撮像部２４のカメラによってスティック部１０のマーカー部１５等を含む画像を撮像させて、第１マーカー位置検出処理（ステップＳ２３）及び第２マーカー位置検出処理（ステップＳ２４）を行う。これらの処理では、カメラ制御部２１は、撮像部２４によって撮像された画像から、スティック部１０Ａのマーカー部１５（第１マーカー）及びスティック部１０Ｂのマーカー部１５（第２マーカー）それぞれの位置座標、サイズ、角度等のマーカー検出位置情報（本実施形態における演奏操作子の演奏動作時における操作位置の情報）を取得し、ＲＡＭ２３に格納する。
【００６４】
続いて、カメラ制御部２１は、ステップＳ２３及びステップＳ２４で取得したマーカー検出位置情報を、データ通信部２５を介してセンターユニット部３０に送信する（ステップＳ２５）。
カメラ制御部２１は、演奏動作が終了したか否かを判断し（ステップＳ２６）、演奏動作が終了したと判断する場合（ステップＳ２６；ＹＥＳ）には、処理を終了し、演奏動作が終了していないと判断する場合（ステップＳ２６；ＮＯ）には、ステップＳ２３に戻って処理を繰り返す。
【００６５】
［センターユニット部３０の処理］
図１１に示すように、まず、センターユニット部３０の本体制御部３１は、マーカー特徴情報をスティック部１０から受信し、ＲＡＭ３３に格納する（ステップＳ３１）。続いて、本体制御部３１は、マーカー特徴情報及びスイッチ３４１を介して設定された検出条件から、マーカー検出条件情報を生成し、データ通信部３７を介して、カメラユニット部２０に送信する（ステップＳ３２）。
【００６６】
続いて、本体制御部３１は、カメラユニット部２０から、第１マーカー及び第２マーカーそれぞれのマーカー検出位置情報を受信し、ＲＡＭ３３に格納する（ステップＳ３３）。また、本体制御部３１は、スティック部１０Ａ、１０Ｂのそれぞれから、スティック識別情報と対応付けられた姿勢情報、ショット情報及びアクション情報等のモーションセンサデータを受信し、ＲＡＭ３３に格納する（ステップＳ３４）。
【００６７】
マーカー検出可否判定部３１２は、カメラユニット部２０から受信した第１マーカー及び第２マーカーそれぞれのマーカー検出位置情報と、スティック部１０Ａ、１０Ｂのそれぞれから受信したモーションセンサデータとを照合し、カメラユニット部２０において適切にマーカー部１５の位置検出ができているか否かを判断する（ステップＳ３５）。具体的には、モーションセンサデータが発生しているタイミングでマーカー部１５のマーカー検出位置情報が検出されていれば、マーカー検出可否判定部３１２は、カメラユニット部２０においてマーカー部１５を適切に認識、検出できていると判断する。また、モーションセンサデータが発生しているのにマーカー部１５のマーカー検出位置情報が検出されていなかったり、エラーが検出されている場合には、マーカー検出可否判定部３１２は、演奏場所の壁面等の背景ＢＧとマーカー部１５との組み合わせが悪く、カメラユニット部２０においてマーカー部１５を認識できない状態であると判断する。
【００６８】
カメラユニット部２０において適切にマーカー部１５の位置検出ができていないと判断する場合（ステップＳ３５；ＮＯ）には、マーカー検出可否判定部３１２は、マーカー部１５の現在の発光色における発光強度のバリエーションについて全て検査済みであるか否かを判断し（ステップＳ３６）、未だ検査していない発光強度があると判断した場合（ステップＳ３６；ＮＯ）には、スティック部１０に対して発光強度変更指示を送信する。例えば現在のマーカー部１５の発光色が「赤」であり、スティック部１０において変更可能な発光強度のバリエーションとして「弱」「中」「強」の３段階がある場合に、現在の発光強度が「弱」であれば、マーカー検出可否判定部３１２はスティック部１０に対して発光強度変更指示を送信する。なお、マーカー部１５の現在の発光強度がすでに最高レベル（例えば「弱」「中」「強」の３段階であれば「強」）である場合には、仮に「弱」及び「中」について実際に検査していない場合でも、発光強度のバリエーションについて全て検査済みであると判断してよい。
【００６９】
他方、全ての発光強度について検査済みであると判断した場合（ステップＳ３６；ＹＥＳ）には、マーカー検出可否判定部３１２は、次に、マーカー部１５の全ての発光色について検査済みであるか否かを判断し（ステップＳ３８）、未だ検査していない発光色があると判断した場合（ステップＳ３８；ＮＯ）には、スティック部１０に対して発光色変更指示を送信する（ステップＳ３９）。例えば現在のマーカー部１５の発光色が「赤」であり、スティック部１０において変更可能な発光色のバリエーションとして「赤」「青」「黄」の３色がある場合に、「赤」及び「黄」については検査済みだが「青」については未だ検査していないという場合には、マーカー検出可否判定部３１２はスティック部１０に対して発光色変更指示を送信する。なお、マーカー検出可否判定部３１２は、単に現在と異なる未だ試みていない何色かに変更するよう発光色変更指示を送信してもよいし、「青」に変更するよう、発光色を指定して発光色変更指示を送信してもよい。
【００７０】
他方、全ての発光色についても検査済みであると判断した場合（ステップＳ３８；ＹＥＳ）には、マーカー検出可否判定部３１２は、さらに、マーカー部１５の発光色と発光強度との組合せについて全て検査済みであるか否かを判断し（ステップＳ４０）、未だ検査していない組合せがあると判断した場合（ステップＳ４０；ＮＯ）には、スティック部１０に対して発光色・発光強度変更指示を送信する（ステップＳ４１）。なお、同一の発光色について、最も強い発光強度（例えば「弱」「中」「強」の３段階であれば「強」）の組合せがすでに検査済みである場合には、これよりも弱い発光強度との組合せについて実際に検査していない場合でも、発光色と発光強度との組合せについて全て検査済みであると判断してもよい。
マーカー検出可否判定部３１２が、発光色と発光強度との組合せについて全て検査済みであると判断した場合（ステップＳ４０；ＹＥＳ）には、スティック部１０のマーカー部１５の発光状態の変更ではマーカー部１５の検出不良に対応できない場合である。このため、この場合には、報知手段としての表示装置３５１に、マーカー部１５を検出することができない旨の報知画面（警告画面）を表示させて（ステップＳ４２）、処理を終了する。なお、このとき、合わせて演奏場所の変更を促すメッセージ等を表示装置３５１に表示させてもよい。また、このとき、表示装置３５１への表示に代えて、又は表示装置３５１への表示とともに、アラームやメッセージ等を音声出力させることで演奏者に報知してもよい。
【００７１】
発光強度変更指示を送信した場合（ステップＳ３７）、発光色変更指示を送信した場合（ステップＳ３９）、発光色・発光強度変更指示を送信した場合（ステップＳ４１）には、ステップＳ３３に戻って処理を繰り返す。
一方、カメラユニット部２０において適切にマーカー部１５の位置検出ができたと判断する場合（ステップＳ３５；ＹＥＳ）には、マーカー検出可否判定部３１２は、スティック部１０にマーカー部１５を検出できた旨のマーカー検出信号を送信する（ステップＳ４３）。
そして、本体制御部３１は、カメラユニット部２０から、第１マーカー及び第２マーカーそれぞれのマーカー検出位置情報を受信し、ＲＡＭ３３に格納する（ステップＳ４４）。また、本体制御部３１は、スティック部１０Ａ、１０Ｂのそれぞれから、スティック識別情報と対応付けられた姿勢情報、ショット情報及びアクション情報等のモーションセンサデータを受信し、ＲＡＭ３３に格納する（ステップＳ４５）。
【００７２】
続いて、発音制御部３１１は、受信したモーションセンサデータに基づいて、ショットありか否かを判断する（ステップＳ４６）。すなわち、例えば図６に示すようなモーションセンサデータである場合、図６に示すＡ点、すなわち、演奏操作子であるスティック部１０を一旦振り上げた後に振り下ろす動作がある場合、当該振り下ろし動作が行われた後、振り上げ動作が開始された瞬間の時点をショットタイミング（発音タイミング）として検出する。ショットなしと判断した場合（ステップＳ４６；ＮＯ）には、本体制御部３１は、ステップＳ４４に戻って処理を繰り返す。
他方、ショットありと判断した場合（ステップＳ４６；ＹＥＳ）には、発音制御部３１１は、モーションセンサデータ（例えば、加速度センサのセンサ合成値）等に基づいて、発音タイミング、発音させる楽音の音量、音色（楽器の種類）等を含むノートオンイベントを生成する。なお、楽音の音量は、例えば、センサ合成値の最大値から求めることができる。これにより通常演奏モードにおける所定の発音タイミングで、所定の楽器の音源に基づく楽音が所定の音量で発音部３６から発音される（ステップＳ４７）。
また、この場合、本体制御部３１は、常に演奏が終了したか否かを判断し（ステップＳ４８）、演奏が終了したと判断した場合（ステップＳ４８；ＹＥＳ）には、楽音発生処理を終了する。また、演奏が終了していないと判断した場合（ステップＳ４８；ＮＯ）には、ステップＳ４４に戻って処理を繰り返す。
【００７３】
以上のように、本実施形態の楽音発生装置１によれば、演奏動作時におけるマーカー部１５の位置を検出することができない場合に、マーカー部１５の発光強度、発光色、及びその両方を段階的に変更させて、マーカー部１５を演奏場所の壁面等の背景ＢＧと区別できるようにする。これにより、演奏場所の変更等をしなくても、マーカー部１５の発光状態の変更によって、できる限りマーカー部１５の検出不良に対応することができ、演奏者の負担を最小限に抑えることができる。
また、本実施形態では、発光状態変更手段であるスティック制御部１１は、マーカー部１５の位置を検出することができない場合に、発光部であるマーカー部１５の発光強度を変更させる。これにより、演奏場所が明るい場合や照明灯の明かり等が撮像部２４によるマーカー部１５の位置検出を妨げている場合でも、できるだけ演奏場所の移動等によらずにマーカー部１５の検出不良を解消することができる。
また、本実施形態では、スティック制御部１１は、マーカー部１５の位置を検出することができない場合に、発光部であるマーカー部１５の発光色を変更させる。これにより、演奏場所の壁面等背景ＢＧの色相とマーカー部１５の発光色の色相とが近く、撮像部２４によるマーカー部１５の位置検出を妨げている場合でも、できるだけ演奏場所の移動等によらずにマーカー部１５の検出不良を解消することができる。
また、本実施形態では、スティック制御部１１は、マーカー部１５の位置を検出することができない場合に、発光部であるマーカー部１５の発光色及び発光強度の両方を変更させることができる。これにより、より多くの場合に、マーカー部１５の発光状態の変更によってマーカー部１５の検出不良を解消することが可能となる。
また、スティック制御部１１がマーカー部１５の発光状態を変更しても、撮像部２４によるマーカー部１５の位置検出ができないときに、マーカー部１５の位置検出不能を表示装置３５１に表示させて演奏者に対して報知する。このため、演奏者は、当該条件のままでは楽音発生装置１による演奏を円滑に行うことができないこと及びその原因を知ることができ、演奏場所の変更や照明灯の調整等、楽音発生装置１による演奏を行うために必要な対応をすることができる。
【００７４】
なお、以上本発明の実施形態について説明したが、本発明は、上記各実施形態に限定されず、その要旨を逸脱しない範囲で、種々変形が可能であることは言うまでもない。
【００７５】
例えば、上記実施形態でスティック部１０、カメラユニット部２０及びセンターユニット部３０で行うこととしている処理のうちの任意の処理は、他のユニット（スティック部１０、カメラユニット部２０及びセンターユニット部３０）で行うこととしてもよい。
すなわち、例えば、スティック部１０（演奏操作子）のスティック制御部１１が発音制御手段として機能し、スティック制御部１１において各種センサの検知結果の分析等が行われてもよい。この場合には、状態検知手段としてのモーションセンサ部１４の検知結果（各種センサの生データ等）ではなく、各種センサの検知結果に基づいたノートオンイベント（発音指示の信号）がセンターユニット部３０に送信される。
また、本実施形態では、センターユニット部３０のマーカー検出可否判定部３１２が検出可否判定手段として機能し、スティック制御部１１は、マーカー検出可否判定部３１２からマーカー部１５の発光状態の変更を求める指示信号を受信すると、その指示にしたがってマーカー部１５の発光状態を変更する場合を例としたが、マーカー部１５の発光状態を変更する手法はこれに限定されない。
例えば、カメラユニット部２０のカメラ制御部２１が、検出可否判定手段として機能して、撮像部２４がマーカー部１５を検出できないことを検出し、マーカー部の１５の発光状態を変更するように指示信号を直接スティック部１０に出力するようにしてもよい。
また、上述のように、スティック制御部１１が発音制御手段として機能し、スティック制御部１１において各種センサの検知結果の分析等が行われる構成とした場合には、さらにスティック制御部１１が撮像部２４によりマーカー部１５の検出を行うことができたか否かを判断する検出可否判定手段として機能してもよい。この場合には、カメラユニット部２０からスティック部１０に対してマーカー検出位置情報が送信され、スティック制御部１１においてモーションセンサ部１４により取得されたモーションセンサデータとマーカー検出位置情報とを照合することにより、マーカー部15の検出が適切に行われているか否かを判断する。
また、例えばセンターユニット部３０の本体制御部３１において、カメラユニット部２０の撮像部２４が検出したマーカー部１５の位置を示すデータ（すなわち、演奏者等を撮像した画像のデータ）及びマーカー特徴情報に基づいて、スティック部１０Ａ、１０Ｂのマーカー部１５（第１マーカー及び第２マーカー）のそれぞれの位置座標を算出する処理を行ってもよい。この場合には、カメラユニット部２０は、単に画像を撮像してセンターユニット部３０に送信すれば足りるため、カメラユニット部２０のＲＡＭ２３にスティック部１０Ａ、１０Ｂのそれぞれのマーカー部１５を識別するためのマーカー検出条件情報を格納しておく必要はない。
また、マーカー１５部は、カメラユニット部２０がマーカー部１５の状態を検出できるものであれば、ＬＥＤのようにの自ら発光するものでなくでも構わない。例えばマーカ部１５に反射板を配置し外来光の反射光を利用する構成なども考えられる。
【００７６】
また、本実施形態では、表示装置３５１が演奏者に対してマーカー部１５の位置検出不能を報知する報知手段として機能する場合を例として説明したが、報知手段は表示装置３５１に限定されない。例えば表示装置３５１に表示させる代わりに、又は表示装置３５１への表示とともに、発音部３６のスピーカ等の音声出力部３６２からマーカー部１５の位置検出不能を報知するアラームやメッセージ等を音声出力させてもよい。
【００７７】
また、本実施形態では、状態検知手段としてのモーションセンサ部１４により取得されるモーションセンサデータとして、加速度センサにより計測された加速度のデータのみを例示したが、モーションセンサデータの内容はこれに限定されず、例えば、ジャイロにより角加速度を計測してその計測値を用いるようにしてもよい。
また、本実施形態では、スティック部１０に平行な軸の回りの回転はしないものとして説明したが、これらの回転等についても角加速度センサ等により計測して対応するようにしてもよい。
【００７８】
本実施形態では、楽音発生装置１が、演奏者の演奏動作に基づくスティック部１０（演奏操作子）の動き（例えば、振り下ろし位置、振り下ろし速度、振り下ろし角度等）を検知する検知手段として、スティック部１０のモーションセンサ部１４とカメラユニット部２０の撮像部２４とを備えている構成としたが、検知手段はここに例示したものに限定されず、例えばモーションセンサ部１４として、圧力センサ等を備えていてもよいし、レーザー、超音波、その他距離や角度を計測することができる各種センサを用いた検出手段を適用してもよい。
【００７９】
また、本実施形態では、仮想的な打楽器として仮想のドラムセットＤ（図１（Ｂ）参照）を例にとって説明したが、これに限られるものではなく、本発明は、スティック部１０の振り下ろし動作で楽音を発音する木琴など他の楽器に適用することができる。
【００８０】
また、本実施形態では、発音手段である発音部３６がセンターユニット部３０内に設けられている場合を例として説明したが、発音手段はセンターユニット部３０とは別体として構成されていてもよい。この場合には、発音手段とセンターユニット部３０とを有線又は無線で接続し、センターユニット部３０からの指示信号にしたがって発音手段が所定の発音を行うように構成する。
【００８１】
また、本実施形態では、演奏操作子が棒状のスティック部１０である場合を例としたが、演奏操作子はこれに限定されない。箱型等、スティック以外の形状のものでもよく、例えば携帯電話機等の携帯端末装置を演奏操作子として用いてもよい。
楽音発生装置１は、演奏操作子で空間を叩く演奏動作を行うことで所定の楽器の音を発音させるものであり、実際に演奏操作子を楽器の打面に打ち付けるものではないため、携帯端末装置等の精密な電子機器を演奏操作子として用いた場合でも、演奏操作子が破損するおそれがない。
【００８２】
また、本実施形態では、スティック部１０、カメラユニット部２０、センターユニット部３０が、いずれも内部に電源部を備えている構成としたが、スティック部１０、カメラユニット部２０、センターユニット部３０を外部の電源と接続し、外部電源から電源供給を行う構成としてもよい。
【００８３】
以上本発明のいくつかの実施形態を説明したが、本発明の範囲は、上述の実施の形態に限定するものではなく、特許請求の範囲に記載された発明の範囲とその均等の範囲を含む。
以下に、この出願の願書に最初に添付した特許請求の範囲に記載した発明を付記する。付記に記載した請求項の項番は、この出願の願書に最初に添付した特許請求の範囲の通りである。
〔付記〕
[請求項１]
発光部を備えた演奏操作子と、
演奏操作時における前記発光部の所定平面上の位置を検出する位置検出手段と、
前記位置検出手段により前記発光部の所定平面上の位置を検出できたか否かを判定する検出可否判定手段と、
前記検出可否判定手段により前記発光部の所定平面上の位置が検出できないと判定されたときに、前記発光部の発光状態を変更する発光状態変更手段と、
前記検出可否判定手段により前記発光部の所定平面上の位置が検出され、かつ前記検出された位置が前記所定平面上に設けられた演奏エリアに含まれる場合に、楽音を発音する楽音発生手段に対して発音指示を与える発音制御手段と、
を備えていることを特徴とする楽音発生装置。
[請求項２]
前記発光状態変更手段は、前記発光部の発光強度を変更させることを特徴とする請求項１に記載の楽音発生装置。
[請求項３]
前記発光状態変更手段は、前記発光部の発光色を変更させることを特徴とする請求項１又は請求項２に記載の楽音発生装置。
[請求項４]
前記発光状態変更手段により前記発光部の発光状態を変更しても、前記位置検出手段により前記発光部の位置を検出できないときに、前記発光部の位置検出不能を報知する報知手段をさらに備えていることを特徴とする請求項１から請求項３のいずれか一項に記載の楽音発生装置。
【符号の説明】
【００８４】
１        楽音発生装置
１０      スティック部
１１      スティック制御部
１４      モーションセンサ部
１５      マーカー部
２０      カメラユニット部
２４      撮像部
３０      センターユニット部
３１      本体制御部
３６      発音部
３１１    発音制御部
３１２    マーカー検出可否判定部
３５１    表示装置
Ｄ        ドラムセット
【図１】
2013195626.tif 000003
【図２】
2013195626.tif 000004
【図３】
2013195626.tif 000005
【図４】
2013195626.tif 000006
【図５】
2013195626.tif 000007
【図６】
2013195626.tif 000008
【図７】
2013195626.tif 000009
【図８】
2013195626.tif 000010
【図９】
2013195626.tif 000011
【図１０】
2013195626.tif 000012
【図１１】
2013195626.tif 000013