(57)【特許請求の範囲】
【請求項１】
実画像を取り込む撮像手段と、
複数の楽器エリアを有する仮想画像を形成する仮想画像形成手段と、
前記仮想画像の各楽器エリアに対応したスプライト画像を形成するスプライト画像形成手段と、
前記撮像手段から取り込んだ実画像における特異点の位置を検出する位置検出手段と、
前記位置検出手段により検出された特異点の位置が前記仮想画像形成手段により形成された複数の楽器エリアを有する仮想画像の中のいずれかの楽器エリアに入ったか否かを検出する検出手段と、
前記検出手段によって前記特異点の位置が前記複数の楽器エリアを有する仮想画像の中のいずれかの楽器エリアに入ったことを検出したときは、前記特異点の位置が入った楽器エリアに対応する音を発生する音源手段と、
前記検出手段により前記複数の楽器エリアを有する仮想画像の中のいずれかの楽器エリアに入ったことが検出されないときは前記撮像手段から取り込んだ実画像と前記仮想画像形成手段により形成された仮想画像とを合成して出力すると共に、前記検出手段により前記特異点の位置が前記複数の楽器エリアを有する仮想画像の中のいずれかの楽器エリアに入ったことを検出したときは、前記特異点の位置が入った楽器エリアに対応するスプライト画像、前記実画像及び仮想画像を合成して出力する画像合成手段と、
を有することを特徴とする楽器ゲーム装置。
【発明の詳細な説明】
【０００１】
【産業上の利用分野】
この発明は、楽器ゲーム装置に関する。
【０００２】
【従来の技術】
従来の電子楽器は、鍵盤等の演奏操作子を操作することにより、対応する楽音を発生するものであるが、実際にこれらの電子楽器を所有せずに、その演奏を楽しむという、いわゆる楽器ゲーム装置が提案されている。この一例として、表示体に仮想楽器モデルを表示し、ユーザーがそれをあたかも実際の楽器を演奏しているような動作を行なえば、それに対応した楽音が発生されるようにする構成が考えられる。
このためには、表示画面上の仮想楽器を演奏する動作、特に位置を検出する必要がある。
これらに用いる位置検出装置として、従来から種々のものが知られている。例えば、タッチパネルではパネル上に外部からの指等による押圧あるいは接触に感応してその位置を検出する機構が設けられている。また、マウスでは、マウスの移動量、方向を計測してスクリーンカーソルの位置を検出する。しかしながら、いずれの従来技術も実際の楽器を演奏する動作とは程遠い操作をするものである。
また、こうした実在しない仮想楽器の演奏は、実際の楽器を演奏するのと比べて動作は同じであるものの、例えば打鍵したときの感覚がなく、楽音が発生しても、打鍵の擬似操作が有効であったか否か等を捉えることができなかった。
【０００３】
【発明が解決しようとする課題】
すなわち、この発明の目的は従来にない位置検出原理に基づく楽器ゲーム装置を提供することである。具体的なこの発明の目的は、画像入力方式の楽器ゲーム装置を提供することである。
【０００４】
【課題を解決するための手段】
この発明によれば、実画像を取り込む撮像手段と、複数の楽器エリアを有する仮想画像を形成する仮想画像形成手段と、前記仮想画像の各楽器エリアに対応したスプライト画像を形成するスプライト画像形成手段と、前記撮像手段から取り込んだ実画像における特異点の位置を検出する位置検出手段と、前記位置検出手段により検出された特異点の位置が前記仮想画像形成手段により形成された複数の楽器エリアを有する仮想画像の中のいずれかの楽器エリアに入ったか否かを検出する検出手段と、前記検出手段によって前記特異点の位置が前記複数の楽器エリアを有する仮想画像の中のいずれかの楽器エリアに入ったことを検出したときは、前記特異点の位置が入った楽器エリアに対応する音を発生する音源手段と、前記検出手段により前記複数の楽器エリアを有する仮想画像の中のいずれかの楽器エリアに入ったことが検出されないときは前記撮像手段から取り込んだ実画像と前記仮想画像形成手段により形成された仮想画像とを合成して出力すると共に、前記検出手段により前記特異点の位置が前記複数の楽器エリアを有する仮想画像の中のいずれかの楽器エリアに入ったことを検出したときは、前記特異点の位置が入った楽器エリアに対応するスプライト画像、前記実画像及び仮想画像を合成して出力する画像合成手段と、を有することを特徴とする楽器ゲーム装置が提供される。
この構成によれば、実画像を取り込み、この実画像を仮想画像と合成して出力する。そして、取り込んだ実画像中の特異点の位置を検出するとともに、この特異点が複数の楽器エリアを有する仮想画像の中のいずれかの楽器エリアに位置するか否かを検出する。そして、この特異点がいずれかの楽器エリア内に位置している場合は、この楽器エリアに対応した音を発生すると共に、対応するスプライト画像を上述の実画像及び仮想画像とともに合成して出力する。
このような構成により、ユーザーは、自己を撮影した実画像と仮想画像との合成画像を見ながら演奏するような動作をすれば、対応する楽器音が発生すると共に演奏動作がなされたことを示すスプライト画像が表示される。
この結果、実際の楽器がなくとも、その楽器演奏を擬似的に行なうことができるようになる。また、演奏操作をして楽音が発生すると共に、楽器音が発生したことを知らせるスプライト画像が表示されるため、ユーザーは演奏操作により楽音が発生していることを視覚的に認識ができる。
【０００５】
【実施例】
以下、図面を参照してこの発明の実施例を説明する。この実施例はこの発明を楽器ゲーム装置に応用した例である。
図１に実施例の楽器ゲーム装置の使用状況の概要を示す。撮像部を内蔵する楽器ゲーム装置本体２の前で演奏者４がペンライト２０（特異点）を振る。この画像は楽器ゲーム装置本体２に取り込まれる。楽器ゲーム装置本体２は取り込んだ画像のなかで特異点であるペンライト２０の位置（正確にはペンライト先端のランプ位置）を検出する。検出した特異点の位置が複数の楽器エリアを有する仮想画像内の楽器エリア（例えばドラムセットのシンバル操作位置）に入ったら、該当する楽器音を発生させる。更に、楽器ゲーム装置本体２は、ディスプレイ６に複数の楽器エリアを有する仮想画像と演奏者４からの実画像とを合成して表示させる。
【０００６】
図２と図３に示すように、楽器ゲーム装置本体２は前面（図２）に、電源スイッチ１０、撮像部のレンズ１２が設けられ、裏面にはＡＣアダプタに接続される電源端子１４、サウンドシステム（図示せず）に接続されるオーディオ出力端子１６、ディスプレイ６に接続されるビデオ出力端子１８が設けられる。ペンライト２０は図４に示すように先端にＬＥＤ等のランプ２２が設けられる。ランプ２２のオン／オフはペンライト側部のスイッチ２４で行われる。
【０００７】
図５に楽器ゲーム装置本体２の回路構成を示す。演奏者４からの実画像はレンズ１２を介してＣＣＤ３０に取り込まれる。タイミング回路３４により制御されるドライバ３２はＣＣＤ３０に駆動パルスを与えてＣＣＤ３０の各素子に光電変換を実行させる。この結果、ＣＣＤ３０からは実画像を表わす電気信号が直列に出力され、信号処理回路３６に入力される。信号処理回路３６はＣＣＤ３０からの信号を処理し、実画像に係るカラーＮＴＳＣ信号（実画像ＮＴＳＣ信号）を形成する。この実画像ＮＴＳＣ信号は輝度検出回路３８と画像合成回路４０に供給される。
【０００８】
一方ＣＧ発生器４２はビデオＲＡＭ４４からのデジタルＣＧ画像データを処理し、仮想画像（コンピュータグラフィクス画像）を表わすＮＴＳＣ信号を形成する。この仮想画像ＮＴＳＣ信号は画像合成回路４０に供給される。
【０００９】
ＣＧ発生器４２と信号処理回路３６の動作を同期させるために（仮想画像ＮＴＳＣ信号と実画像ＮＴＳＣ信号の各走査を同期させるために）、タイミング回路３４から所定のタイミング信号がＣＧ発生器４２と信号処理回路３６に供給される。
【００１０】
画像合成回路４０は仮想画像と実画像とを合成するものである。このために、画像合成回路４０は、内部のアナログスイッチにより仮想画像ＮＴＳＣ信号（の画素）が白レベルのときは実画像ＮＴＳＣ信号（の画素）を選択し、仮想画像ＮＴＳＣ信号の画素が白レベルでないときは仮想画像ＮＴＳＣ信号を選択する。画像合成回路４０からの合成画像ＮＴＳＣ信号はビデオ出力端子１８に出力される。
【００１１】
この実施例は楽器ゲーム装置への応用例であるので、仮想画像は楽器に関するものである。仮想画像の画面構成は、図８に示すようにバックグラウンド面１００とイベント時に重ね合わされるスプライト面１０２から成る。スプライト面１０２はバックグラウンド面１００におけるいずれかの楽器が実画面１０８の演奏者４のペンライト２０により仮想的に操作された（打たれた）ときに操作に係る楽器近くに表示されるよう、バックグラウンド面１００と重ね合わされる。ビデオＲＡＭ４４には選択された楽器ゲーム（例えばドラムゲーム）に関するバックグラウンド面の画像データとスプライト面の画像データとが記憶されており、両画像データの合成はマイコンシステム４６の制御の下に、ＣＧ発生器４２によって行われる。
【００１２】
なお、楽器ゲームの選択時に、マイコンシステム４６からＣＧ発生器４２を介してビデオＲＡＭ４４に選択楽器ゲームに係るバックグラウンド面の画像データとスプライト面の画像データがセットされる。これに関連し、マイコンシステム４６は種々の楽器ゲームに関するデータメモリとしてＲＯＭ４８を有している。
【００１３】
また、バックグラウンド面の楽器以外の部分（背景）は白であり、上述した画像合成回路４０の合成により、実画面１０８の演奏者の手前に楽器（ドラムセット）がくるように重ねられた合成画面１０６が得られる。
演奏者４のペンライト２０の位置（特異点の位置）を検出するために、輝度検出回路３８が設けられる。輝度検出回路３８の構成を図６に示す。
【００１４】
輝度検出回路３８には信号処理回路３６から実画像ＮＴＳＣ信号が入力される。また、タイミング回路３４からフレームクロックＶＣＫ、行クロックＲＣＫ、列クロックＨＣＫが供給される。図７のタイミングチャートに示すように、フレームクロックＶＣＫはＮＴＳＣ信号の１フレーム（１画面、２フィールド）ごとに発生する。行クロックＲＣＫはＮＴＳＣ信号の１走査線期間ごとに発生する。列クロックＨＣＫはＮＴＳＣ信号の１走査線中の映像期間（輝度信号期間）の間に２５６回発生する。いいかえると、列クロックＨＣＫは水平を２５６画素とみたときに各画素位置で発生する。
【００１５】
実画像ＮＴＳＣ信号は輝度検出回路３８のＡＤＣ５０によりアナログ／デジタル変換され、列クロックＨＣＫで動作するサンプリングレジスタ５２により、各画素のデジタル値がサンプリングされる。サンプリングレジスタ５２の出力は大小比較器５４に供給される。大小比較器５４はサンプリングレジスタ５２の出力値と（フレームクロックＶＣＫでリセットされる）ピークホールドレジスタ５６の内容とを比較し、サンプリングレジスタ５２の出力値の方が大きいとき、比較クロック出力を発生し、ピークホールドレジスタ５６に新たなピークであるピークホールドレジスタ５６の出力を取り込ませる、とともに列レジスタ６０と行レジスタ６４をクロック動作させる。
【００１６】
一方、列カウンタ５８は行クロックＲＣＫごとにリセットされ、列クロックＨＣＫをカウントする。行カウンタ６２はフレームクロックＶＣＫでリセットされ、行クロックＲＣＫをカウントする。
【００１７】
したがって、１フレーム（１画面）のなかで最高輝度をもつ画素の位置がこの輝度検出回路３８で検出されることになる。すなわち、最高輝度の画素のタイミングで、大小比較器５４から比較クロック出力が発生し、この比較クロック出力により、列レジスタ６０はその時点の列カウンタ５８の列カウント（最高輝度画素の列座標）を取り込み、行レジスタ６０はその時点の行カウンタ６２の行カウント（最高輝度画素の行座標）を取り込む。ここに、行カウントと列カウントとで示される最高輝度の画素位置は、演奏者４が操作しているペンライト２０の点灯ランプ２２の位置、即ち、実画像における特異点の位置を表わしている。
【００１８】
列レジスタ６０と行レジスタ６４の出力はマイコンシステム４６のポートに接続される。
マイコンシステム４６はタイミング回路３４からのフレームクロックＶＣＫに応答して図９に示すようなＶインタラプトルーチンを実行する。
【００１９】
先ずステップ９−１で輝度検出回路３８の行レジスタ６４と列レジスタ６０の内容である特異点（ペンライト）の位置を読み込む。次に、エリアテスト９−２を行なう。エリアテスト９−２では選択楽器ゲームの各楽器の操作エリアデータ（ＲＯＭ４８上）を特異点（ペンライト）の位置データと比較し、新たに特異点が操作エリアに入ったときにイベントフラグを立て、該当するイベントの種類（例えばハイハット、ドラム）をセットする。ステップ９−３でイベントフラグが立っていれば、ステップ９−４でイベントの種類に対応したスプライト表示指示をＣＧ発生器４２に与える。これはスプライト面１０２の表示位置データを含むスプライト表示コマンドをＣＧ発生器４２に送ることで行われる。これを受けてＣＧ発生器４２はバックグラウンド面上にスプライト面１０２を指示された位置に重ね合わせ、そのＮＴＳＣ信号を形成する。この結果、例えば、図８の１０８に示すようにシンバルがペンライトで仮想的（間接的）に打たれたときはシンバルの上方に音符スプライト面が表示される。
【００２０】
更にマイコンシステム４６はステップ９−５で該当するイベントの種類に対応する楽器の音色データ（ＲＯＭ４８上）を含む発音指示コマンドを音源４８に送る。これを受けて音源４８は対応する楽音信号を発生する。この楽音信号はオーディオ出力端子１６を介して外部に出力される。
【００２１】
以上で実施例の説明を終えるがこの発明の範囲内で種々の変形、応用が可能である。
【００２２】
例えば、特異点とその検出方式について、ペンライト以外のもの、輝度検出方式以外の方式が可能である。例えば、特定の形状（例えば星印）を特異点（検出対象）として、取り込んだ画像から特定の形状とその位置を認識することができる。
【００２３】
また、特異点は１つに限らず複数であってもよい。例えば２本のペンライトの各々の位置を輝度の検出によって特定することができる。これは、例えば、１フレーム中の複数の高輝度位置（最高輝度から順次Ｎ番目までの高輝度位置）をストアするメモリ（例えばシフトレジスタ）を輝度検出回路にもたせ、マイコンシステムで複数の高輝度位置のデータを調べ、最高輝度位置を第１ペンライトの位置と決め、この第１ペンライトの位置からある程度以上離れた位置を示す高輝度位置データを第２ペンライト位置と決めることで達成できる。
【００２４】
また、実施例ではディスプレイに表示される画面の一部を実画像としているが、実画像に代え、実画像に対応するＣＧ（コンピュータグラフィックス）画像を用いてもよい。あるいは実画像を処理して、ＣＧ画像を形成してもよい。これにより、バックグラウンドのＣＧ画像と実画像に基づくＣＧ画像の画質を合わせることができる。
この発明は楽器ゲームに限らず、その他の種々のゲーム機やパーソナルコンピュータ装置に応用可能である。
【００２５】
【発明の効果】
以上、詳細に述べたように、この発明ではユーザーは、自己を撮影した実画像と仮想画像との合成画像を見ながら演奏するような動作をすれば、対応する楽器音が発生すると共に演奏動作がなされたことを示すスプライト画像が表示される。
この結果、実際の楽器がなくとも、その楽器演奏を擬似的に行なうことができるようになる。また、演奏操作をして楽音が発生すると共に、楽器音が発生したことを知らせるスプライト画像が表示されるため、ユーザーは演奏操作により楽音が発生していることを視覚的に認識ができる。
【図面の簡単な説明】
【図１】実施例の位置検出装置の使用例を示す概要図。
【図２】位置検出装置の正面を示す図。
【図３】位置検出装置の背面を示す図。
【図４】ペンライトの外観を示す図。
【図５】位置検出装置の回路構成を示すブロック図。
【図６】輝度検出回路の構成を示すブロック図。
【図７】輝度検出回路に入力される信号のタイミングチャート。
【図８】画面の構成、重ね合わせ、及びスプライト面の制御を説明する図。
【図９】マイコンシステムの動作を示すタイムチャート。
【符号の説明】
３０  ＣＣＤ（撮像手段）
３８  輝度検出回路（位置検出手段）
４６  マイコンシステム（制御手段）
２０  ペンライト（特異点）
【図１】
0003599115.tif 000002
【図２】
0003599115.tif 000003
【図３】
0003599115.tif 000004
【図４】
0003599115.tif 000005
【図５】
0003599115.tif 000006
【図６】
0003599115.tif 000007
【図７】
0003599115.tif 000008
【図８】
0003599115.tif 000009
【図９】
0003599115.tif 000010