(57)【特許請求の範囲】
【請求項１】
表示画面を有する表示部と、前記表示部に対して空間を介して入力操作が行われる操作体とを有し、
前記操作体には、画像を認識可能な画像認識手段と、
（ａ）前記表示画面に、基準画像をその周囲の枠と異なる輝度で表示し、前記枠を前記画像認識手段の認識領域で基準画像データとして認識し、前記認識領域内での前記基準画像データの位置情報を記憶部に記憶する初期設定を行い、
（ｂ）前記初期設定の後に、前記表示画面に、指示箇所を含む画像を表示し、このときに前記認識領域で認識した枠の画像データと、前記基準画像データとの相対的な位置の変化量を検出し、この変化量に基づいて、前記認識領域の中心と前記指示箇所との位置関係を特定する、
制御部とが、設けられていることを特徴とする指示位置検出装置。
【請求項２】
前記制御部では、前記画像認識手段で認識された前記表示画面に表示される画像データと前記枠の画像データとの輝度の差を検出することで、前記枠の画像データを認識する請求項１記載の指示位置検出装置。
【請求項３】
前記（ｂ）では、前記画像認識手段で認識されている基準画像データの中心と、初期設定後に認識した指示箇所を含む画像の周囲の枠の画像データの中心の位置との変化量を検出して、前記認識領域の中心の位置を特定する請求項１または２記載の指示位置検出装置。
【請求項４】
表示画面を有する表示部と、前記表示部の外部に固定された識別部材と、前記表示部に対して空間を介して入力操作が行われる操作体とを有し、
前記操作体には、画像を認識可能な画像認識手段と、
（ｃ）前記識別部材を前記画像認識手段の認識領域で基準画像データとして認識し、前記認識領域内での前記基準画像データの位置情報を記憶部に記憶する初期設定を行い、
（ｄ）前記初期設定の後に、前記表示画面に、指示箇所を含む画像を表示し、前記指示箇所を含む画像の外側に位置する前記識別部材の画像データと、前記基準画像データとの相対的な位置の変化量を検出して、この変化量に基づいて、前記認識領域の中心と前記指示箇所との位置関係を特定する、
制御部とが、設けられていることを特徴とする指示位置検出装置。
【請求項５】
前記表示画面にゲーム内容が表示され、前記操作体がコントローラであり、前記コントローラを前記表示画面に向けながら移動させることで、前記表示画面に表示されたゲーム内容に対する位置の指示が行われる請求項１ないし４のいずれかに記載の指示位置検出装置を用いたゲーム用コントローラ。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、空間を介して表示画面上の位置を指示することができる指示位置検出装置および、前記指示位置検出装置を用いて、例えば画面上に表示された標的を仮想的に撃つなどの入力操作を行うゲーム用コントローラに関する。
【０００２】
【従来の技術】
家庭用ゲーム機などでは、拳銃の形を模したガンコントローラを用いてテレビに表示された標的などを撃つシューティングタイプのゲームがある。このゲームに使用されるガンコントローラは、例えばゲーム機本体に所定のケーブルを用いて接続し、ゲーム機本体はテレビ側の所定の映像用端子に接続して使用される。これにより、ガンコントローラの銃口をテレビに表示された標的に照準を合わせて引き金を引いたときに、テレビ画面の表面を走る走査線がガンコントローラに設けられた検出部により検出され、標的に命中したか否かの判断が行われる。
【０００３】
すなわち、家庭用のテレビなどブラウン管を使用したもので画像を表示させる場合には、テレビ画面の表示領域において、画面に向かって左上から水平に右方向に走査線を走らせ、１ラインの走査が終了すると走査線を走らせる位置を左端に戻して１ドット下げて次のラインの走査が行われる。前記のようにして走査線分繰返し行うことにより１画面が構成される。１画面は、例えば６０分の１秒毎に切り替えられる。ゲーム機本体では、走査線の発光位置を常に監視している。
【０００４】
ガンコントローラに設けられた検出部は、銃口が向いている所定の範囲内の光のみを検出をできるように指向性を有しており、銃口を標的に向けて引き金を引いたときに走査線の光が標的上で検出されたときに標的に命中したと判断される。
【０００５】
【発明が解決しようとする課題】
しかしながら、上記した従来のゲーム用ガンコントローラは、走査線を利用して画像を表示させるブラウン管タイプのテレビでは利用できるが、走査線を利用して画像を表示させるものでない例えば液晶を利用したディスプレイやプロジェクタを利用したスクリーンなどでは使用できず、さらに次世代の高画質ディスプレイなどの走査線のタイミングの異なるものでも使用できない問題がある。
【０００６】
本発明は、上記従来の課題を解決するものであり、走査線を利用して画像を表示させるものでない薄型のディスプレイや走査線のタイミングの異なるディスプレイなどいかなるディスプレイであっても指示位置を検出することができる指示位置検出装置及び前記装置を用いたゲーム用コントローラを提供することを目的としている。
【０００７】
【課題を解決するための手段】
本発明の指示位置検出装置は、表示画面を有する表示部と、前記表示部に対して空間を介して入力操作が行われる操作体とを有し、
前記操作体には、画像を認識可能な画像認識手段と、
（ａ）前記表示画面に、基準画像をその周囲の枠と異なる輝度で表示し、前記枠を前記画像認識手段の認識領域で基準画像データとして認識し、前記認識領域内での前記基準画像データの位置情報を記憶部に記憶する初期設定を行い、
（ｂ）前記初期設定の後に、前記表示画面に、指示箇所を含む画像を表示し、このときに前記認識領域で認識した枠の画像データと、前記基準画像データとの相対的な位置の変化量を検出し、この変化量に基づいて、前記認識領域の中心と前記指示箇所との位置関係を特定する、
制御部とが、設けられていることを特徴とするものである。
【０００８】
また、前記制御部では、前記画像認識手段で認識された前記表示画面に表示される画像データと前記枠の画像データとの輝度の差を検出することで、前記枠の画像データを認識する。
【０００９】
さらに、前記（ｂ）では、前記画像認識手段で認識されている基準画像データの中心と、初期設定後に認識した指示箇所を含む画像の周囲の枠の画像データの中心の位置との変化量を検出して、前記認識領域の中心の位置を特定するものである。
【００１０】
また、本発明の指示位置検出装置は、表示画面を有する表示部と、前記表示部の外部に固定された識別部材と、前記表示部に対して空間を介して入力操作が行われる操作体とを有し、
前記操作体には、画像を認識可能な画像認識手段と、
（ｃ）前記識別部材を前記画像認識手段の認識領域で基準画像データとして認識し、前記認識領域内での前記基準画像データの位置情報を記憶部に記憶する初期設定を行い、
（ｄ）前記初期設定の後に、前記表示画面に、指示箇所を含む画像を表示し、前記指示箇所を含む画像の外側に位置する前記識別部材の画像データと、前記基準画像データとの相対的な位置の変化量を検出して、この変化量に基づいて、前記認識領域の中心と前記指示箇所との位置関係を特定する、
制御部とが、設けられていることを特徴とするものである。
【００１１】
また本発明のゲーム用コントローラは、前記表示画面にゲーム内容が表示され、前記操作体がコントローラであり、前記コントローラを前記表示画面に向けながら移動させることで、前記表示画面に表示されたゲーム内容に対する位置の指示が行われるように前記指示位置検出装置を用いたものである。
【００１２】
上記本発明では、画像認識手段によって表示部の画像を表示する部分ではない表示画面の外側の枠などを認識させ、前記枠などの相対的な変化を検出することによって操作体が表示画面のどこを指示しているかが検出できるようになる。
【００１３】
以上のように、ゲーム用の例えばガンコントローラとして好適なものであり、しかも従来の走査線を利用したディスプレイだけでなく、走査線を利用して画像を表示させるものでない液晶などの薄型のディスプレイや走査線のタイミングの異なる次世代の高画質なディスプレイなど様々な種類のディスプレイであっても利用することが可能になる。
【００１４】
また表示画面全体を画像の表示領域として利用することができるため、臨場感を損うことなく、より迫力のある画像を表示させることができる。
【００１５】
【発明の実施の形態】
図１は本発明のゲーム用のガンコントローラのシステム構成を示すブロック図、図２は指示位置検出装置を説明するための説明図、図３は指示位置検出装置の全体の処理を示すフローチャート、図４は画像処理及び枠認識の処理を示すフローチャート、図５は通信処理を示すフローチャートである。
【００１６】
図１に示す本発明のガンコントローラは、手で操作する操作体としてのコントローラ１と、液晶パネルなどを利用した表示部（ディスプレイ）１０と、ゲーム機本体（またはゲームソフトを搭載したコンピュータ本体）２０とで構成されている。コントローラ１は、ゲーム機本体２０と所定のケーブルを用いて接続され、ゲーム機本体２０は表示部１０の映像用の端子等と所定のケーブルを介して接続されている。
【００１７】
なお、表示部１０としては、従来の走査線による表示を行うディスプレイの他に、液晶パネルやプラズマディスプレイパネルを用いた薄型のディスプレイ、プロジェクタを利用したスクリーン、走査線のタイミングなどが異なる次世代の高画質テレビなど従来の走査線を利用したテレビとは異なるものにおいて使用することが可能である。
【００１８】
コントローラ１は、例えば拳銃の形を模した筐体により形成することができ、この筐体に引き金２と人工網膜チップ（登録商標、以下同じ）３とが設けられている。引き金２を引く操作により所定の信号がゲーム機本体２０に送られる。人工網膜チップ３は、画像認識手段としての人工網膜ＬＳＩ（Large Scale Integrated Circuit）４、制御部として機能するＣＰＵ５、ＲＯＭ６、ＲＡＭ７、入出力端子（Ｉ／Ｏ）８、及びインターフェース（Ｉ／Ｆ）９などがひとつのチップに組み込まれて構成されている。
【００１９】
前記人工網膜ＬＳＩ４は、画像認識が可能なチップであり、物の形状や輝度等の判別や調整を行うことができるようになっている。この人工網膜ＬＳＩ４は、筐体の銃身内部に設けられ、この銃身内部から銃口を介して物が認識できる位置に配置されている。さらに筐体内部の銃口付近にはレンズが設けられ、このレンズによって前記人工網膜ＬＳＩ４が認識する物が拡大表示されて認識される。
【００２０】
また人工網膜ＬＳＩ４は、ＣＰＵ５と接続され、このＣＰＵ５は、ＲＯＭ６及びＲＡＭ７と接続され、さらに入出力端子８を介して引き金２と接続されている。前記ＣＰＵ５は、前記ＲＯＭ６から起動用や画像認識用の所定のプログラム等が読み込まれ、またＲＡＭ７には前記人工網膜ＬＳＩ４により記憶された画像データ等が記憶される。さらにＣＰＵ５は、所定のインターフェース９によってゲーム機本体２０と接続されている。
【００２１】
なお、ゲーム機本体２０には、図示していないが、例えばゲームアプリケーションが記録されたＣＤやＤＶＤなどのディスクが読み出し可能な駆動装置や、画像を制御するための制御部等が設けられている。
【００２２】
前記コントローラ１が起動すると前記人工網膜チップ３内の各初期設定がなされ、次に操作者自身による初期設定が行われる。図２に示す符号１３は人工網膜チップ３が認識できる領域であり、符号１４は前記領域１３の中心位置（＋）を示す照準である。この照準１４は操作者が銃身の先から見たときの位置と一致するように設定されている。まず、操作者はコントローラ１によって基準画像を認識させ、この基準画像を基にしてコントローラ１を移動させた後の次回認識される画像の相対的な位置の変化量から指示位置の検出が行われる。
【００２３】
すなわち、基準画像の認識処理では、表示部１０の枠（フレーム）１２とは輝度の異なる例えば表示画面１１の全体をブルー画面とし且つ前記表示画面１１の中央に表示された×印に銃口を向けて引き金２を引いて撃つように操作者に指示をする。
【００２４】
上記操作により、人工網膜チップ３には枠１２が図２の符号１５Ａで示す画像として認識される。なお画像１５Ａは、枠１２と表示画面１１との境界部分の形状を示している。この実施の形態では、表示画面１１を囲む枠１２が検出対象物となり、この検出対象物である枠１２の画像が基準画像となる。したがって、前記枠１２は表示画面１１と輝度の区別が容易なコントラストを形成できる色彩を有していることが好ましく、例えば前記枠１２は黒色、濃緑色などである。
【００２５】
前記画像１５Ａの画像データはＲＡＭ７に記憶され、その後の基準の処理データとして利用される。
【００２６】
ゲーム開始後、例えば図１に示す表示画面１１の標的Ｓ１にコントローラ１の銃口を向けて引き金２を引いた場合には、表示部１０に向かって上記基準位置から右斜め下方向に銃口を移動させることになる。このとき、前記人工網膜チップ３で認識される表示部１０の枠１２の画像は、符号１５Ｂに示す状態になる。すなわち、実際に認識される画像１５Ｂは、前記とは逆の左斜め上方向に移動することになり、このとき前記照準１４は前記画像１５Ｂの右下角付近を指すことになる。前記基準画像１５Ａと移動後の画像１５Ｂとの座標データを比較し、上記画像１５Ａの中心から前記画像１５Ｂの中心へ移動した移動量をＣＰＵ５で演算し、この演算で得られた位置データがインターフェース９を介してゲーム機本体２０へ送られる。これにより、前記位置データが表示画面１１に表示された標的Ｓ１の画像の座標データに一致又は含まれるときには、前記標的Ｓ１の画像が所定の画像に切り替わったり、ゲームの得点が加算されたりなどする。
【００２７】
また、コントローラ１の銃口を図１で示す標的Ｓ２方向へ向け、引き金２を引いた場合には、図２の符号１５Ｃで示す枠の画像が認識される。このとき画像１５Ｃの中心から外れた位置に基準画像１５Ａの中心が位置し、前記基準画像１５Ａから画像１５Ｃへ移動した移動変化量がＣＰＵ５で計算される。算出された位置データが表示画面１１に表示された標的Ｓ２の座標データに一致又は含まれる場合には、前記標的Ｓ２の画像に変化を与える処理等が行われる。
【００２８】
上記のようにしてコントローラ１が表示画面１１上において指し示している位置を検出することができる。なお、本発明のガンコントローラが弾込めの操作が必要となるタイプであるならば、コントローラ１の銃口が表示画面１１外となる方向に向けられて引き金２が引かれたときに、弾込めが実行されるようにようにしてもよい。
【００２９】
以下、本発明のガンコントローラによる指示位置検出方法を説明する。
図３に示すように、ステップ１（以下、ＳＴ１とする）では、コントローラ１の電源が投入されるかあるいはコントローラ１がゲーム機本体２０に接続されて前記本体側から電源が供給されると、ＲＯＭ６から起動用や認識用のプログラムなどが読み込まれるなどして必要な各種の初期設定が行われる。これにより人工網膜ＬＳＩ４が画像を認識できる状態になる。続いてゲーム開始前に、ゲームの使用者（プレイヤー）によって基準画像を認識させる設定が行われる。
【００３０】
前記設定では、ＳＴ２において人工網膜チップ３によって表示部１０の表示画面１１と枠１２の画像データがＲＡＭ７に記憶される。このとき、上記したように表示画面１１の画像を枠１２の画像とは異なる輝度で表示させた後に引き金２を引いて画像データが取り込まれる。
【００３１】
ＳＴ３では、図４に示すように、ＳＴ１０において取り込んだ画像データに対して表示画面１１と枠１２との境界部分が強調されるように、さらに表示画面１１の輝度と枠１２の輝度との差が鮮明となるように画像処理が行われる。前記画像処理が終了するとＳＴ１１に移行し、枠１２が適切な大きさで認識可能な範囲から外れずに自動的に認識可能なものであるかが判断される。ＳＴ１１において、認識可能な状態ではない場合には（ＮＧ）、枠１２が認識できる範囲外にあることを示す枠外フラグをオンにして、ＳＴ４以下の処理に進む。またＳＴ１１において、認識可能な状態である場合には（ＹＥＳ）、ＳＴ１２に移行してねじれや歪みなどの画像処理が行われ、枠１２の座標位置データが検出される。前記画像処理と前記位置検出が終了すると、枠１２が認識可能な範囲外にあることを示す枠外フラグをオフにし、ＳＴ４以下の処理に進む。
【００３２】
ＳＴ４では、センター位置を補正する信号が発生しているか否かが検出される。すなわち、引き金２を引いたときに必ずしも枠１２の中心で画像データが取り込まれるとは限らず中心から外れた位置で画像データが取り込まれる場合もある。よって、ＳＴ４においてセンターを補正する補正信号が出力された場合には（ＹＥＳ）、ＳＴ５に移行して枠１２のセンター位置が補正される。
【００３３】
なお、ＳＴ４においてセンター補正信号が出力された場合には（ＹＥＳ）、図５の通信処理を示すＳＴ２０に移行し、データフォーマット上の所定の位置にあるセンター位置を補正したことを示すフラグがオンになる。
【００３４】
上記のように枠１２を認識させる場合には、コントローラ１の向きや傾きなどによって様々なパターンで人工網膜チップ３が認識させられる。そのためＳＴ５において、枠１２のセンター位置の補正が終了すると、前記センター位置補正用のフラグがオフになる。
【００３５】
そしてＳＴ６に移行し、前記枠１２の座標位置データが演算される。さらにＳＴ７に移行して前記座標位置データがＲＡＭ７に記憶され、この座標位置データが基準画像としてその後の処理に利用される。
【００３６】
またゲーム開始前の前記基準画像を記憶させる設定ではなく、ゲーム中の指示位置検出処理では、電源を切断したり、表示部を別の表示部に切り替えたりしない限り、図３に示すＳＴ２乃至ＳＴ７の処理が繰り返される。
【００３７】
すなわち、ＳＴ２及びＳＴ３は、前記と同様の処理が実行され、ＳＴ４に移行する。ＳＴ４ではセンター位置の補正コマンドが出力されたか否かが判断されるが、上記した基準画像を認識させる設定ではないためＳＴ６に移行し、移動後に認識された画像の座標位置データと上記の基準画像の座標位置データとがＣＰＵ５で比較処理され、その移動量（変化量）が算出される。そしてＳＴ７に移行し、前記算出値がＲＡＭ７に記憶される。前記算出値が前記表示部１０の標的が表示されている座標位置データに一致又は含まれると認識された場合には、前記画像が、前記標的に命中したときの画像に反映される。
【００３８】
なお、ＳＴ４では図５に示すように、センター位置の補正コマンドが出力されないため（ＮＯ）、ＳＴ２１に処理が移行する。ＳＴ２１では認識された画像データを送信するためのデータ送信コマンドが出力されているか否かが判断される。データ送信コマンドが出力されていない場合には（ＮＯ）、通信処理を終了させ、ＳＴ６以下の処理が実行される。またＳＴ２１において、データ送信コマンドが受信された場合には（ＹＥＳ）、ＳＴ２２において上記した所定の画像処理及び枠認識から得た枠１２の画像データが送信され、前記したＳＴ６以下の処理が実行される。
【００３９】
上記のようにして、表示部１０における表示画面１１の周囲の枠１２を認識させて得られた表示画面１１の中心位置と、移動後に認識された枠１２の中心位置との変位量を算出することにより、表示画面１１上におけるコントローラ１の指示位置が認識される。
【００４０】
図６は、本発明のゲーム用ガンコントローラによる他の指示位置検出装置を示す説明図である。
【００４１】
図６に示す検出装置は、上記したように液晶ディスプレイなどの表示部１０の枠（フレーム）１２を検出対象物として認識させるのではなく、前記枠１２の外側に設置されまたは固定された任意の形状の識別部材３０が検出対象物として使用される。
【００４２】
この識別部材３０をゲーム開始前の初期設定時にコントローラ１によって認識させる。またこの識別部材３０は１個に限らず、２個あるいはそれ以上設けて認識させるようにしてもよい。この場合、識別部材３０の形状を認識することで検出対象物であることを特定してもよいし、あるいは前記識別部材として、自己発光する照光部材や反射部材を用い、前記識別部材３０と周囲との輝度の差から、前記識別部材３０を検出対象物として特定してもよい。
【００４３】
【発明の効果】
以上説明した本発明は、特にゲーム用ガンコントローラとして使用する場合に有効であり、しかも走査線を利用して画像を表示させているものに限らず、走査線を利用せずに画像を表示させる表示部、例えば液晶パネルやプロジェクタあるいは走査線のタイミングの異なるものなどを利用した表示部など表示手段の異なるいかなる表示部であっても指示位置を検出することができる。
【図面の簡単な説明】
【図１】本発明のゲーム用ガンコントローラのシステム構成を示すブロック図、
【図２】指示位置検出装置を示す説明図、
【図３】指示位置検出装置の全体の処理を示すフローチャート、
【図４】画像処理と枠認識の処理を示すフローチャート、
【図５】通信処理を示すフローチャート、
【図６】他の指示位置検出装置を示す説明図、
【符号の説明】
１  コントローラ
２  引き金（操作部）
３  人工網膜チップ
４  人工網膜ＬＳＩ
５  ＣＰＵ
６  ＲＯＭ
７  ＲＡＭ
１０  表示部
１１  表示画面
１２  枠
２０  ゲーム機本体
【図１】
0003847057.tif 000002
【図２】
0003847057.tif 000003
【図３】
0003847057.tif 000004
【図４】
0003847057.tif 000005
【図５】
0003847057.tif 000006
【図６】
0003847057.tif 000007