(57)【要約】  簡単で識別容易な識別マークを用いて、位置情報を高精度に検出できる位置情報検出装置、方法及びプログラムを提供する。  ディスプレイ１０３に配設された識別マーク１０２をカメラレンズを介して撮像する撮像部２０３、撮像部２０３が撮像した画像から、幾何学図形像を抽出する識別マーク抽出部２０６、幾何学図形像における特定の点を結ぶことにより形成される参照矩形像を抽出する参照矩形抽出部２０７、参照矩形像により特定される座標系に基づいて、ディスプレイ１０３の画像表示領域に対する撮像部２０３のカメラレンズの焦点距離を算出する焦点距離算出部２１３、該座標系及び焦点距離に基づいて、画像表示領域に対する撮像部２０３の指示位置を算出する指示位置算出部２１０を有する。
2007037227.tif 000002
【特許請求の範囲】
【請求項１】
指示対象平面側に配設された識別マークをカメラレンズを介して撮像する撮像部と、
前記撮像部が撮像した画像から、幾何学図形像を抽出する識別マーク抽出部と、
前記幾何学図形像における特定の点を結ぶことにより形成される参照矩形像を抽出する参照矩形抽出部と、
前記参照矩形像により特定される座標系に基づいて、前記指示対象平面に対する前記撮像部のカメラレンズの焦点距離を算出する焦点距離算出部と、
前記座標系及び前記焦点距離に基づいて、前記指示対象平面に対する前記撮像部の指示位置を算出する指示位置算出部と、
を有することを特徴とする位置情報検出装置。
【請求項２】
指示対象平面側に配設された識別マークをカメラレンズを介して撮像する撮像部と、
前記撮像部が撮像した画像から、幾何学図形像を抽出する識別マーク抽出部と、
前記幾何学図形像における特定の点を結ぶことにより形成される参照矩形像を抽出する参照矩形抽出部と、
前記参照矩形抽出部により抽出された参照矩形像を記憶する参照矩形記憶部と、
前記参照矩形像により特定される座標系に基づいて、前記指示対象平面に対する前記撮像部のカメラレンズの焦点距離を算出する焦点距離算出部と、
前記座標系及び前記焦点距離に基づいて、前記指示対象平面に対する前記撮像部の指示位置を算出する指示位置算出部と、
前記識別マーク抽出部による識別マークの抽出ができない場合に、前記参照矩形記憶部に記憶された参照矩形像に基づいて、参照矩形像を推定する参照矩形推定部と、
を有することを特徴とする位置情報検出装置。
【請求項３】
前記参照矩形推定部は、
前記参照矩形記憶部に記憶された参照矩形像に基づいて、識別マークの近傍領域を算出する領域算出部と、
前記近傍領域において遮断すべき背景光を検出する背景光検出部と、
前記背景光検出部による検出結果に基づいて、前記近傍領域における識別マークの重心を推定する重心推定部と、
前記重心推定部により推定された重心に基づいて、参照矩形像を推定する推定部と、
を有することを特徴とする請求項２記載の位置情報検出装置。
【請求項４】
前記推定部による推定のために、前記重心推定部により推定された重心と、前記参照矩形記憶部に記憶された参照矩形像との対応付けを行う整合部を有することを特徴とする請求項２又は請求項３記載の位置情報検出装置。
【請求項５】
前記座標系及び前記焦点距離に基づいて、前記指示対象平面を基準に張った３次元の座標系における前記撮像部の相対位置を算出する撮像部位置算出部を有することを特徴とする請求項１又は請求項２記載の位置情報検出装置。
【請求項６】
前記撮像部の回転の前後における前記座標系に基づいて、前記撮像部の回転角を算出する回転角算出部を有することを特徴とする請求項１又は請求項２記載の位置情報検出装置。
【請求項７】
前記特定の点は、前記識別マークに設けられた複数の幾何学的図形の重心であることを特徴とする請求項１又は請求項２記載の位置情報検出装置。
【請求項８】
前記識別マークは、前記撮像部が撮像して得られた画像から、前記幾何学的図形を識別可能とする光源を有することを特徴とする請求項１又は請求項２記載の位置情報検出装置。
【請求項９】
前記撮像部は、前記識別マークに光を照射する投光部を有することを特徴とする請求項１又は請求項２記載の位置情報検出装置。
【請求項１０】
前記撮像部、前記識別マーク抽出部、前記参照矩形抽出部、前記参照矩形記憶部、前記焦点距離算出部、前記指示位置算出部及び前記参照矩形推定部が一体的に構成されていることを特徴とする請求項１又は請求項２記載の位置情報検出装置。
【請求項１１】
撮像部が、指示対象平面側に配設された識別マークをカメラレンズを介して撮像し、
識別マーク抽出部が、撮像部により撮像された画像から、幾何学図形像を抽出し、
参照矩形抽出部が、前記幾何学図形像における特定の点を結ぶことにより形成される参照矩形像を抽出し、
焦点距離算出部が、前記参照矩形像により特定される座標系に基づいて、前記指示対象平面に対する前記撮像部のカメラレンズの焦点距離を算出し、
指示位置算出部が、前記座標系及び前記焦点距離に基づいて、前記指示対象平面に対する前記撮像部の指示位置を算出することを特徴とする位置情報検出方法。
【請求項１２】
撮像部が、指示対象平面側に配設された識別マークをカメラレンズを介して撮像し、
識別マーク抽出部が、撮像部により撮像された画像から、幾何学図形像を抽出し、
参照矩形抽出部が、前記幾何学図形像における特定の点を結ぶことにより形成される参照矩形像を抽出し、
参照矩形記憶部が、前記参照矩形抽出部により抽出された参照矩形像を記憶し、
焦点距離算出部が、前記参照矩形像により特定される座標系に基づいて、前記指示対象平面に対する前記撮像部のカメラレンズの焦点距離を算出し、
指示位置算出部が、前記座標系及び前記焦点距離に基づいて、前記指示対象平面に対する前記撮像部の指示位置を算出し、
参照矩形推定部が、前記識別マーク抽出部による識別マークの抽出ができない場合に、前記参照矩形記憶部に記憶された参照矩形像に基づいて、参照矩形像を推定することを特徴とする位置情報検出方法。
【請求項１３】
撮像部が接続されたコンピュータにより実行可能な位置情報検出プログラムにおいて、
撮像部に、指示対象平面側に配設された識別マークをカメラレンズを介して撮像させ、
撮像部により撮像された画像から、幾何学図形像を抽出させ、
前記幾何学図形像における特定の点を結ぶことにより形成される参照矩形像を抽出させ、
前記参照矩形像により特定される座標系に基づいて、前記指示対象平面に対する前記撮像部のカメラレンズの焦点距離を算出させ、
前記座標系及び前記焦点距離に基づいて、前記指示対象平面に対する前記撮像部の指示位置を算出させることを特徴とする位置情報検出プログラム。
【請求項１４】
撮像部が接続されたコンピュータにより実行可能な位置情報検出プログラムにおいて、
撮像部に、指示対象平面側に配設された識別マークをカメラレンズを介して撮像させ、
撮像部により撮像された画像から、幾何学図形像を抽出させ、
前記幾何学図形像における特定の点を結ぶことにより形成される参照矩形像を抽出させ、
前記参照矩形像を記憶させ、
前記参照矩形像により特定される座標系に基づいて、前記指示対象平面に対する前記撮像部のカメラレンズの焦点距離を算出させ、
前記座標系及び前記焦点距離に基づいて、前記指示対象平面に対する前記撮像部の指示位置を算出させ、
識別マークの抽出ができない場合に、記憶された参照矩形像に基づいて、参照矩形像を推定させることを特徴とする位置情報検出プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画面などの指示対象平面に対して、指示した位置を特定する位置情報検出装置、その方法およびそのプログラムに関する。
【背景技術】
【０００２】
従来から、ＣＲＴやＬＣＤなどの表示装置とその表示画面上の位置を特定するデバイスによって構成されるシステムが開発されている。その一例が射撃ゲーム装置である。このような射撃ゲーム装置において、画面上の位置を特定するための手法には、種々のものがある。その中でも、特許文献１、２、３に記載された技術は、ゲーム機器からの表示信号に基づいて、ゲームの進行に応じた画面を表示装置に表示させ、ガン型コントローラなどの画面位置指定手段をユーザが操作することにより画面周辺に光を照射もしくは画面周辺の発光体から光を放射し、画面周辺の撮像結果を基に、画面位置指定手段が照準を合わせた画面上の位置を特定するものである。
【特許文献１】特許第３４２２３８３号公報
【特許文献２】特開平１１−３０５９３５号公報
【特許文献３】特開２００４−１３９１５５号公報
【発明の開示】
【発明が解決しようとする課題】
【０００３】
しかしながら、上記の特許文献１のシステムでは、次のような問題があった。
（１）指示位置等の検出された数値は近似解であるため、検出誤差が無視できない。
（２）装置製造段階において、位置検出に必要な定数を求めるための調整が必要であるため、製造過程が複雑であり、調整誤差が装置運用時の検出誤差に反映されてしまうおそれがある。
（３）ビデオ画面を特定する４つの発光体はそれぞれ区別されていない。このため、少なくとも特許文献１の記載内容のみでは、画面の上下左右を特定できない。
（４）４つの発光体とそれ以外の外乱光源が同時に撮影された場合に、発光体を外乱光源から識別することが困難なため、装置運用時の周辺の照明環境が大きく制限される。【０００４】
また、特許文献２のシステムでは、指示位置と距離情報の検出のみを実現しているが、特許文献１とは異なり、厳密解を求めることができる。しかし、その実現方法には、次の問題点が挙げられる。
（１）演算の構成が複雑であり、演算規模が大きい。
（２）撮像装置に含まれるレンズの焦点距離を演算に用いるため、装置個体差による焦点距離の誤差が演算結果に悪影響を及ぼす。
（３）指示対象画面を特定するために赤外線光源を用いているが、輝度によってのみ外乱光源と区別しているため、結局は装置運用時の周辺の照明環境が大きく制限されてしまう。
（４）対象画面側から自発光する赤外線光源を用いているため、画面側の装置構成は複雑となり制約を受ける。このため、家庭用の装置には向いていない。【０００５】
また、特許文献３のシステムは、本件出願人により提案されたものであるが、その検出対象は、ガン型コントローラの指示位置のみにとどまる。このため、銃身軸周りの回転角、表示装置に対する距離等の相対的な位置情報を得て、ゲーム内容の多様化、高度化を図るには不十分であり、適用範囲が限定される。【０００６】
さらに、上記のような従来技術においては、撮像に用いる撮像素子に起因する問題もある。すなわち、一般的な撮像素子を用いる場合、被写体や撮像素子が比較的高速に移動すると、被写体の像がぶれてしまい、期待する画像認識結果が得られず、対象画面の特定に失敗してしまう可能性がある。この問題を解決する一つの方法として、シャッタースピードが高速な撮像素子を用いることが考えられる。しかし、このような高速な撮像素子は、普及型撮像素子と比較して高価である。【０００７】
本発明は、上記のような従来技術の問題点を解決するために提案されたものであり、その主たる目的は、簡単で識別容易な識別マークを用いて、多様な位置情報を高精度に検出できる位置情報検出装置、方法及びプログラムを提供することにある。【０００８】
本発明の他の目的は、安価な撮像素子を用いても、位置検出の成功率を向上させることができる位置情報検出装置、方法及びプログラムを提供することにある。
【課題を解決するための手段】
【０００９】
上記の目的を達成するために、本発明の位置情報検出装置は、指示対象平面側に配設された識別マークをカメラレンズを介して撮像する撮像部と、前記撮像部が撮像した画像から、幾何学図形像を抽出する識別マーク抽出部と、前記幾何学図形像における特定の点を結ぶことにより形成される参照矩形像を抽出する参照矩形抽出部と、前記参照矩形像により特定される座標系に基づいて、前記指示対象平面に対する前記撮像部のカメラレンズの焦点距離を算出する焦点距離算出部と、前記座標系及び前記焦点距離に基づいて、前記指示対象平面に対する前記撮像部の指示位置を算出する指示位置算出部と、を有することを特徴とする。なお、本発明は、上記の各部の機能を実現するための位置情報検出方法、位置情報検出プログラムとして捉えることもできる。【００１０】
以上のような本発明では、幾何学図形像の特定の点から抽出した参照矩形像に基づく座標系を用いることにより、撮像部の内部パラメータである焦点距離を求めるとともに、外部パラメータである指示位置を厳密解として求めることができる。従って、撮像部に個体差がある場合、運用時にピント変化が生じた場合、焦点距離が変化するレンズを適用した場合等であっても、焦点距離を運用時に求めることにより、精度の高い検出を行うことができる。【００１１】
他の態様の位置情報検出装置は、指示対象平面側に配設された識別マークをカメラレンズを介して撮像する撮像部と、前記撮像部が撮像した画像から、幾何学図形像を抽出する識別マーク抽出部と、前記幾何学図形像における特定の点を結ぶことにより形成される参照矩形像を抽出する参照矩形抽出部と、前記参照矩形抽出部により抽出された参照矩形像を記憶する参照矩形記憶部と、前記参照矩形像により特定される座標系に基づいて、前記指示対象平面に対する前記撮像部のカメラレンズの焦点距離を算出する焦点距離算出部と、前記座標系及び前記焦点距離に基づいて、前記指示対象平面に対する前記撮像部の指示位置を算出する指示位置算出部と、前記識別マーク抽出部による識別マークの抽出ができない場合に、前記参照矩形記憶部に記憶された参照矩形像に基づいて、参照矩形像を推定する参照矩形推定部と、を有することを特徴とする。なお、本態様は、上記の各部の機能を実現するための位置情報検出方法、位置情報検出プログラムとして捉えることもできる。【００１２】
以上のような態様では、被写体や撮像素子が高速に移動した場合に、撮像部が撮像した画像から識別マークの抽出ができず、そのために参照矩形像の抽出に失敗したとしても、直前の参照矩形像の抽出もしくは推定に成功している場合には、参照矩形推定処理により、参照矩形像を良好に推定可能となる。したがって、高価な撮像素子を用いずとも、位置検出の成功率を向上させることができる。【００１３】
他の態様は、前記参照矩形推定部は、前記参照矩形記憶部に記憶された参照矩形像に基づいて、識別マークの近傍領域を算出する領域算出部と、前記近傍領域において遮断すべき背景光を検出する背景光検出部と、前記背景光検出部による検出結果に基づいて、前記近傍領域における識別マークの重心を推定する重心推定部と、前記重心推定部により推定された重心に基づいて、参照矩形像を推定する推定部と、を有することを特徴とする。【００１４】
以上のような態様では、直前に記憶された参照矩形像に基づいて算出された識別マークの近傍領域に基づいて、識別マークの重心を推定して、これにより参照矩形像を推定するので、処理すべきデータ量を低減して高速化を図りつつ、より高い確度によって良好な参照矩形像が推定できる。【００１５】
他の態様は、前記推定部による推定のために、前記重心推定部により推定された重心と、前記参照矩形記憶部に記憶された参照矩形像との対応付けを行う整合部を有することを特徴とする。【００１６】
以上のような態様では、推定できない重心があった場合であっても、直前の参照矩形像に基づいて、頂点を推定できるので、参照矩形が得られる可能性が高まる。【００１７】
他の態様は、前記座標系及び前記焦点距離に基づいて、前記指示対象平面を基準に張った３次元の座標系における前記撮像部の相対位置を算出する撮像部位置算出部を有することを特徴とする。
他の態様は、前記撮像部の回転の前後における前記座標系に基づいて、前記撮像部の回転角を算出する回転角算出部を有することを特徴とする。【００１８】
以上のような態様では、指示対象平面に対する指示位置のみならず、撮像部の相対位置もしくは回転角といった位置情報も得ることができるので、ゲーム内容、適用範囲等の多様化、高度化を図ることができる。【００１９】
他の態様は、前記特定の点は、前記識別マークに設けられた複数の幾何学的図形の重心であることを特徴とする。
以上のような態様では、識別マークとして、重心が特定できる幾何学的図形を用いればよいので、構成が単純であり、抽出も容易となる。また、いずれかの幾何学的図形の特徴や設置方法に方向性を持たせることにより、方向の特定も可能となる。【００２０】
他の態様は、前記識別マークは、前記撮像部が撮像して得られた画像から、前記幾何学的図形を識別可能とする光源を有することを特徴とする。
以上のような態様では、識別マークを自発光型とすることにより、周囲の照明環境にかかわらず、識別マークを明確に識別できる。【００２１】
他の態様は、前記撮像部は、前記識別マークに光を照射する投光部を有することを特徴とする。
以上のような態様では、識別マークを反射型として構成できるので、設置が容易であり、家庭用途に適している。【００２２】
他の態様は、前記撮像部、前記識別マーク抽出部、前記参照矩形抽出部、前記焦点距離算出部、前記指示位置算出部、前記参照矩形推定部が一体的に構成されていることを特徴とする。
以上のような態様では、撮像部等を別体で構成するよりも、全体構成を簡素化でき、装置間の接続作業を簡略化できる。
【発明の効果】
【００２３】
以上説明したように、本発明によれば、簡単で識別容易な識別マークを用いて、多様な位置情報を高精度に検出可能な位置情報検出装置、方法及びプログラムを提供することができる。【００２４】
また、本発明によれば、安価な撮像素子を用いても、位置検出の成功率を向上させることが可能な位置情報検出装置、方法及びプログラムを提供することができる。
【図面の簡単な説明】
【００２５】
【図１】本発明の第１の実施形態を示す全体構成図である。
【図２】図１に示す実施形態の機能ブロック図である。
【図３】図１の実施形態に使用する識別マークの例を示す説明図である。
【図４】図３の識別マークと画像表示領域との位置関係を示す説明図である。
【図５】図１の実施形態の処理手順を示すフローチャートである。
【図６】識別マークの抽出方法を示す説明図である。
【図７】図３（ａ）の識別マークの参照矩形頂点の抽出方法を示す説明図である。
【図８】図３（ｂ）の識別マークの参照矩形頂点の抽出方法を示す説明図である。
【図９】図３（ｃ）の識別マークの参照矩形頂点の抽出方法を示す説明図である。
【図１０】図１の実施形態で用いる座標系を示す説明図である。
【図１１】図１の実施形態で撮像された参照矩形像を示す説明図である。
【図１２】図１の実施形態の補正参照矩形像の算出方法を示す説明図である。
【図１３】図１の実施形態の指示位置の特定方法を示す説明図である。
【図１４】図１の実施形態のカメラレンズ位置特定方法を示す説明図である。
【図１５】図１の実施形態の回転角特定方法を示す説明図である。
【図１６】図１の実施形態の指示位置の画像表示領域基準の正規化方法を示す説明図である。
【図１７】本発明の第２の実施形態を示す全体構成図である。
【図１８】図１７に示す実施形態の機能ブロック図である。
【図１９】図１７の実施形態の識別マークが４つの場合の近傍領域算出例を示す説明図である。
【図２０】図１７の実施形態の識別マークが２つの場合の近傍領域算出例を示す説明図である。
【図２１】図１７の実施形態の背景光遮断閾値の例を示す説明図である。
【図２２】図１７の実施形態の識別マーク重心推定処理の一例を示す説明図である。
【図２３】図１７の実施形態の区画選択処理の一例を示す説明図である。
【符号の説明】
【００２６】
１００…位置情報検出装置
１０１…ガン型コントローラ
１０２…識別マーク
１０３…ディスプレイ
１０３Ａ…画像表示領域
１０４…ゲーム機
２０１…操作部
２０２…位置情報検出部
２０３…撮像部
２０４…投光部
２０５…周辺制御部
２０６…識別マーク抽出部
２０７，３２０…参照矩形抽出部
２０８…Ｉ／Ｏ部
２１０…指示位置算出部
２１１…レンズ位置算出部
２１２…回転角算出部
２１３…焦点距離算出部
３１０…参照矩形処理部
３３０…参照矩形推定部
３３１…領域算出部
３３２…背景光検出部
３３３…重心推定部
３３４…整合部
３３５…推定部
【発明を実施するための最良の形態】
【００２７】
以下、本発明の位置情報検出装置を銃射撃型ゲームに適用した場合の一実施形態を、図面を参照して説明する。
［第１の実施形態］
［概要］
まず、本実施形態の概要を、図１及び図２を参照して説明する。なお、図１は、本実施形態の外観を示す斜視図であり、図２はその機能ブロック図である。すなわち、本実施形態の位置情報検出装置１００は、ガン型コントローラ１０１、ゲーム機１０４及びディスプレイ１０３を使用する銃射撃型ゲームに適用したシステムである。【００２８】
一般に、銃射撃型ゲームでは、ディスプレイの画像表示領域に表示された標的に向かって、ガン型コントローラの照準を合わせ、その狙いの正確性を判定すること等によってゲームを進行させる。そのため、少なくともガン型コントローラが画像表示領域内のいかなる位置に照準を合わせているか（指示位置）を検出する必要がある。このような指示位置検出を行う装置には、ディスプレイに表示されもしくはその周囲に配置された識別マークを撮像し、これを解析することにより、指示位置を算出するものがある。【００２９】
本実施形態においては、ディスプレイ１０３に配設された識別マーク１０２を撮像する撮像部２０３、指示位置を含む位置情報を検出する位置情報検出部２０２、識別マークを抽出する識別マーク抽出部２０６、参照矩形を抽出する参照矩形抽出部２０７等が、ガン型コントローラ１０１の内部に実装され、一体的に構成されている。さらに、本実施形態では、指示位置のみならず、ガン型コントローラ１０１の銃身軸周りの回転角やディスプレイ１０３に対する位置（レンズ位置）等の相対的な位置情報をも検出できるようにして、ゲーム内容の多様化を可能としている。【００３０】
［構成］
次に、本実施形態の構成を具体的に説明する。
［ディスプレイ１０３］
まず、ディスプレイ１０３は、ＣＲＴやＬＣＤ等のテレビ受像機やコンピュータ用の表示装置である。ディスプレイ１０３には、ゲーム機１０４で実行されるゲームプログラムの進行に応じて、画像信号が入力される。そして、その矩形型の画像表示領域（指示対象平面）１０３Ａに、入力された画像信号に応じた画像が表示される。【００３１】
［識別マーク１０２］
識別マーク１０２は、画像表示領域１０３Ａの周囲に、複数設置されている。この識別マーク１０２は、その正面に幾何学的パターン（図形）を有している。図１は、識別マーク１０２を、画像表示領域１０３Ａの上方の左右２箇所に設置した例である。その際の幾何学的パターンとしては、たとえば、図３（ａ）〜（ｃ）に例示したものが適用可能である。これらは、縦長の長方形状であり、その外周に沿った背景部分（周囲の黒色枠）と、この背景部分の内側に正方形状の穴（内側の黒色部）を有している。但し、特定点（本実施形態では重心）を結ぶ参照矩形の抽出が可能な形状であれば、どのような図形であってもよい。【００３２】
図３（ａ）の左の識別マーク１０２は、重心が直交する２直線に沿うように、右上隅近傍、左上隅近傍及び左下隅近傍の３箇所に穴を有し、右の識別マーク１０２も、重心が直交する２直線に沿うように、左上隅近傍、右上隅近傍及び右下隅近傍の３箇所に穴を有している。図３（ｂ）の左右の識別マーク１０２は、重心を結ぶ直線が直角をなす「く」の字となるように、上、中、下の３箇所に穴を有している。なお、必ずしもこれには限定されず、原理的には、重心を結ぶ直線が等辺夾角が９０度以上の二等辺三角形を描ければよい。図３（ｃ）の左の識別マーク１０２は、重心を結ぶ直線が垂直な直線上となるように、その上端、中点、下端の３箇所に穴を有し、右の識別マーク１０２は、重心を結ぶ直線が垂直な直線となるように、その上端、下端の２箇所に穴を有している。【００３３】
なお、たとえば、図３（ｄ）に示すように、識別マーク１０２を４つ使用することも可能である。これは正方形状であり、画像表示領域１０３Ａの頂点付近の４箇所に設置され、その外周に沿った背景部分（周囲の黒色枠）と、この背景部分の内側の穴（内側の黒色部）を有している。そして、右上、右下、左下の識別マーク１０２は、穴が正方形の枠状であり、左上の識別マーク１０２のみ穴が平行な２つの長方形状となっている。【００３４】
以上のような識別マーク１０２は、図４（ａ）〜（ｄ）に示すように、各穴もしくはその内部の重心を結ぶ直線が、画像表示領域１０３Ａの頂点付近に、仮想的な矩形（後述する参照矩形）が構成されるように設置される。但し、必ずしも頂点付近でなくともよい。なお、図４は説明図であり、画像表示領域１０３Ａの大きさは、便宜的に小さく表している。【００３５】
さらに、識別マーク１０２の構造は、自発光型と反射型の２種類に分類できる。まず、自発光型の場合には、表面は主に穴及び背景部分の光の透過率が小さく、それ以外の部分で光を透過・拡散する構成とし、背面から表面へ向かって内部から光を放射する光源を備えている。自発光型の識別マーク１０２でシステムを構成する場合、後述する投光部２０４を実装する必要はないが、識別マーク１０２内部の光源への給電が必要となる。【００３６】
反射型の場合、表面は主に穴および背景部分の光の反射率が小さく、それ以外の部分の反射率が高い構成とする。自由な位置で射撃を可能とするためには、高反射率部分の素材には再帰反射特性を有するものが望ましい。本実施形態では、設置の容易な反射型の識別マーク１０２を使用するものとする。なお、以上の説明の通り、識別マーク１０２の穴や背景部分は、他の部分との境界が光学的に識別できればよいのであり、必ずしも現実に物理的な穴や窪み等が形成されている必要はない。つまり、同一平面上に形成されているか否かにかかわらず、色彩や素材等から、境界が区別される構造であればよい。【００３７】
［ゲーム機１０４］
ゲーム機１０４は、所定のプログラムを実行し、当該実行にしたがってゲーム用の画像を表示するための画像信号を生成し、これをディスプレイ１０３に出力する機器である。このゲーム機１０４は、位置情報検出部２０２から、ガン型コントローラ１０１によって指定された画像表示領域１０３Ａ上の点の指示位置データその他等のデータが入力され、当該データを基に、プログラムの実行に応じた所定のゲーム進行処理を行う。したがって、ゲーム機は、家庭用のゲーム機のみならず、アーケードゲーム機やゲームプログラムをインストールしたコンピュータであってもよい。【００３８】
［ガン型コントローラ１０１］
ガン型コントローラ１０１は、操作部２０１、位置情報検出部２０２、撮像部２０３、投光部２０４、周辺制御部２０５、識別マーク抽出部２０６、参照矩形処理部３１０、Ｉ／Ｏ部２０８を有している。【００３９】
操作部２０１は、引き金（トリガ）などであり、ユーザの指などの操作によって所定の位置まで引かれると、操作信号を出力する。なお、操作部２０１の具体的な構成は、本発明とは基本的に独立したものであり、特定のものには限定されない。したがって、必ずしも引き金の形状をしている必要はなく、たとえば、押しボタンやトグル等のスイッチであっても、光の遮蔽を検知するセンサであってもよい。【００４０】
撮像部２０３は、主に撮像素子、レンズ、光学フィルタによって構成されている。レンズはガン型コントローラ１０１の銃口付近に、その光軸上で照準が合うように設置されている。撮像素子は、レンズよりも内部に撮像面が光軸と直交するように設置されている。光学フィルタは、撮影対象とする光の波長領域のみを良好に通過させるものとし、レンズ付近に設置されるかレンズ自体の素材となっている。【００４１】
投光部２０４は、主に撮像素子が撮影対象とする波長領域で発光する発光素子群で構成されている。この投光部２０４は、撮像部２０３のレンズ外周に、光軸よりもやや外側に傾けた状態で設置されている。周辺制御部２０５は、投光部２０４の発光及び撮像部２０３の撮像を制御する手段である。たとえば、発光タイミングの制御、投光部２０４の光量、撮像部２０３の感度などの調整が可能な設定とすることもできる。【００４２】
識別マーク抽出部２０６は、撮像部２０３において撮像した画像から、外乱光成分を除去し、識別マーク１０２のパターンのみを抽出する手段である。参照矩形抽出部２０７は、抽出された識別マーク１０２のパターンから、上述の参照矩形を抽出する手段である。位置情報検出部２０２は、抽出された参照矩形等に基づいて、画像表示領域１０３Ａにおける指示位置、レンズ位置、回転角等のカメラ(撮像部２０３)の外部パラメータや、焦点距離等の内部パラメータを検出する手段である。【００４３】
この位置情報検出部２０２は、指示位置を算出する指示位置算出部２１０、レンズ位置を算出するレンズ位置算出部２１１、回転角を算出する回転角算出部２１２、焦点距離を算出する焦点距離算出部２１３を有している。識別マーク抽出部２０６、参照矩形抽出部２０７、位置情報検出部２０２における具体的な処理は、以下の作用に述べるように行われる。Ｉ／Ｏ部２０８は、外部機器との入出力を制御する手段である。【００４４】
なお、各処理で抽出、算出等された情報は、適宜、メモリ等の記憶手段に記憶され、次処理に利用されるが、常識的であるため、図示は省略する。【００４５】
［作用］
以上のような本実施形態による指示位置等の検出処理を、図５のフローチャート、図６〜２１の説明図を参照して説明する。なお、下記の処理手順は例示であり、各処理において必要な情報がその前段階のいずれかにおいて得られているのであれば、順序が前後してもよい。
［識別マークの撮像…ステップ５０１］
まず、ガン型コントローラ１０１の照準を、ディスプレイ１０３の画像表示領域１０３Ａ近辺に合わせている場合、投光部２０４から放射された光が、識別マーク１０２表面で反射し、その一部が撮像部２０３に入射し、撮像素子で撮影される。なお、放射光が識別マーク１０２に到達しない場合、その反射光は当然撮影されない。また、自発光型の識別マーク１０２を使用して、投光部２０４を省略した場合には、識別マーク１０２から放射された光が、撮像部２０３に入射する。撮影された画像は、処理に適した画像データ（たとえば、２値画像等）に変換される。【００４６】
［識別マーク抽出…ステップ５０２，５０３］
撮影された画像データは、識別マーク抽出部２０６で解析されて、識別マーク１０２が抽出される。つまり、画像データには、目的とする識別マーク１０２の幾何学的パターンや、それ以外の外乱光が撮影されている可能性がある。このため外乱光成分を除去し、識別マーク１０２のみを抽出する必要がある。【００４７】
その抽出処理は、たとえば、以下のように行う。すなわち、図３に示すように、識別マーク１０２の背景部分及び内部の穴が凸図形であるとすれば、撮影された原画像とその２値画像から、図６に示すように、撮影画像中の図形属性を検査することによって、幾何学的パターンの判定が可能となる。【００４８】
まず、穴以外の水平方向に連続している成分（連結成分）の次に、穴が存在するために連続していない成分が出現する場合（分岐）と、穴が存在するために連続していない成分の次に、連結成分が出現する場合（統合）とを垂直方向に検証していき、その分岐と統合の回数をカウントして、その差を求める。これにより、連結成分に囲まれた穴が存在する正しい識別マーク１０２の場合、分岐数−統合数は常に０となる。また、穴の面積（２値画像を構成するピクセル数）を１単位として、穴数、連結成分の面積、穴の面積を算出する。【００４９】
たとえば、表１に示すように、図６の（ａ）は分岐が１で統合が０、（ｂ）は統合が１で分岐が０なので、識別マークとしては認識されない。また、穴数、連結成分の面積、穴の面積から、各識別マーク１０２の幾何学的パターンの相違が判定できる。たとえば、図３（ｄ）に示した識別マーク１０２の場合には、左上の識別マーク１０２のみが穴数は２であるのに対して、その他の３つの識別マーク１０２の穴数は１であるため、左上の識別マーク１０２のみ異なることが判別でき、これを左上として特定することができる。
【表１】
2007037227.tif 000003
【００５０】
そして、識別マーク１０２の幾何学的パターンを抽出する過程で、撮影画像平面上での各穴の重心位置情報を記憶する。重心の算出は周知の技術を適用可能である。なお、図３（ｄ）の識別マーク１０２のような場合には、識別マーク１０２自体の重心としてもよい。さらに、その重心位置情報と識別マークの配置情報をもとに、指示領域である画像表示領域１０３Ａの位置と天地に関する情報を特定することになる。【００５１】
［参照矩形抽出…ステップ５０４］
次に、参照矩形抽出部２０７による参照矩形の抽出は、以下のように行われる。すなわち、識別マーク１０２が当初の設置位置から移動しない限り、たとえば、図３，４（ｄ）の４つの識別マーク１０２の重心点を頂点とする仮想的な矩形と、画像表示領域１０３Ａとの位置関係は変化しない。この仮想的な矩形を参照矩形と称する。図３，４（ａ）〜（ｃ）のように、識別マーク１０２が２つの場合は、幾何学的パターン中の穴の重心位置を頂点として参照矩形を生成する。その生成方法には、たとえば、図３，４（ａ）〜（ｃ）に関しては、それぞれ図７〜９に示すような手法が適用できる。【００５２】
図７に示す手法は、以下の通りである。すなわち、図７（ａ）に示すように、一方の識別マーク１０２における穴の重心位置をｐｉ、もう一方の穴の重心位置をｑｉとする。なお、［ｉ＝０..２］である。次に、図７（ｂ）に示すように、２組の差ベクトルの内積（ｐｊ−ｐｉ）・（ｑｋ−ｑｉ）が、最大となるｐｉを共有点をｖとする。なお［ｊ，ｋ≠ｉ］である。ｑｉについても同様の共有点ｗを求める。ｖ，ｗは参照矩形の頂点となる。残る重心位置を各々ｐｉ，ｑｉ［ｉ＝ａ，ｂ］とする。【００５３】
そして、図７（ｃ）に示すように、外積（ｗ−ｖ）×（ｐｉ−ｖ）が負の場合、ｐｉを有する識別マークを基準マークとし、正の場合、ｑｉを有する方を基準マークとする。さらに、図７（ｄ）に示すように、基準マークがｑｉを有する場合、外積（ｑａ−ｗ）×（ｑｂ−ｗ）が負ならばｑｂを、正ならばｑａを基準頂点とする。他方も同様に外積（ｐａ−ｖ）×（ｐｂ−ｖ）が負ならｐａを、正ならばｐｂを残りの頂点とする。【００５４】
図８に示す手法は、以下の通りである。すなわち、図８（ａ）に示すように、一方の識別マーク１０２における穴の重心位置をｐｉ 、もう一方の穴の重心位置をｑｉとする。なお、[ｉ＝０..２］である。次に、図８（ｂ）に示すように、２組の差ベクトルの内積（ｐｊ−ｐｉ）・(ｐｋ -ｐｉ）が最小となる共有点ｐｉをｖとする。 なお、［ｊ，ｋ≠ｉ]である。ｑｉについても同様の共有点ｗを求める。残る重心位置を各々ｐｉ，ｑｉとする。なお、 [i = a, b]である。【００５５】
そして、図８（ｃ）に示すように、内積（ｗ−ｖ）・（ｐｉ−ｖ）が負の場合、ｑｉを有する識別マーク１０２を基準マークとし、正の場合、ｐｉを有する方を基準マークとする。さらに、図８（ｄ）に示すように、基準マークがｐｉを有する場合、外積（ｐａ−ｖ）×（ｐｂ−ｖ）が負ならばｐｂを、正ならばｐａを基準頂点とする。基準マークがｑｉを有する場合も同様とする。ｖ，ｗ以外の残るｐｉ，ｑｉを参照矩形の残りの頂点とする。【００５６】
図９に示す手法は、以下の通りである。すなわち、図９（ａ）に示すように、穴が３つある識別マーク１０２を基準マークとし、その穴の重心位置をｐｉとする。なお、 [ｉ＝０..２］である。他方の識別マーク１０２の穴の重心位置をｑｉとし、参照矩形の２頂点とする。なお、 [ｉ＝０，１］である。次に、図９（ｂ）に示すように、基準マークにおいて、２組の差ベクトルの内積（ｐｊ−ｐｉ）・（ｐｋ−ｐｉ）が負となる共有点ｐｉをｖとする。なお、[j, k≠i]である。残る重心位置をｐｉとする。なお、［ｉ＝ａ，ｂ］である。【００５７】
そして、図９（ｃ）に示すように、外積 （ｐａ−ｖ）×（ｑｉ−ｖ）が負の場合ｐｂを、正の場合ｐａを基準頂点とする。残るｐｉを参照矩形の残りの頂点とする。さらに、図９（ｄ）に示すように、外積 (ｑ０−ｖ）×（ｑ１−ｖ）の符号を検査することにより、参照矩形の辺に沿った頂点の並びを得ることができる。本例では［ｐａ, ｑ０,ｑ１，ｐｂ］の並びが一例として得られる。【００５８】
参照矩形がその名の通り矩形を成すために、画像表示領域１０３Ａが存在する平面上へ、その法線方向に参照矩形を正射影した場合、その射影像が矩形となるように、識別マーク１０２を構成及び設置する必要がある。また識別マーク１０２の表面が、画像表示領域１０３Ａが存在する平面上にのるように、参照矩形と画像表示領域１０３Ａとの水平方向の辺が平行となるように設置する。また、レンズに歪曲収差がある場合、少なくとも抽出された参照矩形の頂点すべてに歪曲収差補正を実施する。補正しない場合、検出した指示位置等に歪曲収差による誤差が含まれてしまう。【００５９】
位置情報検出部２０２では、上述のように抽出された参照矩形に基づいて、画像表示領域１０３Ａにおける外部パラメータや内部パラメータを検出する。本実施形態においては、カメラ（撮像部２０３）の外部パラメータを、指示領域における指示位置(２次元)、カメラレンズ光軸周りの回転角(１次元)及び指示領域に対するカメラレンズの位置(３次元)と定義している。なお、回転角以外は後述のとおり正規化される。【００６０】
また、本実施形態では、外部パラメータや内部パラメータの算出のために、銃射撃型ゲームをプレイする実３次元空間に、以下のような座標系を定める（図１０参照）。世界座標系０ｗ−ｘｗ  ｙｗ  ｚｗの原点は、参照矩形の左上頂点に位置し、ｘｗ，ｙｗ軸は、それぞれ参照矩形の水平、垂直方向に沿い、ｚｗ軸は、参照矩形がのる平面の法線に一致する。カメラ座標系０−ｘｙｚの原点は、レンズの主点に位置し、ｘ，ｙ軸はそれぞれ撮像素子受光面の水平、垂直方向に沿い、ｚ軸は光軸に一致する。画像座標系０Ｉ−ｘＩｙＩの原点は、撮像素子受光面の中心に位置し、ｘＩ ，ｙＩ軸は、それぞれ受光面の水平、垂直方向に沿う。撮像素子受光面の法線はｚ軸に一致しており、受光面とレンズ主点までの距離はレンズの焦点距離ｆとする。ただし、ｆは未知であってもよい。【００６１】
画像座標系が定められた撮像素子受光面がのる平面は、すなわちカメラ座標系における平面ｚ＝ｆである。前述した座標系の定義から、画像座標系の任意点ｐＩ＝（ｘＩ，ｙＩ）Ｔは、その成分に１次元追加することにより容易にカメラ座標系の点Ｐ＝（ｘＩ，ｙＩ，ｆ)Ｔに拡張することができる。拡張の容易さを図るため、両座標系すべての成分の単位を撮影画像のピクセルとする。【００６２】
すべての識別マーク１０２が正しく撮影された場合、図１１に示すように、撮像素子受光面にレンズを通して射影された参照矩形の各頂点Ｖ’ｉ（ｉ＝０..３)は、識別マーク１０２自体または内部の穴の重心点である。ここではピンホールレンズモデルを用いる。【００６３】
［補正参照矩形算出…ステップ５０５］
なお、撮像素子受光面の法線と識別マーク１０２表面の法線とが一致していない場合、受光面上の参照矩形像は射影歪みの影響を受ける。射影歪みを受けた参照矩形像からは正しく指示位置等の検出が行えないため、射影歪みを除去する。すなわち、参照矩形抽出部２０７は、参照矩形像に逆射影変換を施した補正参照矩形を得る必要がある。両法線が一致しているかどうかを撮影画像から知ることはできないため、常に参照矩形像の射影歪みを除去しなければならない。なお、請求項の参照矩形像は、かかる補正参照矩形像までも含む広い概念である。【００６４】
参照矩形の中心点、すなわちその対角線同士の交点ｃ’は、図１１に示すように、２つの対角線をｔ２０：（１−ｔ２０），ｔ３１：（１−ｔ３１）にそれぞれ内分する。ｔ２０，ｔ３１は、Ｖ’ｉを用いた式（１），（２）の通りである。 なお、ｄｅｔ［Ａ  Ｂ］は、小行列Ａ，Ｂで構成される正方行列の行列式を表す。
【数１】
2007037227.tif 000004
【数２】
2007037227.tif 000005
【００６５】
参照矩形像が射影歪みを受けている場合、ｔ２０＝ｔ３１＝０．５とはならず、ｃ’は対角線の中点とはならない。ここで、図１２に示すように、Ｖ’ｉ，ｃ’をカメラ座標系のＶｉ，ｃに拡張し、カメラ座標系の原点０およびＶ０，ｃ，Ｖ ２がのる平面を考える。０とＶ０とを通る直線上の任意点ｖ０＝ｔ０Ｖ ０と、０とＶ２とを通る直線上の任意点ｖ２＝ｔ２Ｖ２とに、式（３）の関係を与える。
【数３】
2007037227.tif 000006
【００６６】
すなわち、中点がｃとなるような線分の端点ｖ０，ｖ２としたい。ここで、
【数４】
2007037227.tif 000007
であるから、式（３）を整理して式（５）を得る。
【数５】
2007037227.tif 000008
【００６７】
同様に、０とＶ１とを通る直線上の任意点ｖ１＝ｔ１Ｖ１と、０とＶ３とを通る直線上の任意点ｖ３＝ｔ３Ｖ３に関しても、式（６）を満足させるために、式（７）を得る。
【数６】
2007037227.tif 000009
【数７】
2007037227.tif 000010
【００６８】
よって、図１２からも分かる通り、式（３）を満足するｖ０，ｖ２を端点とする線分のみが、参照矩形の対応する対角線と平行になる。さらに、式（６）よりｖ１，ｖ３に関しても、同様のことが言えるため、ｖｉ（ｉ＝０..３)がのる平面Ｃは、参照矩形がのる平面Ｒと平行であり、ｖｉを頂点とする四角形は、矩形になることがわかる。すなわち、前述の参照矩形像を逆射影変換した像(補正参照矩形像)が得られたことになる。【００６９】
［焦点距離算出…ステップ５０６，５０７］
但し、焦点距離ｆが未知である場合、画像座標系からカメラ座標系への点の拡張は一意に定まらない。そこで、後述のキャリブレーションで説明するように、焦点距離算出部２１３によって算出焦点距離ｆを特定する。【００７０】
［指示位置算出（補正参照矩形）…ステップ５０８］
焦点距離ｆが特定できたならば、前述の補正参照矩形像および平面Ｃを用いることで、カメラの外部パラメータを求める。まず、指示位置算出部２１０により、補正参照矩形への指示位置を算出する。すなわち、図１３に示すように、補正参照矩形像とカメラ座標系の原点０により構成される四角錐は、同じく参照矩形と原点０により構成される四角錐と相似形であることがわかる。このため、平面Ｃに世界座標系のｘｗ，ｙｗ軸と同様の補正画像座標系０Ｃ−ｘＣｙＣを定め、参照矩形および補正参照矩形像の幅と高さをそれぞれ１として正規化した場合、０を通る直線と平面Ｃ，Ｒとの交点の正規化座標は同一となる。【００７１】
よって、図１３に示すように、補正参照矩形像における指示位置は、カメラ座標系ｚ軸と平面Ｃとの交点ｐの、補正画像座標系における正規化座標ｐＣとして求めることができる。ここでｚ軸方向の単位ベクトルｅｚ＝（０，０，１）Ｔ，平面Ｃの法線ベクトルｎＣ＝ｖ２０×ｖ３１とすると、ｐ，ｐＣはそれぞれ式（８），（９）の通りとなる。なお、これとは別に、焦点距離を用いずに指示位置を求める手法としては、特許文献３に示したものが適用できる。
【数８】
2007037227.tif 000011
【数９】
2007037227.tif 000012
【００７２】
［レンズ位置算出（補正参照矩形）…ステップ５０９］
図１４に示すように、指示領域に対するカメラレンズ位置のうち、距離方向以外の２成分を、レンズ主点から下ろした垂線と平面Ｒとの交点の正規化座標と定義する。よって、その２成分はカメラ座標系においてレンズ主点から下ろした垂線と平面Ｃとの交点ｌの、補正画像座標系における正規化座標ｌＣを求めることに相当する。前述の平面Ｃの法線ベクトルｎＣを用いると、ｌ，ｌＣは、それぞれ式（１０），（１１）の通りである。
【数１０】
2007037227.tif 000013
【数１１】
2007037227.tif 000014
【００７３】
［指示位置・レンズ位置算出（画像表示領域）…ステップ５１０，５１１］
なお、指示位置およびカメラレンズ位置の距離成分以外の２成分は、参照矩形及び補正参照矩形を基準として正規化されている。しかし、最終的に指示位置として特定すべき対象は、ディスプレイ１０３の画像表示領域１０３Ａであるため、画像表示領域１０３Ａを基準として正規化し直す。この処理は、後述のキャリブレーションにおいて説明する。【００７４】
[レンズ位置距離成分算出…ステップ５１２］
指示領域に対するカメラレンズ位置のうち、距離方向の成分は、世界座標系においてキャリブレーション時に設定されるカメラレンズ初期位置のｚＷ成分を、１として正規化した場合の正規化座標と定義する。ただし、ｚＷ成分を直接は計測できない。そこで、レンズ位置算出部２１１による距離成分の算出にあたっては、レンズと平面Ｒとの距離ｄの位置から、長さＸの平面Ｒ上の線分がレンズを通して平面Ｃ上に長さｘ’の線分像として射影された場合の、焦点距離ｆおよび実係数ｋＣを用いた式（１２）の関係を考える。
【数１２】
2007037227.tif 000015
【００７５】
同一距離で参照矩形を撮影したとしても、カメラレンズ位置の残る２成分が変化すれば、レンズ主点と平面Ｃの距離も変化してしまう。この変化の割合を、式（１２）の係数ｋＣは表している。この係数ｋＣは、以下の式（１３）により求まる。
【数１３】
2007037227.tif 000016
【００７６】
以上より、カメラレンズ位置の変化による影響を補正した上記線分像の長さｘ＝ｋＣｘ’は、距離ｄと常に反比例の関係にあるため、この線分長ｘを用いて正規化された距離を求めることができる。【００７７】
ここで、前述した長さｘの平面Ｒ上の線分を参照矩形の水平もしくは垂直の辺とする。さらに、カメラレンズ初期位置における平面Ｃ上のその線分像の長さをｘｉとする。それ以降のシステム運用時における同線分像の長さｘを用いて、目的とする正規化された距離ｚｌは式（１４）の通り求まる。ただし、ｘｉ，ｘともにカメラレンズ位置の変化による影響を補正済みとする。
【数１４】
2007037227.tif 000017
【００７８】
［回転角算出…ステップ５１３］
カメラレンズ光軸周りの回転角については、回転角算出部２１２が、焦点距離ｆによらず求めることができる。ここで、一般性を失うことなくレンズの主点位置を固定して、光軸周りに回転することなく平面Ｒ上の任意点を指示する動作について考える。すなわち、図１５に示すように、世界座標系とカメラ座標系において、ｘＷ軸とｘ軸およびｙＷ軸とｙ軸が平行であり、ｘ軸周りの回転角をθｘ、ｙ軸周りの回転角をθｙとした場合、上記動作は光軸を順序付きで両軸周りに回転させることに相当する。回転させる軸の順序は上記指示動作において光軸周りの回転なしとする基準平面の選択により異なる。本実施形態では、実際の使用感に則してｙＷ軸方向に天地を想定しているため、ｘＷｚＷ平面を基準とするが、その場合においては光軸をｘ軸周りからｙ軸周りの順序で回転させる必要がある。【００７９】
一方、上記回転変換はカメラ座標系においては平面Ｒをｙ軸周りに−θｙ、ｘ軸周りに−θｘの順序で回転させる変換とみなすことができる。このときの合成回転行列Ｒは式（１５）の通りである。
【数１５】
2007037227.tif 000018
【００８０】
上記Ｒにより、平面Ｒ上の任意の２点ｐＷ i = (ｘＷ i, ｙＷｉ，０ ）（ｉ＝０，１）は、実定数Ｚと対応する実係数ｋｉを用いると、撮像素子の受光面へは式（１６）のｐＩｉのごとく画像座標系の点に射影される。
【数１６】
2007037227.tif 000019
【００８１】
式（１６）のｐＩｉのｘＩ成分にｙＷｉに関する項が含まれていないことに着目すると、ｘＷｉを任意に固定した場合、差ベクトルｐＩ１０ = ｐＩｌ - ｐＩ０は式（１７）の通りである。
【数１７】
2007037227.tif 000020
【００８２】
すなわち、式（１７）は、平面Ｒ上のｙＷ軸に平行な線分は、本装置がカメラレンズ光軸周りに回転しない場合において、常にｙＩ （ｘＩ）軸に対して一定の角度をもった線分像として撮像素子に撮影されることを表している。よって、参照矩形のｙＷ軸方向の辺が撮像素子に撮影された場合、光軸周りに回転前の(後述するキャリブレーション時の本装置の初期姿勢における)その線分像と、光軸周りに回転後のその線分像が成す角度が、カメラレンズ光軸周りの回転角となる。前者の線分像の端点ＶＩｉ （ｉ＝０，１）、後者の端点ｖＩｉ(ｉ＝０，１）とし、ｉは原像の同一端点を表すとすると、回転角θｚの余弦、正弦はそれぞれ式（１８）（１９）の通りである。
【数１８】
2007037227.tif 000021
【数１９】
2007037227.tif 000022
【００８３】
［キャリブレーション…ステップ５０７，５１０，５１１］
以上によりカメラの外部パラメータをすべて求めることができた。但し、上述のように、指示位置及びカメラレンズ位置の算出のためには、少なくとも１回は焦点距離ｆを特定する必要がある。また、指示位置・レンズ位置の距離成分以外の２成分は画像表示領域を基準として正規化しなおす必要がある。さらに、カメラレンズ位置の距離成分および光軸周りの回転角については、計測の基準となる本装置の初期位置・姿勢を定めなければならない。これらを解決する作業をキャリブレーションと称し、以下に説明する。【００８４】
［焦点距離の特定…ステップ５０７］
参照矩形における２つの対角線同士の長さが同一であることに着目すると、ｆを特定するための条件は、以下の通りに導くことができる。【００８５】
まず、
【数２０】
2007037227.tif 000023
とする。ここで、ｖｎは、たとえば、図１２、図１３に示されるような補正参照矩形像の頂点を示している。
【数２１】
2007037227.tif 000024
よって、
【数２２】
2007037227.tif 000025
同様に、
【数２３】
2007037227.tif 000026
が得られる。ここで、対角線同士の長さは同一であるから、
【数２４】
2007037227.tif 000027
ゆえに、
【数２５】
2007037227.tif 000028
【数２６】
2007037227.tif 000029
となる。【００８６】
焦点距離ｆを特定するためには、式（２６）より、ｔ２０≠ｔ３１でなければならい。すなわち、撮影された参照矩形像が矩形もしくは線対称な台形状を成すときは算出不能である。よって、焦点距離のキャリブレーションはたとえば画像表示領域中心を真っ直ぐ見据える位置から、いずれかの頂点位置にカメラレンズ光軸を振った姿勢で行う必要がある。【００８７】
なお、焦点距離が固定のシステムではそのキャリブレーションは少なくとも１回行えばよいが、ズームレンズ等の使用により焦点距離が変化するシステムでは撮像された画像毎に焦点距離を求め続ける必要がある。【００８８】
［画像表示領域における指示位置及びレンズ位置算出…ステップ５１０，５１１］
図１６に示す通り、画面表示領域に関するキャリブレーションは、その水平方向の辺が参照矩形の水平方向の辺と平行である場合、少なくとも対角の位置にある２頂点を指示して行う。たとえば、補正画像座標系における画像表示領域の左上、右下頂点をそれぞれｖＣ０，ｖＣ１とすれば、任意の指示位置ｐＣを、画面表示領域を基準として改めて正規化した指示位置ｐＣｄは式（２７）の通りである。
【数２７】
2007037227.tif 000030
【００８９】
ただし、ｅＣｘ，ｅＣｙは、それぞれ補正画像座標系ｘＣ，ｙＣ軸方向の単位ベクトルとする。カメラレンズ位置の距離成分以外の２成分も同様に求める。これらｖＣ０，ｖＣ１をキャリブレーションにより計測する。【００９０】
なお、システム運用中に識別マークが移動してしまった場合は、式（２７）のｖＣ０，ｖＣ１が変化してしまうため指示位置等に誤差が生ずる。その際は再度キャリブレーションを実施する必要がある。【００９１】
カメラレンズ位置の距離成分や光軸周りの回転角は、キャリブレーションにより計測の基準とすべき本装置の初期位置・姿勢をもって、上記の式（１４）のｘｉ及び式（１８），（１９）のＶｉを計測する。【００９２】
［効果］
以上のような本実施形態によれば、幾何学的図形を使用した簡単な識別マーク１０２から抽出される参照矩形を用いて、撮像部２０３の外部パラメータをすべて厳密解として求めることができる。したがって、近似解で求めるよりも、検出精度が向上する。求める外部パラメータは指示位置、相対位置、回転角等と多様であるため、ゲーム内容、適用範囲等の多様化、高度化を図ることができる。たとえば、同一標的に対する命中であっても、相対位置、回転角に応じて、得点や表示画面を変える等が可能となる。【００９３】
このような外部パラメータのみならず、内部パラメータのうち焦点距離を、運用時に求めることができる。このため、撮像部２０３の内蔵レンズのピントを調整する以外、外部パラメータを求めるために必要な装置製造時の調整が不要となる。したがって、大量生産に向いている。そして、個体差がある場合、運用時にピントが変化してしまった場合、焦点距離が変化するレンズ（たとえば、バリフォーカルレンズ、ズームレンズ等）であっても、適切に焦点距離を更新して、問題なく検出できる。【００９４】
目的とする各種パラメータを求めるための演算規模は従来技術と比較して小さく、演算の構成も簡素であるため、処理負担が小さい。また、外乱光と識別マーク１０２を判別する機能も実現しているため、周囲の照明環境に柔軟に対応できる。特に、識別マーク１０２の抽出は、撮影された画像を水平ライン毎に逐次的に記憶および検査すればよいため、１画面分の画像記憶領域を必要とせず、総じて水平数ライン程度の記憶領域で抽出が可能であるので、小規模の組込機器に適している。【００９５】
識別マーク１０２は、識別可能な幾何学的図形を有していればよいので、構成が単純であり、設置が容易である。また、幾何学的図形の特徴や設置方法に方向性を持たせることにより、天地等の方向の識別が可能となる。これにより、装置の姿勢によらず、正しい指示位置等の検出が可能となる。そして、識別マーク１０２は、自発光型とすれば、識別しやすくなるが、反射型としても、設置が容易となり家庭用途に適する。【００９６】
投光部２０４、撮像部２０３、位置情報検出部２０２、識別マーク抽出部２０６、参照矩形抽出部２０７等を含む装置が、全てガン型コントローラ１０１内に一体的に構成されているので、全体構成を簡素化でき、装置間の接続作業も簡単となる。【００９７】
［第２の実施形態］
［概要］
本実施形態は、上記の第１の実施形態を基本としつつ、さらに、被写体や撮像素子の高速な移動によって所望の識別マーク像が得られない場合においても、以下のような特徴によって、参照矩形を良好に推定し位置検出を行うことが可能なものである。
（Ａ）直前の参照矩形像の大きさより、識別マーク位置推定対象となる参照矩形頂点の近傍領域を決定する。
（Ｂ）直前の参照矩形像頂点と同位置の、現画像における近傍領域の部分画像より、識別マーク画像の背景と見做すべき画素値の閾値を求める。
・閾値は部分画像毎に個別に求めてもよい。
・閾値算出過程で得られた統計量より撮像素子の露光時間等を制御してもよい。
（Ｃ）直前の参照矩形像頂点と同位置の、現画像における近傍領域の部分画像より、濃淡画像の重心を求める。
・重心を求めるのに先立って精度向上のため背景と見做すべき画素値の閾値を用いて背景光成分を除去してもよい。
・部分画像毎の１次モーメントおよび０次モーメントを求めて重心を算出してもよい。
・各モーメントは部分画像を複数の区画に分割し、区画毎に求めてもよい。
・分割した区画のうち、重心算出に適する区画のみを選択して重心を算出してもよい。
（Ｄ）求められた重心より、現画像上の参照矩形像の頂点位置を推定する。
・重心を直接参照矩形像の頂点としてもよい。
・直前の参照矩形像頂点とそれに対応する識別マーク像の重心との幾何学的情報を用いて現画像で求められた重心により参照矩形像の頂点を算出してもよい。【００９８】
［構成］
次に、本実施形態の構成を説明する。なお、本実施形態は、基本的には、上記の第１の実施形態と同様である。但し、本実施形態は、図１７に示すように、参照矩形処理部３１０を備えている。この参照矩形処理部３１０は、抽出された識別マーク１０２のパターンから、参照矩形を抽出する参照矩形抽出部３２０（第１の実施形態における２０７）、参照矩形の抽出ができなかった場合に、直前に抽出もしくは推定された参照矩形等に基づいて、参照矩形を推定する参照矩形推定部３３０を有している。【００９９】
参照矩形推定部３３０は、直前に抽出もしくは推定された参照矩形をもとに、識別マーク近傍領域を算出する領域算出部３３１、遮断すべき背景光を検出する背景光検出部３３２、識別マーク近傍領域と背景光に基づいて、識別マークの重心を推定する重心推定部３３３、推定された重心に基づいて、直前に抽出もしくは推定された参照矩形の頂点との対応付けを行う整合部３３４、推定された重心と整合部による対応付けの結果から、参照矩形を推定する推定部３３５を有している。【０１００】
位置情報検出部２０２は、抽出もしくは推定された参照矩形等に基づいて、画像表示領域１０３Ａにおける指示位置、レンズ位置、回転角等のカメラ(撮像部２０３)の外部パラメータや、焦点距離等の内部パラメータを検出する。参照矩形処理部３１０、位置情報検出部２０２における具体的な処理は、以下の作用に述べるように行われる。【０１０１】
なお、本実施形態においても、各処理で抽出、算出等された情報は、適宜、メモリ等の記憶手段に記憶され、次処理に利用されるが、常識的であるため、図示は省略する。記憶手段として、どのような種類、容量のものを確保するかについては、自由である。特に、本実施形態においては、参照矩形処理において、抽出された参照矩形や推定された参照矩形もメモリに記憶され（参照矩形記憶部）、直前に抽出された参照矩形や推定された参照矩形は、参照矩形推定処理に利用される。【０１０２】
［作用］
以上のような本実施形態による処理を、図１８のフローチャート、図１９〜２３の説明図を参照して説明する。なお、上記の第１の実施形態と同様の処理については、説明を省略する。また、下記の処理手順は例示であり、各処理において必要な情報がその前段階のいずれかにおいて得られているのであれば、順序が前後してもよい。【０１０３】
［参照矩形推定処理…ステップ５１５〜５２０］
上述の第１の実施形態における識別マーク抽出処理（ステップ５０２）において、識別マークの抽出に失敗した場合には（ステップ５０２ａ）、参照矩形推定処理に移行する（ステップ５１５〜５２０）。【０１０４】
すなわち、位置情報検出部２０２では、抽出された参照矩形をもとに、画像表示領域における指示位置等のカメラ(撮像部)の外部パラメータや内部パラメータである焦点距離を検出するが、被写体である識別マークやカメラが比較的高速に移動した場合、識別マーク像がぶれてしまい期待する形状および画素値(受光量)が得られなくなり、たとえ識別マークを撮像したとしても参照矩形の抽出に失敗してしまう。【０１０５】
本問題は普及型カメラの構造上回避できないが、シャッタースピードが高速なカメラを用いることで解決が可能である。ただし、同カメラは比較的高価であるため製品コストを抑えにくいという別の問題が生じる。【０１０６】
さらにそのような高速移動期間においては正確な指示位置検出の要求は少なく、位置検出誤差が比較的大きくなってしまったとしても、指示位置検出を成功させることへの要求のほうが優先的である。【０１０７】
よって、普及型カメラにより問題となる高速移動期間においても参照矩形を推定し抽出できればよい。それを実現するために、本実施形態では、参照矩形推定部３３０において、識別マーク位置を推定し、続いて参照矩形像の頂点位置を推定する処理を行う。このような一連の参照矩形推定処理を、以下に詳述する。【０１０８】
［識別マーク近傍領域算出…ステップ５１５］
まず、参照矩形の抽出に失敗した場合（ステップ５０２ａ）、撮影画像を対象として参照矩形の推定を行うに先立って、直前に抽出もしくは推定された参照矩形をもとに、領域算出部３３１が、参照矩形の大きさに応じた領域を算出する（ステップ５１５）。【０１０９】
識別マーク近傍領域の半径の長さは、たとえば参照矩形の任意辺の１／ｎとしたり、任意辺の端点のｘ座標もしくはｙ座標同士の差のうち大きい方の１／ｎとしたりして許容すべき移動速度をもとに決定する。ただし、図１９に示すように、近傍領域同士が重ならないよう決定すべきである。【０１１０】
識別マーク近傍領域の中心は、参照矩形の頂点とする。図２０に示すように、識別マークが２点の場合は、同一識別マークに属する２点の参照矩形頂点を結ぶ線分の中点とするため、近傍領域数は２である。なお、図１９及び図２０では、説明を容易にするため識別マーク近傍領域の形状を正方形としたが、この形状には限定されない。【０１１１】
［背景光検出…ステップ５１６］
背景光検出部３３２は、現画像上の直前に求められた識別マーク近傍領域に対応する領域内の部分画像より、識別マーク像の背景と見做すべき画素値の閾値(背景光遮断閾値)を決定する（ステップ５１６）。【０１１２】
ノイズの少ない理想的な状態で識別マークが撮影された場合、同部分画像による画素値を階級とする画素数のヒストグラムは、おおよそ図２１に示すような傾向を示す。よって、多値画像の２値化手法を応用して背景光遮断閾値を決定する。【０１１３】
本閾値は複数の部分画像をまとめて唯一つ求めることも、部分画像毎に求めることもできる。以降の説明は部分画像毎に閾値を求めたものとする。【０１１４】
背景光検出処理において得られたヒストグラムが、図２１に示す特徴と異なる場合、理想的でない撮影状態の可能性があるため、図２１と同様な特徴が得られるように、撮像部２０３の撮像素子の露光時間等を適切に制御してもよいし、Ｉ／Ｏ部２０８経由で、本システム外部のホスト機器に適切な制御情報を提供させてもよい。【０１１５】
［識別マーク重心推定…ステップ５１７］
重心推定部３３３は、現画像上の直前に求められた識別マーク近傍領域に対応する領域内の部分画像より、識別マークと推定される画素情報を集計してそれら画素集合の重心を求める。画素集合が識別マーク像より構成される場合は、良好に識別マーク像の重心を求めることができる。【０１１６】
算出する重心の精度を向上させるために、背景光検出処理で求めた背景光遮断閾値Ｉｂ（ｋ）により対応する識別マーク近傍領域ｋの部分画像ｓ（ｋ）（ｉ，ｊ）を、式（２８）のとおり、ｔ（ｋ）（ｉ，ｊ）へ変換してもよい。
【数２８】
2007037227.tif 000031
【０１１７】
識別マーク近傍領域ｋの部分画像ｓ（ｋ）（ｉ，ｊ）の重心を求めるために、同画像の０次モーメントｍ０（ｋ）およびｉ方向とｊ方向の１次モーメントｍｉ（ｋ），ｍｊ（ｋ）を、式（２９）−（３１）のとおり、逐次求める。以降、ｓ（ｋ）（ｉ，ｊ）は式（２８）のｔ（ｋ）（ｉ，ｊ）に読み替えてもよい。
【数２９】
2007037227.tif 000032
【数３０】
2007037227.tif 000033
【数３１】
2007037227.tif 000034
【０１１８】
これらｍ０（ｋ），ｍｉ（ｋ），ｍｊ（ｋ）により、部分画像ｓ（ｋ）（ｉ，ｊ）の重心ｇ（ｋ）は、式（３２）のとおり求めることができる。
【数３２】
2007037227.tif 000035
【０１１９】
しかし、これら部分画像に識別マーク以外のノイズ成分が無視できない程度に含まれる場合は、式（３２）の重心算出方法では、誤った重心が求まる可能性がある。そこで、図２２に示すように、すべての識別マーク近傍領域を同様に複数の区画に分割し、重心算出に適する区画のみを選択することで期待する重心を求めることができる。【０１２０】
識別マーク近傍領域ｋの区画ｌにおける部分画像ｓ（ｋ，ｌ）（ｉ，ｊ）毎に、式（２９）−（３１）と同様に、０次モーメントｍ０（ｋ，ｌ）およびｉ方向とｊ方向の１次モーメントｍｉ（ｋ，ｌ），ｍｊ（ｋ，ｌ）を求めておく。【０１２１】
重心算出に適する区画を選択するためには、たとえば、図２３に示すような識別マーク近傍領域間の一定条件を満たした選択候補区画の一致を考える。【０１２２】
区画ｌを選択候補とする条件として、識別マーク近傍領域がｎ個の区画に分割される場合、区画ｌを含む識別マーク近傍領域ｋの０次モーメントｍ０（ｋ）と区画数ｎによる関数値ｆ（ｍ０（ｋ），ｎ）が、区画ｌの０次モーメントｍ０（ｋ，ｌ）を下回ることなどが挙げられる。このｆ（ｍ，ｎ）は、たとえばｆ＝ｍ／ａｎ（ａは任意の定数）とできるが、識別マーク像を一定率以上含む区画が選択候補となるように決定される。【０１２３】
すべての識別マーク近傍領域が、撮影画像上である程度同一方向に移動するならば、図２３のとおり、複数の識別マーク近傍領域間の同一区画で識別マーク像を一定率以上含むものが選択候補とされることを期待できる。【０１２４】
このように複数領域間で一致する選択候補区画のみを選択すれば、ノイズ成分を含む区画を良好に排除することができる。【０１２５】
以上のとおり選択された区画のみの各モーメントの和をそれぞれｍ’０（ｋ），ｍ’ｉ（ｋ），ｍ’ｊ（ｋ）とすれば、部分画像ｓ（ｋ）（ｉ，ｊ）の重心ｇ’（ｋ）＝［ｍ’ｉ（ｋ）／ｍ’０（ｋ），ｍ’ｊ（ｋ）／ｍ’０（ｋ）］Ｔが新たに得られる。【０１２６】
以上までの参照矩形推定処理は、識別マーク抽出処理等と平行して実行することが可能である。【０１２７】
［識別マーク整合…ステップ５１８，５１９］
整合部３３４は、直前に抽出または推定された参照矩形の各頂点位置と、現画像から抽出された参照矩形の各頂点（重心）位置との対応付けを試みる。【０１２８】
識別マークが４点の場合は、現画像で参照矩形が抽出されたならばそのまま後段の処理に出力する（ステップ５１８）。参照矩形の抽出に失敗したが一部の参照矩形頂点が抽出できた場合、整合部３３４は、それら頂点を、それぞれ直前に抽出または推定された参照矩形の各頂点のうち最も近くに存在する頂点に対応させ、それらのみを出力する（ステップ５１９）。すべての頂点の抽出に失敗した場合は出力なしとする。【０１２９】
識別マークが２点の場合は、現画像で参照矩形が抽出されたならばそのまま後段の処理に出力する（ステップ５１８）。参照矩形の抽出に失敗した場合は出力なしとする。【０１３０】
［参照矩形推定…ステップ５２０］
推定部３３５は、抽出された参照矩形の一部または全部と部分画像ｓ（ｋ）（ｉ，ｊ）の重心ｇ（ｋ）（ｇ’（ｋ））とにより現画像における参照矩形を推定する。【０１３１】
識別マークが４点の場合は、参照矩形の抽出に成功しているならばそのままそれを参照矩形とする。一部の参照矩形頂点のみが抽出されている場合もしくはすべての頂点の抽出に失敗している場合は、抽出に失敗した頂点の識別マーク近傍領域ｋから求められた重心ｇ（ｋ）（ｇ’（ｋ））を当該頂点と推定する。その推定した頂点と抽出に成功した頂点とをもって参照矩形とする。【０１３２】
識別マークが２点の場合は、参照矩形の抽出に成功しているならば求められた２つの重心間の差分ベクトル自身の内積Ｇ＝（ｇ（１）−ｇ（０））・（ｇ（１）−ｇ（０））と参照矩形の各頂点ｖｉと重心ｇ（０） (またはｇ（１））とで決定する式（２６）の参照矩形頂点推定係数行列Ｖｉを求めて記憶する(表記簡略化のためｇ’（ｋ）を割愛している)。
【数３３】
2007037227.tif 000036
【０１３３】
参照矩形の抽出に失敗している場合、現画像より求められた2つの重心間の差分ベクトルｇ＝ｇ（１）−ｇ（０）と、直前に求められたＧおよびＶｉにより、式（３４）のとおり各頂点ｖｉを推定する。
【数３４】
2007037227.tif 000037
【０１３４】
［効果］
以上のような本実施形態によれば、上記の第１の実施形態の効果に加えて、以下のような効果が得られる。すなわち、現画像で参照矩形の抽出に失敗したとしても、直前の参照矩形の抽出もしくは推定に成功している場合には、一連の参照矩形推定処理により、現画像における参照矩形を良好に推定可能となり、要求される指示位置検出結果を得られる。【０１３５】
また、識別マーク１０２や撮像部２０３の高速移動による像のぶれはもちろん、他の何らかの原因により参照矩形の抽出に失敗した場合においても、本機能は良好に参照矩形を推定できることは自明であり、指示位置検出の成功率は従来よりも向上する。たとえば、一時的な光量不足により識別マーク１０２の認識に失敗した場合においても指示位置検出に成功する。したがって、高価な高速度対応型の撮像素子が必ずしも必要とならず、普及型の撮像素子を用いて製品コストを抑えることが可能となる。また、カメラの動作可能距離範囲の拡大にもつながる。【０１３６】
また、直前の参照矩形に基づいて算出された識別マーク１０２の近傍領域を対象として、背景光を遮断し、識別マーク１０２の重心を推定して、これにより参照矩形を推定できるので、処理すべきデータ量を低減した高速化を図りつつ、より高い確度によって良好な参照矩形が推定できる。そして、推定できない重心があっても、直前の参照矩形に基づいて頂点を推定できるので、参照矩形が得られる可能性が高まる。【０１３７】
［他の実施形態］
本発明は上記の実施形態に限定されるものではない。上記の説明は、本発明が目的とするところを実現できるその他の実施形態に対する説明としても容易に読み替えることができる。また、図２及び図１７に示した機能ブロック図は、概念的なものであり、これらの機能を実現する具体的な回路は種々考えられ、特定のものには限定されない。また、本発明は、上記の処理に対応してコンピュータ及び周辺回路を動作させる方法、プログラムとしても把握できる。ハードウェア処理によって実現する範囲とソフトウェア処理によって実現する範囲も自由である。ディスプレイも、ＣＲＴ、ＬＣＤ以外の現在又は将来において利用可能なあらゆるものを適用可能である。【０１３８】
また、本発明の用途としては、射撃型のゲームには限定されない。たとえば、射撃型以外の釣り、フェンシング、消防活動などのゲーム、ゲーム以外のプレゼンテーションシステム、会議システム、テレビジョンのリモートコントローラ、照明のオン／オフ、ブラインド開閉などのリモートコントローラ、倉庫や書庫の管理システムなどに適用可能である。したがって、指示対象となる平面は、ディスプレイには限定されず、スクリーン、パネル、壁面その他あらゆるものが利用できる。
【図１】
2007037227.tif 000038
【図２】
2007037227.tif 000039
【図３】
2007037227.tif 000040
【図４】
2007037227.tif 000041
【図５】
2007037227.tif 000042
【図６】
2007037227.tif 000043
【図７】
2007037227.tif 000044
【図８】
2007037227.tif 000045
【図９】
2007037227.tif 000046
【図１０】
2007037227.tif 000047
【図１１】
2007037227.tif 000048
【図１２】
2007037227.tif 000049
【図１３】
2007037227.tif 000050
【図１４】
2007037227.tif 000051
【図１５】
2007037227.tif 000052
【図１６】
2007037227.tif 000053
【図１７】
2007037227.tif 000054
【図１８】
2007037227.tif 000055
【図１９】
2007037227.tif 000056
【図２０】
2007037227.tif 000057
【図２１】
2007037227.tif 000058
【図２２】
2007037227.tif 000059
【図２３】
2007037227.tif 000060
【国際調査報告】
2007037227.tif 000061
2007037227.tif 000062
2007037227.tif 000063