(57)【要約】【課題】  マークの情報にディスプレイ四隅の位置を推測させる情報を盛り込むことにより、撮像されたマークからディスプレイ四隅の位置情報を取得可能とする。【解決手段】ディスプレイ１の上辺と下辺の中央部に、ディスプレイ四隅の方向を示す指標線分を含むマークＭ１，Ｍ２を設け、これを撮像装置１で撮像する。位置検出部５は、撮影された画像中からマークを抽出するマーク検出部５１、撮影された各マークがディスプレイのどの位置に設けられたものであるかを判別するマーク種別判別部５２、撮像された各マークに含まれるディスプレイ四隅の方向を示す直線状の線分を判別する指標線分選定部５３、指標線分の延長線の交点からディスプレイ四隅の位置を演算するディスプレイ四隅位置演算部５４を備えている。画像平面上で推測された四隅の位置情報に基づいて、撮像装置光軸とディスプレイ平面との交点の相対座標を演算する相対座標検出部５５を備える。【選択図】図１
2005275568.tif 000002
【特許請求の範囲】
【請求項１】
撮像装置によってディスプレイを撮影した場合において、ディスプレイ上における撮像装置の光軸とディスプレイ平面との交点の相対座標を検出するための撮像装置の指示位置検出方法において、
ディスプレイの上辺と下辺の中央部にそれぞれマークを配置し、各マークには、ディスプレイの四隅の配置方向を示す直線状の指標線分を設けておき、
撮像装置の指示位置検出時においては、撮像装置により撮影された画像平面上における前記２つのマークの位置と、これら２つのマークに含まれる指標線分を判別する処理と、
前記２つのマークに含まれている各指標線分をディスプレイの隅部の方向に延長すると共に、この延長した線分の交点を演算し、この交点をディスプレイの隅部の画像平面上における位置とする処理と、
これらディスプレイの四隅の位置の画像平面上における位置情報に基づいて、ディスプレイ平面上における撮像装置の光軸が指示する座標位置を検出する処理を含むことを特徴とする撮像装置の指示位置検出方法。
【請求項２】
前記複数のマークが、ディスプレイの上辺または下辺と平行な指標線分と、マークが設けられている位置からディスプレイの隅部の方向に沿った指標線分を有する三角形の枠状をなすものであることを特徴とする請求項１記載の撮像装置の指示位置検出方法。
【請求項３】
撮像装置によって撮影された図形の輪郭追跡を行い、撮像された図形に含まれる直線の方向変化のサイクルを検出することにより、撮像された図形中から凸塊状図形を判別し、この凸塊状図形に直線成分が３つ含まれている場合に三角形のマークであると判定することを特徴とする請求項１または請求項２に記載の撮像装置の指示位置検出方法。
【請求項４】
前記撮像された各マークに含まれる指標線分を判別して、その指標線分をディスプレイの隅部の方向に延長する処理が、相対するマークから遠い位置にある頂点を判別し、この遠い位置にある頂点を基準として各マークの他の頂点を識別し、ついで識別された３つの頂点に基づいて、一方のマークにおけるもっとも遠い頂点を通る２本の指標線分の延長線と、相対するマークにおけるもっとも遠い頂点を通らない１本の指標線分の延長線との２つの交点を、ディスプレイの隅部の位置と決定する処理を含むことを特徴とする請求項２または請求項３に記載の撮像装置の指示位置検出方法。
【請求項５】
前記２つのマークのうち、少なくとも一方のマークに、他のマークの方向を示す指標線分を設けたことを特徴とする請求項１、請求項２、請求項３または請求項４記載の撮像装置の指示位置検出方法。
【請求項６】
前記複数のマークが、内部が空白となった枠状のマークと、枠の内部に塗りつぶし部分を有するマークとから構成されていることを特徴とする請求項２、請求項３または請求項４記載の撮像装置の指示位置検出方法。
【請求項７】
撮像装置によってディスプレイを撮影した場合において、ディスプレイ上における撮像装置の光軸とディスプレイ平面との交点の相対座標を検出するための撮像装置の指示位置検出装置において、
ディスプレイと、
前記ディスプレイの上辺と可変の中央部にそれぞれ設けられたマークであって、しかも、前記各マークにはディスプレイの四隅の配置方向を示す直線状の指標線分を含むマークと、
前記２つのマークを撮影する撮像装置と、
前記撮像装置によって撮影された画像平面上から前記２つのマークを抽出するマーク検出部と、
前記撮影された各マークがディスプレイのどの位置に設けられたものであるかを判別するマーク種別判別部と、
撮像された各マークに含まれる前記指標線分を選定する指標線分選定部と、
前記指標線分選定部により検出された２つのマーク中の指標線分をディスプレイの隅部の方向に延長すると共に、各マークから延長された線分の交点を求め、この交点を画像平面上におけるディスプレイの四隅の位置とするディスプレイ隅部位置演算部と、
前記隅部位置演算部により求められたディスプレイ四隅の画像平面上の位置情報に基づいて、ディスプレイ平面上における撮像装置の光軸が指示する座標位置をを演算する演算部を備えていることを特徴とする撮像装置の指示位置検出装置。
【請求項８】
撮像装置によってディスプレイを撮影した場合において、ディスプレイ上における撮像装置の光軸とディスプレイ平面との交点の相対座標を検出するためのプログラムにおいて、
コンピュータに対して、
撮像装置によって撮像されたディスプレイの画像中から、ディスプレイの上辺と下辺の中央部にそれぞれ配置された２つのマークを判別する処理と、
前記画像中から判別された前記２つのマークの位置と、これら２つのマークに含まれる指標線分を判別する処理と、
前記２つのマークに含まれている各指標線分をディスプレイの隅部の方向に延長すると共に、この延長した線分の交点を演算し、この交点をディスプレイの隅部の画像平面上における位置とする処理と、
これらディスプレイの四隅の位置の画像平面上における位置情報に基づいて、ディスプレイ平面上における撮像装置の光軸が指示する座標位置を検出する処理と、
を実行させることを特徴とする撮像装置の指示位置検出用プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮像装置によってディスプレイを撮影した場合において、撮像装置の光軸（又は、指示方向）とディスプレイ平面との交点におけるディスプレイ上の相対座標を検出するための撮像装置の指示位置検出方法および装置に関するものであって、特に、射撃ゲーム用のガンやポインティングデバイスに内蔵された撮像装置を用いて、ディスプレイ側に用意された複数のマークを撮影することにより、撮像装置の光軸がディスプレイ上のどの位置を指示しているかを検出するための方法および装置に係る。
また、本発明は、前記位置検出方法および装置をコンピュータ上で実現するための撮像装置の指示位置検出用プログラムに関する。
【背景技術】
【０００２】
従来から、ＣＲＴや液晶ディスプレイを利用した射撃ゲームにおいて、標的をねらうガンなどの発射装置の照準位置を検出したり、スクリーン型のディスプレイ上に投影された画像上の所定の位置を指示するためのポインティングデバイスの使用時に、ポインティングデバイスの指示するディスプレイ上の位置を検出するための装置として、撮像装置を利用したものが知られている（特許文献１−３参照）。
【０００３】
この装置は、被写体となるディスプレイの四隅に設けられたマークを撮影し、ディスプレイと撮像装置の距離、角度等に応じて、撮影された四隅のマークの画像平面上における相対位置が変化することを利用して、ディスプレイに対する撮像装置の光軸の向き、すなわちディスプレイ上におけるガンの照準位置やポインティングデバイスの指示位置を検出するものである。
【０００４】
【特許文献１】特開平８−７１２５２号公報
【特許文献２】特開平１１−３０５９３５号公報
【特許文献３】特開２００１−１４８０２５号公報
【発明の開示】
【発明が解決しようとする課題】
【０００５】
この装置は、撮像装置によって撮影された四隅のマークの画像平面上での位置情報を用いて撮像装置の光軸が指示するディスプレイ平面上の相対位置を検出するものであるため、射影歪みを考慮した精度の良い位置検出を行う場合、必ず、ディスプレイ上の規定された四隅のマークの位置情報が必要となる。なお、マークの位置は、必ずしも特許文献１−３のようなディスプレイの四隅でなくても良いが、少なくとも４つ設けられていることが検出精度上不可欠である。
【０００６】
このような従来技術において、撮像装置の照準や指示位置をディスプレイの周辺領域に定めると、その反対側に設けられたマークが撮影範囲から外れてしまい、４つのマークを画像平面上に映し出すことができなくなり、撮像装置の位置決めが不可能となる。そのため、これら４つのマークを必ず画像平面範囲内に撮像するためには、ディスプレイと撮像装置の距離はディスプレイ全体が写るくらい十分に離れている必要がある。
【０００７】
しかし、撮像装置とディスプレイの距離を大きくすることは、これを利用したゲーム機などの大型化に繋がり、特に、設置スペースの小型化が求められているアーケードゲーム機などにおいては大きな不都合であった。また、大型のディスプレイを使用した場合は、撮像装置とディスプレイの距離がより大きくなり、離れた位置から撮像装置を内蔵したガンやポインタを操作することになり、ディスプレイの希望する位置に照準を合わせることが困難になったり、表示内容を確認することが不可能になる問題が生じる欠点があった。
【０００８】
また、従来技術は、ディスプレイ側にマークを必ず４つ設ける必要があり、マーク自体をディスプレイと別体に設けた場合には、その設置作業が面倒であるとか、マーク数を用意するためのコストがかかるといった欠点があった。また、マークをディスプレイの映像として表示した場合には、４つのマークを常時表示しなければならず、ゲームなどの表示内容の邪魔になる欠点があった。
【０００９】
本発明は前記のような従来技術の問題点を解決するために提案されたものであって、その目的は、マークの形状にディスプレイ隅部の位置を推測させる情報を盛り込み、ディスプレイの四隅がすべて撮影されない状況であっても、ディスプレイ四隅の位置情報を取得可能とし、その位置情報に基づいて、撮像装置の指示位置検出を精度良く実施することができるようにした位置検出方法および装置を提供することにある。
【００１０】
本発明の他の目的は、ディスプレイに２つのマークを設け、この２つのマークを撮像するだけで、ディスプレイの四隅をすべてを撮影しなくても撮像装置の指示位置検出を可能とすることにより、マーク個数の削減と、撮像装置とディスプレイの距離の短縮化を可能とした位置検出方法および装置を提供することにある。
【課題を解決するための手段】
【００１１】
請求項１の発明は、撮像装置によってディスプレイを撮影した場合において、ディスプレイ上における撮像装置の光軸とディスプレイ平面との交点の相対座標を検出するための方法において、ディスプレイの上辺と下辺の中央部にそれぞれマークを配置し、各マークには、ディスプレイの四隅の配置方向を示す直線状の指標線分を設けておき、撮像装置の指示位置検出時においては、撮像装置により撮影された画像平面上における前記２つのマークの位置と、これら２つのマークに含まれる指標線分を判別する処理と、前記２つのマークに含まれている各指標線分をディスプレイの隅部の方向に延長すると共に、この延長した線分の交点を演算し、この交点をディスプレイの隅部の画像平面上における位置とする処理と、これらディスプレイの四隅の位置の画像平面上における位置情報に基づいて、ディスプレイ平面上における撮像装置の光軸が指示する座標位置を検出する処理を含むことを特徴とする。
【００１２】
請求項７の発明は、前記請求項１の発明を装置の観点からとらえたものであって、撮像装置によってディスプレイを撮影した場合において、ディスプレイ上における撮像装置の光軸とディスプレイ平面との交点の相対座標を検出するための装置において、ディスプレイと、前記ディスプレイの上辺と可変の中央部にそれぞれ設けられたマークであって、しかも、前記各マークにはディスプレイの四隅の配置方向を示す直線状の指標線分を含むマークと、前記２つのマークを撮影する撮像装置と、前記撮像装置によって撮影された画像平面上から前記２つのマークを抽出するマーク検出部と、前記撮影された各マークがディスプレイのどの位置に設けられたものであるかを判別するマーク種別判別部と、撮像された各マークに含まれる前記指標線分を選定する指標線分選定部と、前記指標線分選定部により検出された２つのマーク中の指標線分をディスプレイの隅部の方向に延長すると共に、各マークから延長された線分の交点を求め、この交点を画像平面上におけるディスプレイの四隅の位置とするディスプレイ隅部位置演算部と、前記隅部位置演算部により求められたディスプレイ四隅の画像平面上の位置情報に基づいて、ディスプレイ平面上における撮像装置の光軸が指示する座標位置を演算する演算部を備えていることを特徴とする。
【００１３】
請求項８の発明は、前記請求項１の発明をコンピュータソフトウェアの観点から捉えたものであって、撮像装置によってディスプレイを撮影した場合において、ディスプレイ上における撮像装置の光軸とディスプレイ平面との交点の相対座標を検出するためのプログラムにおいて、コンピュータに対して、撮像装置によって撮像されたディスプレイの画像中から、ディスプレイの上辺と下辺の中央部にそれぞれ配置された２つのマークを判別する処理と、前記画像中から判別された前記２つのマークの位置と、これら２つのマークに含まれる指標線分を判別する処理と、前記２つのマークに含まれている各指標線分をディスプレイの隅部の方向に延長すると共に、この延長した線分の交点を演算し、この交点をディスプレイの隅部の画像平面上における位置とする処理と、これらディスプレイの四隅の位置の画像平面上における位置情報に基づいて、ディスプレイ平面上における撮像装置の光軸が指示する座標位置を検出する処理と、を実行させることを特徴とする。
【００１４】
このような構成を有する請求項１、請求項７または請求項８の発明によれば、ディスプレイの上下に設けられた各マークにディスプレイの四隅の位置を示す情報、すなわち指標線分を包含させることにより、撮影された前記２つのマークに包含されている指標線分を検出し、この指標線分を延長することにより、ディスプレイ四隅の画像平面上の位置を算出することができる。その結果、ディスプレイ四隅の画像平面上における位置情報に基づいて、ディスプレイ平面上における撮像装置の光軸が指示する座標位置を検出することが可能である。
【００１５】
請求項２の発明は、前記請求項１の発明において、前記複数のマークが、ディスプレイの上辺または下辺と平行な指標線分と、マークが設けられている位置からディスプレイの隅部の方向に沿った指標線分を有する三角形の枠状をなすものであることを特徴とする。
【００１６】
このような構成を有する請求項２の発明は、三角形の一辺がそれぞれディスプレイの四隅の方向を指し示す指標線分を備え、しかも、枠状の三角形という他の図形に比較して単純でしかも特徴的な輪郭追跡による形状の判定が容易なマークを使用することにより、撮像装置によって撮影された画像平面上の複数の図形中から、指標線分を含むマークを容易に判別することが可能になる。
【００１７】
請求項３の発明は、前記請求項１または請求項２の発明において、撮像装置によって撮影された図形の輪郭追跡を行い、撮像された図形に含まれる直線の方向変化のサイクルを検出することにより、撮像された図形中から凸塊状図形を判別し、この凸塊状図形に直線成分が３つ含まれている場合に三角形のマークであると判定することを特徴とする。
【００１８】
このような構成を有する請求項３の発明によれば、撮影された画像中にある程度の長さの直線を含む画像があった場合でも、３本の直線が無端状に連結されしかもその輪郭部分に凹部を有することのないという三角形の特徴を捉えて、マークと他の図形との判別を行うことができる。
【００１９】
請求項４の発明は、前記請求項１、請求項２または請求項３の発明において、前記撮像された各マークに含まれる指標線分を判別して、その指標線分をディスプレイの隅部の方向に延長する処理が、相対するマークから遠い位置にある頂点を判別し、この遠い位置にある頂点を基準として各マークの他の頂点を識別し、ついで識別された３つの頂点に基づいて、一方のマークにおけるもっとも遠い頂点を通る２本の指標線分の延長線と、相対するマークにおけるもっとも遠い頂点を通らない１本の指標線分の延長線との２つの交点を、ディスプレイの隅部の位置と決定する処理を含むことを特徴とする。
【００２０】
このような構成を有する請求項４の発明によれば、撮像された２つのマークの各頂点の中で互いにもっとも離れた頂点は１カ所しか存在しないという性質を利用することにより、各マークの頂点位置の識別と、２つのマークのどの指標線分同士の交点をディスプレイの隅部の位置と推定するかが容易に判別できる。
【００２１】
請求項５の発明は、請求項１、請求項２、請求項３または請求項４の発明において、前記２つのマークのうち、少なくとも一方のマークに、他のマークの方向を示す指標線分を設けたことを特徴とする。
【００２２】
このような構成を有する請求項５の発明によれば、一方のマークに設けられた指標線分上に存在しない図形は、たとえ、他の条件を満足していてもマークでないことが判定できるので、撮像された画像中からのマークの検出精度が向上する。
【００２３】
請求項６の発明は、前記請求項２、請求項３、請求項４の発明において、前記２つのマークが、内部が空白となった枠状のマークと、枠の内部に塗りつぶし部分を有するマークとから構成されていることを特徴とする。
【００２４】
このような構成を有する請求項６の発明によれば、ディスプレイの上下に設けたマークを容易に区別することができ、撮像された画像中からマークを確実に判別できるとともに、ディスプレイのどの位置に設けられたマークであるかの判別も可能となり、ディスプレイの隅部がどの方向にあるかの判別も容易となる。
【発明の効果】
【００２５】
本発明によれば、ディスプレイの上辺及び下辺の中央部にある２つのマークを撮像することにより、これら２つのマークに含まれる指標線分の情報からディスプレイの四隅の位置を予測でき、予測されたディスプレイ四隅の位置に基づいて、ディスプレイ平面上における撮像装置の光軸が指示する座標位置を検出することが可能になる。その結果、マークを４カ所設ける場合と比較して、マーク設置個数の低減が可能となる。また、２つのマークを撮像するのみで、ディスプレイの四隅の位置が予測できるため、ディスプレイ四隅をすべて撮像する従来技術に比較すると、撮像装置の撮像範囲が広がり、装置をディスプレイに近づけたり、ディスプレイの周辺部に照準やポインタを合わせることが可能になり、指示範囲も拡大する。さらに、２つのマークをディスプレイの中央部分に設けることにより、ディスプレイの左右いずれかの端部に２つのマークを設けた場合に比較して、撮像範囲をより拡大することができる。
【発明を実施するための最良の形態】
【００２６】
本発明のように、射影変換を利用して、被写体であるとディスプレイと撮像装置によって撮影された画像平面との相対的な位置関係を把握する場合、被写体および画像平面上における直線性は位相不変量であり、射影変換では直線は直線に変換されることがわかっている。そこで、２つの直線Ａ，Ｂの交点をＣとし、また、直線Ａ，Ｂの射影変換後の直線をそれぞれＡ’，Ｂ’、交点Ｃの射影変換後の位置をＣ’とすると、Ｃ’はＡ’、Ｂ’の交点となる。今、線分の延長線上の交点が、ディスプレイ四隅の位置になるような線分情報を各マークに盛り込めば、被写体（ディスプレイ）上で２点のマークが撮像されていれば、ディスプレイ四隅の位置を、線分の延長線上の交点として推測できる。
【００２７】
この場合、ディスプレイに設ける各マークは、直線情報を含む形状となるため、それに応じた認識処理が必要となり、且つ追加される処理として、ディスプレイ四隅の座標位置を推定する処理が必要となる。以下に、どのような形状のマークが考えられるか、それらの認識手法、認識後の交点の推測方法を下記に示す。なお、以下の説明において、簡単化のためマークに付加する直線情報を以下「指標線分」と称す。
【００２８】
今、図３に示すように、ディスプレイの上下両辺の中央部に設置されるマークをそれぞれ、マークＭ１，Ｍ２とする。このとき、マークＭ１，Ｍ２に、指標線分１−３または指標線分４−６を含ませておくことにより、マークＭ１，Ｍ２が撮像された場合にディスプレイの四隅が存在する方向が判断できるようにする。
すなわち、図４に示すように、２つのマークＭ１，Ｍ２をディスプレイの上辺と下辺の中央部に配置し、マークＭ１の斜め方向の指標線分１，２とマークＭ２の水平方向の指標線分６の延長線の交点を求めれば、それがディスプレイの下方の隅部１，２の位置となる。また、マークＭ１の水平方向の指標線分３とマークＭ２の斜め方向の指標線分４，５の交点が、ディスプレイの上方の隅部１，３の位置となる。このように、本実施形態によれば、２つのマークＭ１，Ｍ２が撮像されていれば、マークに含まれた指標線分を延長して交点を求めることにより、撮像画面上におけるディスプレイの四隅の位置を検出することができる。
【００２９】
この場合、撮像画像平面におけるディスプレイの四隅の座標を決定するには、２つのマークの識別と、各マークに含まれ指標線分の識別との処理が必要となる。そこで、本実施形態において、ディスプレイ上部のマークＭ１は、図３のように、１つの円形部（塗りつぶし部）を内部に持ち、その周りを三角形の枠で囲まれている形状とし、下部のマークＭ２は、内部に塗りつぶし部がない三角形の枠で囲まれている形状とする。また、画像においてマークの抽出を助長させるために、マークの周囲を低輝度な素材で構成し、マーク自身を構成する指標線分１〜６および内側の円形部を高輝度な領域で構成する。この構成にすることにより、撮像された画像においてマーク図形部分が高コントラストになり、濃度変化情報で他の図形と区別しやすくできる。これらは透過照明による面光源や再帰反射板等によって実現できる。
【００３０】
また、撮像された図形中には、マークＭ１，Ｍ２以外にも、前記のような三角形状や濃度変化上方を有するものが存在する可能性がある。そこで、図５のように、一方のマークＭ１に、他方のマークの方向を示す指標線分７を設けておくことにより、撮像された図形中からマークを判別するに当たり、この指標線分７の延長線上に無い図形はマークでないと判定することもできる。すなわち、図６に示すように、画像平面中に複数のマーク候補の図形が存在しても、この指標線分７上に位置しない図形は、マークでないと判定することができ、マーク判定の精度をより向上することができる。
【００３１】
また、図７（Ａ）のように、マークを枠状とせずに、マークに含める３本の直線線分の情報が一点で交わる放射状の構成とすることもできる。なお、この放射状のマークは、各マークに含まれる３本の直線の相対的な位置を異ならせたり、図７（Ｂ）のように、一方の放射状マークの外周にリング状のマークを組み合わせたりすることにより、各マークがディスプレイのどの位置に設けられているかを判別できる。
【００３２】
なお、指標線分の情報においては、実際に線分の形状を入れる必要は無く、マークの形状よりそれらの情報が引き出せれば良い。たとえば、図８（Ａ）のように、指標線分を三角形の頂点を結ぶことによって作成することも可能である。例えば、マークＭ１については、
(a) ある範囲内において存在する４つの点の集合。
(b) 凸包図形は、内部に点を有する三角形となる。
(c) 他の図形に比較して高輝度。
等の情報から、撮像された他の図形とマークＭ１とを区別することができる。また、図８（Ｂ）のように、外側に枠を設けることで、他の図形や他のマークと区別しても良い。
【００３３】
Ａ．第１の実施の形態
１．実施の形態の構成
以下、本発明の第１の実施の形態を図面に基づいて、具体的に説明する。
本実施の形態の位置検出装置は、図１に示す通り、撮影対象となる画像表示面を有するディスプレイ１と、このディスプレイ１の画像表示面を撮影する撮像装置２とを備えている。この撮像装置２としては、ＣＣＤ撮像素子を備えたビデオカメラやデジタルカメラが使用される。
【００３４】
前記ディスプレイ１の上辺及び下辺の中央部には異なった形状の２つのマークＭ１，Ｍ２が設けられている。図４は、マークＭ１，Ｍ２の一例を示すものであって、各マークは全体として直角三角形状をなし、各マークのそれぞれには、ディスプレイの四隅の方向を示す３本の直線状の線分が含まれている。これら各マークは、ディスプレイ１上における配置箇所が判別できるように、それぞれ異なった形状をなすものであり、本実施形態においては、ディスプレイの上辺側のマークＭ１の内部には円形の塗りつぶし部が設けられ、下辺側のマークＭ２には塗りつぶし部がないことで判別できる。また、ディスプレイ１上部のマークＭ１は水平な直線が三角形の下辺に位置し、下部のマークＭ２は水平な直線が三角形の上辺に位置している。
【００３５】
これらのマークＭ１，Ｍ２は、ディスプレイ１の枠部などに貼り付け、印刷等の手段で設けることも可能であるし、ディスプレイ１の表示画面中の映像として映し出すことによって表示することもできる。また、撮像装置２によるマークの抽出を助長させるために、マークの周囲を低輝度な素材で構成し、マーク自身を高輝度な領域で構成することが好ましい。この構成にすることにより、撮像装置２によって撮影された画像中においてマーク図形部分が高コントラストになり、濃度変化情報で他の図形と区別しやすくできる。これらは透過照明による面光源や再帰反射板等によって実現できる。
【００３６】
前記撮像装置２には、これによって撮影された画像データをデジタル画像データとするＡ／Ｄ変換器３が接続され、このＡ／Ｄ変換器３の出力がフレームメモリ４に出力される。このフレームメモリ４は、Ａ／Ｄ変換されたデジタル画像データを、撮像装置２のＣＣＤ撮像素子の撮像平面の各画素に対応したアドレス毎に一時的に記憶するものである。前記フレームメモリ４には、フレームメモリ４上に一時記憶された画像データを解析して、ディスプレイ１の画像表示面に対する撮像装置２の光軸が指示しているディスプレイ平面上における座標を検出するための位置検出部５が設けられている。
【００３７】
前記位置検出部５は、撮像装置２によって撮影され画像平面上に存在する図形中からマークに該当する可能性の低い図形を排除するフィルタ処理部５０と、前記フィルタ処理部５０を通過した図形中からマークの画像を判別するマーク検出部５１とを備えている。また、前記マーク検出部５１によって判定されたマークが、ディスプレイのどの位置に設けられたものであるかを判別するマーク種別判別部５２と、撮像された各マークに含まれる３本の指標線分の中から、他のマークに含まれる指標線分と組み合わせてその交点を得るための指標線分を選定する指標線分選定部５３を備えている。さらに、前記指標線分選定部５３により選定された各マーク中の指標線分をディスプレイ隅部の存在する方向に延長すると共に、各マークから延長された指標線分の交点を求め、この交点上を画像平面上におけるディスプレイ隅部の位置とするための演算を行うディスプレイ四隅位置演算部５４と、画像平面上におけるディスプレイの四隅の位置情報に基づいて、ディスプレイ平面上における撮像装置の光軸が指示する座標位置を演算する相対座標検出部５５を備えている。
【００３８】
前記位置検出部５の出力側はゲーム機やディスプレイ表示装置に設けられたディスプレイ制御装置６に接続され、このディスプレイ制御装置６に前記相対座標検出部５５で算出された撮像装置のディスプレイ表面に対する相対的な位置情報が出力されるようになっている。この場合、ディスプレイ制御装置６は、入力された撮像装置の位置情報に基づいて、例えば、撮像装置の中心が指示するディスプレイ上の座標を算出し、その座標上に射撃ゲームの照準点を表示したり、ポインティングデバイスの指示ポイントを表示する。
【００３９】
２．各部の動作の詳細
次に、前記のような構成を有する本実施の形態における各部の動作を、より詳細に説明する。
（１）フィルタ処理部５０
前記フィルタ処理部５０は、前記のようにマーク図形を高コントラストとしておくことにより、撮影された画像中の濃度変化情報で他の図形と区別するものであって、判定対象となる図形の濃淡情報を検出し、一定の閾値を超えたコントラストの高い図形をマーク候補として判定する。この場合、撮像装置２にあらかじめ赤外線透過フィルタを使用することで、可視光線領域の画像と比較してある程度判別対象となる図形数を制限することにより、よりフィルタ処理を効果的に行なうように構成することも可能である。
このように本実施形態においては、マークと他の部分とのコントラストを強調した鮮鋭化処理や赤外線フィルタを利用したノイズ除去処理などにより、判定対象となる図形数を制限しておく。これらの処理は、後の処理の効率を上げ、演算装置の負担を軽減する意味でも有効である。
【００４０】
（２）マーク検出部５１
前記マーク検出部５１は、撮像装置によって撮影された１フレーム分の画像データ中に、各マークに相当する画像が存在するか否かを判別し、その撮影画像平面上における位置（座標）を取得するものである。すなわち、撮像装置によって撮影された画像中には、マーク以外のものが種々含まれているので、それらの画像中からマークに相当するものを抽出する。
【００４１】
このようなマーク検出部５１の処理は、次のような判定処理を順次実行することにより、撮像された図形中からマークを抽出する。。
(1) 規定矩形の範囲内の連結成分である。
(2) 各マークは、３つの直線で囲まれている図形であるので、撮影された画像を構成する画素を連結処理し、その中から枠状の図形のみを抽出する。
(3) ３つの直線から構成されている枠である。
以下、これらの処理について、順次説明する。
【００４２】
（２−１）寸法、画素数による判定処理
前記のようなフィルタ処理によって選別された判定対象の図形に対して、その図形が規定矩形（画像平面の垂直、水平方向の矩形）範囲内の領域に含まれるか否かを判定する。すなわち、この判定は、判定対称となる図形の大きさ（図形の面積、図形の領域に外接する矩形の幅・高さ）による判定であって、この判定は、次の２つの処理の少なくとも一方を実施する。
【００４３】
(a) 領域が、有する画素数の総計による判定
この処理は、マークは３本の直線を含みしかも一定の大きさを有することから、一定の領域内における画素数の割合が決まっている。すなわち、画素数が多くほとんど塗りつぶされているような図形や、逆に画素数が少なすぎる図形は、たとえ寸法的にマーク候補であったとしても、３本の直線を判別できないので、マーク候補から除外することができる。
【００４４】
(b) 判定対象となる図形の領域と外接する画像平面における水平、垂直方向の辺を有する矩形の幅、高さによる判定を行う。すなわち、図９の例で言えば、垂直方向矩形幅ｍｉｎと垂直方向矩形幅ｍａｘ、および水平方向矩形幅ｍｉｎと水平方向矩形幅ｍａｘにより規定された矩形の範囲内にある領域のみを対称図形と判断する。図９において、図形Ａ，Ｂ，Ｃ，Ｄは、前記の条件を満たすものであるからマーク候補として判定し、図形Ｅ，Ｆは、前記領域よりも小さいかあるいは大きい図形であるためマークではないと判定する。
【００４５】
（２−２）輪郭追跡による直線検出
前記の寸法、画素数による判定処理後、対象となった図形に対して、枠のエッジ部分に直線の要素がどの程度含まれているかを下記の通りに判定する。
図１０において符号Ａは、対称図形の所定の一点から選定された検査開始位置（現在位置）である。この現在位置Ａを中心として、上下、左右、斜めの８方向をそれぞれ図１０の表に示すように４つの方向カテゴリに分類する。すなわち、現在位置Ａを中心として、時計回りに、
２，３，４方向…方向カテゴリＡ
４，５，６方向…方向カテゴリＢ
６，７，０方向…方向カテゴリＣ
０，１，２方向…方向カテゴリＤ
とする。また、現在位置Ａから判定対象図形の輪郭を追跡した場合に、方向変化が生じるごとに、１つ前の方向コード変化の場所をＸ１，Ｙ１、今回の方向コードの変化の場所をＸ２，Ｙ２とする。
【００４６】
ところで、「ディジタル直線の定義」として次のことが知られている。
[定理]
単純弧αが連続画像上の線分のディジタルかであるための必要十分条件は、αがコード特性を持つことである。このときの図形をディジタル線分またはディジタル直線と呼ぶ。
【００４７】
[性質]
単純弧がディジタル直線であるための必要条件は、この単純弧を方向コードで表したとき、次の(1) 〜(3) がすべて成り立つことである。但し、方向コードはある画素から隣の画素に向かう方向を４５°を単位として表したものであり、チェインコード、フリーマンコードと呼ばれる。
(1) 方向コードは２種類以内であり、しかもそれらは互いに４５度異なる。
(2) このコードの少なくとも一方は長さ１の連でしか生じない。
(3) もう一方のコードは高々２種類の長さの連を作る。そして、この２種類の連の長さは１しか違わない。
【００４８】
なお、これらの点については、非特許文献１に詳しい。
【非特許文献１】鳥脇純一郎著  画像理解のためのディジタル画像処理（II）  昭晃堂発行
【００４９】
ここで、輪郭追跡において上記の条件を満たさない時を、頂点予測点と呼ぶことにし、その数により、図形の縁に直線成分がどの程度含まれているかを判断する。例えば、図１１（Ａ）のような画像においては、長い３本の直線と、その各頂点部分における短い線分が存在するが、このうち、各頂点部分の短い線分は前記(1) 〜(3) の条件を満たすことがないので、デジタル直線とはカウントせず、この図形では３本の長い線分のみが直線として検出される。
【００５０】
（２−３）三角形の検出
但し、前記(1) 〜(3) の判定だけでは、円のように、一つ一つの小さな辺でできている場合、それらの辺はカウントされないため下記の条件も追加する必要がある。すなわち、図１１（Ｂ）のように短い線分が組み合わされた凹部が形成されている図形においては、凹部を形成する短い線分は前記(1) 〜(3) の条件を満たさないために直線とはカウントされず、凹部以外の残るコ字型の３本の直線が検出され、辺の数が３の図形として認識されてしまう。しかし、たとえ３本の直線が検出されたとしても、このような凹部を含む形状の図形は本発明の検出対象である三角形のマークではないので、このような図形がマーク候補としては排除される必要がある。そこで、本実施形態では、次のような条件を追加することにより、マーク候補であるか否かを判定する。
【００５１】
［追加条件］
輪郭追跡において、必ず、同じ方向変化カテゴリを取りつつ一回だけサイクルする。
すなわち、輪郭追跡時に、方向変化が生じる毎に、変化する方向の判定を行ない、たとえば、追跡開始位置からの方向変化カテゴリＡを開始カテゴリとした場合に、方向変化カテゴリＡ−方向変化カテゴリＢ−方向変化カテゴリＣ−方向変化カテゴリＤ−方向変化カテゴリＡまたは方向変化カテゴリＡ−方向変化カテゴリＤ−方向変化カテゴリＣ−方向変化カテゴリＢ−方向変化カテゴリＡのように、同一の方向変化カテゴリが一回だけサイクルして、元の追跡開始位置に戻ることを、検出対象であるマーク判定の条件とする。なお、このとき、開始カテゴリは規定せず、どの方向変化カテゴリから追跡が開始されても良い。
このようにすると、図１１（Ｂ）のように、凹部を含む図形においては、サイクルの途中で異なる方向変化カテゴリを含むことになるので、この異なる方向変化カテゴリの存在により、凹部を含む図形はマークでないと判別できる。
【００５２】
前記のようなデジタル直線の定義および追加条件に従って、判定対象とした図形について、直線抽出処理を行う場合のアルゴリズムは、次の通りである。
まず、判定対象とした図形の輪郭追跡を行うに当たり、輪郭追跡開始点を開始頂点予測点とし、前記の条件（デジタル直線の定義）を、満たさないときの位置を終了頂点予測点として、下記の判定を行う。
【００５３】
(1) 開始頂点予測点と終了頂点予測点間の距離を抽出した辺の大きさとし、以下の判定・処理を行う。なお、ここで、辺の大きさの判定距離は、水平方向の差分と垂直方向の差分の各絶対値の和（シティブロックの距離）とする。
(a) 辺の大きさがあらかじめ定めたある規定の大きさであれば、開始頂点予測点と終了頂点予測点の位置（座標）を記憶し、辺の数をインクリメントし、終了頂点予測点を次の辺の開始頂点予測点とするための更新処理を行う。
(b) 辺の大きさがある規定の大きさでなければ、終了頂点予測点を次の辺の開始頂点予測点とする更新処理のみ行う。
【００５４】
(2) カテゴリ変化の判定
前記追加条件の変化サイクルでない場合は、マークでないとして、判定対象とした図形に対する処理を中止する。
【００５５】
(3) 辺の数の判定
輪郭追跡終了時において、前記(1) および(2) の条件を満足した図形について、インクリメントした辺の数を検査し、辺の数が３である場合には、その図形をマークであると判定する。この場合、その図形が有する各辺が、求める指標線分に相当する。すなわち、求めた辺は、開始頂点予測点と終了頂点予測点の２点を通る直線となる。一方、その図形の辺の数が３でない場合には、その図形はマークではないと判定する。
【００５６】
（２−４）枠の頂点の算出
前記のようにして、マークとして判定された図形中から抽出された３直線より、３つの交点（枠の頂点）を算出する。すなわち、前記(1) の(b) の処理によって辺としてはカウントされていない短い直線が認識されている場合のように（図１１（Ａ）参照）、図形中で検出された３直線の開始頂点予測点と終了頂点予測点は、必ずしも枠の頂点に位置するとは限らない。そこで、前記マークの判別処理で、マークとして判定された図形の３直線より、各々各組み合わせの２直線の交点を求め、それらの交点を枠が形成する三角形の頂点とするための算出処理を行う。
【００５７】
（２−５）マーク数の決定
以下、撮影されたすべての図形に対して、このような処理を行い、撮像平面上にいくつのマークが存在するかを判定していく。この場合、マークと判定された図形が２つの場合は、判定されたマーク数に応じたそれぞれの処理がなされるが、マークが１以下あるいは３以上とあると判定された場合には、焦点や指示位置が判定できないので、再び元の画像入力処理に戻り、撮像された図形中からのマークの判定処理を繰り返す。
【００５８】
なお、マークと判定された図形が３以上（マークの設置個数以上）の場合には、さらにマークの判定基準を厳しくすることで、マーク候補図形を絞り込むことも可能である。たとえば、マークを構成する枠の直線性の確か度合いを基準としたり、枠内部に含まれる画像の形状や画素数を絞り込みの基準とすることができる。具体的には、枠の内部に左右判別用の円形部を設けたマークでは、枠中に円形の図形が存在することをマークとしての判定基準としたり、円形部を構成する画素数が一定の範囲内にあることで、その図形をマークとして判定したり、枠内に円形部が存在しない側のマークについては、枠内に他の図形や一定数以上の画素が存在しないことをマークとしての判定基準とする。さらに、前記図図５及び図６に示すようなマーク構成とすることで、指標線分７上に無い図形はマークでないと判別して、マークと判定される図形数を削減できる。
【００５９】
（３）マーク種別判別部５２
前記マーク種別判別部５２は、マークがディスプレイの上下のどちら側に設けられたものであるかを判別するものであって、前記マーク検出部５１の処理によってマークと判定された図形について、枠の内部に塗りつぶし部が存在するか否かを検出し、その有無によって、ディスプレイのいずれの側に設けられたマークであるかの判別を行なう。なお、この処理は、３本の指標線分によって囲まれた領域内に、一定数以上の画素が存在することを検出することで実施できる。
【００６０】
（４）指標線分選定部５３
前記のようにして、各マークについて、その頂点の位置（各マークの頂点の座標）が算出され、撮像平面上における各マークの位置が判明した後は、撮像されたマークに含まれるどの指標成分を他のマークのどの指標線分と組み合わせるかどの方向に延長するかによって、ディスプレイ四隅の位置の推測を行う。
この場合、指標線分の組み合わせを判別するには、まず、撮像された２つのマークの頂点が、ディスプレイの上下辺に設けられた２つのマークの頂点のどれと対応しているかを識別する必要がある。本実施の形態では、ディスプレイに設けられた２つのマークにおいて、もっとも離れた位置にあるのが、上下の三角形の頂点にあることを領して、撮像されたマークの頂点の識別を行う。
【００６１】
図１２は、頂点の識別の手法を示すものであって、中心に円形の塗りつぶし部があるために上辺のマークＭ１として判別された図形であり、この図形の３つの頂点について、適宜Ａ’，Ｂ’，Ｃ’を割り当て、同様に下辺のマークＭ２として判別された他の図形にも３つの頂点Ｄ’，Ｅ’，Ｆ’を割り当てる。この場合、各マークの頂点は、それぞれ識別されていない状態なので、頂点の符号に「’」をつけて識別後の頂点の符号とは区別している。
【００６２】
この状態で、２つのマークのすべての頂点間の距離を計測し、その距離がもっとも遠い頂点の組み合わせを調べる。
ｄＡＤ=｜Ａ’−Ｄ’｜
ｄＢＤ=｜Ｂ’−Ｄ’｜
ｄＣＤ=｜Ｃ’−Ｄ’｜
ｄＡＥ=｜Ａ’−Ｅ’｜
ｄＢＥ=｜Ｂ’−Ｅ’｜
ｄＣＥ=｜Ｃ’−Ｅ’｜
ｄＡＦ=｜Ａ’−Ｆ’｜
ｄＢＦ=｜Ｂ’−Ｆ’｜
ｄＣＦ=｜Ｃ’−Ｆ’｜
図１２（Ａ）の例では、仮の頂点として割り当てた頂点Ｂ’とＦ’の組み合わせがもっとも距離が離れているので、図１２（Ｂ）のように、この頂点Ｂ’をディスプレイに設けたマークの頂点Ａとし、頂点Ｆ’をディスプレイに設けたマークの頂点Ｄとする。
【００６３】
このようにして、マークＭ１とマークＭ２の頂点Ａ，Ｄが決定された後は、残りの２つの頂点を決定するが、この場合、２つの頂点に対して、マークＭ１では一方を頂点Ｂ、他方を頂点Ｃと仮に割り当て、マークＭ２では一方を頂点Ｅ、他方を頂点Ｆと仮に割り当てる。その状態で、ベクトルＡＢ×ＡＣの外積と、ベクトルＤＥ×ＤＦの外積を計算し、その符号をディスプレイに設けられている本来のマークＭ１，Ｍ２におけるベクトルＡＢ×ＡＣの外積とベクトルＤＥ×ＤＦの外積の符号と比較する。そして、撮像されたマークの外積の符号と、本来のマークの外積の符号が一致した場合には、仮に割り当てた頂点が正しいものとしてそのまま使用し、符号が異なる場合には、仮に割り当てた頂点を入れ替えて、各マークＭ１，Ｍ２における頂点の識別を確定する。
【００６４】
このようにして、各マークＭ１，Ｍ２の頂点が識別されると、次のように、どの頂点を通るかによって指標線分の識別が可能となる。
(1) 指標線分１：頂点ＡＢ
(2) 指標線分２：頂点ＡＣ
(3) 指標線分３：頂点ＢＣ
(4) 指標線分４：頂点ＤＥ
(5) 指標線分５：頂点ＤＦ
(6) 指標線分６：頂点ＥＦ
【００６５】
各指標線分が識別されると、ディスプレイの四隅の座標を決定するための指標線分の組み合わせが次のように定まる。
(1) 隅部０：指標線分３と指標線分４
(2) 隅部１：指標線分１と指標線分６
(3) 隅部２：指標線分２と指標線分６
(4) 隅部３：指標線分３と指標線分５
【００６６】
（５）ディスプレイ隅部位置演算部５４
前記のようにして、指標線分選定部５３により、撮像された２つのマークのどの指標線分の組み合わせによりディスプレイ隅部の位置を演算するかが決定された後は、このディスプレイ隅部位置演算部５４により、選定された指標線分の組み合わせに従いその延長線の交点の座標を演算することで、４カ所の隅部の位置（画像平面上における座標）を検出する。ちなみに、ここで検出された４カ所のディスプレイ隅部の位置は、前記指標線分選定部５３で判明した指標線分の組み合わせにより、本来のディスプレイ隅部の位置との対応関係が明確になっている。
【００６７】
（６）相対座標検出部５５
この相対座標検出部５５においては、画像平面上における４カ所のディスプレイ隅部の座標と、ディスプレイ表示平面上におけるディスプレイの四隅の座標とに基づいて、撮像画像平面の座標系とディスプレイ表示平面の座標系との透視射影変換処理を行うことにより、両座標系の相対的な位置関係を算出する。そして、両座標系の相対的な位置関係が判明すると、たとえば、撮像装置の中心（光軸上）にある指示部がディスプレイ表示面のどの位置を指示しているかを算出することができるので、その演算結果をディスプレイ制御装置６に出力することにより、ディスプレイ上に撮像装置の中心が指示しているポイントを表示させることが可能になる。
【００６８】
なお、撮像画像平面上における４カ所のディスプレイ隅部の座標が算出された後の透視射影変換処理による指示位置の特定は、特開平８−７１２５２号公報、特開昭２００１−１４８０２５号公報、および本出願人の出願にかかる特願２００２−３００４７８号に記載されているように公知の技術であるから、本発明において、この処理の手法はどのようなものを採用しても良い。
【００６９】
３．装置全体の動作
次に、本実施の形態の位置検出装置の動作について、図２のフローチャートによって説明する。本実施の形態の処理は、大別して、（１）撮像された画像平面上の画素中からマークを判別する処理と、（２）判別されたマークによる撮像されていないマークの位置を判定する処理とからなるが、フローチャートに記載した各ステップの詳細な動作については、既に、本実施の形態のアルゴリズムの欄で説明したので、その詳細は省き、装置がどのような順序で、各処理を実行するかを説明する。
【００７０】
また、このフローチャートは、撮像装置によって撮像された画像平面上の図形に対して行なう画像処理を示すものであって、この前段階として、撮像装置としては、あらかじめ赤外線透過フィルタを使用し、なるべく図形が発生しないような構造にしておく。そのようにすることで、可視光領域での画像と比較し、ある程度図形の数は制限できる。
【００７１】
（１）マークの判別処理
（ステップ０１）
赤外線透過フィルタにより、赤外領域の光により画像平面上に結像した画像に対して、鮮鋭化処理、二値化処理による対象領域の抽出を行なう。すなわち、他の図形とマークを区別するために、マーク自身は、近赤外領域の波長を使用する等を行い、撮像装置にフィルタを設置することによってあらかじめ発生する図形の数を抑制する手段をとる。
（ステップ０２）
撮像され画像平面上に表示される図形中から、枠状の図形、すなわち内部に穴を含む形状の図形のみをマークの判断の対象とするために、ステップ０１によって抽出されたすべての画素に対して、連結処理を行なう。
（ステップ０３）
連結処理された画素によって構成される図形が、(1) 枠状のものか、(2) 内部に塗りつぶし部（円形部）が存在するものであるかの判別を行なう。すなわち、(1) の処理において、枠状の図形以外は、マークでないと判別して、マーク候補から除外する。また、(2) の処理において、マーク候補として判定された図形について、枠の内部に塗りつぶし部があるか否かを判定する。なお、この塗りつぶし部の判別は、以下のステップでマークと判定された図形について、それがディスプレイの左右いずれかの側にあるかを判定するために使用される。 
【００７２】
（ステップ０４）
マーク候補の図形が、規定矩形の範囲内の連結成分であることを検査する。すなわち、マークとなるべき図形は、一定範囲の寸法に収まるはずであるから、範囲外の図形については、マークでないと判定する。
（ステップ０５）
ステップ０４においてマーク候補とされた図形について、それらが３つの直線から構成されている枠であるか否かの判定を行なう。
（ステップ０６）
ステップ０５において検出されたマークは、３本の線分（指標線分）を含むものであるが、判別された線分の端点がそのまま三角形の頂点とは限らない。そこで、検出された３本の直線の交点から枠の頂点座標を検出する。
【００７３】
以上の通り、前記各ステップを順次実行することにより、撮像された画像中からマークとなる図形を、一例として、次のように判定する。
上辺のマークＭ１：内部に塗りつぶし部が存在し、３つの直線で構成される枠
下辺のマークＭ２：内部に塗りつぶし部が存在せず、３つの直線で構成される枠
この場合、撮像されるマークの数はディスプレイ側に設置したマークの数以下の０〜２の範囲にあるはずである。しかし、（１）のマーク判別処理において、マークの設置数以上に対象となる図形が存在する場合は、内部点の形状もしくは枠の直線性の確か度合いの比較等行うこともできる。
【００７４】
（２）マーク位置の判定処理
前記のようにしてマークとなる図形の判別がなされた後は、判別されたマーク数に応じて、撮像された各マークの位置と、これら撮像された各マークから推測される撮像されていないマークの位置の判定を行なう。
（ステップ０７）
２つのマークが検出されたか否かを判定し、２つのマークが判定されている場合には、次のステップ０８各マークの頂点の識別処理に進む。一方、マークが２つ検出されなかった場合には、すなわち、撮像されたマークが１つ以下の場合には、ディスプレイ四隅の位置の推測が不可能であるとし、ステップ１２の無限ループ処理を介して、次の撮像画像に対する処理を行なうため、ステップ０１に戻る。なお、前記（１）マーク判別処理において、マークの設置個数以上にマークと判定された図形がある場合、マーク判別処理において、マーク個数を２つに絞り込む代わりに、このステップ０７において、３つ以上のマークがある場合には、ステップ０８のマーク頂点の識別処理を行なわずに、次の撮像画像に対する判定処理を行なうためにステップ０１に戻るように構成することも可能である。
【００７５】
（ステップ０８）
前記ステップ０７において、撮像されたマークが２つであると判定された場合には、このステップ０８において、各マークにおける頂点の識別処理を行う。すなわち、前記指標線分選定部５３において、頂点間の距離を利用して頂点Ａ，Ｄを判定し、次いで、ベクトルの外積を利用することで、残る頂点Ｂ，Ｃ及びＥ，Ｆの識別を行う。
【００７６】
（ステップ０９）
各マークＭ１，Ｍ２における各頂点の識別がなされた後は、この頂点を通る性質を利用して各指標線分を識別し、どの指標線分の組合せによりディスプレイ隅部の位置を推測するかという、指標線分の組合せの選択処理を実行する。
【００７７】
（ステップ１０）
ステップ０９において、２つのマークのどの指標線分を利用するかが決定された後は、それらの指標線分の延長線の交点を求め、それをディスプレイ隅部の位置と推測する。
【００７８】
（ステップ１１）
このステップ１１においては、画像平面上における４カ所の隅部の座標と、ディスプレイ表示平面上におけるディスプレイの四隅の座標とに基づいて、撮像画像平面の座標系とディスプレイ表示平面の座標系との透視射影変換処理を行うことにより、画像平面の中心である撮像装置の光軸がディスプレイ表示平面の座標系のどの座標に位置しているかを算出する。
【００７９】
（ステップ１２）
以上のようにして、撮像装置光軸のディスプレイ平面上における座標位置が判別された後は、中止指令が入力されない限り、撮像装置から入力された次のデータ、すなわち、刻々と移動する撮像装置から入力される画像データの分析を繰り返すことにより、その時点ごとにおける撮像装置の指示位置検出を繰り返す。また、前記のように、マークが３点以上検出された場合や、１点以下しか検出されなかった場合も、次に入力される撮像画像データに対して、新たにマークの検出処理を行い、撮像装置の指示位置検出を実行する。
【００８０】
４．実施の形態の効果
以上のように、本実施の形態によれば、画像平面に撮像された２つのマークに基づいてディスプレイ四隅の位置を推測することにより、ディスプレイ上における撮像装置の光軸とディスプレイ平面との交点の相対座標を検出することが可能となる。その結果、従来技術では、撮像装置により指示するディスプレイ上のポイントは、ディスプレイ側の四隅がすべて撮像される範囲に限られており、ディスプレイの周辺近くを指示することが不可能であったが、本実施の形態によれば、２つのマークを撮影できれば良いので、ディスプレイの周辺部近くのポイントを指示することも可能となる。
【００８１】
たとえば、図１３は、撮像装置の画像平面Ｗには、ディスプレイの四隅のうち、隅部０３は画像平面の外に位置するまで撮像装置をディスプレイに近づけて撮像した場合を示すものであって、画像平面Ｗの中心点Ｏが撮像装置の中心点として、ディスプレイ表示面の所定のポイントを指示している。本実施の形態によれば、この２つのマークＭ１，Ｍ２に含まれている指標線分に基づいてディスプレイの４カ所の隅部０〜３の位置を推測することが可能になる。これら４カ所の隅部によって囲まれた範囲がディスプレイの表示平面Ｖに相当し、画像平面Ｗの中心点Ｏがディスプレイ表示平面Ｖにおける指示ポイントとなるので、この中心点Ｏをディスプレイ表示平面Ｖの周辺部近くにまで移動させることができる。
【００８２】
このように、従来技術では、撮像装置をディスプレイに近づけるとディスプレイ四隅の撮像が不可能になって撮像装置の指示位置検出ができなくなるが、本発明では、２つのマークが撮像されていればよいので、従来技術に比較して撮像装置をディスプレイに近接させることが可能となる。その結果、本実施の形態によれば、ディスプレイと撮像装置とからなるゲーム機器などの小型化や、撮像装置の使用者と大型のディスプレイが近接しているプレゼンテーション装置を実現することができる。
【００８３】
また、本実施の形態のように、マークの指標線分からディスプレイの四隅の位置を推測するようにした場合には、マークをディスプレイの中央部に配置することが可能になるので、撮像装置をディスプレイの左右いずれの端に向けた場合でもマークの撮像される範囲が広くなる。例えば、図１４は、マークをディスプレイの左右上下端部に配置し、マークにディスプレイの反対側の隅部の位置を予測するための指標線分を設けた場合であるが、このような技術では、撮像装置をマークと反対側に向けるとマークが撮像範囲からはずれてしまう。そのため、図１４に斜線で示したような死角ができ、特に、最近のディスプレイのようにアスペクト比が１６：９の横長のものでは、死角が大きくなる現象がある。しかし、本実施の形態によれば、図１５のように、撮像装置をいずれの方向に向けても、死角となる部分が少なく、横長の画面でもディスプレイの周辺部まで撮像装置中心を向けることが可能になる。
【００８４】
Ｂ．第２の実施の形態
前記の第１の実施の形態は、マークとして三角形の枠状のものを使用したものであるが、本発明のマークの形状はそれに限定されるものではない。前記の図７に示すように、１点で交差する３本の指標線分の組み合わせからなるマークを使用することも可能である。その場合には、撮像された図形中からマークを判別するに当たり、輪郭追跡による枠の判定の手法を採用することはできない。そこで、図９に示すように、前記第１の実施の形態に示したマークの寸法が一定の領域に入るという判定手法に加え、３本の直線の一点交差をマークの特徴量として使用する。
【００８５】
すなわち、図１６に示すように、判定対象となる３本の直線の中から２本の直線の組み合わせを選びその交点の位置を算出して、算出された３つの交点によって区切られる直線Ｌ１，Ｌ２，Ｌ３がどれだけ短いかが、３本の直線が一点で交わっているかの指標とする。この場合、３交点の各Ｘ，Ｙ座標のうちの最大値、最小値をそれぞれ求める。Ｘ，Ｙ方向の長さＬＸ，ＬＹを求め、ＬＸ＋ＬＹが最小であるものが一番交点に近いと判定する。
【００８６】
なお、この場合、３つの交点によって囲まれた部分の面積の大小によって、３本の直線が１点で交わっている度合いを判定することも考えられるが、図１７に示すように、交点Ｂ，Ｃが交点Ａから遠く離れていても交点Ｃが交点Ｂに近づけば面積は０に近くなるため、前記のような各点の位置関係を指標とするものの方が優れている。しかし、この面積による指標を他の指標（検出された２つの指標線分の角度など）と組み合わせることで、１点交差の度合いを判定することも可能であり、本発明は、図１７のような指標を排除するものではない。
【００８７】
Ｃ．他の実施の形態
なお、本発明において、ディスプレイの上辺と下辺の中央部にそれぞれマークを設けたが、本発明において、中央部とは、必ずしもディスプレイの左右の中心のみを意味するものではなく、中心から一定範囲ずれた位置でも良い。この場合、マークを構成する三角形の斜辺の角度を異ならせることにより、指標線分がディスプレイの隅部を指すようにする。
【００８８】
また、本発明は、上下に長いディスプレイに使用する場合のように、ディスプレイの左右両辺の中央部にそれぞれマークを設けることも包含するものであって、その場合には、本明細書におけるディスプレイの上辺と下辺を、左辺と右辺と読み替えるものとする。
【産業上の利用可能性】
【００８９】
本発明は、ゲーム機の照準装置、プレゼンテーション用ディスプレイのポインタに加え、撮像装置を利用者の頭部に装着することにより運転シミュレータにおける利用者の視線方向検出装置などの用途にも適用できる。
【図面の簡単な説明】
【００９０】
【図１】本発明の第１の実施の形態の構成を示すブロック図。
【図２】本発明の第１の実施の形態の動作を示すフローチャート。
【図３】本発明に使用するマークの一例を示す正面図。
【図４】本発明のディスプレイ四隅の位置を推測する原理を示すディスプレイ正面図。
【図５】本発明に使用するマークの第２の例を示す正面図。
【図６】図５のマークを使用した場合におけるマーク識別の手法を示す図。
【図７】本発明に使用するマークの第３の例を示す正面図。
【図８】本発明に使用するマークの第４の例を示す正面図。
【図９】第１の実施の形態における撮像画像中からマークをサイズにより判別する手法を示す正面図。
【図１０】図４のマーク判別に当たり、輪郭追跡を行う際に使用する方向カテゴリを説明するための図。
【図１１】図４のマークの判別に当たり、三角形を検出する手法を説明する図。
【図１２】２つのマークが検出された場合に、各マークの頂点を識別する手法を示す図。
【図１３】本発明において、撮像装置の撮像画面と推測されたディスプレイ四隅の位置の関係を示す図。
【図１４】ディスプレイの左側に設けられた２つのマークが撮像されている場合の死角を説明する図。
【図１５】本発明により２つのマークが撮像されている場合におけるディスプレイ画面と撮像範囲を示す図。
【図１６】図７のマークを使用した場合に、撮像画像中から図７のマークを抽出する手法を示す図。
【図１７】図７のマークを使用した場合に、撮像画像中から図７のマークを抽出する他の手法を示す図。
【符号の説明】
【００９１】
１…ディスプレイ
２…撮像装置
３…Ａ／Ｄ変換器
４…フレームメモリ
５…位置検出部
６…ディスプレイ制御部
５０…フィルタ処理部
５１…マーク検出部
５２…マーク種別検出部
５３…指標線分選定部
５４…ディスプレイ四隅位置演算部
５５…相対座標検出部
【図１】
2005275568.tif 000003
【図２】
2005275568.tif 000004
【図３】
2005275568.tif 000005
【図４】
2005275568.tif 000006
【図５】
2005275568.tif 000007
【図６】
2005275568.tif 000008
【図７】
2005275568.tif 000009
【図８】
2005275568.tif 000010
【図９】
2005275568.tif 000011
【図１０】
2005275568.tif 000012
【図１１】
2005275568.tif 000013
【図１２】
2005275568.tif 000014
【図１３】
2005275568.tif 000015
【図１４】
2005275568.tif 000016
【図１５】
2005275568.tif 000017
【図１６】
2005275568.tif 000018
【図１７】
2005275568.tif 000019