(57)【要約】【課題】指示装置が指示する対象物を簡易かつ高精度に測定することができる対象物認識装置等を提供する。【解決手段】平面上の３つ以上の点からなる第１基準点および１つの点からなり第１基準点を頂点として形成される多角形の外側にある第２基準点が配置された指示装置１００を撮影するカメラ２０と、第１基準点の互いの位置関係、第２基準点の第１基準点との位置関係および対象物の三次元位置を記憶する記憶部と、撮影部により撮影された第１基準点の画像および第２基準点の画像の位置関係から、第１基準点の画像と第２基準点の画像とを識別する識別部と、記憶部から第１基準点の互いの位置関係、第２基準点の第１基準点との位置関係および対象物の三次元位置を読み出し、識別部により区別された第１基準点の画像および第２基準点の画像から指示装置１００が指示する対象物３００を特定する演算部と、を備えることを特徴とする対象物認識装置２００。【選択図】図１
2009199247.tif 000002
【特許請求の範囲】
【請求項１】
平面上の３つ以上の点からなる第１基準点および１つの点からなり当該第１基準点を頂点として形成される多角形の外側にある第２基準点が配置された指示装置を撮影する撮影部と、
前記第１基準点の互いの位置関係、前記第２基準点の当該第１基準点との位置関係および対象物の三次元位置を記憶する記憶部と、
前記撮影部により撮影された第１基準点の画像および第２基準点の画像の位置関係から、当該第１基準点の画像と当該第２基準点の画像とを識別する識別部と、
前記記憶部から前記第１基準点の互いの位置関係、前記第２基準点の当該第１基準点との位置関係および対象物の三次元位置を読み出し、前記識別部により区別された前記第１基準点の画像および前記第２基準点の画像から前記指示装置が指示する対象物を特定する演算部と、
を備えることを特徴とする対象物認識装置。
【請求項２】
前記演算部は、前記撮影部により撮影された前記第１基準点の画像および前記第２基準点の画像の位置関係から前記指示装置の三次元位置、三軸角度および指示方向を求め、当該指示装置の三次元位置、三軸角度および指示方向から当該指示装置の指示する対象物を特定することを特徴とする請求項１に記載の対象物認識装置。
【請求項３】
前記演算部は、前記撮影部と前記指示装置との相対位置および当該撮影部と所定の基準器との相対位置から当該指示装置の三次元位置を演算することを特徴とする請求項１に記載の対象物認識装置。
【請求項４】
前記撮影部は、複数あり、
前記複数の撮影部のうち少なくとも１つにより前記指示装置を撮影し、当該指示装置が指示する対象物を特定することを特徴とする請求項１に記載の対象物認識装置。
【請求項５】
撮影された画像から指示装置の指示する対象物を特定する装置に用いられる当該指示装置であり、
前記指示装置は、互いの位置関係が特定されている４つ以上の点が配置され、当該点は、平面上の３つ以上の点からなる第１基準点と当該第１基準点を頂点として形成される多角形の外側にあり１つの点からなる当該指示装置の指示方向を決定するための第２基準点より構成されることを特徴とする指示装置。
【請求項６】
前記第１基準点は、当該第１基準点を頂点とする凸型多角形を形成するように配置されることを特徴とする請求項５に記載の指示装置。
【請求項７】
前記第２基準点は、前記第１基準点が配される前記平面上には配置されないことを特徴とする請求項５に記載の指示装置。
【請求項８】
前記第２基準点は、前記第１基準点と当該第２基準点とから構成される点の重心位置に対し、当該第１基準点のどの点よりも遠い位置に配置されることを特徴とする請求項５に記載の指示装置。
【請求項９】
前記第２基準点は、前記第１基準点から任意に２点を選択したときの当該２点間のどの距離よりも短い距離にて当該第１基準点のいずれかの点に隣接して配置されることを特徴とする請求項５に記載の指示装置。
【請求項１０】
前記第１基準点は、平行四辺形を形成するように配置される４つの点からなることを特徴とする請求項５に記載の指示装置。
【請求項１１】
前記第１基準点および前記第２基準点は、発光点により構成されることを特徴とする請求項５に記載の指示装置。
【請求項１２】
コンピュータに、
指示装置上に配置され撮影部により撮影された平面上の３つ以上の点からなる第１基準点の画像および１つの点からなり当該第１基準点を頂点として形成される多角形の外側にある第２基準点の画像の位置関係から、当該第１基準点の画像と当該第２基準点の画像とを識別する機能と、
メモリから前記第１基準点の互いの位置関係、前記第２基準点の当該第１基準点との位置関係および対象物の三次元位置を読み出し、当該位置関係から前記指示装置が指示する対象物を特定する機能と、
を実現させるプログラム。
【請求項１３】
前記第１基準点の画像と前記第２基準点の画像との識別は、撮影された点のうち１つの点と他の点との距離の総和を当該撮影された点の全てについて求め、当該総和を比較し、当該総和が最大となる場合の前記１つの点を第２基準点とすることにより行うことを特徴とする請求項１２に記載のプログラム。
【請求項１４】
前記第１基準点の画像と前記第２基準点の画像との識別は、撮影された点のうち１つの点を除いた他の点が作る距離の総和を当該撮影された点の全てについて求め、当該総和を比較し、当該総和が最小となる場合の前記１つの点を第２基準点とすることにより行うことを特徴とする請求項１２に記載のプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、三次元空間において指示装置が指示する対象物を特定する対象物認識装置等に関する。
【背景技術】
【０００２】
所定の対象物の三次元空間における位置を計測する手段として、２台のカメラで対象物を撮影し、カメラ同士の間の距離を基線とした三角測量によって対象物の位置座標を算出する方法がよく用いられる。また、レーザ光源から出射されたレーザ光を対象物に照射し、これにより生じた光点の三次元空間における位置を計測することにより対象物を特定する技術が存在する。
【０００３】
例えば、特許文献１には、レーザポインタで形成される光点により指示される被計測点を含む領域を複数のカメラで撮影し、この画像信号はカメラ識別信号発生器によって生成されたカメラ識別信号が付加された上で、ホストコンピュータに入力され、ホストコンピュータは、入力された画像からカメラ識別信号を検出し、当該画像の撮影元のカメラを特定する。そして１対の画像について、画像内の光点位置と撮影元カメラの位置等のデータに基づき三角測量演算を行って被計測点の三次元位置を算出する三次元位置計測システムが開示されている。
【０００４】
また、特許文献２には、表示画像を撮影するカメラと、撮影画像に含まれる指示像から表示画像内のポインティング位置を検出する第１の検出処理を行うとともに、撮影画像に含まれるレーザポインタのポイント像から表示画像内のポインティング位置を検出する第２の検出処理を行う処理部と、を含むポインティング位置検出装置が開示されている。
【０００５】
また更に、特許文献３には、リモコン装置の位置指定装置によって、可視光のビーム光とスリット拡散光であるプローブ光を投射し、位置検出装置の表示装置（ディスプレイ）の表示領域外に配置した光検出器でプローブ光を検出し、そのプローブ光を検出した光検出器の位置とプローブ光の光強度とに基づいて、ビーム光で指定された指示位置を特定することを特徴とする位置検出装置が開示されている。
また更に、特許文献４には、少なくとも３個の第１の発光素子と、第１の発光素子により囲まれる平面内平面と直交する、直交軸上に配した第２の発光素子とから構成する指示手段と、指示手段の第１と第２の発光素子の相対位置関係を撮像する撮像手段と、撮像手段が撮像した映像信号から指示手段が撮像手段に対して示す向きを求めて平面座標に変換する座標変換手段と、座標変換手段で求めた座標を出力する出力手段と、出力手段で求めた座標にもとづき画面上の指示情報を表示する表示手段を備えたことを特徴とする遠隔座標入力装置が開示されている。
【０００６】
【特許文献１】特開平１１−２３２６２号公報
【特許文献２】特開２０００−２７６２９７号公報
【特許文献３】特開２００４−１７１０５４号公報
【特許文献４】特開平１１−１４３６２９号公報
【発明の開示】
【発明が解決しようとする課題】
【０００７】
このような装置においては、簡単な構成で指示位置を精度よく計測できることが望まれる。
本発明の目的は、指示装置が指示する対象物を簡易かつ高精度に測定することができる対象物認識装置等を提供することにある。
【課題を解決するための手段】
【０００８】
請求項１に係る発明は、
平面上の３つ以上の点からなる第１基準点および１つの点からなり当該第１基準点を頂点として形成される多角形の外側にある第２基準点が配置された指示装置を撮影する撮影部と、
前記第１基準点の互いの位置関係、前記第２基準点の当該第１基準点との位置関係および対象物の三次元位置を記憶する記憶部と、
前記撮影部により撮影された第１基準点の画像および第２基準点の画像の位置関係から、当該第１基準点の画像と当該第２基準点の画像とを識別する識別部と、
前記記憶部から前記第１基準点の互いの位置関係、前記第２基準点の当該第１基準点との位置関係および対象物の三次元位置を読み出し、前記識別部により区別された前記第１基準点の画像および前記第２基準点の画像から前記指示装置が指示する対象物を特定する演算部と、
を備えることを特徴とする対象物認識装置である。
【０００９】
請求項２に係る発明は、
前記演算部は、前記撮影部により撮影された前記第１基準点の画像および前記第２基準点の画像の位置関係から前記指示装置の三次元位置、三軸角度および指示方向を求め、当該指示装置の三次元位置、三軸角度および指示方向から当該指示装置の指示する対象物を特定することを特徴とする請求項１に記載の対象物認識装置である。
請求項３に係る発明は、
前記演算部は、前記撮影部と前記指示装置との相対位置および当該撮影部と所定の基準器との相対位置から当該指示装置の三次元位置を演算することを特徴とする請求項１に記載の対象物認識装置である。
請求項４に係る発明は、
前記撮影部は、複数あり、
前記複数の撮影部のうち少なくとも１つにより前記指示装置を撮影し、当該指示装置が指示する対象物を特定することを特徴とする請求項１に記載の対象物認識装置である。
【００１０】
請求項５に係る発明は、
撮影された画像から指示装置の指示する対象物を特定する装置に用いられる当該指示装置であり、
前記指示装置は、互いの位置関係が特定されている４つ以上の点が配置され、当該点は、平面上の３つ以上の点からなる第１基準点と当該第１基準点を頂点として形成される多角形の外側にあり１つの点からなる当該指示装置の指示方向を決定するための第２基準点より構成されることを特徴とする指示装置である。
【００１１】
請求項６に係る発明は、
前記第１基準点は、当該第１基準点を頂点とする凸型多角形を形成するように配置されることを特徴とする請求項５に記載の指示装置である。
請求項７に係る発明は、
前記第２基準点は、前記第１基準点が配される前記平面上には配置されないことを特徴とする請求項５に記載の指示装置である。
請求項８に係る発明は、
前記第２基準点は、前記第１基準点と当該第２基準点とから構成される点の重心位置に対し、当該第１基準点のどの点よりも遠い位置に配置されることを特徴とする請求項５に記載の指示装置である。
請求項９に係る発明は、
前記第２基準点は、前記第１基準点から任意に２点を選択したときの当該２点間のどの距離よりも短い距離にて当該第１基準点のいずれかの点に隣接して配置されることを特徴とする請求項５に記載の指示装置である。
請求項１０に係る発明は、
前記第１基準点は、平行四辺形を形成するように配置される４つの点からなることを特徴とする請求項５に記載の指示装置である。
請求項１１に係る発明は、
前記第１基準点および前記第２基準点は、発光点により構成されることを特徴とする請求項５に記載の指示装置である。
【００１２】
請求項１２に係る発明は、
コンピュータに、
指示装置上に配置され撮影部により撮影された平面上の３つ以上の点からなる第１基準点の画像および１つの点からなり当該第１基準点を頂点として形成される多角形の外側にある第２基準点の画像の位置関係から、当該第１基準点の画像と当該第２基準点の画像とを識別する機能と、
メモリから前記第１基準点の互いの位置関係、前記第２基準点の当該第１基準点との位置関係および対象物の三次元位置を読み出し、当該位置関係から前記指示装置が指示する対象物を特定する機能と、
を実現させるプログラムである。
【００１３】
請求項１３に係る発明は、
前記第１基準点の画像と前記第２基準点の画像との識別は、撮影された点のうち１つの点と他の点との距離の総和を当該撮影された点の全てについて求め、当該総和を比較し、当該総和が最大となる場合の前記１つの点を第２基準点とすることにより行うことを特徴とする請求項１２に記載のプログラムである。
請求項１４に係る発明は、
前記第１基準点の画像と前記第２基準点の画像との識別は、撮影された点のうち１つの点を除いた他の点が作る距離の総和を当該撮影された点の全てについて求め、当該総和を比較し、当該総和が最小となる場合の前記１つの点を第２基準点とすることにより行うことを特徴とする請求項１２に記載のプログラムである。
【発明の効果】
【００１４】
請求項１の発明によれば、本構成を採用しない場合に比較してより簡易な構成で、撮影部により撮影された第１基準点の画像および第２基準点の画像から、指示装置が指示する対象物を高精度に特定できる対象物認識装置を得ることができる。
請求項２の発明によれば、第１基準点の画像および第２基準点の画像から、第１基準点が配置された平面とその向きが特定されることによって、この平面が設定された指示装置の三次元位置および三軸角度を計測できる。また、第２基準点の第１基準点との位置関係により指示装置の指示方向を求めることができる。
請求項３の発明によれば、撮影部、指示装置、対象物について統一された座標系で、その三次元位置を高精度に演算することができる。
請求項４の発明によれば、１つの撮影部では、指示装置を撮影するのが困難な場合でも指示装置の撮影を行うことができ、指示装置が指示する対象物を特定することができる。
請求項５の発明によれば、本構成を採用しない場合に比較して、より簡易な構成で、第１基準点および第２基準点が配置でき、指示方向を高精度に特定できる指示装置が得られる。
請求項６の発明によれば、本構成を採用しない場合に比較して、第１基準点および第２基準点を配置するのに、より小さい面積で足りるので、より小さい指示装置を得ることができる。
請求項７の発明によれば、指示装置の三次元位置、三軸角度および指示方向を本構成を採用しない場合に比較して、より高精度に演算できる。
請求項８の発明によれば、第１基準点および第２基準点の重心位置により、撮影部により撮影された第１基準点の画像と第２基準点の画像との識別を行うことができる。
請求項９の発明によれば、第１基準点および第２基準点の各点の相互の距離により、撮影部により撮影された第１基準点の画像と第２基準点の画像との識別を行うことができる。
請求項１０の発明によれば、４つの点よりなる第１基準点の幾何学的特徴に基づき、撮影部により撮影された第１基準点の画像と第２基準点の画像との識別を行うことができる。
請求項１１の発明によれば、本構成を採用しない場合に比較して、より確実に指示装置に設けられた第１基準点および第２基準点の認識を行うことができる。
請求項１２の発明によれば、指示装置に配置された第１基準点の位置および第２基準点の位置により、指示装置が指示する対象物を特定する機能を、コンピュータにより実現できる。
請求項１３の発明によれば、本構成を採用しない場合に比較して、高精度に第１基準点の画像と第２基準点の画像の識別を行うことができる機能を、コンピュータにより実現でき、第１基準点の数が多い場合でもより簡単に第１基準点の画像と第２基準点の画像の識別を行うことができる。
請求項１４の発明によれば、本構成を採用しない場合に比較して、高精度に第１基準点の画像と第２基準点の画像の識別を行うことができる機能を、コンピュータにより実現できる。
【発明を実施するための最良の形態】
【００１５】
以下、添付図面を参照して、本発明の実施形態について詳細に説明する。
＜システム構成＞
図１は、本実施形態が適用される対象物認識装置、指示装置、および対象物を含む対象物認識システムの全体構成を示す図である。
図１に示す対象物認識システムは、撮影対象である指示装置１００と、指示装置１００の三次元位置、三軸角度、および指示方向を計算し、これらの情報から指示装置が指示する対象物３００を特定する対象物認識装置２００から構成されている。そして、対象物認識装置２００は、指示装置１００を撮影する撮影部の一例としてのカメラ２０と、カメラ２０により撮影された画像に基づいて指示装置１００の三次元位置、三軸角度、および指示方向を演算する演算装置３０とを備える。
【００１６】
図２は、本実施形態が適用される指示装置１００の構成を示す図である。
図２（Ａ）に示すように、指示装置１００には、指示装置１００の三次元位置および三軸角度を計算するために用いられる第１基準点１１〜１４と、所定の情報を付加するために用いられる第２基準点１５とが設けられている。第１基準点１１〜１４および第２基準点１５は、互いの位置関係が予め定義されており、ＬＥＤ（Light Emitting Diode）で構成される。また指示装置１００は、このＬＥＤの発光を制御する発光制御装置１６を内部に備える。
【００１７】
第１基準点１１〜１４は、指示装置１００の表面に設けられる。一方、第２基準点１５は、指示装置１００に取り付けられた脚の先端に設けられる。
第１基準点１１〜１４により形成される四角形の形状は、例えば平行四辺形とすることができる。図２に示す例では、平行四辺形の一形態である正方形の形状とし、その一辺を５１ｍｍとした。
また、第２基準点１５は、後に詳述する第１基準点１１〜１４と第２基準点１５との識別の必要性から、配置に対し一定の条件を満たす必要がある。例えば、第１基準点１１〜１４を頂点として形成される多角形である正方形の外側にあり、第１基準点１１〜１４および第２基準点１５からなる５つの点の重心から最も遠い位置に配置することが考えられる。第２基準点１５は、撮像部から見て第１基準点１１〜１４の外側にあるように設ける。ここでは、この正方形の対角線の交点から第１基準点１２と第１基準点１３を結ぶ線分の中点の方向へ４６ｍｍ離れた箇所に長さ７ｍｍの脚を付け、その先端に第２基準点１５を設けた。
【００１８】
第２基準点１５が設けられる脚の長さは任意であるが、指示装置１００がカメラ２０の撮像面に対して傾いた場合でも、第２基準点１５の画像（カメラ２０（図１参照）により撮影された点の画像、以下、他の点についても同じ）が第１基準点１１〜１４および第２基準点１５の画像により形成される各点の重心に最も遠い位置を保持できることが条件となる。したがって、実際の使用において、指示装置１００がカメラ２０の撮像面に対してどの程度傾けることがあり得るかに応じて定めれば良い。
【００１９】
またここでは、第２基準点１５は、脚を設けその先端に配置することで、第１基準点１１〜１４が配置される平面上に配置しなかったが、特にこれに限られるものではなく第１基準点１１〜１４と同一の平面上に配置してもかまわない。但し、後に詳述する第１基準点と第２基準点との識別が、より精度良くできることから上述したように第２基準点１５は、第１基準点１１〜１４が配置される平面と同一の平面上に配置しない方が好ましい。
【００２０】
第２基準点１５には、指示装置１００であるデバイスの用途に応じて所定の情報が付加され任意の役割が与えられる。例えば、指示装置１００で指示する対象物３００の電源のＯＮ−ＯＦＦ等の操作を行う意味を、第２基準点１５の点滅で表現することが可能である。
【００２１】
なお、図１および図２には、指示装置１００として第１基準点１１〜１４、第２基準点１５が設けられた直方体状のものが記載されている。しかし、本実施形態では、カメラ２０により撮影された第１基準点１１〜１４の画像に基づいて指示装置１００の三次元位置および三軸角度を計算するものであるから、第１基準点１１〜１４および第２基準点１５が上記の位置関係をなすのであれば良く、指示装置１００自体の形状は何ら限定されない。また、第２基準点１５は、上述の例では第１基準点１１〜１４が含まれる平面に対して一定の高さに配置されれば良いので、必ずしも図２（Ｂ）に示すような脚を設けて配置しなくても良い。例えば、指示装置１００の表面が、第１基準点１１〜１４が含まれる平面に対して凸状に隆起した形状を有するならば、指示装置１００の表面に直接第２基準点１５を配置しても良い。
【００２２】
図３は、カメラ２０の構成例を示す図である。
カメラ２０は、第１基準点１１〜１４および第２基準点１５から発射された光を収束する光学系２１と、光学系２１により収束された光を検出する撮像手段であるイメージセンサ２２とを備える。
【００２３】
光学系２１は、単一のレンズまたは複数のレンズを組み合わせて構成される。例えば、２つの半球レンズを使用し、その球面側を向かい合わせに組み合わせたツインレンズが用いられる。レンズの組み合わせおよびレンズ表面に施されたコーティング等により、各種の不要な収差は適切に除去されている。
【００２４】
イメージセンサ２２は、ＣＣＤ（Charge Coupled Device）やＣＭＯＳ（Complementary Metal Oxide Semiconductor）等の撮像素子を配列して構成される。このイメージセンサ２２の表面がカメラ２０の撮像面となる。イメージセンサ２２の前面に、第１基準点１１〜１４および第２基準点１５に用いられるＬＥＤの発光波長に応じたフィルタを設置することにより、余計な光が排除され、第１基準点１１〜１４および第２基準点１５のみが撮影されることとなる。具体的には例えば、第１基準点１１〜１４および第２基準点１５に用いられるＬＥＤの発光波長を９００ｎｍとした場合、イメージセンサ２２の前面に８５０ｎｍよりも長い波長だけを透過するフィルタを設置する。
【００２５】
図４は、演算装置３０の構成を説明した図である。
演算装置３０は、図４に示したように、第１基準点（図２参照）の互いの位置関係、第２基準点（図２参照）の第１基準点との位置関係、および対象物３００（図２参照）の三次元位置を記憶する記憶部３１、撮影部により撮影された入力画像中を取り込み、第１基準点の画像と第２基準点の画像との位置関係に基づき、第１基準点の画像と第２基準点の画像とを識別する識別部３２、記憶部３１より第１基準点の互いの位置関係、第２基準点の第１基準点との位置関係、および対象物の三次元位置を読み出し、識別部３２により区別された第１基準点の画像および第２基準点の画像から指示装置１００（図２参照）が指示する対象物３００を特定し、認識結果を出力する演算部３３とからなる。
【００２６】
また、図５は、演算装置３０の動作を説明したフローチャートである。
以下、図４と図５に基づき、演算装置３０の動作の概略を説明する。
演算装置３０は、例えばパーソナルコンピュータ等で実現される。識別部３２は、カメラ２０により撮影された入力画像を取得し（ステップ１０１）、入力画像中の各点の画像が、第１基準点と第２基準点のうちどちらかに該当する画像かをまず識別する（ステップ１０２）。
次に、演算部３３が、第１基準点の互いの位置関係、および第２基準点の第１基準点との位置関係を記憶部３１から読み出す（ステップ１０３）。そして、演算部３３は、これらの位置関係と撮影された第１基準点の画像と第２基準点の画像との位置関係に基づき、指示装置１００の三次元位置、三軸角度、および指示方向を求める（ステップ１０４）。
また、演算部３３は、記憶部３１から対象物３００の三次元位置を読み出し（ステップ１０５）、指示装置１００の三次元位置、三軸角度、および指示方向に基づき、指示装置１００が指示する対象物３００を特定し、認識する（ステップ１０６）。
【００２７】
＜画像における第１識別点と第２識別点の識別＞
次に、カメラ２０により撮影された画像から、第１基準点および第２基準点の各々の画像を識別する方法を説明する。
図６は、３点の第１基準点と１点の第２基準点を備える指示装置の第１の例である。
図６に示した指示装置１００は、３つの第１基準点１１〜１３が、指示装置１００の上面に三角形（ａ１ａ２ａ３）の形状をなすように配置されている。この三角形（ａ１ａ２ａ３）は特別の特徴を有する必要はないが、図６に示した三角形（ａ１ａ２ａ３）の場合は、辺ａ２ａ３と辺ａ１ａ３の長さが等しい二等辺三角形とした。
そして、第２基準点１５は、第１基準点１１〜１３を頂点として形成される多角形である二等辺三角形の外側にあり、第１基準点１１〜１３、第２基準点１５の４点の重心から最も遠い位置に配置される。また、第２基準点１５は、第１基準点１１〜１３が含まれる平面から一定の高さだけ高い位置（例えば図６における紙面の手前方向）に配置されている。ただし、図６は第１基準点１１〜１３が含まれる平面に垂直な方向から見た図なので、第２基準点１５の高さは図示されていない。
【００２８】
以上のように配置した場合、第１基準点１１〜１３と第２基準点１５との位置関係における幾何学的特徴は、カメラ２０により撮影された画像上の各基準点の画像の位置関係においても保存される。したがって、この幾何学的特徴に基づいて各基準点の画像が第１基準点１１〜１３および第２基準点１５のいずれのものかを特定すれば良い。具体的には、第２基準点１５は、４点の重心から最も遠い位置にあるという位置関係を利用することにより第２基準点１５を識別できる。
【００２９】
なお、第２基準点１５は上述のように、第１基準点１１〜１３により形成される二等辺三角形（ａ１ａ２ａ３）の重心ではなく、重心から一定の高さの位置にある。そのため、厳密には、第１基準点１１〜１３に対する第２基準点１５の位置の幾何学的特徴は、対応する点画像の位置において保存されない。しかし、第１基準点１１〜１３を含む平面と第２基準点１５との間の距離が十分に短ければ、指示装置１００の三軸角度が変化しても、第２基準点１５の位置は三角形（ａ１ａ２ａ３）の重心からそれほど大きくは離れない。したがって、三角形（ａ１ａ２ａ３）の重心に最も遠い位置にある点画像を第２基準点１５の画像として良い。
第２基準点１５を求める別の方法としては、カメラ２０（図１参照）により撮影された点のうち任意の１つの点を選択し他の点との距離の総和を求める。この総和を全ての撮影された点について順番に求め、比較し、この総和が一番大きいときに選択された１つの点が第２基準点１５と判断できる。
【００３０】
図７は、３点の第１基準点と１点の第２基準点を備える指示装置の第２の例である。
図７に示した指示装置１００は、３つの第１基準点１１〜１３が、指示装置１００の上面に三角形（ａ１ａ２ａ３）の形状をなすように配置されている。この三角形（ａ１ａ２ａ３）は図６に示した場合と異なり、二等辺三角形など特別の特徴を有する三角形ではない。
そして、第２基準点１５は、第１基準点１１〜１３を頂点として形成される多角形である三角形の外側にあり、第１基準点１１〜１３、第２基準点１５の４点の重心から最も遠い位置に配置され、第１基準点１１〜１３と第２基準点１５とは、全体として千鳥状に配置される。また、第２基準点１５は、第１基準点１１〜１３が配置される平面上にはなく、指示装置１００の側面に配置される。これにより、上述したような第２基準点１５に脚を設けることにより、第１基準点１１〜１３が含まれる平面から一定の高さだけ高い位置に配置するのと同様の作用が得られる。
【００３１】
一方、図８は、４点の第１基準点と１点の第２基準点を備える指示装置の第１の例である。
上述した図６、図７に示した指示装置１００は、３点の第１基準点と１点の第２基準点を備えた例であったが、図８に示した指示装置１００では、第１基準点が１つ増え４点としている。
図８に示した指示装置１００は、第１基準点１１〜１４が平行四辺形の形状（ａ１ａ２ａ３ａ４）の形状をなすように配置されている。この場合、辺ａ１ａ２と辺ａ３ａ４とは平行であり、また辺ａ２ａ３とａ４ａ１とは平行である。
そして、第２基準点１５は、第１基準点１１〜１４を頂点として形成される多角形である平行四辺形の外側にあり、第１基準点１１〜１４が含まれる平面から一定の高さだけ高い位置に配置されている。
以上のように配置した場合、第１基準点１１〜１４の辺ａ１ａ２と辺ａ３ａ４とが平行で、また辺ａ２ａ３とａ４ａ１とが平行であるという位置関係は、カメラ２０により撮影された画像上の各点の画像の位置関係においても保存される。したがって、この幾何学的特徴に基づいて各基準点の画像が第１基準点１１〜１４および第２基準点１５のいずれのものかを特定すれば良い。
【００３２】
図９は、４点の第１基準点と１点の第２基準点を備える指示装置の第２の例である。
図９に示した指示装置１００は、第１基準点１１〜１４により四角形（ａ１ａ２ａ３ａ４）の形状をなすように配置されているが、この四角形（ａ１ａ２ａ３ａ４）には、図８で示した四角形のように平行四辺形であるなど特別の特徴は有しない。
そして、第２基準点１５は、第１基準点１１〜１４を頂点として形成される多角形である四角形の外側にあり、第１基準点１１〜１４より任意に２点を選択したときのこの２点間のどの距離よりも第１基準点１４に短い距離にて隣接して配置される。また、第２基準点１５は、第１基準点１１〜１４が含まれる平面から一定の高さだけ高い位置に配置されている。
以上のように配置した場合、第２基準点１５が、第１基準点１１〜１４より任意に２点を選択したときのこの２点間のどの距離よりも第１基準点１４に短い距離にあるという位置関係は、カメラ２０により撮影された画像上の各基準点の画像の位置関係においても保存される。したがって、この幾何学的特徴に基づいて各基準点の画像が第１基準点１１〜１４および第２基準点１５のいずれのものかを特定すれば良い。
第２基準点１５を求める別の方法としては、カメラ２０（図１参照）により撮影された点のうち任意の１つの点を順番に選択し、これ以外の他の点間同士の距離の総和を求めて比較し、この総和が一番小さいときに選択された１つの点が第２基準点１５と判断できる。
【００３３】
以上、第１基準点が３点の場合と４点の場合で説明したが、第１基準点が５点以上の場合においても上述した幾何学的特徴に基づき第１基準点と第２基準点を配置することにより、第１基準点と第２基準点との識別を行うことが可能である。
なお、第１基準点が、４点以上から構成される場合は、第１基準点を頂点とする凸型多角形を形成するように配置されることが好ましい。このようにすれば、第１基準点および第２基準点を配置するのに、より小さい面積で足りるので、より小さい指示装置を得ることができる。
【００３４】
＜指示装置１００の三次元位置、三軸角度、指示方向の計算＞
次に、第１基準点と第２基準点の位置に基づいて指示装置１００の三次元位置、三軸角度、および指示方向を計算する方法について説明するが、第１基準点が３点の場合と４点以上の場合とで算出の方法が異なるので別々に説明を行う。
【００３５】
図１０は、第１基準点が３点の場合に指示装置１００の三次元位置および三軸角度を計算する方法を説明する図である。
まず、図１０に示すように、カメラ２０により撮影された画像上（イメージセンサ２２上）の第１基準点１１〜１３の点画像に基づいて、カメラ２０の光学中心Ｏから第１基準点１１〜１３の各々への方向ｄｉ（ｉ＝１、２、３）を算出する。ｄｉは、カメラ２０の撮像面における第１基準点１１〜１３の各点画像と光学中心Ｏとを結ぶ直線上にあり、光学中心Ｏを始点とする規格化された単位ベクトルである。また、第１基準点１１への方向をベクトルｄ１（＝［ｘ１，ｙ１，ｚ１］）、第１基準点１２への方向をベクトルｄ２（＝［ｘ２，ｙ２，ｚ２］）、第１基準点１３への方向をベクトルｄ３（＝［ｘ３，ｙ３，ｚ３］）とする。
【００３６】
カメラ２０の光学中心Ｏを基準として、第１基準点１１の位置ベクトルをａ１、第１基準点１２の位置ベクトルをａ２、第１基準点１３の位置ベクトルをａ３とする。これらの位置ベクトルａｉは、それぞれ上記のベクトルｄｉと重なる。そこで、各位置ベクトルａｉの長さを表す係数をｔ１、ｔ２、ｔ３とすると、各位置ベクトルａｉは次式で表せる。
【００３７】
【数１】
2009199247.tif 000003
【００３８】
第１基準点１１〜１３が形成する三角形の形状は予めわかっているので、三角形の各辺の長さ（各第１基準点１１〜１３間の長さ）を、ａ１ａ２＝Ｌ１、ａ２ａ３＝Ｌ２、ａ３ａ１＝Ｌ３とすると、次式が得られる。
【００３９】
【数２】
2009199247.tif 000004
【００４０】
これを整理すると、次式が得られ、
【００４１】
【数３】
2009199247.tif 000005
【００４２】
さらに次式が得られる。
【００４３】
【数４】
2009199247.tif 000006
【００４４】
実数解を持つために、次式の条件を満たす実数ｔ１、ｔ２、ｔ３をそれぞれ上記の数４式に代入し、数４式が成立する全てのｔ１、ｔ２、ｔ３を求める。
【００４５】
【数５】
2009199247.tif 000007
【００４６】
通常、数５式が成立するｔ１、ｔ２、ｔ３の組は複数存在する。そこで、第２基準点１５の位置に基づいて、複数のｔ１、ｔ２、ｔ３の組（候補）の中から特定の係数ｔ１、ｔ２、ｔ３の組を選択する。
具体的には、まず、算出した全ての係数ｔ１、ｔ２、ｔ３の組に対応する位置ベクトルａ１、ａ２、ａ３の組をそれぞれ算出し、ａ１、ａ２、ａ３の組で構成される三角形の三次元位置と三軸角度を求める。そして、各三角形の三次元位置および三軸角度に基づき、各三角形に対する第２基準点１５の位置を計算し、位置ベクトルａ４とする。次に、位置ベクトルａ４の点をカメラ２０で撮影した場合の画像上の位置（画像位置）を計算し、計算値と実際に撮影された第２基準点１５の画像位置とを比較する。そして、実際の画像位置との差が最も小さい位置ベクトルａ４に対応する三角形を抽出し、この三角形に対応するｔ１、ｔ２、ｔ３の組を正解とする。
【００４７】
以上のようにして、第１基準点１１〜１３の方向ｄ１、ｄ２、ｄ３および距離ｔ１、ｔ２、ｔ３が特定されたため、第１基準点１１〜１３で形成される三角形（およびこれを含む指示装置１００）の三次元位置および三軸角度が求まることとなる。また第１基準点１１〜１３と第２基準点１５との位置関係により、指示装置１００の指示方向が定まることになる。
なお、第１基準点１１〜１３および第２基準点１５を用いた指示装置１００の三次元位置および三軸角度の計算方法は、上記の手順に限定されるものではない。例えば、上記の手順では複数のｔ１、ｔ２、ｔ３の組を求めた後に第２基準点１５の画像位置に基づいて１つの解を抽出したが、初めから第１基準点１１〜１３の各々の画像位置と第２基準点１５の画像位置との関係を考慮して第１基準点１１〜１３および第２基準点１５までの距離ｔ１、ｔ２、ｔ３、ｔ４を求めるようにしても良い。
【００４８】
次に、第１基準点が４点の場合について指示装置１００の三次元位置、三軸角度、および指示方向を算出する方法について説明を行う。
第１基準点１１の位置について、指示装置１００を基準とした座標系における座標を［Ｘ１，Ｙ１，Ｚ１］Ｔとする。また、カメラ２０により撮影された画像上（イメージセンサ２２上）（図３参照）の座標系における第１基準点１１の点の像の座標を［ｕ１，ｖ１］とする。なお以下の説明で、カメラ２０の位置を原点とした座標系をカメラ座標系とし、このカメラ座標系における第１基準点１１の座標を［Ｘｃ1，Ｙｃ1，Ｚｃ1］Ｔとする。
この場合、射影行列Ｐとして３行４列の行列を用いて、以下の関係式が成り立つ。
【００４９】
【数６】
2009199247.tif 000008
【００５０】
数６式の中の射影行列Ｐは定数倍の不定性があり、これが数６式の左辺の係数ｈによって吸収される。よって、Ｐ３４＝１とおくことができる。また、第１基準点１１〜１３は同一平面上にあるために、Ｚ座標を０とすることができる。そこで、Ｚ１＝０とすると、数６式のＺ１に対応する射影行列Ｐの第３列を省略することができる。そのため数６式は、以下のように変形できる。この場合の射影行列の未知数は８個となる。
【００５１】
【数７】
2009199247.tif 000009
【００５２】
この数７式から次の２つの拘束式が得られる。
【００５３】
【数８】
2009199247.tif 000010
【００５４】
数８式で示した関係は、第１基準点１２〜１４についても同様に成り立つ。即ち、第１基準点１２〜１４に対して、以下の関係式が成り立つ。なお、ここで、第１基準点１２〜１４の指示装置１００を基準とした座標系における座標をそれぞれ、［Ｘ２，Ｙ２，Ｚ２］Ｔ、［Ｘ３，Ｙ３，Ｚ３］Ｔ、［Ｘ４，Ｙ４，Ｚ４］Ｔとし、カメラ２０により撮影された画像上の座標系における第１基準点１２〜１４の点の像の座標をそれぞれ、［ｕ２，ｖ２］、［ｕ３，ｖ３］、［ｕ３，ｖ３］としている。また第１基準点１１と同様にＺ２＝Ｚ３＝Ｚ４＝０としている。
【００５５】
【数９】
2009199247.tif 000011
【００５６】
数８式および数９式を整理すると次式が得られる。
【００５７】
【数１０】
2009199247.tif 000012
数１０式において左辺第１項をＡとし、また左辺第２項は射影行列Ｐの３列目がない行列の要素を表していることからＰ３とし、右辺をＢとして書き表すと、以下の式となる。
【００５８】
【数１１】
2009199247.tif 000013
【００５９】
数１１式の両辺にＡの逆行列を左からかけると、
【００６０】
【数１２】
2009199247.tif 000014
【００６１】
となり、Ｐ３を求めることができる。
また、射影行列Ｐは、カメラ内部行列Ｃとカメラ外部行列［ｒ１  ｒ２  ｒ３  ｔ］との積で表すことができる。
【００６２】
【数１３】
2009199247.tif 000015
【００６３】
ここで、ｒ１、ｒ２、ｒ３は、指示装置１００上の座標系をカメラ座標系に変換する回転ベクトルであり、ｔは、平行移動ベクトルである。そして、これらのベクトルは全て３つの要素を有する列ベクトルとして表される。Ｐ３は射影行列Ｐの第３列目がない行列であるので、
【００６４】
【数１４】
2009199247.tif 000016
【００６５】
となる。よって、
【００６６】
【数１５】
2009199247.tif 000017
【００６７】
となり、列ベクトルｒ１、ｒ２、ｔを算出することができる。また、ｒ３は、ｒ１、ｒ２と直交することから、
【００６８】
【数１６】
2009199247.tif 000018
【００６９】
と表すことができる。よって数１６式よりｒ３を算出することができる。以上のようにして回転ベクトルｒ１、ｒ２、ｒ３と、平行移動ベクトルｔが全て算出できたことになる。そこで、Ｒ＝［ｒ１  ｒ２  ｒ３］とすると、第１基準点１１〜１４の三次元位置は、カメラ座標系を使用して、以下のように表すことができる。なおここで、カメラ座標系における第１基準点１２〜１４の座標をそれぞれ［Ｘｃ２，Ｙｃ２，Ｚｃ２］Ｔ、［Ｘｃ３，Ｙｃ３，Ｚｃ３］Ｔ、［Ｘｃ４，Ｙｃ４，Ｚｃ４］Ｔとしている。
【００７０】
【数１７】
2009199247.tif 000019
【００７１】
数１７式の関係式から、第１基準点１１〜１４のカメラ座標系が特定できるため、指示装置１００の三次元位置および三軸角度が求まることとなる。また第１基準点１１〜１４と第２基準点１５との位置関係により、指示装置１００の指示方向が定まることになる。
なお、以上の説明は、第１基準点が４点の場合を説明したが、５点以上になった場合も同様の手法を用いて算出可能である。
【００７２】
＜対象物の特定＞
上述のようにして求めた指示装置１００の三次元位置、三軸角度、および指示方向より、指示装置１００が指示する対象物を特定することができる。即ち、記憶部には種々の対象物の三次元位置が記憶されており、その三次元位置を読み出して対比することにより、どの対象物が指示されているかを算出し、特定することができる。
この場合例えば、対象物として部屋の中にあるテレビの画面を指示装置１００が指示していたとする。ここで、対象物認識装置から別途設けた制御装置に情報を送ることでテレビに対し特定の動作を行わせることができる。例えば、電源のＯＮ−ＯＦＦなどである。また、他の場所を指示装置１００により指示することで、チャンネルの切り替えや音量の調整など他の動作を行わせることもできる。指示する場所はテレビの画面等に限られるものではなく、例えば、テレビ横の壁面の特定の場所を上記のような動作を行わせるための場所として指定してもよい。この際に指示装置１００の先端にレーザポインタなどを取り付け、指示装置１００により指示されている場所をレーザが照射される位置により操作者にわかるようにしてもよい。この場合、指示装置１００の操作者は、より的確に対象物を指定できるようになる。
【００７３】
＜他の座標系を用いた対象物認識システム＞
以上の説明は、カメラ位置を原点としたカメラ座標系を用いる場合であったが、別の座標系を用いてもかまわない。例えば、部屋等の三次元空間のある地点を原点とし、それを基準とした座標系を用いることもできる。この座標系をここではワールド座標系と呼ぶことにする。
図１１は、ワールド座標系を用いて指示装置１００の三次元位置、三軸角度、および指示方向を求める場合について説明した図である。
【００７４】
図１１に示す対象物認識システムは、撮影対象である指示装置１００と、指示装置１００の三次元位置、三軸角度、および指示方向を計算し、これらの情報から指示装置１００が指示する対象物３００を特定する対象物認識装置２００と、ワールド座標系において特定の位置に置かれる位置基準器（基準器）４００とから構成されている。対象物認識装置２００は、図１に示した対象物認識システムと同様に指示装置１００を撮影する撮影部の一例としてのカメラ２０と、カメラ２０により撮影された画像に基づいて指示装置１００の三次元位置および三軸角度、および指示方向を計算する演算装置３０とを備える。
【００７５】
位置基準器４００は、図２等で説明した指示装置１００と同様の構成を有する。例えば、図１１で示した位置基準器４００は、第１基準点４１〜４４と第２基準点４５とが設けられている。第１基準点４１〜４４および第２基準点４５は、互いの位置関係が予め定義されており、ＬＥＤ（Light Emitting Diode）で構成される。この第１基準点４１〜４４および第２基準点４５の位置関係は、図８等で説明したような所定の関係を満たす位置関係にある。その配列は、指示装置１００と同一であってもよく、また異なっていてもよい。
【００７６】
以下、ワールド座標系を用いることで、指示装置１００の三次元位置および三軸角度、および指示方向を計算する方法について説明を行う。
前述の通り指示装置１００を基準とした座標系における座標を［Ｘ１，Ｙ１，Ｚ１］Ｔとし、カメラ位置を原点としたカメラ座標系における指示装置１００の上の第１基準点１１の座標を［Ｘｃ1，Ｙｃ1，Ｚｃ1］Ｔとする。また、ワールド座標系における指示装置１００の上の第１基準点１１の座標を［ＸW1，ＹW1，ＺW1］Ｔとすると以下の２つの関係が成り立つ。
【００７７】
【数１８】
2009199247.tif 000020
【００７８】
よって、ワールド座標系と、指示装置１００を基準とした座標系の関係は以下の式で表すことができる。
【００７９】
【数１９】
2009199247.tif 000021
【００８０】
即ち、指示装置１００を基準とした座標系は、以下の関係式によりワールド座標系に変換できる。
【００８１】
【数２０】
2009199247.tif 000022
【００８２】
同様にして、第１基準点１２〜１４については、以下の関係となる。
【００８３】
【数２１】
2009199247.tif 000023
【００８４】
数２０式および数２１式で示した関係を使用することで、ワールド座標系における指示装置１００の三次元位置および三軸角度、および指示方向を計算することができる。
このようなワールド座標系を用いて位置基準器４００の位置を、例えば原点とすることによりカメラ２０の三次元位置および三軸角度のキャリブレーションを行うことも可能である。
【００８５】
図１２は、ワールド座標系を用いて指示装置１００の三次元位置、三軸角度、および指示方向を求める場合について他の形態を説明した図である。
【００８６】
図１２に示す対象物認識システムは、図１１に示した対象物認識システムに対し、カメラが複数存在する。そして、その１つの例として２台のカメラ２０ａおよび２０ｂを用いて指示装置１００を撮影する構成としている。カメラ２０ａおよび２０ｂは、図示しない位置基準器により予めキャリブレーションされ、ワールド座標系における三次元位置および三軸角度がわかっている。
このような構成の対象物認識システムでは、カメラ２０ａおよび２０ｂのどちらか一方で指示装置１００を撮影できれば、指示装置１００の三次元位置、三軸角度、および指示方向を求めることができる。即ち、広い部屋や廊下のような空間で指示装置１００を操作するような場合などは、１台のカメラではその視野を外れることが多く指示装置１００の追跡が困難である。このような場合でも、カメラを複数設置することにより対応できることになる。
【００８７】
なお、本実施形態では、第１基準点１１〜１４および第２基準点１５をＬＥＤにより構成される発光点としたが、これに限定するものではない。例えば、第１基準点１１〜１４および第２基準点１５としてＬＥＤの代わりに再帰反射板を設け、カメラ２０の近くに設けられた照明装置から光を照射し、再帰反射板による反射光をカメラ２０により撮影するようにしても良い。
【００８８】
以上詳述したような、本実施の形態の対象物認識装置２００等によれば、例えば、従来の少なくとも３個の第１の発光素子と、第１の発光素子により囲まれる平面内平面と直交する、直交軸上に配した第２の発光素子とから構成する指示手段と、指示手段の第１と第２の発光素子の相対位置関係を撮像する撮像手段と、撮像手段が撮像した映像信号から指示手段が撮像手段に対して示す向きを求めて平面座標に変換する座標変換手段と、座標変換手段で求めた座標を出力する出力手段と、出力手段で求めた座標にもとづき画面上の指示情報を表示する表示手段を備えたことを特徴とする遠隔座標入力装置等に比して、次のような利点を有する。
（１）上記従来の遠隔座標入力装置等では、指示手段が、どこを向いているかの方向しかわからないが、本実施の形態の対象物認識装置等によれば、方向のみではなく、位置と角度がわかり、それらの値の精度も高い。
（２）上記従来の遠隔座標入力装置等では、例えばカメラを取り付けた壁１面程度しか指示することができないが、本実施の形態の対象物認識装置等によれば、カメラを天井に取り付けることにより部屋の中を３６０度どの方向でも指示できる。
（３）上記従来の遠隔座標入力装置等では、第1基準点が存在する平面内の方向を指示することができないが、本実施の形態の対象物認識装置等によれば、第１基準点が存在する平面内の方向を指示することが可能である。
【図面の簡単な説明】
【００８９】
【図１】本実施形態が適用される対象物認識装置、指示装置、および認識対象物を含む対象物認識システムの全体構成を示す図である。
【図２】本実施形態が適用される指示装置の構成を示す図である。
【図３】カメラの構成例を示す図である。
【図４】演算装置の構成を説明した図である。
【図５】演算装置の動作を説明したフローチャートである。
【図６】３点の第１基準点と１点の第２基準点を備える指示装置の第１の例である。
【図７】３点の第１基準点と１点の第２基準点を備える指示装置の第２の例である。
【図８】４点の第１基準点と１点の第２基準点を備える指示装置の第１の例である。
【図９】４点の第１基準点と１点の第２基準点を備える指示装置の第２の例である。
【図１０】第１基準点が３点の場合に指示装置の三次元位置および三軸角度を計算する方法を説明する図である。
【図１１】ワールド座標系を用いて指示装置の三次元位置、三軸角度、および指示方向を求める場合について説明した図である。
【図１２】ワールド座標系を用いて指示装置の三次元位置、三軸角度、および指示方向を求める場合について他の形態を説明した図である。
【符号の説明】
【００９０】
１１〜１４，４１〜４４…第１基準点、１５，４５…第２基準点、２０，２０ａ，２０ｂ…カメラ、２１…光学系、２２…イメージセンサ、３０…演算装置、３１…記憶部、３２…識別部、３３…演算部、１００…指示装置、２００…対象物認識装置、３００…対象物、４００…位置基準器
【図１】
2009199247.tif 000024
【図２】
2009199247.tif 000025
【図３】
2009199247.tif 000026
【図４】
2009199247.tif 000027
【図５】
2009199247.tif 000028
【図６】
2009199247.tif 000029
【図７】
2009199247.tif 000030
【図８】
2009199247.tif 000031
【図９】
2009199247.tif 000032
【図１０】
2009199247.tif 000033
【図１１】
2009199247.tif 000034
【図１２】
2009199247.tif 000035