(57)【特許請求の範囲】
【請求項１】
発光点からなる複数の基準点集合と、
前記発光点を前記基準点集合毎に点灯し、１つの基準点集合の発光点が点灯するときは、当該１つの基準点集合以外の発光点は消灯する制御手段と、を有し、
前記基準点集合は、互いの位置関係が特定されている平面上の３つ以上の第１基準点と当該第１基準点との位置関係が特定されている１つの第２基準点とからなり、他の装置にて撮影された当該基準点集合の当該第１基準点の画像および当該第２基準点の画像の位置関係から対象物が特定されることを特徴とする指示装置。
【請求項２】
前記第２基準点は、前記第１基準点が配される前記平面上には配置されないことを特徴とする請求項１に記載の指示装置。
【請求項３】
前記第１基準点および前記第２基準点の配置は、前記基準点集合毎に異なることを特徴とする請求項１に記載の指示装置。
【請求項４】
前記指示装置が指示する箇所と同一の箇所に可視光線を照射する可視光線照射手段を更に有することを特徴とする請求項１に記載の指示装置。
【請求項５】
平面上の３つ以上の点からなる第１基準点および１つの点からなる第２基準点が複数組配置された指示装置を撮影する撮影部と、
前記第１基準点の互いの位置関係、前記第２基準点の当該第１基準点との位置関係および対象物の三次元位置を記憶する記憶部と、
前記記憶部から前記第１基準点の互いの位置関係および前記第２基準点の当該第１基準点との位置関係を読み出し、前記撮影部により撮影された第１基準点の画像および第２基準点の画像が何れの組の画像であるかを判別する判別部と、
前記記憶部から対象物の三次元位置を読み出し、前記撮影部により撮影された前記第１基準点の画像および前記第２基準点の画像の位置関係から、当該第１基準点の画像と当該第２基準点の画像とを識別し、識別された当該第１基準点の画像と当該第２基準点の画像から前記指示装置の三次元位置、三軸角度および指示方向を求めることで当該指示装置の指示する対象物を特定する演算部と、
を備えることを特徴とする対象物認識装置。
【請求項６】
前記判別部は、前記第１基準点および前記第２基準点の配置の違いにより当該第１基準点および当該第２基準点の画像が何れの組の画像であるかを判別することを特徴とする請求項５に記載の対象物認識装置。
【請求項７】
前記第１基準点の画像および前記第２基準点の画像が複数組撮影されたときは、前記指示装置が指示する対象物を特定するのに適当な組の選択を行う選択部を更に有することを特徴とする請求項５に記載の対象物認識装置。
【請求項８】
コンピュータに、
指示装置上に複数組配置された平面上の３つ以上の点からなる第１基準点および１つの点からなる第２基準点の互いの位置関係をメモリから読み出し、撮影部により撮影された当該第１基準点の画像および当該第２基準点の画像が何れの組の画像であるかを判別する機能と、
メモリから対象物の三次元位置を読み出し、前記撮影部により撮影された前記第１基準点の画像および前記第２基準点の画像の位置関係から、当該第１基準点の画像と当該第２基準点の画像とを識別し、識別された当該第１基準点の画像と当該第２基準点の画像から前記指示装置の三次元位置、三軸角度および指示方向を求めることで当該指示装置の指示する対象物を特定する機能と、
を実現させるプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、三次元空間において対象物を指示する指示装置等に関する。
【背景技術】
【０００２】
所定の対象物の三次元空間における位置を計測する手段として、２台のカメラで対象物を撮影し、カメラ同士の間の距離を基線とした三角測量によって対象物の位置座標を算出する方法がよく用いられる。また、リモコンに取り付けられた発光素子の光量等を検出し、リモコンの姿勢角度を検出する技術が存在する。
【０００３】
例えば、特許文献１には、レーザポインタで形成される光点により指示される被計測点を含む領域を複数のカメラで撮影し、この画像信号はカメラ識別信号発生器によって生成されたカメラ識別信号が付加された上で、ホストコンピュータに入力され、ホストコンピュータは、入力された画像からカメラ識別信号を検出し、画像の撮影元のカメラを特定する。そして１対の画像について、画像内の光点位置と撮影元カメラの位置等のデータに基づき三角測量演算を行って被計測点の三次元位置を算出する三次元位置計測システムが開示されている。
【０００４】
また、特許文献２には、複数の異なる方向に取り付けられた赤外発光素子の内の一つより機器の位置方向確認信号を送信し、機器からの応答信号の有無を確認することを、複数の赤外発光素子全てに対して順次行うことにより機器の位置方向を判断し記憶する双方向リモコンシステムが開示されている。
【０００５】
また更に、特許文献３には、発光素子を順次変位させ、各変位位置で発光素子に発光用信号を供給して位置検出用光信号を発光出力させ、受光装置の位置検出用受光素子で受光入力した受光信号を順次検出して、検出した受光信号を適宜演算処理することにより、基準軸変位角θｓの変位状態を検出する。そして、基準軸変位角θｓの変位状態をポインタに対する指示信号としてポインタの移動を制御する遠隔制御装置が開示されている。
【０００６】
また更に、特許文献４には、基準受信装置から発光された基準放射光を集光レンズを用いずに直接リモコン送信装置の４分割フォトダイオードの受光面へ導光するリモコン送信装置の姿勢角度検出システムが開示されている。
【０００７】
【特許文献１】特開平１１−２３２６２号公報
【特許文献２】特開２０００−４１９９号公報
【特許文献３】特開２００６−１５５３４６号公報
【特許文献４】特開平８−２１０８２５号公報
【発明の開示】
【発明が解決しようとする課題】
【０００８】
このような指示装置においては、指示装置を操作するユーザの使い方によっては、対象物を正確に特定できないことがあり、ユーザの使い方に依存せずに指示装置が指示する対象物を高精度に計測できることが望まれる。
本発明の目的は、対象物を特定するのに、操作するユーザの使い方に依存しにくい指示装置等を提供することにある。
【課題を解決するための手段】
【０００９】
請求項１に係る発明は、発光点からなる複数の基準点集合と、前記発光点を前記基準点集合毎に点灯し、１つの基準点集合の発光点が点灯するときは、当該１つの基準点集合以外の発光点は消灯する制御手段と、を有し、前記基準点集合は、互いの位置関係が特定されている平面上の３つ以上の第１基準点と当該第１基準点との位置関係が特定されている１つの第２基準点とからなり、他の装置にて撮影された当該基準点集合の当該第１基準点の画像および当該第２基準点の画像の位置関係から対象物が特定されることを特徴とする指示装置である。
【００１０】
請求項２に係る発明は、前記第２基準点は、前記第１基準点が配される前記平面上には配置されないことを特徴とする請求項１に記載の指示装置である。
請求項３に係る発明は、前記第１基準点および前記第２基準点の配置は、前記基準点集合毎に異なることを特徴とする請求項１に記載の指示装置である。
請求項４に係る発明は、前記指示装置が指示する箇所と同一の箇所に可視光線を照射する可視光線照射手段を更に有することを特徴とする請求項１に記載の指示装置である。
【００１１】
請求項５に係る発明は、平面上の３つ以上の点からなる第１基準点および１つの点からなる第２基準点が複数組配置された指示装置を撮影する撮影部と、前記第１基準点の互いの位置関係、前記第２基準点の当該第１基準点との位置関係および対象物の三次元位置を記憶する記憶部と、前記記憶部から前記第１基準点の互いの位置関係および前記第２基準点の当該第１基準点との位置関係を読み出し、前記撮影部により撮影された第１基準点の画像および第２基準点の画像が何れの組の画像であるかを判別する判別部と、前記記憶部から対象物の三次元位置を読み出し、前記撮影部により撮影された前記第１基準点の画像および前記第２基準点の画像の位置関係から、当該第１基準点の画像と当該第２基準点の画像とを識別し、識別された当該第１基準点の画像と当該第２基準点の画像から前記指示装置の三次元位置、三軸角度および指示方向を求めることで当該指示装置の指示する対象物を特定する演算部と、を備えることを特徴とする対象物認識装置である。
【００１２】
請求項６に係る発明は、前記判別部は、前記第１基準点および前記第２基準点の配置の違いにより当該第１基準点および当該第２基準点の画像が何れの組の画像であるかを判別することを特徴とする請求項５に記載の対象物認識装置である。
請求項７に係る発明は、前記第１基準点の画像および前記第２基準点の画像が複数組撮影されたときは、前記指示装置が指示する対象物を特定するのに適当な組の選択を行う選択部を更に有することを特徴とする請求項５に記載の対象物認識装置である。
【００１３】
請求項８に係る発明は、コンピュータに、指示装置上に複数組配置された平面上の３つ以上の点からなる第１基準点および１つの点からなる第２基準点の互いの位置関係をメモリから読み出し、撮影部により撮影された当該第１基準点の画像および当該第２基準点の画像が何れの組の画像であるかを判別する機能と、メモリから対象物の三次元位置を読み出し、前記撮影部により撮影された前記第１基準点の画像および前記第２基準点の画像の位置関係から、当該第１基準点の画像と当該第２基準点の画像とを識別し、識別された当該第１基準点の画像と当該第２基準点の画像から前記指示装置の三次元位置、三軸角度および指示方向を求めることで当該指示装置の指示する対象物を特定する機能と、を実現させるプログラムである。
【発明の効果】
【００１４】
請求項１の発明によれば、本構成を採用しない場合に比較して、発光点の撮影をする際に、指示装置の向きや三次元位置に対する影響を受けにくくすることができる。
請求項２の発明によれば、本構成を採用しない場合に比較して、指示装置の三次元位置および三軸角度をより高精度に計測できる。
請求項３の発明によれば、本構成を採用しない場合に比較して、第１基準点の画像および第２基準点の画像が何れの組の画像であるかをより簡単に判別することができる。
請求項４の発明によれば、本構成を採用しない場合に比較して、指示装置の操作をより容易に行うことができる。
請求項５の発明によれば、本構成を採用しない場合に比較して、より簡易な構成で、撮影部により撮影された第１基準点の画像および第２基準点の画像から、指示装置が指示する対象物を高精度に特定できる対象物認識装置を得ることができる。このとき第１基準点の画像および第２基準点の画像から、第１基準点が配置された平面とその向きが特定されることによって、この平面が設定された指示装置の三次元位置および三軸角度を計測できる。また、第２基準点の第１基準点との位置関係により指示装置の指示する対象物を特定することができる。
請求項６の発明によれば、本構成を採用しない場合に比較して、第１基準点の画像および第２基準点の画像が何れの組の画像であるかをより簡単に判別することができる。
請求項７の発明によれば、本構成を採用しない場合に比較して、指示装置が指示する対象物をより高精度に特定することができる。
請求項８の発明によれば、本構成を採用しない場合に比較して、撮影部により撮影された第１基準点の画像および第２基準点の画像から、指示装置が指示する対象物を高精度に特定できる機能を、コンピュータにより実現できる。このとき第１基準点の画像および第２基準点の画像から、第１基準点が配置された平面とその向きが特定されることによって、この平面が設定された指示装置の三次元位置および三軸角度を計測できる。また、第２基準点の第１基準点との位置関係により指示装置の指示する対象物を特定することができる。
【発明を実施するための最良の形態】
【００１５】
以下、添付図面を参照して、本発明の実施形態について詳細に説明する。
＜システム構成＞
図１は、本実施形態が適用される対象物認識装置、指示装置、および対象物を含む対象物認識システムの全体構成を示す図である。
図１に示す対象物認識システムは、撮影対象である指示装置１００と、指示装置１００の三次元位置、三軸角度、および指示方向を計算し、これらの情報から指示装置１００が指示する対象物３００を特定する対象物認識装置２００から構成されている。そして、対象物認識装置２００は、指示装置１００を撮影する撮影部の一例としてのカメラ２０と、カメラ２０により撮影された画像に基づいて指示装置１００の三次元位置、三軸角度、および指示方向を演算する演算装置３０とを備える。
【００１６】
図２（Ａ）〜（Ｂ）は、本実施形態が適用される指示装置１００の構成を示す図である。
指示装置１００は、直方体形状を成し、その４つの各側面に第１基準点と第２基準点とからなる基準点集合をそれぞれ４組備える。
ここで、図２（Ａ）は、指示装置１００を１つの側面上から見た図である。図２（Ａ）に示すように、指示装置１００の１つの側面には、指示装置１００の三次元位置および三軸角度を計算するために用いられる第１基準点１１ａ〜１４ａと、所定の情報を付加するために用いられる第２基準点１５ａとが設けられている。第１基準点１１ａ〜１４ａおよび第２基準点１５ａは、互いの位置関係が予め特定されており、ＬＥＤ（Light Emitting Diode）等の発光点で構成される。
【００１７】
また他の３つの側面には、第１基準点１１ｂ〜１４ｂおよび第２基準点１５ｂと、第１基準点１１ｃ〜１４ｃおよび第２基準点１５ｃと、第１基準点１１ｄ〜１４ｄおよび第２基準点１５ｄとからなる基準点集合がそれぞれ設けられている。
【００１８】
また指示装置１００は、このＬＥＤの点灯を制御する制御手段としての発光制御装置１６を内部に備える。発光制御装置１６は、上述した４組の基準点集合を基準点集合毎に点灯させる。点灯の順番は、任意であり、順番に規則性があっても不規則であってもよい。但し、何れか１つの基準点集合の発光点が点灯するときは、この１つの基準点集合以外の発光点は消灯することが好ましい。このようにすればカメラ２０に撮影される基準点集合が１組のものになりやすく、後で詳述する演算がより簡単になる。また、どの基準点集合も点灯しない時間帯があってもよい。特に各基準点集合の点灯の合間に発光しない時間帯を設ければ、残光の影響などを回避しやすくなるため好ましい。
【００１９】
ここで、基準点集合として、第１基準点１１ａ〜１４ａおよび第２基準点１５ａよりなる基準点集合を例にとり、以下に各基準点の配置等の説明を行う。但し、他の基準点集合である第１基準点１１ｂ〜１４ｂおよび第２基準点１５ｂ、第１基準点１１ｃ〜１４ｃおよび第２基準点１５ｃ、第１基準点１１ｄ〜１４ｄおよび第２基準点１５ｄを選択した場合でも同様のことが言える。
【００２０】
第１基準点１１ａ〜１４ａは、指示装置１００の表面に設けられる。一方、第２基準点１５ａは、指示装置１００に取り付けられた脚の先端に設けられる。
第１基準点１１ａ〜１４ａにより形成される四角形の形状は、例えば平行四辺形とすることができる。図２（Ａ）〜（Ｂ）に示す例では、平行四辺形の一形態である正方形の形状とし、その一辺を５１ｍｍ（図示しない）とした。
また、第２基準点１５ａは、後に詳述する第１基準点１１ａ〜１４ａと第２基準点１５ａとの識別の必要性から、配置に対し一定の条件を満たす必要がある。例えば、第１基準点１１ａ〜１４ａおよび第２基準点１５ａからなる５つの点の重心から最も遠い位置に配置することが考えられる。ここでは、この平行四辺形の対角線の交点から第１基準点１２ａと第１基準点１３ａを結ぶ線分の中点の方向へ４６ｍｍ（図示しない）離れた箇所に長さ７ｍｍ（図示しない）の脚を付け、その先端に第２基準点１５ａを設けた。
【００２１】
第２基準点１５ａが設けられる脚の長さは任意であるが、指示装置１００がカメラ２０の撮像面に対して傾いた場合でも、第２基準点１５ａの画像（カメラ２０（図１参照）により撮影された点の画像、以下、他の点についても同じ）が第１基準点１１ａ〜１４ａおよび第２基準点１５ａの画像により形成される各点の重心に最も遠い位置を保持できることが条件となる。したがって、実際の使用において、指示装置１００がカメラ２０の撮像面に対してどの程度傾けることがあり得るかに応じて定めれば良い。
【００２２】
またここでは、第２基準点１５ａは、脚を設けその先端に配置することで、第１基準点１１ａ〜１４ａが配置される平面上に配置しなかったが、特にこれに限られるものではなく第１基準点１１ａ〜１４ａと同一の平面上に配置してもかまわない。但し、後に詳述する第１基準点１１ａ〜１４ａと第２基準点１５ａとの識別が、より精度良くできることから上述したように第２基準点１５ａは、第１基準点１１ａ〜１４ａが配される平面上に配置されない方が好ましい。
【００２３】
第２基準点１５ａには、指示装置１００であるデバイスの用途に応じて所定の情報が付加され任意の役割が与えられる。例えば、指示装置１００で指示する対象物３００の電源のＯＮ−ＯＦＦ等の操作を行う意味を、第２基準点１５ａの点滅で表現することが可能である。
【００２４】
なお、図１および図２（Ａ）〜（Ｂ）には、指示装置１００として第１基準点１１ａ〜１４ａ、第２基準点１５ａが設けられた直方体形状のものが記載されている。しかし、本実施形態では、カメラ２０により撮影された第１基準点１１ａ〜１４ａの画像に基づいて指示装置１００の三次元位置および三軸角度を計算するものであるから、第１基準点１１ａ〜１４ａおよび第２基準点１５ａが上記の位置関係をなすのであれば良く、指示装置１００自体の形状は何ら限定されない。また、第２基準点１５ａは、上述の例では第１基準点１１ａ〜１４ａが含まれる平面に対して一定の高さに配置されれば良いので、必ずしも図２（Ｂ）に示すような脚を設けて配置しなくても良い。例えば、指示装置１００の表面が、第１基準点１１ａ〜１４ａが含まれる平面に対して凸状に隆起した形状を有するならば、指示装置１００の表面に直接第２基準点１５ａを配置しても良い。
【００２５】
図３は、カメラ２０の構成例を示す図である。
カメラ２０は、第１基準点１１ａ〜１４ａおよび第２基準点１５ａから発射された光を収束する光学系２１と、光学系２１により収束された光を検出する撮像手段であるイメージセンサ２２とを備える。
【００２６】
光学系２１は、単一のレンズまたは複数のレンズを組み合わせて構成される。例えば、２つの半球レンズを使用し、その球面側を向かい合わせに組み合わせたツインレンズが用いられる。レンズの組み合わせおよびレンズ表面に施されたコーティング等により、各種の不要な収差は適切に除去されている。
【００２７】
イメージセンサ２２は、ＣＣＤ（Charge Coupled Device）やＣＭＯＳ（Complementary Metal Oxide Semiconductor）等の撮像素子を配列して構成される。このイメージセンサ２２の表面がカメラ２０の撮像面となる。イメージセンサ２２の前面に、第１基準点１１ａ〜１４ａおよび第２基準点１５ａに用いられるＬＥＤの発光波長に応じたフィルタを設置することにより、余計な光が排除され、第１基準点１１ａ〜１４ａおよび第２基準点１５ａのみが撮影されることとなる。具体的には例えば、第１基準点１１ａ〜１４ａおよび第２基準点１５ａに用いられるＬＥＤの発光波長を９００ｎｍとした場合、イメージセンサ２２の前面に８５０ｎｍよりも長い波長だけを透過するフィルタを設置する。
【００２８】
図４は、演算装置３０の構成を説明した図である。
演算装置３０は、図４に示したように、第１基準点（図２参照）の互いの位置関係、第２基準点（図２参照）の第１基準点との位置関係、および対象物３００（図１参照）の三次元位置を記憶する記憶部３１、カメラ２０により撮影された入力画像を取り込み、第１基準点の画像および第２基準点の画像が何れの組の画像であるかを判別する判別部３２、第１基準点の画像および第２基準点の画像が複数組撮影されたときは、指示装置１００（図１参照）が指示する対象物３００を特定するのに適当な組の選択を行う選択部３３と、記憶部３１から対象物３００の三次元位置を読み出し、第１基準点の画像および第２基準点の画像から指示装置１００が指示する対象物３００を特定し、認識結果を出力する演算部３４とからなる。
【００２９】
また、図５は、演算装置３０の動作を説明したフローチャートである。
以下、図４と図５に基づき、演算装置３０の動作の概略を説明する。
判別部３２は、カメラ２０により撮影された入力画像を取得する（ステップ１０１）。そして、第１基準点の互いの位置関係、および第２基準点の第１基準点との位置関係を記憶部３１から読み出し（ステップ１０２）、撮影された第１基準点の画像および第２基準点の画像が何れの組の画像であるかを判別する（ステップ１０３）。
次に、第１基準点の画像および第２基準点の画像が複数組撮影されたときは、選択部３３が、指示装置１００が指示する対象物３００を特定するのに適当な組の選択を行う（ステップ１０４）。
次に、演算部３４が、記憶部３１から対象物３００の三次元位置を読み出し（ステップ１０５）、第１基準点の画像および第２基準点の画像から指示装置１００が指示する対象物３００を特定する（ステップ１０６）。この演算は、第１基準点の画像および第２基準点の画像の位置関係から、第１基準点の画像と第２基準点の画像とを識別し、識別された第１基準点の画像と第２基準点の画像から指示装置１００の三次元位置、三軸角度および指示方向を求めることで行い、これにより指示装置１００の指示する対象物３００を特定することができる。
【００３０】
なお、これらの機能は、ソフトウェアとハードウェア資源とが協働することにより実現される。即ち、演算装置３０は、例えばパーソナルコンピュータ等であり、パーソナルコンピュータ等内部の図示しないＣＰＵが、記憶部３１、判別部３２、選択部３３、演算部３４の各機能を実現するプログラムを、例えばハードディスク等の外部記憶装置からメインメモリに読み込んで、演算装置３０内にこれらの各機能を実現する。
【００３１】
＜画像における組の判別＞
次に、撮影された第１基準点の画像および第２基準点の画像が何れの組の画像であるかを判別する方法を説明する。
この判別を行うために、例えば、本実施の形態において４組ある第１基準点と第２基準点を全て異なるように配置することが考えられる。このように基準点集合毎に異なるように配置することで、判別部３２は、第１基準点および第２基準点の配置の違いにより第１基準点および第２基準点の画像が何れの組の画像であるかを判別することができる。他の方法としては、第１基準点の個数を各基準点毎に異なるようにしてもよい。また、配置を全て同一にした場合であっても、例えば、点滅させるＬＥＤを各組毎に異ならせ、そのＬＥＤの位置を特定することで、判別部３２は、何れの組のものかを判別することも可能である。
【００３２】
ここで、撮影された第１基準点の画像と第２基準点の画像は２組以上取得し、その中から上述した選択部３３により適当な組を選択するのが好ましい。この選択は、例えば、指示装置１００の三次元位置、三軸角度、および指示方向についてより高精度に演算できる組であることや、または撮影された第１基準点の画像と第２基準点の画像の合計の光量が大きいことなどを基準として行えばよい。このようにすることで、より高精度に指示装置１００が指示する対象物３００を特定できるようになる。
【００３３】
＜画像における第１識別点と第２識別点の識別＞
次に、カメラ２０により撮影された画像から、第１基準点および第２基準点の各々の画像を識別する方法を説明する。
図６は、３点の第１基準点と１点の第２基準点を備える指示装置１００の例である。
図６に示した指示装置１００は、３つの第１基準点１１ａ〜１３ａが、指示装置１００の上面に三角形（ａ１ａ２ａ３）の形状をなすように配置されている。この三角形（ａ１ａ２ａ３）は特別の特徴を有する必要はないが、図６に示した三角形（ａ１ａ２ａ３）の場合は、辺ａ２ａ３と辺ａ１ａ３の長さが等しい二等辺三角形とした。
そして、第２基準点１５ａは、第１基準点１１ａ〜１３ａ、第２基準点１５ａの４点の重心から最も遠い位置に配置される。また、第２基準点１５ａは、第１基準点１１ａ〜１３ａが含まれる平面から一定の高さだけ高い位置（例えば図６における紙面の手前方向）に配置されている。ただし、図６は第１基準点１１ａ〜１３ａが含まれる平面に垂直な方向から見た図なので、第２基準点１５ａの高さは図示されていない。
【００３４】
以上のように配置した場合、第１基準点１１ａ〜１３ａと第２基準点１５ａとの位置関係における幾何学的特徴は、カメラ２０により撮影された画像上の各基準点の画像の位置関係においても保存される。したがって、この幾何学的特徴に基づいて各基準点の画像が第１基準点１１ａ〜１３ａおよび第２基準点１５ａのいずれのものかを特定すれば良い。具体的には、第２基準点１５ａは、４点の重心から最も遠い位置にあるという位置関係を利用することにより第２基準点１５ａを識別できる。
【００３５】
なお、第２基準点１５ａは上述のように、第１基準点１１ａ〜１３ａにより形成される三角形（ａ１ａ２ａ３）の重心ではなく、重心から一定の高さの位置にある。そのため、厳密には、第１基準点１１ａ〜１３ａに対する第２基準点１５ａの位置の幾何学的特徴は、対応する点画像の位置において保存されない。しかし、第１基準点１１ａ〜１３ａを含む平面と第２基準点１５ａとの間の距離が十分に短ければ、指示装置１００の三軸角度が変化しても、第２基準点１５ａの位置は三角形（ａ１ａ２ａ３）の重心からそれほど大きくは離れない。したがって、三角形（ａ１ａ２ａ３）の重心に最も遠い位置にある点画像を第２基準点１５ａの画像として良い。
【００３６】
一方、図７は、４点の第１基準点と１点の第２基準点を備える指示装置１００の例である。
上述した図６に示した指示装置１００は、３点の第１基準点と１点の第２基準点を備えた例であったが、図７に示した指示装置１００では、第１基準点が１つ増え４点としている。
図７に示した指示装置１００は、第１基準点１１ａ〜１４ａが平行四辺形の形状（ａ１ａ２ａ３ａ４）の形状をなすように配置されている。この場合、辺ａ１ａ２と辺ａ３ａ４とは平行であり、また辺ａ２ａ３とａ４ａ１とは平行である。
そして、第２基準点１５ａは、第１基準点１１ａ〜１４ａが含まれる平面から一定の高さだけ高い位置に配置されている。
以上のように配置した場合、第１基準点１１ａ〜１４ａの辺ａ１ａ２と辺ａ３ａ４とが平行で、また辺ａ２ａ３とａ４ａ１とが平行であるという位置関係は、カメラ２０により撮影された画像上の各点の画像の位置関係においても保存される。したがって、この幾何学的特徴に基づいて各基準点の画像が第１基準点１１ａ〜１４ａおよび第２基準点１５ａのいずれのものかを特定すれば良い。
【００３７】
以上、第１基準点が３点の場合と４点の場合で説明したが、第１基準点が５点以上の場合においても上述した幾何学的特徴に基づき第１基準点と第２基準点を配置することにより、第１基準点と第２基準点との識別を行うことが可能である。
【００３８】
＜指示装置１００の三次元位置、三軸角度、指示方向の計算＞
次に、第１基準点と第２基準点の位置に基づいて指示装置１００の三次元位置、三軸角度、および指示方向を計算する方法について説明するが、第１基準点が３点の場合と４点以上の場合とで算出の方法が異なるので別々に説明を行う。
【００３９】
図８は、第１基準点が３点の場合に指示装置１００の三次元位置および三軸角度を計算する方法を説明する図である。
まず、図８に示すように、カメラ２０により撮影された画像上（イメージセンサ２２上）の第１基準点１１ａ〜１３ａの点画像に基づいて、カメラ２０の光学中心Ｏから第１基準点１１ａ〜１３ａの各々への方向ｄｉ（ｉ＝１、２、３）を算出する。ｄｉは、カメラ２０の撮像面における第１基準点１１ａ〜１３ａの各点画像と光学中心Ｏとを結ぶ直線上にあり、光学中心Ｏを始点とする規格化された単位ベクトルである。また、第１基準点１１ａへの方向をベクトルｄ１（＝［ｘ１，ｙ１，ｚ１］）、第１基準点１２ａへの方向をベクトルｄ２（＝［ｘ２，ｙ２，ｚ２］）、第１基準点１３ａへの方向をベクトルｄ３（＝［ｘ３，ｙ３，ｚ３］）とする。
【００４０】
カメラ２０の光学中心Ｏを基準として、第１基準点１１ａの位置ベクトルをａ１、第１基準点１２ａの位置ベクトルをａ２、第１基準点１３ａの位置ベクトルをａ３とする。これらの位置ベクトルａｉは、それぞれ上記のベクトルｄｉと重なる。そこで、各位置ベクトルａｉの長さを表す係数をｔ１、ｔ２、ｔ３とすると、各位置ベクトルａｉは次式で表せる。
【００４１】
【数１】
0005195041.tif 000002
【００４２】
第１基準点１１ａ〜１３ａが形成する三角形の形状は予めわかっているので、三角形の各辺の長さ（各第１基準点１１ａ〜１３ａ間の長さ）を、ａ１ａ２＝Ｌ１、ａ２ａ３＝Ｌ２、ａ３ａ１＝Ｌ３とすると、次式が得られる。
【００４３】
【数２】
0005195041.tif 000003
【００４４】
これを整理すると、次式が得られ、
【００４５】
【数３】
0005195041.tif 000004
【００４６】
さらに次式が得られる。
【００４７】
【数４】
0005195041.tif 000005
ただし、
Ａ１＝ｘ１ｘ２＋ｙ１ｙ２＋ｚ１ｚ２、
Ａ２＝ｘ２ｘ３＋ｙ２ｙ３＋ｚ２ｚ３、
Ａ３＝ｘ３ｘ１＋ｙ３ｙ１＋ｚ３ｚ１
である。
【００４８】
実数解を持つために、次式の条件を満たす実数ｔ１、ｔ２、ｔ３をそれぞれ上記の数４式に代入し、数４式が成立する全てのｔ１、ｔ２、ｔ３を求める。
【００４９】
【数５】
0005195041.tif 000006
【００５０】
通常、数５式が成立するｔ１、ｔ２、ｔ３の組は複数存在する。そこで、第２基準点１５ａの位置に基づいて、複数のｔ１、ｔ２、ｔ３の組（候補）の中から特定の係数ｔ１、ｔ２、ｔ３の組を選択する。
具体的には、まず、算出した全ての係数ｔ１、ｔ２、ｔ３の組に対応する位置ベクトルａ１、ａ２、ａ３の組をそれぞれ算出し、ａ１、ａ２、ａ３の組で構成される三角形の三次元位置と三軸角度を求める。そして、各三角形の三次元位置および三軸角度に基づき、各三角形に対する第２基準点１５ａの位置を計算し、位置ベクトルａ４とする。次に、位置ベクトルａ４の点をカメラ２０で撮影した場合の画像上の位置（画像位置）を計算し、計算値と実際に撮影された第２基準点１５ａの画像位置とを比較する。そして、実際の画像位置との差が最も小さい位置ベクトルａ４に対応する三角形を抽出し、この三角形に対応するｔ１、ｔ２、ｔ３の組を正解とする。
【００５１】
以上のようにして、第１基準点１１ａ〜１３ａの方向ｄ１、ｄ２、ｄ３および距離ｔ１、ｔ２、ｔ３が特定されたため、第１基準点１１ａ〜１３ａで形成される三角形（およびこれを含む指示装置１００）の三次元位置および三軸角度が求まることとなる。また第１基準点１１ａ〜１３ａと第２基準点１５ａとの位置関係により、指示装置１００の指示方向が定まることになる。
なお、第１基準点１１ａ〜１３ａおよび第２基準点１５ａを用いた指示装置１００の三次元位置および三軸角度の計算方法は、上記の手順に限定されるものではない。例えば、上記の手順では複数のｔ１、ｔ２、ｔ３の組を求めた後に第２基準点１５ａの画像位置に基づいて１つの解を抽出したが、初めから第１基準点１１ａ〜１３ａの各々の画像位置と第２基準点１５ａの画像位置との関係を考慮して第１基準点１１ａ〜１３ａおよび第２基準点１５ａまでの距離ｔ１、ｔ２、ｔ３を求めるようにしても良い。
【００５２】
次に、第１基準点が４点の場合について指示装置１００の三次元位置、三軸角度、および指示方向を算出する方法について説明を行う。
第１基準点１１ａの位置について、指示装置１００を基準とした座標系における座標を［Ｘ１，Ｙ１，Ｚ１］Ｔとする。また、カメラ２０により撮影された画像上（イメージセンサ２２上）（図３参照）の座標系における第１基準点１１ａの点の像の座標を［ｕ１，ｖ１］とする。なお以下の説明で、カメラの位置を原点とした座標系をカメラ座標系とし、このカメラ座標系における第１基準点１１ａの座標を［Ｘｃ1，Ｙｃ1，Ｚｃ1］Ｔとする。
この場合、射影行列Ｐとして３行４列の行列を用いて、以下の関係式が成り立つ。
【００５３】
【数６】
0005195041.tif 000007
【００５４】
数６式の中の射影行列Ｐは定数倍の不定性があり、これが数６式の左辺の係数ｈによって吸収される。よって、Ｐ３４＝１とおくことができる。また、第１基準点１１ａ〜１４ａは同一平面上にあるために、Ｚ座標を０とすることができる。そこで、Ｚ１＝０とすると、数６式のＺ１に対応する射影行列の第３列を省略することができる。そのため数６式は、以下のように変形できる。この場合の射影行列の未知数は８個となる。
【００５５】
【数７】
0005195041.tif 000008
【００５６】
この数７式から次の２つの拘束式が得られる。
【００５７】
【数８】
0005195041.tif 000009
【００５８】
数８式で示した関係は、第１基準点１２ａ〜１４ａについても同様に成り立つ。即ち、第１基準点１２ａ〜１４ａに対して、以下の関係式が成り立つ。なお、ここで、第１基準点１２ａ〜１４ａの指示装置１００を基準とした座標系における座標をそれぞれ、［Ｘ２，Ｙ２，Ｚ２］Ｔ、［Ｘ３，Ｙ３，Ｚ３］Ｔ、［Ｘ４，Ｙ４，Ｚ４］Ｔとし、カメラ２０により撮影された画像上の座標系における第１基準点１２ａ〜１４ａの点の像の座標をそれぞれ、［ｕ２，ｖ２］、［ｕ３，ｖ３］、［ｕ４，ｖ４］としている。また第１基準点１１ａと同様にＺ２＝Ｚ３＝Ｚ４＝０としている。
【００５９】
【数９】
0005195041.tif 000010
【００６０】
数８式および数９式を整理すると次式が得られる。
【００６１】
【数１０】
0005195041.tif 000011
数１０式において左辺第１項をＡとし、また左辺第２項は射影行列Ｐの３列目がない行列の要素を表していることからＰ３とし、右辺をＢとして書き表すと、以下の式となる。
【００６２】
【数１１】
0005195041.tif 000012
【００６３】
数１１式の両辺にＡの逆行列を左からかけると、
【００６４】
【数１２】
0005195041.tif 000013
【００６５】
となり、Ｐ３を求めることができる。
また、射影行列Ｐは、カメラ内部行列Ｃとカメラ外部行列［ｒ１  ｒ２  ｒ３  ｔ］との積で表すことができる。
【００６６】
【数１３】
0005195041.tif 000014
【００６７】
ここで、ｒ１、ｒ２、ｒ３は、指示装置１００上の座標系をカメラ座標系に変換する回転ベクトルであり、ｔは、平行移動ベクトルである。そして、これらのベクトルは全て３つの要素を有する列ベクトルとして表される。Ｐ３は射影行列Ｐの第３列目がない行列であるので、
【００６８】
【数１４】
0005195041.tif 000015
【００６９】
となる。よって、
【００７０】
【数１５】
0005195041.tif 000016
【００７１】
となり、列ベクトルｒ１、ｒ２、ｔを算出することができる。また、ｒ３は、ｒ１、ｒ２と直交することから、
【００７２】
【数１６】
0005195041.tif 000017
【００７３】
と表すことができる。よって数１６式よりｒ３を算出することができる。以上のようにして回転ベクトルｒ１、ｒ２、ｒ３と、平行移動ベクトルｔが全て算出できたことになる。そこで、Ｒ＝［ｒ１  ｒ２  ｒ３］とすると、第１基準点１１ａ〜１４ａの三次元位置は、カメラ座標系を使用して、以下のように表すことができる。なおここで、カメラ座標系における第１基準点１２ａ〜１４ａの座標をそれぞれ［Ｘｃ２，Ｙｃ２，Ｚｃ２］Ｔ、［Ｘｃ３，Ｙｃ３，Ｚｃ３］Ｔ、［Ｘｃ４，Ｙｃ４，Ｚｃ４］Ｔとしている。
【００７４】
【数１７】
0005195041.tif 000018
【００７５】
数１７の関係式から、第１基準点１１ａ〜１４ａのカメラ座標が特定できるため、指示装置１００の三次元位置および三軸角度が求まることとなる。また第１基準点１１ａ〜１４ａと第２基準点１５ａとの位置関係により、指示装置１００の指示方向が定まることになる。
なお、以上の説明は、第１基準点が４点の場合を説明したが、５点以上になった場合も同様の手法を用いて算出可能である。
【００７６】
＜対象物の特定＞
上述のようにして求めた指示装置１００の三次元位置、三軸角度、および指示方向より、指示装置１００が指示する対象物３００（図１参照）を特定することができる。即ち、記憶部３１（図４参照）には種々の対象物３００の三次元位置が記憶されており、その三次元位置を読み出して対比することにより、どの対象物３００が指示されているかを算出し、特定することができる。
この場合例えば、対象物３００として部屋の中にあるテレビの画面を指示装置１００が指示していたとする。ここで、対象物認識装置２００（図１参照）から別途設けた制御装置に情報を送ることでテレビに対し特定の動作を行わせることができる。例えば、電源のＯＮ−ＯＦＦなどである。また、他の場所を指示装置１００により指示することで、チャンネルの切り替えや音量の調整など他の動作を行わせることもできる。指示する場所はテレビの画面等に限られるものではなく、例えば、テレビ横の壁面の特定の場所を上記のような動作を行わせるための場所として指定してもよい。この際に指示装置１００の先端に可視光線を出射する可視光線照射手段としてのレーザポインタなどを取り付け、指示装置１００が指示する箇所と同一の箇所に可視光線であるレーザを照射し、指示装置１００が指示する箇所を指示装置１００を操作するユーザにわかるようにしてもよい。この場合、ユーザは、より的確に対象物３００を指定できるようになる。そして、第１基準点および第２基準点は複数組設置されているので、ユーザが指示装置１００を様々な角度や三次元位置で使用してもカメラ２０により何れかの組の第１基準点および第２基準点がカメラ２０に捉えやすくなる。即ち、ユーザの使い方に依存しにくい指示装置１００が実現でき、カメラ２０が何れの組の画像を捉えても同一の対象物３００を認識することができる。
【００７７】
なお、本実施形態では、第１基準点および第２基準点をＬＥＤにより構成される発光点としたが、これに限定するものではない。例えば、第１基準点および第２基準点としてＬＥＤの代わりに再帰反射板を設け、カメラ２０の近くに設けられた照明装置から光を照射し、再帰反射板による反射光をカメラ２０により撮影するようにしても良い。
【図面の簡単な説明】
【００７８】
【図１】本実施形態が適用される対象物認識装置、指示装置、および対象物を含む対象物認識システムの全体構成を示す図である。
【図２】本実施形態が適用される指示装置の構成を示す図である。
【図３】カメラの構成例を示す図である。
【図４】演算装置の構成を説明した図である。
【図５】演算装置の動作を説明したフローチャートである。
【図６】３点の第１基準点と１点の第２基準点を備える指示装置の例である。
【図７】４点の第１基準点と１点の第２基準点を備える指示装置の例である。
【図８】第１基準点が３点の場合に指示装置の三次元位置および三軸角度を計算する方法を説明する図である。
【符号の説明】
【００７９】
１１ａ〜１４ａ，１１ｂ〜１４ｂ，１１ｃ〜１４ｃ，１１ｄ〜１４ｄ…第１基準点、１５ａ，１５ｂ，１５ｃ，１５ｄ…第２基準点、２０…カメラ、３０…演算装置、３１…記憶部、３２…判別部、３３…選択部、３４…演算部、１００…指示装置、２００…対象物認識装置、３００…対象物
【図１】
0005195041.tif 000019
【図２】
0005195041.tif 000020
【図３】
0005195041.tif 000021
【図４】
0005195041.tif 000022
【図５】
0005195041.tif 000023
【図６】
0005195041.tif 000024
【図７】
0005195041.tif 000025
【図８】
0005195041.tif 000026