(57)【要約】【課題】  現実空間中の指標を用いて撮像装置の位置及び姿勢を算出する際の精度及び／又は安定性を向上させる。【解決手段】  主観視点カメラ１６０の撮像画像から現実空間中の指標を検出する主観視点指標検出部１３０と、主観視点カメラ１６０と空間分解能の異なる追加主観視点カメラ１７０の撮像画像から現実空間中の指標を検出する追加主観視点指標検出部１４０と、検出された指標の画像座標に関する情報を用いて主観視点カメラ１６０の位置及び姿勢を算出する位置姿勢推定部１５０とを有する。【選択図】  図１
2008070267.tif 000002
【特許請求の範囲】
【請求項１】
現実空間を撮像する第１の撮像装置で撮像された第１の画像を入力する第１の画像入力工程と、
前記第１の撮像装置との相対的な位置及び姿勢が固定で、かつ前記第１の撮像装置と空間分解能の異なる第２の撮像装置で撮像された第２の画像を入力する第２の画像入力工程と、
前記第１の画像から、前記現実空間中の指標の画像座標に関する特徴量を検出する第１の検出工程と、
前記第２の画像から、前記現実空間中の指標の画像座標に関する特徴量を検出する第２の検出工程と、
前記第１の検出工程及び前記第２の検出工程で検出された、前記指標の画像座標に関わる特徴量に基づいて、前記第１の撮像装置の位置及び姿勢を算出する位置姿勢算出工程とを備えることを特徴とする位置姿勢計測方法。
【請求項２】
前記位置姿勢算出工程が、前記第１及び第２の検出工程のうち、空間分解能が高い撮像装置で撮像された画像に関わる検出工程で検出された指標の画像座標に関わる特徴量に、前記空間分解能が低い撮像装置で撮像された画像に関わる検出工程で検出された前記指標の画像座標に関わる特徴量よりも高い重み付けを行って、前記位置及び姿勢の算出を行なうことを特徴する請求項１記載の位置姿勢算出方法。
【請求項３】
現実空間を撮像する第１の撮像装置で撮像された第１の画像を入力する第１の画像入力工程と、
前記第１の撮像装置との相対的な位置及び姿勢が固定で、かつ前記第１の撮像装置と空間分解能の異なる第２の撮像装置で撮像された第２の画像を入力する第２の画像入力工程と、
前記第１の画像から、前記現実空間中の指標の画像座標に関する特徴量を検出する第１の検出工程と、
前記第２の画像から、前記現実空間中の指標の画像座標に関する特徴量を検出する第２の検出工程と、
前記第１及び第２の検出工程のうち、空間分解能が低い撮像装置で撮像された画像に関わる検出工程で検出された指標の画像座標に関わる特徴量に基づいて、前記第１の撮像装置の位置及び姿勢を算出する位置姿勢算出工程と、
前記第１及び第２の検出工程のうち、空間分解能が高い撮像装置で撮像された画像に関わる検出工程で検出された指標の画像座標に関わる特徴量に基づいて、前記位置姿勢算出工程で算出された前記第１の撮像装置の位置及び姿勢の少なくとも一方を補正する補正工程と、
を備えることを特徴とする位置姿勢計測方法。
【請求項４】
現実空間を撮像する第１の撮像装置で撮像された第１の画像を入力する第１の画像入力工程と、
前記第１の撮像装置との相対的な位置及び姿勢が固定で、かつ前記第１の撮像装置と空間分解能の異なる第２の撮像装置で撮像された第２の画像を入力する第２の画像入力工程と、
前記第１の画像から、前記現実空間中の指標の画像座標に関する特徴量を検出する第１の検出工程と、
前記第２の画像から、前記現実空間中の指標の画像座標に関する特徴量を検出する第２の検出工程と、
前記第１及び第２の検出工程のうち、空間分解能が高い撮像装置で撮像された画像に関わる検出工程で検出された指標の画像座標に関わる特徴量に基づいて、前記第１の撮像装置の位置及び姿勢を算出する位置姿勢算出工程と、
前記第１及び第２の検出工程のうち、空間分解能が低い撮像装置で撮像された画像に関わる検出工程で検出された指標の画像座標に関わる特徴量に基づいて、前記位置姿勢算出工程で算出された前記第１の撮像装置の位置を補正する補正工程と、
を備えることを特徴とする位置姿勢計測方法。
【請求項５】
前記第１の撮像装置と前記第２の撮像装置は、画像解像度が同じで、画角が異なることを特徴とする、請求項１乃至請求項４のいずれか１項に記載の位置姿勢計測方法。
【請求項６】
前記第１の撮像装置の位置又は姿勢又はそれらの時間微分に関する情報を計測するセンサから計測値を入力するセンサ計測値入力工程をさらに備え、
前記位置姿勢算出工程では、前記第１の検出工程及び前記第２の検出工程で検出された指標の画像座標に関わる特徴量と、前記センサ計測値入力工程で入力された計測値とに基づいて、前記第１の撮像装置の位置及び姿勢を算出することを特徴とする、請求項１乃至請求項５のいずれか１項に記載の位置姿勢計測方法。
【請求項７】
前記第１の撮像装置を撮像する、位置姿勢が固定された第３の撮像装置で撮像された第３の画像を入力する第３の画像入力工程と、
前記第３の画像から、前記第１の撮像装置との相対的な位置及び姿勢が固定された第２の指標の画像座標に関わる特徴量を検出する第３の検出工程とをさらに備え、
前記位置姿勢算出工程では、前記第１の検出工程及び前記第２の検出工程で検出された指標の画像座標に関わる特徴量と、該第３の検出工程で検出された前記第２の指標の画像座標に関わる特徴量とに基づいて、前記第１の撮像装置の位置及び姿勢を算出することを特徴とする、請求項１乃至請求項６のいずれか１項に記載の位置姿勢計測方法。
【請求項８】
前記第１の画像は、観察者に提示するための画像であり、前記第１の撮像装置は、前記観察者に前記第１の画像を提示するための表示手段との相対的な位置又は姿勢、又は画角が固定されていることを特徴とする、請求項１乃至請求項６のいずれか１項に記載の位置姿勢計測方法。
【請求項９】
前記第１の撮像装置の光軸の向きと前記第２の撮像装置の光軸の向きが異なることを特徴とする、請求項１乃至請求項８のいずれか１項に記載の位置姿勢計測方法。
【請求項１０】
前記第２の撮像装置が、複数の撮像装置を含み、
前記第２の画像入力工程が、前記複数の撮像装置の各々から前記第２の画像を入力し、
前記第２の検出工程では、前記第２の画像入力工程で入力された複数の前記第２の画像から、前記現実空間中の指標の画像座標に関わる特徴量を夫々検出することを特徴とする、請求項１記載の位置姿勢計測方法。
【請求項１１】
前記複数の撮像装置が、前記第１の撮像装置よりも空間分解能の高い撮像装置と、前記第１の撮像装置よりも空間分解能の低い撮像装置とを含むことを特徴とする、請求項１０記載の位置姿勢計測方法
【請求項１２】
前記複数の撮像装置のうちの少なくとも一つの光軸の向きが、他の撮像装置のうちの少なくとも一つの光軸の向きと異なることを特徴とする、請求項１０又は請求項１１に記載の位置姿勢計測方法。
【請求項１３】
前記第１の撮像装置と前記第２の撮像装置は、異なる波長領域で観察される画像を撮像することを特徴とする、請求項１乃至請求項１２のいずれか１項に記載の位置姿勢計測方法。
【請求項１４】
現実空間を撮像する第１の撮像装置で撮像された第１の画像を入力する第１の画像入力手段と、
前記第１の撮像装置との相対的な位置及び姿勢が固定で、かつ前記第１の撮像装置と空間分解能の異なる第２の撮像装置で撮像された第２の画像を入力する第２の画像入力手段と、
前記第１の画像から、前記現実空間中の指標の画像座標に関する特徴量を検出する第１の検出手段と、
前記第２の画像から、前記現実空間中の指標の画像座標に関する特徴量を検出する第２の検出手段と、
前記第１の検出手段及び前記第２の検出手段で検出された、前記指標の画像座標に関わる特徴量に基づいて、前記第１の撮像装置の位置及び姿勢を算出する位置姿勢算出手段とを備えることを特徴とする位置姿勢計測装置。
【請求項１５】
現実空間を撮像する第１の撮像装置で撮像された第１の画像を入力する第１の画像入力手段と、
前記第１の撮像装置との相対的な位置及び姿勢が固定で、かつ前記第１の撮像装置と空間分解能の異なる第２の撮像装置で撮像された第２の画像を入力する第２の画像入力手段と、
前記第１の画像から、前記現実空間中の指標の画像座標に関する特徴量を検出する第１の検出手段と、
前記第２の画像から、前記現実空間中の指標の画像座標に関する特徴量を検出する第２の検出手段と、
前記第１及び第２の検出手段のうち、空間分解能が低い撮像装置で撮像された画像に関わる検出手段で検出された指標の画像座標に関わる特徴量に基づいて、前記第１の撮像装置の位置及び姿勢を算出する位置姿勢算出手段と、
前記第１及び第２の検出手段のうち、空間分解能が高い撮像装置で撮像された画像に関わる検出手段で検出された指標の画像座標に関わる特徴量に基づいて、前記位置姿勢算出手段で算出された前記第１の撮像装置の位置及び姿勢の少なくとも一方を補正する補正手段と、
を備えることを特徴とする位置姿勢計測装置。
【請求項１６】
現実空間を撮像する第１の撮像装置で撮像された第１の画像を入力する第１の画像入力手段と、
前記第１の撮像装置との相対的な位置及び姿勢が固定で、かつ前記第１の撮像装置と空間分解能の異なる第２の撮像装置で撮像された第２の画像を入力する第２の画像入力手段と、
前記第１の画像から、前記現実空間中の指標の画像座標に関する特徴量を検出する第１の検出手段と、
前記第２の画像から、前記現実空間中の指標の画像座標に関する特徴量を検出する第２の検出手段と、
前記第１及び第２の検出手段のうち、空間分解能が高い撮像装置で撮像された画像に関わる検出手段で検出された指標の画像座標に関わる特徴量に基づいて、前記第１の撮像装置の位置及び姿勢を算出する位置姿勢算出手段と、
前記第１及び第２の検出手段のうち、空間分解能が低い撮像装置で撮像された画像に関わる検出手段で検出された指標の画像座標に関わる特徴量に基づいて、前記位置姿勢算出手段で算出された前記第１の撮像装置の位置を補正する補正手段と、
を備えることを特徴とする位置姿勢計測装置。
【請求項１７】
コンピュータに、請求項１乃至請求項１３のいずれか１項に記載の位置姿勢算出方法を実行させるプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、物体の位置及び姿勢、特に撮像装置の位置及び姿勢を計測する方法及び装置に関するものである。
【背景技術】
【０００２】
現実空間を撮像するカメラなどの撮像部（以下、適宜、カメラと言い換える）の位置及び姿勢の計測は、例えば、現実空間と仮想空間とを融合表示する複合現実感システムにおいて必要となる。
【０００３】
［従来技術１］
特許文献１乃至２及び非特許文献１には、位置姿勢センサを用いてカメラの位置姿勢を計測する手法が開示されている。また、これら従来技術には、現実空間中の配置位置が既知のマーカ、又は現実空間中の位置が既知の特徴点（以下、マーカと特徴点をまとめて指標という）を用い、位置姿勢センサの計測誤差を補正する手法についても開示している。
【０００４】
［従来技術２］
一方で、非特許文献２乃至３において開示されているように、位置姿勢センサを用いず、カメラで撮像したマーカの情報からカメラの位置姿勢を推定する方法も知られている。そして、これら非特許文献においては、正方形の指標を利用し、正方形の４頂点の座標を基にして、カメラの位置姿勢を推定している。ただし、正方形はその中心点（対角線の交点）を通り、面に垂直な軸を回転軸として９０°毎の回転対称形であることから、頂点の座標からだけでは方向性（上下左右）の判定を行うことができない。そのため、正方形の指標内部に、指標を撮像した画像から上下左右を判定するための、方向性を有する図形等が描画されている。さらに、指標を複数利用する場合に、カメラで撮像した画像のみに基づいて複数の指標のどれを捉えているのかを識別する必要があるため、指標内部には指標毎に異なる固有のパターンや符号などの図形情報も描画されている。
【０００５】
［従来技術３］
また、特許文献３において開示されているように、ステレオカメラで指標を撮像することで、カメラを１台だけ使う場合と比べて検出される指標の総数を増やして、カメラの位置姿勢推定の精度や安定性を向上させる方法も知られている。特許文献３においては、ステレオカメラを構成する夫々のカメラは同一の解像度及び画角となっている。また、夫々のカメラの光軸の向きはほぼ同一となっている。
【０００６】
［従来技術４］
画角の異なる複数のカメラを利用したシステムにおいて、カメラの位置姿勢を推定する方法が、特許文献５において開示されている。特許文献５においては、一方の画角のカメラが位置姿勢の推定に利用され、他方の画角のカメラは外界の映像の撮像に利用されている。そして、頭部搭載型の表示装置に、夫々の画角のカメラで撮像された映像を合成して表示している。
【０００７】
［従来技術５］
一方、非特許文献７においては、近距離用と遠距離用の２種類の２眼ステレオカメラによる計測結果を相互に補完して、被写体の３次元計測を行う装置が開示されている。非特許文献７の装置では、近距離用と遠距離用に対応して基線長と焦点距離が選ばれており、近距離の対象物と遠距離の対象物を同時に計測することができるようになっている。
【０００８】
【特許文献１】特開平１１−０８４３０７号公報
【特許文献２】特開２０００−０４１１７３号公報
【特許文献３】特開２００４−２３３３３４号公報
【特許文献４】特登録３４６７０１７号公報
【特許文献５】特開２００４−２０５７１１号公報
【非特許文献１】A.State,G.Hirota,D.T.Chen, B.Garrett,and M.Livingston:Superior augmented reality registration by integrating landmark tracking and magnetic tracking,Proc.SIGGRAPH '96,pp.429-438,July 1996.
【非特許文献２】加藤，Billinghurst,浅野,橘:マーカー追跡に基づく拡張現実感システムとそのキャリブレーション,日本バーチャルリアリティ学会論文誌,vol.4,no.4,pp.607-616,Dec.1999.
【非特許文献３】X.Zhang,S.Fronz,N.Navab:Visualmarker detection and decoding in AR systems:A comparative study,Proc.of International Symposium on Mixed and Augmented Reality(ISMAR'02),2002.
【非特許文献４】R.M.Haralick,C.Lee,K.Ottenberg,and M.Nolle:Review and analysis of solutions of the three point perspective pose estimation problem,International Journal of Computer Vision,vol.13,no.3,pp.331-356,1994.
【非特許文献５】D.G.Lowe:Fitting parameterizedthree-dimensional models to images,IEEE Transactions on PAMI,vol.13,no.5,pp.441-450,1991.
【非特許文献６】藤井博文，神原誠之，岩佐英彦，竹村治雄，横矢直和，拡張現実のためのジャイロセンサを併用したステレオカメラによる位置合わせ，電子情報通信学会技術研究報告ＰＲＭＵ９９−１９２（信学技報ｖｏｌ．９９，ｎｏ．５７４，ｐｐ．１−８）
【非特許文献７】桑島茂純：２Ｗａｙステレオシステム miniBEE,日本バーチャルリアリティ学会学会誌,vol.10,no.3,pp.50-51,Sep.2005.
【発明の開示】
【発明が解決しようとする課題】
【０００９】
従来技術１の方法においては、ある特定の色の、小さな円形のシート状の物体を指標として配置することができる。この場合、指標のもつ情報は、３次元位置（座標）と色である。位置姿勢センサの計測値を利用して指標の３次元位置をカメラの画像面へと投影する一方で、画像から指標の色を検出する色領域検出処理を行い、画像中の色領域の重心位置を計算する。そして、画像面上へ投影した指標の３次元位置と、画像から計算した色領域の重心位置を比較し、例えば最も近いものを同じ指標であると判定することによって、画像中の指標を同定することができる。
【００１０】
従来技術１において、位置及び姿勢の計測対象であるカメラは、観察者に提示する画像を撮像するための装置である。従って、カメラの解像度、画角、向き等を、指標の検出に適したものに自由に変更することができなかった。つまり、カメラの位置及び姿勢の計測精度が、指標の検出に最適とは限らないカメラの空間分解能に依存して決まるという問題があった。
【００１１】
一方で、従来技術２で利用されている正方形マーカのように、頂点や描画されたパターンなど、画像からより多くの情報を検出可能な指標を利用してカメラの位置及び姿勢を計測する方法がある。従来技術２では位置姿勢センサを用いず、画像のみから個々のマーカを識別する必要があるため、指標に符号情報や、テンプレートとなりうる記号情報などを含める必要がある。
【００１２】
図６（ａ）〜（ｃ）は、非特許文献２および非特許文献３で利用されている具体的な正方形マーカの例である。
このような複雑な特徴を有する指標を撮像画像から検出しなければならないため、撮像画像面の中で十分に大きな面積を占めるように指標を捉えなければ、指標の認識ができないという問題があった。換言すれば、現実空間の広い領域を指標配置のために確保しなければならない。あるいは、カメラが指標に十分に近づかなければならない。または、指標の配置条件が厳しいということもできる。
【００１３】
そして、従来技術２においても、従来技術１と同様、位置及び姿勢の計測対象であるカメラは、観察者に提示する画像を撮像するための装置である。従って、やはり従来技術１と同様、カメラの位置及び姿勢の計測精度が、指標の検出に最適とは限らないカメラの空間分解能に依存して決まるという問題があった。
【００１４】
また、従来技術３においても、ステレオカメラを構成する夫々のカメラは、観察者に提示する画像を撮像するための装置である。従って、従来技術１及び従来技術２と同様に、カメラの位置及び姿勢の計測精度や検出可能な指標の大きさが、指標の検出に最適とは限らないカメラの空間分解能に依存して決まるという問題があった。
【００１５】
従来技術４においては、カメラの位置及び姿勢を算出する際に、画角の異なる複数のカメラは同時には利用されておらず、一方の画角のカメラしか利用されていなかった。従って、カメラの位置及び姿勢の推定精度は複数のカメラを用いる場合よりも低いという問題があった。
【００１６】
一方、従来技術５においては、画角の異なる複数のカメラが同時に利用されているものの、同一画角のカメラでステレオ計測を行ってから、複数のステレオ計測結果を組み合わせる、という方法に限定されていた。また、従来技術５の手法を適用するには、４台以上のカメラが必要になるという問題があった。
【００１７】
本発明はこのような従来技術の問題点を解決するためになされたものであり、本願発明の目的は、現実空間中の指標を用い、撮像装置の位置及び姿勢を計測する位置姿勢計測方法及び装置において、計測精度及び／又は安定性を向上させることを目的とする。
【課題を解決するための手段】
【００１８】
上述の目的は、現実空間を撮像する第１の撮像装置で撮像された第１の画像を入力する第１の画像入力工程と、第１の撮像装置との相対的な位置及び姿勢が固定で、かつ第１の撮像装置と空間分解能の異なる第２の撮像装置で撮像された第２の画像を入力する第２の画像入力工程と、第１の画像から、現実空間中の指標の画像座標に関する特徴量を検出する第１の検出工程と、第２の画像から、現実空間中の指標の画像座標に関する特徴量を検出する第２の検出工程と、第１の検出工程及び第２の検出工程で検出された、指標の画像座標に関わる特徴量に基づいて、第１の撮像装置の位置及び姿勢を算出する位置姿勢算出工程とを備えることを特徴とする位置姿勢計測方法によって達成される。
【００１９】
また、上述の目的は、現実空間を撮像する第１の撮像装置で撮像された第１の画像を入力する第１の画像入力工程と、第１の撮像装置との相対的な位置及び姿勢が固定で、かつ第１の撮像装置と空間分解能の異なる第２の撮像装置で撮像された第２の画像を入力する第２の画像入力工程と、第１の画像から、現実空間中の指標の画像座標に関する特徴量を検出する第１の検出工程と、第２の画像から、現実空間中の指標の画像座標に関する特徴量を検出する第２の検出工程と、第１及び第２の検出工程のうち、空間分解能が低い撮像装置で撮像された画像に関わる検出工程で検出された指標の画像座標に関わる特徴量に基づいて、第１の撮像装置の位置及び姿勢を算出する位置姿勢算出工程と、第１及び第２の検出工程のうち、空間分解能が高い撮像装置で撮像された画像に関わる検出工程で検出された指標の画像座標に関わる特徴量に基づいて、位置姿勢算出工程で算出された第１の撮像装置の位置及び姿勢の少なくとも一方を補正する補正工程と、を備えることを特徴とする位置姿勢計測方法によっても達成される。
【００２０】
また、上述の目的は、現実空間を撮像する第１の撮像装置で撮像された第１の画像を入力する第１の画像入力工程と、第１の撮像装置との相対的な位置及び姿勢が固定で、かつ第１の撮像装置と空間分解能の異なる第２の撮像装置で撮像された第２の画像を入力する第２の画像入力工程と、第１の画像から、現実空間中の指標の画像座標に関する特徴量を検出する第１の検出工程と、第２の画像から、現実空間中の指標の画像座標に関する特徴量を検出する第２の検出工程と、第１及び第２の検出工程のうち、空間分解能が高い撮像装置で撮像された画像に関わる検出工程で検出された指標の画像座標に関わる特徴量に基づいて、第１の撮像装置の位置及び姿勢を算出する位置姿勢算出工程と、第１及び第２の検出工程のうち、空間分解能が低い撮像装置で撮像された画像に関わる検出工程で検出された指標の画像座標に関わる特徴量に基づいて、位置姿勢算出工程で算出された第１の撮像装置の位置を補正する補正工程と、を備えることを特徴とする位置姿勢計測方法によっても達成される。
【００２１】
さらに、上述の目的は、現実空間を撮像する第１の撮像装置で撮像された第１の画像を入力する第１の画像入力手段と、第１の撮像装置との相対的な位置及び姿勢が固定で、かつ第１の撮像装置と空間分解能の異なる第２の撮像装置で撮像された第２の画像を入力する第２の画像入力手段と、第１の画像から、現実空間中の指標の画像座標に関する特徴量を検出する第１の検出手段と、第２の画像から、現実空間中の指標の画像座標に関する特徴量を検出する第２の検出手段と、第１の検出手段及び第２の検出手段で検出された、指標の画像座標に関わる特徴量に基づいて、第１の撮像装置の位置及び姿勢を算出する位置姿勢算出手段とを備えることを特徴とする位置姿勢計測装置によっても達成される。
【００２２】
また、上述の目的は、現実空間を撮像する第１の撮像装置で撮像された第１の画像を入力する第１の画像入力手段と、第１の撮像装置との相対的な位置及び姿勢が固定で、かつ第１の撮像装置と空間分解能の異なる第２の撮像装置で撮像された第２の画像を入力する第２の画像入力手段と、第１の画像から、現実空間中の指標の画像座標に関する特徴量を検出する第１の検出手段と、第２の画像から、現実空間中の指標の画像座標に関する特徴量を検出する第２の検出手段と、第１及び第２の検出手段のうち、空間分解能が低い撮像装置で撮像された画像に関わる検出手段で検出された指標の画像座標に関わる特徴量に基づいて、第１の撮像装置の位置及び姿勢を算出する位置姿勢算出手段と、第１及び第２の検出手段のうち、空間分解能が高い撮像装置で撮像された画像に関わる検出手段で検出された指標の画像座標に関わる特徴量に基づいて、位置姿勢算出手段で算出された第１の撮像装置の位置及び姿勢の少なくとも一方を補正する補正手段と、を備えることを特徴とする位置姿勢計測装置によっても達成される。
【００２３】
また、上述の目的は、現実空間を撮像する第１の撮像装置で撮像された第１の画像を入力する第１の画像入力手段と、第１の撮像装置との相対的な位置及び姿勢が固定で、かつ第１の撮像装置と空間分解能の異なる第２の撮像装置で撮像された第２の画像を入力する第２の画像入力手段と、第１の画像から、現実空間中の指標の画像座標に関する特徴量を検出する第１の検出手段と、第２の画像から、現実空間中の指標の画像座標に関する特徴量を検出する第２の検出手段と、第１及び第２の検出手段のうち、空間分解能が高い撮像装置で撮像された画像に関わる検出手段で検出された指標の画像座標に関わる特徴量に基づいて、第１の撮像装置の位置及び姿勢を算出する位置姿勢算出手段と、第１及び第２の検出手段のうち、空間分解能が低い撮像装置で撮像された画像に関わる検出手段で検出された指標の画像座標に関わる特徴量に基づいて、位置姿勢算出手段で算出された第１の撮像装置の位置を補正する補正手段と、を備えることを特徴とする位置姿勢計測装置によっても達成される。
【発明の効果】
【００２４】
本発明によれば、計測対象の撮像装置に加え、空間分解能の異なる撮像装置を併用することによって、計測対象の撮像装置の位置及び姿勢を算出する際の精度及び／又は安定性を向上させることができる。
【発明を実施するための最良の形態】
【００２５】
以下、添付図面を参照して、本発明をその好適な実施形態に従って詳細に説明する。
［第１の実施形態］
本発明の第１の実施形態に係る位置姿勢計測装置は、主観視点カメラ及び追加主観視点カメラで撮像した画像から検出された指標に基づいて、主観視点カメラの位置及び姿勢を算出する。
【００２６】
図１は、本実施形態における位置姿勢計測装置の構成例を示す図である。本実施形態における位置姿勢計測装置１００は、画像入力部１１０、データ記憶部１２０、主観視点指標検出部１３０、追加主観視点指標検出部１４０、位置姿勢算出部１５０によって構成されている。位置姿勢計測装置１００は、主観視点カメラ１６０、及び、追加主観視点カメラ１７０に接続されている。
【００２７】
なお、本実施形態において、計測対象の撮像装置である主観視点カメラ１６０は、例えば観察者が装着する頭部搭載型表示装置（ＨＭＤ）に固定的に設置され、ほぼ観察者の視点（主観視点）位置から観察される現実空間を撮像するために用いられるものとする。また、追加撮像装置である追加主観視点カメラ１７０は、主観視点カメラ１６０との相対的な位置姿勢が既知で、かつ不変な位置に設けられる。追加主観視点カメラ１７０の撮像範囲は、主観視点カメラ１６０の撮像範囲と重複している。なお、追加主観視点カメラ１７０の撮像範囲は、主観視点カメラ１６０の撮像範囲と重複してもよいし、独立していても良い。主観視点カメラ１６０及び追加主観視点カメラ１７０は、市販のカラービデオカメラにより実現できる。
【００２８】
なお、本実施形態では便宜上「主観視点」カメラを用いているが、計測対象の撮像装置が必ずしも観察者の視点位置から観察される現実空間を撮影するカメラである必要はない。
【００２９】
ここで、追加主観視点カメラ１７０は、主観視点カメラ１６０と画像解像度（撮像画像の画素数）が同じで、かつ主観視点カメラ１６０よりも画角が狭い。その結果、主観視点カメラ１６０よりも空間分解能が高い画像が得られる。従って、追加主観視点カメラ１７０が撮像した画像からは、主観視点カメラ１６０で撮像した画像からは検出不可能な指標を検出することができる。また、空間分解能が高いため、主観視点カメラ１６０で撮像される画像を用いるよりも高い位置精度で指標を検出することができる。
【００３０】
なお、追加主観視点カメラ１７０の空間分解能を高くするには、追加主観視点カメラ１７０の画像解像度を高くするという方法も考えられる。しかし、画像解像度は変えずに画角を狭くした方が、追加主観視点カメラ１７０を小型で安価にできる。加えて、画像処理に要する時間の増加を抑えることができるという利点がある。
【００３１】
現実空間中の複数の位置には、主観視点カメラ１６０又は追加主観視点カメラ１７０によって撮像するための指標（以下、主観視点指標という）が配置される。ここで、主観観点指標Ｑｋ（ｋ＝１，，，ＫＱ）は、世界座標系における位置ｘＷＱｋが既知である。なお、世界座標系とは、現実空間の１点を原点として定義し、更に互いに直交する３軸を夫々Ｘ軸、Ｙ軸、Ｚ軸として定義した座標系である。
【００３２】
これらの主観視点指標は、主観視点カメラ１６０が計測対象範囲内で移動した時に、主観視点カメラ１６０及び追加主観視点カメラ１７０が撮像する画像上で観察される指標の総数が、常に３個以上となるように設置されることが望ましい。なお、以下、主観視点カメラ１６０が撮像する画像を主観視点画像、追加主観視点カメラ１７０が撮像する画像を追加主観視点画像と呼ぶ。
【００３３】
図１に示す例では、４個の主観視点指標Ｑ１，Ｑ２，Ｑ３，Ｑ４が配置されている。そして、３個の主観視点指標Ｑ１，Ｑ３，Ｑ４が主観視点カメラ１６０の視野内に、２個の主観視点指標Ｑ１，Ｑ３が追加主観視点カメラ１７０の視野内に含まれている。
【００３４】
なお、図１では、主観視点カメラ１６０及び追加主観視点カメラ１７０の視野には２個の主観視点指標Ｑ１，Ｑ３が共通して含まれている。しかし、両カメラの視野に共通して含まれる主観視点指標の数に制限はなく、例えば０個であっても良い。
【００３５】
ここで、主観視点指標Ｑｋは、例えば、それぞれが異なる色を有する円形状のマーカであってもよいし、それぞれが異なるテクスチャ特徴を有する自然特徴等の特徴点であっても良い。また、ある程度の面積を有する四角形の単色領域によって形成されるような、四角形指標を用いることも可能である。すなわち、撮像画像上における投影像の画像座標が検出可能であって、かついずれの指標であるかが何らかの方法で同定可能であるような指標であれば、任意の形態の指標を用いることができる。主観視点指標は、操作者により設定されたものであってもよいし、操作者により設定されたものではない、自然形状のものを用いても良い。
【００３６】
なお、画角が主観視点カメラ１６０より狭い追加主観視点カメラ１７０の視野内に含まれる指標の数は、主観視点カメラ１６０の視野内に含まれる指標の数よりも一般的に少なく、場合によっては０個となることもある。そのような場合であっても、主観視点画像上において観測される指標の数が３個以上であれば、主観視点カメラ１６０の位置及び姿勢を算出することができる。主観視点指標の世界座標と、主観視点画像中の座標とから、主観視点カメラ１６０の位置及び姿勢を算出する方法は、写真測量等の分野において知られている（例えば、非特許文献４、非特許文献５を参照）ため、その詳細については省略する。
【００３７】
一方、主観視点画像からは検出不可能な大きさの指標であっても、空間分解能の高い追加主観視点カメラ１７０で撮像した追加主観視点画像からは検出できる場合がある。従って、追加主観視点カメラ１７０の空間分解能に適した追加主観視点指標を主観視点指標とは別に設定しても良い。追加主観視点指標としては、例えば、主観視点指標よりも半径の小さな円形状のマーカを用いることができる。また、主観視点指標よりも微細なテクスチャ特徴を有する自然特徴等の特徴点を用いても良い。または、主観視点指標よりも面積の小さな四角形指標を用いることも可能である。
【００３８】
画像入力部１１０は、位置姿勢計測装置１００へ入力される主観視点画像及び追加主観視点画像をデジタルデータに変換し、データ記憶部１２０に保存する。
【００３９】
主観視点指標検出部１３０は、データ記憶部１２０より主観視点画像を読み出し、主観視点画像中に撮像されている主観視点指標の画像座標を検出する。例えば、主観視点指標の各々が異なる色を有するマーカである場合には、画像上から各々のマーカ色に対応する領域を検出し、その重心位置を各主観視点指標の画像座標とする。
【００４０】
主観視点指標の各々が異なるテクスチャ特徴を有する特徴点である場合には、既知の情報として予め保持している各々の主観視点指標のテンプレート画像によるテンプレートマッチングを行なうことにより、主観視点指標の画像座標を検出する。
【００４１】
また、四角形指標を用いる場合は、画像に２値化処理を施した後にラベリングを行い、４つの直線によって形成されている領域を指標候補として検出する。さらに、候補領域の中に特定のパターンがあるか否かを判定することによって誤検出を排除し、また、指標の識別子を取得する。なお、このようにして検出される四角形指標は、本実施形態では、４つの頂点の個々によって特定される４つの指標であると考える。
【００４２】
主観視点指標検出部１３０は、さらに、検出された主観視点指標の画像座標とその指標の識別子をデータ記憶部１２０へと出力する。なお、以下では、主観視点画像上で検出された指標を、検出された指標の夫々に付けられた識別子ｎ（ｎ＝１，，，Ｎ）を用いて、Ｑｋｎと表記する。ここで、Ｎは主観視点画像上で検出された指標の数を表している。また、検出された指標Ｑｋｎの画像座標をｕＱｋｎと表記する。
【００４３】
例えば図１の場合には、Ｎ＝３であり、指標の識別子ｋ１＝１，ｋ２＝３，ｋ３＝４と、これらに対応する画像座標ｕＱｋ１，ｕＱｋ２，ｕＱｋ３が出力される。
【００４４】
追加主観視点指標検出部１４０は、主観視点指標検出部１３０と同様に、データ記憶部１２０より追加主観視点画像を読み出し、追加主観視点画像中に撮像されている主観視点指標の画像座標を検出する。
【００４５】
追加主観視点指標検出部１４０は、さらに、検出された主観視点指標の画像座標とその指標の識別子をデータ記憶部１２０へと出力する。なお、以下では、追加主観視点画像上で検出された指標を、検出された指標の夫々に付けられた識別子ｍ（ｍ＝１，，，Ｍ）を用いて、Ｑｋｍと表記する。ここで、Ｍは追加主観視点画像上で検出された指標の数を表している。また、検出された指標Ｑｋｍの画像座標をｕＱｋｍと表記する。例えば図１の場合には、Ｍ＝２であり、指標の識別子ｋ１＝１，ｋ２＝３と、これらに対応する画像座標ｕＱｋ１，ｕＱｋ２が出力される。
【００４６】
位置姿勢算出部１５０は、
・主観視点指標検出部１３０によって検出された各々の主観視点指標の画像座標ｕＱｋｎ
・追加主観視点指標検出部１４０によって検出された各々の主観視点指標の画像座標ｕＱｋｍ
・既知な情報として予め保持されている主観視点指標の世界座標ｘＷＱｋ
の組を、データ記憶部１２０から取得する。
【００４７】
そして、これらの情報に基づいて主観視点カメラ１６０の位置及び姿勢を算出（推定）する。算出した位置及び姿勢は、例えば、位置を表す３次元ベクトルｘＷＣ１と姿勢を表す３×３行列ＲＷＣ１との組の形態によってデータ記憶部１２０に出力される。
【００４８】
データ記憶部１２０は、既知の値である主観視点指標の世界座標、主観視点カメラ１６０及び追加主観視点カメラ１７０のカメラパラメータ等のデータを予め保持する。また、データ記憶部１２０は、画像入力部１１０から入力される主観視点画像及び追加主観視点画像、主観視点指標検出部１３０及び追加主観視点指標検出部１４０から入力される各々の指標の画像座標及び識別子を保持する。さらに、データ記憶部１２０は、位置姿勢算出部１５０から入力される主観視点カメラ１６０の位置及び姿勢の値を保持する。
【００４９】
なお、図１に示した画像入力部１１０、データ記憶部１２０、主観視点指標検出部１３０、追加主観視点指標検出部１４０、位置姿勢算出部１５０の夫々は、それぞれ独立したハードウェアで構成することができる。また、図示しないＣＰＵがプログラムを実行することによりソフトウェア的に各部の機能を実現するようにしても良い。また、各部をソフトウェア的に実現するＣＰＵは、共通のＣＰＵであっても、複数の異なるＣＰＵであっても良い。また、ネットワーク接続された複数のコンピュータにより分散処理して各部の機能を実現しても良い。本実施形態では、各部（画像入力部１１０、データ記憶部１２０、主観視点指標検出部１３０、追加主観視点指標検出部１４０、位置姿勢算出部１５０）は１つのＣＰＵがプログラムを実行することにより、各部の機能を実現する構成を有するものとする。
【００５０】
図２は、本実施形態の位置姿勢計測装置１００として機能しうるコンピュータの基本構成例を示す図である。
上述の通り、本実施形態では、画像入力部１１０、データ記憶部１２０、主観視点指標検出部１３０、追加主観視点指標検出部１４０、位置姿勢算出部１５０の夫々を、プログラムの実行によりソフトウェア的に実現する。
【００５１】
ＣＰＵ１００１は、ＲＡＭ１００２やＲＯＭ１００３に格納されたプログラムやデータを用いてコンピュータ全体の制御を行う。また、画像入力部１１０、データ記憶部１２０、主観視点指標検出部１３０、追加主観視点指標検出部１４０、及び位置姿勢算出部１５０の夫々の機能を実現するプログラムを実行し、各部として機能する。
【００５２】
ＲＡＭ１００２は、外部記憶装置１００７や記憶媒体ドライブ１００８からロードされたプログラムやデータを一時的に記憶するエリアを備える。また、ＲＡＭ１００２は、ＣＰＵ１００１が各種の処理を行うために必要とするワークエリアを備える。本実施形態において、データ記憶部１２０の機能は、ＲＡＭ１００２によって実現される。
【００５３】
ＲＯＭ１００３は、一般に、ＣＰＵ１００１がコンピュータの起動時に実行するプログラムや、各種設定データなどが格納されている。キーボード１００４、マウス１００５は、入力装置であり、操作者はこれら入力装置を用いて、各種の指示をコンピュータに入力することができる。入力装置による入力は、ＣＰＵ１００１によって検知される。
表示部１００６は、ＣＲＴモニタやＬＣＤなどであり、例えば、主観視点カメラ１６０の位置姿勢計測のために表示すべきメッセージ等を表示することができる。
【００５４】
外部記憶装置１００７はハードディスクなどの大容量情報記憶装置であり、ＯＳ（オペレーティングシステム）やアプリケーションプログラム等を保存する。また本実施形態において、既知の情報として説明される情報は外部記憶装置１００７に保存されており、必要に応じてＲＡＭ１００２にロードされる。
【００５５】
記憶媒体ドライブ１００８は、ＣＤ−ＲＯＭやＤＶＤ−ＲＯＭなどの記憶媒体に記憶されているプログラムやデータをＣＰＵ１００１からの指示に従って読み出し、ＲＡＭ１００２や外部記憶装置１００７に出力する。
【００５６】
Ｉ／Ｆ１００９は、外部機器を接続するための各種インタフェースである。本実施形態でＩ／Ｆ１００９は、主観視点カメラ１６０や追加主観視点カメラ１７０を接続するためのインタフェースや、計測結果等を出力するためのネットワークインタフェースを含む。具体的には、アナログビデオインタフェース、デジタル入出力インタフェース（ＵＳＢ、ＩＥＥＥ１３９４等）や、イーサネット（登録商標）インタフェース等によって構成される。
【００５７】
Ｉ／Ｆ１００９を介して入力されたデータはＲＡＭ１００２に取り込まれる。画像入力部１１０の機能の一部は、Ｉ／Ｆ１００９によって実現される。
バス１０１０は、上述の各部を相互に通信可能に接続する。
【００５８】
（位置姿勢算出処理）
図３は、本実施形態の位置姿勢計測装置における位置姿勢算出部１５０の動作を説明するフローチャートである。
上述のように、本実施形態では、ＣＰＵ１００１がプログラムを実行することで位置姿勢算出部１５０として機能する。なお、以下に説明する処理を行う前に、この処理をＣＰＵ１００１が実現するために必要なプログラムコードは、ＲＡＭ１００２にロードされているものとする。本実施形態において、主観視点カメラ１６０の位置及び姿勢は、繰り返し演算による数値計算的手法によって算出される。
【００５９】
位置姿勢算出部１５０は、算出すべき主観視点カメラ１６０の位置及び姿勢を、それぞれ３値ベクトル［ｘ  ｙ  ｚ］Ｔ及び［ξ  ψ  ζ］Ｔによって内部的に表現している。姿勢を３値によって表現する方法には様々なものが存在するが、ここでは、ベクトルの大きさによって回転角を、ベクトルの向きによって回転軸方向を定義するような３値のベクトルによって表現されているものとする。このとき、求めるべき未知パラメータは、６値の状態ベクトルｓ＝［ｘ  ｙ  ｚ  ξ  ψ  ζ］Ｔと記述される。
【００６０】
ステップＳ３０００において、位置姿勢算出部１５０は、状態ベクトルｓに適当な初期値（位置及び姿勢の推定値）を設定する。例えば、主観視点画像及び追加主観視点画像の各画像フレームに対して位置姿勢を算出する場合、前フレーム（時刻ｔｋ−１）の処理において導出されたｓを初期値とすることができる。また、直近の所定期間内におけるｓの変化に基づいた予測値を初期値としても良い。
【００６１】
ステップＳ３０１０において、位置姿勢算出部１５０は、主観視点指標検出部１３０において検出された各々の主観視点指標Ｑｋｎの画像座標の実測値ｕＱｋｎとその識別子ｋｎをデータ記憶部１２０から取得する。また、位置姿勢算出部１５０は、追加主観視点指標検出部１４０において検出された各々の主観視点指標Ｑｋｍの画像座標の実測値ｕＱｋｍとその識別子ｋｍについても、データ記憶部１２０から取得する。
【００６２】
ステップＳ３０２０において、位置姿勢算出部１５０は、主観視点画像から検出された主観視点指標Ｑｋｎ及び、追加主観視点画像から検出された主観視点指標Ｑｋｍに対し、画像座標の推定値ｕＱｋｎ＊及びｕＱｋｍ＊を算出する。
【００６３】
ｕＱｋｎ＊の算出は、データ記憶部１２０に既知な情報として予め保持している指標Ｑｋｎ各々の世界座標ｘＷＱｋｎと現在の状態ベクトルｓの関数：
（式１）
2008070267.tif 000003
に基づいて行われる。
【００６４】
また、ｕＱｋｍ＊の算出は、データ記憶部１２０に既知な情報として予め保持している指標Ｑｋｍ各々の世界座標ｘＷＱｋｍと現在の状態ベクトルｓの関数：
（式２）
2008070267.tif 000004
に基づいて行われる。
【００６５】
具体的には、関数Ｆｃ１（）は、ｘＷＱｋｎとｓから当該指標の主観視点カメラ座標（主観視点カメラ１６０上の１点を原点として定義し、更に互いに直交する３軸を夫々Ｘ軸、Ｙ軸、Ｚ軸として定義した座標系）ｘＣ１Ｑｋｎを求める次式、
【００６６】
（式３）
2008070267.tif 000005
【００６７】
及び、主観視点カメラ座標ｘＣ１Ｑｋｎから主観視点画像座標ｕＱｋｎ＊を求める次式、
【００６８】
（式４）
2008070267.tif 000006
によって構成されている。
【００６９】
ここでｆＣ１ｘ及びｆＣ１ｙは、それぞれｘ軸方向及びｙ軸方向における主観視点カメラ１６０の焦点距離であり、データ記憶部１２０に既知の値として予め保持されているものとする。また、ＭＷＣ１（ｓ）はｓによって定まるモデリング変換行列（すなわち、主観視点カメラ座標系における座標を世界座標系における座標に変換する行列）であり、次式によって定義される。
【００７０】
（式５）
2008070267.tif 000007
【００７１】
一方、関数Ｆｃ２（）は、ｘＷＱｋｍとｓから当該指標の追加主観視点カメラ座標（追加主観視点カメラ１７０上の１点を原点として定義し、更に互いに直交する３軸を夫々Ｘ軸、Ｙ軸、Ｚ軸として定義した座標系）ｘＣ２Ｑｋｍを求める次式、
【００７２】
（式６）
2008070267.tif 000008
及び、追加主観視点カメラ座標ｘＣ２Ｑｋｍから追加主観視点画像座標ｕＱｋｍ＊を求める次式、
【００７３】
（式７）
2008070267.tif 000009
によって構成されている。
【００７４】
ここで、ＭＣ１Ｃ２は追加主観視点カメラ座標系から主観視点カメラ座標系への変換行列である。ＭＣ１Ｃ２は、主観視点カメラ座標系における追加主観視点カメラ１７０の位置及び姿勢（データ記憶部１２０に既知の値として予め保持されている）に基づいて、予め算出されているものとする。また、ｆＣ２ｘ及びｆＣ２ｙは、それぞれｘ軸方向及びｙ軸方向における追加主観視点カメラ１７０の焦点距離であり、データ記憶部１２０に既知の値として予め保持されているものとする。
【００７５】
ステップＳ３０３０において、位置姿勢算出部１５０は、各々の主観視点指標Ｑｋｎに対して、画像座標の推定値ｕＱｋｎ＊と実測値ｕＱｋｎとの誤差ΔｕＱｋｎを、次式によって算出する。
【００７６】
（式８）
2008070267.tif 000010
【００７７】
また、各々の追加主観視点指標Ｑｋｍに対して、画像座標の推定値ｕＱｋｍ＊と実測値ｕＱｋｍとの誤差ΔｕＱｋｍを、次式によって算出する。
【００７８】
（式９）
2008070267.tif 000011
【００７９】
ステップＳ３０４０において、位置姿勢算出部１５０は、各々の主観視点指標Ｑｋｎに対して、式１の関数Ｆｃ１（）を状態ベクトルｓの各要素で偏微分した解を各要素に持つ２行×６列のヤコビ行列ＪｕｓＱｋｎ（＝∂ｕＱｋｎ／∂ｓ）を求める。また、位置姿勢算出部１５０は、各々の追加主観視点指標Ｑｋｍに対して、式２の関数Ｆｃ２（）を状態ベクトルｓの各要素で偏微分した解を各要素に持つ２行×６列のヤコビ行列ＪｕｓＱｋｍ（＝∂ｕＱｋｍ／∂ｓ）を算出する。
【００８０】
具体的には、式４の右辺を主観視点カメラ座標ｘＣ１Ｑｋｎの各要素で偏微分した解を各要素に持つ２行×３列のヤコビ行列ＪｕｘＱｋｎ（＝∂ｕＱｋｎ／∂ｘＱｋｎ）と、式３の右辺をベクトルｓの各要素で偏微分した解を各要素に持つ３行×６列のヤコビ行列ＪｘｓＱｋｎ（＝∂ｘＱｋｎ／∂ｓ）を算出し、次式によってＪｕｓＱｋｎを算出する。
【００８１】
（式１０）
2008070267.tif 000012
【００８２】
また、式７の右辺を追加主観視点カメラ座標ｘＣ２Ｑｋｍの各要素で偏微分した解を各要素に持つ２行×３列のヤコビ行列ＪｕｘＱｋｍ（＝∂ｕＱｋｍ／∂ｘＱｋｍ）と、式６の右辺をベクトルｓの各要素で偏微分した解を各要素に持つ３行×６列のヤコビ行列ＪｘｓＱｋｍ（＝∂ｘＱｋｍ／∂ｓ）を算出し、次式によってＪｕｓＱｋｍを算出する。
【００８３】
（式１１）
2008070267.tif 000013
【００８４】
ステップＳ３０５０において、位置姿勢算出部１５０は、ステップＳ３０３０及びステップＳ３０４０において算出した誤差ΔｕＱｋｎ及びΔｕＱｋｍ、及び、ヤコビ行列ＪｕｓＱｋｎ及びＪｕｓＱｋｍに基づいて、状態ベクトルｓの補正値Δｓを算出する。具体的には、誤差ΔｕＱｋｎ及びΔｕＱｋｍを垂直に並べた２（Ｎ＋Ｍ）次元の誤差ベクトル
【００８５】
（式１２）
2008070267.tif 000014
及び、ヤコビ行列ＪｕｓＱｋｎ及びＪｕｓＱｋｍを垂直に並べた２（Ｎ＋Ｍ）行×６列の行列
【００８６】
（式１３）
2008070267.tif 000015
を作成し、Θの擬似逆行列 Θ＋を用いて、
【００８７】
（式１４）
2008070267.tif 000016
として算出する。図１の例ではＮ＝３，Ｍ＝２であるので、Ｕは１０次元ベクトル、Θは１０行×６列の行列となる。
【００８８】
ここで、追加主観視点カメラ１７０の方が主観視点カメラ１６０よりも空間分解能が高いため、追加主観視点画像上において観測される指標の方が、主観視点画像上において観察される指標よりも信頼度が高い。そこで、式１４の演算工程で、追加主観視点画像上において観察される指標の方の重みを高くすることによって、Δｓの計算精度を向上させる。すなわち、式１４の擬似逆行列Θ＋を、
【００８９】
（式１５）
2008070267.tif 000017
として求める。ただし、Ｗは重みを表す２（Ｎ＋Ｍ）行×２（Ｎ＋Ｍ）列の行列であり、次式によって定義する。
【００９０】
（式１６）
2008070267.tif 000018
ここで、ｗｎ（ｎ＝１，，，２Ｎ）及びｗｍ（ｍ＝２Ｎ＋１，，，２（Ｎ＋Ｍ））は、それぞれ一定値である。
【００９１】
そして、例えば、
主観視点カメラ１６０の画角（°）／追加主観視点カメラ１７０の画角（°）＝α
である場合、
ｗｍ＝α×ｗｎ
となるように定めることができる。
【００９２】
ステップＳ３０６０において、位置姿勢算出部１５０は、ステップＳ３０５０において算出した補正値Δｓを用いて式１７に従って状態ベクトルｓを補正し、得られた値をｓの新たな推定値とする。
【００９３】
（式１７）
2008070267.tif 000019
【００９４】
ステップＳ３０７０において、位置姿勢算出部１５０は、誤差ベクトルＵあるいは補正値Δｓの大きさが予め定めた閾値より小さいかといった何らかの判定基準を用い、計算が収束しているか否かの判定を行う。収束していない場合には、補正後の状態ベクトルｓを用いて、再度ステップＳ３０２０以降の処理を行う。
【００９５】
ステップＳ３０７０において、計算が収束したと判定される場合、ステップＳ３０８０において、位置姿勢算出部１５０は、得られた状態ベクトルｓを主観視点カメラ１６０の位置及び姿勢の情報としてデータ記憶部１２０に出力する。位置及び姿勢の情報は、例えば、位置を表す３次元ベクトルｘＷＣ１と姿勢を表す３×３行列ＲＷＣ１（ｓ）との組の形態によって出力する。
【００９６】
以上の処理によって、主観視点画像のみを用いる場合や同一の空間分解能を有するステレオカメラを用いる場合よりも高い精度で主観視点カメラ１６０の位置及び姿勢を算出することができる。
【００９７】
なお、本実施形態では、計算が収束するまでＳ３０２０〜Ｓ３０６０の処理を繰り返し実行（繰り返し演算）する。この繰り返しの中で、最初の数回の繰り返し演算では主観視点画像の情報のみを使い、数回目以降の繰り返し演算から空間分解能の高い追加主観視点画像の情報も同時に使うように構成しても良い。そうすることにより、最終的に算出される主観視点カメラ１６０の位置及び姿勢の精度を劣化させることなく、処理時間を短縮することができる。
【００９８】
なお、本実施形態では、主観視点カメラ１６０と追加主観視点カメラ１７０の光軸の向きが略同一となっているが、異なる向きであっても良い。一般的に、カメラの光軸方向と画面内方向では位置精度が異なる。従って、例えば、主観視点カメラ１６０の光軸と追加主観視点カメラ１７０の光軸を異なる向きとすれば、お互いに位置精度を補完し合って、主観視点カメラ１６０の光軸方向と画面内方向の両方の位置精度を向上させることができる。ここで、主観視点カメラ１６０の光軸と、追加主観視点カメラ１７０の光軸を９０度異なる向きとすれば、一方のカメラの光軸方向がもう一方のカメラの画面内方向と一致することになる。この場合、主観視点カメラ１６０の光軸方向と画面内方向の両方の位置精度を最大限に向上させることができる。
【００９９】
以上のように、本実施形態によれば、位置姿勢の計測対象である第１のカメラに加え、空間分解能がより高い第２のカメラを併用し、両方のカメラで撮像した画像から検出した指標の情報を用いて第１のカメラの位置姿勢を算出する。第２のカメラで撮像した画像から検出される指標の情報は、第１のカメラで撮像した画像から検出した指標の画像よりも信頼度が高いため、より精度の高い位置姿勢を得ることができる。
【０１００】
例えば、ＭＲシステムのように、第１のカメラが観察者に表示するための主観視点映像を撮像する必要があり、第１のカメラの画角等を変更することができない場合がある。この場合でも、本実施形態によれば、第２のカメラを追加し、両方のカメラで撮像した画像を用いて位置姿勢を算出することで、第１のカメラの位置姿勢測定精度を向上することができる。
【０１０１】
［第２の実施形態］
次に、本発明の第２の実施形態について説明する。
本実施形態に係る位置姿勢計測装置は、まず、主観視点カメラで撮像した画像から検出された指標に基づいて主観視点カメラの位置及び姿勢を算出する。そして、その位置及び／又は姿勢を、空間分解能の高い追加主観視点カメラで撮像した画像から検出された指標に基づいて補正する。
【０１０２】
以下、本実施形態に係る位置姿勢計測装置について説明する。なお、本実施形態に係る位置姿勢計測装置の構成は図１と同じでよく、位置姿勢算出部１５０の動作のみ異なるため、位置姿勢算出部１５０の動作についてのみ説明する。
【０１０３】
図４は、本実施形態の位置姿勢計測装置における位置姿勢算出部１５０の動作を説明するフローチャートである。本実施形態においても、ＣＰＵ１００１がプログラムを実行することで位置姿勢算出部１５０として機能する。なお、以下に説明する処理を行う前に、この処理をＣＰＵ１００１が実現するために必要なプログラムコードは、ＲＡＭ１００２にロードされているものとする。本実施形態において、主観視点カメラ１６０の位置及び姿勢は、繰り返し演算による数値計算的手法によって算出される。
【０１０４】
ステップＳ４０００において、位置姿勢算出部１５０は、主観視点指標検出部１３０において検出された主観視点指標の画像座標を、データ記憶部１２０から取得する。
【０１０５】
ステップＳ４０１０において、位置姿勢算出部１５０は、主観視点画像上における指標間の誤差を最小とするような主観視点カメラ１６０の位置及び姿勢を算出する。具体的には、例えば非特許文献４や非特許文献５に記載される方法を用いて、主観視点カメラ１６０の位置及び姿勢を算出することができる。
【０１０６】
ステップＳ４０２０において、位置姿勢算出部１５０は、追加主観視点指標検出部１４０において検出された主観視点指標の画像座標を、データ記憶部１２０から取得する。
【０１０７】
ステップＳ４０３０において、位置姿勢算出部１５０は、追加主観視点指標検出部１４０において検出された主観視点指標の画像座標を使って、主観視点カメラ１６０の姿勢を補正する。追加主観視点カメラ１７０は主観視点カメラ１６０よりも空間分解能が高いため、追加主観視点指標検出部１４０において検出された主観視点指標の画像座標を使うことで、主観視点カメラ１６０の姿勢を高精度に算出することができる。一方、追加主観視点カメラ１７０の画角は主観視点カメラ１６０よりも狭く、より正射影に近い。従って、位置の計算に利用するという観点からは主観視点画像の方が適している。そのため、本実施形態では、例えば特許文献４の方法３に記載される方法によって、主観視点カメラ１６０の姿勢のみを補正する。ここで、ステップＳ４０１０において算出された主観視点カメラ１６０の位置及び姿勢に基づいて予測される夫々の主観視点指標の画像座標を、特許文献４の方法３のＰｉとすればよい。また、追加主観視点指標検出部１４０において検出された夫々の主観視点指標の画像座標を、特許文献４の方法３のＱｉとすればよい。
【０１０８】
ここで、追加主観視点カメラ１７０を用いて検出するための追加主観視点指標を、主観視点指標とは別に設定することもできる。例えば、本実施形態では、単体では個別識別できない指標も追加主観視点指標として用いることができる。つまり、追加主観視点指標は、略同一色を有する円形状のマーカや、エッジ等の自然特徴や、繰り返しパターンを有するテクスチャ等であっても良い。そのような指標であっても、予めステップＳ４０１０において算出された主観視点カメラ１６０の概略の位置及び姿勢を使って同定することができれば、追加主観視点指標として使えることになる。
【０１０９】
なお、主観視点カメラ１６０と追加主観視点カメラ１７０の画角の差が閾値よりも小さいような場合には、例えば特許文献４の方法によって、主観視点カメラ１６０の位置及び姿勢の両方を補正しても良い。
【０１１０】
ステップＳ４０４０において、位置姿勢算出部１５０は、算出した主観視点カメラ１６０の位置及び姿勢の情報を、例えば、位置を表す３次元ベクトルｘＷＣ１と姿勢を表す３×３行列ＲＷＣ１との組の形態によってデータ記憶部１２０に出力する。
以上の処理によって、主観視点画像のみを用いる場合よりも高い精度で主観視点カメラ１６０の位置及び姿勢を算出することができる。
【０１１１】
以上のように、本実施形態によれば、主観視点画像から検出された指標に基づいて算出した主観視点カメラ１６０の位置及び姿勢を、空間分解能の高い追加主観視点カメラ１７０による撮像画像から検出された指標に基づいて補正する。これにより、主観視点カメラ１６０の位置及び姿勢を算出する際の精度を向上させることができる。
【０１１２】
なお、処理の順番は上記とは逆にしても良い。すなわち、追加主観視点画像から検出された指標に基づいて主観視点カメラの位置及び姿勢を算出し、次に、主観視点画像から検出された指標に基づいて、例えば特許文献４の方法によって、主観視点カメラの位置を補正しても良い。
【０１１３】
（変形例１）
上記の実施形態の夫々において、主観視点カメラの画角よりも追加主観視点カメラの画角の方が広くなるようにしても良い。そうすれば、追加主観視点カメラの視野内に含まれる指標が増加し、主観視点カメラの位置及び姿勢を安定して算出することができる。
【０１１４】
この場合、第１の実施形態の繰り返し演算処理において、最初の数回の繰り返しでは空間分解能の低い追加主観視点カメラの情報のみを使い、途中のステップから空間分解能の高い主観視点カメラの情報も同時に使うようにしても良い。
【０１１５】
また、第２の実施形態の順次処理において、追加主観視点画像から検出された指標に基づいて主観視点カメラの位置及び姿勢を算出し、次に、主観視点画像から検出された指標に基づいて主観視点カメラの姿勢を補正すれば良い。主観視点カメラよりも画角の広い追加主観視点カメラを用いると、追加主観視点画像に投影される指標は正射影から離れるため、追加主観視点画像を用いると主観視点カメラの位置をより高精度に算出することができる。従って、主観視点画像から検出された指標に基づいて主観視点カメラの位置及び姿勢を算出し、次に、追加主観視点画像から検出された指標に基づいて、例えば特許文献４の方法５に記載される方法によって、主観視点カメラの位置を補正しても良い。
【０１１６】
（変形例２）
上記の実施形態の夫々において、主観視点カメラの位置又は姿勢又はそれらの時間微分に関する情報を計測するセンサを主観視点カメラに設置して、主観視点カメラの位置及び姿勢を算出しても良い。
【０１１７】
位置センサを設置した場合には、例えば特許文献３の手法によって、主観視点カメラの位置及び姿勢を算出することができる。この場合、主観視点カメラによって取得される主観視点画像上及び追加主観視点カメラによって取得される追加主観視点画像上において、少なくとも合計２個以上の指標が常に観測されるように設定されていれば良い。そして、この場合には、画像情報のみを用いる場合と比較して、主観視点カメラの位置及び姿勢を安定して算出することができる。
【０１１８】
姿勢センサを設置した場合には、例えば非特許文献６の手法によって、主観視点カメラの位置及び姿勢を算出することができる。この場合、主観視点カメラによって取得される主観視点画像上及び追加主観視点カメラによって取得される追加主観視点画像上において、少なくとも合計２個以上の指標が常に観測されるように設定されていれば良い。そして、この場合にも、画像情報のみを用いる場合と比較して、主観視点カメラの位置及び姿勢を安定して算出することができる。
【０１１９】
（変形例３）
上記の実施形態の夫々において、主観視点カメラを撮像する客観視点カメラを併用しても良い。図５は、図１の位置姿勢計測装置に客観視点カメラを追加接続した際の構成を示すブロック図である。
【０１２０】
客観視点カメラ５９０は、位置及び姿勢が既知である。客観視点カメラ５９０は、客観視点指標Ｐを撮像する。客観視点指標Ｐは、主観視点カメラ１６０との相対的な位置及び姿勢が不変である。客観視点指標検出部５８０は、客観視点カメラ５９０が撮像した画像から、客観視点指標Ｐの画像座標を検出する。客観視点指標Ｐの画像座標を例えば特許文献３の手法に適用することで、主観視点カメラ１６０の位置及び姿勢を算出することができる。なお、客観視点指標検出部５８０もまた、ＣＰＵ１００１がプログラムを実行することによりソフトウェア的に実現可能である。
【０１２１】
本変形例では、客観視点画像を用いることにより、主観視点カメラ１６０の位置及び姿勢を安定して算出することができる。
【０１２２】
（変形例４）
上記の実施形態の夫々において、追加主観視点カメラ１７０が１台の場合について説明したが、追加主観視点カメラ１７０の台数は１台に限らず、複数台であっても良い。この場合、第１の実施形態と同様の処理によって、主観視点カメラ１６０の位置及び姿勢を算出することができる。
【０１２３】
追加主観視点カメラ１７０の台数をＡ、夫々の追加主観視点画像上で検出された指標の数を、Ｍ１，Ｍ２，・・・，ＭＡとする。この場合、誤差ベクトルＵは２（Ｎ＋Ｍ１＋Ｍ２＋・・・＋ＭＡ）次元のベクトルとなる。また、行列Θは２（Ｎ＋Ｍ１＋Ｍ２＋・・・＋ＭＡ）行×６列の行列となる。
【０１２４】
なお、追加主観視点カメラ１７０のうちの少なくとも一つは主観視点カメラ１６０よりも空間分解能が高く、残りの追加主観視点カメラ１７０のうちの少なくとも一つは主観視点カメラ１６０よりも画角が広くなるように構成しても良い。そうすれば、主観視点カメラ１６０の位置及び姿勢を高精度かつ安定して算出することができる。
【０１２５】
また、追加主観視点カメラ１７０のうちの少なくとも一つの光軸の向きが、残りの追加主観視点カメラ１７０のうちの少なくとも一つの光軸の向きと異なるように構成しても良い。主観視点カメラ１６０よりも画角の広い追加主観視点カメラ１７０を用いることで、主観視点カメラ１６０の位置を高精度に算出することができる。従って、主観視点カメラ１６０の光軸と、画角の広い追加主観視点カメラ１７０の光軸を異なる向きとすることで、お互いに位置精度を補完し合って、主観視点カメラ１６０の光軸方向と画面内方向の両方の位置精度を向上させることができる。一方、主観視点カメラ１６０よりも空間分解能の高い追加主観視点カメラ１７０からは、信頼度の高い指標が検出できるので、上述した実施形態で述べたように、主観視点カメラ１６０の姿勢を高精度に算出することができる。
【０１２６】
（変形例５）
上記の実施形態の夫々において、追加主観視点カメラ１７０として、可視光とは異なる波長の光を撮像するカメラを使うことも可能である。例えば、追加主観視点カメラ１７０として赤外光を撮像するカメラを使い、追加主観視点指標として赤外光を発光又は反射する指標を使っても良い。この場合、例えば、天井に配置した赤外光を発光する指標を、追加主観視点カメラ１７０によって撮像することによって、可視光を撮像するカメラを用いる場合と比較して安定して指標を検出することができる。
【０１２７】
なお、主観視点カメラ１６０として赤外光を撮像するカメラを用い、主観視点指標として赤外光を発光又は反射する指標を用いることも可能である。さらに、主観視点カメラ１６０と追加主観視点カメラ１７０の両方に赤外光を撮像するカメラを用い、主観視点指標と追加主観視点指標の両方に赤外光を発光又は反射する指標を用いても良い。
【０１２８】
また、可視光とは異なる波長の光を撮像するカメラとしては、赤外光を撮像するカメラに限らず、紫外光を撮像するカメラなどを用いても良い。さらに、可視光とは異なる波長の光と可視光の両方を同時に撮像するカメラを用いても良い。
【０１２９】
なお、追加主観視点カメラ１６０としてモノクロカメラを使い、追加主観視点指標として色情報が含まれない指標を使っても良い。この場合、カラーカメラを追加主観視点カメラ１７０に使う場合と比較して、処理時間の増加を抑えることができる。
【０１３０】
（変形例６）
上記の実施形態の夫々は、式１４で表現される方法を用いて補正値Δｓを算出し、ｓをｓ＋Δｓに置き換えることで推定値ｓの更新を行っている。しかしながら、行列Θ及び誤差ベクトルＵに基づいてｓを算出する方法はこの方法に限定されない。例えば公知の非線形方程式の反復解法であるＬＭ法（Ｌｅｖｅｎｂｅｒｇ−Ｍａｒｑｕａｒｄｔ法）を組み合わせて求めても良い。また、公知のロバスト推定手法であるＭ推定等の統計的手法を組み合わせても良い。他の何れの数値計算手法を併用してもよい。
【０１３１】
［その他の実施形態］
上述の実施形態は、システム或は装置のコンピュータ（或いはＣＰＵ、ＭＰＵ等）によりソフトウェア的に実現することも可能である。
従って、上述の実施形態をコンピュータで実現するために、該コンピュータに供給されるコンピュータプログラム自体も本発明を実現するものである。つまり、上述の実施形態の機能を実現するためのコンピュータプログラム自体も本発明の一つである。
【０１３２】
なお、上述の実施形態を実現するためのコンピュータプログラムは、コンピュータで読み取り可能であれば、どのような形態であってもよい。例えば、オブジェクトコード、インタプリタにより実行されるプログラム、ＯＳに供給するスクリプトデータ等で構成することができるが、これらに限るものではない。
【０１３３】
上述の実施形態を実現するためのコンピュータプログラムは、記憶媒体又は有線／無線通信によりコンピュータに供給される。プログラムを供給するための記憶媒体としては、例えば、フレキシブルディスク、ハードディスク、磁気テープ等の磁気記憶媒体、ＭＯ、ＣＤ、ＤＶＤ等の光／光磁気記憶媒体、不揮発性の半導体メモリなどがある。
【０１３４】
有線／無線通信を用いたコンピュータプログラムの供給方法としては、コンピュータネットワーク上のサーバを利用する方法がある。この場合、本発明を形成するコンピュータプログラムとなりうるデータファイル（プログラムファイル）をサーバに記憶しておく。プログラムファイルとしては、実行形式のものであっても、ソースコードであっても良い。
【０１３５】
そして、このサーバにアクセスしたクライアントコンピュータに、プログラムファイルをダウンロードすることによって供給する。この場合、プログラムファイルを複数のセグメントファイルに分割し、セグメントファイルを異なるサーバに分散して配置することも可能である。
つまり、上述の実施形態を実現するためのプログラムファイルをクライアントコンピュータに提供するサーバ装置も本発明の一つである。
【０１３６】
また、上述の実施形態を実現するためのコンピュータプログラムを暗号化して格納した記憶媒体を配布し、所定の条件を満たしたユーザに、暗号化を解く鍵情報を供給し、ユーザの有するコンピュータへのインストールを許可してもよい。鍵情報は、例えばインターネットを介してホームページからダウンロードさせることによって供給することができる。
【０１３７】
また、上述の実施形態を実現するためのコンピュータプログラムは、すでにコンピュータ上で稼働するＯＳの機能を利用するものであってもよい。
さらに、上述の実施形態を実現するためのコンピュータプログラムは、その一部をコンピュータに装着される拡張ボード等のファームウェアで構成してもよいし、拡張ボード等が備えるＣＰＵで実行するようにしてもよい。
【図面の簡単な説明】
【０１３８】
【図１】本発明の第１の実施形態に係る位置姿勢計測装置の構成例を示す図である。
【図２】本発明の実施形態に係る位置姿勢計測装置１００として機能しうるコンピュータの基本構成例を示す図である。
【図３】第１の実施形態の位置姿勢計測装置における位置姿勢算出部１５０の動作を説明するフローチャートである。
【図４】第２の実施形態の位置姿勢計測装置における位置姿勢算出部１５０の動作を説明するフローチャートである。
【図５】図１の位置姿勢計測装置に客観視点カメラを追加接続した際の構成を示す図である。
【図６】従来技術で利用されている指標の例を示す図である。
【図１】
2008070267.tif 000020
【図２】
2008070267.tif 000021
【図３】
2008070267.tif 000022
【図４】
2008070267.tif 000023
【図５】
2008070267.tif 000024
【図６】
2008070267.tif 000025