(57)【特許請求の範囲】
【請求項１】
予め設置され、位置及び形状が既知のマーカを第１の地点において撮影した第１の画像と、前記第１の地点とは異なる第２の地点において前記マーカを撮影した第２の画像とを生成する撮像部と、
前記第１の画像及び前記第２の画像のそれぞれから前記マーカの複数の特徴点を検出するマーカ検出部と、
前記マーカの前記複数の特徴点のそれぞれについて、当該特徴点についての前記第１の画像上の位置と前記第２の画像上の位置とから前記第１の地点を基準とするカメラ座標系の三次元座標を算出する三次元位置決定部と、
前記マーカの前記複数の特徴点のそれぞれの前記カメラ座標系の三次元座標を、座標変換パラメータを用いて座標変換して得られる世界座標系の三次元座標と、実空間での前記マーカの前記複数の特徴点のうちの対応する特徴点の世界座標系での三次元座標との誤差の絶対値の和が最小となるように、前記座標変換パラメータを算出する座標変換パラメータ決定部と、を有し、
前記マーカの前記複数の特徴点のうち、固定する複数の特徴点の組を、組み合わせを変えながら複数作成し、
前記固定する複数の特徴点の組のそれぞれごとに、前記マーカの前記複数の特徴点のそれぞれの前記カメラ座標系の三次元座標を結んだ形状が実空間での前記マーカの前記複数の特徴点を結んで得られる形状となるように、前記マーカの前記複数の特徴点のうちの前記固定する複数の特徴点以外の特徴点の位置を補正したときに、当該固定する複数の特徴点以外の特徴点についての補正前後のカメラ座標系での三次元座標の距離の和が最小となるように前記マーカの前記複数の特徴点のカメラ座標系の三次元座標を補正するマーカ座標補正部をさらに有し、
前記座標変換パラメータ決定部は、補正された前記マーカの前記複数の特徴点のカメラ座標系の三次元座標を用いて、前記座標変換パラメータを算出する座標変換パラメータ決定装置。
【請求項２】
予め設置され、位置及び形状が既知のマーカを第１の地点において撮影した第１の画像と、前記第１の地点とは異なる第２の地点において前記マーカを撮影した第２の画像とを生成する撮像部と、
前記第１の画像及び前記第２の画像のそれぞれから前記マーカの複数の特徴点を検出するマーカ検出部と、
前記マーカの前記複数の特徴点のそれぞれについて、当該特徴点についての前記第１の画像上の位置と前記第２の画像上の位置とから前記第１の地点を基準とするカメラ座標系の三次元座標を算出する三次元位置決定部と、
前記マーカの前記複数の特徴点のそれぞれの前記カメラ座標系の三次元座標を、座標変換パラメータを用いて座標変換して得られる世界座標系の三次元座標と、実空間での前記マーカの前記複数の特徴点のうちの対応する特徴点の世界座標系での三次元座標との誤差の絶対値の和が最小となるように、前記座標変換パラメータを算出する座標変換パラメータ決定部と、を有し、
前記マーカの前記複数の特徴点のうち、固定する複数の特徴点の組を、組み合わせを変えながら複数作成し、
前記固定する複数の特徴点の組のそれぞれごとに、前記マーカの前記複数の特徴点のそれぞれの前記カメラ座標系の三次元座標を結んだ形状が実空間での前記マーカの前記複数の特徴点を結んで得られる形状となるように、前記マーカの前記複数の特徴点のうちの前記固定する複数の特徴点以外の特徴点の位置を補正することで、前記マーカの前記複数の特徴点のカメラ座標系の三次元座標を補正するマーカ座標補正部と、
前記固定する複数の特徴点の組のそれぞれごとに、補正された前記マーカの前記複数の特徴点のカメラ座標系の三次元座標を用いて算出された前記座標変換パラメータの候補のうち、当該座標変換パラメータの候補に応じて、当該組について補正された前記マーカの前記複数の特徴点の前記カメラ座標系の三次元座標を前記世界座標系の三次元座標に座標変換して得られた前記複数の特徴点の重心と前記マーカの前記複数の特徴点の世界座標系の重心との距離が最小となるときの座標変換パラメータの候補を前記座標変換パラメータとする座標変換パラメータ再推定部と、をさらに有する座標変換パラメータ決定装置。
【請求項３】
前記座標変換パラメータ再推定部は、前記固定する複数の特徴点の組のうち、補正前後のカメラ座標系での三次元座標の距離の和が最小となる組について算出された前記座標変換パラメータの候補に応じて、当該組について補正された前記マーカの前記複数の特徴点の前記カメラ座標系の三次元座標を前記世界座標系の三次元座標に座標変換して得られた前記複数の特徴点の重心と前記マーカの前記複数の特徴点の世界座標系の重心との距離が所定の許容範囲未満である場合、当該組についての前記座標変換パラメータの候補を前記座標変換パラメータとする、請求項２に記載の座標変換パラメータ決定装置。
【請求項４】
前記マーカは、正方形であり、
前記マーカの前記複数の特徴点は、前記マーカの四隅である、請求項１〜３の何れか一項に記載の座標変換パラメータ決定装置。
【請求項５】
予め設置され、位置及び形状が既知のマーカを第１の地点において撮影した第１の画像と、前記第１の地点とは異なる第２の地点において前記マーカを撮影した第２の画像とを生成し、
前記第１の画像及び前記第２の画像のそれぞれから前記マーカの複数の特徴点を検出し、
前記マーカの前記複数の特徴点のそれぞれについて、当該特徴点についての前記第１の画像上の位置と前記第２の画像上の位置とから前記第１の地点を基準とするカメラ座標系の三次元座標を算出し、
前記マーカの前記複数の特徴点のそれぞれの前記カメラ座標系の三次元座標を、座標変換パラメータを用いて座標変換して得られる世界座標系の三次元座標と、実空間での前記マーカの前記複数の特徴点のうちの対応する特徴点の世界座標系での三次元座標との誤差の絶対値の和が最小となるように、前記座標変換パラメータを算出し、
前記マーカの前記複数の特徴点のうち、固定する複数の特徴点の組を、組み合わせを変えながら複数作成し、
前記固定する複数の特徴点の組のそれぞれごとに、前記マーカの前記複数の特徴点のそれぞれの前記カメラ座標系の三次元座標を結んだ形状が実空間での前記マーカの前記複数の特徴点を結んで得られる形状となるように、前記マーカの前記複数の特徴点のうちの前記固定する複数の特徴点以外の特徴点の位置を補正したときに、当該固定する複数の特徴点以外の特徴点についての補正前後のカメラ座標系での三次元座標の距離の和が最小となるように前記マーカの前記複数の特徴点のカメラ座標系の三次元座標を補正し、
前記座標変換パラメータを算出するのは、補正された前記マーカの前記複数の特徴点のカメラ座標系の三次元座標を用いて、前記座標変換パラメータを算出する、ことを含む座標変換パラメータ決定方法。
【請求項６】
予め設置され、位置及び形状が既知のマーカを第１の地点において撮影した第１の画像と、前記第１の地点とは異なる第２の地点において前記マーカを撮影した第２の画像とを生成し、
前記第１の画像及び前記第２の画像のそれぞれから前記マーカの複数の特徴点を検出し、
前記マーカの前記複数の特徴点のそれぞれについて、当該特徴点についての前記第１の画像上の位置と前記第２の画像上の位置とから前記第１の地点を基準とするカメラ座標系の三次元座標を算出し、
前記マーカの前記複数の特徴点のそれぞれの前記カメラ座標系の三次元座標を、座標変換パラメータを用いて座標変換して得られる世界座標系の三次元座標と、実空間での前記マーカの前記複数の特徴点のうちの対応する特徴点の世界座標系での三次元座標との誤差の絶対値の和が最小となるように、前記座標変換パラメータを算出し、
前記マーカの前記複数の特徴点のうち、固定する複数の特徴点の組を、組み合わせを変えながら複数作成し、
前記固定する複数の特徴点の組のそれぞれごとに、前記マーカの前記複数の特徴点のそれぞれの前記カメラ座標系の三次元座標を結んだ形状が実空間での前記マーカの前記複数の特徴点を結んで得られる形状となるように、前記マーカの前記複数の特徴点のうちの前記固定する複数の特徴点以外の特徴点の位置を補正することで、前記マーカの前記複数の特徴点のカメラ座標系の三次元座標を補正し、
前記固定する複数の特徴点の組のそれぞれごとに、補正された前記マーカの前記複数の特徴点のカメラ座標系の三次元座標を用いて算出された前記座標変換パラメータの候補のうち、当該座標変換パラメータの候補に応じて、当該組について補正された前記マーカの前記複数の特徴点の前記カメラ座標系の三次元座標を前記世界座標系の三次元座標に座標変換して得られた前記複数の特徴点の重心と前記マーカの前記複数の特徴点の世界座標系の重心との距離が最小となるときの座標変換パラメータの候補を前記座標変換パラメータとする、ことを含む座標変換パラメータ決定方法。
【請求項７】
予め設置され、位置及び形状が既知のマーカを第１の地点において撮影した第１の画像と、前記第１の地点とは異なる第２の地点において前記マーカを撮影した第２の画像とを生成し、
前記第１の画像及び前記第２の画像のそれぞれから前記マーカの複数の特徴点を検出し、
前記マーカの前記複数の特徴点のそれぞれについて、当該特徴点についての前記第１の画像上の位置と前記第２の画像上の位置とから前記第１の地点を基準とするカメラ座標系の三次元座標を算出し、
前記マーカの前記複数の特徴点のそれぞれの前記カメラ座標系の三次元座標を、座標変換パラメータを用いて座標変換して得られる世界座標系の三次元座標と、実空間での前記マーカの前記複数の特徴点のうちの対応する特徴点の世界座標系での三次元座標との誤差の絶対値の和が最小となるように、前記座標変換パラメータを算出し、
前記マーカの前記複数の特徴点のうち、固定する複数の特徴点の組を、組み合わせを変えながら複数作成し、
前記固定する複数の特徴点の組のそれぞれごとに、前記マーカの前記複数の特徴点のそれぞれの前記カメラ座標系の三次元座標を結んだ形状が実空間での前記マーカの前記複数の特徴点を結んで得られる形状となるように、前記マーカの前記複数の特徴点のうちの前記固定する複数の特徴点以外の特徴点の位置を補正したときに、当該固定する複数の特徴点以外の特徴点についての補正前後のカメラ座標系での三次元座標の距離の和が最小となるように前記マーカの前記複数の特徴点のカメラ座標系の三次元座標を補正し、
前記座標変換パラメータを算出するのは、補正された前記マーカの前記複数の特徴点のカメラ座標系の三次元座標を用いて、前記座標変換パラメータを算出する、ことをコンピュータに実行させるための座標変換パラメータ決定用コンピュータプログラム。
【請求項８】
予め設置され、位置及び形状が既知のマーカを第１の地点において撮影した第１の画像と、前記第１の地点とは異なる第２の地点において前記マーカを撮影した第２の画像とを生成し、
前記第１の画像及び前記第２の画像のそれぞれから前記マーカの複数の特徴点を検出し、
前記マーカの前記複数の特徴点のそれぞれについて、当該特徴点についての前記第１の画像上の位置と前記第２の画像上の位置とから前記第１の地点を基準とするカメラ座標系の三次元座標を算出し、
前記マーカの前記複数の特徴点のそれぞれの前記カメラ座標系の三次元座標を、座標変換パラメータを用いて座標変換して得られる世界座標系の三次元座標と、実空間での前記マーカの前記複数の特徴点のうちの対応する特徴点の世界座標系での三次元座標との誤差の絶対値の和が最小となるように、前記座標変換パラメータを算出し、
前記マーカの前記複数の特徴点のうち、固定する複数の特徴点の組を、組み合わせを変えながら複数作成し、
前記固定する複数の特徴点の組のそれぞれごとに、前記マーカの前記複数の特徴点のそれぞれの前記カメラ座標系の三次元座標を結んだ形状が実空間での前記マーカの前記複数の特徴点を結んで得られる形状となるように、前記マーカの前記複数の特徴点のうちの前記固定する複数の特徴点以外の特徴点の位置を補正することで、前記マーカの前記複数の特徴点のカメラ座標系の三次元座標を補正し、
前記固定する複数の特徴点の組のそれぞれごとに、補正された前記マーカの前記複数の特徴点のカメラ座標系の三次元座標を用いて算出された前記座標変換パラメータの候補のうち、当該座標変換パラメータの候補に応じて、当該組について補正された前記マーカの前記複数の特徴点の前記カメラ座標系の三次元座標を前記世界座標系の三次元座標に座標変換して得られた前記複数の特徴点の重心と前記マーカの前記複数の特徴点の世界座標系の重心との距離が最小となるときの座標変換パラメータの候補を前記座標変換パラメータとする、ことをコンピュータに実行させるための座標変換パラメータ決定用コンピュータプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、カメラ座標系と世界座標系との座標変換のパラメータを算出する座標変換パラメータ決定装置、座標変換パラメータ決定方法及び座標変換パラメータ決定用コンピュータプログラムに関する。
【背景技術】
【０００２】
近年、ユーザの作業の支援を行うために、カメラによって撮影した画像に、様々な情報を重畳表示させる、いわゆる拡張現実感（Augmented Reality, AR）に関する研究が行われている。
【０００３】
ARを実現するシステムにおいては、カメラで撮影された画像上の適切な位置に情報を重畳するために、仮想空間が実空間に正確に位置合わせされることが求められる。そのために、予め設置された既知のマーカの画像上の位置及び形状から、カメラの位置及び姿勢を推定する技術が提案されている（例えば、非特許文献１を参照）。また、任意の２地点から対象物が写る二つの画像を撮影し、各画像から特徴点を抽出し、画像間で対応する特徴点の三次元座標を各画像上の特徴点の座標に基づいて三角測量の原理によって算出する技術も提案されている（例えば、非特許文献２を参照）。
【０００４】
しかしながら、撮影条件によっては、画像上でマーカを正確に検出することが困難なことがある。また、カメラの撮影範囲からマーカが外れ、その結果として画像上にマーカが写っていないこともある。このような場合、マーカに基づいてカメラの姿勢を推定することは困難である。そこで、マーカを用いてカメラのワールド座標系におけるカメラ位置と回転を表すカメラポーズの推定結果が得られなかった場合、ワールド座標系における３次元座標が既知の点を用いてカメラポーズを推定する技術が提案されている（例えば、特許文献１を参照）。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２０１４−９２９８４号公報
【非特許文献】
【０００６】
【非特許文献１】加藤他、「マーカー追跡に基づく拡張現実感システムとそのキャリブレーション」、日本バーチャルリアリティ学会論文誌、4(4)、pp.607-616、1999年12月
【非特許文献２】山田他、「２画像からの３次元復元の最新アルゴリズム」、情報処理学会研究報告、vol. 2009-CVIM-168-15、pp.1-8、 2009年
【発明の概要】
【発明が解決しようとする課題】
【０００７】
画像を生成するカメラの撮影範囲から既知の形状のマーカが外れてしまうと、カメラはマーカに基づいてカメラの位置及び姿勢を推定できない。そのため、カメラの位置及び姿勢を推定するために、カメラは、例えばマーカ以外の自然特徴点を利用する。この場合、カメラは、座標変換パラメータに基づいて、自然特徴点のカメラ座標系の三次元座標を世界座標系の三次元座標に座標変換する。そしてカメラは、座標変換した自然特徴点の世界座標系の三次元座標に基づいてカメラの位置及び姿勢を推定する。ここで、自然特徴点のカメラ座標系の三次元座標に誤差が生じてしまうと、推定されたカメラの位置及び姿勢にも誤差が生じてしまう。
【０００８】
そこで、本明細書は、特徴点の三次元座標をカメラ座標系と世界座標系との間で座標変換する際の座標変換精度を向上できる座標変換パラメータ決定装置を提供することを目的とする。
【課題を解決するための手段】
【０００９】
一つの実施形態によれば、座標変換パラメータ決定装置が提供される。この座標変換パラメータ決定装置は、予め設置され、位置及び形状が既知のマーカを第１の地点において撮影した第１の画像と、第１の地点とは異なる第２の地点においてマーカを撮影した第２の画像とを生成する撮像部と、第１の画像及び第２の画像のそれぞれからマーカの複数の特徴点を検出するマーカ検出部と、マーカの複数の特徴点のそれぞれについて、その特徴点についての第１の画像上の位置と第２の画像上の位置とから第１の地点を基準とするカメラ座標系の三次元座標を算出する三次元位置決定部と、マーカの複数の特徴点のそれぞれのカメラ座標系の三次元座標を、座標変換パラメータを用いて座標変換して得られる世界座標系の三次元座標と、実空間でのマーカの複数の特徴点のうちの対応する特徴点の世界座標系での三次元座標との誤差の絶対値の和が最小となるように、座標変換パラメータを算出する座標変換パラメータ決定部とを有する。マーカの複数の特徴点のうち、固定する複数の特徴点の組を、組み合わせを変えながら複数作成し、固定する複数の特徴点の組のそれぞれごとに、マーカの複数の特徴点のそれぞれのカメラ座標系の三次元座標を結んだ形状が実空間でのマーカの複数の特徴点を結んで得られる形状となるように、マーカの複数の特徴点のうちの固定する複数の特徴点以外の特徴点の位置を補正したときに、当該固定する複数の特徴点以外の特徴点についての補正前後のカメラ座標系での三次元座標の距離の和が最小となるようにマーカの複数の特徴点のカメラ座標系の三次元座標を補正するマーカ座標補正部をさらに有し、座標変換パラメータ決定部は、補正されたマーカの複数の特徴点のカメラ座標系の三次元座標を用いて、座標変換パラメータを算出する。
【００１０】
本発明の目的及び利点は、請求項において特に指摘されたエレメント及び組み合わせにより実現され、かつ達成される。
【００１１】
上記の一般的な記述及び下記の詳細な記述の何れも、例示的かつ説明的なものであり、請求項のように、本発明を限定するものではないことを理解されたい。
【発明の効果】
【００１２】
本明細書に開示された座標変換パラメータ決定装置は、特徴点の三次元座標をカメラ座標系と世界座標系との間で座標変換の座標変換精度を向上できる。
【図面の簡単な説明】
【００１３】
【図１】座標変換パラメータ決定装置の一つの実施形態である携帯端末のハードウェア構成図を示す図である。
【図２】マーカの一例を示す図である。
【図３】撮像部の位置及び姿勢推定に関する制御部の機能ブロック図を示す図である。
【図４】第１の地点と第２の地点の位置関係の一例を示す図である。
【図５】対応点情報テーブルの一例を示す図である。
【図６】自然特徴点情報テーブルの一例を示す図である。
【図７】座標変換の概要を示す図である。
【図８】初期マップの一例を示す図である。
【図９】自然特徴点ベースの姿勢推定処理の概念図を示す図である。
【図１０】携帯端末の制御部により実行される、座標変換パラメータ決定処理の動作フローチャートを示す図である。
【図１１】変形例による、撮像部の位置及び姿勢推定に関する制御部の機能ブロック図を示す図である。
【図１２】（ａ）は、マーカの右側に市松模様が設定される一例を示す図であり、（ｂ）は、歪みがない場合の三次元座標を立体的に表示された一例を示す図であり、（ｃ）は、歪みがある場合の三次元座標を立体的に表示された一例を示す図である。
【図１３】他の変形例による、撮像部の位置及び姿勢推定に関する制御部の機能ブロック図を示す図である。
【図１４】マーカの四隅の三次元座標の補正の概要図を示す図である。
【図１５】さらに他の変形例による、撮像部の位置及び姿勢推定に関する制御部の機能ブロック図を示す図である。
【発明を実施するための形態】
【００１４】
以下、図を参照しつつ、座標変換パラメータ決定装置について説明する。この座標変換パラメータ決定装置は、撮像部によって異なる撮影位置で生成された二つの画像のそれぞれからマーカの複数の特徴点を検出する。この座標変換パラメータ決定装置は、マーカの複数の特徴点のそれぞれについて、各画像上での位置に基づいてカメラ座標系の三次元座標を求める。座標変換パラメータ決定装置は、マーカの複数の特徴点のカメラ座標系の三次元座標を、座標変換パラメータを用いて変換した世界座標系の三次元座標と実空間で対応する特徴点の三次元座標との誤差の絶対値和が最小となるよう、座標変換パラメータを算出する。この座標変換パラメータ決定装置は、座標変換パラメータに応じて、得られたマーカ以外の複数の特徴点のカメラ座標系の三次元座標を、世界座標系の三次元座標に座標変換する。そしてこの座標変換パラメータ決定装置は、座標変換されたマーカ以外の複数の特徴点の世界座標系の三次元座標を初期マップとして記憶部に記憶する。
【００１５】
図１は、座標変換パラメータ決定装置の一つの実施形態である携帯端末のハードウェア構成図である。携帯端末１は、ユーザインターフェース部２と、撮像部３と、記憶媒体アクセス装置４と、記憶部５と、制御部６とを有する。ユーザインターフェース部２、撮像部３、記憶媒体アクセス装置４、記憶部５及び制御部６は、筐体７内に配置される。なお、携帯端末１は、例えば、携帯電話機、携帯情報端末またはタブレット型コンピュータである。さらに携帯端末１は、携帯端末１を他の機器に接続するための通信インターフェース回路（図示せず）を有していてもよい。なお図１は、携帯端末１が有する構成要素を説明するための図であり、携帯端末１の各構成要素の実際の配置を表した図ではないことに留意されたい。
【００１６】
携帯端末１は、撮像部３が所定の撮影周期ごとに周囲を撮影して得られた画像に写っているマーカまたは自然特徴点に基づいて、撮像部３の位置及び姿勢を推定する。そしてこの携帯端末１は、その位置及び姿勢の推定結果を利用して、画像上に様々な情報を重畳することで、ARをユーザに提供してもよい。
【００１７】
ユーザインターフェース部２は、例えば、液晶ディスプレイ、あるいは有機エレクトロルミネッセンスディスプレイを有し、ユーザインターフェース部２の表示画面が、筐体７の正面に対向するユーザを向くように配置される。そしてユーザインターフェース部２は、撮像部３により生成された画像など、ユーザに対して様々な情報を表示する。またユーザインターフェース部２は、タッチパネルディスプレイを有してもよい。この場合、ユーザインターフェース部２は、例えば、様々なアイコンまたは操作ボタン（例えば、初期マップ生成開始ボタン又は初期マップ生成指示ボタン）を、制御部６からの制御信号に応じて表示する。そしてユーザインターフェース部２は、表示されたアイコンまたは操作ボタンの位置にユーザが触れた場合に、その位置に応じた操作信号を生成し、その操作信号を制御部６へ出力する。
【００１８】
撮像部３は、例えば、２次元アレイ状に配置された固体撮像素子を有するイメージセンサと、そのイメージセンサ上に被写体の像を結像する撮像光学系とを有する。
【００１９】
撮像部３は、所定の撮影周期ごとに携帯端末１の周囲を撮影することで、その撮影周期ごとに画像を生成する。また、撮像部３は、ユーザによりボタンを押す等の操作がなされる度にも画像を生成する。なお、生成される画像は、RGB表色系により表されるカラー画像であってもよく、あるいは、グレー画像であってもよい。そして撮像部３は、画像を生成する度に、生成した画像を制御部６へ出力する。なお、撮影周期は、例えば、33msecである。
【００２０】
記憶媒体アクセス装置４は、例えば、半導体メモリカードといった記憶媒体８にアクセスする装置である。記憶媒体アクセス装置４は、例えば、記憶媒体８に記憶された、制御部６上で実行されるコンピュータプログラムを読み込み、制御部６に渡す。また、制御部６が座標変換パラメータ決定装置としての機能を実現するコンピュータプログラムを実行する場合には、記憶媒体アクセス装置４は、記憶媒体８から座標変換パラメータ決定用コンピュータプログラムを読み込んで、制御部６に渡してもよい。
【００２１】
記憶部５は、例えば、読み書き可能な不揮発性の半導体メモリと、読み書き可能な揮発性の半導体メモリとを有する。そして記憶部５は、制御部６上で実行される各種のアプリケーションプログラム及び各種のデータを記憶する。また記憶部５は、座標変換パラメータ決定処理に利用される各種のデータを記憶する。例えば、記憶部５は、直近の一定期間（例えば、数フレーム〜数十フレームに相当する期間）に取得された画像から推定された撮像部３の位置及び姿勢を表す情報を記憶する。
【００２２】
さらに記憶部５は、実空間に設定された三次元の世界座標系における、マーカの三次元座標と、複数の自然特徴点のそれぞれについての三次元座標とが格納された初期マップを記憶する。
【００２３】
図２は、マーカの一例を示す図である。マーカ２００は、識別用パターン２０１と、識別用パターン２０１を囲む正方形パターン２０２とを有する。識別用パターン２０１は、例えば、マーカ２００が設置された場所の周囲の模様との区別が付き易いパターンであればよい。本実施形態では、座標変換パラメータを算出するために、正方形パターン２０２の外周の四隅２０３の位置が特徴点として画像上で検出される。なお、マーカは、図２に示されたものに限られず、マーカが設置された場所の周囲の模様との区別が付き易いものであればよい。例えば、マーカの外周は、三角形、長方形、又は五角形であってもよい。また、座標変換パラメータの算出に、マーカの他の位置が検出されてもよい。
【００２４】
なお、本実施形態では、実空間に設定される世界座標系では、簡単化のために、マーカの中心を原点とする。そしてマーカが含まれる平面にX軸及びY軸が設定され、マーカが含まれる平面の法線がZ軸に設定される。
【００２５】
制御部６は、一つまたは複数のプロセッサ及びその周辺回路を有する。そして制御部６は、携帯端末１の各部と信号線を介して接続されており、携帯端末１全体を制御する。
【００２６】
また制御部６は、撮像部３から画像を受け取る度に、その画像に写っているマーカまたは自然特徴点に基づいて撮像部３の位置及び姿勢を推定する。
【００２７】
なお、以下では、自然特徴点に基づく撮像部３の位置及び姿勢の推定処理を、自然特徴点ベースの姿勢推定処理と呼ぶ。
【００２８】
図３は、撮像部３の位置及び姿勢推定に関する制御部６の機能ブロック図である。制御部６は、マーカ検出部１１と、自然特徴点検出部１２と、自然特徴点追跡部１３と、三次元位置決定部１４と、座標変換パラメータ決定部１５と、座標変換部１６と、登録部１７と、自然特徴点ベース姿勢推定部１８とを有する。制御部６が有するこれらの各部は、例えば、制御部６上で実行されるコンピュータプログラムにより実現される。なお、制御部６が有するこれらの各部は、制御部６が有するプロセッサとは別個に、これらの各部の機能を実現する集積回路として、携帯端末１に実装されてもよい。
【００２９】
マーカ検出部１１は、互いに異なる位置でマーカを撮影することにより得られた二つの画像からマーカの複数の特徴点を検出する。本実施形態では、マーカ検出部１１は、第１の画像及び第２の画像のそれぞれからマーカの四隅の座標をそれぞれ特徴点として検出する。上述したように、マーカは、設置された場所の周囲の模様との区別が付き易い既知のパターンであるため、マーカ検出部１１は、画像上でマーカの位置を正確に検出できる。異なる位置からマーカを撮影して生成された二つの画像に基づいて座標変換パラメータを求めるため、ユーザが一回目のボタン（例えば、初期マップ生成開始ボタン）を押すと初期マップ生成が開始され、ユーザが二回目のボタンを押すと初期マップ生成が指示される。そこで、マーカ検出部１１は、ユーザにより二回目のボタン（例えば、初期マップ生成指示ボタン）を押す等の操作がなされたときに、撮像部３から得られた、マーカが写った二つの画像のそれぞれからマーカの複数の特徴点の座標を検出する。そしてマーカ検出部１１は、一方の画像上の検出されたマーカの複数の特徴点と他方の画像上の検出されたマーカの複数の特徴点を対応付ける。例えば、マーカの複数の特徴点は、マーカの四隅である。あるいは、マーカの複数の特徴点は、マーカの他の特徴点であってもよい。以下では、ユーザにより一回目のボタン（例えば、初期マップ生成開始ボタン）を押す等の操作がなされたときの撮像部３の位置を第１の地点と呼ぶ。また、ユーザにより二回目のボタン（例えば、初期マップ生成指示ボタン）を押す等の操作がなされたときの撮像部３の位置を第２の地点と呼ぶ。
【００３０】
図４は、第１の地点４０１と第２の地点４０２の位置関係の一例を示す図である。本実施形態では、携帯端末１は、所定位置に仮想的な画像をＡＲによって重畳表示する。そのために、ユーザは第１の地点４０１において、マーカ４００を撮影範囲として、携帯端末１に対して初期マップ生成開始ボタンを押す等の操作を行う。すると、撮像部３は、マーカ４００が写った画像４０３を第１の地点において生成する。以下では、第１の地点において生成された画像を第１の画像と呼ぶ。また、ユーザは第１の地点４０１から離れた第２の地点４０２において、マーカ４００を撮影範囲として、携帯端末１に対して初期マップ生成指示ボタンを押す等の操作を行う。すると、撮像部３は、マーカ４００が写った画像４０４を第２の地点において生成する。以下では、第２の地点において生成された画像を第２の画像と呼ぶ。マーカ検出部１１は、例えば、様々な方向から見たマーカのパターンを表した複数のテンプレートを用いて画像に対するテンプレートマッチングを行うことにより、画像上のマーカを検出する。
【００３１】
その際、マーカ検出処理を高速化するために、マーカ検出部１１は、画像の各画素について、輝度値が所定の閾値以上か否かによって２値化してもよい。例えば、図２に示されたマーカ２００の正方形パターン２０２及び正方形パターン内部の識別用パターン２０１は、その周囲よりも黒いので、画像上でも、それらのパターンに対応する画素の輝度値は、その周囲の画素の輝度値よりも低くなる。したがって、２値化画像上では、マーカ２００に含まれるパターンに対応する画素と、その他の画素とは、異なる画素値を持つ。例えば、マーカ検出部１１は、所定の閾値以上の輝度値を持つ画素に対応する２値化画像上の画素の輝度値を相対的に高くし、その閾値未満の輝度値を持つ画素に対応する２値化画像上の画素の輝度値を相対的に低くする。したがって、マーカに含まれるパターンに対応する画素は相対的に低い輝度値となる。以下、２値化画像上で相対的に低い輝度値を持つ画素を、便宜上黒画素と呼ぶ。
【００３２】
マーカ検出部１１は、黒画素の集合に対してラベリング処理を実行することで、黒画素同士が連結された領域である、１以上の黒画素領域を求める。そしてマーカ検出部１１は、各黒画素領域に対して輪郭線追跡を行って、各黒画素領域の輪郭線を求める。さらに、マーカ検出部１１は、各輪郭線に対して折れ線近似を行って、４本の線分で輪郭線を近似できた黒画素領域をマーカ候補領域とする。マーカ検出部１１は、マーカ候補領域とテンプレートとの間でテンプレートマッチングを行って、例えば、マーカ候補領域とテンプレート間の正規化相互相関値を次式に従って算出する。
【数１】
0006507730.tif 000002
ここでT(i,j)は、テンプレートの画素(i,j)の輝度値であり、I(i,j)は、マーカ候補領域中の画素(i,j)の輝度値である。そしてTavは、テンプレートの輝度平均値であり、Iavは、マーカ候補領域の輝度平均値である。
【００３３】
マーカ検出部１１は、正規化相互相関値の最大値がマーカ検出用閾値（例えば、0.8）以上となる場合、その正規化相互相関値の最大値に対応するマーカ候補領域にマーカが写っていると判定する。そしてマーカ検出部１１は、そのマーカ候補領域の四隅の座標を、画像上でのマーカの座標とする。
【００３４】
一方、正規化相互相関値の最大値がマーカ検出用閾値未満である場合、マーカ検出部１１は、マーカ候補領域にマーカは写っていないと判定する。
【００３５】
マーカ検出部１１は、画像上でのマーカの四隅の座標を求める度に、各座標を、対応する画像の取得順序が分かるように、記憶部５の対応点情報テーブルに記憶する。
【００３６】
図５は、対応点情報テーブル５００の一例を示す図である。対応点情報テーブル５００の各行には、それぞれ、第１の画像上の座標と、第２の画像上の座標と、マーカ上の特徴点か自然特徴点かを表す種別フラグ（自然特徴点：ｆ、マーカ：ｍ）が記憶される。この例では、１行目〜３２８行目には、例えば、各自然特徴点の第１の画像上の座標などが記憶されている。これらの各自然特徴点についての詳細は、後述する。また、３２９行目〜３３２行目には、例えば、第１の画像上のマーカの特徴点の座標と、第１の画像上のマーカの特徴点に対応する第２の画像上のマーカの特徴点の座標などが記憶されている。
【００３７】
自然特徴点検出部１２は、制御部６が自然特徴点ベースの姿勢推定処理を実行している間、撮像部３から所定の撮影周期ごとに画像が得られる度に、その画像から自然特徴点を検出する。また、自然特徴点検出部１２は、ユーザにより初期マップ生成開始ボタンを押す等の操作がなされたときに、第１の画像から自然特徴点を検出する。
【００３８】
まず、自然特徴点検出部１２が自然特徴点を検出する処理について説明する。自然特徴点検出部１２は、画像の各画素に対して、例えば、FAST(Features from Accelerated Segment Test)による自然特徴点のコーナー検出処理を行って、画素ごとに自然特徴点を表す特徴量を算出し、自然特徴点を検出する。そして自然特徴点検出部１２は、検出された自然特徴点を自然特徴点追跡部１３に渡す。なお、FASTによる自然特徴点のコーナー検出に関しては、例えば、Edward Rosten and Tom Drummond, 「Machine learning for high-speed corner detection」, in Proc European Conference on Computer Vision, vol.1, pp.430-443, 2006年を参照されたい。あるいは、特徴点の検出方法としては、FASTによる方法に限られず、例えば、Harris特徴検出法、"Good Features To Track"と呼ばれる方法などのコーナーを特徴点とする方法を用いてもよい。あるいはまた、特徴点の検出方法としては、ＳＩＦＴ（Scale-Invariant Feature Transform）やＳＵＲＦ（Speeded Up Robust Features）に代表される局所特徴量を検出する方法を用いてもよい。
【００３９】
自然特徴点追跡部１３は、制御部６が自然特徴点ベースの姿勢推定処理を実行している間、撮像部３から所定の撮影周期ごとに画像が得られる度に、その画像において、自然特徴点を追跡する。また、自然特徴点追跡部１３は、ユーザにより初期マップ生成指示ボタンを押す等の操作がなされたときに、追跡された自然特徴点のうち、第１の画像から検出された自然特徴点に対応する第２の画像から検出された自然特徴点を対応付ける。
【００４０】
自然特徴点追跡部１３が撮像部３から所定の撮影周期ごとに画像が得られる度に、その画像において、自然特徴点を追跡する処理について説明する。自然特徴点は、マーカ上の複数の特徴点とは異なり、既知の形状を有していないため、自然特徴点追跡部１３が複数の画像のうちの一方の画像から検出された自然特徴点と他方の画像から検出された自然特徴点が同一の自然特徴点か否かを判断することが困難である。したがって、自然特徴点追跡部１３は、第１の画像から検出された各自然特徴点について、その後に画像が得られる度に画像上のどの位置に移動しているかを追跡する必要がある。そこで、自然特徴点追跡部１３は、例えば、LK（Lucas-Kanade）オプティカルフローを用いて自然特徴点を追跡し、追跡結果を自然特徴点情報テーブルに登録する。LKオプティカルフローでは、前に得られた画像の各画素が個別の「移動ベクトル(フローベクトル)」により独立に移動し、後に得られた画像上で検出された自然特徴点の各画素値が前に得られた画像での輝度値と同じ値のままになっていると仮定する。この「移動前後の画素値が一定」という拘束条件式をテイラー展開で近似する、微分画像上の画素値の関係式を「Luca-Kanade方程式」と呼ぶ。自然特徴点追跡部１３は、検出された自然特徴点の画素ごとに用意するLucas-Kanade方程式を、小領域N(例えば5×5画素)の移動前後においては、合計5×5＝25個の式を拘束式として用意する。そして自然特徴点追跡部１３は、これら25画素での誤差の絶対値の和が最小になる時のパラメータを最小二乗法で求めることで、領域N全体のオプティカルフローを最終的に推定する。なお、LKオプティカルフローを用いた追跡手法に関しては、例えば、B.D.Lucas and T.Kanade, 「An iterative image registration technique with an application to stereo vision」, in Proc Imaging Understanding Workshop, pp.121-130, 1981年を参照されたい。
【００４１】
図６は、自然特徴点情報テーブルの一例を示す図である。自然特徴点情報テーブル６００の各行には、それぞれ、第１の画像上の自然特徴点の座標と、後続画像上の自然特徴点の座標と、追跡されているか否かを表す追跡フラグ（追跡中:True、追跡不可:False）が記憶される。後続画像とは、ユーザにより初期マップ生成開始ボタンを押す等の操作がなされた後、第１の画像の後に撮像部３によって所定の撮影周期ごとに生成される画像である。
【００４２】
自然特徴点追跡部１３は、ユーザにより初期マップ生成開始ボタンを押す等の操作がなされ、第１の画像から自然特徴点が検出されると、検出された各自然特徴点に対応する第１の画像上の座標を自然特徴点情報テーブル６００に登録する。その後、自然特徴点追跡部１３は、撮像部３によって所定の撮影周期ごとに生成される後続画像が得られる度に、得られた後続画像に対して自然特徴点を追跡し、自然特徴点情報テーブル６００における後続画像上の座標と追跡フラグを更新する。第１の画像内の自然特徴点に対応する自然特徴点が後続画像からも検出された場合、自然特徴点追跡部１３は、検出された特徴点の座標を後続画像上の座標に登録するとともに、対応する追跡フラグを"True"にする。一方、第１の画像内の自然特徴点に対応する自然特徴点が後続画像から検出されなかった場合、自然特徴点追跡部１３は、後続画像上の座標を空欄（例えば、null）にするとともに、対応する追跡フラグを"False"にする。
【００４３】
自然特徴点追跡部１３が、追跡された自然特徴点のうち、第１の画像から検出された自然特徴点に対応する第２の画像から検出された自然特徴点を対応付ける。そのため、自然特徴点追跡部１３は、初期マップ生成指示ボタンを押す等の操作がなされると、自然特徴点テーブルを参照し、自然特徴点ごとに、追跡フラグが"True"の最新の後続画像上の座標を読み込む。そして自然特徴点追跡部１３は、自然特徴点ごとの追跡フラグが"True"の最新の後続画像を第２の画像として、第１の画像から検出された自然特徴点に対応する第２の画像から検出された自然特徴点の第２の画像上の座標を対応付けて対応点情報テーブルに記憶する。例えば、図５の対応点情報テーブル５００の１行目〜３２８行目には、第１の画像から検出された自然特徴点の第１の画像上の座標と、第１の画像から検出された自然特徴点に対応する第２の画像から検出された自然特徴点の第２の画像上の座標が記憶されている。
【００４４】
三次元位置決定部１４は、第１の画像及び第２の画像上の各自然特徴点とマーカの四隅について、カメラ座標系の三次元座標を算出する。その際、三次元位置決定部１４は、異なる位置から同一の対象（各自然特徴点とマーカの四隅）を撮影した第１の画像及び第２の画像間における幾何学的関係を表すエピポーラ幾何をもとに、カメラ座標系での各自然特徴点とマーカの四隅の三次元座標を算出できる。三次元位置決定部１４は、第１の地点の撮像部３と第２の地点の撮像部３との間の基礎行列Ｆの算出、第１の地点の撮像部３と第２の地点の撮像部３との間の透視投影行列Pprの算出、自然特徴点とマーカの四隅について、三次元座標の算出という３つの処理を行う。
【００４５】
三次元位置決定部１４は、次のような手順で基礎行列Ｆを算出する。まず、三次元位置決定部１４は、三次元空間上の各自然特徴点とマーカの四隅を第１の地点の第１の画像及び第２の地点の第２の画像に投影したときの各画像上の座標を、それぞれ（u, v）（u', v'）とする。座標(u, v)と座標(u', v')は、次のエピポーラ拘束と呼ばれる式を満たす。
【数２】
0006507730.tif 000003
ここで、ｆ１１〜ｆ１３，ｆ２１〜ｆ２３，ｆ３１〜ｆ３３という９つの成分を含む３行３列の行列が、上記の基礎行列Ｆである。
【００４６】
基礎行列Ｆの成分は９個であるが、基礎行列Ｆには定数倍の不定性が存在するため、実質的な未知数は８個となる。そのため、三次元位置決定部１４は、第１の画像及び第２の画像間で最低８個の対応する点が得られれば、基礎行列Ｆを決定できる。三次元位置決定部１４は、第１の画像と第２の画像とから８個の自然特徴点又はマーカの四隅の各画像上の座標から、例えば、８点アルゴリズムと呼ばれる方法により、基礎行列Ｆを算出する。なお、８点アルゴリズムにより、基礎行列Ｆを算出する手法に関しては、例えば、Richard I. Hartley, 「In Defense of the Eight-Point Algorithm」, IEEE Transaction on Pattern Analysis and Machine Intelligence, Vol.19, No.6, pp.580-593, 1997年を参照されたい。
【００４７】
三次元位置決定部１４は、次のような手順で、第１の地点の撮像部３と第２の地点の撮像部３との間の透視投影行列Pprを算出する。まず、三次元位置決定部１４は、基礎行列Ｆと行列Ａとを用いて、第１の地点の撮像部３及び第２の地点の撮像部３間の基本行列Ｅを次式に従って算出する。
【数３】
0006507730.tif 000004
ここで、行列Ａは撮像部３の内部パラメータである。この内部パラメータは、予め求めることができる。なお、内部パラメータを求める手法に関しては、例えば、Zhengyou Zhang, 「A flexible new technique for camera calibration」, IEEE Transactions on Pattern Analysis and Machine Intellignece, Vol.22, No.11, pp.1330-1334, 2000年を参照されたい。
【００４８】
三次元位置決定部１４は、基本行列Ｅを、次式に従って特異値分解する。
【数４】
0006507730.tif 000005
三次元位置決定部１４は、得られた行列Uを用いて、カメラ座標系への回転移動成分を表すRrを次式に従って算出する。なお、Rrは、Rr1とRr2の２種類算出される。Rr1とRr2は、第１の地点の撮像部３と第２の地点の撮像部３の中心を結ぶ線に対して線対称の鏡像関係にある。
【数５】
0006507730.tif 000006
そして三次元位置決定部１４は、透視投影行列Ｐprを次式に従って４種類算出する。
【数６】
0006507730.tif 000007
なお、行列（Ｒx｜ｔ）は、３行３列の行列Ｒxと行列ｔとを結合した３行４列の行列を意味する。また、透視投影行列Ｐprが四種類あるのは、第１の地点の撮像部３と第２の地点の撮像部３の前方と後方の組合せ（前方及び前方、前方及び後方、後方及び前方、並びに後方及び後方）に鏡像解があるためである。
【００４９】
三次元位置決定部１４は、次のような手順で対応特徴点の三次元座標を算出する。
上記の透視投影行列Ｐprは、次式のようにｐ11〜ｐ14，ｐ21〜ｐ24，ｐ31〜ｐ34の成分で表される。
【数７】
0006507730.tif 000008
そして三次元位置決定部１４は、次式で表される三次元座標（Ｘ，Ｙ，Ｚ）に関する連立方程式の最小二乗解を、透視投影行列Ｐpr1〜Ｐpr4のそれぞれについて解く。
【数８】
0006507730.tif 000009
【００５０】
三次元位置決定部１４は、各自然特徴点及びマーカの四隅がともに撮像部３の前方にあるという条件を用い、上記で得られた四種類の解から最適な一つの解を算出する。三次元位置決定部１４は、このような計算を全ての各自然特徴点及びマーカの四隅について繰り返し、第１の画像及び第２の画像上の各自然特徴点及びマーカの四隅の三次元座標を算出する。そして三次元位置決定部１４は、第１の画像及び第２の画像上の各自然特徴点及びマーカの四隅の三次元座標を記憶部５に記憶する。なお、このような手順で得られた三次元座標は、第１の地点を基準とするカメラ座標系の三次元座標であり、第１の地点の撮像部３の位置が原点となる。ここでは、三次元位置決定部１４が、第１の画像及び第２の画像上の各自然特徴点及びマーカの四隅の三次元座標を算出する。しかしながら、三次元位置決定部１４は、第２の画像に代えて、自然特徴点追跡中のうちの任意の後続画像及び第１の画像から各自然特徴点の三次元座標を算出してもよい。
【００５１】
座標変換部１６は、カメラ座標系の三次元座標から世界座標系の三次元座標へ座標変換する。カメラ座標系の三次元座標(Xc,Yc,Zc)から、世界座標系における三次元座標(Xm,Ym,Zm)への座標変換は、例えば、次式に従って実行される。
【数９】
0006507730.tif 000010
ここで、sは、座標変換前と座標変換後のスケール変化を表す。Rは、３行３列の回転移動成分を表す行例である。Tは、平行移動成分を表す行列である。座標変換パラメータ決定部１５は、誤差が最小となるように座標変換パラメータを算出する。
【００５２】
図７は、座標変換の概要を示す図である。マーカの四隅を左上、右上、右下、左下の順に特徴点A,B,C,Dと呼ぶ。三次元位置決定部１４により、マーカの四隅に対応する各特徴点ABCDのカメラ座標系の三次元座標は算出されている。
【００５３】
ここで、座標変換部１６によってマーカの四隅の三次元座標をカメラ座標系から世界座標系に座標変換した場合、各特徴点ABCDのカメラ座標系の三次元座標が座標変換されるべき各特徴点A’B’C’D’の世界座標系の三次元座標は、既定の値となる。実空間に設定される世界座標系は、マーカの中心を原点としたため、特徴点A’B’C’D’の重心は世界座標系の原点に一致する。したがって、例えばマーカ１辺の実空間での大きさを例えば50mmとすると、各特徴点A’B’C’D’の座標は以下のとおりとなる。A’は例えば(-25mm, 25mm, 0mm)、B’は(25mm, 25mm, 0mm)、C’は(25mm, -25mm, 0mm)、D’は(-25mm, -25mm, 0mm)となる。そこで、座標変換パラメータ決定部１５は、カメラ座標系の各特徴点ABCDの三次元座標を世界座標系に変換後の三次元座標と、各特徴点A’B’C’D’の三次元座標との誤差の絶対値の和が最小となるような座標変換パラメータを算出する。そのため、座標変換パラメータ決定部１５は、前述の（９）式を用いて次式で表される評価値Eを最小にする座標変換パラメータを求める。
【数１０】
0006507730.tif 000011
ここで、座標変換パラメータ決定部１５は、カメラ座標系でのマーカの四隅の特徴点ABCDの各座標をXi(1≦i≦4)とする。そして座標変換パラメータ決定部１５は、座標変換後に各特徴点ABCDのあるべき場所の特徴点A’B’C’D’の世界座標系での各座標をXi'(1≦i≦4)とする。また、評価値Eは、各特徴点ABCDのカメラ座標系の三次元座標を座標変換した世界座標系の三次元座標と、座標変換された各特徴点ABCDが本来存在すべき各特徴点A’B’C’D’の距離の和であるから、誤差の絶対値の和の大きさを表す。回転移動成分を表す行列Rmin及び平行移動成分を表すTminは、各特徴点ABCDの三次元座標をカメラ座標系から世界座標系に変換後の三次元座標と、各特徴点A’B’C’D’の三次元座標との誤差の絶対値の和が最小となる行列を表す。例えば、座標変換パラメータ決定部１５は、特異値分解に基づいて、その誤差の絶対値の和が最小となる、座標変換前と座標変換後のスケール変化を表すs、座標変換パラメータRmin及びTminを求める。
【００５４】
まず、座標変換パラメータ決定部１５は、特徴点ABCD, 特徴点A’B’C’D’のそれぞれの四点に関して重心ABCDG, A'B'C'D'Gを求める。そして座標変換パラメータ決定部１５は、特徴点ABCD, 特徴点A’B’C’D’の四点のそれぞれの三次元座標から重心ABCDG, A'B'C'D'Gを減算した三次元座標を改めてXi(1≦i≦4), Xi'(1≦i≦4)とする。そして座標変換パラメータ決定部１５は、共分散行列Cを次式に従って算出する。
【数１１】
0006507730.tif 000012
【００５５】
ここで、共分散行列Cは(3行4列)×(4行3列)=(3行3列)行列となる。座標変換パラメータ決定部１５は、共分散行列Cを次式に従って特異値分解する。
【数１２】
0006507730.tif 000013
座標変換パラメータ決定部１５は、回転移動成分を表す行列Rminを次式に従って求める。
【数１３】
0006507730.tif 000014
ここで、det()は行列の行列式を求める関数である。座標変換パラメータ決定部１５は、座標変換前と座標変換後のスケール変化sを次式に従って求める。
【数１４】
0006507730.tif 000015
なお、tr()は行列のトレースを求める関数である。座標変換パラメータ決定部１５は、平行移動成分を表す行列Tminを次式に従って求める。
【数１５】
0006507730.tif 000016
【００５６】
回転移動成分を表す行例Rmin、スケール変化ｓ、及び平行移動成分を表す行列Tminが座標変換パラメータとなる。座標変換パラメータ決定部１５は、回転移動成分を表す行例Rmin、スケール変化ｓ、及び平行移動成分を表す行列Tminを含む座標変換パラメータを座標変換部１６に渡す。
【００５７】
座標変換部１６は、座標変換パラメータ決定部１５により求められた、Rmin, Tmin, sに基づいて、第１の画像及び第２の画像上の各自然特徴点及びマーカの四隅の三次元座標について、座標変換後の世界座標系の座標Xi''を次式に従って求める。
【数１６】
0006507730.tif 000017
登録部１７は、求めた全ての自然特徴点とマーカの四隅の世界座標系の三次元座標を初期マップに記憶する。
【００５８】
図８は、初期マップの一例を示す図である。初期マップ８００の各行には、それぞれ、自然特徴点またはマーカの外周の四隅の何れかの世界座標系の三次元座標と、マーカ上の特徴点か自然特徴点かを表す種別フラグ（自然特徴点：f、マーカ：m）が記憶される。この例では、１行目〜３２８行目には、例えば、各自然特徴点の世界座標系の三次元座標などが記憶されている。また、３２９行目〜３３２行目には、マーカの四隅の世界座標系の三次元座標などが記憶されている。
【００５９】
自然特徴点ベース姿勢推定部１８は、初期マップ生成指示ボタンを押す等の操作がなされた直後から、カメラ座標系から世界座標系への座標変換パラメータ及び登録された初期マップに基づいて撮像部３の位置及び姿勢を推定する。そのために、自然特徴点ベース姿勢推定部１８は、例えば、座標変換パラメータ決定部１５によってカメラ座標系から世界座標系への座標変換パラメータを逆変換し、世界座標系からカメラ座標系への座標変換パラメータを初期値として求める。
【数１７】
0006507730.tif 000018
ここで、(Xc,Yc,Zc)は、世界座標系における三次元座標(Xm,Ym,Zm)の点に対応するカメラ座標系の三次元座標を表す。また、行列Rは、回転移動成分を表し、行列Tは、平行移動成分を表す。
【００６０】
図９は、初期マップ生成指示ボタンを押す等の操作がなされた直後の自然特徴点ベースの姿勢推定処理の概念図である。カメラ座標系と、撮像部３により生成される画像上の座標系との関係は、透視変換モデルに従って次式に従って表される。
【数１８】
0006507730.tif 000019
ここで、(xc,yc)は、カメラ座標系上の三次元座標(Xc,Yc,Zc)の点に対応する、画像上の座標を表す。自然特徴点ベース姿勢推定部１８は、前述の二つの（１７）式及び（１８）式に従って、初期マップに登録された各自然特徴点９０１を画像平面９００に投影して、各自然特徴点の世界座標系の座標に対応する画像平面９００上の投影点９０２の座標を求める。そして自然特徴点ベース姿勢推定部１８は、各自然特徴点について、投影点９０２と、画像から検出された、対応する自然特徴点９０３間の距離の二乗和を評価値として算出する。
【００６１】
自然特徴点ベース姿勢推定部１８は、例えば、最急降下法に従って、回転移動成分及び平行移動成分の各要素を修正しつつ、評価値を求める。そして自然特徴点ベース姿勢推定部１８は、評価値が最小となるときの回転移動成分及び平行移動成分に従って、撮像部３の位置及び姿勢の推定値を求める。
【００６２】
このように、本実施形態では、自然特徴点ベース姿勢推定部１８は、マーカの複数の特徴点に基づいて座標変換パラメータを算出する。その座標変換パラメータに応じた撮像部３の位置及び姿勢の初期値は、実際の撮像部３の位置及び姿勢に近い可能性が高い。そのため、自然特徴点ベース姿勢推定部１８は、位置及び姿勢を推定する際に評価値がローカルミニマムに陥らずに、評価値が最小値となる位置及び姿勢を求めることができる可能性が高い。したがって、自然特徴点ベース姿勢推定部１８は、撮像部３の位置及び姿勢の推定精度を向上できる。
【００６３】
図１０は、携帯端末１の制御部６により実行される、座標変換パラメータ決定処理の動作フローチャートである。制御部６は、ユーザにより初期マップ生成指示ボタンが操作される度に、下記の動作フローチャートに従って座標変換パラメータ決定処理を実行する。
【００６４】
マーカ検出部１１は、第１の画像及び第２の画像のそれぞれからマーカの四隅を検出し、第１の画像から検出されたマーカの四隅と第２の画像から検出されたマーカの四隅の座標を、対応付けて対応点情報テーブルに記憶する（ステップＳ１０１）。自然特徴点検出部１２は、第１の画像及び第２の画像のそれぞれから自然特徴点を検出する（ステップＳ１０２）。自然特徴点追跡部１３は、自然特徴点を追跡し、追跡された自然特徴点のうち、第１の画像から検出された自然特徴点に対応する第２の画像から検出された自然特徴点を対応付けて対応点情報テーブルに記憶する（ステップＳ１０３）。三次元位置決定部１４は、各自然特徴点とマーカの四隅のそれぞれについて、カメラ座標系の三次元座標を算出する（ステップＳ１０４）。座標変換パラメータ決定部１５は、マーカ四隅のカメラ座標系の三次元座標を、座標変換パラメータを用いて座標変換した世界座標系の三次元座標と実空間での三次元座標との誤差の絶対値の和が最小となるよう、座標変換パラメータを求める（ステップＳ１０５）。座標変換部１６は、座標変換パラメータを用いて、各自然特徴点及びマーカの四隅の三次元座標をカメラ座標系から世界座標系に座標変換した三次元座標を算出する。そして登録部１７は、各自然特徴点及びマーカの四隅の世界座標系の三次元座標を初期マップとして記憶部５に記憶する（ステップＳ１０６）。
【００６５】
以上に説明してきたように、この座標変換パラメータ決定装置は、カメラ座標系のマーカの四隅の三次元座標を座標変換した三次元座標と実空間の三次元座標との誤差の絶対値の和が最小となるように座標変換パラメータを算出する。そして座標変換パラメータ決定装置は、座標変換パラメータを用いて、各自然特徴点及びマーカの四隅のカメラ座標系の三次元座標から世界座標系の三次元座標に座標変換する。したがって、この座標変換パラメータ決定装置は、各自然特徴点及びマーカの四隅の三次元座標をカメラ座標系から世界座標系に座標変換する際に、座標変換精度を向上できる。
【００６６】
なお、三次元位置決定部１４によって算出された各自然特徴点及びマーカの複数の特徴点のカメラ座標系の三次元座標を座標変換した世界座標系の三次元座標と実空間の三次元座標との誤差が大きくなってしまう場合がある。これは、第１の地点及び第２の地点が十分に空間的に離れていない場合、若しくは自然特徴点が平面の場合に計算の過程で次元数が足りなくなるため発生する。そこで、変形例によれば、三次元座標歪み判定部が、三次元位置決定部１４によって算出されたマーカの複数の特徴点の三次元座標を結んだ形状が以下の所定の許容範囲を満たすか否か判定してもよい。三次元座標歪み判定部がマーカの複数の特徴点の三次元座標を結んだ形状が許容範囲を満たしていないと判定した場合、座標変換パラメータ決定部１５は、座標変換パラメータの算出を行わない。
【００６７】
図１１は、この変形例による、撮像部３の位置及び姿勢推定に関する制御部６１の機能ブロック図である。制御部６１は、マーカ検出部１１と、自然特徴点検出部１２と、自然特徴点追跡部１３と、三次元位置決定部１４と、座標変換パラメータ決定部１５と、座標変換部１６と、登録部１７と、自然特徴点ベース姿勢推定部１８と、三次元座標歪み判定部１９とを有する。この変形例による制御部６１は、上記の実施形態による制御部６と比較して、三次元座標歪み判定部１９を有する点で異なる。そこで以下では、三次元座標歪み判定部１９と、その関連部分について説明する。制御部６１が有するその他の構成要素の詳細については、上記の実施形態における対応する構成要素の説明を参照されたい。
【００６８】
図１２（ａ）は、マーカ１２００の右側に市松模様１２０１が設定される一例を示す図である。図１２（ｂ）は、初期マップに歪みがない場合の三次元座標を立体的に表示された一例を示す図である。図１２（ｃ）は、初期マップに歪みがある場合の三次元座標を立体的に表示された一例を示す図である。初期マップに歪みがない場合、図１２（ａ）の市松模様１２０１は、一定間隔で整列しているため、図１２（ｂ）のマーカの右側の市松模様から検出される自然特徴点も一定間隔で整列している。また、図１２（ｂ）において、三次元位置決定部１４によって算出されたカメラ座標系の三次元座標のマーカの四隅１２０２は、画像上のマーカの四隅とほぼ一致している。しかしながら、初期マップに歪みがある場合、図１２（ｃ）のマーカの右側の市松模様から検出される自然特徴点の列が歪んでいる。また、図１２（ｃ）において、三次元位置決定部１４によって算出された三次元座標のマーカの四隅１２０３は、画像上のマーカの四隅からずれてしまっている。
【００６９】
そこで、三次元座標歪み判定部１９は、マーカの四隅の三次元座標を結んだ形状が複数の特徴点を結んだ形状らしいか否か判定することにより、初期マップに歪みが生じているか否かを判定する。本変形例では、複数の特徴点はマーカの四隅であるから、複数の特徴点を結んだ形状は正方形である。例えば、三次元座標歪み判定部１９は、以下の三つの基準でマーカの四隅のカメラ座標系の三次元座標を結んで得られる形状が正方形らしいか否か判定する。三次元座標歪み判定部１９は、三つの基準が全て所定の許容範囲を満たしている場合のみ、マーカの四隅の三次元座標を結んだ形状が正方形らしいと判定し、座標変換パラメータ決定部１５が座標変換パラメータの算出を行う。
【００７０】
一方、三つの基準のうち一つでも所定の許容範囲を満たしていない場合、三次元座標歪み判定部１９は、マーカの四隅の三次元座標を結んだ形状が正方形ではないと判定し、三次元座標を結んだ形状が歪んでいる旨のエラー表示を行い、処理を終了する。この場合、座標変換パラメータ決定部１５は、座標変換パラメータの算出を行わない。なお、処理終了後、制御部６１は、再び第１の画像及び第２の画像を取得するようにユーザに促すメッセージをユーザインターフェース部に表示してもよい。以下にマーカの四隅の三次元座標を結んだ形状が正方形らしいか否か判定する三つの基準について説明する。
【００７１】
第１の基準により、三次元座標歪み判定部１９は、三次元位置決定部１４によって算出されたカメラ座標系のマーカの四隅の三次元座標を結んだ形状が正方形ではなくひし形か否か判定する。例えば、マーカの四隅の各角度と直角との差の二乗和平均が所定の許容範囲（例えば、１０度）以上である場合、三次元座標歪み判定部１９は、マーカの四隅の三次元座標を結んだ形状が正方形ではなくひし形と判定する。一方、マーカの四隅の各角度と直角との差の二乗和平均が所定の許容範囲（例えば、１０度）未満である場合、三次元座標歪み判定部１９は、マーカの四隅の三次元座標を結んだ形状が正方形らしいと判定する。
【００７２】
第２の基準により、三次元座標歪み判定部１９は、三次元位置決定部１４によって算出されたカメラ座標系のマーカの四隅の三次元座標を結んだ形状が正方形ではなく長方形か否か判定する。マーカの四隅の四角形の各辺の長さとマーカの四隅の正方形の実空間での既定の辺の長さMとの差の二乗和平均が所定の許容範囲（例えば、M×0.2=1mm）以上である場合、三次元座標歪み判定部１９は、マーカの四隅の三次元座標を結んだ形状が正方形と判定する。なお、マーカの四隅の正方形の実空間での既定の辺の長さMは、例えば、50mmとする。一方、マーカの四隅の四角形の各辺の長さとマーカの四隅の正方形の実空間での既定の辺の長さMとの差の二乗和平均が所定の許容範囲未満である場合、三次元座標歪み判定部１９は、マーカの四隅の三次元座標を結んだ形状が正方形らしいと判定する。
【００７３】
第３の基準により、三次元座標歪み判定部１９は、三次元位置決定部１４によって算出されたカメラ座標系のマーカの四隅の三次元座標を結んだ形状が歪んでいるか否か判定する。例えば、マーカの四隅のうちの任意の三点からなる平面と残りの一点との距離が所定の許容範囲（例えば、M×0.2mm=1mm）以上である場合、三次元座標歪み判定部１９は、マーカの四隅の三次元座標を結んだ形状が平面の正方形ではなく歪んでいると判定する。一方、マーカの四隅のうちの任意の三点からなる平面と残りの一点との距離が所定の許容範囲（例えば、M×0.2=1mm）未満である場合、三次元座標歪み判定部１９は、マーカの四隅の三次元座標を結んだ形状が歪んでいない平面の正方形らしいと判定する。
【００７４】
以上説明してきたように、三次元座標歪み判定部１９が、マーカの四隅のカメラ座標系の三次元座標を結んだ形状が正方形ではないと判定した場合、座標変換パラメータの算出を行わず、処理を終了するため、演算量は軽減される。
【００７５】
また、上記の通り、三次元位置決定部１４により算出されたマーカの複数の特徴点のカメラ座標系の三次元座標を結んだ形状が実空間でのマーカの複数の特徴点を結んで得られる形状と判定された場合でも、所定の許容範囲を超えない範囲で誤差は存在する。より正確な座標変換パラメータを算出するためには、マーカ座標補正部がカメラ座標系のマーカの複数の特徴点を結んだ形状を実空間でのマーカの複数の特徴点を結んで得られる形状にできるだけ近づけておくことが好ましい。そこで、他の変形例によれば、マーカ座標補正部が三次元位置決定部１４により算出されたマーカの複数の特徴点のカメラ座標系の三次元座標を結んだ形状を実空間でのマーカの複数の特徴点を結んで得られる形状と一致するように補正してもよい。
【００７６】
図１３は、他の変形例による、撮像部３の位置及び姿勢推定に関する制御部６２の機能ブロック図である。制御部６２は、マーカ検出部１１と、自然特徴点検出部１２と、自然特徴点追跡部１３と、三次元位置決定部１４と、座標変換パラメータ決定部１５と、座標変換部１６と、登録部１７と、自然特徴点ベース姿勢推定部１８とを有する。さらに制御部６２は、三次元座標歪み判定部１９と、マーカ座標補正部２０とを有する。他の変形例による制御部６２は、上記の変形例による制御部６１と比較して、マーカ座標補正部２０を有する点で異なる。そこで以下では、マーカ座標補正部２０と、その関連部分について説明する。制御部６２が有するその他の構成要素の詳細については、上記の実施形態及び変形例における対応する構成要素の説明を参照されたい。
【００７７】
マーカ座標補正部２０は、本実施形態では、マーカは正方形であり、複数の特徴点はマーカの四隅であるため、マーカの四隅のカメラ座標系の三次元座標が形成する四つの特徴点のうち、固定する複数の特徴点の組を、組み合わせを変えながら四つ作成する。マーカ座標補正部２０は、固定する複数の特徴点の組のそれぞれごとに、マーカの複数の特徴点のそれぞれのカメラ座標系の三次元座標を結んだ形状が実空間でのマーカの複数の特徴点を結んだ形状となるよう、固定する複数の特徴点以外の特徴点の位置を補正する。
【００７８】
図１４は、マーカの四隅の三次元座標の補正の概要図である。マーカ座標補正部２０は、マーカの四隅を各特徴点A,B,C,Dとし、特徴点A,Bを固定する複数の特徴点とし、特徴点C,Dを固定する特徴点以外の補正対象の二つの特徴点とする。そしてマーカ座標補正部２０は、固定する特徴点A,Bを補正せず、固定する特徴点以外の特徴点C,Dを補正して、四つの特徴点のカメラ座標系の三次元座標を結んだ形状を正方形にする。そのため、マーカ座標補正部２０は、特徴点C,Dを、線分ABを中心とする半径|AB|の円柱の円周１４００上の特徴点P,Qに補正すべきである。マーカ座標補正部２０は、特徴点Cから線分ABを中心とする円柱の円周１４０１上に垂線CHを下ろし、線分BHと円周１４００との交点を特徴点Pとする。マーカ座標補正部２０は、特徴点PからベクトルBAと平行にベクトルBAの長さだけ移動した点を特徴点Qとする。二重線CP及び二重線DQの長さは、それぞれ、補正前の特徴点の三次元座標と補正後の特徴点の三次元座標とのずれの距離を示す。したがって、二重線CP及び二重線DQの長さをそれぞれ算出するために、マーカ座標補正部２０は、垂線CHの長さを次式に従って算出する。
【数１９】
0006507730.tif 000020
マーカ座標補正部２０は、二重線CPの長さを次式に従って算出する。
【数２０】
0006507730.tif 000021
マーカ座標補正部２０は、二重線DQの長さを次式に従って算出する。
【数２１】
0006507730.tif 000022
ここで、Oは座標変換前の世界座標の原点とし、||はベクトルの距離を意味する。マーカ座標補正部２０は、二重線CPと二重線DQの長さの和を、補正前の二つの特徴点の三次元座標と補正後の残りの二つの特徴点の三次元座標との距離の和として算出する。
【００７９】
マーカ座標補正部２０は他の三つの組について、マーカの四隅の三次元座標を結んだ形状が正方形となるように、マーカの四隅のうちの固定する複数の特徴点以外の補正対象の二つの特徴点を補正する。そしてマーカ座標補正部２０は他の三つの組について、補正前の二つの特徴点の三次元座標と補正後の二つの特徴点の三次元座標との距離の和を算出する。マーカ座標補正部２０は、マーカの四隅の三次元座標を結んだ形状が正方形となるように、補正前の二つの特徴点の三次元座標と補正後の二つの特徴点の三次元座標との距離の和が最小となる組に含まれる固定する二つの特徴点以外の特徴点を補正する。例えば、マーカ座標補正部２０は、補正後の二つの特徴点P,Qを次式に従って求める。
【数２２】
0006507730.tif 000023
【００８０】
マーカ座標補正部２０は、補正前の二つの特徴点と補正後の二つの特徴点の三次元座標の距離の和が最小となる組に含まれる固定する二つの特徴点と、補正後の二つの特徴点の三次元座標を座標変換パラメータ決定部１５に渡す。座標変換パラメータ決定部１５は、固定する二つの特徴点と、補正後の二つの特徴点のカメラ座標系の三次元座標を用いて、三次元座標変換パラメータを算出する。
【００８１】
以上に説明してきたように、マーカ座標補正部２０は、補正前後の二つの特徴点の三次元座標との距離の和が最小となる組に含まれる固定する二つの特徴点以外の二つの特徴点のマーカの四隅の三次元座標を結んだ形状が正方形となるように補正する。座標変換パラメータ決定部１５は、補正されたマーカの複数の特徴点のカメラ座標系の三次元座標を用いて、三次元座標変換パラメータを算出する。これにより、座標変換部１６は、特徴点の三次元座標をカメラ座標系と世界座標系との間で座標変換の座標変換精度を向上できる。
【００８２】
また固定する複数の特徴点以外の補正対象の二つの特徴点をマーカの複数の特徴点の三次元座標を結んだ形状が実空間でのマーカの複数の特徴点を結んで得られる形状となるよう補正した場合でも、座標変換後に本来あるべき位置に座標変換されているとは限らない。すなわち、三次元位置決定部１４により算出されたマーカの複数の特徴点のカメラ座標系の三次元座標を結んだ形状が三次元的に歪んでいる場合がある。この場合、マーカ座標補正部２０がマーカの複数の特徴点の三次元座標を結んだ形状が実空間でのマーカの複数の特徴点を結んで得られる形状となるよう、固定する複数の特徴点以外の二つの特徴点を補正した場合でも、座標変換結果に誤差が生じる可能性がある。そこで、さらに他の変形例によれば、座標変換パラメータ再推定判定部が、多大な誤差がある場合に、座標変換が失敗と判定し、固定する複数の特徴点の組の残りの他の三つについて、座標変換パラメータを再度推定してもよい。
【００８３】
図１５は、さらに他の変形例による、撮像部３の位置及び姿勢推定に関する制御部６３の機能ブロック図である。制御部６３は、マーカ検出部１１と、自然特徴点検出部１２と、自然特徴点追跡部１３と、三次元位置決定部１４と、座標変換パラメータ決定部１５と、座標変換部１６と、登録部１７と、自然特徴点ベース姿勢推定部１８とを有する。さらに、制御部６３は、三次元座標歪み判定部１９と、マーカ座標補正部２０と、座標変換パラメータ再推定判定部２１とを有する。この変形例による制御部６３は、上記の他の変形例による制御部６２と比較して、座標変換パラメータ再推定判定部２１を有する点で異なる。そこで以下では、座標変換パラメータ再推定判定部２１と、その関連部分について説明する。制御部６３が有するその他の構成要素の詳細については、上記の実施形態、変形例及び他の変形例における対応する構成要素の説明を参照されたい。
【００８４】
座標変換パラメータ再推定判定部２１は、本実施形態ではマーカは正方形であり複数の特徴点はマーカの四隅であるため、座標変換部１６により世界座標系の三次元座標に座標変換されたマーカの四隅の重心とマーカの四隅の世界座標系の重心との距離Dを算出する。距離Dが多大な誤差であることを表す所定の許容範囲（例えば、M×5=250mm）未満であると、座標変換パラメータ再推定判定部２１は、座標変換が成功であると判定する。
【００８５】
一方、距離Dが多大な誤差であることを表す所定の許容範囲（例えば、M×5=250mm）以上であると、座標変換パラメータ再推定判定部２１は、座標変換が失敗であると判定する。そうすると、マーカ座標補正部２０は、固定する複数の特徴点の組の残りの他の三つ、それぞれごとに、マーカの四隅の三次元座標を結んだ形状が正方形となるように、固定する複数の特徴点以外の補正対象の二つの特徴点の位置を補正する。座標変換パラメータ決定部１５は、固定する複数の特徴点の組の残りの他の三つそれぞれごとに、固定する二つの特徴点と補正後の複数の特徴点の三次元座標に基づいて座標変換パラメータの候補を算出する。座標変換部１６は、固定する複数の特徴点の組の残りの他の三つ、それぞれごとに、求めた座標変換パラメータの候補を用いて、マーカの四隅のカメラ座標系の三次元座標を世界座標系の三次元座標に座標変換する。座標変換パラメータ再推定判定部２１は、固定する複数の特徴点の残りの他の三つそれぞれごとに、世界座標系の三次元座標に座標変換されたマーカの四隅の重心とマーカの世界座標系の重心との距離Dを算出する。
【００８６】
座標変換パラメータ再推定判定部２１は、以上の処理をマーカの四隅のうち固定する複数の特徴点の組の残りの他の三つに対してそれぞれ実行する。そして座標変換パラメータ再推定判定部２１は、距離Dが最小となるときの固定する複数の特徴点の組の座標変換パラメータの候補を座標変換パラメータとして求める。座標変換パラメータ再推定判定部２１は、求められた座標変換パラメータを座標変換部１６に渡す。
【００８７】
以上説明してきたように、座標変換パラメータ再推定判定部２１は、固定する複数の特徴点の組の残りの他の三つのうち、最終的な座標変換結果の誤差が最小となる固定する複数の特徴点の組の場合の座標変換パラメータを求める。そのため、座標変換部１６は、特徴点の三次元座標をカメラ座標系から世界座標系に座標変換する際に、座標変換精度を向上できる。
【００８８】
さらに、他の変形例によれば、三次元位置決定部１４は、第２の地点を基準としてカメラ座標系の三次元座標を算出してもよい。この場合、三次元位置決定部１４は前述の（２）式において各自然特徴点とマーカの四隅の第２の画像上の座標を(u, v)とし、各自然特徴点とマーカの四隅の第１の画像上の座標を(u', v')として、各自然特徴点とマーカの四隅のカメラ座標系の三次元座標を求める。この場合、カメラ座標系の三次元座標は、第２の地点の撮像部３の位置が原点となる。
【００８９】
上記の実施形態または変形例による座標変換パラメータ決定装置の制御部が有する各機能をコンピュータに実現させるコンピュータプログラムは、コンピュータによって読取り可能な媒体、例えば、磁気記録媒体、光記録媒体、または半導体メモリに記憶された形で提供されてもよい。
【００９０】
ここに挙げられた全ての例及び特定の用語は、読者が、本発明及び当該技術の促進に対する本発明者により寄与された概念を理解することを助ける、教示的な目的において意図されたものであり、本発明の優位性及び劣等性を示すことに関する、本明細書の如何なる例の構成、そのような特定の挙げられた例及び条件に限定しないように解釈されるべきものである。本発明の実施形態は詳細に説明されているが、本発明の精神及び範囲から外れることなく、様々な変更、置換及び修正をこれに加えることが可能であることを理解されたい。
【符号の説明】
【００９１】
１    携帯端末（座標変換パラメータ決定装置）
２    ユーザインターフェース部
３    撮像部
４    記憶媒体アクセス装置
５    記憶部
６    制御部
７    筐体
１１    マーカ検出部
１２    自然特徴点検出部
１３    自然特徴点追跡部
１４    三次元位置決定部
１５    座標変換パラメータ決定部
１６    座標変換部
１７    登録部
１８    自然特徴点ベース姿勢推定部
１９    三次元座標歪み判定部
２０    マーカ座標補正部
２１    座標変換パラメータ再推定判定部
【図１】
0006507730.tif 000024
【図２】
0006507730.tif 000025
【図３】
0006507730.tif 000026
【図４】
0006507730.tif 000027
【図５】
0006507730.tif 000028
【図６】
0006507730.tif 000029
【図７】
0006507730.tif 000030
【図８】
0006507730.tif 000031
【図９】
0006507730.tif 000032
【図１０】
0006507730.tif 000033
【図１１】
0006507730.tif 000034
【図１２】
0006507730.tif 000035
【図１３】
0006507730.tif 000036
【図１４】
0006507730.tif 000037
【図１５】
0006507730.tif 000038