(57)【特許請求の範囲】
【請求項１】
ステレオ法を使用して計測対象点の三次元位置を算出する三角測量装置であって、
前記計測対象点の画像を有する２枚の画像における前記計測対象点に対応する対応点の座標と前記２枚の画像を生成した光学機器の内部パラメータと外部パラメータとに基づき、前記対応点の座標の補正量または該補正量の逆数を変数とする固有多項式を用いて、補正された前記対応点の座標が前記内部パラメータと前記外部パラメータとで構成されるエピポーラ方程式を満たす補正ベクトルを計算し、計算した前記補正ベクトルに基づいて、補正された前記対応点の座標を算出する最適画像座標推定手段と、
前記補正された対応点の座標と前記内部パラメータと前記外部パラメータとに基づいて、前記計測対象点の三次元座標を計算する三次元座標計算手段と、
を有する三角測量装置。
【請求項２】
前記最適画像座標推定手段は、
前記対応点の座標と前記内部パラメータと前記外部パラメータとを入力し、前記対応点の座標の補正量または該補正量の逆数を固有値とする補正ベクトルが満たすべき拘束条件を表す所定の拘束条件行列を計算し、前記拘束条件行列の固有方程式を解いて最小の補正量を算出する固有多項式計算手段と、
前記対応点の座標と前記拘束条件行列と前記最小の補正量とを入力とし、前記最小の補正量に対応する前記拘束条件行列の固有ベクトルを計算し、前記固有ベクトルに所定のスケーリングを施して補正ベクトルを計算し、前記補正ベクトルに基づいて補正された前記対応点の座標を計算する補正ベクトル計算手段と
を有する請求項１に記載の三角測量装置。
【請求項３】
前記対応点の補正量は、補正ベクトルの大きさを目的関数とし、定数倍の不定性を持つエピポーラ方程式を制約条件とする制約付き非線形最適化問題におけるラグランジュ未定乗数を表す
請求項１または２に記載の三角測量装置。
【請求項４】
前記ステレオ法は、それぞれ異なる位置から前記計測対象点の２つの画像をカメラによって撮影するパッシブステレオ法である
請求項１乃至３の何れか１つに記載の三角測量装置。
【請求項５】
前記ステレオ法は、ある位置から前記計測対象点の画像をプロジェクタにより投影し、別の位置から前記計測対象点の画像をカメラにより撮影するアクティブステレオ法である
請求項１乃至３の何れか１つに記載の三角測量装置。
【請求項６】
三角測量装置が、
２つの異なる位置から計測対象を撮影した画像における計測対象点に対応する対応点の座標と、前記２つの画像を撮影した光学機器の内部パラメータ及び外部パラメータとを入力し、
前記対応点の座標の補正量または該補正量の逆数を変数とする固有多項式に基づいて、補正された前記対応点の座標が前記内部パラメータと前記外部パラメータとで構成されるエピポーラ方程式を満たす補正ベクトルを計算し、
計算した前記補正ベクトルに基づき、補正された前記対応点の座標を算出し、
前記補正された対応点の座標と前記内部パラメータと前記外部パラメータとを入力し、前記計測対象点の三次元座標を計算する、
三角測量方法。
【請求項７】
前記三角測量装置が、
前記対応点の座標と前記内部パラメータと前記外部パラメータとを入力し、前記対応点の座標の補正量または該補正量の逆数を固有値とする補正ベクトルが満たすべき拘束条件を表す所定の拘束条件行列を計算し、前記拘束条件行列の固有方程式を解いて最小の補正量を算出し、
前記対応点の座標と前記拘束条件行列と前記最小の補正量とに基づいて、前記最小の補正量に対応する前記拘束条件行列の固有ベクトルを計算し、前記固有ベクトルに所定のスケーリングを施して補正ベクトルを計算し、前記補正ベクトルに基づいて補正された前記対応点の座標を計算する
請求項６に記載の三角測量方法。
【請求項８】
前記対応点の補正量は、補正ベクトルの大きさを目的関数とし、定数倍の不定性を持つエピポーラ方程式を制約条件とする制約付き非線形最適化問題におけるラグランジュ未定乗数を表す
請求項６または７に記載の三角測量方法。
【請求項９】
コンピュータを、
計測対象点の画像を有する２枚の画像における前記計測対象点に対応する対応点の座標と前記２枚の画像を生成した光学機器の内部パラメータと外部パラメータとを入力し、前記対応点の座標の補正量または該補正量の逆数を変数とする固有多項式に基づいて、補正された前記対応点の座標が前記内部パラメータと前記外部パラメータとで構成されるエピポーラ方程式を満たす補正ベクトルを計算し、計算した補正ベクトルに基づいて補正された前記対応点の座標を算出する最適画像座標推定手段と、
前記補正された対応点の座標と前記内部パラメータと前記外部パラメータとに基づいて、前記計測対象点の三次元座標を計算する三次元座標計算手段と
して機能させるためのプログラム。
【請求項１０】
前記最適画像座標推定手段は、
前記対応点の座標と前記内部パラメータと前記外部パラメータとに基づき、前記対応点の座標の補正量または該補正量の逆数を固有値とする補正ベクトルが満たすべき拘束条件を表す所定の拘束条件行列を計算し、前記拘束条件行列の固有方程式を解いて最小の補正量を算出する固有多項式計算手段と、
前記対応点の座標と前記拘束条件行列と前記最小の補正量とに基づいて、前記最小の補正量に対応する前記拘束条件行列の固有ベクトルを計算し、前記固有ベクトルに所定のスケーリングを施して補正ベクトルを計算し、前記補正ベクトルに基づいて補正された前記対応点の座標を計算する補正ベクトル計算手段と
を有する請求項９に記載のプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、ステレオ法を使用して計測対象点の三次元位置を算出する三角測量装置等に関する。
【背景技術】
【０００２】
三角測量とは、キャリブレーション済みの２つのカメラで計測対象点を異なる位置から撮影し、それぞれの画像中の計測対象点に対応する点（以下、単に対応点と示す）から、計測対象点の最適な三次元座標を推定することをいう。キャリブレーション済みとは、各カメラの焦点距離又は光学中心等の内部パラメータと、各カメラの位置又は姿勢等の外部パラメータとが既知であることをいう。【０００３】
最適な三次元座標とは、推定した三次元座標を各カメラへ射影した２次元の画像座標と、観測した対応点の画像座標との距離の二乗和（以下、単に再投影誤差と示す）が最小となる点のことである。再投影誤差が最小となる点を求めることは、各カメラの中心と対応点を通る直線が、三次元空間中で交わる一点を求めることと等価である。このとき、対応点と各カメラの相対的な幾何関係は、エピポーラ方程式と呼ばれる拘束条件を満たすことが知られている。対応点がエピポーラ方程式を満たすとき、最適な三次元座標は線形最小二乗法により求めることができる。しかしながら、観測された対応点はセンサなどの様々なノイズの影響による誤差を含むため、一般にエピポーラ方程式は満たされず、線形最小二乗法により推定される三次元座標は最適ではない。【０００４】
バンドル調整法と呼ばれる方法が、三次元座標を推定するための一般的な方法として広く知られている。バンドル調整法は、線形最小二乗法によって得られる最適でない三次元座標を初期値として、レーベンバーグマーカート法などの制約なし非線形最適化法により再投影誤差を最小化して最適な三次元座標を推定している。線形最小二乗法により初期値を推定する方法は、例えば非特許文献１や非特許文献２に記載されている。【０００５】
非特許文献３、４、５では、直接に三次元座標を最適化するのではなく、各対応点の座標を補正する方式が提案されている。つまり、まずエピポーラ方程式を満たす最適な対応点の座標を求め、次に、線形最小二乗法により最適な三次元座標を推定する。そして、非特許文献３では、大域的に最適な補正量の計算を１変数の６次多項式に帰着させている。
最適な補正量は再投影誤差と等価なことが知られている。他方、非特許文献４や非特許文献５では、本来２次式であるエピポーラ方程式を１次近似することで、６次方程式を解かずに線形演算の反復で各対応点の補正量を計算する方式が提案されている。
【先行技術文献】
【非特許文献】
【０００６】
【非特許文献１】徐剛、「写真から作る３次元ＣＧ」、近代科学社、２００１年、ｐ６９−７３
【非特許文献２】佐藤淳、「コンピュータビジョン  視覚の幾何学」、コロナ社、１９９９年、ｐ１２２−１２３
【非特許文献３】Ｒ．Ｈａｒｔｌｅｙ  ａｎｄ  Ｐ．Ｓｔｕｒｍ，“Ｔｒｉａｎｇｕｌａｔｉｏｎ”、Ｉｎｔｅｒｎａｔｉｏｎａｌ  Ｊｏｕｒｎａｌ  ｏｆ  Ｃｏｍｐｕｔｅｒ  Ｖｉｓｉｏｎ  ａｎｄ  Ｉｍａｇｅ  Ｕｎｄｅｒｓｔａｎｄｉｎｇ．ｖｏｌ．６８，Ｉｓｓｕｅ２，ｐｐ．１４６−１５７，１９９７
【非特許文献４】金谷、菅谷、新妻、“２画像からの三角測量  ：  Ｈａｒｔｌｅｙ−Ｓｔｕｒｍ  ｖｓ．最適補正”、電子情報通信学会技術研究報告  ＩＥ，画像工学、ｖｏｌ．１０７、ｎｏ５３８、ｐｐ．３３５−３４２、２００８年
【非特許文献５】Ｐ．Ｌｉｎｄｓｔｒｏｍ，“Ｔｒｉａｎｇｕｌａｔｉｏｎ  Ｍａｄｅ  Ｅａｓｙ”，ＩＥＥＥ  Ｃｏｍｐｕｔｅｒ  Ｖｉｓｉｏｎ  ａｎｄ  Ｐａｔｔｅｒｎ  Ｒｅｃｏｇｎｉｔｉｏｎ  ２０１０，ｐｐ１５５４−１５６１，２０１０
【発明の概要】
【発明が解決しようとする課題】
【０００７】
バンドル調整法による三角測量方法は、制約なし非線形最適化法による三次元座標の探索範囲が無限大の三次元空間全体であるため、大域的に最適でない局所解に収束する可能性がある。つまり、望ましくない三次元座標が推定されることがある。【０００８】
非特許文献３に記載されている三角測量方法は、常に大域的に最適な三次元座標を推定できる。しかしながら、その三角測量方法で使われている６次方程式は、２次方程式のように有限回の代数的な演算（以下、単に閉形式と示す）で解を表すことが一般にできない。このため、ＤＫＡ（Ｄｕｒａｎｄ−Ｋｅｒｎｅｒ−Ａｂｅｒｔｈ）法又は固有値分解法といった反復法を用いなければ解けない。非特許文献３の三角測量方法は、演算量が多くなり、特に対応点の数が多い場合、演算量の増加が問題になる。【０００９】
非特許文献４および非特許文献５に記載の三角測量方法は、反復毎の演算量が非特許文献３で用いられる方法に比べて非常に少ない。そのため、演算量は少なく、対応点数が多い場合でも、非特許文献３よりも少ない計算時間で処理ができる。しかしながら、非特許文献４および非特許文献５の三角測量方法は、非特許文献３の近似的な方法であるため、大域的に最適な三次元座標が得られる保証はない。【００１０】
このように、ステレオ法を使用した計測対象点の三次元位置を算出する場合、演算量を増加させることなく三次元位置を出力することは困難である。【００１１】
［発明の目的］
本発明の目的は、上記課題を解決する三角測量装置等を提供することにある。
【課題を解決するための手段】
【００１２】
本発明の第１の観点に係る三角測量装置は、
ステレオ法を使用して計測対象点の三次元位置を算出する三角測量装置であって、
前記計測対象点の画像を有する２枚の画像における前記計測対象点に対応する対応点の座標と前記２枚の画像を生成した光学機器の内部パラメータと外部パラメータとを入力し、補正された前記対応点の座標が前記内部パラメータと前記外部パラメータとで構成されるエピポーラ方程式を満たす補正ベクトルを計算し、前記対応点の座標の補正量または該補正量の逆数を変数とする固有多項式に基づき計算し、補正された前記対応点の座標を算出する最適画像座標推定部と、
前記補正された対応点の座標と前記内部パラメータと前記外部パラメータとに基づいて、前記計測対象点の三次元座標を計算する三次元座標計算部と
を有する。【００１３】
本発明の第２の観点に係る三角測量方法は、
最適画像座標推定部と三次元座標計算部とを有し、ステレオ法を使用して計測対象点の三次元位置を算出する三角測量装置が実行する三角測量方法であって、
前記最適画像座標推定部が、前記計測対象点の画像を有する２枚の画像における前記計測対象点に対応する対応点の座標と前記２枚の画像を生成した光学機器の内部パラメータと外部パラメータとを入力し、補正された前記対応点の座標が前記内部パラメータと前記外部パラメータとで構成されるエピポーラ方程式を満たす補正ベクトルを、前記対応点の座標の補正量または該補正量の逆数を変数とする固有多項式に基づき計算し、補正された前記対応点の座標を算出し、
前記三次元座標計算部が、前記補正された対応点の座標と前記内部パラメータと前記外部パラメータとに基づいて、前記計測対象点の三次元座標を計算する。【００１４】
本発明の第３の観点に係るプログラムは、
ステレオ法を使用して計測対象点の三次元位置を算出するコンピュータを、
前記計測対象点の画像を有する２枚の画像における前記計測対象点に対応する対応点の座標と前記２枚の画像を生成した光学機器の内部パラメータと外部パラメータとを入力し、補正された前記対応点の座標が前記内部パラメータと前記外部パラメータとで構成されるエピポーラ方程式を満たす補正ベクトルを、前記対応点の座標の補正量または該補正量の逆数を変数とする固有多項式に基づき計算し、補正された前記対応点の座標を算出する最適画像座標推定部と、
前記補正された対応点の座標と前記内部パラメータと前記外部パラメータとに基づいて、前記計測対象点の三次元座標を計算し三次元座標計算部と
して機能させる。
【発明の効果】
【００１５】
本発明は、ステレオ法を使用した計測対象点の三次元位置を算出する際に、演算量を増加させることなく三次元位置を出力することができる。
【図面の簡単な説明】
【００１６】
【図１】第１の実施形態の三角測量装置の構成を示すブロック図である。
【図２】第１の実施形態の三角測量装置の動作の一例を示すフローチャートである。
【図３】本発明における三角測量の模式図である。
【図４】第１の実施形態の三角測量装置で使用する数式を示す図である。
【図５】第１の実施形態の三角測量装置で使用する数式を示す図である。
【図６】第１の実施形態の三角測量装置で使用する数式を示す図である。
【図７】第１の実施形態の三角測量装置で使用する数式を示す図である。
【図８】第２の実施形態による三角測量装置の構成を示すブロック図である。
【図９】本発明による三角測量装置を情報処理システムに実装した場合のブロック図である。
【図１０】第３の実施形態による三角測量装置の構成を示すブロック図である。
【図１１】第３の実施形態による三角測量装置の動作の一例を示すフローチャートである。
【図１２】第４の実施形態による三角測量装置の構成を示すブロック図である。
【図１３】第４の実施形態による三角測量装置の動作の一例を示すフローチャートである。
【発明を実施するための形態】
【００１７】
[第１の実施形態]
次に、本発明の第１の実施形態について図面を参照して詳細に説明する。
[構成の説明]
図１は、第１の実施形態による三角測量装置の構成を示すブロック図である。図面中の矢印の方向は、一例を示すものであり、ブロック間の信号の向きを限定するものではない。なお、第２、第３及び第４の実施形態におけるブロック図でも同様である。図１に示す三角測量装置は、最適対応点座標推定部１と、三次元座標計算部２を備える。最適対応点座標推定部１は、固有多項式計算部１１と、補正ベクトル計算部１２とを含む。
【００１８】
最適対応点座標推定部１は、２枚の画像における１組の対応点の画像座標と、対応点を撮影したカメラの内部パラメータと外部パラメータとを入力する。そして、最適対応点座標推定部１は、対応点の補正量もしくは補正量の逆数を変数として、補正された対応点が内部パラメータと外部パラメータとで構成されるエピポーラ方程式を満たす補正ベクトルを計算する。
【００１９】
固有多項式計算部１１は、対応点と内部パラメータと外部パラメータとを入力とし、対応点の補正量もしくは補正量の逆数を固有値とする補正ベクトルが満たすべき拘束条件を表す所定の拘束条件行列を計算する。続いて、固有多項式計算部１１は、拘束条件行列の固有方程式を解いて最小の補正量を算出し、拘束条件行列と最小の補正量を補正ベクトル計算部１２に出力する。
【００２０】
補正ベクトル計算部１２は、対応点の画像座標と、固有多項式計算部１１が出力する拘束条件行列と最小の補正量とを入力とし、最小の補正量に対応する拘束条件行列の固有ベクトルを計算する。続いて、補正ベクトル計算部１２は、固有ベクトルに所定のスケーリングを施して補正ベクトルを計算し、補正ベクトルから最適な対応点の画像座標を計算し、三次元座標計算部２へ出力する。
【００２１】
三次元座標計算部２は、補正された最適な対応点の画像座標と、内部パラメータと外部パラメータとを入力とし、線形最小二乗法により対応点の三次元座標を計算し、出力する。
【００２２】
本実施形態において、最適対応点座標推定部１（より具体的には、固有多項式計算部１１、補正ベクトル計算部１２）、三次元座標計算部２は、例えば、特定の演算処理等を行うよう設計されたハードウェア、またはプログラムに従って動作するＣＰＵ（Ｃｅｎｔｒａｌ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ）等の情報処理装置によって実現される。
【００２３】
[動作の説明]
次に、本実施形態の三角測量装置の動作を説明する。図２は、本発明による三角測量装置の第１の実施形態の動作の一例を示すフローチャートである。
【００２４】
まず、２枚の画像における１組の対応点の画像座標と、対応点を撮影したカメラの内部パラメータと外部パラメータとが固有多項式計算部１１に入力される。固有多項式計算部１１は、対応点の補正量もしくは補正量の逆数を固有値とする補正ベクトルが満たすべき拘束条件を表す所定の拘束条件行列を計算する。続いて、固有多項式計算部１１は、拘束条件行列の固有方程式を解いて最小の補正量を算出し、拘束条件行列と最小の補正量を補正ベクトル計算部１２に出力する（ステップＳ１１）。
【００２５】
次いで、対応点の画像座標と、固有多項式計算部１１が出力する拘束条件行列と最小の補正量とが補正ベクトル計算部１２に入力されると、補正ベクトル計算部１２は、最小の補正量に対応する拘束条件行列の固有ベクトルを計算する。続いて、補正ベクトル計算部１２は、固有ベクトルに所定のスケーリングを施して補正ベクトルを計算し、補正ベクトルから最適な対応点の画像座標を計算し、三次元座標計算部２へ出力する（ステップＳ１２）。
【００２６】
次いで、三次元座標計算部２は、補正された最適な対応点の画像座標と、内部パラメータと外部パラメータとが入力されると、線形最小二乗法により対応点の三次元座標を計算し、出力する（ステップＳ１３）。
【００２７】
以下、具体的な例を用いて第１の実施形態を更に詳細に説明する。
【００２８】
まず、最適な対応点の画像座標が満たすべきエピポーラ方程式を、図３を用いながら説明する。以下では、それぞれのカメラにより観測された対応点の画像座標をｘ、ｘ’、最適な対応点の画像座標をｘ、ｘ’、観測された対応点を最適にする補正ベクトルをΔｘ、Δｘ’と表す。また、対応点を撮影したカメラの内部パラメータをＫ、Ｋ’、外部パラメータを［Ｒｔ］、［Ｒ’ｔ’］、最適な三次元座標をＸと表す。ＫとＫ’は、焦点距離や光学中心を表す３×３（３行３列）の行列である。ＲとＲ’は、３×３（３行３列）の回転行列、ｔとｔ’は、三次元の平行移動ベクトルである。一番目のカメラが三次元座標系の中心としても一般性は失わないため、以下では、Ｒは３×３（３行３列）の単位ベクトル、ｔはゼロベクトルとする。また、０mｘnは、ｍ×ｎ（ｍ行ｎ列）のゼロ行列またはゼロベクトル、Ｉn x nは、ｎ×ｎ（ｎ行ｎ列）の単位行列、前後に二重線のある記号（||  ||）はベクトルのＬ２ノルム、［  ］xは、三次元ベクトルのクロス積の行列表現、ｄｅｔは行列式、上付き添字のＴは行列もしくはベクトルの転置、上付き添字の−１は逆行列、上付き添字の−Ｔは逆行列の転置、∝は定数倍に不定なことを表す。
【００２９】
ｘ、ｘ’は、テンプレートマッチングやＳＩＦＴ（Ｓｃａｌｅ−Ｉｎｖａｒｉａｎｔ  Ｆｅａｔｕｒｅ  Ｔｒａｎｓｆｏｒｍ）といった、公知の対応点探索技術を用いて検出できる。ｘ、ｘ’は、カメラのノイズなどにより誤差を含むため、図３に示すように、視線（実線）は三次元空間で交わる点がなく、最適な三次元座標Ｘを求めることができない。そこで、非特許文献３に記載されている三角測量方法で述べられているように、視線（破線）が１点で交わるように最適なｘ、ｘ’、もしくは、観測座標から最適座標への補正ベクトルΔｘ、Δｘ’を求めればよい。ΔｘとΔｘ’は、図４の式１で表される制約付き非線形最適化問題の解である。
【００３０】
式１中のＦは、基礎行列やｆｕｎｄａｍｅｎｔａｌ  ｍａｔｒｉｘなどと呼ばれ、その行列式ｄｅｔ（Ｆ）＝０、階数は２という特徴を持つことが知られている。Ｆは、基礎行列ＦにＴ、Ｔ’Ｔを乗じた行列なので、基礎行列Ｆと同様にその行列式はｄｅｔ（Ｆ）＝０、階数は２である。式１の拘束条件は、エピポーラ方程式と呼ばれ、これが満たされているとき、ｘ＝ｘ−Δｘ、ｘ’＝ｘ’−Δｘ’は、三次元空間中で一致することを示している。
【００３１】
次に、式１の制約付き非線形最適化問題を解く方法について説明する。
【００３２】
式１の拘束条件は、基礎行列ＦにＴ、Ｔ’Ｔを乗じた行列Ｆの（ｉ，ｊ）成分であるＦｉｊを用いて表されるベクトルｂと行列Ａを用いて、図５の式２のように表すことが出来る。
式２は、拘束条件により右辺が０となるため両辺を定数倍しても変化しないから、４次元ベクトルｖT ∝ ［ΔｘT，Δｘ’T］と、ある定数ｋを用いると、式１は、図６の式３に示す制約付き非線形最適化問題と等価である。
【００３３】
式３をラグランジュ関数Ｌ（ｖ，ｋ，λ）で表すと、図６の式４を得る。式４の最適解は、１次最適性条件（Ｋａｒｕｓｈ−Ｋｕｈｎ−Ｔｕｃｋｅｒ Ｃｏｎｄｉｔｉｏｎ：ＫＫＴ条件）である以下の式５、式６を満たす。
∂Ｌ／∂ｖ＝ｖ−λ（Ａｖ＋ｋｂ）＝０4 x 1      ・・・式５
∂Ｌ／∂ｋ＝λ（ｂTｖ＋ｋｃ）＝０            ・・・式６
【００３４】
λは非ゼロであるから、式６より式７を得る。
ｋ＝−ｂTｖ／ｃ      ・・・式７
【００３５】
式７を式５に代入すると、式８を得る。
λＤｖ＝ｖ      ・・・式８
ここで、Ｄ＝Ａ−ｂｂT／ｃ      ・・・式９
以下では、Ｄを最適な補正ベクトルｖを求めるための拘束条件行列と示す。
【００３６】
式８の両辺の内積を取ると、図６の式１０を得る。式１０は、ｖを定数倍しても値は変わらない。つまり、λは式３における対応点の補正量の相対的な大きさを表していると解釈できる。
【００３７】
また、式８において、λの逆数をμ＝１／λとおくと、式１１となる。
Ｄｖ＝μｖ      ・・・式１１
従って、μはＤの固有値である。
【００３８】
Ｄは４×４の拘束条件行列であり、図７に示すように、その行列式ｄｅｔ（Ｄ）＝０となり、階数は３以下である。
以下の式１２、式１３は、行列式ｄｅｔ（Ｄ）＝０により解の１つがそれぞれ∞、０と既知となる。つまり、補正量λまたは補正量の逆数μは、いずれかの固有方程式の解として次数を減らして計算することができる。
ｄｅｔ（λＤ−Ｉ4 x 4）＝０      ・・・式１２
ｄｅｔ（Ｄ−μＩ4 x 4）＝０      ・・・式１３
【００３９】
Ｄは実対称行列であるから、０ではない３つの固有値は実数である。λの場合は、３つの固有値の中で絶対値最小となる固有値を、μの場合は、３つの固有値の中で絶対値最大となる固有値を選べばよい。
【００４０】
式１２または式１３のすべての解を求めるために、固有多項式計算部１１は、例えば、閉形式で表されるカルダノの公式やラグランジュの公式を用いてもよい。また、絶対値最小もしくは絶対値最大の解のみを求めるために、ニュートン法やべき乗法を用いてもよい。
【００４１】
λまたはμが求まれば、式８または式１１から補正ベクトルｖはそれに対応する固有ベクトルとして計算できる。固有値が既知であるときに固有ベクトルを計算する方法として、補正ベクトル計算部１２は、例えば、（λＤ−Ｉ4 x 4）ｖ＝０4 x 1、もしくは（Ｄ−μＩ4 x 4）ｖ＝０4 x 1を連立１次方程式として解いてもよいし、逆べき乗法を用いて解いてもよい。求めた固有ベクトルはｋ倍の不定性を持つので、式７より１／ｋ倍するとΔｘ、Δｘ’が得られる。
【００４２】
補正された最適な対応点ｘ、ｘ’は、ｘ＝ｘ−Δｘ、ｘ’＝ｘ'−Δｘ’で算出される。補正された最適な対応点ｘ、ｘ’は、エピポーラ方程式を満たすため、視線の先は三次元空間中で一点に交わる。線形最小二乗法により三次元座標Ｘを推定するために、例えば、三次元座標計算部２は、非特許文献１や非特許文献２に記載されている方法を利用してもよい。
【００４３】
次に、本実施形態における各部の動作を具体的に説明する。
【００４４】
ステップＳ１１において、固有多項式計算部１１は、観測された対応点の画像座標ｘ、ｘ’と、対応点を撮影したカメラの内部パラメータＫ、Ｋ’と外部パラメータ［Ｒｔ］、［Ｒ’ｔ’］とを入力とし、まず、式９で表される拘束条件行列Ｄを計算する。次に、式１２または式１３で表される固有多項式を解き、補正量λまたは補正量の逆数μを計算し、拘束条件行列Ｄとともに補正ベクトル計算部１２に出力する。
【００４５】
カメラの内部パラメータと外部パラメータは、例えば、２つのカメラに映る、格子点の三次元座標が既知の平面格子画像を用いるキャリブレーションによって取得できる。また、例えば、テンプレートマッチングやＳＩＦＴなどで取得した複数の対応点を用いて、セルフキャリブレーションと呼ばれる方法を用いて取得してもよい。
【００４６】
ステップＳ１２において、補正ベクトル計算部１２は、固有多項式計算部１１から出力された拘束条件行列Ｄと補正量λまたは補正量の逆数μを用いて、まず、式８または式１１で表される補正量または補正量の逆数に対応する固有ベクトルｖを計算する。次に、式７よりｋを求め、ｖ←（１／ｋ）ｖと１／ｋ倍した固有ベクトルの第１〜２成分をΔｘ、その第３〜４成分をΔｘ’として補正ベクトルを計算する。次に、補正ベクトルと観測された対応点の画像座標から最適な対応点ｘ、ｘ’を計算し、三次元座標計算部２へ出力する。
【００４７】
ステップＳ１３において、三次元座標計算部２は、補正ベクトル計算部１２から出力された最適な対応点と、対応点を撮影したカメラの内部パラメータと外部パラメータとを入力する。例えば、三次元座標計算部２は、非特許文献１や非特許文献２に記載されている方法を利用して、線形最小二乗法により対応点の三次元座標Ｘを計算する。
【００４８】
本実施形態では、補正ベクトルΔｘ、Δｘ’を計算してから最適な対応点ｘ、ｘ’を計算した。しかし、本発明では、補正ベクトルΔｘ、Δｘ’を計算せずに、最適な対応点ｘ、ｘ’を計算してもよい。この場合、上記の説明中のΔｘをｘ−ｘに、またΔｘ’をｘ'−ｘ’にそれぞれ置き換えて、各部で同様の計算をすればよい。
【００４９】
本実施形態では、固有多項式計算部１１は、拘束条件行列Ｄを式９にもとづいて計算したが、ｃ＝２Ｆ3,3の絶対値が小さい場合に数値計算が不安定になる可能性があるため、式９の右辺をｃ倍したものを拘束条件行列Ｄとしてもよい。この場合、固有値である補正量λまたは補正量の逆数μもｃ倍されるが、固有ベクトルは変化しないため、補正ベクトル計算部１２の動作は変わらない。
【００５０】
また、固有多項式計算部１１は、ｃの絶対値が０に非常に近い場合、以降の処理を省略し、ｖ＝０4 x 1を補正ベクトル計算部へ出力してもよい。０に近いかどうかの判定は、例えば、１ｅ-10のような閾値を事前に決めてもよいし、計算機イプシロンを閾値としてもよい。この場合、固有多項式計算部１１は、閾値を入力として受け付ける。
【００５１】
本実施形態では、最適対応点座標推定部１は、例えば、３次固有方程式を解いて拘束条件行列Ｄの固有値を求め、次に固有値に対応する固有ベクトルを求めることができる。但し、これに限られるものではない。例えば、固有値と固有ベクトルを同時に求めるヤコビ法又はハウスホルダー法を用いても良い。
【００５２】
[第１の実施形態の効果]
以上のように、本実施形態の三角測量装置は、まず、観測された対応点の画像座標がエピポーラ方程式を満たすのに必要な補正ベクトルの計算において、固有多項式の次数を減らすことができ、例えば、３次方程式によってその解を求めることができる。すなわち、本実施形態の三角測量装置は、非特許文献３のように複雑な反復法を用いて６次方程式を解く必要がない。また、３次方程式は公知の閉形式で表される解法が利用できるため、ＤＫＡ法や固有値分解法といった演算量が増加するような反復法を用いる必要がない。
【００５３】
さらに、本実施形態の三角測量装置で求めた補正ベクトルは、大域的な最適性が保証されている。これは、非特許文献４や非特許文献５のようにエピポーラ方程式を近似せず、３次方程式の解から再投影誤差が大域的に最小となる解を選択できるためである。換言すれば、補正量が最小となる拘束条件行列の固有値を選択できるためである。
【００５４】
よって、本実施形態の三角測量装置によれば、低演算量で、大域的に最適な三角測量を実現できる。
【００５５】
[第２の実施形態]
図８は、本発明による三角測量装置の第２の実施形態の構成を示すブロック図である。本実施形態の三角測量装置は、図１に示した第１の実施形態の構成と比べて、観測対応点座標（２）が、プロジェクタにより投影される二次元座標であることが異なる。また、最適対応点座標推定部１と三次元座標計算部２が、プロジェクタの内部パラメータと外部パラメータを受け付ける点が異なる。それ以外の構成に関しては、第１の実施形態と同様であるため、説明を省略する。
【００５６】
本実施形態では、キャリブレーション済みのプロジェクタで映像が投影され、投影された映像をキャリブレーション済みのカメラで撮影し、対応点が生成される。例えば、投影される映像を既知として、三角測量装置は、カメラによる撮影画像の中からテンプレートマッチングやＳＩＦＴといった公知の対応点探索技術を用いて対応点を検出する。三角測量装置は、その画像座標を観測対応点座標（１）、プロジェクタで投影した方向を観測対応点座標（２）とすればよい。プロジェクタで投影した方向は三次元ベクトルであるが、その長さは不定であるため、独立なのは二次元しかないため、対応点座標として扱える。
【００５７】
本実施形態の三角測量装置の動作は、観測対応点座標（２）がプロジェクタにより投影される二次元座標である。最適対応点座標推定部１と三次元座標計算部２にプロジェクタの内部パラメータと外部パラメータが入力される点以外は、第１の実施形態の動作と同様であるため、説明を省略する。
【００５８】
本実施形態の三角測量装置は、カメラとプロジェクタで構成された、いわゆるアクティブステレオ法において低演算量で大域的に最適な三角測量を実現できる。その理由は、光を投影することと撮影することは方向の正負が異なるだけで数学的には等価に扱うことができるため、第１の実施形態と同様の方法が適用できるためである。
【００５９】
なお、上記の各実施形態の三角測量装置は、例えば、各部に対応したハードウェア等により実現可能であり、情報処理システムによっても実現可能である。図９は、本発明による三角測量装置を情報処理システムに実装した場合のブロック図である。図９に示す情報処理システムは、プロセッサ３１と、プログラムメモリ３２と、記憶媒体３３とを備える一般的な情報処理システムである。記憶媒体３３は、別個の記憶媒体からなる記憶領域であってもよいし、同一の記憶媒体からなる記憶領域であってもよい。記憶媒体として、ＲＡＭ（Ｒａｎｄｏｍ  Ａｃｃｅｓｓ  Ｍｅｍｏｒｙ）や、ハードディスク等の磁気記憶媒体を用いることができる。
【００６０】
プログラムメモリ３２には、上述した、最適対応点座標推定部１（より具体的には、固有多項式計算部１１、補正ベクトル計算部１２）と、三次元座標計算部２の各部の処理を、プロセッサ３１に行わせるためのプログラムが格納されている。このプログラムに従ってプロセッサ３１は動作する。プロセッサ３１は、例えば、ＣＰＵ等のプログラムに従って動作するプロセッサであればよい。このように、本実施形態は、コンピュータプログラムにより実現することも可能である。なお、プログラムによる動作が可能な部分（最適対応点座標推定部１や三次元座標計算部２など）のすべてをプログラムで動作させる必要はなく、一部をハードウェアで構成してもよい。また、それぞれ別々のユニットとして実現されていてもよい。
【００６１】
[第３の実施形態]
図１０を参照すると、本発明の第３の実施形態に係る三角測量装置４は、パッシブステレオ法を使用して橋梁などの構造物７上の計測対象点７１の三次元位置を算出する情報処理装置である。三角測量装置４は、計測対象点７１を含む構造物７の画像をお互いに異なる位置から撮影する２台のカメラ５、６に有線または無線により接続されている。２台のカメラ５、６は、ＣＣＤ（Ｃｈａｒｇｅ  Ｃｏｕｐｌｅｄ  Ｄｅｖｉｃｅ）カメラ等で構成され、双方ともキャリブレーション済みである。
【００６２】
三角測量装置４は、通信Ｉ／Ｆ部（通信インターフェイス部）４１、操作入力部４２、画面表示部４３、記憶部４４、および演算処理部４５を有する。
【００６３】
通信Ｉ／Ｆ部４１は、専用のデータ通信回路からなり、有線または無線による通信回線を介して接続されたカメラ５、６などの各種装置との間でデータ通信を行う機能を有している。
【００６４】
操作入力部４２は、キーボードやマウスなどの操作入力装置からなり、オペレータの操作を検出して演算処理部４５に出力する機能を有している。
【００６５】
画面表示部４３は、ＬＣＤ（Ｌｉｑｕｉｄ  Ｃｒｙｓｔａｌ  Ｄｉｓｐｌａｙ）やＰＤＰ（Ｐｌａｓｍａ  Ｄｉｓｐｌａｙ  Ｐａｎｅｌ）などの画面表示装置からなり、演算処理部４５からの指示に応じて、計測対象点７１の三次元位置などを画面表示する機能を有している。
【００６６】
記憶部４４は、ハードディスクやメモリなどの記憶装置からなり、演算処理部４５における各種処理に必要な処理情報やプログラム４４１を記憶する機能を有している。プログラム４４１は、演算処理部４５に読み込まれて実行されることにより各種処理部を実現するプログラムであり、通信Ｉ／Ｆ部４１などのデータ入出力機能を介して外部装置（図示せず）や記憶媒体（図示せず）から予め読み込まれて記憶部４４に保存される。記憶部４４で記憶される主な処理情報として、画像４４２、４４３、内部パラメータ４４４、外部パラメータ４４５がある。
【００６７】
画像４４２は、カメラ５により撮影された計測対象点７１を含む構造物７の画像である。画像４４３は、カメラ６により撮影された計測対象点７１を含む構造物７の画像である。内部パラメータ４４４は、カメラ５、６それぞれの焦点距離、画像中心、画素サイズなど、カメラそれぞれの結像の特性を示すパラメータである。外部パラメータ４４５は、２つのカメラ５、６の位置、姿勢などを示すパラメータである。
【００６８】
演算処理部４５は、マイクロプロセッサとその周辺回路を有し、記憶部４４からプログラム４４１を読み込んで実行することにより、上記ハードウェアとプログラム４４１とを協働させて各種処理部を実現する機能を有している。演算処理部４５で実現される主な処理部として、対応点検出部４５１と最適画像座標推定部４５２と三次元座標計算部４５３とがある。
【００６９】
対応点検出部４５１は、カメラ５、６で撮影された画像４４２、４４３を記憶部４４から読み出す。そして、対応点検出部４５１は、テンプレートマッチング又はＳＩＦＴといった公知の対応点探索手法を用いて、カメラ５の画像４４２中の計測対象点７１に対応する画像座標、カメラ６の画像４４３中の計測対象点７１に対応する画像座標を検出する機能を有する。
【００７０】
最適画像座標推定部４５２は、画像４４２、４４３における計測対象点７１に対応する対応点の座標を対応点検出部４５１から入力し、内部パラメータ４４４と外部パラメータ４４５とを記憶部４４から入力する。最適画像座標推定部４５２は、画像４４２、４４３における計測対象点７１に対応する補正された対応点の座標を出力する機能を有する。最適画像座標推定部４５２は、補正された対応点の座標が内部パラメータ４４４と外部パラメータ４４５とで構成されるエピポーラ方程式を満たす補正ベクトルを計算し、補正された対応点の座標を出力する。なお、当該補正ベクトルは、対応点の座標の補正量または該補正量の逆数を変数とする所定の多項式に基づいて計算される。
【００７１】
最適画像座標推定部４５２は、固有多項式計算部４５２１と補正ベクトル計算部４５２２とを有する。固有多項式計算部４５２１は、対応点の座標の補正量または該補正量の逆数を固有値とする補正ベクトルが満たすべき拘束条件を表す所定の拘束条件行列を計算する。所定の拘束条件行列は、対応点検出部４５１から入力した対応点の座標と記憶部４４から入力した内部パラメータ４４４と外部パラメータ４４５に基づき計算される。その拘束条件行列の固有方程式を解いて最小の補正量を算出する機能を有する。また補正ベクトル計算部４５２２は、対応点検出部４５１から入力した対応点の座標と固有多項式計算部４５２１で計算された拘束条件行列と最小の補正量とに基づいて、上記最小の補正量に対応する上記拘束条件行列の固有ベクトルを計算する。さらに、補正ベクトル計算部４５２２は、上記固有ベクトルに所定のスケーリングを施して補正ベクトルを計算し、上記補正ベクトルから補正された対応点の座標を計算し出力する機能を有する。
【００７２】
三次元座標計算部４５３は、補正された対応点の座標を最適画像座標推定部４５２から入力し、内部パラメータ４４４と外部パラメータ４４５とを記憶部４４から入力し、計測対象点７１の三次元座標を計算する機能を有する。また、三次元座標計算部４５３は、計算した計測対象点７１の三次元座標を画面表示部４３に出力し、また通信Ｉ／Ｆ部４１を通じて図示しない他の端末へ送信する機能を有する。
【００７３】
図１１は、本実施形態に係る三角測量装置４の動作の一例を示すフローチャートである。以下、図１１を参照して、本実施形態に係る三角測量装置４の動作について説明する。
【００７４】
三角測量装置４の対応点検出部４５１は、計測対象点７１を含む画像をカメラ５、６により撮影し、撮影して得られた画像を通信Ｉ／Ｆ部４１でカメラ５、６から受信し、記憶部４４に画像４４２、４４３として記憶する（ステップＳ２１）。次に、対応点検出部４５１は、カメラ５、６で撮影された画像４４２、４４３中の計測対象点７１に対応する対応点の画像座標を検出し、最適画像座標推定部４５２に伝達する（ステップＳ２２）。
【００７５】
次に、最適画像座標推定部４５２の固有多項式計算部４５２１は、内部パラメータ４４４と外部パラメータ４４５と検出された対応点の画像座標とから、所定の拘束条件行列（前述した式９のＤに相当）を計算する（ステップＳ２３）。次に固有多項式計算部４５２１は、この拘束条件行列の固有方程式を解いて、最小の補正量（前述した補正量λあるいはその逆数μに相当）を計算する（ステップＳ２４）。なお、拘束条件行列の固有多項式となる式１２、式１３は、行列式ｄｅｔ（Ｄ）＝０により解の１つがそれぞれ∞、０と既知となる。つまり、補正量λまたは補正量の逆数μは、いずれかの固有多項式に対して次数を減らして解を求めることができる。
【００７６】
次に、補正ベクトル計算部４５２２は、最小の補正量に対応する拘束条件行列の固有ベクトル（前述した式８または式１１で表される固有ベクトルｖに相当）を計算する（ステップＳ２５）。次に、補正ベクトル計算部４５２２は、その固有ベクトルに所定のスケーリングを施して補正ベクトル（前述した補正ベクトルｖ（あるいはΔｘ、Δｘ’）に相当）を計算する（ステップＳ２６）。次に補正ベクトル計算部４５２２は、対応点の座標と補正ベクトルとから補正された対応点の座標を計算し、三次元座標計算部４５３へ伝達する（ステップＳ２７）。
【００７７】
次に、三次元座標計算部４５３は、補正された対応点の座標と内部パラメータと外部パラメータとから、線形最小二乗法を使用して、対応点の最適な三次元座標を計算し、出力する（ステップＳ２８）。
【００７８】
このように本実施形態によれば、パッシブステレオ法を使用して計測対象点の三次元位置を算出する三角測量装置において、大域的に最適な三次元位置を少ない演算量で計算することができる。その理由は、第１の実施形態の効果における説明と同様である。例えば、６次方程式ではなく３次方程式を解けばよく、また３次方程式の解から再投影誤差が大域的に最小となる解を選択できる。
【００７９】
[第４の実施形態]
図１２を参照すると、本発明の第４の実施形態に係る三角測量装置８は、アクティブステレオ法を使用して橋梁などの構造物７上の計測対象点７１の三次元位置を算出する情報処理装置である。三角測量装置８は、構造物７に所定の画像を投影するプロジェクタ９と、プロジェクタ９によって構造物７に投影された画像を撮影するカメラ６とに有線または無線により接続されている。
【００８０】
カメラ６は、図１０に示したカメラ６と同じであり、キャリブレーション済みである。
プロジェクタ９は、スポットレーザ投光器やスリットレーザ投光器などを使用できるが、それらに限定されない。スポットレーザ投光器を使用した場合、構造物７の面上に高輝度のスポット像が投影され、そのスポット像の箇所が計測対象点７１となる。またスリットレーザ投光器を使用した場合、構造物７の面上に高輝度なスリット像が投影され、そのスリット像の箇所が計測対象点７１となる。プロジェクタ９は、キャリブレーション済みである。
【００８１】
三角測量装置８は、通信Ｉ／Ｆ部（通信インターフェイス部）８１、操作入力部８２、画面表示部８３、記憶部８４、および演算処理部８５を有する。このうち、通信Ｉ／Ｆ部８１、操作入力部８２、および画面表示部８３は、図１０に示した第３の実施形態における通信Ｉ／Ｆ部４１、操作入力部４２、および画面表示部４３と同様の機能を有する。
【００８２】
記憶部８４は、ハードディスクやメモリなどの記憶装置からなり、演算処理部８５における各種処理に必要な処理情報やプログラム８４１を記憶する機能を有している。プログラム８４１は、演算処理部８５に読み込まれて実行されることにより各種処理部を実現するプログラムであり、通信Ｉ／Ｆ部８１などのデータ入出力機能を介して外部装置（図示せず）や記憶媒体（図示せず）から予め読み込まれて記憶部８４に保存される。記憶部８４で記憶される主な処理情報として、画像８４２、８４３、内部パラメータ８４４、外部パラメータ８４５がある。
【００８３】
画像８４２は、プロジェクタ９によって計測対象点７１を含む構造物７に投影される画像である。画像８４３は、プロジェクタ９によって計測対象点７１を含む構造物７に投影された画像をカメラ６により撮影した画像である。内部パラメータ８４４は、カメラ６およびプロジェクタ９の焦点距離、画像中心、画素サイズ、など、カメラおよびプロジェクタの結像の特性を示すパラメータである。外部パラメータ８４５は、カメラ６とプロジェクタ９の位置、姿勢などを示すパラメータである。
【００８４】
演算処理部８５は、マイクロプロセッサとその周辺回路を有し、記憶部８４からプログラム８４１を読み込んで実行することにより、上記ハードウェアとプログラム８４１とを協働させて各種処理部を実現する機能を有している。演算処理部８５で実現される主な処理部として、対応点検出部８５１と最適画像座標推定部８５２と三次元座標計算部８５３とがある。
【００８５】
対応点検出部８５１は、プロジェクタ９によって構造物７に投影される画像８４２を記憶部８４から読み出し、その画像８４２中の計測対象点７１に対応する画像座標を対応点の座標として検出する機能を有する。また対応点検出部８５１は、カメラ６で撮影された画像８４３を記憶部８４から読み出し、画像中で最も輝度の高い箇所の座標を対応点の座標として検出する機能を有している。勿論、プロジェクタ９によって投影される画像を既知として、カメラ６による撮影画像の中からテンプレートマッチングやＳＩＦＴといった公知の対応点探索技術を用いて対応点を検出してもよい。
【００８６】
最適画像座標推定部８５２は、以下の機能を有する。すなわち、最適画像座標推定部８５２は、画像８４２、８４３における計測対象点７１に対応する対応点の座標を対応点検出部８５１から入力し、内部パラメータ８４４と外部パラメータ８４５とを記憶部８４から入力する。さらに、最適画像座標推定部８５２は、画像８４２、８４３における計測対象点７１に対応する補正された対応点の座標を出力する。最適画像座標推定部８５２は、対応点の座標の補正量または該補正量の逆数を変数とする所定の多項式に基づき、補正された対応点の座標が内部パラメータ８４４と外部パラメータ８４５とで構成されるエピポーラ方程式を満たす補正ベクトルを計算し、補正された対応点の座標を出力する。
【００８７】
最適画像座標推定部８５２は、固有多項式計算部８５２１と補正ベクトル計算部８５２２とを有する。固有多項式計算部８５２１は、対応点の座標の補正量または該補正量の逆数を固有値とする補正ベクトルが満たすべき拘束条件を表す所定の拘束条件行列を計算し、その拘束条件行列の固有方程式を解いて最小の補正量を算出する機能を有する。なお、所定の拘束条件行列は、対応点検出部８５１から入力した対応点の座標と記憶部８４から入力した内部パラメータ８４４と外部パラメータ８４５とに基づいて計算される。また補正ベクトル計算部８５２２は、上記最小の補正量に対応する上記拘束条件行列の固有ベクトルを計算し、上記固有ベクトルに所定のスケーリングを施して補正ベクトルを計算し、上記補正ベクトルから補正された対応点の座標を計算し出力する機能を有する。なお、拘束条件行列の固有ベクトルは、対応点検出部８５１から入力した対応点の座標と固有多項式計算部８５２１で計算された拘束条件行列と最小の補正量とに基づいて計算される。
【００８８】
三次元座標計算部８５３は、補正された対応点の座標を最適画像座標推定部８５２から入力し、内部パラメータ８４４と外部パラメータ８４５とを記憶部８４から入力し、計測対象点７１の三次元座標を計算する機能を有する。また、三次元座標計算部８５３は、計算した計測対象点７１の三次元座標を画面表示部８３に出力し、また通信Ｉ／Ｆ部８１を通じて図示しない他の端末へ送信する機能を有する。
【００８９】
図１３は、本実施形態に係る三角測量装置８の動作の一例を示すフローチャートである。以下、図１３を参照して、本実施形態に係る三角測量装置８の動作について説明する。
【００９０】
三角測量装置４の対応点検出部８５１は、記憶部８４から読み出した画像８４２を、通信Ｉ／Ｆ部８１を通じてプロジェクタ９に送信し、プロジェクタ９によって画像８４２を構造物７に投影する（ステップＳ３１）。次に対応点検出部８５１は、構造物７に投影された画像８４２を含む画像をカメラ６により撮影し、撮影して得られた画像を通信Ｉ／Ｆ部８１でカメラ６から受信し、記憶部８４に画像８４３として記憶する（ステップＳ３２）。次に、対応点検出部８５１は、画像８４２、８４３中の計測対象点７１に対応する対応点の画像座標を検出し、最適画像座標推定部８５２に伝達する（ステップＳ３３）。以降、図１１に示したステップＳ２３〜Ｓ２８と同様の処理が行われる（ステップＳ３４〜Ｓ３９）。
【００９１】
このように本実施形態によれば、アクティブステレオ法を使用して計測対象点の三次元位置を算出する三角測量装置において、大域的に最適な三次元位置を少ない演算量で計算することができる。その理由は、第１の実施形態の効果における説明と同様である。例えば、６次方程式ではなく３次方程式を解けばよく、また３次方程式の解から再投影誤差が大域的に最小となる解を選択できる。
【００９２】
以上、実施形態および実施例を参照して本発明を説明したが、本発明は上記実施形態および実施例に限定されるものではない。本発明の構成や詳細には、本発明のスコープ内で当業者が理解し得る様々な変更をすることができる。
【００９３】
本発明によれば、複数画像からの三次元形状復元といった用途に適用できる。この出願は、２０１４年９月１８日に出願された日本出願特願２０１４−１９０２４２を基礎とする優先権を主張し、その開示の全てをここに取り込む。
【００９４】
上記の実施形態の一部又は全部は、以下の付記のようにも記載され得るが、以下には限られない。
［付記１］
計測対象点の三次元位置を、ステレオ法を使用して算出する三角測量装置であって、
前記計測対象点の画像を有する２枚の画像と前記画像を生成した光学機器の内部パラメータおよび外部パラメータとを記憶する記憶部と、前記記憶部に接続されたプロセッサとを有し、
前記プロセッサは、
前記２枚の画像における前記計測対象点に対応する対応点の座標と前記内部パラメータと前記外部パラメータとを入力し、補正された前記対応点の座標が前記内部パラメータと前記外部パラメータとで構成されるエピポーラ方程式を満たす補正ベクトルを、前記対応点の座標の補正量または該補正量の逆数を変数とする３次多項式に基づき計算し、補正された前記対応点の座標を算出し、
前記補正された対応点の座標と前記内部パラメータと前記外部パラメータとを入力とし、前記計測対象点の三次元座標を計算する
ようにプログラミングされている三角測量装置。
［付記２］
前記プロセッサは、
前記対応点の座標と前記内部パラメータと前記外部パラメータとを入力し、前記対応点の座標の補正量または該補正量の逆数を固有値とする補正ベクトルが満たすべき拘束条件を表す所定の拘束条件行列を計算し、前記拘束条件行列の固有方程式を解いて最小の補正量を算出し、
前記対応点の座標と前記拘束条件行列と前記最小の補正量とを入力とし、前記最小の補正量に対応する前記拘束条件行列の固有ベクトルを計算し、前記固有ベクトルに所定のスケーリングを施して補正ベクトルを計算し、前記補正ベクトルから補正された前記対応点の座標を計算する
ようにプログラミングされている付記１に記載の三角測量装置。
［付記３］
前記対応点の補正量は、補正ベクトルの大きさを目的関数とし、定数倍の不定性を持つエピポーラ方程式を制約条件とする制約付き非線形最適化問題におけるラグランジュ未定乗数を表す
付記１または２に記載の三角測量装置。
［付記４］
前記ステレオ法は、それぞれ異なる位置から前記計測対象点の２つの画像をカメラによって撮影するパッシブステレオ法である
付記１乃至３の何れかに記載の三角測量装置。
［付記５］
前記ステレオ法は、ある位置から前記計測対象点の画像を投影するプロジェクタと別の位置から前記計測対象点の画像をカメラにより撮影するアクティブステレオ法である
付記１乃至３の何れかに記載の三角測量装置。
［付記６］
前記所定の拘束条件行列を次式、
【００９５】
【数１】
0006547754.tif 000002
【００９６】
により計算する付記２に記載の三角測量装置。
［付記７］
前記計測対象点の画像を有する２枚の画像と前記画像を生成した光学機器の内部パラメータおよび外部パラメータとを記憶する記憶部と、前記記憶部に接続されたプロセッサとを有し、前記計測対象点の三次元位置を、ステレオ法を使用して算出する三角測量装置が実行する三角測量方法であって、
前記プロセッサが、
前記２枚の画像における前記計測対象点に対応する対応点の座標と前記内部パラメータと前記外部パラメータとを入力し、補正された前記対応点の座標が前記内部パラメータと前記外部パラメータとで構成されるエピポーラ方程式を満たす補正ベクトルを、前記対応点の座標の補正量または該補正量の逆数を変数とする３次多項式に基づき計算し、補正された前記対応点の座標を算出し、
前記補正された対応点の座標と前記内部パラメータと前記外部パラメータとを入力とし、前記計測対象点の三次元座標を計算する
三角測量方法。
［付記８］
前記プロセッサは、
前記対応点の座標と前記内部パラメータと前記外部パラメータとを入力し、前記対応点の座標の補正量または該補正量の逆数を固有値とする補正ベクトルが満たすべき拘束条件を表す所定の拘束条件行列を計算し、前記拘束条件行列の固有方程式を解いて最小の補正量を算出し、
前記対応点の座標と前記拘束条件行列と前記最小の補正量とを入力とし、前記最小の補正量に対応する前記拘束条件行列の固有ベクトルを計算し、前記固有ベクトルに所定のスケーリングを施して補正ベクトルを計算し、前記補正ベクトルから補正された前記対応点の座標を計算する
付記７に記載の三角測量方法。
［付記９］
前記対応点の補正量は、補正ベクトルの大きさを目的関数とし、定数倍の不定性を持つエピポーラ方程式を制約条件とする制約付き非線形最適化問題におけるラグランジュ未定乗数を表す
付記７または８に記載の三角測量方法。
［付記１０］
前記ステレオ法は、それぞれ異なる位置から前記計測対象点の２つの画像をカメラによって撮影するパッシブステレオ法である
付記７乃至９の何れかに記載の三角測量方法。
［付記１１］
前記ステレオ法は、ある位置から前記計測対象点の画像を投影するプロジェクタと別の位置から前記計測対象点の画像をカメラにより撮影するアクティブステレオ法である
付記７乃至９の何れかに記載の三角測量方法。
［付記１２］
前記所定の拘束条件行列を次式、
【００９７】
【数２】
0006547754.tif 000003
【００９８】
により計算する付記８に記載の三角測量方法。
［付記１３］
計測対象点の画像を有する２枚の画像と前記画像を生成した光学機器の内部パラメータおよび外部パラメータとを記憶する記憶部と、前記記憶部に接続されたプロセッサとを有し、前記計測対象点の三次元位置を、ステレオ法を使用して算出する三角測量装置の前記プロセッサに、
前記２枚の画像における前記計測対象点に対応する対応点の座標と前記内部パラメータと前記外部パラメータとを入力し、補正された前記対応点の座標が前記内部パラメータと前記外部パラメータとで構成されるエピポーラ方程式を満たす補正ベクトルを、前記対応点の座標の補正量または該補正量の逆数を変数とする３次多項式に基づき計算し、補正された対応点の座標を算出し、
前記補正された対応点の座標と前記内部パラメータと前記外部パラメータとを入力とし、前記計測対象点の三次元座標を計算し
を行わせるためのプログラム。
［付記１４］
前記プロセッサは、
前記対応点の座標と前記内部パラメータと前記外部パラメータとを入力し、前記対応点の座標の補正量または該補正量の逆数を固有値とする補正ベクトルが満たすべき拘束条件を表す所定の拘束条件行列を計算し、前記拘束条件行列の固有方程式を解いて最小の補正量を計算し、
前記対応点の座標と前記拘束条件行列と前記最小の補正量とを入力とし、前記最小の補正量に対応する前記拘束条件行列の固有ベクトルを計算し、前記固有ベクトルに所定のスケーリングを施して補正ベクトルを計算し、前記補正ベクトルから補正された前記対応点の座標を計算する
付記１３に記載のプログラム。
［付記１５］
前記対応点の補正量は、補正ベクトルの大きさを目的関数とし、定数倍の不定性を持つエピポーラ方程式を制約条件とする制約付き非線形最適化問題におけるラグランジュ未定乗数を表す
付記１３または１４に記載のプログラム。
［付記１６］
前記ステレオ法は、それぞれ異なる位置から前記計測対象点の２つの画像をカメラによって撮影するパッシブステレオ法である
付記１３乃至１５の何れかに記載のプログラム。
［付記１７］
前記ステレオ法は、ある位置から前記計測対象点の画像を投影するプロジェクタと別の位置から前記計測対象点の画像をカメラにより撮影するアクティブステレオ法である
付記１３乃至１５の何れかに記載のプログラム。
［付記１８］
前記所定の拘束条件行列を次式、
【００９９】
【数３】
0006547754.tif 000004
【０１００】
により計算する付記１４に記載のプログラム。
【符号の説明】
【０１０１】
１…最適対応点座標推定部
１１…固有多項式計算部
１２…補正ベクトル計算部
２…三次元座標計算部
３１…プロセッサ
３２…プログラムメモリ
３３…記憶媒体
【図１】
0006547754.tif 000005
【図２】
0006547754.tif 000006
【図３】
0006547754.tif 000007
【図４】
0006547754.tif 000008
【図５】
0006547754.tif 000009
【図６】
0006547754.tif 000010
【図７】
0006547754.tif 000011
【図８】
0006547754.tif 000012
【図９】
0006547754.tif 000013
【図１０】
0006547754.tif 000014
【図１１】
0006547754.tif 000015
【図１２】
0006547754.tif 000016
【図１３】
0006547754.tif 000017