(57)【特許請求の範囲】
【請求項１】
画像入力手段と距離検出手段と姿勢検出手段及び並進成分演算手段を有し、
画像入力手段は撮影位置と視点を変えて被写体の画像を入力し、
距離検出手段は画像入力手段から得られた複数枚の画像上の特定のある１点に対応する被写体の注視点までの各視点からの距離を検出し、
姿勢検出手段は各視点における画像入力手段の姿勢を算出し、
並進成分演算手段は各視点における画像情報と注視点までの距離情報と画像入力手段の姿勢情報より、視点を変えたときの画像入力手段の並進成分を算出することを特徴とする位置・姿勢検出装置。
【請求項２】
撮影位置と視点を変えて画像入力手段で被写体の画像を入力し、視点を変えて得られた複数枚の画像上の特定のある１点に対応する被写体の注視点までの各視点からの距離を検出し、各視点における画像入力手段の姿勢を算出し、各視点における画像情報と注視点までの距離情報と画像入力手段の姿勢情報より、視点を変えたときの画像入力手段の並進成分を算出することを特徴とする位置・姿勢検出方法。
【請求項３】
画像入力手段と距離検出手段と姿勢検出手段と並進成分演算手段と対応検出手段及び３次元演算手段を有し、
画像入力手段は撮影位置と視点を変えて被写体の画像を入力し、
距離検出手段は画像入力手段から得られた複数枚の画像上の特定のある１点に対応する被写体の注視点までの各視点からの距離を検出し、
姿勢検出手段は各視点における画像入力手段の姿勢を算出し、画像入力手段から得られた複数枚の画像上の特定のある１点に対応する被写体の注視点までの各視点からの距離を検出し、
並進成分演算手段は各視点における画像情報と注視点までの距離情報と画像入力手段の姿勢情報より、視点を変えたときの画像入力手段の並進成分を算出し、
対応検出手段は画像入力手段の並進成分と姿勢情報より視点を変えて得られた複数枚の画像間の対応付けを行い、
３次元演算手段は対応付け結果と画像入力手段の位置，姿勢情報により被写体の３次元形状を算出することを特徴とする３次元形状復元装置。
【請求項４】
画像入力手段と距離検出手段と姿勢検出手段と並進成分演算手段と並進成分決定手段と対応検出手段及び３次元演算手段を有し、
画像入力手段は撮影位置と視点を変えて被写体の画像を入力し、
距離検出手段は画像入力手段から得られた複数枚の画像上の特定のある複数点に対応する被写体の複数の注視点までの各視点からの距離を検出し、
姿勢検出手段は各視点における画像入力手段の姿勢を算出し、
並進成分演算手段は各視点における画像情報と複数の注視点までの距離情報と画像入力手段の姿勢情報より視点を変えたときの画像入力手段の並進成分を算出し、
並進成分決定手段は複数の並進成分より最終的な並進成分を決定し、
対応検出手段は決定した並進成分と画像入力手段の姿勢情報より視点を変えて得られた複数枚の画像間の対応付けを行い、
３次元演算手段は対応付け結果と画像入力手段の位置，姿勢情報により被写体の３次元形状を算出することを特徴とする３次元形状復元装置。
【請求項５】
画像入力手段と距離検出手段と姿勢検出手段と注視領域検定手段と並進成分演算手段と対応検出手段及び３次元演算手段を有し、
画像入力手段は撮影位置と視点を変えて被写体の画像を入力し、
距離検出手段は画像入力手段から得られた複数枚の画像上の特定の注視領域内のある１点に対応する被写体の注視点までの各視点からの距離を検出し、
姿勢検出手段は各視点における画像入力手段の姿勢を算出し、
注視領域検定手段は視点を変えて撮影した画像の注視領域内の被写体の変位量があらかじめ定めた閾値以下であることを確認し、
並進成分演算手段は各視点における画像情報と注視点までの距離情報と画像入力手段の姿勢情報より視点を変えたときの画像入力手段の並進成分を算出し、
対応検出手段は画像入力手段の並進成分と姿勢情報より視点を変えて得られた複数枚の画像間の対応付けを行い、
３次元演算手段は対応付け結果と画像入力手段の位置，姿勢情報により被写体の３次元形状を算出することを特徴とする３次元形状復元装置。
【請求項６】
上記注視領域検定手段における閾値を画像入力手段の光学系パラメーターにより調整する注視領域調整手段を有する請求項５記載の３次元形状復元装置。
【請求項７】
上記姿勢検出手段に加速度センサ，磁気センサ又は角加速度センサを単独あるいは併用して使用した請求項３乃至請求項６のいずれかに記載の３次元形状復元装置。
【請求項８】
撮影位置と視点を変えて画像入力手段で被写体の画像を入力し、視点を変えて得られた複数枚の画像上の特定のある１点に対応する被写体の注視点までの各視点からの距離を検出し、各視点における画像入力手段の姿勢を算出し、各視点における画像情報と注視点までの距離情報と画像入力手段の姿勢情報より、視点を変えたときの画像入力手段の並進成分を算出し、画像入力手段の並進成分と姿勢情報より視点を変えて得られた複数枚の画像間の対応付けを行い、対応付け結果と画像入力手段の位置，姿勢情報により被写体の３次元形状を算出することを特徴とする３次元形状復元方法。
【請求項９】
撮影位置と視点を変えて画像入力手段で被写体の画像を入力し、視点を変えて得られた複数枚の画像上の特定のある複数点に対応する被写体の複数の注視点までの各視点からの距離を検出し、各視点における画像入力手段の姿勢を算出し、各視点における画像情報と複数の注視点までの距離情報と画像入力手段の姿勢情報より視点を変えたときの画像入力手段の並進成分を算出し、複数の並進成分より最終的な並進成分を決定し、決定した並進成分と画像入力手段の姿勢情報より視点を変えて得られた複数枚の画像間の対応付けを行い、対応付け結果と画像入力手段の位置，姿勢情報により被写体の３次元形状を算出することを特徴とする３次元形状復元方法。
【請求項１０】
撮影位置と視点を変えて画像入力手段で被写体の画像を入力し、視点を変えて得られた複数枚の画像上の特定の注視領域内のある点に対応する被写体の注視点までの各視点からの距離を検出し、各視点における画像入力手段の姿勢を算出し、視点を変えて撮影した画像の注視領域内の被写体の変位量があらかじめ定めた閾値以下であることを確認し、各視点における画像情報と注視点までの距離情報と画像入力手段の姿勢情報より視点を変えたときの画像入力手段の並進成分を算出し、画像入力手段の並進成分と姿勢情報より視点を変えて得られた複数枚の画像間の対応付けを行い、対応付け結果と画像入力手段の位置，姿勢情報により被写体の３次元形状を算出することを特徴とする３次元形状復元方法。
【請求項１１】
上記閾値を画像入力手段の光学系パラメーターにより調整する請求項１０記載の３次元形状復元方法。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
この発明は、連続する複数枚の画像から撮影したときのカメラの位置，姿勢を検出する位置・姿勢検出装置と方法及び撮影した対象物の３次元形状を復元する３次元形状復元装置及び方法、特に精度が高い３次元形状の復元を少ない計算量で実現することに関するものである。
【０００２】
【従来の技術】
対象物の３次元形状を復元する研究は自律移動ロボットの視覚をはじめとして様々な分野で進められている。特に近年は電子技術の飛躍的な進歩による計算機や電子機器の普及が急速に進み、手軽に３次元情報の立体表示が楽しめるようになった。それに対して実世界の対象物や情景の３次元構造を復元する技術の発展が期待されている。
【０００３】
実世界の対象物の３次元構造を復元するため対象物までの距離や形状を測定する方法は、対象物に光波や超音波を照射する能動的な方法と、ステレオ画像法に代表される受動的な方法とがある。能動的な方法は、光や電波，音波等の波動を対象物に照射し、対象物からの反射波の伝播時間を計測して対象物までの距離を求める方法や、カメラと位置関係が既知の光源から特定パターンを持ったスリット光やスポット光等を対象物に照射し、その歪を観測して対象物の形状を求める光投影法などがある。この能動的な手法は一般的に装置の小型化に問題がある反面、高速でかつ高精度に距離を測定できるという特徴がある。
【０００４】
一方、受動的な方法は、多眼立体視による方法と運動立体視による方法に大別される。多眼立体視による方法は、互いの位置と姿勢が既知である複数のカメラを用いて対象物を撮影し、撮影した画像から各画像間の特徴点又は領域の対応付けを行い、三角測量の原理により対象物の３次元形状を計算するという手順で行われる。この方法では画像に重畳されたノイズ等により対応付けの誤差が存在したり視差が十分にとれない場合に、大きな距離測定誤差を生じやすいという問題点がある。運動立体視による方法は、１台のカメラを移動させながら対象物を撮影し、連続する画像間の対応付けを行い、カメラの位置と姿勢及び対象物の３次元形状を計算するという手順で行われる。この方法も多眼立体視による方法と同様の問題点があるほか、多眼立体視とは異なり画像間のカメラ位置や姿勢情報が未知であり、一般的に複雑な非線形方程式を反復演算で解く必要がある。そのため計算量が膨大であり、その解も不安定になりやすい。この受動的な方法の問題点に対して画像以外に距離センサや加速度センサ，角速度センサ，磁気センサなどを併用して、小さな計算コストで３次元形状を復元する装置が、例えば特開平５−196437号公報や特開平７−181024号公報，特開平９−81790号公報等に示されている。
【０００５】
特開平5-196437号公報に示された装置は、被写体の１点を直交投影のカメラで撮影し、そのときのカメラの姿勢を３軸ジャイロで求め、ボーティング法により被写体の３次元情報を抽出している。また、特開平７−181024号公報に示された装置は、カメラの移動量を検出する移動量検出手段を設け、移動量検出手段で得たカメラの移動量を基線長とし、この基線長と画像データによる対応点検策結果より被写体の３次元形状復元を行い、大規模になりがちな３次元形状測定装置の小型，軽量化を図っている。移動量検出手段としては慣性力を利用した角速度センサで画像入力手段の移動量を直接計測したり、計測者の動きを磁気センサや超音波センサ，光ファイバセンサ，圧力センサ等で検出して画像入力手段の移動量を算出している。特開平９−81790号公報等に示された装置は、カメラの動きを角度センサと加速度センサにより検出し、異なる視点からの光軸が任意の点で交わるように各視点における光軸方向を調整して、撮影時の視点を自由に選択できるようにするとともに各視点からの画像の座標軸が共通となるようにして、各画像間の対応付けを容易に行えるようにし、３次元形状を復元するときの処理の負担を軽減して処理速度を上げるようにしている。
【０００６】
【発明が解決しようとする課題】
しかしながら特開平5-196437号公報に示されているように、直交投影を前提としていると、中心射影モデルのカメラで撮影した画像から３次元情報を抽出するには精度が不十分である。また、特開平７−181024号公報に示されているように、角速度センサ等の各種センサでカメラの移動量を算出する場合は、移動量を計算するときに各種センサからの信号を分析する必要があるため、移動量の誤差成分が累積的に蓄積されるという問題点がある。また、特開平９−81790号公報に示された装置ではカメラの動きを示すセンサ情報とあらかじめ設定された対象物とカメラの距離により算出した動きベクトルの推定値と画像処理により求めた動きベクトルの比較により被写体の検出を行っているが、対象物とカメラの距離があらかじめ設定されているため、特定の撮影条件のもとでのみ３次元形状の復元が可能である。さらに、光軸の向きを変えるための駆動機構が必要なため、装置の構造が複雑になってしまう。
【０００７】
この発明はかかる問題点を解消するためになされたものであり、任意の撮影条件下で、カメラの位置，姿勢を検出する位置・姿勢検出装置と方法及び計算の負荷を少なくし、かつ精度の高い３次元形状復元を実現することができる３次元形状復元装置及び方法を得ることを目的とするものである。
【０００８】
【課題を解決するための手段】
この発明に係る位置・姿勢検出装置は、画像入力手段と距離検出手段と姿勢検出手段及び並進成分演算手段を有し、画像入力手段は撮影位置と視点を変えて被写体の画像を入力し、距離検出手段は画像入力手段から得られた複数枚の画像上の特定のある１点に対応する被写体の注視点までの各視点からの距離を検出し、姿勢検出手段は各視点における画像入力手段の姿勢を算出し、並進成分演算手段は各視点における画像情報と注視点までの距離情報と画像入力手段の姿勢情報より、視点を変えたときの画像入力手段の並進成分を算出することを特徴とする。
【０００９】
この発明に係る位置・姿勢検出方法は、撮影位置と視点を変えて画像入力手段で被写体の画像を入力し、視点を変えて得られた複数枚の画像上の特定のある１点に対応する被写体の注視点までの各視点からの距離を検出し、各視点における画像入力手段の姿勢を算出し、各視点における画像情報と注視点までの距離情報と画像入力手段の姿勢情報より、視点を変えたときの画像入力手段の並進成分を算出することを特徴とする。
【００１０】
この発明に係わる３次元形状復元装置は、画像入力手段と距離検出手段と姿勢検出手段と並進成分演算手段と対応検出手段及び３次元演算手段を有し、画像入力手段は撮影位置と視点を変えて被写体の画像を入力し、距離検出手段は画像入力手段から得られた複数枚の画像上の特定のある１点又は複数点に対応する被写体の注視点までの各視点からの距離を検出し、姿勢検出手段は各視点における画像入力手段の姿勢を算出し、画像入力手段から得られた複数枚の画像上の特定のある１点又は複数点に対応する被写体の注視点までの各視点からの距離を検出し、並進成分演算手段は各視点における画像情報と注視点までの距離情報と画像入力手段の姿勢情報より、視点を変えたときの画像入力手段の並進成分を算出し、対応検出手段は画像入力手段の並進成分と姿勢情報より視点を変えて得られた複数枚の画像間の対応付けを行い、３次元演算手段は対応付け結果と画像入力手段の位置，姿勢情報により被写体の３次元形状を算出することを特徴とする。
【００１１】
この発明に係る他の３次元形状復元装置は、画像入力手段と距離検出手段と姿勢検出手段と注視領域検定手段と並進成分演算手段と対応検出手段及び３次元演算手段を有し、画像入力手段は撮影位置と視点を変えて被写体の画像を入力し、距離検出手段は画像入力手段から得られた複数枚の画像上の特定の注視領域内のある１点に対応する被写体の注視点までの各視点からの距離を検出し、姿勢検出手段は各視点における画像入力手段の姿勢を算出し、注視領域検定手段は視点を変えて撮影した画像の注視領域内の被写体の変位量があらかじめ定めた閾値以下であることを確認し、並進成分演算手段は各視点における画像情報と注視点までの距離情報と画像入力手段の姿勢情報より視点を変えたときの画像入力手段の並進成分を算出し、対応検出手段は画像入力手段の並進成分と姿勢情報より視点を変えて得られた複数枚の画像間の対応付けを行い、３次元演算手段は対応付け結果と画像入力手段の位置，姿勢情報により被写体の３次元形状を算出することを特徴とする。
【００１２】
上記注視領域検定手段における閾値を画像入力手段の光学系パラメーターにより調整する注視領域調整手段を有することが望ましい。
【００１３】
また、上記姿勢検出手段に加速度センサや磁気センサ又は角速度センサを単独あるいは併用して使用すると良い。
【００１４】
この発明に係る３次元形状復元方法は、撮影位置と視点を変えて画像入力手段で被写体の画像を入力し、視点を変えて得られた複数枚の画像上の特定のある１点又は複数点に対応する被写体の注視点までの各視点からの距離を検出し、各視点における画像入力手段の姿勢を算出し、各視点における画像情報と1又は複数の注視点までの距離情報と画像入力手段の姿勢情報より、視点を変えたときの画像入力手段の並進成分を算出し、画像入力手段の並進成分と姿勢情報より視点を変えて得られた複数枚の画像間の対応付けを行い、対応付け結果と画像入力手段の位置，姿勢情報により被写体の３次元形状を算出することを特徴とする３次元形状復元方法。
【００１５】
この発明に係る他の３次元形状復元方法は、撮影位置と視点を変えて画像入力手段で被写体の画像を入力し、視点を変えて得られた複数枚の画像上の特定の注視領域内のある点に対応する被写体の注視点までの各視点からの距離を検出し、各視点における画像入力手段の姿勢を算出し、視点を変えて撮影した画像の注視領域内の被写体の変位量があらかじめ定めた閾値以下であることを確認し、各視点における画像情報と注視点までの距離情報と画像入力手段の姿勢情報より視点を変えたときの画像入力手段の並進成分を算出し、画像入力手段の並進成分と姿勢情報より視点を変えて得られた複数枚の画像間の対応付けを行い、対応付け結果と画像入力手段の位置，姿勢情報により被写体の３次元形状を算出することを特徴とする。上記閾値を画像入力手段の光学系パラメーターにより調整することが望ましい。
【００１６】
【発明の実施の形態】
この発明の３次元形状復元装置は、画像入力手段と距離検出手段と直交する３軸方向の加速度センサから姿勢検出手段と並進成分演算手段と対応検出手段及び３次元演算手段を有する。そして同一の被写体を異なる２つの視点で撮影して被写体の３次元形状を復元するとき、撮影者が第１の視点と第２の視点から被写体のある１点までの距離を測定する注視点を決定する。注視点を決定したら第１の視点で画像入力手段により被写体を撮影し、距離検出手段で第１の視点から注視点までの距離を測定し、姿勢検出手段で第１の視点における画像入力手段の姿勢を測定する。次に画像入力手段を移動して第２の視点で被写体を撮影し、距離検出手段で第２の視点から注視点までの距離を測定し、姿勢検出手段で第２の視点における画像入力手段の姿勢を測定する。並進成分演算手段は各視点で撮影した画像データと各視点から注視点までの距離及び各視点における画像入力手段の姿勢情報から視点を変えたときの画像入力手段２の並進成分を算出する。対応検出手段は画像入力手段の並進成分と姿勢情報を利用して異なる視点で撮影した２枚の画像間の特徴点の対応付けを行う。３次元演算手段は対応検出手段の対応付け結果と並進成分及び姿勢情報より三角測量の原理で被写体の３次元構造を算出して復元する。
【００１７】
このように第１の視点から注視点までの距離と第２の視点から注視点までの距離及び各視点における画像入力手段の姿勢情報から視点を変えたときの画像入力手段の並進成分を算出するから、少ない計算容量で精度良く３次元形状を復元することができる。
【００１８】
また、姿勢検出手段として直交する３軸方向の加速度を測定する加速度センサを用いるから、静止した状態で２視点で被写体を撮影するときに、重力方向を検出することができ、重力方向に対する画像入力手段の姿勢を高精度で検出することができる。
【００１９】
また、被写体に複数の注視点を設定して、各注視点から計算される複数の並進成分を用いて最終的な並進成分を決定し、決定した並進成分により被写体の３次元構造を復元すると、より精度の高い３次元形状を復元することができる。
【００２０】
さらに、画像入力手段で撮影する画面の一定の領域を注視領域として固定し、異なる視点で被写体を撮影したときに、被写体の同じ位置が注視領域に入るようにすると、視点を変えたときの画像入力手段の並進成分をより少ない計算処理で算出することができる。
【００２１】
【実施例】
図１はこの発明の一実施例の構成を示すブロック図である。図に示すように、３次元形状復元装置１は例えばデジタルカメラからなる画像入力手段２と距離検出手段３と姿勢検出手段４と並進成分演算手段５と対応検出手段６及び３次元演算手段７を有する。距離検出手段３は３角測量の原理を利用した赤外線ステレオ法、超音波等の波動を投射し被写体からの反射の伝播時間より距離を計測する方法、合焦時の距離情報を光学系に設置したエンコーダより得る方法などを利用して画像入力手段２から被写体のある１点の注視点までの距離を検出する。姿勢検出手段４は、例えば直交する３軸方向の加速度センサからなり、画像入力手段２が静止した状態で被写体を撮影するときの重力方向を検出して画像入力手段２の姿勢を測定する。並進成分演算手段５は被写体の注視点までの距離情報と画像入力手段２の姿勢情報より、視点を変えたときの画像入力手段２の並進成分を算出する。対応検出手段６は画像入力手段２の並進成分と姿勢情報より視点を変えて得られた複数枚の画像間の特定のある１点の対応付けを行う。３次元演算手段７は対応検出手段６の対応付け結果と画像入力手段２の位置，姿勢情報により被写体の３次元形状を算出し、ハードディスク等の記憶手段８等に出力する。
【００２２】
上記のように構成された３次元形状復元装置１で、図２に示すように、同一の被写体９を第１の視点１１と第２の視点１２で撮影して被写体９の３次元形状を復元するときの動作を図３のフローチャートを参照して説明する。
【００２３】
画像入力手段２で被写体９を撮影する前に、撮影者が第１の視点１１と第２の視点１２から被写体９のある１点までの距離を測定する注視点１３を決定する（ステップＳ１）。この注視点１３は、例えば図２に示すように、被写体９の特徴的な濃度分布を示すエッジ部等の小領域を自動選択する等各種の手法が利用される。注視点１３を決定したら第１の視点１１で画像入力手段２により被写体９を撮影し、図４の画面図に示すように、第１の視点１１で撮影した画像面１４で注視点１３の位置に対応する対応点１６ａを特定する。また、距離検出手段３で第１の視点１１から注視点１３までの距離Ｌ1を測定し、姿勢検出手段４で第１の視点１１における画像入力手段２の姿勢を測定する（ステップＳ２）。次に画像入力手段２を移動して第２の視点１２で被写体９を撮影し、図４に示すように、第２の視点１２で撮影した画像面１５で注視点１３の位置に対応する対応点１６ｂを特定し、距離検出手段３で第２の視点１２から注視点１３までの距離Ｌ2を測定し、姿勢検出手段４で第２の視点１２における画像入力手段２の姿勢を測定する（ステップＳ３）。
【００２４】
ここで図５の説明図に示すように、第１の視点１１において、画像面１４上に互いに直交する向きにｘ軸とｙ軸をとり、光軸方向にｚ軸をとって、画像面１４の対応点１６ａの座標を（ｘ，ｙ）とし画像面１５の対応点１６ｂの座標を（ｘ1，ｙ1）とすると、このｘｙｚ座標系を基準とした第１の視点１１と第２の視点１２との間の画像入力手段２の相対的な姿勢を表す回転行列Ｒは、画像入力装置２を第１の視点１１から第２の視点１２に移動したときのｘ軸とｙ軸及びｚ軸周りの回転角をそれぞれα，β，γとすると下記（１）式で表せる。
【００２５】
【数１】
0003655065.tif 000002
【００２６】
この回転行列Ｒは姿勢検出手段４で検出した画像入力手段２の姿勢情報から得ることができ、第１の視点１１から注視点１３までの距離Ｌ1と第２の視点１２から注視点１３までの距離Ｌ2は距離検出手段３により得ることができる。したがって画像入力装置２の焦点距離ｆ等の光学系パラメータが既知であれば、第１の視点１１から画像面１４の対応点１６ａ（ｘ，ｙ）に対する視線の向きと第２の視点１２から画像面１５の対応点１６ｂ（ｘ1，ｙ1）に対する視線の向きを求めることができる。例えば図６に示すように、画像入力手段２が中心射影モデルの場合、第１の視点１１を基準に３次元座標系をとり、回転行列Ｒの逆行列をＩＲとすると、第１の視点１１から注視点１３への単位視線ベクトルｍと第２の視点１２から注視点１３への単位視線ベクトルＩＲｍ1は、それぞれ下記（２）式で表せる。
【００２７】
【数２】
0003655065.tif 000003
【００２８】
したがって第１の視点１１から注視点１３までの距離Ｌ1と第２の視点１２から注視点１３までの距離Ｌ2と回転行列Ｒを得ることにより、画像入力手段２を第１の視点１１から第２の視点１２に移動したときの並進成分Ｄを下記（３）式で算出することができる。
【００２９】
【数３】
0003655065.tif 000004
【００３０】
そこで並進成分演算手段５は第１の視点１１と第２の視点１２で撮影した画像データと、各視点１１，１２から注視点１３までの距離Ｌ1，Ｌ2及び各視点１１，１２における画像入力手段２の姿勢情報から第１の視点１１から第２の視点１２に視点を変えたときの画像入力手段２の並進成分Ｄを算出する（ステップＳ４）。対応検出手段６は画像入力手段２の並進成分Ｄと姿勢情報を利用して、図４に示す第１の視点１１と第２の視点１２で撮影した２枚の画像面１４，１５の画像間の特徴点の対応付けを行う（ステップＳ５）。画像間の対応付けは、画像入力手段１１の相対的な位置，姿勢情報が求められているので、２台のカメラで物体の像を捕らえるステレオ法における対応問題解法の基礎的拘束条件としてよく使用されるエピ極線拘束（epipolar constraint）を用いることができ、相関法，特徴照合法，疎密法等の局所的な画像特徴を用いる方法，時空間微分法を用いて移動領域を算出する方法等の一般的な手法により対応付けを行うことができる。３次元演算手段７は対応検出手段６の対応付け結果と並進成分Ｄ及び姿勢情報より三角測量の原理で被写体９の３次元構造を算出して復元する（ステップＳ６）。このようにして得られた位置，姿勢情報と３次元情報及び各画像データは必要に応じて記憶手段８に記録して保存する（ステップＳ７，Ｓ８）。
【００３１】
このように第１の視点１１から注視点１３までの距離Ｌ1と第２の視点１２から注視点１３までの距離Ｌ2及び各視点１１，１２における画像入力手段２の姿勢情報から第１の視点１１から第２の視点１２に視点を変えたときの画像入力手段２の並進成分Ｄを算出するから、画像入力手段２の撮影位置と姿勢を精度良く検出することができるとともに少ない計算容量で精度良く３次元形状を復元することができる。
【００３２】
また、姿勢検出手段４として直交する３軸方向の加速度を測定する加速度センサを用いるから、図２に示すように静止した状態で２視点１１，１２で被写体９を撮影するときに、重力方向を検出することができ、重力方向に対する画像入力手段２の姿勢を高精度で検出することができる。また、画像入力手段２を動かしながら被写体を撮影する場合には、加速度センサが出力する加速度信号を積分することにより、画像入力手段２の加速と位置情報（並進成分）を求めることができ、各視点から注視点までの距離情報と画像入力手段２の姿勢情報から算出した画像入力手段２の並進成分Ｄとの比較や両者の融合処理を行うこともできる。
【００３３】
上記実施例は第１の視点１１と第２の視点１２から被写体９の１点の注視点１３までの距離Ｌ1，Ｌ2と画像入力手段２の姿勢情報から第１の視点１１から第２の視点１２に視点を変えたときの画像入力手段２の並進成分Ｄを算出し、算出した並進成分Ｄと姿勢情報を利用して第１の視点１１と第２の視点１２で撮影した２枚の画像面１４，１５の画像間の特徴点の対応付けを行う場合について説明したが、各視点１１，１２から注視点１３までの距離測定の誤差や２枚の画像面１４，１５における対応点１６ａ，１６ｂの対応付けの誤差により、演算により算出した各視点１１，１２から注視点１３への視線ベクトルＬ1ｍ，視線ベクトルＬ2ＩＲｍ1の終点１３１，１３２が、図７に示すように一致しない場合があり、単一の注視点１３のみから求めた並進成分Ｄに誤差が含まれる可能性がある。これを解消するためには被写体９に複数の注視点１３を設定して、各注視点１３から計算される並進成分を用いて最終的な並進成分を求めと良い。
【００３４】
図８は被写体９に複数の注視点１３ａ〜１３ｎを設定して、各注視点１３ａ〜１３ｎから計算される並進成分を用いて最終的な並進成分を求める第２の実施例の３次元形状復元装置１ａの構成を示すブロック図である。図に示すように、３次元形状復元装置１ａには画像入力手段２と距離検出手段３と姿勢検出手段４と並進成分演算手段５と対応検出手段６及び３次元演算手段７のほかに並進成分演算手段５の後段に設けた並進成分決定手段２１を有する。
【００３５】
上記のように構成された３次元形状復元装置１ａで図９に示すように被写体９に複数の注視点１３ａ〜１３ｎを設定して同一の被写体９を第１の視点１１と第２の視点１２で撮影して被写体９の３次元形状を復元するときの動作を図１０のフローチャートを参照して説明する。
【００３６】
画像入力手段２で被写体９を撮影する前に、撮影者が第１の視点１１と第２の視点１２から被写体９の複数の注視点１３ａ〜１３ｎを決定する（ステップＳ１１）。注視点１３ａ〜１３ｎを決定したら第１の視点１１で画像入力手段２により被写体９を撮影し、距離検出手段３で第１の視点１１から各注視点１３ａ〜１３ｎまでの距離を測定し、姿勢検出手段４で第１の視点１１における画像入力手段２の姿勢を測定する（ステップＳ１２）。距離検出手段１２は複数の注視点１３ａ〜１３ｎまでの距離を測定するため、能動的手法や合焦時の距離検出による方法等が利用して任意の点までの距離を測定できる構成になっている。第１の視点１１における撮影と測定が終了したら画像入力手段２を移動して第２の視点１２で被写体９を撮影し、距離検出手段３で第２の視点１２から各注視点１３ａ〜１３ｎまでの距離を測定し、姿勢検出手段４で第２の視点１２における画像入力手段２の姿勢を測定する（ステップＳ１３）。並進成分演算手段５は第１の視点１１と第２の視点１２で撮影した画像データと、第１の視点１１と第２の視点１２から各注視点１３ａ〜１３ｎまでの距離情報と画像入力手段２の姿勢情報により、（３）式に基づき２視点１１，１２間の画像入力手段２の並進成分Ｄ1〜Ｄnを算出する（ステップＳ１４）。並進成分決定手段２１は算出した複数の並進成分Ｄ1〜Ｄnより最終的な並進成分Ｄを決定する（ステップＳ１５）。この最終的な並進成分Ｄを決定するにあたっては、例えば各注視点１３ａ〜１３ｎの２画像間の対応付けの正確さを表す指標（重み）をＳ1〜Ｓnとし、下記（４）式に示すように重み付き平均処理により決定する手法などが適用される。
【００３７】
【数４】
0003655065.tif 000005
【００３８】
ここで指標Ｓ1〜Ｓnは通常の画像処理で用いられる相互相関の値等が用いられる。例えば図１１に示すように第１の視点１１で撮影した画像面１４における被写体９のｉ番目目の注視点１３ｉの対応点１６ａｉ（ｘi0，ｙi0）と、第２の視点１２で撮影した画像面１４における被写体９のｉ番目目の注視点１３ｉの対応点１６ｂｉ（ｘi0＋ｄｘ，ｙi0＋ｄｙ）の対応付けを、（２Ｎ＋１）×（２Ｐ＋１）の相関窓１７を用いたブロックマッチング（テンプレートマッチング）で行う場合、指標Ｓiは下記（５）式で計算される。
【００３９】
【数５】
0003655065.tif 000006
【００４０】
上記（５）式においてＩ1（ｘ，ｙ）は画像面１４における対応点１６ａ（ｘ，ｙ）における濃度、Ｉ2（ｘ，ｙ）は画像面１５における対応点１６ｂ（ｘ，ｙ）における濃度、Ｉ1ｄ（ｘ，ｙ）は画像面１４における対応点１６ａ（ｘ，ｙ）を中心とする（２Ｎ＋１）×（２Ｐ＋１）の相関窓１７における平均の濃度、Ｉ2ｄ（ｘ，ｙ）は画像面１５における対応点１６ｂ（ｘ，ｙ）を中心とする（２Ｎ＋１）×（２Ｐ＋１）の相関窓１７における平均の濃度をそれぞれ示し、Ｋは定数である。
【００４１】
対応検出手段６は上記（５）式と（４）式により求めた並進成分Ｄと各視点１１，１２における画像入力手段２の姿勢情報を利用して２枚の画像間の特徴点の対応付けを行う（ステップＳ１６）。３次元演算手段７は対応検出手段６の対応付け結果と並進成分Ｄ及び姿勢情報より三角測量の原理で被写体９の３次元構造を算出して復元する（ステップＳ１７）。このようにして得られた位置，姿勢情報と３次元情報及び各画像データは必要に応じて記憶手段８に記録して保存する（ステップＳ１８，Ｓ１９）。
【００４２】
このように被写体９に複数の注視点１３ａ〜１３ｎを設定して、各注視点１３ａ〜１３ｎから計算される並進成分Ｄ1〜Ｄnを用いて最終的な並進成分Ｄを決定し、決定した並進成分Ｄにより被写体の３次元構造を復元するから、より精度の高い３次元形状を復元することができる。
【００４３】
なお、複数の注視点１３ａ〜１３ｎの対応付けや指標Ｓの計算方法は上記内容に限定されず、各種方法を採用することができる。
【００４４】
上記各実施例は被写体９の注視点１３の対応付けを行ってから距離検出手段３で注視点１３までの距離を測定した場合について説明したが、画像入力手段２で撮影する画面の一定の領域を注視領域として固定するようにしても良い。
【００４５】
図１２は画面の一定の領域を注視領域として固定して並進成分を算出する第３の実施例の３次元形状復元装置１ｂの構成を示すブロック図である。図に示すように、３次元形状復元装置１ｂは画像入力手段２と距離検出手段３と姿勢検出手段４と並進成分演算手段５と対応検出手段６及び３次元演算手段７のほかに注視領域検定手段２２を有する。注視領域検定手段２２は第１の視点１１で撮影した画像面１４と第２の視点１２で撮影した画像面１５の一定の位置である注視領域内に写った被写体９が同一で、かつほぼ同じ位置に写されたことを検出する。
【００４６】
上記のように構成された３次元形状復元装置１ａで図２に示すように同一の被写体９を第１の視点１１と第２の視点１２で撮影して被写体９の３次元形状を復元するときの動作を図１３のフローチャートを参照して説明する。
【００４７】
まず、第１の視点１１で図１４に示すように画像入力手段２の画像面１４のほぼ中心に被写体９が写るように画像入力手段２の向きを調整して被写体９を撮影し、撮影した被写体９の画像の画像面１４の中心に対応する位置を注視点とし、距離検出手段３で第１の視点１１から注視点までの距離を測定し、姿勢検出手段４で第１の視点１１における画像入力手段２の姿勢を測定する（ステップＳ２１）。注視領域検定手段２２は撮影した画像面１４の中心を含む一定範囲である注視領域１８内の被写体９の画像を記憶する（ステップＳ２２）。次に画像入力手段２を移動して第２の視点１２で被写体９を撮影し、距離検出手段３で第２の視点１２から撮影した被写体９の画像の画像面１５の中心に対応する位置を注視点とし、距離検出手段３で第２の視点１２から注視点までの距離を測定し、姿勢検出手段４で第２の視点１２における画像入力手段２の姿勢を測定する（ステップＳ２３）。注視領域検定手段２２は第２の視点１２で撮影した画像を確認し、第１の視点１１で撮影した画像面１４の注視領域１８内の被写体９の画像が第２の視点１２で撮影した画像面１５の注視領域１８内に含まれているかどうかと、その変位量を検出する。例えば画像面１４と画像面１５の注視領域１８内の画像の相互相関をとって被写体９の変位量を測定し、変位量があらかじめ定めた閾値以上であれば画像面１４と画像面１５の注視領域１８内の画像の一致度が少ないとして、第２の視点１２における画像入力手段２の向きを変更して撮り直すことを指示する（ステップＳ２４，Ｓ２５）。第１の視点１１で撮影した画像面１４の注視領域１８内の被写体９の画像が第２の視点１２で撮影した画像面１５の注視領域１８内に含まれているとき、並進成分演算手段５は第１の視点１１と第２の視点１２における画像データと距離情報及び画像入力手段２の姿勢情報により視点１１，１２間の画像入力手段２の並進成分Ｄを算出する（ステップＳ２６）。この並進成分Ｄを算出するときに、第１の視点１１から注視点への単位視線ベクトルｍと第２の視点１２から注視点への単位視線ベクトルＩＲｍ1は、下記（６）式で表せるから並進成分Ｄを少ない計算処理で算出することができる。
【００４８】
【数６】
0003655065.tif 000007
【００４９】
対応検出手段６は算出した並進成分Ｄと各視点１１，１２における画像入力手段２の姿勢情報を利用して２枚の画像間の特徴点の対応付けを行う（ステップＳ２７）。３次元演算手段７は対応検出手段６の対応付け結果と並進成分Ｄ及び姿勢情報より三角測量の原理で被写体９の３次元構造を算出して復元する（ステップＳ２８）。得られた位置，姿勢情報と３次元情報及び各画像データは必要に応じて記憶手段８に記録して保存する（ステップＳ２９，Ｓ３０）。
【００５０】
上記実施例では第１の視点１１で撮影した画像面１４の注視領域１８内の被写体９の画像が第２の視点１２で撮影した画像面１５の注視領域１８内に含まれていないときに警告して撮り直しを指示した場合について説明したが、第２の視点１２で撮影する前にファインダーに注視領域１８における画像の相関が高いことや低いことを示すインジケータを設置したりしても良い。また、注視領域１８を画像面の中心以外の任意の領域に設定しても良い。
【００５１】
上記実施例は第１の視点１１で撮影した画像面１４の注視領域１８内の被写体９の画像が第２の視点１２で撮影した画像面１５の注視領域１８内に含まれているかどうかを判定するときに、画像面１４と画像面１５の注視領域１８内の画像の相互相関をとって被写体９の変位量を測定し、測定した変位量をあらかじめ定めた閾値と比較する場合について説明したが、この変位量の閾値を画像入力手段２の焦点距離等の光学系パラメータに応じて可変することにより撮影条件を柔軟に設定することができる。このように変位量の閾値を画像入力手段２の光学系パラメータに応じて可変する第４の実施例の３次元形状復元装置１ｃの構成を図１５に示す。図１５に示すように、３次元形状復元装置１ｃには画像入力手段２と距離検出手段３と姿勢検出手段４と並進成分演算手段５と対応検出手段６と３次元演算手段７と注視領域検定手段２２及び注視領域１８内の画像の変位量の閾値を可変設定する注視領域調節手段２３を有する。画像入力手段２で被写体９を撮影するとき、例えば焦点距離が長くなると視野角が狭くなるので、画像入力手段２の向きを少し変えただけでも画像面上の変位量が大きくなる。そこで注視領域調節手段２３は画像入力手段２で被写体９を撮影するとき、焦点距離が長い場合には画像面１４と画像面１５の注視領域１８内の画像の変位量の閾値を大きく設定し、焦点距離が短いときは変位量の閾値を小さく設定するなど光学系パラメータに応じて変位量の閾値の調節を行う。このようにして最適な閾値で画像面１４と画像面１５の注視領域１８内の画像を比較することができ、３次元形状を復元する精度をより高めることができる。
【００５２】
上記各実施例は姿勢検出手段４として直交する３軸方向の加速度を測定する加速度センサを用い、第１の視点１１と第２の視点１２で被写体９を撮影するときに、重力方向に対する画像入力手段２の姿勢を検出する場合について説明したが、姿勢検出手段４に磁気センサを用いても良い。そして検出する磁気方位は地磁気でも人工的に発生させた磁場でも良い。姿勢検出手段４に直交する３軸方向を検出できる磁気センサを用いると、図２に示すように、静止した状態で２視点１１，１２で被写体９を撮影するときに、磁気方向に対する画像入力手段２の姿勢を高精度で検出することができる。また、直交する３軸方向の加速度を測定する加速度センサと直交する２軸方向を検出できる磁気センサを併用すると、画像入力手段２の姿勢を完全に検出することができる。
【００５３】
さらに、姿勢検出手段４として角速度センサを用いても良い。すなわち角速度センサを検出したい回転角に対応するように設置すれば、センサ出力を積分することにより回転角を算出することができる。したがって移動しながら複数の視点で被写体を撮影する場合、各視点間の画像入力手段２の姿勢変化を容易に検出することができる。また、３軸方向の加速度センサや磁気センサと併用することにより、画像入力手段２が静止したりあるいは非常にゆっくり動いているときに、加速度センサと磁気センサで求めた姿勢より角速度センサのオフセット成分を補正することができる。
【００５４】
また、上記各実施例は第１の視点１１と第２の視点１２で画像入力手段２を静止させた状態で被写体９を撮影し、距離情報と姿勢情報を得る場合について説明したが、画像入力手段２を移動しながら被写体９を撮影し、距離情報と姿勢情報を得るようにしても良い。また、第１の視点１１と第２の視点１２で被写体９を撮影して３次元形状を復元する場合について説明したが、３視点以上の複数の視点で被写体９を撮影して３次元形状を復元する場合にも同様にして適用することができる。
【００５５】
さらに、上記実施例は被写体９を撮影したときに実時間処理する場合について説明したが、各視点で撮影した画像や距離情報と姿勢情報を記憶手段にまとめて格納しておき、あとから記憶手段に格納した情報等によりオフライン処理しても良い。さらに、各視点で撮影した画像や距離情報と姿勢情報をネットワークなどに転送して処理するようにしても良い。
【００５６】
【発明の効果】
この発明は以上説明したように、異なる視点における画像データと被写体のある１点までの距離情報及び各視点における画像入力手段の姿勢情報から視点を変えたときの画像入力手段の並進成分を算出するから、画像入力手段の撮影位置と姿勢を精度良く検出することができるとともに少ない計算容量で精度良く３次元形状を復元することができる。
【００５７】
また、被写体に複数の注視点を設定して、各注視点から計算される複数の並進成分を用いて最終的な並進成分を決定し、決定した並進成分により被写体の３次元構造を復元することにより、より精度の高い３次元形状を復元することができる。
【００５８】
さらに、画像入力手段で撮影する画面の一定の領域を注視領域として固定し、異なる視点で被写体を撮影したときに、被写体の同じ位置が注視領域に入るようにすることにより、視点を変えたときの画像入力手段の並進成分をより少ない計算処理で算出することができ、簡単な構成で３次元形状を精度良く復元することができる。
【００５９】
また、被写体の同じ位置が注視領域に入っているかどうかを判別する閾値を画像入力手段の焦点距離等の光学系パラメータに応じて調節することにより、撮影条件を柔軟に設定することができるとともに３次元形状を復元する精度をより高めることができる。
【００６０】
また、各視点で画像入力手段の姿勢を検出する姿勢検出手段として直交する３軸方向の加速度を測定する加速度センサを用いることにより、静止した状態で被写体を撮影するときに、重力方向を検出することができ、重力方向に対する画像入力手段の姿勢を高精度で検出することができ、３次元形状の復元精度を高めることができる。
【００６１】
また、姿勢検出手段に磁気センサを使用して静止撮影時において地磁気方向や人工的に発生された磁場を検出することにより、画像入力手段の姿勢を高精度に測定でき、３次元形状を精度良く復元することができる。
【００６２】
さらに、姿勢検出手段に角速度センサを使用して回転角速度を検出することにより、特に画像入力手段の動的な姿勢を高精度に測定することができ、移動しながら被写体を撮影したときの３次元形状を精度良く復元することができる。
【図面の簡単な説明】
【図１】この発明の実施例の構成を示すブロック図である。
【図２】被写体に対する撮影位置を示す配置図である。
【図３】上記実施例の動作を示すフローチャートである。
【図４】異なる視点で撮影した画像を示す画面図である。
【図５】異なる視点と被写体と画像面を示す説明図である。
【図６】中心射影モデルの画像入力手段の構成図である。
【図７】異なる視点からの単位視線ベクトルの誤差を示す説明図である。
【図８】第２の実施例の構成を示すブロック図である。
【図９】複数の注視点を設定した被写体と撮影位置を示す配置図である。
【図１０】第２の実施例の動作を示すフローチャートである。
【図１１】異なる視点で撮影した画像の１点の対応付けを示す画面図である。
【図１２】第３の実施例の構成を示すブロック図である。
【図１３】第３の実施例の動作を示すフローチャートである。
【図１４】画像面の注視領域を示す画面図である。
【図１５】第４の実施例の構成を示すブロック図である。
【符号の説明】
１      ３次元形状復元装置
２      画像入力手段
３      距離検出手段
４      姿勢検出手段
５      並進成分演算手段
６      対応検出手段
７      ３次元演算手段
９      被写体
１１    第１の視点
１３    第２の視点
１３    注視点
１８    注視領域
２１    並進成分決定手段
２２    注視領域検定手段
２３    注視領域調節手段
【図１】
0003655065.tif 000008
【図２】
0003655065.tif 000009
【図３】
0003655065.tif 000010
【図４】
0003655065.tif 000011
【図５】
0003655065.tif 000012
【図６】
0003655065.tif 000013
【図７】
0003655065.tif 000014
【図８】
0003655065.tif 000015
【図９】
0003655065.tif 000016
【図１０】
0003655065.tif 000017
【図１１】
0003655065.tif 000018
【図１２】
0003655065.tif 000019
【図１３】
0003655065.tif 000020
【図１４】
0003655065.tif 000021
【図１５】
0003655065.tif 000022