(57)【要約】【課題】複数の画像を用いた測定物の３次元情報の測定において、対応付け処理を容易とし、奥行き方向の精度のよい測定を可能とする。【解決手段】平行投影対応点探索部１２は、対応付けが容易だが奥行き方向の精度が悪い場合のある平行投影方式により、複数の中心投影画像と平行投影画像を用い中心投影画像中での対象点の対応点を測定物の見え方が同じになるような平行投影画像中から平行投影方式で決定する。ステレオ対応点探索部１３は、基線長が長いと対応付けが困難だが奥行き方向の精度が良いステレオ方式により、中心投影画像中での対象点の対応点を他の中心投影画像から決定する。３次元情報算出部１４は、その両測定方式で対象点の３次元情報を算出する。３次元情報決定部１５は、より確からしい測定方式を決定するために両対応点に対して基準値を導入し、該基準値を比較して対象点の３次元情報を決定・出力する。【選択図】　図１
2004144706.tif 000002
【特許請求の範囲】
【請求項１】
同一測定物を撮影した複数の平行投影画像と中心投影画像から該測定物の３次元情報を測定する方法であって、
中心投影画像の１枚を基準中心投影画像と設定し、該基準中心投影画像から対象点を選択し、該対象点の近傍に処理完了済みの対象点がある場合には該処理完了済みの対象点と同じ測定方式の対応点探索手順に移行させ、ない場合には次の手順に移行させる処理制御手順と、
前記基準中心投影画像の撮影パラメータに基づいて参照する平行投影画像を決定し、該平行投影画像において前記対象点に対応する平行投影対応点を探索・決定する平行投影対応点探索手順と、
前記基準中心投影画像の撮影パラメータに最も近い撮影パラメータを有する中心投影画像を参照中心投影画像として設定し、該参照中心投影画像において前記対象点に対応するステレオ対応点を探索・決定し、前記ステレオ対応点決定時の対応付けの確からしさを示す評価値とあらかじめ設定した閾値を比較し、前記評価値が前記閾値より高い評価の場合には前記参照中心投影画像、前記参照中心投影画像の撮影パラメータ、及び前記ステレオ対応点を各々基進中心投影画像、基準中心投影画像の撮影パラメータ、及び対象点の代わりとして用い同様の処理を続け、前記評価値が前記閾値より低い評価の場合には直前の処理で決定されたステレオ対応点とこれに対応する中心投影画像の撮影パラメータを各々最終的なステレオ対応点と参照中心投影画像の撮影パラメータとして決定するステレオ対応点探索手順と、
前記基準中心投影画像における前記対象点と前記基準中心投影画像の撮影パラメータと前記平行投影対応点と前記平行投影画像の撮影パラメータを用いて平行投影方式の３次元情報算出式により該対象点の３次元情報を算出する、及び前記基準中心投影画像における前記対象点と前記基準中心投影画像の撮影パラメータと前記ステレオ対応点と前記参照中心投影画像の撮影パラメータからステレオ方式の３次元情報算出式により該対象点の３次元情報を算出する３次元情報算出手順と、
前記平行投影対応点と、前記ステレオ対応点について採用する３次元情報を決定する基準値をそれぞれ算出し、該基準値の比較により出力する３次元情報を決定する３次元情報決定手順とを有する
ことを特徴とする３次元情報測定方法。
【請求項２】
前記３次元情報決定手順において、
前記平行投影方式の３次元情報算出式を用いて算出した奥行き分解能値と、
前記ステレオ方式の３次元情報算出式を用いて算出した奥行き分解能値とを３次元情報を決定するための基準値として利用する
ことを特徴とする請求項１記載の３次元情報測定方法。
【請求項３】
前記３次元情報決定手順において、
前記平行投影対応点探索手順で対応点探索をする際に前記平行投影画像と前記基準中心投影画像とから算出される対応付けの確からしさを示す評価値と、前記ステレオ対応点探索手順で対応点探索をする際に前記基準中心投影画像と前記参照中心投影画像とから算出される対応付けの確からしさを示す評価値とを３次元情報を決定するための基準値として利用する
ことを特徴とする請求項１記載の３次元情報測定方法。
【請求項４】
前記３次元情報決定手順において、
前記平行投影方式の３次元情報算出式を用いて算出した奥行き分解能値と前記平行投影対応点探索手順で対応点探索をする際に前記平行投影画像と前記基準中心投影画像とから算出される対応付けの確からしさを示す評価値と、前記ステレオ方式の３次元情報算出式を用いて算出した奥行き分解能値と前記ステレオ対応点探索手順で対応点探索をする際に前記基準中心投影画像と前記参照中心投影画像とから算出される対応付けの確からしさを示す評価値を、３次元情報を決定するための基準値として利用する
ことを特徴とする請求項１記載の３次元情報測定方法。
【請求項５】
同一測定物を撮影した複数の平行投影画像と中心投影画像から該測定物の３次元情報を測定する装置であって、
中心投影画像の１枚を基準中心投影画像と設定し、該基準中心投影画像から対象点を選択し、該対象点の近傍に処理完了済みの対象点がある場合には該処理完了済みの対象点と同じ測定方式の対応点探索手段の処理に移行させ、ない場合には平行投影対応点探索手段に移行させる処理制御手段と、
前記基準中心投影画像の撮影パラメータに基づいて参照する平行投影画像を決定し、該平行投影画像において前記対象点に対応する平行投影対応点を探索・決定する平行投影対応点探索手段と、
前記基準中心投影画像の撮影パラメータに最も近い撮影パラメータを有する中心投影画像を参照中心投影画像として設定し、該参照中心投影画像において前記対象点に対応するステレオ対応点を探索・決定し、前記ステレオ対応点決定時の対応付けの確からしさを示す評価値とあらかじめ設定した閾値を比較し、前記評価値が前記閾値より高い評価の場合には前記参照中心投影画像、前記参照中心投影画像の撮影パラメータ、及び前記ステレオ対応点を各々基進中心投影画像、基準中心投影画像の撮影パラメータ、及び対象点の代わりとして用い同様の処理を続け、前記評価値が前記閾値より低い評価の場合には直前の処理で決定されたステレオ対応点とこれに対応する中心投影画像の撮影パラメータを各々最終的なステレオ対応点と参照中心投影画像の撮影パラメータとして決定するステレオ対応点探索手段と、
前記基準中心投影画像における前記対象点と前記基準中心投影画像の撮影パラメータと前記平行投影対応点と前記平行投影画像の撮影パラメータを用いて平行投影方式の３次元情報算出式により該対象点の３次元情報を算出する、及び前記基準中心投影画像における前記対象点と前記基準中心投影画像の撮影パラメータと前記ステレオ対応点と前記参照中心投影画像の撮影パラメータからステレオ方式の３次元情報算出式により該対象点の３次元情報を算出する３次元情報算出手段と、
前記平行投影対応点と、前記ステレオ対応点について採用する３次元情報を決定する基準値をそれぞれ算出し、該基準値の比較により出力する３次元情報を決定する３次元情報決定手段とを有する
ことを特徴とする３次元情報測定装置。
【請求項６】
前記３次元情報決定手段において、
前記平行投影方式の３次元情報算出式を用いて算出した奥行き分解能値と、
前記ステレオ方式の３次元情報算出式を用いて算出した奥行き分解能値とを３次元情報を決定するための基準値として利用する
ことを特徴とする請求項５記載の３次元情報測定装置。
【請求項７】
前記３次元情報決定手段において、
前記平行投影対応点探索手段で対応点探索をする際に前記平行投影画像と前記基準中心投影画像とから算出される対応付けの確からしさを示す評価値と、前記ステレオ対応点探索手段で対応点探索をする際に前記基準中心投影画像と前記参照中心投影画像とから算出される対応付けの確からしさを示す評価値とを３次元情報を決定するための基準値として利用する
ことを特徴とする請求項５記載の３次元情報測定装置。
【請求項８】
前記３次元情報決定手段において、
前記平行投影方式の３次元情報算出式を用いて算出した奥行き分解能値と前記平行投影対応点探索手段で対応点探索をする際に前記平行投影画像と前記基準中心投影画像とから算出される対応付けの確からしさを示す評価値と、前記ステレオ方式の３次元情報算出式を用いて算出した奥行き分解能値と前記ステレオ対応点探索手段で対応点探索をする際に前記基準中心投影画像と前記参照中心投影画像とから算出される対応付けの確からしさを示す評価値を、３次元情報を決定するための基準値として利用する
ことを特徴とする請求項５記載の３次元情報測定装置。
【請求項９】
請求項１乃至４のいずれかに記載の３次元情報測定方法における手順を、コンピュータに実行させるためのプログラムとした
ことを特徴とする３次元情報測定プログラム。
【請求項１０】
請求項１乃至４のいずれかに記載の３次元情報測定方法における手順を、コンピュータに実行させるためのプログラムとし、
該プログラムを、該コンピュータが読み取りできる記録媒体に記録した
ことを特徴とする３次元情報測定プログラムを記録した記録媒体。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、３次元空間に存在する測定物を撮影した画像データに基づいて、測定物の３次元情報を測定する３次元情報測定方法及び装置に関する。３次元情報測定方法及び装置はＣＡＤ（コンピュータ利用設計装置）やＣＧ（コンピュータグラフィクス）用の形状データ入力方法及び装置として利用される。
【０００２】
【従来の技術】
従来、測定物を異なる位置から撮像した画像を処理して、その対象の３次元情報を測定する方法は様々に考案されている。画像を利用した３次元情報測定方法として従来から最も一般的な方法として、図１４に示すように異なった位置から撮影した画像間の対応をとり、三角測量の原理に基づいて３次元情報を測定するステレオ画像法が知られている。この対応付け処理は、両画像の投影中心間の距離（基線長）が短いほど容易である一方、求まる３次元情報の奥行き方向の精度が悪くなるという性質が知られている。そこで、従来から基線長を長くした２枚の画像を用いて３次元情報を測定する方法がとられていた。
【０００３】
しかしながら、基線長の長い画像を利用することは、求まる３次元情報の奥行き方向の精度が良い反面、オクルージョンの発生や見え方の違いにより対応付け処理が困難となるといった問題がある。
【０００４】
この基線長の長い画像間での対応付け処理が困難である問題を解決する方法として、例えば、特許文献１に記載の「画像処理装置」では、ある地点である焦点距離により取得した画像と、同地点で前記焦点距離と異なる焦点距離により取得した測定物の見え方が同じになるような画像を利用することにより対応付け処理を容易にしている。
【０００５】
しかしながら、この方法では対応付け処理が容易となる一方、対象点と画像中心間の距離が短いと求まる奥行き方向の精度が非常に悪くなるという性質があった。
【０００６】
また、別の方法として、例えば、非特許文献１に記載されている方法では、測定物が映っている複数の画像を用い、該画像の中から選択した１回の基準中心投影画像中の測定対象点に対して、まず基線長が最も短い画像間で対応付けを行い、対応付けが成功すれば、続いて次に基線長が短い画像と対応付けを行い、対応付けが成功する間、この処理を繰り返すことにより、基線長の長い画像間での対応付け処理が困難である問題を解決しようとしている。
【０００７】
しかしながら、最終的に対応付け処理が成功した画像と基準中心投影画像間の基線長が長い対象点は、求まる３次元情報の奥行き方向の精度は良いが、対応付け処理時に基線長が近い画像間でオクルージョンや見え方の変化により対応付けに失敗した対象点は、求まる奥行き方向の精度が非常に悪くなるという性質があった。
【０００８】
【特許文献１】
特開平５−２０９７３０号公報
【０００９】
【非特許文献１】
小林希一、外５名、「多視点画像マッチング法による立体物の高精細形状計測」、第１６回ＮＩＣＯＧＲＡＰＨ論文集、芸術科学会、ｐ．１４３−１５０
【００１０】
【発明が解決しようとする課題】
本発明は、上述したような従来技術が有する問題点に鑑みてなされたものであり、複数の画像を用いた測定物の３次元情報の測定において、対応付け処理を容易とし、奥行き方向の精度のよい３次元情報を測定可能とする３次元情報測定方法及び装置を実現することを課題とする。
【００１１】
【課題を解決するための手段】
上記課題を解決するために、本発明は、同一測定物を撮影した複数の平行投影画像と中心投影画像から該測定物の３次元情報を測定する方法であって、中心投影画像の１枚を基準中心投影画像と設定し、該基準中心投影画像から対象点を選択し、該対象点の近傍に処理完了済みの対象点がある場合には該処理完了済みの対象点と同じ測定方式の対応点探索手順に移行させ、ない場合には次の手順に移行させる処理制御手順と、前記基準中心投影画像の撮影パラメータに基づいて参照する平行投影画像を決定し、該平行投影画像において前記対象点に対応する平行投影対応点を探索・決定する平行投影対応点探索手順と、前記基準中心投影画像の撮影パラメータに最も近い撮影パラメータを有する中心投影画像を参照中心投影画像として設定し、該参照中心投影画像において前記対象点に対応するステレオ対応点を探索・決定し、前記ステレオ対応点決定時の対応付けの確からしさを示す評価値とあらかじめ設定した閾値を比較し、前記評価値が前記閾値より高い評価の場合には前記参照中心投影画像、前記参照中心投影画像の撮影パラメータ、及び前記ステレオ対応点を各々基進中心投影画像、基準中心投影画像の撮影パラメータ、及び対象点の代わりとして用い同様の処理を続け、前記評価値が前記閾値より低い評価の場合には直前の処理で決定されたステレオ対応点とこれに対応する中心投影画像の撮影パラメータを各々最終的なステレオ対応点と参照中心投影画像の撮影パラメータとして決定するステレオ対応点探索手順と、前記基準中心投影画像における前記対象点と前記基準中心投影画像の撮影パラメータと前記平行投影対応点と前記平行投影画像の撮影パラメータを用いて平行投影方式の３次元情報算出式により該対象点の３次元情報を算出する、及び前記基準中心投影画像における前記対象点と前記基準中心投影画像の撮影パラメータと前記ステレオ対応点と前記参照中心投影画像の撮影パラメータからステレオ方式の３次元情報算出式により該対象点の３次元情報を算出する３次元情報算出手順と、前記平行投影対応点と、前記ステレオ対応点について採用する３次元情報を決定する基準値をそれぞれ算出し、該基準値の比較により出力する３次元情報を決定する３次元情報決定手順とを有することを特徴とする３次元情報測定方法を、その解決の手段とする。
【００１２】
あるいは、上記の３次元情報測定方法において、前記３次元情報決定手順において、前記平行投影方式の３次元情報算出式を用いて算出した奥行き分解能値と、前記ステレオ方式の３次元情報算出式を用いて算出した奥行き分解能値とを３次元情報を決定するための基準値として利用することを特徴とする３次元情報測定方法を、その解決の手段とする。
【００１３】
あるいは、上記の３次元情報測定方法において、前記３次元情報決定手順において、前記平行投影対応点探索手順で対応点探索をする際に前記平行投影画像と前記基準中心投影画像とから算出される対応付けの確からしさを示す評価値と、前記ステレオ対応点探索手順で対応点探索をする際に前記基準中心投影画像と前記参照中心投影画像とから算出される対応付けの確からしさを示す評価値とを３次元情報を決定するための基準値として利用することを特徴とする３次元情報測定方法を、その解決の手段とする。
【００１４】
あるいは、上記の３次元情報測定方法において、前記３次元情報決定手順において、前記平行投影方式の３次元情報算出式を用いて算出した奥行き分解能値と前記平行投影対応点探索手順で対応点探索をする際に前記平行投影画像と前記基準中心投影画像とから算出される対応付けの確からしさを示す評価値と、前記ステレオ方式の３次元情報算出式を用いて算出した奥行き分解能値と前記ステレオ対応点探索手順で対応点探索をする際に前記基準中心投影画像と前記参照中心投影画像とから算出される対応付けの確からしさを示す評価値を、３次元情報を決定するための基準値として利用することを特徴とする３次元情報測定方法を、その解決の手段とする。
【００１５】
あるいは、同一測定物を撮影した複数の平行投影画像と中心投影画像から該測定物の３次元情報を測定する装置であって、中心投影画像の１枚を基準中心投影画像と設定し、該基準中心投影画像から対象点を選択し、該対象点の近傍に処理完了済みの対象点がある場合には該処理完了済みの対象点と同じ測定方式の対応点探索手段の処理に移行させ、ない場合には平行投影対応点探索手段に移行させる処理制御手段と、前記基準中心投影画像の撮影パラメータに基づいて参照する平行投影画像を決定し、該平行投影画像において前記対象点に対応する平行投影対応点を探索・決定する平行投影対応点探索手段と、前記基準中心投影画像の撮影パラメータに最も近い撮影パラメータを有する中心投影画像を参照中心投影画像として設定し、該参照中心投影画像において前記対象点に対応するステレオ対応点を探索・決定し、前記ステレオ対応点決定時の対応付けの確からしさを示す評価値とあらかじめ設定した閾値を比較し、前記評価値が前記閾値より高い評価の場合には前記参照中心投影画像、前記参照中心投影画像の撮影パラメータ、及び前記ステレオ対応点を各々基進中心投影画像、基準中心投影画像の撮影パラメータ、及び対象点の代わりとして用い同様の処理を続け、前記評価値が前記閾値より低い評価の場合には直前の処理で決定されたステレオ対応点とこれに対応する中心投影画像の撮影パラメータを各々最終的なステレオ対応点と参照中心投影画像の撮影パラメータとして決定するステレオ対応点探索手段と、前記基準中心投影画像における前記対象点と前記基準中心投影画像の撮影パラメータと前記平行投影対応点と前記平行投影画像の撮影パラメータを用いて平行投影方式の３次元情報算出式により該対象点の３次元情報を算出する、及び前記基準中心投影画像における前記対象点と前記基準中心投影画像の撮影パラメータと前記ステレオ対応点と前記参照中心投影画像の撮影パラメータからステレオ方式の３次元情報算出式により該対象点の３次元情報を算出する３次元情報算出手段と、前記平行投影対応点と、前記ステレオ対応点について採用する３次元情報を決定する基準値をそれぞれ算出し、該基準値の比較により出力する３次元情報を決定する３次元情報決定手段とを有することを特徴とする３次元情報測定装置を、その解決の手段とする。
【００１６】
あるいは、上記の３次元情報測定装置において、前記３次元情報決定手段において、前記平行投影方式の３次元情報算出式を用いて算出した奥行き分解能値と、前記ステレオ方式の３次元情報算出式を用いて算出した奥行き分解能値とを３次元情報を決定するための基準値として利用することを特徴とする３次元情報測定装置を、その解決の手段とする。
【００１７】
あるいは、上記の３次元情報測定装置において、前記３次元情報決定手段において、前記平行投影対応点探索手段で対応点探索をする際に前記平行投影画像と前記基準中心投影画像とから算出される対応付けの確からしさを示す評価値と、前記ステレオ対応点探索手段で対応点探索をする際に前記基準中心投影画像と前記参照中心投影画像とから算出される対応付けの確からしさを示す評価値とを３次元情報を決定するための基準値として利用することを特徴とする３次元情報測定装置を、その解決の手段とする。
【００１８】
あるいは、上記の３次元情報測定装置において、前記３次元情報決定手段において、前記平行投影方式の３次元情報算出式を用いて算出した奥行き分解能値と前記平行投影対応点探索手段で対応点探索をする際に前記平行投影画像と前記基準中心投影画像とから算出される対応付けの確からしさを示す評価値と、前記ステレオ方式の３次元情報算出式を用いて算出した奥行き分解能値と前記ステレオ対応点探索手段で対応点探索をする際に前記基準中心投影画像と前記参照中心投影画像とから算出される対応付けの確からしさを示す評価値を、３次元情報を決定するための基準値として利用することを特徴とする３次元情報測定装置を、その解決の手段とする。
【００１９】
あるいは、上記の３次元情報測定方法における手順を、コンピュータに実行させるためのプログラムとしたことを特徴とする３次元情報測定プログラムを、その解決の手段とする。
【００２０】
あるいは、上記の３次元情報測定方法における手順を、コンピュータに実行させるためのプログラムとし、該プログラムを、該コンピュータが読み取りできる記録媒体に記録したことを特徴とする３次元情報測定プログラムを記録した記録媒体を、その解決の手段とする。
【００２１】
本発明では、対応付けが容易ではあるが、奥行き方向の精度が悪い場合のある平行投影方式により、複数の中心投影画像と平行投影画像を利用し、前記中心投影画像中での対象点の対応点を測定物の見え方が同じになるような前記平行投影画像中から平行投影方式で決定すると同時に、基線長が長いと対応付けが困難ではあるが、奥行き方向の精度が良いステレオ方式により、前記中心投影画像中での対象点の対応点を他の中心投影画像からも決定し、その両方の測定方式で対象点の３次元情報を算出し、例えば、より確からしい測定方式を決定するために両対応点に対して基準値を導入し、該基準値の比較によって前記対象点の３次元情報を決定・出力することにより、対応付け処理が容易で、かつ奥行き方向の精度が高い３次元情報測定を可能とし、非常に効率のよい処理を実現する。
【００２２】
【発明の実施の形態】
以下、本発明の実施形態について図面を用いて説明する。
【００２３】
図１は、この発明の一実施形態による３次元情報測定方法及び装置を説明するための図である。本発明の一実施形態である３次元情報測定装置１は、測定物を撮影した基準中心投影画像中の対象点を入力し、該対象点の３次元情報の測定方式を該対象点近傍の処理完了済みの対象点の測定方式に基づいて決定する処理制御部１１と、平行投影画像で前記対象点に対応する平行投影対応点を、平行投影画像データベース中の平行投影画像と中心投影画像データベース中の前記基準中心投影画像とを利用して決定する平行投影対応点探索部１２と、参照中心投影画像で前記対象点に対応すステレオ対応点を、中心投影画像データベース中の前記基準中心投影画像と該参照中心投影画像とを利用して決定し、前記ステレオ対応点座標決定時の対応付けの確からしさを示す評価値があらかじめ設定した閾値より高い評価の時は前記参照中心投影画像を前記基準中心投影画像、前記ステレオ対応点座標を前記対象点として置換し再度対応点を決定する処理を前記確からしさを示す評価値が閾値より高い評価の全ての参照中心投影画像に亘って繰り返すことにより決定するステレオ対応点探索部１３と、前記基準中心投影画像における対象点の３次元情報を、前記平行投影対応点探索部１２から出力された平行投影対応点と前記平行投影画像と前記基準中心投影画像の撮影パラメータから決定された平行投影方式の３次元情報算出式を用いて算出する、及び前記ステレオ投影対応点探索部１３から出力されたステレオ対応点と前記基準中心投影画像と前記参照中心投影画像の撮影パラメータから決定されたステレオ方式の３次元情報算出式を用いて算出する３次元情報算出部１４と、前記平行投影対応点探索部１２で出力された平行投影対応点と、前記ステレオ対応点探索部１３で出力されステレオ対応点についてそれぞれ基準値を算出し、該基準値の比較により出力する３次元情報を決定し出力する３次元情報決定部１５と、前記測定物が撮影された平行投影画像と該平行投影画像の撮影パラメータが格納されている平行投影画像データベース（ＤＢ）１６と、前記測定物が撮影された中心投影画像と該中心投影画像の撮影パラメータが格納されている中心投影画像データベース（ＤＢ）１７とから構成されている。
【００２４】
続いて、３次元情報測定方法及び装置で行われる処理フローの一例を詳細に説明する。
【００２５】
処理制御部１１で行なわれる処理を表した図を図２に示す。まず、処理制御部１１では、中心投影画像データベース１７から１枚の中心投影画像とその撮影パラメータを読み出し、該中心投影画像を基準中心投影画像として設定する。続いて、基準中心投影画像上で対象点を設定する。この対象点設定は手動で行なっても良いし、画像の特徴を利用して自動で設定しても良いものとする。続いて、対象点座標から基準中心投影画像上であらかじめ設定された近傍の領域を走査して、既に３次元情報測定処理が完了している対象点の存在を確認する。処理完了済みの点が存在しない場合には、処理完了フラグに０を代入してメモリに格納した後、対象点座標を平行投影対応点探索部１２へと転送し処理を終える。処理完了済みの点が存在する場合には、処理完了フラグに１を代入してメモリに格納した後、処理完了済み点で保存されている測定方式を受け取る。この時、処理完了済み点が近傍領域内に複数存在する場合には、その処理完了済み点の測定方式に対して多数決フィルタを適用するなどして１つの測定方式を決定するものとして良い。次に、測定方式が平行投影方式の場合には、対象点座標を平行投影対応点探索部１２へと転送し処理を終える。また、測定方式がステレオ方式の場合には対象点座標をステレオ対応点探索部１３へと転送し処理を終える。
【００２６】
次に、平行投影対応点探索部１２で行なわれる処理を表した図を図３に示す。平行投影対応点探索部１２では、まず対象点座標を受信する。続いて、平行投影画像ＤＢ１６から基準中心投影画像と同位置で撮影された平行投影画像と撮影パラメータを読み込む。この時、平行投影画像ＤＢ１６には、あらかじめ特願２００２−４５５９０号公報に記載の「平行投影画像生成装置」などの方法により生成した平行投影画像が格納されているものとする。
【００２７】
平行投影画像の具体的な生成方法を図１５を参照して説明する。カメラを平行移動して撮影した画像の１ラインを時系列的に並べることにより、１軸方向の擬似的な平行投影画像を作成することができる。物体を取り囲むように撮影するためミラーを利用して撮影することとする。図１５のように物体の前に配置したミラーを１ｂから２ｂへ回転すると、これに応じて仮想的なカメラ位置が１ａから２ａへ移動する。ここで、図中のようにＸ−Ｙ平面に平行投影面を設定し、Ｘ軸方向に平行投影される画像の生成を考える。まず、ミラーの回転中に撮影された１枚の中心投影画像で行なう処理について述べる。中心投影画像での画素と投影中心とを結ぶ直線をＸ−Ｚ平面に投影した際の方向がＺ軸方向と合致する画素座標（１ラインとなる）を、ミラーの回転角度、カメラの投影中心からミラーの回転中心までの距離、カメラの焦点距離、ＣＣＤの画素サイズを用いて決定する。続いて、平行投影面上で中心投影画像の投影中心位置に、決定した画素の輝度値をＹ座標を合わせて配置する。この処理を連続的に撮影された各画像に対して繰り返すと、Ｘ軸方向に平行投影された画像が生成できる。
【００２８】
続いて、前記基準中心投影画像を用いて対象点に対応する平行投影対応点を前記平行投影画像から探索し決定する。この対応点探索処理は、基準中心投影画像の対象点近傍の画素値と前記平行投影画像に設定した探索ウィンドウ内の画素値を特徴量として行ない、対応付けの評価値として両画像のウィンドウ内の画素値の差の２乗和（ＳＳＤ：Ｓｕｍ　ｏｆ　Ｓｑｕａｒｅｄ　Ｄｉｆｆｅｒｅｎｃｅｓ）を利用することにより実現できる。また、対応点探索の際の特徴量は画素値に限らず、エッジの向きや大きさを特徴量として利用しても良いし、フーリエ変換して得た周波数成分等を特徴量として利用しても良い。また、対応点探索の評価値としてはＳＳＤに限らず、正規化相関値や画素値の差の絶対値和（ＳＡＤ：Ｓｕｍ　ｏｆ　Ａｂｓｏｌｕｔｅ　Ｄｉｆｆｅｒｅｎｃｅｓ）など画像中から対応点を絞り込むために利用されるものであれば何でも良い。また、平行投影画像は、中心投影画像を拡大もしくは縮小したものに類似する性質があり、対応点探索の精度を向上させるために、探索ウィンドウのサイズを可変としても良い。続いて、メモリに格納された処理完了フラグを読み込み、次に対象点座標と決定された対応点座標、基準中心投影画像と撮影パラメータを処理完了フラグの値が０の時にはステレオ対応点探索部１３に、処理完了フラグの値が１の時には３次元情報算出部１４に転送する。
【００２９】
次に、ステレオ対応点探索部１３で行なわれる処理を表した図を図４に示す。ステレオ対応点探索部１３では、起動された後、処理が初めてか、すなわち当該対象点に対して１回目の処理かどうかを判定する。初めての時には、続いて処理完了フラグをメモリから読み出し、処理完了フラグの値が０の時には平行投影対応点探索部１２から対象点座標、基準中心投影画像と撮影パラメータを受信する。また、処理完了フラグの値が１の時には処理制御部１１から対象点座標と基準中心投影画像と撮影パラメータを読み出す。続いて、中心投影画像ＤＢ１７から基準中心投影画像の前記撮影パラメータの値に最も近い撮影パラメータ値を有する基準中心投影画像以外の中心投影画像を読み込み、参照中心投影画像として設定する。続いて、前記基準中心投影画像を用いて対象点に対応するステレオ対応点を前記参照中心投影画像中から探索、決定する。続いて、対応点探索時の評価値があらかじめ設定した閾値より高い評価でない場合、すなわち低い評価の場合には、オクルージョンや見え方の大きな変化により対応付けに失敗したものとみなし、受信した元の対象点座標、前回の（直前の処理で求められた）ステレオ対応点座標、基準中心投影画像、基準中心投影画像及び前回の参照中心投影画像の撮影パラメータ（及び平行投影対応点座標、平行投影画像の撮影パラメータ）を３次元情報算出部１４に転送し処理を終了する。対応点探索時の評価値があらかじめ設定した閾値より高い評価の場合には、対応付けに成功したものとし、ステレオ対応点探索部フローの初めに戻り、引き続き処理を続ける。フローの初めに戻った後は、参照中心投影画像を基準中心投影画像、前回の対応点座標を対象点座標として再設定し、前述の処理と同様の処理を行なう。以上の処理によって、対応点を見出すことができる中心投影画像の中で基準画像との基線長が最も長くなるものが、参照中心投影画像として選択されることになる。これにより、ステレオ方式において可能な最も高い精度の３次元情報を得ることができる。
【００３０】
次に、３次元情報算出部１４で行なわれる処理を表した図を図５に示す。３次元情報算出部１４では、まず平行投影対応点探索部１２とステレオ対応点探索部１３から、対象点座標、対応点座標、基準中心投影画像、撮影パラメータをそれぞれ受信する。このとき、平行投影対応点探索部１２から出力を受ける場合には、ステレオ対応点座標、及び参照中心投影画像の撮影パラメータそれぞれの変数にデータ無し（ＮＵＬＬ）を入力しておく。また、ステレオ対応点探索部１３から出力を受ける場合で、平行投影対応点探索部１２での処理を行わなかった場合には、平行投影対応点座標、及び平行投影画像の撮影パラメータそれぞれの変数にデータ無し（ＮＵＬＬ）を入力しておく。
【００３１】
続いて、平行投影対応点探索部１２で決定した平行投影対応点座標と対象点座標、撮影パラメータから平行投影方式の３次元情報算出式を決定し、対象点の３次元情報を算出する。次に、ステレオ対応点探索部１３で決定したステレオ対応点座標と対象点座標、撮影パラメータからステレオ方式の３次元情報算出式を決定し、対象点の３次元情報を算出する。平行投影方式の３次元情報算出式は、図１７に示した関係から三角形ＡＯＣと三角形ＣＭＢが相似であることに基づき求めることができ（但し、ＣＢの長さ＝ｘｄ・ｐｘ、ＯＡの長さ＝ｘｄ’・ｐｘ’の）、例えば下式のようになる。
【００３２】
Ｘ＝ｘｄ・ｐｘ　…（式１）
Ｙ＝ｙｄ・ｐｙ　…（式２）
Ｚ＝ｆ・ｘｄ・ｐｘ／（ｘｄ’・ｐｘ’）　…（式３）
ここで、ｘｄ，ｙｄは平行投影画像上での対応点座標、ｘｄ’は中心投影画像上での対象点座標、ｆは焦点距離、ｐｘ，ｐｙは平行投影画像の１画素のそれぞれ縦、横の大きさ、ｐｘ’は中心投影画像の１画素の横の大きさである。最後に、対象点座標、対応点座標と３次元情報、３次元情報算出式、基準中心投影画像を各々３次元情報決定部１５へ転送し、処理を終了する。
【００３３】
次に、３次元情報決定部１５で行なわれる処理を表した図を図６に示す。３次元情報決定部１５は、まず３次元情報算出部１４から対象点座標、対応点座標と３次元情報、３次元情報算出式、基準中心投影面像を各々受け取る。次に、メモリから処理完了フラグを読み込む。以下では、該処理完了フラグが０の時について説明する。この処理では、まず平行投影方式の３次元情報決定用基準値Ａを算出する。該３次元情報決定用基準値Ａは、例えば受信した３次元情報算出式を用いて算出した奥行き分解能や、平行投影対応点探索の際に対応付けの評価値として利用した値などを利用する。続いて、同様に、ステレオ方式の３次元情報決定用基準値Ｂを算出する。該３次元情報決定用基準値Ｂも、前記３次元情報決定用基準値Ａと同様に、例えば受信した３次元情報算出式を用いて算出した奥行き分解能や、ステレオ対応点探索の際に対応付けの評価値として利用した値などを利用する。続いて、３次元情報決定用基準値Ａと３次元情報決定用基準値Ｂを比較して採用する３次元情報を決定する。最後に、決定された３次元情報と前記基準中心投影画像の対象点の画素値と採用された測定方式を対象点座標に関連付けて出力装置へ転送し、処理を終了する。
【００３４】
以下に、本実施形態を具体的データに即して説明する。
【００３５】
まず、図７に示すように３次元空間中に測定物が存在し、これを図中のようにカメラなどの撮影装置により撮影した複数枚の画像を利用するものとする。この時撮影される中心投影画像の例を図８に示す。
【００３６】
３次元情報測定方法では、まず処理制御部１１が起動する。処理制御部１１は起動されると、まず対象点座標を読み込む。本実施形態では、図７中で示す世界座標系の原点位置と画像の投影中心位置が一致する画像７０３、すなわち図８における画像８０３が基準中心投影画像とされ、その対象点として図９で示す黒四角のように選択されたうちの１点（−５，−５）が入力されたものとする。続いて、対象点座標からあらかじめ設定された近傍の領域を走査して既に３次元情報測定処理が完了している対象点の存在を確認する。本実施形態では、処理完了済みの対象点が存在しなかったものとする。続いて、処理完了済みの対象点が存在しないため、処理完了フラグに０が代入され、対象点座標（−５，−５）は平行投影対応点探索部１２へと転送される。
【００３７】
平行投影対応点探索部１２は、起動されると対象点座標（−５，−５）を受信する。次に、平行投影画像ＤＢ１６から画像８０３と同位置で撮影された平行投影画像と撮影パラメータを読み込む。この例では、図１０に示すような平行投影画像が読み出されたものとする。続いて、中心投影画像ＤＢ１７から画像８０３とその撮影パラメータを読み込む。続いて、画像８０３を用いて対象点の対応点を図１０で示す平行投影画像から探索し、平行投影対応点として決定する。本実施形態では、平行投影対応点として（−２０，−２０）が決定されたものとする。続いて、処理完了フラグを読み込む。この例では、処理完了フラグが０であるので、ステレオ対応点探索部１３に対象点座標（−５，−５）と対応点座標（−２０，−２０）、基準中心投影画像８０３とその撮影パラメータをステレオ対応点探索部１３に転送する。
【００３８】
続いて、ステレオ対応点探索部１３が起動される。ステレオ対応点探索部１３では、起動された後、処理が初めてか、すなわち当該対応点に対して１回目の処理かどうかを判定する。この例では、ステレオ対応点探索部１３での処理は初めてであるので、続いて処理完了フラグを読み込む。処理完了フラグの値は０であるので、続いては平行投影対応点探索部１２から対象点座標（−５，−５）、基準中心投影画像８０３と撮影パラメータを受信する。続いて、中心投影画像ＤＢ１７から基準中心投影画像の前記撮影パラメータに最も近い撮影パラメータを有する基準中心投影画像以外の中心投影画像とその撮影パラメータを読み込み、参照中心投影画像として設定する。この例では、画像８０３に最も近い撮影パラメータを有する参照中心投影画像として、画像８０２が選択されたものとする。続いて、前記基準中心投影画像８０３を用いて対象点（−５，−５）の対応点を前記参照中心投影画像８０２から探索し、ステレオ対応点として決定する。本実施形態ではステレオ対応点として（−６，−６）が決定されたものとする。このステレオ対応点探索処理は、平行投影対応点探索処理での対応点探索処理と同様の方法で実現できる。また、ステレオ対応点探索の際にはエピポーラ拘束を利用しても良い。続いて、ステレオ対応点探索時の評価値とあらかじめ設定した閾値を比較する。この例では、対応点探索時の評価値が１５０、閾値が２００であり、評価値が閾値より高い評価であったとする。このため、参照中心投影画像８０２、参照中心投影画像８０２の撮影パラメータ、及びステレオ対応点（−６，−６）を各々、基準中心投影画像８０３、基準中心投影画像８０３の撮影パラメータ、及び対象点（−５，−５）の代わりとして用い、同様の処理を続けて行う。すなわち、中心投影画像ＤＢ１７から参照中心投影画像８０２の撮影パラメータに最も近い撮影パラメータを有する基準中心投影画像８０３及び参照中心投影画像８０２以外の中心投影画像８０１とその撮影パラメータを読み込み、新たな参照中心投影画像として設定する。続いて、前回の参照中心投影画像８０２を用いて前回の（直前の処理で得られた）ステレオ対応点（−６，−６）の対応点を新たな参照中心投影画像８０１から探索・決定する。本実施形態では新たなステレオ対応点（−８，−７）が決定されたものとする。続いて新たなステレオ対応点探索時の評価値とあらかじめ設定した閾値を比較する。この例では、対応点探索時の評価値が３００、閾値が２００であり、閾値より高い評価ではなかった（あるいは低い評価であった）ものとする。このため、対象点座標（−５，−５）、平行投影対応点座標（−２０，−２０）、前回のステレオ対応点座標（−６，−６）、平行投影画像の撮影パラメータ、基準中心投影画像８０３とその撮影パラメータ、前回の参照中心投影画像８０２の撮影パラメータが３次元情報算出部１４に転送される。
【００３９】
続いて、３次元情報算出部１４が起動される。３次元情報算出部１４では、ステレオ対応点探索部１３から、対象点座標（−５，−５）、平行投影対応点座標（−２０，−２０）、前回のステレオ対応点座標（−６，−６）、平行投影画像の撮影パラメータ、基準中心投影画像８０３とその撮影パラメータ、前回の参照中心投影画像８０２の撮影パラメータをそれぞれ受信する。続いて、平行投影対応点探索部１２で決定した対応点座標（−２０　−２０）と対象点座標（−５，−５）、平行投影画像の撮影パラメータ、基準中心投影画像８０３の撮影パラメータから平行投影方式の３次元情報算出式を決定し、対象点の３次元情報を算出する。本実施形態では、式１、式２、式３で記述した３次元情報算出式により対象点の３次元情報が（−２０，−４０，９０）と算出されたものとする。
【００４０】
次に、ステレオ対応点探索部１３で決定した対応点座標（−６，−６）と対象点座標（−２０，−２０）、基準中心投影画像８０３の撮影パラメータ、参照中心投影画像８０２の撮影パラメータからステレオ方式の３次元情報算出式を決定し、対象点の３次元情報を算出する。３次元情報算出式は、図１４に示した関係から三角測量の原理に基づき求めることができ、例えば“Ｔｈｒｅｅ　Ｄｉｍｅｎｓｉｏｎａｌ　Ｃｏｍｐｕｔｅｒ　Ｖｉｓｉｏｎ（著者　Ｏ．ｆａｕｇｅｒａｓ、発行所ＭＩＴ　Ｐｒｅｓｓ、発行年１９９３）”に記載された式のようになる。本実施形態では、ステレオ方式の３次元情報算出式により対象点の３次元情報が（−１５，−３５，８０）と算出されたものとする。３次元情報算出部１４では、最後に対象点座標（−５，−５）、対応点座標（−２０，−２０）、（−６，−６）、３次元情報（−２０，−４０，９０）、（−１５，−３５，８０）、３次元情報算出式、基準中心投影画像８０３が３次元情報決定部１５に転送される。
【００４１】
続いて、３次元情報決定部１５が起動される。３次元情報決定部１５は、起動されると、まず、３次元情報算出部１４から対象点座標（−５，−５）、対応点座標（−２０，−２０）、（−６，−６）、３次元情報（−２０，−４０，９０）、（−１５，−３５，８０）、３次元情報算出式、基準中心投影画像８０３を受け取る。次に、メモリから処理完了フラグを読み込む。この例では、処理完了フラグが０であるので、次に平行投影方式の３次元情報決定用基準値Ａを算出する。該３次元情報決定用基準値Ａとして本実施形態では、対応点として決定付けられた点におけるＳＳＤ値を探索ウィンドウサイズで正規化した値を利用するものとする。本実施形態では、３次元情報決定用基準値Ａは１５であったものとする。同様に、対応付けられたステレオ対応点の３次元情報決定用基準値Ｂを算出する。該３次元情報決定用基準値Ｂとして本実施形態では、対応点として決定づけられた点におけるＳＳＤ値を探索ウインドウサイズで正規化した値を利用するものとする。本実施形態では３次元情報決定用基準値Ｂは５であったものとする。次に前記３次元情報決定用基準値Ａと前記３次元情報決定用基準値Ｂを比較し採用する３次元情報を決定する。ＳＳＤ値は値が小さいほど対応付けが確からしいことを示すので、本実施形態では、３次元情報決定用基準値が小さい３次元情報決定用基準値Ｂのステレオ方式を採用するものとされ、３次元情報として（−１５，−３５，８０）が決定される。本実施形態では、ＳＳＤ値を測定方式判定用基準値として利用したが、受信している３次元情報算出式を用いて奥行き分解能を算出して、これを利用しても良い。また、ＳＳＤ値と奥行き分解能の両者を乗算するなどして同時に利用してもよい。最後に、決定された３次元情報（−１５，−３５，８０）と前記基準中心投影画像８０３の対象点の画素値と採用された測定方式のステレオ方式を対象点座標（−５，−５）に関連付けて出力装置へ転送し、処理を終了する。
【００４２】
本実施形態における出力結果の例を図１１、図１２と図１３に示す。図１１は図９で示した対象点全てに対して３次元情報測定処理を行ない、３次元情報決定部１５において平行投影方式で決定された３次元情報が採用された点が黒丸で示されている。また、図１２は対象点を増やして３次元情報測定処理を行なった結果であり、基準中心投影画像８０３を撮影した位置から対象点までの距離を画像の画素値として表現したもので、明るいほど距離が遠いことを、逆に暗いほど距離が近いことを意味している。また、図１３も同様に対象点を増やして３次元情報測定処理を行なった結果であり、算出した対象点の３次元情報を利用して３次元モデル化したものを観測した際のレンダリング結果であり、測定物のワイヤーフレーム表示結果を示している。
【００４３】
以上、本発明を実施形態に基づいて具体的に説明したが、本発明は上記の実施形態に限定されるものではなく、その要旨を逸脱しない範囲で種々変更可能であることは言うまでもない。
【００４４】
なお、図１で示した装置における各部の一部もしくは全部の機能をコンピュータのプログラムで構成し、そのプログラムをコンピュータを用いて実行して本発明を実現することができること、あるいは、図２〜図６で示した処理の手順をコンピュータのプログラムで構成し、そのプログラムをコンピュータに実行させることができることは言うまでもなく、コンピュータでその機能を実現するためのプログラム、あるいは、コンピュータにその処理の手順を実行させるためのプログラムを、そのコンピュータが読み取り可能な記録媒体、例えば、フレキシブルディスクや、ＭＯ、ＲＯＭ、メモリカード、ＣＤ、ＤＶＤ、リムーバブルディスクなどに記録して、保存したり、配布したりすることが可能である。また、上記のプログラムをインターネットや電子メールなど、ネットワークを通して提供することも可能である。このように、記録媒体やネットワークにより提供されたプログラムをコンピュータにインストールすることで、本発明が実施可能となる。
【００４５】
【発明の効果】
以上説明したように、本発明よれば、複数の中心投影画像と平行投影画像を利用し、前記中心投影画像中での対象点の対応一中を測定物の見え方が同じになるような前記平行投影画像中から決定するようにしたので、対応付け処理が容易となる。
【００４６】
また、同時に本発明では、前記中心投影画像中での対象点の対応点を他の中心投影画像からも決定し、両対応点に対して基準値を導入し該基準値の比較により前記対象点の３次元情報を取得するようにしたので、対応付け処理が容易で、かつ奥行き方向の精度の高い３次元情報測定が可能となり、非常に効率のよい処理を実現することができる。
【図面の簡単な説明】
【図１】本発明の一実施形態による３次元情報測定方法及び装置を説明するための図である。
【図２】本発明の一実施形態による３次元情報測定方法及び装置における処理制御部で行なわれる処理フローを説明するための図である。
【図３】本発明の一実施形態による３次元情報測定方法及び装置における平行投影対応点探索部で行なわれる処理フローを説明するための図である。
【図４】本発明の一実施形態による３次元情報測定方法及び装置におけるステレオ対応点探索部で行なわれる処理フローを説明するための図である。
【図５】本発明の一実施形態による３次元情報測定方法及び装置における３次元情報算出部で行なわれる処理フローを説明するための図である。
【図６】本発明の一実施形態による３次元情報測定方法及び装置における３次元情報決定部で行なわれる処理フローを説明するための図である。
【図７】本発明の一実施形態による３次元情報測定方法及び装置における処理の具体例を説明するための図である。
【図８】（ａ），（ｂ），（ｃ），（ｄ），（ｅ）は、本発明の一実施形態による３次元情報測定方法及び装置における処理の具体例を説明するための図である。
【図９】本発明の一実施形態による３次元情報測定方法及び装置における処理の具体例を説明するための図である。
【図１０】本発明の一実施形態による３次元情報測定方法及び装置における処理の具体例を説明するための図である。
【図１１】本発明の］実施形態による３次元情報測定方法及び装置における処理の具体例を説明するための図である。
【図１２】本発明の一実施形態による３次元情報測定装置の３次元情報算出結果の一例を説明するための図である。
【図１３】本発明の一実施形態による３次元情報測定装置の３次元情報算出結果の一例を説明するための図である。
【図１４】従来技術を説明するための図である。
【図１５】平行投影画像の生成を説明する図である。
【図１６】平行投影と中心投影の関係を説明する図である。
【符号の説明】
１…３次元情報測定装置
１１…処理制御部
１２…平行投影対応点探索部
１３…ステレオ対応点探索部
１４…３次元情報算出部
１５…３次元情報決定部
１６…平行投影画像データベース
１７…中心投影画像データベース
【図１】
2004144706.tif 000003
【図２】
2004144706.tif 000004
【図３】
2004144706.tif 000005
【図４】
2004144706.tif 000006
【図５】
2004144706.tif 000007
【図６】
2004144706.tif 000008
【図７】
2004144706.tif 000009
【図８】
2004144706.tif 000010
【図９】
2004144706.tif 000011
【図１０】
2004144706.tif 000012
【図１１】
2004144706.tif 000013
【図１２】
2004144706.tif 000014
【図１３】
2004144706.tif 000015
【図１４】
2004144706.tif 000016
【図１５】
2004144706.tif 000017
【図１６】
2004144706.tif 000018