【手続補正書】
【提出日】平成20年11月21日(2008.11.21)
【手続補正１】
【補正対象書類名】明細書
【補正対象項目名】０００７
【補正方法】変更
【補正の内容】
【０００７】
上記課題を解決するために、本発明の第１の態様に係る三次元形状演算装置は、例えば図１に示すように、撮影レンズを有し、２方向から対象物を撮影して一対の撮影画像を取得する画像撮影部１０と、一対の撮影画像から特徴点又は基準点及びその対応点を抽出する標定点抽出部４１と、標定点抽出部４１で抽出された特徴点又は基準点及びその対応点を用いて形成した一対の標定用画像について、相互標定における残存縦視差を最小にするように、又はバンドル調整における残差を最小とするように、撮影レンズの焦点距離を推定する焦点距離推定部４４とを備える。
【手続補正２】
【補正対象書類名】明細書
【補正対象項目名】０００９
【補正方法】変更
【補正の内容】
【０００９】
また、本発明の第２の態様は、第１の態様に係る三次元形状演算装置において、例えば図１に示すように、撮影レンズの焦点距離に対応するカメラ内部標定要素を記憶する内部パラメータ記憶部４６と、焦点距離推定部４４で推定された推定焦点距離に対応するカメラ内部標定要素を内部パラメータ記憶部４６から取得し、取得したカメラ内部標定要素に基づいて撮影画像のデータを補正する画像データ補正部４７とを備える。ここにおいて、カメラ内部標定要素とはカメラ内部パラメータ、又は単に内部標定要素、内部パラメータともいい、典型的には画面中心（主点位置）とレンズ歪パラメータ（レンズディストーション）をいうが、必ずしもこれらに限定されず、コマ収差、２次３次の収差を表すパラメータを使用しても良い。このように構成すると、レンズ歪を補正した画像を形成でき、三次元形状を適切かつ容易に把握できる。
【手続補正３】
【補正対象書類名】明細書
【補正対象項目名】００１０
【補正方法】変更
【補正の内容】
【００１０】
また、本発明の第３の態様は、第２の態様に係る三次元形状演算装置において、例えば図１に示すように、画像データ補正部４７で補正された補正画像に基づき、三次元座標を算出する三次元座標データ演算部５１を備える。ここにおいて、三次元座標を算出する場合、実測データに基づいて絶対座標を使用しても良く、演算データのみに基づいて相対座標を使用しても良い。このように構成すると、レンズ歪を補正して高精度の三次元形状演算ができる。なお、補正画像を使用しなくても、例えば内部パラメータよりエピポーララインを検出することにより三次元形状演算が可能である。
【手続補正４】
【補正対象書類名】明細書
【補正対象項目名】００１１
【補正方法】変更
【補正の内容】
【００１１】
また、本発明の第４の態様は、第１の態様に係る三次元形状演算装置において、撮影レンズは、撮影画角を変更可能なズームレンズである。このように構成すると、ズームレンズについても焦点距離を短時間で比較的高精度に推定して、三次元形状演算を効率良く行うことができる。
【手続補正５】
【補正対象書類名】明細書
【補正対象項目名】００１２
【補正方法】変更
【補正の内容】
【００１２】
また、本発明の第５の態様は、第２又は第３の態様に係る三次元形状演算装置において、撮影レンズは、撮影画角を変更可能なズームレンズであり、内部パラメータ記憶部４６は、撮影画角に対応する撮影条件データ及び内部標定要素を記憶し、内部標定要素は、焦点距離推定部４４で推定された撮影レンズの焦点距離に撮影条件データを加味して定められる。ここにおいて撮影条件データは例えば表３に示すようなデータである。このように構成すると、レンズ歪を補正した画像を形成でき、高精度の三次元形状演算ができる。
【手続補正６】
【補正対象書類名】明細書
【補正対象項目名】００１３
【補正方法】変更
【補正の内容】
【００１３】
上記課題を解決するために、本発明の第６の態様に係る三次元形状演算方法は、例えば図２に示すように、２方向から対象物を撮影して一対の撮影画像を取得する画像撮影工程（Ｓ０１）と、一対の撮影画像から特徴点又は基準点及びその対応点を抽出する標定点抽出工程（Ｓ０４，Ｓ０５）と、標定点抽出工程で抽出された特徴点又は基準点及びその対応点を用いて形成した一対の標定用画像について、相互標定における残存縦視差を最小にするように、又はバンドル調整における残差を最小とするように、撮影レンズの焦点距離ｆを推定する焦点距離推定工程（Ｓ０６）とを備える。このように構成すると、焦点距離を正確に測定しなくても必要な焦点距離を短時間で比較的高精度に推定して、高精度の三次元形状演算を効率良く行なえる三次元形状演算方法を提供できる。
【手続補正７】
【補正対象書類名】明細書
【補正対象項目名】００１４
【補正方法】変更
【補正の内容】
【００１４】
また、本発明の第７の態様は、第６の態様に係る三次元形状演算方法において、撮影レンズの焦点距離に対応するカメラ内部標定要素を内部パラメータ記憶部４６に記憶する内部パラメータ記憶工程（Ｓ００）と、焦点距離推定工程で推定された推定焦点距離に対応するカメラ内部標定要素を内部パラメータ記憶部４６から取得し（Ｓ０７）、取得したカメラ内部標定要素に基づいて撮影画像のデータを補正する画像データ補正工程（Ｓ０８）とを備える。このように構成すると、レンズ歪を補正した画像を形成でき、三次元形状を適切かつ容易に把握できる。
【手続補正８】
【補正対象書類名】明細書
【補正対象項目名】００４８
【補正方法】変更
【補正の内容】
【００４８】
次に、相互相関係数による方法を示す。
図６にテンプレートマッチングにおける探索範囲を示す。左画像を基準画面の画像、右画像を探索画面の画像とする。Ｎ１×Ｎ１画素のテンプレート画像Ｔを左画像に設定し、それより大きいＭ１×Ｍ１画素の入力画像（右画像）内の探索範囲Ｉ（Ｍ１−Ｎ１＋１）２上で動かし、（式３）のＣ（ａ，ｂ）が最大になるようなテンプレート画像Ｔの右画像での位置を求めて、左画像に対し右画像の位置が探索されたとみなす。
【手続補正９】
【補正対象書類名】明細書
【補正対象項目名】００５８
【補正方法】変更
【補正の内容】
【００５８】
まず、オペレータは、表示部６０により左右画像上に６点以上のターゲットが含まれているか確認する（Ｓ２４２）。もし左右画像上で６点以上のターゲットが含まれていなければ、マニュアルもしくは半自動モードへ行く（Ｓ２４４）。なお、左右画像に対応する６点以上のターゲットが撮影されていない場合には、ターゲットが６点以上入るように撮影しなおす。そして、６点以上のターゲットが撮影されている場合には、自動モード処理に移行する（Ｓ２４６）。
【手続補正１０】
【補正対象書類名】明細書
【補正対象項目名】００７２
【補正方法】変更
【補正の内容】
【００７２】
焦点距離ｆを変数として比較する際に、例えば、ズーム式カメラの焦点距離が７．２ｍｍから５０．８ｍｍで調整可能な場合を取り上げる。焦点距離データの測定個数を６個とすると、７．２ｍｍが最広角となり、５２．２ｍｍが最望遠となり、中間の測定点として光学的意味での等間隔で測定をする為に、変数として、８．７ｍｍ、１１．６ｍｍ、２４．８ｍｍ、３９．０ｍｍが選択される。また、この焦点距離の最確値を近似的に求める手法として１段階目として変数を２ｍｍ間隔とし、２段階目として１段階目で求めた最確値の近傍で変数を０．５ｍｍ間隔とするなどにより、段階式に最確値を求め、高速化をはかることも可能である。そして、後述するように、推定した焦点距離より、主点位置とレンズディストーションのパラメータを近似曲線より算出・取り出し、これをカメラ内部パラメータとする。また、毎回推定された焦点距離ｆと対応する内部パラメータを用いて相互標定を行うことにより、焦点距離ｆを高精度に求めることができる。
【手続補正１１】
【補正対象書類名】明細書
【補正対象項目名】００７４
【補正方法】変更
【補正の内容】
【００７４】
【数５】
2007147457.tif 000001
この（式１２）と（式１３）は、共線条件式（式８）を基本式とするものである。即ちバンドル調整法は、（式１２）と（式１３）を用いて、複数画像から最小自乗近似して、最適解を算出する手法であり、各撮影位置のカメラの外部標定要素を同時に求めることが可能となる。即ち、カメラのキャリブレーション要素を求めることが可能となる。
【手続補正１２】
【補正対象書類名】明細書
【補正対象項目名】００７５
【補正方法】変更
【補正の内容】
【００７５】
ここで、内部標定要素の補正モデルとして、放射方向レンズ歪を有する場合の一例を次の（式１４）に示す。
【数６】
2007147457.tif 000002
【手続補正１３】
【補正対象書類名】明細書
【補正対象項目名】００７７
【補正方法】変更
【補正の内容】
【００７７】
（式１４）の係数ｋ１、ｋ２は、最広角側で絶対値が最大となり、最望遠側では小さくなっている。画像座標系ｘでのカメラ主点と画像中心のｘ軸位置ずれ係数ｘ０は、ズーム式カメラの焦点距離が１１．６ｍｍで極小値を、５２．２ｍｍで最小値４．４１をとり、２４．８ｍｍで最大値４．５５をとる複雑な変化をしているので、焦点距離の五次曲線で近似している。画像座標系ｙでのカメラ主点と画像中心のｙ軸位置ずれ係数ｙ０は、ズーム式カメラの焦点距離に応じて単調に変化している。なお、チャート撮影画像はピントが合った状態で撮影されるので、ズーム式カメラの焦点距離ｆと、投影中心点Ｏ１、Ｏ２から画像座標系までの画面距離ｃとは、等しくなっている。
【手続補正１４】
【補正対象書類名】明細書
【補正対象項目名】００９６
【補正方法】変更
【補正の内容】
【００９６】
［第２の実施の形態］
本実施の形態は、焦点距離ｆを推定する方法として、バンドル調整法（正確にはセルフキャリブレーション付きバンドル調整法）で焦点距離ｆの値を変えて残差が最小となる点の焦点距離ｆを採用するものである。（式１２）〜（式１４）において、−ｃが画面距離、すなわち焦点距離ｆと等価なので、このパラメータを調整することになる。すなわち、焦点距離推定処理部４４Ｂにおいて、焦点距離ｆを変数として、バンドル調整における残差（多数の標定点について実座標と計算座標の差異の最小自乗値の総和が最小となる）を最小とするように、撮影レンズの焦点距離を推定する（ステップＳ０６）。このとき、焦点距離推定処理部４４Ｂは変数としての焦点距離ｆを標定部４４Ａに与え、標定部４４Ａでバンドル調整法により、外部標定要素を算出し、焦点距離推定処理部４４Ｂでは、これらの焦点距離ｆを変化させたときの大多数のステレオ画像における多数の標定点について実座標と計算座標の差異の最小自乗値の総和が最小となる焦点距離ｆを最確値とする。ここで、大多数のとは、必ずしも全ての標定点を用いて残差を計算する必要はなく、例えばなかなか収束しない標定点を除いても良く、また計算処理の迅速のため、焦点距離を推定するに充分な数の撮影画像を用いれば、一部の撮影画像を省略しても良い意味である。
【手続補正１５】
【補正対象書類名】図面
【補正対象項目名】図１
【補正方法】変更
【補正の内容】
【図１】
2007147457.tif 000003
【手続補正１６】
【補正対象書類名】図面
【補正対象項目名】図５
【補正方法】変更
【補正の内容】
【図５】
2007147457.tif 000004