(57)【要約】      （修正有）【課題】撮影対象物にキャリブレーション板を付けること無く歪曲収差の補正を行い得る歪曲収差補正方法を提供する。【解決手段】レンズを介して撮影対象物の所定領域を、当該レンズと相対位置が異なるようにいずれかをずらせて少なくとも２枚の撮影画像を得るステップと、これら少なくとも２枚の撮影画像にデジタル画像相関法を適用して両撮影画像上での所定領域のずれ量を検出するステップと、収差を表す収差モデル量にずれによる回転移動および並行移動を考慮した平面の式で表されるずれ量算出式を加えて得られる変形量算出式に、上記ステップで検出されたずれ量を代入し、最小二乗法を用いて当該変形量算出式の少なくとも収差モデル量を表す係数を決定するステップと、上記決定された収差モデル量の係数を用いて歪曲収差の補正を行うステップとを具備した方法である。【選択図】図１
2006330772.tif 000002
【特許請求の範囲】
【請求項１】
レンズを介して撮影対象物の所定領域を、当該レンズと相対位置が異なるようにいずれかをずらせて少なくとも２枚の撮影画像を得るステップと、
これら少なくとも２枚の撮影画像にデジタル画像相関法を適用して両撮影画像上での所定領域のずれ量を検出するステップと、
収差を表す収差モデル量にずれによる回転移動および並行移動を考慮した平面の式で表されるずれ量算出式を加えて得られる変形量算出式に、上記ステップで検出されたずれ量を代入し、最小二乗法を用いて当該変形量算出式の少なくとも収差モデル量を表す係数を決定するステップと、
上記決定された収差モデル量の係数を用いて歪曲収差の補正を行うステップとを具備したことを特徴とする撮影画像における歪曲収差補正方法。
【請求項２】
レンズを介して撮影対象物の所定領域を、当該レンズと相対位置が異なるようにいずれかをずらせて少なくとも２枚の撮影画像を得るステップと、
これら少なくとも２枚の撮影画像にデジタル画像相関法を適用して両撮影画像上での所定領域のずれ量（ｕ′ｘ，ｕ′ｙ）を検出するステップと、
収差を表す収差モデル量（αｘ，αｙ）にずれによる回転移動および並行移動を考慮した平面の式で表されるずれ量算出式を加えて得られる下記（Ａ）式および（Ｂ）式で示される変形量算出式に、上記ステップで検出されたずれ量を代入し、最小二乗法を用いて当該変形量算出式の少なくとも収差モデル量を表す係数を決定するステップと、
上記決定された収差モデル量の係数を用いて歪曲収差の補正を行うステップとを具備したことを特徴とする撮影画像における歪曲収差補正方法。
ｕ′ｘ＝ａ１ｘ＋ａ２ｙ＋ａ３＋αｘ  ・・・（Ａ）
ｕ′ｙ＝ａ４ｘ＋ａ５ｙ＋ａ６＋αｙ  ・・・（Ｂ）
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮影画像における歪曲収差補正方法に関する。
【背景技術】
【０００２】
近年、デジタルカメラなどの撮影機器の性能向上により、高画質の画像が比較的簡単に得られるようになっており、例えば、橋梁などの構造物をデジタルカメラで撮影し、その撮影画像から構造物の形状、大きさなどの各種寸法を、非接触にて且つ高精度に計測し得るシステムが開発されている。
【０００３】
しかし、デジタルカメラなどの光学レンズを用いたシステムでは、レンズの歪曲収差による計測誤差が含まれてしまう。
このため、計測対象物に予めターゲットマークが設けられたキャリブレーション板を取り付けておき、このキャリブレーション板を撮影することにより、歪曲収差を補正するようにした計測方法が提案されている（例えば、特許文献１参照）。
【特許文献１】特開平５−１１０９２６
【発明の開示】
【発明が解決しようとする課題】
【０００４】
上述したように、計測対象物に取り付けられた基準となるキャリブレーション板を撮影することにより歪曲収差を補正する計測方法によると、橋梁などの大型構造物である計測対象物、すなわち撮影対象物が広範囲におよぶものには、不向きである。
【０００５】
そこで、本発明は、撮影対象物に、予め、基準となるキャリブレーション板を付けること無く歪曲収差の補正を行い得る撮影画像における歪曲収差補正方法を提供することを目的とする。
【課題を解決するための手段】
【０００６】
上記課題を解決するため、本発明の請求項１に係る撮影画像における歪曲収差補正方法は、
レンズを介して撮影対象物の所定領域を、当該レンズと相対位置が異なるようにいずれかをずらせて少なくとも２枚の撮影画像を得るステップと、
これら少なくとも２枚の撮影画像にデジタル画像相関法を適用して両撮影画像上での所定領域のずれ量を検出するステップと、
収差を表す収差モデル量にずれによる回転移動および並行移動を考慮した平面の式で表されるずれ量算出式を加えて得られる変形量算出式に、上記ステップで検出されたずれ量を代入し、最小二乗法を用いて当該変形量算出式の少なくとも収差モデル量を表す係数を決定するステップと、
上記決定された収差モデル量の係数を用いて歪曲収差の補正を行うステップと
を具備した方法である。
【０００７】
また、請求項２に係る撮影画像における歪曲収差補正方法は、
レンズを介して撮影対象物の所定領域を、当該レンズと相対位置が異なるようにいずれかをずらせて少なくとも２枚の撮影画像を得るステップと、
これら少なくとも２枚の撮影画像にデジタル画像相関法を適用して両撮影画像上での所定領域のずれ量（ｕ′ｘ，ｕ′ｙ）を検出するステップと、
収差を表す収差モデル量（αｘ，αｙ）にずれによる回転移動および並行移動を考慮した平面の式で表されるずれ量算出式を加えて得られる下記（Ａ）式および（Ｂ）式で示される変形量算出式に、上記ステップで検出されたずれ量を代入し、最小二乗法を用いて当該変形量算出式の少なくとも収差モデル量を表す係数を決定するステップと、
上記決定された収差モデル量の係数を用いて歪曲収差の補正を行うステップと
を具備した方法である。
【０００８】
ｕ′ｘ＝ａ１ｘ＋ａ２ｙ＋ａ３＋αｘ  ・・・（Ａ）
ｕ′ｙ＝ａ４ｘ＋ａ５ｙ＋ａ６＋αｙ  ・・・（Ｂ）
【発明の効果】
【０００９】
上記各歪曲収差補正方法によると、撮影対象物をずれた位置で撮影した少なくとも２枚の撮影画像における所定領域についての収差を含むずれ量を、収差モデル量にずれによる回転移動および並行移動を表す平面の式を加えて得られた変形量算出式で表すとともに、この変形量算出式に係る平面を表す式の少なくとも収差モデル量の係数を、デジタル画像相関法で求められたずれ量を用いて、最小二乗法により決定するようにしたので、例えば基準となるキャリブレーション板を用いることなく、撮影画像だけで、歪曲収差の補正を行うことができる。
【発明を実施するための最良の形態】
【００１０】
［実施の形態］
以下、本発明の実施の形態に係る撮影画像における歪曲収差補正方法を、図面に基づき説明する。
【００１１】
本実施の形態においては、例えばデジタルカメラなどの撮影機器（以下、カメラという）を用いて、すなわちレンズを介して計測対象物を撮影するとともに、このカメラで撮影された計測対象物の撮影画像に基づき当該計測対象物の形状、大きさなどの表面に関わる各種寸法を計測する際に、レンズの歪曲収差による変位分が誤差として含まれているため、この歪曲収差による変位分を除去するための歪曲収差補正方法について説明する。
【００１２】
本実施の形態に係るに歪曲収差補正方法は、計測対象物、すなわち撮影対象物の所定領域（以下、計算領域といい、具体的には、数十画素×数十画素の範囲）を、カメラに対して所定距離だけずらせた状態で撮影した少なくとも２枚の撮影画像に、デジタル画像相関法を適用して、両撮影画像におけるそのずれ量を求めるとともに、このずれ量を用いてレンズによる歪曲収差を補正する方法である。
【００１３】
まず、デジタル画像相関法を用いて、撮影対象物のずれ量（ここでは、移動量と称して説明する）を測定する方法について説明する。
デジタル画像相関法においては、計算領域の移動量を輝度値分布の相関を用いて検出する。これは、物体表面の乱反射像は物体表面と共に移動し、移動の前後でその特徴が保存されるということに基づくもので、移動前後の画像における輝度値の相関は下記（１）式で求められる。
【００１４】
【数１】
2006330772.tif 000003
ここで、Ｉｙ（ｘ，ｙ）は移動前画像の座標（ｘ，ｙ）における輝度値、Ｉｄ（ｘ＊，ｙ＊）は移動後画像の座標（ｘ＊，ｙ＊）における輝度値である。座標（ｘ，ｙ）と（ｘ＊，ｙ＊）との間には下記（２）式の関係がある。
【００１５】
【数２】
2006330772.tif 000004
ここで、ｕｘおよびｕｙはそれぞれ計算領域画像の中心におけるｘ方向およびｙ方向の移動量である。図１に示すように、移動前のＰ点が移動後にＰ′点に移動したとすると、Ｐ点の移動量がｕｘ，ｕｙになる。
【００１６】
そして、上記（１）式のＳを最小とする移動量ｕｘ，ｕｙを決定すればよい。なお、１画素以下の解像度で変位を検出する場合には、双一次関数または３次のスプライン関数を利用して、輝度値を補間すればよい。また、計算速度を短縮するため、実際の相関演算方法としては、ニュートン・ラフソン法などが用いられる。
【００１７】
次に、歪曲収差について説明する。
歪曲収差とは、例えば直線である物体が曲線となって撮影される現象を言い、収差の中心（多くの場合は、画像の中心であるが、そうでない場合もある）からの距離を用いてモデル化することができる。
【００１８】
例えば、図２に示すように、本来、Ａ点の位置に写るべき点が歪曲収差によりＢ点に写ったとする。
このＡ点とＢ点の距離（収差の量）は、半径方向（放射方向）歪曲収差αｒと円周方向歪曲収差αθとに分解することができる。
【００１９】
そして、円周方向歪曲収差αθは半径方向歪曲収差αｒに比べて十分に小さく、例えば円周方向歪曲収差αθを無視した場合、半径方向歪曲収差αｒは、収差の中心からの距離ｒの関数として、下記（３）式にて表される。
【００２０】
【数３】
2006330772.tif 000005
ここで、ｋ１，ｋ２，ｋ３，・・・は収差の量を表す係数である。多くの場合、高次項を無視できるので、（３）式は下記（４）式にて近似することができる。
【００２１】
【数４】
2006330772.tif 000006
すなわち、画像上の歪曲収差の量（幾何学的なずれ量）は収差の中心からの距離ｒの３乗に比例し、その係数ｋ１を決定することで歪曲収差の量を知ることができ、これに基づき補正を行うことができる。
【００２２】
そして、上記半径方向歪曲収差αｒをｘ方向およびｙ方向に分解した場合、すなわち直交座標系における歪曲収差の量は、下記（５）式で表される。
【００２３】
【数５】
2006330772.tif 000007
ここで、θ＝arctan（ｘ，ｙ）である。
【００２４】
上述したように、デジタル画像相関法により、撮影対象物をそのまま移動させた場合、すなわち剛体変位をさせた場合の移動前後における撮影画像から、画像における輝度値の相関を用いて当該撮影対象物の移動量を検出することができる。言い換えれば、この方法を用いることにより、撮影対象物の剛体並進変位（以下、並行移動または剛体並行移動という）の分布を求めることができる。また、剛体回転変位（以下、回転移動または剛体回転移動という）の分布も求めることができる。
【００２５】
図３は、ｘ方向（水平方向）に撮影対象物を移動させた場合にデジタル画像相関法で得られた変位分布を示す。レンズに歪曲収差が無い場合には、変位に分布は現れずに一様な値となる。一方、収差がある場合には、図３に示すような変位分布が現れる。この分布を用いて歪曲収差を検出することになる。なお、図３の（ａ）はｘ方向変位を示し、（ｂ）はｙ方向変位を示している。
【００２６】
ここで、収差を含む点の座標値をｘ′，ｙ′、収差の無い理想的な場合の点の座標をｘ，ｙ、ｘ方向およびｙ方向の収差の量をαｘ，αｙとすると、それらの関係は下記（６）式で表される。
【００２７】
【数６】
2006330772.tif 000008
デジタル画像相関法により得られる移動量、すなわち収差を含んだｘ方向およびｙ方向の移動量ｕ′ｘ，ｕ′ｙは下記（７）式で表される。
【００２８】
【数７】
2006330772.tif 000009
ここで、ｘ′ｕは移動前のｘ座標（収差を含む）、ｙ′ｕは移動前のｙ座標（収差を含む）、ｘ′ｄは移動後のｘ座標（収差を含む）、ｙ′ｄは移動後のｙ座標（収差を含む）、αｘｕは点（ｘｕ，ｙｕ）におけるｘ方向収差、αｙｕは点（ｘｕ，ｙｕ）におけるｙ方向収差、αｘｄは点（ｘｄ，ｙｄ）におけるｘ方向収差、αｙｄは点（ｘｄ，ｙｄ）におけるｙ方向収差、ｘｕは移動前のｘ座標（収差を含まず）、ｙｕは移動前のｙ座標（収差を含まず）、ｘｄは移動後のｘ座標（収差を含まず）、ｙｄは移動後のｙ座標（収差を含まず）、ｕｘはｘ方向移動量（収差を含まず）、ｕｙはｙ方向移動量（収差を含まず）である。
【００２９】
ところで、撮影対象物が剛体並行移動および剛体回転移動（剛体変位でもある）した場合を考えてみると、その移動量（ずれ量）については、平面を表す方程式（ずれ量算出式）でもって近似し得るという知見を得た。
【００３０】
撮影対象物が剛体並行移動した場合には、移動量ｕｘおよびｕｙは、下記（８）式にて表すことができる。
【００３１】
【数８】
2006330772.tif 000010
ここで、移動量ｕｘおよびｕｙは撮影画像上で一様の値（定数）となる。一方、撮影対象物が剛体回転移動した場合には、移動前座標と移動後座標との関係は回転行列を用いて、下記（９）式にて表される。
【００３２】
【数９】
2006330772.tif 000011
したがって、撮影対象物が剛体回転移動した場合の移動量ｕｘおよびｕｙは、下記（１０）式で表すことができる。
【００３３】
【数１０】
2006330772.tif 000012
ここでθは回転角度であるので、撮影した特定の画像に対して定数となる。
【００３４】
すなわち、剛体並行移動を測定した場合には、上記（７）式におけるｕｘおよびｕｙは一定値（測定領域内で一様）となる。一方、剛体並行移動と剛体回転移動の両者を測定した場合には、ｕｘおよびｕｙは２次元の平面として表すことができるため、測定した移動量は下記（１１）式で示す変形量算出式にて表される。
【００３５】
【数１１】
2006330772.tif 000013
収差のモデルは収差を含まない座標の関数として表されているが、測定結果は収差を含む座標の関数として得られる。
【００３６】
ところで、デジタル画像相関法により得られる移動量（ずれ量）は、収差を含む点（ｘ′，ｙ′）の関数として得られるが、（１１）式の収差のモデルは当該収差を含まない点（ｘ，ｙ）の関数として与えられている。そのため、各係数を直接決定することはできない。そこで、最小二乗法と繰返し演算を組み合わせて各係数を決定する。
【００３７】
まず、収差を含む座標値（ｘ′，ｙ′）を（ｘ，ｙ）に初期値として代入し、最小二乗法により各係数の近似値を決定する。すなわち、下記（１２）式にて計算することができる。勿論、最小二乗法を用いる場合には、複数の画素について計算が行われる。
【００３８】
【数１２】
2006330772.tif 000014
ここで、
【００３９】
【数１３】
2006330772.tif 000015
上記式中、下付添字の１・・・ｎはデータ点のインデックスを示す。以上の計算により得られた各係数の近似値を用い、収差を含まない座標（ｘ，ｙ）の近似値を計算する。その座標値（ｘ，ｙ）を用い、再び、同様の最小二乗法により各係数を計算する。これを各係数の値が収束するまで繰り返すことにより、各係数を決定することができる。
【００４０】
なお、収差の中心を求める必要がある場合には、収差の中心座標を未知数とし、非線形最小二乗法を用いればよい。
以上の方法により、収差モデル量すなわち収差量を決定した後、その値を用いて撮影画像が補正される。撮影画像の歪みを補正する場合、例えば画像の輝度値補間法などが用いられる。
【００４１】
ここで、具体例について説明しておく。
上述した図３には剛体並行移動量の測定結果が示されており、（ａ）はｘ方向、（ｂ）はｙ方向である。この測定結果から歪曲収差を検出した。
【００４２】
すなわち、得られた各係数を用いて、図３の移動量分布に収差補正を行った結果を、図４に示す。図４（ａ）はｘ方向、図４（ｂ）はｙ方向を示す。すなわち、収差補正後には画像上の各点において移動量の値はほぼ一様となっており、剛体並行移動の測定としては、妥当な結果が得られている。
【００４３】
ここで、上述した歪曲収差補正方法をステップ様式にて記載しておく。
すなわち、この歪曲収差補正方法は、レンズを介して撮影対象物の所定領域を、当該レンズと相対位置が異なるようにいずれかをずらせて少なくとも２枚の撮影画像を得るステップと、これら少なくとも２枚の撮影画像にデジタル画像相関法を適用して両撮影画像上での所定領域のずれ量（ｕ′ｘ，ｕ′ｙ）を検出するステップと、収差を表す収差モデル量（αｘ，αｙ）にずれによる回転移動および並行移動を考慮した平面の式で表されるずれ量算出式を加えて得られる下記（Ａ）式および（Ｂ）式で示される変形量算出式に、上記ステップで検出されたずれ量を代入し、最小二乗法を用いて当該変形量算出式の少なくとも収差モデル量を表す係数を決定するステップと、上記決定された収差モデル量の係数を用いて歪曲収差の補正を行うステップとが具備されている。
【００４４】
ｕ′ｘ＝ａ１ｘ＋ａ２ｙ＋ａ３＋αｘ  ・・・（Ａ）
ｕ′ｙ＝ａ４ｘ＋ａ５ｙ＋ａ６＋αｙ  ・・・（Ｂ）
上述したように、撮影対象物をずれた位置で撮影した少なくとも２枚の撮影画像における計算領域についての収差を含むずれ量を、収差モデル量に撮影画像のずれによる回転移動および並行移動を表す平面の式を加えた変形量算出式で表すとともに、この変形量算出式に係る平面を表す方程式の各係数、少なくとも収差モデル量を表す係数を、デジタル画像相関法で求められたずれ量を用いて、最小二乗法により決定するようにしたので、例えば基準となるキャリブレーション板を用いることなく、撮影画像だけで歪曲収差の補正を行うことができる。
【００４５】
ところで、上記実施の形態においては、計測対象物を剛体変位させた場合について説明したが、その替わりに、カメラを移動させてもよい。
【図面の簡単な説明】
【００４６】
【図１】本発明の実施の形態に係る歪曲収差補正方法を説明するための撮影対象物の計算領域の位置関係を示す図である。
【図２】同歪曲収差補正方法を説明するための歪曲収差を示す図である。
【図３】同歪曲収差補正方法における剛体変位を測定した際の変位分布を示す図で、（ａ）はｘ方向変位、（ｂ）はｙ方向変位を示す。
【図４】同変位分布に対して収差補正を行った場合の変位分布を示す図で、（ａ）はｘ方向変位、（ｂ）はｙ方向変位を示す。
【図１】
2006330772.tif 000016
【図２】
2006330772.tif 000017
【図３】
2006330772.tif 000018
【図４】
2006330772.tif 000019