(57)【要約】  【課題】  カメラのレンズの光軸と歪曲補正図とが垂直に配置されていなくても、レンズの収差に起因する画像の歪曲収差補正を簡便に且つ高精度で行う。  【解決手段】  直線上に配置される３点以上の補助点からなる補助点組をそれぞれ異なる直線上に複数組有する歪曲補正図をカメラによって撮影して実写歪曲補正画像を取得し、該画像において各実写補助点組を構成する実写補助点が、略一直線上に配置されるような補助点の理想重心位置を与える補正式を求め、該補正式により画像の歪曲収差を補正する。【選択図】  図２
2006059270.tif 000002
【特許請求の範囲】
【請求項１】
直線上に配置される３点以上の補助点からなる補助点組をそれぞれ異なる直線上に複数組有する歪曲補正図をカメラで撮影することにより実写歪曲補正画像を取得し、
該実写歪曲補正画像において、
前記各補助点に対応する画像上の点である各実写補助点の位置を取得し、
前記各補助点組に対応する各実写補助点組を構成する実写補助点が略一直線上に配置されるような理想補助点の位置を与える補正式を求める
ことを特徴とする画像の歪み補正方法。
【請求項２】
前記歪曲補正図において、前記補助点が所定の面積を有する点であり、
前記実写歪曲補正画像において、実写補助点の位置が実写補助点を形成する複数の画素の重心である
ことを特徴とする請求項１に記載の画像の歪み補正方法。
【請求項３】
前記歪曲補正図において、前記補助点が格子点状に配置されている
ことを特徴とする請求項１又は２に記載の画像の歪み補正方法。
【請求項４】
下記数式１乃至数式４においてパラメータA及びBを決定することにより前記補正式とし、
歪み補正前の画像における画素の座標（x,y）から、歪み補正後の座標（x0,y0）を該補正式によって求めることにより、画像の歪みを補正する
ことを特徴とする請求項１〜３のいずれかに記載の画像の歪み補正方法。
【数１】
2006059270.tif 000007
【数２】
2006059270.tif 000008
【数３】
2006059270.tif 000009
【数４】
2006059270.tif 000010
ここで、
F：レンズの焦点距離
θ：レンズの中心点と補正前の画素の座標を結ぶ直線が光軸となす角度
θ0：レンズの中心点と補正後の画素の座標を結ぶ直線が光軸となす角度
A、B：パラメータ
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、カメラによって撮影された画像の歪みを補正する方法、特にカメラのレンズの歪曲収差に起因する歪みの補正に関する。なお、本発明における画像とは、複数の画素が二次元平面上に配列されることにより構成されるデジタル静止画像又はデジタル動画のことを指す。
【背景技術】
【０００２】
近年、デジタルカメラ等によって撮影された画像のデータを処理解析することにより、被写体の寸法を計測したり、物体や人物を照合する技術が開発されている。画像に基づいた解析であれば、直接計測できない物体の長さ等を安全且つ迅速に計測することが可能であり、また、照合等の技術分野においては、従来であれば人力に頼るしかなく、手間を要していた照合作業が自動化されるため、極めて短時間で結果を得ることが可能である。
【０００３】
しかし、カメラによって撮影された画像を用いて上記のような解析を行う場合、カメラのレンズに存在する歪みが問題となる。レンズに歪みが存在すれば、レンズを通して撮影された画像は、実際の被写体と相似形にはならず、歪みを有してしまう。この歪みの主要な原因として、ディストーションとも呼ばれるレンズの歪曲収差があり、これは、レンズ中心部よりもレンズの周辺部分において歪みが大きくなる傾向を有する。レンズに歪曲収差があると、撮影された画像における被写体の像が現実の被写体の像の形状と異なるため、長さ等の数値や正しい解析結果を得ることができなくなる。特に、ある対象に対して画像照合を行う場合には、人間の目では明らかに同一又は異なると判断可能な、ごく僅かな程度にしか画像の歪みや画素位置のずれが存在しなかったとしても、コンピュータに自動的に異同識別を行わせる時には、識別を誤らせることになり、不都合である。従って、この歪曲収差は可能な限り補正され、除去されることが望ましい。
【０００４】
歪曲収差を除去するためには、歪曲収差の小さなレンズを使用すればよいが、このようなレンズは高価であるという問題がある。または、複数枚のレンズ構成とすることにより、歪曲収差を補正することも可能である。しかし、これには単レンズのカメラと比較して高価になるだけでなく、サイズや重量が増加してしまうという問題がある。
【０００５】
そこで、レンズを通して撮影され、取得された画像が、歪みの存在しない、現実の被写体と相似形である理想画像となるように画像処理をし、歪曲収差を補正する技術が開発されてきた。この画像処理による歪曲収差補正は、一般に、複数の格子点や多角形の頂点等の点に基づき、レンズ固有の歪み特性を表す歪曲収差補正式を得て行う。そして、この格子点や多角形の頂点等の座標値に基づいて歪曲補正式を得る場合には、歪みが存在しないとする補正後の理想座標値の設定が重要である。この理想座標値を適切に決定すれば、歪みを有する画像を構成する各画素を、理想的な位置に移動させることにより、画像全体の歪みを修正することが可能な補正式を得ることができる。このような補正式の一例として、非特許文献１では、ピンホールカメラモデルを用い、歪み補正を幾何学変換と考えて得る補正式が提案されている。
【０００６】
従来の補正方法の例として、特許文献１では、像計測における計測精度を向上させることを目的とする、歪曲収差の補正方法に関する技術が開示されている。座標値が既知である複数のターゲットマークが表示されたキャリブレーション板をデジタルカメラにより撮影し、取得した撮影画像の計測座標値と、既知である座標値とに基づいて多次元補正式を求め、補正を行う。
【０００７】
上記特許文献１では、ターゲットマークの座標値が既知であるとしている。しかし、ターゲットマークを撮影した後、撮像画面上の像高計測値と実測に基づく像高座標値とを比較する時に、これらの値は同一の座標系においてでなければ比較することができないため、画素単位で得られる撮影画面上の像高計測値を実際の長さに、またはその逆に変換しなければならない。この変換は、例えば、撮影画面のターゲットマークを構成する画素数と、既知の座標値との関係に基づいて行われるが、撮影画面には歪みが存在しているため、撮影画像の座標値を実測の座標系へ換算する時に誤差が含まれてしまう。
【０００８】
このように、画像の歪み補正方法は従来より各種提案されてきたが、いずれも理想座標値の設定が煩雑であったり、補正の精度が低かったりするという課題があった。そこで、本願発明者は本願に先立って出願した特許文献２において、これらの両課題を解決して補正を有効に行う手法を開示した。この技術は、等間隔に配置された複数の格子点及び中央に配置された円を有する歪曲補正図を撮影して歪曲補正画像をデジタルデータとして取得し、その中心円の径を基準とすることにより、等間隔に配置された各格子点の理想の位置を適切に決定し、歪み補正を行う。この技術を用いることにより、適切な理想格子点の位置を簡便に設定することができ、画像の歪み補正を高精度で行うことが可能となる。
【０００９】
【特許文献１】特開2001-133223号公報（[0008]）
【特許文献２】特願2004-191078号
【非特許文献１】関海克,他2名,「画像処理による歪曲収差補正とパノラマ画像」"Ricoh Technical Report No.23,SEPTEMBER,1997", pp.47-49.
【発明の開示】
【発明が解決しようとする課題】
【００１０】
特許文献２に記載の発明では、歪曲補正図の格子点が等間隔に配置されているという拘束条件を保持するために、歪曲補正図を撮影する時に、カメラのレンズの光軸とカメラの正面に配置される歪曲補正図の中央から立てた法線が一致するように調整を行う。しかし、この調整は厳密に行わなければならないため、作業に一定の時間や手間が必要とされる。
【００１１】
そこで、本発明が解決しようとする課題は、歪曲補正図の撮影時に、レンズの光軸と歪曲補正図の法線とを一致させる調整を厳密に行うことなく、高精度の歪曲補正を行うことを可能とする画像の歪み補正方法を提供することである。
【課題を解決するための手段】
【００１２】
上記課題を解決するために、本願発明者は、歪曲補正図がレンズの光軸に対して傾いて撮影されたとしても、歪曲補正図において一直線上に描かれた補助点は、歪みが補正された画像においては一直線上に配置されることを条件として各補助点の理想の位置を適切に決定し、歪み補正を高精度で行うことに想到した。
【００１３】
この条件について図６を用いて説明する。真正面から見ると図６（Ａ）のように複数の直線が描かれた図を、歪みが存在しない理想的なレンズを用いて撮影する場合を考える。この図の中央から立てた法線がレンズの光軸と一致するように配置される場合には、図６（Ａ）のような画像が取得される。一方、図の中央から立てた法線がレンズの光軸と一致しない場合、すなわち図が傾いて配置された場合には、例えば図６（Ｂ）のような画像が取得される。本例では、図の中心に対して上側が手前に（すなわち下側が奥に）、図の左側が手前に（すなわち右側が奥に）傾いて配置されている。しかし、図６（Ｂ）の各直線は図６（Ａ）に描かれた直線と比較して傾きは変化しているが、いずれも曲線になることなく直線性を保持している。このことより、歪曲補正図が光軸に対して垂直に配置されず、傾いた状態で撮影されたとしても、歪曲補正図で直線性を有しているものは、歪みが存在しない理想画像においても直線性を保持することがわかる。
【００１４】
このような考察に基づいてなされた本発明に係る画像の歪み補正方法は、直線上に配置される３点以上の補助点からなる補助点組をそれぞれ異なる直線上に複数組有する歪曲補正図をカメラで撮影することにより実写歪曲補正画像を取得し、該実写歪曲補正画像において、前記各補助点に対応する画像上の点である各実写補助点の重心位置を取得し、前記各補助点組に対応する各実写補助点組を構成する実写補助点が略一直線上に配置されるような理想補助点の重心位置を与える補正式を求めることを特徴とする。
【００１５】
なお、本発明に係る歪み補正は、レンズが光軸に関して軸対称であり、同様に歪曲収差も光軸に関して対称であると仮定する。すなわち、歪曲収差は中心からの距離にのみ依存するものとする。そして、本発明に係る補正式は、レンズ固有のものであるため、一度補正式を算出すれば、以後は常にその補正式を適用することができる。
【発明の効果】
【００１６】
本発明に係る画像の歪み補正方法によれば、歪曲補正図がレンズ光軸に対して垂直に配置されていない状態で歪曲補正図を撮影しても、歪曲補正画像において適切な理想補助点の位置を簡便に設定することができ、しかも画像の歪み補正精度はほとんど低下しない。従って、厳密な調整が必要であった作業を省略することができるため、従来の補正方法と比較して、時間や手間を大幅に短縮することができるという効果を得ることができる。
【発明を実施するための最良の形態】
【００１７】
以下、本発明に係る画像の歪み補正方法に関して説明を行う。なお、本発明では、歪曲補正図を撮影して得られる画像を実写歪曲補正画像とし、実写歪曲補正画像における補助点を実写補助点と呼ぶ。また、補正後の歪みがない理想画像における補助点を理想補助点と呼ぶ。更に、歪曲補正図における補助点組に対応する、実写歪曲補正画像における実写補助点の組を実写補助点組と呼ぶ。
【００１８】
まず、歪曲補正図について説明する。歪曲補正図には、複数の補助点が描かれる。そして、歪曲補正図には描かれない複数の直線の各直線上毎に、少なくとも３つの補助点からなる補助点組が形成されるように歪曲補正図が構成される。また、１個の補助点が複数の補助点組に属しても構わない。図１は本発明に係る歪曲補正図の一例である。この歪曲補正図１には、複数の補助点P11、P12、…P67が格子点状に配置されており、水平方向及び垂直方向に複数の補助点組を構成する。この歪曲補正図１においては、水平方向に一直線上に配置される複数の補助点組であるP11、P12、…、P17や、P21、P22、…、P27等を水平方向補助点組とし、垂直方向に一直線上に配置される複数の補助点組であるP11、P21、…、P61等を、垂直方向補助点組とする。すなわち、各補助点は水平方向補助点組及び垂直方向補助点組の両方に属することになる。歪曲補正図１における各補助点の水平方向と垂直方向の間隔比はa:bであるが、全ての補助点が一定間隔比を有するように配置される必要はなく、補助点の間隔が一定でなくても構わない。
【００１９】
補助点は、歪曲補正画像において各補助点の位置を特定することができれば、線分の交点等、いかなるものでも利用することが可能であるが、好適には、実写補助点が複数の画素により構成されるような、所定の面積を有する点とすることができる。この場合、このような補助点を点として扱うために、補助点を形成する複数の画素の重心を補助点の位置とする。また、補助点は大きくなるとその点自体に歪みを多く含むことになるため、実写歪曲補正画像において重心位置を取得することが可能な程度の大きさとする。例えば、画像全体の大きさが480×640画素（すなわち307200画素）の場合、実写補助点が60〜100画素で構成される程度が好適である。また、歪曲補正図に含まれる補助点の数は、多いほど補正の精度が向上するが、同時に演算時間が増加するため、画像データの大きさや、処理装置の能力等に応じて適宜決定する。
【００２０】
上記のように構成された歪曲補正図をカメラで撮影する。歪曲補正図がカメラのレンズ光軸に対して垂直である必要はなく、歪曲補正図がいずれの方向に傾きを有していても構わない。また、レンズ光軸が歪曲補正図の中央を通過していなくても構わない。
【００２１】
レンズの光学設計の中心とCCD等の受光素子の中心が一致していないことがある。この補正を行うためには、歪曲補正図の中央に所定の面積を有する中心円を描いておき、カメラのレンズの光軸が、歪曲補正図の中央（つまり、中心円の中心）を通過するように調節を行い、その後撮影を行う。この中心円は補助点の一つであってもよい。そして、実写歪曲補正画像において、実写中心円の重心が受光素子の中心、すなわち座標系の原点となるように画像全体を平行移動することにより、実写歪曲補正画像の座標を補正する。
【００２２】
こうして座標系が適切に補正された実写歪曲補正画像において、実写補助点D11、D12、…の重心座標を取得する。
【００２３】
図２は歪曲補正図１が、カメラの光軸に対して垂直ではなく、右側が光軸方向奥側へ傾いた状態で撮影された場合の実写歪曲補正画像２において、実写補助点D11、D12、…上に理想補助点Q11、Q12、…を重ね合わせたものである（図２において補助点同士を結ぶ直線は、実写歪曲補正画像及び理想補助点の構成要素ではない。）。
【００２４】
歪曲補正図に描かれた直線は、撮影時に歪曲補正図がいかなる方向に傾いていたとしても、歪みが補正された後の理想画像において直線となる。この条件に基づき、全ての実写補助点組において、各組を構成する実写補助点D11、D12、…が一直線上に配置されるような理想補助点Q11、Q12、…の理想座標値を与える式を得れば、その式に基づき、実写画像から、歪曲収差を除去した各画素の理想とする座標を求めることができ、歪みが補正された画像を作成することができる。
【００２５】
本発明においては、この歪曲補正式は、上記非特許文献１で提案されている以下の数式１〜４を好適に用いることができる。
【数１】
2006059270.tif 000003
【数２】
2006059270.tif 000004
【数３】
2006059270.tif 000005
【数４】
2006059270.tif 000006
ここで、
F：レンズの焦点距離
θ：レンズの中心点と補正前の画素の座標を結ぶ直線が光軸となす角度
θ0：レンズの中心点と補正後の画素の座標を結ぶ直線が光軸となす角度
A、B：パラメータ
【００２６】
上記数式１〜４について、ピンホールカメラのモデル図である図４に基づき説明する。Cはピンホールカメラのピンホール点であり、Pは三次元空間における物点である。Pd、P0はそれぞれ、実写であり歪みがある場合と、理想であり歪みがない場合のPの結像点であり、それらと光軸（Z軸）となす角度をθ及びθ0とする。そして、レンズの歪曲収差を数式１の多項式でモデル化し、歪曲補正式とする。また、数式２〜４は図３に描かれたモデル図の幾何学的特徴によって明らかに成立する関係式である。すなわち、数式１〜４において、数式１のパラメータA及びBが適切に決定されれば、歪曲補正式を得ることができる。この二個のパラメータの求め方については後述する。
【００２７】
数式１〜４を用い、次のようにして画像の歪曲補正を行う。まず、歪曲収差を有する画像において、ある画素の座標が（x,y）であるとき、これらx、yを数式２に代入し、θを得る。このθを数式１に代入すれば、θ0の値が求まる。そして、このθ0及びx、yの値を数式３、４にそれぞれ代入することにより、補正後の座標である（x0,y0）が決定される。この操作を画像の全画素に関して行うことにより、歪曲収差が補正された画像を得ることができる。理想座標値が整数とならない場合には、ニアレストネイバー法、バイリニア法、バイキュービック法等による画素補完を行うことにより、各画素の輝度を決定する。画像がカラー画像の場合には、各画素毎に色情報も含めて補完を行う。
【実施例】
【００２８】
以下、実施例として補正式の求め方について具体的に説明する。ピンホールカメラモデルに基づき決定された数式２〜４、及び歪曲収差をモデル化した数式１を用いて歪曲収差補正を行う。数式１のパラメータA、Bの決定方法の一例について説明する。本例では、水平方向×垂直方向に7×6個の補助点が描かれた歪曲補正図１を使用するものとする。なお、本実施例では以下、歪曲補正図１において水平方向に一直線上に配置されているP11、P12、…、P67やP21、P22、…、P27等の補助点組を水平方向補助点組と呼び、垂直方向に一直線上に配置されているP11、P21、…、P61やP12、P22、…、P62等の補助点組を垂直方向補助点組と呼ぶ。図５にA、Bの決定方法のフローチャートを示す。
【００２９】
まず、実写歪曲補正画像２において、実写補助点D11、D12、…、D67の各重心座標を取得する（ステップＳ１０）。
【００３０】
以後行う演算の実行回数を設定する（ステップＳ１１）。この実行回数を多くすれば、より適切なA、Bの値が得られる可能性が増すため、可能な限り多く設定することが望ましいが、演算時間等によって適宜決定すればよい。
【００３１】
適当な値のパラメータA、Bの組をステップＳ１１で設定した実行回数個設定し、数式１に代入する（ステップＳ１２）。これらのパラメータ値は自動的に設定されるようにしてもよいし、作業者が任意の値を設定することもできる。レンズの焦点距離Fは既知であり、実写補助点D11、D12、…、D67の各重心座標のx、y値はステップＳ１０において既知であるので、これらを数式２に代入することにより、θの値を得ることができる。このθを数式１に代入してθ0を求め、数式３、４を用いて補正された全実写補助点（以下、補正補助点とする）R11、R12、…、R67の座標値x0、y0を算出する（ステップＳ１３）。
【００３２】
Ｓ１３において得られた補正補助点の各水平方向補助点組及び各垂直方向補助点組において、回帰直線を求める（ステップＳ１４）。そして、前記各組において各補正補助点とその回帰直線との距離の二乗の和を求める。次に、これら全組の距離の二乗の総和を算出し、その総和を保存する（ステップＳ１５）。
【００３３】
上記Ｓ１４及びＳ１５の処理の一例について説明する。まず、水平方向補正補助点組の一つであるR11、R12、…、R17に関して、これらの補正補助点の回帰直線M1を求める（図３（Ａ））。回帰直線の算出方法として、ここでは最小二乗法を用いる。これらのR11、R12、…、R17の各点から回帰直線M1へ降ろした垂線の距離をそれぞれ求め、それらの距離の二乗の和であるdM1を算出する。残りの5つの水平方向補正補助点組のそれぞれについてもM2〜M6を求め、これらに基づき距離の二乗の和dM2〜dM6を求める。垂直方向に関しても同様に、まず垂直方向補正補助点組の一つであるR11、R21、…、R61の回帰直線L1を求め（図３（Ｂ））、R11、R21、…、R61からL1に降ろした垂線の距離の二乗の和であるdL1を求める。残りの6つの垂直方向補正補助点組のそれぞれについても、L2〜L7を求め、これらに基づき距離の二乗の和dL2〜dL7を求める。こうして求めたdM1〜dM6及びdL1〜dL7の総和を算出し、保存する。
【００３４】
設定回数に達するまで、新たな組のパラメータA、Bの値を数式２に与え、同様の処理を繰返す（ステップＳ１６）。
【００３５】
上記処理を設定回数実行した後、保存されている実行回数個の距離の二乗の総和のうち、最小の値を与えたA、Bの組を数式１のパラメータA、Bとして採用する（ステップＳ１７）。このときの補正補助点R11、R12、…、R67が、理想補助点Q11、Q12、…、Q67となる。そして、上述したように、実写画像を構成する各画素に対して補正式である数式１〜４を適用し、各画素の位置を理想の画素位置へ移動することにより、歪みが補正された画像を得ることができる。
【００３６】
また、補正式の精度を上げることを目的として、補正式において数式１の次数を上げた式を用いることもできる。この場合、パラメータの数が増加するが、上記と同様の決定方法を用いればパラメータ値の算出は可能である。
【図面の簡単な説明】
【００３７】
【図１】本発明に係る歪曲補正図の一例。
【図２】本発明に係る実写歪曲補正画像の一例。
【図３】本発明に係る（Ａ）水平方向補正補助点組の回帰直線及び（Ｂ）垂直方向補正補助点の回帰直線の一例。
【図４】ピンホールカメラのモデル図。
【図５】本発明に係る補正式のパラメータA、Bの決定方法のフローチャート。
【図６】歪曲補正図がレンズの光軸に対して（Ａ）垂直に配置された場合、及び（Ｂ）傾いて配置された場合の理想画像の一例。
【符号の説明】
【００３８】
１…歪曲補正図
２…実写歪曲補正画像
【図１】
2006059270.tif 000011
【図２】
2006059270.tif 000012
【図３】
2006059270.tif 000013
【図４】
2006059270.tif 000014
【図５】
2006059270.tif 000015
【図６】
2006059270.tif 000016