(57)【要約】【課題】歪み画像補正装置及び歪み画像補正方法において、画像の端部を含めて画像全体の歪みを補正することにある。【解決手段】歪み画像補正装置（１）の画像処理手段（３）は、歪みの無い画像の座標値に歪み補正係数（Ｋ’）を乗じて撮像手段（２）で撮像したカメラ画像座標値（ｕ’、ｖ’）を対応させ、この歪みのあるカメラ画像座標値（ｕ’、ｖ’）の画素を歪み補正画像座標値（ｕ、ｖ）の画素とする処理を歪み補正画像の全座標値に対して実行することにより画像の歪みを補正する歪み補正手段（３Ａ）を備えている。【選択図】図１
2011234100.tif 000002
【特許請求の範囲】
【請求項１】
撮像手段で撮像した画像の歪みを補正する歪み画像補正装置において、歪みの無い画像の座標値に歪み補正係数を乗じて前記撮像手段で撮像したカメラ画像座標値を対応させ、この歪みのあるカメラ画像座標値の画素を歪み補正画像座標値の画素とする処理を歪み補正画像の全座標値に対して実行することにより画像の歪みを補正する歪み補正手段を備え、この歪み補正手段により補正された画像を表示する表示手段を備えたことを特徴とする歪み画像補正装置。
【請求項２】
撮像手段で撮像した画像の歪みを補正する歪み画像補正方法において、歪みの無い画像の座標値に歪み補正係数を乗じて前記撮像手段で撮像したカメラ画像座標値を対応させ、この歪みのあるカメラ画像座標値の画素を歪み補正画像座標値の画素とする処理を歪み補正画像の全座標値に対して実行することにより画像の歪みを補正することを特徴とする歪み画像補正方法。
【発明の詳細な説明】
【技術分野】
【０００１】
この発明は、歪み画像補正装置及び歪み画像補正方法に係り、特に広角レンズを用いた撮像手段（カメラ）により撮像された画像の歪曲収差（ラジアルディストレーション）を補正して歪みのない画像に変換する歪み画像補正装置及び歪み画像補正方法に関する。
【背景技術】
【０００２】
広角レンズを用いた撮像手段（カメラ）を備えた歪み画像補正装置においては、広角レンズが歪曲収差を伴うので、撮影対象を正確に把握するために、歪曲収差を補正するための画像処理が必要となることから、撮像手段で撮像した画像の歪みを補正している。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００６−１２７０８３号公報
【特許文献２】特開２００９−１３０５４６号公報
【特許文献３】特開２００１−１３３２２３号公報
【０００４】
特許文献１に係る画像処理方法及び歪み画像処理装置は、撮像手段によって撮像した画像に対し、ＭＭＦモデルによって歪曲補正した画像を表示させるものである。
特許文献２に係る画像の歪曲補正方法は、円内に内包されると判断された画素位置について多項式近似による歪曲補正関数を適用して画像座標を得るとともに、円内に内包されないと判断された画素位置については対数式近似による歪曲補正関数を適用して画像座標を得るものである。
特許文献３に係る歪曲収差の補正方法は、歪曲収差率の補正曲線を予め求めておき、デジタルカメラにより計測対象物を撮像した際の計測値を補正曲線に当てはめて補正するものである。
【発明の概要】
【発明が解決しようとする課題】
【０００５】
ところで、従来、上記の特許文献１は、広角レンズの歪曲収差（ラジアルディストーション）による画像の歪みを補正するための手法として、ｎ次の多項式近似による補正方法を採用しているが、多項式の係数を求めるために、実寸法（三次元座標値）が既知のターゲットを撮影し、画像上の二次元座標値を抽出し、三次元座標値と二次元座標値の点群データを基に非線形最適化手法により各係数を推定している。このため、広角レンズの歪曲収差は歪みの度合いが大きく、また、中心部と周辺部とで歪みの度合いが異なるため、多項式近似の誤差が大きくなってしまい、精度の高い補正ができなかった。また、中心部のみのデータで近似した多項式では、周辺部の歪みを補正しきれなかった。更に、最小二乗法による多項式近似では、データを与えた領域外（補外）の推定（外挿）ができなかった。
また、上記の特許文献２は、データを与えられない領域の補正方法として、中心部は多項式近似で、周辺部は対数近似とする方法を採用し、画像の周辺部の歪み補正の精度を向上しているが、画像の端部の補正に誤差が残ってしまうという不都合があった。
【０００６】
即ち、歪み画像補正装置において、図７の広角レンズを用いた撮像手段（カメラ）と実空間の関係で示すように、三次元空間上の点（ｘｗ  、ｙｗ  、ｚｗ  ）と歪みの無いカメラ画像上の点（ｕ、ｖ）との関係は、三次元空間のワールド座標系（図７の（Ａ））とピンホールカメラモデルに基づいた撮像手段（カメラ）の焦点中心を原点とするカメラ座標系（図７の（Ｂ））との関係、及び、カメラ座標系（図７の（Ｂ））とカメラ画像上の画像座標系（図７の（Ｃ））との関係で表される。また、これらの関係は、［式１］、［式２］によって表される。
【０００７】
【数１】
2011234100.tif 000003
【０００８】
【数２】
2011234100.tif 000004
【０００９】
また、図８の像高と変動量との関係においては、光軸中心と歪み補正座標値（ｕ、ｖ）との間を像高Ｄとすると、カメラ画像座標値（ｕ’、ｖ’）が所定の変動量に移行した点となる。これらの関係は、以下の式によって表される。
ｕ’＝ｕ＋ｕ×（ｋ１  ×Ｒ＋ｋ２  ×Ｒ２  ＋ｋ３  ×Ｒ３  ）
ｖ’＝ｖ＋ｖ×（ｋ１  ×Ｒ＋ｋ２  ×Ｒ２  ＋ｋ３  ×Ｒ３  ）
Ｒ＝（ｘｃ  ／ｚｃ  ）２  ＋（ｙｃ  ／ｚｃ  ）２  
Ｋ＝ｋ１  ×Ｒ＋ｋ２  ×Ｒ２  ＋ｋ３  ×Ｒ３    …
とすると、 
ｕ’＝（１＋Ｋ）×ｕ 
ｖ’＝（１＋Ｋ）×ｖ 
となる。 
【００１０】
歪みの無い画像座標値（ｕ、ｖ）は、Ｚｃ＝１の正規化座標系の座標値（ｘｃ  ／ｚｃ  、ｙｃ  ／ｚｃ  ）に逆変換できる。
また、半径の二乗Ｒは、以下のように算出される。 
Ｒ＝（ｘｃ  ／ｚｃ  ）２  ＋（ｙｃ  ／ｚｃ  ）２  
【００１１】
図９では、カメラ画像の一例を示す。図１１では、画像の隅の歪みが補正できていなく、歪み補正画像の一例（縮小表示）を示す。
【００１２】
そして、歪み補正係数を求めるために、実寸法（三次元座標値）が既知のターゲットを撮影し、画像上の二次元座標値を抽出し、三次元座標値と二次元座標値との点群データを基に、非線形最適化手法により、撮像手段（カメラ）の内部パラメータ及び外部パラメータを含めた全係数を同時に推定する。
具体的に説明すると、実寸法（三次元座標値）が既知のターゲット（例えば、１辺が５００ｍｍのクロスカーペット）を設置し、撮像手段（カメラ）で撮影し、画像を取得する（図９参照）。
そして、画像上の二次元座標値（ｕ’、ｖ’）を複数抽出し、三次元座標値での原点を決め（例えば図１０の中央手前の点Ｐ）、及び、各点Ｑの三次元座標値（ｘｗ  、ｙｗ  、ｚｗ  ）を求める（図１０参照）。
その後、三次元座標値（ｘｗ  、ｙｗ  、ｚｗ  ）と二次元座標値（ｕ’、ｖ’）との点群データを求め、この点群データを用いて、非線形最適化手法により、撮像手段（カメラ）の内部パラメータ及び外部パラメータを推定する。
【００１３】
しかしながら、広角レンズの歪曲収差は歪みの度合いが大きく、また、画像の中心部と周辺部とで歪みの度合いが異なるため、多項式近似の誤差が大きくなってしまい、精度の高い補正ができない。
そして、画像の中心部のみのデータで近似した多項式では、周辺部の歪みを補正しきれない。また、最小二乗法による多項式近似では、データを与えた領域外（補外）の推定（外挿）はできない。
そこで、上記の特許文献２では、データを与えられない領域の補正方法として、中心部は多項式近似で、周辺部は対数近似とする方法を採用している。
しかし、この方法では、画像の周辺部の精度が向上できるが、図１１に示すように、画像の端部で補正が困難で、この端部に補正の誤差が残ってしまうという不具合があった。
【００１４】
また、図１２に示すように、画面全体の点（三角点）を使うと、歪み係数の多項式近似のフィッティング（曲線）が悪く、非線形最適化によるパラメータの推定ができない。
そこで、半径の二乗Ｒが一定値（図１２では約３以下）の点（四角点）のみを使用することにより、キャリブレーションを行った場合に、画像の中心部では歪みを補正できるが、画像の周辺部（図１２では約５以上）では、近似曲線が正解値から大きくはずれてしまうため、正しい補正ができない（図１３参照）。
このため、対策として、図１４〜図１５に示すように、中心部を多項式近似（例えばＲ＜１．０）で、周辺部を対数近似（例えば１．０≦Ｒ）で行う手法を、上記の特許文献２では採用している。
このように、対数近似を用いることで、周辺部の歪み補正の精度が向上したが、画像の４隅の端部の歪みを完全に補正できなかった。
【００１５】
そこで、この発明の目的は、画像の端部を含めて画像全体の歪みを補正できる歪み画像補正装置及び歪み画像補正方法を提供することにある。
【課題を解決するための手段】
【００１６】
この発明は、撮像手段で撮像した画像の歪みを補正する歪み画像補正装置において、歪みの無い画像の座標値に歪み補正係数を乗じて前記撮像手段で撮像したカメラ画像座標値を対応させ、この歪みのあるカメラ画像座標値の画素を歪み補正画像座標値の画素とする処理を歪み補正画像の全座標値に対して実行することにより画像の歪みを補正する歪み補正手段を備え、この歪み補正手段により補正された画像を表示する表示手段を備えたことを特徴とする。
【発明の効果】
【００１７】
この発明の歪み画像補正装置及び歪み画像補正方法は、歪みのあるカメラ画像座標値の画素を歪み補正画像座標値の画素とする処理を歪み補正画像の全座標値に対して実行して、画像の端部を含めて画像全体の歪みを補正できる。
【図面の簡単な説明】
【００１８】
【図１】図１は歪み画像補正装置のシステム構成図である（実施例）
【図２】図２はカメラキャリブレーションのフローチャートである。（実施例）
【図３】図３は画像変換のフローチャートである。（実施例）
【図４】図４は半径の二乗Ｒと歪み補正係数Ｋ’との関係を示す図である。（実施例）
【図５】図５は逆数の多項式近似での画像の一例を示す図である。（実施例）
【図６】図６は逆数の多項式近似の画像を俯瞰画像に変換した例で、隅の領域の歪み補正の精度が向上している状態を示す図である。（実施例）
【図７】図７は撮像手段（カメラ）と実空間の座標系の関係を示す図である（従来例）。
【図８】図８は像高（Ｄ）と変動量との関係を示す図である（従来例）
【図９】図９は撮像画像（カメラ画像）の一例を示す図である（従来例）。
【図１０】図１０は点群データを求める画像の一例を示す図である（従来例）。
【図１１】図１１は画像の隅の歪みが補正されていない歪み補正画像の一例を示す図である（従来例）。
【図１２】図１２は多項式近似での半径の二乗Ｒと歪み補正係数Ｋとの関係を示す図である。（従来例）
【図１３】図１３は多項式近似で画像を俯瞰画像に変換した一例を示す図である。（従来例）
【図１４】図１４は中心部が多項式近似で、周辺部を対数近似での半径の二乗Ｒと歪み係数Ｋとの関係を示す図である。（従来例）
【図１５】図１５は中心部が多項式近似で、周辺部を対数近似での画像の一例を示す図である。（従来例）
【図１６】図１６は対数近似での画像の一例を示す図である。（従来例）
【図１７】図１７は対数近似での画像の一例を示す図である。（従来例）
【発明を実施するための形態】
【００１９】
この発明は、画像の端部を含めて画像全体の歪みを補正する目的を、歪みのあるカメラ画像座標値の画素を歪み補正画像座標値の画素とする処理を歪み補正画像の全座標値に対して実行することで実現するものである。
【実施例】
【００２０】
図１〜図６は、この発明の実施例を示すものである。 
図１において、１は車両に搭載された歪み画像補正装置である。 
この歪み画像補正装置１は、広角レンズを備えた撮像手段（カメラ）２と、この撮像手段２で撮像した画像の歪みを補正する画像処理手段３と、この画像処理手段３で補正された画像を表示する表示手段４とを備える。
この歪み画像補正装置１においては、上述の背景技術で説明した図７の撮像手段２と実空間との関係、図８の像高Ｄと変動量との関係、図９の撮像画像（カメラ画像）が同様なので、ここではその詳細な説明を省略する。
画像処理手段３は、歪みの無い画像の座標値に歪み補正係数（Ｋ’）を乗じて撮像手段２で撮像したカメラ画像座標値を対応させ、この歪みのあるカメラ画像座標値（ｕ’、ｖ’）の画素を歪み補正画像座標値（歪みの無い画像座標値）（ｕ、ｖ）の画素とする処理を歪み補正画像の全座標値に対して実行することにより画像の歪みを補正する歪み補正手段３Ａと、この歪み補正手段３Ａに連絡する歪み補正係数設定手段３Ｂとを備え、歪み補正手段３Ａにより補正された画像を表示手段４に表示させる。
【００２１】
この実施例においては、関数ｆ（ｘ）が多項式で近似できる場合の前提として、ｘが無限大のときに、関数ｆ（ｘ）も無限大に発散するという条件がある。
図１４の三角点を見ると、ｘが大きくなると、歪み補正係数Ｋの値は、一定値に収束するように見える。なお、図１４では、ｘは横軸、ｙは縦軸を表す。
そこで、図４において、ｘ→∞で、Ｋ’→∞となるように変換すれば、多項式近似が可能となる。 
この図１４を逆数で表し、画像座標値（ｕ、ｖ）と二次元座標値（ｕ’、ｖ’）の変換を考慮して＋１とし、切片＝１とした。 
ここで、 
Ｋ’＝１／１＋Ｋ 
Ｋ’＝（Ｄ−Ｄ’）／Ｄ’である。 
また、Ｄは、歪みのない補正画像座標値の像高である。Ｄ’は、歪みのあるカメラ補正画像座標値の像高である。 
逆数で表した結果を多項式近似した結果、図４のような簡単な三次の多項式のみで全領域を精度良く近似することが可能になった。
【００２２】
つまり、従来では、Ｋ＝（Ｄ’−Ｄ）／Ｄであったものを、この実施例においては、Ｋ’＝（Ｄ−Ｄ’）／Ｄ’で表した。なお、Ｋを算出してから歪み補正係数を算出したが、Ｄ及びＤ’から直接Ｋ’を求めることで、演算処理を簡単にできる。
【００２３】
従来では、歪み補正の計算方法は、以下のように行われていた。 
ｕ’＝ｕ＋ｕ×（ｋ１  ×Ｒ＋ｋ２  ×Ｒ２  ＋ｋ３  ×Ｒ３  ）
ｖ’＝ｖ＋ｖ×（ｋ１  ×Ｒ＋ｋ２  ×Ｒ２  ＋ｋ３  ×Ｒ３  ）
Ｒ＝（ｘｃ  ／ｚｃ  ）２  ＋（ｙｃ  ／ｚｃ  ）２  
Ｋ＝ｋ１  ×Ｒ＋ｋ２  ×Ｒ２  ＋ｋ３  ×Ｒ３    …
とすると、 
ｕ’＝（１＋Ｋ）×ｕ 
ｖ’＝（１＋Ｋ）×ｖ 
となる。 
【００２４】
これに対し、この実施例においては、歪みの無い画像座標値（ｕ、ｖ）は、Ｚｃ＝１の正規化座標系の座標値（ｘｃ  ／ｚｃ  、ｙｃ  ／ｚｃ  ）に逆変換する。
また、半径の二乗Ｒは、以下のように算出される。 
Ｒ＝（ｘｃ  ／ｚｃ  ）２  ＋（ｙｃ  ／ｚｃ  ）２  
そして、歪みのない画像の座標値（ｕ、ｖ）を、歪みのあるカメラ画像の座標値（ｕ’、ｖ’）へ変換する際に用いる歪み補正係数Ｋに１を追加し（Ｋ＋１）を、逆数とする。これは、以下のように表される。
Ｋ＝ｋ１  ＊  Ｒ＋ｋ２  ＊  Ｒ２  ＋ｋ３  ＊  Ｒ３    …
とすると、 
Ｋ’＝１／（１＋Ｋ） 
ｕ’＝Ｋ’×ｕ 
ｖ’＝Ｋ’×ｖ 
となる。 
【００２５】
次に、カメラキャリブレーション（内部パラメータ及び外部パラメータの推定）においては、歪みのあるカメラ画像から抽出した歪みのある二次元座標値（ｕ’、ｖ’）と対応する三次元座標値（ｘｗ  、ｙｗ  、ｚｗ  ）の点群データを使用して、三次元座標値（ｘｗ  、ｙｗ  、ｚｗ  ）を歪みのない二次元座標値（ｕ、ｖ）に変換する内部パラメータ及び外部パラメータ、歪みのない二次元座標値（ｕ、ｖ）を歪みのある二次元座標値（ｕ’、ｖ’）に変換する歪み補正係数Ｋ’（＝１／１＋Ｋ）を、非線形最適手法で推定する。
このカメラキャリブレーションについては、図２のフローチャートに基づいて説明する。 
図２に示すように、カメラキャリブレーション（パラメータの推定）のプログラムがスタートとすると（ステップＡ０１）、ターゲットの設置を行い（ステップＡ０２）、ターゲットの撮影を行い（ステップＡ０３）、ターゲットの二次元座標値（ｕ’、ｖ’）を抽出し（ステップＡ０４）、そして、ターゲットの三次元座標値（ｘｗ  、ｙｗ  、ｚｗ  ）を決定し（ステップＡ０５）、内部のパラメータ及び外部のパラメータ、歪み補正係数Ｋ’を推定し（ステップＡ０６）、プログラムをエンドとする（ステップＡ０７）。
【００２６】
また、画像変換においては、歪みのない画像の座標値（ｕ、ｖ）から歪みのあるカメラ画像二次元座標値（ｕ’、ｖ’）に変換する。
この場合、座標の変換は、歪みのない画像の座標値（ｕ、ｖ）から歪みのあるカメラ画像二次元座標値（ｕ’、ｖ’）の方向の計算のみであるため、歪みのない画像の座標値（ｕ、ｖ）に対応する歪みのある二次元座標値（ｕ’、ｖ’）を求めてから画像を変換する。
この画像変換について、図３のフローチャートに基づいて説明する。 
図３に示すように、画像変換のプログラムがスタートすると（ステップＢ０１）、歪み補正画像の開始座標値（ｖ）の指定を行い（ｖ＝１）（ステップＢ０２）、歪み補正画像の開始座標値（ｕ）の指定を行い（ｕ＝１）（ステップＢ０３）、歪み補正画像の座標値（ｕ、ｖ）から歪みのあるカメラ画像の二次元座標値（ｕ’、ｖ’）を計算し（ステップＢ０４）、歪みのある二次元座標値（ｕ’、ｖ’）の画素を、歪み補正画像の座標値（ｕ、ｖ）にセットし（ステップＢ０５）、歪み補正画像の座標値（ｕ）が最終位置（ｕ＝ｕｍａｘ）か否かを判断する（ステップＢ０６）。
このステップＢ０６がＮＯの場合には、歪み補正画像の座標値（ｕ）をｕ＋１とし（ステップＢ０７）、前記ステップＢ０４に戻す。
このステップＢ０６がＹＥＳの場合には、歪み補正画像の座標値（ｖ）が最終位置（ｖ＝ｖｍａｘ）か否かを判断する（ステップＢ０８）。
このステップＢ０８がＮＯの場合には、歪み補正画像の座標値（ｖ）をｖ＋１とし（ステップＢ０９）、前記ステップＢ０３に戻す。
このステップＢ０８がＹＥＳの場合には、プログラムをエンドとする（ステップＢ１０）。 
【００２７】
この結果、従来では、広角レンズの歪曲収差に起因する画像の歪みを補正しても、画像の端部に歪みが残っていたが、この実施例においては、歪みの無い画像の座標値に歪み補正係数（Ｋ’）を乗じて撮像手段２で撮像したカメラ画像座標値（ｕ’、ｖ’）を対応させ、この歪みのあるカメラ画像座標値（ｕ’、ｖ’）の画素を歪み補正画像座標値（ｕ、ｖ）の画素とする処理を歪み補正画像の全座標値に対して実行することにより画像の歪みを補正することから、画像の端部を含めて画像全体の歪みを補正することができる。
【産業上の利用可能性】
【００２８】
この発明の歪み画像補正装置は、他の運転支援装置等と併用して各種車両に適用できる。 
【符号の説明】
【００２９】
１  歪み画像補正装置 
２  撮像手段 
３  画像処理手段 
３Ａ  歪み補正手段 
３Ｂ  歪み補正係数設定手段 
４  表示手段 
【図１】
2011234100.tif 000005
【図２】
2011234100.tif 000006
【図３】
2011234100.tif 000007
【図４】
2011234100.tif 000008
【図５】
2011234100.tif 000009
【図６】
2011234100.tif 000010
【図７】
2011234100.tif 000011
【図８】
2011234100.tif 000012
【図９】
2011234100.tif 000013
【図１０】
2011234100.tif 000014
【図１１】
2011234100.tif 000015
【図１２】
2011234100.tif 000016
【図１３】
2011234100.tif 000017
【図１４】
2011234100.tif 000018
【図１５】
2011234100.tif 000019
【図１６】
2011234100.tif 000020
【図１７】
2011234100.tif 000021