(57)【特許請求の範囲】
【請求項１】
歪曲のあるレンズを用いたカメラで撮影した画像の歪曲を補正する歪曲補正方法において、
歪曲補正関数の係数の推定に使用するターゲットが前記画像面に投影された領域を包含する前記カメラの光軸と前記画像面との交点を中心とする円に内包される領域では、非線形最小二乗法によって係数を求めた多項式近似による歪曲補正関数を適用して画像の歪曲を補正し、
前記円に内包されない領域では、最小二乗法によって係数を求めた対数式近似による歪曲補正関数を適用して画像の歪曲を補正することを特徴とする画像の歪曲補正方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、歪曲収差のあるレンズを用いたカメラによって撮影された画像について、歪曲を補正する画像の歪曲補正方法に関する。
【背景技術】
【０００２】
一般的に、広角レンズを用いたカメラによって撮影した画像は歪曲を伴うので、撮影対象を正確に把握するには、歪曲を補正するための画像処理が必要となる。例えば、自動車の後方や側方等の視界を車室内で表示する種々の装置が提案され、市販されている。このような装置では、表示画像を見やすくするために種々の対策が講じられている。カメラに広角レンズが用いられている場合には、表示画像は歪曲を伴うため、これに対する対策が必要となる。例えば、駐車支援装置に関し、駐車案内のために自車の走行予想軌跡を撮影画像に重畳して表示する通称バックガイドモニタが市販されている。この中には、表示装置上に描画する走行予想軌跡の位置および形状を、レンズの歪曲特性に合わせて意図的に歪ませるように処理する装置もある。
【０００３】
このような装置に関連し、特許文献１には、車両の予想軌跡表示装置が開示されており、広角レンズによる歪曲を補正する方法が魚眼変換として提案されている。
【０００４】
また、特許文献２には、画像の歪曲を補正する方法が開示されており、歪曲補正関数としてｎ次のテイラー展開、すなわち、多項式近似による方法が提案されている。
【０００５】
さらに、特許文献３には、広角レンズを用いたカメラで撮影した画像の歪曲を補正する方法が開示されており、歪曲補正関数としてＭｏｒｇａｎ、ＭｅｒｃｅｒおよびＦｌｏｄｉｎの頭文字から成るＭＭＦモデル（Ｍｏｒｇａｎ−Ｍｅｒｃｅｒ−Ｆｌｏｄｉｎモデル）による方法が提案されている。
【０００６】
多項式近似による歪曲補正関数の係数は、実寸法（３次元座標値）が既知のターゲット（教示点）を配置した空間をカメラによって撮影し、この撮影した画像に投影されたターゲットの２次元座標値を抽出し、３次元座標値と２次元座標値とを対応付けた点群データをもとに非線形最適化手法によって推定する。
【特許文献１】特開昭６４−１４７００号公報
【特許文献２】特開２００１−１３３２２３号公報
【特許文献３】特開２００６−１２７０８３号公報
【発明の開示】
【発明が解決しようとする課題】
【０００７】
特許文献１では、指数関数により広角レンズの歪曲特性をモデル化しているが、非球面で作られたレンズの特性を精度よく補正することには言及されていない。また、実際のレンズの歪曲特性に対し精度よく画像の歪曲を補正する方法については開示されていない。
【０００８】
特許文献２、３では、３次元座標値が既知のターゲットを配置した空間と、この空間を撮影した画像から抽出したターゲットの２次元座標値との点群データをもとに非線形最適化手法を用いて歪曲補正関数の係数の推定している。
【０００９】
しかし、広角レンズを用いたカメラは視野角が広いため、撮影する空間全体にターゲットを配置して画像を撮影することは困難である。すなわち、広角レンズを用いたカメラで撮影した画像では、ターゲットの存在する空間が画像の中央部に偏り、歪曲補正関数の係数の推定に用いる点群データも画像の中央部に偏ることになる。また、撮影する空間全体にターゲットを配置した画像を撮影して、画像の周辺部における点群データを得ることが出来たとしても、広角レンズでは歪曲収差が大きいため、歪曲補正関数の係数の推定に当たり解の収束が得られない場合がある。そうすると、歪曲補正関数の係数の推定に用いる点群データは、画像の中央部に偏ることになる。
【００１０】
特許文献２、３では、多項式近似による歪曲補正関数について、多項式の係数の推定に用いられる点群データが存する領域内の補正、すなわち内挿の精度を向上する方法が開示されているが、多項式の係数の推定に用いられる点群データが存しない領域の補正、すなわち外挿の精度を向上することはできず、かつ、この領域の補正方法について開示されるものではない。
【００１１】
例えばバックガイドモニタに用いられるカメラの画像の中央部は、車両の位置合せや衝突防止の観点から、運転者にとって距離感の把握し易い歪曲の少ない画像となっている。また、この画像の周辺部は、周囲に存する他の車両や人の様子を把握し易いように広い視野を確保できる歪曲の多い画像となっている。このような画像を得るために、バックガイドモニタのカメラに用いられるレンズは、中央部の歪曲は小さく、周辺部に行くほど歪曲が大きく形成されている。
【００１２】
このようなレンズで撮影された画像について、従来の画像処理方法およびその装置では、画像中央部の点群データを用いて歪曲補正関数である多項式の各係数を推定していたため、画像周辺部の歪曲を十分に補正することができない。
【００１３】
本発明は、歪曲を伴うレンズを用いたカメラによって撮影した画像について、歪曲補正を適切に行う画像の歪曲補正方法を提供することを課題とする。
【課題を解決するための手段】
【００１４】
前記の課題を解決するため本発明では、歪曲のあるレンズを用いたカメラで撮影した画像を、前記カメラの光軸と前記画像面との交点を中心とする円に内包される領域では、非線形最小二乗法によって係数を求めた多項式近似による歪曲補正関数を適用して歪曲画像を補正し、前記円に内包されない領域では、非線形最小二乗法によって係数を求めた対数式近似による歪曲補正関数を適用して歪曲画像を補正することを特徴とする画像の歪曲補正方法を提供する。
【発明の効果】
【００１５】
本発明によれば、歪曲を伴うレンズを用いたカメラによって撮影した画像について、歪曲補正を適切に行う画像の歪曲補正方法を提供できる。
【発明を実施するための最良の形態】
【００１６】
本発明に係る画像の歪曲補正方法について添付図面を参照して説明する。
【００１７】
先ず、カメラによって撮影する３次元空間中のある点の位置と、その点が画像面に投影された２次元画像面上での位置との関係を記述する座標系について説明する。
【００１８】
図１は、カメラによって撮影された画像と空間の幾何学的関係を説明する図である。
【００１９】
歪曲収差のない理想的なレンズを用いたカメラによる透視投影は、図１に示すようにモデル化できる。空間を表す３次元座標系として、カメラの光学中心を原点とし、Ｚ軸をカメラの光軸方向に一致させ、Ｘ軸とＹ軸は画像の横方向と縦方向に平行にとったものを用いる。このような座標系をカメラ座標系（ｃａｍｅｒａ  ｃｏｏｒｄｉｎａｔｅ  ｓｙｓｔｅｍ）とよぶ。一方、画像面上の位置を表す座標系としては、カメラの光軸と画像面とが交わる交点を原点とし、面像の横方向と縦方向とに、それぞれｘ軸とｙ軸とを決める。このとき、空間の位置（Ｘ，Ｙ，Ｚ）と画像上の位置（ｘ，ｙ）との間には、［数１］の関係が成り立つ。ここでは焦点距離を１に正規化している。  
［数１］
ｘ＝Ｘ／Ｚ
ｙ＝Ｙ／Ｚ
【００２０】
つぎに、空間と画像面との関係をより一般化する。一般に、空間を表す座標系は、空間中のある適当な位置に固定されたワールド座標系（ｗｏｒｌｄ  ｃｏｏｒｄｉｎａｔｅ  ｓｙｓｔｅｍ）を用いる。ワールド座標系で表された空間の位置を（Ｘｗ，Ｙｗ，Ｚｗ）とすれば、同じ点をカメラ座標系で表した位置（Ｘ，Ｙ，Ｚ）との間には［数２］の関係がある。
【数２】
0004872890.tif 000002
【００２１】
一方、画像面上の位置は、一般に、原点を画像面上のある適当な位置に定め、長さの単位としては画素（ｐｉｘｅｌ）を用いる。このような画像面上の位置を表す汎用的な座標を画像座標（ｉｍｅｇｅ  ｃｏｏｒｄｉｎａｔｅｓ）（ｕ，ｖ）とし、これと区別するため座標（ｘ，ｙ）を正規化画像座標（ｎｏｒｍａｌｉｚｅｄ  ｉｍａｇｅ  ｃｏｏｒｄｉｎａｔｅｓ）とよぶ。このとき、正規化画像座標と画像座標との関係は、［数３］で表される。
【数３】
0004872890.tif 000003
【００２２】
［数１］から［数３］より、［数４］のように一般的なワールド座標（Ｘｗ，Ｙｗ，Ｚｗ）と画像座標（ｕ，ｖ）との間の関係が導かれる。
【数４】
0004872890.tif 000004
【００２３】
［数４］により、任意の空間の位置と、それが画像面に投影されたときの画像面上の位置との関係を表すことができる。ここで、カメラの焦点距離ｆ、横方向の画素の物理的な間隔δｕ、縦方向の画素の物理的な間隔δｖおよび画像中心（ｃｕ，ｃｖ）はカメラによって決まる定数であり、カメラの内部パラメータＫ（ｉｎｔｅｒｎａｌ  ｐａｒａｍｅｔｅｒ、ｉｎｔｒｉｎｓｉｃ  ｐａｒａｍｅｔｅｒ）とよぶ。一方、Ｒとｔとは、ワールド座標に対するカメラの位置と姿勢によって決まる定数であり、カメラの外部パラメータ（ｅｘｔｅｒｎａｌ  ｐａｒａｍｅｔｅｒ、ｅｘｔｒｉｎｓｉｃ  ｐａｒａｍｅｔｅｒ）とよぶ。また、カメラの内部パラメータと外部パラメータとを合わせてカメラパラメータ（ｃａｍｅｒａ  ｐａｒａｍｅｔｅｒ）とよぶ。
【００２４】
図２はレンズの歪曲収差を説明する図であり、（Ａ）はレンズの半径方向歪曲収差を説明する図であり、（Ｂ）は実際の空間情報を示す図であり、（Ｃ）および（Ｄ）は歪曲収差の例を示す図である。
【００２５】
広角レンズでは、レンズの半径方向や接線方向の歪曲収差（ｄｉｓｔｏｒｔｉｏｎ）を考慮する必要がある。図２の（Ａ）に示すように、半径方向歪曲収差は物体Ａから出た光線が入射角θで光学中心を通るとき、出射角θ’が入射角θと等しくならないために生じる。接線方向歪曲収差は、レンズを構成する複数レンズ間の中心位置のずれや傾きによって発生する。接線方向歪曲収差は半径方向歪曲収差と比べて小さく、実用上は無視できることも多いため、説明の簡単のためにモデル化において省略する。
【００２６】
歪曲収差は、［数５］のようにモデル化できる。
【数５】
0004872890.tif 000005
【００２７】
３次元空間のある点を撮影して画像座標を得るとき、歪曲収差のない理想的なレンズでは画像座標で表した位置（ｕ，ｖ）に投影され、歪曲収差のあるレンズでは歪曲画像座標で表した位置（ｕｄ，ｖｄ）に投影される。κ１、κ２はレンズの歪曲を表す係数である。また、歪曲収差のない理想的なレンズで画像座標に投影した位置（ｕ，ｖ）を予測位置、歪曲収差のあるレンズで歪曲画像座標に投影した位置（ｕｄ，ｖｄ）を観測位置とよぶ。
【００２８】
図２（Ｂ）に示した正方形の格子を、半径方向歪曲収差があるレンズを用いたカメラで撮影した画像の例を図２（Ｃ）、（Ｄ）に示す。
【００２９】
なお、歪曲収差があるレンズを用いたカメラで撮影した画像を歪曲画像とよぶ。
【００３０】
図２（Ｃ）、（Ｄ）に示すような歪曲収差のあるレンズを用いたカメラの透視投影を［数５］のようにモデル化し、これに基づいたターゲットの予測位置と実際の観測位置との幾何学的距離（再投影誤差）の二乗和を最小化するようにパラメータを推定して、図２（Ｂ）に示すような実際の空間情報を歪曲収差のない理想的なレンズを用いたカメラによって透視投影した画像に補正する。このパラメータの推定において、［数６］によって表される非線形最小二乗法による推定をバンドル調整とよぶ。パラメータはカメラパラメータと、レンズの歪曲を表す係数であるκ１、κ２とから構成される。
【数６】
0004872890.tif 000006
【００３１】
ここで、歪曲補正関数の係数の推定、すなわちバンドル調整に使用する３次元座標値と２次元座標値とを対応付けた点群データは、３次元座標値が既知のターゲットを撮影し、画像面上に投影されたターゲットの２次元座標値を抽出し、３次元座標値と２次元座標値との各座標を対応付けることで得られる。
【００３２】
先ず、３次元座標値が既知のターゲットとして、例えば５００ｍｍ角のクロスカーペットを撮影空間の床面に配置し、カメラでこの空間を撮影して歪曲画像を取得する。次に、この歪曲画像からクロスカーペットの格子模様のそれぞれの格子の角（格子点）をターゲットとして、この２次元座標値を複数抽出する。次に、撮影空間が存する３次元空間での原点を、例えば画像面上の中央手前のクロスカーペットの格子点などのように決め、各格子点の３次元座標値を求める。この３次元座標値と２次元座標値とから、それぞれ対応する格子点を対応付けた点群データを得る。また、カメラと床面との距離を適宜変更して画像の上下方向についても各格子点の３次元座標値と２次元座標値とから、それぞれ対応する格子点を対応付けた点群データを得る。
【００３３】
この点群データをもとに非線形最適化手法によって歪曲補正関数の係数であるカメラの内部パラメータ、外部パラメータ、レンズの歪曲を表す係数を推定する。
【００３４】
ここで、３次元座標値が既知のターゲットが投影される画像面について、正規化画像座標に投影されたターゲットが存在する領域を包含する円Ｃの領域と、歪曲収差のあるレンズで投影された歪曲画像座標に投影されたターゲットが存在する領域を包含する円Ｃｄの領域とを考える。なお、ターゲットの存在する領域とは、多項式近似による歪曲補正関数において、多項式の係数を推定するに当たり非線形最小二乗法の解の収束を考慮して採用可能な点群データが存する領域をいう。
【００３５】
正規化画像座標に投影されたターゲットが存在する領域を包含する円Ｃの半径Ｒｍａｘは、ワールド座標系で表された位置（Ｘｗ，Ｙｗ，Ｚｗ）から［数２］によってカメラ座標系で表された位置（Ｘ，Ｙ，Ｚ）に変換され、この位置（Ｘ，Ｙ，Ｚ）から［数１］によって正規化画像座標に投影されたターゲットの位置（ｘ，ｙ）から求められる半径（ｘ２＋ｙ２）１／２の最大値である。すなわち、歪曲収差のレンズで投影される歪曲画像面上では、正規化画像座標に投影されたターゲットの位置（ｘ，ｙ）から［数３］を変形して求められる画像座標に投影されたターゲットの位置（ｕ，ｖ）が求められ、この位置（ｕ，ｖ）から［数５］によって求められる歪曲画像座標の位置（ｕｄ，ｖｄ）から求められる半径｛（ｕｄ−ｃｕ）２＋（ｖｄ−ｃｖ）２｝１／２の最大値である。この歪曲収差のあるレンズで投影された歪曲画像座標に投影されたターゲットが存在する領域を包含する円Ｃｄの半径｛（ｕｄ−ｃｕ）２＋（ｖｄ−ｃｖ）２｝１／２を半径Ｒｄｍａｘとよぶ。
【００３６】
また、正規化画像座標に投影されたターゲットの位置（ｘ，ｙ）から求められる半径（ｘ２＋ｙ２）１／２を正規化画像座標上の像高Ｄとよび、歪曲を有するレンズで投影された歪曲画像座標の位置（ｕｄ，ｖｄ）から求められる半径｛（ｕｄ−ｃｕ）２＋（ｖｄ−ｃｖ）２｝１／２を歪曲画像座標上の像高Ｄｄとよぶ。
【００３７】
ここで、［数６］によって表される歪曲補正関数の非線形最小二乗法による推定例を説明する。
【００３８】
図３は、歪曲画像の一例を説明する図である。
【００３９】
図４は、図３に示された歪曲画像を多項式近似による歪曲補正関数によって補正した画像の一例を説明する図である。
【００４０】
図５は、図３に示された歪曲画像とターゲットが存在する領域を包含する円との関係を説明する図である。
【００４１】
図６は、多項式近似による歪曲補正関数と正規化画像座標に投影されたターゲットが存在する領域を包含する円との関係を説明する図である。
【００４２】
図３に示すように、歪曲画像では、３次元座標値が既知のターゲットとして、例えば５００ｍｍ角のクロスカーペットを撮影空間の床面に配置して画像を取得すると、各格子の略直線状の各辺が歪んで曲線状に投影される。この画像の歪曲は画像の周辺部で大きく観察され、特に画像の左右下端で顕著に観察される。
【００４３】
図４に示すように、歪曲画像について、［数６］によって表されるバンドル調整によって歪曲補正関数の係数を推定して補正した画像の中央部では、各格子の略直線状の各辺の歪曲が補正された自然な画像が得られる。しかしながら、図３に示された歪曲画像において歪曲が顕著な画像の左右下側では、格子の略直線状の辺の歪が十分に補正できていないことが観察できる。
【００４４】
なお、歪曲画像を歪曲補正関数によって補正した画像を補正画像とよぶ。
【００４５】
図５に示すように、図４において歪曲補正関数の係数の推定にあたり点群データとして使用したターゲットとしての格子点＋は歪曲画像の中央部に密集し、歪曲画像の周辺部にはターゲットとして使用できる格子点が存在しない。この格子点＋が存在する領域を包含する領域が半径Ｒｄｍａｘの円Ｃｄであり、円Ｃｄが正規化画像座標に投影される円Ｃの半径が半径Ｒｍａｘである。
【００４６】
図６に示すように、正規化画像座標において、ターゲットは半径Ｒｍａｘの円Ｃ内に存在する。ターゲット◇が投影される正規化画像座標上の２次元座標値から求められる像高Ｄを破線Ｔで表すと、ターゲット◇は破線Ｔ上に投影される。実線Ａは、多項式による歪曲補正関数を表し、ターゲット◇が存在する半径Ｒｍａｘの領域内では、多項式による歪曲補正関数が歪曲画像を適切に補正し、ターゲットの存在しない領域では、多項式による歪曲補正関数が歪曲画像を適切に補正できていないことが観察される。
【００４７】
なお、図６において横軸は正規化座標と光軸の交点とを原点とする半径（ｘ２＋ｙ２）１／２の値、すなわち像高Ｄであり、縦軸は［数７］で表される歪曲画像座標における像高Ｄｄと補正画像における像高Ｄとの変化率ｈである。  
［数７］
変化率ｈ＝［｛（ｕｄ−ｃｕ）２＋（ｖｄ−ｃｖ）２｝１／２−｛（ｕ−ｃｕ）２＋（ｖ−ｃｖ）２｝１／２］／｛（ｕ−ｃｕ）２＋（ｖ−ｃｖ）２｝１／２
＝κ１×ｒ２＋κ２×ｒ４
【００４８】
図７は、本発明に係る画像の歪曲補正方法を説明するフローチャートである。
【００４９】
図７に示すように、本実施形態に係る画像の歪曲補正方法のステップＳ１では、広角レンズを用いたカメラで撮影した画像（歪曲画像）から、歪曲補正を行う画素位置（ｕｄi，ｖｄj）のうち、開始画素の位置（ｕｄ１，ｖｄ１）を指定する。
【００５０】
次に、ステップＳ２では、画素位置（ｕｄi，ｖｄj）が歪曲画像面上の点群データが存在する領域を包含する半径Ｒｄｍａｘの円Ｃｄに内包されるか否かを判断する。画素位置（ｕｄi，ｖｄj）が半径Ｒｄｍａｘの円Ｃｄに内包される場合はステップＳ３に進む。その他の場合はステップＳ４に進む。
【００５１】
次に、ステップＳ３では、ステップＳ２で半径Ｒｄｍａｘの円Ｃｄに内包されると判断された画素位置（ｕｄi，ｖｄj）について多項式近似による歪曲補正関数を適用して画像座標（ｕｉ，ｖｊ）を得る。
【００５２】
次に、ステップＳ４では、ステップＳ２で半径Ｒｄｍａｘの円Ｃｄに内包されないと判断された画素位置（ｕｄi，ｖｄj）について対数式近似による歪曲補正関数を適用して画像座標（ｕｉ，ｖｊ）を得る。
【００５３】
次に、ステップＳ５では、画素位置（ｕｄi，ｖｄj）が終了画素の位置（ｕｄiｍａｘ，ｖｄjｍａｘ）か否かを判断する。画素位置（ｕｄi，ｖｄj）が終了画素の位置（ｕｄiｍａｘ，ｖｄjｍａｘ）の場合は歪曲画像の補正を終了して補正画像を得る。その他の場合は、ステップＳ６に進む。
【００５４】
次に、ステップＳ６では、画素位置（ｕｄi，ｖｄj）をｕ軸方向またはｖ軸方向へ１画素分進ませて、画素位置（ｕｄi＋１，ｖｄj）または画素位置（ｕｄi，ｖｄj＋１）とする。例えば、画像の大きさが横６４０ｐｉｘｅｌ×縦４８０ｐｉｘｅｌの場合には、ｉｍａｘ＝６４０、ｊｍａｘ＝４８０であり、ステップＳ６に処理が至る毎に順次（ｕｄ１，ｖｄ２）、（ｕｄ１，ｖｄ３）、（ｕｄ１，ｖｄ４）、・・・・・・、（ｕｄ６４０，ｖｄ４７８）、（ｕｄ６４０，ｖｄ４７９）、（ｕｄ６４０，ｖｄ４８０）のように１画素分進ませる。
【００５５】
歪曲補正関数を近似する式の係数の推定は、一般的には非線形最適化手法であるＬｅｖｅｎｓｂｅｒｇ−Ｍａｒｑｕａｒｄｔ法によって点群データから求める。
【００５６】
多項式の係数は、［数２］、［数３］、［数５］によって表されるカメラの焦点距離ｆと、横方向の画素の物理的な間隔δｕと、縦方向の画素の物理的な間隔δｖと、画像中心の画像座標系における座標（ｃｕ，ｃｖ）と、３×３の回転行列Ｒと、３次元の平行移動ベクトルｔと、レンズの歪曲を表す係数κ１、κ２とから構成され、［数６］によって表されるバンドル調整により求める。
【００５７】
他方、対数式の係数は、［数２］、［数３］によって表されるカメラの焦点距離ｆと、横方向の画素の物理的な間隔δｕと、縦方向の画素の物理的な間隔δｖと、画像中心の画像座標系における座標（ｃｕ，ｃｖ）と、３×３の回転行列Ｒと、３次元の平行移動ベクトルｔとともに、［数８］によって表されるレンズの歪曲を表す係数κｌｎ１、κｌｎ２とから構成され、バンドル調整により求める。
【００５８】
広角レンズの歪曲収差は、対数式によって［数８］にようにモデル化できる。
【数８】
0004872890.tif 000007
【００５９】
対数式近似による歪曲補正関数では、対数式によって歪曲収差のあるレンズを用いたカメラの透視投影を［数８］のようにモデル化し、これに基づいたターゲットの予測位置と実際の観測位置との幾何学的距離（再投影誤差）の二乗和を最小化するように係数κｌｎ１、κｌｎ２を推定する。このパラメータ推定について、［数９］によって表される最小二乗法による推定を行う。
【数９】
0004872890.tif 000008
【００６０】
図８は、本発明に係る画像の歪曲補正方法のうち、対数式近似による歪曲補正関数における対数式の係数の推定に用いる点群データの存する領域のしきい半径値Ｒｔｈと、対数式の係数を推定する方法を説明するフローチャートである。
【００６１】
図８に示すように、ステップＳ１１では、［数６］によって表される非線形最小二乗法によって多項式の係数の推定を行い、［数２］、［数３］、［数５］によって表される多項式の係数である焦点距離ｆと、横方向の画素の物理的な間隔δｕと、縦方向の画素の物理的な間隔δｖと、画像中心の画像座標系における座標（ｃｕ，ｃｖ）と、３×３の回転行列Ｒと、３次元の平行移動ベクトルｔと、レンズの歪曲を表す係数κ１、κ２とを求める。
【００６２】
次に、ステップＳ１２では、しきい半径値Ｒｔｈを０とする。
【００６３】
次に、ステップＳ１３では、しきい半径値Ｒｔｈから半径Ｒｍａｘの領域に存する点群データを用いて、［数９］によって表される最小二乗法によって対数式の係数の推定を行い、［数８］によって表される対数式の係数κｌｎ１、κｌｎ２を求める。なお、焦点距離ｆと、横方向の画素の物理的な間隔δｕと、縦方向の画素の物理的な間隔δｖと、画像中心の画像座標系における座標（ｃｕ，ｃｖ）と、３×３の回転行列Ｒと、３次元の平行移動ベクトルｔとはステップＳ１１で［数６］によって表される非線形最小二乗法によって求められている。
【００６４】
次に、ステップＳ１４では、最小二乗法の決定係数ε２としきい値ε２ｔｈとを比較する。決定係数ε２がしきい値ε２ｔｈ以下の場合は、このときのしきい半径値Ｒｔｈにおける対数式の係数κｌｎ１、κｌｎ２を採用して処理を終了する。その他の場合は、ステップＳ１５に進む。決定係数ε２のしきい値ε２ｔｈは、歪曲補正関数によって補正画像の歪曲の良否を考慮して設定するものであり、例えばしきい値ε２ｔｈ＝０．００１程度に設定する。
【００６５】
次に、ステップＳ１５では、しきい半径値Ｒｔｈに任意の値ΔＲｔｈを加算して、再度、ステップＳ１３へ戻る。任意の値ΔＲｔｈは、０より大きく正規化画像座標上の焦点距離である１以下であることが望ましく、例えば０．２〜０．３程度が好適である。
【００６６】
図９から図１４は、本発明に係る画像の歪曲補正方法のうち、対数式近似による歪曲補正関数の係数を推定するに当たり使用する点群データのしきい半径値Ｒｔｈと、補正された画像との関係の具体例を説明する図である。
【００６７】
図９から図１４の（Ａ）は対数式近似による歪曲補正関数と、対数式の係数を推定するに当たり使用する点群データのしきい半径値Ｒｔｈとの関係を説明する図であり、（Ｂ）はしきい半径値Ｒｔｈ毎に推定した歪曲補正関数によって補正された画像を示す図であり、（Ｃ）は（Ｂ）を変換して得た俯瞰図である。
【００６８】
なお、図９から図１４の（Ａ）において横軸は正規化座標と光軸の交点とを原点とする半径（ｘ２＋ｙ２）１／２の値、すなわち像高Ｄであり、縦軸は［数７］および［数１０］で表される歪曲画像座標における像高Ｄｄと補正画像における像高Ｄとの変化率ｈである。  
［数１０］
変化率ｈ＝κｌｎ１×ｌｎ（ｒ２）＋κｌｎ２
【００６９】
図９から図１４の（Ａ）に示すように、しきい半径値Ｒｔｈを０から１．２５まで０．２５毎に変化させて対数式の係数を推定する。図９（Ａ）は、しきい半径値Ｒｔｈ＝０．０における対数式による近似とターゲット◇、□との関係を示した図であり、図１０（Ａ）は、しきい半径値Ｒｔｈ＝０．２５における対数式による近似とターゲット◇、□との関係を示した図であり、図１１（Ａ）は、しきい半径値Ｒｔｈ＝０．５０における対数式による近似とターゲット◇、□との関係を示した図であり、図１２（Ａ）は、しきい半径値Ｒｔｈ＝０．７５における対数式による近似とターゲット◇、□との関係を示した図であり、図１３（Ａ）は、しきい半径値Ｒｔｈ＝１．００における対数式による近似とターゲット◇、□との関係を示した図であり、図１４（Ａ）は、しきい半径値Ｒｔｈ＝１．２５における対数式による近似とターゲット◇、□との関係を示した図である。ターゲット□は、対数式の係数を推定するに当たり使用する点群データであり、その像高Ｄは、しきい半径値Ｒｔｈ≦像高Ｄ≦半径Ｒｍａｘの関係がある。
【００７０】
図１３（Ａ）に示すように、しきい半径値Ｒｔｈ＝１．００のときに決定係数ε２＝０．０００３となり、しきい値ε２ｔｈ＝０．００１以下となっている。このとき、対数式の係数κｌｎ１、κｌｎ２は、それぞれ−０．１７１、−０．１９３１となっている。この係数によって得られる対数式は、ターゲット◇、□の存する像高Ｄ＝０から２．３５の領域外、すなわち像高Ｄ＝２．３５から５程度の範囲で歪曲画像を補正する。補正画像が図９から図１４の（Ｂ）に示されている。図９から図１４の（Ｃ）に示すように、補正画像から変換して得られた俯瞰図を比較すると、画像の左右下部、すなわち、撮影された空間においてはカメラ近傍の左右の空間において、決定係数がしきい値ε２ｔｈより大きい歪曲補正関数で得られた補正画像に比べて、決定係数がしきい値ε２ｔｈ以下の歪曲補正関数で得られた補正画像のほうが、より理想的なレンズで得られる透視投影図に近いことが分かる。
【００７１】
なお、非線形最適化において、歪曲画像の周辺部を点群データに含めると最適化が収束しなくなる。このため、点群データを抽出する領域を歪曲画像の中央部に限定している。この領域の限定は経験的な値であり、本例では正規化画像座標における像高Ｄ＝２．３５の点まで与えている。すなわちＲｍａｘ＝２．３５となる。この値は、使用するレンズの焦点距離、歪曲度合いによって変わるため一意には決まらない。
【００７２】
すなわち、本実施形態に係る画像の歪曲補正方法は、歪曲補正関数の係数を推定するに当たって使用する３次元座標値が既知のターゲットが歪曲画像に投影される領域を包含する円Ｃｄに内包される領域、すなわち、カメラの光軸と歪曲画像面との交点を中心とする半径Ｒｄｍａｘの円Ｃｄに内包される領域では、非線形最小二乗法によって係数を求めた多項式近似による歪曲補正関数を適用して歪曲画像を補正し、円Ｃｄに内包されない領域では、ターゲットが正規化画像座標に投影された座標の像高Ｄが、しきい半径値Ｒｔｈ≦像高Ｄ≦半径Ｒｍａｘの範囲に存する点群データをもとに最小二乗法によって係数を求めた対数式近似による歪曲補正関数を適用して歪曲画像を補正して補正画像を得る。
【００７３】
図１５（Ａ）は本発明に係る画像の歪曲補正方法による補正画像の一例を示す図であり、（Ｂ）は（Ａ）の補正画像を変換して得た俯瞰図であり、（Ｃ）は（Ｂ）の俯瞰図の光軸を画像の左側に偏らせた俯瞰図である。
【００７４】
図１６（Ａ）は多項式による歪曲補正関数を用いた歪曲補正方法による補正画像の一例を示す図であり、（Ｂ）は（Ａ）の補正画像を変換して得た俯瞰図であり、（Ｃ）は（Ｂ）の俯瞰図の光軸を画像の左側に偏らせた俯瞰図である。
【００７５】
図１５（Ａ）および（Ｂ）と図１６（Ａ）および（Ｂ）とを比べると、本実施形態に係る画像の歪曲補正方法によれば、歪曲画像の周辺部、特に画像の左右下側の領域では、補正の精度が向上していることが明らかに観察できる。例えば、本実施形態に係る歪曲補正方法をバックガイドモニタに使用することで、自車の左右側方に近接した駐車場の白線や隣接するレーンに駐車された車両を歪曲の補正された自然な画像で確認することができる。
【００７６】
また、図１５（Ｃ）と図１６（Ｃ）とを比べると、バックガイドモニタに用いられるカメラが、自車の中央に配置できず、左右いずれかの方向にシフトさせて取り付けた場合、例えば自車の後方右側に寄せて取り付けた場合であっても、カメラから遠い自車の後方左側、すなわち、画像の右下側について、自車に近接した駐車場の白線や隣接するレーンに駐車された車両をより広範囲に歪曲の補正された自然な画像で確認することができる。
【００７７】
本実施形態に係る画像の歪曲補正方法によれば、歪曲を伴うレンズを用いたカメラによって撮影した画像について、歪曲補正を適切に行うことができる。
【００７８】
図１７は、本発明の実施形態に係る画像の歪曲補正装置の構成を示すブロック図である。
【００７９】
図１７に示すように、本実施形態に係る画像の歪曲補正装置１は、画像を撮影する撮影手段２と、撮影手段２によって撮影された画像の歪曲を補正する画像処理手段３とを備える。また、画像の歪曲補正装置１は、画像処理手段３によって歪曲が補正された画像を表示する表示手段４を備えることができる。すなわち、表示手段４は、画像処理手段３によって歪曲が補正された画像を表示するものである。表示手段４に換えて、歪曲が補正された画像を表示することなく次段の処理手段に供するように構成してもよい。
【００８０】
画像処理手段３は、歪曲補正部５を備える。歪曲補正部５は、本実施形態に係る画像の歪曲補正方法、すなわち、撮影手段２によって撮影された画像について、歪曲補正関数の係数を推定するに当たって使用する３次元座標値が既知のターゲットが歪曲画像に投影される領域を包含する円Ｃｄに内包される領域、すなわち、撮影手段２の光軸と歪曲画像面との交点を中心とする半径Ｒｄｍａｘの円Ｃｄに内包される領域では、非線形最小二乗法によって係数を求めた多項式近似による歪曲補正関数を適用して歪曲画像を補正し、円Ｃｄに内包されない領域では、ターゲットが正規化画像座標に投影された座標の像高Ｄが、しきい半径値Ｒｔｈ≦像高Ｄ≦半径Ｒｍａｘの範囲に存する点群データをもとに最小二乗法によって係数を求めた対数式近似による歪曲補正関数を適用して画像の歪曲を補正する。
【００８１】
図１５（Ａ）および（Ｂ）と図１６（Ａ）および（Ｂ）とを比べると、本実施形態に係る歪曲補正装置１によれば、歪曲画像の周辺部、特に画像の左右下側の領域では、補正の精度が向上していることが明らかに観察できる。例えば、本実施形態に係る歪曲補正方法をバックガイドモニタに使用することで、自車の左右側方に近接した駐車場の白線や隣接するレーンに駐車された車両を歪曲の補正された自然な画像で確認することができる。
【００８２】
また、図１５（Ｃ）と図１６（Ｃ）とを比べると、バックガイドモニタに用いられるカメラが、自車の中央に配置できず、左右いずれかの方向にシフトさせて取り付けた場合、例えば自車の後方右側に寄せて取り付けた場合であっても、カメラから遠い自車の後方左側、すなわち、画像の右下側について、自車に近接した駐車場の白線や隣接するレーンに駐車された車両をより広範囲に歪曲の補正された自然な画像で確認することができる。
【００８３】
本実施形態に係る画像の歪曲補正装置によれば、歪曲を伴うレンズを用いたカメラによって撮影した画像について、歪曲補正を適切に行うことができる。
【００８４】
なお、本発明に係る画像の歪曲補正方法および歪曲補正装置は、車両等の移動体に搭載される装置に限定されるものではなく、広角レンズのカメラを用いた種々の画像処理装置に適用することができる。
【図面の簡単な説明】
【００８５】
【図１】カメラによって撮影された画像と空間の幾何学的関係を説明する図。
【図２】レンズの歪曲収差を説明する図であり、（Ａ）はレンズの半径方向歪曲収差を説明する図、（Ｂ）は実際の空間情報を示す図、（Ｃ）および（Ｄ）は歪曲収差の例を示す図。
【図３】歪曲画像の一例を説明する図。
【図４】図３に示された歪曲画像を多項式近似による歪曲補正関数によって補正した画像の一例を説明する図。
【図５】図３に示された歪曲画像とターゲットが存在する領域を包含する円との関係を説明する図。
【図６】多項式近似による歪曲補正関数と正規化画像座標に投影されたターゲットが存在する領域を包含する円との関係を説明する図。
【図７】本発明に係る画像の歪曲補正方法を説明するフローチャート。
【図８】本発明に係る画像の歪曲補正方法のうち、対数式近似による歪曲補正関数における対数式の係数の推定に用いる点群データの存する領域のしきい半径値Ｒｔｈと、対数式の係数を推定する方法を説明するフローチャート。
【図９】本発明に係る画像の歪曲補正方法のうち、対数式近似による歪曲補正関数の係数を推定するに当たり使用する点群データのしきい半径値Ｒｔｈと、補正された画像との関係の具体例を説明する図であり、（Ａ）は対数式近似による歪曲補正関数と、対数式の係数を推定するに当たり使用する点群データのしきい半径値Ｒｔｈ＝０．００との関係を説明する図、（Ｂ）はしきい半径値Ｒｔｈ毎に推定した歪曲補正関数によって補正された画像を示す図、（Ｃ）は（Ｂ）を変換して得た俯瞰図。
【図１０】本発明に係る画像の歪曲補正方法のうち、対数式近似による歪曲補正関数の係数を推定するに当たり使用する点群データのしきい半径値Ｒｔｈと、補正された画像との関係の具体例を説明する図であり、（Ａ）は対数式近似による歪曲補正関数と、対数式の係数を推定するに当たり使用する点群データのしきい半径値Ｒｔｈ＝０．２５との関係を説明する図、（Ｂ）はしきい半径値Ｒｔｈ毎に推定した歪曲補正関数によって補正された画像を示す図、（Ｃ）は（Ｂ）を変換して得た俯瞰図。
【図１１】本発明に係る画像の歪曲補正方法のうち、対数式近似による歪曲補正関数の係数を推定するに当たり使用する点群データのしきい半径値Ｒｔｈと、補正された画像との関係の具体例を説明する図であり、（Ａ）は対数式近似による歪曲補正関数と、対数式の係数を推定するに当たり使用する点群データのしきい半径値Ｒｔｈ＝０．５０との関係を説明する図、（Ｂ）はしきい半径値Ｒｔｈ毎に推定した歪曲補正関数によって補正された画像を示す図、（Ｃ）は（Ｂ）を変換して得た俯瞰図。
【図１２】本発明に係る画像の歪曲補正方法のうち、対数式近似による歪曲補正関数の係数を推定するに当たり使用する点群データのしきい半径値Ｒｔｈと、補正された画像との関係の具体例を説明する図であり、（Ａ）は対数式近似による歪曲補正関数と、対数式の係数を推定するに当たり使用する点群データのしきい半径値Ｒｔｈ＝０．７５との関係を説明する図、（Ｂ）はしきい半径値Ｒｔｈ毎に推定した歪曲補正関数によって補正された画像を示す図、（Ｃ）は（Ｂ）を変換して得た俯瞰図。
【図１３】本発明に係る画像の歪曲補正方法のうち、対数式近似による歪曲補正関数の係数を推定するに当たり使用する点群データのしきい半径値Ｒｔｈと、補正された画像との関係の具体例を説明する図であり、（Ａ）は対数式近似による歪曲補正関数と、対数式の係数を推定するに当たり使用する点群データのしきい半径値Ｒｔｈ＝１．００との関係を説明する図、（Ｂ）はしきい半径値Ｒｔｈ毎に推定した歪曲補正関数によって補正された画像を示す図、（Ｃ）は（Ｂ）を変換して得た俯瞰図。
【図１４】本発明に係る画像の歪曲補正方法のうち、対数式近似による歪曲補正関数の係数を推定するに当たり使用する点群データのしきい半径値Ｒｔｈと、補正された画像との関係の具体例を説明する図であり、（Ａ）は対数式近似による歪曲補正関数と、対数式の係数を推定するに当たり使用する点群データのしきい半径値Ｒｔｈ＝１．２５との関係を説明する図、（Ｂ）はしきい半径値Ｒｔｈ毎に推定した歪曲補正関数によって補正された画像を示す図、（Ｃ）は（Ｂ）を変換して得た俯瞰図。
【図１５】（Ａ）は本発明に係る画像の歪曲補正方法による補正画像の一例を示す図、（Ｂ）は（Ａ）の補正画像を変換して得た俯瞰図、（Ｃ）は（Ｂ）の俯瞰図の光軸を画像の左側に偏らせた俯瞰図。
【図１６】（Ａ）は多項式による歪曲補正関数を用いた歪曲補正方法による補正画像の一例を示す図、（Ｂ）は（Ａ）の補正画像を変換して得た俯瞰図、（Ｃ）は（Ｂ）の俯瞰図の光軸を画像の左側に偏らせた俯瞰図。
【図１７】本発明の実施形態に係る画像の歪曲補正装置の構成を示すブロック図。
【符号の説明】
【００８６】
１  歪曲補正装置
２  撮影手段
３  画像処理手段
４  表示手段
５  歪曲補正部
【図１】
0004872890.tif 000009
【図２】
0004872890.tif 000010
【図３】
0004872890.tif 000011
【図４】
0004872890.tif 000012
【図５】
0004872890.tif 000013
【図６】
0004872890.tif 000014
【図７】
0004872890.tif 000015
【図８】
0004872890.tif 000016
【図９】
0004872890.tif 000017
【図１０】
0004872890.tif 000018
【図１１】
0004872890.tif 000019
【図１２】
0004872890.tif 000020
【図１３】
0004872890.tif 000021
【図１４】
0004872890.tif 000022
【図１５】
0004872890.tif 000023
【図１６】
0004872890.tif 000024
【図１７】
0004872890.tif 000025