(57)【特許請求の範囲】
【請求項１】
広角レンズを用いた撮像部で撮像されたレンズ特性に起因する画像の歪みを画像補正部によって正常な画像に補正する際に用いられる補正パラメータの算出方法であって、
座標上の位置を特定するための複数の点が異なるカラー色で平面上に配置された標準試料を前記撮像部で撮像し、画像上での前記各点の座標をその色情報によって識別・特定すると共にその識別・特定された画像上での前記各点の座標と前記標準試料上での前記各点の座標とを対応させて正常な画像に補正・変換するための補正パラメータを算出することを特徴とする補正パラメータの算出方法。
【請求項２】
広角レンズを有する撮像部と、該撮像部で撮像されると共に座標上の位置を特定するための複数の点が異なるカラー色で平面上に配置された標準試料と、前記撮像部で撮像した画像上での点座標と前記標準試料上での点座標とを対応させてレンズ特性に起因する画像の歪みを解析して正常な画像に補正・変換するための補正パラメータを算出する歪み解析部とを備えることを特徴とする補正パラメータの算出装置。
【請求項３】
広角レンズを有する撮像部と、該撮像部で撮像されると共に座標上の位置を特定するための複数の点が異なるカラー色で平面上に配置された標準試料と、前記撮像部で撮像した画像上での点座標と前記標準試料上での点座標とを対応させる対応データベースを構築する前処理部と、前記対応データベースからのデータに基づいて画像中心から各点までの距離と前記標準試料の試料中心から各点までの距離とを関係付けるための補正パラメータを算出すると共に前記広角レンズの光学中心に対する画像中心のずれベクトル及び前記広角レンズの光学中心に対する前記標準試料の試料中心のずれベクトルをそれぞれ算出するパラメータ推定部と、前記パラメータ推定部で求めた補正パラメータとずれベクトルとを用いて前記撮像部による撮像画像の各画素のアドレスと歪み補正画像の各画素のアドレスとを対応付けるテーブルを生成するテーブル生成部と、該テーブル生成部で生成されたテーブルに基づいてレンズ特性に起因する画像の歪みを補正した歪み補正画像を出力する画像補正部とを備えていることを特徴とする画像補正装置。
【請求項４】
請求項３に記載の画像補正装置を用い、前記前処理部において、標準試料の点を選択する標準座標選択ステップと、その選択した点の標準座標に基づいて座標−色データベースから座標に対応する色情報を抽出して前記撮像部からの出力の中で抽出した色情報に近い色の画素のみを選択して残す二値化処理ステップと、隣接する残存画素のクラスタを検出するクラスタ処理ステップと、クラスタの中心座標を求める重心演算ステップと、唯一のクラスタが抽出されたかを判定する同定可能判定ステップと、前記判定で同定可能でない時には前記標準座標選択ステップに戻り次の点を選択するルートと、同定可能である時は標準座標と撮像画像上の座標であるクラスタの中心座標とを対応させるデータを格納するデータベース追加ステップと、データベース追加ステップでまだ標準座標全ての点のデータを格納していない時は前記標準座標選択ステップに戻り次の点を選択するルートとを含み且つ前記各ステップと前記各ルートの処理が自動的に行われることを特徴とする画像補正方法。
【請求項５】
試料中心に接近する程に密度が高くなるように前記各点が配置されていることを特徴とする請求項１乃至請求項４の何れかに記載の標準試料。
【請求項６】
試料中心を中心とする同心円上に前記各点が配置されていることを特徴とする請求項１乃至請求項４の何れかに記載の標準試料。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、パノラマ画像や広角画像を撮像するために、その撮像部に広角レンズ（魚眼レンズを含む）を使用した際のレンズ特性に起因する歪みを補正するための補正パラメータの算出方法及び補正パラメータの算出装置、その補正パラメータを利用した画像補正装置及び画像補正方法、並びに、これらの方法及び装置に使用される標準試料に関する。
【０００２】
【従来の技術】
従来から、広角レンズ（魚眼レンズを含む）を用いて撮像されたレンズ特性に起因する歪み画像を、ルックアップテーブルを用いてデジタル的に変換する手法やリアルタイムに変換する手法などによって補正する歪み補正方法や装置が知られている（例えば、特開２０００−２３５６４５号公報、特開平５−１７６３２３号公報参照）。
【０００３】
このような歪み補正をする場合に使用される補正パラメータは、図４（ａ）に示すように、座標上の位置を特定するための複数の点ｐが平面上に配置された標準試料１を撮像部２で撮像して、画像上での点ｐの座標を求め、標準試料１上での点座標とを手動で対応させ各点毎に求めていた。
【０００４】
撮像部２は、実際のカメラと同様に、広角レンズ３と二次元エリアＣＣＤ等のイメージセンサー４と、このイメージセンサー４に結像された像を画像変換する変換部（図示せず）とを備えている。
【０００５】
【発明が解決しようとする課題】
しかしながら、上述したように、補正パラメータを求める主要プロセスを手動で行っていたため、カメラ毎（レンズ毎）に歪み補正のためのパラメータやテーブルを作成することは困難で、標準的なパラメータやテーブルを作成し、その標準的なパラメータやテーブルを全てのカメラに適用していることから、カメラ個々の歪みのばらつきを吸収することはできなかった。
【０００６】
なお、画像の歪みには上述したレンズ特性に起因するものばかりでなく、図４（ｂ）に示すように、標準試料１の中心Ｑ１と、広角レンズ３の光学中心Ｑ２とイメージセンサー４の画素中心Ｑ３とが一致しない状態で配置された場合にも発生する。
【０００７】
本発明は、上記問題を解決するため、レンズ毎に歪み補正用の補正パラメータを求めることができる補正パラメータの算出方法及び算出装置、補正パラメータを利用した画像補正装置及び画像補正方法、並びに、これらに使用される標準試料を提供することを目的とする。
【０００８】
また、補正パラメータの算出装置を有する画像補正装置をカメラに一体に装備することによって、各光学部材の中心ズレに起因する歪みも補正することができる。
【０００９】
【課題を解決するための手段】
その目的を達成するため、請求項１に記載の補正パラメータの算出方法は、広角レンズを用いた撮像部で撮像されたレンズ特性に起因する画像の歪みを画像補正部によって正常な画像に補正する際に用いられる補正パラメータの算出方法であって、
座標上の位置を特定するための複数の点が異なるカラー色で平面上に配置された標準試料を前記撮像部で撮像し、画像上での前記各点の座標をその色情報によって識別・特定すると共にその識別・特定された画像上での前記各点の座標と前記標準試料上での前記各点の座標とを対応させて正常な画像に補正・変換するための補正パラメータを算出することを要旨とする。
【００１０】
請求項２に記載の補正パラメータの算出装置は、広角レンズを有する撮像部と、該撮像部で撮像されると共に座標上の位置を特定するための複数の点が異なるカラー色で平面上に配置された標準試料と、前記撮像部で撮像した画像上での点座標と前記標準試料上での点座標とを対応させてレンズ特性に起因する画像の歪みを解析して正常な画像に補正・変換するための補正パラメータを算出する歪み解析部とを備えることを要旨とする。
請求項３に記載の画像補正装置は、広角レンズを有する撮像部と、該撮像部で撮像されると共に座標上の位置を特定するための複数の点が異なるカラー色で平面上に配置された標準試料と、前記撮像部で撮像した画像上での点座標と前記標準試料上での点座標とを対応させる対応データベースを構築する前処理部と、前記対応データベースからのデータに基づいて画像中心から各点までの距離と前記標準試料の試料中心から各点までの距離とを関係付けるための補正パラメータを算出すると共に前記広角レンズの光学中心に対する画像中心のずれベクトル及び前記広角レンズの光学中心に対する前記標準試料の試料中心のずれベクトルをそれぞれ算出するパラメータ推定部と、前記パラメータ推定部で求めた補正パラメータとずれベクトルとを用いて前記撮像部による撮像画像の各画素のアドレスと歪み補正画像の各画素のアドレスとを対応付けるテーブルを生成するテーブル生成部と、該テーブル生成部で生成されたテーブルに基づいてレンズ特性に起因する画像の歪みを補正した歪み補正画像を出力する画像補正部とを備えていることを要旨とする。
【００１１】
請求項４に記載の画像補正方法は、請求項３に記載の画像補正装置を用い、前記前処理部において、標準試料の点を選択する標準座標選択ステップと、その選択した点の標準座標に基づいて座標−色データベースから座標に対応する色情報を抽出して前記撮像部からの出力の中で抽出した色情報に近い色の画素のみを選択して残す二値化処理ステップと、隣接する残存画素のクラスタを検出するクラスタ処理ステップと、クラスタの中心座標を求める重心演算ステップと、唯一のクラスタが抽出されたかを判定する同定可能判定ステップと、前記判定で同定可能でない時には前記標準座標選択ステップに戻り次の点を選択するルートと、同定可能である時は標準座標と撮像画像上の座標であるクラスタの中心座標とを対応させるデータを格納するデータベース追加ステップと、データベース追加ステップでまだ標準座標全ての点のデータを格納していない時は前記標準座標選択ステップに戻り次の点を選択するルートとを含み且つ前記各ステップと前記各ルートの処理が自動的に行われることを要旨とする。
【００１２】
請求項５に記載の標準試料は、試料中心に接近する程に密度が高くなるように前記各点が配置されていることを要旨とする。
【００１３】
請求項６に記載の標準試料は、試料中心を中心とする同心円上に前記各点が配置されていることを要旨とする。
【００１４】
【発明の実施の形態】
次に、本発明の実施の形態を図面に基づいて説明する。
【００１５】
図１において、１０は標準試料、１１はＴＶカメラ等の撮像部、１２はＴＶカメラに内蔵された画像補正部、１３はＴＶカメラ等の表示画面や記録部等の出力部である。
【００１６】
標準試料１０には、図２（ａ）に示すように、座標上の位置を特定するための複数の点ｐが異なるカラー色で平面上に精密に配置されている。この点ｐは、試料中心Ｑ１（この試料中心Ｑ１にも点ｐが設けられ、標準試料１０の中心検出が可能となっている。）に接近する程に密度が高くなるように配置されている。なお、図２（ｂ）に示すように、試料中心Ｑ１を中心とする同心円上に点ｐが配置されていてもよい。
【００１７】
図２（ａ）に示した点ｐは、基本的には正方格子状に配置したもので、この配置に加えて試料中心Ｑ１の近傍の密度を高くしている。また、点ｐはカラーであり特定の色の点ｐは１つ（試料中心Ｑ１上に配置されたもの）しかない。
【００１８】
これは、広角レンズ１４の歪みは同心円上であり、広角レンズ１４の光学中心からの距離に応じて歪んでいる。特に、広角レンズ１４の光学中心付近は大きく円周部に向かって歪んでいるため、撮像された標準試料１０の画像では広角レンズ１４の光学中心にあたる領域で格子密度が疎になる。その結果として、広角レンズ１４の光学中心付近のデータが不足し十分な歪み補正ができなくなる。そこで、標準試料１０の点ｐの配置に密な領域を規定し、広角レンズ１４の光学中心を対峙させるように光学系を設置することで、撮像された画像には比較的均一な密度の点画像が得られるようになる。
【００１９】
後述する補正パラメータを決定する際に重要なのは、撮像された画像の各点ｐが、標準試料１０のどれに対応するかを決定することである。そこで、各点ｐのうち、試料中心Ｑ１上の点ｐの色を特定して試料中心Ｑ１の識別性を安定させると共に、他の点ｐ毎においても特徴的な色付けとすることで、各点ｐの色を解析し自動的な対応付けを可能とする。
【００２０】
撮像部１１には広角レンズ（又は魚眼レンズ）１４と、二次元エリアＣＣＤ等のイメージセンサー１５と、イメージセンサー１５に結像された像を画像変換する変換部（図示せず）とが設けられている。
【００２１】
撮像部１１で撮像された標準試料１０の像は、レンズ特性（並びに中心ズレ）に起因して歪みのある画像として画像補正部１２に出力される。
【００２２】
画像補正部１２では、予め求められた補正パラメータによって歪みのない画像へと変換した上で主力部１３へと出力する。
【００２３】
画像補正部１２による補正パラメータによる歪み補正は、ＴＶカメラ毎に内蔵された歪み解析部１６によって歪みを解析することによって補正パラメータを算出して行う。尚、歪み解析部１６は、ＴＶカメラ出荷時の検査ライン、撮像部組み立て検査ライン、レンズ研削又は組み付け検査ライン等に設置し、画像補正部１２に算出された補正パラメータを出力して各ＴＶカメラ毎の画像補正部１２に記憶させることも可能である。
【００２４】
歪み解析部１６は、撮像部１１から歪みのある画像データが入力され、前処理部１７、パラメータ推定部１８、テーブル生成部１９、標準試料１０の各点ｐに対応した座標と色とを記憶した座標−色データベース２０を備えている。
【００２５】
前処理部１７は、撮像された画像を用いて点ｐの画像上での座標を検出し、標準試料１０での点座標との対応データベースを構築する機能を有する。即ち、歪みのある画像上での点ｐの座標と標準試料１０上での点ｐの座標の対応データベースが生成される。十分な量のデータベースが構築された時点で、次段のパラメータ推定部１８に移行する。
【００２６】
具体的には、以下のルーチン（ルックアップテーブル）において、対応データベースを構築する。
【００２７】
即ち、標準試料１０の点ｐを選択する標準座標選択ステップと、その選択した点の標準座標（標準試料１０での点座標）に基づいて歪み解析部１６に設けられた座標−色データベース２０から選択した点ｐが配置されているとする座標に対応する色情報を抽出して実際に撮像した画像上の点ｐで抽出した色情報に近い色の画素のみを選択して残す二値化処理ステップと、隣接する残存画素のクラスタ（集合）を検出するクラスタ処理ステップと、クラスタの中心座標を求める重心演算ステップと、唯一のクラスタが抽出されたかを判定する同定可能判定ステップと、判定で同定可能でない時（Ｎｏ）には標準座標選択ステップに戻り次の点ｐを選択するルート（ループ）と、同定可能である時（Ｙｅｓ）は標準座標と画像上の座標であるクラスタの中心座標とを対応させるデータを格納するデータベース追加ステップと、データベース追加ステップで格納したデータベースで標準座標１０に配置された点ｐの全てのデータを格納したかを確認する完了確認ステップと、完了していない場合には標準座標選択ステップに戻って次の点ｐを選択するルート（ループ）を行うと共に、これら各ステップと各ルートの処理が自動的に行われる。
【００２８】
パラメータ推定部１８は、画像全体の歪みを定量的に評価し、補正基本式のパラメータを同定するものである。広角でないレンズを用いた場合には、二次の補正式を用いるのが最も一般的の様であるが、歪みの大きい広角レンズ１４の場合にはより高次の多項式がたびたび用いられるが、いずれにせよ、標準試料１０上での中心位置からの距離をｒ’、撮像画像（イメージセンサ）上での対応する点の中心位置からの距離をｒとすると、
【００２９】
【式１】
0004504575.tif 000002
【００３０】
の式を用いてそれぞれの座標間の対応を関係付けることができるように、各係数αnを決定する。ただし、定数項α0は０である。
【００３１】
ここで重要なのは、上述した図４（ｂ）に示すように、広角レンズ３の光学中心Ｑ２と標準試料１０の試料中心Ｑ１、及び、イメージセンサ４の画素中心Ｑ３とが一般には完全に一致していないことである。これを補正するために、広角レンズ１４の光学中心の推定を行う必要がある。そのためには具体的には、
【００３２】
【式２】
0004504575.tif 000003
【００３３】
の式を満たすように各形数αn及び（ベクトルｒ0’、ベクトルｒ）を決定する必要がある。
【００３４】
最も簡単な方法は、周囲の複数の点座標に基づいた内挿法を用いて（ベクトルｒ0’、ベクトルｒ）を線形で近似し、例えば、ニュートン法等の逐次法を用いて式（２）の自二乗誤差が最小となるようにα0及び（ベクトルｒ0’、ベクトルｒ）を決定する方法である。どのような方法を用いるにせよ式（２）を満足するようにベクトルｒ0を決定できれば、そこが撮像画像（イメージセンサ）上でのレンズ中心位置であると考えられ、また適切な係数αnが決定される。
【００３５】
画像補正部１２において後述するテーブル生成部１９で生成されたテーブルを用いずに補正パラメータによって直接演算する場合にはこの処理をもって処理を終了し、補正パラメータを画像補正部１８に転送して終了となる。
【００３６】
ところで、図２（ｂ）に示した点対称の同心円上に点ｐを精密に配置した標準試料１０の場合、同心円上の全ての点ｐが【式２】について同じ値になるはずであり、そのため全ての点ｐを使った最小自乗法を行わなくとも、一部のデータのみで有効に広角レンズ１４の光学中心の推定が行いやすく、より高速な処理が可能になると考えられるためである。また、同心円上に点ｐを精密に配置した場合には、標準試料１０の点ｐの配置設計する際に、歪んだ画像上での距離ｒに関して等間隔のデータが得られるようすることも容易であるという利点もある。
【００３７】
テーブル生成部１９では、パラメータ推定部１８で求められた補正パラメータを用いて、入力画像（歪み画像）と出力画像（補正画像）との画像アドレスを対応付けしたテーブルを作成する。一般には、出力画像の各画像アドレスに対応する入力画像のアドレスを求める。そのため、本質的に【式２】の逆関数を求めることになる。４次多項式までであれば一般解が利用できるが、それ以上の高次多項式を用いる場合には、ニュートン法などの数値計算により求めるのが通常である。
【００３８】
このように、補正に必要な補正パラメータの取得やテーブルの作成を自動化することで、量産においても各カメラ毎に適切な処理が可能となり、高精度な歪み補正変換を実現することができる。
【００３９】
【発明の効果】
以上説明したように、請求項１に記載の補正パラメータの算出方法は、座標上の位置を特定するための複数の点が異なるカラー色で平面上に配置された標準試料を前記撮像部で撮像し、画像上での前記各点の座標をその色情報によって識別・特定すると共にその識別・特定された画像上での前記各点の座標と前記標準試料上での前記各点の座標とを対応させて正常な画像に補正・変換するための補正パラメータを算出することにより、レンズ毎に歪み補正用の補正パラメータを求めることができる。
【００４０】
請求項２に記載の補正パラメータの算出装置にあっては、広角レンズを有する撮像部と、該撮像部で撮像されると共に座標上の位置を特定するための複数の点が異なるカラー色で平面上に配置された標準試料と、前記撮像部で撮像した画像上での点座標と前記標準試料上での点座標とを対応させてレンズ特性に起因する画像の歪みを解析して正常な画像に補正・変換するための補正パラメータを算出する歪み解析部とを備えることにより、レンズ毎に歪み補正用の補正パラメータを求める装置とすることができる。
【００４１】
請求項３に記載の画像補正装置にあっては、広角レンズを有する撮像部と、該撮像部で撮像されると共に座標上の位置を特定するための複数の点が異なるカラー色で平面上に配置された標準試料と、前記撮像部で撮像した画像上での点座標と前記標準試料上での点座標とを対応させる対応データベースを構築する前処理部と、前記対応データベースからのデータに基づいて画像中心から各点までの距離と前記標準試料の試料中心から各点までの距離とを関係付けるための補正パラメータを算出すると共に前記広角レンズの光学中心に対する画像中心のずれベクトル及び前記広角レンズの光学中心に対する前記標準試料の試料中心のずれベクトルをそれぞれ算出するパラメータ推定部と、前記パラメータ推定部で求めた補正パラメータとずれベクトルとを用いて前記撮像部による撮像画像の各画素のアドレスと歪み補正画像の各画素のアドレスとを対応付けるテーブルを生成するテーブル生成部と、該テーブル生成部で生成されたテーブルに基づいてレンズ特性に起因する画像の歪みを補正した歪み補正画像を出力する画像補正部とを備えていることにより、補正パラメータの算出装置を有する画像補正装置を製品に一体に装備することができ、各光学部材の中心ズレに起因する歪みも補正することができる。
【図面の簡単な説明】
【図１】本発明の実施の形態１に係わる画像補正装置を示し、装置の概略構成のブロック図である。
【図２】同じく、（ａ）は中央密型の標準試料の正面図、（ｂ）は同心円状配置型の標準試料の正面図である。
【図３】同じく、前処理部での処理ルーチンを示すフロー図である。
【図４】同じく、（ａ）は試料中心とレンズ光学中心と画素中心とが一致している状態の説明図、（ｂ）は試料中心とレンズ光学中心と画素中心のそれぞれがずれている状態の説明図である。
【符号の説明】
１０…標準試料
ｐ…点
１１…撮像部
１２…画像補正部
１４…広角レンズ
１６…歪み解析部
１７…前処理部
１８…パラメータ推定部
１９…テーブル生成部
２０…座標−色データベース
【図１】
0004504575.tif 000004
【図２】
0004504575.tif 000005
【図３】
0004504575.tif 000006
【図４】
0004504575.tif 000007