(57)【要約】  放射状収差モデルの第１係数を導き出す近似法が提案される。本発明のアイデアによって、ディジタルカメラシステムは、単一の直線を有する画像をキャプチャすることによって放射状レンズ歪曲を補正する良好なパラメータを自動的に発見することができる。提案された方法は計算効率的であって、ディジタルカメラはリアルタイムで放射状レンズ補正を実行する。
2005509961.tif 000002
【特許請求の範囲】
【請求項１】
収差を有する光学系の、少なくとも１つの較正パラメータを含む較正を導き出す方法であって、
前記収差に起因して、参照画像の中の直線が、再現された参照画像の中の曲線へ再現され、
前記少なくとも１つの較正パラメータを提供するため、前記直線と前記曲線との間の前記偏差が計算で使用され、
前記計算のために、前記直線上の離散点の間の幾何学的関係が提供され、
前記直線上の離散点と前記曲線上のそれぞれの離散点との間の偏差を表わす近似関係であって、前記少なくとも１つの前記較正パラメータを含む近似関係が提供され、
少なくとも１つの較正パラメータが、前記幾何学的関係および前記近似関係から導き出され、
前記参照画像の境界に近い単一の直線に基づいて、前記較正が導き出されることを特徴とする、方法。
【請求項２】
前記幾何学的関係が、前記単一の直線上の３つの点に適用されることを特徴とする、請求項１に記載の方法。
【請求項３】
前記点の１つが前記単一の直線の左部分に置かれ、点の１つが前記単一の直線の中間部分に置かれ、前記点の１つが前記単一の直線の右部分に置かれることを特徴とする、請求項１または２に記載の方法。
【請求項４】
前記近似関係が１つの単一の較正パラメータに基づくことを特徴とする、請求項１乃至３のいずれかに記載の方法。
【請求項５】
前記単一の直線が前記参照画像の外側フレームに延び、前記外側フレームが前記参照画像の表面の５０％まで覆うことを特徴とする、請求項１乃至４のいずれかに記載の方法。
【請求項６】
前記単一の直線が、前記参照画像の中で、前記参照画像の境界から参照画像の直径の３０％を超えない距離で延びることを特徴とする、請求項１乃至５のいずれかに記載の方法。
【請求項７】
前記単一の直線が水平線であることを特徴とする、請求項１乃至６のいずれかに記載の方法。
【請求項８】
前記較正パラメータが、前記幾何学的関係および前記近似関係の繰り返しによって導き出されることを特徴とする、請求項１乃至７のいずれかに記載の方法。
【請求項９】
前記参照画像から、前記参照画像として使用されるために２値参照画像が導き出されることを特徴とする、請求項１乃至８のいずれかに記載の方法。
【請求項１０】
前記単一の直線が、薄くすることによって、特に１つのピクセル幅まで薄くすることによって、前記参照画像から導き出されることを特徴とする、請求項１乃至９のいずれかに記載の方法。
【請求項１１】
収差を有する光学系が、参照画像の再現から導き出された較正によって較正される画像処理の方法であって、
前記収差に起因して、参照画像の中の直線が、再現された参照画像の中の曲線へ再現され、
少なくとも１つの較正パラメータを提供するため、前記直線と前記曲線との間の前記偏差が計算で使用され、
計算のために、前記直線上の離散点の幾何学的関係が提供され、
前記直線上の離散点と前記曲線上のそれぞれの点との間の前記偏差を表わす近似関係であって、前記少なくとも１つの較正パラメータを含む近似関係が提供され、
前記少なくとも１つの較正パラメータが、前記幾何学的関係および前記近似関係から導き出され、
前記参照画像の境界に近い単一の直線に基づいて前記較正が導き出され、前記画像が光学系によって再現されて更に処理され、
前記光学系の前記収差から生じる前記再現画像の歪曲が、前記較正の使用によって補正されることを特徴とする、方法。
【請求項１２】
請求項１乃至１１のいずれかに記載の方法を実現するように適合された装置を備える、画像システム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、収差を有する光学系の、少なくとも１つの較正パラメータを含む較正を導き出す方法であって、収差に起因して、参照画像の中の直線が、再現された参照画像の中の曲線へ再現され、少なくとも１つの較正パラメータを提供するため、直線と曲線との間の偏差が計算で使用される方法に関する。更に本発明は、収差を有する光学系が、参照画像の再現から導き出された較正によって較正される画像処理の方法であって、収差に起因して、参照画像の中の直線が、再現された参照画像の中の曲線へ再現され、少なくとも１つの較正パラメータを提供するため、直線と曲線との間の偏差が計算で使用される方法に関する。
【背景技術】
【０００２】
通常、コスト関数を最小にすることによって収差パラメータを導き出すため、入力画像と参照画像との間の対応を発見することが必要である。１つの他のアプローチは、幾つかの異なった投影画像のトライリニアテンソルを計算する。そのようなアプローチは、参照画像または自己参照のための多くの入力画像を正確に知っていることを必要とする。
【０００３】
カメラレンズの不完全は、多くの場合、得られた画像に存在する収差を作り出す。球面収差および色収差のほかに、像平面の非点収差乱視、コマ、歪曲、および曲率が、そのような収差に含まれる。これは、特に、得られた画像の中に、放射状収差と呼ばれる多数の糸巻き状の収差を生じる。放射状収差は、安価なレンズを備えた低プライズのカメラで全く明瞭である。この問題は、ディジタル画像システムの製造者および、特に、ディジタルカメラのメーカーおよび主要構成部品の供給者の関心事である。この問題に対する解決法は、通常、特開平１１−３１３２５０で提案されているように、高価な光学系を組み込むことである。更に、代替の解決法は、特開平１０−１８７９２９で説明されているように、そのような放射状収差をディジタ
ル的に補正することである。
【０００４】
「図形モデルおよび画像処理」（“Graphical Models and Image Processing", Vol. 59, No. 1, January 1997, pages 39-47, Article No. IP960407)の中の記事「放射状レンズ歪曲の線ベース補正」(“Line based correction of radial lens distortion" by B. Prescot and G.F. McLean）では、複数の直線を、局所階調方向の類似性および特殊連結の結合規準で選択された特定の線サポート領域へ割り当てられた曲線へ再現することに基づいて、そのような補正のために歪曲パラメータを最適化することが提案される。一組の線方程式、および直線の集合と曲線の集合との間の偏差を示す一組の方程式に基づく一組の方程式が、歪曲像から補正像へのグローバルフォワードマッピング（global forward mapping）のパラメータを計算するため完全に解かれる。積分解決法を達成するそのような大域計算は、十分な計算努力を必要とし、リアルタイムの応用には適しない。
【発明の開示】
【発明が解決しようとする課題】
【０００５】
本発明は、このような場合に対処する。本発明の目的は、光学系のリアルタイムおよび半自動較正が可能な較正を導き出す方法および画像処理の方法を指定することである。更に、適切な画像システムが提供される。特に、カメラは、そのような光学系およびイメージャを含むことができる。イメージャは、光学系によって提供された画像をサンプリングするための離散的要素のアレー、たとえば電荷転送素子、特に、たとえばＣＭＯＳテクノロジに基づいたＣＣＤまたはＣＥＤセンサを含む。
【課題を解決するための手段】
【０００６】
上記目的は、冒頭で述べたような較正を導き出す方法によって解決される。その場合、本発明によれば、計算のために直線上の離散点の幾何学的関係が提供され、直線上の離散点と曲線上のそれぞれの点との間の偏差を示し、少なくとも１つの較正パラメータを含む近似関係が提供され、少なくとも１つの較正パラメータが幾何学的関係および近似関係から導き出され、参照画像の境界に近い単一の直線に基づいて較正が導き出される。
【０００７】
更に、本発明は冒頭で述べたような画像処理の方法を導き、それによって上記問題が解決される。その場合、本発明によれば、計算のために、直線上の離散点の幾何学的関係が提供され、直線上の離散点と曲線上のそれぞれの点との間の偏差を示し、少なくとも１つの較正パラメータを含む近似関係が提供され、少なくとも１つの較正パラメータが幾何学的関係および近似関係から導き出され、参照画像の境界に近い単一の直線に基づいて較正が導き出され、画像が光学系によって再現されて更に処理され、光学系の収差から生じた再現画像の歪曲が、較正の使用によって補正されることが提案される。
【０００８】
較正を導き出す方法に基づくそのような補正であって、提案された画像処理の方法に含まれる補正は、ハードウェア加速を使用してビデオをキャプチャするためリアルタイムで行われるか、単一の画像をキャプチャするためオフラインで行われてよい。特に低コストの応用では、単一の直線および単一の曲線の上の離散点に基づいて幾何学的関係および近似関係を提供し、リアルタイム応用および光学系の半自動較正のために少なくとも１つの較正パラメータを導き出すことで十分であることが分かった。したがって、提案された主なコンセプトは、参照画像の境界に近い単一の直線に基づいて較正を導き出し、それによって１つの較正パラメータを有利に導き出すことである。このコンセプトによれば、そのような方策は、光学系の収差をディジタル的に補正するのに十分である。
【０００９】
利点は、更に、従属請求項で記述されるように、継続的に展開された構成によって改善される。
【００１０】
特に、幾何学的関係は、単一の直線上の３つの点に適用されることが好ましい。好ましい構成において、点の１つは単一の直線の左部分に置かれ、点の１つは単一の直線の中間部分に置かれ、点の１つは単一の直線の右部分に置かれる。そのように最適化された単一直線上の点の広がりは、画像を通して信頼できる収差の効率的および全体的補償を保証する。
【００１１】
好ましくは、近似関係は、１つだけの較正パラメータに基づく。これはリアルタイム要件に対して最も有効である。
【００１２】
好ましい構成において、単一の直線は、参照画像の外側フレームに延びる。その場合、外側フレームは参照画像の表面の５０％までを覆うことができる。特に、単一の直線は、参照画像の中で、参照画像の境界から参照画像の直径の３０％を超えない距離へ伸びる。
【００１３】
更に好ましい構成では、単一の直線は水平線であると有利である。更に、それは垂直線であってもよい。水平線は、高さよりも大きい幅を有する長方形画像の収差を補償することができる。
【００１４】
有利には、較正パラメータは、幾何学的および近似関係の繰り返しによって導き出される。繰り返しは、結果の必要な精度が低くされるほど、非常に速い結果を与える。そのような妥協は有利に調整されてよい。
【００１５】
更に好ましい構成では、参照画像から、参照画像として使用されるために２値参照画像が導き出される。有利には、単一の直線は、薄くすること、特に１つのピクセル幅まで薄くすることによって、参照画像から導き出される。それによって、どのような画像も参照画像としての機能を果たすことができる。直線は効率的な方法で抽出される。
【００１６】
更に、本発明は、提案された方法を実現するように構成された装置を含む画像システムを導く。
【００１７】
そのような画像システムは、更に、光学系およびイメージセンサ、たとえば、ＣＭＯＳ、ＣＣＤ、またはＣＥＤイメージャを含んでよい。装置は、メモリおよび処理ユニットを含んで、画像信号からビデオ出力を導き出すプロセッサ装置であってよい。更に、インタフェース、特にイメージセンサへ接続可能なインタフェースおよびモニタへ接続可能なインタフェースが設けられてよい。
【００１８】
ここで、添付の図面を参照して本発明を説明する。
【００１９】
本発明の好ましい実施形態と考えられるものが図示および説明されたが、もちろん、形式または詳細における様々な修正および変更が、本発明の趣旨から逸脱することなく容易に行われてよいことが分かるであろう。したがって、本発明は、ここで図示および説明されたとおりの形式および詳細へ限定されず、また特許請求の範囲で規定されるように、開示された本発明の全体より小さくは限定されないことが意図される。好ましい実施形態の詳細な説明は図面で示される。
【発明を実施するための最良の形態】
【００２０】
放射状収差は、図３において、ピクセルから画像中心Ｏへの距離の関数としてモデル化される。式１は収差モデルであり、Ｒは画像の歪曲されたピクセルから中心Ｏへの距離である。前述したように、大部分の安価なレンズに対して、１つのパラメータモデルで十分である。ユークリッド座標で表される単純化されたモデルは、式２で記述される。
【数１】
2005509961.tif 000003
【数２】
2005509961.tif 000004
【００２１】
ここで、Ｒ’２＝（ｘ'−Ｃｘ）２＋（ｙ'−Ｃｙ）２であり、ピクセルｐ（ｘ，ｙ）は歪曲されたピクセルに対応し、ｐ（ｘ'，ｙ'）は補正されたピクセルに対応し、（Ｃｘ，Ｃｙ）は画像の光学的中心に対応する。低コストカメラレンズについては、レンズの製造者は、通常、工場収差パラメータγｓを提供しない。したがって、ディジタルカメラのメーカーは、多くの場合、収差補正を行わず、これは不正確な結果を導く。
【００２２】
方法の好ましい実施形態は、γ１を導き出す半自動的方法を提案する。導き出されたγ１は、ハードウェア加速を使用してリアルタイムで実行されることのできるレンズ補正のためにルックアップテーブルを開発する助けとなるであろう。これによって、ユーザは、アップグレードされたレンズを自己較正することができ、ディジタルカメラのメーカーは、高品質カメラに安価なレンズを使用することができる。
【００２３】
提案された方法は、第１の収差パラメータｇ１を導き出すための健全で計算効率の良い方法を与える。この仕事には、単一の直線を有する１つの入力画像で十分である。この手法の簡便性は、手法を消費者向け機器で応用するのに適したものにする。
【００２４】
収差モデルは、式（２）に記述され、歪曲補正の逆方向マッピングに適用される。原点を画像の光学的中心へシフトし、ｘ'を他の辺へ移動すると、式（２）は（３）のように単純化される。
【数３】
2005509961.tif 000005
【００２５】
｜γＲ'２｜＜＜１の制約条件のもとで、ｘ'およびｙ'は、Ｒ’２＝Ｒ２を導くｘおよびｙへ近づく。ｘ'およびｙ'は、次のように近似される。
【数４】
2005509961.tif 000006
【００２６】
図３で示されるように、Ｐ１'（ｘ１'，ｙ１'）、Ｐ２'（ｘ２'，ｙ２'）、およびＰ３'（ｘ３'，ｙ３'）は、歪曲されていない画像上の３つのピクセルであり、図３の直線Ｌ１の上に置かれているものと仮定する。これはトライリニアと呼ばれる）。それは、Ｐ１'、Ｐ２'、およびＰ３'が現実世界でトライリニアであり、得られた画像では曲率Ｌ２の上の点として示されることを意味する。この現象は、放射状歪曲によって生じる。）
幾何学では、トライリニアピクセルの関係は、次のように表される。
【数５】
2005509961.tif 000007
【００２７】
式（４）を式（５）へ代入することによって、次の式が得られる。
【数６】
2005509961.tif 000008
【００２８】
これは、
（ａ＋γ１ｂ）／（ｃ＋γ１ｄ）＝（ｅ＋γ１ｆ）／（ｇ＋γ１ｈ）
のように簡単にすることができる。ここで、ａ＝ｘ１−ｘ２、ｂ＝ｘ１Ｒ２２−ｘ２Ｒ１２であり、逆も同様である。上記の式を再構成することによって、次の式が得られる。
【数７】
2005509961.tif 000009
【００２９】
γ１の解は、最小の絶対値を使用して選択される。
【００３０】
γ１は式（４）および（５）から生じる近似値であるから、γ１はＲ’２の近似値を導き出すため式（４）へ代入される。Ｒ’２は、更に、より正確なγ１を得るため式（３）および（５）へ代入される。幾つかの繰り返しの後、γ１の変化が閾値、たとえば１０−５よりも小さくなったとき、γ１の計算は中止される。
【００３１】
手順の詳細は、以下のように列記される。
【００３２】
１．  図１ａのように、画像の境界に近い水平線を有する画像を入力する。
【００３３】
２．  入力画像のカラー深度を単一のビットへ縮小する。たとえば、入力画像から２値画像を導き出す。
【００３４】
３．  図１ｂで示されるように、２値画像の水平線を１ピクセル幅へ薄くする（形態操作）。
【００３５】
４．  図３のように、線Ｌ１から３つのピクセル（トライリニア）Ｐ'１、Ｐ'２、およびＰ'３を抽出する。ピクセルが、線の左部分、中間部分、および右部分に置かれていることを確かめる。
【００３６】
５．  最小絶対値を使用して、式（４）および（５）からγ１を解く。
【００３７】
６．  γ１を式（４）へ代入してＲ'２を導き出し、それを式（３）および（５）へ適用してγ１の解を繰り返す。
【００３８】
７．  γ１の変化が閾値、たとえば１０−５よりも小さくなるまで、ステップ６を繰り返し反復する。
【００３９】
図２ａおよび図２ｂは、それぞれ、元の画像および提案されたアプローチから得られたγ１を使用した補正画像を示す。
【００４０】
図３は、抽出されたピクセルの集合と、歪曲されていない対応位置との関係を示す。
【図面の簡単な説明】
【００４１】
【図１ａ】水平線の画像を示す図である。
【図１ｂ】薄くするプロセスの後の２値画像を示す図である。
【図２ａ】元の画像を示す図である。
【図２ｂ】補正された画像を示す図である。
【図３】曲線上で抽出された一組の離散ピクセルおよび対応する補正位置を有する好ましい実施形態の方法を示す図である。
【図１ａ】
2005509961.tif 000010
【図１ｂ】
2005509961.tif 000011
【図２ａ】
2005509961.tif 000012
【図２ｂ】
2005509961.tif 000013
【図３】
2005509961.tif 000014
【国際調査報告】
2005509961.tif 000015
2005509961.tif 000016
2005509961.tif 000017