(57)【要約】【課題】レンズシェーディング補正ファクタの算出方法及びそれを用いたレンズシェーディング補正方法及び装置。【解決手段】本発明は撮像素子の特性に起因するレンズシェーディングを補正するための補正ファクタを算出する方法を提示するが、従来の方法よりメモリ使用量が顕著に減少した方法を提示する。本発明によれば、基準画像を撮影し、撮影された基準画像に対してレンズシェーディングパターンの特性を利用して補正ファクタを算出するか、指数スプライン関数を用いて画素値分布を近似化して近似化された画素値分布を用いて補正ファクタを算出する。また、本発明は算出された補正ファクタを用いてレンズシェーディングを補正する方法及び装置を提供する。【選択図】図７
2013013043.tif 000002
【特許請求の範囲】
【請求項１】
基準画像を獲得するステップ；
前記基準画像をチャネル別画像に分離するステップ；
前記チャネル別画像を複数の円形セクタに分離するステップ；
前記チャネル別画像の画素値が最も高い点を探すステップ；
前記チャネル別画像の円形セクタ別平均画素値を探すステップ；及び
補正ファクタ＝（チャネル別画像の最も高い画素の画素値）／（セクタの平均画素値）により各セクタ別補正ファクタを算出するステップを含むレンズシェーディング補正ファクタの算出方法。
【請求項２】
前記基準画像を獲得するステップは、
複数個のホワイト又はグレー画像を撮影するステップ；及び
前記ホワイト又はグレー画像の平均画像を獲得するステップを含む請求項１に記載のレンズシェーディング補正ファクタの算出方法。
【請求項３】
前記チャネル別画像の画素のうち画素値が最も高い画素を探すステップは、
チャネル別画像の画素のうち複数個のサンプルを抽出するステップ；
前記サンプルを基に画素値分布をｘｙｚ空間の３次元球面多項式にフィッティングするステップ；及び
前記３次元多項式でｚ値が最も高いｘ、ｙ座標を抽出するステップを含む請求項１に記載のレンズシェーディング補正ファクタの算出方法。
【請求項４】
前記円形セクタ別平均画素値は前記３次元多項式から抽出される請求項３に記載のレンズシェーディング補正ファクタの算出方法。
【請求項５】
前記チャネル別画像のエッジをスムージング処理するステップをさらに含む請求項１に記載のレンズシェーディング補正ファクタの算出方法。
【請求項６】
前記画素値が円形セクタは画素値の差が５以下である画素の集合である請求項１に記載のレンズシェーディング補正ファクタの算出方法。
【請求項７】
画像を撮影するステップ；
前記撮影された画像をチャネル毎に分離するステップ；
前記チャネル毎に分離された画像を複数の円形セクタに分離するステップ；
前記複数の円形セクタ毎に決められた補正ファクタを乗じるステップ；及び
前記チャネル別画像を一つの画像に統合するステップを含むレンズシェーディング補正方法。
【請求項８】
前記補正ファクタは、基準画像を獲得し、前記基準画像をチャネル毎に分離し、前記チャネル毎に分離された画像に対して、
補正ファクタ＝（チャネル別画像の最も高い画素の画素値）／（セクタの平均画素値）により算出される請求項７に記載のレンズシェーディング補正方法。
【請求項９】
画像を獲得する撮像素子；
獲得された画像に所定の画像処理を行って伝達する撮像部；及び
前記撮像部から受信された画像を色相チャネル別画像に分離し、前記チャネル毎に分離された画像を複数の円形セクタに分離し、前記複数の円形セクタ毎に決められた補正ファクタを乗じ、前記補正ファクタが乗じられたチャネル別画像を一つの画像に統合するレンズシェーディング補正部を含むレンズシェーディング補正装置。
【請求項１０】
前記補正ファクタは、基準画像を獲得し、前記基準画像をチャネル毎に分離し、前記チャネル毎に分離された画像に対して、
補正ファクタ＝（チャネル別画像の最も高い画素の画素値）／（セクタの平均画素値）により算出される請求項９に記載のレンズシェーディング補正装置。
【請求項１１】
基準画像を獲得するステップ；
前記基準画像をチャネル別画像に分離するステップ；
前記チャネル別画像で複数のサンプル画素を決定するステップ；
前記複数のサンプル画素の画素値を用いて２次元指数スプライン関数を前記チャネル別画像にフィッティングするステップ；
前記指数スプライン関数の係数又は次数を調整して前記チャネル別画像の輝度値分布を算出するステップ；及び
前記２次元指数スプライン関数に基づいて補正ファクタを算出するステップを含むレンズシェーディング補正ファクタの算出方法。
【請求項１２】
前記２次元指数スプライン関数は次のように定義され、
【数１】
2013013043.tif 000006
ここで、Ｙ（ｘ）＝ｗ1（ｘ）＊ｗ2（ｘ）＊．．．＊ｗn（ｘ）で、
ｗi（ｘ）＝ｅｘｐ（ａiｘ）で、
Ｃ［ｉ，ｊ］はコントロールポイント行列で、
ｉ、ｊ、ｍ、ｎは整数、「＊」は畳み込み演算子、ａiは係数である請求項１１に記載のレンズシェーディング補正ファクタの算出方法。
【請求項１３】
前記コントロールポイント行列は前記複数のサンプル画素のｘ、ｙ座標及び画素値を用いて前記２次元指数スプライン関数から決定される請求項１２に記載のレンズシェーディング補正ファクタの算出方法。
【請求項１４】
前記複数のサンプル画素を決定するステップは、
前記チャネル別画像を複数の長方形セクタに分離するステップ；及び
前記長方形の頂点に該当する画素を前記サンプル画素として決定するステップを含む請求項１１に記載のレンズシェーディング補正ファクタの算出方法。
【請求項１５】
前記補正ファクタＦはＦ＝（チャネル別画像の最大画素値）／（前記画素値分布から算出された各画素の画素値）により算出される請求項１１に記載のレンズシェーディング補正ファクタの算出方法。
【請求項１６】
画像を撮影するステップ；
前記撮影された画像をチャネル毎に分離するステップ；
前記チャネル毎に分離された画像に２次元指数スプライン関数を用いて算出された補正ファクタを乗じるステップ；及び
前記チャネル別画像を一つの画像に統合するステップを含むレンズシェーディング補正方法。
【請求項１７】
前記補正ファクタＦはＦ＝（チャネル別画像の最大画素値）／（基準画像の画素分布により算出された各画素の画素値）により算出される請求項１６に記載のレンズシェーディング補正方法。
【請求項１８】
前記基準画像の画素分布は次の２次元指数スプライン関数により算出され、
【数２】
2013013043.tif 000007
ここで、Ｙ（ｘ）＝ｗ1（ｘ）＊ｗ2（ｘ）＊．．．＊ｗn（ｘ）で、
ｗi（ｘ）＝ｅｘｐ（ａiｘ）で、
Ｃ［ｉ，ｊ］はコントロールポイント行列で、
ｉ、ｊ、ｍ、ｎは整数、「＊」は畳み込み演算子、ａiは係数である請求項１７に記載のレンズシェーディング補正ファクタの算出方法。
【請求項１９】
前記コントロールポイント行列は基準画像に対して獲得された複数のサンプル画素のｘ、ｙ座標及び画素値を用いて前記２次元指数スプライン関数から決定される請求項１８に記載のレンズシェーディング補正方法。
【請求項２０】
画像を獲得する撮像素子；
獲得された画像に所定の画像処理を行って伝達する撮像部；及び
前記撮像部から受信された画像をチャネル毎に分離し、前記チャネル毎に分離された画像に２次元指数スプライン関数を用いて算出された補正ファクタを乗じ、前記チャネル別画像を一つの画像に統合するレンズシェーディング補正部を含むレンズシェーディング補正装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明はレンズシェーディング補正に関する。より具体的には、本発明は撮像素子の特性に起因するレンズシェーディングを補正するための補正ファクタを算出する方法を提示するが、従来の方法よりメモリ使用量が顕著に減少した方法を提示する。本発明によれば、ホワイト画像を撮影し、撮影されたホワイト画像に対してレンズシェーディングパターンの特性を利用して補正ファクタを算出するか、指数スプライン関数を用いて画素値分布を近似化して近似化された画素値分布を用いて補正ファクタを算出する。また、本発明は算出された補正ファクタを用いてレンズシェーディングを補正する方法及び装置を提供する。
【背景技術】
【０００２】
一般に、レンズ系と撮像部を有する撮像装置で、レンズ系による周辺光量不足により、撮像される画像にシェーディング、すなわち、感度の不均一性が生じる。
【０００３】
このようなレンズシェーディングを除去するための技術には様々な方法があり、従来の方法のうちもっとも正確な補正方法は画素毎に画素値を測定して画像全体の画素値を最大画素値に補正する方法であるが、これは画像の大きさによって相当量のメモリを使用するという短所がある。さらに、処理量が多いため処理速度も遅くなる。その他の従来の効率の良い方法もいずれもメモリを多く使用するという短所があった。
【０００４】
デジタルカメラ又はカメラが装着された携帯電話などのモバイル装置ではメモリ使用量が大きな問題であるため、メモリ使用量が多いという点は適用にあたっての大きな短所でしかなかった。
【発明の概要】
【発明が解決しようとする課題】
【０００５】
本発明の目的は、デジタルカメラなどの光学装置でメモリを少なく使用しながらも補正性能が改善されたレンズシェーディング補正方法及び装置を提供することにある。
【０００６】
本発明の他の目的は、レンズシェーディング補正の処理速度が改善されたレンズシェーディング補正方法及び装置を提供することにある。
【課題を解決するための手段】
【０００７】
本発明の一実施例によるレンズシェーディング補正ファクタの算出方法は、基準画像を獲得するステップ；前記基準画像をチャネル別画像に分離するステップ；前記チャネル別画像を複数の円形セクタに分離するステップ；前記チャネル別画像の画素値が最も高い点を探すステップ；前記チャネル別画像の円形セクタ別平均画素値を探すステップ；及び補正ファクタ＝（チャネル別画像のもっとも高い画素の画素値）／（セクタの平均画素値）により各セクタ別補正ファクタを算出するステップを含む。
【０００８】
本発明の一実施例によるレンズシェーディング補正方法は、画像を撮影するステップ；前記撮影された画像をチャネル毎に分離するステップ；前記チャネル毎に分離された画像を複数の円形セクタに分離するステップ；前記複数の円形セクタ毎に決められた補正ファクタを乗じるステップ；及び前記チャネル別画像を一つの画像に統合するステップを含む。
【０００９】
本発明の一実施例によるレンズシェーディング補正装置は、画像を獲得する撮像素子；獲得された画像に所定の画像処理を行って伝達する撮像部；及び前記撮像部から受信された画像を色相チャネル別画像に分離し、前記チャネル毎に分離された画像を複数の円形セクタに分離し、前記複数の円形セクタ毎に決められた補正ファクタを乗じ、前記補正ファクタが乗じられたチャネル別画像を一つの画像に統合するレンズシェーディング補正部を含む。
【００１０】
本発明の一実施例によるレンズシェーディング補正ファクタ算出方法は、基準画像を獲得するステップ；前記基準画像をチャネル別画像に分離するステップ；前記チャネル別画像で複数のサンプル画素を決定するステップ；前記複数のサンプル画素の画素値を用いて２次元指数スプライン関数を前記チャネル別画像にフィッティングするステップ；前記指数スプライン関数の係数又は次数を調整して前記チャネル別画像の輝度値分布を算出するステップ；及び前記２次元指数スプライン関数に基づいて補正ファクタを算出するステップを含む。
【００１１】
本発明の一実施例によるレンズシェーディング補正方法は、画像を撮影するステップ；前記撮影された画像をチャネル毎に分離するステップ；前記チャネル毎に分離された画像に２次元指数スプライン関数を用いて算出された補正ファクタを乗じるステップ；及び前記チャネル別画像を一つの画像に統合するステップを含む。
【００１２】
本発明の一実施例によるレンズシェーディング補正装置は、画像を獲得する撮像素子；獲得された画像に所定の画像処理を行って伝達する撮像部；及び前記撮像部から受信された画像をチャネル毎に分離し、前記チャネル毎に分離された画像に２次元指数スプライン関数を用いて算出された補正ファクタを乗じ、前記チャネル別画像を一つの画像に統合するレンズシェーディング補正部を含む。
【発明の効果】
【００１３】
本発明によれば、デジタルカメラ又はカメラが装着された携帯電話などのモバイル装置でメモリを少なく使用しながらもレンズシェーディング現象を効果的に除去することができる。
【００１４】
また、本発明によればレンズシェーディング補正処理をより速い速度で行うことができる。
【図面の簡単な説明】
【００１５】
【図１】本発明の一実施例によるＤＮＰビューアによって撮影された基準画像を示す図である。
【図２】本発明の一実施例により基準画像を色相チャネル毎に分離する方法を示す図である。
【図３】本発明の一実施例により基準画像を円形ベルト状のセクタに分離する方法を示す図である。
【図４】本発明の一実施例により基準画像の画素分布をモデリングするための３次元グラフを示す図である。
【図５】本発明の一実施例により求めたセクタ別補正ファクタを示すグラフである。
【図６】元画像の画素分布の横方向、すなわち、図４のｘ方向に該当する切断面に対するプロファイルと補正されたプロファイルを示すグラフである。
【図７】本発明の第１実施例によるレンズシェーディング補正ファクタの算出方法を示すフローチャートである。
【図８】本発明の一実施例により、基準画像の不規則な画素値分布を示す図である。
【図９】本発明の一実施例によるサンプルポイント抽出方法を示す図である。
【図１０】１次指数スプライン関数を示すグラフである。
【図１１】２次指数スプライン関数を示すグラフである。
【図１２】Ｎ次指数スプライン関数を示すグラフである。
【図１３】本発明の第２実施例による画素値分布を近似化する方法を示すフローチャートである。
【図１４】本発明の一実施例によるレンズシェーディング補正のための映像処理装置の構成を示す図である。
【発明を実施するための形態】
【００１６】
以下、図面を参照して本発明の実施例をさらに詳しく説明する。
【００１７】
デジタルカメラなどに装着されるＣＣＤセンサなどの画像撮像素子の製品固有の特性によってレンズシェーディングパターンが異なる。本発明では特定の画像撮像素子でホワイト画像を撮影し、ホワイト画像に対して補正係数を算出した後、算出された補正係数を用いて実際の画像を補正する方法及び装置を実施する。
【００１８】
先ず、本発明の一実施例により、基準画像であるホワイト画像を用いて補正係数を求める方法を説明する。補正係数を算出するための基準画像としては、いかなる画像も含まず画像全体に均一な画素値、すなわち、輝度値を有する画像を用いることが好ましい。基準画像としてはいかなる画像も含まないホワイト画像を使用してもよく、グレー画像を使用してもよい。
【００１９】
基準画像を、補正係数を求める撮像素子が装着されたＤＮＰビューア（大日本印刷株式会社製）などの光学装置で撮影すると、図１のような画像を得ることができる。図１のように元々は画像全体の輝度が均一な画像であるが、撮影された画像には中心部は明るく周辺に行くほど暗いレンズシェーディング現象が現れる。
【００２０】
図１の基準画像を図２のように色相チャネル毎に分離する。基準画像とチャネル毎に分離された画像はいかなる処理も加えられていないロー（ｒａｗ）データで構成された画像である。
【００２１】
図２のように四つのチャネル毎に分離する理由は、一般に撮像素子によって撮影された画像でＧチャネルはＧｒ（Ｇｒｅｅｎ  ｒｅｄ）、Ｇｂ（Ｇｒｅｅｎ  Ｂｌｕｅ）の二つのチャネルに対する画素値を有する。そのため、他のチャネルに比べて画素数が二倍多くチャネル分割時にＧｒチャネル、Ｇｂチャネルのそれぞれの映像に対して互いに異なるレンズシェーディング補正関数を抽出することが好ましいからである。
【００２２】
本発明の一実施例により、補正係数の正確度を上げるために、図１のような基準画像としては、一つのホワイト画像を撮影して使用せずに、数個から数十個程度を撮影し、撮影された画像を平均したものを基準画像として使用することが好ましい。
【００２３】
基準画像には撮像素子自体から生じる雑音によって不均一な部分が含まれ得る。また撮影平面自体の小さな屈曲又は反射による不均一な部分がホワイト画像に存在し得る。したがって、基準画像それぞれに対して地域的フィルタリングを行ってノイズを除去する過程をさらに経ることができる。この時、メディアンフィルタ（ｍｅｄｉａｎ  ｆｉｌｔｅｒ）を使用することができる。
【００２４】
その後の補正係数を求めるステップは次のような２つの実施例に分けて説明する。
【００２５】
＜第１実施例＞
第１実施例は、レンズシェーディングが中心部は明るく周辺に向かうほど暗くなる特性を示す場合に対する方法である。
【００２６】
図１のように中心部は明るく周辺に向かうほど暗くなる特性を持つ基準画像を、図３のように中心を共有し半径が互いに異なるＮ個の円形ベルト状のセクタに区分する。各セクタは画素値が類似している画素の集合であり得、好ましくは画素値が０〜２５５の範囲内にあると仮定した場合、画素値の差が５以内である画素の集合で構成され得る。
【００２７】
そして、基準画像のうち最も画素値の高い画素の画素値を求め、各セクタに含まれた画素の平均画素値を求める。画素値の最も高い画素は画像の中心部に位置する。
【００２８】
本発明の一実施例により円形ベルト状のセクタ別補正係数Ｆ１は、下記式（１）により求めることができる。
Ｆ１＝（最大画素値を有する画素の画素値）／（セクタ別画素値平均）      （１）
【００２９】
一方、基準画像に対して最大画素値を有する画素値は画像の中心にあるが、正確な座標が分からないのでプロセッサなどの演算装置で処理するには問題がある。また、各セクタ別画素の平均値も、セクタ別画素のうち一部の画素値を測定するのか、画素全体の画素値を測定しなければならないのか問題がある。本発明により、このような処理を高速に行うためには、基準画像の画素値分布を３次元曲線で近似化できる。
【００３０】
撮影された基準画像の画素分布を３次元空間に描いてみると、概略的に図４のような半球状の分布を得ることができる。ここで画像はｘｙ平面に置かれていると仮定し、ｚ値は各画素の輝度値を示すと仮定する。
【００３１】
上の半球は下記式（２）のような球面方程式でモデリングできる。
ｘ2＋ｙ2＋ｚ2＋ａｘ＋ｂｙ＋ｃｚ＋ｄ＝０      （２）
【００３２】
撮影された基準画像に４つ以上のサンプル画素に対する画素値を測定することができ、このサンプル画素の座標と画素値を用いて式（２）の係数ａ、ｂ、ｃ、ｄ値を求めることができる。
【００３３】
もし、サンプル画素の個数が５つ以上であれば、過剰決定系（ｏｖｅｒｄｅｔｅｒｍｉｎｅｄ  ｓｙｓｔｅｍ）になり、この場合は最小２乗球面フィッティング（ｌｅａｓｔ  ｓｑｕａｒｅ  ｓｐｈｅｒｅ  ｆｉｔｔｉｎｇ）を用いて画素値分布を式（２）の方程式にフィッティング（ｆｉｔｔｉｎｇ）することができる。これに対するさらに詳しい説明については、「THE APPLICATIONS OF LEAST-SQUARE SPHERE FITTING IN DIGITAL CAMERA」、Shih-Ming Chen（陳世明）and Chiou-Shann Fuh（傅楸善）、Department of Computer Science and information Engineering、National Taiwan Universityを参照されたい。
【００３４】
画素値分布を示す方程式を求めると球の中心が最大画素値を持つ画素になり、その上円形ベルトの半径及び幅さえ分かれば、各セクタ別画素値平均もプロセッサの演算処理によって容易に求めることができる。
【００３５】
上述のように画像の中心値座標、円形ベルト状のセクタの半径、セクタ別補正係数を求めて保存しておく。実際にレンズシェーディング補正アルゴリズムが搭載されるデジタルカメラなどの光学装置では、補正を行う画像を撮影した後、撮影された画像を円形ベルト状のセクタに分けて各セクタにセクタ別補正係数を乗じることによって、レンズシェーディング補正を行うことができる。
【００３６】
図５は、本発明の一実施例により求めたセクタ別補正ファクタを示す図である。セクタを全部で３０個に分けた場合に中心から周辺に行きながら１番から３０番の番号が付けられたセクタに対するグラフである。
【００３７】
図６は、元画像の画素分布の横方向、すなわち、図４のｘ方向に該当する切断面に対するプロファイル１１と補正されたプロファイル１２を示すグラフである。元画像のプロファイル１１に図５のような補正ファクタを乗じると補正されたプロファイル１２を得ることができる。図６に示すように、補正された画素分布は画像全体にわたって均等な明さを示すようになる。すなわち、レンズシェーディング効果がほとんど除去される。
【００３８】
図７は、本発明の第１実施例によるレンズシェーディング補正ファクタの算出方法を示すフローチャートである。
【００３９】
ステップＳ１１で、基準画像を獲得する。上述したように、基準画像はＤＮＰビューアによって撮影された全体の明るさが均一なホワイト画像又はグレー画像であり得る。実施例によっては、数個又は数十個のホワイト画像又はグレー画像を撮影して平均したものを基準画像として使用することができる。
【００４０】
ステップＳ１２で、基準画像を色相チャネル毎に分離する。
【００４１】
ステップＳ１３で、色相チャネル毎に分離された画像を円形ベルト状の複数のセクタに分離する。
【００４２】
ステップＳ１４で、基準画像の最大画素値とセクタ別平均画素値を算出する。この時、上述したようにサンプル画素を使用して画素分布を球面方程式にフィッティングすることで最大画素値とセクタ別平均画素値を算出できる。
【００４３】
ステップＳ１５で、式（１）によってセクタ別補正係数Ｆ１を算出する。
【００４４】
＜第２実施例＞
第１実施例は撮影された基準画像の画素値分布が中心部が最も明るく周辺に向かうほど暗くなる特性を持つ場合には効果的であるが、画素値分布が不規則な場合には適用できない短所がある。以下で説明する第２実施例は基準画像が非対称で不規則な画素値分布を示す場合にも適用され得る。基準画像を色相チャネル毎に分離する過程までは第１実施例と同じである。
【００４５】
撮影された基準画像が図８のような分布を示すと仮定する。図４と同じように、画像はｘｙ平面に置かれ、各ｘｙ座標に対するｚ値は画素値を示す。図８に示すように、中心部が特に明るくはなく、周辺に向かうほど規則的に暗くなることもなく、特定パターンを持つこともない。
【００４６】
このような分布を有する画像に対してレンズシェーディング補正を行うためには、このような分布を特定の方程式でモデリングする必要がある。本発明の一実施例により、指数スプライン関数（ｅｘｐｏｎｅｎｔｉａｌ  ｓｐｌｉｎｅ  ｆｕｎｃｔｉｏｎ）を用いる。
【００４７】
先ず、基準画像で複数個のサンプルポイントを抽出する。このため、図９のように画像を複数個の長方形セクタに分ける。これらの長方形セクタはすべて同じ大きさを有し得る。また、これらの長方形セクタの各頂点をサンプルポイントとして抽出する。
【００４８】
図９のように全部で４×４＝１６個の長方形セクタに分離されると、全部で２５個のサンプルポイントを抽出することができる。サンプルポイントに該当する画素値を測定する。
【００４９】
サンプルポイントの座標と画素値が分かっていると仮定すると、全部で２５個の条件を得ることになる。この条件を満たす方程式をフィッティング（ｆｉｔｔｉｎｇ）すると画像分布をモデリングすることができる。
【００５０】
このため、下記式（３）のような２次元方程式を用いる。
【００５１】
【数１】
2013013043.tif 000003
【００５２】
ここで、Ｙ（ｘ）＝ｗ1（ｘ）＊ｗ2（ｘ）＊．．．＊ｗn（ｘ）で、ｗi（ｘ）＝ｅｘｐ（ａiｘ）で、Ｃ［ｉ，ｊ］はコントロールポイントマトリックスで、ｉ、ｊ、ｍ、ｎは整数、「＊」は畳み込み演算子、ａiは係数であり、任意の常数であり得る。
【００５３】
Ｙ（ｘ）は指数スプライン関数で次数によって異なる形態を有する。
【００５４】
１次指数スプライン関数はＹ１＝ｅαixになり、区間［０，１］に対して図１０に示す形態の曲線を有する。ここで各曲線は係数ａi＝−２、−１、−１／２、０、１／２のそれぞれに対する曲線である。
【００５５】
２次指数スプライン関数はＹ２＝ｅα1x＊ｅα2xになり、区間［０，１］に対して図１１に示す形態の曲線を有する。ここで各曲線は係数ａ1＝０、ａ2＝−２、−１、−１／２、０、１／２のそれぞれに対する曲線である。
【００５６】
Ｎ次指数スプライン関数はＹN＝ｗ1（ｘ）＊ｗ2（ｘ）＊．．．＊ｗn（ｘ）になり、ａi＝−１／４に対して次数毎に図１２に示す形態の曲線を有する。
【００５７】
適用例によって、指数スプライン関数の次数と係数であるａiの値は選択的に変更されることができ、最適のレンズシェーディング補正効果を出す次数と係数を選択できる。好ましくは３次又は４次指数スプライン関数を用いることが効果的である。
【００５８】
式（３）を画素値分布にフィッティングさせるためには、Ｃ［ｉ，ｊ］を算出する必要がある。コントロールポイントマトリックスＣ［ｉ，ｊ］は３×３行列で、各行列の値は式（４）で定義されると仮定する。
【００５９】
【数２】
2013013043.tif 000004
【００６０】
本実施例ではコントロールポイントマトリックスＣ［ｉ，ｊ］が３×３行列であると仮定したが、行列の次元は実施例によって異なる。
【００６１】
コントロールポイントマトリックスＣ［ｉ，ｊ］を構成する９個のコンポーネントの値が分かると、式（３）の方程式を求めることができる。我々は全部で２５個のサンプルポイントに対する座標及び画素値が分かっているので、２５個の条件を持っているのである。これは過剰決定系であり、２５個の条件を用いてすべてのコントロールポイントマトリックスＣ［ｉ，ｊ］のコンポーネントの値が分かる。
【００６２】
すなわち、２５個のサンプルポイントをＦ（ｘ１、ｙ１）、Ｆ（ｘ２、ｙ２），．．．，Ｆ（ｘ２５、ｙ２５）とすると下記式（５）のような２５個の条件方程式が分かる。
【００６３】
【数３】
2013013043.tif 000005
【００６４】
式（５）を用いてコントロールポイントマトリックスＣ［ｉ，ｊ］を構成する９個のコンポーネントを求めることができ、したがって、式（３）の方程式を求めることができる。
【００６５】
すなわち、サンプルポイント２５個と指数スプライン関数を基本関数として使用する２次元関数で不規則な画素値分布をモデリングすることができる。モデリングされた関数から基準画像の全ての画素の画素値が分かり、画素値が分かると各画素別補正係数Ｆ２は式（６）のように決めることができる。
Ｆ２＝（最大画素値）／（画素別画素値）      （６）
【００６６】
以上のような画素別補正係数Ｆ２を保存しておく。実際にレンズシェーディング補正アルゴリズムが搭載されるデジタルカメラなどの光学装置では、補正を行う画像を撮影した後、撮影された画像の画素毎に補正係数Ｆ２を乗じることによって、レンズシェーディング補正を行うことができる。
【００６７】
本発明の一実施例により、まずは補正係数Ｆ２を求めた後、実際のテスト画像を撮影して補正を行い、補正効果に応じて指数スプライン関数の次数と係数を変更すると最適の近似関数を求めることができる。
【００６８】
図１３は、本発明の第２実施例による画素値分布を近似化する方法を示すフローチャートである。
【００６９】
ステップＳ２１とステップＳ２２は第１実施例と同じである。
【００７０】
ステップＳ２３で、基準画像でサンプルポイントを抽出する。好ましくは、基準画像を同じ大きさの長方形セクタに分け、各長方形の頂点に該当する画素をサンプルポイントとして抽出できる。
【００７１】
ステップＳ２４で、サンプルポイントの座標及び画素値を用いてコントロールポイントの値を決定する。
【００７２】
ステップＳ２５で、決められたコントロールポイント値を適用してチャネル別基準画像の画素値分布をモデリングする。
【００７３】
ステップＳ２６で、テスト画像に対してレンズシェーディング補正を行う。
【００７４】
ステップＳ２７で、レンズシェーディング補正が適切であるか判断し、適切でなければステップＳ２８で指数スプライン関数の次数又は係数を変更しながら適切なレンズシェーディング補正が行われるまでステップＳ２５〜Ｓ２８を繰り返す。
【００７５】
適切な次数及び係数が決定されると、ステップＳ２９で近似関数を決定する。
【００７６】
図１４は、本発明の一実施例によるレンズシェーディング補正のための映像処理装置の構成を示す図である。
【００７７】
図１４に示すように、映像処理装置はレンズ２１、撮像素子２２、ＣＤＳ（Ｃｏｒｒｅｌａｔｅｄ  Ｄｏｕｂｌｅ  Ｓａｍｐｌｉｎｇ）回路、ＡＧＣ（Ａｕｔｏｍａｔｉｃ  Ｇａｉｎ  Ｃｏｎｔｒｏｌ）回路、及びＡ／Ｄ（Ａｎａｌｏｇ  ｔｏ  Ｄｉｇｉｔａｌ）変換器を含む撮像部２３、シェーディング補正部２４、及び映像処理部２５、表示部２６、メモリ２７を含む。
【００７８】
レンズ２１は光（すなわち、被写体の映像）を撮像素子２２に入射させる。
【００７９】
撮像素子２２は例えば、ＣＣＤ（Ｃｈａｒｇｅ  Ｃｏｕｐｌｅｄ  Ｄｅｖｉｃｅｓ）画像やＣ−ＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ  Ｍｅｔａｌ  Ｏｘｉｄｅ  Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）画像を含む光電変換を行う光電変換素子が２次元に配置されたもので、その前面には、Ｒ（Ｒｅｄ）、Ｇ（Ｇｒｅｅｎ）及びＢ（Ｂｌｕｅ）がモザイク模様に配列された原色フィルタ（図示せず）が装着されている。
【００８０】
すなわち、撮像素子２２はレンズ２１及び原色フィルタを経て入射された被写体の光像を光電変換して撮像信号（電荷）を生成し、生成された撮像信号をラスタースキャン方式で撮像部２３に出力する。この時、原色フィルタは、Ｙｅ、Ｃｙ、Ｍｇ及びＧがモザイク模様に配列された補色系フィルタを使用することができる。
【００８１】
撮像部２３は、撮像素子２２で入力された撮像信号に対して、ノイズ除去、ＡＧＣ回路で利得調整などの画像処理を行い、Ａ／Ｄ変換器でアナログ信号からデジタル信号に変換した後、シェーディング補正部２４に供給する。
【００８２】
シェーディング補正部２４は、第１実施例又は第２実施例により求めた補正係数をセクタ毎に又は画素毎に適用してレンズシェーディング補正を行った後、映像処理部２５に供給する。
【００８３】
映像処理部２５は、シェーディング補正部２４から供給された映像に対してガンマ処理、色分離処理、及び４：２：２の比率によるＹＵＶ変換などの信号処理を施し、輝度信号データ及びクロマ信号データからなる映像データを作成する。映像処理部２５は作成された映像データを表示部２６に供給して対応する映像を表示させるか、又は作成された映像データをメモリ２７に出力して保存する。
【００８４】
表示部２６は、例えば、ＬＣＤ（Ｌｉｑｕｉｄ  Ｃｒｙｓｔａｌ  Ｄｉｓｐｌａｙ）などからなり、映像処理部２５から供給された被写体の映像を表示する。メモリ２７は、例えば、磁気ディスク、光ディスク、光磁気ディスク、又は半導体メモリなどであることができ、映像処理部２５から供給された映像データを保存する。
【００８５】
以上、本発明の実施例を構成する全ての構成要素が一つに結合するか、結合して動作する様態を説明したが、本発明は必ずしもこのような実施例に限定されるものではない。すなわち、本発明の目的の範囲内であれば、その全ての構成要素が一つ以上に選択的に結合して動作することもできる。また、その全ての構成要素がそれぞれ一つの独立的なハードウェアとして実施され得るが、各構成要素のその一部又は全部が選択的に組み合わされて一つ又は複数個のハードウェアで組み合わされた一部又は全部の機能を行うプログラムモジュールを有するコンピュータプログラムとして実施されることもできる。そのコンピュータプログラムを構成するコード及びコードセグメントは本発明の属する技術分野の当業者により容易に推論され得る。このようなコンピュータプログラムはコンピュータが読み込める保存媒体（Ｃｏｍｐｕｔｅｒ  Ｒｅａｄａｂｌｅ  Ｍｅｄｉａ）に保存されてコンピュータによって読み込まれて実行されることによって、本発明の実施例を実施することができる。コンピュータプログラムの保存媒体としては磁気記録媒体、光記録媒体、キャリアウェーブ媒体などが含まれ得る。
【００８６】
以上の説明は本発明の技術思想を例示的に説明したものに過ぎず、本発明の属する技術分野における通常の知識を有する者であれば、本発明の本質的な特性から逸脱しない範囲で様々な修正及び変形を行うことができる。したがって、本発明に開示された実施例は本発明の技術思想を限定するためのものでなく、説明するためのものであり、このような実施例により本発明の技術思想の範囲が限定されることはない。本発明の保護範囲は以下の請求範囲によって解釈されるべきであり、それと同等の範囲内にある全ての技術思想は本発明の権利範囲に含まれると解釈されるべきである。
【図２】
2013013043.tif 000008
【図４】
2013013043.tif 000009
【図５】
2013013043.tif 000010
【図６】
2013013043.tif 000011
【図７】
2013013043.tif 000012
【図８】
2013013043.tif 000013
【図９】
2013013043.tif 000014
【図１０】
2013013043.tif 000015
【図１１】
2013013043.tif 000016
【図１２】
2013013043.tif 000017
【図１３】
2013013043.tif 000018
【図１４】
2013013043.tif 000019
【図１】
2013013043.tif 000020
【図３】
2013013043.tif 000021