(57)【特許請求の範囲】
【請求項１】
画像を構成する画素の画素座標と所定の基準座標との距離を算出する距離算出工程と、
距離に対応する距離補正値を演算するＮ次関数（Ｎは１以上の整数）に基いて、前記距離算出工程で算出した距離に対する前記Ｎ次関数の演算値を距離補正値として算出する距離補正値算出工程と、
一定間隔で規定した点に対する距離補正値とその距離補正値に対応する補正係数を記憶するテーブルに基いて、前記距離補正値算出工程で算出した距離補正値に最も近い２つの前記一定間隔で規定した点に対する距離補正値における前記テーブルに記憶された補正係数のデータの線形補間により、前記距離補正値算出工程で算出した距離補正値に対応する補正係数を算出する補正係数算出工程と、
前記補正係数算出工程で算出した補正係数を前記画素の信号レベルに対して乗算することで補正する画素信号補正工程と
を備えることを特徴とする画像補正方法。
【請求項２】
前記距離算出工程における基準座標、前記距離補正値算出工程におけるＮ次関数の変数に係る係数、および、前記補正係数算出工程におけるテーブルに記憶された距離補正値に対応する補正係数を、前記画素の色成分毎に設定することを特徴とする請求項１に記載の画像補正方法。
【請求項３】
前記距離算出工程は、画像を構成する画素の画素座標と所定の２つの基準座標とのそれぞれの距離の和を、距離と見なして算出することを特徴とする請求項１に記載の画像補正方法。
【請求項４】
画像を構成する画素の画素座標と所定の基準座標との水平方向距離を算出する水平方向距離算出工程と、
水平方向距離に対応する水平方向距離補正値を演算する第１のＮ次関数（Ｎは１以上の整数）に基いて、前記水平方向距離算出工程で算出した水平方向距離に対する前記第１のＮ次関数の演算値を水平方向距離補正値として算出する水平方向距離補正値算出工程と、
第１の一定間隔で規定した点に対する距離補正値とその水平方向距離補正値に対応する補正係数を記憶する第１のテーブルに基いて、前記水平方向距離補正値算出工程で算出した水平方向距離補正値に最も近い２つの前記第１の一定間隔で規定した点に対する水平方向距離補正値における前記第１のテーブルに記憶された補正係数のデータの線形補間により、前記水平方向距離補正値算出工程で算出した水平方向距離補正値に対応する第１の補正係数を算出する第１の補正係数算出工程と、
前記画像を構成する画素の画素座標と所定の基準座標との垂直方向距離を算出する垂直方向距離算出工程と、
垂直方向距離に対応する垂直方向距離補正値を演算する第２のＮ次関数（Ｎは１以上の整数）に基いて、前記垂直方向距離算出工程で算出した垂直方向距離に対する前記第２のＮ次関数の演算値を垂直方向距離補正値として算出する垂直方向距離補正値算出工程と、
第２の一定間隔で規定した点に対する距離補正値とその垂直方向距離補正値に対応する補正係数を記憶する第２のテーブルに基いて、前記垂直方向距離補正値算出工程で算出した垂直方向距離補正値に最も近い２つの前記第２の一定間隔で規定した点に対する垂直方向距離補正値における前記第２のテーブルに記憶された補正係数のデータの線形補間により、前記垂直方向距離補正値算出工程で算出した垂直方向距離補正値に対応する第２の補正係数を算出する第２の補正係数算出工程と、
前記第１の補正係数算出工程で算出した第１の補正係数および前記第２の補正係数算出工程で算出した第２の補正係数を掛け合わせた値を補正係数として前記画素の信号レベルに対して乗算することで補正する画素信号補正工程と
を備えることを特徴とする画像補正方法。
【請求項５】
画像を構成する画素の画素座標と所定の基準座標との距離を算出する距離算出手段と、
距離に対応する距離補正値を演算するＮ次関数（Ｎは１以上の整数）に基いて、前記距離算出手段で算出した距離に対する前記Ｎ次関数の演算値を距離補正値として算出する距離補正値算出手段と、
一定間隔で規定した点に対する距離補正値とその距離補正値に対応する補正係数を記憶するテーブルに基いて、前記距離補正値算出手段で算出した距離補正値に最も近い２つの前記一定間隔で規定した点に対する距離補正値における前記テーブルに記憶された補正係数のデータの線形補間により、前記距離補正値算出手段で算出した距離補正値に対応する補正係数を算出する補正係数算出手段と、
前記補正係数算出手段で算出した補正係数を前記画素の信号レベルに対して乗算することで補正する画素信号補正手段と
を備えることを特徴とする撮像装置。
【請求項６】
前記距離算出手段における基準座標、前記距離補正値算出手段におけるＮ次関数の変数に係る係数、および、前記補正係数算出手段におけるテーブルに記憶された距離補正値に対応する補正係数を、前記画素の色成分毎に設定することを特徴とする請求項５に記載の撮像装置。
【請求項７】
前記距離算出手段は、画像を構成する画素の画素座標と所定の２つの基準座標とのそれぞれの距離の和を、距離と見なして算出することを特徴とする請求項５に記載の撮像装置。
【請求項８】
画像を構成する画素の画素座標と所定の基準座標との水平方向距離を算出する水平方向距離算出手段と、
水平方向距離に対応する水平方向距離補正値を演算する第１のＮ次関数（Ｎは１以上の整数）に基いて、前記水平方向距離算出手段で算出した水平方向距離に対する前記第１のＮ次関数の演算値を水平方向距離補正値として算出する水平方向距離補正値算出手段と、
第１の一定間隔で規定した点に対する距離補正値とその水平方向距離補正値に対応する補正係数を記憶する第１のテーブルに基いて、前記水平方向距離補正値算出手段で算出した水平方向距離補正値に最も近い２つの前記第１の一定間隔で規定した点に対する水平方向距離補正値における前記第１のテーブルに記憶された補正係数のデータの線形補間により、前記水平方向距離補正値算出手段で算出した水平方向距離補正値に対応する第１の補正係数を算出する第１の補正係数算出手段と、
前記画像を構成する画素の画素座標と所定の基準座標との垂直方向距離を算出する垂直方向距離算出手段と、
垂直方向距離に対応する垂直方向距離補正値を演算する第２のＮ次関数（Ｎは１以上の整数）に基いて、前記垂直方向距離算出手段で算出した垂直方向距離に対する前記第２のＮ次関数の演算値を垂直方向距離補正値として算出する垂直方向距離補正値算出手段と、
第２の一定間隔で規定した点に対する距離補正値とその垂直方向距離補正値に対応する補正係数を記憶する第２のテーブルに基いて、前記垂直方向距離補正値算出手段で算出した垂直方向距離補正値に最も近い２つの前記第２の一定間隔で規定した点に対する垂直方向距離補正値における前記第２のテーブルに記憶された補正係数のデータの線形補間により、前記垂直方向距離補正値算出手段で算出した垂直方向距離補正値に対応する第２の補正係数を算出する第２の補正係数算出手段と、
前記第１の補正係数算出手段で算出した第１の補正係数および前記第２の補正係数算出手段で算出した第２の補正係数を掛け合わせた値を補正係数として前記画素の信号レベルに対して乗算することで補正する画素信号補正手段と
を備えることを特徴とする撮像装置。
【発明の詳細な説明】
【技術分野】
【０００１】
この発明は、撮像装置に係るものであり、特に、例えば画像における輝度や色のむら（シェーディング）を補正するための画像補正技術に関するものである。
【背景技術】
【０００２】
デジタルスチルカメラを初めとする撮像装置で発生するシェーディングは、カメラ光学系の周辺減光や固体撮像素子の特性分布等により、撮像画面の中央部と周辺部との間で輝度や色の差異（むら）が発生する現象である。
このようなシェーディングを補正するための画像補正方法として、例えば特許文献１に開示されているものがある。特に実施例１および第１図に開示された撮像装置における画像補正方法は、画素の座標の２次（Ｎ次）曲面関数によって近似したシェーディング補正係数を演算し、このシェーディング補正係数をＣＣＤ（Ｃｈａｒｇｅ  Ｃｏｕｐｌｅｄ  Ｄｅｖｉｃｅ）からの出力信号にかけることにより、シェーディング補正を行うものである。
【０００３】
しかしながら、このような従来の画像補正方法では、画素の座標の２次（Ｎ次）曲面関数によって近似したシェーディング補正係数を演算しており、シェーディングがレンズ特性や固体撮像素子の感度特性など複数の要因に起因して起こる現象であるため、Ｎ次関数による近似では十分な精度でシェーディング補正を行えない場合があるという問題がある。
【０００４】
また、シェーディングを補正するための別の画像補正方法として、例えば特許文献２に開示されているものがある。特に第７頁および第１２図に開示された撮像装置における画像補正方法は、画素の座標と光軸中心座標との距離を算出し、この距離に応じたシェーディング補正係数がルックアップテーブルから取出され、このシェーディング補正係数をＣＣＤからの出力信号にかけることにより、シェーディング補正を行うものである。
【０００５】
しかしながら、このような従来の画像補正方法では、シェーディング補正の精度を高めるためには、多くのデータをルックアップテーブルに保持しておく必要がある。また、光学ズーム機能等との組み合わせによりシェーディング特性が撮像中に動的に変化するような場合には、それらのデータを変更する必要があるため、書き換え用データを保持するためにさらに多くの記憶領域が必要となり、さらに、書き換えに必要な処理時間も長くなるので、撮像時のフレームレートが低下するなどの性能低下につながるという問題がある。
【０００６】
【特許文献１】
特開２０００−６９３７１号公報
【特許文献２】
特開２００２−２１６１３６号公報
【発明の開示】
【発明が解決しようとする課題】
【０００７】
以上のように、従来の画像補正方法では、十分な精度でシェーディング補正を行えないという点で問題があった。また、別の従来の画像補正方法では、ルックアップテーブルのデータが多く、その保持に多くの記憶領域が必要となり、さらに、それが性能低下にもつながるという点で問題があった。
【０００８】
この発明は、従来の画像補正方法の有する上記のような問題を解決することを目的とするものである。
【課題を解決するための手段】
【０００９】
【課題を解決するための手段】
この発明に係る画像補正方法は、画像を構成する画素の画素座標と所定の基準座標との距離を算出する距離算出工程と、距離に対応する距離補正値を演算するＮ次関数（Ｎは１以上の整数）に基いて、前記距離算出工程で算出した距離に対する前記Ｎ次関数の演算値を距離補正値として算出する距離補正値算出工程と、一定間隔で規定した点に対する距離補正値とその距離補正値に対応する補正係数を記憶するテーブルに基いて、前記距離補正値算出工程で算出した距離補正値に最も近い２つの前記一定間隔で規定した点に対する距離補正値における前記テーブルに記憶された補正係数のデータの線形補間により、前記距離補正値算出工程で算出した距離補正値に対応する補正係数を算出する補正係数算出工程と、前記補正係数算出工程で算出した補正係数を前記画素の信号レベルに対して乗算することで補正する画素信号補正工程とを備えるものである。
【００１０】
このように、この画像補正方法では、画素座標と所定の基準座標との距離を算出し、距離に対応する距離補正値を演算するＮ次関数（Ｎは１以上の整数）に基いて、算出した距離に対するＮ次関数の演算値を距離補正値として算出し、一定間隔で規定した点に対する距離補正値とその距離補正値に対応する補正係数を記憶するテーブルに基いて、算出した距離補正値に最も近い２つの一定間隔で規定した点に対する距離補正値におけるテーブルに記憶された補正係数のデータの線形補間により、算出した距離補正値に対応する補正係数を算出するようにした。
これにより、記憶領域の少ないテーブルを用いて、シェーディング特性が動的に変化するような場合にも性能低下を招くことなく、高精度のシェーディング補正が実現できるのである。
【００１１】
実施の形態１．
図１はこの発明の実施の形態１による撮像装置を示す構成図である。
図１において、撮像装置は、光学ズーム機能を備えた撮像レンズ１１、カメラに入射する光量を調節するための絞り機構１２、光電変換素子であるＣＣＤ（Ｃｈａｒｇｅ  Ｃｏｕｐｌｅｄ  Ｄｅｖｉｃｅ）１３、アナログ信号処理部１４、アナログ−デジタル変換器（ＡＤコンバータ）１５、デジタル信号処理部１６、撮像したデータを記憶領域に格納するための撮像データ出力部１７、光学ズーム機能、絞り機構を制御するとともに、後述するシェーディング補正処理部２０中の距離補正部２３、シェーディング補正係数算出部２４の設定を変更する撮像制御部１８から構成されている。
さらに、シェーディング補正を行うためのシェーディング補正処理部２０は、画素の水平座標及び垂直座標をカウントするための画素座標カウント部２１、画素の座標に基づき基準点からの距離を算出するための距離算出部２２、距離の値に対して２次あるいはＮ次関数による補正を行うための距離補正部２３、距離補正部から出力された距離の値に基づき、補正係数を求めるためのシェーディング補正係数算出部２４、補正係数を画素値に対して乗算し信号レベルを補正するための画像信号補正部２５から構成されている。
【００１２】
次に動作について説明する。
まず撮像レンズ１１は絞り機構１２を通して撮影対象からの光をＣＣＤ１３の受光面に結像させる。ＣＣＤ１３は赤（Ｒ）、緑（Ｇ）、青（Ｂ）の光にそれぞれ感応する３種の画素を交互にマトリクス状に数十万個配列して成り、画素毎に受けた光を電荷に変換して蓄積し、蓄積電荷をアナログ信号として出力する。
【００１３】
撮像レンズ１１は光学ズーム機能を有しており、ズーム量の設定値は撮像制御部１８によって制御される。また絞り機構１２の絞り設定量も同様に撮像制御部１８によって制御される。
【００１４】
アナログ信号処理部１４は、ＣＣＤ１３からの出力信号を２重相関サンプリングし、ゲイン制御を行う。ＡＤコンバータ１５はアナログ信号処理部１４から入力されるアナログ信号をデジタル信号に変換して、シェーディング補正処理部２０に出力する。
【００１５】
デジタル信号化された画像データはシェーディング補正処理部２０に入力される。シェーディング補正処理部２０では、まず画素値データを画素座標カウント部２１に入力する。
画素座標カウント部２１では、画像データと共に送られる画像の垂直同期信号および水平同期信号に基づき、画素の撮像画面における座標をカウントし、座標値を距離算出部２２に出力する。
【００１６】
距離算出部２２は、画素の座標値と基準点の座標値から、基準点と画素の距離を算出する。距離Ｄは画素の座標値を（ｘ、ｙ）、基準点の座標値を（ｘ０、ｙ０）とすると、下記の式（１）に従って求められる。
【００１７】
0004704913.tif 000002
【００１８】
算出された距離Ｄは距離補正部２３に出力される。
【００１９】
距離補正部２３ではＮ次関数による距離の補正処理を行う（Ｎは１以上の整数）。例えば補正処理に２次関数を使用する場合には、距離補正値Ｓは、距離Ｄの値から下記の式（２）に従って求められる。
【００２０】
0004704913.tif 000003
【００２１】
ここでａ１、ａ２、ａ３は変数に係る係数であり、これらの係数は予め使用する撮像機器におけるシェーディングの特性を測定し、後述するシェーディング補正係数算出部２４におけるルックアップテーブルと併せて最も効果的にシェーディング補正可能な値を決定し、図示しない記憶領域に保持している。またこれらの係数は撮像制御部１８からの設定によって、任意の値に変更可能な仕組みとしている。
【００２２】
シェーディング補正係数算出部２４では距離補正値Ｓを参照し、予め設定されたルックアップテーブルに基いて補正係数を決定する。図２はシェーディング補正係数算出部２４で使用するルックアップテーブルの例を示したものである。例えば図３では距離補正値Ｓについてそれぞれ一定間隔Ｎの０からｍ×Ｎまでの（ｍ＋１）個のポイントを規定し（ｍは１以上の整数）、それぞれのポイントに対して、対応する補正係数Ｋ０〜Ｋｍを予め決定している。
【００２３】
図３はルックアップテーブルを用いて距離補正値Ｓから補正係数Ｋを求める方法について示したものである。図３では、横軸が参照する距離補正値Ｓを示し、縦軸が距離補正値Ｓを参照して求められる補正係数Ｋを示している。図４は、図３と同じく距離補正値Ｓについてそれぞれ一定間隔Ｎの０からｍ×Ｎまでの（ｍ＋１）個のポイントを規定した場合についての例である。図３のルックアップテーブルの値は予め使用する撮像機器におけるシェーディングの特性を測定し、距離補正部２３において設定する係数と併せて最も効果的にシェーディング補正可能な値を決定し、図示しない記憶領域に保持している。また、これらの係数は撮像制御部１８からの設定によって、任意の値に変更可能な仕組みを用意している。
【００２４】
シェーディング補正係数算出部２４における実際の距離補正値Ｓは、０からｍ×Ｎまでの（ｍ＋１）個のポイントのうちいずれかのポイント間に含まれるため、最も近い２つのポイントにおける距離補正値と補正係数から線形補間により補正係数を決定する。補正係数Ｋは距離補正値Ｓが条件式ｔ・Ｎ≦Ｓ＜（ｔ＋１）・Ｎを満たす場合、下記の式（３）に従って求められる。
【００２５】
0004704913.tif 000004
【００２６】
なお、この実施例では補正係数を線形補間により決定することとして説明しているが、補正係数の決定方法はこれに限られるものではない。
算出された補正係数Ｋは画像信号補正部２５に対して出力される。
【００２７】
画像信号補正部２５では、補正係数Ｋを倍率として用い、画素の信号レベルに対して補正係数Ｋを乗算することにより補正後の信号レベルを求める。画素毎に補正係数Ｋによる補正を行った撮像データがデジタル信号処理部１６に対して出力される。
【００２８】
デジタル信号処理部１６は、ＡＤコンバータ１５によってデジタル化され、シェーディング補正処理部２０によって補正されたＣＣＤ１３の出力信号に対して、ホワイトバランス調整、欠陥画素補正、Ｒ、Ｇ、Ｂ３色の信号の補間、ガンマ補正、色変換等の処理を行い、輝度信号および色差信号から成る画像データを生成する。
【００２９】
撮像データ出力部１７では画像データを記憶領域に格納したり、画像確認用の液晶画面に表示する等の処理を行う。
【００３０】
撮像制御部１８では、撮像レンズ１１が持つ光学ズーム機能および、絞り機構１２の制御を行う。ここで、光学ズームや絞りを変更した場合には、光学系の特性が変化するため、発生するシェーディングの特性にも変化が生じる。そこで、撮像制御部１８は撮像レンズと光学ズーム設定に基づいて距離補正部２３、およびシェーディング補正係数算出部２４の設定を変更する。
【００３１】
設定変更の方式として、距離補正部２３の係数のみを変更する、シェーディング補正係数算出部２４で使用するルックアップテーブルのデータのみを変更する、距離補正部２３の係数およびシェーディング補正係数算出部２４のデータの両方を変更する、という３通りの方法がある。
【００３２】
光学系の特性変化が複雑でない場合には、距離補正部２３の係数のみを変更することによって対応することが可能である。この場合にはデータ量の多いシェーディング補正係数算出部２４のデータ変更を行う必要がないため、シェーディング特性の変化に対する設定変更量を必要最低限に抑えることが出来る。特に光学ズームや絞り量の変更は画像撮像中に動的に行う可能性が高く、シェーディング補正のデータ変更を撮像フレーム毎に実行する場合が考えられる。その際設定変更量が少ないことにより、光学系の特性変更に対して高速に追従可能なシェーディング補正を実現することができる。
【００３３】
通常、光学ズームの設定変更および絞りの設定変更に対応するためには、予め使用する光学ズーム設定、および絞り設定のそれぞれにおけるシェーディングの特性を測定し、特性に合わせたシェーディング補正のデータを切り替え用データとして記憶領域に保持しておく必要がある。しかし、前述のように設定変更を距離補正部２３の係数変更のみで行える動作条件があれば、切り替え用パラメータとして記憶領域に保持しておくデータ量を削減することができる。
【００３４】
光学系の特性変化が複雑な場合には、シェーディング補正係数算出部２４で使用するルックアップテーブルのデータを含めた変更によって対応する必要がある。この場合には光学系変化に対する高速追従性は若干低下するが、より精度の高いシェーディング補正を行うことが可能である。
【００３５】
上記２種類のシェーディング補正設定変更方法は、光学系の特性に合わせて常にどちらか一方のみを使用することも可能であり、また例えば高速追従が求められる動画撮影時は距離補正部２３の設定変更による対応を行い、精度が求められる静止画撮影時はシェーディング補正係数算出部２４の設定変更による対応を行うなど、動作形態によって使い分けることもできる。
【００３６】
以上のように、この発明の実施の形態１による撮像装置では、２次関数もしくはＮ次関数による基準点からの距離の補正と、ルックアップテーブルによる補正係数の算出を組み合わせるようにした。これにより、高精度のシェーディング補正が可能であり、また同時に光学ズームや絞りの設定変更によるシェーディング特性の動的変更に対しても高速に追従することが可能な撮像装置の実現できる効果がある。
【００３７】
さらに光学ズームや絞りの設定変更を行うために保持しておく必要のあるデータ量を少なく抑えることができるため、データの保持に必要な記憶領域の容量を少なくすることができる効果がある。
【００３８】
実施の形態２．
以上の実施の形態１では、画素の色成分については考慮せず、全ての画素について同じ方式でシェーディング補正を行う場合の構成を示している。しかし、固体撮像素子の各画素に光を集めるためのマイクロレンズの特性等により、色成分毎に異なったシェーディング特性が見られる場合もある。このような場合に対応するため、色成分毎に異なったシェーディング補正を行う場合の構成を以下に示す。
【００３９】
図４は、この発明の実施の形態２による撮像装置を示す構成図である。なお、図中、同一符号は同一または相当部分を示す。
図４において、撮像装置は、光学ズーム機能を備えた撮像レンズ１１、カメラに入射する光量を調節するための絞り機構１２、光電変換素子であるＣＣＤ（Ｃｈａｒｇｅ  Ｃｏｕｐｌｅｄ  Ｄｅｖｉｃｅ）１３、アナログ信号処理部１４、アナログ−デジタル変換器（ＡＤコンバータ）１５、デジタル信号処理部１６、撮像したデータを記憶領域に格納するための撮像データ出力部１７、光学ズーム機能、絞り機構を制御するとともに、後述するシェーディング補正処理部２０中の距離補正部２３、シェーディング補正係数算出部２４の設定を変更する撮像制御部１８から構成されている。
【００４０】
さらに、シェーディング補正を行うためのシェーディング補正処理部２０は、画素の水平座標及び垂直座標をカウントすると共に画素の色を判別するための画素座標カウント部２１、画素の座標に基づき基準点からの距離を算出するための距離算出部２２、距離の値に対して２次あるいはＮ次関数による補正を行うための距離補正部２３、距離補正部から出力された距離の補正値に基づき、補正係数を求めるためのシェーディング補正係数算出部２４、補正係数を画素値に対して乗算し信号レベルを補正するための画像信号補正部２５から構成されている。
【００４１】
次に動作について説明する。
撮像レンズ１１、絞り機構１２、ＣＣＤ１３、アナログ信号処理部１４、ＡＤコンバータ１５、デジタル信号処理部１６、撮像データ出力部１７については、実施の形態１と同様の動作を行う。
【００４２】
画素座標カウント部２１は画像データと共に送られる画像の垂直同期信号および水平同期信号に基づき、画素の撮像画面における座標をカウントするとともに、ＣＣＤの画素配列に基づき画素データがＲＧＢのいずれの色のデータであるかを判別する。画素座標カウント部２１はカウントした座標値を距離算出部２２に出力するとともに、画素に関する色情報を距離算出部２２、距離補正部２３、シェーディング補正係数算出部２４のそれぞれに出力する。
【００４３】
距離算出部２２は、画素の座標値と基準点の座標値から、基準点と画素の距離を算出する。距離Ｓの算出方法は実施の形態１と同様であるが、画素データの色がＲＧＢのいずれであるかによって基準点を切り替えて使用する。距離Ｓは画素の座標値を（ｘ、ｙ）、Ｒの基準点を（ｘＲ、ｙＲ）、Ｇの基準点を（ｘＧ、ｙＧ）、Ｂの基準点を（ｘＢ、ｙＢ）、とすると、Ｒ画素については式（４）、Ｇ画素については式（５）、Ｂ画素については式（６）に従って求められる。
【００４４】
0004704913.tif 000005
【００４５】
算出された距離Ｄは距離補正部２３に出力される。
【００４６】
距離補正部２３ではＮ次関数による距離の補正処理を行う（Ｎは１以上の整数）。例えば補正処理に２次関数を使用する場合には、距離補正値Ｓは、距離Ｄの値から下記の式（７）〜式（９）に従って求められる。
【００４７】
0004704913.tif 000006
【００４８】
式（７）は画素がＲ画素の場合、式（８）は画素がＧ画素の場合、式（９）は画素がＢ画素の場合に適用される。また、ａＲ１、ａＲ２、ａＲ３、ａＧ１、ａＧ２、ａＧ３、ａＢ１、ａＢ２、ａＢ３は関数の変数に係る係数であり、これらの係数は予め使用する撮像機器におけるシェーディングの特性を測定し、後述するシェーディング補正係数算出部２４におけるルックアップテーブルと併せて最も効果的にシェーディング補正可能な値を決定し、図示しない記憶領域に保持している。またこれらの係数は撮像制御部１８からの設定によって、任意の値に変更可能な仕組みを用意している。
【００４９】
シェーディング補正係数算出部２４では距離補正値Ｓを参照し、予め設定されたルックアップテーブルに基いて補正係数を決定する。ルックアップテーブルに基づく補正係数の決定方法については実施の形態１と同様であり、ルックアップテーブルによって規定されるポイントのうち距離補正値が算出された距離補正値Ｓに最も近い２つのポイントにおける距離補正値と補正係数から線形補間により補正係数を決定する。ただし画素データの色がＲＧＢのいずれであるかによって参照するルックアップテーブルの切り替えを行う。図５はシェーディング補正係数算出部２４で使用するルックアップテーブルの例を示したものである。実施の形態１におけるルックアップテーブル図２に対して、距離補正値Ｓに対応する補正係数をＲ画素用のＫＲ０〜ＫＲｍ、Ｇ画素用のＫＧ０〜ＫＧｍ、Ｂ画素用のＫＢ０〜ＫＢｍに分離し、独立して設定可能としたものである。
【００５０】
図５のルックアップテーブルの値は予め使用する撮像機器におけるシェーディングの特性を測定し、距離補正部２３において設定する係数と併せて最も効果的にシェーディング補正可能な値を決定し、図示しない記憶領域に保持している。またこれらの係数は撮像制御部１８からの設定によって、任意の値に変更可能な仕組みを用意している。
【００５１】
ルックアップテーブルに基づく補正係数の決定方法については実施の形態１と同様であり、ルックアップテーブルによって規定されるポイントのうち、距離補正値が算出された距離補正値Ｓに最も近い２つのポイントにおける距離補正値と補正係数から線形補間により補正係数を決定する。ルックアップテーブルの参照により算出された補正係数Ｋを画像信号補正部２５に対して出力する。
【００５２】
画像信号補正部２５では、実施の形態１と同様に補正係数Ｋを倍率として用い、画素の信号レベルに対して、補正係数Ｋを乗算することにより補正後の信号レベルを求める。画素毎に補正係数Ｋによる補正を行った撮像データがデジタル信号処理部１６に対して出力される。
【００５３】
撮像制御部１８では、撮像レンズ１１が持つ光学ズーム機能および絞り機構１２の制御を行うとともに、発生するシェーディングの特性の変化に対応するため撮像レンズと光学ズーム設定に基づいて距離補正部２３、およびシェーディング補正係数算出部２４の設定を変更する。各設定値はＲＧＢの各色に対応して分離されているので、設定を変更する場合はＲ成分、Ｇ成分、Ｂ成分のそれぞれに対応する設定部分を全て変更する必要がある。
【００５４】
以上のような実施の形態２による撮像装置では、Ｒ画素、Ｇ画素、Ｂ画素を判別し、それぞれ色の画素に対して独立したシェーディング補正の基準点、距離補正関数の係数、ルックアップテーブルを設定して補正を行うため、固体撮像素子の各画素に光を集めるためのマイクロレンズの特性等により、色成分毎に異なったシェーディング特性が見られる場合でも高精度なシェーディング補正を行うことができる効果がある。
【００５５】
実施の形態３．
実施の形態１および２では基準点と画素位置との距離を求め、距離の値に基づいて補正係数を算出していた。しかし距離の算出は、画素位置に関する二乗計算および平方根の計算が含まれるため、比較的大きな演算回路を必要とする。シェーディング補正に必要な演算量を減らし、より少ない演算量でシェーディング補正を行うための構成を以下に示す。
【００５６】
図６は、この発明の実施の形態３による撮像装置を示す構成図である。なお、図中、同一符号は同一または相当部分を示す。
図６において、撮像装置は、光学ズーム機能を備えた撮像レンズ１１、カメラに入射する光量を調節するための絞り機構１２、光電変換素子であるＣＣＤ（Ｃｈａｒｇｅ  Ｃｏｕｐｌｅｄ  Ｄｅｖｉｃｅ）１３、アナログ信号処理部１４、アナログ−デジタル変換器（ＡＤコンバータ）１５、デジタル信号処理部１６、撮像したデータを記憶領域に格納するための撮像データ出力部１７、光学ズーム機能、絞り機構を制御するとともに、後述するシェーディング補正処理部２０中の水平距離補正部２３ａ、垂直距離補正部２３ｂ、水平シェーディング補正係数算出部２４ａ、垂直シェーディング補正係数算出部２４ｂの設定を変更する撮像制御部１８から構成されている。
【００５７】
シェーディング補正を行うためのシェーディング補正処理部２０は、画素の水平座標及び垂直座標をカウントするための画素座標カウント部２１、画素の水平座標に基づき基準点からの水平距離を算出し、水平距離の値に対して２次あるいはＮ次関数による補正を行うための水平距離補正部２３ａ、画素の垂直座標に基づき基準点からの垂直距離を算出し、垂直距離の値に対して２次あるいはＮ次関数による補正を行うための垂直距離補正部２３ｂ、水平距離補正部２３ａから出力された水平距離補正値に基づき、水平補正係数を求めるための水平シェーディング補正係数算出部２４ａ、垂直距離補正部２３ｂから出力された垂直距離補正値に基づき、垂直補正係数を求めるための垂直シェーディング補正係数算出部２４ｂ，水平補正係数および垂直補正係数を画素値に対して乗算し信号レベルを補正するための画像信号補正部２５から構成されている。
【００５８】
次に動作について説明する。
撮像レンズ１１、絞り機構１２、ＣＣＤ１３、アナログ信号処理部１４、ＡＤコンバータ１５、デジタル信号処理部１６、撮像データ出力部１７については、実施の形態１と同様の動作を行う。
【００５９】
画素座標カウント部２１は，画像データと共に送られる画像の垂直同期信号および水平同期信号に基づき、画素の撮像画面における座標をカウントする。画素座標カウント部２１はカウントした座標値のうち、水平画素値を水平距離補正部２３ａに出力するとともに、垂直画素値を垂直距離補正部２３ｂに出力する。
【００６０】
水平距離補正部２３ａは、画素の水平座標値と基準点の水平座標値から、まず基準点と画素の水平距離を算出する。水平距離ＤＨは画素の座標値を（ｘ、ｙ）、基準点を（ｘ０、ｙ０）とすると、下記の式（１０）に従って求められる。
【００６１】
0004704913.tif 000007
【００６２】
さらに水平距離補正部２３ａではＮ次関数（Ｎは１以上の整数）による水平距離の補正処理を行う。例えば補正処理に２次関数を使用する場合には、水平距離補正値ＳＨは水平距離ＤＨの値から下記の式（１１）に従って求められる。
【００６３】
0004704913.tif 000008
【００６４】
ここでａ１、ａ２、ａ３は関数の変数に係る係数であり、これらの係数は予め使用する撮像機器におけるシェーディングの特性を測定し、後述する水平シェーディング補正係数算出部２４ａ、垂直距離補正部２３ｂ、垂直シェーディング補正係数算出部２４ｂにおける設定値と併せて最も効果的にシェーディング補正可能な値を決定し、図示しない記憶領域に保持している。またこれらの係数は撮像制御部１８からの設定によって、任意の値に変更可能な仕組みを用意している。
算出された距離ＳＨは水平シェーディング補正係数算出部２４ａに出力される。
【００６５】
水平シェーディング補正係数算出部２４ａでは水平距離補正値ＳＨを参照し、予め設定されたルックアップテーブルに基づいて補正係数を決定する。図７は水平シェーディング補正係数算出部２４ａで使用するルックアップテーブルの例を示したものであり、水平距離補正値ＳＨについてそれぞれ一定間隔ＮＨの０からｍ×ＮＨまでの（ｍ＋１）個のポイントを規定し（ｍは１以上の整数）、それぞれのポイントに対して、対応する水平補正係数ＫＨ０〜ＫＨｍを予め決定している。
【００６６】
図７のルックアップテーブルの値は予め使用する撮像機器におけるシェーディングの特性を測定し、水平距離補正部２３ａ、および後述する垂直距離補正部２３ｂ、垂直シェーディング補正係数算出部２４ｂにおける設定値と併せて最も効果的にシェーディング補正可能な値を決定し、図示しない記憶領域に保持している。またこれらの係数は撮像制御部１８からの設定によって、任意の値に変更可能な仕組みを用意している。
【００６７】
またルックアップテーブルに基づく水平補正係数の決定方法については実施の形態１と同様であり、ルックアップテーブルによって規定されるポイントのうち水平距離補正値が算出された水平距離補正値ＳＨに最も近い２つのポイントにおける水平距離補正値と水平補正係数から線形補間により水平補正係数を決定する。ルックアップテーブルの参照により算出された水平補正係数ＫＨを画像信号補正部２５に対して出力する。
【００６８】
垂直距離補正部２３ｂは、画素の垂直座標値と基準点の垂直座標値から、まず基準点と画素の垂直距離を算出する。垂直距離ＤＶは画素の座標値を（ｘ、ｙ）、基準点を（ｘ０、ｙ０）とすると、下記の式（１２）に従って求められる。
【００６９】
0004704913.tif 000009
【００７０】
さらに垂直距離補正部２３ｂではＮ次関数（Ｎは１以上の整数）による垂直距離の補正処理を行う。例えば補正処理に２次関数を使用する場合には、垂直距離補正値ＳＶは垂直距離ＤＶの値から下記の式（１３）に従って求められる。
【００７１】
0004704913.tif 000010
【００７２】
ここでｂ１、ｂ２、ｂ３は関数の係数であり、これらの係数は予め使用する撮像機器におけるシェーディングの特性を測定し、水平距離補正部２３ａ、水平シェーディング補正係数算出部２４ａ、および後述する垂直シェーディング補正係数算出部２４ｂにおける設定値と併せて最も効果的にシェーディング補正可能な値を決定し、図示しない記憶領域に保持している。また、これらの係数は撮像制御部１８からの設定によって、任意の値に変更可能な仕組みを用意している。
【００７３】
算出された距離ＳＶは垂直シェーディング補正係数算出部２４ｂに出力される。
垂直シェーディング補正係数算出部２４ｂでは垂直距離補正値ＳＶを参照し、予め設定されたルックアップテーブルに基づいて補正係数を決定する。図８は垂直シェーディング補正係数算出部２４ｂで使用するルックアップテーブルの例を示したものであり、垂直距離補正値ＳＶについてそれぞれ一定間隔ＮＶの０からｍ×ＮＶまでの（ｍ＋１）個のポイントを規定し（ｍは１以上の整数）、それぞれのポイントに対して、対応する垂直補正係数ＫＶ０〜ＫＶｍを予め決定しておく。
【００７４】
図８のルックアップテーブルの値は予め使用する撮像機器におけるシェーディングの特性を測定し、水平距離補正部２３ａ、水平シェーディング補正係数算出部２４ａ、垂直距離補正部２３ｂにおける設定値と併せて最も効果的にシェーディング補正可能な値を決定し、図示しない記憶領域に保持している。またこれらの係数は撮像制御部１８からの設定によって、任意の値に変更可能な仕組みを用意している。
【００７５】
またルックアップテーブルに基づく垂直補正係数の決定方法については実施の形態１と同様であり、ルックアップテーブルによって規定されるポイントのうち垂直距離補正値が算出された垂直距離補正値ＳＶに最も近い２つのポイントにおける垂直距離補正値と垂直補正係数から線形補間により垂直補正係数を決定する。ルックアップテーブルの参照により算出された垂直補正係数ＫＶを画像信号補正部２５に対して出力する。
【００７６】
画像信号補正部２５では、水平補正係数ＫＨ、および垂直補正係数ＫＶを倍率として用い、画素の信号レベルに対して水平補正係数ＫＨと垂直補正係数ＫＶを掛け合わせた値を乗算することにより補正後の信号レベルを求める。画素毎に補正係数ＫＨ、およびＫＶによる補正を行った撮像データがデジタル信号処理部１６に対して出力される。
【００７７】
撮像制御部１８では、撮像レンズ１１が持つ光学ズーム機能および絞り機構１２の制御を行うとともに、発生するシェーディングの特性の変化に対応するため撮像レンズと光学ズーム設定に基づいて水平距離補正部２３ａ、水平シェーディング補正係数算出部２４ａ、垂直距離補正部２３ｂ、垂直シェーディング補正係数算出部２４ｂの設定を変更する。
【００７８】
距離補正係数およびルックアップテーブルのパラメータ変更は実施の形態１と同様に、光学系の特性変化の性質、および要求されるシェーディング補正の特性変換に対する追従性に応じてどちらか一方のみを使用するか、両方の設定変更で対応するかを選択することが可能である。
【００７９】
またこの実施の形態３では、画素の色成分については考慮せず、全ての画素について同じ方式でシェーディング補正を行う場合について記述しているが、実施の形態２の実施の形態１に対する関係と同様に、水平距離補正部２３ａ、水平シェーディング補正係数算出部２４ａ、垂直距離補正部２３ｂ、垂直シェーディング補正係数算出部２４ｂの設定を３種類ずつ保持し、画素データの色がＲＧＢのいずれであるかによって設定の切り替えを行うことにより、色成分毎に異なったシェーディング補正を行うことも可能である。
【００８０】
以上のような実施の形態３による撮像装置では、画素位置と基準点の距離計算に二乗計算および平方根の計算を行わず、画素の水平位置および垂直位置に対してそれぞれ独立に対応する補正係数を算出し、掛け合わせて適用するようにしているので、シェーディング補正に必要な演算量を減らし、より少ない演算量でシェーディング補正を行うことができる効果がある。
【００８１】
実施の形態４．
実施の形態１および実施の形態２では、基準点は１点のみとし、円を基準とした距離計算によって画素の座標と基準点との距離を求めていた。しかし、撮像装置における光学系の取り付け精度が十分でない場合には光学系の光軸と固体撮像素子の撮像面が完全に垂直にならず、発生するシェーディングの特性が光軸の中心に対して必ずしも点対称とならない可能性がある。またレンズ自体の加工精度が十分でない場合にも同様に光軸の中心に対して非対称のシェーディングが発生する可能性がある。このような場合に対応するため、距離を計算するための基準点を２点設定し、楕円を基準とした距離計算によって画素座標と基準点との距離を求めるための構成を以下に示す。
【００８２】
この実施の形態４の構成図は実施の形態１と同じく図１であり、シェーディング補正処理部２０内の距離算出部２２の動作のみが実施の形態１とは異なる。
【００８３】
ここでこの実施の形態４におけるシェーディング補正処理部２０内の距離算出部２２の動作について説明する。
距離算出部２２は、画素の座標値と２つの基準点の座標値から、基準点と画素の距離を算出する。距離Ｄは画素の座標値を（ｘ、ｙ）、基準点１を（ｘ１、ｙ１）、基準点２を（ｘ２、ｙ２）とすると、下記の式（１４）に従って求められる。
【００８４】
0004704913.tif 000011
【００８５】
算出された距離Ｄは距離補正部２３に出力される。
【００８６】
図９は２つの基準点を用いて距離算出を行う場合に、算出される距離が等しくなる画素座標の分布を示している。図９のように、基準点を２つとし、２つの基準点からの画素座標の距離の和を、基準点から画素座標までの距離と見なすことにより、算出される距離の等しい画素の座標は２つの基準点を焦点とする楕円のような分布１０１になる。
【００８７】
よって、このように計算された距離Ｄに基づいて実施の形態１と同様に距離補正値の算出、およびルックアップテーブルを利用した補正係数の算出を行うことにより、等しい補正係数もまた２つの基準点を焦点とする楕円のように分布することになり、２つの基準点の中点を中心として、中心からの方向性によって補正係数の分布の異なるシェーディング補正を行うことができる。
【００８８】
なおこの実施の形態４では、画素の色成分については考慮せず、全ての画素について同じ方式でシェーディング補正を行う場合について記述しているが、実施の形態２の実施の形態１に対する関係と同様に、距離算出部２２、距離補正部２３、シェーディング補正係数算出部２４の設定を３種類ずつ保持し、画素データの色がＲＧＢのいずれであるかによって設定の切り替えを行うことにより、色成分毎に異なったシェーディング補正を行うことも可能である。
【００８９】
以上のような実施の形態４による撮像装置では、距離算出に用いる基準点を２つ設け、２つの基準点からの画素座標の距離の和を、基準点から画素座標までの距離とみなすことにより、２つの基準点の中点を中心とし、中心からの方向性によって補正係数の分布の異なるシェーディング補正を行うため、発生するシェーディングの特性が光軸の中心に対して点対称とならない場合においても高精度なシェーディング補正を行うことができる効果がある。
【００９０】
実施の形態５．
なお、上記実施例ではシェーディング補正処理部２０等を回路として説明したが、これらはソフトウエア処理により実現してもよい。すなわち、汎用的な機能を有する中央演算装置を搭載したコンピュータに、コンピュータプログラムを通じて所定の処理を実行させるような構成を採っていてもよい。
【産業上の利用可能性】
【００９１】
以上のように、この発明に係る画像補正方法は、デジタルスチルカメラを初めとする撮像装置において、画像における輝度や色のシェーディングを補正する用途に有用である。ただし、用途はこれに限られるものではない。例えば、画像に所望の処理を施すために用いられる他の画像処理装置にも適用可能性のあるものである。
【図面の簡単な説明】
【００９２】
【図１】  この発明の実施の形態１による撮像装置を示す構成図である。
【図２】  この発明の実施の形態１による撮像装置のルックアップテーブルを示す図である。
【図３】  この発明の実施の形態１による撮像装置の距離補正値と補正係数との関係を説明するための図である。
【図４】  この発明の実施の形態２による撮像装置を示す構成図である。
【図５】  この発明の実施の形態２による撮像装置のルックアップテーブルを示す図である。
【図６】  この発明の実施の形態３による撮像装置を示す構成図である。
【図７】  この発明の実施の形態３による撮像装置のルックアップテーブルを示す図である。
【図８】  この発明の実施の形態３による撮像装置のルックアップテーブルを示す図である。
【図９】  この発明の実施の形態４による撮像装置の２つの基準座標と距離との関係を説明するための図である。
【図１】
0004704913.tif 000012
【図２】
0004704913.tif 000013
【図３】
0004704913.tif 000014
【図４】
0004704913.tif 000015
【図５】
0004704913.tif 000016
【図６】
0004704913.tif 000017
【図７】
0004704913.tif 000018
【図８】
0004704913.tif 000019
【図９】
0004704913.tif 000020