(57)【特許請求の範囲】
【請求項１】
固体撮像素子により撮像を行う撮像装置において、
前記固体撮像素子により輝度と色が略均一な面の光を撮像して得た画像データの色相角を算出する算出手段と、
前記算出手段により算出された色相角を色むらと色シェーディングを補正する際の補正係数に使用して前記色むらと色シェーディングの補正を行う補正手段と、を備えることを特徴とする撮像装置。
【請求項２】
前記画像データ内に規定の測定領域を設定する設定手段を備え、
前記算出手段は、前記設定手段により設定された前記測定領域の代表する色相角を算出することを特徴とする請求項１記載の撮像装置。
【請求項３】
前記画像データ内に複数の測定領域を設定する設定手段を備え、
前記算出手段は、前記設定手段により設定された前記各測定領域の代表する色相角を算出することを特徴とする請求項１記載の撮像装置。
【請求項４】
固体撮像素子により撮像を行う撮像装置において、
前記固体撮像素子により輝度と色が略均一な面の光を撮像して得た画像データの色ベクトルを演算する演算手段と、
前記演算手段により演算された色ベクトルの色相角を算出する算出手段と、
前記算出手段により算出された色相角を色むらと色シェーディングを補正する際の補正係数に使用して前記色むらと色シェーディングの補正を行う補正手段と、を備えることを特徴とする撮像装置。
【請求項５】
前記演算手段は、前記画像データの全領域の色ベクトルを演算することを特徴とする請求項４記載の撮像装置。
【請求項６】
前記画像データ内に規定の測定領域を設定する設定手段を備え、
前記演算手段は、前記設定手段により設定された前記測定領域の色ベクトルを演算することを特徴とする請求項４記載の撮像装置。
【請求項７】
前記画像データ内に複数の測定領域を設定する設定手段を備え、
前記演算手段は、前記設定手段により設定された前記各測定領域の色ベクトルを演算することを特徴とする請求項４記載の撮像装置。
【請求項８】
固体撮像素子により撮像を行う撮像装置の制御方法において、
前記固体撮像素子により輝度と色が略均一な面の光を撮像して得た画像データの色相角を算出する算出ステップと、
前記算出ステップにより算出された色相角を色むらと色シェーディングを補正する際の補正係数に使用して前記色むらと色シェーディングの補正を行う補正ステップと、を有することを特徴とする制御方法。
【請求項９】
固体撮像素子により撮像を行う撮像装置の制御方法において、
前記固体撮像素子により輝度と色が略均一な面の光を撮像して得た画像データの色ベクトルを演算する演算ステップと、
前記演算ステップにより演算された色ベクトルの色相角を算出する算出ステップと、
前記算出ステップにより算出された色相角を色むらと色シェーディングを補正する際の補正係数に使用して前記色むらと色シェーディングの補正を行う補正ステップと、を有することを特徴とする制御方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、デジタルスチルカメラやデジタルビデオカメラに適用され、固体撮像素子の色むらや色シェーディングの補正を行う場合に好適な撮像装置及びその制御方法に関する。
【背景技術】
【０００２】
従来、固体撮像素子は、多数の画素が平面格子状に配列された構造を有する。そのため、固体撮像素子は、製造上から各画素に開口むら・エッチングむら・フィルタの染色むら等が生じる結果、全受光面において均一な受光特性を持たせることが困難である。均一な受光特性が得られないと、局所的な色むら或いは広範囲にわたる色シェーディング（色の濃度のむら）が問題となることがある。
【０００３】
上記色むらや色シェーディングに対する一般的な対策である第一の補正方法としては、固体撮像装置により撮像された画像データの画素毎に補正データを持ち、色むら・色シェーディング補正を行う方法が提案されている。
【０００４】
更に、上記色むら・色シェーディングの第二の補正方法としては、固体撮像装置により撮像された画像データを複数の領域に分割し、領域毎に補正データを持ち、色むら・色シェーディング補正を行う方法が提案されている（例えば、特許文献１参照）。
【特許文献１】特開２００３−１６９２５５号公報
【発明の開示】
【発明が解決しようとする課題】
【０００５】
上記従来の色むら・色シェーディングの第一の補正方法は、固体撮像装置により撮像された画像データを画素毎に補正可能であるため、非常に精度の高い補正が可能になる。しかし、画素毎に補正データを持つ必要があるため、大容量の補正データ用メモリが必要となるという問題がある。
【０００６】
例えば、横方向２０４８画素と縦方向１５３６画素を有する画像データに必要な補正データは、以下のようになる。１画素につき各色（R、G、B）8bit、各色合計で3×8 = 24bitの補正データを持つ場合、2048×1536×24= 約75.5Mbitの補正データが必要となる。更に、撮影におけるズームや絞りに関するパラメータが複数ある場合、上記75.5Mbitの数倍或いは数十倍という膨大な補正データ用メモリが必要となるという問題がある。
【０００７】
また、上記従来の色むら・色シェーディングの第二の補正方法では、全画面（画像データ）を複数の領域に分割するため、補正データ用メモリの容量は削減できる。しかし、補正を行い過ぎた（過補正が発生した）場合に不自然な画像（絵）になってしまう可能性がある。このような不自然さを軽減するためには、補正率を100%から過補正が起きない率まで下げればよい。
【０００８】
ところが、補正率を一定の率まで下げた場合、補正が充分でなかった色むらや色シェーディングが、目立ちやすい色や色の変化の方向により、人の主観評価における画質妨害度と相関が取れなくなってしまう場合が発生する。換言すれば、人が不快と感じる色に合わせて色むらや色シェーディングの程度を数値化できない場合が発生する。また、補正率が高ければ高いほどノイズが増加してしまうという欠点もある。
【０００９】
従来技術における色むら・色シェーディングの第一及び第二の補正方法には、上述したような問題や欠点がある。そのため、色むら・色シェーディングの補正係数算出方法として、人の主観評価と相関の取れた、即ち、人が不快と感じる色に合わせて色むらや色シェーディングの程度を数値化した必要最低限の補正率を算出する方法が要望されている。
【００１０】
本発明の目的は、人が不快と感じる色に合わせて色むらや色シェーディングの程度を数値化した色むら・色シェーディング補正を可能とした撮像装置及びその制御方法を提供することにある。
【課題を解決するための手段】
【００１１】
上述の目的を達成するために、本発明は、固体撮像素子により撮像を行う撮像装置において、前記固体撮像素子により輝度と色が略均一な面の光を撮像して得た画像データの色相角を算出する算出手段と、前記算出手段により算出された色相角を色むらと色シェーディングを補正する際の補正係数に使用して前記色むらと色シェーディングの補正を行う補正手段と、を備えることを特徴とする。
【００１２】
また、本発明は、固体撮像素子により撮像を行う撮像装置において、前記固体撮像素子により輝度と色が略均一な面の光を撮像して得た画像データの色ベクトルを演算する演算手段と、前記演算手段により演算された色ベクトルの色相角を算出する算出手段と、前記算出手段により算出された色相角を色むらと色シェーディングを補正する際の補正係数に使用して前記色むらと色シェーディングの補正を行う補正手段と、を備えることを特徴とする。
【発明の効果】
【００１３】
本発明によれば、輝度と色が略均一な面の光を撮像した画像データの色相角を色むらと色シェーディングを補正する際の補正係数に使用して補正を行う。これにより、色むら・色シェーディングに対する人の主観評価における画質妨害度と相関の取れた、即ち、人が不快と感じる色に合わせて色むらや色シェーディングの程度を数値化した色むら・色シェーディング補正を行うことが可能となる。
【発明を実施するための最良の形態】
【００１４】
以下、本発明の実施の形態を図面に基づいて説明する。
【００１５】
図１は、本発明の実施の形態に係る撮像装置としてのデジタルスチルカメラの構成を示すブロック図である。
【００１６】
図１において、デジタルスチルカメラ（以下デジタルカメラと略記）２０は、レンズ２１、固体撮像素子２２、Ａ／Ｄ変換回路２３、画像メモリ２４、ＣＰＵ２７を備えている。なお、図１に示すデジタルカメラは本発明に関係する構成要素を示したものであり、上記以外の他の構成要素の図示及び説明は省略する。
【００１７】
光源１０は、輝度と色が略均一な面の光（基準光）を発生させる。光源１０から発生した光は、デジタルカメラ２０のレンズ２１に入射される。レンズ２１は、入射した光を固体撮像素子２２に集光する。固体撮像素子２２は、集光された光を電気信号（アナログ映像信号）に変換するものであり、本実施の形態ではＣＣＤとして構成されている。Ａ／Ｄ変換回路２３は、ＣＣＤ２２から出力されたアナログ映像信号をデジタル映像信号に変換する。画像メモリ２４は、Ａ／Ｄ変換回路２３から出力されるデジタル映像信号（画像データ）を記憶する。
【００１８】
ＣＰＵ２７は、制御部２５（補正手段、設定手段）と演算部２６（算出手段、演算手段）を備えている。制御部２５は、デジタルカメラ全体の制御を司るものであり、プログラムに基づき図２のフローチャートに示す処理を実行する。演算部２６は、上記ＣＣＤ２２により撮像された画像データの色むら量と色シェーディング（色の濃度のむら）量の演算を含む後述する各種演算を行う。本実施の形態では、制御部２５及び演算部２６の機能はＣＰＵ２７において実行されるファームウェアにより実現される。
【００１９】
次に、上記構成を有する本実施の形態のデジタルカメラの動作を図２乃至図８を参照しながら詳細に説明する。
【００２０】
図２は、デジタルカメラの色むら・色シェーディング補正処理を示すフローチャートである。
【００２１】
図２において、まず、デジタルカメラの制御部２５は、本処理を開始すると（ステップＳ１０１）、デジタルカメラで光源１０から発生する輝度と色が略均一な面の光を撮影する（ステップＳ１０２）。この場合、上記光を中央部（例えば図３のx3y2、x4y3）でホワイトバランスを調整し撮影する。光源１０から発生した輝度と色が略均一な面の光は、レンズ２１を介してＣＣＤ２２によりアナログ映像信号に光電変換され、Ａ／Ｄ変換回路２３によりデジタル映像信号に変換される。その後、最終的に画像メモリ２４に画像データとして蓄積される（ステップＳ１０３）。
【００２２】
図３は、上記ステップＳ１０３で取り込んだ画像データを複数の領域（本実施の形態では６×４）に分割した例である。各領域には領域名（x1y1、x1y4、x6y1、x6y4等）が設定されている。実際に使用する領域数（分割数）は多い方が精度の高い補正を行うことができるが、補正データの記憶に要するメモリ容量は領域数（分割数）が多くなれば多くなるほど増加する。
【００２３】
次に、制御部２５は、上記図３に示したように複数の領域（６×４）に分割した画像データ内の全領域の色ベクトルを演算部２６により演算する（ステップＳ１０４）。ここで、画像データ内の各領域のデータをそれぞれ平均して求めた色ベクトルを ベクトルx1y1、ベクトルx2y1 ・・ベクトルxmyn・・ ベクトルx5y4、ベクトルx6y4 とする。また、画像ファイルの圧縮方式が例えばJPEG方式の場合、画像データ内の各領域の色差信号Crの積分値をCr(領域)、色差信号Cbの積分値をCb(領域)とする。
【００２４】
上記色ベクトルx1y1、ベクトルx2y1 ・・ベクトルxmyn・・ ベクトルx5y4、ベクトルx6y4は下記の式で表すことができる。
【００２５】
ベクトルx1y1  ＝ ( Cr(x1y1) 、 Cb(x1y1) )
ベクトルx2y1  ＝ ( Cr(x2y1) 、 Cb(x2y1) )
・
・
ベクトルxmyn  ＝ ( Cr(xmyn) 、 Cb(xmyn) )
・
・
ベクトルx5y4  ＝ ( Cr(x5y4) 、 Cb(x5y4) )
ベクトルx6y4  ＝= ( Cr(x6y4) 、 Cb(x6y4) )
図４は、上記ステップＳ１０２で撮像した画像データの色むら・色シェーディングの状態を領域毎に色ベクトルの向きで表現した例である。図４に示すように色むら・色シェーディングは一般に画面中央部より画面周縁部で悪くなる傾向があるが、本実施の形態ではこの傾向を利用する。即ち、制御部２５は、画面（画像データ）四隅の各領域（x1y1、x1y4、x6y1、x6y4）を色相角の規定の測定領域とし、各測定領域の代表する色相角（色ベクトル位相角）を演算部２６により演算する（ステップＳ１０５）。
【００２６】
図５は、色相角を表す色空間座標１の例であり、画面四隅の各領域（x1y1、x1y4、x6y1、x6y4 ）のベクトルを座標上に表現したものである。各領域（x1y1、x1y4、x6y1、x6y4 ）をそれぞれ領域A、領域B、領域C、領域Dとすると、各領域の色相角θA 、 θB 、θC  、θD  は下記の式で表すことができる。
【００２７】
θA  = x1y1の色相角＝tan-1( Cb(x1y1) / Cr(x1y1) )
θB  = x1y4の色相角＝tan-1( Cb(x4y1) / Cr(x4y1) )
θC  = x6y1の色相角＝tan-1( Cb(x6y1) / Cr(x6y1) )
θD  = x6y4の色相角＝tan-1( Cb(x6y4) / Cr(x6y4) )
次に、制御部２５は、各領域間、即ち、領域A−C間 、領域B−D間 、領域A−B間 、領域C−D間の色相角を演算部２６により演算する（ステップＳ１０６）。これら４つの色相角を演算することにより、図６に示すように左右方向と上下方向の色相の変化度を算出することが可能となる。
【００２８】
色相角を求める一例として、各領域の色ベクトルの色相角の差分をとる方法がある。例えば図７において領域A−C間の色相角θA-Cを求める場合、色相角θA-Cは下記の式で表すことができる。
【００２９】
θA-C=｜θA − θC｜＝｜tan-1( Cr(A) / Cb(A) ) − tan-1( Cr(C) / Cb(C) )｜
同様に、領域B−D間 、領域A−B間 、領域C−D間のそれぞれの色相角θB-D、θA-B、θC-D は下記の式で表すことができる。
【００３０】
θB-D=｜θB − θD｜＝｜tan-1( Cr(B) / Cb(B) ) − tan-1( Cr(D) / Cb(D) )｜
θA-B=｜θA − θB｜＝｜tan-1( Cr(A) / Cb(A) ) − tan-1( Cr(B) / Cb(B) )｜
θC-D=｜θC − θD｜＝｜tan-1( Cr(C) / Cb(C) ) − tan-1( Cr(D) / Cb(D) )｜
次に、制御部２５は、以上の計算により算出した色相角の各領域間の差θA-C、θB-D、θA-B、θC-Dから、色むら・色シェーディングに対する人の主観特性と相関を持たせた色むら・色シェーディング補正係数を算出する（ステップＳ１０７）。下記に示すものは、色相角の差分を算出することで色むら・色シェーディング補正係数を算出する方法の一例であり、色相角が大きいほど補正係数が大きくなる式となっている。
【００３１】
今、領域Aと領域C、領域Bと領域D、領域Aと領域B、領域Cと領域Dのそれぞれの色相角の差がθA-C 、θB-D、θA-B、θC-Dであるとする。また、各領域の色むら・色シェーディング補正係数をそれぞれRA-C、RB-D、RA-B、RC-Dとする。色相角の差が180°になる時、補正係数RA-C、RB-D、RA-B、RC-Dが最大の１となるようにすると、各領域間から算出される補正係数の一例は下記の式で表すことができる。
【００３２】
RA-C ＝ ｜sin（θA-C  / 2 ）｜
RB-D ＝ ｜sin（θB-C  / 2 ）｜
RA-B ＝ ｜sin（θA-B  / 2 ）｜
RC-D ＝ ｜sin（θC-D  / 2 ）｜
次に、制御部２５は、各領域の色むら・色シェーディング補正係数RA-C、RB-D、RA-B、RC-Dの最大値から、画面全体(画像データの全領域)にかける補正係数Rを求める（ステップＳ１０８）。最大補正量をkとし、補正量を色相角の差により最大補正量〜最大補正量×1/2まで変化させるものとする。各領域の色むら・色シェーディング補正係数の最大値がRA-Cであった場合、本実施の形態では補正係数Rは下記の式で表すことができる。
【００３３】
R ＝ k × 1 / 2 ×｜RA-C + 1｜
次に、上記で算出した補正係数Rを使用した具体的な色むら・色シェーディング補正方法の一例を説明する。まず、図８の全領域x1y1〜x6y4のX方向に対して、下記の式における色差信号の積分値の値から近似曲線を算出する。
【００３４】
ベクトルxmyn = ( Cr(xmyn) 、 Cb(xmyn) )  
即ち、制御部２５は、上記の式における色差信号Crの積分値Cr(xmyn) と色差信号Cbの積分値Cb(xmyn)の値から、Cr、Cb毎に近似曲線を算出する。各領域の中心座標にCr、Cb値をプロットした場合、近似曲線は、Crは図８の符号３０で示す曲線となり、Cbは図８の符号３２で示す曲線となる。
【００３５】
図８の近似曲線はX方向の色むら・色シェーディング量を表現していると言うことができる。この近似曲線をCr、Cbともに完全に補正した場合が、色むら・色シェーディングの完全補正になる。そのため、Crは上記近似曲線３０、Cbは上記近似曲線３２を最大補正係数kとすることが可能である。補正を行う際は、補正係数Rの近似曲線Crは図８の符号３１で示す曲線を使用し、Cbは図８の符号３３で示す曲線を使用して、画素毎に補正係数Rを乗算することで補正を行う。
【００３６】
制御部２５は、上記の処理を画面（画像データ）の全行（本実施の形態ではy4まで）について行い、画面全域の補正を行う（ステップＳ１０９）。これにより、補正が完了する（ステップＳ１１０）。
【００３７】
なお、本実施の形態では、画像データの水平方向（X方向）について近似曲線を算出して補正を行ったが、画像データの垂直方向（Y方向）についても上記と同様な補正を行っても構わない。また、画像データの水平方向及び垂直方向について両方の近似曲線を算出し、両方の補正係数を乗算することで補正を行っても構わない。
【００３８】
以上説明したように、本実施の形態によれば、固体撮像素子２２により光源１０から発生する輝度と色が略均一な面の光を撮像して得た画像データの全領域の色ベクトルを演算する。更に、色ベクトルの色相角を算出し、色相角を色むらと色シェーディングを補正する際の補正係数に使用して色むらと色シェーディングの補正を行う。これにより、色むら・色シェーディングに対する人の主観評価における画質妨害度と相関の取れた、即ち、人が不快と感じる色に合わせて色むらや色シェーディングの程度を数値化した色むら・色シェーディング補正を行うことが可能となる。
【００３９】
［他の実施の形態］
上記実施の形態では、画面四隅の領域を色相角の測定領域とした場合を例に挙げたが、これに限定されるものではない。上記実施の形態は色むら・色シェーディングが画面中央部より画面周縁部で悪くなる傾向を利用している点から、画面四隅を含む画面周縁部の領域、或いは画面四隅のうち何れかを含む画面周縁部の領域を色相角の測定領域としてもよい。
【００４０】
上記実施の形態では、本発明をデジタルスチルカメラにおける色むら・色シェーディング補正に適用した場合を例に挙げたが、これに限定されるものではない。本発明はデジタルビデオカメラにおける色むら・色シェーディング補正にも適用することができる。
【図面の簡単な説明】
【００４１】
【図１】本発明の実施の形態に係る撮像装置としてのデジタルスチルカメラの構成を示すブロック図である。
【図２】デジタルスチルカメラの色むら・色シェーディング補正処理を示すフローチャートである。
【図３】画像データを複数の領域に分割した例を示す図である。
【図４】画像データの色むら・色シェーディングの状態を領域毎に色ベクトルの向きで表現した例を示す図である。
【図５】色相角を表す色空間座標１の例を示す図である。
【図６】画像データの四隅を測定領域として表した図である。
【図７】色相角を表す色空間座標２の例を示す図である。
【図８】色シェーディング補正方法を示す図である。
【符号の説明】
【００４２】
１０  光源
２０  デジタルカメラ本体
２１  レンズ
２２  固体撮像素子
２３  Ａ／Ｄ変換回路
２４  画像メモリ
２５  制御部
２６  演算部
２７  ＣＰＵ
【図１】
0004958672.tif 000002
【図２】
0004958672.tif 000003
【図３】
0004958672.tif 000004
【図４】
0004958672.tif 000005
【図５】
0004958672.tif 000006
【図６】
0004958672.tif 000007
【図７】
0004958672.tif 000008
【図８】
0004958672.tif 000009