(57)【要約】      （修正有）【課題】撮像により得られたカラー撮像画像のディジタル画像信号を処理する画像処理装置において、撮像画像の明るさ補正時に、Ｒ、Ｇ、Ｂの信号レベルの混合比率が微妙に変化して色相が変化するのを回避する。【解決手段】撮像により得られたカラー撮像画像のディジタル画像信号から、該カラー撮像画像の輝度を示す輝度信号、該輝度信号と該カラー撮像画像の青色成分との差分を示す第１の差信号、および該輝度信号と該カラー撮像画像の赤色成分との差分を示す第２の差信号の各信号を生成するＹＵＶ生成部１２１と、該カラー撮像画像における暗部が明るくなるよう、該輝度信号および第１および第２の差信号の各々の信号レベルを補正する明るさ補正部１００ｂとを備えた。【選択図】図１
2010193112.tif 000002
【特許請求の範囲】
【請求項１】
撮像により得られたカラー撮像画像のディジタル画像信号を処理する画像処理装置であって、
該ディジタル画像信号から、該カラー撮像画像の輝度を示す輝度信号、該輝度信号と該カラー撮像画像の青色成分との差分を示す第１の差信号、および該輝度信号と該カラー撮像画像の赤色成分との差分を示す第２の差信号の各信号を生成する信号生成部と、
該カラー撮像画像における暗部が明るくなるよう、該輝度信号および第１および第２の差信号の各々の信号レベルを補正する明るさ補正部とを備えた画像処理装置。
【請求項２】
請求項１に記載の画像処理装置において、
前記明るさ補正部は、
前記カラー撮像画像を構成する各画素の輝度信号の信号レベルである輝度値に基づいて、該カラー撮像画像にどの程度の輝度の画素がどの程度含まれているかを示す明るさ情報を作成する明るさ情報作成部と、
該明るさ情報に基づいて該カラー撮像画像に対する明るさ補正が必要か否かを判定する補正要否判定部とを有し、
該補正要否判定部での判定結果に応じて、該輝度信号および第１および第２の差信号の各々の信号レベルを補正する画像処理装置。
【請求項３】
請求項２に記載の画像処理装置において、
前記明るさ情報作成部は、
予め設定された複数の輝度区間の各々に含まれる画素の度数を表すヒストグラムを生成するヒストグラム生成部であり、
前記補正要否判定部は、
該ヒストグラムの形状から前記カラー撮像画像に対する明るさ補正の要否を判定するよう構成されている画像処理装置。
【請求項４】
請求項３に記載の画像処理装置において、
前記明るさ補正部は、
前記ヒストグラムの形状に基づいて、前記カラー撮像画像に対する明るさ補正の程度を示す補正係数を算出する補正係数演算部を有する画像処理装置。
【請求項５】
請求項４に記載の画像処理装置において、
前記補正要否判定部は、
前記ヒストグラムの形状が、輝度の高い領域と輝度の低い領域とで、これらの間の中間的な輝度の領域に比べて、度数が高くなる形状であるときに、前記カラー撮像画像に対する明るさ補正が必要であると判定する画像処理装置。
【請求項６】
請求項５に記載の画像処理装置において、
前記補正要否判定部が前記カラー撮像画像に対する明るさ補正が必要であると判定するときは、前記輝度の低い領域での度数は、予め設定した閾値より大きい度数であるときである画像処理装置。
【請求項７】
請求項５に記載の画像処理装置において、
前記補正係数演算部は、
前記輝度の高い領域での度数と、予め設定した閾値との差分が大きいほど、前記カラー撮像画像に対する明るさ補正の程度を示す補正係数として、より明るさを増大させる補正係数を算出する画像処理装置。
【請求項８】
請求項５に記載の画像処理装置において、
前記補正係数演算部は、
前記輝度の高い領域での度数と予め設定した第１の閾値との第１の差分と、前記輝度の低い領域での度数と予め設定した第２の閾値との第２の差分とに基づいて、前記カラー撮像画像に対する明るさ補正の程度を示す補正係数を算出する画像処理装置。
【請求項９】
請求項８に記載の画像処理装置において、
前記補正係数演算部は、
前記第１および第２の閾値を設定するレジスタを有する画像処理装置。
【請求項１０】
請求項４に記載の画像処理装置において、
前記明るさ補正部は、
前記補正係数に基づいて、該輝度信号および第１および第２の差信号の各々の信号レベルを階調補正する階調補正部を有する画像処理装置。
【請求項１１】
請求項１０に記載の画像処理装置において、
前記階調補正部は、
前記輝度値とゲインとの対応関係を定義する変換関数を格納した関数格納部と、
該輝度値から該変換関数に基づいてゲインを導出するゲイン導出部と、
該算出されたゲインと前記補正係数との乗算により補正ゲインを算出する乗算部とを有し、
該補正ゲインを、該輝度信号、第１および第２の差信号の各々の信号レベルに掛けることにより、これらの信号の階調補正を行う画像処理装置。
【請求項１２】
請求項１１に記載の画像処理装置において、
前記変換関数は、前記カラー撮像画像における暗部を構成する画素の輝度値を含む、一定の輝度範囲内の画素の画素値に対するゲインが、該一定輝度範囲以外の画素の輝度値に対するゲインより大きくなるよう定義されている画像処理装置。
【請求項１３】
請求項１に記載の画像処理装置において、
前記ディジタル画像信号は、複数の画素が配列され、それぞれ対応する色のカラーフィルタを有する固体撮像素子による撮像により得られたカラー撮像画像のアナログ画像信号をＡＤ変換して得られたものであり、
前記信号生成部は、
該ディジタル画像信号に基づいて、各画素に対する、該画素の有するカラーフィルタの色以外の色の画素データを作成する補間処理を行う補間処理部を有し、該補間処理部から出力される各カラーフィルタの色に対応する画像信号を、前記ディジタル画像信号として前記信号生成部に出力するよう構成されている画像処理装置。
【請求項１４】
請求項１３に記載の画像処理装置において、
前記信号生成部は、前記補間処理部の前段に設けられ、前記ディジタル画像信号に対するガンマ補正処理を施すガンマ補正部を有する画像処理装置。
【請求項１５】
請求項１４に記載の画像処理装置において、
前記信号生成部は、前記ガンマ補正部の前段に設けられ、白色の撮像画像における、前記ディジタル画像信号を、該ディジタル画像信号に含まれる各カラーフィルタの色に対応する画像信号のレベルが等しくなるよう補正するホワイトバランス処理部を有する画像処理装置。
【請求項１６】
被写体の撮像を行う固体撮像素子を備えたディジタルスチルカメラであって、
該固体撮像素子の出力信号をサンプルホールドして、カラー撮像画像の信号成分を出力するサンプルホールド部と、
該信号成分をＡＤ変換してディジタル画像信号を出力するＡＤコンバータと、
該ディジタル画像信号を処理する請求項１記載の画像処理装置とを有するディジタルカメラ。
【請求項１７】
請求項１６に記載のディジタルスチルカメラにおいて、
前記固体撮像素子は、ＣＣＤ型イメージセンサであるディジタルスチルカメラ。
【請求項１８】
請求項１６に記載のディジタルスチルカメラにおいて、
前記固体撮像素子は、ＣＭＯＳ型イメージセンサであるディジタルスチルカメラ。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理装置およびディジタルスチルカメラに関し、特に、逆光撮影時などの画像の暗部の明るさ補正を行う画像処理装置、およびこのような画像処理装置を備えたディジタルスチルカメラに関するものである。
【背景技術】
【０００２】
従来から、ＣＣＤイメージセンサーやＣＭＯＳイメージセンサなどの固体撮像素子を用いたディジタルスチルカメラがある。
【０００３】
このようなディジタルスチルカメラでは、イメージセンサーであるＣＣＤモジュールから画像データが取り込まれ、該画像データにおけるベイヤー配列の各画素のＲＧＢ値（各色信号）からＹＵＶ値（輝度、色差信号）への色空間変換処理、オートアイリス（明暗に応じた出力値の調整）処理、ホワイトバランス（色の調整）処理などの色濃度変換、さらにＪＰＥＧフォーマットへの画像圧縮などの各画像信号処理が行われることにより、被写体の撮影が行われている。
【０００４】
図２は、ディジタルスチルカメラで用いられる従来の階調補正機能を備えた画像処理装置を説明する概略構成図である。
【０００５】
図２に示すディジタルスチルカメラ（撮像装置）２００は、例えばＣＣＤイメージセンサーあるいはＣＭＯＳイメージセンサなどの固体撮像素子２０１と、該固体撮像素子２０１から画素データとして出力された画像データ（出力信号）から信号成分を取り出してサンプルホールドするサンプルホールド部２０２と、該サンプルホールド部２０２でサンプルホールドされた各画素データの信号成分をディジタルデータに変換するＡＤコンバータ２０３と、該ＡＤコンバータから出力されるディジタルデータに対する画像処理を行う、階調補正機能を持つ画像処理装置２００ａとを有している。
【０００６】
ここで、イメージセンサーには上述したようにＣＣＤイメージセンサやＣＭＯＳイメージセンサがあるが、例えば、ＣＣＤイメージセンサ（ＣＣＤモジュール）は、画素をマトリクス状に配列してなる画素アレイと、該画素アレイの各画素行に沿って配置され、各画素で得られた信号電荷を垂直方向に転送する垂直ＣＣＤと、該垂直ＣＣＤの一端側に配置され、垂直ＣＣＤからの信号電荷を水平方向に転送する水平ＣＣＤとを有しており、それぞれの画素にはＲ（赤）、Ｇ（緑）またはＢ（青）の色フィルタが設けられている。なお、以下の説明では、Ｒ、Ｇ、Ｂ各色のフィルタを有する画素をそれぞれＲ画素、Ｇ画素、Ｂ画素ともいう。
【０００７】
画像処理装置２００ａは、ＡＤコンバータでディジタルデータに変換された各画素データの黒レベルを規定値に固定するクランプ処理部２１１と、該クランプ処理部２１１からのＲ画素およびＢ画素の画素データに対して所定の値を乗算して、白色の調整がなされるよう（つまり白色の被写体を撮像したときのＲ、Ｇ、Ｂ各画素の画素データが等しくなるよう）該画素データのゲインを調整するホワイトバランス処理部２１２と、ホワイトバランス処理部２１２から出力されるＲ、Ｇ、Ｂ各画素の画素データに対する明るさ補正を行って、ブラウン管や液晶パネルなど特定のモニタ装置として用いられる各表示装置毎の階調表示特性を調整するガンマ（γ）補正部２１３とを有している。
【０００８】
また、画像処理装置２００ａは、後段の縮小処理（間引き処理など）によるエイリアシングが抑制されるよう、ガンマ補正部２１３からの画素データの高周波成分を減衰するローパスフィルタ部２１４と、各画素に対して、該画素が有するフィルタの色以外の色の画素データ（以下、画像データともいう。）を補間によって求める補間処理部２１５と、各色（ＲＧＢ）に対応する画像データを間引く縮小処理を行う縮小処理部２１６と、縮小処理部２１６から出力されたＲＧＢの画像データから、撮像画像の輝度信号データ（Ｙ）、該輝度信号データと撮像画像の青色成分との差信号データ（Ｕ）（第１の差信号）および輝度信号データと撮像画像の赤色成分の差信号データ（Ｖ）（第２の差信号）とを生成するＹＵＶ生成部２２１とを有している。
【０００９】
さらに、画像処理部２００ａは、入力されたディジタル画像信号から抽出されたＲ、Ｇ、Ｂ毎の信号レベルに基づいて、その信号レベルのダイナミックレンジを分割して得られる複数のレベル範囲毎に、各レベル範囲内の信号レベルを有する画素が出現する頻度を検出し、範囲毎に対する信号レベルの頻度により表わされるヒストグラムを生成するヒストグラム生成部２２２と、生成したヒストグラムの形状から、信号レベルの階調補正が必要かどうかを判定する階調補正判定部２２３とを有している。なお、上記ガンマ（γ）補正部２１３、ヒストグラム生成部２２２、および階調補正判定部２２３は、明るさ補正部２００ｂを構成している。
【００１０】
次に動作について説明する。
【００１１】
ディジタルスチルカメラ２００では、画素が行方向および列方向に配置され、それぞれカラーフィルタを有するイメージセンサーなどを用いて被写体を撮像することによって画像データが得られる。
【００１２】
この画像データがサンプルホールド部２０２に入力されると、該画像データの信号成分が取り出されて保持され、この信号成分はさらにＡＤコンバータ２０３によりディジタルデータ（ディジタル値）に変換されて画像処理装置２００ａに入力される。該画像処理装置２００ａでは、該ディジタルデータに対して、ディジタルクランプ処理、ホワイトバランス処理、輝度信号データおよび色差信号データの生成処理などが施され、生成された輝度信号データおよび色差信号データが外部メモリ（図示せず）に記憶される。
【００１３】
次に、画像処理装置２００ａの詳細な動作について説明する。
【００１４】
クランプ処理部２１１は、ＡＤコンバータでディジタルデータに変換された各画素データ（ディジタルデータ）の黒レベルを規定値に固定する。ホワイトバランス処理部２１２は、クランプ処理部２１１からのＲおよびＢの画素データに対して、白色を調整するために所定の値を乗算してそのゲインの調整を行う。
【００１５】
さらに、ガンマ（γ）補正部２１３は、ホワイトバランス処理部２１２からの画像データに対して該明るさを補正する処理を施す。この明るさの補正処理は、ブラウン管や液晶パネルなど特定のモニタ装置として用いられる各表示装置毎の階調表示特性を調整するために行われる。ガンマ補正が施された画像データはローパスフィルタ部２１４を通過することにより、その高周波成分が減衰させられる。この高周波成分の減衰は、後段の縮小処理（間引き処理など）によるエイリアシングを防ぐために行われる。
【００１６】
また、補間処理部２１５は、ローパスフィルタ２１４からの画像データに対して、各画素に対して、当該画素のカラーフィルタの色以外の色成分を補間によって求める。つまり、例えば、緑色フィルタが設けられた画素（Ｇ画素）では、赤色フィルタが設けられた画素（Ｇ画素）および青色フィルタが設けられた画素（Ｂ画素）の画像データ、つまり赤色および青色の画像情報（画素値）は得られないため、補間処理部２１５では、このＧ画素での赤色および青色の画素値情報が周辺のＲ画素およびＢ画素の画素値から求められる。他のＢ画素およびＲ画素についても同様に、それ以外の色の画素の画素値が補間により求められる。
【００１７】
さらに、縮小処理部２１６は、補間処理部２１５からのＲＧＢの各色の画像データ（以下、ＲＧＢ画像データともいう。）に対する間引き処理を行って画像サイズの縮小処理を行う。
【００１８】
また、ＹＵＶ生成部２２１は、縮小処理部２１６から出力されるＲＧＢ画像データからＹＵＶ画像データを生成する。このＹＵＶ画像データは、輝度信号データ（Ｙ）、輝度信号と青色成分の差信号データ（Ｕ）、および輝度信号と赤色成分の差信号データ（Ｖ）を含むものである。
【００１９】
また、上記ホワイトバランス処理部２１２から出力されたＲＧＢ画像データはヒストグラム生成部２２２に入力され、該ヒストグラム生成部２２２では、入力された画像データから抽出されたＲ、Ｇ、Ｂ毎の画像データの信号レベルに基づいて、該信号レベルの取り得る全範囲を分割して得られる複数のレベル範囲毎に、該レベル範囲内の信号レベルを有する画素の出現頻度を検出し、どの明るさの画素がどれだけ存在するかを表すヒストグラムを生成する。
【００２０】
階調補正判定部２２３では、生成したヒストグラムの形状から階調補正が必要かどうかを判定する。該階調補正が必要であると判定された場合は、ガンマ補正部２１３で、ガンマ補正と併せて階調補正が行われる。
【００２１】
次に階調補正を用いた逆光補正手法について説明する。
【００２２】
既に説明したが、ディジタルスチルカメラでは、画素が行方向および列方向に配置され、それぞれ色フィルタを有するイメージセンサー（例えば、ＣＣＤモジュール）を用いて撮像することによって撮影画像が得られる。
【００２３】
しかしながらイメージセンサーのダイナミックレンジはあまり大きくないため、逆光撮影時のように撮像画像内に含まれる明るい部分と暗い部分との輝度差が大きいときには両者を適正露光で撮像することは困難となってくる。
【００２４】
たとえば、図３に示すように、窓のある室内での撮影の際において、被写体Ｔが室内にあり、窓を通して外の風景が映るような撮像画像全体Ｖでは、窓を通して見える明るい外の風景Ｂに露出を合わせると、被写体に対しては適正に露光調整されずに、被写体Ｔの撮像画像は暗くなってしまう。このように暗くなってしまった被写体Ｔの撮像画像を明るく補正する画像処理手法を逆光補正といい、従来から以下のような手法で行われてきた。
【００２５】
逆光画像を補正するには、まず撮影画像全体Ｖが逆光画像であるか否かをまず判定する必要がある。
【００２６】
この判定を行う技術として、ヒストグラムを用いるものが提案されている。
【００２７】
逆光画像は、明るさの飽和部分（図３の窓から見える風景）Ｂと暗い部分（図３の被写体）Ｔとが画像全体Ｖの大きな領域を占め、明るさが中間である領域の面積が狭いという特徴がある。このために、逆光画像のヒストグラムは、図４に示すように、輝度の高い領域（飽和領域）Ｒｓと低い領域Ｒｄとに度数の高い山があり、その間に度数の低い部分Ｒ４およびＲ５がある形になる。そのため、２つの領域Ｒ２およびＲ６で度数が高くなっているか否かによって、逆光画像の判定が行われ、逆光画像であるとの判断が真となった場合には次のような手法にて逆光補正が行われている。なお、図４のヒストグラムにおける領域Ｒ１、Ｒ３、Ｒ４、Ｒ５は、上記２つの領域Ｒ２およびＲ６に比べて度数の低い領域である。
【００２８】
逆光画像においては、暗く撮影された被写体Ｔの撮像画像の明るさを適正な明るさに補正することが必要となる。この明るさ補正は、ヒストグラムにおける輝度の低い領域Ｒ２の輝度を階調補正により高くすることに相当し、従来は、ガンマ補正部２１３にて、モニタ装置として用いられる各表示装置毎の階調表示特性の明るさ補正と共に、逆光補正の明るさについても同時に補正することが一般的であった。
【００２９】
しかしながら、ガンマ補正時に逆光による明るさも同時に補正した場合、被写体の肌の色が青みがかったりするなど色の再現性が微妙に変化してしまい、そのため色相が異なってしまう場合がある。これはガンマ補正部２１３で行われる表示装置毎の階調表示特性を調整する明るさ補正の非線形性によるものである。
【００３０】
図５は、ガンマ補正部２１３で使用されるガンマ補正曲線（以下、ガンマ補正カーブともいう。）を示す。ガンマ補正部２１３では、Ｒ（赤）、Ｇ（緑）、Ｂ（青）の各色毎に明るさ補正が行われるが、表示装置に対応した階調表示特性を調整するガンマ補正カーブは、通常、図５に示すように非線形である。
【００３１】
図５に示す実線の曲線Ｌａは通常のガンマ補正カーブ、点線の曲線Ｌｂは明るさ補正を含めたガンマ補正カーブであり、明るさ補正を含めたガンマ補正カーブは、通常のガンマ補正カーブに比べて、図５に示すように、明るさ補正分が最大でΔＹだけ異なるよう設定されている。
【００３２】
例えば、ガンマ補正前のＲ（赤）、Ｇ（緑）、Ｂ（青）の画像データのＲＧＢ値（各色の画素値）をそれぞれＲ０、Ｇ０、Ｂ０とし、通常のガンマ補正カーブ（曲線Ｌａ）により補正されたＲＧＢ値をそれぞれＲ１、Ｇ１、Ｂ１、明るさ補正を含めたガンマ補正カーブ（曲線Ｌｂ）により補正されたＲＧＢ値をそれぞれＲ２、Ｇ２、Ｂ２とする。
【００３３】
このとき、ガンマ補正カーブの非線形性より、通常のガンマ補正カーブ（曲線Ｌａ）を用いて補正したＲＧＢ値Ｒ１、Ｇ１、Ｂ１の混合比率と、明るさ補正を含めたガンマ補正カーブ（曲線Ｌｂ）を用いて補正したＲＧＢ値Ｒ２、Ｇ２、Ｂ２の混合比率とは、微妙に異なってしまい、逆光補正を行わない場合と逆光補正を行う場合とで、撮像画像の色相が変化することになる。このことが逆光補正を行った場合に被写体の肌の色が青みがかったりする原因となっていた。
【００３４】
このようにディジタルスチルカメラで撮影した撮像画像の明るさを補正する従来の技術では、逆光補正時において、明るさの補正をガンマ補正カーブやルックアップテーブルにて行う技術は提案されていたが、補正後の微妙な色相の変化まで対応した補正手法に関しては対応していなかった（例えば、特許文献１など）。
【先行技術文献】
【特許文献】
【００３５】
【特許文献１】特開２００６−５００１４号公報
【発明の概要】
【発明が解決しようとする課題】
【００３６】
以上説明したように、従来の撮像技術では、逆光画像において暗く撮影された被写体の明るさを適正な明るさに補正する場合には、ガンマ補正部にて明るさを補正することが一般的であった。
【００３７】
しかしながら、ガンマ補正時に逆光による明るさも同時に補正した場合、色の再現性が微妙に変化してしまい、例えば、被写体の肌の色が青みがかったりしたりするなど、色相が異なってしまう場合がある。これは、ガンマ補正部で行われる、表示装置毎の階調表示特性を調整する明るさ補正の非線形性によるものである。
【００３８】
つまり、ガンマ補正部ではＲ（赤）、Ｇ（緑）、Ｂ（青）の各色毎に明るさ補正が行われるが、表示装置に対応した階調表示特性を調整するガンマ補正カーブは、通常、図５に示すように非線形であり、この補正カーブを使用した補正後のＲ、Ｇ、Ｂの画素値の混合比率は、補正前の混合比率とは微妙に異なってしまい、これが色相の変化に表れることになる。
【００３９】
このように、従来は、ディジタルスチルカメラなどの分野において、逆光補正時において明るさの補正をガンマ補正カーブやルックアップテーブルにて行う方法は提案されていたが、この従来の方法では、補正後の微妙な色相の変化が画質劣化を招くという問題がある。
【００４０】
本発明は、上記のような問題点を解決するためになされたものであり、明るさ補正を、Ｒ、Ｇ、Ｂ各画素の画素データの混合比率が微妙に変わって色相が変化してしまうといった画質劣化を招くことなく行うことができる画像処理装置を得ることを目的とする。
【課題を解決するための手段】
【００４１】
本発明に係る画像処理装置は、撮像により得られたカラー撮像画像のディジタル画像信号を処理する画像処理装置であって、該ディジタル画像信号から、該カラー撮像画像の輝度を示す輝度信号、該輝度信号と該カラー撮像画像の青色成分との差分を示す第１の差信号、および該輝度信号と該カラー撮像画像の赤色成分との差分を示す第２の差信号の各信号を生成する信号生成部と、該カラー撮像画像における暗部が明るくなるよう、該輝度信号および第１および第２の差信号の各々の信号レベルを補正する明るさ補正部とを備えたものであり、そのことにより上記目的が達成される。
【００４２】
本発明は、上記画像処理装置において、前記明るさ補正部は、前記カラー撮像画像を構成する各画素の輝度信号の信号レベルである輝度値に基づいて、該カラー撮像画像にどの程度の輝度の画素がどの程度含まれているかを示す明るさ情報を作成する明るさ情報作成部と、該明るさ情報に基づいて該カラー撮像画像に対する明るさ補正が必要か否かを判定する補正要否判定部とを有し、該補正要否判定部での判定結果に応じて、該輝度信号および第１および第２の差信号の各々の信号レベルを補正することが好ましい。
【００４３】
本発明は、上記画像処理装置において、前記明るさ情報作成部は、予め設定された複数の輝度区間の各々に含まれる画素の度数を表すヒストグラムを生成するヒストグラム生成部であり、前記補正要否判定部は、該ヒストグラムの形状から前記カラー撮像画像に対する明るさ補正の要否を判定するよう構成されていることが好ましい。
【００４４】
本発明は、上記画像処理装置において、前記明るさ補正部は、前記ヒストグラムの形状に基づいて、前記カラー撮像画像に対する明るさ補正の程度を示す補正係数を算出する補正係数演算部を有することが好ましい。
【００４５】
本発明は、上記画像処理装置において、前記補正要否判定部は、前記ヒストグラムの形状が、輝度の高い領域と輝度の低い領域とで、これらの間の中間的な輝度の領域に比べて、度数が高くなる形状であるときに、前記カラー撮像画像に対する明るさ補正が必要であると判定することが好ましい。
【００４６】
本発明は、上記画像処理装置において、前記補正要否判定部が前記カラー撮像画像に対する明るさ補正が必要であると判定するときは、前記輝度の低い領域での度数は、予め設定した閾値より大きい度数であるときであることが好ましい。
【００４７】
本発明は、上記画像処理装置において、前記補正係数演算部は、前記輝度の高い領域での度数と、予め設定した閾値との差分が大きいほど、前記カラー撮像画像に対する明るさ補正の程度を示す補正係数として、より明るさを増大させる補正係数を算出することが好ましい。
【００４８】
本発明は、上記画像処理装置において、前記補正係数演算部は、前記輝度の高い領域での度数と予め設定した第１の閾値との第１の差分と、前記輝度の低い領域での度数と予め設定した第２の閾値との第２の差分とに基づいて、前記カラー撮像画像に対する明るさ補正の程度を示す補正係数を算出することが好ましい。
【００４９】
本発明は、上記画像処理装置において、前記補正係数演算部は、前記第１および第２の閾値を設定するレジスタを有することが好ましい。
【００５０】
本発明は、上記画像処理装置において、前記明るさ補正部は、前記補正係数に基づいて、該輝度信号および第１および第２の差信号の各々の信号レベルを階調補正する階調補正部を有することが好ましい。
【００５１】
本発明は、上記画像処理装置において、前記階調補正部は、前記輝度値とゲインとの対応関係を定義する変換関数を格納した関数格納部と、該輝度値から該変換関数に基づいてゲインを導出するゲイン導出部と、該算出されたゲインと前記補正係数との乗算により補正ゲインを算出する乗算部とを有し、該補正ゲインを、該輝度信号、第１および第２の差信号の各々の信号レベルに掛けることにより、これらの信号の階調補正を行うことが好ましい。
【００５２】
本発明は、上記画像処理装置において、前記変換関数は、前記カラー撮像画像における暗部を構成する画素の輝度値を含む、一定の輝度範囲内の画素の画素値に対するゲインが、該一定輝度範囲以外の画素の輝度値に対するゲインより大きくなるよう定義されていることが好ましい。
【００５３】
本発明は、上記画像処理装置において、前記ディジタル画像信号は、複数の画素が配列され、それぞれ対応する色のカラーフィルタを有する固体撮像素子による撮像により得られたカラー撮像画像のアナログ画像信号をＡＤ変換して得られたものであり、前記信号生成部は、該ディジタル画像信号に基づいて、各画素に対する、該画素の有するカラーフィルタの色以外の色の画素データを作成する補間処理を行う補間処理部を有し、該補間処理部から出力される各カラーフィルタの色に対応する画像信号を、前記ディジタル画像信号として前記信号生成部に出力するよう構成されていることが好ましい。
【００５４】
本発明は、上記画像処理装置において、前記信号生成部は、前記補間処理部の前段に設けられ、前記ディジタル画像信号に対するガンマ補正処理を施すガンマ補正部を有することが好ましい。
【００５５】
本発明は、上記画像処理装置において、前記信号生成部は、前記ガンマ補正部の前段に設けられ、白色の撮像画像における、前記ディジタル画像信号を、該ディジタル画像信号に含まれる各カラーフィルタの色に対応する画像信号のレベルが等しくなるよう補正するホワイトバランス処理部を有することが好ましい。
【００５６】
本発明に係るディジタルスチルカメラは、被写体の撮像を行う固体撮像素子を備えたディジタルスチルカメラであって、該固体撮像素子の出力信号をサンプルホールドして、カラー撮像画像の信号成分を出力するサンプルホールド部と、該信号成分をＡＤ変換してディジタル画像信号を出力するＡＤコンバータと、該ディジタル画像信号を処理する画像処理装置とを有し、該画像処理装置は、上述した本発明に係る画像処理装置であり、そのことにより上記目的が達成される。
【００５７】
本発明は、上記ディジタルスチルカメラにおいて、前記固体撮像素子は、ＣＣＤ型イメージセンサであることが好ましい。
【００５８】
本発明は、上記ディジタルスチルカメラにおいて、前記固体撮像素子は、ＣＭＯＳ型イメージセンサであることが好ましい。
【００５９】
次に作用について説明する。
【００６０】
本発明においては、撮像により得られたカラー撮像画像のディジタル画像信号から、該カラー撮像画像の輝度を示す輝度信号、該輝度信号と該カラー撮像画像の青色成分との差分を示す第１の差信号、および該輝度信号と該カラー撮像画像の赤色成分との差分を示す第２の差信号の各信号を生成する信号生成部を備え、該カラー撮像画像における暗部が明るくなるよう、該輝度信号および第１および第２の差信号の各々の信号レベルを補正するので、撮像画像の明るさ補正を、赤（Ｒ）、緑（Ｇ）、青（Ｂ）の各画素の画素データの混合比率が微妙に変わって色相が変化してしまうといった画質劣化を招くことなく行うことができる。
【００６１】
また、本発明においては、予め設定された複数の輝度区間の各々に含まれる画素の度数を表すヒストグラムの形状に基づいて、前記カラー撮像画像に対する明るさ補正の程度を示す補正係数を算出し、輝度信号、第１および第２の差信号の各々の信号レベルに掛けるゲインを、該補正係数により調整するようにしたので、撮像画像の逆光具合に応じて、補正係数により自動で連続的にゲインを抑圧できる。
【００６２】
さらに、本発明においては、ガンマ補正と逆光による階調補正を別々の回路にて調整可能となり、各々独立した設定ができる。
【００６３】
また、本発明においては、前記ヒストグラムの形状が、輝度の高い領域と輝度の低い領域とで、これらの間の中間的な輝度の領域に比べて、度数が高くなる形状であるときに、前記カラー撮像画像に対する明るさ補正が必要であると判定するので、明るさ補正の要否判定をヒストグラムの形状に基づいて簡単に行うことができる。
【発明の効果】
【００６４】
以上のように、本発明によれば、撮像により得られたカラー撮像画像のディジタル画像信号を処理する画像処理装置において、該ディジタル画像信号から、該カラー撮像画像の輝度を示す輝度信号、該輝度信号と該カラー撮像画像の青色成分との差分を示す第１の差信号、および該輝度信号と該カラー撮像画像の赤色成分との差分を示す第２の差信号の各信号を生成する信号生成部と、該カラー撮像画像における暗部が明るくなるよう、該輝度信号および第１および第２の差信号の各々の信号レベルを補正する明るさ補正部とを備えたので、撮像画像の明るさ補正を、Ｒ、Ｇ、Ｂ各画素の画素データの混合比率が微妙に変わって色相が変化してしまうといった画質劣化を招くことなく行うことができる効果がある。
【００６５】
また、本発明によれば、予め設定された複数の輝度区間の各々に含まれる画素の度数を表すヒストグラムの形状に基づいて、前記カラー撮像画像に対する明るさ補正の程度を示す補正係数を算出し、輝度信号、第１および第２の差信号の各々の信号レベルに掛けるゲインを、該補正係数により調整するようにしたので、撮像画像の逆光具合に応じて、補正係数により自動で連続的にゲインを抑圧できるという効果がある。
【図面の簡単な説明】
【００６６】
【図１】図１は、本発明の実施形態１による階調補正機能を備えた画像処理装置を説明する概略構成図であり、該画像処理装置を備えたディジタルスチルカメラを示している。
【図２】図２は、従来の階調補正機能を備えた画像処理装置を示す概略構成図であり、該画像処理装置を備えたディジタルスチルカメラを示している。
【図３】図３は、従来の画像処理装置における逆光補正を説明する図であり、逆光時の撮影画像を示している。
【図４】図４は、従来の画像処理装置における逆光補正を説明する図であり、ＲＧＢ値から生成した逆光時の画素値の度数分布を示すヒストグラムである。
【図５】図５は、従来の画像処理装置における逆光補正を説明する図であり、ＲＧＢ値に対する通常のガンマ補正を行う場合に用いるガンマ補正曲線と、該ガンマ補正の際に明るさ補正を行う場合に用いるガンマ補正曲線とを対比して示している。
【図６】図６は、本発明の実施形態１による画像処理装置における階調補正を説明する図であり、輝度値から生成した逆光時のヒストグラムを示している。
【図７】図７は、本発明の実施形態１による画像処理装置における階調補正を説明する図であり、該階調補正時に用いる輝度値をゲインに変換する変換曲線（ゲインカーブ）の一例を示している。
【図８】図８は、本発明の実施形態１による画像処理装置を説明する図であり、該画像処理装置を構成するＹＵＶ階調補正部（図８（ａ））および階調補正係数演算部（図８（ｂ））の回路構成を示している。
【発明を実施するための形態】
【００６７】
本発明の対象となる、撮像画像の暗部の補正を行う画像処理システムは、例えばディジタルスチルカメラなどに用いられ、一連の複数の画像信号処理を組み合わせて所望のデータ信号処理を実現するものである。
【００６８】
以下、本発明の実施形態について図面を参照しながら説明する。
【００６９】
（実施形態１）
図１は本発明の実施形態１に係る画像処理装置の要部構成を説明する図であり、該画像処理装置を備えたディジタルカメラを示している。
【００７０】
図１に示すディジタルスチルカメラ１００は、従来のディジタルスチルカメラ２００と同様、例えばイメージセンサーである固体撮像素子１０１と、該固体撮像素子１０１から画素データとして出力された画像データから信号成分を取り出してサンプルホールドするサンプルホールド部１０２と、該サンプルホールド部１０２でサンプルホールドされた各画素データの信号成分をディジタルデータに変換するＡＤコンバータ１０３と、該ＡＤコンバータ１０３から出力されるディジタルデータに対する画像処理を行う、逆光補正処理機能を持つ画像処理装置１００ａとを有している。
【００７１】
なお、イメージセンサーにはＣＣＤ型イメージセンサやＣＭＯＳ型イメージセンサがあるが、ここではＣＣＤモジュールを用いており、このＣＣＤモジュールは図２に示す従来のディジタルスチルカメラのものと同一のものである。
【００７２】
画像処理装置１００ａは、従来の画像処理装置２００ａと同様に、ＡＤコンバータでディジタルデータに変換された各画素データに対する黒レベルを規定値に固定するクランプ処理部１１１と、クランプ処理部１１１からのＲ画素およびＢ画素の画素データに対して所定の値を乗算して、白色の調整がなされるようゲインを調整するホワイトバランス処理部１１２と、ホワイトバランス処理部１１２から出力されるＲＧＢ画素データに対する明るさ補正を行って、ブラウン管や液晶パネルなど特定のモニタ装置として用いられる各表示装置毎の階調表示特性を調整するガンマ（γ）補正部１１３とを有している。
【００７３】
また、画像処理装置１００ａは、後段の縮小処理（間引き処理など）によるエイリアシングが抑制されるよう、ガンマ補正部１１３からの画像データの高周波成分を減衰するローパスフィルタ部１１４と、各画素に対して、当該画素のカラーフィルタの色以外の色成分を補間によって求める補間処理部１１５と、補間処理部１１５からのＲＧＢ各色に対応する画像データ（ＲＧＢ画像データ）を間引く縮小処理を行う縮小処理部１１６と、縮小処理部２１６から出力されたＲＧＢ画像データから、輝度信号データ（Ｙ）、輝度信号と青色成分との差信号データ（Ｕ）および輝度信号と赤色成分の差信号データ（Ｖ）とを生成するＹＵＶ生成部１２１とを有している。
【００７４】
そして、この実施形態１の画像処理装置１００ａは、ＹＵＶ生成部１２１から出力される信号データに対して明るさ補正を行う明るさ補正部１００ｂを有している。
【００７５】
この明るさ補正部１００ｂは、生成された輝度信号データ（Ｙ）を用いて輝度ヒストグラムを生成するヒストグラム生成部１２２と、該輝度ヒストグラムに基づいて補正係数Ｃを算出する階調補正係数演算部１４０と、該補正係数Ｃを用いて輝度の低い範囲の画素に対して明るさ補正を行うＹＵＶ階調補正部１３０とを有している。
【００７６】
ここで、ＹＵＶ階調補正部１３０は、図８（ａ）に示すように、ＹＵＶ生成部１２１から出力される輝度信号データ（輝度値）とゲインとの対応関係を定義する変換関数を格納した関数格納部１３１ａと、該輝度値を該変換関数に基づいてゲインＧに変換する変換部（ゲイン導出部）１３１と、該得られたゲインＧと補正係数Ｃとの乗算により補正ゲインｋを算出するゲイン補正部（乗算部）１３２と、該補正ゲインｋを、明るさ調整前の輝度信号データ（Ｙ０）、第１の差信号データ（Ｕ０）および第２の差信号データ（Ｖ０）に掛けて、明るさ調整された輝度信号データ（Ｙ１）、第１の差信号データ（Ｕ１）および第２の差信号データ（Ｖ１）を算出する乗算器１３３ａ〜１３３ｃとを有している。
【００７７】
ここで上記変換関数は、図７に示すように、前記カラー撮像画像における暗部を構成する画素の輝度値を含む、一定の輝度範囲Ｘ内の画素の画素値に対するゲインが、該一定輝度範囲以外の画素の輝度値に対するゲインより大きくなるよう定義されている。
【００７８】
また、階調補正係数演算部１４０は、図８（ｂ）に示すように、上記輝度ヒストグラムを示す情報Ｈに基づいて前記カラー撮像画像に対する明るさ補正の要否を判定する補正要否判定部１４１と、補正要否判定部１４１での判定結果と該輝度ヒストグラムを示す情報Ｈとに基づいて、前記カラー撮像画像に対する明るさ補正の程度を示す補正係数Ｃを算出する係数作成部（補正係数演算部）１４２とを有している。
【００７９】
ここで、前記補正要否判定部１４１は、前記ヒストグラムの形状が、図６に示すように、輝度の高い領域Ｒ４と輝度の低い領域Ｒ２とで、これらの間の中間的な輝度の領域Ｒ３に比べて、度数が高くなる形状であるときに、前記カラー撮像画像に対する明るさ補正が必要であると判定するよう構成されている。また、さらなる判定条件として、前記補正要否判定部１４１が前記カラー撮像画像に対する明るさ補正が必要であると判定するときは、前記輝度の低い領域Ｒ２での度数が、予め設定した閾値（ＨＩＳＴ＿ＤＩＦ＿Ｌ）より大きい度数であるときという条件を加えている。また、ここでは、前記係数作成部１４２は、前記輝度の高い領域Ｒ４での度数と、予め設定した閾値（ＨＩＳＴ＿ＤＩＦ＿Ｈ）との差分ΔＨが大きいほど、前記カラー撮像画像に対する明るさ補正の程度を示す補正係数として、より明るさを増大させる補正係数を算出するものとしている。
【００８０】
なお、前記係数作成部１４２は、前記輝度の高い領域Ｒ４での度数（ＨＩＳＴ＿Ｈ）と予め設定した第１の閾値（ＨＩＳＴ＿ＤＩＦ＿Ｈ）との第１の差分ΔＨと、前記輝度の低い領域Ｒ２での度数（ＨＩＳＴ＿Ｌ）と予め設定した第２の閾値（ＨＩＳＴ＿ＤＩＦ＿Ｌ）との第２の差分ΔＬとに基づいて、前記カラー撮像画像に対する明るさ補正の程度を示す補正係数を算出するものであってもよい。例えば、前記係数作成部１４２は、上記第１および第２の差分の積算値が大きいほど、より明るくなるよう明るさ補正が行われる補正係数を発生するようにしてもよい。
【００８１】
この場合、前記係数作成部１４２は、前記第１および第２の閾値を設定するレジスタを有するものであることが望ましい。
【００８２】
次に動作について説明する。
【００８３】
本実施形態１のディジタルカメラ１００では、イメージセンサーであるＣＣＤモジュール１０１による撮像により得られた画像データがサンプルホールド部１０２に入力されると、該サンプルホールド部１０２では、該画像データから信号成分が取り出されてＡＤコンバータに出力され、該ＡＤコンバータ１０３では、該信号成分がディジタルデータに変換される。
【００８４】
そして、画像処理装置１００ａでは、クランプ処理部１１１により、ＡＤコンバータ１０３からのディジタルデータの黒レベルが規定値に固定され、ホワイトバランス処理部１１２により、クランプ処理部１１１からのＲ画素およびＢ画素の画素データに対して、白色を調整するために所定の値を乗算してそのゲインの調整が行われる。これらのクランプ処理部１１１およびホワイトバランス処理部１１２の動作は従来の画像処理装置２００ａにおけるものと同一である。
【００８５】
そして、この実施形態１では、ガンマ（γ）補正部１１３では、ホワイトバランス処理部２１２からの画像データに対してガンマ補正処理が施される。このガンマ補正処理は、ブラウン管や液晶パネルなど特定のモニタ装置として用いられる各表示装置毎の階調表示特性を調整するために行われる。ガンマ補正が施された画像データはローパスフィルタ部１１４を通過することにより、その高周波成分が減衰させられる。この高周波成分の減衰は、後段の縮小処理（間引き処理など）によるエイリアシングを防ぐために行われる。
【００８６】
また、補間処理部１１５では、ローパスフィルタ１１４からの画像データに対して、各画素に対して、その画素のカラーフィルタの色以外の色成分が補間によって求められる。つまり、緑色フィルタが設けられた画素（Ｇ画素）では、赤色フィルタが設けられた画素（Ｇ画素）および青色フィルタが設けられた画素（Ｂ画素）の画像データ、つまり赤色および青色の画像情報は得られないため、補間処理部２１５では、このＧ画素での赤色および青色の画素値情報が周辺のＲ画素およびＢ画素の画素値から求められる。
【００８７】
さらに、縮小処理部１１６では、補間処理部１１５からのＲＧＢ画像データに対する間引き処理により画像サイズが縮小されたＲＧＢ画像データが作成される。
【００８８】
ＹＵＶ生成部１２１では、縮小処理部１１６から出力されるＲＧＢ画像データからＹＵＶ画像データが生成される。このＹＵＶ画像データは、輝度信号データ（Ｙ）、輝度信号と青色成分の差信号データ（Ｕ）、および輝度信号と赤色成分の差信号データ（Ｖ）を含んでいる。
【００８９】
このようにイメージセンサーであるＣＣＤモジュールから得られた画像データは、図１に示すようなさまざまな回路によりデータ処理が施され、明るさ補正部１００ｂの前段のＹＵＶ生成部１２１では、輝度信号データ（Ｙ）と輝度信号と青色成分の差（Ｕ）および輝度信号と赤色成分の差（Ｖ）が生成され、これらの信号が明るさ補正部１００ｂに入力される。
【００９０】
次に、明るさ補正部１００ｂにおけるＹＵＶ階調補正部１３０にて行う明るさの補正動作について説明する。
【００９１】
ＹＵＶ階調補正部１００ｂでは、ＹＵＶ生成部１２１からの輝度信号データ（Ｙ）に基づいてヒストグラム生成部１２２により、どの程度の輝度の画素がどの程度存在するかを示す輝度ヒストグラム（図６参照）が生成され、次に、階調補正係数算出部１４０にて、明るさ補正に必要な補正係数Ｃが算出され、さらに、ＹＵＶ階調補正部１３０により、Ｙ、Ｕ、Ｖの各信号データに対して算出した補正係数Ｃにより明るさ調整が行われる。
【００９２】
以下、ヒストグラム生成部１２２にて生成した輝度ヒストグラムに基づいて補正ゲインを算出する動作について説明する。
【００９３】
逆光時の撮像画像（逆光画像）のヒストグラムを生成した場合、ヒストグラムには、明るすぎる部分と暗すぎる部分とが撮像画像全体の大きな領域を占め、明るさが中間である領域の面積が狭いという特徴がある。
【００９４】
このため、逆光画像の輝度ヒストグラムでは、図６に示すように、輝度の高い範囲Ｒ４と輝度の低い範囲Ｒ２とに度数の高い山があり、その間に比較的度数の低い領域Ｒ３がある形になる。なお、範囲Ｒ１は、範囲Ｒ２より輝度の低い領域である。
【００９５】
まず、階調補正係数算出部１４０では、ヒストグラムの情報に基づいて、明るさ補正を行うか否かの判定が補正要否判定部１４１により行われ、さらに、係数作成部１４２では、上述したように、補正要否判定結果とヒストグラムの形状とに基づいて補正係数Ｃが算出される。
【００９６】
そして、ＹＵＶ階調補正部１３０では、関数情報格納部１３１ａに格納されている関数情報、つまり、図７に示すような輝度をゲインに変換するゲインカーブ（変換関数）Ｌｇに従って、変換部１３１にて、各画素の輝度値よりその画素に対応したゲインＧを算出する。このゲインカーブＬｇは、輝度の低い範囲Ｒ２付近に対してゲインＧが大きくなるように設定されており、これにより輝度の低い画素の輝度値にのみゲインＧを掛けることが可能となり、その他の部分に画素に関してはその輝度値にゲインが掛からない。
【００９７】
また、変換部１３１にて得られたゲインＧは、ゲイン補正部１３２にて、係数作成部１４２で作成された補正係数Ｃと掛け合わされて補正ゲインｋが生成される。
【００９８】
以下、上記ヒストグラムから補正ゲインを算出する手法についてさらに説明する。
【００９９】
本発明では、明るさ補正は、逆光時の明るさ補正であり、ヒストグラム生成部１２２によって生成された逆光時の輝度ヒストグラムは、図６に示すような形状になる。
【０１００】
従って、本発明では、全ての輝度領域の頻度を検出するのではなく、輝度の高い範囲Ｒ４と低い範囲Ｒ２のみを設定し、この２つの範囲の頻度を検出し、これらの輝度範囲に対する輝度レベルの頻度によりヒストグラムを生成する。
【０１０１】
このヒストグラムを用い、階調補正係数演算部１４０では、次のような手法により明るさ補正のための補正係数を算出する。
【０１０２】
すなわち、階調補正係数演算部１４０の係数作成部１４２では、図６に示すように、前述した着目すべき輝度の高い範囲Ｒ４、輝度の低い範囲Ｒ２にそれぞれ、度数に関するＨしきい値（ＨＩＳＴ＿ＤＩＦ＿Ｈ）、Ｌしきい値（ＨＩＳＴ＿ＤＩＦ＿Ｌ）を設定し、各領域の度数がそのしきい値を超えた場合のみ明るさ補正を行い、さらにそのしきい値と、輝度度数（ＨＩＳＴ＿Ｌ、ＨＩＳＴ＿Ｈ）の差（ΔＬ、ΔＨ）が大きくなればなるほど、（つまり、「ＨＩＳＴ＿Ｌ  −  ＨＩＳＴ＿ＤＩＦ＿Ｌ」、「ＨＩＳＴ＿Ｈ  −  ＨＩＳＴ＿ＤＩＦ＿Ｈ」の値が大きくなるほど）、輝度の低い範囲Ｒ２がより明るくなるような補正係数を作成する。
【０１０３】
たとえば、
ＨＩＳＴ＿ＳＵＰ  ＝  ｛（ＨＩＳＴ＿Ｌ  −  ＨＩＳＴ＿ＤＩＦ＿Ｌ）  ｘ  Ｋ＿Ｌ｝  ｘ  ｛（ＨＩＳＴ＿Ｈ  −  ＨＩＳＴ＿ＤＩＦ＿Ｈ）  ｘ  Ｋ＿Ｈ｝
の値に従って増減するような補正係数Ｃを算出し、明るさの補正を実施する。
【０１０４】
ここで、Ｋ＿Ｌは輝度の低い範囲Ｒ２に対する感度調整係数、Ｋ＿Ｈは輝度の高い範囲Ｒ４に対する感度調整係数である。
【０１０５】
ＨＩＳＴ＿ＳＵＰの値が大きいほど補正係数Ｃが大きくなることにより、撮像画像は明るくなるよう補正され、小さいほど明るさ補正に抑圧が掛かり、撮像画像に対する明るさの補正がされなくなる。前述したゲインカーブＬｇから算出した各画素のゲインＧをＧＡＩＮ０とした場合（図７参照）、例えば次のような演算にて各画素の明るさの補正ゲインｋを算出する。
【０１０６】
補正ゲインｋ  ＝  （ＧＡＩＮ０  −  １）  ｘ  ＨＩＳＴ＿ＳＵＰ  ＋  １
この補正ゲインｋを用いて、暗部の明るさ補正を行う。
【０１０７】
この補正ゲインを用いることで連続的に明るさの補正を行うことができる。
【０１０８】
次に、上述したような方法により算出した補正ゲインｋを用いて、輝度の低い範囲Ｒ２の画素に対して明るさ補正を実施する。
【０１０９】
範囲Ｒ２の画素の輝度信号データ（Ｙ０）、輝度信号と青色成分の差（Ｕ０）および輝度信号と赤色成分の差（Ｖ０）と前述した補正ゲインｋとの演算（乗算）を、各演算器１３３ａ〜１３３ｃで実施することにより、明るさ補正後のＹ１、Ｕ１、Ｖ１を生成し、輝度の低い領域を明るく補正することが可能となる。
【０１１０】
このようにすることにより明るさ補正の前後で、Ｒ画像データ、Ｇ画像データ、Ｂ画像データの混合比率は変わらないため、色の再現性を保持することができ、色相が異なることがなく、明るさのみを補正することができる。
【０１１１】
上記のようにＹ値、Ｕ値、Ｖ値に対して補正ゲインを掛けることで色相が異なることがない理由について簡単に説明する。
【０１１２】
補正ゲインをｋ、明るさ補正前の輝度値Ｙ、色差値Ｕ、色差値Ｖを、Ｙ０、Ｕ０、Ｖ０とし、明るさ補正後の輝度値Ｙ、色差値Ｕ、色差値ＶをＹ１、Ｕ１、Ｖ１とした場合、明るさ補正前後の関係は次のように表される。
【０１１３】
Ｙ１  ＝  ｋＹ０、Ｕ１  ＝  ｋＵ０、Ｖ１＝ｋＶ０として、明るさ補正後の輝度値Ｙ１、および色差値Ｕ１、Ｖ１を、Ｒ、Ｇ、Ｂへ変換した場合の関係は次式のように展開される。
【０１１４】
Ｒ  ＝  １．０００Ｙ１  ＋  １．４０２Ｖ１
＝  ｋ（１．０００Ｙ０  ＋  １．４０２Ｖ０）
Ｇ  ＝  １．０００Ｙ１  −  ０．３４４Ｕ１  −  ０．７１４Ｖ１
＝  ｋ（１．０００Ｙ０  −  ０．３４４Ｕ０  −  ０．７１４Ｖ０）
Ｂ  ＝  １．０００Ｙ１  ＋  １．７７２Ｕ１
＝  ｋ（１．０００Ｙ０  ＋  １．７７２Ｕ０）
この式から分かるように、Ｙ、Ｕ、Ｖの各データに輝度により変化するゲインｋをかけてもＲ、Ｇ、Ｂの混合比率は変わらないため、色相が変わらないことになる。
【０１１５】
このように本実施形態１では、以下のような効果が得られる。
【０１１６】
従来の技術では、逆光画像において暗く撮影された被写体の明るさを適正な明るさに補正する場合には、ガンマ補正部にて明るさを補正することが一般的であった。しかしながらガンマ補正時に逆光による明るさも同時に補正した場合、色の再現性が微妙に変化してしまい、たとえば被写体の肌の色が青みがかったりしたりするなど、色相が異なってしまう場合があった。
【０１１７】
これに対し、本発明の実施形態では、逆行補正時の明るさの調整をガンマ補正時にＲ、Ｇ、Ｂの各色の画像データに対して行うのではなく、ＹＵＶ生成部にて輝度信号データ（Ｙ）と輝度信号と青色成分の差（Ｕ）および輝度信号と赤色成分の差（Ｖ）を生成した後、輝度信号データ（Ｙ）に対して輝度ヒストグラムを生成する。さらにこの輝度ヒストグラムの形状から逆光補正が必要かを判断し、補正が必要な場合にはヒストグラムの度数に応じた明るさ調整のための補正ゲインｋを算出し、信号データ（Ｙ、Ｕ、Ｖ）に対して算出した補正ゲインに対応した明るさ調整を行う。
【０１１８】
このような構成をとることにより、撮像画像の明るさ補正時に、Ｒ、Ｇ、Ｂの信号レベルの混合比率が微妙に変化することがなくなり、色相を変化させることもなくなる。また逆光具合に応じて、補正係数Ｃにより自動で連続的にゲインを抑圧でき、このため明暗の点滅は発生しない。この場合、ゲインの調整は、補正係数Ｃをゲインに掛け合わせるだけであるので、補正ゲインは簡単な回路構成で求めることができる。
【０１１９】
さらに、ガンマ補正と逆光による階調補正を別々の回路にて調整可能となり、各々独立した設定ができる。
【０１２０】
また、本実施形態では、ヒストグラムの形状が、輝度の高い領域と輝度の低い領域とで、これらの間の中間的な輝度の領域に比べて、度数が高くなる形状であるときに、前記カラー撮像画像に対する明るさ補正が必要であると判定するので、明るさ補正の要否判定をヒストグラムの形状に基づいて簡単に行うことができる。
【０１２１】
以上のように、本発明の好ましい実施形態を用いて本発明を例示してきたが、本発明は、この実施形態に限定して解釈されるべきものではない。本発明は、特許請求の範囲によってのみその範囲が解釈されるべきであることが理解される。当業者は、本発明の具体的な好ましい実施形態の記載から、本発明の記載および技術常識に基づいて等価な範囲を実施することができることが理解される。本明細書において引用した特許、特許出願および文献は、その内容自体が具体的に本明細書に記載されているのと同様にその内容が本明細書に対する参考として援用されるべきであることが理解される。
【産業上の利用可能性】
【０１２２】
本発明は、逆光撮影時などの画像の暗部の明るさ補正を行う画像処理装置、およびこのような画像処理装置を備えたディジタルスチルカメラの分野において、明るさ補正を、Ｒ、Ｇ、Ｂ各画素の画素データの混合比率が微妙に変わって色相が変化してしまうといった画質劣化を招くことなく行うことができ、しかも、暗部の各画素に対して連続的な明るさ補正を行うことができるものであり、ＣＣＤイメージセンサやＣＭＯＳイメージセンサなどの固体撮像素子を搭載したデジタルカメラで有用なものである。
【符号の説明】
【０１２３】
１００  ディジタルスチルカメラ
１００ａ  画像処理装置
１００ｂ  明るさ補正部
１０１  固体撮像素子
１０２  サンプルホールド部
１０３  ＡＤコンバータ
１１１  クランプ処理部
１１２  ホワイトバランス処理部
１１３  ガンマ（γ）補正部
１１４  ローパスフィルタ部
１１５  補間処理部
１１６  縮小処理部
１２１  ＹＵＶ生成部
１２２  ヒストグラム生成部
１３０  ＹＵＶ階調補正部
１４０  階調補正係数演算部
１３１  変換部（ゲイン導出部）
１３１ａ  関数格納部
１３２  ゲイン補正部（乗算部）
１３３ａ〜１３３ｃ  乗算器
１４０  階調補正係数演算部
１４１  補正要否判定部
１４２  係数作成部（補正係数演算部）
【図１】
2010193112.tif 000003
【図２】
2010193112.tif 000004
【図３】
2010193112.tif 000005
【図４】
2010193112.tif 000006
【図５】
2010193112.tif 000007
【図６】
2010193112.tif 000008
【図７】
2010193112.tif 000009
【図８】
2010193112.tif 000010