(57)【要約】【課題】撮像画像等の画像に多くのユーザの好みに対応した色毎の適切な明るさを確保する。【解決手段】画像バッファ１０１にＲＧＢデータとして一次記憶した処理対象画像に設定した複数のブロック領域の各々について、各ブロック領域の全体的な色調が所定の注目色に近似する度合である色強度を各ブロック領域における各画素の色情報に基づき判定する色強度判定部１０４と、処理対象画像の画素に、各画素が対応するブロック領域について判定した色強度に応じた補正用ゲインを個別に設定するゲイン設定部１０５と、処理対象画像の画素の明るさを、各画素に設定した補正用ゲインに従い補正する階調補正部１０６とを設ける。処理対象画像における人物の肌部分の色を明るい肌色に補正したり、木の葉に相当する部分の色を濃い緑色に補正したり、空に相当する部分の色を濃い青色に補正したりすることができる。【選択図】  図３
2010272996.tif 000002
【特許請求の範囲】
【請求項１】
処理対象画像に設定した複数のブロック領域の各々について、各ブロック領域の全体的な色調が所定の注目色に近似する度合である色強度を各ブロック領域における各画素の色情報に基づき判定する色強度判定手段と、
前記処理対象画像の画素に、各画素が対応する前記ブロック領域について前記色強度判定手段により判定された色強度に応じた補正倍率を個別に設定する補正倍率設定手段と、
前記処理対象画像の画素の明るさを前記補正倍率設定手段により各画素に設定された補正倍率に従い補正する階調補正手段と
を備えたことを特徴とする画像処理装置。
【請求項２】
前記階調補正手段は、前記処理対象画像の画素が有する複数の色成分情報を、前記補正倍率設定手段により各画素に設定された補正倍率に従いそれぞれ補正することにより、前記処理対象画像の画素の明るさを補正することを特徴とする請求項１記載の画像処理装置。
【請求項３】
前記色強度判定手段は、前記複数のブロック領域における各ブロック領域の色強度を複数段階に分けて判定することを特徴とする請求項１又は２記載の画像処理装置。
【請求項４】
前記色強度判定手段は、前記複数のブロック領域における各ブロック領域の色強度を、各ブロック領域における各画素のＨＳＶ色空間での所定の成分情報により示される色情報に基づいて判定することを特徴とする請求項１又は２，３記載の画像処理装置。
【請求項５】
前記色強度判定手段は、前記複数のブロック領域における各ブロック領域の色強度を、各ブロック領域における各画素のＨＳＶ色空間での複数の成分情報により示される色情報に基づいて判定することを特徴とする請求項４記載の画像処理装置。
【請求項６】
前記色強度判定手段は、
前記複数のブロック領域の各々について、各ブロック領域の全体的な色調が予め決められている複数の注目色のうちのいずれの注目色に該当するのかを、各ブロック領域における各画素の色情報に基づき判定する色判定手段と、
前記複数のブロック領域における各ブロック領域の色強度を、前記色判定手段により判定した注目色に応じた所定の強度判定基準に従い各ブロック領域における各画素の色情報に基づき判定する強度判定手段と
を含むことを特徴とする請求項１乃至５いずれか記載の画像処理装置。
【請求項７】
前記色判定手段は、前記複数のブロック領域の各々について、各ブロック領域の全体的な色調が予め決められている複数の注目色のうちのいずれの注目色に該当するのかを、各ブロック領域における各画素の色情報であるＨＳＶ色空間での色相成分情報に基づいて判定することを特徴とする請求項６記載の画像処理装置。
【請求項８】
前記強度判定手段は、前記複数のブロック領域における各ブロック領域の色強度を、前記色判定手段により判定した注目色に応じた所定の強度判定基準に従い各ブロック領域における各画素の色情報であるＨＳＶ色空間での複数種の成分情報に基づき判定することを特徴とする請求項６又は７記載の画像処理装置。
【請求項９】
前記注目色には、少なくとも肌色、緑色、青色のうちのいずれか１色が含まれることを特徴とする請求項１乃至８いずれか記載の画像処理装置。
【請求項１０】
前記補正倍率設定手段は、
複数のブロック領域の各々に前記色強度判定手段により判定された色強度に応じた代表補正倍率を取得する代表補正倍率取得手段と、
前記代表補正倍率取得手段により取得された各ブロック領域の代表補正倍率に基づいて前記処理対象画像の画素に個別に設定する補正倍率を取得する倍率取得手段と
を含むことを特徴とする請求項１乃至９いずれか記載の画像処理装置。
【請求項１１】
前記倍率取得手段は、前記処理対象画像の画素に個別に設定する補正倍率を、各画素が含まれるブロック領域について前記代表補正倍率取得手段により取得された代表補正倍率と、各画素が含まれるブロック領域以外の各画素に近接する他のブロック領域について前記代表補正倍率取得手段により取得された代表補正倍率とに基づき取得することを特徴とする請求項１０記載の画像処理装置。
【請求項１２】
前記倍率取得手段は、前記各ブロック領域の中心画素の前記補正倍率として、中心画素が含まれるブロック領域の前記代表補正倍率を取得するとともに、前記各ブロック領域の中心画素以外の非中心画素の前記補正倍率を、中心画素の前記補正倍率と、非中心画素が含まれるブロック領域以外の非中心画素に近接する他のブロック領域の前記代表補正倍率とから補間することにより取得することを特徴とする請求項１１記載の画像処理装置。
【請求項１３】
前記複数のブロック領域における各ブロック領域の各画素の明るさ情報に基づいて、前記処理対象画像の各画素の明るさの補正基準となる基準倍率であって所定の補正特性に応じた基準倍率をブロック領域毎に取得する基準倍率取得手段を備え、
前記代表補正倍率取得手段は、前記基準倍率取得手段により取得された各ブロック領域の基準倍率を前記色強度判定手段により判定された各ブロック領域の色強度に応じて補正し、補正後の基準倍率を前記代表補正倍率として取得する
ことを特徴とする請求項１０乃至１２いずれか記載の画像処理装置。
【請求項１４】
前記代表補正倍率取得手段は、前記基準倍率取得手段により取得された各ブロック領域の基準倍率を、前記色強度判定手段により判定された各ブロック領域の色強度に比例して増大させる補正を行い、補正後の基準倍率を前記代表補正倍率として取得することを特徴とする請求項１３記載の画像処理装置。
【請求項１５】
前記代表補正倍率取得手段は、前記基準倍率取得手段により取得された各ブロック領域の基準倍率を、前記色強度判定手段により判定された各ブロック領域の色強度に比例して減少させる補正を行い、補正後の基準倍率を前記代表補正倍率として取得することを特徴とする請求項１３記載の画像処理装置。
【請求項１６】
コンピュータに、
処理対象画像に設定した複数のブロック領域の各々について、各ブロック領域の全体的な色調が所定の注目色に近似する度合である色強度を各ブロック領域における各画素の色情報に基づき判定する手順と、
前記処理対象画像の画素に、各画素が対応する前記ブロック領域について判定した色強度に応じた補正倍率を個別に設定する手順と、
前記処理対象画像の画素の明るさを各画素に設定した補正倍率に従い補正する手順と
を実行させることを特徴とする画像処理プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像の階調補正を行うための、例えばデジタルカメラ等の撮像装置に用いて好適な画像処理技術に関するものである。
【背景技術】
【０００２】
従来、例えば特許文献１には、撮像装置における露光制御技術として、輝度レベルの低い領域の輝度レベルと他の領域の輝度レベルとを用いて逆光の程度を示す逆光度を検出し、この逆光度に応じて輝度レベルの低い領域の輝度レベルを持ち上げるように階調補正用の制御パラメータ（ゲイン）を設定する技術が提案されている。
【０００３】
かかる従来技術によれば、逆光の場合でも適切に露光を制御することができ、その結果撮像した画像に良好な階調を確保することが可能となる。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００３−１１６０４９号公報（図１０）
【発明の概要】
【発明が解決しようとする課題】
【０００５】
ところで、撮像装置である例えばデジタルカメラのユーザにおいては、一般に木の葉の色として濃い緑色を好む者や、人物の顔の色としては明るい肌色を好む者が多い。このため、デジタルカメラにおいては、撮像した画像に対して色毎に階調補正を行うことが好ましい。
【０００６】
しかしながら、上記従来技術では、画像上の輝度レベルが同じである複数の領域に対し、各々の領域の色とは無関係に、同じ値の制御パラメータ（ゲイン）を適用した露光制御によって階調補正を行う。このため、上記従来技術をデジタルカメラに適用したとしても、撮像した画像に対して色毎の階調補正を行うことができず、階調補正後の画像が、必ずしも一般的なユーザが好む色毎の明るさが反映された画像とはならないという課題があった。
【０００７】
本発明は、かかる従来の課題に鑑みてなされたものであり、撮像画像等の画像に多くのユーザの好みに対応した色毎の適切な明るさを確保することを目的とする。
【課題を解決するための手段】
【０００８】
前記課題を解決するため、本発明の画像処理装置にあっては、処理対象画像に設定した複数のブロック領域の各々について、各ブロック領域の全体的な色調が所定の注目色に近似する度合である色強度を各ブロック領域における各画素の色情報に基づき判定する色強度判定手段と、前記処理対象画像の画素に、各画素が対応する前記ブロック領域について前記色強度判定手段により判定された色強度に応じた補正倍率を個別に設定する補正倍率設定手段と、前記処理対象画像の画素の明るさを前記補正倍率設定手段により各画素に設定された補正倍率に従い補正する階調補正手段とを備えたことを特徴とする。
【０００９】
また、本発明の画像処理プログラムにあっては、コンピュータに、処理対象画像に設定した複数のブロック領域の各々について、各ブロック領域の全体的な色調が所定の注目色に近似する度合である色強度を各ブロック領域における各画素の色情報に基づき判定する手順と、前記処理対象画像の画素に、各画素が対応する前記ブロック領域について判定した色強度に応じた補正倍率を個別に設定する手順と、前記処理対象画像の画素の明るさを各画素に設定した補正倍率に従い補正する手順とを実行させることを特徴とする。
【発明の効果】
【００１０】
本発明によれば、撮像画像等の画像に多くのユーザの好みに対応した色毎の適切な明るさを確保することが可能となる。
【図面の簡単な説明】
【００１１】
【図１】本発明を適用したデジタルスチルカメラのハードウェア構成の一例を示すブロック図である。
【図２】本発明を適用したデジタルスチルカメラの機能ブロック図である。
【図３】画像処理部の要部を示す機能ブロック図である。
【図４】（ａ）は処理対象画像におけるブロック領域を例示した図、（ｂ）はブロック領域における非中心画素の補正用ゲインの演算方法を示す図である。
【図５】ブロック領域における非中心画素の補正用ゲインの具体的な演算方法を示す図である。
【図６】平均明度値の変化に対する基準ゲインレベルの変化特性の一例を示す説明図である。
【図７】画像処理部による階調補正処理におけるゲイン設定処理を示したフローチャートである。
【図８】ゲイン設定処理における色強度判定処理を示したフローチャートである。
【図９】色強度判定処理における肌色強度判定処理を示したフローチャートである。
【図１０】色強度判定処理における緑色強度判定処理を示したフローチャートである。
【図１１】色強度判定処理における青色強度判定処理を示したフローチャートである。
【図１２】ゲイン設定処理における肌色ゲイン補正処理を示したフローチャートである。
【図１３】ゲイン設定処理における緑色ゲイン補正処理を示したフローチャートである。
【図１４】ゲイン設定処理における青色ゲイン補正処理を示したフローチャートである。
【発明を実施するための形態】
【００１２】
以下、本発明を適用した実施形態について、図を参照しながら説明する。図１は、本発明の実施形態として例示するデジタルスチルカメラ（以下、単にデジタルカメラという。）１のハードウェア構成の概略を示すブロック図である。
【００１３】
図１に示したようにデジタルカメラ１は、被写体を撮像するためのＣＣＤ（Charge Coupled Device）２を有している。ＣＣＤ２は、図示しない光学系によって被写体の光学像が結像される感光面に、ベイヤー配列等の特定の色配列を有する色フィルタが設けられた構造を備えている。ＣＣＤ２は、水平／垂直ドライバ３から供給される水平、及び垂直転送用の駆動信号により駆動されることによって、前記被写体の光学像を電気信号に変換し、変換後の電気信号を撮像信号としてＣＤＳ（Correlated Double Sampling）回路、及びＡ／Ｄコンバータ（Analog-to-Digital converter）から構成されたＣＤＳ／ＡＤ回路４へ供給する。
【００１４】
前記水平／垂直ドライバ３は、ＴＧ（Timing Generator）５が生成したタイミング信号に基づき動作することによって前述した水平、及び垂直転送用の駆動信号を生成し前記ＣＣＤ２を駆動する。また、ＴＧ５が生成したタイミング信号は前記ＣＤＳ／ＡＤ回路４にも供給される。ＣＤＳ／ＡＤ回路４は、ＴＧ５から供給されたタイミング信号に基づき動作することによって、ＣＣＤ２が出力した撮像信号に含まれるノイズを除去するとともに、ノイズ除去後の撮像信号をデジタル信号に変換し、変換後のデジタル信号をＤＳＰ（Digital Signal Processor）６へ供給する。
【００１５】
ＤＳＰ６は、前記ＣＤＳ／ＡＤ回路４から供給されたデジタル信号、すなわち単一の色情報のみを有する各画素のデータからなる画像データを処理するためのバッファ用のメモリ６ａを備えた構成を有しており、以下の処理を行う。すなわちＤＳＰ６は、ＣＤＳ／ＡＤ回路４から供給された画像データに対して、各画素の不足する色情報を各画素の周辺画素から補間することによって、画素毎にＲ（Red）、Ｇ（Green）、Ｂ（Blue）の色情報を有する画像データ、つまりＲＧＢデータを生成するデモザイク（de-mosaic）処理を行う。
【００１６】
また、ＤＳＰ６は、デモザイク処理によって生成したＲＧＢデータに対する階調補正処理や、階調補正処理後のＲＧＢデータに対するホワイトバランス調整処理、ガンマ補正処理、各種のフィルタ処理、ＲＧＢデータを画素毎の輝度成分（Ｙ）、及び２つの色差成分（Ｃｂ、Ｃｒ）により表現される画像データ、つまりＹＵＶデータに変換するＹＵＶ変換処理等のデジタル信号処理を行う。なお、上記の階調補正処理の詳細については後述する。
【００１７】
また、ＤＳＰ６は、上記のデジタル信号処理を行った後のＹＵＶデータを順次ＳＤＲＡＭ（Synchronous dynamic random-access memory）７に供給する。ＳＤＲＡＭ７は、ＤＳＰ６から供給されたＹＵＶデータを一時的に記憶する。
【００１８】
さらに、ＤＳＰ６は、デジタルカメラ１に動作モードとして記録モードが設定されている状態においては、前記ＳＤＲＡＭ７に１フレーム分のＹＵＶデータ（画像データ）が蓄積される毎に、ＳＤＲＡＭ７に蓄積されている画像データを読み出し、読み出した画像データをＬＣＤ（Liquid Crystal Display）８に供給する。
【００１９】
ＬＣＤ８は、図示しない液晶表示器と、液晶表示器を駆動する駆動回路等から構成され、ＤＳＰ６から供給された画像データに基づく画像を液晶表示器の画面上にライブビュー画像として表示する。
【００２０】
一方、前述したＴＧ５及びＤＳＰ６はバス１３を介してＣＰＵ（Central Processing Unit）９と接続されており、ＴＧ５及びＤＳＰ６の動作はＣＰＵ９によって制御されている。
【００２１】
ＣＰＵ９は、記憶内容が書き換え可能なＥＥＰＲＯＭ（Electric Erasable Programmable Read Only Memory）であるフラッシュメモリ１０に記憶されているプログラムに従い動作することによってデジタルカメラ１の全体の動作を制御する。
【００２２】
また、ＣＰＵ９は、デジタルカメラ１に動作モードとして記録モードが設定されている状態での撮影時には、ＳＤＲＡＭ７に一時記憶された画像データをＪＰＥＧ（Joint Photographic Expert Group）方式等の所定の圧縮方式により圧縮し、圧縮後の画像データを画像ファイルとして外部メモリ１１に記録する。前記外部メモリ１１は、図示しないカードインターフェイスを介してバス１３に接続されたカメラ本体に着脱自在なメモリカードである。
【００２３】
また、ＣＰＵ９は、デジタルカメラ１に動作モードとして再生モードが設定されているときには、必要に応じて外部メモリ１１から所定の画像ファイル（圧縮状態の画像データ）を読み出すとともに、読み出したデータを伸張してＳＤＲＡＭ７に展開する。さらにＣＰＵ９は、ＳＤＲＡＭ７に展開したデータ（ＹＵＶデータ）を、ＤＳＰ６を介してＬＣＤ８に供給することによりＬＣＤ８に記録画像を表示させる。
【００２４】
前記バス１３にはキー入力部１２が接続されている。キー入力部１２は、ユーザがデジタルカメラ１の操作に必要とする各種の操作キー、例えば電源キーやシャッターキー、記録モードや再生モードを設定するためのモード設定キー等によって構成されている。そして、ＣＰＵ９は、キー入力部１２における各々の操作キーの操作状態を逐次検出し、検出した操作状態に基づき判断したユーザの要求に従い種々の処理を前記プログラムに従い実行する。
【００２５】
図２は、前記デジタルカメラ１の構成を機能別に示した機能ブロック図である。図２に示したようにデジタルカメラ１は、主として撮像部５１と、画像処理部５２、制御部５３、作業用メモリ５４、プログラムメモリ５５、画像記録部５６、表示部５７、操作部５８によって構成されている。
【００２６】
各々の機能ブロックは、後述するように図１に示した１又は複数のハードウェアによって実現される。すなわち撮像部５１はＣＣＤ２と、水平／垂直ドライバ３、ＣＤＳ／ＡＤ回路４、ＴＧ５によって実現され、被写体を撮像して撮像画像を取得する機能部分である。また、画像処理部５２はＤＳＰ６によって実現され、撮像画像に前述した種々の画像処理を施す機能部分である。制御部５３はＣＰＵ９によって実現される。また、作業用メモリ５４はＳＤＲＡＭ７によって実現され、プログラムメモリ５５はフラッシュメモリ１０によって実現される。また、画像記録部５６は外部メモリ１１によって実現され、表示部５７はＬＣＤ８によって実現され、操作部５８は前述したキー入力部１２によって実現される。
【００２７】
図３は、前記画像処理部５２の要部であって、デモザイク処理により生成したＲＧＢデータに対して階調補正処理を行うための機能部分の詳細を示した機能ブロック図である。図３に示したように前記画像処理部５２は、画像バッファ１０１と、ＨＳＶ変換部１０２、基準ゲイン演算部１０３、色強度判定部１０４、ゲイン設定部１０５、階調補正部１０６を備えている。
【００２８】
前記画像バッファ１０１は前述したメモリ６ａ（図１参照）によって実現される機能部分であり、階調補正処理の対象となる画像（以下、処理対象画像という。）の画像データであって、デモザイク処理により生成されたＲＧＢデータ（ＲＧＢ_ｉｎ）を記憶する。
【００２９】
前記ＨＳＶ変換部１０２は、画像バッファ１０１に記憶されたＲＧＢデータを読み出し、読み出したＲＧＢデータを色相（hue）、彩度（saturation）、明度（value）により定義されるＨＳＶ色空間の画像データ（以下、ＨＳＶデータという。）に変換する。すなわちＨＳＶ変換部１０２は、画素毎のＲ，Ｇ，Ｂの各色成分値を、画素毎の色相値（Ｈ）、彩度値（Ｓ）、明度値（Ｖ）の各成分値に変換する。ＨＳＶ変換部１０２によって変換される各成分値は、色相値（Ｈ）が０〜３５９の範囲の値、彩度値（Ｓ）及び明度値（Ｖ）が０〜２５５の範囲の値である。
【００３０】
また、ＨＳＶ変換部１０２は、処理対象画像を予め決められている複数のブロック領域（分割領域）に分割し、分割したブロック領域毎に領域内の全画素を対象としてＨＳＶデータの各成分（Ｈ，Ｓ，Ｖ）の平均値、つまり平均色相値（Ｈ_ａｖ）、平均彩度値（Ｓ_ａｖ）、平均明度値（Ｖ_ａｖ）をそれぞれ算出する。なお、以下の説明では、平均色相値（Ｈ_ａｖ）、平均彩度値（Ｓ_ａｖ）、平均明度値（Ｖ_ａｖ）を一括して成分別平均値と呼ぶ。
【００３１】
図４（ａ）は、ＨＳＶ変換部１０２が前記成分別平均値（Ｈ_ａｖ，Ｓ_ａｖ，Ｖ_ａｖ）の算出に際して対象とする、処理対象画像２００における各々のブロック領域２００ａを例示した図である。図４（ａ）に示したように、ＨＳＶ変換部１０２が対象とする各々のブロック領域２００ａは、例えば処理対象画像２００を縦８×横８の６４ブロックに分割することにより設定される各々の領域である。
【００３２】
そして、ＨＳＶ変換部１０２は、各ブロック領域の成分別平均値（Ｈ_ａｖ，Ｓ_ａｖ，Ｖ_ａｖ）を前記色強度判定部１０４へ供給するとともに、各ブロック領域の平均Ｖ値（Ｖ_ａｖ）のみを前記基準ゲイン演算部１０３へ供給する。
【００３３】
前記基準ゲイン演算部１０３は基準倍率取得手段として機能し、ＨＳＶ変換部１０２から供給された前述したブロック領域毎の平均明度値（Ｖ_ａｖ）をパラメータとする、予め決められている下記式により表される所定のゲイン関数
ｆ_ｇａｉｎ（Ｖ_ａｖ）
を用いて、処理対象画像の各画素の明るさの補正基準となる基準ゲイン（Ｇ_ｌｅｖ）をブロック領域毎にそれぞれ演算し、演算結果を後述する基準ゲイン補正部１２１へ供給する。
【００３４】
基準ゲイン演算部１０３が各ブロック領域の基準ゲインの演算に使用する上記ゲイン関数は、基本的には平均明度値（Ｖ_ａｖ）が低いほど基準ゲイン（Ｇ_ｌｅｖ）が高く、かつ平均明度値（Ｖ_ａｖ）が高いほど基準ゲイン（Ｇ_ｌｅｖ）が低くなる補正特性を有する関数である。より具体的には、前記ゲイン関数は、平均明度値（Ｖ_ａｖ）の変化に対して基準ゲイン（Ｇ_ｌｅｖ）が例えば図６（ａ）や、図６（ｂ）に示したように変化する関数である。
【００３５】
前記色強度判定部１０４は、図３に示したように色判定部１１１と強度判定部１１２とから構成されている。さらに強度判定部１１２は、肌色強度判定部１１２ａと緑色強度判定部１１２ｂと青色強度判定部１１２ｃとから構成されており、色強度判定手段として機能する。
【００３６】
前記色判定部１１１は、ＨＳＶ変換部１０２から供給された平均色相値（Ｈ_ａｖ）に基づいて、前述した処理対象画像の各ブロック領域の全体的な色調が予め決められている注目色である肌色、緑色、青色と、肌色、緑色、青色以外の非注目色のうちのいずれの色に該当するかを所定の色判定基準に従い判定する。そして、色判定部１１１は、色の判定結果を示す色判定データ（Ｃ_ｊｕｄｇ）を前記強度判定部１１２と、後述する基準ゲイン補正部１２１とに供給する。なお、色判定部１１１における色判定基準の詳細については後述する。
【００３７】
前記強度判定部１１２は、ＨＳＶ変換部１０２から供給された各ブロック領域の成分別平均値（Ｈ_ａｖ，Ｓ_ａｖ，Ｖ_ａｖ）と、色判定部１１１から供給された色判定データ（Ｃ_ｊｕｄｇ）とに基づいて、処理対象画像の各々のブロック領域を注目ブロックとし、色判定部１１１によって判定された色が肌色、緑色、青色のいずれかの注目色であるとき、注目ブロックにおける判定された色の強度、つまり注目ブロックの全体的な色調が注目色（肌色、緑色、青色のいずれか）に近似する度合を、肌色強度判定部１１２ａと緑色強度判定部１１２ｂと青色強度判定部１１２ｃとにおいてそれぞれ判定する。
【００３８】
すなわち強度判定部１１２においては、色判定部１１１によって判定された色が肌色であるとき、肌色強度判定部１１２ａが注目ブロックの全体的な色調における肌色としての強度を肌色に応じた所定の強度判定基準に従って判定する。また、強度判定部１１２においては、色判定部１１１によって判定された色が緑色であるとき、緑色強度判定部１１２ｂが注目ブロックの全体的な色調における緑色としての強度を緑色に応じた所定の強度判定基準に従って判定する。また、強度判定部１１２においては、色判定部１１１によって判定された色が青色であるとき、青色強度判定部１１２ｂが注目ブロックの全体的な色調における青色としての強度を青色に応じた所定の強度判定基準に従って判定する。
【００３９】
なお、肌色強度判定部１１２ａと緑色強度判定部１１２ｂと青色強度判定部１１２ｃとが、各注目色（肌色、緑色、青色）の強度を判定するときの強度判定基準の詳細については後述する。
【００４０】
そして、強度判定部１１２は、色判定部１１１によって判定された色が肌色、緑色、青色のいずれかの注目色であるときには、肌色強度判定部１１２ａ、緑色強度判定部１１２ｂ、青色強度判定部１１２ｃのいずれかによって判定した注目色の強度を示す色強度データ（Ｃ_ｌｅｖ）を前記ゲイン設定部１０５へ供給する。
【００４１】
前記ゲイン設定部１０５は、図３に示したように基準ゲイン補正部１２１とゲイン演算部１２２とから構成されており、補正倍率設定手段として機能する。
【００４２】
基準ゲイン補正部１２１は、前記基準ゲイン演算部１０３から供給された処理対象画像におけるブロック領域毎の基準ゲイン（Ｇ_ｌｅｖ）を、前記色判定部１１１から供給された色判定データ（Ｃ_ｊｕｄｇ）と、前記強度判定部１１２から供給された色強度データ（Ｃ_ｌｅｖ）とに基づいて補正し、補正後の基準ゲインをゲイン演算部１２２へ供給することにより、代表補正倍率取得手段として機能する。なお、基準ゲイン補正部１２１における基準ゲインの具体的な補正方法については後述する。
【００４３】
ゲイン演算部１２２は、基準ゲイン補正部１２１から供給された補正後のブロック領域毎の基準ゲインに基づいて処理対象画像の各画素に対する補正用ゲインを個別に演算し、演算した各画素の補正用ゲイン（Ｇ_ｌｅｖ（ｘ，ｙ））を前記階調補正部１０６へ供給することにより、倍率取得手段として機能する。
【００４４】
ゲイン演算部１２２における画素毎のゲインの演算方法を図４を用いて説明する。まずゲイン算出部１２２は、基準ゲイン補正部１２１から供給された補正後のブロック領域毎の基準ゲインを各ブロック領域２００ａの代表ゲインとして、係る代表ゲインを、各ブロック領域２００ａの中心画素、つまり図４（ａ）において「＋」印で示した画素３０１に対する補正用ゲインとして決定する。
【００４５】
さらに、ゲイン演算部１２２は、各ブロック領域２００ａにおける中心画素３０１以外の非中心画素、つまり図４（ｂ）において「・」印で示した画素３０２の補正用ゲインを、非中心画素３０２に隣接（近接）する複数（最大で４画素）の中心画素３０１の補正用ゲインから補間により取得する。
【００４６】
図５は、ゲイン演算部１２２が、非中心画素３０２の補正用ゲインを隣接する４点の中心画素３０１ａ，３０１ｂ，３０１ｃ，３０１ｄの補正用ゲインから補間する際における非中心画素３０２の補正用ゲインの具体的な演算方法を示す説明図である。
【００４７】
演算部１２２は、まず４点の中心画素３０１ａ，３０１ｂ，３０１ｃ，３０１ｄのうちの水平方向に並ぶ一方の組の中心画素３０１ａ，３０１ｂを結ぶ線分、及び水平方向に並ぶ他方の組の中心画素３０１ｃ，３０１ｄを結ぶ他の線分に対する非中心画素３０２の水平方向の内分比ｓ：ｔを求める。また垂直方向に並ぶ一方の組の中心画素３０１ａ，３０１ｃを結ぶ線分、及び垂直方向に並ぶ他方の組の中心画素３０１ｂ，３０１ｄを結ぶ線分に対する非中心画素３０２の垂直方向の内分比ｕ：ｖを求める。
【００４８】
次に、演算部１２２は、水平方向に並ぶ一方の組の中心画素３０１ａ，３０１ｂを結ぶ線分を前記水平方向の内分比ｓ：ｔに内分する一方の内分点４０１ａの補正用ゲインＸを、図５に示した式（１）により算出する。すなわち演算部１２２は、一方の内分点４０１ａの補正用ゲインＸを、一方の組の中心画素３０１ａ，３０１ｂの補正用ゲインＡ，Ｂを前記水平方向の内分比ｓ：ｔに応じた比率で加算することにより求める。同様に、演算部１２２は、水平方向に並ぶ他方の組の中心画素３０１ｃ，３０１ｄを結ぶ線分を前記水平方向の内分比ｓ：ｔに内分する他方の内分点４０１ｂの補正用ゲインＹを、図５に示した式（２）により算出する。すなわち演算部１２２は、他方の内分点４０１ｂの補正用ゲインＹを、他方の組の中心画素３０１ｃ，３０１ｄの補正用ゲインＣ，Ｄを前記水平方向の内分比ｓ：ｔに応じた比率で加算することにより求める。
【００４９】
しかる後、演算部１２２は、非中心画素３０２の補正用ゲインＺを図５に示した式（３）により算出する。すなわち演算部１２２は、非中心画素３０２の補正用ゲインＺを、一方の内分点４０１ａの補正用ゲインＸと他方の内分点４０１ｂの補正用ゲインＹとを前記垂直方向の内分比ｕ：ｖに応じた比率で加算することにより求める。
【００５０】
また、図４（ｂ）に示したように、ゲイン演算部１２２は、処理対象画像２００の上下左右の各辺に接する各ブロック領域２００内の非中心画素３０２の補正用ゲインを、対象となる非中心画素３０２に隣接（近接）する２点の中心画素３０１の補正用ゲインから補間により取得する。ただし、ゲイン演算部１２２は、処理対象画像２００の上下左右の四隅に位置するブロック領域２００内の非中心画素３０２の補正用ゲインについては、例外的に非中心画素３０２が含まれるブロック領域２００ａの中心画素３０１の補正用ゲインをそのまま使用する。また、ゲイン演算部１２２は、上下左右の各辺に接する各ブロック領域２００内で中心画素３０２よりも外側に位置するとともに、中心画素３０２と水平位置、又は垂直位置が同一の非中心画素３０２の補正用ゲインについても、例外的に非中心画素３０２が含まれるブロック領域２００ａの中心画素３０１の補正用ゲインをそのまま使用する。
【００５１】
なお、ゲイン演算部１２２における非中心画素３０２の補正用ゲインの補間には、前述した方法に限らず、例えば画像の拡大処理時における画素補間に際して一般に多用されている線形補間やスプライン補間を適用することができる。
【００５２】
前記階調補正部１０６は、前記画像バッファ１０１に記憶されたＲＧＢデータを画素毎に読み出し、読み出した処理対象画像の各画素のＲＧＢデータの色成分値（Ｒ値、Ｇ値、Ｂ値）を、各色成分値に前記ゲイン演算部１２２から供給された各画素の補正用ゲインをそれぞれ乗じる補正を行い、階調補正手段として機能する。また、階調補正部１０６は、画像バッファ１０１に記憶された各画素のＲＧＢデータを補正後のＲＧＢデータに書き換える。
【００５３】
そして、画像処理部５２においては、階調補正処理において前述したように画像バッファ１０１に記憶されたＲＧＢデータ（ＲＧＢ_ｉｎ）を補正後のＲＧＢデータに書き換えることによって処理対象画像の階調を補正する。また、画像処理部５２は、画像バッファ１０１に記憶した補正後のＲＧＢデータ（ＲＧＢ_ｏｕｔ）を読み出し、読み出した補正後のＲＧＢデータ、つまり階調補正後の画像を処理対象としてホワイトバランス調整処理等の他のデジタル信号処理を行う。
【００５４】
図７は、前記画像処理部５２が、デモザイク処理により生成したＲＧＢデータに対する階調補正処理において、処理対象画像の各画素に補正用ゲインを設定するためのゲイン設定処理の内容を示したフローチャートである。
【００５５】
ゲイン設定処理に際して画像処理部５２は、まず図４（ａ）に例示したような処理対象画像２００における各々のブロック領域２００ａを順に注目ブロック（処理対象）として設定し、設定した注目ブロックについて後述するステップＳ１〜Ｓ１０に示した一連の処理を行う。
【００５６】
すなわち画像処理部５２は、前記基準ゲイン演算部１０３において、ＨＳＶ変換部１０２から供給された注目ブロックの平均Ｖ値（Ｖ_ａｖ）をパラメータとして、既説した所定のゲイン関数を用いて注目ブロックの基準ゲイン（Ｇ_ｌｅｖ）を算出する（ステップＳ１）。
【００５７】
また、画像処理部５２は、前記色強度判定部１０４において、ＨＳＶ変換部１０２で取得した注目ブロックの成分別平均値（Ｈ_ａｖ，Ｓ_ａｖ，Ｖ_ａｖ）に基づいて色強度判定処理を行う（ステップＳ２）。
【００５８】
色強度判定処理において画像処理部５２は、図８に示したように、注目ブロックの平均色相値（Ｈ_ａｖ）を確認した後（ステップＳＡ１）、確認した平均色相値（Ｈ_ａｖ）に応じて以下の処理を行う。
【００５９】
すなわち画像処理部５２は、平均色相値（Ｈ_ａｖ）が０以上、６０未満の範囲内であれば（「０≦Ｈ_ａｖ＜６０」）、注目ブロックの色を肌色と判定し（ステップＳＡ２）、肌色強度判定処理を行った後（ステップＳＡ３）、図７の処理へ戻る。また、画像処理部５２は、平均色相値（Ｈ_ａｖ）が６０以上、１９０未満の範囲内であれば（「６０≦Ｈ_ａｖ＜１９０」）、注目ブロックの色を緑色と判定し（ステップＳＡ４）、緑色強度判定処理を行った後（ステップＳＡ５）、図７の処理へ戻る。また、画像処理部５２は、平均色相値（Ｈ_ａｖ）が１９０以上、２７０未満の範囲内であれば（「１９０≦Ｈ_ａｖ＜２７０」）、注目ブロックの色を青色と判定し（ステップＳＡ６）、青色強度判定処理を行った後（ステップＳＡ７）、図７の処理へ戻る。さらに、画像処理部５２は、平均色相値（Ｈ_ａｖ）が２７０以上、３５９以下の範囲内であれば（「２７０≦Ｈ_ａｖ≦３５９」）、注目ブロックの色を非注目色と判定した後（ステップＳＡ８）、図７の処理へ戻る。
【００６０】
なお、上述したステップＳＡ１，ＳＡ２，ＳＡ４，ＳＡ６，ＳＡ８の各処理は色強度判定部１０４の色判定部１１１によって行われ、また、上述したステップＳＡ３，ＳＡ５，ＳＡ７の各処理は色強度判定部１０４の強度判定部１１１によって行われる。
【００６１】
一方、図８に示したステップＳＡ３の肌色強度判定処理において画像処理部５２は、図９に示したように、まず肌色強度を「０」に設定した後（ステップＳＡ１０１）、平均色相値（Ｈ_ａｖ）が５０未満でなければ（ステップＳＡ１０２：ＮＯ）、直ちに図８に示した処理へ戻る。また、画像処理部５２は、平均色相値（Ｈ_ａｖ）が５０未満であれば（ステップＳＡ１０２：ＹＥＳ）、肌色強度を１つ増加し（ステップＳＡ１０３）、さらに平均色相値（Ｈ_ａｖ）が５を超え４０未満であれば（ステップＳＡ１０４：ＹＥＳ）、肌色強度をさらに１つ増加する（ステップＳＡ１０５）。
【００６２】
引き続き、画像処理部５２は、注目ブロックの平均明度値（Ｖ_ａｖ）が１２７未満であれば（ステップＳＡ１０６：ＹＥＳ）、肌色強度をさらに２つ増加した後（ステップＳＡ１０７）、図８に示した処理へ戻る。また、画像処理部５２は、平均明度値（Ｖ_ａｖ）が１２７未満でない場合にあっては（ステップＳＡ１０６：ＮＯ）、平均明度値（Ｖ_ａｖ）が１２７以上、１９２未満の範囲内であるか否かを引き続き確認する（ステップＳＡ１０８）。そして、画像処理部５２は、平均明度値（Ｖ_ａｖ）が１２７以上、１９２未満の範囲内であれば（ステップＳＡ１０８：ＹＥＳ）、肌色強度をさらに１つ増加した後（ステップＳＡ１０９）、図８の処理へ戻り、逆に平均明度値（Ｖ_ａｖ）が１２７以上、１９２未満の範囲内でなければ（ステップＳＡ１０８：ＮＯ）、係る段階で図８の処理へ戻る。
【００６３】
つまり肌色強度判定処理において画像処理部５２は、平均色相値（Ｈ_ａｖ）と平均明度値（Ｖ_ａｖ）とに基づいて注目ブロックの肌色強度が「０〜４」の５段階のいずれの強度に該当するのかを判定する。
【００６４】
また、図８に示したステップＳＡ４の緑色強度判定処理において画像処理部５２は、図１０に示したように、まず緑色強度を「１」に設定した後（ステップＳＡ２０１）、平均色相値（Ｈ_ａｖ）が６０を超え、１９０未満の範囲内でなければ（ステップＳＡ２０２：ＮＯ）、直ちに図８に示した処理へ戻る。また、画像処理部５２は、平均色相値（Ｈ_ａｖ）が６０を超え、１９０未満の範囲内であれば（ステップＳＡ２０２：ＹＥＳ）、緑色強度を１つ増加し（ステップＳＡ２０３）、さらに平均色相値（Ｈ_ａｖ）が７０を超え、１８０未満の範囲内であれば（ステップＳＡ２０４：ＹＥＳ）、緑色強度をさらに１つ増加する（ステップＳＡ２０５）。
【００６５】
引き続き、画像処理部５２は、注目ブロックの平均彩度値（Ｓ_ａｖ）が６３を超えていれば（ステップＳＡ２０６：ＹＥＳ）、緑色強度をさらに２つ増加した後（ステップＳＡ２０７）、図８の処理へ戻る。また、画像処理部５２は、平均彩度値（Ｓ_ａｖ）が６３を超えていない場合にあっては（ステップＳＡ２０６：ＮＯ）、平均彩度値（Ｓ_ａｖ）が３１を超え、６３以下の範囲内であるか否かを引き続き確認する（ステップＳＡ２０８）。そして、画像処理部５２は、平均彩度値（Ｓ_ａｖ）が３１を超え、６３以下の範囲内であれば（ステップＳＡ２０８：ＹＥＳ）、緑色強度をさらに１つ増加した後（ステップＳＡ２０９）、図８の処理へ戻り、逆に平均彩度値（Ｓ_ａｖ）が３１を超え、６３以下の範囲内でなければ（ステップＳＡ２０８：ＮＯ）、係る段階で図８の処理へ戻る。
【００６６】
つまり緑色強度判定処理において画像処理部５２は、平均色相値（Ｈ_ａｖ）と平均彩度値（Ｓ_ａｖ）とに基づいて注目ブロックの緑色強度が「０〜４」の５段階のいずれの強度に該当するのかを判定する。
【００６７】
また、図８に示したステップＳＡ４の青色強度判定処理において画像処理部５２は、図１１に示したように、まず青色強度を「０」に設定した後（ステップＳＡ３０１）、注目ブロックの平均色相値（Ｈ_ａｖ）が１９０を超え、２７０未満の範囲内でなければ（ステップＳＡ３０２：ＮＯ）、直ちに図８に示した処理へ戻る。また、画像処理部５２は、平均色相値（Ｈ_ａｖ）が１９０を超え、２７０未満の範囲内であれば（ステップＳＡ３０２：ＹＥＳ）、青色強度を１つ増加した後（ステップＳＡ３０３）、注目ブロックの平均明度値（Ｖ_ａｖ）が１２７を超えていなければ（ステップＳＡ３０４：ＮＯ）、係る段階で図８の処理へ戻る。
【００６８】
また、画像処理部５２は、注目ブロックの平均明度値（Ｖ_ａｖ）が１２７を超えて居る場合にあって（ステップＳＡ３０４：ＹＥＳ）、引き続き、平均色相値（Ｈ_ａｖ）が２００を超え、２６０未満の範囲内であれば（ステップＳＡ３０５：ＹＥＳ）、青色強度をさらに１つ増加する（ステップＳＡ３０６）。さらに、画像処理部５２は、注目ブロックの平均彩度値（Ｓ_ａｖ）が９５を超えていれば（ステップＳＡ３０７：ＹＥＳ）、青色強度をさらに２つ増加した後（ステップＳＡ３０８）、図８の処理へ戻る。
【００６９】
また、画像処理部５２は、平均彩度値（Ｓ_ａｖ）が９５を超えていない場合にあっては（ステップＳＡ３０７：ＮＯ）、平均彩度値（Ｓ_ａｖ）が６３を超え、９５以下の範囲内であるか否かを引き続き確認する（ステップＳＡ３０９）。そして、画像処理部５２は、平均彩度値（Ｓ_ａｖ）が６３を超え、９５以下の範囲内であれば（ステップＳＡ３０９：ＹＥＳ）、青色強度をさらに１つ増加した後（ステップＳＡ３０１０）、図８の処理へ戻り、逆に平均彩度値（Ｓ_ａｖ）が６３を超え、９５以下の範囲内でなければ（ステップＳＡ３０９：ＮＯ）、係る段階で図８の処理へ戻る。
【００７０】
つまり青色強度判定処理において画像処理部５２は、平均色相値（Ｈ_ａｖ）と平均明度値（Ｖ_ａｖ）と平均彩度値（Ｓ_ａｖ）とに基づいて注目ブロックの青色強度が「０〜４」の５段階のいずれの強度に該当するのかを判定する。
【００７１】
また、画像処理部５２は、以上述べた肌色強度判定処理（図９）、緑色強度判定処理（図１０）、青色強度判定処理（図１１）を含む図７の色強度判定処理を行った後には図７に示した処理に戻り、引き続き、前記基準ゲイン補正部１２１においてステップＳ３〜Ｓ７の各処理を行う。
【００７２】
すなわち画像処理部５２は、色強度判定処理で判定した注目ブロックの色が肌色であったときには（ステップＳ３：「肌色」）、肌色ゲイン補正処理を行う（ステップＳ４）。肌色ゲイン補正処理において画像処理部５２は、図１２に示したように、色強度判定処理で判定した肌色強度が０であれば（ステップＳＢ１０１：ＹＥＳ）、ステップＳ１で算出した基準ゲインを補正することなく、基準ゲインをそのまま最終的な注目ブロックのゲインとする（ステップＳＢ１０２）。
【００７３】
また、画像処理部５２は、色強度判定処理で判定した肌色強度が１であれば（ステップＳＢ１０１：ＮＯ、ＳＢ１０３：ＹＥＳ）、ステップＳ１で算出した基準ゲインに１．１を乗じることによって基準ゲインを補正し、補正後のゲインを最終的に注目ブロックのゲインとする（ステップＳＢ１０４）。また、画像処理部５２は、肌色強度が２であれば（ステップＳＢ１０３：ＮＯ、ステップＳＢ１０５：ＹＥＳ）、前記基準ゲインに１．２を乗じることによって基準ゲインを補正し、補正後のゲインを最終的に注目ブロックのゲインとする（ステップＳＢ１０６）。
【００７４】
また、画像処理部５２は、肌色強度が３であれば（ステップＳＢ１０５：ＮＯ、ステップＳＢ１０７：ＹＥＳ）、前記基準ゲインに１．３を乗じることによって基準ゲインを補正し、補正後のゲインを最終的に注目ブロックのゲインとする（ステップＳＢ１０８）。さらに、画像処理部５２は、肌色強度が４であれば（ステップＳＢ１０７：ＮＯ）、前記基準ゲインに１．４を乗じることによって基準ゲインを補正し、補正後のゲインを最終的に注目ブロックのゲインとする（ステップＳＢ１０９）。
【００７５】
つまり肌色ゲイン補正処理において画像処理部５２は、注目ブロックにおける肌色強度のレベルに応じた異なる補正係数を用いてステップＳ１で算出した基準ゲインを補正する。また、基準ゲインの補正に際して画像処理部５２は、基準ゲインに乗じる補正係数を肌色強度のレベルに比例して大きくすることにより、注目ブロックの全体的な色調が肌色に近いときほど基準ゲインを増大させる補正を行う。
【００７６】
また、画像処理部５２は、図７に示したように、注目ブロックの色が緑色であれば（ステップＳ３：「緑色」）、緑色ゲイン補正処理を行う（ステップＳ５）。緑色ゲイン補正処理において画像処理部５２は、図１３に示したように、色強度判定処理で判定した緑色強度が０であれば（ステップＳＢ２０１：ＹＥＳ）、ステップＳ１で算出した基準ゲインを補正することなく、基準ゲインをそのまま最終的な注目ブロックのゲインとする（ステップＳＢ２０２）。
【００７７】
また、画像処理部５２は、色強度判定処理で判定した緑色強度が１であれば（ステップＳＢ２０１：ＮＯ、ステップＳＢ２０３：ＹＥＳ）、ステップＳ１で算出した基準ゲインに０．９を乗じることによって基準ゲインを補正し、補正後のゲインを最終的に注目ブロックのゲインとする（ステップＳＢ２０４）。また、画像処理部５２は、緑色強度が２であれば（ステップＳＢ２０３：ＮＯ、ステップＳＢ２０５：ＹＥＳ）、前記基準ゲインに０．８を乗じることによって基準ゲインを補正し、補正後のゲインを最終的に注目ブロックのゲインとする（ステップＳＢ２０６）。
【００７８】
また、画像処理部５２は、緑色強度が３であれば（ステップＳＢ２０５：ＮＯ、ステップＳＢ２０７：ＹＥＳ）、前記基準ゲインに０．７を乗じることによって基準ゲインを補正し、補正後のゲインを最終的に注目ブロックのゲインとする（ステップＳＢ２０８）。さらに、画像処理部５２は、緑色強度が４であれば（ステップＳＢ２０７：ＮＯ）、前記基準ゲインに０．６を乗じることによって基準ゲインを補正し、補正後のゲインを最終的に注目ブロックのゲインとする（ステップＳＢ２０９）。
【００７９】
つまり緑色ゲイン補正処理において画像処理部５２は、注目ブロックにおける緑色強度のレベルに応じた異なる補正係数を用いてステップＳ１で算出した基準ゲインを補正する。但し、緑色ゲイン補正処理において画像処理部５２は、肌色ゲイン補正処理の場合とは異なり、基準ゲインに乗じる補正係数を緑色強度のレベルに比例して小さくすることにより、注目ブロックの全体的な色調が緑色に近いときほど基準ゲインを減少させる補正を行う。
【００８０】
また、画像処理部５２は、図７に示したように、注目ブロックの色が青色であれば（ステップＳ３：「青色」）、青色ゲイン補正処理を行う（ステップＳ６）。青色ゲイン補正処理において画像処理部５２は、図１４に示したように、色強度判定処理で判定した青色強度が０であれば（ステップＳＢ３０１：ＹＥＳ）、ステップＳ１で算出した基準ゲインを補正することなく、基準ゲインをそのまま最終的な注目ブロックのゲインとする（ステップＳＢ３０２）。
【００８１】
また、画像処理部５２は、色強度判定処理で判定した青色強度が１であれば（ステップＳＢ３０１：ＮＯ、ステップＳＢ３０３：ＹＥＳ）、ステップＳ１で算出した基準ゲインを乗じることによって基準ゲインを補正し、補正後のゲインを最終的に注目ブロックのゲインとする（ステップＳＢ３０４）。また、画像処理部５２は、青色強度が２であれば（ステップＳＢ３０３：ＮＯ、ステップＳＢ３０５：ＹＥＳ）、前記基準ゲインに０．８を乗じることによって基準ゲインを補正し、補正後のゲインを最終的に注目ブロックのゲインとする（ステップＳＢ３０６）。
【００８２】
また、画像処理部５２は、青色強度が３であれば（ステップＳＢ３０５：ＮＯ、ステップＳＢ３０７：ＹＥＳ）、前記基準ゲインに０．７を乗じることによって基準ゲインを補正し、補正後のゲインを最終的に注目ブロックのゲインとする（ステップＳＢ３０８）。さらに、画像処理部５２は、青色強度が４であれば（ステップＳＢ３０７：ＮＯ）、前記基準ゲインに０．６を乗じることによって基準ゲインを補正し、補正後のゲインを最終的に注目ブロックのゲインとする（ステップＳＢ３０９）。
【００８３】
つまり青色ゲイン補正処理において画像処理部５２は、注目ブロックにおける青色強度のレベルに応じた異なる補正係数を用いてステップＳ１で算出した基準ゲインを補正する。また、青色ゲイン補正処理においても画像処理部５２は、緑色ゲイン補正処理の場合と同様、基準ゲインに乗じる補正係数を青色強度のレベルに比例して小さくすることにより、注目ブロックの全体的な色調が緑色に近いときほど基準ゲインを減少させる補正を行う。
【００８４】
また、画像処理部５２は、図７に示したように、ステップＳ３で確認した注目ブロックの色が非注目色であったときには（ステップＳ３：「非注目色」）、ステップＳ１で算出した基準ゲインを、そのまま注目ブロックの最終的なゲインとして決定する（ステップＳ７）。
【００８５】
その後、画像処理部５２は、前記ゲイン演算部１２２において以下の処理を行う。まずステップＳ３〜Ｓ７の処理により注目ブロックの色に応じて算出、または決定したゲインを注目ブロックの代表ゲインとして設定する（ステップＳ８）。引き続き、画像処理部５２は、未だ代表ゲイン設定していないブロック領域があれば（ステップＳ９：ＹＥＳ）、注目ブロックを他のブロック領域に変更した後（ステップＳ１０）、ステップＳ１の処理へ戻り、上述した全ての処理を繰り返し行う。
【００８６】
さらに、画像処理部５２は、処理対象画像の全てのブロック領域に代表ゲインを設定した後には（ステップＳ９：ＮＯ）、各々のブロック領域の中心画素の補正用ゲイン（Ｇ_ｌｅｖ（ｘ，ｙ））として各ブロック領域の代表ゲインを設定した後（ステップＳ１１）、中心画素以外の画素（非中心画素）の補正用ゲイン（Ｇ_ｌｅｖ（ｘ，ｙ））として、前述した方法により演算したゲインを設定する（ステップＳ１２）。
【００８７】
以上のように前記画像処理部５２による階調補正処理では、画像処理部５２が、処理対象画像を複数に分割したブロック領域毎に、処理対象画像の各画素の明るさの補正基準となる基準ゲイン（Ｇ_ｌｅｖ）を取得し、処理対象画像の各画素に、各画素が対応するブロック領域の基準ゲインに基づいた補正用ゲイン（Ｇ_ｌｅｖ（ｘ，ｙ））を個別に設定し、設定した補正用ゲインに従い各画素の明るさを補正することによって処理対象画像の階調を補正する。
【００８８】
また、画像処理部５２は、各ブロック領域の基準ゲインを各ブロック領域の平均明度値（Ｖ_ａｖ）をパラメータとする前述したゲイン関数によって演算することにより、基準ゲインとして、基本的には各ブロック領域の平均明度値が低いほど高い値を取得し、かつ平均明度値が高いほど低い値を取得する。
【００８９】
このため、前記階調補正処理においては、処理対象画像内の暗い領域の明るさを持ち上げることができる。したがって、前記デジタルカメラ１においては、例えば逆光下で人物の顔を撮影したときであっても、人物の顔に良好な明るさが確保された画像を得ることができる。
【００９０】
一方、前記階調補正処理において画像処理部５２は、処理対象画像の各画素に補正用ゲインを個別に設定するとき、各ブロック領域の基準ゲインを各ブロック領域の色強度（全体的な色調が注目色である肌色、緑色、青色のいずれかに近似する度合）に応じていったん補正し、補正後の基準ゲインに基づいて各画素に補正用ゲインを設定する。つまり画像処理部５２は、各画素の補正用ゲインとして各画素が対応するブロック領域の色強度に応じた補正用ゲインを設定する。
【００９１】
そして、画像処理部５２は、各ブロック領域の基準ゲインを色強度に応じて補正する際、注目ブロックの全体的な色調が肌色に該当するときには、注目ブロックの色強度のレベルに比例して基準ゲインを増大させ、注目ブロックの全体的な色調が緑色又は青色に該当するときには、注目ブロックの色強度のレベルに比例して基準ゲインを減少させる。
【００９２】
このため、前記階調補正処理においては、例えば処理対象画像に人物が含まれている場合には、人物の肌に相当する領域を明るくすることにより、処理対象画像における人物の肌の色を明るい肌色に補正することができる。また、前記階調補正処理においては、例えば処理対象画像に木の葉が含まれている場合には、木の葉に相当する領域を暗くすることにより、処理対象画像における木の葉の色を濃い緑色に補正することができる。また、前記階調補正処理においては、例えば処理対象画像に空が含まれている場合には、空に相当する領域を暗くすることにより、処理対象画像における空の色を濃い青色に補正することができる。
【００９３】
つまり、前記階調補正処理においては、処理対象画像の暗い部分を単に明るくするだけでなく、階調補正後の画像に多くのユーザの好みに対応した色毎の適切な明るさを確保することができる。したがって、前記デジタルカメラ１においては多くのユーザの好みに応じた画像を得ることができる。
【００９４】
また、前記階調補正処理においては、処理対象をデモザイク処理により生成したＲＧＢデータとして、各画素の色成分値（Ｒ値、Ｇ値、Ｂ値）を、各画素に設定した補正用ゲインに従い個別に補正することによって各画素の明るさを補正するようにしたことから、以下の効果を得ることができる。すなわち、前記階調補正処理においては、前述したように注目ブロックの全体的な色調が肌色に該当するとき、注目ブロックの色強度のレベルに比例して基準ゲインを増大させることによって画素の色成分値、つまり複数の色信号の強度をそれぞれ大きくするため、階調補正後の画像においては人物の肌に相当する領域の彩度を大きくすることができる。したがって、階調補正後の画像として、人物の肌が鮮やかに表現された、多くのユーザの好みに応じたより良好な画像を得ることができる。
【００９５】
係る効果が得られる理由は、各画素の彩度Ｓが色成分値（Ｒ値、Ｇ値、Ｂ値）において最大となる色成分の値（ＭＡＸ）と最小となる色成分の値（ＭＩＮ）との差に比例するためである（Ｓ＝（ＭＡＸ−ＭＩＮ）／ＭＡＸ）。すなわち、仮に階調補正処理の処理対象をＹＵＶ変換処理のＹＵＶデータとし、各画素の輝度成分値（Ｙ値）に補正用ゲインを乗じることにより輝度を大きくしたとしても、階調補正後の画像においては全体的な色調が肌色のブロック領域の彩度は大きくならない。これは、輝度成分値（Ｙ値）の増減が彩度の増減に影響を与えないためである。
【００９６】
また、前記階調補正処理においては、各ブロック領域における注目色（肌色、緑色、青色のいずれか）に対する色強度を複数段階に分けて判定するようにした。このため、補正後の画像における隣接するブロック領域間における明るさの変化を滑らかな変化とすることができる。したがって、階調補正後の画像としてより自然な画像を得ることができる。
【００９７】
また、前記階調補正処理においては、各ブロック領域の中心画素の補正用ゲインを各ブロック領域の代表ゲインとするとともに、各ブロック領域の非中心画素（中心画素以外の画素）の補正用ゲインを、基本的には非中心画素に隣接する複数（最大で４画素）の中心画素の補正用ゲインから補間によって取得するようにした。係る方法により非中心画素の補正用ゲインを取得することによっても、補正後の画像における隣接するブロック領域間における明るさの変化を滑らかな変化とすることができる。したがって、階調補正後の画像としてより一層自然な画像を得ることができる。
【００９８】
ここで、本実施形態においては、注目色を肌色と緑色と青色との３色としたが、注目色は肌色と緑色と青色以外の他の色であってもよい。また、注目色は必ずしも複数である必要はなく１色であってもよく、注目色を１色とする場合であっても、必要に応じて任意の色を使用することができる。
【００９９】
また、本実施形態においては、処理対象画像のＲＧＢデータをＨＳＶデータに変換するとともに、ＨＳＶデータの各成分（Ｈ，Ｓ，Ｖ）に基づいて、各ブロック領域の全体的な色調がいずれの注目色に該当するか否かの判定、及び各ブロック領域における注目色に対する色強度の判定を行うようにした。しかしながら、注目色や色強度の判定は、ＨＳＶデータに限らず、例えばＲＧＢデータの各成分（Ｒ，Ｇ，Ｂ）に基づいて行うようにしても構わない。
【０１００】
また、本実施形態で説明した、各ブロック領域の全体的な色調が注目色（肌色、緑色、青色のいずれか）に該当するか否かを判定する際の色判定基準や、各ブロック領域における注目色に対する色強度を判定する際の強度判定基準は一例に過ぎず、具体的な色判定基準や強度判定基準については必要に応じて変更することができる。
【０１０１】
また、本実施形態においては、本発明を処理対象画像内の暗い領域の明るさを持ち上げることを基本とした階調補正処理に適用した場合について説明した。しかしながら、本発明は、処理対象画像に多くのユーザの好みに対応した色毎の適切な明るさを確保することのみを目的とした画像処理にも適用することができる。
【０１０２】
つまり本発明においては図３の機能ブロック図に示した基準ゲイン演算部１０３は必須の構成ではなく、本発明の実施に際しては基準ゲイン演算部１０３を廃止することができる。そして、基準ゲイン演算部１０３を廃止する場合においては、例えば予め各ブロック領域の基準ゲイン（Ｇ_ｌｅｖ）を「１倍」に固定しておき、図３の基準ゲイン補正部１２１には、本実施形態の同一の処理を行わせればよい。
【０１０３】
また、ここでは本発明の実施形態として本発明の画像処理装置を含むデジタルカメラ１について説明したが、本発明は、デジタルカメラ１以外にも、例えば動画像の記録が可能な構成を備えた他の撮像装置にも適用することができる。本発明が適用可能な撮像装置には、前述したＣＣＤ以外にも、例えばＭＯＳ（Complementary Meta1 0xide Semiconductor）型の固体撮像素子を備えたデジタルカメラや、静止画像以外にも動画像を撮影することができるデジタルカメラ、さらには動画像の撮影を主たる機能とするデジタルビデオカメラ等の種々の撮像装置が含まれる。
【０１０４】
また、本発明は、撮像装置に限らず任意の記憶媒体に画像データとして記憶されている画像を処理対象として画像処理を行う構成を有するものであれば任意の画像処理装置にも適用することができる。任意の画像処理装置には、例えば画像データに基づく画像を印刷するプリンタも含まれる。
【０１０５】
そして、本発明を任意の画像処理装置に適用する場合、図２に示した画像処理部５２はＡＳＩＣ（Application Specified Integrated Circuit）、又は任意のコンピュータのＣＰＵと、メモリ、メモリにロードされたプログラム等によっても実現することができる。
【符号の説明】
【０１０６】
１    デジタルカメラ
２    ＣＣＤ
６    ＤＳＰ
９    ＣＰＵ
１０    フラッシュメモリ
１１    外部メモリ
５１    撮像部
５２    画像処理部
５３    制御部
１０１    画像バッファ
１０２    ＨＳＶ変換部
１０３    基準ゲイン演算部
１０４    色強度判定部
１０５    ゲイン設定部
１０６    階調補正部
１１１    色判定部
１１２    強度判定部
１１２ａ    肌色強度判定部
１１２ｂ    緑色強度判定部
１１２ｂ    青色強度判定部
１１２ｃ    青色強度判定部
１２１    基準ゲイン補正部
１２２    ゲイン演算部
２００    処理対象画像
２００ａ    ブロック領域
【図１】
2010272996.tif 000003
【図２】
2010272996.tif 000004
【図３】
2010272996.tif 000005
【図４】
2010272996.tif 000006
【図５】
2010272996.tif 000007
【図６】
2010272996.tif 000008
【図７】
2010272996.tif 000009
【図８】
2010272996.tif 000010
【図９】
2010272996.tif 000011
【図１０】
2010272996.tif 000012
【図１１】
2010272996.tif 000013
【図１２】
2010272996.tif 000014
【図１３】
2010272996.tif 000015
【図１４】
2010272996.tif 000016