(57)【要約】【課題】入力画像に対して誤った補正が行われるのを防止可能にすることを課題とする。【解決手段】反射補正処理部（２０２）は、入力画像の中で高輝度の処理対象画素の周辺領域から少なくとも色情報を抽出し、高輝度の処理対象画素に対して輝度を下げると共に所定の色信号比率に近づくように補正を行う。このとき、反射補正処理部（２０２）は、周辺領域から抽出された色情報に基づく色信号比率が所定の色信号比率に近い場合には、処理対象画素に対する補正の強度を強くする。【選択図】図２
2018041380.tif 000002
【特許請求の範囲】
【請求項１】
入力画像の中の高輝度の処理対象画素に対して、輝度を下げると共に所定の色信号比率に近づくように補正を行う補正処理手段と、
前記入力画像の中で前記処理対象画素の周辺領域から少なくとも色情報を抽出する抽出手段と、を有し、
前記補正処理手段は、前記周辺領域から抽出された色情報に基づく色信号比率が前記所定の色信号比率に近い場合には、前記処理対象画素に対する前記補正の強度を強くすることを特徴とする画像処理装置。
【請求項２】
前記抽出手段は、前記処理対象画素の輝度に基づいて、前記周辺領域を変更することを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記抽出手段は、前記処理対象画素の輝度が高くなるほど、前記周辺領域をより広範囲の領域にすることを特徴とする請求項２に記載の画像処理装置。
【請求項４】
前記抽出手段は、大きさが異なる二つ以上の複数の周辺領域から前記色情報を抽出することを特徴とする請求項１乃至３の何れか１項に記載の画像処理装置。
【請求項５】
前記抽出手段は、前記処理対象画素の輝度に基づき、前記複数の周辺領域から抽出した前記色情報に重みを付けて加算した色補正重みの情報を生成し、
前記補正処理手段は、前記色補正重みの情報を基に、前記処理対象画素に対する前記補正を行うことを特徴とする請求項４に記載の画像処理装置。
【請求項６】
前記抽出手段は、前記複数の周辺領域から抽出した色情報と参照色との間の色の相違を表す色距離とに基づいて、前記複数の周辺領域ごとの色重みの情報を求め、前記複数の周辺領域ごとの色重みの情報を、前記処理対象画素の輝度を基に加算して前記色補正重みの情報を生成することを特徴とする請求項５に記載の画像処理装置。
【請求項７】
前記補正処理手段は、
前記処理対象画素の輝度に基づく輝度補正重みを、前記色補正重みに乗算して、前記処理対象画素に対する補正信号を生成し、
前記処理対象画素の色信号から前記補正信号を減算することで前記補正を行うことを特徴とする請求項５又は６に記載の画像処理装置。
【請求項８】
前記補正処理手段は、前記入力画像の輝度信号から、前記入力画像の輝度信号にローパスフィルタ処理を施した輝度信号を減算して前記輝度補正重みを算出することを特徴とする請求項７に記載の画像処理装置。
【請求項９】
前記抽出手段は、前記処理対象画素とは画素の特徴が異なる画素からなる領域を、前記周辺領域に設定することを特徴とする請求項１乃至８の何れか１項に記載の画像処理装置。
【請求項１０】
前記抽出手段は、前記処理対象画素とは輝度、色、法線のうち一つ以上の画素の特徴が異なる画素からなる領域を、前記周辺領域として設定することを特徴とする請求項９に記載の画像処理装置。
【請求項１１】
前記抽出手段は、前記処理対象画素とは輝度が異なる画素からなる領域を周辺領域に設定する場合には、前記処理対象画素の輝度より低い輝度の画素からなる領域を、前記周辺領域とすることを特徴とする請求項１０に記載の画像処理装置。
【請求項１２】
前記抽出手段は、前記処理対象画素とは色が異なる画素からなる領域を周辺領域に設定する場合には、前記処理対象画素の彩度より高い彩度を有する画素からなる領域を、前記周辺領域とすることを特徴とする請求項１０に記載の画像処理装置。
【請求項１３】
前記抽出手段は、前記処理対象画素とは法線が異なる画素からなる領域を周辺領域に設定する場合には、前記処理対象画素とは法線の方向が所定の角度以上異なる画素からなる領域を、前記周辺領域とすることを特徴とする請求項１０に記載の画像処理装置。
【請求項１４】
前記入力画像から特定の被写体領域を検出する検出手段を有し、
前記補正処理手段は、前記特定の被写体領域の中の前記処理対象画素に対する前記補正を行い、
前記抽出手段は、前記特定の被写体領域の中に前記周辺領域を設定することを特徴とする請求項１乃至１３の何れか１項に記載の画像処理装置。
【請求項１５】
前記抽出手段は、前記特定の被写体領域の大きさに基づいて、前記周辺領域の範囲を変更することを特徴とする請求項１４に記載の画像処理装置。
【請求項１６】
被写体距離を検出する測距手段を有し、
前記抽出手段は、前記周辺領域のうち、前記処理対象画素の被写体距離に対して所定の閾値距離以内の領域から前記色情報を抽出することを特徴とする請求項１乃至１５の何れか１項に記載の画像処理装置。
【請求項１７】
前記補正処理手段は、近傍の画素の輝度に対して高輝度の画素を、前記処理対象画素とすることを特徴とする請求項１乃至１６の何れか１項に記載の画像処理装置。
【請求項１８】
前記所定の色信号比率は、肌色を表す色信号比率であることを特徴とする請求項１乃至１７の何れか１項に記載の画像処理装置。
【請求項１９】
入力画像の中で処理対象画素の周辺領域から少なくとも色情報を抽出する抽出工程と、
前記入力画像の中の高輝度の処理対象画素に対して、輝度を下げると共に所定の色信号比率に近づくように補正を行う補正処理工程と、を有し、
前記補正処理工程では、前記周辺領域から抽出された色情報に基づく色信号比率が前記所定の色信号比率に近い場合には、前記処理対象画素に対する前記補正の強度を強くすることを特徴とする画像処理装置の画像処理方法。
【請求項２０】
コンピュータを、請求項１乃至１８の何れか１項に記載の画像処理装置の各手段として機能させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像を処理する画像処理装置、画像処理方法、及びプログラムに関する。
【背景技術】
【０００２】
従来、撮影画像内の被写体領域の中に高輝度の飽和領域がある場合、その高輝度の飽和領域に対して補正を行う技術が知られている。この技術によれば、被写体としての人物の顔等に環境光等が反射して生じたいわゆるテカリなどの高輝度の飽和領域の補正が行われて、好ましい画像を得ることが可能となる。以下、テカリによる高輝度の飽和領域をテカリ領域と呼ぶ。また例えば特許文献１には、入力画像の低周波成分を利用することで、テカリなどの反射成分を検出して補正する技術が開示されている。特許文献１に記載の技術では、具体的には入力画像の低周波成分を求め、入力画像と低周波成分との差分から、被写体の顔等の反射成分を算出し、その算出した反射成分の面積が所望のサイズ（大きさ）に近くなるように補正する。これにより、顔等に生じたテカリなどの反射成分を強調又は低減させるなどの制御が可能となり、顔等の画像の質感が調整可能となる。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特許第５８６７３９０号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
特許文献１に記載の技術では、入力画像とその低周波成分との差分のみに基づいて反射成分を抽出している。しかしながら、この場合、例えば顔の目（白目とその周辺の領域など）のように明るさが急峻に変化する領域まで検出されてしまい、補正の必要がない領域まで誤って補正されてしまうという問題が生ずる虞がある。
【０００５】
そこで、本発明は、入力画像に対して誤った補正が行われるのを防止可能にすることを目的とする。
【課題を解決するための手段】
【０００６】
本発明は、入力画像の中の高輝度の処理対象画素に対して、輝度を下げると共に所定の色信号比率に近づくように補正を行う補正処理手段と、前記入力画像の中で前記処理対象画素の周辺領域から少なくとも色情報を抽出する抽出手段と、を有し、前記補正処理手段は、前記周辺領域から抽出された色情報に基づく色信号比率が前記所定の色信号比率に近い場合には、前記処理対象画素に対する前記補正の強度を強くすることを特徴とする。
【発明の効果】
【０００７】
本発明によれば、入力画像に対して誤った補正が行われるのを防止可能となる。
【図面の簡単な説明】
【０００８】
【図１】本実施形態のデジタルカメラの概略構成例を示す図である。
【図２】画像処理部の概略構成例を示す図である。
【図３】入力画像のブロック分割例を示す図である。
【図４】反射補正処理部の概略構成例を示す図である。
【図５】入力画像の輝度と輝度重みの説明に用いる図である。
【図６】周辺領域の抽出例を示す図である。
【図７】肌色重みの算出例の説明に用いる図である。
【図８】反射領域補正処理のパラメータ決定処理を示すフローチャートである。
【図９】画素の特徴に基づく周辺領域の設定例の説明に用いる図である。
【発明を実施するための形態】
【０００９】
以下、本発明の一実施形態を、添付の図面に基づいて詳細に説明する。本実施形態の画像処理装置は、デジタルカメラやデジタルビデオカメラ、カメラ機能を備えたスマートフォンやタブレット端末等の各種携帯端末、工業用カメラ、車載カメラ、医療用カメラ等に適用可能である。本実施形態では、画像処理装置の一適用例として、デジタルカメラを例に挙げて説明する。本実施形態のデジタルカメラは、撮像した画像のうち、環境光等の光が被写体の表面で反射して白く写ってしまった高輝度の飽和領域を補正する機能を有する。本実施形態では、例えば人物の顔のような特定の被写体領域の中で、高輝度の飽和領域（テカリ領域）の輝度を下げると共に顔の肌色の色信号比率に近づくような補正処理（テカリ補正処理）を行う例に挙げて説明する。
【００１０】
＜デジタルカメラの概略構成及び被写体撮影時の概略的な処理の流れ＞
図１は、本実施形態のデジタルカメラ１００の概略構成例を示すブロック図である。
図１において、レンズ群１０１は、ズームレンズ、フォーカスレンズを含む。シャッタ部１０２は、絞りとシャッタを有している。撮像部１０３は、レンズ群１０１により撮像面上に結像された光学像を電気信号（アナログ画像信号）に変換するＣＣＤやＣＭＯＳ素子等を有して構成されている。撮像部１０３は、いわゆるベイヤー配列に対応した赤（Ｒ），緑（Ｇ），青（Ｂ）のカラーフィルタをも備えている。Ａ／Ｄ変換部１０４は、撮像部１０３から出力されたアナログ画像信号をデジタル画像信号（画像データ）に変換する。画像処理部１０５は、Ａ／Ｄ変換部１０４から出力された画像データに対し、ホワイトバランス処理や、ガンマ（γ）処理、輪郭強調、色補正処理等の各種画像処理を行う。メモリ制御部１０７は、画像メモリ１０６に対する画像データの書き込みや読み出しを制御する。Ｄ／Ａ変換部１０８は、入力された画像データ（デジタル画像信号）をアナログ画像信号に変換する。表示部１０９は例えば液晶ディスプレイ（ＬＣＤ）からなり、そのＬＣＤの画面に画像等を表示する。コーデック部１１０は、画像データを圧縮符号化し、また、圧縮符号化されたデータを伸張復号化する。Ｉ／Ｆ部１１１は、記録媒体１１２との間のインタフェース部である。記録媒体１１２はメモリカードやハードディスク等からなり、デジタルカメラ１００に着脱可能となされている。顔検出部１１３は、撮影画像の中から特定の被写体領域として例えば顔が写っている画像領域（顔領域）を検出する。システム制御部５０は、デジタルカメラ１００のシステム全体を制御する。操作部１２０は、ユーザからの各種の操作指示を入力するためのユーザインターフェース部である。不揮発性メモリ１２１は、ＥＥＰＲＯＭ等からなり、本実施形態に係るプログラムやパラメータ等を格納する。システムメモリ１２２は、システム制御部５０の動作用の定数、変数、不揮発性メモリ１２１から読み出したプログラム等を展開するためのメモリである。ストロボ１２３は、ストロボ光を発光する光源装置である。測距センサ１２４は、カメラから被写体までの間の被写体距離を検出し、画素単位の被写体距離情報を２次元の被写体距離マップ画像として出力するセンサである。
【００１１】
以下、図１に示した本実施形態のデジタルカメラ１００における被写体撮像時の基本的な処理の流れについて説明する。
撮像部１０３は、レンズ群１０１及びシャッタ部１０２を介して撮像面上に入射した光を光電変換し、アナログ画像信号としてＡ／Ｄ変換部１０４へ出力する。Ａ／Ｄ変換部１０４は、撮像部１０３から送られてきたアナログ画像信号を、デジタル画像信号（画像データ）に変換して画像処理部１０５やメモリ制御部１０７へ出力する。
【００１２】
画像処理部１０５には、Ａ／Ｄ変換部１０４から供給された画像データ、又は、メモリ制御部１０７から供給された画像データが、入力画像データとして供給される。画像処理部１０５は、入力画像データに対し、ホワイトバランス調整等の色変換処理、ガンマ処理、輪郭強調処理等の各種画像処理を行う。また本実施形態の場合、画像処理部１０５は、後述する高輝度の飽和領域（テカリ領域）に対する補正処理（テカリ補正処理）をも行う。なお、画像処理部１０５の詳細な説明は後述する。
【００１３】
また、画像処理部１０５は、顔検出部１１３による顔検出結果の情報（入力画像の中で顔領域を示す情報）や、撮像により得られた入力画像データ、測距センサ１２４にて生成された被写体距離マップ等を用いて、所定の評価値算出処理を行う。評価値算出結果の情報は、システム制御部５０に送られる。システム制御部５０は、評価値算出結果の情報に基づいて、例えば被写体の顔に対して露出を合わせる露光制御や顔にピントを合わせる測距制御等を行う。具体的には、システム制御部５０は、いわゆるＴＴＬ（スルー・ザ・レンズ）方式のＡＦ（オートフォーカス）処理、ＡＥ（自動露出）処理、ＡＷＢ（オートホワイトバランス）処理等を行う。露光制御や測距制御等を行う際に用いられる評価値とその算出処理については公知の様々な技術を用いることができ、ここではそれらの説明及び図示は省略する。
【００１４】
画像処理部１０５による画像処理が行われた後の画像データは、メモリ制御部１０７を介して画像メモリ１０６に書き込まれる。画像メモリ１０６は、撮像部１０３で撮像されてＡ／Ｄ変換部１０４から出力された画像データや、画像処理部１０５による画像処理後の画像信号、表示部１０９に表示するための画像データ等を一時的に格納する。
【００１５】
Ｄ／Ａ変換部１０８は、画像メモリ１０６に格納されている画像表示用のデータをアナログ信号に変換して表示部１０９に供給する。表示部１０９は、ＬＣＤ等の表示器上に、Ｄ／Ａ変換部１０８からのアナログ信号に応じた画像等を表示する。
【００１６】
コーデック部１１０は、画像メモリ１０６に一時的に格納された画像データを、いわゆるＪＰＥＧやＭＰＥＧ等の規格に基づいてそれぞれ圧縮符号化する。システム制御部５０は、コーデック部１１０で圧縮符号化された画像データを、Ｉ／Ｆ部１１１を介して記録媒体１１２に記録させる。
【００１７】
以上が、本実施形態のデジタルカメラ１００における被写体撮影時の基本動作である。上述した基本動作以外に、システム制御部５０は、前述した不揮発性メモリ１２１に格納されているプログラムを実行することにより、後述する本実施形態における高輝度の飽和領域の検出処理とテカリ補正処理を含む各種の処理を実現するための制御等を行う。ここでいうプログラムとは、本実施形態のデジタルカメラ１００において後述する各フローチャートの処理等を実行するためのプログラムのことである。またこの際、システム制御部５０の動作用の定数、変数、不揮発性メモリ１２１から読み出したプログラム等が、システムメモリ１２２に展開される。
【００１８】
＜画像処理部の概略構成＞
以下、画像処理部１０５の詳細について、図２を用いて説明する。図２は、画像処理部１０５の概略構成を示すブロック図である。なお、図２には画像処理部１０５による画像処理をハードウェア構成により実現する例を挙げているが、図２に示した各部の処理はＣＰＵ等がプログラムの実行により実現してもよい。
【００１９】
図２において、画像処理部１０５は、同時化処理部２００、ＷＢ増幅部２０１、反射補正処理部２０２、評価値生成処理部２０３、輝度・色信号生成部２０４を有する。さらに、画像処理部１０５は、輪郭強調処理部２０５、輝度ガンマ処理部２０６、色変換処理部２０７、色ガンマ処理部２０８、色差信号生成部２０９をも有する。
【００２０】
画像処理部１０５において、図１のＡ／Ｄ変換部１０４から供給された画像データは、同時化処理部２００に入力される。同時化処理部２００に入力された画像データは、いわゆるベイヤー配列に対応したＲ，Ｇ，Ｂのデータである。同時化処理部２００は、ベイヤー配列に対応した入力画像データに対して同時化処理を行い、Ｒ，Ｇ，Ｂの各色信号（以下、Ｒ，Ｇ，Ｂ信号と表記する。）を生成する。同時化処理部２００にて生成されたＲ，Ｇ，Ｂ信号は、ＷＢ増幅部２０１に送られる。
【００２１】
ＷＢ増幅部２０１は、システム制御部５０が算出するホワイトバランスゲイン値に基づき、Ｒ，Ｇ，Ｂ信号にゲインをかけてホワイトバランス調整処理を行う。ＷＢ増幅部２０１でホワイトバランスが調整されたＲ，Ｇ，Ｂ信号は、反射補正処理部２０２と評価値生成処理部２０３にそれぞれ送られる。
【００２２】
反射補正処理部２０２は、ホワイトバランス調整後の各画素のＲ，Ｇ，Ｂ信号からなる入力画像に対して後述するテカリ補正処理を行い、その補正後のＲ，Ｇ，Ｂ信号を輝度・色信号生成部２０４へ出力する。輝度・色信号生成部２０４は、各画素のＲ，Ｇ，Ｂ信号から輝度信号Ｙを生成し、その生成した輝度信号Ｙを輪郭強調処理部２０５へ出力し、また、Ｒ，Ｇ，Ｂ信号を色変換処理部２０７へ出力する。
【００２３】
輪郭強調処理部２０５は、輝度・色信号生成部２０４から供給された各画素の輝度信号Ｙからなる画像に対して輪郭強調処理を行い、その輪郭強調処理後の輝度信号Ｙを輝度ガンマ処理部２０６へ出力する。輝度ガンマ処理部２０６は、輪郭強調処理部２０５から供給された輝度信号Ｙに対してガンマ補正を行う。このガンマ補正後の輝度信号Ｙは、画像メモリ１０６に送られて一時的に記憶される。
【００２４】
色変換処理部２０７は、輝度・色信号生成部２０４から供給されたＲ，Ｇ，Ｂ信号に対してマトリクス演算などを行うことにより、所望のカラーバランスのＲ，Ｇ，Ｂ信号を生成して、色ガンマ処理部２０８へ出力する。色ガンマ処理部２０８は、色変換処理部２０７から供給されたＲ，Ｇ，Ｂ信号に対してガンマ補正を行って、色差信号生成部２０９へ出力する。色差信号生成部２０９は、色ガンマ処理部２０８にて色ガンマ処理がなされた後の各画素のＲ，Ｇ，Ｂ信号から、色差信号Ｒ−Ｙ，Ｂ−Ｙを生成する。それら各画素の色差信号Ｒ−Ｙ，Ｂ−Ｙは、画像メモリ１０６に送られて一時的に記憶される。
【００２５】
画像メモリ１０６に一時的に記憶された画像信号Ｙと色差信号Ｒ−Ｙ，Ｂ−Ｙからなる画像データは、システム制御部５０による制御の下、図１のコーデック部１１０に送られる。コーデック部１１０は、その画像データをＪＰＥＧやＭＰＥＧ等の所定の規格に基づいて圧縮符号化する。コーデック部１１０により圧縮符号化されたデータは、システム制御部５０による制御の下、Ｉ／Ｆ部１１１を介して記録媒体１１２に記録される。
【００２６】
また、評価値生成処理部２０３は、ＷＢ増幅部２０１から供給された各画素のＲ，Ｇ，Ｂ信号からなる入力画像を複数のブロック領域に分割し、ブロック単位で各画素のＲ，Ｇ，Ｂ信号から平均値（Ｒ，Ｇ，Ｂ平均値）を求める。このブロック単位のＲ，Ｇ，Ｂ平均値が評価値としてシステム制御部５０に送られる。本実施形態の場合、評価値生成処理部２０３にて生成されたブロック毎の評価値は、前述した露光制御等を行う際に用いられるだけでなく、後述するテカリ補正処理で使用されるパラメータを決定する際にも用いられる。図３（Ａ）、図３（Ｂ）は、入力画像３００を複数のブロック領域に分割した場合の一例を示す図である。図３（Ａ）、図３（Ｂ）の例では格子状の升目がそれぞれブロック領域を表している。図３（Ａ）、図３（Ｂ）に示した各ブロック領域の評価値は、顔検出部１１３における顔検出処理、反射補正処理部２０２におけるテカリ補正処理のためのパラメータ決定等にも用いられる。
【００２７】
＜反射補正処理部の詳細構成及び処理の詳細＞
図４は、反射補正処理部２０２の詳細な構成例を示す図である。以下、図４を用いて反射補正処理部２０２の構成及び動作について説明する。
反射補正処理部２０２は、輝度生成部４０１、ＬＰＦ処理部４０２、輝度補正重み生成部４０３、色差生成部４０４、広域周辺色抽出部４０５、狭域周辺色抽出部４０６、色補正重み生成部４０７を有する。さらにこれらに加え、反射補正処理部２０２は、乗算部４０８、反射補正信号生成部４０９、補正信号減算処理部４１０を有している。
【００２８】
輝度生成部４０１は、図２のＷＢ増幅部２０１にてホワイトバランスが調整された後の各画素のＲ，Ｇ，Ｂ信号から輝度信号Ｙを生成し、その輝度信号ＹをＬＰＦ処理部４０２及び輝度補正重み生成部４０３へ出力する。ＬＰＦ処理部４０２は、入力した輝度信号Ｙに対してローパスフィルタ処理（ＬＰＦ処理）を行い、そのＬＰＦ処理後の輝度信号Ｙ'を輝度補正重み生成部４０３へ出力する。図５（Ａ）は、輝度生成部４０１により生成された輝度信号Ｙからなる入力画像５０１の一例を示している。また、図５（Ｂ）は、図５（Ａ）の輝度信号Ｙの入力画像５０１に対してＬＰＦ処理部４０２によるＬＰＦ処理が行われた後の輝度信号Ｙ'の画像５０２の例を示している。
【００２９】
輝度補正重み生成部４０３は、画素毎に、輝度信号Ｙから、ＬＰＦ処理後の輝度信号Ｙ'を減算して輝度補正重みＹｗを算出する。具体的には、輝度補正重み生成部４０３は、下記式（１）により輝度補正重みＹｗを算出する。
Ｙｗ＝Ｙ−Ｙ'      ・・・式（１）
ただし、輝度補正重みＹｗは、"０"より大きく（Ｙｗ＞０）、輝度信号Ｙの上限で正規化される。図５（Ｃ）は、図５（Ａ）の輝度信号Ｙの入力画像５０１と図５（Ｂ）の輝度信号Ｙ'の画像５０２の例において、輝度補正重み生成部４０３で生成された輝度補正重みＹｗの信号により表される画像５０３の例を示している。
【００３０】
色差生成部４０４は、図２のＷＢ増幅部２０１によるホワイトバランス調整後の各画素のＲ，Ｇ，Ｂ信号から色差信号Ｒ−Ｙ，Ｂ−Ｙを生成し、その色差信号Ｒ−Ｙ，Ｂ−Ｙを広域周辺色抽出部４０５及び狭域周辺色抽出部４０６へ出力する。
【００３１】
広域周辺色抽出部４０５は、本実施形態において処理対象になっている着目画素の周辺の広範囲の領域に含まれる各画素に対応した色差信号の平均値を算出する。なお、本実施形態では、着目画素が、その近傍の画素と比較して高輝度の画素である場合、その着目画素を、テカリ補正処理の処理対象画素とする。また、処理対象画素（着目画素）の周辺の広範囲とは、後述する狭域周辺色抽出部４０６における狭域の範囲に対する相対的な範囲であり、本実施形態では、以下、この広範囲の領域を広域周辺領域と表記する。図６（Ａ）は、入力画像６００と、その中の処理対象画素６０１と、広域周辺領域６０２との一例を示す図である。この図６（Ａ）の例に示すように、広域周辺領域６０２は、処理対象画素６０１を中心とし、処理対象画素６０１から或る程度離れた図中斜線で示されるような広範囲の領域となされている。この図６（Ａ）の例では、広域周辺領域６０２の大きさと形状は、予め決められた固定の大きさ及び形状であるとする。広域周辺色抽出部４０５は、広域周辺領域６０２に含まれる各画素の色差信号Ｒ−Ｙ，Ｂ−Ｙの平均値Ｒ−Ｙｗ，Ｂ−Ｙｗを算出する。また本実施形態において、広域周辺色抽出部４０５は、広域周辺領域６０２内の各画素のうち、所定の輝度よりも低い輝度の画素については、平均値算出には用いないようにする。このようにして広域周辺色抽出部４０５で算出された色差信号の平均値Ｒ−Ｙｗ，Ｂ−Ｙｗは、色補正重み生成部４０７に送られる。
【００３２】
一方、狭域周辺色抽出部４０６は、処理対象画素の周辺の狭い範囲の領域に含まれている各画素に対応した色差信号の平均値を算出する。なお、この場合も前述同様に、着目画素が、その近傍の画素と比較して高輝度の画素である場合、その着目画素を、テカリ補正処理の処理対象画素とする。また、処理対象画素の周辺の狭い範囲とは、広域周辺色抽出部４０５における広域周辺領域に対する相対的な範囲であり、本実施形態では、以下、この狭い範囲の領域を狭域周辺領域と表記する。図６（Ｂ）は、入力画像６００と、その中の処理対象画素６０３と、狭域周辺領域６０４との一例を示す図である。図６（Ｂ）の例の場合、狭域周辺領域６０４は、処理対象画素６０３を中心とした図中四角で示されるような狭い範囲の領域となされている。この図６（Ｂ）の例では、狭域周辺領域６０４の大きさと形状は、予め決められた固定の大きさ及び形状であるとする。狭域周辺色抽出部４０６は、狭域周辺領域６０４に含まれる各画素の色差信号Ｒ−Ｙ，Ｂ−Ｙの平均値Ｒ−Ｙｎ，Ｂ−Ｙｎを算出する。またこの場合も前述同様に、狭域周辺色抽出部４０６は、狭域周辺領域６０４内の各画素のうち、所定の輝度よりも低い輝度の画素については、平均値算出には用いないようにする。このようにして狭域周辺色抽出部４０６にて算出された色差信号の平均値Ｒ−Ｙｎ，Ｂ−Ｙｎは、色補正重み生成部４０７に送られる。
【００３３】
色補正重み生成部４０７は、前述した広域周辺領域の色差信号の平均値Ｒ−Ｙｗ，Ｂ−Ｙｗと、狭域周辺領域の色差信号の平均値Ｒ−Ｙｎ，Ｂ−Ｙｎとから、所定の色信号比率の色らしさ、具体的には肌色らしさを示す色補正重みＣｗを算出する。なお、以下、広域周辺領域と狭域周辺領域とを区別せずに説明する場合には、それらを纏めて単に周辺領域とのみ表記する。
【００３４】
このとき、色補正重み生成部４０７は、先ず、後述するようにシステム制御部５０が決定する所定の色信号比率の参照色を表すパラメータ、具体的には参照肌色の色差信号Ｒ−Ｙｒ，Ｂ−Ｙｒと、周辺領域の色差信号の平均値との間の、距離Ｌを算出する。ここで言う距離とは、色の相違を表す情報であり、以下の説明では色距離と表記する。すなわち、色補正重み生成部４０７は、図７（Ａ）に示すように、参照肌色７０１の色差信号Ｒ−Ｙｒ，Ｂ−Ｙｒと、周辺領域の色差信号の平均値に相当する周辺肌色７０２との間の、色距離Ｌを算出する。
【００３５】
より具体的には、色補正重み生成部４０７は、処理対象画素に対して設定した広域周辺領域の色差信号の平均値Ｒ−Ｙｗ，Ｂ−Ｙｗと、参照肌色７０１の色差信号Ｒ−Ｙｒ，Ｂ−Ｙｒとの間の、色の相違を表す色距離Ｌｗを算出する。また、色補正重み生成部４０７は、広域周辺領域設定時と同一の処理対象画素に対して設定した狭域周辺領域の色差信号の平均値Ｒ−Ｙｎ，Ｂ−Ｙｎと、参照肌色７０１の色差信号Ｒ−Ｙｒ，Ｂ−Ｙｒとの間の、色距離Ｌｎを算出する。このように、色補正重み生成部４０７は、色距離Ｌとして、広域周辺領域に基づく色距離Ｌｗと、狭域周辺領域に基づく色距離Ｌｎとの、二つの色距離を算出する。
【００３６】
次に、色補正重み生成部４０７は、参照肌色７０１からの色距離Ｌ（色距離Ｌｗと色距離Ｌｎ）を基に、肌色重みＳｗを算出する。ここで、色補正重み生成部４０７は、システム制御部５０が後述するようにして決定した図７（Ｂ）の制御特性のパラメータを用いて、肌色重みＳｗを決定する。具体的には、肌色重みＳｗは、図７（Ｂ）の制御特性を基に、参照肌色７０１からの色距離Ｌが閾値色距離Ｌｓ以内の場合には一定の値となされ、参照肌色７０１からの色距離Ｌが閾値色距離Ｌｓより遠くなるほど値が低くなるような値に決定される。すなわち、本実施形態の場合、肌色重みＳｗは、参照肌色７０１からの色距離Ｌと図７（Ｂ）に示す制御特性とに基づいて決定されており、参照肌色７０１からの色距離Ｌが近い場合に、より重みが大きい値として決定される。色補正重み生成部４０７は、前述した広域周辺領域に基づく色距離Ｌｗと、狭域周辺領域に基づく色距離Ｌｎとを用い、図７（Ｂ）の制御特性を基に、それぞれについて肌色重みＳｗを求める。つまり、色補正重み生成部４０７は、広域周辺領域に基づく色距離Ｌｗを基に図７（Ｂ）の制御特性から肌色重みＳｗｗを求め、狭域周辺領域に基づく色距離Ｌｎを基に図７（Ｂ）の制御特性から肌色重みＳｗｎを求める。
【００３７】
そして、色補正重み生成部４０７は、輝度生成部４０１にて生成された処理対象画素の輝度信号Ｙ（０〜１に正規化された輝度信号Ｙ）に基づき、それら二つの肌色重みＳｗｗとＳｗｎを加算して、色補正重みＣｗを算出する。具体的には、色補正重み生成部４０７は、下記の式（２）により色補正重みＣｗを算出する。
Ｃｗ＝Ｙ×Ｓｗｗ＋（１−Ｙ）×Ｓｗｎ        ・・・式（２）
【００３８】
このように、本実施形態では、処理対象画素の輝度信号Ｙの値が高いほど、広域周辺領域に基づく肌色重みＳｗｗによる色補正重みＣｗ、つまり広い範囲から抽出された色情報を重視した色補正重みＣｗが得られることになる。一方、処理対象画素の輝度信号Ｙの値が低いほど、狭域周辺領域に基づく肌色重みＳｗｎによる色補正重みＣｗ、つまり狭い範囲から抽出された色情報を重視した色補正重みＣｗが得られることになる。また前述したように、肌色重みＳｗは参照肌色７０１からの色距離Ｌが近い場合により重みが大きい値に決定されるため、参照肌色７０１からの色距離Ｌが近い場合には、色補正重みＣｗも、より重みが大きい値として算出されることになる。
【００３９】
図４の説明に戻り、乗算部４０８は、前述のようにして輝度補正重み生成部４０３で生成された輝度補正重みＹｗと、色補正重み生成部４０７で生成された色補正重みＣｗとを乗算して総合補正重み信号ＹＣｗを生成する。すなわち、乗算部４０８は、処理対象画素に対応した輝度補正重みＹｗに対し、色補正重み生成部４０７で生成された色補正重みＣｗを乗算することで、処理対象画素に対する総合補正重み信号ＹＣｗを生成する。そして、乗算部４０８は、その総合補正重み信号ＹＣｗを、反射補正信号生成部４０９へ出力する。
【００４０】
反射補正信号生成部４０９は、システム制御部５０にて後述するようにして算出される肌色の補色成分Ｒｓ，Ｇｓ，Ｂｓを表すパラメータに、それぞれ総合補正重み信号ＹＣｗを乗算して、補正信号Ｒ'，Ｇ'，Ｂ'を生成する。具体的には、反射補正信号生成部４０９は、下記の式（３）により補正信号Ｒ'，Ｇ'，Ｂ'を生成する。
Ｒ'＝α×Ｒｓ×ＹＣｗ
Ｇ'＝α×Ｇｓ×ＹＣｗ
Ｂ'＝α×Ｂｓ×ＹＣｗ        ・・・式（３）
ただし、αは後述するようにユーザから入力されたテカリ補正処理の際の補正強度に応じたゲインであり、総合補正重み信号ＹＣｗは"０〜１"の値である。そして、反射補正信号生成部４０９は、生成した補正信号Ｒ'，Ｇ'，Ｂ'を、補正信号減算処理部４１０へ出力する。
【００４１】
ここで、本実施形態の場合、補正信号Ｒ'，Ｇ'，Ｂ'は前述した総合補正重み信号ＹＣｗと補色成分Ｒｓ，Ｇｓ，Ｂｓとに基づいて生成されている。また、総合補正重み信号ＹＣｗは前述した肌色重みＳｗと輝度補正重みＹｗとを基に生成され、さらに肌色重みＳｗは前述のように処理対象画素の輝度信号Ｙと参照肌色７０１からの色距離Ｌと図７（Ｂ）の制御特性とに基づいて決定されている。すなわち、補正信号Ｒ'，Ｇ'，Ｂ'は、処理対象画素の輝度信号Ｙが高いほど、より広範囲の周辺領域の色情報を参照し、また、その周辺領域が肌色に近いほど、補正の強度を強くするような補正信号となっている。
【００４２】
補正信号減算処理部４１０は、図２のＷＢ増幅部２０１より供給されたＲ，Ｇ，Ｂ信号から、反射補正信号生成部４０９で生成した補正信号Ｒ'，Ｇ'，Ｂ'を減算する。具体的には、補正信号減算処理部４１０は、処理対象画素のＲ信号から補正信号Ｒ'を減算し、処理対象画素のＧ信号から補正信号Ｇ'を減算し、処理対象画素のＢ信号から補正信号Ｂ'を減算する。
【００４３】
これにより、図４の反射補正処理部２０２では、テカリ領域の高輝度の処理対象画素について、輝度を低減させると共に、所定の色信号比率つまり所望の肌色に近づけるようなテカリ補正処理が実現されたことになる。具体的には、反射補正処理部２０２では、処理対象画素の輝度信号Ｙが高いほど、より広範囲の周辺領域の色情報を参照し、また、その周辺領域が肌色に近いほど、補正の強度が強くなされたテカリ補正処理が行われる。そして、反射補正処理部２０２は、補正信号減算処理部４１０による減算処理後のＲ，Ｇ，Ｂ信号、つまりテカリ補正処理がなされた後のＲ，Ｇ，Ｂ信号を、図２の輝度・色信号生成部２０４へ出力する。
【００４４】
＜テカリ補正処理に用いるパラメータの決定処理＞
以下、システム制御部５０が、前述した図７（Ａ）の参照肌色７０１、図７（Ｂ）の制御特性及び閾値色距離Ｌｓ、肌色の補色成分Ｒｓ，Ｇｓ，Ｂｓ等の各パラメータを決定する処理を、図８に示すフローチャートを用いて説明する。なお、システム制御部５０は、図８のフローチャートの処理開始に先立ち、操作部１２０を介したユーザからの指示入力により、テカリ補正処理を行うか否かの反射補正のオン／オフ指示、及び、テカリ補正処理の際の補正強度αの値を取得しているとする。なお、補正強度αは予め決められていてもよい。システム制御部５０は、ユーザからテカリ補正処理を行う旨のオン指示が入力されている場合に、図８のフローチャートの処理を実行する。
【００４５】
ステップＳ８０１では、システム制御部５０は、ユーザにより操作部１２０を介してテカリ補正処理を行う旨のオン指示がなされているか否かを判定する。システム制御部５０は、ステップＳ８０１においてテカリ補正処理を行うことを示すオン指示がなされていると判定した場合（Ｙｅｓ）には、ステップＳ８０２へ処理を進める。一方、システム制御部５０は、テカリ補正処理がオン指示となされていない（オフ指示となっている）場合には、図８のフローチャートの処理を終了する。
【００４６】
ステップＳ８０２では、システム制御部５０は、顔検出部１１３が入力画像から検出した被写体の顔の画像領域（顔領域）の位置情報、及び、評価値生成処理部２０３が生成した評価値を取得する。このとき取得される評価値は、前述したように入力画像を複数ブロックに分割した各ブロック単位のＲ，Ｇ，Ｂ信号の平均値（Ｒ，Ｇ，Ｂ平均値）である。ステップＳ８０２の後、システム制御部５０は、ステップＳ８０３へ処理を進める。
【００４７】
ステップＳ８０３では、システム制御部５０は、ステップＳ８０２で取得した顔領域の位置情報を基に、例えば前述した図３（Ａ）の入力画像３００の中で顔領域３０１に対応した各ブロックを検出する。さらに、システム制御部５０は、顔領域３０１に対応した各ブロックの評価値の平均値を求め、その値を顔領域３０１における色の平均値（以下、顔色平均値と表記する。）とする。そして、システム制御部５０は、その顔領域３０１の顔色平均値を、肌色らしさを判断する際に用いられる前述した図７（Ａ）に示したような参照肌色７０１（参照肌色のパラメータ）とする。ステップＳ８０３の後、システム制御部５０は、ステップＳ８０４へ処理を進める。
【００４８】
ステップＳ８０４では、システム制御部５０は、図７（Ｂ）に示したような肌色重みＳｗを生成する際に用いられる制御特性のパラメータを決定する。また、システム制御部５０は、制御特性のパラメータとして、顔領域３０１の肌色分布を基に図７（Ｂ）の閾値色距離Ｌｓをも決定する。具体的には、システム制御部５０は、顔領域３０１に含まれる各ブロックの中で、ステップＳ８０３で算出した参照肌色７０１からの色距離が最も大きい評価値を持つブロックを検出する。そして、システム制御部５０は、その検出したブロックの評価値と、ステップＳ８０３で算出した参照肌色７０１との間の色距離を、図７（Ｂ）の閾値色距離Ｌｓとして決定する。すなわち、閾値色距離Ｌｓは、入力画像３００から検出された顔領域３０１に含まれる各ブロックの評価値、つまり顔色の分布に基づいて決定されている。したがって、本実施形態では、テカリ補正処理の際に顔の肌色が補正される際の補正対象の色範囲は、入力画像３００から検出された顔領域３０１に含まれる各ブロックの顔色の分布を包含するような色範囲となる。ステップＳ８０４の後、システム制御部５０は、ステップＳ８０５へ処理を進める。
【００４９】
ステップＳ８０５では、システム制御部５０は、反射補正信号生成部４０９に設定する肌色の補色成分Ｒｓ，Ｇｓ，Ｂｓのパラメータを生成する。具体的には、システム制御部５０は、図３（Ａ）の顔領域３０１の中で、例えば図３（Ｂ）に示す顔の色を代表するブロック領域３０２の肌色（評価値）を補正目標となる肌色とし、そのブロック領域３０２のＲ，Ｇ，Ｂ信号を補色成分Ｒｓ，Ｇｓ，Ｂｓとする。ステップＳ８０５の後、システム制御部５０は、ステップＳ８０６へ処理を進める。
【００５０】
ステップＳ８０６では、システム制御部５０は、上述するようにしてそれぞれ決定した各パラメータ（参照肌色、制御特性及び閾値色距離Ｌｓ、肌色の補色成分Ｒｓ，Ｇｓ，Ｂｓ等）を、図２、図４に示した反射補正処理部２０２に設定する。これにより、反射補正処理部２０２は、それらパラメータを用いて前述したようなテカリ補正処理を行うことができる。
【００５１】
以上で説明したように、本実施形態のデジタルカメラ１００は、処理対象画素の周辺領域の画素の色情報に基づいてテカリ領域に対するテカリ補正処理の強度を決定している。これにより、本実施形態のデジタルカメラ１００は、例えば顔に環境光等が反射して白く写った高輝度の飽和領域（テカリ領域）と、例えば顔の目の白目のように元々白い領域とを略々正確に区別した高精度で正確なテカリ補正処理を行える。
【００５２】
＜その他の実施形態＞
なお、前述した実施形態では、特定の被写体領域の一例として人物の顔領域を挙げたが、被写体は人物に限定されず、他の物であっても本実施形態は適用可能である。人物以外の物が被写体である場合、前述した顔の肌色の代わりに、その被写体の代表的な色を参照色として用いれば、前述同様のテカリ補正処理が可能となる。
【００５３】
また、前述の実施形態では、図６（Ａ）に示した広域周辺領域６０２と図６（Ｂ）に示した狭域周辺領域６０４の大きさ（範囲）が固定となされている例を挙げたが、これら周辺領域の範囲は被写体等に応じて適宜変更してもよい。例えば、顔の大きさに応じて広域周辺領域と狭域周辺領域の範囲を適応的に変更することも可能である。周辺領域の形状についても同様に、例えば被写体の形状等に応じて適応的に変更してもよい。また、広域周辺領域と狭域周辺領域の二つの大きさ（サイズ）だけでなく、それらの中間となるような大きさの少なくとも一つの中域周辺領域が設定されてもよい。また、顔領域などのテカリ補正処理の対象範囲の中で、輝度が飽和している画素数の割合が所定の割合以下である場合には例えば最小の周辺領域を選択可能にしてもよい。この場合、テカリが生じていない領域を周辺領域として選択できるようになる。
【００５４】
また、処理対象画素に対して設定される周辺領域は、画素の特徴に基づいて決定されてもよい。この場合、処理対象画素とは画素の特徴が異なる領域を周辺領域とする。具体的には、処理対象画素とは異なる輝度、色等の画素の特徴を有する領域を周辺領域として抽出することが可能である。例えば、処理対象画素とは輝度が異なる領域を周辺領域として設定する場合、処理対象画素の輝度よりも低い輝度の周辺画素を周辺領域としてもよい。また例えば、処理対象画素とは色が異なる領域を周辺領域として抽出する場合、一例として、処理対象画素の彩度よりも高い彩度を有する周辺画素を周辺領域として設定してもよい。
【００５５】
また、処理対象画素とは画素の特徴が異なる周辺領域として、処理対象画素とは異なる法線の方向を有する領域を抽出することも可能である。なお、この場合の法線とは、顔の皮膚反射モデルにおける法線である。処理対象画素とは法線の方向が異なる領域を周辺領域として抽出する場合には、具体的には、処理対象画素の周辺画素の法線情報を参照し、処理対象画素の法線とその法線の方向が所定の角度以上異なっている画素を、周辺領域の画素として抽出する。そして、その周辺領域の色情報と処理対象画素の色情報とに基づき、処理対象画素が高輝度の飽和領域の画素であるか、それとも元々白い画素であるかを判断し、その判断結果に応じてテカリ補正処理の補正強度を制御する。図９（Ａ）を用いて説明すると、この場合の画像処理部１０５は、入力画像９００の中で処理対象画素９０１が高輝度の画素である場合には、その周辺に探索枠９０２を設定する。さらに、画像処理部１０５は、その探索枠９０２の中から、処理対象画素９０１とは法線の方向が所定の角度以上異なる法線を持つ各画素からなる領域９０３を抽出する。そして、画像処理部１０５は、その抽出した領域９０３の中の画素の色が肌色に近ければ、処理対象画素９０１に対するテカリ補正処理の補正強度を強くする。すなわち、テカリ領域内の処理対象画素９０１とは法線の方向が異なる領域９０３は、テカリ領域とは反射特性が異なり、テカリ領域とは異なる色になる可能性が高いと考えられる。このため、もしも、領域９０３が肌色に近いのであれば、処理対象画素９０１に対して補正強度が強いテカリ補正処理を行うことで、テカリ領域に対する良好な補正が可能となる。一方、処理対象画素９０１とは法線の方向が異なる領域９０３の色が肌色から遠い場合には、処理対象画素９０１に対してテカリ補正処理の補正強度を弱くすることで、テカリ補正の過補正や誤補正による画質の劣化を防ぐことができる。また、処理対象画素９０１とは法線の方向が異なる領域９０３が、処理対象画素と近い領域である場合にも、処理対象画素９０１に対してテカリ補正処理の補正強度を弱くしてもよい。
【００５６】
また、前述の実施形態では、周辺領域に含まれる画素は全て参照対象としたが、デジタルカメラから被写体までの被写体距離情報を用いて、周辺領域内で更に参照対象とする範囲を調整するようにしてもよい。例えば、周辺領域内の各画素のうち、処理対象画素の被写体距離に対して所定の閾値距離以内の近い被写体距離を持つ画素のみを参照対象として用いるようにする。より具体的な例として、例えば図９（Ｂ）に示すような人物が撮影された入力画像９００が得られている場合、画像処理部１０５は、前述の測距センサ１２４から、図９（Ｃ）に示すような画素毎の被写体距離からなる被写体距離マップ９１０を取得する。なお、図９（Ｃ）の被写体距離マップ９１０の例では、人物の被写体距離に近い各画素の分布が白い領域で表され、人物の被写体距離から遠い各画素の分布が黒い領域として表されているとする。ここで、図９（Ｃ）の中で処理対象画素９０４と例えば広域周辺領域９０５が設定された場合、画像処理部１０５は、広域周辺領域９０５の中で処理対象画素９０４と被写体距離が近い各画素（白い領域）のみを参照対象とする。これにより、広域周辺領域９０５の中で処理対象画素と被写体距離が近い領域（白い領域）のみから色の情報が取得されることになり、人物等の被写体とは明らかに異なる被写体（人物以外の背景等の被写体）の色を参照してしまうことを防ぐことができるようになる。
【００５７】
また、前述の実施形態では、図８のステップＳ８０５で説明したように、補正目標となる参照肌色を顔の一部の領域の肌色から決定したが、補正目標の肌色の選び方はこの例に限定されるものではない。例えば、処理対象となる画素単位で、補正目標の参照肌色を適応的に制御することも可能である。この場合、処理対象の画素単位で周辺の画素の肌色に近い色の平均値を補正目標の参照肌色とするなどの制御を行うことが可能である。
【００５８】
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記録媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、本発明は、上述の実施形態の各機能は回路（例えばＡＳＩＣ）とプログラムとの協働により実現することも可能である。
【００５９】
上述の実施形態は、何れも本発明を実施するにあたっての具体化の例を示したものに過ぎず、これらによって本発明の技術的範囲が限定的に解釈されてはならないものである。即ち、本発明は、その技術思想、又はその主要な特徴から逸脱することなく、様々な形で実施することができる。
【符号の説明】
【００６０】
５０  システム制御部、１０３  撮像部、１０５  画像処理部、１０６  画像メモリ、１０７  メモリ制御部、１１３  顔検出部、１２０  操作部、１２４  測距センサ、２０２  反射補正処理部、２０３  評価値生成処理部、４０１  輝度生成部、４０２  ＬＰＦ処理部、４０３  輝度補正重み生成部、４０４  色差生成部、４０５  広域周辺色抽出部、４０６  狭域周辺色抽出部、４０７  色補正重み生成部、４０６  乗算部、４０９  反射補正信号生成部、４１０  補正信号減算処理部
【図１】
2018041380.tif 000003
【図２】
2018041380.tif 000004
【図３】
2018041380.tif 000005
【図４】
2018041380.tif 000006
【図５】
2018041380.tif 000007
【図６】
2018041380.tif 000008
【図７】
2018041380.tif 000009
【図８】
2018041380.tif 000010
【図９】
2018041380.tif 000011