(57)【要約】【課題】  色成分のレベルを考慮したダイナミックレンジ制御が可能な撮像装置およびその制御方法を提供する。【解決手段】  画像全体の白とび度から目標ダイナミックレンジを決定する。色成分のレベルに偏りのある領域が画像に含まれる場合、この領域内の白とび度に応じて目標ダイナミックレンジを補正し、補正された目標ダイナミックレンジに基づいてダイナミックレンジ制御を行う。色成分のレベルに偏りのある領域の白とび度を求める際には、画素の輝度に加えて、色成分のレベルを考慮した白とび度を求める。【選択図】  図４
2014121018.tif 000002
【特許請求の範囲】
【請求項１】
画像の白とび度に応じた露出制御とゲイン制御とを行うことにより、画像のダイナミックレンジ制御を行う撮像装置であって、
画像全体の白とび度に基づいて目標ダイナミックレンジを決定する決定手段と、
前記画像から、色成分のレベルに偏りのある領域を検出する検出手段と、
前記色成分のレベルに偏りのある領域の白とび度に応じて、前記目標ダイナミックレンジを補正する補正手段と、
前記補正された目標ダイナミックレンジに基づくダイナミックレンジ制御を行う制御手段とを有し、
前記補正手段が、前記色成分のレベルに偏りのある領域の白とび度を、該領域に含まれる画素の輝度レベルおよび色成分のレベルに基づいて算出するとともに、前記色成分のレベルに偏りのある領域の白とび度が閾値より大きい場合には前記目標ダイナミックレンジを拡大する補正を行い、前記色成分のレベルに偏りのある領域の白とび度が閾値より小さい場合には前記目標ダイナミックレンジを縮小する補正を行うことを特徴とする撮像装置。
【請求項２】
前記補正手段が、前記色成分のレベルに偏りのある領域の白とび度を、輝度に対する閾値と色成分レベルに対する閾値とを用いて算出するとともに、前記輝度に対する閾値と、前記色成分レベルに対する閾値とが、前記目標ダイナミックレンジに応じて設定されることを特徴とする請求項１記載の撮像装置。
【請求項３】
前記補正手段が、輝度に対する閾値を超える輝度を有する画素の数と、色成分レベルに対する閾値を超える色成分レベルを有する画素の数とを重み付け加算した値を前記色成分のレベルに偏りのある領域の白とび度として算出し、前記輝度に対する閾値を超える輝度を有する画素の数に対する重みを、前記目標ダイナミックレンジが狭いほど大きく設定することを特徴とする請求項１または請求項２に記載の撮像装置。
【請求項４】
前記補正手段は、前記目標ダイナミックレンジを補正した場合、補正された目標ダイナミックレンジを新たな目標ダイナミックレンジとして前記色成分のレベルに偏りのある領域の白とび度を算出することを特徴とする請求項１から請求項３のいずれか１項に記載の撮像装置。
【請求項５】
前記補正手段は、前記色成分のレベルに偏りのある領域に含まれる画素の色成分レベルを色成分ごとに積分し、積分値が最大となる色成分のレベルと、該領域に含まれる画素の輝度レベルとに基づいて前記色成分のレベルに偏りのある領域の白とび度を算出することを特徴とする請求項１から請求項４のいずれか１項に記載の撮像装置。
【請求項６】
前記検出手段が、前記色成分のレベルに偏りのある領域として人物の顔領域を検出することを特徴とする請求項１から請求項５のいずれか１項に記載の撮像装置。
【請求項７】
画像の白とび度に応じた露出制御とゲイン制御とを行うことにより、画像のダイナミックレンジ制御を行う撮像装置の制御方法であって、
決定手段が、画像全体の白とび度に基づいて目標ダイナミックレンジを決定する決定工程と、
検出手段が、前記画像から、色成分のレベルに偏りのある領域を検出する検出工程と、
補正手段が、前記色成分のレベルに偏りのある領域の白とび度に応じて、前記目標ダイナミックレンジを補正する補正工程と、
制御手段が、前記補正された目標ダイナミックレンジに基づくダイナミックレンジ制御を行う制御工程とを有し、
前記補正工程において前記補正手段は、前記色成分のレベルに偏りのある領域の白とび度を、該領域に含まれる画素の輝度レベルおよび色成分のレベルに基づいて算出するとともに、前記色成分のレベルに偏りのある領域の白とび度が閾値より大きい場合には前記目標ダイナミックレンジを拡大する補正を行い、前記色成分のレベルに偏りのある領域の白とび度が閾値より小さい場合には前記目標ダイナミックレンジを縮小する補正を行うことを特徴とする撮像装置の制御方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は撮像装置およびその制御方法に関し、特には画像のダイナミックレンジ制御を行う撮像装置およびその制御方法に関する。
【背景技術】
【０００２】
従来のデジタルスチルカメラまたはデジタルビデオカメラ等においては、入力画像の輝度値を出力画像の輝度値に変換するための輝度変換特性（ガンマ特性）を用いている。そして、輝度値が飽和している（上限の輝度値を有する）画素が入力画像に多く含まれる場合は、まず、絞りやシャッター速度などの制御により露光量を減少させて、輝度値が飽和する画素を削減する。そして、撮影画像に適用するゲインや輝度変換特性を補正して、減少させた露光量を補う。
【０００３】
このような露出制御と撮影後の補正との組み合わせにより、高輝度領域において画素の輝度値が飽和することによる白とびを抑制し、階調性を表現できるようになる。このような一連の制御を階調制御、あるいはダイナミックレンジ（Ｄレンジ）制御と呼ぶ。Ｄレンジ制御により、撮像素子の見かけ上のダイナミックレンジを拡大することができるが、輝度値が飽和している画素（飽和画素）の量が画質に与える影響は、被写体に応じて異なる場合がある。例えば、画像中の人物の顔領域に飽和画素が存在することによる画質劣化の印象は、他の被写体中に存在する飽和画素が与える画質劣化の印象とは異なる。
【０００４】
そのため、人物の顔領域とそれ以外の被写体とで、飽和画素からなる白とび領域を検出する閾値を変えてＤレンジ制御を行う画像処理装置が提案されている（特許文献１）。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２０１０−１９３０９９号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
しかしながら、特に人物の顔領域のように画素の色成分のレベル（ＲＧＢ値）に偏りがある領域では、輝度値が上限に近い高輝度部において、輝度は飽和していなくてもレベルの高い色成分が上限値に近づき不自然な階調になる場合がある。特許文献１などに記載される従来技術では、画素の輝度成分のレベルにのみに基づいて白とび領域を検出しているため、色成分のレベルが上限値に近づくことによる画質劣化を検出したり補正したりすることは困難であった。
【０００７】
本発明はこのような問題点に鑑みてなされたものであり、色成分のレベルを考慮した階調制御が可能な撮像装置およびその制御方法の提供を目的とする。
【課題を解決するための手段】
【０００８】
上述の目的は、画像の白とび度に応じた露出制御とゲイン制御とを行うことにより、画像のダイナミックレンジ制御を行う撮像装置であって、画像全体の白とび度に基づいて目標ダイナミックレンジを決定する決定手段と、画像から、色成分のレベルに偏りのある領域を検出する検出手段と、色成分のレベルに偏りのある領域の白とび度に応じて、目標ダイナミックレンジを補正する補正手段と、補正された目標ダイナミックレンジに基づくダイナミックレンジ制御を行う制御手段とを有し、補正手段が、色成分のレベルに偏りのある領域の白とび度を、領域に含まれる画素の輝度レベルおよび色成分のレベルに基づいて算出するとともに、色成分のレベルに偏りのある領域の白とび度が閾値より大きい場合には目標ダイナミックレンジを拡大する補正を行い、色成分のレベルに偏りのある領域の白とび度が閾値より小さい場合には目標ダイナミックレンジを縮小する補正を行うことを特徴とする撮像装置によって達成される。
【発明の効果】
【０００９】
このような構成により、本発明によれば、色成分のレベルを考慮した階調制御が可能な撮像装置およびその制御方法を提供できる。
【図面の簡単な説明】
【００１０】
【図１】本発明の実施形態に係る撮像装置の一例としてのデジタルビデオカメラの機能構成例を示すブロック図
【図２】本発明の実施形態に係るデジタルビデオカメラにおけるダイナミックレンジ制御を説明するための、模式的な画像を示す図
【図３】（ａ）は本発明の実施形態における、白とび画素数とＤレンジの広さの関係例を示す図、（ｂ）は露出変更量と制御量との関係例を示す図、（ｃ）はＤレンジの変化に伴うガンマ特性変更の例を示す図
【図４】本発明の実施形態におけるＤレンジ補正処理の詳細を示すフローチャート
【図５】（ａ）は本発明の実施形態における最大色成分の選択処理を説明するための図、（ｂ）は本発明の実施形態における白とび画素数の算出例を示す図
【図６】本発明の実施形態における白とび画素の検出方法を説明するための図
【発明を実施するための形態】
【００１１】
以下、図面を参照しながら、本発明の例示的な実施形態について詳細に説明する。
なお、以下では本発明を適用可能な撮像装置の一例としてデジタルビデオカメラを挙げて説明するが、本発明はデジタルスチルカメラを含め、任意の撮像装置ならびに撮像装置を内蔵する装置に適用可能である。非限定的な具体例には、携帯電話機、パーソナルコンピュータ、ゲーム機、メディアプレーヤ、ナビゲーションシステム、自動車、家電製品等が含まれる。
【００１２】
図１は、本発明の実施形態に係る撮像装置の一例としてデジタルビデオカメラの機能構成例を示すブロック図である。図における矢印は機能ブロック間における信号の流れを表す。光学系１０１は、絞り（ＮＤフィルタ含む）機能、オートフォーカス機能、ズーム機能などを有し、被写体の光学像を撮像素子１０２の撮像面に形成する。撮像素子１０２はＣＣＤイメージセンサやＣＭＯＳイメージセンサなどの光電変換素子である。撮像素子１０２は、撮影面に結像された被写体像を画素単位で電気信号に変換してアナログ画像信号を出力する。
【００１３】
Ａ／Ｄ変換部１０３は、決められたゲイン制御値に応じてアナログ画像信号をデジタル値を有するデジタル画像信号に変換する。信号処理部１０４は、デジタル画像信号に対してホワイトバランス調整や色補間（デモザイク）処理などを適用する。顔検出部１０５は、信号処理部１０４が生成する画像データに対して公知の顔検出方法を適用し、撮影画像中に含まれる、人物の顔の特徴を有する領域（顔領域）を検出する。
【００１４】
画像特徴取得部１０６は信号処理部１０４の出力する画像データから、画像内の任意の領域の特徴を抽出する。ガンマ回路１０７は、信号処理部１０４の出力する画像データに所定の入出力特性を有するガンマカーブを適用し、画像データの輝度レベルを変換する。システム制御部１００は、上述の機能ブロックを制御して、後述する動作を実現させる。また、必要に応じて他の機能ブロックを制御し、デジタルビデオカメラ全体の動作を実現する。
【００１５】
システム制御部１００はさらに複数の制御ブロックを有している。露出制御部１０８は、光学系１０１、撮像素子１０２、およびＡ／Ｄ変換部１０３を制御する。ダイナミックレンジ制御部（Ｄレンジ制御部）１０９は、画像全体の白とび度のような画像特徴や、顔検出部１０５が検出した顔領域の白とび度などに応じて目標Ｄレンジを決定する。Ｄレンジ制御部１０９は、決定した目標Ｄレンジに基づいて露出制御部１０８を制御して露出量を変更するとともに、露出変更量を補正するように輝度変換特性（ガンマ特性）を制御する。検出パラメータ決定部１１０は、Ｄレンジ制御部１０９の制御に従って白とび画素検出パラメータを決定する。白とび画素検出部１１１は、検出パラメータ決定部１１０が決定した白とび画素検出パラメータを用いて、画像特徴取得部１０６が出力する被写体領域における白とび画素を検出する。
【００１６】
システム制御部１００は例えばＣＰＵやＭＰＵなどのプログラマブルプロセッサと、制御プログラムが記憶されたＲＯＭ、制御プログラムを展開したりワークエリア等として用いたりするためのＲＡＭの組み合わせによって実現することができる。従って、システム制御部１００が有する機能ブロックの１つ以上は、ソフトウェア的に実現することができる。もちろん、機能ブロックの１つ以上が専用のハードウェアによって実現されてもよい。
【００１７】
撮影時の動作について簡単に説明する。絞りによって明るさが制御された被写体の光学像が、光学系１０１により撮像素子１０２の撮像面に結像される。この光学像によって撮像素子１０２を露出制御部１０８が決定した時間露光し、アナログ画像信号を取得する。露光時間の調整はメカニカルシャッターもしくは電子シャッターを用いて行う。
【００１８】
Ａ／Ｄ変換部１０３では、アナログ画像信号をデジタル画像信号へと変換する。この際、露出制御部１０８によって定められたゲイン値により信号の増幅も行われる。例えば暗い被写体の場合、露出制御部１０８からＡ／Ｄ変換部１０３へ出力信号のレベルを上げて信号処理部１０４に出力するよう、制御信号が出力される。信号処理部１０４ではデジタル画像信号に対し、黒レベルの補正、ホワイトバランスの調整、エッジ補正等の画像処理が行われる。信号処理部１０４は、画像処理の途中または画像処理後のデジタル画像データを顔検出部１０５や画像特徴取得部１０６に出力するとともに、記録や表示用の画像信号として画像処理後の画像データをガンマ回路１０７に出力する。
【００１９】
顔検出部１０５は、画像中から人物の顔の特徴を有する領域（顔領域）を検出し、顔領域の位置や大きさ、輝度情報などを、画像特徴取得部１０６へと出力する。画像特徴取得部１０６は、信号処理部１０４より出力された画像データと、顔検出部１０５からの顔検出結果とから、顔領域及び画像全体の輝度の平均値、輝度頻度分布、ＲＧＢ画素値の頻度分布などの画像特徴情報を取得する。
【００２０】
顔検出部１０５における顔検出は、公知の技術を用いて実施することができる。顔検出に適した画像特徴としては、固有空間上に投影した特徴ベクトルや、グラディエントベース特徴、ＨＡＡＲ−ＬＩＫＥ特徴、ソーベルフィルタや平均色特徴により抽出したＳＡＬＩＥＮＣＹ  ＭＡＰなどが挙げられる。また、ＣＨＬＡＣ特徴による人物の動きと顔画像の位置推定による顔検出方法を用いてもよい。なお、ＡＤＡ−ＢＯＯＳＴによるブースティングアルゴリズムやＳＶＭによる識別、カスケード型弱識別器の連結や固有空間への投影による次元数の削減など、公知の高速化手法を適用してもよい。なお、本実施形態では便宜上、画像特徴を利用して検出する被写体が人物の顔である場合を説明するが、上述の問題はＲＧＢの画素値に偏りのある被写体領域で発生するため、このような条件に合致する任意の被写体を検出することができる。例えば、ペット、乳幼児、ボールなどを例示することができる。
【００２１】
画像中に人物の顔領域が含まれる場合、露出制御部１０８、Ｄレンジ制御部１０９、検出パラメータ決定部１１０、および白とび画素検出部１１１を用いて、画像の階調制御（Ｄレンジ制御）を行う。ここで、Ｄレンジ制御の具体例を、図２（ａ）に示すような画像が入力された場合について説明する。
【００２２】
まず、画像特徴取得部１０６が、例えば図２（ｂ）に示すように画像全体を複数の矩形領域に分割し、各矩形領域に含まれる画素について、輝度の代表値を取得する。どのような値を代表値にするかに特に制限は無いが、例えば平均輝度レベルや最大輝度レベルなどであってよい。Ｄレンジ制御部１０９は、輝度の代表値が閾値Th以上の矩形領域（白とび領域）の数から、例えば、白とび画素数や白とび領域の割合といった、画像における飽和（白とび）の程度を表す値（白とび度）を算出する。例えば、輝度の代表値が閾値Th以上の矩形領域に含まれる画素は全て白とび画素として白とび画素数を算出することができる。図２（ｂ）の例では、画像の上部に白とび領域が存在している。
【００２３】
Ｄレンジ制御部１０９は、算出された白とび度に応じて、白とび度を所定値以内に抑えるようにあらかじめ設計された白とび度とＤレンジの広さとの対応関係に基づいて、目標ＤレンジＤnextを決定する。図３（ａ）に、白とび度として白とび画素数を用いた場合の、白とび度とＤレンジの広さとの対応関係の例を示す。白とび画素数が大きくなるほどＤレンジは広くなるが、白とび画素数が多い領域では、白とび画素数の増加に対するＤレンジの増加率が低くなっている。
【００２４】
Ｄレンジ制御部１０９は、決定した目標ＤレンジＤnextの値に応じた露出変更量Ｅを露出制御部１０８に出力するとともに、露出変更量Ｅに応じてガンマ回路１０７のガンマ特性を変化させる。露出制御部１０８では、例えば図３（ｂ）に示すような露出制御線図に基づき、現在の露出制御量Ｅnowと露出変更量Ｅから、変更後の露出制御量Ｅnextとそれを実現する露出制御要素とを決定する。ここでは、露出制御量の範囲に応じてシャッター速度、ＮＤフィルタ、絞り値が露出制御要素として対応付けられている。露出制御部１０８は、変更後の露出制御量Ｅnextおよび対応付けられた露出制御要素とから光学系１０１と撮像素子１０２を制御し、変更後の露出制御量Ｅnextを実現する。
【００２５】
露出制御量を変更することで、撮影画像全体の明るさが変化する（この場合は暗くなる）。そのため、最終的な画像の明るさが露出制御量を変更する前と変化しないよう、露出制御部１０８はＡ／Ｄ変換部１０３に露出変更量Ｅに相当するゲイン（−Ｅ）を適用するように設定する。これにより、Ａ／Ｄ変換部１０３から出力される時点において画像の明るさが露出制御量の変更前後で変化しないようにする。このように、露出制御量を変更することにより撮像素子１０２の画素の飽和を抑制するとともに、露出制御量を補償するようなゲインを適用することで、画像全体の明るさが変化しないようなＤレンジ制御が実現できる。
【００２６】
また、ガンマ回路１０７では、例えば図３（ｃ）に示すように露出変更量Ｅに応じてガンマ特性Ｇnowからガンマ特性Ｇnextに変更する。これにより、現在の最大入力画素レベルＤnowよりも高い最大入力画素レベルＤnextまでに対応した輝度変換特性を実現する。つまり、現在よりも広い入力Ｄレンジに対応した輝度変換特性を実現する。
【００２７】
また、上述のＤレンジ制御は画像のＤレンジを拡大するものであったが、画像のＤレンジを圧縮（抑制）するＤレンジ圧縮処理（Ｄレンジ抑制処理）においては、必ずしも露出条件の変更を必要とせず、輝度変換特性のみにより変更してもよい。Ｄレンジ圧縮処理においてはＤnow＞Ｄnextであるため、図３（ｃ）のＤnextに示す特性からＤnowに示す特性への変更のようになる。さらには、露出条件の異なる複数の画像を合成して広ダイナミックレンジ画像を生成する公知のＨＤＲ合成技術により、画像のＤレンジを拡大してもよい。
【００２８】
続いてＤレンジ制御部１０９は、検出パラメータ決定部１１０と白とび画素検出部１１１を用いて、顔検出部１０５が検出した顔領域の白とび度（ここでは白とび画素数とする）を算出する。そしてＤレンジ制御部１０９は、顔領域の白とび度に応じて目標ＤレンジＤnextを補正した、補正目標ＤレンジＤnext’を求める。
【００２９】
上述の通り、人物の顔など、色成分のレベルに偏りのある被写体領域では、飽和レベルに近い輝度を有する部分で、輝度が飽和していなくてもレベルの大きい色成分が飽和に近づくことで階調表現が乏しくなり、視覚的に違和感を与える画素が発生する。この違和感はＤレンジが広くなり、ガンマ特性の高輝度部の変化量が小さくなることにより顕著に発生する。
【００３０】
そこで本実施形態では、色成分のレベルに偏りのある被写体領域の一例としての顔領域の画素に対し、輝度および色成分のレベル頻度分布を考慮して白とび度を検出する。例えば、白とびかどうかを判定するための閾値を輝度と色成分とに設けるとともに、Ｄレンジの広さに応じて閾値を変化させる。また、輝度の閾値を超える画素数と、色成分の閾値を超える画素数とを、Ｄレンジの広さに応じた重みで加算した評価値を求め、評価値の大きさから最終的な白とびの判定を行う。この白とび判定処理の詳細については後述する。
【００３１】
Ｄレンジ制御部１０９で最初に決定される目標ＤレンジＤnextにより、検出パラメータ決定部１１０では検出パラメータを決定し、白とび画素検出部１１１で白とび画素を検出する。白とび画素検出部１１１で検出された白とび画素の数に応じてＤレンジ制御部１０９では目標ＤレンジＤnextを補正し、補正目標ＤレンジＤnext’とする。ＤnextからＤnext’への目標Ｄレンジ補正処理は、Ｄnextを決定した場合と同様にＤレンジ制御部１０９が行う。
【００３２】
次に、図４に示すフローチャートを用いて、本実施形態におけるＤレンジ補正処理について説明する。
まず、Ｓ２００でＤレンジ制御部１０９は、顔検出部１０５が画像内で検出した顔領域のそれぞれについて、大きさおよび位置の情報を取得する。顔領域が１つも検出されていない場合には、目標Ｄレンジの補正は不要であるため、Ｄレンジ制御部１０９は処理を終了する。一方、顔領域が１つ以上検出されていれば、Ｄレンジ制御部１０９は検出パラメータ決定部に目標ＤレンジDnextを出力し、目標Ｄレンジの大きさに応じた検出パラメータの決定を指示する。
【００３３】
Ｓ２０１で検出パラメータ決定部１１０は、顔領域内の白とび画素を目標Ｄレンジに応じて検出するための閾値および重みを求める。目標Ｄレンジが広いほど、ガンマ回路１０７で適用されるガンマ特性は、入力レベル（階調値）が飽和に近い領域で傾きが小さくなる。つまり、Ｄレンジが広いほど、飽和に近い領域の入力レベルの変化に対して出力レベルの変化が小さくなるため、飽和しているように見えやすくなる。例えば顔領域ではＲＧＢ成分のうち、Ｒ成分のレベルがＧ成分およびＢ成分のレベルよりも高い。そのため、高輝度部では、輝度レベルが飽和していなくてもＲ成分の階調性が乏しくなり、不自然に見えやすくなる。このような、飽和しているように見える画素を、本明細書では飽和付近で視覚的に違和感を覚える画素と呼ぶ。
【００３４】
Ｓ２０１で検出パラメータ決定部１１０は、白とび画素を検出するための、色成分の閾値ThCDnextおよび輝度成分の閾値ThYDnextを目標ＤレンジＤnextに応じた値に設定する。また、検出パラメータ決定部１１０は、色成分と輝度成分の重みαDnextを求める。
【００３５】
本実施形態では、固定の閾値ではなく、目標Ｄレンジ（の上限レベル）に対して一定の割合となる輝度および色成分レベルを閾値ThCDnextおよびThYDnextとして決定する。そして、白とび画素検出における輝度成分の重みαDnext(０≦αDnext≦１)を、目標ＤレンジＤnextが狭い場合は大きく、広くなるにつれて小さくなるように決定する。なお、色成分の重みは（１−α）とする。
【００３６】
Ｓ２０２で白とび画素検出部１１１は、Ｓ２０１で決定された閾値および重みと、顔検出部１０５で検出された顔領域の情報とを用いて、白とび画素を検出する。具体的には、白とび画素検出部１１１は、顔領域内の画素値（Ｒ，Ｇ，Ｂ）について、色成分ごとの積分値ＣR，ＣG，ＣBを求め、積分値が最大となった色成分を最大成分CMaxとして選択する。式で示せば以下の通りである。
CMax＝Ｍａｘ（ＣR，ＣG，ＣB）        …(1. 1)
例えば図５（ａ）に示すような積分値ＣR，ＣG，ＣBが得られた場合、白とび画素検出部１１１はＲ成分を最大成分CMaxとして選択する。
【００３７】
白とび画素検出部１１１はまた、輝度成分Ｙと最大色成分CMaxの画素レベル頻度分布（ヒストグラム）を生成する。そして、白とび画素検出部１１１は、閾値ThYDnextを超える輝度レベルを有する画素数と、閾値ThCDnextを超える色成分レベルを有する画素数とをそれぞれ求める。図６（ａ）および図６（ｂ）に、この画素数の算出処理を模式的に示す。
【００３８】
白とび画素検出部１１１は次に、これら画素数を以下のようにＤレンジに応じた重みαDnextで加重加算して、最終的な白とび画素数scoreDnextを算出する。
【数１】
2014121018.tif 000003
なお、Count()は、条件を満たす画素の数を与える関数である。
【００３９】
図５（ｂ）に、白とび画素数scoreDnextの算出例を示す。閾値ThYDnextを超える輝度レベルを有する画素数が３００、閾値ThCDnextを超える色成分レベルを有する最大色成分CMaxの画素数が５００、重みαが０．７の場合である。この場合、白とび画素数scoreDnextは上式に従って３６０となる。
【００４０】
白とび画素検出部１１１は、このようにして算出された白とび画素数scoreDnextと、顔領域の総画素数facesizeとから、顔領域における白とび画素率RDnextを以下のように算出する。
【数２】
2014121018.tif 000004
【００４１】
ここで、補正後の目標Ｄレンジが狭すぎると顔領域の白とびが多くなりすぎて見た目の印象が悪くなる。一方、補正後の目標Ｄレンジが広すぎると、白とび画素はなくなるが顔領域全体がのっぺりとして階調性が低くなり、やはり見た目の印象が悪くなる。このような観点から、白とび画素の比率と階調性とのバランスが良いＤレンジの広さとなるように、目標Ｄレンジを補正する。
【００４２】
Ｓ２０３でＤレンジ制御部１０９は、白とび画素率RDnextが一定値Dupより大きいかどうか判定し、大きければＳ２０４で目標ＤレンジをＤnextからＤnext’に補正する。ここでは、白とび画素を減らすためにＤレンジを拡大する補正を行う。Ｄレンジ拡大処理を行った後、処理をＳ２０１に戻し、補正後の目標ＤレンジDnet’に基づく処理を繰り返す。
【００４３】
一方、Ｓ２０３で白とび画素率RDnextが一定値Dup以下であると判定された場合、Ｄレンジ制御部１０９はＳ２０５で、白とび画素率RDnextが一定値DDownより小さいかどうか判定する。白とび画素率RDnextが一定値DDownより小さい場合、Ｄレンジ制御部１０９はＳ２０６で目標ＤレンジをＤnextからＤnext’に補正する。ここでは、白とび画素を増やすためにＤレンジを縮小する補正を行う。Ｄレンジ縮小処理を行った後、処理をＳ２０１に戻し、補正後の目標ＤレンジDnet’に基づく処理を繰り返す。
【００４４】
Ｓ２０３およびＳ２０５の判定により、白とび画素率RDnextが一定値DUp以下、かつ一定値DDown以上であると判定された場合、適正な目標Ｄレンジとなったものと判定してＤレンジ制御部１０９はＤレンジ補正処理を終了する。
【００４５】
このように本実施形態では、画像全体の輝度に応じて白とびを抑制するための目標ダイナミックレンジを、顔領域のように色成分のレベルに偏りのある領域内の白とび度に応じて補正する。そのため、色成分のレベルに偏りのある領域の画質に与える影響を抑制しつつ、適切なダイナミックレンジ制御を行うことができる。
【００４６】
また、色成分のレベルに偏りのある領域の白とび度を検出する際には、目標ダイナミックレンジに応じた閾値を、輝度および色成分の両方に設定し、輝度に関する白とび度と色成分のレベルに関する白とび度を求める。さらに、これらの白とび度を目標ダイナミックレンジに応じた重みで加算して最終的な白とび度を求めることで、目標ダイナミックレンジを適切に補正することができる。
【００４７】
なお、上述の目標ダイナミックレンジとその補正処理は、周期的に行ってもよいし、シーン変化が検出されるなどのトリガイベントに応じて行ってもよい。従って、動画のように連続的に撮影が行われる場合にも適切なダイナミックレンジ制御を実現することができる。
【００４８】
（その他の実施形態）
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。
【図１】
2014121018.tif 000005
【図２】
2014121018.tif 000006
【図３】
2014121018.tif 000007
【図４】
2014121018.tif 000008
【図５】
2014121018.tif 000009
【図６】
2014121018.tif 000010