(57)【要約】【課題】被写体として人物が撮像画像中に存在する場合に、人物の重要度を鑑みたうえで好適に階調補正された画像を生成する。【解決手段】入力画像の輝度にゲインを乗じて階調特性の異なる画像を生成する画像処理装置であって、入力画像における人物領域を検出する人物検出部と、人物検出部による検出結果を用いて、固定ゲイン量を算出する固定ゲイン量算出部と、人物検出部による検出結果を用いて、固定ゲイン量算出部により算出された固定ゲイン量を適用する輝度の範囲を決定する適用範囲算出部と、固定ゲイン量と、固定ゲイン量を適用する輝度の範囲を用いた第１の階調特性と、入力画像の輝度が低いほど乗じるゲインを高くする第２の階調特性とを加重加算して生成した階調特性を用いて階調補正を行う階調補正部とを備える。【選択図】  図２
2015087949.tif 000002
【特許請求の範囲】
【請求項１】
入力画像の輝度にゲインを乗じて階調特性の異なる画像を生成する画像処理装置であって、
前記入力画像における人物領域を検出する人物検出手段と、
前記人物検出手段による検出結果を用いて、固定ゲイン量を算出する固定ゲイン量算出手段と、
前記人物検出手段による検出結果を用いて、前記固定ゲイン量算出手段により算出された固定ゲイン量を適用する輝度の範囲を決定する適用範囲算出手段と、
前記固定ゲイン量と、前記固定ゲイン量を適用する輝度の範囲を用いた第１の階調特性と、前記入力画像の輝度が低いほど乗じるゲインを高くする第２の階調特性とを加重加算して生成した階調特性を用いて階調補正を行う階調補正手段と、
を備えることを特徴とする画像処理装置。
【請求項２】
前記人物検出手段は顔または人体を検出することを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記固定ゲイン量算出手段は、顔領域の輝度平均値もしくは最頻出値もしくは最高値と予め設定してある目標輝度値とから、固定ゲイン量を算出することを特徴とする請求項１に記載の画像処理装置。
【請求項４】
前記適用範囲算出手段は顔領域の輝度のヒストグラムもしくは平均値もしくは最大値から適用範囲を算出することを特徴とする請求項１に記載の画像処理装置。
【請求項５】
前記第１の階調特性と前記第２の階調特性とを加重加算する重みを、前記人物検出手段が検出した顔領域の大きさもしくは位置もしくは信頼度から算出した顔評価値とすることを特徴とする請求項１に記載の画像処理装置。
【請求項６】
前記第１の階調特性は、前記人物検出手段が検出した人物のうち、前記顔評価値が予め設定した閾値以上の人物から算出されることを特徴とする請求項１に記載の画像処理装置。
【請求項７】
前記人物検出手段で検出された人物が逆光状態にあるか否かを判定する逆光判定手段をさらに備え、前記第１の階調特性を算出する人物を、前記逆光判定手段で検出された逆光状態の人物とすることを特徴とする請求項１に記載の画像処理装置。
【請求項８】
前記人物検出手段で検出された人物の髪領域を検出する髪領域検出手段をさらに備え、前記固定ゲイン量算出手段は、前記人物検出手段で検出された人物の顔の肌領域と、前記髪領域検出手段で検出された人物の髪領域の輝度を参照することにより前記固定ゲイン量を算出することを特徴とする請求項１に記載の画像処理装置。
【請求項９】
前記人物検出手段で検出された人物の人種を判定する人種判定手段をさらに備え、前記固定ゲイン量算出手段は、前記人種判定手段の判定結果を参照して固定ゲイン量を算出することを特徴とする請求項１に記載の画像処理装置。
【請求項１０】
ゲインを乗じた後の信号に対して、通常の階調圧縮処理と、低輝度領域のコントラストがより強調される階調圧縮処理を施すことを選択する選択手段をさらに備えることを特徴とする請求項１に記載の画像処理装置。
【請求項１１】
前記人物検出手段で検出された人物の輝度分布を算出する人物輝度分布算出手段と、前記人物領域以外の領域の輝度分布を算出する背景輝度分布算出手段と、前記人物輝度分布と前記背景輝度分布の差分に応じて前記第１の階調特性の算出方法を切り替えることを特徴とする請求項１に記載の画像処理装置。
【請求項１２】
前記第１の階調特性は、顔領域の輝度の平均値がユーザの設定した値に近い顔、もしくは最も輝度の平均値が高い顔、もしくは最も輝度の平均値が低い顔を参照して算出され、参照される顔の切り替えはユーザの操作によって行われることを特徴とする請求項１に記載の画像処理装置。
【請求項１３】
入力画像の輝度にゲインを乗じて階調特性の異なる画像を生成する画像処理装置であって、
前記入力画像における人物領域を検出する人物検出手段と、
前記人物検出手段による検出結果を用いて、固定ゲイン量を算出する固定ゲイン量算出手段と、
前記人物検出手段による検出結果を用いて、前記固定ゲイン量算出手段により算出された固定ゲイン量を適用する輝度の範囲を決定する適用範囲算出手段と、
前記固定ゲイン量と、前記固定ゲイン量を適用する輝度の範囲を用いた階調特性で生成した第１の画像と、前記入力画像の輝度が低いほど乗じるゲインを高くする階調特性で生成した第２の画像とを加重加算することにより階調補正された画像を生成する階調補正手段と、
を備えることを特徴とする画像処理装置。
【請求項１４】
入力画像の輝度にゲインを乗じて階調特性の異なる画像を生成する画像処理装置であって、
前記入力画像における人物領域を検出する人物検出手段と、
前記人物検出手段による検出結果を用いて、固定ゲイン量を算出する固定ゲイン量算出手段と、
前記人物検出手段による検出結果を用いて、前記固定ゲイン量算出手段により算出された固定ゲイン量を適用する輝度の範囲を決定する適用範囲算出手段と、
前記固定ゲイン量と、前記固定ゲインを適用する輝度の範囲を用いた階調特性で階調補正を行う階調補正手段と、
を備えることを特徴とする画像処理装置。
【請求項１５】
入力画像の輝度にゲインを乗じて階調特性の異なる画像を生成する画像処理装置の制御方法であって、
前記入力画像における人物領域を検出する人物検出工程と、
前記人物検出工程による検出結果を用いて、固定ゲイン量を算出する固定ゲイン量算出工程と、
前記人物検出工程による検出結果を用いて、前記固定ゲイン量算出工程により算出された固定ゲイン量を適用する輝度の範囲を決定する適用範囲算出工程と、
前記固定ゲイン量と、前記固定ゲイン量を適用する輝度の範囲を用いた第１の階調特性と、前記入力画像の輝度が低いほど乗じるゲインを高くする第２の階調特性とを加重加算して生成した階調特性を用いて階調補正を行う階調補正工程と、
を有することを特徴とする画像処理装置の制御方法。
【請求項１６】
入力画像の輝度にゲインを乗じて階調特性の異なる画像を生成する画像処理装置の制御方法であって、
前記入力画像における人物領域を検出する人物検出工程と、
前記人物検出工程による検出結果を用いて、固定ゲイン量を算出する固定ゲイン量算出工程と、
前記人物検出工程による検出結果を用いて、前記固定ゲイン量算出工程により算出された固定ゲイン量を適用する輝度の範囲を決定する適用範囲算出工程と、
前記固定ゲイン量と、前記固定ゲイン量を適用する輝度の範囲を用いた階調特性で生成した第１の画像と、前記入力画像の輝度が低いほど乗じるゲインを高くする階調特性で生成した第２の画像とを加重加算することにより階調補正された画像を生成する階調補正工程と、
を有することを特徴とする画像処理装置の制御方法。
【請求項１７】
入力画像の輝度にゲインを乗じて階調特性の異なる画像を生成する画像処理装置の制御方法であって、
前記入力画像における人物領域を検出する人物検出工程と、
前記人物検出工程による検出結果を用いて、固定ゲイン量を算出する固定ゲイン量算出工程と、
前記人物検出工程による検出結果を用いて、前記固定ゲイン量算出工程により算出された固定ゲイン量を適用する輝度の範囲を決定する適用範囲算出工程と、
前記固定ゲイン量と、前記固定ゲインを適用する輝度の範囲を用いた階調特性で階調補正を行う階調補正工程と、
を備えることを特徴とする画像処理装置の制御方法。
【請求項１８】
請求項１５乃至１７のいずれか１項に記載の制御方法の各工程をコンピュータに実行させるためのプログラム。
【請求項１９】
請求項１５乃至１７のいずれか１項に記載の制御方法の各工程をコンピュータに実行させるためのプログラムを記憶した記憶媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮像画像の階調補正技術に関するものである。
【背景技術】
【０００２】
好ましい明るさの画像を得るために、撮像画像の輝度信号を変換して階調補正を行うことが知られている。特に、被写体の明るさが背景の明るさに比べて著しく暗い、いわゆる逆光シーンでの撮像画像は被写体が暗くなってしまうため、低輝度部を明るくする階調補正を行うと好ましい画像が得られる。具体的には図１８に示すように撮像画像の輝度が低くければ低いほど高いゲインをかける階調補正を行う。このような階調補正技術を本件では部分コントラスト補正と呼ぶこととする。
【０００３】
部分コントラスト補正の問題点として、低輝度部に高いゲインをかけるため、画像全体の明暗のコントラストが低下するといった問題が生じる恐れがあった。一例として、人物が暗くなる逆光シーンにおいて部分コントラスト補正を行うと、人物の顔領域の陰影がなくなり、のっぺりとしたコントラストの低い顔になってしまう。また、黒髪の人物では顔の領域に比べて髪領域が低輝度であるために大きなゲインがかかり、その結果白髪のように不自然に明るくなってしまうことがある。
【０００４】
そこで特許文献１ではコントラスト低下の問題を解決するため、ゲインに上限値を設けることで、低輝度部が明るくなりすぎないように制限をかけつつも、必要な明るさを確保した画像を生成する技術が提案されている。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２０１１−１００２０４号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
しかしながら、上記の特許文献１に開示された従来技術には、そもそも人物が存在する場合におけるゲイン制御の記述がない。そのため、画像全体のコントラスト低下を低減する効果はあるが、被写体として人物が写っている場合に、人物が好適に見える画像を得ることはできない。
【０００７】
本発明は上述した課題に鑑みてなされたものであり、その目的は、被写体として人物が撮像画像中に存在する場合に、人物の重要度を鑑みたうえで好適に階調補正された画像を生成することである。
【課題を解決するための手段】
【０００８】
本発明に係わる画像処理装置は、入力画像の輝度にゲインを乗じて階調特性の異なる画像を生成する画像処理装置であって、前記入力画像における人物領域を検出する人物検出手段と、前記人物検出手段による検出結果を用いて、固定ゲイン量を算出する固定ゲイン量算出手段と、前記人物検出手段による検出結果を用いて、前記固定ゲイン量算出手段により算出された固定ゲイン量を適用する輝度の範囲を決定する適用範囲算出手段と、前記固定ゲイン量と、前記固定ゲイン量を適用する輝度の範囲を用いた第１の階調特性と、前記入力画像の輝度が低いほど乗じるゲインを高くする第２の階調特性とを加重加算して生成した階調特性を用いて階調補正を行う階調補正手段と、を備えることを特徴とする。
【発明の効果】
【０００９】
被写体として人物が撮像画像中に存在する場合に、人物の重要度を鑑みたうえで好適に階調補正された画像を生成することが可能となる。
【図面の簡単な説明】
【００１０】
【図１】本発明の画像処理装置の第１の実施形態の構成を示したブロック図。
【図２】第１の実施形態における画像処理部１０３の構成を表すブロック図。
【図３】第１の実施形態における画像処理部１０３の処理の流れを示すフローチャート。
【図４】第１の実施形態における入力画像を示す図。
【図５】ＦＡＣＥ＿ＰＯＩＮＴの算出方法を説明する図。
【図６】固定ゲインテーブルの模式図。
【図７】第１の実施形態における、顔評価値算出の流れを示すフローチャート。
【図８】顔領域の大きさと、大きさによる評価値との対応関係の一例を示す特性図
【図９】顔領域の位置と、位置による評価値との対応関係の一例を示す特性図。
【図１０】階調補正に用いるゲインテーブル（ＧＡＩＮＴＡＢＬＥ＿ＭＩＸ）の模式図。
【図１１】γ特性による階調圧縮処理を説明する図。
【図１２】顔を最適にしたγ特性による階調圧縮処理を説明する図。
【図１３】顔肌領域の輝度と髪領域の輝度の関係と、固定ゲイン量の算出方法の組み合わせの一例を示す図。
【図１４】第２の実施形態における画像処理部１０３の構成を表すブロック図。
【図１５】第２の実施形態における画像処理部１０３の処理の流れを示すフローチャート。
【図１６】第２の実施形態における背景領域を説明する図。
【図１７】顔領域の輝度分布と背景領域の輝度分布の差分の関係と、選択する固定ゲインテーブルの組み合わせの一例を示す図。
【図１８】部分コントラスト補正に用いるゲインテーブルの模式図。
【発明を実施するための形態】
【００１１】
以下、本発明の実施形態について、添付図面を参照して詳細に説明する。
【００１２】
（第１の実施形態）
図１は、本発明の画像処理装置の第１の実施形態の構成を示したブロック図である。図１において、入力部１０１は、ユーザからの指示（操作）や、データを入力する装置であり、例えばキーボードやポインティング装置を含む。なお、ポインティング装置としては、マウス、トラックボール、またはタブレット等が挙げられる。あるいは、本例を例えば公知のデジタルカメラ装置に適用した場合には、ボタンやモードダイヤル等で構成されてもよい。
【００１３】
記録部１０２は、画像データを保持する部分であり、ハードディスク、ＣＤ−ＲＯＭやＣＤ―Ｒ、メモリーカード、ＣＦカード、スマートメディア、ＳＤカード、またはメモリスティック等で構成される。また、プログラムやその他のデータを保存することも可能である。
【００１４】
画像処理部１０３では入力された画像に対して階調補正（階調特性の補正）を行う。詳細については後ほど説明する。
【００１５】
表示部１０４は、液晶ディスプレイや有機ＥＬ（Electro Luminescence）ディスプレイで構成され、画像処理前、あるいは画像処理後の画像を表示したり、あるいはＧＵＩ等の画像を表示したりする。また、画像処理装置とケーブル等で接続された外部のディスプレイ装置であっても構わない。
【００１６】
システムバス１１１は、各部（１０１〜１０４）と制御部を通信可能に相互に接続する。なお、図示しないが、さらに公知のＣＣＤなどを有する撮像部を設けて、この撮像部により画像を撮像して記録部１０２に蓄える、というように構成してもよい。
【００１７】
図２は、画像処理部１０３内の階調補正処理に関わる具体的な構成の一例を示すブロック図である。さらに、図２のブロック図に対応するフローチャートが図３である。以下、図２のブロック図及び図３のフローチャートに沿って本実施形態の画像処理部１０３における階調補正処理について説明する。なお、以下の階調補正処理の説明では、階調補正処理の対象となるデータである画像データのことも画像と称している。
【００１８】
まず、階調補正処理がスタートすると、Ｓ３０１において、人物検出部２０１により、入力された画像における人物を検出する。本実施形態で入力された画像を図４に示す。図４の入力画像は逆光状態の人物が複数人存在するシーンである。
【００１９】
人物を検出する方法として、画像に対して顔検出処理を行い、画像中の顔の大きさと位置および信頼度を算出する。図４の顔領域は顔検出結果である顔の大きさと位置を表している。顔検出方法については特に制限はなく、任意かつ公知の方法を適用することができる。公知の技術としては、ニューラルネットワークなどを利用した学習に基づく手法、テンプレートマッチングを用いて、目、鼻、口などの形状に特徴のある部分を画像から探し出し、類似度が高ければ顔とみなす手法などがある。このような手法の場合、類似度を信頼度として用いてもよい。また、画像に対して顔検出処理を行う場合、画像が明るすぎたり暗すぎたりすると顔検出の精度が低下する可能性があるので、顔検出処理を行う画像の明るさに基づいて顔検出の精度が高くなる明るさほど信頼度が高くなるようにしてもよい。
【００２０】
また、別の人物検出の方法として、公知の技術である人体検出処理を行い、画像中の人体の大きさ、位置、信頼度を算出してもよい。特に逆光時の人物は、顔の特徴部分が認識できないほど顔が暗いため顔検出しにくい場合もあるが、人体検出であれば人物全体の形状から検出が可能である。そして、検出した人体の大きさと位置から顔の大きさと位置を算出する。人体検出結果から顔領域を算出する方法は、例えば特開２０１１−２１０２３８号公報に記述されているのでここでは詳細な説明は省略する。
【００２１】
また、上記のように画像から自動的に検出する方法のみではなく、表示部１０４に画像を表示するとともに、表示された画像上の一部の範囲をユーザが入力部１０１を介して指定する方法であってもよい。
【００２２】
Ｓ３０２では、固定ゲイン量算出部２０２により、Ｓ３０１にて検出されたすべての顔に対して、階調補正に用いる固定ゲイン量を算出する。まずは検出された各顔領域の代表輝度値を算出する。本実施形態では代表輝度値として顔領域の平均輝度（輝度平均値）を用いることとする。
【００２３】
次に顔領域の代表輝度値をＹ＿ＦＡＣＥ、予め設定された人物用の目標輝度値をＹ＿ＲＥＦとすると、固定ゲイン量ＧＡＩＮ＿ＦＡＣＥは下記式で算出される。
【００２４】
ＧＡＩＮ＿ＦＡＣＥ＝Ｙ＿ＲＥＦ／Ｙ＿ＦＡＣＥ          …（式１）
ここで、本実施形態では、等倍（１倍）未満のゲイン量に関しては実施しないため、式１で算出した固定ゲイン量が等倍未満になっている場合は等倍（１倍）とする。
【００２５】
なお、輝度信号の算出方法については、公知の色空間変換方法を用いる。一例をあげると、入力された画像がＲＧＢであった場合、輝度信号Ｙは下記式で算出される。
【００２６】
Ｙ＝０．２９９×Ｒ＋０．５８７×Ｇ＋０．１１４×Ｂ    …（式２）
なお、代表輝度値については、平均値のみでなく、領域内の最頻出値や最高値であってもよい。
【００２７】
Ｓ３０３では、固定ゲイン適用範囲算出部２０３において、顔領域毎の輝度に応じて、Ｓ３０２で算出した固定ゲイン量を適用する輝度の範囲を決定する。説明のため、固定ゲイン量を適用する範囲をＦＡＣＥ＿ＰＯＩＮＴと呼ぶこととする。
【００２８】
本実施形態では顔領域毎の輝度のヒストグラムを用いて固定ゲイン量を適用する範囲を決定する。図５を用いて具体的な内容を説明する。
【００２９】
まず図５（ａ）に示すように顔領域に対して輝度のヒストグラムを算出する。次に、ヒストグラムにおける最小の輝度値から順に画素数を累積加算していく。そして、図５（ｂ）に示すように、画素数の累積加算値が、ある一定の閾値（ＦＡＣＥ＿ＴＨ）以上になった時点で最後に画素数を加算した輝度の値をＦＡＣＥ＿ＰＯＩＮＴとする。
【００３０】
ここで、上記の閾値（ＦＡＣＥ＿ＴＨ）は下記式で表すことができる
ＦＡＣＥ＿ＴＨ＝ＦＡＣＥ＿ＡＬＬＡＲＥＡ×Ｐ＿ＦＡＣＥ      …（式３）
ＦＡＣＥ＿ＡＬＬＡＲＥＡは顔領域の総画素数、Ｐ＿ＦＡＣＥは調整パラメータである。画素数の累積加算値が、顔領域の総画素数に対し何パーセントに達したかでＦＡＣＥ＿ＰＯＩＮＴを決定する。なお、固定ゲイン量を適用する範囲の決定方法はヒストグラムのみに限らず、顔領域の平均輝度値または最大輝度値から決定してもよい。
【００３１】
Ｓ３０２とＳ３０３までの処理で、式４が示すように階調補正に用いる固定ゲインテーブルＧＡＩＮＴＡＢＬＥ＿ＦＡＣＥが各顔毎に算出されている。図６はゲインテーブルの模式図を表している。
【００３２】
ＧＡＩＮＴＡＢＬＥ＿ＦＡＣＥ（Ｙｉｎ）＝ＧＡＩＮ＿ＦＡＣＥ    …（式４）
（ただし、０≦Ｙｉｎ≦ＦＡＣＥ＿ＰＯＩＮＴ）
式４においてＹｉｎとは入力される輝度を表し、例えば信号範囲が８ビットであれば、Ｙｉｎは０から２５５までの値を取り得る。
【００３３】
Ｓ３０４では、Ｓ３０１で検出されたすべての顔について、顔の重要度を表す顔評価値を算出する。顔評価値はＳ３０５の階調補正に用いるゲインテーブルを算出する際に、前述の固定ゲインテーブルＧＡＩＮＴＡＢＬＥ＿ＦＡＣＥと従来の部分コントラスト補正のゲインテーブルを加重加算する際の重みとして使用される。
【００３４】
顔評価値算出部２０４において、Ｓ３０１で検出されたすべての顔に対して、顔評価値を算出する。顔評価値は顔検出時に算出した顔の大きさ、位置、信頼度を用いる。
【００３５】
ここで、複数の人物を撮影する場合に下記ユースケースを仮定し、顔評価値を決定する。
ユースケース１ ： 主要人物の顔はある所定の大きさより大きく撮影されている。
ユースケース２ ： 主要人物の顔は画像の中央近辺に撮影されている。
ユースケース３ ： 主要人物の顔の信頼度は高い。
【００３６】
図７は顔評価値算出のフローチャートである。以下、図７のフローチャートに沿って説明する。
【００３７】
Ｓ７０１では、顔領域の大きさによる評価値Ｉｓを決定する。これはユースケース１に対応したものである。図８は顔領域の大きさと、顔領域の大きさによる評価値Ｉｓとの対応関係の一例を示す特性図である。図８の特性図では、顔領域の画像全体に対する面積比を横軸にとり、大きさによる評価値Ｉｓを縦軸にとっている。例えば、画像中においてある程度の比率（ＴＨ＿ＳＩＺＥ）以上の大きさで写っている人物は重要であり、それ以下の大きさの人物は、上記の比率が小さくなるにつれて重要度が低くなる、ということを表している。
【００３８】
なお、本実施形態の意図するところは、顔領域の面積に応じてその顔領域の評価値を算出することである。したがって、図８の特性図による対応関係は一例であって、他の特性図による対応関係であってもよい。
【００３９】
Ｓ７０２では、顔領域の位置による評価値Ｉｐを決定する。これはユースケース２に対応したものである。図９は顔領域の位置と、位置による評価値Ｉｐとの対応関係の一例を示す特性図である。
【００４０】
図９の９０１は入力画像の領域を表している。９０２は予め定めておいた領域（ｈ１，ｖ１）−（ｈ２，ｖ２）であり、おそらくは主要人物の顔が写ると想定される領域である。また、注目している領域の水平方向の位置と評価値との対応関係を示す特性図を図中下側に、注目している領域の垂直方向の位置と評価値との対応関係を示す特性図を図中左側に記述している。なお、水平・垂直方向の位置をそれぞれ画像の幅、高さで正規化しているが、これは説明を分かりやすくするためである。
【００４１】
まず、Ｓ３０１の顔検出で検出した顔における位置座標に対して、図９に示す水平・垂直の特性図で表される位置と評価値との対応関係から、垂直位置による評価値Ｉｐｖと水平位置による評価値Ｉｐｈをそれぞれ算出する。そして、位置による評価値Ｉｐを、垂直位置による評価値Ｉｐｖと水平位置による評価値Ｉｐｈより算出する。本実施形態ではＩｐｖとＩｐｈを掛け合わせて位置による評価値Ｉｐを算出することとする。
【００４２】
なお、本実施形態の意図するところは、顔領域の位置に応じてその顔領域の評価値を算出することである。したがって、図９の特性図による対応関係は一例であって、他の特性図による対応関係であってもよい。
【００４３】
また、本実施形態では、位置による評価値Ｉｐを求めるのに、垂直位置による評価値Ｉｐｖと水平位置による評価値Ｉｐｈとを掛け算して求めるようにしたがこれに限られない。例えば、垂直位置による評価値Ｉｐｖと水平位置による評価値Ｉｐｈとの最大値、最小値、または平均値などによって位置による評価値Ｉｐを求めるようにしてもよい。
【００４４】
Ｓ７０３では、顔領域の信頼度による評価値Ｉｆを決定する。これはユースケース３に対応したものである。ここでは信頼度の値が高いほど、顔である可能性が高いとする。そして、例えば［０，１．０］や［０，１００］のように信頼度が正規化されている場合は、それを［０，１ ．０］となるように必要に応じて再度正規化し、その値をＩｆとして出力する。
【００４５】
また、信頼度が正規化されていない場合は、すべての顔領域の信頼度の最大値ＦＡＣＥｍａｘを求め、さらにＦＡＣＥｍａｘで各顔領域の信頼度を割って正規化した値、すなわちＦＡＣＥ／ＦＡＣＥｍａｘを各顔領域の評価値Ｉｆとして出力する。ここで、ＦＡＣＥは、各顔領域の信頼度である。
【００４６】
Ｓ７０４では、Ｓ７０１、Ｓ７０２、Ｓ７０３で決定した各評価値より、最終的な顔評価値Ｉａｌｌを決定する。Ｉａｌｌは下記式で算出される。
【００４７】
Ｉａｌｌ＝Ｉｓ×Ｉｐ×Ｉｆ                      …（式５）
なお、顔評価値の算出方法は上記式のみに限られない。例えば、各評価値の最大値、最小値、平均値などによって決定するようにしてもよい。あるいは、各評価値に対する重みを決定しておき、重み付け平均して顔評価値を算出するようにしてもよい。あるいは、評価値Ｉｓと評価値Ｉｐと評価値Ｉｆの少なくとも１つから算出すればよい。
【００４８】
Ｓ７０５では、入力画像中のすべての顔に対して顔評価値を算出したか否かを判定する。算出していない場合はＳ７０１に戻り処理を継続する。一方、算出している場合は処理を終了する。
【００４９】
ここまででＳ３０４の顔評価値算出の説明を終了する。再び図３に戻り、処理を説明していく。
【００５０】
Ｓ３０５では、ゲインテーブル合成部２０６により、階調補正に用いるゲインテーブルを合成する。ゲインテーブルの合成には、Ｓ３０２とＳ３０３で算出した各顔領域ごとの固定ゲインテーブルＧＡＩＮＴＡＢＬＥ＿ＦＡＣＥ、Ｓ３０４で算出した各顔領域の顔評価値Ｉａｌｌを参照する。また、ゲインテーブル保持部２０５に予め保存してある部分コントラスト補正処理による階調補正用のゲインテーブルも参照する。以降の説明のため、ゲインテーブル保持部２０５に予め保存してあるゲインテーブルをＧＡＩＮＴＡＢＬＥ＿ＰＲＥ、合成によって算出されるゲインテーブルをＧＡＩＮＴＡＢＬＥ＿ＭＩＸと呼ぶこととする。
【００５１】
まず、ＧＡＩＮＴＡＢＬＥ＿ＰＲＥについて説明する。予め保存してあるゲインテーブルＧＡＩＮＴＡＢＬＥ＿ＰＲＥとは図１８に示した従来の部分コントラスト補正技術で用いていたゲインテーブルであり、入力画像の輝度が低くければ低いほど高いゲインをかける特性を有する。従来技術におけるゲインテーブルの決め方については、例えば特願２００９−０９３３５０号公報に記述されているのでここでは詳細な説明は省略する。
【００５２】
次に、顔領域毎に算出したＧＡＩＮＴＡＢＬＥ＿ＦＡＣＥのうち、ＧＡＩＮＴＡＢＬＥ＿ＭＩＸの算出に用いるＧＡＩＮＴＡＢＬＥ＿ＦＡＣＥを決定する。本実施形態では、予め定めた閾値以上の顔評価値Ｉａｌｌを有し、かつ顔領域の平均輝度が最も高い顔領域のＧＡＩＮＴＡＢＬＥ＿ＦＡＣＥを用いることとする。この理由は、顔評価値Ｉａｌｌが予め設定した閾値未満の顔領域は重要な主要人物である可能性が低いため、ユーザの撮影意図を鑑みると、階調補正の対象とせずともよいと考えられる。また、従来部分コントラスト補正技術の問題点であった人物の顔領域の陰影がなくなりコントラストの低い顔になってしまう現象や黒髪が白髪のように変化してしまう現象を避けるためには、複数人検出した人物のうち顔領域の平均輝度が最も高い顔領域を階調補正の基準とすれば固定ゲイン量が小さくなるため弊害現象を避けることができる。
【００５３】
最後に、ＧＡＩＮＴＡＢＬＥ＿ＰＲＥと基準で選択したＧＡＩＮＴＡＢＬＥ＿ＦＡＣＥを加重加算で合成することでＧＡＩＮＴＡＢＬＥ＿ＭＩＸを算出する。加重加算は下記式により行われる。
【００５４】
ＧＡＩＮＴＡＢＬＥ＿ＭＩＸ（Ｙｉｎ）＝
ＧＡＩＮＴＡＢＬＥ＿ＦＡＣＥ（Ｙｉｎ）×Ｉａｌl＋
ＧＡＩＮＴＡＢＬＥ＿ＰＲＥ（Ｙｉｎ）×（１．０−Ｉａｌｌ）    …（式６）
（ただし、０≦Ｙｉｎ≦ＦＡＣＥ＿ＰＯＩＮＴ）
式６においてＹｉｎとは入力される輝度を表す。なお、ＦＡＣＥ＿ＰＯＩＮＴより大きい範囲の輝度におけるＧＡＩＮＴＡＢＬＥ＿ＭＩＸは、ＧＡＩＮＴＡＢＬＥ＿ＰＲＥと等しくなるとする。ここで、顔評価値Ｉａｌｌが１．０である場合のＧＡＩＮＴＡＢＬＥ＿ＭＩＸを図１０に示す。また、階調補正後に階調に疑似輪郭が発生するのを防ぐために、ＧＡＩＮＴＡＢＬＥ＿ＭＩＸは滑らかに変化するのが望ましい。そのため、０≦Ｙｉｎ≦ＦＡＣＥ＿ＰＯＩＮＴの範囲において、ＧＡＩＮＴＡＢＬＥ＿ＦＡＣＥ（Ｙｉｎ）＜ＧＡＩＮＴＡＢＬＥ＿ＰＲＥ（Ｙｉｎ）が成り立つ場合には、両ゲインテーブルの平均値をＧＡＩＮＴＡＢＬＥ＿ＭＩＸ（Ｙｉｎ）とするなど、ＧＡＩＮＴＡＢＬＥ＿ＭＩＸが滑らかに変化させるのがよい。
【００５５】
なお、Ｓ３０１で人物が一人も検出されなかった場合、ＧＡＩＮＴＡＢＬＥ＿ＭＩＸはＧＡＩＮＴＡＢＬＥ＿ＰＲＥと等しくなる。
【００５６】
また、本実施形態では、複数人検出した人物のうち顔領域の平均輝度が最も高い顔領域のＧＡＩＮＴＡＢＬＥ＿ＦＡＣＥを選択したがこれに限られない。例えば、表示部１０４にモード名を表示するとともに、表示されたモードからユーザが入力部１０１を介して指定したモードの設定に従いＧＡＩＮＴＡＢＬＥ＿ＦＡＣＥを選択するようにしてもよい。例えばモード名を低輝度人物優先階調補正とし、ユーザがそのモードを選択した場合は、検出した顔領域のうち、最も代表輝度値が低い顔領域のＧＡＩＮＴＡＢＬＥ＿ＦＡＣＥを選択する。一方、人物優先階調補正（明るさ指定）というモード名では、ユーザが入力した輝度値に最も近い代表輝度値を持つ顔領域のＧＡＩＮＴＡＢＬＥ＿ＦＡＣＥを選択するなどが挙げられる。
【００５７】
Ｓ３０６では、ゲイン処理部２０８により、Ｓ３０５にて算出した階調補正に用いるゲインテーブルＧＡＩＮＴＡＢＬＥ＿ＭＩＸを元に入力画像の輝度信号に対して階調補正を行う。
【００５８】
Ｓ３０７では、Ｓ３０６でゲイン処理を行ったｍビットの信号を表示装置に合せて、γ特性に沿った階調圧縮処理を行い、ｎ（ｎ≦ｍ）ビットの信号を出力する。通常のγ特性の特性図を図１１に実線で示す。さらに点線で示したγ特性のように低輝度部のコントラストを向上させる（コントラストを強調する）特性のγを用いてもよい。点線で示されるγ特性は、特に逆光時の人物の顔領域がフレアの影響等により低コントラストになってしまう問題の対策として有効である。
【００５９】
以上のように、本実施形態では、逆光シーンのように暗い人物が撮像画像中に存在する場合（逆光判定）に、人物の顔領域輝度に着目したゲインテーブルを算出する。これにより、従来部分コントラスト補正技術のような人物の顔領域の陰影がなくなり、のっぺりとしたコントラストの低い顔になってしまう現象を回避できる。また、黒髪の人物では顔の領域に比べて、髪領域にかかるゲインが大きいため、不自然に明るくなり白髪のように変化してしまう現象を起こらないようにすることもできる。そしてそれらの現象を防ぎつつも、好適な明るさに階調補正された画像を生成することができる。
【００６０】
なお、本実施形態では人物の顔領域輝度に着目したゲインテーブルと従来の部分コントラスト補正のゲインテーブルを顔の評価値で加重加算したゲインテーブルを用いて階調補正を行った。しかし、先に人物の顔領域輝度に着目したゲインテーブルで階調補正を行った画像と従来の部分コントラスト補正のゲインテーブルで階調補正を行った画像を生成し、それら階調補正後の画像どうしを加重加算する方法であっても構わない。
【００６１】
また、階調補正のゲイン量をすべての輝度で等倍、つまり階調補正を行わずに、図１２の実線に示すような主要人物の明るさを最適にするγ特性で階調圧縮処理を行う構成としても、本実施形態の効果を得ることが可能である。
【００６２】
また、公知の技術である逆光シーンであるか否かを判定する技術（特開２００４−２００８０８号公報）を用いて、Ｓ３０１の人物検出で検出された人物が逆光状態であるか否かを判定する。そしてＳ３０５でゲインテーブルを合成する際に参照する顔領域を逆光状態の人物に限定する構成としてもよい。このような構成とすることで、演算負荷の低減を図ることが可能である。
【００６３】
また、公知の技術である人物の髪領域を検出する（髪領域検出）技術（特開２０１１−１４１６２２号公報）を用いて、顔肌領域の輝度と髪領域の輝度の関係から固定ゲイン量ＧＡＩＮ＿ＦＡＣＥの算出方法を切り替える構成としてもよい。切り替えの組み合わせの一例を図１３に示す。ここではまず検出した顔肌領域と髪領域に対して予め設定した閾値Ｔ０、Ｔ１と比較し、それらの領域が明るいか否かを判定する。そして、顔肌領域の輝度が閾値Ｔ０以上で、かつ髪領域の輝度が閾値Ｔ１以上と判定された場合は、顔肌領域と髪領域の代表輝度値のうち、より高い方の代表輝度値から固定ゲイン量を算出する。
【００６４】
一方、顔肌領域の輝度が閾値Ｔ０以上で、かつ髪領域の輝度が閾値Ｔ１未満と判定された場合は、顔肌領域の代表輝度値から固定ゲイン量を算出する。また、顔肌領域の輝度が閾値Ｔ０未満で、かつ髪領域の輝度が閾値Ｔ１以上と判定された場合は、髪領域の代表輝度値から固定ゲイン量を算出する。また、顔肌領域の輝度が閾値Ｔ０未満で、かつ髪領域の輝度が閾値Ｔ１未満と判定された場合は、顔肌領域と髪領域の代表輝度値のうち、より高い方の代表輝度値から固定ゲイン量を算出する。
【００６５】
このように構成することで、低輝度領域に大きなゲインがかかることを防ぎ、例えば低輝度の黒髪領域にかかるゲインが顔肌領域よりも大きいために、黒髪が白髪のように変化してしまう現象を抑えることができる。さらに、公知の技術である人種を推定する（人種判定）技術（特開２００５−２６６９８１号公報）を用いて、黒髪で肌の輝度が高くなる傾向を有する東洋人を検出した判定結果の場合には、顔肌領域の代表輝度値から固定ゲイン量を算出するように構成してもよい。
【００６６】
（第２の実施形態）
以下、本発明の第２の実施形態について、第１の実施形態と共通する点については説明を省略し、異なる点について主に説明する。
【００６７】
第１の実施形態では入力画像において人物が存在する場合は、人物を最優先にした階調補正処理を行った。しかし、高い輝度の人物を優先した階調補正量を設定することで、従来の部分コントラスト補正処理で得ていた人物以外の領域の階調補正効果を減少させてしまう。以降説明のため人物以外の領域を背景領域と呼ぶこととする。
【００６８】
第２の実施形態では、人物の顔領域の輝度分布（人物輝度分布算出）と背景領域の輝度分布（背景輝度分布算出）を比較し、輝度分布の差がほぼ同じ場合は、顔領域の輝度から算出した固定ゲインテーブルを最終的な階調補正に用いるゲインテーブルの算出に用いる。一方、輝度分布の差が大きく異なる場合には、顔領域の輝度から算出した固定ゲインテーブルと、背景領域の輝度から算出した固定ゲインテーブルを顔評価値で加重加算した固定ゲインテーブルを算出する。そして算出した固定ゲインテーブルを最終的な階調補正に用いるゲインテーブルの算出に用いることで、背景領域の階調補正効果を不用意に減少させてしまうことを避ける方法について説明する。
【００６９】
図１４は、本実施形態での階調補正処理に関わる具体的な構成を示すブロック図である。図１４に示すブロック図は図２に示した第１の実施形態のブロック図と比較して以下の点が異なる。背景領域決定部１４０１、背景領域用固定ゲイン量算出部１４０２、背景領域用固定ゲイン適用範囲算出部１４０３が追加され、処理内容が第１の実施形態と異なるのでゲインテーブル合成部の番号を１４０４に変更している。そして、図１４のブロック図に対応するフローチャートが図１５である。図１５に示すフローチャートは、図３に示した第１の実施形態のフローチャートと比較して、Ｓ３０４の後にＳ１５０１〜Ｓ１５０３を加え、Ｓ３０５をＳ１５０４に変更している。以下、図１５のフローチャートおいて図３から追加・変更した部分について説明する。なお、以下の階調補正処理の説明では、階調補正処理の対象となるデータである画像データのことも画像と称している。
【００７０】
Ｓ１５０１では、背景領域決定部１４０１において、入力された画像における背景領域を決定する。本実施形態では図１６に黒塗りの領域で示すように、Ｓ３０１で検出した人物領域以外の領域を背景領域とする。
【００７１】
Ｓ１５０２では、背景領域用固定ゲイン量算出部１４０２において、Ｓ１５０１にて決定した背景領域に対して階調補正に用いる固定ゲイン量を算出する。背景領域用の固定ゲイン量（ＧＡＩＮ＿ＢＡＣＫ）は背景領域の代表輝度値（Ｙ＿ＢＡＣＫ）と予め設定された背景用の目標輝度値（Ｙ＿ＢＡＣＫ＿ＲＥＦ）を用いて、下記式で算出される。
【００７２】
ＧＡＩＮ＿ＢＡＣＫ＝Ｙ＿ＢＡＣＫ＿ＲＥＦ／Ｙ＿ＢＡＣＫ      …（式７）
また、背景領域の代表輝度値は、背景領域の平均輝度や座標に応じた重み付けによる加重平均値を用いる。
【００７３】
Ｓ１５０３では、背景領域用固定ゲイン適用範囲算出部１４０３において、背景領域の輝度に応じて、Ｓ１５０１で算出した背景領域用固定ゲイン量を適用する範囲を決定する。決定方法はＳ３０３と同じであるため詳細な説明は省略する。
【００７４】
Ｓ１５０４では、ゲインテーブル合成部１４０４において、階調補正に用いるゲインテーブルを合成する。Ｓ３０５と異なる点は、顔領域の輝度分布と背景領域の輝度分布の差分に応じて固定ゲインテーブル選択を切り替える点である。ここで輝度分布とは顔領域および背景領域のヒストグラムを画素数で正規化したものを指す。切り替えの組み合わせの一例を図１７に示す。
【００７５】
図１７より、Ｓ３０１で人物が一人も検出されなかった場合は、最終的な階調補正で用いるゲインテーブルＧＡＩＮＴＡＢＬＥ＿ＭＩＸはゲインテーブル保持部２０５に予め保存してあるゲインテーブルＧＡＩＮＴＡＢＬＥ＿ＰＲＥと等しくなる。
【００７６】
一方、Ｓ３０１で人物が一人だけ検出され、かつ背景領域の輝度分布と顔領域の輝度分布の差分が予め設定した閾値Ｔ３未満である場合、つまり、顔領域と背景領域の明るさが近いと判断される場合は、顔領域の固定ゲインテーブルを選択する。そして、最終的な階調補正に用いるゲインテーブルＧＡＩＮＴＡＢＬＥ＿ＭＩＸは、選択された顔領域の固定ゲインテーブルと、ゲインテーブル保持部２０５に予め保存してあるゲインテーブルＧＡＩＮＴＡＢＬＥ＿ＰＲＥを顔評価値を重みとして、加重加算することによって算出される。
【００７７】
一方、Ｓ３０１で人物が一人だけ検出され、かつ背景領域の輝度分布と顔領域の輝度分布の差分が予め設定した閾値Ｔ３以上である場合、つまり、顔領域と背景領域の明るさが離れていると判断される場合は、次のようにする。すなわち、顔領域の固定ゲインテーブルと背景領域の固定ゲインテーブルを顔評価値で加重加算する。そして、最終的な階調補正に用いるゲインテーブルＧＡＩＮＴＡＢＬＥ＿ＭＩＸは、加重加算で算出されたゲインテーブルと、ゲインテーブル保持部２０５に予め保存してあるゲインテーブルＧＡＩＮＴＡＢＬＥ＿ＰＲＥを背景領域の固定ゲインテーブルの重みを１．０として、加重加算することによって算出される。つまり、背景領域の固定ゲインテーブルが適用される範囲はすべてこちらのゲインテーブルが使用されることになる。これによって、人物の顔評価値が低い場合は、背景領域の階調補正が優先されることになる。従って、従来の部分コントラスト補正処理で得ていた背景領域の階調補正効果を減少させることなく好適な明るさに補正された画像を得ることができる。
【００７８】
一方、Ｓ３０１で人物が複数人検出された場合は、本実施形態では最も顔評価値が高い人物の固定ゲインテーブルを用いる。ここで、最も顔評価値が高い人物を主顔と呼ぶこととする。そして、背景領域の輝度分布と主顔の顔領域の輝度分布の差分が予め設定した閾値Ｔ３未満である場合は、主顔の顔領域の固定ゲインテーブルを選択する。そして、最終的な階調補正に用いるゲインテーブルＧＡＩＮＴＡＢＬＥ＿ＭＩＸは、選択された主顔の顔領域の固定ゲインテーブルと、ゲインテーブル保持部２０５に予め保存してあるゲインテーブルＧＡＩＮＴＡＢＬＥ＿ＰＲＥを主顔の顔評価値を重みとして、加重加算することによって算出される。
【００７９】
一方、背景領域の輝度分布と主顔の顔領域の輝度分布の差分が予め設定した閾値Ｔ３以上である場合は、主顔の顔領域の固定ゲインテーブルと背景領域の固定ゲインテーブルを顔評価値で加重加算する。そして、最終的な階調補正に用いるゲインテーブルＧＡＩＮＴＡＢＬＥ＿ＭＩＸは、加重加算で算出されたゲインテーブルと、ゲインテーブル保持部２０５に予め保存してあるゲインテーブルＧＡＩＮＴＡＢＬＥ＿ＰＲＥを背景領域の固定ゲインテーブルの重みを１．０として、加重加算することによって算出される。
【００８０】
なお、本実施形態では複数の人物が検出された際に、顔評価値が最も高い人物の固定ゲインテーブルを使用したがこれに限定されない。例えば、複数の人物のなかで最も顔領域の平均輝度が高い人物や、最も平均輝度が低い人物の固定ゲインテーブルを選択するように構成してもよい。
【００８１】
本実施形態の場合、第１の実施形態に比べ、背景領域の階調補正効果を不用意に減少させてしまうことを避け、シーンに応じて背景の明るさが好適になるように補正された画像を得ることができる。
【００８２】
（他の実施形態）
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。
【００８３】
以上、本発明をその好適な実施形態に基づいて詳述してきたが、本発明はこれら特定の実施形態に限られるのもではなく、この発明の要旨を逸脱しない範囲の様々な形態も含まれる。
【図１】
2015087949.tif 000003
【図２】
2015087949.tif 000004
【図３】
2015087949.tif 000005
【図６】
2015087949.tif 000006
【図７】
2015087949.tif 000007
【図８】
2015087949.tif 000008
【図９】
2015087949.tif 000009
【図１０】
2015087949.tif 000010
【図１１】
2015087949.tif 000011
【図１２】
2015087949.tif 000012
【図１３】
2015087949.tif 000013
【図１４】
2015087949.tif 000014
【図１５】
2015087949.tif 000015
【図１７】
2015087949.tif 000016
【図１８】
2015087949.tif 000017
【図４】
2015087949.tif 000018
【図５】
2015087949.tif 000019
【図１６】
2015087949.tif 000020