(57)【特許請求の範囲】
【請求項１】
入力される画像から顔領域を検出する検出手段と、
前記顔領域の輝度を算出するとともに、該顔領域についての複数の特徴をそれぞれ表す複数の第１の特徴量を算出する第１の特徴量算出手段と、
前記画像の全領域の特徴量を表す少なくとも１つの第２の特徴量を算出する第２の特徴量算出手段と、
前記顔領域の輝度が目標とする値となるように前記画像の階調を補正するための補正値を、あらかじめ算出された、前記複数の第１の特徴量および前記第２の特徴量と前記補正値との関係に基づいて算出する補正値算出手段と、
前記補正値に基づいて前記画像の階調を補正する補正手段とを備えたことを特徴とする画像処理装置。
【請求項２】
前記第１の特徴量算出手段は、前記顔領域の輝度、コントラストおよび該顔領域における特定の輝度の頻度の割合を前記第１の特徴量として算出する手段であることを特徴とする請求項１記載の画像処理装置。
【請求項３】
前記第１の特徴量算出手段は、前記画像における前記顔領域の画素値の分布情報に基づいて、前記コントラストおよび前記顔領域における特定の輝度の頻度の割合を算出する手段であることを特徴とする請求項２記載の画像処理装置。
【請求項４】
前記第２の特徴量算出手段は、前記全領域についての色差の累積ヒストグラムにおける最大累積値に対する所定色差の累積値の割合である色差の割合、前記全領域における特定の輝度の頻度の割合、および前記顔領域と前記全領域との輝度差の少なくとも１つを前記第２の特徴量として算出する手段であることを特徴とする請求項１から３のいずれか１項記載の画像処理装置。
【請求項５】
前記第２の特徴量算出手段は、前記画像における前記全領域の画素値の分布情報に基づいて、前記全領域における特定の輝度の頻度の割合を算出する手段であることを特徴とする請求項４記載の画像処理装置。
【請求項６】
前記補正値算出手段は、前記第１の特徴量および前記第２の特徴量を、所定のパラメータにより定められる演算式に適用して前記補正値を算出する手段であることを特徴とする請求項１から５のいずれか１項記載の画像処理装置。
【請求項７】
前記所定のパラメータは、複数のサンプル画像から取得した、該各サンプル画像に含まれる顔を好ましい明るさとするための補正値である正解補正値、並びに該各サンプル画像から算出した前記第１の特徴量および前記第２の特徴量に基づいて設定されたパラメータであることを特徴とする請求項６記載の画像処理装置。
【請求項８】
前記顔領域の輝度は、該顔領域の輝度の平均値、該顔領域の中央領域ほど重みを大きくした該顔領域の輝度の重みづけ平均値、および該顔領域の輝度のメディアン値のいずれかであることを特徴とする請求項１から７のいずれか１項記載の画像処理装置。
【請求項９】
前記補正値算出手段は、前記補正値に基づいて前記顔領域の輝度が目標とする値となるように前記画像の階調を補正する補正テーブルを算出する手段であることを特徴とする請求項１から８のいずれか１項記載の画像処理装置。
【請求項１０】
前記補正テーブルによる前記画像の補正が過補正となるか否かを判定し、該判定が肯定された場合に前記補正テーブルよりも補正量を抑制した新たな補正テーブルを算出する補正値修正手段をさらに備えたことを特徴とする請求項９記載の画像処理装置。
【請求項１１】
前記補正値修正手段は、前記過補正となるか否かの判定を、前記画像における基準値を前記補正テーブルを用いて補正することにより取得される補正値が、所定のしきい値よりも大きく補正されるか否かを判定することにより行う手段であることを特徴とする請求項１０記載の画像処理装置。
【請求項１２】
前記補正手段は、前記補正テーブルに基づいて前記画像の階調を補正する手段であることを特徴とする請求項９から１１のいずれか１項記載の記載の画像処理装置。
【請求項１３】
前記補正テーブルに基づいて、該補正テーブルよりも補正の程度が異なる少なくとも１つの他の補正テーブルを算出する補正テーブル算出手段をさらに備えたことを特徴とする請求項９から１１のいずれか１項記載の画像処理装置。
【請求項１４】
前記補正手段は、前記補正テーブルおよび前記他の補正テーブルに基づいて複数の前記画像の階調を補正して複数の処理済み画像を取得する手段であり、
前記複数の処理済み画像を表示する表示手段と、
前記複数の処理済み画像における所望とされる処理済み画像の選択を受け付ける選択手段とをさらに備えたことを特徴とする請求項１３記載の画像処理装置。
【請求項１５】
入力される画像から顔領域を検出し、
前記顔領域の輝度を算出するとともに、該顔領域についての複数の特徴をそれぞれ表す複数の第１の特徴量を算出し、
前記画像の全領域の特徴量を表す少なくとも１つの第２の特徴量を算出し、
前記顔領域の輝度が目標とする値となるように前記画像の階調を補正するための補正値を、あらかじめ算出された、前記複数の第１の特徴量および前記第２の特徴量と前記補正値との関係に基づいて算出し、
前記補正値に基づいて前記画像の階調を補正することを特徴とする画像処理方法。
【請求項１６】
入力される画像から顔領域を検出する手順と、
前記顔領域の輝度を算出するとともに、該顔領域についての複数の特徴をそれぞれ表す複数の第１の特徴量を算出する手順と、
前記画像の全領域の特徴量を表す少なくとも１つの第２の特徴量を算出する手順と、
前記顔領域の輝度が目標とする値となるように前記画像の階調を補正するための補正値を、あらかじめ算出された、前記複数の第１の特徴量および前記第２の特徴量と前記補正値との関係に基づいて算出する手順と、
前記補正値に基づいて前記画像の階調を補正する手順とを有することを特徴とする画像処理方法をコンピュータに実行させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、例えばデジタルカメラ等の撮像装置により取得された画像に対して画像処理を施す画像処理装置および方法並びに画像処理方法をコンピュータに実行させるためのプログラムに関するものである。
【背景技術】
【０００２】
デジタルカメラ等の撮像装置や、スキャナ等の原稿を読み取る読取装置により取得された画像に対して、階調処理等の画像処理を施すことにより、画像の画質を向上させることが行われている。
【０００３】
例えば、画像に含まれる人物の明るさの情報に基づいて、画像が逆光である信頼度および逆光度、並びに人物シーンである信頼度および人物度を判定し、これらの情報に基づいて画像の階調補正を行う手法が提案されている（特許文献１参照）。また、画像から顔領域を検出し、顔領域の輝度値と、画像の全領域の輝度の分布情報とに基づいて、画像を補正するための補正テーブルを算出し、この補正テーブルを用いて画像の色調を補正する手法が提案されている（特許文献２参照）。特許文献２に記載された手法によれば、人物を含む画像において、顔の階調を好ましいものとすることができるとともに、顔の背景も好ましい階調とすることができる。
【特許文献１】特開平８−６２７４１号公報
【特許文献２】特開２００７−１２４６０４号公報
【発明の開示】
【発明が解決しようとする課題】
【０００４】
しかしながら、画像に含まれる人物の顔は、均一な明るさを有する場合のみならず、ハイライトやシャドーとなる領域を含む場合があり、さらには、顔領域内においてコントラストが変化する場合がある。また、画像の全領域についても、ハイライトやシャドーとなる領域を含む場合があり、さらには、画像全体のコントラストも変化する場合がある。このため、特許文献１，２に記載された手法のように、顔や画像の全領域の輝度を用いるのみでは、例えばコントラストがある顔の場合、過補正となって顔が明るすぎるものとなってしまう場合がある。
【０００５】
本発明は上記事情に鑑みなされたものであり、画像に含まれる顔等の特定領域および画像の全領域の種々の状況を考慮して、適切に画像を補正できるようにすることを目的とする。
【課題を解決するための手段】
【０００６】
本発明による画像処理装置は、入力される画像に含まれる特定領域の代表値および、該特定領域についての複数の特徴をそれぞれ表す複数の第１の特徴量を算出する第１の特徴量算出手段と、
前記画像の全領域の特徴量を表す少なくとも１つの第２の特徴量を算出する第２の特徴量算出手段と、
前記代表値、前記複数の第１の特徴量および前記第２の特徴量に基づいて、前記画像を補正するための補正値を算出する補正値算出手段とを備えたことを特徴とするものである。
【０００７】
なお、本発明による画像処理装置においては、前記補正値を、前記特定領域の代表値の目標とする値としてもよい。
【０００８】
また、本発明による画像処理装置においては、前記画像から前記特定領域を検出する検出手段をさらに備えるものとしてもよい。
【０００９】
また、本発明による画像処理装置においては、前記第１の特徴量算出手段を、前記特定領域の輝度、コントラストおよび該特定領域における特定の輝度の頻度の割合を前記第１の特徴量として算出する手段としてもよい。
【００１０】
また、本発明による画像処理装置においては、前記第２の特徴量算出手段を、前記全領域の輝度、コントラスト、色差および該全領域における特定の輝度の頻度の割合の少なくとも１つを前記第２の特徴量として算出する手段としてもよい。
【００１１】
また、本発明による画像処理装置においては、前記第１の特徴量算出手段を、前記特定領域の輝度および各色成分のいずれかから前記代表値を算出する手段としてもよい。
【００１２】
また、本発明による画像処理装置においては、前記補正値算出手段を、前記第１の特徴量および前記第２の特徴量を、所定のパラメータにより定められる演算式に適用して前記補正値を算出する手段としてもよい。
【００１３】
この場合、前記所定のパラメータを、複数のサンプル画像を用いての評価実験に基づいて設定されたパラメータとしてもよい。
【００１４】
また、本発明による画像処理装置においては、前記補正値算出手段を、前記補正値に基づいて補正テーブルを算出する手段としてもよい。
【００１５】
この場合、前記補正テーブルによる前記画像の補正が過補正となるか否かを判定し、該判定が肯定された場合に前記補正テーブルよりも補正量を抑制した新たな補正テーブルを算出する補正値修正手段をさらに備えるものとしてもよい。
【００１６】
またこの場合、前記補正値修正手段を、前記過補正となるか否かの判定を、前記画像における基準値を前記補正テーブルを用いて補正することにより取得される補正値が、所定のしきい値よりも大きく補正されるか否かを判定することにより行う手段としてもよい。
【００１７】
また、本発明による画像処理装置においては、前記補正テーブルに基づいて前記画像データを補正する補正手段をさらに備えるものとしてもよい。
【００１８】
また、本発明による画像処理装置においては、前記補正テーブルに基づいて、該補正テーブルよりも補正の程度が異なる少なくとも１つの他の補正テーブルを算出する補正テーブル算出手段をさらに備えるものとしてもよい。
【００１９】
この場合、前記補正テーブルおよび前記他の補正テーブルに基づいて前記画像データを補正して複数の処理済み画像データを取得する補正手段と、
前記複数の処理済み画像データにより表される複数の処理済み画像を表示する表示手段と、
前記複数の処理済み画像における所望とされる処理済み画像の選択を受け付ける選択手段とを備えるものとしてもよい。
【００２０】
また、本発明による画像処理装置においては、前記第１の特徴量算出手段を、前記画像における前記特定領域の画素値の分布情報に基づいて、前記複数の第１の特徴量を算出する手段としてもよい。
【００２１】
また、本発明による画像処理装置においては、前記第２の特徴量算出手段を、前記画像における前記全領域の画素値の分布情報に基づいて、前記第２の特徴量を算出する手段としてもよい。
【００２２】
本発明による画像処理方法は、入力される画像に含まれる特定領域の代表値および、該特定領域についての複数の特徴をそれぞれ表す複数の第１の特徴量を算出し、
前記画像の全領域の特徴量を表す少なくとも１つの第２の特徴量を算出し、
前記複数の第１の特徴量および前記第２の特徴量に基づいて、前記画像を補正するための補正値を算出することを特徴とするものである。
【００２３】
なお、本発明による画像処理方法をコンピュータに実行させるためのプログラムとして提供してもよい。
【発明の効果】
【００２４】
本発明によれば、入力される画像に含まれる特定領域の代表値および、特定領域についての複数の特徴をそれぞれ表す複数の第１の特徴量が算出され、画像の全領域の特徴量を表す少なくとも１つの第２の特徴量が算出される。そして、代表値、複数の第１の特徴量および第２の特徴量に基づいて、画像を補正するための補正値が算出される。このように、本発明においては、特定領域の複数の特徴量に基づいて補正値を算出するようにしたため、輝度のように１つの特徴量のみに基づいて補正値を算出する場合と比較して、より適切に特定領域を補正することができる。また、画像の全領域の特徴量も考慮しているため、特定領域のみならず、画像全体も適切に補正することができる。
【００２５】
また、補正値を特定領域の代表値の目標とする値とすることにより、補正値により画像を補正した場合に、特定領域の代表値を目標とする値とすることができる。
【００２６】
また、画像から特定領域を検出することにより、本発明の画像処理装置のユーザが画像上において特定領域を指定する作業を行う必要がなくなるため、ユーザの負担を軽減できる。
【００２７】
また、特定領域の輝度、コントラストおよび特定領域における特定の輝度の頻度の割合を第１の特徴量として算出することにより、特定領域の輝度、コントラストおよび特定の輝度の頻度の割合を考慮して、特定領域の明るさおよびコントラストをより好ましいものとすることができる。とくに特定領域が顔である場合には、顔の明るさおよびコントラストをより好ましいものとすることができる。
【００２８】
また、画像の全領域の輝度、コントラスト、色差および全領域における特定の輝度の頻度の割合の少なくとも１つを第２の特徴量として算出することにより、画像全体の輝度、コントラスト、色差および特定の輝度の頻度の割合を考慮して、画像の全領域の明るさ、コントラストあるいは色をより好ましいものとすることができる。
【００２９】
また、第１の特徴量および第２の特徴量を、所定のパラメータにより定められる演算式に適用することにより、補正値を簡易に算出することができる。
【００３０】
この場合、所定のパラメータを複数のサンプル画像を用いての評価実験に基づいて設定されたパラメータとすることにより、ロバスト性のよい補正値を算出することができる。
【００３１】
また、補正値に基づいて算出した補正テーブルを用いることにより、簡易に画像を補正することができる。
【００３２】
また、補正テーブルによる画像の補正が過補正となる場合には、この補正テーブルよりも補正量を抑制した新たな補正テーブルを算出することにより、画像が過補正となることを防止することができる。
【００３３】
補正テーブルよりも補正の度合が異なる少なくとも１つの他の補正テーブルを算出することにより、様々な補正の程度の処理済み画像を得ることができる。
【００３４】
この場合、様々な補正の程度の処理済み画像を表示し、所望とされる処理済み画像の選択を受け付けることにより、所望とされる画質の処理済み画像を得ることができる。また、選択された処理済み画像のみを記録しておけばよいため、画像を記録する記録メディアの容量の消費を防止することができる。
【発明を実施するための最良の形態】
【００３５】
以下、図面を参照して本発明の実施形態について説明する。図１は本発明の第１の実施形態による画像処理装置を適用したデジタルカメラの構成を示す概略ブロック図である。なお、図１に示すデジタルカメラ１においては、本発明と直接関係のない部分について図示および説明を省略する。
【００３６】
図１に示すように、デジタルカメラ１は、撮像部１０、前処理部１２、信号処理部１４、モニタ１６および記録部１８を備える。
【００３７】
撮像部１０は、図示しない入射光を電気信号に変換する複数の受光素子が２次元的に配設された撮像素子を備え、撮像素子により変換された信号を読み出す機能を有する。撮像素子としては、例えばCCD（Charge  Coupled  Device）型またはC−MOS（Complimentary−Metal  Oxide  Semiconductor）型のものがあり、これ以外の信号読出し型のものであってもよい。
【００３８】
また、撮像部１０は、図示しない駆動部から供給される駆動信号に応じて撮像素子の各受光素子に対応して得られたアナログ撮像信号を取得し、アナログ撮像信号のノイズを除去する処理およびアナログ撮像信号のゲインを調節する処理（以下アナログ処理とする）を行い、さらに、アナログ処理済みのアナログ撮像信号をデジタル信号に変換してデジタルの画像データＳ０を前処理部１２に出力する機能をも有する。ここで、本実施形態においては、画像データＳ０は８ビットの階調を有するものとする。なお、以降の説明においては、画像データＳ０により表される画像についても参照符号としてＳ０を用いるものとする。
【００３９】
前処理部１２は、オフセット部２０、ホワイトバランス（ＷＢ）調整部２２、ガンマ補正部２４、顔検出部２６、第１の特徴量算出部２８、第２の特徴量算出部３０、および補正値算出部３２を備える。
【００４０】
オフセット部２０は、オフセット調整、すなわちデジタルの画像データＳ０の各画素に対応する画素値を所定のレベルにそろえる機能を有する。
【００４１】
ＷＢ調整部２２は、オフセット部２０から入力される画像データＳ０に対してホワイトバランスを調整する機能を有する。
【００４２】
ガンマ補正部２４は、ＷＢ調整部２２から入力される画像データＳ０を後述する補正値算出部３２から供給される補正テーブルＴＢＬ０を用いて階調補正する機能を有する。なお、ガンマ補正部２４は、階調補正された画像データＳ１を信号処理部１４に出力する。画像データＳ１は、各画素毎に撮像部１０における撮像素子の受光素子に対応した色成分を有するＲＡＷデータである。なお、以降の説明においては、画像データＳ１により表される画像についても参照符号としてＳ１を用いるものとする。
【００４３】
顔検出部２６は、画像Ｓ０に含まれる顔領域をすべて検出する機能を有する。具体的には、顔検出部２６は、テンプレートマッチングによる手法や、顔の多数のサンプル画像を用いてマシンラーニング学習により得られた顔判別器を用いる手法等により、画像Ｓ０上における顔を囲む所定範囲の領域を顔領域として検出する。
【００４４】
第１の特徴量算出部２８は、画像Ｓ０に含まれる顔領域の代表値Ｒ０、顔領域の輝度、コントラスト度、顔領域のハイライトの割合および顔領域の暗部の割合をそれぞれ特徴量Ｔ１〜Ｔ４として算出する。なお、特徴量Ｔ１〜Ｔ４が第１の特徴量となる。以下、特徴量Ｔ１〜Ｔ４の算出について具体的に説明する。
【００４５】
ここで顔検出部２６は、図２に示すように顔を囲む矩形の領域を顔領域Ｋ１として検出するが、顔領域Ｋ１には、顔の周囲の背景、着衣および髪の毛等の顔以外の被写体が含まれる。このため、第１の特徴量算出部２８は、顔領域Ｋ１の対角線の交点を中心として顔領域Ｋ１をあらかじめ定められた縮小率により縮小した領域を、特徴量Ｔ１〜Ｔ４の算出領域Ｋ２として設定する。
【００４６】
まず、顔領域の輝度については、上述したように設定した算出領域Ｋ２内におけるＧ画素の画素値の平均値を用いる。なお、Ｇ画素の画素値のみならず、Ｂ画素またはＲ画素の画素値の平均値を用いてもよい。また、算出領域Ｋ２内において、各画素がＲＧＢ各色を有するものとなるように画素値を補間して各画素の画素値の輝度を算出し、算出した輝度の算出領域Ｋ２内における平均値を用いてもよい。
【００４７】
なお、第１の特徴量算出部２８は、後述する補正値を算出するために、算出した顔領域の輝度を０〜１０００の値をとるように正規化する。正規化した値が特徴量Ｔ１となる。また、第１の特徴量算出部２８は、正規化前の顔領域の輝度を顔領域の代表値Ｒ０として出力する。
【００４８】
コントラスト度の特徴量Ｔ２については、以下のように算出する。まず、第１の特徴量算出部２８は、算出領域Ｋ２内の輝度の分布情報であるヒストグラムを作成する。具体的には、算出領域Ｋ２内のＧ画素の信号レベルを横軸に、頻度を縦軸にプロットしてヒストグラムを作成する。図３は顔領域について算出したヒストグラムを示す図である。そして、第１の特徴量算出部２８は、作成したヒストグラムＨ１において、頻度の最大値hist_maxに応じて頻度の最小値hist_minを設定する。hist_minは例えば下記の式（１）により算出する。これにより、頻度の最小値hist_minは、頻度の最大値hist_maxの１０％の値となる。
【００４９】
hist_min=hist_max×０．１      （１）
次いで、ヒストグラムＨ１において、頻度がhist_minを超える最小の信号レベルW_minおよび頻度がhist_minを超える最大の信号レベルW_maxを求め、W_maxとW_minとの差W_histをコントラスト度として下記の式（２）により算出する。
【００５０】
W_hist=W_max-W_min        （２）
ここで、図３に示すヒストグラムＨ１はコントラストが比較的大きいため、コントラスト度W_histは比較的大きい値となる。一方、図３に破線で示すヒストグラムＨ２はコントラストが小さいため、コントラスト度W_histは比較的小さい値となる。なお、コントラスト度についても、０〜１０００の値をとるように正規化し、正規化した値を特徴量Ｔ２とする。
【００５１】
また、顔領域のハイライトの割合については以下のように算出する。まず、第１の特徴量算出部２８は、図４に示すように、輝度のヒストグラムＨ１において、信号レベルがしきい値Ｔｈ１より大きい領域を図中斜線で示すハイライト領域S_face_highlightと定義し、ヒストグラムＨ１の全領域S_faceに対するハイライト領域S_face_highlightの割合を、下記の式（３）により顔領域のハイライトの割合highlight_ratio_faceとして算出する。なお、しきい値Ｔｈ１としては画像データが８ビットであることから例えば２５０を用いる。
【００５２】
highlight_ratio_face=S_face_highlight/S_face      （３）
なお、ヒストグラムＨ１の全領域S_faceはヒストグラムＨ１の全頻度、ハイライト領域S_face_highlightは、ヒストグラムＨ１のしきい値Ｔｈ１より大きい信号レベルの頻度である。そして、算出した顔領域のハイライトの割合highlight_ratio_faceを０〜１０００の値をとるように正規化し、正規化した値を特徴量Ｔ３とする。
【００５３】
また、顔領域の暗部の割合については以下のように算出する。まず、第１の特徴量算出部２８は、図５に示すように、輝度のヒストグラムＨ１において、信号レベルがしきい値Ｔｈ２より小さい領域を図中斜線で示す暗部領域S_face_darkと定義し、ヒストグラムＨ１の全領域S_faceに対する暗部領域S_face_darkの割合を下記の式（４）により顔領域の暗部の割合dark_ratio_faceとして算出する。なお、しきい値Ｔｈ２としては画像データが８ビットであることから例えば５０以下の値を用いる。
【００５４】
dark_ratio_face=S_face_dark/S_face      （４）
なお、ヒストグラムＨ１の全領域S_faceはヒストグラムＨ１の全頻度、暗部領域S_face_darkは、ヒストグラムＨ１のしきい値Ｔｈ２より小さい信号レベルの頻度である。そして、算出した顔領域の暗部の割合dark_ratio_faceを０〜１０００の値をとるように正規化し、正規化した値を特徴量Ｔ４とする。
【００５５】
第２の特徴量算出部３０は、画像Ｓ０の全領域の色差の割合、ハイライト領域の割合および顔領域と全領域との輝度差を特徴量Ｔ５〜Ｔ７として算出する。なお、特徴量Ｔ５〜Ｔ７が第２の特徴量となる。以下、特徴量Ｔ５〜Ｔ７の算出について具体的に説明する。
【００５６】
まず、色差の割合の算出について説明する。第２の特徴量算出部３０は、画像Ｓ０の各画素について色差Ｃｂ，Ｃｒを算出し、色差Ｃｂ，ＣｒのＣｂ−Ｃｒ空間におけるユークリッド距離を各画素の色差Ｃとして算出する。そして、画像Ｓ０の全領域について色差Ｃのヒストグラムを算出し、さらに算出した色差Ｃのヒストグラムを色差のレベルが小さい方から累積加算した累積ヒストグラムを作成する。図６は色差Ｃの累積ヒストグラム（累積色差ヒストグラム）を示す図である。そして、累積色差ヒストグラムＨｃにおけるしきい値Ｔｈ３における累積値をＣｔ、最大累積値をＣｍａｘとすると、下記の式（５）により色差の割合C_ratioを算出する。なお、しきい値Ｔｈ３としては経験的に３０程度の値を用いる。
【００５７】
C_rato=Ｃｔ／Ｃｍａｘ      （５）
そして、算出した色差の割合C_ratioを０〜１０００の値をとるように正規化し、正規化した値を特徴量Ｔ５とする。
【００５８】
また、ハイライト領域の割合については、顔領域のハイライト割合と同様に算出する。すなわち、図７に示すように画像Ｓ０の全領域の輝度のヒストグラムＨ３を算出し、輝度のヒストグラムＨ３において、信号レベルがしきい値Ｔｈ１より大きい領域をハイライト領域S_all_highlightと定義し、ヒストグラムの全領域S_allに対するハイライト領域S_all_highlightの割合を下記の式（６）により画像Ｓ０の全領域のハイライトの割合highlight_ratio_allとして算出する。
【００５９】
highlight_ratio_all=S_all_highlight/S_all      （６）
なお、ヒストグラムＨ１の全領域S_faceはヒストグラムＨ３の全頻度、ハイライト領域S_face_highlightは、ヒストグラムＨ３のしきい値Ｔｈ１より大きい信号レベルの頻度である。そして、算出した顔領域のハイライトの割合highlight_ratio_faceを０〜１０００の値をとるように正規化し、正規化した値を特徴量Ｔ６とする。
【００６０】
また、顔領域と全領域との輝度差については、第１の特徴量算出部２８が算出した顔領域の輝度の平均値から画像Ｓ０の全領域の輝度の平均値を減算し、これにより算出した値を０〜１０００の値をとるように正規化し、正規化した値を特徴量Ｔ７とする。
【００６１】
補正値算出部３２は、第１の特徴量算出部２８が算出した代表値Ｒ０、特徴量Ｔ１〜Ｔ４および第２の特徴量算出部３０が算出した特徴量Ｔ４〜Ｔ７に基づいて、代表値Ｒ０の目標とする明るさである補正値Ｐ０を算出し、さらに補正値Ｐ０に基づいて補正テーブルＴＢＬ０を算出する。以下、補正値Ｐ０および補正テーブルＴＢＬ０の算出について説明する。
【００６２】
まず、補正値算出部３２は、下記の式（７）により補正値Ｐ０を算出する。補正値Ｐ０は代表値Ｒ０の目標とする明るさである。
【００６３】
Ｐ０＝Σ（Ｔｉ×Ａｉ）＋Ｂ      （７）
ここで、Ｔｉは第１および第２の特徴量算出部２８，３０が算出した特徴量Ｔ１〜Ｔ７、Ａｉ，Ｂはパラメータであり、とくにＡｉは各特徴量Ｔｉに対応するパラメータ（ｉ＝１〜７）である。
【００６４】
パラメータＡｉ，Ｂは、多数のサンプル画像を使用し、各サンプル画像をどの程度明るくすればサンプル画像が好ましい明るさとなるかという観点から、被験者に評価させる実験を行うことにより算出する。具体的には、各サンプル画像を被験者に評価させることにより、各サンプル画像に含まれる顔を好ましい明るさとするための正解補正値Ｙを取得する。ここで、正解補正値Ｙは、各サンプル画像に含まれる顔領域の明るさを調整した結果、被験者が好ましいと評価した顔の輝度である。一方、各サンプル画像について特徴量Ｔ１〜Ｔ７を算出する。そして、取得した正解補正値Ｙと特徴量Ｔ１〜Ｔ７とから、最小二乗法を用いて最適化を行い、パラメータＡｉ，Ｂを取得する。
【００６５】
ここで、サンプル画像数をＮ、各サンプル画像の正解補正値をＹｊ（ｊ＝１〜Ｎ）、各サンプル画像の特徴量Ｔｉ、特徴量の数をＭ（本実施形態においては７）とすると、下記の式（８）により算出されるＥの値が最小となるようにパラメータＡｉ，Ｂを求めることにより、サンプル画像の算出補正値と正解補正値との誤差が最も小さくなる最適化パラメータを決定することができる。なお、式（８）においてΣ（Ａｉ×Ｔｉ）は、サンプル画像ｊにおけるパラメータＡｉと特徴量Ｔｉとの乗算値を、特徴量の数Ｍ分加算することを表している。
【数１】
0004823979.tif 000002
【００６６】
次いで補正値算出部３２は、補正値Ｐ０に基づいて補正テーブルＴＢＬ０を算出する。図８は補正テーブルＴＢＬ０の算出を説明するための図である。なお、図８においてｘ軸は入力であり、ｙ軸は出力である。まず補正値算出部３２は、図８に示すように点Ｏ１（ｘ０，ｙ０）、Ｐ（ｘ１，ｙ１）、Ｏ２（ｘ２，ｙ２）の３点をｘｙ平面上に設定し、点Ｏ１，Ｐ０，Ｏ２の３点を用いてスプライン補間により補正テーブルＴＢＬ０を算出する。ここで、点Ｏ１は入力値および出力値の最小値、点Ｏ２は入力値および出力値の最大値をそれぞれプロットした点であり、それぞれ（ｘ０，ｙ０）＝（０，０）、（ｘ２，ｙ２）＝（２５５，２５５）を用いる。一方、点Ｐは代表値Ｒ０および出力の目標値すなわち補正値Ｐ０をプロットした点であり、代表値Ｒ０が１００、補正値Ｐ０が１２０であったとすると、（ｘ１，ｙ１）＝（１００，１２０）となる。
【００６７】
信号処理部１４は、入力された画像データＳ１の全画素に対して、各画素が有する色以外の色を求める補間処理、並びに補間された画像データを輝度信号および色差信号に変換するＹＣ処理（以下、信号処理とする）を行う機能を有する。
【００６８】
モニタ１６は、不図示の表示制御部により制御されて、信号処理が施された画像Ｓ１を表示する。
【００６９】
記録部１８は、不図示の圧縮部により圧縮された画像データＳ１を記録メディアに記録する。
【００７０】
なお、デジタルカメラ１の各部は制御部４０の制御によりその駆動が制御される。
【００７１】
次いで、第１の実施形態において行われる処理について説明する。図９は第１の実施形態において行われる処理を示すフローチャートである。なお、ここでは、撮像部１０が撮像を行ってデジタルの画像データＳ０が前処理部１２に入力された以降の処理について説明する。画像データＳ０が前処理部１２に入力されると、制御部４０からの指示によりオフセット部２０が画像データＳ０のオフセットを調整し（ステップＳＴ１）、ＷＢ調整部２２がホワイトバランスを調整する（ステップＳＴ２）。
【００７２】
一方、顔検出部２６が画像Ｓ０から顔領域を検出し（ステップＳＴ３）、第１の特徴量算出部２８が顔領域のヒストグラムを作成し（ステップＳＴ４）、ヒストグラムを用いて代表値Ｒ０および特徴量Ｔ１〜Ｔ４（第１の特徴量）、すなわち顔領域の輝度、コントラスト度、顔領域のハイライトの割合および顔領域の暗部の割合を算出する（ステップＳＴ５）。
【００７３】
また、第２の特徴量算出部３０が、画像Ｓ０の全領域のヒストグラムを作成し（ステップＳＴ６）、ヒストグラムを用いて特徴量Ｔ５〜Ｔ７（第２の特徴量）、すなわち画像Ｓ０の全領域の色差の割合、ハイライト領域の割合および顔領域と全領域との輝度差を算出する（ステップＳＴ７）。
【００７４】
次いで、補正値算出部３２が上記式（７）に基づいて補正値Ｐ０を算出し（ステップＳＴ８）、さらに補正テーブルＴＢＬ０を算出する（ステップＳＴ９）。そして、ガンマ補正部２４が補正テーブルＴＢＬ０に基づいて画像データＳ０の階調を補正する（ステップＳＴ１０）。さらに信号処理部１４が階調が補正された画像データＳ１に信号処理を施し（ステップＳＴ１１）、記録部１８が信号処理後の画像データＳ１を記録メディアに記録し（ステップＳＴ１２）、処理を終了する。なお、信号処理後の画像データＳ１をモニタ１６に表示するようにしてもよい。
【００７５】
このように第１の実施形態においては、顔領域における４つの第１の特徴量Ｔ１〜Ｔ４および画像Ｓ０の全領域についての３つの第２の特徴量Ｔ５〜Ｔ７に基づいて補正値Ｐ０を算出するようにしたものである。このため、輝度のように１つの特徴量のみに基づいて算出した補正値により補正する場合と比較して、より適切に顔領域を補正することができる。また、画像Ｓ０の全領域の特徴量も考慮しているため、顔領域のみならず、画像全体も適切に補正することができる。
【００７６】
とくに、顔領域の輝度、コントラスト度およびハイライト部および暗部の頻度の割合を第１の特徴量Ｔ１〜Ｔ４として算出しているため、顔領域の輝度、コントラスト度およびハイライト部および暗部の頻度の割合を考慮して、顔領域の明るさおよびコントラストをより好ましいものとすることができる。
【００７７】
また、画像の全領域の輝度、コントラスト、色差の割合およびハイライト部の頻度の割合を第２の特徴量Ｔ５〜Ｔ７として算出しているため、画像の全領域の輝度、コントラスト、色差の割合およびハイライト部の頻度の割合、画像全体の輝度、コントラスト、色差および特定の輝度の頻度の割合を考慮して、画像の全領域の明るさ、コントラストおよび色をより好ましいものとすることができる。
【００７８】
また、第１の特徴量および第２の特徴量を、パラメータＡｉ，Ｂにより定められる式（７）に適用して補正値Ｐ０を算出しているため、簡易に補正値Ｐ０を算出することができる。
【００７９】
この場合、パラメータＡｉ，Ｂを複数のサンプル画像を用いての評価実験に基づいて設定されたパラメータとしているため、ロバスト性のよい補正値Ｐ０を算出することができる。
【００８０】
次いで、本発明の第２の実施形態について説明する。図１０は本発明の第２の実施形態による画像処理装置を適用したデジタルカメラの構成を示す概略ブロック図である。なお、第２の実施形態において第１の実施形態と同一の構成については同一の参照番号を付与し、ここでは詳細な説明は省略する。第２の実施形態によるデジタルカメラ１Ａは、補正値算出部３２が算出した補正テーブルＴＢＬ０により画像Ｓ０を補正した場合に、その補正が過補正となるか否かを判定し、この判定が肯定された場合に、補正量を抑制した新たな補正テーブルＴＢＬ１を作成する補正値修正部３４を備えた点が第１の実施形態と異なる。
【００８１】
次いで、第２の実施形態において行われる処理について説明する。図１１は第２の実施形態において行われる処理を示すフローチャートである。なお、第２の実施形態においては、補正テーブルＴＢＬ０算出までの処理は第１の実施形態におけるステップＳＴ９までの処理と同一であるため、ここでは補正値算出部３２が補正テーブルＴＢＬ０を算出した以降の処理について説明する。
【００８２】
ステップＳＴ９に続いて、補正値修正部３４は、補正テーブルＴＢＬ０を使用してあらかじめ定められた基準値を補正した場合に、基準値の補正値がリミット値を超えて過補正となるか否かを判定する（ステップＳＴ２１）。なお、過補正とは補正の程度が強くて画像が明るすぎるものとなる状態を言う。ここで、基準値は例えば８ビットで３０程度の値となるようにあらかじめ設定されている。また、リミット値は、例えば図１２のリミット値設定テーブルＴＢＬ４に示すように、顔領域の輝度すなわち代表値Ｒ０に応じて設定されるものである。なお、図１２に示すリミット値設定テーブルＴＢＬ４は、顔領域の輝度が０−３０の場合にはリミット値が７０となり、顔の輝度が２００−２５５の場合はリミット値が３０となり、顔の輝度が３０−２００の場合は７０から３０に向けて値が直線的に減少するようにリミット値を設定するものである。なお、補正値修正部３４は、図１２に示すリミット値設定テーブルＴＢＬ４を記憶しており、リミット値設定テーブルＴＢＬ４を参照して第１の特徴量算出部２８が算出した顔領域の輝度である代表値Ｒ０に応じてリミット値を設定する。
【００８３】
ステップＳＴ２１が否定されると、補正値算出部３２が算出した補正テーブルＴＢＬ０をそのまま使用すべく、図９のステップＳＴ１０の処理に進む。
【００８４】
一方、ステップＳＴ２１が肯定されると、補正値修正部３４は新たな補正テーブルＴＢＬ１を算出する（ステップＳＴ２２）。図１３は第２の実施形態における新たな補正テーブルＴＢＬ１の算出を説明するための図である。補正値修正部３４は、図１３に示すように入力を基準値（ｘ３とする）とし、出力をリミット値（ｙ３とする）とする点Ｐ１（ｘ３，ｙ３）をｘｙ平面上にプロットし、点Ｐ１（ｘ３，ｙ３）および補正テーブルＴＢＬ０の算出に用いた点Ｏ１（ｘ０，ｙ０）、Ｏ２（ｘ２，ｙ２）の３点を用いて、スプライン補間により新たな補正テーブルＴＢＬ１を算出する。このように算出された新たな補正テーブルＴＢＬ１は、補正量が補正テーブルＴＢＬよりも抑制されたものとなっている。
【００８５】
そして、ガンマ補正部２４が新たな補正テーブルＴＢＬ１に基づいて画像データＳ０の階調を補正する（ステップＳＴ２３）。さらに信号処理部１４が階調が補正された画像データＳ１に信号処理を施し（ステップＳＴ２４）、記録部１８が信号処理後の画像データＳ１を記録メディアに記録し（ステップＳＴ２５）、処理を終了する。なお、信号処理後の画像データＳ１をモニタ１６に表示するようにしてもよい。
【００８６】
このように、第２の実施形態においては、補正値算出部３２が算出した補正テーブルＴＢＬ０を用いての画像Ｓ０の補正が過補正となる場合には、補正量を抑制した新たな補正テーブルＴＢＬ１を算出し、新たな補正テーブルＴＢＬ１により補正を行うようにしたため、画像が過補正となって明るすぎるものとなってしまうことを防止することができる。
【００８７】
次いで、本発明の第３の実施形態について説明する。図１４は本発明の第３の実施形態による画像処理装置を適用したデジタルカメラの構成を示す概略ブロック図である。なお、第３の実施形態において第１の実施形態と同一の構成については同一の参照番号を付与し、ここでは詳細な説明は省略する。第３の実施形態によるデジタルカメラ１Ｂは、補正値算出部３２が算出した補正テーブルＴＢＬ０を基準として、補正の程度が異なる複数の補正テーブルを算出する補正テーブル算出部３６を備えた点が第１の実施形態と異なる。
【００８８】
次いで、第３の実施形態において行われる処理について説明する。図１５は第３の実施形態において行われる処理を示すフローチャートである。なお、第３の実施形態においては、補正テーブルＴＢＬ０算出までの処理は第１の実施形態におけるステップＳＴ９までの処理と同一であるため、ここでは補正値算出部３２が補正テーブルＴＢＬ０を算出した以降の処理について説明する。
【００８９】
ステップＳＴ９に続いて、補正テーブル算出部３６は、補正テーブルＴＢＬ０を使用してあらかじめ定められた基準値を補正して基準補正値を取得する（ステップＳＴ３１）。そして基準補正値とは補正の程度が異なる他の補正値を生成する（ステップＳＴ３２）。例えば、基準補正値よりも補正の程度を強めた補正値および基準補正値よりも補正の程度を弱めた補正値を他の補正値として生成する。そして、補正テーブル算出部３６は他の補正値を用いて新たな補正テーブルを算出する（ステップＳＴ３３）。
【００９０】
図１６は第３の実施形態における新たな補正テーブルの算出を説明するための図である。なお、ここでは、基準補正値よりも補正の程度を強めた補正値および補正の程度を弱めた補正値の２つの他の補正値を用いた２つの新たな補正テーブルの算出について説明する。図１６に示すように、入力を基準値ｘ４、出力を基準補正値ｙ４とする補正テーブルＴＢＬ０上の点を点Ｐ１０（ｘ４，ｙ４）とする。また、基準補正値ｙ４よりも補正の程度を強めた補正値をｙ５、補正の程度を弱めた補正値をｙ６とし、点Ｐ１１（ｘ４，ｙ５）および点Ｐ１２（ｘ４，ｙ６）をｘｙ平面上にプロットする。
【００９１】
なお、他の補正値ｙ５，ｙ６の基準補正値ｙ４からの変更の程度は例えば基準補正値ｙ４を基準として±１０程度の値を設定すればよい。なお、露出値を用いて±１／３Ｅｖのように設定してもよい。この場合、Ｅｖ値を補正値に換算して基準補正値の補正の程度を変更する。
【００９２】
そして、補正テーブル算出部３６は、点Ｐ１１（ｘ４，ｙ５）および補正テーブルＴＢＬ０の算出に用いた点Ｏ１（ｘ０，ｙ０）、Ｏ２（ｘ２，ｙ２）の３点を用いて、スプライン補間により新たな補正テーブルＴＢＬ１１を算出する。また、点Ｐ１２（ｘ４，ｙ６）および補正テーブルＴＢＬ０の算出に用いた点Ｏ１（ｘ０，ｙ０）、Ｏ２（ｘ２，ｙ２）の３点を用いて、スプライン補間により新たな補正テーブルＴＢＬ１２を算出する。
【００９３】
ここで、新たな補正テーブルＴＢＬ１１は補正の程度が補正テーブルＴＢＬ０よりも強調され、新たな補正テーブルＴＢＬ１２は補正の程度が補正テーブルＴＢＬ０よりも抑制されたものとなっている。
【００９４】
そして、ガンマ補正部２４が補正テーブルＴＢＬ０および新たな補正テーブルＴＢＬ１１，ＴＢＬ１２に基づいて画像データＳ０の階調を補正して複数（ここでは３つ）の階調補正済みの画像データＳ１，Ｓ１１，Ｓ１２を取得する（ステップＳＴ３４）。そして、階調補正済みの画像データＳ１，Ｓ１１，Ｓ１２に対して信号処理を施し（ステップＳＴ３５）、モニタ１６に３つの画像データＳ１，Ｓ１１，Ｓ１２により表される画像を表示する（ステップＳＴ３６）。
【００９５】
図１７はモニタに画像が表示されたデジタルカメラの背面図である。図１７に示すようにモニタ１６には階調の程度が異なる３つの画像Ｓ１，Ｓ１１，Ｓ１２が表示される。デジタルカメラ１Ｂのユーザは、デジタルカメラ１Ｂの背面にある上下左右キー５０を操作してモニタ１６上において画像選択枠５１を移動させることにより、所望とする階調を有する画像を選択することができる。なお、図１７においては、画像Ｓ１が選択された状態を示している。そして、決定ボタン５２を押下することにより、選択された画像を記録メディアに記録することができる。
【００９６】
このため、制御部４０はステップＳＴ３６に続いて画像が選択されたか否かの監視を開始し（ステップＳＴ３７）、ステップＳＴ３７が肯定されると、記録部１８が選択された画像の画像データを記録メディアに記録し（ステップＳＴ３８）、処理を終了する。
【００９７】
このように、第３の実施形態においては、補正テーブルＴＢＬ０よりも補正の度合が異なる少なくとも１つの他の補正テーブルＴＢＬ１１，ＴＢＬ１２を算出するようにしたため、様々な補正の程度の処理済み画像を得ることができる。
【００９８】
また、様々な補正の程度の処理済み画像をモニタ１６に表示し、所望とされる処理済み画像の選択を受け付けることにより、所望とされる画質の処理済み画像を得ることができる。また、選択された処理済み画像のみを記録しておけばよいため、画像を記録する記録メディアの容量の消費を防止することができる。
【００９９】
なお、上記第１から第３の実施形態においては、顔検出部２６が画像Ｓ０から顔領域を検出して検出結果を第１の特徴量算出部２８に入力しているが、画像Ｓ０を一旦モニタ１６に表示し、表示した画像においてユーザが顔領域を指定することにより得られた顔領域の検出結果を第１の特徴量算出部２８に入力してもよい。この場合、顔検出部２６は不要となる。
【０１００】
また、上記第１から第３の実施形態においては、前処理部１２においてホワイトバランス調整および階調の補正のみを行っているが、シャープネス処理、色補正処理等、他の処理を行うようにしてもよい。
【０１０１】
また、上記第１から第３の実施形態においては、特定領域として顔領域を用いているが、これに限定されるものではなく、所望とする任意の被写体の領域を特定領域とすることができる。
【０１０２】
また、上記第１から第３の実施形態においては、画像の全領域の輝度、コントラスト、色差の割合およびハイライト部の頻度の割合を第２の特徴量として用いているが、このうちの少なくとも１つを第２の特徴量として用いるようにしてもよい。この場合、使用する第２の特徴量に応じてパラメータＡｉ，Ｂを算出しておけばよい。
【０１０３】
また、上記第１から第３の実施形態においては、サンプル画像の顔領域をどの程度明るくすればよいかという観点から被験者に評価を行ってもらい、パラメータＡｉ，Ｂを算出しているが、逆にサンプル画像の顔領域をどの程度暗くすればよいかという観点から被験者に評価を行ってもらい、パラメータＡｉ，Ｂを算出するようにしてもよい。
【０１０４】
また、上記第１から第３の実施形態においては、顔領域の代表値Ｒ０として顔領域の輝度の平均値を用いているが、中央領域ほど重みを大きくした重みづけ平均値およびメディアン値等を代表値Ｒ０として用いるようにしてもよい。
【０１０５】
また、上記第１から第３の実施形態においては、本発明による画像処理装置をデジタルカメラに適用しているが、プリンタ等の画像出力装置およびスキャナ等の画像読取装置に適用してもよく、画像処理装置を単体で提供するようにしてもよい。
【０１０６】
また、上記第１から第３の実施形態においては、画像Ｓ０から１つの顔領域が検出された場合の処理について説明しているが、複数の顔領域が検出された場合にも本発明を適用できる。ここで、複数の顔領域が検出された場合には、サイズが最も大きい顔領域、画像の最も中央にある顔領域、および顔判別処理を行って特定の人物であると判定された顔領域等、複数の顔領域から１つの顔領域を選択し、その顔領域から第１の特徴量を算出すればよい。なお、顔領域の選択は画像Ｓ０をモニタ１６に表示することによりユーザに行わせるようにしてもよい。また、複数の顔領域のすべてを用いて第１の特徴量を算出してもよい。この場合、複数の顔領域内の画像データを用いて、第１の特徴量を算出するためのヒストグラムが作成される。
【０１０７】
以上、本発明の実施形態について説明したが、コンピュータを、上記のガンマ補正部２１、顔検出部２６、第１の特徴量算出部２８、第２の特徴量算出部３０、補正値算出部３２、補正値修正部３４および補正テーブル算出部３６に対応する手段として機能させ、図９，１１，１４に示すような処理を行わせるプログラムも、本発明の実施形態の１つである。また、そのようなプログラムを記録したコンピュータ読取り可能な記録媒体も、本発明の実施形態の１つである。
【図面の簡単な説明】
【０１０８】
【図１】本発明の第１の実施形態による画像処理装置を適用したデジタルカメラの構成を示す概略ブロック図
【図２】顔領域および算出領域の設定を説明するための図
【図３】顔領域について算出したヒストグラムを示す図
【図４】顔領域におけるハイライト領域の割合の算出を説明するための図
【図５】顔領域における暗部領域の割合の算出を説明するための図
【図６】画像の全領域における色差の累積ヒストグラムを示す図
【図７】画像の全領域におけるハイライト領域の割合の算出を説明するための図
【図８】補正テーブルの算出を説明するための図
【図９】第１の実施形態において行われる処理を示すフローチャート
【図１０】本発明の第２の実施形態による画像処理装置を適用したデジタルカメラの構成を示す概略ブロック図
【図１１】第２の実施形態において行われる処理を示すフローチャート
【図１２】リミット値設定テーブルを示す図
【図１３】第２の実施形態における新たな補正テーブルの算出を説明するための図
【図１４】本発明の第３の実施形態による画像処理装置を適用したデジタルカメラの構成を示す概略ブロック図
【図１５】第３の実施形態において行われる処理を示すフローチャート
【図１６】第３の実施形態における新たな補正テーブルの算出を説明するための図
【図１７】モニタに画像が表示されたデジタルカメラの背面図
【符号の説明】
【０１０９】
１，１Ａ，１Ｂ    デジタルカメラ
１０    撮像部
１２    前処理部
１４    信号処理部
１６    モニタ
１８    記録部
２０    オフセット部
２２    ホワイトバランス調整部
２４    ガンマ補正部
２６    顔検出部
２８    第１の特徴量算出部
３０    第２の特徴量算出部
３２    補正値算出部
３４    補正値修正部
３６    補正テーブル算出部
４０    制御部
【図１】
0004823979.tif 000003
【図２】
0004823979.tif 000004
【図３】
0004823979.tif 000005
【図４】
0004823979.tif 000006
【図５】
0004823979.tif 000007
【図６】
0004823979.tif 000008
【図７】
0004823979.tif 000009
【図８】
0004823979.tif 000010
【図９】
0004823979.tif 000011
【図１０】
0004823979.tif 000012
【図１１】
0004823979.tif 000013
【図１２】
0004823979.tif 000014
【図１３】
0004823979.tif 000015
【図１４】
0004823979.tif 000016
【図１５】
0004823979.tif 000017
【図１６】
0004823979.tif 000018
【図１７】
0004823979.tif 000019