(57)【要約】【課題】不適切な露出状態で撮影された画像の人物の明るさを、背景の階調とびを起こすことなく、最大限の効果で適切に補正する画像処理装置を提供する。【解決手段】入力画像から人物の顔領域を検出する顔検出手段と、顔領域のデータ分布を取得する取得手段と、顔領域のデータ分布に基づいて、顔領域を補正するための一つの補正テーブルを作成する補正テーブル作成手段と、入力画像の特徴を判定する特徴判定手段と、注目画素と顔領域との距離を算出する距離算出手段と、注目画素と顔領域との距離と入力画像の特徴に基づいて、注目画素における補正量を決定する補正量決定手段と、補正テーブルと補正量を用いて、入力画像を補正する補正手段と、を有する。【選択図】図１
2009116611.tif 000002
【特許請求の範囲】
【請求項１】
入力画像から人物の顔領域を検出する顔検出手段と、
前記顔領域のデータ分布を取得する取得手段と、
前記顔領域のデータ分布に基づいて、前記顔領域を補正するための一つの補正テーブルを作成する補正テーブル作成手段と、
前記入力画像の特徴を判定する特徴判定手段と、
注目画素と前記顔領域との距離を算出する距離算出手段と、
前記注目画素と前記顔領域との距離と前記入力画像の特徴に基づいて、前記注目画素における補正量を決定する補正量決定手段と、
前記補正テーブルと前記補正量を用いて、前記入力画像を補正する補正手段と、
を有することを特徴とする画像処理装置。
【請求項２】
前記補正量決定手段は、前記注目画素と前記顔領域との距離が離れるほど、前記注目画素における補正量を減少させることを特徴とする請求項１記載の画像処理装置。
【請求項３】
前記補正量決定手段は、前記入力画像の特徴に応じて、前記注目画素における補正量を減少させることを特徴とする請求項１又は２記載の画像処理装置。
【請求項４】
前記入力画像の特徴とは、該画像の撮影シーンであることを特徴とする請求項１から３のいずれか１項に記載の画像処理装置。
【請求項５】
前記入力画像の特徴とは、前記顔領域の大きさであることを特徴とする請求項１から３のいずれか１項に記載の画像処理装置。
【請求項６】
前記入力画像の特徴とは、前記顔領域における代表値を表すものであることを特徴とする請求項１から３のいずれか１項に記載の画像処理装置。
【請求項７】
前記顔検出手段が複数の顔領域を検出した場合、
前記補正テーブル作成手段は、前記複数の顔領域における代表値の中で最大値を持つ顔領域に対するデータ分布に基づいて一つの補正テーブルを作成し、
前記距離算出手段は、前記入力画像の任意の画素と前記複数の顔領域のそれぞれとの距離の中から最も短い距離を選択することを特徴とする請求項１から６のいずれか１項に記載の画像処理装置。
【請求項８】
前記顔検出手段が複数の顔領域を検出した場合、
前記補正テーブル作成手段は、前記複数の顔領域における代表値を平均した値に基づいて一つの補正テーブルを作成し、
前記距離算出手段は、前記入力画像の任意の画素と前記複数の顔領域のそれぞれとの距離の中から最も短い距離を選択することを特徴とする請求項１から６のいずれか１項に記載の画像処理装置。
【請求項９】
前記顔検出手段が複数の顔領域を検出した場合、
前記補正テーブル作成手段は、前記顔領域の大きさの中で最も大きいサイズを持つ顔領域の輝度分布に基づいて一つの補正テーブルを作成し、
前記距離算出手段は、前記入力画像の任意の画素と前記複数の顔領域のそれぞれとの距離の中から最も短い距離を選択することを特徴とする請求項１から６のいずれか１項に記載の画像処理装置。
【請求項１０】
入力画像から人物の顔領域を検出する顔検出手段と、
前記顔領域のデータ分布を取得する取得手段と、
前記顔検出手段により検出された顔領域が複数ある場合は、該複数の顔領域毎のデータ分布に基づいて、該各顔領域を補正するための複数の補正テーブルを作成する補正テーブル作成手段と、
前記入力画像の特徴を判定する特徴判定手段と、
注目画素と前記複数の顔領域との距離の中から最も距離の短い距離を算出する距離算出手段と、
前記距離算出手段により算出された距離と前記入力画像の特徴に基づいて、前記注目画素における補正量を決定する補正量決定手段と、
前記注目画素において、前記複数の補正テーブルの中から、最も距離の短い顔領域に基づいた補正テーブルを選択する補正テーブル選択手段と、
前記補正テーブル選択手段により選択された補正テーブルと前記注目画素における補正量を用いて、前記入力画像を補正する補正手段と、
を有することを特徴とする画像処理装置。
【請求項１１】
前記入力画像の特徴とは、該画像の示すシーンであることを特徴とする請求項１０記載の画像処理装置。
【請求項１２】
入力画像から人物の顔領域を検出する顔検出ステップと、
前記顔領域のデータ分布を取得する取得ステップと、
前記顔領域のデータ分布に基づいて、前記顔領域を補正するための一つの補正テーブルを作成する補正テーブル作成ステップと、
前記入力画像の特徴を判定する特徴判定ステップと、
注目画素と前記顔領域との距離を算出する距離算出ステップと、
前記注目画素と前記顔領域との距離と前記入力画像の特徴に基づいて、前記注目画素における補正量を決定する補正量決定ステップと、
前記補正テーブルと前記補正量を用いて、前記入力画像を補正する補正ステップと、
を有することを特徴とする画像処理方法。
【請求項１３】
入力画像から人物の顔領域を検出する顔検出ステップと、
前記顔領域のデータ分布を取得する取得ステップと、
前記顔検出ステップにより検出された顔領域が複数ある場合は、該複数の顔領域毎のデータ分布に基づいて、該各顔領域を補正するための複数の補正テーブルを作成する補正テーブル作成ステップと、
前記入力画像の特徴を判定する特徴判定ステップと、
注目画素と前記複数の顔領域との距離の中から最も距離の短い距離を算出する距離算出ステップと、
前記距離算出手段により算出された距離と前記入力画像の特徴に基づいて、前記注目画素における補正量を決定する補正量決定ステップと、
前記注目画素において、前記複数の補正テーブルの中から、最も距離の短い顔領域に基づいた補正テーブルを選択する補正テーブル選択ステップと、
前記補正テーブル選択ステップにより選択された補正テーブルと前記注目画素における補正量を用いて、前記入力画像を補正する補正ステップと、
を有することを特徴とする画像処理方法。
【請求項１４】
入力画像から人物の顔領域を検出する顔検出処理と、
前記顔領域のデータ分布を取得する取得処理と、
前記顔領域のデータ分布に基づいて、前記顔領域を補正するための一つの補正テーブルを作成する補正テーブル作成処理と、
前記入力画像の特徴を判定する特徴判定処理と、
注目画素と前記顔領域との距離を算出する距離算出処理と、
前記注目画素と前記顔領域との距離と前記入力画像の特徴に基づいて、前記注目画素における補正量を決定する補正量決定処理と、
前記補正テーブルと前記補正量を用いて、前記入力画像を補正する補正処理と、
をコンピュータに実行させることを特徴とする画像処理プログラム。
【請求項１５】
入力画像から人物の顔領域を検出する顔検出処理と、
前記顔領域のデータ分布を取得する取得処理と、
前記顔検出処理により検出された顔領域が複数ある場合は、該複数の顔領域毎のデータ分布に基づいて、該各顔領域を補正するための複数の補正テーブルを作成する補正テーブル作成処理と、
前記入力画像の特徴を判定する特徴判定処理と、
注目画素と前記複数の顔領域との距離の中から最も距離の短い距離を算出する距離算出処理と、
前記距離算出手段により算出された距離と前記入力画像の特徴に基づいて、前記注目画素における補正量を決定する補正量決定処理と、
前記注目画素において、前記複数の補正テーブルの中から、最も距離の短い顔領域に基づいた補正テーブルを選択する補正テーブル選択処理と、
前記補正テーブル選択処理により選択された補正テーブルと前記注目画素における補正量を用いて、前記入力画像を補正する補正処理と、
をコンピュータに実行させることを特徴とする画像処理プログラム。
【請求項１６】
請求項１４及び１５の少なくとも１項に記載の画像処理プログラムを記憶したことを特徴とする記憶媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、例えばスキャナやデジタルカメラ等から入力した画像をプリンタやディスプレイ等に出力する画像処理装置、画像処理方法、画像処理プログラム及び記憶媒体に関する。
【背景技術】
【０００２】
近年、パソコンやインターネット、家庭用プリンタの普及及びハードディスクなどの記憶容量の大型化により、デジタルデータで写真画像を扱う機会が増えている。それに伴いデジタル写真画像データ以下、画像データというの入力手段として、デジタルカメラやフィルムスキャナなどが一般に使用されている。
【０００３】
デジタルカメラには撮影時の露出を常に最適に保つための自動露出制御装置が設けられている。露出制御方式には種々の方法があるが、光量検出のため画面を複数の適当な領域に分割し、領域ごとに重み付けを行い、加重平均を取り、絞りやシャッタスピードなどを調節する方法が一般的である。
【０００４】
しかし、これらの露出制御方式は各社様々であり、撮影条件によって適正に作動しない場合もあるため完全なものは存在しない。とりわけ、主被写体の真後ろに光源が存在し背景と主被写体との輝度差が大きい、逆光状態では、被写体に露出が合わないと背景の明るさに引っ張られて露出がマイナスに補正されるため、被写体が暗く写ってしまう。
【０００５】
また、夜間ストロボ撮影では、被写体にストロボ光が当たることが前提になるため、絞りやシャッタスピードは既定値に固定される。つまり、ストロボと被写体の距離が遠すぎると光が届かず、この場合も被写体は暗く写ってしまう。
【０００６】
ここで、露出補正とは、シーンに対して不適切な明るさを持つ被写体を、シーンに適した明るさに調節することを意味する。例えば露出不足で全体に暗い被写体や、逆光で暗くなっている被写体を明るくしたり、露出オーバな被写体を暗くしたりすることである。
【０００７】
カメラでの露出補正は、レンズに入る入射光量を調節するために絞りやシャッタスピードを変える方法が一般的である。また、プリンタやディスプレイでは、入出力変換関数階調補正カーブ等を用い、入力信号の明るさに対し出力信号の明るさを最適化するための処理等を意味する。
【０００８】
なお、露出を補正して画像データの明るさを調節することと、本発明における階調補正処理とは目的が同等なため、以後、階調補正処理と記す。
【０００９】
このようなデジタル画像の撮影時における不適切な露出状態に対応するため、画像データを自動的に階調補正する技術が多数提案され、例えば特許文献１に開示されている露光量決定方法は、原稿画像の主要部分を抽出して特徴量を算出し、算出した特徴量から所定濃度範囲を決定し、原稿画像全体から所定濃度範囲の画素のみを抽出して画像特徴量を決定し、決定した画像特徴量から露光量を決定することにより、逆光画像など背景と被写体の濃度差が大きい画像を適切に補正するようにいる。
【００１０】
また、特許文献２では、入力画像中の人物の顔を検出し、検出結果に基づいて階調補正パラメータを設定することで、画像中に人物が存在する場合は、人物中心の階調補正を行うようにしている。
【特許文献１】特開平７−３０１８６７号公報
【特許文献２】特開２００４−２３６１１０号公報
【発明の開示】
【発明が解決しようとする課題】
【００１１】
このような階調補正処理を行う上で最も困難なのは、被写体の明るさを適切に補正しながら画像全体において過補正を起こさないことである。すなわち、特許文献１等に示すように、被写体部分のみから補正量を得ると、補正処理後の画像において背景の階調が飛んでしまうことがある。
【００１２】
また、画像全域に階調とびが起こらないように階調補正カーブを設定すると、補正が充分にかからない場合がある。
【００１３】
本発明は、上記問題を解決するためになされたものであり、不適切な露出状態で撮影された画像の人物の明るさを、背景の階調とびを起こすことなく、最大限の効果で適切に補正する画像処理装置、画像処理方法、画像処理プログラム及び記録媒体を提供することを目的とする。
【課題を解決するための手段】
【００１４】
かかる目的を達成するために、本発明の第１の画像処理装置は、入力画像から人物の顔領域を検出する顔検出手段と、顔領域のデータ分布を取得する取得手段と、顔領域のデータ分布に基づいて、顔領域を補正するための一つの補正テーブルを作成する補正テーブル作成手段と、入力画像の特徴を判定する特徴判定手段と、注目画素と顔領域との距離を算出する距離算出手段と、注目画素と顔領域との距離と入力画像の特徴に基づいて、注目画素における補正量を決定する補正量決定手段と、補正テーブルと補正量を用いて、入力画像を補正する補正手段と、を有することを特徴とする。
【００１５】
本発明の第２の画像処理装置は、本発明の第１の画像処理装置において、補正量決定手段は、注目画素と顔領域との距離が離れるほど、注目画素における補正量を減少させることを特徴とする。
【００１６】
本発明の第３の画像処理装置は、本発明の第１又は第２の画像処理装置において、補正量決定手段は、入力画像の特徴に応じて、注目画素における補正量を減少させることを特徴とする。
【００１７】
本発明の第４の画像処理装置は、本発明の第１から第３のいずれか１つの画像処理装置において、入力画像の特徴とは、画像の撮影シーンであることを特徴とする。
【００１８】
本発明の第５の画像処理装置は、本発明の第１から第３のいずれか１つの画像処理装置において、入力画像の特徴とは、顔領域の大きさであることを特徴とする。
【００１９】
本発明の第６の画像処理装置は、本発明の第１から第３のいずれか１つの画像処理装置において、入力画像の特徴とは、顔領域における代表値を表すものであることを特徴とする。
【００２０】
本発明の第７の画像処理装置は、本発明の第１から第６のいずれか１つの画像処理装置において、顔検出手段が複数の顔領域を検出した場合、補正テーブル作成手段は、複数の顔領域における代表値の中で最大値を持つ顔領域に対するデータ分布に基づいて一つの補正テーブルを作成し、距離算出手段は、入力画像の任意の画素と複数の顔領域のそれぞれとの距離の中から最も短い距離を選択することを特徴とする。
【００２１】
本発明の第８の画像処理装置は、本発明の第１から第６のいずれか１つの画像処理装置において、顔検出手段が複数の顔領域を検出した場合、補正テーブル作成手段は、複数の顔領域における代表値を平均した値に基づいて一つの補正テーブルを作成し、距離算出手段は、入力画像の任意の画素と複数の顔領域のそれぞれとの距離の中から最も短い距離を選択することを特徴とする。
【００２２】
本発明の第９の画像処理装置は、本発明の第１から第６のいずれか１つの画像処理装置において、顔検出手段が複数の顔領域を検出した場合、補正テーブル作成手段は、顔領域の大きさの中で最も大きいサイズを持つ顔領域の輝度分布に基づいて一つの補正テーブルを作成し、距離算出手段は、入力画像の任意の画素と複数の顔領域のそれぞれとの距離の中から最も短い距離を選択することを特徴とする。
【００２３】
本発明の第１０の画像処理装置は、入力画像から人物の顔領域を検出する顔検出手段と、顔領域のデータ分布を取得する取得手段と、顔検出手段により検出された顔領域が複数ある場合は、複数の顔領域毎のデータ分布に基づいて、各顔領域を補正するための複数の補正テーブルを作成する補正テーブル作成手段と、入力画像の特徴を判定する特徴判定手段と、注目画素と複数の顔領域との距離の中から最も距離の短い距離を算出する距離算出手段と、距離算出手段により算出された距離と入力画像の特徴に基づいて、注目画素における補正量を決定する補正量決定手段と、注目画素において、複数の補正テーブルの中から、最も距離の短い顔領域に基づいた補正テーブルを選択する補正テーブル選択手段と、補正テーブル選択手段により選択された補正テーブルと注目画素における補正量を用いて、入力画像を補正する補正手段と、を有することを特徴とする。
【００２４】
本発明の第１１の画像処理装置は、本発明の第１０の画像処理装置において、入力画像の特徴とは、画像の示すシーンであることを特徴とする。
【００２５】
本発明の第１の画像処理方法は、入力画像から人物の顔領域を検出する顔検出ステップと、顔領域のデータ分布を取得する取得ステップと、顔領域のデータ分布に基づいて、顔領域を補正するための一つの補正テーブルを作成する補正テーブル作成ステップと、入力画像の特徴を判定する特徴判定ステップと、注目画素と顔領域との距離を算出する距離算出ステップと、注目画素と顔領域との距離と入力画像の特徴に基づいて、注目画素における補正量を決定する補正量決定ステップと、補正テーブルと補正量を用いて、入力画像を補正する補正ステップと、を有することを特徴とする。
【００２６】
本発明の第２の画像処理方法は、入力画像から人物の顔領域を検出する顔検出ステップと、顔領域のデータ分布を取得する取得ステップと、顔検出ステップにより検出された顔領域が複数ある場合は、複数の顔領域毎のデータ分布に基づいて、各顔領域を補正するための複数の補正テーブルを作成する補正テーブル作成ステップと、入力画像の特徴を判定する特徴判定ステップと、注目画素と複数の顔領域との距離の中から最も距離の短い距離を算出する距離算出ステップと、距離算出手段により算出された距離と入力画像の特徴に基づいて、注目画素における補正量を決定する補正量決定ステップと、注目画素において、複数の補正テーブルの中から、最も距離の短い顔領域に基づいた補正テーブルを選択する補正テーブル選択ステップと、補正テーブル選択ステップにより選択された補正テーブルと注目画素における補正量を用いて、入力画像を補正する補正ステップと、を有することを特徴とする。
【００２７】
本発明の第１の画像処理プログラムは、入力画像から人物の顔領域を検出する顔検出処理と、顔領域のデータ分布を取得する取得処理と、顔領域のデータ分布に基づいて、顔領域を補正するための一つの補正テーブルを作成する補正テーブル作成処理と、入力画像の特徴を判定する特徴判定処理と、注目画素と顔領域との距離を算出する距離算出処理と、注目画素と顔領域との距離と入力画像の特徴に基づいて、注目画素における補正量を決定する補正量決定処理と、補正テーブルと補正量を用いて、入力画像を補正する補正処理と、をコンピュータに実行させることを特徴とする。
【００２８】
本発明の第２の画像処理プログラムは、入力画像から人物の顔領域を検出する顔検出処理と、顔領域のデータ分布を取得する取得処理と、顔検出処理により検出された顔領域が複数ある場合は、複数の顔領域毎のデータ分布に基づいて、各顔領域を補正するための複数の補正テーブルを作成する補正テーブル作成処理と、入力画像の特徴を判定する特徴判定処理と、注目画素と複数の顔領域との距離の中から最も距離の短い距離を算出する距離算出処理と、距離算出手段により算出された距離と入力画像の特徴に基づいて、注目画素における補正量を決定する補正量決定処理と、注目画素において、複数の補正テーブルの中から、最も距離の短い顔領域に基づいた補正テーブルを選択する補正テーブル選択処理と、補正テーブル選択処理により選択された補正テーブルと注目画素における補正量を用いて、入力画像を補正する補正処理と、をコンピュータに実行させることを特徴とする。
【００２９】
本発明の記憶媒体は、本発明の第１の画像処理プログラム及び第２の画像処理プログラムのうち少なくとも１つを記憶したことを特徴とする。
【発明の効果】
【００３０】
本発明によれば、領域のデータ分布に基づいた階調補正テーブルを作成し、顔領域から注目画素が離れることと、入力画像全体における特徴に従って階調補正テーブルに基づく補正量を変更するので、顔領域においては十分に階調補正し、顔領域以外の背景においては補正を抑制することが可能となる。すなわち、顔領域と顔以外の領域とにおいて異なる補正量で階調補正を行い、顔領域の良好な階調補正と、顔領域以外の階調補正を異ならせることができる。
【発明を実施するための最良の形態】
【００３１】
以下、本発明を実施するための最良の形態について添付図面を参照して詳細に説明する。
【００３２】
本発明の画像処理装置（画像処理方法、画像処理プログラム）においては、入力した画像から人物の顔領域を検出する手段と、検出した顔領域のデータ分布を取得するデータ分布取得手段と、前記データ分布に基づいて顔領域を階調補正する階調補正テーブルを作成する補正テーブル作成手段と、入力画像全体における特徴を判定する入力画像特徴判定手段と、顔領域と注目画素の距離を算出する距離算出手段と、注目画素と顔領域との距離と入力画像の特徴に基づいて注目画素における補正量を決定する補正量決定手段と、前記階調補正テーブルと前記補正量に従って注目画素の画質補正を行う画質補正手段とを有し、顔領域と顔以外の領域において異なる補正量で階調補正を行い、顔領域の良好な階調補正と、顔領域以外の階調補正を異ならせることを目的とする。
【００３３】
また、本発明の画像処理装置（画像処理方法、画像処理プログラム）においては、顔領域との距離が離れるほど、補正量を減少させるので、画像中の顔領域は、顔領域のデータ分布に基づいた階調補正テーブルにより良好に補正し、顔以外の領域では補正量を減少させることを目的とする。
【００３４】
また、本発明の画像処理装置（画像処理方法、画像処理プログラム）においては、入力画像の特徴に基づいて、補正量を変更するので、画像中の顔領域は、顔領域のデータ分布に基づいた階調補正テーブルにより良好に補正し、顔以外の領域では入力画像の特徴に応じて補正量の減少のさせ方を制御することを目的とする。
【００３５】
また、本発明の画像処理装置（画像処理方法、画像処理プログラム）においては、画像の撮影シーンを判定することで、顔以外の領域では、画像の撮影シーンに応じて補正量の減少のさせ方を制御することを目的とする。
【００３６】
また、本発明の画像処理装置（画像処理方法、画像処理プログラム）においては、顔領域の大きさに応じて、補正量の減少のさせ方を制御することを目的とする。
【００３７】
また、本発明の画像処理装置（画像処理方法、画像処理プログラム）においては、顔領域における代表値の値に応じて、補正量の減少のさせ方を制御することを目的とする。
【００３８】
また、本発明の画像処理装置（画像処理方法、画像処理プログラム）においては、画像内に複数の顔領域がある場合に、１つの補正テーブルを作成するための顔の選択に際して、暗い顔に基づいて階調補正テーブルを作成すると、もともと明るい顔領域においては、階調がとんでしまうことがあるので、顔領域の代表値が最も明るい顔を選択することで、画像に含まれる明るい顔の階調がとんでしまわないようにすることを目的とする。
【００３９】
また、本発明の画像処理装置（画像処理方法、画像処理プログラム）においては、画像内に複数の顔領域がある場合に、補正テーブルを作成するための顔の選択に際して、明るい顔に基づいて補正テーブルを作成すると、もともと暗い顔領域においては、階調補正を行っても補正の効果が得られないことがあるので、各顔領域の代表値の平均値を代表値とすることで、画像に含まれる暗い顔もより明るく階調補正できることを目的とする。
【００４０】
また、本発明の画像処理装置（画像処理方法、画像処理プログラム）においては、画像内に複数の顔領域がある場合に、補正テーブルを作成するための顔の選択に際して、小さい顔サイズよりも大きい顔サイズの方が重要度が高いので、最も大きい顔を選択することで、より重要度の高い顔に基づいて階調補正することを目的とする。
【００４１】
また、本発明の画像処理装置（画像処理方法、画像処理プログラム）においては、画像内に複数の顔領域がある場合に、それぞれの顔領域に基づいて階調補正テーブルを作成し、各顔領域においては、それぞれの顔に対応した階調補正テーブルにより補正を行い、顔領域以外では、最も距離の近い顔との距離と入力画像の特徴に基づいて補正量を決定し、最も距離の近い顔に基づいた階調補正テーブルと、前記決定した補正量によって階調補正を行うことで、各顔領域の階調補正と顔以外の領域の階調補正を異ならせることを目的とする。
【００４２】
また、本発明の画像処理装置（画像処理方法、画像処理プログラム）においては、入力画像の特徴は画像の撮影シーンであるとすることで撮影シーンに応じて補正量を変化させることを目的とする。
【実施例１】
【００４３】
図１は、本発明の画像処理装置の一実施例の構成を示すブロック図である。
図１に示される画像処理装置は、顔検出部１０１、輝度分布取得部１０２、距離算出部１０３、特性判定部１０４、補正テーブル作成部１０５、補正量決定部１０６、画質補正部１０７から構成される。
【００４４】
顔検出部１０１は、入力画像から人物の顔（顔領域）が存在するかどうかを検出し、人物の顔（顔領域）が存在する場合は、検出した顔領域の位置情報を作成する。
【００４５】
輝度分布取得部１０２は、顔検出部１０１で作成された顔領域の位置情報と入力画像を元に、顔領域内のデータ分布として輝度ヒストグラムを作成し、顔領域の代表輝度値を算出する。
【００４６】
距離算出部１０３は、顔検出部１０１で作成された顔領域の位置情報と入力画像を元に、注目画素と顔領域との距離を算出する。
【００４７】
特性判定部１０４は、入力画像データから、入力画像の撮影シーンの判定、顔検出部１０１で顔検出され場合には、検出した顔の大きさの判定を行う。
【００４８】
補正テーブル作成部１０５は、輝度分布取得部１０２で算出された顔の代表輝度値を元に、階調特性を補正する階調補正テーブルを作成する。
【００４９】
補正量決定部１０６は、距離算出部１０３で算出された、注目画素の顔領域までの距離と、特性判定部１０４で判定された結果を元に、注目画素の補正量の決定を行う。
【００５０】
画質補正部１０７は、補正テーブル作成部１０５で作成された階調特性補正テーブルと、補正量決定部１０６で決定した注目画素における補正量を元に入力画像の階調補正を行い、出力画像を出力する。
【００５１】
図２に本実施例における処理の流れを示す。
ステップＳ１において、入力画像中から顔領域を検出する処理を顔検出部１０１にて行う。
【００５２】
ステップＳ２において、入力画像中に顔が領域存在するかどうかを判定する。
顔領域が存在する場合は（ステップＳ２／ＹＥＳ）、ステップＳ３へ進む。顔領域が存在しない場合は（ステップＳ２／ＮＯ）、終了する。
【００５３】
ステップＳ３において、輝度分布取得部１０２において取得した顔領域の輝度ヒストグラムから顔の代表輝度値を算出する。動作の詳細は後述する。
【００５４】
ステップＳ４において、顔領域の代表輝度値を、予め設定している目標輝度値へ補正する階調補正テーブルを作成する。動作の詳細は後述する。
【００５５】
ステップＳ５において、距離算出部１０３において算出した注目画素と顔領域までの距離と、特性判定部１０４で判定した入力画像の撮影シーンに基づいて、注目画素の補正量を補正量決定部１０６にて算出する。動作の詳細は後述する。
【００５６】
ステップＳ６において、階調補正テーブルと補正量に基づいて、注目画素の階調補正を行う。動作の詳細は後述する。
【００５７】
＜顔検出部における処理＞
顔検出部１０１における動作の詳細を図３に示す。
ステップＳ１１において、入力画像から人間の目、鼻、口等の特徴に着目した、顔領域検出処理を行う。
【００５８】
ステップＳ１２において、顔領域を検出したか否かを判定する。顔領域を検出した場合（ステップＳ１２／ＹＥＳ）、ステップＳ１３へ進む。顔領域を検出しなかった場合は（ステップＳ１２／ＮＯ）、終了する。
【００５９】
ステップＳ１３において、検出した顔領域の画像中における座標位置を、例えば顔領域を矩形で検出する場合には、その矩形の開始点と終了点を算出する。
【００６０】
ここでは、顔領域を矩形で表現する場合について述べたが、ほかにも円形や、楕円形などでも構わない。
【００６１】
＜補正テーブル作成部における処理＞
補正テーブルは、顔領域の明るさを、好ましい明るさに補正するためのものである。そのために、補正テーブル作成部１０５は、入力画像中の顔領域の代表輝度値を顔領域の座標位置に基づいて輝度ヒストグラムを作成し、輝度分布の平均値を算出することで代表輝度値を求める。
【００６２】
図４に輝度ヒストグラムの作成方法について示す。
ステップＳ２１では、顔領域の開始点と、終了点で示された領域内の画素のＲＧＢデータから以下の式に従い輝度値Ｙを求める。
Ｙ＝０．２９９×Ｒ＋０．５８７×Ｇ＋０．１４４×Ｂ
【００６３】
ステップＳ２２では、求めた輝度値Ｙについて、ステップＳ２１で計算した輝度値Ｙのヒストグラムを更新する。
【００６４】
ステップＳ２３では、顔領域内の全画素をヒストグラムに取り込んだかを判定する。全画素終了していない場合は（ステップＳ２３／ＮＯ）、ステップＳ２１へ戻る。全画素終了した場合は（ステップＳ２３／ＹＥＳ）、ステップＳ２４へ進む。
【００６５】
ステップＳ２４では、得られたヒストグラムから顔領域の代表値として、ヒストグラムの平均値を算出する。
【００６６】
ここでは代表値として、得られたヒストグラムの平均値を算出するようにしたが、ヒストグラムの最頻値等、顔領域を代表する値として適当な他の値でも構わない。
【００６７】
代表値（ヒストグラムの平均値）を算出した後、階調補正テーブルを作成する。
【００６８】
図５は、作成した階調補正テーブルの例を示した図である。図５において、代表輝度値は、輝度ヒストグラムに基づいて求めた顔の代表値である。変換値である目標輝度値は、予め設定しておいた値を用いる。顔の好ましい輝度値は、大体１６０〜１９０の範囲にあるので、目標輝度値をここでは１７５として設定する。階調補正テーブルは、入力輝度値が０のとき出力輝度値を０に変換し、代表輝度値を目標輝度値に変換、さらに入力輝度値が２５５のとき出力輝度値を２５５と変換するように作成する。
【００６９】
＜注目画素の顔からの距離算出部における処理＞
図６は距離算出部１０３における、注目画素から顔領域までの距離の算出方法について詳細に示したものである。
【００７０】
顔検出部１０１にて検出された顔領域の開始点Ｘ１，Ｙ１、終了点Ｘ２，Ｙ２が得られる。この開始点、終了点の中点である点Ａの座標Ｘａ，Ｙａを次式により求める。
Ｘａ＝（Ｘ１＋Ｘ２）／２
Ｙａ＝（Ｘ１＋Ｙ２）／２
【００７１】
注目画素と顔領域との距離は、注目画素と点Ａとの距離を求める。すなわち、注目画素をＸｉ，Ｙｊとすると、距離Ｘは次式により求められる。
Ｘ＝｛（Ｘｉ−Ｘａ）2＋（Ｙｉ−Ｙａ）2｝1/2
【００７２】
ここでは、簡単のために注目画素と、顔の中心点との距離を算出したが、注目画素と顔領域との距離が概算出できれば良く、これ以外の方法で顔領域との距離を算出しても構わない。
【００７３】
＜特性判定部における処理＞
特性判定部１０４では、入力画像全体から、撮影されたシーン判別を行う。
光源が顔領域の真後ろに存在する「逆光シーン」か、夜間にストロボなどを用いて撮影した「夜間撮影シーン」か、それともそれらのいずれにも属さない「その他」のシーンであるかを判別する。例えば、画像周縁部と中央部の輝度差を閾値と比較したり、輝度頻度分布の２極化の形状から逆光シーンを判別したりすることが出来る。また、顔検出領域と、検出領域以外の明るさを比較するなどによって夜間撮影シーンを判別することが出来る（シーン判別の方法についての詳細は、特開２００２−２４７３６１号公報の段落「００１３」〜「００１６」及び図４、図５を参照）。
【００７４】
＜補正量決定部における処理＞
図７は補正量決定部１０６における処理の詳細を示したものである。
ステップＳ１０１では、特性判定部１０４におけるシーン判定の結果から、後述する補正量計算式による補正量の減少度合いを決定する傾きを、予め設定している値の中から選択する。
【００７５】
ステップＳ１０２では、ステップＳ３１で決定した傾きと、距離算出部１０３で算出した注目画素と顔領域との距離から注目画素における補正量を決定する。
【００７６】
ここで補正量計算式について説明する。
補正量計算式は、注目画素における補正量を制御するものであり、補正テーブル作成部１０５にて作成した階調補正テーブルによる補正の効き方を制御する。すなわち、補正量が１である場合は、階調補正テーブルの変換をそのまま反映し、補正量が０である場合は、階調補正テーブルの変換は全く効かなくなる。階調補正の方法については、後述する画質補正部１０７の説明で行う。
【００７７】
補正量計算式は、以下の式に従う。
Ｈ＝−（Ｘ／Ｘ ｍａｘ）a＋１[ifＨ＜０then Ｈ＝０]
Ｈは補正量、aはシーン判定に応じて決定する係数、Ｘは注目画素と顔領域までの距離である。
Ｈの最小値は０であり、計算式による値が負になる場合は、０とする。
Ｘ ｍａｘは顔領域の中心点との距離において、補正量変更の範囲を決める予め設定される定数である。
【００７８】
図８は、Ｘ ｍａｘの値による補正量の影響範囲を示す図である。
図８のようにＸ ｍａｘを設定すると、顔領域の中心点から半径Ｘ ｍａｘの円内の領域グレーで示した領域において、中心点から離れるほど補正量が徐々に減少していき、円外の領域では補正量は０になる。
【００７９】
Ｘ ｍａｘの値を大きしていけば、補正量変更の範囲は広がり、値を小さくすると補正量変更の範囲は狭くなる。
【００８０】
本実施例では、Ｘ ｍａｘを入力画像領域における４隅の点と顔領域の中心点の距離の中の最大値を設定することとするが、他の値でも構わない。
【００８１】
係数aは図９に示すように、シーン判定の結果に応じて予め決定している値を選択する。
【００８２】
上記の計算式に基づいた補正量のグラフを示したのが図１０である。係数（傾き）aが小さければ急峻に補正量を減少させ、係数（傾き）ａが大きければ緩やかに補正量を減少させることになる。
【００８３】
また、決定する係数値としては図９に示したのは一例であり、他の値を使用しても構わない。ここでは、簡単のために予め決定した係数値を選択することとしたが、入力画像を解析することにより係数値を決定しても構わない。
【００８４】
また、上記の計算式も一例であり、他の計算式を用いても構わない。
【００８５】
さらに、計算式により補正量を決定するのではなく、距離と補正量とのルックアップテーブルを用意して決定しても構わない。
【００８６】
補正量決定部１０６では、注目画素が顔領域から離れるほど補正量を変更させる機能を有している。さらに、シーン判定により補正量変更の傾きを制御する機能を有しており、これらの機能を有していれば、上記以外の方法を用いても良い。
【００８７】
＜画質補正部における処理＞
画質補正部１０７では、補正量決定部１０６で決定した値と、補正テーブル作成部１０５で作成した階調補正テーブルに従って、入力画像データに階調補正処理を施す。
【００８８】
図１１は画質補正部の処理の流れを詳細に示したものである。
ステップＳ３１では、入力画像データのＲＧＢ値から前述した輝度計算式により、入力輝度値を算出する。
【００８９】
ステップＳ３２では、補正テーブル作成部で作成した階調補正テーブルを用いて入力輝度値に対応した変換輝度値を決定する。
【００９０】
ステップＳ３３では、変換輝度値と入力輝度値、さらに補正量決定部で決定した補正量を用いてＲＧＢ値の補正を行い、補正した画像を出力する。
【００９１】
階調補正テーブルによる変換後の輝度値をＹ ｏｕｔ、入力輝度値をＹ ｉｎ、補正量をＨとし、入力ＲＧＢ値を以下の式に従って行う。
Ｒ ｏｕｔ＝（Ｙ ｏｕｔ／Ｙ ｉｎ）×Ｈ×Ｒ ｉｎ
Ｇ ｏｕｔ＝（Ｙ ｏｕｔ／Ｙ ｉｎ）×Ｈ×Ｇ ｉｎ
Ｂ ｏｕｔ＝（Ｙ ｏｕｔ／Ｙ ｉｎ）×Ｈ×Ｂ ｉｎ
Ｒ ｉｎ、Ｇ ｉｎ、Ｂ ｉｎは入力ＲＧＢ値、Ｒ ｏｕｔ、Ｇ ｏｕｔ、Ｂ ｏｕｔは出力ＲＧＢ値を表している。
【００９２】
以上の説明したように、本発明の実施例１によれば、入力画像中の顔領域を検出して顔領域の代表輝度値を算出して、階調補正テーブルの作成を行い、顔領域は目標とする階調に補正しつつ、顔以外の領域については顔から離れるに従って補正量を減少させることができる。
【００９３】
また、逆光状態で顔が暗く、背景が明るく撮影された画像において、顔領域は明るく補正し、背景においてはハイライト部分の階調が保たれるよう補正量を変更して階調補正処理を行うことで、背景領域も考慮した顔領域の画質向上を図ることができる。
【００９４】
また、撮影シーンによって補正量を変更することが可能であり、撮影シーンに応じた画質向上を図ることが出来る。
【実施例２】
【００９５】
次に、本発明の実施例１として、入力画像から顔の大きさに従って、入力画像の階調補正を行う方法について説明する。
【００９６】
図１２は、本実施例の構成を示すブロック図である。
図１２に示される画像処理装置は、顔検出部１２０１、特性判定部１２０２、輝度分布取得部１２０３、距離算出部１２０４、補正テーブル作成部１２０５、補正量決定部１２０６、画質補正部１２０７から構成される。
【００９７】
顔検出部１２０１は、入力画像から人物の顔領域が存在するかどうかを検出し、人物の顔領域が存在する場合は、検出した顔領域の位置情報を作成する。複数の顔が検出された場合は、それぞれの顔領域の位置情報を作成する。
【００９８】
特性判定部１２０２は、顔検出部１２０１で検出された顔の位置情報から顔の大きさを算出する。
【００９９】
輝度分布取得部１２０３は、特性判定部１２０２から入力される顔領域の位置情報を元に、顔領域内の輝度ヒストグラムを作成し、顔領域の代表輝度値を算出する。
【０１００】
距離算出部１２０３は、特性判定部１２０２から入力される顔領域の位置情報を元に、注目画素と顔領域との距離を算出する。
【０１０１】
補正テーブル作成部１２０５は、輝度分布取得部で算出された顔の代表輝度値を元に、階調特性を補正する階調補正テーブルを作成する。
【０１０２】
補正量決定部１２０６は、距離算出部１２０３で算出された、注目画素の顔領域までの距離を元に、注目画素の補正量の決定を行う。
【０１０３】
画質補正部１２０７は、補正テーブル作成部１２０５で作成された階調特性補正ルックアップテーブルと、補正量決定部１２０６で決定した注目画素における補正量を元に注目画素の階調補正を行う。
【０１０４】
図１３に本実施例における処理の流れを示す。
ステップＳ４１において、入力画像中から顔を検出する処理を行う。
【０１０５】
ステップＳ４２において、入力画像中に顔が存在するかどうかを判定する。
顔検出部１２０１の動作の詳細については、実施例１で説明した動作と同様なので省略する。顔が存在する場合は（ステップＳ４２／ＹＥＳ）、ステップＳ４３へ進む。顔が存在しない場合は（ステップＳ４２／ＮＯ）、終了する。
【０１０６】
ステップＳ４３において、特性判定部１２０２は、顔検出部１２０１で検出した顔領域の大きさを判定する。動作の詳細は後述する。
【０１０７】
ステップＳ４４において、検出した顔領域の位置情報から顔領域の輝度分布を輝度分布取得部１２０３にて取得し、顔領域の代表輝度値を算出する。さらに、補正テーブル作成部１２０５にて顔領域の代表輝度値を、予め設定している目標輝度値へ補正する階調補正テーブルを作成する。なお、輝度分布取得部１２０３、補正テーブル作成部１２０５の動作の詳細は、実施例１で説明した動作と同様なので省略する。
【０１０８】
ステップＳ４５において、検出した顔領域と注目画素までの距離を距離算出部１２０４において算出する。なお、距離算出部１２０５の動作の詳細は、実施例１で説明した動作と同様なので省略する。さらに、注目画素と顔領域までの距離と顔のサイズに基づいた補正量を補正量決定部１２０６にて算出する。動作の詳細は後述する。
【０１０９】
ステップＳ４６において、補正テーブル作成部１２０５で作成した階調補正テーブルと、補正量決定部１２０６で決定した補正量に基づいて注目画素の階調補正を行う。なお、画質補正部１２０７における動作の詳細は、実施例１で説明した動作と同様なので省略する。
【０１１０】
＜特性判定部における処理＞
特性判定部１２０２は、顔検出部１２０１が検出した顔の位置情報から、顔の大きさを判定する。
【０１１１】
図１４に処理の詳細を示す。
ステップＳ９１では、顔検出部１２０１で検出された顔領域の位置情報を取得する。顔領域の開始点（Ｘ１，Ｙ１）、終了点（Ｘ２，Ｙ２）が得られるとする。
【０１１２】
ステップＳ９２では、位置情報から顔領域のサイズＳ ｆａｃｅを以下の計算式に従って算出する。
Ｓ ｆａｃｅ＝|Ｘ２−Ｘ１|＋|Ｙ２−Ｙ１|
【０１１３】
入力画像サイズＳ ｉｍｇを、入力画像の幅Ｘ０、高さＹ０に従い、以下の計算式により算出する。
Ｓ ｉｍｇ＝Ｘ０＋Ｙ０
【０１１４】
さらに、ステップＳ９３では、入力画像サイズに対する顔領域の比率Ｓを以下の計算式により算出する。
Ｓ＝Ｓ ｆａｃｅ／Ｓ ｉｍｇ
顔領域の比率Ｓを算出した後、終了する。
【０１１５】
＜補正量決定部における処理＞
補正量決定部１２０６では、距離算出部１２０４で算出された注目画素と顔領域までの距離と、顔領域の比率Ｓに基づいて補正量を決定する。
【０１１６】
補正量の計算式は、以下の式に従う。
Ｈ＝−（Ｘ／Ｘ ｍａｘ）＋１[if（Ｈ＜０）then Ｈ＝０]
Ｈは補正量、Ｘは注目画素と顔領域までの距離、Ｘ ｍａｘは補正量変更の範囲を決めるパラメータである。
Ｘ ｍａｘは、顔領域の大きさに応じて決定される。
【０１１７】
入力画像サイズにおける幅と高さの和をＤとすると、以下の計算式によって、Ｘ ｍａｘを決定する。
Ｘ ｍａｘ＝Ｓ×Ｄ
【０１１８】
このようにすることで、顔領域の大きさに応じたＸ ｍａｘの値を設定することが出来る。
補正量決定部では、注目画素と顔領域までの距離と、顔領域の大きさという２つの要素に基づいて補正量を変更させる機能を有している。
【０１１９】
本実施例における、補正量計算式や、補正量変更の範囲Ｘ ｍａｘを決定するための計算式は一例である。
【０１２０】
これらの計算式以外でも、顔領域までの距離と顔領域の大きさという２つの要素から求めた補正量であればよい。
【０１２１】
また、顔のサイズのみを画像特性として補正量決定に用いたが、実施例１で説明したように、入力画像のシーン判定と組み合わせて補正量の決定を行うことで、撮影シーンと顔の大きさに基づいて階調補正を行うことも可能である。
【実施例３】
【０１２２】
次に、本発明の実施例３として、顔領域の輝度値に基づいて補正量を決定し、入力画像の階調補正を行う方法について説明する。
【０１２３】
図１５は、本実施例の構成を示すブロック図である。
図１５に示される画像処理装置は、顔検出部１５０１、輝度分布取得部１５０２、距離算出部１５０３、特性判定部１５０４、補正テーブル作成部１５０５、補正量決定部１５０６、画質補正部１５０７から構成される。
【０１２４】
顔検出部１５０１は、入力画像から人物の顔が存在するかどうかを検出し、人物の顔が存在する場合は、検出した顔領域の位置情報を作成する。複数の顔が検出された場合は、それぞれの顔領域の位置情報を作成する。
【０１２５】
輝度分布取得部１５０２は、顔検出部１５０１で検出された顔領域の位置情報を元に、顔領域内の輝度ヒストグラムを作成し、顔領域の代表輝度値を算出する。
【０１２６】
距離算出部１５０３は、顔検出部１５０１で検出された顔領域の位置情報を元に、注目画素と顔領域との距離を算出する。
【０１２７】
特性判定部１５０４は、輝度分布取得部で算出された顔領域の代表輝度値を元に、補正テーブルで変換する変換輝度値との差異を算出する。
【０１２８】
補正テーブル作成部１５０５は、輝度分布取得部で算出された顔の代表輝度値を元に、階調特性補正用の補正ルックアップテーブルを作成する。
【０１２９】
補正量決定部１５０６は、距離算出部１５０３で算出された、注目画素の顔領域までの距離と特性判定部１５０４を元に、注目画素の補正量の決定を行う。
【０１３０】
画質補正部１５０７は、補正テーブル作成部１５０５で作成された階調特性補正テーブルと、補正量決定部１５０６で決定した注目画素における補正量を元に注目画素の階調補正を行う。
【０１３１】
図１６に本実施例における処理の流れを示す。
ステップＳ５１において、入力画像中から顔を検出する処理を行う。
【０１３２】
ステップＳ５２において、入力画像中に顔が存在するかどうかを判定する。顔検出部１５０１の動作の詳細については、実施例１で説明した動作と同様なので省略する。顔が存在する場合は（ステップＳ５２／ＹＥＳ）、ステップＳ５３へ進む。顔が存在しない場合は（ステップＳ５２／ＮＯ）、終了する。
【０１３３】
ステップＳ５３において、輝度分布取得部１５０２で取得した顔領域の輝度ヒストグラムから顔の代表輝度値を算出する。
【０１３４】
ステップＳ５４において、輝度分布取得部１５０２で算出した顔領域の代表輝度値を、予め設定しておいた目標輝度値へ補正する階調補正テーブルを補正テーブル作成部１５０３にて作成する。輝度分布取得部１５０２と、補正テーブル作成部１５０３における動作については、実施例１で説明した動作と同様なので省略する。
【０１３５】
ステップＳ５５では、距離算出部１５０４において注目画素と顔領域までの距離を算出する。距離算出部１５０５の動作の詳細は、実施例１で説明した動作と同様なので省略する。さらに、特性判定部１５０４にて算出した顔の代表輝度値と、補正テーブル作成時に用いる目標輝度値との差分を算出する。特性判定部１５０４における動作は後述する。次に、差分値と距離に基づいた補正量を補正量決定部１５０６にて算出する。補正量決定部１５０６における動作の詳細は後述する。
【０１３６】
ステップＳ５６において、補正テーブル作成部１５０５で作成した階調補正テーブルと、補正量決定部１５０６で決定した補正量に基づいて注目画素の階調補正を行う。画質補正部１５０７における動作の詳細は、実施例１で説明した動作と同様なので省略する。
【０１３７】
＜特性判定部における処理＞
特性判定部１５０４では、輝度分布取得部１５０２から入力される顔の代表輝度値と、予め設定した目標輝度値との差分を計算する。
【０１３８】
顔の代表輝度値Ｙ ｉｎ、目標輝度値をＹ ｏｕｔとすると、差分輝度Ｙ ｄｉｆは、
Ｙ ｄｉｆ＝|Ｙ ｏｕｔ−Ｙ ｉｎ|
で計算される。
【０１３９】
＜補正量決定部における処理＞
補正量決定部１５０６では、特性判定部１５０４における差分値Ｙ ｄｉｆと、距離算出部１５０３からの注目画素と顔までの距離Ｘに基づいて以下の補正量計算式に従って補正量Ｈを決定する。
Ｈ＝−Ｙ ｄｉｆ／Ｙ ｍａｘ×Ｘ／Ｘ ｍａｘ＋１[ifＨ＜０then Ｈ＝０]
【０１４０】
ここで、Ｘ ｍａｘは顔領域の中心点との距離に於いて、補正量変更の範囲を決める定数パラメータである。また、Ｙ ｍａｘは差分輝度値の最大値を示しており、本実施例の場合、一例としてＹ ｍａｘ＝６４と設定する。
【０１４１】
図１７にＹ ｄｉｆの値の違いによる補正量のグラフを示す。
丸１（丸印の中に数字の１があるという意味）の直線は、Ｙ ｄｉｆ＝６４の場合の補正量を示しており、Ｘ ｍａｘ以上は補正量０になる。丸２（丸印の中に数字の２があるという意味）の直線は、Ｙ ｄｉｆ＝０の場合の補正量を示しており、補正量は１のままとなる。丸３（丸印の中に数字の３があるという意味）の直線は、Ｙ ｄｉｆ＝１２８の場合の補正量を示しており、Ｘ ｍａｘよりも早く補正量が０になる。
【０１４２】
上記の補正量計算式は、目標輝度値との差分が大きいほど急峻に補正量を減少させる。
【０１４３】
例えば、逆光状態で顔が目標輝度値よりも暗く、背景が明るく撮影された画像において、顔領域は目標輝度値になるように明るく補正しつつ、背景においては顔から離れるに従って補正量を抑制するので、背景のハイライト領域の階調とびを抑え、顔領域と背景領域の画質向上を図ることが出来る。
【０１４４】
上記の補正量計算式は、顔領域と注目画素の距離と、顔領域の代表輝度値に応じて補正量を減少させる計算式の一例であり、この他の計算式を用いてももちろん構わない。
【実施例４】
【０１４５】
本発明の実施例４として、複数の顔領域がある場合に、最も明るい顔領域を選択して、階調補正テーブルを作成し補正する方法について述べる。
【０１４６】
本実施例のブロック図は、実施例３のブロック図である図１５と同じである。よって、ここでの説明は省略する。
【０１４７】
図１８に本実施例における処理の流れを示す。
ステップＳ６１では、顔検出部１５０１にて入力画像における顔領域の検出を行う。複数の顔が存在する場合は、複数の顔の位置情報を算出する。
【０１４８】
ステップＳ６２では、顔が検出されたかどうかを判定する。顔が検出されれば（ステップＳ６２／ＹＥＳ）、ステップＳ６２に進む。顔が検出されなければ（ステップＳ６２／ＮＯ）、終了する。
【０１４９】
ステップＳ６３では、検出された各顔領域における代表輝度値の算出を、輝度分布取得部１５０２にて行う。輝度分布取得部１５０２における動作は、実施例１で説明した動作を複数の顔の位置情報に基づいて行うだけであるので、説明は省略する。
【０１５０】
ステップＳ６４では、前のステップで算出した各顔領域の代表輝度値の中から最も明るい顔領域の代表輝度値を入力画像における代表輝度値として特性判定部１５０４で選択する。
【０１５１】
ステップＳ６５では、選択された代表輝度値を予め設定された目標輝度値へ変換する階調補正テーブルを補正テーブル作成部１５０５にて作成する。補正テーブル作成部１５０５における処理の詳細は、実施例１で説明した動作と同様なので省略する。
【０１５２】
ステップＳ６６では、選択された最も明るい顔領域の位置情報から注目画素と顔領域との距離を距離算出部１５０３にて算出し、注目画素の補正量を補正量決定部１５０６決定する。距離算出部１５０３と補正量決定部１５０６における処理の詳細は後述する。
【０１５３】
ステップＳ６７では、ステップＳ６５で作成した階調補正テーブルとステップＳ６６で決定した補正量に基づいて注目画素の階調補正を行い終了する。画質補正部１５０７における動作の詳細は、実施例１で説明した動作と同様なので省略する。
【０１５４】
＜特性判定部における処理＞
特性判定部１５０４では、輝度分布取得部１５０２で算出した、各顔領域の代表輝度の中から最も明るい代表輝度を選択する。
【０１５５】
この実施例では、各顔領域の代表輝度の中から最も明るい値を選択するようにしたが、各顔領域の代表輝度値の平均値を新たな代表輝度としても構わない。
【０１５６】
また、他にも、各顔領域の位置情報から顔の大きさを算出し、最も大きい顔の代表輝度値を選択するようにしても良い。
【０１５７】
＜距離算出部における処理＞
距離算出部１５０３では、顔検出部１５０１で検出された各顔領域と、注目画素との距離を算出し、算出された各距離の中で、最も短い距離を注目画素と顔領域までの距離として選択する。
【０１５８】
図１９は複数の顔と注目画素との距離の算出方法について示したものである。
ここでは、２人人物Ａ、人物Ｂの顔が顔検出部１５０１において検出されたとする。
【０１５９】
顔検出部１５０１において検出された各顔領域の位置情報各顔領域の開始点と終了点から、顔領域の中心点である、点Ａ、点Ｂを求める。
【０１６０】
注目画素との顔領域の中心点との距離を、距離Ａ、距離Ｂとすると、注目画素と顔領域の距離Ｘは、以下の式によって算出する。
Ｘ＝Ｍｉｎ[距離Ａ、距離Ｂ]
ここで関数Ｍｉｎ[  ]は、最小値を選択するものである。
【０１６１】
このようにすることで、複数の顔領域が検出された場合でも、一意に注目画素と顔領域とのの距離を求めることが出来る。
【０１６２】
＜補正量決定部における処理＞
補正量決定部１５０６では、距離算出部１５０３において最も明るい顔領域の位置情報に基づいて算出された注目画素と顔領域との距離Ｘに基づいて、以下の補正量計算式に基づいて補正量を計算する。
Ｈ＝−Ｘ／Ｘ ｍａｘ＋１[ifＨ＜０then Ｈ＝０]
【０１６３】
Ｘ ｍａｘは、図８に示した補正量の影響範囲を表すもので、ここでは、入力画像における４隅の点と各顔領域の中心点との距離の中の最大値を設定することとするが、他の値でも構わない。
【０１６４】
補正量Ｈは、Ｘが大きくなるに従い減少し、Ｘ ｍａｘ以上の距離の場合は、補正量は０になる。
【０１６５】
以上説明したように、複数の顔領域が検出された場合には、最も明るい顔領域を全顔領域の代表輝度として選択し、一つの階調補正テーブルを作成し、画質補正時は各顔領域との距離に基づいて階調補正を行うことが出来る。
【実施例５】
【０１６６】
本発明の実施例５として、複数の顔領域がある場合に、各顔領域に基づいた複数の階調補正テーブルを作成し補正する方法について述べる。
【０１６７】
本実施例のブロック図は、実施例３のブロック図である図１５と同じである。よって、ここでの説明は省略する。
【０１６８】
図２０に本実施例における処理の流れを示す。
ステップＳ７１では、顔検出部１０１にて入力画像における顔領域の検出を行う。複数の顔が存在する場合は、複数の顔の位置情報を算出する。
【０１６９】
ステップＳ７２では、顔が検出されたかどうかを判定する。顔が検出されれば（ステップＳ７２／ＹＥＳ）、ステップＳ６２に進む。顔が検出されなければ（ステップＳ７２／ＮＯ）、終了する。
【０１７０】
ステップＳ７３では、検出された各顔領域における代表輝度値の算出を、輝度分布取得部１０２にて行う。輝度分布取得部１０２における動作は、実施例１で説明した動作を複数の顔の位置情報に基づいて行うだけであるので、説明は省略する。
【０１７１】
ステップＳ７４では、各顔領域の代表輝度値を予め設定された目標輝度値へ変換する、各顔領域の階調補正テーブルを補正テーブル作成部１０５にて作成する。補正テーブル作成部１０５における処理の詳細は、実施例１で説明した動作を複数の顔の代表輝度値がある場合に展開した場合と同様なので省略する。
【０１７２】
ステップＳ７５では、各顔領域の位置情報から注目画素と顔領域との距離を距離算出部１０３にて算出し、注目画素と顔領域の距離と特性判定部１０４で判定した入力画像の撮影シーンに基づいて注目画素の補正量を補正量決定部１０６決定する。距離算出部１０３における処理の詳細は、注目画素と各顔領域との距離のうち最小の距離を注目画素と顔領域との距離とすることであり、実施例４で既に説明した動作と同様なのでここでは省略する。特性判定部１０４における処理の詳細は、入力画像の撮影シーンの判定を行うことであり、実施例１で既に説明した動作と同様なのでここでは省略する。補正量決定部における処理の詳細は実施例１で説明した動作と同様なのでここでは省略する。
【０１７３】
ステップＳ７６では、ステップＳ７４で作成した各顔領域に対応した複数の階調補正テーブルとステップＳ７５で決定した補正量に基づいて注目画素の階調補正を行い終了する。画質補正部１０７における動作の詳細は、後述する。
【０１７４】
＜画質補正部における処理＞
画質補正部１０７では、補正テーブル作成部で作成した複数の補正テーブルと、補正量決定部で決定した補正量とに基づいて入力画像の階調補正を行う。
【０１７５】
図２１に画質補正部の処理の流れを示す。
ステップＳ８１では、入力画像データの注目画素のＲＧＢ値から実施例１で示した輝度計算式により、入力輝度値を算出する。
【０１７６】
ステップＳ８２では、補正テーブル作成部で作成した複数の補正テーブルの中から、注目画素から最も距離の近い顔領域に基づいた補正テーブルを選択する。
【０１７７】
ステップＳ８３では、選択した補正テーブルにより注目画素の輝度値入力輝度値に対応した変換輝度値を決定する。
【０１７８】
ステップＳ８４では、変換輝度値と入力輝度値、さらに補正量決定部で決定した補正量を用いてＲＧＢ値の補正を行う。
【０１７９】
変換後の輝度値をＹ ｏｕｔ、入力輝度値をＹ ｉｎ、補正量をＨとし、入力ＲＧＢ値を以下の式に従って行う。
Ｒ ｏｕｔ＝Ｙ ｏｕｔ／Ｙ ｉｎ×Ｈ×Ｒ ｉｎ
Ｇ ｏｕｔ＝Ｙ ｏｕｔ／Ｙ ｉｎ×Ｈ×Ｇ ｉｎ
Ｂ ｏｕｔ＝Ｙ ｏｕｔ／Ｙ ｉｎ×Ｈ×Ｂ ｉｎ
Ｒ ｉｎ、Ｇ ｉｎ、Ｂ ｉｎは入力ＲＧＢ値、Ｒ ｏｕｔ、Ｇ ｏｕｔ、Ｂ ｏｕｔは出力ＲＧＢ値を表している。
【０１８０】
以上説明したように、入力画像中の複数の顔領域を検出して、複数の階調補正テーブルの作成を行い、注目画素の画質補正は複数の補正テーブルから、注目画素と距離の最も近い顔領域に基づいた補正テーブルを選択して階調補正に用いることができる。
【０１８１】
逆光状態で顔が暗く、背景が明るく撮影された画像において、顔領域は明るく補正し、背景においてはハイライト部分の階調が保たれるよう補正量を変更して階調補正処理を行うことで、背景領域も考慮した顔領域の画質向上を図ることができる。
【０１８２】
また、撮影シーンによって補正量を変更することが可能であり、撮影シーンに応じた画質向上を図ることが出来る。
【０１８３】
以上説明したように、本発明の画像処理装置（画像処理方法、画像処理プログラム）においては、顔領域のデータ分布に基づいた階調補正テーブルを作成し、顔領域から注目画素が離れることと、入力画像全体における特徴に従って階調補正テーブルに基づく補正量を変更するので、顔領域は十分に階調補正し、顔領域以外の背景においては、補正を抑制することが出来る。
【０１８４】
また、本発明の画像処理装置（画像処理方法、画像処理プログラム）においては、顔領域から注目画素が離れるほど補正量を減少させるので、主に顔領域を中心に補正を行うことが出来る。例えば、逆光シーンで撮影され、背景は明るく、顔領域が暗い画像において顔領域は明るく補正しても、背景領域は明るく補正しないようにすることが可能となる。
【０１８５】
また、本発明の画像処理装置（画像処理方法、画像処理プログラム）においては、入力画像の特徴に基づいて補正量を変更するので、同じ輝度分布を持つ顔領域でも、画像全体の特徴に応じて補正量の減少度合いを制御することが出来る。
【０１８６】
また、本発明の画像処理装置（画像処理方法、画像処理プログラム）においては、入力画像のシーンに基づいて補正量を変更するので、同じデータ分布を持つ顔領域でも、撮影シーンに応じた補正量を決定することが出来る。
【０１８７】
また、本発明の画像処理装置（画像処理方法、画像処理プログラム）においては、顔領域の大きさに応じて補正量の減少のさせ方を制御することができるので、顔の大きさに合わせた補正量を決定することが出来る。
【０１８８】
また、本発明の画像処理装置（画像処理方法、画像処理プログラム）においては、顔領域の明るさに応じて補正量の減少のさせ方を制御することが出来るので、入力画像における顔領域が、暗い場合や明るい場合に応じた補正量を決定することが出来る。
【０１８９】
また、本発明の画像処理装置（画像処理方法、画像処理プログラム）においては、複数の顔が存在する場合に、最も明るい顔に基づいた階調補正テーブルを用いて階調補正を行うことが出来るので、元々明るい顔の階調が飛んでしまうことを防ぐことが出来る。
【０１９０】
また、本発明の画像処理装置（画像処理方法、画像処理プログラム）においては、複数の顔が存在する場合に、複数の顔の明るさの平均値に基づいた補正テーブルを用いて階調補正を行うことが出来るので、暗い顔の階調も明るく補正することが出来る。
【０１９１】
また、本発明の画像処理装置（画像処理方法、画像処理プログラム）においては、複数の顔が存在する場合に、最も顔サイズの大きい顔の明るさに基づいた補正テーブルを用いて階調補正を行うことが出来るので、重要な特徴である大きな顔を中心に階調補正することが出来る。
【０１９２】
また、本発明の画像処理装置（画像処理方法、画像処理プログラム）においては、複数の顔が存在する場合に、各顔領域の明るさに基づいた補正テーブルを作成し、各顔領域の階調補正には各領域に対応した補正テーブルを用いて階調補正し、顔領域以外では補正量を減少させることが出来るので、各顔の明るさに応じた階調補正を行いつつ、顔領域以外の領域では階調補正を抑制することが出来る。
【０１９３】
また、本発明の画像処理装置（画像処理方法、画像処理プログラム）においては、複数の顔が存在する場合に、各顔領域の明るさに基づいた補正テーブルを作成し、各顔領域の階調補正には各領域に対応した補正テーブルを用いて階調補正し、顔領域以外では撮影シーンに応じて補正量を抑えることが出来るので、各顔の明るさに応じた階調補正を行いつつ、顔以外の領域では、撮影シーンに合った補正量を設定することが出来る。
【０１９４】
以上、本発明の各実施例について説明したが、上記各実施例に限定されるものではなく、その要旨を逸脱しない範囲において種々の変形が可能である。
【０１９５】
例えば、上述した実施例における制御動作は、ハードウェア、または、ソフトウェア、あるいは、両者の複合構成によって実行することも可能である。
【０１９６】
なお、ソフトウェアによる処理を実行する場合には、処理シーケンスを記録したプログラムを、専用のハードウェアに組み込まれているコンピュータ内のメモリにインストールして実行させるか、あるいは、各種処理が実行可能な汎用コンピュータにプログラムをインストールして実行させることが可能である。
【０１９７】
例えば、プログラムは、記録媒体としてのハードディスクやＲＯＭ（Read Only Memory）に予め記録しておくことが可能である。
【０１９８】
あるいは、プログラムは、フロッピー（登録商標）ディスク、ＣＤ−ＲＯＭ（Compact Disc Read Only Memory），ＭＯ（Magneto optical）ディスク，ＤＶＤ（Digital Versatile Disc）、磁気ディスク、半導体メモリなどのリムーバブル記録媒体に、一時的、あるいは、永続的に格納記録しておくことが可能である。
【０１９９】
このようなリムーバブル記録媒体は、いわゆるパッケージソフトウエアとして提供することが可能である。
【０２００】
なお、プログラムは、上述したようなリムーバブル記録媒体からコンピュータにインストールする他、ダウンロードサイトから、コンピュータに無線転送したり、ＬＡＮ（Local Area Network）、インターネットといったネットワークを介して、コンピュータに有線で転送したりし、コンピュータでは、転送されてきたプログラムを受信し、内蔵するハードディスク等の記録媒体にインストールすることが可能である。
【０２０１】
また、上記実施例で説明した処理動作に従って時系列的に実行されるのみならず、処理を実行する装置の処理能力、あるいは、必要に応じて並列的にあるいは個別に実行するように構築することも可能である。
【図面の簡単な説明】
【０２０２】
【図１】本発明の実施例１に係り、画像処理装置の構成を示すブロック図である。
【図２】本発明の実施例１に係り、画像処理装置の動作を示すフローチャートである。
【図３】本発明の実施例１に係り、画像処理装置の顔検出部１０１における動作を示すフローチャートである。
【図４】本発明の実施例１に係り、画像処理装置の補正テーブル作成部１０５における、輝度ヒストグラムの作成動作を示すフローチャートである。
【図５】本発明の実施例１に係り、画像処理装置の階調補正テーブルの例を示す図である。
【図６】本発明の実施例１に係り、画像処理装置の距離算出部１０３における、注目画素から顔領域までの距離の算出方法を示す図である。
【図７】本発明の実施例１に係り、画像処理装置の補正量決定部１０６における動作を示すフローチャートである。
【図８】本発明の実施例１に係り、Ｘ ｍａｘの値による補正量の影響範囲を示す図である。
【図９】本発明の実施例１に係り、画像処理装置の補正量決定部１０６が決定する係数値ａの例を示す図である。
【図１０】本発明の実施例１に係り、係数値ａと、補正量と、顔の中心点からの距離との関係を示すグラフである。
【図１１】本発明の実施例１に係り、画像処理装置の画質補正部１０７における動作を示すフローチャートである。
【図１２】本発明の実施例２に係り、画像処理装置の構成を示すブロック図である。
【図１３】本発明の実施例２に係り、画像処理装置の動作を示すフローチャートである。
【図１４】本発明の実施例２に係り、画像処理装置の特性判定部１２０２における動作を示すフローチャートである。
【図１５】本発明の実施例３に係り、画像処理装置の構成を示すブロック図である。
【図１６】本発明の実施例３に係り、画像処理装置の動作を示すフローチャートである。
【図１７】本発明の実施例３に係り、Ｙ ｄｉｆの値の違いによる補正量を示すグラフである。
【図１８】本発明の実施例４に係り、画像処理装置の動作を示すフローチャートである。
【図１９】本発明の実施例４に係り、画像処理装置の距離算出部１５０３における、複数の顔と注目画素との距離の算出方法を示す図である。
【図２０】本発明の実施例５に係り、画像処理装置の動作を示すフローチャートである。
【図２１】本発明の実施例５に係り、画像処理装置の画質補正部１５０７における動作を示すフローチャートである。
【符号の説明】
【０２０３】
１０１、１２０１、１５０１    顔検出部
１０２、１２０３、１５０２    輝度分布取得部
１０３、１２０４、１５０３    距離算出部
１０４、１２０２、１５０４    特性判定部
１０５、１２０５、１５０５    補正テーブル作成部
１０６、１２０６、１５０６    補正量決定部
１０７、１２０７、１５０７    画質補正部
【図１】
2009116611.tif 000003
【図２】
2009116611.tif 000004
【図３】
2009116611.tif 000005
【図４】
2009116611.tif 000006
【図５】
2009116611.tif 000007
【図６】
2009116611.tif 000008
【図７】
2009116611.tif 000009
【図８】
2009116611.tif 000010
【図９】
2009116611.tif 000011
【図１０】
2009116611.tif 000012
【図１１】
2009116611.tif 000013
【図１２】
2009116611.tif 000014
【図１３】
2009116611.tif 000015
【図１４】
2009116611.tif 000016
【図１５】
2009116611.tif 000017
【図１６】
2009116611.tif 000018
【図１７】
2009116611.tif 000019
【図１８】
2009116611.tif 000020
【図１９】
2009116611.tif 000021
【図２０】
2009116611.tif 000022
【図２１】
2009116611.tif 000023