(57)【要約】【課題】良好に顔と背景を補正した画像を得ることができる画像処理装置を提供する。【解決手段】入力画像データから所定の領域を抽出する領域抽出手段と、領域抽出手段により抽出された所定の領域の全画像領域に占める割合が、所定の閾値以上であるか否かを判定する割合判定手段と、割合判定手段による判定結果に応じて、領域抽出手段により抽出された所定の領域の色情報を算出する第１の特徴抽出手段と、所定の領域以外の領域における特徴を抽出する第２の特徴抽出手段と、割合判定手段による判定結果に応じて、第１の特徴抽出手段による出力結果と、第２の特徴抽出手段による出力結果とに基づいて画像信号補正を行うか、又は、第２の特徴抽出手段による出力結果に基づいて画像信号補正を行うかを選択する画像信号補正手段と、を有する。【選択図】図１
2009032182.tif 000002
【特許請求の範囲】
【請求項１】
入力画像データから所定の領域を抽出する領域抽出手段と、
前記領域抽出手段により抽出された所定の領域の全画像領域に占める割合が、所定の閾値以上であるか否かを判定する割合判定手段と、
前記割合判定手段による判定結果に応じて、前記領域抽出手段により抽出された所定の領域の色情報を算出する第１の特徴抽出手段と、
前記所定の領域以外の領域における特徴を抽出する第２の特徴抽出手段と、
前記割合判定手段による判定結果に応じて、前記第１の特徴抽出手段による出力結果と、前記第２の特徴抽出手段による出力結果とに基づいて画像信号補正を行うか、又は、前記第２の特徴抽出手段による出力結果に基づいて画像信号補正を行うかを選択する画像信号補正手段と、
を有することを特徴とする画像処理装置。
【請求項２】
前記領域抽出手段は、前記所定の領域として、前記入力画像データから人物の顔の領域を抽出することを特徴とする請求項１記載の画像処理装置。
【請求項３】
前記第１の特徴抽出手段は、前記色情報として、前記所定の領域の代表輝度値を算出することを特徴とする請求項１又は２記載の画像処理装置。
【請求項４】
前記第２の特徴抽出手段は、撮影シーンを判定することを特徴とする請求項１から３のいずれか１項に記載の画像処理装置。
【請求項５】
前記画像信号補正手段は、前記割合判定手段による判定結果が前記所定の閾値以上である判定の場合に、前記第１の特徴抽出手段による出力結果と、前記第２の特徴抽出手段による出力結果に基づいて露出補正することを特徴とする請求項１から４のいずれか１項に記載の画像処理装置。
【請求項６】
前記画像信号補正手段は、前記割合判定手段による判定結果が前記所定の閾値未満である判定の場合に、前記第１の特徴抽出手段による前記色情報の算出を行わないことを特徴とする請求項１から５のいずれか１項に記載の画像処理装置。
【請求項７】
前記画像信号補正手段は、前記割合判定手段による判定結果が前記所定の閾値未満である判定の場合に、前記第２の特徴抽出結果に基づいて露出補正することを特徴とする請求項１から６のいずれか１項に記載の画像処理装置。
【請求項８】
前記第２の特徴抽出手段は、ハイライト領域において代表輝度を抽出することを特徴とする請求項１から７のいずれか１項に記載の画像処理装置。
【請求項９】
前記第２の特徴抽出手段は、シャドー領域においてエッジがあるか否かを判定し、シャドー領域の代表輝度を抽出することを特徴とする請求項１から８のいずれか１項に記載の画像処理装置。
【請求項１０】
前記所定の領域が全画像領域に占める割合の値を利用者が設定することが可能であること特徴とする請求項１から９のいずれか１項に記載の画像処理装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、デジタルカメラやフィルムスキャナなどに用いることができる画像処理装置に関する。
【背景技術】
【０００２】
近年、パーソナルコンピュータ、インターネット、家庭用プリンタなどの普及、及び、ハードディスクなどの記憶容量の大容量化により、デジタルデータで写真画像を扱う機会が増えている。これに伴い、デジタル写真画像データ（以下、単に「画像データ」という）の入力手段として、デジタルカメラやフィルムスキャナなどが一般に使用されるようになった。デジタルカメラには撮影時の露出を詰めに最適に保つための自動露出制御装置が設けられているが、撮影条件によっては適正に作動しない場合もあり、完全なものではない。
【０００３】
特に、主被写体の真後ろに光源があって背景と主被写体の輝度差が大きい逆光状態では、被写体に露出が合わないと背景の明るさに引っ張られて露出がマイナスに補正され、被写体が暗く写ってしまう。また、夜間のストロボ撮影では、被写体にストロボ光が当たることが前提になるため、絞りやシャッタスピードは既定値に固定される。つまり、ストロボと被写体の距離が遠すぎると光が届かず、この場合も被写体は暗く写ってしまう。あるいは、元々被写体自体が暗かったり明るかったりすると、露出自体は適正であっても、露出不良に見える場合もある。
【０００４】
このようなデジタル画像の撮影時における不適切な露出状態に対応するため、画像データを自動的に露出補正する技術も多数提案されている。なお、露出補正とは、シーンに対して不適切な明るさを持つ被写体をシーンに適した明るさに調節することを意味する。
【０００５】
特許文献１には、画像データ中の人物の顔を検出し、人物の顔であると判定すると画像データの階調を軟調化することにより、画像データに人物の顔がある場合に比較的好ましい画像を得る方法が示されている。
この方法では、顔の検出に際して、画像データから、まず顔の画像の色をもつ主被写体像を抽出した後に顔画像であるかを判定している。しかしながら、撮影時の照明条件によっては、顔の色が必ずしも本来、人の顔がもつ色として撮像されない場合があり、そういった場合には人の顔であるにもかかわらず主被写体像として抽出できないおそれがある。
また、人物の顔がある画像において、人物の顔以外の領域（つまり背景領域）の階調を好ましく再現することについては考慮されておらず、人物の顔のみで露出補正を行った結果、背景領域の階調がつぶれたり、背景領域の階調の飛んだ画像になったりするおそれがある。
【０００６】
特許文献２には、逆光シーンや、夜間撮影シーンの画像かを判別するシーン判別を行い、背景データを取り除いて露出状態を判定し階調を補正する方法が示されている。
この方法では、人物の顔を検出して、顔部分の露出状態を判定するということを行っていないため、人物の顔がある画像に対して、顔に注目した補正ができず、補正不足となる問題点が発生するおそれがある。
【特許文献１】特開２００４−１８０１７３号公報
【特許文献２】特開２００２−２４７３６１号公報
【発明の開示】
【発明が解決しようとする課題】
【０００７】
本発明は、上記事情に鑑みてなされたものであり、画像データから抽出した抽出領域の色情報（特性）を算出し、また、抽出領域以外の領域における特性を検出し、これら２つの特性を用いて補正することにより、不適正な露出状態で撮影された抽出領域を好ましく補正できるだけでなく、抽出領域以外の領域も好ましく補正できる画像処理装置を提供することを目的とする。
【課題を解決するための手段】
【０００８】
かかる目的を達成するために、本発明の第１の画像処理装置は、入力画像データから所定の領域を抽出する領域抽出手段と、領域抽出手段により抽出された所定の領域の全画像領域に占める割合が、所定の閾値以上であるか否かを判定する割合判定手段と、割合判定手段による判定結果に応じて、領域抽出手段により抽出された所定の領域の色情報を算出する第１の特徴抽出手段と、所定の領域以外の領域における特徴を抽出する第２の特徴抽出手段と、割合判定手段による判定結果に応じて、第１の特徴抽出手段による出力結果と、第２の特徴抽出手段による出力結果とに基づいて画像信号補正を行うか、又は、第２の特徴抽出手段による出力結果に基づいて画像信号補正を行うかを選択する画像信号補正手段と、を有することを特徴とする。
【０００９】
本発明の第２の画像処理装置は、本発明の第１の画像処理装置において、領域抽出手段は、所定の領域として、入力画像データから人物の顔の領域を抽出することを特徴とする。
【００１０】
本発明の第３の画像処理装置は、本発明の第１又は第２の画像処理装置において、第１の特徴抽出手段は、色情報として、所定の領域の代表輝度値を算出することを特徴とする。
【００１１】
本発明の第４の画像処理装置は、本発明の第１から第３のいずれか１つの画像処理装置において、第２の特徴抽出手段は、撮影シーンを判定することを特徴とする。
【００１２】
本発明の第５の画像処理装置は、本発明の第１から第５のいずれか１つの画像処理装置において、画像信号補正手段は、割合判定手段による判定結果が所定の閾値以上である判定の場合に、第１の特徴抽出手段による出力結果と、第２の特徴抽出手段による出力結果に基づいて露出補正することを特徴とする。
【００１３】
本発明の第６の画像処理装置は、本発明の第１から第５のいずれか１つの画像処理装置において、画像信号補正手段は、割合判定手段による判定結果が所定の閾値未満である判定の場合に、第１の特徴抽出手段による色情報の算出を行わないことを特徴とする。
【００１４】
本発明の第７の画像処理装置は、本発明の第１から第６のいずれか１つの画像処理装置において、画像信号補正手段は、割合判定手段による判定結果が所定の閾値未満である判定の場合に、第２の特徴抽出結果に基づいて露出補正することを特徴とする。
【００１５】
本発明の第８の画像処理装置は、本発明の第１から第７のいずれか１つの画像処理装置において、第２の特徴抽出手段は、ハイライト領域において代表輝度を抽出することを特徴とする。
【００１６】
本発明の第９の画像処理装置は、本発明の第１から第８のいずれか１つの画像処理装置において、第２の特徴抽出手段は、シャドー領域においてエッジがあるか否かを判定し、シャドー領域の代表輝度を抽出することを特徴とする。
【００１７】
本発明の第１０の画像処理装置は、本発明の第１から第９のいずれか１つの画像処理装置において、所定の領域が全画像領域に占める割合の値を利用者が設定することが可能であること特徴とする。
【発明の効果】
【００１８】
本発明は、画像データから抽出した抽出領域の色情報（特性）を算出し、また、抽出領域以外の領域における特性を検出し、これら２つの特性を用いて、不適正な露出状態で撮影された抽出領域を好ましく補正するだけでなく、抽出領域以外の領域も好ましく補正するので、抽出領域と、それ以外の領域とを良好に補正した画像を得ることが可能となる。
【発明を実施するための最良の形態】
【００１９】
以下、本発明を実施するための最良の形態について添付図面を参照して詳細に説明する。
【実施例１】
【００２０】
まず、実施例１における目的について説明する。
実施例１では、入力された画像データから人物の顔を示す顔領域を抽出し、抽出した顔領域の全画像領域に占める割合が所定の閾値以上であるかを判定し、所定の閾値以上である場合に顔領域の色情報を算出し、また、顔領域以外の領域（背景領域）においてシーン判定を行って撮影シーンを判定することにより、背景領域の階調も考慮しつつ、顔領域を好ましく露出補正することを目的とする。これにより、顔領域を好ましく露出補正できるとともに、背景領域も好ましく露出補正できるので、顔領域のみの情報を用いた露出補正方法よりも、顔領域と背景領域とを良好に補正した画像を得ることができる。
【００２１】
また、実施例１では、顔領域の全画像領域に占める割合が所定の閾値以下である場合には、顔領域の色情報の算出は行わず、不必要な処理を行わないことで、補正に掛かる時間を短縮することを目的とする。
【００２２】
また、実施例１では、顔を検出したとしても、顔領域の全画像領域に占める割合が所定の閾値以下である場合には、入力画像において顔が存在するとしても、背景領域が重要であると判断し、顔領域以外の背景領域の特徴に基づいて露出補正を行い、背景領域を良好に補正した画像を得ることを目的とする。
【００２３】
また、実施例１では、全画像領域に占める顔領域の割合の値を利用者が設定することにより、利用者の好みに合わせて露出補正の方法を切り替えることを目的とする。
【００２４】
図１は、本発明の一実施例である画像処理装置の構成を示すブロック図である。
この画像処理装置は、デジタルカメラで撮影した画像などの入力画像（１０１）、顔を検出する顔検出部（１０２）、顔領域の全画像領域における割合を求める顔領域の割合判定部（１０３）、顔領域の特徴を算出する特徴抽出部１（１０４）、顔領域以外の特徴を算出する特徴抽出部２（１０５）、入力画像の露出を補正する露出補正部（１０６）、露出補正された出力画像（１０７）から成る。
【００２５】
入力画像（１０１）は、例えばデジタルカメラで撮影した画像のＲＧＢの階調データであり、顔検出部（１０２）、特徴抽出部１（１０４）、特徴抽出部（１０５）、露出補正部（１０６）にそれぞれ入力される。
【００２６】
顔検出部（１０２）は、画像データ（デジタル写真画像データ）に対して、人間の目、鼻、口等の特徴に着目した顔検出処理を行い、顔検出結果として、顔を検出したら“１”を、検出しなければ“０"を割合判定部（１０３）へ出力する。
【００２７】
割合判定部（１０３）における動作について、図２に示すフローチャートに従って説明する。
【００２８】
まず、顔検出部（１０２）から顔検出結果が入力される（ステップＳ１）。次に、顔検出結果に基づいて顔が検出されたか否かを判定する（ステップＳ２）。
【００２９】
顔が検出された場合（ステップＳ２／ＹＥＳ）、顔領域のおおよその面積を計算する（ステップＳ３）。ここで、顔領域は、矩形領域で表すものとし、目、鼻、口を含む矩形領域を設定して、顔面積を計算する。
【００３０】
なお、顔が検出されない場合（ステップＳ２／ＮＯ）は、“０”を特徴抽出部１（１０４）へ出力して（ステップＳ７）、一連の処理を終了する。
【００３１】
次に、入力画像面積における、顔領域の占める割合を計算する（ステップＳ４）。そして、計算した割合を、予め設定した閾値と比較し（ステップＳ５）、閾値以上であれば（ステップＳ５／ＹＥＳ）、割合判定結果“１”を特徴抽出部１（１０４）へ出力する（ステップＳ６）。閾値未満であれば（ステップＳ５／ＮＯ）、割合判定結果“０”を特徴抽出部１（１０４）へ出力して（ステップＳ７）、一連の処理を終了する。
【００３２】
なお、上記において、顔領域の割合を比較する閾値は、予め設定した値のまま使用しても良いし、ユーザが新たに指定した値を使用しても構わない。
【００３３】
閾値は、０〜１００までの値をとるものとし、例えばユーザが０を閾値として設定することで、顔が検出された場合は全て“１”を出力することも可能である。
【００３４】
特徴抽出部１（１０４）における動作について、図３に示すフローチャートに従って説明する。
【００３５】
まず、割合判定部（１０３）から割合判定結果が取り込まれる（ステップＳ２１）。次に、取り込んだ割合判定結果（信号）に基づいて、“１"であるか否かを判定する（ステップＳ２２）。
【００３６】
判定結果が“１"である場合は（ステップＳ２２／ＹＥＳ）、顔領域の占める割合は閾値以上であるので、顔領域の代表輝度値を算出する（ステップＳ２３）。代表輝度値の算出方法は、顔領域における平均輝度とする。この他、顔領域における輝度の最頻値を代表輝度値としても構わない。
【００３７】
代表輝度値を算出した後、露出補正部（階調処理部）（１０６）へ代表輝度値を出力し（ステップＳ２４）、一連の処理を終了する。
【００３８】
ステップＳ２２における判定結果が、“０"である場合には（ステップＳ２２／ＮＯ）、代表輝度値の算出に関しては何も行わずに、一連の処理を終了する。
【００３９】
特徴抽出部２（１０５）では、入力された入力画像において、顔検出された領域以外の領域における撮影されたシーン判別を行う。
【００４０】
光源が顔領域の真後ろに存在する「逆光シーン」か、夜間にストロボなどを用いて撮影した「夜間撮影シーン」か、それともそれらのいずれにも属さない「その他」のシーンであるか、を判別する。
【００４１】
例えば、画像周縁部と中央部の輝度差を閾値と比較したり、輝度頻度分布の２極化の形状から逆光シーンを判別したりすることができる。
【００４２】
また、顔検出領域と、検出領域以外の明るさを比較するなどによって夜間撮影シーンを判別することができる。
【００４３】
特徴抽出部２（１０５）によるシーン判別の結果は、露出補正部（１０６）に入力される。
【００４４】
露出補正部（１０６）では、顔領域の割合判定部（１０３）と、特徴抽出部１（１０４）、特徴抽出部２（１０５）の結果を用いて入力画像データの露出補正を行う。
【００４５】
ここで、露出補正部（１０６）の動作は、顔領域の割合判定部（１０３）の出力結果によって異なるので、以下、それぞれの場合における露出補正部（１０６）の動作について説明する。
【００４６】
〔顔領域の割合判定結果が“１”の場合〕
顔領域の割合判定結果が“１”である場合は、顔領域の画像全体に占める領域が、閾値以上であることを示しているので、顔領域の中心輝度である特徴抽出部１（１０４）の結果と、背景部のシーン判定結果である、特徴抽出部２の結果（１０５）を用いて露出の補正を行う。
【００４７】
露出補正部（１０６）は、顔領域の明度や輝度中央値などの統計的な評価値を用いて顔領域が適切な明るさを持つか否かを判定する。これは、予め設定した評価値と顔の明度や輝度とを比較して判定する。例えば、ｊ番目の画素（ｊ＝０,１,２,・・・Ｎ。Ｎ：総画素数）の輝度:Ｙ（ｊ）は以下の式で表せる。
Ｙ（ｊ）＝０.２９９・Ｒ（ｊ）＋０.５８７・Ｇ（ｊ）＋０.１１４・Ｂ（ｊ）
【００４８】
顔領域の明るさが適切でなかった場合、つまり露出が適切でなかった場合、特徴抽出部１（１０４）から入力される顔領域の輝度値に基づいて明るさ補正を行う。
【００４９】
明るさ補正の方法には、例えばトーンカーブによる方法を用いる。図４を参照して、トーンカーブf１（ｘ）を用いた場合について説明する。
【００５０】
まず、図４（ａ）に示すように、顔領域の輝度ａを、予め設定した適正な輝度ａ’に変換する節点Ａを定める。原点、節点Ａ、及び出力の最大値を結んで、顔を適正に補正するトーンカーブを決める。
【００５１】
さらに、特徴抽出部２（１０５）から入力されるシーン判別の結果を用いる。
【００５２】
夜間撮影シーンでは、背景のシャドー部が明るくならない方が良い場合があるので、シャドー部の平均輝度を求め、図４（ｂ）のように平均輝度ｂをｂ'（＝ｂ）に変換するようにシャドー側に節点Ｂを設けて、シャドー部の出力レベルが変わらないように設定する。
【００５３】
また、逆光シーンでは、ハイライトの階調が保たれるように、ハイライト部の平均輝度ｃを求め、図４（ｃ）のように平均輝度ｃをｃ'（＝ｃ）に変換するようにハイライト側に節点Ｃを設けてトーンカーブを作成する。
【００５４】
トーンカーブが決定したら、以下のような変換を行う。
まず、入力輝度値Ｙ１（ｊ）（ｊ＝１,２,・・・Ｎ）に対してトーンカーブ変換後の出力輝度値Ｙ２（ｊ）を算出し、露出補正係数Ｃ（ｊ）を以下の式で算出する。
Ｃ（ｊ）＝Ｙ２（ｊ）／Ｙ１（ｊ）
＝ｆ１（Ｙ１（ｊ））／Ｙ１（ｊ）
【００５５】
次に、入力信号（Ｒ１（ｊ）,Ｇ１（ｊ）,Ｂ１（ｊ））を以下の式で変換し、露出補正を行い、出力画像（１０７）を得る。
（Ｒ２（ｊ）,Ｇ２（ｊ）,Ｂ２（ｊ））＝Ｃ（ｊ）・（Ｒ１（ｊ）,Ｇ１（ｊ）,Ｂ１（ｊ））
【００５６】
また、顔領域の明るさが適切だった場合、明るさ補正は行わない。
【００５７】
なお、上記説明では、例として、傾きの異なる直線を用いてトーンカーブ形状を決定したが、スプラインなどの曲線を用いて決定してもよく、これにはこだわらない。
【００５８】
また、上記説明では、顔領域と背景領域の特徴に基づいて明るさ補正を行う露出補正手段に関して説明しているが、露出補正後の画像において、顔領域の肌色を予め設定した肌色に補正する色補正部をさらに付加してもよい。
【００５９】
〔顔領域の割合判定結果が“０”の場合〕
顔領域の割合判定結果が“０”の場合は、顔が無いか、顔領域の画像領域に占める割合が少なく、例え顔が存在するとしても、顔以外の背景領域に注目して補正する。ただし、顔以外の主被写体を判定するため、特徴抽出部２（１０５）にて抽出するシーン判定の結果を用いて露出補正を行う。
【００６０】
入力された特徴抽出部２（１０５）の判定結果が「逆光シーン」、又は、「夜間撮影シーン」であった場合、主被写体と背景との輝度差が大きいので、画像全体で露出を判定しても正しい結果が得られないので、まず主被写体を特定する。
【００６１】
例えば、逆光シーンの場合は背景が高輝度白色光であることに注目し、そのような条件を満たす画像端部からの連続画素を削除する。
【００６２】
また、夜間撮影シーンの場合、背景は暗闇であることが多いことから、閾値を設け同様に端部からの連続画素を排除する。
【００６３】
このようにすることで、余分な領域を取り除き、主被写体領域を特定したら、次に、明度や輝度中央値などの統計的な評価値を用いて主被写体が適切な明るさを持つか否かを判定する。予め設定した評価値の範囲内か否かを、主被写体の輝度を比べて判定する。例えば、ｊ番目の画素（ｊ＝０,１,２,・・・Ｎ。Ｎ：総画素数）の輝度:Ｙ（ｊ）は以下の式で表せる。
Ｙ（ｊ）＝０.２９９・Ｒ（ｊ）＋０.５８７・Ｇ（ｊ）＋０.１１４・Ｂ（ｊ）
【００６４】
なお、Ｒ（ｊ），Ｇ（ｊ），Ｂ（ｊ）は、入力された画像データから得られる。また、シーンが逆光や夜景撮影に属さない「その他」の場合は、画像全体が主被写体であるとみなし、同様の方法で適正露出か否かを調べることができる。
【００６５】
主被写体の明るさが適切でなかった場合、つまり露出が適切でなかった場合、明るさ補正を行う。
【００６６】
明るさ補正の方法には、トーンカーブによる方法を用いる。トーンカーブによる補正方法に関しては、先に説明した方法と同様の方法で補正することができる。図４を参照して、トーンカーブｆ１（ｘ）を用いた場合について説明する。
【００６７】
まず、図４（ａ）に示すように、主被写体の輝度ａを、予め設定した適正な輝度ａ'に変換する節点Ａを定める。次に原点、節点Ａ、及び出力の最大値を結んで、主被写体を適正に補正するトーンカーブを決める。
【００６８】
さらに、特徴抽出部２（１０５）におけるシーン判定の結果が、夜間撮影シーンの場合は、背景のシャドー部が明るくならない方が良い場合があるので、シャドー部の平均輝度を求め、図４（ｂ）に示すように、平均輝度ｂをｂ'（＝ｂ）に変換するようにシャドー側に節点Ｂを設けて、シャドー部の出力レベルが変わらないように設定する。
【００６９】
また、特徴抽出部２（１０５）におけるシーン判定の結果が逆光シーンの場合は、ハイライトの階調が保たれるように、ハイライト部の平均輝度ｃを求め、図４（ｃ）に示すように、平均輝度ｃをｃ'（＝ｃ）に変換するようにハイライト側に節点Ｃを設けてトーンカーブを作成する。
【００７０】
トーンカーブが決定したら、以下のような変換を行う。
まず、入力輝度値Ｙ１（ｊ）（ｊ＝１,２,・・・Ｎ）に対してトーンカーブ変換後の出力輝度値Ｙ２（ｊ）を算出し、露出補正係数Ｃ（ｊ）を以下の式で算出する。
Ｃ（ｊ）＝Ｙ２（ｊ）／Ｙ１（ｊ）
＝f１（Ｙ１（ｊ））／Ｙ１（ｊ）
【００７１】
次に、入力信号（Ｒ１（ｊ）,Ｇ１（ｊ）,Ｂ１（ｊ））を以下の式で変換し、露出補正を行い、出力画像（１０７）を得る。
（Ｒ２（ｊ）,Ｇ２（ｊ）,Ｂ２（ｊ））＝Ｃ（ｊ）・（Ｒ１（ｊ）,Ｇ１（ｊ）,Ｂ１（ｊ））
【００７２】
また、主被写体の露出が適切だった場合、明るさ補正は行わない。
【００７３】
なお、逆光シーンや夜間撮影シーンの判別法としては、前記の方法以外にも様々な方法が提案されているがその方法についてはいずれの方法であってもよい。
【００７４】
また、主被写体を特定するために背景を取り除く方法についても前記の例以外に様々な方法が提案されているがこれにはこだわらない。
【００７５】
また、主被写体が適切な明るさを持つか否かの判定にも前記の例以外にさまざまな方法が提案されているがこれにはこだわらない。
【００７６】
中央値等の統計値を求める際には必ずしも全画素の情報を使う必要はなく、間引きなどをして得た情報を使用しても良い。
【００７７】
また、明るさ補正にも、種々の方法が提案されているがこれにはこだわらない。
【００７８】
以上説明したように、本実施例では、入力された画像データの顔領域を抽出し、抽出した顔領域の全画像領域に占める割合が、閾値以上であるかを判定し、閾値以上である場合に顔領域の色情報を抽出する。また、顔領域以外の領域（つまり背景領域）においてシーン判定を行って撮影シーンを判定する。よって、背景領域の階調も考慮しつつ、顔領域を好ましく補正する露出補正が行われる。これにより、人物の顔を検出し、顔領域の割合が閾値以上である場合は、顔領域の色情報を抽出し好ましく露出補正すると同時に、背景領域も好ましく露出補正を行うことが可能となるので、良好に顔と背景を補正した画像を得ることができる。
【００７９】
また、本実施例では、顔領域が占める割合がある閾値以下である場合には、顔領域の色情報算出は行わないので、補正にかかる実行時間を短縮することができプリント出力における生産性を上げることができる。
【００８０】
また、本実施例では、顔を検出したとしても、顔領域が占める割合がある閾値以下である場合には、入力画像において顔が存在するとしても背景領域が重要であると判断し、顔領域以外の背景領域の特徴に基づいて露出補正を行うので、より画像の特性に基づいた補正を行うことができる。
【００８１】
また、本実施例では、全画像領域に占める顔領域の割合の値を利用者が設定することで露出補正の方法を切り替えるので、利用者の好みに合わせた補正を行うことができる。
【実施例２】
【００８２】
次に、本発明の実施例２について説明する。なお、本実施例の画像処理装置の構成は、上記実施例１（図１）と同じであるので、ここでの説明は省略する。
【００８３】
実施例２では、背景領域のシャドー領域におけるエッジの有無を判定し、背景領域のシャドー領域にエッジがある場合はエッジ部の階調差を増加させることにより、シャドー部の視認性を向上するように、顔領域の明るさを補正することを目的とする。
【００８４】
本実施例では、入力画像における顔画像の割合判定の結果と、背景領域におけるシャドー領域に注目し、シャドー領域にエッジがあるか否かで、顔領域とシャドー部の露出補正を制御する方法について説明する。
【００８５】
夜間撮影シーンの場合、ストロボ光がとどきにくい背景部においては露出不足の画像となる場合が多い。
【００８６】
背景におけるシャドー部を適正に補正する必要があるが、背景部が壁のようなベタ画像であれば、露出補正を行って暗部を明るくしても、補正の効果がない。そのため、背景部に情報（エッジ）があるか否かを特徴抽出部２（１０５）で抽出し、その結果に応じて露出補正部にて、シャドー部における露出補正の制御を行う。
【００８７】
特徴抽出部２（１０５）における動作について、図５のフローチャートを参照して説明する。
【００８８】
まず、顔以外の背景領域において、シャドー領域の抽出を行う（ステップＳ３１）。シャドー領域の抽出には、例えば、所定の輝度閾値を設け、輝度閾値以下の画素値を持つ、端部からの連続画素をシャドー領域として抽出すればよい。
【００８９】
シャドー領域を抽出したら、次に、抽出した領域内のエッジの有無を検出し（ステップＳ３２）、エッジが存在するか否かを判定する（ステップＳ３３）。エッジの有無は、例えば、隣接画素の輝度差がある閾値以上あるか否かを判定することで得られる。
【００９０】
エッジがあると判定した場合は（ステップＳ３３／ＹＥＳ）、抽出した領域における代表輝度値を算出する（ステップＳ３４）。代表輝度値は、例えば、抽出した領域中の輝度値における平均値とする。
【００９１】
次に、エッジの有無情報の判定値（エッジがある場合＝"１"）と代表輝度値を露出補正部（１０６）へ出力して（ステップＳ３５）、一連の処理を終了する。
【００９２】
エッジが無いと判定した場合は（ステップＳ３３／ＮＯ）、エッジの有無情報の判定値（エッジが無い場合＝“０"）を露出補正部（１０６）へ出力して（ステップＳ３６）、一連の処理を終了する。
【００９３】
露出補正部（１０６）では、上記実施例１で説明したように、割合判定部（１０３）の結果に応じて、特徴抽出部１（１０４）による結果と特徴抽出部２（１０５）による結果の両方を用いて露出補正を行うか、特徴抽出部２（１０５）による結果を用いて露出補正を行うかを切り替える（選択する）。
【００９４】
割合判定部（１０３）の結果の如何に係わらず第２の特徴抽出部の結果を用いるが、本実施例では、特に割合判定部（１０３）の結果が“１"である場合（顔領域が画像全体に占める割合が閾値以上である）について説明を行う。
【００９５】
露出補正部（１０６）は、特徴抽出部１（１０４）による結果である顔領域の明度や輝度中央値などの統計的な評価値を用いて顔領域が適切な明るさを持つか否かを判定する。判定には、予め設定した評価値と顔の明度や輝度を比較する。例えば、ｊ番目の画素（ｊ＝０,１,２,・・・Ｎ。Ｎ：総画素数）の輝度:Ｙ（ｊ）は以下の式で表せる。
Ｙ（ｊ）＝０.２９９・Ｒ（ｊ）＋０.５８７・Ｇ（ｊ）＋０.１１４・Ｂ（ｊ）
【００９６】
顔領域の明るさが適切でなかった場合、つまり露出が適切でなかった場合、顔領域の輝度値に基づいて明るさ補正を行う。
【００９７】
また、背景領域のシャドー領域においてエッジが存在する場合は、シャドー領域の代表輝度に基づいて明るさ補正を行う。
【００９８】
明るさ補正の方法は、例えばトーンカーブによる方法を用いる。図６を参照して、トーンカーブｆ２（ｘ）を用いた場合について説明する。
【００９９】
まず、図６（ａ）に示すように、顔領域の輝度ａを、予め設定した適正な輝度ａ'に変換する節点Ａを定める。次に、原点、節点Ａ、及び出力の最大値を結んで、顔を適正に補正するトーンカーブを決める。
【０１００】
さらに、図６（ｂ）に示すように、背景のシャドー領域にエッジが存在する場合は、原点と、シャドー部の代表輝度ｂをｂ'に変換する節点Ｂを設けて、注目するシャドー部において、コントラストがＵＰできるように補正を行う。
【０１０１】
ｂ'の決定方法は、例えば、ｂ'＝ｂ×１.２として、原点と節点Ｂを結ぶ傾きが１以上となる節点Ｂを設定する。
【０１０２】
トーンカーブが決定したら、以下のような変換を行う。
まず、入力輝度値Ｙ１（ｊ）（ｊ＝１,２,・・・Ｎ）に対してトーンカーブ変換後の出力輝度値Ｙ２（ｊ）を算出し、露出補正係数Ｃ（ｊ） を以下の式で算出する。
Ｃ（ｊ）＝Ｙ２（ｊ）／Ｙ１（ｊ）
＝f２（Ｙ１（ｊ））／Ｙ１（ｊ）
【０１０３】
次に、入力信号（Ｒ１（ｊ）,Ｇ１（ｊ）,Ｂ１（ｊ））を以下の式で変換し、露出補正を行う。
（Ｒ２（ｊ）,Ｇ２（ｊ）,Ｂ２（ｊ））＝Ｃ（ｊ）・（Ｒ１（ｊ）,Ｇ１（ｊ）,Ｂ１（ｊ））
【０１０４】
なお、この例では傾きの異なる直線を用いてトーンカーブ形状を決定したが、スプラインなどの曲線を用いて決定してもよく、これにはこだわらない。
【０１０５】
以上説明したように、本実施例では、背景領域のシャドー領域におけるエッジの有無を判定し、背景領域のシャドー領域にエッジがある場合はエッジ部の階調差を増加させるので、シャドー部の視認性の向上と顔領域の明るさ補正の両立を図ることができる。
【実施例３】
【０１０６】
次に、本発明の実施例３について説明する。なお、本実施例の画像処理装置の構成は、上記実施例１（図１）と同じであるので、ここでの説明は省略する。
【０１０７】
実施例３では、背景領域のハイライト領域における最大輝度を抽出し、背景領域のハイライト領域が飛ばないように、顔領域の明るさを補正することを目的とする。
【０１０８】
本実施例では、顔画像を含む画像データの顔領域と、顔以外の背景領域におけるハイライト領域に注目し、顔領域の明るさを補正するとともに、背景領域のハイライト領域の露出補正を制御する方法について説明する。これは、逆光シーンなどで暗く写った顔画像を明るく補正した場合に、すでに明るく写っているハイライト領域が飛んでしまうことを抑制する効果がある。
【０１０９】
そのために、特徴抽出部２（１０５）において、ハイライト領域における最高輝度値を算出し、露出補正部（１０６）において、算出された最高輝度値に基づいて、ハイライト領域における露出補正の制御を行う。
【０１１０】
特徴抽出部２（１０５）における動作について、図７のフローチャートを参照して説明する。
【０１１１】
まず、顔以外の背景領域において、ハイライト領域の抽出を行う（ステップＳ４１）。ハイライト領域の抽出には、例えばある輝度閾値を設け、輝度閾値以上の画素値を持つ、端部からの連続画素をハイライト領域として抽出すればよい。
【０１１２】
ハイライト領域を抽出したら、次に、抽出した領域内の最大輝度値を算出する（ステップＳ４２）。
【０１１３】
最高輝度値を算出したら、露出補正部（１０６）へ最大輝度値を出力して（ステップＳ４３）、一連の処理を終了する。
【０１１４】
露出補正部（１０６）では、上記実施例１で説明したように、割合判定部（１０３）の結果に応じて、特徴抽出部１（１０４）による結果と特徴抽出部２（１０５）による結果を両方用いて露出補正を行うか、特徴抽出部２（１０５）による結果を用いて露出補正を行うかを切り替える（選択する）。
【０１１５】
割合判定部（１０３）の結果の如何に係わらず特徴抽出部２（１０５）の結果を用いるが、本実施例では、特に割合判定部（１０３）の結果が“１"である場合（顔領域が画像全体に占める割合が閾値以上である）について説明を行う。
【０１１６】
露出補正部（１０６）は、まず顔領域の明度や輝度中央値などの統計的な評価値を用いて顔領域が適切な明るさを持つか否かを判定する。予め設定した評価値と顔の明度や輝度を比較して判定する。例えば、ｊ番目の画素（ｊ＝０,１,２,・・・Ｎ。Ｎ：総画素数）の輝度:Ｙ（ｊ）は以下の式で表せる。
Ｙ（ｊ）＝０.２９９・Ｒ（ｊ）＋０.５８７・Ｇ（ｊ）＋０.１１４・Ｂ（ｊ）
【０１１７】
顔領域の明るさが適切でなかった場合、つまり露出が適切でなかった場合、顔領域の輝度値に基づいて明るさ補正を行う。
【０１１８】
また、背景領域のハイライト領域の代表輝度に基づいて明るさ補正を行う。
【０１１９】
明るさ補正の方法は、例えばトーンカーブによる方法を用いる。図８を参照してトーンカーブf３（ｘ）を用いた場合について説明する。
【０１２０】
まず、図８（ａ）に示すように、顔領域の輝度ａを、予め設定した適正な輝度ａ'に変換する節点Ａを定める。次に、原点、節点Ａ、及び出力の最大値を結んで、顔を適正に補正するトーンカーブを決める。
【０１２１】
さらに、図８（ｂ）に示すように、背景のハイライト領域における最大輝度ｃを出力最大値に変換する節点Ｃを設けて、顔を明るく補正しつつ、ハイライト部の階調を維持できるようにトーンカーブの設定を行う。
【０１２２】
トーンカーブが決定したら、以下のような変換を行う。
まず、入力輝度値Ｙ１（ｊ）（ｊ＝１,２,・・・Ｎ）に対してトーンカーブ変換後の出力輝度値Ｙ２（ｊ）を算出し、露出補正係数Ｃ（ｊ）を以下の式で算出する。
Ｃ（ｊ）＝Ｙ２（ｊ）／Ｙ１（ｊ）
＝f２（Ｙ１（ｊ））／Ｙ１（ｊ）
【０１２３】
次に、入力信号（Ｒ１（ｊ）,Ｇ１（ｊ）,Ｂ１（ｊ）） を以下の式で変換し、露出補正を行う。
（Ｒ２（ｊ）,Ｇ２（ｊ）,Ｂ２（ｊ））＝Ｃ（ｊ）・（Ｒ１（ｊ）,Ｇ１（ｊ）,Ｂ１（ｊ））
【０１２４】
なお、この例では傾きの異なる直線を用いてトーンカーブ形状を決定したが、スプラインなどの曲線を用いて決定してもよく、これにはこだわらない。
【０１２５】
以上説明したように、本実施例では、背景領域のハイライト領域における最大輝度を抽出し、背景領域のハイライト領域が飛ばないように、顔領域の明るさを補正するので、背景のハイライト部の階調性維持と顔領域の明るさ補正の両立を図ることができる。
【０１２６】
以上、本発明の各実施例について説明したが、上記実施例の記載に限定されるものではなく、その要旨を逸脱しない範囲において種々の変形が可能である。また、上記各実施例は、任意に組み合わせて実施することもできる。
【０１２７】
また、上述した各実施例における制御動作は、ハードウェア、または、ソフトウェア、あるいは、両者の複合構成によって実行することも可能である。
【０１２８】
なお、ソフトウェアによる処理を実行する場合には、処理シーケンスを記録したプログラムを、専用のハードウェアに組み込まれているコンピュータ内のメモリにインストールして実行させるか、あるいは、各種処理が実行可能な汎用コンピュータにプログラムをインストールして実行させることが可能である。
【０１２９】
例えば、プログラムは、記録媒体としてのハードディスクやＲＯＭ（Read Only Memory）に予め記録しておくことが可能である。あるいは、フロッピー（登録商標）ディスク、ＣＤ−ＲＯＭ（Compact Disc Ｒeａd Only Memory），ＭＯ（Magneto optical）ディスク，ＤＶＤ（Digitａl Versatile Disc）、磁気ディスク、半導体メモリなどのリムーバブル記録媒体に、一時的、あるいは、永続的に格納（記録）しておくことが可能である。
【０１３０】
このようなリムーバブル記録媒体は、いわゆるパッケージソフトウエアとして提供することが可能である。
【０１３１】
なお、プログラムは、上述したようなリムーバブル記録媒体からコンピュータにインストールする他、ダウンロードサイトから、コンピュータに無線転送したり、ＬＡＮ（Local Area Network）、インターネットといったネットワークを介して、コンピュータに有線で転送したりし、コンピュータでは、転送されてきたプログラムを受信し、内蔵するハードディスク等の記録媒体にインストールすることが可能である。
【０１３２】
また、上記実施例で説明した処理動作に従って時系列的に実行されるのみならず、処理を実行する装置の処理能力、あるいは、必要に応じて並列的にあるいは個別に実行するように構築することも可能である。
【産業上の利用可能性】
【０１３３】
本発明は、デジタル画像データに基づいて画像処理を行う装置・機器、システム、方法、プログラムに適用できる。
【図面の簡単な説明】
【０１３４】
【図１】本発明の画像処理装置の構成の一例を示すブロック図である。
【図２】本発明の実施例１に係り、割合判定部の動作を示すフローチャートである。
【図３】本発明の実施例１に係り、特徴抽出部１の動作を示すフローチャートである。
【図４】本発明の実施例１に係り、トーンカーブによる補正方法を説明するための図である。
【図５】本発明の実施例２に係り、特徴抽出部２の動作を示すフローチャートである。
【図６】本発明の実施例２に係り、トーンカーブによる補正方法を説明するための図である。
【図７】本発明の実施例３に係り、特徴抽出部２の動作を示すフローチャートである。
【図８】本発明の実施例３に係り、トーンカーブによる補正方法を説明するための図である。
【符号の説明】
【０１３５】
１０１    入力画像
１０２    顔検出部（領域抽出手段の一例）
１０３    割合判定部（割合判定手段の一例）
１０４    特徴抽出部１（第１の特徴抽出手段の一例）
１０５    特徴抽出部２（第２の特徴抽出手段の一例）
１０６    露出補正部（画像信号補正手段の一例）
１０７    出力画像
【図１】
2009032182.tif 000003
【図２】
2009032182.tif 000004
【図３】
2009032182.tif 000005
【図４】
2009032182.tif 000006
【図５】
2009032182.tif 000007
【図６】
2009032182.tif 000008
【図７】
2009032182.tif 000009
【図８】
2009032182.tif 000010