(57)【要約】【課題】  人は性別や年齢によって最適とみなされる補正方法が異なるため、検出された肌色領域に対して一様な処理を行っても最適な結果は得られないことがあった。【解決手段】  撮影された画像信号に対して顔領域の検出を行い、検出された顔領域に対して、同時に複数種の画像パラメータに対して最適な値を設定することで、良好な顔画像を得ることを可能にしている。【選択図】  図２
2006148326.tif 000002
【特許請求の範囲】
【請求項１】
人物が含まれる画像データから人物の顔に相当する領域を検出する顔検出手段と、
視覚的に変化を感じることができる複数種の画像処理を前記顔検出手段により検出された領域に対して施す画像処理手段と、
前記顔検出手段の検出結果より画像データ内の人物を複数のグループのいずれかに分類する分類手段とを有し、
前記画像処理手段は前記分類手段によって、分類されたグループに応じた所定の複数種の画像処理を前記画像信号に施すことを特徴とする画像処理装置。
【請求項２】
前記分類手段は、人物に相当する領域の輝度信号と、色差信号の色度座標位置によって分類することを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記分類手段は、少なくとも前記人物の顔に相当する領域より得られた性別情報および年齢情報によって分類することを特徴とする請求項２に記載の画像処理装置。
【請求項４】
前記画像処理手段は、少なくともシャープネス補正、コントラスト補正、及び色補正、のうちのいずれか２つ以上の補正を行うことを特徴とする請求項１から３のいずれかに記載の画像処理装置。
【請求項５】
前記画像処理手段は、前記分類手段の分類結果に応じて、予め設定されている画質パラメータを設定することを特徴とする請求項１から４のいずれかに記載の画像処理装置。
【請求項６】
画像データに対して互いに異なる画像処理を施す複数のモードを有し、前記分類手段は、設定されたモードに応じた画質パラメータを設定することを特徴とする請求項５に記載の画像処理装置。
【請求項７】
一つの画像データから複数の人物の顔を検出した場合は、検出された人物毎に、前記画像処理を施すことを特徴とする請求項１から６のいずれかに記載の画像処理装置。
【請求項８】
請求項１から７のいずれかの画像処理装置と、前記画像処理装置が画像処理を施すための画像データを得るための撮像手段とを有する撮像装置。
【請求項９】
人物が含まれる画像データから人物の顔に相当する領域を検出する顔検出行程と、
視覚的に変化を感じることができる複数種の画像処理を前記顔検出行程により検出された領域に対して施す画像処理行程と、
前記顔検出行程の検出結果より画像データ内の人物を複数のグループのいずれかに分類する分類行程とを有し、
前記画像処理工程は前記分類行程によって、分類されたグループに応じた所定の複数種の画像処理を前記画像信号に施すことを特徴とするコンピュータが実行可能なプログラム。
【請求項１０】
前記分類行程は、人物に相当する領域の輝度信号と、色差信号の色度座標位置によって分類することを特徴とする請求項９に記載のコンピュータが実行可能なプログラム。
【請求項１１】
前記分類行程は、少なくとも前記人物の顔に相当する領域より得られた性別情報および年齢情報によって分類することを特徴とする請求項１０に記載のコンピュータが実行可能なプログラム。
【請求項１２】
前記画像処理行程は、少なくともシャープネス補正、コントラスト補正、及び色補正、のうちのいずれか２つ以上の補正を行うことを特徴とする請求項９から１１のいずれかに記載のコンピュータが実行可能なプログラム。
【請求項１３】
前記画像処理行程は、前記分類行程の分類結果に応じて、予め設定されている画質パラメータを設定することを特徴とする請求項９から１２のいずれかに記載のコンピュータが実行可能なプログラム。
【請求項１４】
画像データに対して互いに異なる画像処理を施す複数のモードを有し、前記分類行程は、設定されたモードに応じた画質パラメータを設定することを特徴とする請求項１３に記載のコンピュータが実行可能なプログラム。
【請求項１５】
一つの画像データから複数の人物の顔を検出した場合は、検出された人物毎に、前記画像処理を施すことを特徴とする請求項９から１４のいずれかに記載のコンピュータが実行可能なプログラム。
【請求項１６】
請求項９から１５のいずれかに記載のコンピュータが実行可能なプログラムを格納したコンピュータが読み取り可能な記憶媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮像画像に含まれる人物の特徴に応じて好適なパラメータを設定し、画像処理を施す画像処理装置、撮像装置、コンピュータに実行させるプログラム、或いは記憶媒体に関するものである。
【背景技術】
【０００２】
撮像画像の中から被写体の顔の特徴的な部位を検出したり、肌色部分を検出することで顔領域を自動で検出する顔検出技術を用いて、検出された顔領域の明度と、予め設定される標準明度データとの違いに基づいて、検出された顔領域の明度を補正する技術が提案されている（特許文献参照）。
【特許文献１】特開２０００−２６１６５０号公報
【発明の開示】
【発明が解決しようとする課題】
【０００３】
特許文献においては、肌の色に応じて明度を補正することが記載されている。しかし、人の肌は性別や年齢によって最適とみなされる補正方法が異なる。例えば、若い女性であれば、肌の色は白味がかり、皺が鮮明に映らないようにする方が好まれることが比較的多い。こういった要求には、明度を補正するだけでは応えることができない。そこで、本発明は顔検出により検出された情報を用い、より最適な画像処理を施すことを目的とする。
【課題を解決するための手段】
【０００４】
上記課題を解決し目的を達成するために本発明の画像処理装置は、人物が含まれる画像データから人物の顔に相当する領域を検出する顔検出手段と、視覚的に変化を感じることができる複数種の画像処理を前記顔検出手段により検出された領域に対して施す画像処理手段と、前記顔検出手段の検出結果より画像データ内の人物を複数のグループのいずれかに分類する分類手段とを有し、前記画像処理手段は前記分類手段によって、分類されたグループに応じた所定の複数種の画像処理を前記画像信号に施すことを特徴とする画像処理装置。
【０００５】
また、上記課題を解決し目的を達成するために本発明のコンピュータが実行可能なプログラムは、人物が含まれる画像データから人物の顔に相当する領域を検出する顔検出行程と、視覚的に変化を感じることができる複数種の画像処理を前記顔検出行程により検出された領域に対して施す画像処理行程と、前記顔検出行程の検出結果より画像データ内の人物を複数のグループのいずれかに分類する分類行程とを有し、前記画像処理工程は前記分類行程によって、分類されたグループに応じた所定の複数種の画像処理を前記画像信号に施すことを特徴とするコンピュータが実行可能なプログラム。
【発明の効果】
【０００６】
本発明によれば、撮影された画像中より人物を検出し顔及び肌色領域に対して最適な画像処理を行うことで良好な撮影を行うことができる。
【発明を実施するための最良の形態】
【０００７】
以下、本発明の好適な実施形態について、図面を参照して詳細に説明する。
【０００８】
（第１の実施形態）
本実施形態における撮像装置の構成を図１に示す。
【０００９】
同図において１は撮影レンズ、２は撮影レンズ１を通った光を光電変換するＣＣＤやＣＭＯＳ等の撮像素子である。３は撮像素子２で得られたアナログ信号をデジタル信号に変換するＡ／Ｄ変換部である。
【００１０】
４はＡ／Ｄ変換部３で得られたデジタル信号に対して特徴点の抽出や肌色領域の抽出を行い、予め登録されている顔の主要な部位についてのパターンマッチングを行うことで顔領域の検出を行う顔領域検出部である。
【００１１】
図３は輝度信号を入力とする複数のガンマ特性曲線を示した図である。５は顔領域、自然画領域（顔領域以外の領域）に対し部分毎に、図３に示す複数のガンマ特性曲線の中から、参照するガンマ特性曲線を切り替えて、コントラスト補正を行うコントラスト補正部である。一般的に、顔領域では（特に女性を対象とした場合）、美しく記録することが第１の目的であるため、皺や暗部のノイズを目立たなくすることが求められ、自然画領域では、詳細に記録することが第１の目的であるため被写体が鮮明に表現されることが求められる。上記の様にそれぞれ求められるコントラストの特性が異なるため、画像を違和感のない最適な状態にするためには、ガンマ特性曲線を切り替えコントラストの補正を行うのが有効である。
【００１２】
なお、２０１は入力画像の低輝度部のコントラストを強くすることにより、解像感の高い画質を得ることができるガンマ特性曲線であり、被写体を鮮明に表現することができるので自然画などに用いる。２０３は、入力画像全体のコントラストを弱くすることにより、顔の皺や暗部のノイズを目立たなくするガンマ特性曲線であり、皺等を目立たなくすることができるので、女性の顔などに適している。２０２は２０１と２０３の中間的なガンマ特性曲線であり、入力画像に対して標準的なコントラストの画像が得られるガンマ特性曲線で、一般的な顔部や肌部を滑らかに表現するのに用いる。
【００１３】
６は、複数用意したバンドパスフィルタの周波数特性及びゲインを変更することによりシャープネスを補正するシャープネス補正部である。７は、少なくとも３色のカラー信号、例えば、Ｒ（赤）、Ｇ（緑）、Ｂ（青）、の各信号のホワイトバランスをとり色差信号Ｃｒ＝Ｒ−（３＊Ｒ＋４＊Ｇ＋１＊Ｂ）／８、Ｃｂ＝Ｂ−（３＊Ｒ＋４＊Ｇ＋１＊Ｂ）／８を生成し、Ｃｒ信号及びＣｂ信号に対してゲインを調整することで色補正を行う、色補正部である。
８は撮像素子２を駆動するための駆動パルス信号を供給するタイミングジェネレータである。
９は撮像装置で行われる各種動作を制御する制御部である。１０は撮影した信号を記録するための記録媒体、１１は撮影した画像や、撮影環境の設定等を表示するための表示部、１２はシャッターボタンや、撮像装置を操作するためのボタン等の操作部である。
【００１４】
図２は本実施形態における処理の流れを説明するためのフローチャートである。以下、このフローチャートにそって動作の説明を行う。
【００１５】
ステップＳ１０１にて、撮影者がシャッターボタンを押すと、制御部９はステップＳ１０２にて撮像領域の輝度及び、フォーカスが最適になるように自動露出制御（これよりＡＥという）、自動合焦制御（これよりＡＦという）等を行い撮影を行う。
【００１６】
ステップＳ１０３ではＡ／Ｄ変換部３は撮像素子２の出力信号をデジタル信号に変換し、顔領域検出部４に信号を送る。
【００１７】
ステップＳ１０４にて、顔領域検出部４はステップＳ１０３で得られた画像信号に対してバンドパスフィルタをかけることで、画像の中から顔領域とみなされる領域のエッジ成分の検出を行う。
【００１８】
ステップＳ１０５にて、顔領域検出部４はステップＳ１０４で検出されたエッジ成分の特徴的な要素と、予め設定されているパターン画像信号の特徴的な要素とでパターンマッチングを行い、特徴的な要素毎の相関を求め、顔領域全体として相関の最も高いパターン画像信号を候補群として抽出する。ここでいう、予め設定されているパターン画像信号とは、画像のエッジ成分から目及び鼻、口、耳、顔の輪郭、髪型、皺等、顔の特徴的な要素を抽出したものを、性別、年齢、を基準としてグループ分けしたマッチングデータとして記録したものである。
【００１９】
ステップＳ１０６では、顔領域検出部４はステップＳ１０５にて抽出された特徴的な要素の候補群の中から、予め設定された条件（例えば２つの目の距離、傾き等）を満たすものを目の対の候補群と判断する。そして、目の対の候補群と、それに対応する顔の主要部位（鼻、口、耳、顔の輪郭、髪型、皺等）を対応付け、予め設定してある統計的なデータから顔らしくない信号を排除するための非顔条件フィルタを通すことで、顔領域を検出する。
【００２０】
ステップＳ１０７では、顔領域検出部４はステップＳ１０６までに得られた顔領域の輪郭内のカラー信号にローパスフィルタをかけて、ステップＳ１０８にて肌色信号を検出する。
【００２１】
ステップＳ１０９では、顔領域検出部４はステップＳ１０８にて検出された肌色信号を輝度信号と色差信号に変換し、肌の輝度信号と、肌の色差信号の色度座標位置を、肌の色の状態によってグループ分けする。
【００２２】
図４は輝度信号を肌の色の状態によってグループ分けした図であり、横軸が輝度値を示している。図５は色差信号を肌の色の状態によってグループ分けした図であり、縦軸は−Ｃｂ信号を示し、横軸はＣｒ信号を示す。
【００２３】
例えば、肌の色が白味がかっているのならば、図４中の３０３、図５中の４０２、黄色味がかっているのならば図４中の３０２、図５中の４０１、黒味がかっているのならば図４中の３０１、図５中の４０３、といったようにグループ分けされている。
【００２４】
そして、肌の輝度信号と図４のグループ、肌の色差信号の色度座標位置と図５におけるグループと比較して、どのグループに属するか決定する。それぞれが異なるグループを示す場合は、より相関度の高い方を優先して、グループを決定する。また、肌の色がいずれのグループにも一致しない場合は顔領域ではないとみなす。
【００２５】
ステップＳ１１０ではコントラスト補正部５、シャ−プネス補正部６、色補正部７は、ステップＳ１０５で求めた、性別や年齢に関する情報を備えたマッチングデータとステップＳ１０９で決定した肌色信号の属するグループに基づき、検出された顔領域に設定し、適した画質パラメータ（シャープネス補正量、コントラスト補正量、肌色補正量）を決定する。
【００２６】
ここで、ステップＳ１１０における画質パラメータの設定について詳細に説明する。
【００２７】
図６は肌の色が白味がかっているグループ１の場合の画質パラメータ設定を示す。
【００２８】
顔のエッジ部に対するシャープネス補正は、若い世代に対しては補正量を増やしシャープネスを強く掛けることで目鼻をよりくっきり見せることが出来る。年齢の高い世代に対しては、補正量を弱めることで顔の皺を目立たなくする。
【００２９】
顔のコントラスト補正は、通常は肌用の画質パラメータを選択するが、若い女性に対しては、若い女性の顔用画質パラメータを使用することで、顔部の肌を滑らかに表現する。また色補正は、例えば白味がかった肌は僅かに赤味が強い傾向があるので、ＣｒゲインをＣｂゲインより弱く設定することで赤味を抑えた肌色再現を行なう。また、若い世代に対しては、色を強くすることで健康的な肌色再現を行なう。年齢の高い世代に対しては、肌色を少し抑えることにより自然な肌色再現を行なう。黄味がかった肌や黒味がかった肌に対してもその色に最適な画質パラメータを予め用意する。また、これらの画質パラメータはユーザーにより補正量を変更しても良い。設定された画質パラメータを各画像処理回路に設定し画像処理を行う。なお、ユーザーが任意に画質パラメータを設定しても構わない。
【００３０】
ステップＳ１１１では、制御部９はステップＳ１１０での各種補正量に基づき画像処理を行う。
【００３１】
以上のように本実施形態では撮影された画像信号に対して顔領域の検出を行い、検出された顔領域に対して、同時に複数種の画像パラメータに対して最適な値を設定することで、良好な顔画像を得ることを可能にしている。
【００３２】
また、本実施の形態では撮影中の画像信号に人物が１人の場合の処理を説明しているが、人物が複数人検出された場合は、検出された顔領域それぞれに適した画質パラメータを設定することで、良好な画像を得ることが可能になる。また、画質パラメータは上記のシャープネス補正、コントラスト補正、色補正に限定されるものではなく、ホワイトバランス補正やかぶり補正など、視覚的に変化の感じられる処理であれば良い。
【００３３】
（第２の実施形態）
本実施形態の動作を図７のフローチャート図を用いて説明する。第１の実施形態と同じ処理を行うステップには、図２と同じステップ番号が割り当てられる。
【００３４】
本実施形態が第１の実施形態と異なる点は、第１の実施例がステップＳ１１１で、ステップＳ１０５で求めたマッチングデータとステップＳ１０９で決定した肌色信号の属するグループに基づき画質パラメータを決めているのに対して、本実施形態では予め設定されている撮影モード（例えば肌の色を白味がかった色に補正し、更にコントラストを弱くすることで皺を目立たなくする美肌モード、コントラストを強くし被写体の輪郭をはっきりさせる輪郭強調モード、非膨張色に肌の色を補正し、顔自体をシャープに見せるすっきり顔モード等）も加味して、画質パラメータを決定する点である。
【００３５】
フローチャートにおいては、図２におけるステップＳ１０９とステップＳ１１１の間の処理のみが異なっており、この処理についての説明を行う。
【００３６】
ステップＳ１２０では、特別な撮影モードが設定されているかどうかの判定を行う。
【００３７】
特別な撮影モードが設定されていない場合は、ステップＳ１１０にてコントラスト補正部５、シャ−プネス補正部６、色補正部７は、ステップＳ１０５で求めたマッチングデータとステップＳ１０９で決定した肌色信号の属するグループに基づき、検出された顔領域に適した画質パラメータ（シャープネス補正量、コントラスト補正量、肌色補正量）を決定しステップＳ１１１へ進む。
【００３８】
また特別な撮影モードが設定されている場合は、ステップＳ１２１にて、コントラスト補正部５、シャ−プネス補正部６、色補正部７は、ステップＳ１０５で求めたマッチングデータ、ステップＳ１０９で決定した肌色信号の属するグループ、設定されている撮影モードに基づき検出された顔領域に適した画質パラメータ（シャープネス補正量、コントラスト補正量、肌色補正量）を決定しステップＳ１１１へ進む。
【００３９】
以上のように、特定の撮影モード時に、被写体に対して、肌色信号だけでなく、撮影モードも加味して、補正量を変えた画質パラメータを使用することで、より細かいシーン設定（同じ美肌モードでも年代、肌の色合いによって最適とするための補正量は微妙に異なってくる）に応じた好適な撮影を行うことを可能にしている。
【００４０】
なお、撮影モードは本実施例に挙げたものに限定されるものではない。
【００４１】
また、各実施形態の目的は、前述した実施形態の機能を実現するソフトウェアのプログラムコードを記録した記憶媒体（または記録媒体）を、システムあるいは装置に供給し、そのシステムあるいは装置のコンピュータ（またはＣＰＵやＭＰＵ）が記憶媒体に格納されたプログラムコードを読み出し実行することによっても、達成されることは言うまでもない。この場合、記憶媒体から読み出されたプログラムコード自体が前述した実施形態の機能を実現することになり、そのプログラムコードを記憶した記憶媒体は本発明を構成することになる。また、コンピュータが読み出したプログラムコードを実行することにより、前述した実施形態の機能が実現されるだけでなく、そのプログラムコードの指示に基づき、コンピュータ上で稼働しているオペレーティングシステム（ＯＳ）などが実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。
【００４２】
さらに、記憶媒体から読み出されたプログラムコードが、コンピュータに挿入された機能拡張カードやコンピュータに接続された機能拡張ユニットに備わるメモリに書込まれた後、そのプログラムコードの指示に基づき、その機能拡張カードや機能拡張ユニットに備わるＣＰＵなどが実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。
【００４３】
本発明を上記記憶媒体に適用する場合、その記憶媒体には、先に説明したフローチャートに対応するプログラムコードが格納されることになる。
【図面の簡単な説明】
【００４４】
【図１】本発明における撮像装置のブロック図である。
【図２】第１の実施形態における処理のフローチャートを示す図である。
【図３】コントラスト調整用ルックアップテーブルである。
【図４】被写体領域検出のための輝度信号グループ分けの図である。
【図５】被写体領域検出のための色差信号グループ分けの図である。
【図６】画質パラメータの設定の様子を示す図である。
【図７】第２の実施形態における処理のフローチャートを示す図である。
【符号の説明】
【００４５】
１  レンズ
２  撮像素子
３  Ａ／Ｄ変換部
４  顔領域検出部
５  コントラスト補正部
６  シャープネス補正部
７  色補正部
８  タイミングジェネレーター
９  制御部
１０  メモリカード
１１  画像表示部
１２  操作部
【図１】
2006148326.tif 000003
【図２】
2006148326.tif 000004
【図３】
2006148326.tif 000005
【図４】
2006148326.tif 000006
【図５】
2006148326.tif 000007
【図６】
2006148326.tif 000008
【図７】
2006148326.tif 000009