(57)【要約】【課題】  被写体の顔の特徴部分について、画像の色補正を行う際に、画像全体の違和感を抑えつつ、好適な色補正を実現すること。【解決手段】  被写体像を撮像して画像を生成する撮像部と、画像から、被写体の人物の顔部分を検出する検出部と、画像のうち、顔部分を除く部分の色分布を解析する解析部と、検出部により検出した顔部分における特徴部分について、画像の色補正を行う画像処理部とを備え、画像処理部は、解析部による解析結果に基づいて、顔部分を除く部分を代表する代表色を求め、代表色に応じて、色補正の補正条件に含まれる色相と彩度と明度との少なくとも１つを変更する。【選択図】    図１
2013171433.tif 000002
【特許請求の範囲】
【請求項１】
被写体像を撮像して画像を生成する撮像部と、
前記画像から、被写体の人物の顔部分を検出する検出部と、
前記画像のうち、前記顔部分を除く部分の色分布を解析する解析部と、
前記検出部により検出した前記顔部分における特徴部分について、画像の色補正を行う画像処理部とを備え、
前記画像処理部は、前記解析部による解析結果に基づいて、前記顔部分を除く部分を代表する代表色を求め、前記代表色に応じて、前記色補正の補正条件に含まれる色相と彩度と明度との少なくとも１つを変更する
ことを特徴とするデジタルカメラ。
【請求項２】
請求項１に記載のデジタルカメラにおいて、
前記画像処理部は、前記解析結果に基づいて、前記顔部分を除く部分を複数の領域に分割し、各領域のうち占有面積が最も大きい領域の色を前記代表色とする
ことを特徴とするデジタルカメラ。
【請求項３】
請求項１に記載のデジタルカメラにおいて、
前記画像処理部は、前記解析結果に基づいて、前記顔部分を除く部分を複数の領域に分割し、各領域の合焦状態に応じて代表領域を決定し、前記代表領域の色を前記代表色とする
ことを特徴とするデジタルカメラ。
【請求項４】
請求項１に記載のデジタルカメラにおいて、
前記画像処理部は、前記顔部分を除く部分の色の平均値を求め、前記平均値に対応する色を前記代表色とする
ことを特徴とするデジタルカメラ。
【請求項５】
請求項１に記載のデジタルカメラにおいて、
前記画像処理部は、前記解析結果に基づいて、前記顔部分を除く部分を複数の領域に分割し、それぞれの領域の色と占有面積と合焦状態との少なくとも一方に基づいて、分割された各領域の重みを決定し、前記重みを加味して前記代表色を求める
ことを特徴とするデジタルカメラ。
【請求項６】
請求項１に記載のデジタルカメラにおいて、
前記画像を表示する表示部と、
ユーザ操作を受け付ける受付部と、
前記解析結果に基づき、前記補正条件の候補として、色相と彩度と明度との少なくとも１つが異なる複数の色候補を選択する選択部とをさらに備え、
前記表示部は、複数の前記色候補を表示し、
前記受付部は、複数の前記色候補のうち、いずれかの色候補を選択するユーザ操作を受け付け、
前記画像処理部は、前記受付部を介してユーザにより選択された色候補に応じて、前記補正条件に含まれる色相と彩度と明度との少なくとも１つを変更する
ことを特徴とするデジタルカメラ。
【請求項７】
請求項６に記載のデジタルカメラにおいて、
前記画像処理部は、前記受付部を介してユーザにより選択された色候補を記憶し、各色候補の選択頻度に応じて、前記補正条件に含まれる色相と彩度と明度との少なくとも１つを変更する
ことを特徴とするデジタルカメラ。
【請求項８】
請求項１から請求項７のいずれか１項に記載のデジタルカメラにおいて、
前記画像処理部は、前記画像が生成された日時に関する情報と場所に関する情報との少なくとも一方を加味して、前記補正条件に含まれる色相と彩度と明度との少なくとも１つを変更する
ことを特徴とするデジタルカメラ。
【請求項９】
画像を取得する取得ステップと、
前記取得ステップにおいて取得した前記画像から、被写体の人物の顔部分を検出する検出ステップと、
前記画像のうち、前記顔部分を除く部分の色分布を解析する解析ステップと、
前記検出ステップにおいて検出した前記顔部分における特徴部分について、画像の色補正を行う画像処理ステップとをコンピュータで実現することを特徴とする画像処理プログラムであって、
前記画像処理部ステップでは、前記解析ステップにおける解析結果に基づいて、前記顔部分を除く部分を代表する代表色を求め、前記代表色に応じて、前記色補正の補正条件に含まれる色相と彩度と明度との少なくとも１つを変更する
ことを特徴とする画像処理プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、デジタルカメラおよび画像処理プログラムに関する。
【背景技術】
【０００２】
従来より、画像処理により、デジタル画像に対して様々な画像処理を行う技術が考えられている。例えば、下記の特許文献１の画像処理方法は、入力画像データから、唇部分などのパーツを抽出し、色補正を行うことにより出力画像における女性の見映えを良くしている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００１−２１８０２０号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかし、上述した特許文献１の画像処理方法では、色補正の対象となるパーツの色味に基づいて色補正を行うため、色補正を施した部分の色味が浮いてしまい、全体として違和感のある画像になってしまうことがあった。
【０００５】
本発明は、上記問題に鑑みてなされたものであり、被写体の顔の特徴部分について、画像の色補正を行う際に、画像全体の違和感を抑えつつ、好適な色補正を実現することを目的とする。
【課題を解決するための手段】
【０００６】
本発明のデジタルカメラは、被写体像を撮像して画像を生成する撮像部と、前記画像から、被写体の人物の顔部分を検出する検出部と、前記画像のうち、前記顔部分を除く部分の色分布を解析する解析部と、前記検出部により検出した前記顔部分における特徴部分について、画像の色補正を行う画像処理部とを備え、前記画像処理部は、前記解析部による解析結果に基づいて、前記顔部分を除く部分を代表する代表色を求め、前記代表色に応じて、前記色補正の補正条件に含まれる色相と彩度と明度との少なくとも１つを変更する。
【０００７】
なお、前記画像処理部は、前記解析結果に基づいて、前記顔部分を除く部分を複数の領域に分割し、各領域のうち占有面積が最も大きい領域の色を前記代表色としても良い。
【０００８】
また、前記画像処理部は、前記解析結果に基づいて、前記顔部分を除く部分を複数の領域に分割し、各領域の合焦状態に応じて代表領域を決定し、前記代表領域の色を前記代表色としても良い。
【０００９】
また、前記画像処理部は、前記顔部分を除く部分の色の平均値を求め、前記平均値に対応する色を前記代表色としても良い。
【００１０】
また、前記画像処理部は、前記解析結果に基づいて、前記顔部分を除く部分を複数の領域に分割し、それぞれの領域の色と占有面積と合焦状態との少なくとも一方に基づいて、分割された各領域の重みを決定し、前記重みを加味して前記代表色を求めても良い。
【００１１】
また、前記画像を表示する表示部と、ユーザ操作を受け付ける受付部と、前記解析結果に基づき、前記補正条件の候補として、色相と彩度と明度との少なくとも１つが異なる複数の色候補を選択する選択部とをさらに備え、前記表示部は、複数の前記色候補を表示し、前記受付部は、複数の前記色候補のうち、いずれかの色候補を選択するユーザ操作を受け付け、前記画像処理部は、前記受付部を介してユーザにより選択された色候補に応じて、前記補正条件に含まれる色相と彩度と明度との少なくとも１つを変更しても良い。
【００１２】
また、前記画像処理部は、前記受付部を介してユーザにより選択された色候補を記憶し、各色候補の選択頻度に応じて、前記補正条件に含まれる色相と彩度と明度との少なくとも１つを変更しても良い。
【００１３】
また、前記画像処理部は、前記画像が生成された日時に関する情報と場所に関する情報との少なくとも一方を加味して、前記補正条件に含まれる色相と彩度と明度との少なくとも１つを変更しても良い。
【００１４】
また、上記発明に関する構成を、処理対象の画像データに対する画像処理を実現するための画像処理プログラムに変換して表現したものも本発明の具体的態様として有効である。
【発明の効果】
【００１５】
本発明によれば、被写体の顔の特徴部分について、画像の色補正を行う際に、画像全体の違和感を抑えつつ、好適な色補正を実現することができる。
【図面の簡単な説明】
【００１６】
【図１】本実施形態のデジタルカメラの機能ブロック図である。
【図２】撮像指示が行われた際の制御部７の動作を示すフローチャートである。
【図３】メイク処理を行う際の制御部７の動作を示すフローチャートである。
【図４】被写体の一例を示す図である。
【図５】ＨＳＶ色空間について説明する図である。
【図６】「薄い赤」の定義について説明する図である。
【図７】「濃い青」の定義について説明する図である。
【図８】被写体の別の例を示す図である。
【図９】メイク処理を行う際の制御部７の動作を示す別のフローチャートである。
【図１０】色補正の候補条件の表示例を示す図である。
【図１１】色補正の候補条件の表示例を示す別の図である。
【発明を実施するための形態】
【００１７】
以下、図面を用いて本発明の第１実施形態について説明する。図１は、本発明の第１実施形態におけるデジタルカメラ１の構成を示すブロック図である。図１に示すように、デジタルカメラ１は、撮像レンズ２、撮像素子３、Ａ／Ｄ変換部４、バッファメモリ５、画像処理部６、制御部７、表示部８、操作部９、メモリ１０、記録Ｉ／Ｆ部１１、記録媒体１２、接続部１３、通信部１４、バス１５を備える。
【００１８】
撮像レンズ２は、撮像素子３の撮像面に被写体像を結像する。なお、撮像レンズ２は、ズームレンズやフォーカスレンズ等の複数のレンズからなる撮像光学系であっても良い。撮像素子３は、撮像レンズ２を通過した被写体光を光電変換し、Ｒ、Ｇ、Ｂの各色に対応するアナログ画像信号を出力する。撮像素子３は、非撮像時、所定間隔毎に間引き読み出しを行い、スルー画像（構図確認用の画像）を取得する。その後、撮像素子３は、後述するレリーズ釦１８が全押しされると本画像を取得する。
【００１９】
撮像素子３から出力される画像信号は、Ａ／Ｄ変換部４に入力される。Ａ／Ｄ変換部４は、撮像素子３から出力されるアナログの画像信号をＡ／Ｄ変換し、デジタルの画像信号に変更する。なお、このデジタルの画像信号は、１コマにまとめられ、画像データとしてバッファメモリ５に記録される。バッファメモリ５は、画像処理部６による画像処理の前工程や後工程で画像データを一時的に記録する。
【００２０】
画像処理部６は、バッファメモリ５に記録された画像データに対して画像処理を施す。なお、この画像処理としては、周知のホワイトバランス調整、色補間、階調変換処理、輪郭強調処理等が挙げられる。また、画像処理部６は、記録媒体１２に画像ファイルを記録する前にＪＰＥＧ（Joint Photographic Experts Group）形式等で圧縮する処理や、圧縮された上記のデータを伸長復元する処理をも実行する。
【００２１】
また、画像処理部６は、メイク処理として、顔における特徴部分（眉、目、口等）の色を補正する。例えば、画像処理部６は上瞼の色に青味を増す色補正や、唇の色に赤味を増す色補正を行う。これにより、アイシャドーや口紅のようなポイントメイクの効果が得られるため、被写体となる女性の見栄えを良くすることができる。具体的な処理については、特開２００１−２１８０２０号公報などにより公知である。なお、画像処理部６は、メイク処理の際に、顔における特徴部分の形状の調整をあわせて行っても良い。例えば、画像処理部６は目の部分を大きくする補正や鼻の幅を狭くする補正などを行っても良い。
【００２２】
この他に、画像処理部６は、以下に示す処理を行っても良い。これらの処理はいわゆる美肌処理の一例である。
【００２３】
画像処理部６は、例えば、画像の露出をオーバー側に補正する露出補正を行う。これにより、被写体の肌が白く表現された好ましい画像を得ることができる。
【００２４】
また、画像処理部６は、ソフトフォーカス処理を行う。ソフトフォーカス処理は、例えば、所定のソフトフォーカス効果を示すフィルタやローパスフィルタなどを用いて行われる。なお、元画像からマスク画像を生成し、生成したマスク画像に基づいてフィルタ処理後の画像と元画像とを合成することによりソフトフォーカス処理を行っても良い。このようなソフトフォーカス処理により、被写体が女性である場合、女性らしさが強調されるとともに、柔らかみのある好ましい画像を得ることができる。また、被写体のしわや、ニキビなどの凹凸感、肌荒れ等が目立ちにくい好ましい画像を得ることができる。
【００２５】
また、画像処理部６は、彩度のパラメータや明度のパラメータを補正し、肌を白く表現したり、肌色のくすみ等を軽減したりしても良い。
【００２６】
また、画像処理部６は、画像に含まれる人物を痩身に見せる補正を行う。例えば、画像処理部６は、画像の縦横比を若干縦長に変更した後、人物の部分を切り出し、画像の大きさを調整する。或いは画像処理部６は、特開２００４−２６４８９３号公報のように、顔の輪郭を補正して頬を細く見せるようにしても良い。また、鮮鋭化処理によって顔の輪郭を強調したり、歪み補正技術を用いて口の口角の角度や顎の輪郭を補正したりしても良い。
【００２７】
また、画像処理部６は、ハイライト抑える処理を行うことにより、閃光発光などの強い光に起因して発生しやすいテカリを軽減しても良い。また、部分的にテカリを強調することにより、肌を瑞々しく見せる補正を行っても良い。
【００２８】
また、画像処理部６は、上述した処理の他に、ダイナミックレンジ拡張、暗部補正、エッジのアンシャープマスク処理、ノイズ処理など処理を行っても良い。
【００２９】
なお、このような美肌処理は、単純に女性の見映えを良くするだけのものではなく、顔を明るく、好ましく撮影することができるので、被写体が男性や子供である場合にも有用である。
【００３０】
制御部７は、所定のシーケンスプログラムにしたがって、デジタルカメラ１の統括的な制御を行うとともに、撮像時に必要となる各種演算（ＡＦ、ＡＥ等）を実行する。また、制御部７は、顔検出部１６の機能を有している。
【００３１】
顔検出部１６は、スルー画像、本画像、記録媒体１２に記録された画像から特徴点を抽出して顔領域、顔領域の大きさ（顔面積）等を検出する。例えば、顔検出部１６は、特開２００１−１６５７３号公報等に記載された特徴点抽出処理によって顔領域を抽出する。上記の特徴点としては、例えば、眉、目、鼻、唇の各端点、顔の輪郭点、頭頂点や顎の下端点等が挙げられる。そして、顔検出部１６は、顔領域の位置情報を特定する。例えば、顔検出部１６は、画像の横方向をＸ軸、縦方向をＹ軸とし、顔領域に含まれる画素のＸ座標及びＹ座標を算出する。さらに、顔検出部１６は、特開２００４−２２２１１８号公報等に記載された特徴点を用いた演算処理によって、検出した人物の人種、年齢、性別などを判別する。
【００３２】
表示部８は、制御部７の制御により各種の画像を表示する。表示部８に表示される各種の画像は、スルー画像、本画像、記録媒体１２に記録された画像、メニュー画像等を含む。また、表示部８は、タッチパネル１７を備える。タッチパネル１７は、パネル上で指又はスタイラス等がタッチされた位置、ドラッグされた方向、ドラッグされた回数を検出する。タッチパネル１７の状態は制御部７により検知される。なお、タッチパネル１７は、表示部８の表面全体に積層して配置するため、表示部８と同等の大きさを有する透明なパネルで構成されている。また、本実施形態の例では、タッチパネル１７は、静電気による電気信号を感知する静電容量式のパネルで構成されている。なお、静電容量式に限らず、圧力による電圧の変化を検知する抵抗膜式のパネルなどを用いても良い。
【００３３】
操作部９は、レリーズ釦１８、十字キー１９等を有する。レリーズ釦１８は、撮像時にユーザにより操作される。十字キー１９は、上記のメニュー画像等で操作される。なお、レリーズ釦１８及び十字キー１９の状態は制御部７により検知され、検知された釦の状態に基づいたシーケンスが実行される。記録Ｉ／Ｆ部１１は、記録媒体１２を接続するためのコネクタを備えている。この記録Ｉ／Ｆ部１１と記録媒体１２とが接続されることにより、記録媒体１２に対してデータの書き込み／読み出しを実行する。
【００３４】
接続部１３は、入出力端子などを備え、デジタルカメラ１の外部の機器と相互に接続し、画像データなど入出力する。通信部１４は、無線または有線で、デジタルカメラ１の外部の機器と通信を行う。バス１５は、バッファメモリ５、画像処理部６、制御部７、表示部８、メモリ１０、記録Ｉ／Ｆ部１１を相互に接続することにより、データや信号の出入力を実行する。
【００３５】
以上説明した構成のデジタルカメラ１は、撮像により生成した画像に、上述したメイク処理を施すメイク処理モードを有する。メイク処理モードは、ポートレートモードや風景モードなどの既存のシーンモードと独立に備えられる。すなわち、メイク処理モードは、既存のシーンモードに追加して設定可能なモードである。メイク処理モードは、制御部７により自動で設定される。また、ポートレートモードや風景モードなどの既存のシーンモードは、操作部９やタッチパネル１７を介したユーザの指定により設定される。
【００３６】
なお、制御部７による自動設定の他に、操作部９やタッチパネル１７を介したユーザの指定によりメイク処理モードを設定可能としても良い。ユーザの指定に際しては、操作部９に専用のボタンなどを設けても良いし、表示部８にメニュー画面などを表示しても良い。また、メイク処理モードを、既存のシーンモードの一つとして備えても良い。
【００３７】
上述したメイク処理モードが設定され、レリーズ釦１８を介したユーザ操作により撮像指示が行われる際の制御部７の動作について、図２に示すフローチャートを参照して説明する。
【００３８】
ステップＳ１において、制御部７は、公知技術と同様に、被写体像を撮像する際の撮影条件を決定する。なお、制御部７は、メイク処理モードが設定されている際に好ましい撮影条件を決定しても良い。例えば、露出や撮影感度などを、メイク処理モードに適した条件としても良い。
【００３９】
ステップＳ２において、制御部７は、撮像レンズ２、撮像素子３、Ａ／Ｄ変換部４等を制御し、被写体像を撮像して画像を生成する。
【００４０】
ステップＳ３において、制御部７は、顔検出部１６により、ステップＳ２で生成した画像に対して、顔検出及び顔認識を行う。さらに、制御部７は、予め登録された特定人物の顔画像をもとに、顔認識処理を行っても良い。例えば、上述した顔検出により検出された顔の特徴点に基づいて、ステップＳ２で生成した画像に含まれる顔の特徴点の位置、各顔パーツの大きさ、各特徴点の相対距離などを演算する。そして、演算結果と、予め登録された特定人物の顔画像の画像データとを比較して、相似度を求める。そして、画像処理部６は、求めた相似度が所定の閾値を上回る場合に、予め登録された特定人物に合致したと判定する。また、スルー画像の撮影時に同様の顔検出及び顔認識を行い、その結果を利用しても良い。ただし、スルー画像の撮影中には、処理の高速化が求められる。そのため、スルー画像の撮影時には、より簡略化した顔検出及び顔認識を行っても良い。さらに、スルー画像の撮影中に行った顔検出及び顔認識の結果に基づいて、表情認識を行い、認識結果に基づいて、撮像タイミングを制御する構成としても良い。例えば、顔検出部１６は、上述した顔検出及び顔認識の結果に基づいて主要被写体の顔の表情を認識する。そして、制御部７は、認識した表情が、例えば、目つぶりしていない状態や笑顔の状態などの所定の状態であるタイミングで撮像を行うことにより、撮影失敗の可能性を低減し、好ましい撮像を実現することができる。なお、表情認識は、例えば、顔検出部１６は、特開２００４−２７２９３３号公報や特開２００１−５１３３８号公報等に記載され技術を用いることができる。
【００４１】
ステップＳ４において、制御部７は、画像処理部６を制御して、ステップＳ３で行った顔検出及び顔認識の結果に基づいて、ステップＳ２で生成した画像に対して、メイク処理を行う。メイク処理の詳細は後述する。なお、制御部７は、ステップＳ２で生成した画像のＥｘｉｆ情報（付帯情報）に、メイク処理の内容を示す情報を記録しても良い。このような情報を記録することにより、ユーザは、どのようなメイク処理が施されたのかを、画像の再生時に確認することができる。なお、メイク処理の内容を示す情報を、付帯情報として記録する代わりに、画像と対応付けた別のファイルとして記録しても良い。
【００４２】
ステップＳ５において、制御部７は、ステップＳ４でメイク処理を施した画像を記録Ｉ／Ｆ部１１を介して記録媒体１２に記録して、一連の処理を終了する。
【００４３】
次に、図２のフローチャートのステップＳ４で説明したメイク処理について、図３に示すフローチャートを参照して説明する。
【００４４】
ステップＳ１１において、制御部７は、メイク処理の条件を決定する。制御部７は、図２のステップＳ３で行った顔検出及び顔認識の結果に基づいて、顔における特徴部分（眉、目、口等。以下、「パーツ」と称する。）を抽出し、各パーツのメイク処理の条件を決定する。メイク処理の条件には、各パーツの色補正の条件や、形状の調整の条件などが含まれる。これらの条件は、表示部８、操作部９、タッチパネル１７などを介して公知技術と同様に行われる。また、メイク処理の条件は、撮影に先立って予め行われていても良い。
【００４５】
なお、以下では、図４のように、対象の画像に人物が１人のみ含まれる場合を例に挙げて説明する。また、以下では、図４における顔領域Ｆのうち、唇の部分Ｌの色を補正する場合を例に挙げて説明する。対象の画像に複数の人物が含まれる場合には、順次同様の処理を行っても良いし、一括して同様の処理を行っても良い。また、唇以外のパーツ（眉、目、頬など）についても、順次同様の処理を行う。
【００４６】
また、本実施形態では、色を表現する際に、ＨＳＶ色空間を用いる。ＨＳＶ色空間は、図５に示すように、色の種類を示す「色相（Ｈ）」、色の鮮やかさを示す「彩度（Ｓ）」、色の明るさを示す「明度（Ｖ）」の３要素からなる。色相（Ｈ）は、０〜３６０の値で示され、彩度（Ｓ）および明度（Ｖ）は、０〜１００の値で示される。
【００４７】
ここでは、色補正の条件として、図４における顔領域Ｆのうち唇の部分Ｌの色を、「薄い赤」に補正する条件が決定されたものとして説明を行う。「薄い赤」とは、図６に示すように、色相（Ｈ）＝０，彩度（Ｓ）＝３３，明度（Ｖ）＝１００で定義される色である。
【００４８】
ステップＳ１２において、制御部７は、図２のステップＳ３で行った顔検出により検出した顔を除く領域の色分布を解析する。図４の例では、制御部７は、顔領域Ｆを除く領域の色分布を解析する。
【００４９】
ステップＳ１３において、制御部７は、ステップＳ１２で行った色分布の解析結果に基づいて、顔を除く領域の代表値を求める。なお、この場合の「顔を除く領域」には、顔領域Ｆを除く領域全てが含まれるため、例えば、人物が身に付けている洋服の色や毛髪の色なども考慮して代表色を求めることができる。一例として、人物が身に着けている洋服を例に挙げると、ある服を着た場合に限って、顔色がくすんで見えるということがある。このような場合には、色彩対比現象が関わっている。例えば、彩度対比においては、高彩度色に囲まれた色は実際よりくすんだ色に見える。したがって、上述した方法で代表値を求めることにより、このような色彩対比現象も考慮した代表色を求めることができる。
【００５０】
制御部７は、代表値を、以下の何れかの方法で求める。
【００５１】
（１）顔を除く領域を、色に基づいて複数の領域に分割し、占有面積が最も大きい領域の色を代表色として代表値を求める方法。
【００５２】
図４の例では、制御部７は、顔領域Ｆを除く領域のうち、占有面積の大きい空の領域Ｂ１、海の領域Ｂ２、砂浜の領域Ｂ３から、占有面積が最も大きい空の領域Ｂ１の色を代表色として代表値を求める。
【００５３】
この方法で代表値を求めることにより、背景に含まれる色や、各領域の占有面積を考慮して代表色を求めることができる。
【００５４】
（２）顔を除く領域を、色に基づいて複数の領域に分割し、合焦状態が最も良い領域の色を代表色として代表値を求める方法。
【００５５】
制御部７は、各領域の周波数成分や、撮影時のＡＦ情報などに基づいて合焦状態が最も良い領域を選択する。図４の例では、制御部７は、顔領域Ｆを除く領域のうち、一番手前に存在するため、合焦状態が最も良い椰子の木の葉の領域Ｂ４の色を代表色として代表値を求める。
【００５６】
この方法で代表値を求めることにより、背景に含まれる色や、各領域の合焦状態を考慮して代表色を求めることができる。
【００５７】
（３）顔を除く領域の平均色を代表色として代表値を求める方法。
【００５８】
図４の例では、制御部７は、顔領域Ｆを除く領域の平均色を求め、この色を代表色として代表値を求める。
【００５９】
この方法で代表値を求めることにより、簡易に代表色を求めることができる。
【００６０】
（４）顔を除く領域を、色に基づいて複数の領域に分割する。そして、各領域の占有面積と合焦状態との少なくとも一方に基づいて、各領域の重みを決定する。そして、決定した重みを加味して代表領域を求め、その代表領域の色を代表色として代表値を求める方法。
【００６１】
制御部７は、（１）で説明した占有面積や（２）で説明した合焦状態に基づいて、予め定められた方法で各領域の重みを決定する。そして、例えば、重みを加味して、（３）で説明した平均値を求めることにより、代表値を求める。
【００６２】
この方法で代表値を求めることにより、背景の詳細な色分布に応じた代表色を求めることができる。
【００６３】
なお、上記（１）から（４）で説明した方法のうち、２つ以上の方法を組み合わせて代表色を求めても良い。また、以下では、空の領域Ｂ１の色（「濃い青」）を代表色として代表値を求める場合を例に挙げて説明する。「濃い青」とは、図７に示すように、色相（Ｈ）＝２００，彩度（Ｓ）＝１００，明度（Ｖ）＝６６で定義される色である。
【００６４】
ステップＳ１４において、制御部７は、ステップＳ１３で求めた代表値に基づいて、ステップＳ１１で決定したメイクの条件のうち、色補正の条件を変更する。
【００６５】
ステップＳ１１で決定した色補正の条件は、色相（Ｈ）＝０，彩度（Ｓ）＝３３，明度（Ｖ）＝１００の「薄い赤」であり、ステップＳ１３で求めた代表値は、色相（Ｈ）＝２００，彩度（Ｓ）＝１００，明度（Ｖ）＝６６の「濃い青」である。
【００６６】
制御部７は、色補正の条件のうち、色相を所定値分（例えば、２０）だけ代表値に近づけるように変更する。すなわち、色補正の条件の色相（Ｈ）＝０（＝３６０）を、代表値の色相（Ｈ）＝２００に近づけ、変更後の色補正の条件の色相（Ｈ）＝３４０とする。この変更により、変更後のメイクの色補正の条件は、より青みがかった色に変更される。
【００６７】
なお、制御部７は、色補正の条件のうち、色相（Ｈ）を変更する代わりに、彩度（Ｓ）および明度（Ｖ）を変更しても良い。例えば、色補正の条件の彩度（Ｓ）＝３３および明度（Ｖ）＝１００を、代表値の彩度（Ｓ）＝１００および明度（Ｖ）＝６６に所定値分（例えば、５）だけ近づけ、変更後の色補正の条件の彩度（Ｓ）＝３８，明度（Ｖ）＝９５とする。この変更により、変更後の色補正の条件は、より暗いトーンの色に変更される。
【００６８】
ステップＳ１５において、制御部７は、全てのパーツについて色補正の条件を変更したか否かを判定する。制御部７は、全てのパーツについて色補正の条件を変更したと判定すると、ステップＳ１６に進む。一方、全てのパーツについて色補正の条件を変更していないと判定すると、制御部７は、ステップＳ１１に戻り、色補正の条件を変更していないパーツについて、ステップＳ１１以降の処理を行う。
【００６９】
ステップＳ１６において、制御部７は、画像処理部６を制御して色補正を実行し、メイク処理を終了する。このとき、画像処理部６は、ステップＳ１４で変更した色補正の条件にしたがって、色補正を実行する。また、上述したように、メイク処理として各パーツの形状の調整の条件が決定されている場合には、画像処理部６は、これらの処理を連続して、または、同時に行う。
【００７０】
なお、図３のフローチャートでは、図４に示したように、空や海などの濃い青色系の背景である場合を例に挙げて説明した。しかし、例えば、図８に示すように、桜の花などの明るい赤色系の背景である場合には、ステップＳ１４において、赤みがかった色への変更や明るいトーンへの変更が行われることになる。メイクの色補正の条件を、背景の代表色に近づける変更を行うことにより、画像全体のカラーバランスを改善したり、画像全体の違和感を抑えたりすることができる。
【００７１】
また、色補正の条件を変更する際には、変更内容を、表示部８などによりユーザが確認可能な構成としても良い。
【００７２】
また、変更する幅（上記した「所定値」の幅）は、ユーザにより指定可能な構成としても良い。例えば、色相（Ｈ）は、図５中の環状の要素であり、３６度以上変更する（「所定値」の幅を３６以上とする）と、明らかに別の色領域に変更されてしまい、ユーザに、大きな違和感を感じさせることになる。したがって、ユーザにより指定可能とする場合には、上限値を設けると良い。
【００７３】
ところで、図３のフローチャートでは、色補正の条件の変更を自動で行う場合を説明した。しかし、ユーザの好みや要望をより反映できるようにしても良い。図３で説明したメイク処理の変形例について、図９に示すフローチャートを参照して説明する。
【００７４】
ステップＳ２１からステップＳ２３において、制御部７は、図３のステップＳ１１からステップＳ１３と同様の処理を行う。
【００７５】
ステップＳ２４において、制御部７は、ステップＳ２３で求めた代表値に基づいて、ステップＳ１１で決定したメイクの条件のうち、色補正の候補条件を選択する。
【００７６】
制御部７は、図３のステップＳ１４と同様の処理を行って、いくつかの色補正の候補条件を選択する。例えば、図３のステップＳ１４と同様の処理を行って求めた色補正の条件に、色相（Ｈ）、彩度（Ｓ）、明度（Ｖ）の少なくとも１つについて所定の幅を持たせて候補条件を選択する。
【００７７】
ステップＳ２５において、制御部７は、ステップＳ２４で選択した色補正の候補条件を表示部８に表示する。図１０に色補正の候補条件の表示例を示す。図１０の例では、選択した色補正の候補条件を、カラーパレットＣ１として表示部８に表示している。このような表示を行うことにより、ユーザは、操作部９やタッチパネル１７を介した操作により、簡単に所望の候補条件を選択することができる。なお、ユーザの操作性や利便性をより向上させるために、複数のパーツについて一括して候補条件を決定して表示する構成としても良い。例えば、図１１に示すように、複数のパーツ（図１１では、目について「アイカラー」、頬について「チーク」、唇について「リップ」）に関する色補正の候補条件を含むカラーパレットＣ２を、表示部８に表示しても良い。
【００７８】
カラーパレットＣ２については、横一列（例えば、図１１中Ｅ１）を一括して選択可能な構成としても良いし、パーツ毎に好みの候補条件を選択可能な構成としても良い。また、一度に全ての候補条件を表示するのが困難な場合には、上下、左右方向にさらなる候補条件が存在することを示すいわゆるスクロールアイコンなどを表示部８に表示すれば良い。なお、図１０および図１１は、色補正の候補条件の一表示例であり、表示の内容はこの例に限定されない。例えば、文字情報や音声情報などを利用しても良い。
【００７９】
ステップＳ２６において、制御部７は、ステップＳ２５で表示した候補条件のうち、何れかの候補条件が選択されたか否かを判定する。制御部７は、何れかの候補条件が選択されるまで待機し、何れかの候補条件が選択されたと判定すると、選択候補条件を色補正の条件とし、ステップＳ２７に進む。
【００８０】
ステップＳ２７において、制御部７は、全てのパーツについて色補正の条件を決定したか否かを判定する。制御部７は、全てのパーツについて色補正の条件を決定したと判定すると、ステップＳ２８に進む。一方、全てのパーツについて色補正の条件を決定していないと判定すると、制御部７は、ステップＳ２１に戻り、色補正の条件を決定していないパーツについて、ステップＳ２１以降の処理を行う。
【００８１】
ステップＳ２８において、制御部７は、図３のステップＳ１６と同様に、画像処理部６を制御して色補正を実行する。このとき、画像処理部６は、ステップＳ２６で選択された色補正の候補条件にしたがって、色補正を実行する。また、上述したように、メイク処理として各パーツの形状の調整の条件が決定されている場合には、画像処理部６は、これらの処理を連続して、または、同時に行う。
【００８２】
なお、ステップＳ２６で説明したユーザによる選択に関して、学習機能を採用しても良い。例えば、ステップＳ２６において、ユーザにより候補条件が選択されるたびに、その頻度を記憶しておき、記憶した選択頻度に応じて、ステップＳ２４で説明した色補正の候補条件の選択を行っても良い。
【００８３】
以上説明したように、本実施形態によれば、被写体像を撮像して画像を生成する撮像部と、画像から、被写体の人物の顔部分を検出する検出部と、画像のうち、顔部分を除く部分の色分布を解析する解析部と、検出部により検出した顔部分における特徴部分について、画像の色補正を行う画像処理部とを備える。そして、解析部による解析結果に基づいて、顔部分を除く部分を代表する代表色を求め、代表色に応じて、色補正の補正条件に含まれる色相と彩度と明度との少なくとも１つを変更する。したがって、色補正を施した部分の色味が浮いてしまうのを抑えることにより画像全体の違和感を抑えつつ、背景の色分布に応じた好適な色補正を実現することができる。
【００８４】
また、本実施形態によれば、解析結果に基づいて、顔部分を除く部分を複数の領域に分割し、各領域のうち占有面積が最も大きい領域の色を代表色とする。したがって、背景のうち、見た目の影響の大きい部分の色に応じた色補正を実現することができる。
【００８５】
また、本実施形態によれば、解析結果に基づいて、顔部分を除く部分を複数の領域に分割し、各領域の合焦状態に応じて代表領域を決定し、代表領域の色を代表色とする。したがって、背景のうち、見た目の影響の大きい部分の色に応じた色補正を実現することができる。
【００８６】
また、本実施形態によれば、顔部分を除く部分の色の平均値を求め、平均値に対応する色を代表色とする。したがって、背景の色分布に応じた色補正を簡単な処理で実現することができる。
【００８７】
また、本実施形態によれば、解析結果に基づいて、顔部分を除く部分を複数の領域に分割し、それぞれの領域の色と占有面積と合焦状態と周波数成分との少なくとも１つに基づいて、分割された各領域の重みを決定し、重みを加味して代表色を求める。したがって、背景の色分布に応じた好適な色補正を実現することができる。
【００８８】
また、本実施形態によれば、画像を表示する表示部と、ユーザ操作を受け付ける受付部と、解析結果に基づき、補正条件の候補として、色相と彩度と明度との少なくとも１つが異なる複数の色候補を選択する選択部とをさらに備える。そして、表示部は、複数の色候補を表示し、受付部は、複数の色候補のうち、いずれかの色候補を選択するユーザ操作を受け付け、画像処理部は、受付部を介してユーザにより選択された色候補に応じて、補正条件に含まれる色相と彩度と明度との少なくとも１つを変更する。したがって、ユーザは、簡単な操作を行うだけで、好適な色補正を実現することができる。
【００８９】
また、本実施形態では、受付部を介してユーザにより選択された色候補を記憶し、各色候補の選択頻度に応じて、補正条件に含まれる色相と彩度と明度との少なくとも１つを変更する。したがって、ユーザの操作性を向上させることができるとともに、よりユーザの好みを反映した色補正を実現することができる。
【００９０】
なお、本実施形態において、図３のステップＳ１４で説明した色補正の条件を変更する際、および、図９のステップＳ２４で説明した色補正の候補条件を選択する際に、対象の画像が生成された日時に関する情報や場所に関する情報を加味しても良い。
【００９１】
例えば、制御部７は、撮影情報の撮影年月日から季節や撮影時刻などの情報を取得したり、ＧＰＳ情報から撮影場所、地域、国などの情報を取得したりする。そして、これらの情報を加味して、色補正の条件を変更したり、色補正の候補条件を選択したりすることができる。季節を加味する場合には、例えば、夏（６月〜８月）および冬（１２月〜２月）には、青みを強めるようにし、春（３月〜５月）および秋（９月〜１１月）には、黄みを強めるようにする。また、撮影時刻を加味する場合には、例えば、朝は明度を下げる（淡くする）ようにし、昼は明度を下げ彩度を上げる（明るくする）ように、夜は彩度を上げる（派手にする）ようにする。また、撮影場所として国の情報を加味する場合には、各国の人種や文化に起因する配色の好みなどを加味しても良い。このように、画像が生成された日時に関する情報や場所に関する情報などを加味して、補正条件に含まれる色相と彩度と明度との少なくとも１つを変更することにより、より雰囲気があり、芸術性の高い画像を生成することができる。
【００９２】
また、本実施形態では、色補正の条件として色相（Ｈ）のみ、または、彩度（Ｓ）および明度（Ｖ）を変更する場合を例に挙げて説明したが、本発明はこの例に限定されない。例えば、ＨＳＶ色空間の場合には、色相（Ｈ）、彩度（Ｓ）、明度（Ｖ）のうち少なくとも１つの要素を変更することにより、本実施形態と同様の効果を得ることができる。いずれの要素を変更するかは、ユーザにより設定可能な構成としても良い。
【００９３】
また、本実施形態では、色を表現する際に、ＨＳＶ色空間を用いる場合を例に挙げて説明したが、本発明はこの例に限定されない。例えば、ＹＣｂＣｒ色空間など、ＨＳＶ色空間以外の色空間を用いても本発明と同様の処理を行い、同様の効果を得ることができる。
【００９４】
また、本実施形態では、背景の代表色に近づける方向に色補正の条件を変更する場合を例に挙げて説明したが、本発明はこの例に限定されない。例えば、表現上の対比効果を目的とし、あえて、背景の代表色から遠ざける方向に色補正の条件を変更する構成としても良い。
【００９５】
また、本実施形態で説明した一連の処理を、記録された画像の再生時に行っても良い。例えば、図２のフローチャートのステップＳ３およびステップＳ４で説明した処理（図３および図９のフローチャートを含む）を、対象画像が再生される際に行っても良い。
【００９６】
また、本実施形態では、デジタルカメラ１を例に挙げて説明したが、本発明はこの例に限定されない。例えば、図１に示した以外の構成を有するデジタルカメラにも本発明を同様に適用することができる。また、動画像を撮像可能なデジタルカメラにも本発明を同様に適用することができる。さらに、携帯電話などに積載されるデジタルカメラにも本発明を同様に適用することができる。
【００９７】
また、本実施形態の制御部７が行った処理の一部または全部を、コンピュータで実現する構成としても良い。この場合、コンピュータに、本実施形態の制御部７が行った処理（図２、図３および図９）の一部または全部を実行するための画像処理プログラムを記憶しておき、この画像処理プログラムにより、同様の処理を行うことで、本実施形態と同等の効果を得ることができる。なお、画像処理プログラムで実現する際には、Ｅｘｉｆ情報などの付帯情報に基づいて、各処理を行えば良い。
【符号の説明】
【００９８】
１…デジタルカメラ、３…撮像素子、６…画像処理部、７…制御部、１６…顔検出部
【図１】
2013171433.tif 000003
【図２】
2013171433.tif 000004
【図３】
2013171433.tif 000005
【図４】
2013171433.tif 000006
【図５】
2013171433.tif 000007
【図６】
2013171433.tif 000008
【図７】
2013171433.tif 000009
【図８】
2013171433.tif 000010
【図９】
2013171433.tif 000011
【図１０】
2013171433.tif 000012
【図１１】
2013171433.tif 000013