(57)【要約】【課題】  複数の人物を同時に撮影する場合であっても、被写体に応じた好適な美肌処理を実現すること。【解決手段】  被写体像を撮像して画像を生成する撮像部と、撮像部により生成した画像に対して被写体の顔認識を行い、認識結果に基づいて、色調補正と、コントラスト補正と、明るさ補正と、被写体の顔における特徴部分の調整との少なくとも１つを含む美肌処理を、撮像部により生成した画像に施すか否かを判定する判定部と、判定部により美肌処理を施すと判定されると、認識結果に基づいて、認識された人物毎に美肌処理の条件を決定する決定部と、決定部により決定した美肌処理の条件に基づいて、撮像部により生成した画像において認識された人物毎に、美肌処理を施す画像処理部とを備える。【選択図】    図１
2010211497.tif 000002
【特許請求の範囲】
【請求項１】
被写体像を撮像して画像を生成する撮像部と、
前記撮像部により生成した前記画像に対して被写体の顔認識を行い、認識結果に基づいて、色調補正と、コントラスト補正と、明るさ補正と、前記被写体の顔における特徴部分の調整との少なくとも１つを含む美肌処理を、前記撮像部により生成した前記画像に施すか否かを判定する判定部と、
前記判定部により前記美肌処理を施すと判定されると、前記認識結果に基づいて、認識された人物毎に前記美肌処理の条件を決定する決定部と、
前記決定部により決定した前記美肌処理の条件に基づいて、前記撮像部により生成した前記画像において認識された人物毎に、前記美肌処理を施す画像処理部と
を備えたことを特徴とするデジタルカメラ。
【請求項２】
請求項１に記載のデジタルカメラにおいて、
前記撮像部は、ユーザからの撮像指示に先立って、構図確認用のスルー画像を生成し、
前記判定部は、前記撮像部により生成した前記スルー画像に対して前記顔認識を行い、認識結果に基づいて、前記美肌処理を前記画像に施すか否かを判定する
ことを特徴とするデジタルカメラ。
【請求項３】
請求項２に記載のデジタルカメラにおいて、
表示部を備え、
前記画像処理部は、前記美肌処理の条件に基づいて、前記撮像部により生成した前記スルー画像において認識された人物毎に、前記美肌処理を施し、
前記表示部は、前記画像処理部により前記美肌処理を施した前記スルー画像を表示する
ことを特徴とするデジタルカメラ。
【請求項４】
請求項１に記載のデジタルカメラにおいて、
前記判定部は、前記認識結果に基づいて、前記被写体の人種と、年齢と、性別と、肌状態とのうち少なくとも１つを推定し、
前記決定部は、前記判定部による推定結果に基づいて、前記美肌処理の条件を決定する
ことを特徴とするデジタルカメラ。
【請求項５】
請求項４に記載のデジタルカメラにおいて、
前記決定部は、前記年齢が高いほど、前記美肌処理の効果が高くなる前記美肌処理の条件を決定し、前記性別が女性である場合には、前記性別が男性である場合よりも前記美肌処理の効果が高くなる前記美肌処理の条件を決定し、前記肌状態が悪いほど、前記美肌処理の効果が高くなる前記美肌処理の条件を決定する
ことを特徴とするデジタルカメラ。
【請求項６】
請求項１に記載のデジタルカメラにおいて、
前記決定部は、前記美肌処理の効果が異なる複数の条件を予め記録し、前記認識結果に基づいて、認識された人物毎に、前記複数の条件からいずれかの条件を選択する
ことを特徴とするデジタルカメラ。
【請求項７】
請求項１に記載のデジタルカメラにおいて、
前記判定部は、前記認識結果に基づいて、前記被写体の顔面積を求め、前記顔面積の総和と、前記顔面積の最大値との少なくとも一方に基づいて、前記美肌処理を前記画像に施すか否かを判定する
ことを特徴とするデジタルカメラ。
【請求項８】
請求項１に記載のデジタルカメラにおいて、
予め定められた複数の撮影モードからいずれかのモードを選択する選択部を備え、
前記判定部は、人物を撮影するモードが前記選択部により選択されると、前記美肌処理を前記画像に施すと判定する
ことを特徴とするデジタルカメラ。
【請求項９】
請求項１に記載のデジタルカメラにおいて、
前記判定部により、前記美肌処理を前記画像に施すと判定された際に、前記画像処理部による前記美肌処理を禁止するユーザ操作を受け付ける受付部を備える
ことを特徴とするデジタルカメラ。
【請求項１０】
画像を取得する取得ステップと、
前記取得ステップにおいて取得した前記画像に対して被写体の顔認識を行い、認識結果に基づいて、色調補正と、コントラスト補正と、明るさ補正と、前記被写体の顔における特徴部分の調整との少なくとも１つを含む美肌処理を、前記撮像部により生成した前記画像に施すか否かを判定する判定ステップと、
前記判定ステップにおいて前記美肌処理を施すと判定されると、前記認識結果に基づいて、認識された人物毎に前記美肌処理の条件を決定する決定ステップと
前記決定ステップにおいて決定した前記美肌処理の条件に基づいて、前記取得ステップで取得した前記画像において認識された人物毎に、前記美肌処理を施す画像処理ステップと
をコンピュータで実現することを特徴とする画像処理プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、デジタルカメラおよび画像処理プログラムに関する。
【背景技術】
【０００２】
従来より、画像処理により、デジタル画像に対して様々な画像処理を行う技術が考えられている。例えば、下記の非特許文献１のデジタルカメラは、人物を被写体とする際に、顔の部分を明るく美しく撮影するメイクアップ機能を有している。
【先行技術文献】
【非特許文献】
【０００３】
【非特許文献１】カシオ計算機株式会社  ＥＸＩＬＩＭ  ＺＯＯＭ  ＥＸ−Ｚ３００取扱説明書
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかし、上述した非特許文献１のデジタルカメラでは、メイクアップ機能を適用するためには、ユーザが手動で設定を行う必要があった。そのため、操作が面倒であるだけでなく、メイクアップ機能が有用であるのに設定をし忘れたり、逆に、メイクアップ機能が不用であるのに設定をしてしまったりする場合があった。さらに、非特許文献１のデジタルカメラでは、複数の人物を同時に撮影する場合に、複数の人物に対して一律な画像処理が行われるため、様々な人物を同時に撮影する場合には、メイクアップ機能の効果が十分に得られない場合があった。
【０００５】
本発明は、上記問題に鑑みてなされたものであり、複数の人物を同時に撮影する場合であっても、被写体に応じた好適な美肌処理を実現することを目的とする。
【課題を解決するための手段】
【０００６】
本発明のデジタルカメラは、被写体像を撮像して画像を生成する撮像部と、前記撮像部により生成した前記画像に対して被写体の顔認識を行い、認識結果に基づいて、色調補正と、コントラスト補正と、明るさ補正と、前記被写体の顔における特徴部分の調整との少なくとも１つを含む美肌処理を、前記撮像部により生成した前記画像に施すか否かを判定する判定部と、前記判定部により前記美肌処理を施すと判定されると、前記認識結果に基づいて、認識された人物毎に前記美肌処理の条件を決定する決定部と、前記決定部により決定した前記美肌処理の条件に基づいて、前記撮像部により生成した前記画像において認識された人物毎に、前記美肌処理を施す画像処理部とを備える。
【０００７】
なお、前記撮像部は、ユーザからの撮像指示に先立って、構図確認用のスルー画像を生成し、前記判定部は、前記撮像部により生成した前記スルー画像に対して前記顔認識を行い、認識結果に基づいて、前記美肌処理を前記画像に施すか否かを判定しても良い。
【０００８】
また、表示部を備え、前記画像処理部は、前記美肌処理の条件に基づいて、前記撮像部により生成した前記スルー画像において認識された人物毎に、前記美肌処理を施し、前記表示部は、前記画像処理部により前記美肌処理を施した前記スルー画像を表示しても良い。
【０００９】
また、前記判定部は、前記認識結果に基づいて、前記被写体の人種と、年齢と、性別と、肌状態とのうち少なくとも１つを推定し、前記決定部は、前記判定部による推定結果に基づいて、前記美肌処理の条件を決定しても良い。
また、前記決定部は、前記年齢が高いほど、前記美肌処理の効果が高くなる前記美肌処理の条件を決定し、前記性別が女性である場合には、前記性別が男性である場合よりも前記美肌処理の効果が高くなる前記美肌処理の条件を決定し、前記肌状態が悪いほど、前記美肌処理の効果が高くなる前記美肌処理の条件を決定しても良い。
また、前記決定部は、前記美肌処理の効果が異なる複数の条件を予め記録し、前記認識結果に基づいて、認識された人物毎に、前記複数の条件からいずれかの条件を選択しても良い。
また、前記判定部は、前記認識結果に基づいて、前記被写体の顔面積を求め、前記顔面積の総和と、前記顔面積の最大値との少なくとも一方に基づいて、前記美肌処理を前記画像に施すか否かを判定しても良い。
また、予め定められた複数の撮影モードからいずれかのモードを選択する選択部を備え、前記判定部は、人物を撮影するモードが前記選択部により選択されると、前記美肌処理を前記画像に施すと判定しても良い。
また、前記判定部により、前記美肌処理を前記画像に施すと判定された際に、前記画像処理部による前記美肌処理を禁止するユーザ操作を受け付ける受付部を備えても良い。
【００１０】
また、上記発明に関する構成を、処理対象の画像データに対する画像処理をコンピュータで実現するための画像処理プログラムに変換して表現したものも本発明の具体的態様として有効である。
【発明の効果】
【００１１】
本発明によれば、複数の人物を同時に撮影する場合であっても、被写体に応じた好適な美肌処理を実現することができる。
【図面の簡単な説明】
【００１２】
【図１】本実施形態のデジタルカメラの機能ブロック図である。
【図２】撮像指示が行われた際の制御部７の動作を示すフローチャートである。
【図３】美肌処理モードのＯＮ・ＯＦＦを自動設定する際の制御部７の動作を示すフローチャートである。
【図４】美肌処理の条件の変更指示について説明する図である。
【図５】美肌処理の条件の変更指示について説明する別の図である。
【図６】美肌処理の条件の変更指示について説明する別の図である。
【図７】美肌処理の条件の変更指示について説明する別の図である。
【図８】美肌処理の条件の変更指示について説明する別の図である。
【発明を実施するための形態】
【００１３】
以下、図面を用いて本発明の第１実施形態について説明する。図１は、本発明の第１実施形態におけるデジタルカメラ１の構成を示すブロック図である。図１に示すように、デジタルカメラ１は、撮像レンズ２、撮像素子３、Ａ／Ｄ変換部４、バッファメモリ５、画像処理部６、制御部７、表示部８、操作部９、メモリ１０、記録Ｉ／Ｆ部１１、記録媒体１２、接続部１３、通信部１４、バス１５を備える。
【００１４】
撮像レンズ２は、撮像素子３の撮像面に被写体像を結像する。なお、撮像レンズ２は、ズームレンズやフォーカスレンズ等の複数のレンズからなる撮像光学系であっても良い。撮像素子３は、撮像レンズ２を通過した被写体光を光電変換し、Ｒ、Ｇ、Ｂの各色に対応するアナログ画像信号を出力する。撮像素子３は、非撮像時、所定間隔毎に間引き読み出しを行い、スルー画像（構図確認用の画像）を取得する。その後、撮像素子３は、後述するレリーズ釦１８が全押しされると本画像を取得する。
【００１５】
撮像素子３から出力される画像信号は、Ａ／Ｄ変換部４に入力される。Ａ／Ｄ変換部４は、撮像素子３から出力されるアナログの画像信号をＡ／Ｄ変換し、デジタルの画像信号に変更する。なお、このデジタルの画像信号は、１コマにまとめられ、画像データとしてバッファメモリ５に記録される。バッファメモリ５は、画像処理部６による画像処理の前工程や後工程で画像データを一時的に記録する。
【００１６】
画像処理部６は、バッファメモリ５に記録された画像データに対して画像処理を施す。なお、この画像処理としては、周知のホワイトバランス調整、色補間、階調変換処理、輪郭強調処理等が挙げられる。また、画像処理部６は、記録媒体１２に画像ファイルを記録する前にＪＰＥＧ（Joint Photographic Experts Group）形式等で圧縮する処理や、圧縮された上記のデータを伸長復元する処理をも実行する。
【００１７】
また、画像処理部６は、美肌処理を行う。この美肌処理は、本画像に対して施される画像処理であり、以下に示す処理が挙げられる。
【００１８】
画像処理部６は、例えば、画像の露出をオーバー側に補正する露出補正を行う。これにより、被写体の肌が白く表現された好ましい画像を得ることができる。
【００１９】
また、画像処理部６は、ソフトフォーカス処理を行う。ソフトフォーカス処理は、例えば、所定のソフトフォーカス効果を示すフィルタやローパスフィルタなどを用いて行われる。なお、元画像からマスク画像を生成し、生成したマスク画像に基づいてフィルタ処理後の画像と元画像とを合成することによりソフトフォーカス処理を行っても良い。このようなソフトフォーカス処理により、被写体が女性である場合、女性らしさが強調されるとともに、柔らかみのある好ましい画像を得ることができる。また、被写体のしわや、ニキビなどの凹凸感、肌荒れ等が目立ちにくい好ましい画像を得ることができる。
【００２０】
また、画像処理部６は、彩度のパラメータや明度のパラメータを補正し、肌を白く表現したり、肌色のくすみ等を軽減しても良い。
【００２１】
また、画像処理部６は、画像に含まれる人物を痩身に見せる補正を行う。例えば、画像処理部６は、画像の縦横比を若干縦長に変更した後、人物の部分を切り出し、画像の大きさを調整する。或いは画像処理部６は、特開２００４−２６４８９３号公報のように、顔の輪郭を補正して頬を細く見せるようにしても良い。また、鮮鋭化処理によって顔の輪郭を強調したり、歪み補正技術を用いて口の口角の角度や顎の輪郭を補正しても良い。
【００２２】
また、画像処理部６は、顔における特徴部分（眉、目、口等）の調整を行う。例えば、画像処理部６は目の部分を大きくする補正や鼻の幅を狭くする補正などを行う。また、画像処理部６は、特徴部分の色を補正する。例えば、画像処理部６は上瞼の色に青味を増す色補正や、唇の色に赤味を増す色補正を行う。これにより、アイシャドーや口紅のようなポイントメイクの効果が得られるため、被写体となる女性の見栄えを良くすることができる。
【００２３】
また、画像処理部６は、ハイライト抑える処理を行うことにより、閃光発光などの強い光に起因して発生しやすいテカリを軽減しても良い。また、部分的にテカリを強調することにより、肌を瑞々しく見せる補正を行っても良い。
【００２４】
また、画像処理部６は、上述した処理の他に、ダイナミックレンジ拡張、暗部補正、エッジのアンシャープマスク処理、ノイズ処理など処理を行っても良い。
【００２５】
なお、このような美肌処理は、単純に女性の見映えを良くするだけのものではなく、顔を明るく、好ましく撮影することができるので、被写体が男性や子供である場合にも有用である。
【００２６】
制御部７は、所定のシーケンスプログラムにしたがって、デジタルカメラ１の統括的な制御を行うとともに、撮像時に必要となる各種演算（ＡＦ、ＡＥ等）を実行する。また、制御部７は、顔検出部１６の機能を有している。
顔検出部１６は、スルー画像、本画像、記録媒体１２に記録された画像から特徴点を抽出して顔領域、顔領域の大きさ（顔面積）等を検出する。例えば、顔検出部１６は、特開２００１−１６５７３号公報等に記載された特徴点抽出処理によって顔領域を抽出する。上記の特徴点としては、例えば、眉、目、鼻、唇の各端点、顔の輪郭点、頭頂点や顎の下端点等が挙げられる。そして、顔検出部１６は、顔領域の位置情報を特定する。例えば、顔検出部１６は、画像の横方向をＸ軸、縦方向をＹ軸とし、顔領域に含まれる画素のＸ座標及びＹ座標を算出する。さらに、顔検出部１６は、特開２００４−２２２１１８号公報等に記載された特徴点を用いた演算処理によって、検出した人物の人種、年齢、性別などを判別する。
【００２７】
表示部８は、制御部７の制御により各種の画像を表示する。表示部８に表示される各種の画像は、スルー画像、本画像、記録媒体１２に記録された画像、メニュー画像等を含む。また、表示部８は、タッチパネル１７を備える。タッチパネル１７は、パネル上で指又はスタイラス等がタッチされた位置、ドラッグされた方向、ドラッグされた回数を検出する。タッチパネル１７の状態は制御部７により検知される。なお、タッチパネル１７は、表示部８の表面全体に積層して配置するため、表示部８と同等の大きさを有する透明なパネルで構成されている。また、本実施形態の例では、タッチパネル１７は、静電気による電気信号を感知する静電容量式のパネルで構成されている。なお、静電容量式に限らず、圧力による電圧の変化を検知する抵抗膜式のパネルなどを用いても良い。
【００２８】
操作部９は、レリーズ釦１８、十字キー１９等を有する。レリーズ釦１８は、撮像時にユーザにより操作される。十字キー１９は、上記のメニュー画像等で操作される。なお、レリーズ釦１８及び十字キー１９の状態は制御部７により検知され、検知された釦の状態に基づいたシーケンスが実行される。記録Ｉ／Ｆ部１１は、記録媒体１２を接続するためのコネクタを備えている。この記録Ｉ／Ｆ部１１と記録媒体１２とが接続されることにより、記録媒体１２に対してデータの書き込み／読み出しを実行する。
【００２９】
接続部１３は、入出力端子などを備え、デジタルカメラ１の外部の機器と相互に接続し、画像データなど入出力する。通信部１４は、無線または有線で、デジタルカメラ１の外部の機器と通信を行う。バス１５は、バッファメモリ５、画像処理部６、制御部７、表示部８、メモリ１０、記録Ｉ／Ｆ部１１を相互に接続することにより、データや信号の出入力を実行する。
【００３０】
以上説明した構成のデジタルカメラ１は、撮像により生成した画像に、上述した美肌処理を施す美肌処理モードを有する。美肌処理モードは、ポートレートモードや風景モードなどの既存のシーンモードと独立に備えられる。すなわち、美肌処理モードは、既存のシーンモードに追加して設定可能なモードである。美肌処理モードは、制御部７により自動で設定される。美肌処理モードのＯＮ・ＯＦＦの詳細は後述する。また、ポートレートモードや風景モードなどの既存のシーンモードは、操作部９やタッチパネル１７を介したユーザの指定により設定される。
なお、制御部７による自動設定の他に、操作部９やタッチパネル１７を介したユーザの指定により美肌処理モードを設定可能としても良い。ユーザの指定に際しては、操作部９に専用のボタンなどを設けても良いし、表示部８にメニュー画面などを表示しても良い。また、美肌処理モードを、既存のシーンモードの一つとして備えても良い。
【００３１】
上述した美肌処理モードが設定され、レリーズ釦１８を介したユーザ操作により撮像指示が行われる際の制御部７の動作について、図２に示すフローチャートを参照して説明する。
ステップＳ１において、制御部７は、公知技術と同様に、被写体像を撮像する際の撮影条件を決定する。なお、制御部７は、美肌処理モードが設定されている際に好ましい撮影条件を決定しても良い。例えば、露出や撮影感度などを、美肌処理モードに適した条件としても良い。
ステップＳ２において、制御部７は、撮像レンズ２、撮像素子３、Ａ／Ｄ変換部４等を制御し、被写体像を撮像して画像を生成する。
ステップＳ３において、制御部７は、顔検出部１６により、ステップＳ２で生成した画像に対して、顔検出及び顔認識を行う。さらに、制御部７は、予め登録された特定人物の顔画像をもとに、顔認識処理を行っても良い。例えば、上述した顔検出により検出された顔の特徴点に基づいて、ステップＳ２で生成した画像に含まれる顔の特徴点の位置、各顔パーツの大きさ、各特徴点の相対距離などを演算する。そして、演算結果と、予め登録された特定人物の顔画像の画像データとを比較して、相似度を求める。そして、画像処理部６は、求めた相似度が所定の閾値を上回る場合に、予め登録された特定人物に合致したと判定する。
ステップＳ５において、制御部７は、画像処理部６を制御して、ステップＳ３で行った顔検出及び顔認識の結果に基づいて、ステップＳ２で生成した画像に対して、美肌処理を行う。なお、制御部７は、ステップＳ２で生成した画像のＥｘｉｆ情報（付帯情報）に、美肌処理の内容を示す情報を記録しても良い。このような情報を記録することにより、ユーザは、どのような美肌処理が施されたのかを、画像の再生時に確認することができる。なお、美肌処理の内容を示す情報を、付帯情報として記録する代わりに、画像と対応付けた別のファイルとして記録しても良い。
ステップＳ６において、制御部７は、ステップＳ５で美肌処理を施した画像を記録Ｉ／Ｆ部１１を介して記録媒体１２に記録する。
ステップＳ７において、制御部７は、ステップＳ５で美肌処理を施した画像から、撮影確認用のプレビュー画像を生成し、表示部８に生成したプレビュー画像を表示して、一連の処理を終了する。
本実施形態では、複数の人物を同時に撮影する場合であっても、被写体に応じた好適な美肌処理を実現するために、制御部７により美肌処理モードのＯＮ・ＯＦＦが自動設定される。美肌処理モードのＯＮ・ＯＦＦの設定は、撮影待機中のスルー画像の撮像時に行われる。制御部７による美肌処理モードのＯＮ・ＯＦＦの自動設定について、図３に示すフローチャートを参照して説明する。
ステップＳ１１において、制御部７は、撮像レンズ２、撮像素子３、Ａ／Ｄ変換部４等を制御し、被写体像を撮像してスルー画像を生成する。
【００３２】
ステップＳ１２において、制御部７は、図２のフローチャートのステップＳ３と同様に、顔検出及び顔認識を行う。ただし、スルー画像の撮影中には、処理の高速化が求められる。そこで、ステップＳ１２において、制御部７は、図２のフローチャートのステップＳ３よりも簡略化した顔検出及び顔認識を行っても良い。
【００３３】
また、ステップＳ１２で行った顔検出及び顔認識の結果を、図２のフローチャートのステップＳ３における顔検出及び顔認識に利用しても良い。さらに、上述した顔検出及び顔認識の結果に基づいて、表情認識を行い、認識結果に基づいて、撮像タイミングを制御する構成としても良い。例えば、顔検出部１６は、上述した顔検出及び顔認識の結果に基づいて主要被写体の顔の表情を認識する。そして、制御部７は、認識した表情が、例えば、目つぶりしていない状態や笑顔の状態などの所定の状態であるタイミングで撮像を行うことにより、撮影失敗の可能性を低減し、好ましい撮像を実現することができる。なお、表情認識は、例えば、顔検出部１６は、特開２００４−２７２９３３号公報や特開２００１−５１３３８号公報等に記載され技術を用いることができる。
ステップＳ１３において、制御部７は、設定されている撮影モードが、人物撮影を行うモードであるか否かを判定する。制御部７は、設定されている撮影モードが人物撮影を行うモードであると判定すると、後述するステップＳ１８に進む。一方、設定されている撮影モードが人物撮影を行うモードでないと判定すると、制御部７は、ステップＳ１４に進む。なお、人物撮影を行うモードとは、例えば、ポートレートモード、笑顔モード、セルフタイマーモードなどのモードである。
なお、夜景ポートレートモードに関しては、人物撮影を行うモードであるため、美肌処理が有用である。しかし、夜景ポートレートモードは、撮影時に閃光発光が行われるため、後述するスルー画像上での美肌処理の効果は確認できない。
【００３４】
ステップＳ１４において、制御部７は、ステップＳ１２の結果に基づき、ステップＳ１１で生成したスルー画像に人物の顔が含まれるか否かを判定する。制御部７は、人物の顔が含まれると判定すると、ステップＳ１５に進む。一方、人物の顔が含まれないと判定すると、制御部７は、後述するステップＳ１７に進む。
【００３５】
ステップＳ１５において、制御部７は、顔検出部１６を制御し、ステップＳ１２で説明した顔検出及び顔認識の結果に基づいて、ステップＳ１１で生成したスルー画像に含まれる人物の顔部分の面積を求める。なお、ステップＳ１１で生成したスルー画像に複数の人物が含まれる場合には、制御部７は、それぞれの人物の顔部分の面積を独立に求める。
【００３６】
ステップＳ１６において、制御部７は、ステップＳ１５で求めた顔部分の面積に基づいて、総和≧Ｔ１、または、最大値≧Ｔ２であるか否かを判定する。制御部７は、総和≧Ｔ１、または、最大値≧Ｔ２であると判定すると、後述するステップＳ１８に進む。一方、総和＜Ｔ１、かつ、最大値＜Ｔ２であると判定すると、制御部７は、ステップＳ１７に進む。なお、Ｔ１およびＴ２は、予め定められた閾値である。例えば、Ｔ１は、ステップＳ１５において求めた顔面積の総和が、画像全体に対して５０％程度となる閾値である。すなわち、ステップＳ１５において求めた顔面積の総和が、画像全体に対して５０％を超える場合には、美肌処理が有用であると判断し、後述するステップＳ１８において、美肌処理モードを設定する。また、Ｔ２は、例えば、ステップＳ１５において求めた顔面積の最大値が、画像全体に対して１０％程度となる閾値である。すなわち、ステップＳ１５において求めた顔面積の最大値が、画像全体に対して１０％を超える場合には、美肌処理が有用であると判断し、後述するステップＳ１８において、美肌処理モードを設定する。
【００３７】
なお、Ｔ１およびＴ２は、一例であり、操作部９やタッチパネル１７を介したユーザの指定により指定可能であっても良い。また、ステップＳ１３で説明した撮影モードに関連付けて、異なるＴ１およびＴ２を設定する構成としても良い。例えば、風景モードなど、本来人物を撮影しないモードにおいては、Ｔ１およびＴ２を大きく（例えば、Ｔ２を顔面積の最大値が、画像全体に対して２０％程度となる閾値）する。このような設定とすることにより、風景モードを保ちつつ、顔部分にのみ美肌処理を施す構成としても良い。
【００３８】
ステップＳ１７において、制御部７は、ステップＳ１１で生成したスルー画像を、表示部８に表示し、後述するステップＳ２４に進む。
【００３９】
ステップＳ１８において、制御部７は、美肌処理モードを設定する。美肌処理モードが設定されると、制御部７は、図２のフローチャートのステップＳ４において、美肌処理を実行する。なお、美肌処理モードが設定されたことをユーザに報知するために、所定のアイコンやメッセージなどをスルー画像に重ねて表示しても良い。また、美肌処理の対象となる顔の部分に枠などを示しても良い。
【００４０】
ステップＳ１９において、制御部７は、美肌処理の補正レベルを決定する。制御部7は、美肌処理に関して、美肌処理の効果が異なる複数レベルを予め定め、各レベル毎に、美肌処理の条件を記録している。ここでは、レベル０〜６（数が大きいほど美肌処理の効果が高い）が予め定められている例を示す。制御部７は、例えば、表１および表２に示す美肌処理の条件を記録している。
【００４１】
【表１】
2010211497.tif 000003
【００４２】
表１では、Ａ：肌色、Ｂ：皺、肌の凹凸、Ｃ：輪郭、Ｄ：テカリの４つの項目について、美肌処理の対象となる被写体の年齢と性別とに対応した補正レベルを示している。また、表２は、各補正レベルに対応する美肌処理の条件を示す。
【００４３】
【表２】
2010211497.tif 000004
【００４４】
なお、Ａ：肌色に関しては、美肌処理として、例えば、彩度のパラメータや明度のパラメータを補正する処理を行う。また、Ｂ：皺、肌の凹凸に関しては、美肌処理として、平滑化処理を行う。また、Ｃ：輪郭に関しては、美肌処理として、鮮鋭化処理を行う。また、Ｄ：テカリに関しては、美肌処理として、ハイライトを抑える処理を行う。
【００４５】
表１に示すように、被写体の年齢が高くなるほど、美肌処理の効果が高くなる補正レベルが対応付けられる。また、被写体の性別が女性である場合には、男性である場合よりも美肌処理の効果が高くなる補正レベルが対応付けられる。Ａ：肌色、Ｂ：皺、肌の凹凸、Ｃ：輪郭、Ｄ：テカリの４つの各項目について、状態が悪いほど、美肌処理の効果が高くなる補正レベルが対応付けられる。
【００４６】
制御部７は、ステップＳ１２で説明した顔検出及び顔認識の結果に基づいて、ステップＳ１１で生成したスルー画像に含まれる人物毎に補正レベルを決定する。なお、各人物の年齢、性別、肌状態については、上述した顔検出部１６による検出結果にもとづいて判断する。例えば、ステップＳ１１において生成したスルー画像に、図４に示す複数の人物が含まれている場合を例に挙げて説明する。図４に示す複数の人物が、左から６０代女性、６０代男性、３０代男性、１０歳未満男性、３０代女性であると顔検出部１６により検出されたとすると、制御部７は、それぞれの人物について、表１にもとづいて補正レベル（０〜６）を決定する。
なお、表１および表２は、補正レベル及び美肌処理の条件の一例である。そのため、例えば、補正レベルを７段階以外の数に設定しても良いし、表１および表２以外の条件を用いても良い。また、表１及び表２内の各数値も一例である。
【００４７】
ステップＳ２０において、制御部７は、画像処理部６を制御し、ステップＳ１１で生成したスルー画像に美肌処理を施す。このとき、画像処理部６は、ステップＳ１９で決定した補正レベルにしたがって、美肌処理を施す。また、ステップＳ１１で生成したスルー画像に複数の人物が含まれる場合には、それぞれの人物についてステップＳ１９で決定した補正レベルにしたがい、それぞれの人物の画像に美肌処理を施す。
【００４８】
ステップＳ２１において、制御部７は、ステップＳ２０において美肌処理を施したスルー画像を表示部８に表示する。
【００４９】
ステップＳ２２において、制御部７は、美肌処理の条件の変更が指示されたか否かを判定する。制御部７は、美肌処理の条件の変更が指示されたと判定すると、ステップＳ２３に進む。一方、美肌処理の条件の変更が指示されていないと判定すると、制御部７は、後述するステップＳ２４に進む。
ユーザは、ステップＳ２１の処理によって表示部８に表示されたスルー画像を目視することにより、美肌処理の効果を確認することができる。そして、その効果に不満がある場合には、ユーザは、美肌処理の条件の変更を指示することができる。美肌処理の条件の変更は、操作部９やタッチパネル１７を介したユーザ操作により行われる。
【００５０】
ステップＳ２３において、制御部７は、ステップＳ２２で説明した美肌処理の条件の変更指示にしたがって、条件を変更する。ステップＳ２２において、美肌処理の条件の変更指示を受け付けると、制御部７は、例えば、図４に示す補正スライダＵ１を、スルー画像に重ねて表示部８に表示する。ユーザは、操作部９やタッチパネル１７を介したユーザ操作により、この補正スライダＵ１を左右に移動することにより、美肌処理の効果を変更することができる。なお、補正スライダＵ１が操作された際には、スルー画像に含まれる全ての人物について、美肌処理の効果を変更する。
【００５１】
また、ユーザは、操作部９やタッチパネル１７を介したユーザ操作により、スルー画像に含まれる人物のうち、特定の人物を指定することにより、その人物に関する美肌処理の効果のみを変更することができる。例えば、ユーザが、最も左の人物を指定した際には、制御部７は、図５に示すように、その人物が指定されたことを示す枠Ｕ２を、スルー画像に重ねて表示部８に表示する。ユーザは、この状態で補正スライダＵ１を左右に移動することにより、最も左の人物についてのみ、美肌処理の効果を変更することができる。
さらなる微調整を行う際には、ユーザは、指定した特定の人物を、操作部９やタッチパネル１７を介したユーザ操作によりもう一度指定する。例えば、ユーザが、最も左の人物を２回指定した際には、制御部７は、図６に示すように、微調整用の補正スライダＵ３を、スルー画像に重ねて表示部８に表示する。ユーザは、この状態で補正スライダＵ３を左右に移動することにより、全体の微調整、あるいは、各項目に関する微調整を行うことができる。
なお、美肌処理の条件の変更指示の際に、詳細を確認したいという要望がある。そのため、制御部７は、図６に示すように、拡大ボタンＵ４をスルー画像に重ねて表示部８に表示しても良い。ユーザによりこの拡大ボタンＵ４が操作されると、制御部７は、図７に示すように、美肌処理の対象となる各人物の顔部分を拡大して表示部８に表示する。
また、表１および表２に示した内容の確認や変更をユーザが希望する場合には、制御部７は、例えば、図８に示すようなカスタマイズメニューを表示部８に表示する。図８の例では、年齢を指定するための各ボタンＵ５、性別を指定するための各ボタンＵ６、各項目の補正スライダＵ７が表示される例を示す。ユーザが、操作部９やタッチパネル１７を介した操作により、年齢および性別を指定すると、制御部７は、指定された年齢及び性別に対応した補正レベルや美肌処理の条件を示す補正スライダＵ７を表示部８に表示する。ユーザは、この状態で補正スライダＵ７を操作することにより、各項目の内容を変更することができる。
図４から図８を用いて説明した美肌処理の条件の変更指示は、一例である。また、このようにして変更された美肌処理の条件は、上書き可能であっても良いし、別の条件として記録可能であっても良い。また、美肌処理の条件については、パスワード、指紋認証、隠しコマンドなど既存の保護技術によって保護可能な構成としても良い。
【００５２】
ステップＳ２４において、制御部７は、レリーズ釦１８の全押しにより、本画像の撮影開始が指示されたか否かを判定する。制御部７は、撮影開始が指示されたと判定すると、一連の処理を終了し、図２のフローチャートで説明した処理を行う。なお、図２のフローチャートのステップＳ４の美肌処理においては、ステップＳ２４がＹＥＳとなった時点での美肌処理の条件（補正レベルなど）に応じた処理が行われる。一方、撮影開始が指示されていないと判定すると、制御部７はステップＳ１１に戻る。
【００５３】
なお、図２のフローチャートにおいて、ユーザによる美肌処理の禁止指示を受け付ける構成としても良い。すなわち、ステップＳ１８において美肌処理モードが設定された後に、ユーザが、美肌処理を禁止する指示を行った場合には、制御部７はこれを検知し、美肌処理モードの設定を解除した後にステップＳ１１に戻る。
【００５４】
また、ステップＳ１８において美肌処理モードが設定された後に、その後所定の時間が経過しても、再度顔認識できない場合には、制御部７は、美肌処理モードの設定を解除してステップＳ１１に戻っても良い。この場合、表示部８等を利用して、美肌処理モードの設定を解除する許可をユーザに求める構成とすると良い。
以上説明したように、本実施形態によれば、被写体像を撮像して画像を生成する撮像部と、撮像部により生成した画像に対して被写体の顔認識を行い、認識結果に基づいて、色調補正と、コントラスト補正と、明るさ補正と、被写体の顔における特徴部分の調整との少なくとも１つを含む美肌処理を、撮像部により生成した画像に施すか否かを判定する判定部と、判定部により美肌処理を施すと判定されると、認識結果に基づいて、認識された人物毎に美肌処理の条件を決定する決定部と、決定部により決定した美肌処理の条件に基づいて、撮像部により生成した画像において認識された人物毎に、美肌処理を施す画像処理部とを備える。したがって、ユーザは煩わしい操作をすることなく、被写体に応じた好適な美肌処理を実現することができる。また、複数の人物を同時に撮影する場合であっても、それぞれの被写体に応じた好適な美肌処理を実現することができる。
また、本実施形態によれば、撮像部により生成したスルー画像に対して顔認識を行い、認識結果に基づいて、美肌処理を画像に施すか否かを判定する。したがって、実際の撮影に先立って、美肌処理を撮影した画像に施すか否かを判定することができるので、撮影時の処理時間を短縮することが期待できる。
また、本実施形態によれば、画像処理部は、美肌処理の条件に基づいて、撮像部により生成したスルー画像において認識された人物毎に美肌処理を施し、表示部は、画像処理部により美肌処理を施したスルー画像を表示する。したがって、ユーザは、実際の撮影前に美肌処理の効果を確認することができる。
また、本実施形態によれば、認識結果に基づいて、被写体の人種と、年齢と、性別と、肌状態とのうち少なくとも１つを推定し、決定部は、判定部による推定結果に基づいて、美肌処理の条件を決定する。したがって、複数の人物を同時に撮影する場合であっても、それぞれの被写体に応じた好適な美肌処理の条件を決定することができる。
また、本実施形態によれば、決定部は、美肌処理の効果が異なる複数の条件を予め記録し、認識結果に基づいて、認識された人物毎に、複数の条件からいずれかの条件を選択する。したがって、複数の人物を同時に撮影する場合であっても、それぞれの被写体に応じた好適な美肌処理の条件を決定することができる。
また、本実施形態によれば、判定部は、認識結果に基づいて、被写体の顔面積を求め、顔面積の総和と、顔面積の最大値との少なくとも一方に基づいて、美肌処理を画像に施すか否かを判定する。したがって、美肌処理の効果があると想定される場合には、確実に美肌処理を施すことができる。
また、本実施形態によれば、予め定められた複数の撮影モードからいずれかのモードを選択する選択部を備え、判定部は、人物を撮影するモードが選択部により選択されると、美肌処理を画像に施すと判定する。したがって、美肌処理の効果があると想定される場合には、確実に美肌処理を施すことができる。
【００５５】
なお、本実施形態では、図３のフローチャートのステップＳ１９において、スルー画像に含まれる複数の人物のそれぞれについて補正レベルを決定する例を示したが、処理時間の短縮などを目的として、この処理を簡略化しても良い。例えば、スルー画像の生成時には、スルー画像に含まれる複数の人物に一律の補正レベルを決定する構成としても良い。
【００５６】
また、予めデジタルカメラ１に登録された特定人物に対応付けて、本実施形態で説明した補正レベルや美肌処理の条件を記録しておく構成としても良い。
【００５７】
また、本実施形態では、撮像に先立つスルー画像の撮像時に、補正レベルや美肌処理の条件を決定する場合を例に挙げて説明したが、記録媒体１２に記録された画像などを再生する際に、本実施形態で説明した処理を行っても良い。すなわち、再生対象の画像が選択された時点で、図３のフローチャートのステップＳ１２以降の処理を行い、再生対象の画像に含まれる人物毎に、補正レベルや美肌処理の条件を決定する。そして、決定した補正レベルや美肌処理の条件にしたがって、再生対象の画像に美肌処理を施しても良い。何れの場合にも、表示部８などを用いて、補正レベルや美肌処理の条件決定、美肌処理の実行の許可をユーザに求める構成とすれば良い。再生時における処理内容についても、操作部９やタッチパネル１７を介したユーザ操作によりカスタマイズ可能とすると良い。
また、本実施形態では、画像処理の一例として美肌処理を例に挙げて説明したが、本発明はこの例に限定されない。例えば、被写体の顔部分の表情を加工する画像処理（笑顔モード）などを行うデジタルカメラにも、本発明を同様に適用することができる。
また、本実施形態では、デジタルカメラ１を例に挙げて説明したが、本発明はこの例に限定されない。例えば、図１に示した以外の構成を有するデジタルカメラにも本発明を同様に適用することができる。また、動画像を撮像可能なデジタルカメラにも本発明を同様に適用することができる。さらに、携帯電話などに積載されるデジタルカメラにも本発明を同様に適用することができる。
【００５８】
また、本実施形態の制御部７が行った処理の一部または全部を、コンピュータで実現する構成としても良い。この場合、コンピュータに、本実施形態の制御部７が行った処理（図２および図３）の一部または全部を実行するための画像処理プログラムを記憶しておき、この画像処理プログラムにより、同様の処理を行うことで、本実施形態と同等の効果を得ることができる。なお、画像処理プログラムで実現する際には、Ｅｘｉｆ情報などの付帯情報に基づいて、各処理を行えば良い。
【符号の説明】
【００５９】
１…デジタルカメラ、３…撮像素子、６…画像処理部、７…制御部、８…表示部、１６…顔検出部
【図１】
2010211497.tif 000005
【図２】
2010211497.tif 000006
【図３】
2010211497.tif 000007
【図４】
2010211497.tif 000008
【図５】
2010211497.tif 000009
【図６】
2010211497.tif 000010
【図７】
2010211497.tif 000011
【図８】
2010211497.tif 000012