(57)【要約】【課題】  画像に含まれる複数の被写体人物に対して、被写体人物ごとに個別に美肌処理効果の強度を異ならせ、たとえば画像処理後の被写体人物の肌のざらつき度合を一定に揃えるなどの処理を行う。【解決手段】  画像データを取得する取得手段、画像データから顔を検出する顔検出手段、顔の肌領域に対して肌のざらつき度合を小さくする画像処理を行う処理手段、を有する画像処理装置であって、顔検出手段が前記画像データから複数の顔を検出した場合、処理手段は、検出された複数の顔の各々について肌のざらつき度合を判定し、複数の顔の画像処理後の肌のざらつき度合が近くなるように、顔ごとに異なる強度で画像処理を行うこと。【選択図】  図４
2016148933.tif 000002
【特許請求の範囲】
【請求項１】
画像データを取得する取得手段、前記画像データから顔を検出する顔検出手段、前記顔の肌領域に対して肌のざらつき度合を小さくする画像処理を行う処理手段、を有する画像処理装置であって、前記顔検出手段が前記画像データから複数の顔を検出した場合、前記処理手段は、検出された複数の顔の各々について肌のざらつき度合を判定し、前記複数の顔の画像処理後の肌のざらつき度合が近くなるように、顔ごとに異なる強度で画像処理を行うことを特徴とする画像処理装置。
【請求項２】
前記処理手段は、顔の大きさに応じて、肌のざらつき度合を判定するための領域の位置又は大きさを可変することを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記処理手段は、顔以外の肌領域に対しても、肌のざらつき度合を小さくする画像処理を行うことを特徴とする請求項１又は２に記載の画像処理装置。
【請求項４】
前記処理手段は、肌のざらつき度合を小さくする画像処理を施した領域と施していない領域の境界をぼかす処理を行うことを特徴とする請求項１から３の何れか１項に記載の画像処理装置。
【請求項５】
前記処理手段は、肌のざらつき度合を小さくする画像処理の強度が強いほど、ぼかす処理の強度を強くすることを特徴とする請求項４に記載の画像処理装置。
【請求項６】
検出された複数の顔に対して優先順位づけを行い、輝度が、最も優先順位の高い顔の輝度から所定範囲に含まれない顔に対しては肌のざらつき度合を小さくする画像処理を行わないことを特徴とする請求項１から５の何れか１項に記載の画像処理装置。
【請求項７】
前記最も優先順位の高い顔の肌のざらつき度合よりもざらつき度合が小さい顔に対しては、肌のざらつき度合を小さくする処理を行わないことを特徴とする請求項１から６の何れか１項に記載の画像処理装置。
【請求項８】
画像データを取得する取得ステップ、前記画像データから顔を検出する顔検出ステップ、前記検出された顔の肌領域に対して肌のざらつき度合を小さくする画像処理を行う処理ステップ、を有する画像処理方法であって、前記顔検出ステップにて前記画像データから複数の顔を検出された場合、前記処理ステップでは、検出された複数の顔の各々について肌のざらつき度合を判定し、前記複数の顔の画像処理後の肌のざらつき度合が近くなるように、顔ごとに異なる強度で肌のざらつき度合を小さくする画像処理を行うことを特徴とする画像処理方法。
【請求項９】
画像データを取得する取得手段、前記画像データから顔を検出する顔検出手段、を有し前記顔の肌領域に対して肌のざらつき度合を小さくする画像処理を行う画像処理装置であて、肌のざらつき度合を小さくする画像処理パラメータを可変して前記画像データに適用することで複数枚の画像データを生成するとともに、前記顔検出手段が複数の顔を検出した際、検出された複数の顔の各々について肌のざらつき度合を判定し、肌のざらつき度合を揃えるように顔ごとに前記複数枚の画像データを合成を行うことを特徴とする画像処理装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像データを取得し、画像データに含まれる被写体人物の顔領域に対して、肌のざらつき度合が減少するようにノイズリダクション処理を行う画像処理に関する。
【背景技術】
【０００２】
従来より人物撮影において肌をきれいに撮りたいというニーズがある。また、近年ではスマートフォンの普及や、電子ビューファインダーの液晶画面を自分の方に向けられるデジタルカメラの開発によって、自分撮りという撮影方法が広がっている。そのため、一人で自分自身とともに複数人で撮影する機会が増えており、複数人をきれいに写したいというニーズもある。
【０００３】
以下の特許文献１には、複数人を撮影する際に、構図内に収まる複数の被写体人物に対して、画像処理により肌のざらつき度合を減少させる美肌画像処理を行う技術が開示されている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２０１０−２１１４９７号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、特許文献１に開示された美肌画像処理の技術は、単に、構図に含まれる複数の被写体人物に対して一律の美肌処理効果を施すものであって、被写体人物ごとに個別に美肌処理効果の強度を異ならせるものではない。従って、たとえば画像処理後の被写体人物の肌のざらつき度合を一定に揃えるなどの処理を行うことはできないという課題があった。
【課題を解決するための手段】
【０００６】
本発明の実施形態によれば、画像データを取得する取得手段、前記画像データから顔を検出する顔検出手段、前記顔の肌領域に対して肌のざらつき度合を小さくする画像処理を行う処理手段、を有する画像処理装置であって、前記顔検出手段が前記画像データから複数の顔を検出した場合、前記処理手段は、検出された複数の顔の各々について肌のざらつき度合を判定し、前記複数の顔の画像処理後の肌のざらつき度合が近くなるように、顔ごとに異なる強度で画像処理を行うことを特徴とする画像処理装置である。
【発明の効果】
【０００７】
本発明によれば、複数の被写体人物を含む画像について、肌のざらつき度合を減少させる画像処理の強度を被写体人物ごとに異ならせて適用することが可能となる。よって、たとえば複数の被写体人物の処理後の肌のざらつき度合を揃えることができる。
【図面の簡単な説明】
【０００８】
【図１】第１実施形態における撮像装置の構成を示すブロック図である。
【図２】第１実施形態における画像処理回路の構成を示す図である。
【図３】第１実施形態における画像処理の動作を示す図である。
【図４】第１実施形態における画像処理の動作を示すフロー図である。
【図５】第２実施形態における本画像処理の動作を示すフロー図である。
【発明を実施するための形態】
【０００９】
図面を参照して、本発明の実施形態にかかる画像処理装置について詳細に説明する。以下の説明において、本発明の画像処理装置をデジタルカメラに適用した例を用いて説明するが、これに限定されない。
【００１０】
（第１実施形態）
図１は、本実施形態の画像処理装置１００であるデジタルカメラの構成を示している。
【００１１】
１０はフォーカスレンズを含む撮影レンズであり、１２は絞り機能を備える機械式シャッターである。１４は撮影レンズ１０及びシャッター１２などの光学系から入射される光学像を電気信号に変換する撮像素子であり、１６は撮像素子１４のアナログ信号出力をデジタル信号に変換するＡ／Ｄ（アナログ／デジタル）変換器である。
【００１２】
１８は、撮像素子１４、Ａ／Ｄ変換器１６にクロック信号や制御信号を供給するタイミング発生回路であり、タイミング発生回路１８はメモリ制御回路２２及びシステム制御回路５０により制御される。１２の機械式シャッター以外にも、１８の撮像素子のリセットタイミングの制御によって、電子シャッターとして、蓄積時間を制御することが可能であり、動画撮影などに使用可能である。
【００１３】
２０は画像処理回路であり、Ａ／Ｄ変換器１６からのデータ或いはメモリ制御回路２２からのデータに対して所定の画素補間処理や色変換処理を行う。また画像処理回路２０は撮像した画像データから一部領域の切り出し、変倍処理を行うことで電子ズーム機能が実現することができる。また、画像処理回路２０においては、撮像した画像データを用いて所定の演算処理を行う。得られた演算結果に基づいてシステム制御回路５０が露光制御手段４０、測距制御手段４２を制御して、ＡＦ（オートフォーカス）処理、ＡＥ（自動露光）処理、ＥＦ（フラッシュ調光）処理を行う。
【００１４】
さらに、画像処理回路２０はＡＷＢ（オートホワイトバランス）処理も行っている。さらに、画像処理回路２０は被写体検出回路を含む。被写体検出方法としてはパターンマッチング、特徴点抽出など、公知の方法を適用可能で特に限定されない。
【００１５】
また、検出する被写体の例として本実施形態では被写体人物の顔とするが、公知の被写体検出方法を用いて他の被写体（被写体領域）を検出するものであってもよく、検出される被写体は限定されない。本実施形態では被写体検出回路は顔検出回路とし、検出結果の出力として顔領域の座標（領域情報）、目の座標などを出力する。
【００１６】
２２はメモリ制御回路であり、Ａ／Ｄ変換器１６、タイミング発生回路１８、画像処理回路２０、メモリ３０、圧縮・伸長回路３２を制御する。Ａ／Ｄ変換器１６のデータが画像処理回路２０、メモリ制御回路２２を介して、或いはＡ／Ｄ変換器１６のデータが直接メモリ制御回路２２を介して、メモリ３０に書き込まれる。
【００１７】
２８はＴＦＴ、ＬＣＤ等から成る画像表示部であり、メモリ２０に書き込まれた表示用の画像データはメモリ制御回路２２を介して画像表示部２８により表示される。画像表示部２８を用いて撮像した画像データを逐次表示すれば、電子ビューファインダー機能を実現することが可能である。また、画像表示部２８は、システム制御回路５０の指示により任意に表示をＯＮ／ＯＦＦすることが可能であり、表示をＯＦＦにした場合には画像処理装置１００の電力消費を大幅に低減することが出来る。
【００１８】
３０は撮影した静止画像や動画像を格納するためのメモリであり、所定枚数の静止画像や所定時間の動画像を格納するのに十分な記憶量を備えている。これにより、複数枚の静止画像を連続して撮影する連写撮影やパノラマ撮影の場合にも、高速かつ大量の画像書き込みをメモリ３０に対して行うことが可能となる。また、メモリ３０はシステム制御回路５０の作業領域としても使用することが可能である。
【００１９】
３１はＦｌａｓｈＲＯＭ等で構成された不揮発性メモリである。システム制御回路５０が実行するプログラムコードは不揮発性メモリ３１に書き込まれ、逐次読み出しながらプログラムコードを実行する。また、不揮発性メモリ内にはシステム情報を記憶する領域や、ユーザー設定情報を記憶する領域を設け、さまざまな情報や設定を次回起動時に読み出して、復元することを実現している。
【００２０】
３２は適応離散コサイン変換（ＡＤＣＴ）等により画像データを圧縮伸長する圧縮・伸長回路であり、メモリ３０に格納された画像を読み込んで圧縮処理或いは伸長処理を行い、処理を終えたデータをメモリ３０に書き込む。
【００２１】
４０は絞り機能を備えるシャッター１２を制御する露光制御手段であり、フラッシュ４８と連動することによりフラッシュ調光機能も有するものである。
【００２２】
４２は撮影レンズ１０のフォーカシングを制御する測距制御手段、４４は撮影レンズ１０のズーミングを制御するズーム制御手段である。
【００２３】
４８はフラッシュであり、ＡＦ補助光の投光機能、フラッシュ調光機能も有する。露光制御手段４０、測距制御手段４２はＴＴＬ方式を用いて制御されており、撮像した画像データを画像処理回路２０によって演算した演算結果に基づき、システム制御回路５０が露光制御手段４０、測距制御手段４２に対して制御を行う。
【００２４】
５０は画像処理装置１００全体を制御するシステム制御回路である。
【００２５】
６０、６２、６４、６６、７０及び７２のそれぞれは、システム制御回路５０の各種の動作指示を入力するための操作手段であり、スイッチやダイアル、タッチパネル、視線検知によるポインティング、音声認識装置等の単数或いは複数の組み合わせで構成される。
【００２６】
ここで、これらの操作手段の具体的な説明を行う。
【００２７】
６０はモードダイアルスイッチで、電源オフ、自動撮影モード、撮影モード、ＨＤＲ撮影モード、パノラマ撮影モード、動画撮影モード、再生モード、ＰＣ接続モード等の各機能モードを切り替え設定することが出来る。
【００２８】
６２はシャッタースイッチＳＷ１で、シャッターボタンの操作途中でＯＮとなり、ＡＦ（オートフォーカス）処理、ＡＥ（自動露出）処理、ＡＷＢ（オートホワイトバランス）処理等の動作開始を指示する。
【００２９】
６４はシャッタースイッチＳＷ２で、シャッターボタンの操作完了でＯＮとなる。フラッシュ撮影の場合、ＥＦ（フラッシュプリ発光）処理を行った後に、ＡＥ処理で決定された露光時間分、撮像素子１４を露光させる。フラッシュ撮影の場合、この露光期間中にフラッシュを発光させ、露光期間終了と同時に露光制御手段４０により遮光することで、撮像素子１４への露光を終了させる。また、撮像素子１４から読み出した信号を記録媒体２００に書き込む記録処理までの一連の処理の動作開始を指示する。より具体的には、Ａ／Ｄ変換器１６、メモリ制御回路２２を介してメモリ３０に画像データを書き込む読み出し処理、画像処理回路２０やメモリ制御回路２２での演算を用いた現像処理、メモリ３０から画像データを読み出し、圧縮・伸長回路３２での圧縮を行う、などである。
【００３０】
６６は表示切替スイッチで、画像表示部２８の表示切替をすることが出来る。この機能により、光学ファインダー１０４を用いて撮影を行う際に、ＴＦＴやＬＣＤ等から成る画像表示部２８への電流供給を遮断することにより、省電力を図ることが可能となる。
【００３１】
７０は各種ボタン、タッチパネルや回転式ダイアル等からなる操作部で、メニューボタン、セットボタン、マクロボタン、マルチ画面再生改ページボタン、フラッシュ設定ボタン、単写／連写／セルフタイマー切り替えボタン等がある。またメニュー移動＋（プラス）ボタン、メニュー移動−（マイナス）ボタン、再生画像移動＋（プラス）ボタン、再生画像−（マイナス）ボタン、撮影画質選択ボタン、露出補正ボタン、日付／時間設定ボタン等もある。
【００３２】
７２はユーザーが撮像画像の倍率変更指示を行うズーム操作手段としてのズームスイッチ部である。以下、ズームスイッチ７２ともいう。このズームスイッチ７２は、撮像画角を望遠側に変更させるテレスイッチと、広角側に変更させるワイドスイッチからなる。このズームスイッチ７２を用いることにより、ズーム制御手段４４に撮影レンズ１０の撮像画角の変更を指示し光学ズーム操作を行うトリガとなる。また、画像処理回路２０による画像の切り出しや、画素補間処理などによる撮像画角の電子的なズーミング変更のトリガともなる。
【００３３】
８６はアルカリ電池の一次電池やＮｉＣｄ電池やＮｉＭＨ電池、Ｌｉイオン電池等の二次電池、ＡＣアダプター等からなる電源手段である。
【００３４】
９０はメモリカードやハードディスク等の記録媒体とのインタフェース、９２はメモリカードやハードディスク等の記録媒体と接続を行うコネクタである。
【００３５】
１０２は、画像処理装置１００のレンズ１０を含む撮像部を覆う事により、撮像部の汚れや破損を防止するバリアである保護手段である。
【００３６】
１０４は光学ファインダであり、画像表示部２８による電子ファインダー機能を使用すること無しに、光学ファインダのみを用いて撮影を行うことが可能である。
【００３７】
１１０は通信手段でＵＳＢ、ＩＥＥＥ１３９４、ＬＡＮ、無線通信、等の各種通信機能を有する。
【００３８】
１１２は通信手段１１０により画像処理装置１００を他の機器と接続するコネクタ或いは無線通信の場合はアンテナである。
【００３９】
２００はメモリカードやハードディスク等の記録媒体である。記録媒体２００は、半導体メモリや磁気ディスク等から構成される記録部２０２、画像処理装置１００とのインタフェース２０４、画像処理装置１００と接続を行うコネクタ２０６を備えている。
【００４０】
２１０はメモリカードやハードディスク等の記録媒体である。
【００４１】
上述した画像処理装置１００内の各構成は一例であって、ハードウェアで構成しても、その一部あるいは全部をソフトウェアモジュールとして構成しても良い。
【００４２】
図２は、本実施形態の画像処理回路２０の構成を説明する図である。
【００４３】
画像処理装置２０は、撮像素子１４から出力される画像信号（ＲＧＢ信号）を入力として、画像信号から輝度信号成分を抽出し、ガンマ変換、ノイズリダクション等の処理を行って輝度信号を生成する輝度生成部２０１、画像信号から色信号成分を抽出し、ガンマ変換、色マトリクス処理等の処理を行って色信号を生成する色生成部２０２、画像の高周波成分を抽出し、高周波成分を強調するエッジ強調部２０３からなる現像処理部２０４にてＹＵＶ信号に変換する。ＲＧＢからＹＵＶの変換の一例を式（１）に示す。
Ｙ＝０．２９９Ｒ＋０．５８７Ｇ＋０．１１４Ｂ
Ｕ＝−０．１６９Ｒ−０．３３１Ｇ＋０．５００Ｂ
Ｖ＝０．５００Ｒ−０．４１９Ｇ−０．０８１Ｂ      ・・・（１）
【００４４】
さらに、画像処理回路２０は、顔パターンを予め持ち、パターンマッチングにより画像から被写体人物の顔を検出する顔検出部２０５、輝度信号Ｙと色差信号ＵＶのそれぞれに対して一定の所定範囲を設け、輝度信号Ｙと色差信号ＵＶがともに一定の所定範囲内である領域を肌領域と判定する肌領域検出部２０６、式（２）で求まる指定領域内の輝度信号Ｙの分散値σ２を取得する分散値取得部２０７から構成される。
【００４５】
【数１】
2016148933.tif 000003
【００４６】
ここで、式（２）のｎは肌領域から肌のざらつき度合を判定するための指定領域の画素数、
【００４７】
【数２】
2016148933.tif 000004
【００４８】
は指定領域の平均値である。また、分散値は顔のざらつき度合を示す指標値である。
【００４９】
図３は、本実施形態における画像処理の動作の概要を説明する図である。
【００５０】
図３（ａ）の構図において、人物３０１、３０２、３０３がいる場合、顔検出部２０５による顔検出結果として、それぞれの人物の顔を示す顔枠３０４、３０５、３０６が検出される。ここで、画像処理回路２０は、検出された複数の顔に対して優先順位付けを行い、最も優先順位が高い被写体人物の顔を主顔とし、その他の被写体人物の顔を副顔として特定する。図３（ａ）において、顔枠３０４、つまり人物３０１の顔が主顔である。
【００５１】
ここで、優先順位付けは、さまざま方法を用いることができる。たとえば予め登録された被写体人物を被写体認識によって認識した場合は、その被写体人物に最も優先順位を高く設定することができる。他に画像における被写体の位置や大きさによって、優先順位付けを行っても良い。
【００５２】
次に、図３（ｂ）は主顔３０４で肌領域検出を行なった結果であり、肌領域を示す図（以降、肌Ｍａｐと称する）である。肌領域検出部２０６は、主顔３０４の領域における輝度信号Ｙと色差信号ＵＶの平均値（以降、肌ＹＵＶと称する）を求め、肌ＹＵＶから一定のＹＵＶレベルの範囲に該当する領域を肌領域として検出することにより、主顔の顔肌３１１、副顔の顔肌３１２、副顔の腕３１３、３１４を肌領域として検出でき、それ以外の領域３１５は肌領域でないと判定する。
【００５３】
図３（ｃ）は、副顔３０５に基づいて肌領域検出を行なった肌Ｍａｐであり、同様に、副顔の肌ＹＵＶを求め、肌ＹＵＶにある範囲を設定したＹＵＶレベルに該当した領域を肌領域として検出することにより、副顔の顔肌３２１、副顔の腕３２２、３２３、主顔の顔肌３２４が肌領域として検出でき、それ以外の領域３２５は肌領域でないと判定する。
【００５４】
図３（ｄ）は、副顔３０６に基づいて肌領域検出を行なった肌Ｍａｐであり、同様に、副顔の肌ＹＵＶを求め、肌ＹＵＶにある範囲を設定したＹＵＶレベルに該当した領域を肌領域として検出することにより、副顔の顔肌３３１が肌領域として検出でき、それ以外の領域３３２は肌領域でないと判定する。
【００５５】
図３（ｅ）は、図３（ｂ）と主顔の顔枠３０４をマージした結果であり、マージして残った肌領域が顔肌領域３４１で、それ以外の領域３４２からなる。顔肌領域３４１内に分散値取得枠３４３を設定し、主顔３０４の分散値を取得する。図３（ｆ）は、図３（ｃ）と副顔の顔枠３０５をマージした結果であり、マージして残った肌領域が顔肌領域３５１で、それ以外の領域３５２からなる。顔肌領域３５１内に分散値取得枠３５３を設定し、副顔３０５の分散値を取得する。図３（ｇ）は、図３（ｄ）と副顔の顔枠３０６をマージした結果であり、マージして残った肌領域が顔肌領域３６１で、それ以外の領域３６２からなる。顔肌領域３６１内に分散値取得枠３６３を設定し、副顔３０６の分散値を取得する。
【００５６】
図４は、本実施形態の動作フローを説明する図である。
【００５７】
最初に顔検出及び肌領域検出のためにたとえば画像全体から定まる初期パラメータにて現像を行う（Ｓ４０１）。次に、撮影した画像に対して顔検出Ｓ４０２にて顔検出を行ない、検出された複数の顔から優先順位付けして、主顔１つ及び残りの副顔複数を検出する。
【００５８】
顔があるかをＳ４０３で判定し、顔が１つも検出されない場合はそのまま画像を保存して終了する。顔が検出された場合は検出した顔の数を取得する（Ｓ４０４）。主顔の輝度信号と色差信号の平均値（以降、肌ＹＵＶ）を求め、肌ＹＵＶにある範囲を設定したＹＵＶレベルに該当した領域を肌領域として検出することにより肌Ｍａｐを取得する（Ｓ４０５）。ＹＵＶ範囲の例を式（３）に示す。
主顔のＹ＝１２１、Ｕ＝−１５、Ｖ＝２０
のとき、
Ｙ＝１２１±１０％、−１５±５％、Ｖ＝２０±５％      ・・・（３）
【００５９】
主顔の肌ＹＵＶにより得られた肌Ｍａｐと主顔の顔枠をマージすることにより、顔枠内の肌領域のみ検出した肌Ｍａｐ（以降、顔肌Ｍａｐと称する）を取得する（Ｓ４０６）。主顔の顔肌領域内に分散値取得枠を設定し、主顔の顔肌分散値を取得する（Ｓ４０７）。顔数をカウントし（Ｓ４０８）、顔数だけ分散値を取得していなければＳ４０５の肌Ｍａｐ取得、Ｓ４０６の顔肌Ｍａｐ取得、Ｓ４０７の分散値取得を副顔の数だけ繰り返す。分散値は顔のざらつき度合を示す指標値であり、分散値を比較することで各顔のざらつき度合を比較することができる。各顔肌分散値が得られたら各顔肌分散値を比較し（Ｓ４０９）、主顔及び副顔の分散値が予め決定した、もしくはユーザが指定した主顔の分散値の目標値に揃うように各顔領域におけるノイズリダクションの強度のシフト量を決定する（Ｓ４１０）。ここでノイズリダクションの強度を顔ごとに個別に決定することで、それぞれの顔のざらつき度合に応じた処理を行うことができる。上記処理により、画像処理後の肌のざらつき度合が近くなるように、顔ごとに異なる強度で画像処理を行うことができる。
【００６０】
次に、主顔のノイズリダクションの強度のシフト量で現像し（Ｓ４１１）、顔数をカウントし（Ｓ４１２）、顔数だけ現像を完了していなければＳ４１１で副顔のノイズリダクションの強度のシフト量で現像を繰り返す。顔肌領域以外は初期パラメータで現像した画像を使用し、顔肌領域はそれぞれのノイズリダクションの強度のシフト量で現像した画像を合成し、画像を保存する（Ｓ４１３）。
【００６１】
ここで、本実施形態では肌分散値取得（Ｓ４０７）は顔領域全体で取得すると説明したが、顔のサイズにより領域の大きさや位置を変更してもよい。例えば顔が小さい場合は顔全体で、顔が大きい場合は目の下の頬の部分で分散値を取得してもよい。
【００６２】
また、本実施形態では、分散値の取得と美肌画像処理の反映をともに顔肌Ｍａｐ（Ｓ４０６）のみの領域と説明したが、美肌画像処理の反映は顔肌のみに限らず、肌Ｍａｐ（Ｓ４０５）で行なってもよい。つまり顔以外の肌領域に対しても処理を行ってもよい。
【００６３】
さらに、本実施形態では、得られた肌Ｍａｐをそのまま用いるように説明したが、肌Ｍａｐにおいて、ノイズリダクション処理を行う肌領域と処理を行わないそれ以外の領域との境界が急峻だと境界が認識でき、不自然な画像となってしまう。そのため、境界をぼかす処理を実施するが、その境界は一定の傾斜でもよく、ノイズリダクションの強度に連動させてもよい。たとえば、ノイズリダクション処理の強度が強いほど境界が不自然になるので、ぼかす処理の強度を強くすることで自然な画像にすることができる。
【００６４】
なお、本実施形態では、シフト量決定Ｓ４１０で分散値に応じたノイズリダクションの強度を変更するが、特に顔の輝度レベルが大きくことなると平均値がかわるため、分散値の比較を行い難い。そのため、主顔から輝度レベルが一定範囲内である副顔のみに対してノイズリダクション処理などの美肌画像処理を実施するなど、取得した顔ＹＵＶ値の値を主顔と比較して閾値を設定して処理に制限を設けてもよい。また、本実施形態では、全ての顔に対し美肌画像処理を実施しているが、主顔より分散値の小さい副顔に対しては美肌処理を行なわないようにしてもよい。
【００６５】
（第２の実施形態）
図５は、本実施形態の動作フローを説明する図である。
【００６６】
最初に顔検出及び肌領域検出のために初期パラメータにて現像を行なう（Ｓ５０１）。撮影した画像に対し、顔検出Ｓ５０２にて顔検出を行ない、検出された複数の顔から優先順位付けして、主顔１つ及び残りの副顔複数を検出する。
【００６７】
顔があるかをＳ５０３で判定し、顔が１つも検出されない場合はそのまま画像を保存して終了する。顔が検出された場合は検出した顔の数を取得する（Ｓ５０４）。Ｓ５０５のシフト現像は、予め指定した複数の異なるノイズリダクションの強度（画像処理パラメータ）で現像して画像処理を行なう。初期パラメータにて現像した画像において、主顔の輝度信号と色差信号の平均値（肌ＹＵＶ）を求め、肌ＹＵＶにある範囲を設定したＹＵＶレベルに該当した領域を肌領域として検出することにより肌Ｍａｐを取得する（Ｓ５０６）。
【００６８】
主顔の肌ＹＵＶにより得られた肌Ｍａｐと主顔の顔枠をマージすることにより、顔枠内の肌領域のみ検出した肌Ｍａｐ（顔肌Ｍａｐ）を取得する（Ｓ５０７）。初期パラメータにて現像した画像、及び複数の異なるノイズリダクションの強度に可変して現像した画像それぞれに対し、主顔の顔肌領域内に分散値取得枠を設定し、主顔の肌のざらつき度合を示す顔肌分散値を取得する（Ｓ５０８）。
【００６９】
顔数をカウントし（Ｓ５０９）、顔数だけ分散値を取得していなければ、Ｓ５０６の肌Ｍａｐ取得、Ｓ５０７の顔枠と肌Ｍａｐのマージ、Ｓ５０８の分散値取得の一連の処理を副顔の数だけ繰り返す。
【００７０】
次に、各顔肌分散値が得られたら各顔肌分散値を比較し（Ｓ５１０）、初期パラメータにて現像した画像、及び複数の異なるノイズリダクションの強度で現像した画像のうち、主顔及び副顔の分散値が予め決定した、もしくはユーザが指定した主顔の分散値の目標値に揃うように画像を主顔及び副顔それぞれにおいて選択する（Ｓ５１１）。顔肌領域以外は初期パラメータで現像した画像を使用し、顔肌領域はそれぞれのノイズリダクションの強度のシフト量で現像した画像を合成し、画像を保存する（Ｓ５１２）。
【００７１】
なお、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）をネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（又はＣＰＵやＭＰＵ等）がプログラムコードを読み出して実行する処理である。この場合、そのプログラム、及び該プログラムを記憶した記憶媒体は本発明を構成することになる。
【００７２】
以上が本発明の実施形態の説明であるが、本発明は、本発明の技術思想の範囲内において、上記実施形態に限定されるものではなく、特許請求の範囲に示した範囲で種々の変更が可能である。
【符号の説明】
【００７３】
１４  撮像素子
２０  画像処理回路
２８  画像表示部
５０  システム制御部
２０４  現像処理部
２０５  顔検出部
２０６  肌領域検出部
２０７  分散値取得部
【図１】
2016148933.tif 000005
【図２】
2016148933.tif 000006
【図３】
2016148933.tif 000007
【図４】
2016148933.tif 000008
【図５】
2016148933.tif 000009