(57)【要約】      （修正有）【課題】斜光や逆光などで被写体の顔の輝度差が大きい場合でも適切に肌色領域が検出され、美肌効果が得られる画像処理装置を提供する。【解決手段】肌色領域補正回路は、画像から人物の顔を検出する顔領域検出部と、人物の肌色部を検出する肌色検出部と、を備える。肌色領域補正回路は、顔領域検出部により検出された顔検出領域から肌色検出部における肌色検出条件を算出し、顔検出領域内における肌色検出部により検出された肌色検出領域の面積の割合が所定値を超えるように、かつ、肌色検出部による肌色検出領域を画像化し、顔領域検出部により顔検出を行って顔検出されるように、肌色検出部における肌色検出条件を算出し直す。【選択図】図３
2020102059.tif 000002
【特許請求の範囲】
【請求項１】
画像から人物の顔を検出する顔検出手段（１１２）と、人物の肌色部を検出する肌色検出手段（１１７）と、
を備え、
前記顔検出手段により検出された顔検出領域から前記肌色検出手段における肌色検出条件を算出し、
前記顔検出領域内における前記肌色検出手段により検出された肌色検出領域の面積の割合が所定値を超えるように、かつ、前記肌色検出手段による肌色検出領域を画像化し、前記顔検出手段により顔検出を行って顔検出されるように、前記肌色検出手段における前記肌色検出条件を算出し直すことを特徴とする画像処理装置。
【請求項２】
前記顔検出手段により検出された顔検出領域内の輝度差が所定値以上である場合に、請求項１に記載の前記肌色検出条件の算出方法を実施することを特徴とする画像処理装置。
【請求項３】
前記顔検出手段により複数の顔が検出された場合には、主要被写体の顔である主顔の顔検出領域から前記肌色検出手段における肌色検出条件を算出し、前記検出された複数の顔検出領域について顔検出領域内の前記肌色検出手段により検出された肌色検出領域の面積の割合が所定値を超えるように、かつ、前記肌色検出手段による肌色検出領域を画像化し、前記顔検出手段により顔検出を行って顔検出されるように、前記肌色検出手段における前記肌色検出条件を算出し直すことを特徴とする請求項１又は請求項２に記載の画像処理装置。
【請求項４】
前記肌色検出手段における前記肌色検出条件を算出し直す際に、前記主顔以外の顔検出領域から前記肌検出手段における肌色検出条件を算出した結果をより含むように前記肌色検出条件を算出し直すことを特徴とする請求項３に記載の画像処理装置。
【請求項５】
肌色部の画像処理を変更し肌補正処理を行う肌補正処理手段（１１８）と、を備え、前記検出された肌色検出領域について、前記肌補正処理手段により、肌補正処理を行うことを特徴とする請求項１乃至請求項４の何れか一項に記載の画像処理装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像中の人物の肌を適切に検出し補正する画像処理技術に関する。
【背景技術】
【０００２】
近年、画像中の人物について肌を美しく見せる美肌効果が得られる画像処理を備えたアプリケーションソフトやカメラなどの撮像装置が数多く存在する。これらのアプリケーションソフトや撮像装置における画像処理の概略としては、画像から肌色や人物の顔を検出し、肌色領域を平滑化処理や色調の調整によって肌をつるつるでより好ましい肌色に補正するなどの方法により実現されている。
【０００３】
ところで、カラーチャートなどに並ぶような一般的な肌色を対象として肌色検出を行う場合、例えば斜光や逆光などで被写体顔面上の輝度差が大きい画像においては、陰影部の暗い肌色や白飛び間際の肌色などを検出できずに、顔全体を肌色領域として検出できない問題がある。
【０００４】
一方で、このような輝度差が大きい画像でも肌色検出できるように単純に肌色として検出する色検出範囲を拡大すると、肌色に似た色の肌ではない背景領域などの被写体も肌色領域として検出され、肌色領域に対する補正処理が誤って行われてしまう問題がある。
【０００５】
この課題に対し、特許文献１には、肌色に相当する色の範囲に含まれる色を持つ画素の集合を肌色領域として検出し、その肌色領域の大きさを表す評価値を算出し、被写体の大きさを表す基準値に対する評価値の差が所定範囲に含まれる色検出条件の中で、最も狭い色検出範囲を肌色検出条件とする方法が開示されている。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開２０１５−１８４９０６号公報
【発明の概要】
【発明が解決しようとする課題】
【０００７】
前記特許文献１では、被写体の大きさを表す基準値が必要なため、肌色と間違う背景被写体などがなく誤検出しない条件で撮影された画像を用意して、肌色を持つ被写体を確実に検出可能な広い色検出範囲である初期検出条件により肌色検出を行って基準値を算出する必要がある。
【０００８】
このため被写体の大きさが変わる場合には、その撮影したいシーンごとに基準値算出用画像の撮影が必要となること、さらに肌色に近い色の背景被写体があるシーンでは、その背景被写体を隠すなどして基準値算出用画像の撮影が必要となり、非常に手間がかかる。
【０００９】
このように、肌色として検出する色検出範囲を適切に設定することが可能であるが、基準画像の事前準備が必要なため、シーン変化に対して弱いという問題がある。
【００１０】
そこで本発明の目的は、斜光や逆光などで被写体の顔の輝度差が大きい画像でも、基準画像などの事前準備の必要なしに、検出された顔領域に対して適切な肌色検出条件を設定することでムラなく肌色領域を検出し、検出された肌色領域に対し美肌効果が得られる画像処理を実施する画像処理装置を提供することにある。
【課題を解決するための手段】
【００１１】
上記の目的を達成するために、本発明に係る画像処理装置は、
画像から人物の顔を検出する顔検出手段と、人物の肌色部を検出する肌色検出手段と、を備え、前記顔検出手段により検出された顔検出領域から前記肌色検出手段における肌色検出条件を算出し、前記顔検出領域内における前記肌色検出手段により検出された肌色検出領域の面積の割合が所定値を超えるように、かつ、前記肌色検出手段による肌色検出領域を画像化し、前記顔検出手段により顔検出を行って顔検出されるように、前記肌色検出手段における前記肌色検出条件を算出し直すことを特徴とする。
【発明の効果】
【００１２】
本発明に係る画像処理装置によれば、斜光や逆光などで被写体の顔の輝度差が大きい場合でも適切に肌色領域が検出され、美肌効果が得られる画像処理がなされた画像を提供することが可能となる。
【図面の簡単な説明】
【００１３】
【図１】本実施形態の撮像装置の概略構成を示す図である。
【図２】本実施形態の撮影装置の撮影動作のフローチャート図である。
【図３】図２における撮影のサブルーチンのフローチャート図である。
【図４】図３における肌色領域検出処理についての補足図である。
【発明を実施するための形態】
【００１４】
以下、本発明を実施するための実施形態について、図面を参照しながら説明する。
【００１５】
＜実施例＞
図１は本発明の実施形態を適用した画像処理装置を備えた撮像装置の概略構成を示す図である。
【００１６】
本実施形態の撮像装置は光学系１０１より入射した光を固体撮像素子上に結像させることで被写体を撮像する。光学系制御部１０２は、前記光学系１０１の絞りやメカシャッタ、ズーム、フォーカス、光学式ブレ補正等を制御する。固体撮像素子１０３は、結像された光学像を光電変換して電気信号に変換する。撮像系制御部１０４は、前記固体撮像素子１０３の蓄積動作、読み出し動作、リセット動作を制御するための制御系である。
【００１７】
アナログ信号処理部１０５は、前記固体撮像素子１０３の出力にクランプ、ゲインをかける等の処理を行う。ゲイン制御部１０６は、前記アナログ信号処理部１０５において撮像信号に対するゲイン量を指定するなどの制御を行う。アナログ／デジタル（Ａ／Ｄ）変換部１０７はアナログ信号からデジタル信号にＡ／Ｄ変換を行い、デジタル信号処理部１０８は前記Ａ／Ｄ変換されたデジタル画像データの現像処理および画像圧縮処理を行って出力画像データを生成する。
【００１８】
デジタル信号処理部１０８は、画像データの現像処理を行う現像処理部、前記現像処理部の出力画像より肌色検出を行う肌色検出部１１７、前記出力画像の肌補正処理を行う肌補正処理部１１８、前記出力画像の画像圧縮処理を行う画像圧縮部より構成され、本発明における肌色検出手段、肌補正手段の各手段として機能するとともに、後述する画像処理に関する各種処理を行う。
【００１９】
内部記憶部１０９は、前記デジタル信号処理部１０８にて出力画像データを生成する際の画像データや、ライブ画像を表示する電子ビューファインダ（以下ＥＶＦと記す）動作用の画像データなどを一時的に格納する。また、前記デジタル信号処理部１０８における肌色検出領域情報や後述する顔検出部１１２により検出された顔検出領域情報など、各種演算データの一時記憶用途でも使用される。
【００２０】
インターフェース（Ｉ／Ｆ）部１１０は、生成された出力画像データを最終的に保存するための外部記録装置とつながっている。画像表示部１１１は、ＥＶＦ動作の表示機能を備え、ライブ画像のほか撮像装置の各種設定情報などを表示する。
【００２１】
顔検出部１１２は、前記デジタル信号処理１０８にて現像処理された出力画像データについて顔検出を行い、撮影画像中の顔が検出された領域情報を出力する。
【００２２】
システム制御部１１３は、後述する撮影動作のフローチャートに従って前記光学系制御部１０２や前記撮像系制御部１０４、前記ゲイン制御部１０６を制御し、その制御情報を前記デジタル信号処理部１０８に提供するなど、システム全体の制御を行う。
【００２３】
１１４は撮影スタンバイ動作を行うためのスイッチ（以下ＳＷ１と記す）、１１５はＳＷ１の操作後、撮影を行う撮影スイッチ（以下ＳＷ２と記す）、１１６はシステムに電源を投入するためのメインスイッチ（以下メインＳＷと記す）である。
【００２４】
図２は本発明の実施例を適用した撮像装置の撮影動作を表すフローチャート図である。
【００２５】
まず、ステップＳ２０１では、システムに電源を投入するメインＳＷの状態を検出し、ＯＮであればステップＳ２０２へ進む。ステップＳ２０２ではインターフェース部１０９を介した外部記録装置の残容量を調べ、残容量が０であればステップＳ２０３へ進み、そうでなければステップＳ２０４へ進む。
【００２６】
ステップＳ２０３では、前記残容量が０であることを警告してステップＳ２０１に戻る。警告は画像表示部１１０に表示するか又は図示しない音声出力部から警告音を出すか、又はその両方を行ってもよい。
【００２７】
ステップＳ２０４では、撮像手段から出力されたライブ画像を画像表示部１１０に表示するＥＶＦ動作を開始する。ＥＶＦ動作においては、適正露出を得るためのＡＥ動作、および適切なフォーカス状態とするためにＡＦ動作を所定周期で行う。ＡＥ動作は前記Ａ／Ｄ変換部１０７の出力を積分して所定値と比較するなどして適正露出となっているか調べ、必要に応じて前記光学制御部１０２の絞り設定や前記撮像系制御部１０４の蓄積時間（電子シャッタ）設定、あるいは前記ゲイン制御部１０６における撮像信号のゲイン設定を所定の線図に従って制御する。
【００２８】
ＡＥ動作によって例えば被写体照度が低い場合であっても、前記ゲイン制御部１０６によりゲインアップするなどして適正露出の画像データを得ることが可能となる。ＡＦ動作は前記デジタル信号処理部１０８の出力画像データの高周波成分の強弱を前フレームと比較するなどして、前記光学系制御部１０２にてフォーカスレンズを適切に制御する。また前記顔検出部１１２により顔検出を行い、例えば前記ＡＥ動作において検出された顔に対して露出を最適化するなどの動作を行う。
【００２９】
ステップＳ２０５では、スイッチＳＷ１の状態を調べ、ＯＮであればステップＳ２０７へ進み、そうでなければステップＳ２０６へ進む。ここでＳＷ１の機能は、ＡＦやＡＥなどの撮影スタンバイ動作を行うことである。
【００３０】
ステップＳ２０６では、メインＳＷの状態を調べ、ＯＮであればステップＳ２０４へ、そうでなければステップＳ２０１へ進む。
【００３１】
ステップＳ２０７では、光学系制御部１０２を介して露出を制御してＡＥ処理を行い、ステップＳ２０８では光学制御系１０２を介してフォーカスレンズを制御してＡＦ処理を行う。ステップＳ２０７のＡＥ処理およびステップＳ２０８のＡＦ処理は前記撮影スタンバイ動作であり、ＥＶＦ動作時よりも良い精度でＡＥおよびＡＦ制御することを目的としている。
【００３２】
ステップＳ２０９は、ＳＷ２のＯＮによる撮影動作スタート前準備状態であり、撮像手段から出力されたライブ画像を画像表示部１１０に表示して、撮影者のＳＷ２操作を待つ。
【００３３】
ステップＳ２１０では、ＳＷ２の状態を調べ、ＯＮであればステップＳ２１２へ、そうでなければステップＳ２１１へ進む。ここに、ＳＷ２の機能はＳＷ１の操作後撮影動作を開始することである。
【００３４】
ステップＳ２１１では、ＳＷ１の状態を調べ、ＯＮであればステップＳ２０９へ戻り、そうでなければステップＳ２０４へ戻る。
【００３５】
ステップＳ２１２では、後述する図４のフローチャートにしたがって撮影動作を開始する。
【００３６】
ステップＳ２１３では、インターフェース部１１０を介した外部記録装置の残容量を調べ、前記残容量が０であればステップＳ２０３へ進み、そうでなければステップＳ２１４へ進む。
【００３７】
ステップＳ２１４では、ＳＷ２の状態を調べ、ＯＮでなければステップＳ２１１へ進む。
【００３８】
図３は図２のフローチャートにおける撮影のサブルーチンのフローチャート図である。また、図４は図３のステップＳ３０６からステップＳ３１２の肌色領域検出処理についての補足図である。
【００３９】
まず、ステップＳ３０１では、システム制御部１１３などの各制御部により撮像素子の駆動切り換えなど撮影の準備を行う。
【００４０】
ステップＳ３０２では、光学系制御部１０２、撮像系制御部１０４およびシステム制御部１１３の制御により撮像素子１０３への露光を行う。撮像素子面上に結像された像は光電変換されてアナログ信号となり、ステップＳ３０３にてＡ／Ｄ変換部１０７へと送られ、撮像素子１０３の出力ノイズ除去や非線形処理などの前処理の後にデジタル信号に変換される。
【００４１】
ステップＳ３０４では、デジタル信号処理部１０８にて現像処理を行って出力画像データを生成する。
【００４２】
ステップＳ３０５では、顔検出部１１２においてステップＳ３０４にて生成された画像データについて顔検出を行う。本発明における顔検出は公知の方法を用いれば良いが、目や鼻などの器官検出や輪郭情報を用いて顔検出を行う構成で、色情報を用いずに白黒画像やグレースケール画像から顔検出を行うことが可能な構成とする。また、複数の顔が検出された場合には、その撮影画像内の位置や大きさを評価して、より主要な被写体の顔であるかについての優先順位付けを行う。以下、本発明では最も主要な被写体の顔を主顔、次いで主要な被写体の顔を第２の顔、と表現する。また、顔検出における信頼度を算出する構成であれば、信頼度が高い結果であるほど肌色領域を適切に検出できていると考えられるため、なお良い。
【００４３】
ステップＳ３０６では、肌色検出部１１７において、ステップＳ３０５で検出された顔検出領域のＹＵＶの平均値を求めＨＳＶ表色系に変換した値を、検出する肌色の基準として設定する。図４（１）に示すように、ステップ３０５において複数の顔が検出された場合には、検出された各顔検出領域のＹＵＶの平均値を求めＨＳＶ表色系に変換して検出された顔に対応付けて記憶し、主顔の顔検出領域に対応するＹＵＶ平均値をＨＳＶ変換した値を検出する肌色の基準とする。ステップＳ３０５にて顔が検出されていない場合には、あらかじめ設定された所定値を肌色の基準とする。
【００４４】
ステップＳ３０７では、肌色検出部１１７において、ステップＳ３０６にて求めた検出する肌色の基準からどの程度の色の範囲までを肌色領域として検出するか、前記検出する肌色の基準からのＨＳＶ色座標上の許容距離差分であるＬｉｍｉｔＤｅｌｔａの値により、肌色検出色範囲を設定する。図４（２）は円柱モデルで示す色相Ｈ、彩度Ｓ、明度Ｖの３つの成分からなるＨＳＶ色空間を示す図であり、図４（３）は彩度Ｓ−明度Ｖ断面にて検出する肌色の基準と前記ＬｉｍｉｔＤｅｌｔａの関係を示す図である。図４（１）に示す主顔の顔検出領域から求めた検出する肌色の基準の色座標（黒丸）を中心として半径がＬｉｍｉｔＤｅｌｔａである円の内側を肌色検出色範囲として設定する。ステップＳ３０５にて顔が検出されていない場合には、あらかじめ設定された所定のＬｉｍｉｔＤｅｌｔａの値により肌色検出色範囲を設定する。
【００４５】
ステップＳ３０８では、デジタル信号処理部１０８の肌色検出部１１７において肌色領域検出を行う。まず肌色検出部１１７は、図４（３）に示すように、前記肌色検出色範囲として設定された（彩度Ｓ−明度Ｖ断面においては）円の内側の色座標グリッド（白丸）を２５６、前記円の外側の色座標グリッドを０に変換出力する３Ｄ変換テーブルを作成する。続けてこれをステップＳ３０４にて生成された画像データに適用し、図４（４）に示すように、肌色検出色範囲の色を持つ画素の値を２５６、そうでない画素の値を０に表現される８ｂｉｔグレースケールの肌色検出領域画像を生成する。
【００４６】
ステップＳ３０９では、肌色検出部１１７はステップＳ３０５にて顔が検出されたかどうかを調べ、顔が検出されていない場合にはステップＳ３１３へ進む。続けて肌色検出部１１７はステップＳ３０５にて検出された顔検出領域内の輝度差を調べ、前記輝度差が所定値以上である場合にはステップＳ３１０へ進み、そうでなければステップＳ３１３へ進む。つまり、顔が検出されていない場合には、前述のように所定の肌色検出色範囲により肌色領域を検出する。また、顔検出領域内の輝度差が無い場合には、後述するような肌色の検出状況に応じた肌色検出色範囲の設定見直しが必要な可能性は低いため、前述のように顔検出領域のＹＵＶの平均値を求めＨＳＶ表色系に変換した値を基準として設定した肌色検出色範囲により肌色領域を検出する。
【００４７】
ステップＳ３１０では、肌色検出部１１７において、ステップＳ３０５にて検出された前記顔検出領域内におけるステップＳ３０８にて生成された前記肌色検出領域画像の画素値が所定値以上である面積の割合について所定値と比較して超えているか、あるいは、前記顔検出領域内における前記肌色検出領域画像の画素値の積分値が所定値と比較して超えているか評価を行う。ステップＳ３０５にて複数の顔が検出されている場合には、検出された複数の顔検出領域を対象に前記評価を行う。図４（４）は肌色検出領域画像に検出された顔検出領域を重ねて示した図である。顔検出部１１２による顔検出領域内は目や眉、あるいは眼鏡やピアスなどの装飾品を除けば、基本的に肌色で満たされる領域であるため、前記面積の割合あるいは前記積分値が該顔検出領域の大きさに対する比率を基準として算出される各所定値と比較することで、該顔検出領域における肌色の検出状況を評価することが可能となる。図４（５）は肌色検出色範囲を変更により肌色検出領域画像が変化する様子を示した図である。例えば顔検出領域の輝度差が激しい場合などには、前述のように顔検出領域のＹＵＶの平均値を求めＨＳＶ表色系に変換した値を基準として設定した肌色検出色範囲による肌色検出領域では、図４（５）中央や左に示すように、顔検出領域の一部のみしか肌色領域として検出されない場合があり、このような場合の確認が可能となる。
【００４８】
ステップＳ３１１では、ステップＳ３０８にて生成された前記肌色検出領域画像について、顔検出部１１２にて顔検出処理を行う。図４（５）左に示すように、肌色検出領域が顔検出領域の一部に限られる場合には、肌色検出領域画像による顔検出は困難、あるいは顔検出できてもその信頼度は低い結果となる。一方で図４（５）右に示すように、肌色検出領域が適切に設定され、顔検出領域の広い範囲が肌色領域として検出されている場合には、目や鼻などの器官や顔の輪郭が良好に表現されているため、顔検出における信頼度はより高い結果となる。
【００４９】
ステップＳ３１２では、肌色検出部１１７において、ステップＳ３１０での前記顔検出領域内における前記肌色検出領域画像の前記面積の割合あるいは前記積分値が各所定値を超えており、かつ、ステップＳ３１１にて前記肌色検出領域画像について顔検出できたか、について調べ、両条件を満たしていればステップＳ３１３へ進み、そうでなければステップＳ３０７へ進む。
【００５０】
ステップＳ３０７では、顔検出領域全体がより肌色領域として検出されるようにＤｅｌｔａＬｉｍｉｔの値を肌色検出色範囲を広げる方向に再設定する。ここで単純にＤｅｌｔａＬｉｍｉｔの値をＨＳＶ各方向に等しく大きくすると、肌色に似た背景被写体なども肌色領域として誤検出されるおそれがあるが、顔領域以外でも首や手や腕などの人肌の領域との区別は困難であるため、顔検出領域内における肌色検出領域を広げることを重視して再設定を行う。図４（３）に、図４（１）の第２の顔検出領域から求めた肌色の基準の色座標が濃灰丸で示されている。主顔の顔検出領域から求めた肌色の基準の色座標（黒丸）からずれており、第２の顔領域も良好に肌色検出しやすくすることを考えると、そのずれ方向（この場合はＶ方向）にＤｅｌｔａＬｉｍｉｔを広げるように再設定を行う。本実施例では、図４（３）に示すように主顔の顔検出領域から求めた肌色検出色範囲は半径がＬｉｍｉｔＤｅｌｔａの円の内側であったが、Ｖ方向に拡大した破線の楕円の内側に再設定することで、淡灰色の色座標グリッドが新たに肌色検出色範囲に含まれるように拡張される。
【００５１】
このようにして、ステップＳ３０７における肌色検出領域の再設定とステップＳ３１０およびステップＳ３１１による顔検出領域における肌色の検出状況の評価を所定の条件を満たすまで繰り返すことで、顔検出領域の輝度差が激しい場合においても肌色領域をムラなく検出することが可能である。
【００５２】
ステップＳ３１３では、デジタル信号処理部１０８の肌色補正処理部１１８において、前記肌色検出領域画像により表現される肌色領域の肌領域補正処理を行う。肌補正処理の内容は、例えば輝度信号の平滑化処理や色信号のコントラスト調整や色調の調整を行う。肌補正処理の実施方法は、ステップＳ３０４にて生成された画像データの肌色領域のみを補正する一般的な方法の他に、ステップＳ３０４にて通常の現像処理に加え画像全体を肌色補正対象として現像処理した画像を生成し、これらの２つの現像画像を前記肌色検出領域画像の各画素値を合成比率としたαブレンドにより合成する方法でも良い。
【００５３】
ステップＳ３１４では、デジタル信号処理部１０８において、前記肌領域補正処理後の出力画像データを画像圧縮処理によりＪＰＥＧフォーマット等への画像フォーマット変換を行う。
【００５４】
ステップＳ３１５では、システム制御部１１３の制御により、Ｉ／Ｆ部１１０を介しカメラに装着されたメモリカードなどの外部記憶媒体へと転送し記録する。
【００５５】
前述の実施例では、静止画撮影時の肌色検出色範囲の設定を変更していくものであったが、ＥＶＦ動作中においても同様にして肌色検出色範囲の設定変更することが可能である。ＥＶＦ動作においては更新レートごとに新たな画像が撮像されるが、ＡＥ設定た顔検出結果を直前フレームと比較してシーン変化がないと判断可能であれば、直前フレームで算出した肌色検出色範囲設定を初期値とすることで、直前フレームとの肌色検出状況が急変してしまうような問題を解消することが可能である。
【００５６】
以上説明したように本発明を適用した画像処理装置によれば、斜光や逆光などで被写体の顔の輝度差が大きい場合でも適切に肌色領域が検出され、美肌効果が得られる画像処理がなされた画像を提供することが可能となる。
【符号の説明】
【００５７】
１１２  顔検出手段、１１７  肌色検出手段、１１８  肌補正処理手段
【図１】
2020102059.tif 000003
【図２】
2020102059.tif 000004
【図３】
2020102059.tif 000005
【図４】
2020102059.tif 000006