【手続補正書】
【提出日】平成30年4月12日(2018.4.12)
【手続補正１】
【補正対象書類名】明細書
【補正対象項目名】０００６
【補正方法】変更
【補正の内容】
【０００６】
上記目的を達成するため、本発明の一態様の検出装置は、
画像に含まれる肌色領域を検出する肌色領域検出手段と、
前記画像に含まれる高明度かつ低彩度である飽和領域を検出する飽和領域検出手段と、
前記飽和領域検出手段により検出した飽和領域を使用して、前記肌色領域検出手段により検出した肌色領域を補正する処理を行う肌色領域補正手段と、
を備えることを特徴とする。
【手続補正２】
【補正対象書類名】明細書
【補正対象項目名】００２５
【補正方法】変更
【補正の内容】
【００２５】
肌マップは、まず、ＹＵＶ色空間である全体美肌画像を、ＨＳＶ（色相：Ｈｕｅ，彩度：Ｓａｔｕｒａｔｉｏｎ・Ｃｈｒｏｍａ，明度：Ｖａｌｕｅ・Ｌｉｇｈｔｎｅｓｓ・Ｂｒｉｇｈｔｎｅｓｓ）色空間に変換する。ＨＳＶに変換した画像からＨＳＶを計測し、各Ｈ，Ｓ，Ｖチャンネルの平均値を算出する。
そして、画素におけるＨ，Ｓ，Ｖのそれぞれについて、図３（ａ）〜（ｃ）に示すように、平均値からの差分に応じて、予め決定しておいた重み付けから、Ｈ，Ｓ，Ｖチャンネルの肌色らしさを示す肌色レベル（Ｌｈ，Ｌｓ，Ｌｖ）を算出する。
その後、算出した各Ｈ，Ｓ，Ｖチャンネルの肌色レベルを掛け合わせて、画素における肌マップ値を算出して、肌マップ値により構成される肌マップが作成される。肌マップでは、肌色らしい部分とそうでない部分が段階的に表示される。本例の肌マップでは、図２に示すように、白色が最も肌色らしい部分であり、黒色が最も肌色らしくない部分として表示される。
【手続補正３】
【補正対象書類名】明細書
【補正対象項目名】００２９
【補正方法】変更
【補正の内容】
【００２９】
図５は、色相（Ｈ）の重み付けの再決定を説明するための模式図である。
まず、人の顔の計測領域（本実施形態においては、人の鼻付近）で計測される色相（Ｈ）の平均値を算出する。
そして、平均値からの差分に応じて、図５（ａ）に示すようなヒストグラムを作成する。作成したヒストグラムにおいて正の方向と負の方向に閾値以下になる値（Ｒａｎｇｅｐ，Ｒａｎｇｅｍ）をサーチして行き、ヒストグラムの解析を行う。
ヒストグラムの解析の結果、サーチされたＲａｎｇｅｐ，Ｒａｎｇｅｍの値に応じて、予め決められていた重み付けを再調整して、決定する。即ち、図５（ｂ）に示すように、Ｒａｎｇｅｐ，Ｒａｎｇｅｍの値に応じて、予め決定されていた重み付け（従来設定）の幅を新たに決定した重み付け（新規設定）の幅まで広げることにより調整する。
新たに決定した重み付けに基づいて、色相（Ｈ）の肌色領域を抽出することで、種々の光の環境下で撮影された画像でも適切な肌色領域を抽出することができる。即ち、ＨＳＶ色空間の色情報を使用して肌色レベルを算出し、肌色領域を検出する方法において、従来固定であった色相成分の重み付けを、色相成分の分布に応じて調整して肌色レベルを算出することで、色相成分の分布が広い、濃い影となっている場合や色温度の異なる複数の光源からの光が当たっている場合等の種々の光の環境下でも適切に肌色領域を抽出して対応することができるようになる。
【手続補正４】
【補正対象書類名】明細書
【補正対象項目名】００３６
【補正方法】変更
【補正の内容】
【００３６】
画像記憶部７１には、例えば、撮像部１６で撮像された撮像画像のデータや、人の顔の肌のみに美肌処理が施された美肌画像等の画像データが記憶される。
【手続補正５】
【補正対象書類名】明細書
【補正対象項目名】００４０
【補正方法】変更
【補正の内容】
【００４０】
画像処理部５２は、画像に対して画像処理を施す。具体的には、画像処理部５２は、例えば、全体美肌処理元画像の画像全体に対して美肌処理を施して、全体美肌画像を生成する。美肌処理は、例えば、ＮＲ（Ｎｏｉｓｅ  Ｒｅｄｕｃｔｉｏｎ）フィルタをかけて平滑化するような、種々の人の肌が美肌になる処理であり、公知の美肌処理技術を用いることができる。
【手続補正６】
【補正対象書類名】明細書
【補正対象項目名】００４２
【補正方法】変更
【補正の内容】
【００４２】
肌マップ作成処理部５３は、画像の顔の肌に基づいて、多段的に肌色領域を抽出する。
また、肌マップ作成処理部５３は、輝度が高く肌色が飽和してしまい、肌色領域として抽出できない領域についても、高輝度領域と、低彩度領域から飽和レベルを算出して、肌マップに肌色領域として抽出することができる。
さらに、肌マップ作成処理部５３は、例えば、濃い影が生じた場合や色温度の異なる複数の光源からの光が当たった場合等の種々の光の環境下にも対応するため、色相（Ｈ）の重み付けを画像に対応するレンジに調整して、肌色レベルを算出することができる。
これにより、人の顔の肌を基準として肌色領域の他に、通常の手法では抽出できない飽和した肌色領域や種々の光の環境下で抽出できない肌色領域を抽出することができ、人の顔の肌の領域のみに適切に美肌処理が施された美肌画像を生成することができる。
【手続補正７】
【補正対象書類名】明細書
【補正対象項目名】００４６
【補正方法】変更
【補正の内容】
【００４６】
ステップＳ１２において、画像処理部５２は、全体美肌処理元画像の画像全体に対して美肌処理を施して、全体美肌画像を生成する。
【手続補正８】
【補正対象書類名】明細書
【補正対象項目名】００４８
【補正方法】変更
【補正の内容】
【００４８】
ステップＳ１４において、画像合成部５４は、標準画像と全体美肌画像とを、肌マップを用いてαブレンドする。αブレンドの結果、人の顔の肌のみに美肌処理が施された美肌画像が生成される（図２を参照）。生成した美肌画像は、画像記憶部７１に記憶される。
その後、美肌画像生成処理は終了する。
【手続補正９】
【補正対象書類名】明細書
【補正対象項目名】００５０
【補正方法】変更
【補正の内容】
【００５０】
ステップＳ３１において、肌マップ作成処理部５３は、ＹＵＶ色空間の全体美肌画像をＨＳＶ変換し、計測したＨＶＳの平均値からの差分でＨ，Ｓ，Ｖの各チャンネルのヒストグラムを作成する。
【手続補正１０】
【補正対象書類名】明細書
【補正対象項目名】００５１
【補正方法】変更
【補正の内容】
【００５１】
ステップＳ３２において、肌マップ作成処理部５３は、Ｈ，Ｓ，Ｖのヒストグラムに対して、重み付けを決定する。Ｓ，Ｖチャンネルでは、重み付け情報記憶部７２に記憶されるＳ，Ｖの重み付けを、Ｓ，Ｖのヒストグラムの重み付けとして決定する（図３（ｂ），３（ｃ）を参照）。Ｈのチャンネルでは、Ｈのヒストグラムを解析して、Ｈを含む領域まで、重み付け情報記憶部７２に記憶されるＨの重み付けの幅を広げて、重み付けを再決定する。
Ｈのヒストグラム解析は、Ｈの平均値を始点として正の方向と負の方向に対して、閾値以下となる値をサーチすることにより行う（図５（ａ）を参照）。サーチの結果、閾値以下の値の場所まで、重み付けの幅を広げる（図５（ｂ）を参照）。
【手続補正１１】
【補正対象書類名】明細書
【補正対象項目名】００５４
【補正方法】変更
【補正の内容】
【００５４】
ステップＳ３５において、肌マップ作成処理部５３は、算出された肌色レベルのみに基づいて画素ごとの肌マップ値を算出して、肌マップを作成する。
肌マップ値は、以下の式（１）により算出される。
肌マップ値（ＭＡＰ）＝Ｌｈ×Ｌｓ×Ｌｖ・・・（１）
なお、「Ｌｈ」は色相（Ｈ）の肌色レベルであり、「Ｌｓ」は彩度（Ｓ）の肌色レベルであり、「Ｌｖ」は明度（Ｖ）肌色レベルである。
その後、肌マップ作成処理は終了する。
【手続補正１２】
【補正対象書類名】明細書
【補正対象項目名】００５６
【補正方法】変更
【補正の内容】
【００５６】
ステップＳ３７において、肌マップ作成処理部５３は、式（１）により画素ごとの肌マップ値を算出するとともに、以下の式（２）により飽和マップ値を算出する。そして、画素ごとに算出した肌マップ値と飽和マップ値を比較して、値の大きい方を最終的な肌マップ値として採用し（論理和して）、肌マップを作成する。
飽和マップ値は、以下の式（２）により算出される。
飽和マップ値（ＭＡＰ）＝高Ｌｖ×低Ｌｓ・・・（２）
なお、「高Ｌｖ」は高明度領域の肌色レベルであり、「低Ｌｓ」は低彩度領域の肌色レベルである。
その結果、本来肌色領域であるが飽和領域であったり、種々の光の環境下で肌色領域として抽出されなかったりした領域を含む肌マップが作成される。
【手続補正１３】
【補正対象書類名】明細書
【補正対象項目名】００６４
【補正方法】変更
【補正の内容】
【００６４】
肌マップ作成処理部５３は、予め用意されている基準となる人物の顔領域情報を更に使用して、補正した肌色領域が人物の顔の肌色領域となるように補正する処理を行う。
これにより、撮像装置１においては、色情報だけでは難しい人物の顔の肌色領域以外の領域を除く処理を、処理負担が少なく、かつ、簡単に人物の顔の肌色領域に補正する処理によって行うことができる。
【手続補正１４】
【補正対象書類名】明細書
【補正対象項目名】００６６
【補正方法】変更
【補正の内容】
【００６６】
肌マップ作成処理部５３は、画像を構成する画素毎に、肌色らしさを示す肌色レベルを算出する。
また、肌マップ作成処理部５３と、画像を構成する画素毎に、高明度かつ低彩度である飽和の度合いを示す飽和レベルを算出する。
また、肌マップ作成処理部５３と、算出した肌色レベルと、算出した飽和レベルとから画像に含まれる肌色領域を検出する。
これにより、撮像装置１においては、通常の光線の状況における肌色部分の検出だけでなく、肌色が飽和している部分も含め、適切に肌色領域が検出でき、光線の状況によらず人物の肌色領域を適切に検出することができる。
【手続補正１５】
【補正対象書類名】明細書
【補正対象項目名】００６９
【補正方法】変更
【補正の内容】
【００６９】
肌マップ作成処理部５３は、予め用意されている基準となる人物の顔領域情報を更に使用して、画像に含まれる人物の顔の肌色領域を検出する処理を行う。
これにより、撮像装置１においては、色情報だけでは難しい人物の顔の肌色領域以外の領域を除く処理を、処理負担が少なく、かつ、簡単に人物の顔の肌色領域に補正する処理によって行うことができる。
【手続補正１６】
【補正対象書類名】明細書
【補正対象項目名】００７０
【補正方法】変更
【補正の内容】
【００７０】
肌マップ作成処理部５３は、画像を構成する画素毎の色相成分の値の分布に基づき、肌マップ作成処理部５３が肌色レベルを算出するための色相成分の重み付けを調整する。
また、肌マップ作成処理部５３は、調整した色相成分の重み付けで、ＨＳＶ色空間のうちの色相成分を含む色成分の情報に基づき、画像を構成する画素毎に、肌色レベルを算出する。
これにより、撮像装置１においては、通常の光線の状況では肌色領域の検出に適している色相成分の値の分布に基づき、肌マップ作成処理部５３が肌色レベルを算出するための色相成分の重み付けを調整するために、光線の状況によらず人物の肌色領域を適切に検出することができる。
【手続補正１７】
【補正対象書類名】明細書
【補正対象項目名】００７３
【補正方法】変更
【補正の内容】
【００７３】
肌マップ作成処理部５３は、ＨＳＶ色空間のうちの色相成分を含む色情報に基づき、画像を構成する画素毎に、肌色らしさを示す肌色レベルを算出する。
また、肌マップ作成処理部５３は、画像を構成する画素毎の色相成分の値の分布に基づき、肌マップ作成処理部５３が肌色レベルを算出するための色相成分の重み付けを調整する。
また、肌マップ作成処理部５３は、調整した重み付けで算出した肌色レベルに基づき、画像に含まれる肌色領域を検出する。
これにより、撮像装置１においては、色相成分の値の分布に基づき、肌マップ作成処理部５３が肌色レベルを算出するための色相成分の重み付けを調整するために、光線の状況によらず人物の肌色領域を適切に検出することができる。
【手続補正１８】
【補正対象書類名】明細書
【補正対象項目名】００７６
【補正方法】変更
【補正の内容】
【００７６】
上述の実施形態では、飽和した領域でも肌色領域として抽出できたり、例えば、濃い影が生じたり、色温度の異なる複数の光源からの光が当たっていたりする等の種々の光の環境下でも肌色領域が抽出できるようにする処理を併せて行うように構成したが、それぞれ別々に行うように構成したり、いずれか一方のみを実行したりするように構成してもよい。
【手続補正１９】
【補正対象書類名】明細書
【補正対象項目名】００８０
【補正方法】変更
【補正の内容】
【００８０】
また、上述した実施形態では、顔マップは、顔領域に略一致する楕円形状のマスク画像
としたがこれに限られない。例えば、対称形状の楕円形状であるため、１／４部の形状の
顔マップとし、使用時に４等倍して楕円形状を構成するようにしてもよい。記憶容量の削
減が可能となる。
【手続補正２０】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
画像に含まれる肌色領域を検出する肌色領域検出手段と、
前記画像に含まれる高明度かつ低彩度である飽和領域を検出する飽和領域検出手段と、
前記飽和領域検出手段により検出した飽和領域を使用して、前記肌色領域検出手段により検出した肌色領域を補正する処理を行う肌色領域補正手段と、
を備えることを特徴とする検出装置。
【請求項２】
前記肌色領域検出手段は、ＨＳＶ色空間のうちの色相成分を含む色情報に基づき、前記肌色領域を検出し、
前記飽和領域検出手段は、ＨＳＶ色空間のうちの色相成分を除く色情報に基づき、前記飽和領域を検出する、
ことを特徴とする請求項１に記載の検出装置。
【請求項３】
ＨＳＶ色空間のうちの色相成分を含む色情報に基づき、前記画像に含まれる複数の部分毎に、肌色らしさを示す肌色レベルを算出する肌色レベル算出手段と、
ＨＳＶ色空間のうちの色相成分を除く色情報に基づき、前記画像に含まれる複数の部分毎に、高明度かつ低彩度である飽和の度合いを示す飽和レベルを算出する飽和レベル算出手段と、を更に備え、
前記肌色領域検出手段は、算出した肌色レベルが所定の閾値以上の領域を前記肌色領域として検出し、
前記飽和領域検出手段は、算出した飽和レベルが所定の閾値以上の領域を前記飽和領域として検出する、
ことを特徴とする請求項２に記載の検出装置。
【請求項４】
前記肌色領域補正手段は、前記肌色領域検出手段では検出できなかった一部の肌色領域を、前記飽和領域検出手段により検出した前記飽和領域を使用して補正する処理を行う、
ことを特徴とする請求項１乃至３の何れか１項に記載の検出装置。
【請求項５】
前記肌色領域補正手段は、検出した前記肌色領域と検出した前記飽和領域の論理和となる領域に当該肌色領域を補正する処理を行う、
ことを特徴とする請求項４に記載の検出装置。
【請求項６】
前記肌色領域補正手段は、予め用意されている基準となる人物の顔領域情報を更に使用して、補正した前記肌色領域が人物の顔の肌色領域となるように補正する処理を行う、
ことを特徴とする請求項１乃至５の何れか１項に記載の検出装置。
【請求項７】
前記肌色領域補正手段により補正した前記肌色領域に対して美肌処理を行う画像処理手段を、更に備える、
ことを特徴とする請求項１乃至５の何れか１項に記載の検出装置。
【請求項８】
画像に含まれる複数の部分毎に、肌色らしさを示す肌色レベルを算出する肌色レベル算出手段と、
前記画像に含まれる複数の部分毎に、高明度かつ低彩度である飽和の度合いを示す飽和レベルを算出する飽和レベル算出手段と、
前記肌色レベル算出手段により算出した肌色レベルと、前記飽和レベル算出手段により算出した飽和レベルとから前記画像に含まれる肌色領域を検出する肌色領域検出手段と、
を備えることを特徴とする検出装置。
【請求項９】
前記肌色レベル算出手段は、ＨＳＶ色空間のうちの色相成分を含む色成分の情報に基づき、前記画像に含まれる複数の部分毎に、前記肌色レベルを算出し、
前記飽和レベル算出手段は、ＨＳＶ色空間のうちの色相成分を除く色成分の情報に基づき、前記画像に含まれる複数の部分毎に、前記飽和レベルを算出する、
ことを特徴とする請求項８に記載の検出装置。
【請求項１０】
前記肌色領域検出手段は、算出した前記肌色レベルと算出した飽和レベルのうちの少なくともいずれか一方が所定の閾値以上である領域を肌色領域として検出する、
ことを特徴とする請求項８又は９に記載の検出装置。
【請求項１１】
前記肌色領域検出手段は、予め用意されている基準となる人物の顔領域情報を更に使用して、前記画像に含まれる人物の顔の肌色領域を検出する処理を行う、
ことを特徴とする請求項８乃至１０の何れか１項に記載の検出装置。
【請求項１２】
前記画像に含まれる複数の部分毎の色相成分の値の分布に基づき、前記肌色レベル算出手段が前記肌色レベルを算出するための色相成分の重み付けを調整する調整手段を、更に備え、
前記肌色レベル算出手段は、調整した色相成分の重み付けで、ＨＳＶ色空間のうちの色相成分を含む色成分の情報に基づき、前記画像に含まれる複数の部分毎に、前記肌色レベルを算出する、
ことを特徴とする請求項３，８乃至１１の何れか１項に記載の検出装置。
【請求項１３】
前記肌色領域検出手段により検出した前記肌色領域に対して美肌処理を行う画像処理手段を、更に備える、
ことを特徴とする請求項８乃至１２の何れか１項に記載の検出装置。
【請求項１４】
画像に含まれる肌色の状況を判別する肌色判別手段と、
前記画像に含まれる高明度かつ低彩度である飽和の状況を判別する飽和状況判別手段と、
前記肌色判別手段により判別した前記肌色の状況と、前記飽和状況判別手段により判別した飽和の状況と、に基づき、前記画像内の肌色領域を検出する肌色領域検出手段と、
を備えることを特徴とする検出装置。
【請求項１５】
ＨＳＶ色空間のうちの色相成分を含む色情報に基づき、画像に含まれる複数の部分毎に、肌色らしさを示す肌色レベルを算出する肌色レベル算出手段と、
前記画像に含まれる複数の部分毎の色相成分の値の分布に基づき、肌色レベル算出手段が肌色レベルを算出するための色相成分の重み付けを調整する調整手段と、
前記調整手段により調整した重み付けで、前記肌色レベル算出手段により算出した肌色レベルに基づき、前記画像に含まれる肌色領域を検出する肌色領域検出手段と、
を備えることを特徴とする検出装置。
【請求項１６】
前記肌色領域検出手段により検出した前記肌色領域に対して美肌処理を行う画像処理手段を、更に備える、
ことを特徴とする請求項１５に記載の検出装置。
【請求項１７】
画像に含まれる肌色領域を検出する肌色領域検出処理と、
前記画像に含まれる高明度かつ低彩度である飽和領域を検出する飽和領域検出処理と、
前記飽和領域検出処理により検出した飽和領域を使用して、前記肌色領域検出処理により検出した肌色領域を補正する処理を行う肌色領域補正処理と、
を含むことを特徴とする検出方法。
【請求項１８】
画像に含まれる複数の部分毎に、肌色らしさを示す肌色レベルを算出する肌色レベル算出処理と、
前記画像に含まれる複数の部分毎に、高明度かつ低彩度である飽和の度合いを示す飽和レベルを算出する飽和レベル算出処理と、
前記肌色レベル算出処理で算出した肌色レベルと、前記飽和レベル算出処理で算出した飽和レベルとから前記画像に含まれる肌色領域を検出する肌色領域検出処理と、
を含むことを特徴とする検出方法。
【請求項１９】
画像に含まれる肌色の状況を判別する肌色判別処理と、
前記画像に含まれる高明度かつ低彩度である飽和の状況判別する飽和状況処理と、
前記肌色判別処理で判別した前記肌色の状況と、前記飽和状況処理で判別した飽和の状況と、に基づき、前記画像内の肌色領域を検出する肌色領域検出処理と、
を含むことを特徴とする検出方法。
【請求項２０】
ＨＳＶ色空間のうちの色相成分を含む色情報に基づき、画像に含まれる複数の部分毎に、肌色らしさを示す肌色レベルを算出する肌色レベル算出処理と、
前記画像に含まれる複数の部分毎の色相成分の値の分布に基づき、肌色レベル算出手段が肌色レベルを算出するための色相成分の重み付けを調整する調整処理と、
前記調整処理で調整した重み付けで、前記肌色レベル算出処理で算出した肌色レベルに基づき、前記画像に含まれる肌色領域を検出する肌色領域検出処理と、
を含むことを特徴とする検出方法。