【手続補正書】
【提出日】平成30年4月12日(2018.4.12)
【手続補正１】
【補正対象書類名】明細書
【補正対象項目名】０００５
【補正方法】変更
【補正の内容】
【０００５】
本発明は、このような状況に鑑みてなされたものであり、顔を撮影した画像に含まれるクマを簡易な方法で適切に補正することを目的とする。
【手続補正２】
【補正対象書類名】明細書
【補正対象項目名】０００６
【補正方法】変更
【補正の内容】
【０００６】
上記目的を達成するため、本発明の一態様の画像処理装置は、
顔を撮影した画像に含まれるクマを補正する画像処理装置であって、
画像から人物の目を検出する検出手段と、
画像内における前記検出手段によって検出された前記人物の目の位置に基づき、画像内におけるクマの色情報及び基準となる肌色情報を取得し、補正を行う画像内の位置及び補正の強度を示す補正情報を生成する補正情報生成手段と、
前記補正情報生成手段によって生成された前記補正情報を使用して、画像に含まれるクマを補正する処理を行う画像処理手段と、
を備えることを特徴とする。
【手続補正３】
【補正対象書類名】明細書
【補正対象項目名】０００７
【補正方法】変更
【補正の内容】
【０００７】
本発明によれば、顔を撮影した画像に含まれるクマを簡易な方法で適切に補正することができる。
【手続補正４】
【補正対象書類名】明細書
【補正対象項目名】００５８
【補正方法】変更
【補正の内容】
【００５８】
ステップＳ３３において、クマ補正処理部５４は、Ｕａ，ＶａがＵｂ，Ｖｂに近くなるようにシフト処理を行うＵＶ補正処理を実行する。なお、本実施形態においては、シフト処理において、Ｕのシフト量は、上述した式（１）を用い、Ｖのシフト量は、上述した式（２）を用いる。
このクマ補正処理では、画像加工部５３によって切り出された画像全体に対して補正処理を施すため、クマ領域以外にも補正処理が施される。
【手続補正５】
【補正対象書類名】明細書
【補正対象項目名】００６４
【補正方法】変更
【補正の内容】
【００６４】
既存のクマ補正技術は、目の下をぼかして、明るくしただけのようなものが多数である。
そこで、本実施形態のクマ補正技術では、人物撮影画像の瞳検出結果を用い、顔領域からクマ領域を抽出し、クマが軽減するように最適に補正する。クマ領域の抽出は右目、左目それぞれでＨＳＶ画像を解析し、ＨＳＶ画像からクマ補正マップを作成することで行う。補正する際は、ＹＵＶ画像を解析し、ＹＵＶチャンネルそれぞれで補正する。
クマ領域を抽出するために、顔の瞳検出の結果を用い、クマ色領域Ｒ１と基準肌色領域Ｒ２の２領域を計測する。そして、クマ色領域Ｒ１と基準肌色領域Ｒ２の２領域のＨＳＶを解析することで、‘目の下の暗い肌色領域のみ’とする。クマ補正のＹチャンネルは、ガンマ（ＬＵＴ：ＬｏｏｋＵｐＴａｂｌｅ）補正することで、補正した領域と補正していない領域の境界を目立たなくする。
したがって、画像をぼかしたりすることなく、顔のクマ領域のみをクマが目立たないように最適に補正することができる。
【手続補正６】
【補正対象書類名】明細書
【補正対象項目名】００７２
【補正方法】変更
【補正の内容】
【００７２】
クマ補正マップ作成部５５は、ＨＳＶ色空間のうちＶ成分の情報を主成分とし、Ｈ成分及びＳ成分の情報を副成分として、画像に含まれる人物の顔のクマ領域の候補を含む補正情報（Ｈｕｅマップ）を生成し、予め用意されている画像内の位置情報である基準となるクマ領域情報を使用して、生成した候補領域を含む補正情報の画像内における位置情報を修正して、補正を行うための補正情報（クマ補正マップ）を生成する。
これにより、撮像装置１においては、光線により陰となる部分のようにクマと色が近く、色情報だけでは判別の困難な領域を、位置情報を併用することで排除して、より正確な位置に補正することができる。
【手続補正７】
【補正対象書類名】明細書
【補正対象項目名】００７５
【補正方法】変更
【補正の内容】
【００７５】
また撮像装置１は、クマ補正マップ作成部５５と、画像合成部５６と、を備える。
クマ補正マップ作成部５５は、画像に含まれる人物の顔のクマ領域の候補となる候補領域を、画像から取得される色情報に基づいて特定する。
クマ補正マップ作成部５５は、予め用意されている基準となるクマ領域情報であって、画像内の位置情報を含むクマ領域情報を使用して、クマ補正マップ作成部５５によって特定された候補領域の画像内における位置情報を修正して、画像に含まれる人物の顔のクマ領域を特定する。
画像合成部５６は、クマ補正マップ作成部５５によって特定されたクマ領域の色を補正する処理を行う。
これにより、撮像装置１においては、色情報に基づきクマ領域候補を特定し、クマとの判別が難しい光線により陰となる領域のように色が近く、色情報だけでは判別の難しい領域を、基準となる固定マップと合成することでクマ領域から除外する。このため、撮像装置１では、個人差や撮像状況に応じたクマ領域候補を基準となるクマ領域情報で修正するため、クマとの判別が難しい領域を適切に除去し、適切にクマを補正することができる。よって、撮像装置１では、人物の目の下のクマを簡易な方法で適切に補正することができる。
【手続補正８】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
顔を撮影した画像に含まれるクマを補正する画像処理装置であって、
画像から人物の目を検出する検出手段と、
画像内における前記検出手段によって検出された前記人物の目の位置に基づき、画像内におけるクマの色情報及び基準となる肌色情報を取得し、補正を行う画像内の位置及び補正の強度を示す補正情報を生成する補正情報生成手段と、
前記補正情報生成手段によって生成された前記補正情報を使用して、画像に含まれるクマを補正する処理を行う画像処理手段と、
を備えることを特徴とする画像処理装置。
【請求項２】
前記補正情報生成手段は、画像内における検出された前記人物の目の位置より下側で所定の位置関係となる位置を、各々前記クマの色情報及び前記基準となる肌色情報を取得する画像内における位置として特定し、特定された位置各々から前記クマの色情報及び前記基準となる肌色情報を取得する、
ことを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記補正情報生成手段は、ＨＳＶ色空間のクマの色情報及び基準となる肌色情報に基づき前記補正情報を生成し、
前記画像処理手段は、生成された前記補正情報を使用して、ＹＵＶ色空間で、画像に含まれるクマを補正する処理を行う、
ことを特徴とする請求項１又は２に記載の画像処理装置。
【請求項４】
前記補正情報生成手段は、取得された画像内における前記クマの色情報及び前記基準となる肌色情報に基づき、画像に含まれるクマ領域の候補を含む補正情報の候補を生成し、予め用意されている画像内の位置情報である基準となるクマ領域情報を使用して、生成した候補領域を含む前記補正情報の候補の画像内における位置情報を修正して、補正を行うための前記補正情報を生成する、
ことを特徴とする請求項１乃至３の何れか１項に記載の画像処理装置。
【請求項５】
前記画像処理手段は、取得された前記クマの色情報により示される色を、取得された前記基準となる肌色情報により示される色に近づけるように補正する処理を行う、
ことを特徴とする請求項１乃至４の何れか１項に記載の画像処理装置。
【請求項６】
顔を撮影した画像に含まれるクマを補正する画像処理装置であって、
画像に含まれるクマを補正するための補正情報であって、補正を行う画像内の位置及び補正の強度を示す補正情報を、ＨＳＶ色空間の色情報に基づき生成する補正情報生成手段と、
前記補正情報生成手段によって生成された前記補正情報を使用して、ＹＵＶ色空間の色情報で画像に含まれるクマを補正する処理を行う画像処理手段と、
を備えることを特徴とする画像処理装置。
【請求項７】
前記補正情報生成手段は、ＨＳＶ色空間のうちＶ成分の情報を主成分とし、Ｈ成分及びＳ成分の情報を副成分として、補正を行う画像内の位置及び前記補正の強度を示す補正情報を生成し、
前記画像処理手段は、生成された前記補正情報を使用し、ＹＵＶ色空間のうちＹ成分の情報を主成分とし、Ｕ成分及びＶ成分の情報を副成分として、画像に含まれるクマを補正する処理を行う、
ことを特徴とする請求項６に記載の画像処理装置。
【請求項８】
前記補正情報生成手段は、ＨＳＶ色空間のうちＶ成分の情報を主成分とし、Ｈ成分及びＳ成分の情報を副成分として、画像に含まれるクマ領域の候補を含む補正情報の候補を生成し、予め用意されている画像内の位置情報である基準となるクマ領域情報を使用して、生成した候補領域を含む補正情報の候補の画像内における位置情報を修正して、補正を行うための前記補正情報を生成する、
ことを特徴とする請求項７に記載の画像処理装置。
【請求項９】
画像から人物の目を検出する検出手段を、更に備え、
前記補正情報生成手段は、前記検出手段によって検出された、画像内における人物の目の位置に基づき取得されるＨＳＶ色空間におけるクマの色情報及び基準となる肌色情報を使用して、前記補正情報を生成する、
ことを特徴とする請求項６乃至８の何れか１項に記載の画像処理装置。
【請求項１０】
前記画像処理手段は、画像内における検出された人物の目の位置に基づき取得されるＹＵＶ色空間のクマの色情報及び基準となる肌色情報を使用して、当該クマの色情報により示される色を、当該基準となる肌色情報により示される色に近づけるように補正する処理を行う、
ことを特徴とする請求項９に記載の画像処理装置。
【請求項１１】
顔を撮影した画像に含まれるクマを補正する画像処理装置であって、
画像に含まれるクマ領域の候補となる候補領域を、画像から取得される色情報に基づいて特定する候補領域特定手段と、
予め用意されている基準となるクマ領域情報であって、画像内の位置情報を含むクマ領域情報を使用して、前記候補領域特定手段によって特定された前記候補領域の画像内における位置情報を修正して、画像に含まれるクマ領域を特定するクマ領域特定手段と、
前記クマ領域特定手段によって特定された前記クマ領域の色を補正する処理を行う画像処理手段と、
を備えることを特徴とする画像処理装置。
【請求項１２】
画像から人物の目を検出する検出手段を、更に備え、
前記候補領域特定手段は、前記検出手段によって検出された、画像内における人物の目の位置に基づき取得される、画像内におけるクマの色情報及び基準となる肌色情報を使用して、候補領域を特定する、
ことを特徴とする請求項１１に記載の画像処理装置。
【請求項１３】
前記画像処理手段は、特定された画像内のクマ領域の位置及び補正の強度を示す補正情報を使用して、取得された前記クマの色情報により示される色を、取得された前記基準となる肌色情報により示される色に近づけるように補正する処理を行う、
ことを特徴とする請求項１２に記載の画像処理装置。
【請求項１４】
前記候補領域特定手段は、ＨＳＶ色空間の色情報に基づき前記候補領域を特定し、
前記クマ領域特定手段は、前記クマ領域情報を使用して、特定された前記候補領域を修正して、ＨＳＶ色空間の色情報に基づき画像に含まれるクマ領域を特定し、
前記画像処理手段は、ＹＵＶ色空間の色情報に基づき、特定されたクマ領域を補正する処理を行う、
ことを特徴とする請求項１１乃至１３の何れか１項に記載の画像処理装置。
【請求項１５】
顔を撮影した画像に含まれるクマを補正する画像処理方法であって、
画像から人物の目を検出する検出処理と、
画像内における前記検出処理によって検出された前記人物の目の位置に基づき、画像内におけるクマの色情報及び基準となる肌色情報を取得し、補正を行う画像内の位置及び補正の強度を示す補正情報を生成する補正情報生成処理と、
前記補正情報生成処理によって生成された前記補正情報を使用して、画像に含まれるクマを補正する処理を行う画像処理と、
を含むことを特徴とする画像処理方法。
【請求項１６】
顔を撮影した画像に含まれるクマを補正する画像処理方法であって、
画像に含まれるクマを補正するための補正情報であって、補正を行う画像内の位置及び補正の強度を示す補正情報を、ＨＳＶ色空間の色情報に基づき生成する補正情報生成処理と、
生成された前記補正情報を使用して、ＹＵＶ色空間の色情報で画像に含まれるクマを補正する処理を行う画像処理と、
を含むことを特徴とする画像処理方法。
【請求項１７】
顔を撮影した画像に含まれるクマを補正する画像処理方法であって、
画像に含まれるクマ領域の候補となる候補領域を、画像から取得される色情報に基づいて特定する候補領域特定処理と、
予め用意されている基準となるクマ領域情報であって、画像内の位置情報を含むクマ領域情報を使用して、前記候補領域特定処理によって特定された前記候補領域の画像内における位置情報を修正して、画像に含まれるクマ領域を特定するクマ領域特定処理と、
特定された前記クマ領域の色を補正する処理を行う画像処理と、
を含むことを特徴とする画像処理方法。