【手続補正書】
【提出日】平成29年8月9日(2017.8.9)
【手続補正１】
【補正対象書類名】明細書
【補正対象項目名】０００８
【補正方法】変更
【補正の内容】
【０００８】
前記目的を達成するため、本発明に係る画像処理装置の一態様は、
ターゲット画像を取得する取得部と、
前記ターゲット画像から、被写体の特定部位を表す画像領域である基準領域を検出する検出部と、
前記基準領域のサイズに基づいて、前記ターゲット画像が含む前記被写体の肌を表す画像領域のサイズの予測値を取得する予測部と、
前記ターゲット画像に含まれる、前記被写体の前記肌を表す画像領域と同一又は類似した画素値を有する画像領域である補正対象領域のサイズの実測値を取得する実測部と、
前記実測値と前記予測値とを比較して、補正強度を決定する決定部と、
を備える、
ことを特徴とする。
また、前記目的を達成するため、本発明に係る撮像装置の一態様は、
被写体を撮像することによりターゲット画像を生成する撮像部と、
前記撮像部により生成された前記ターゲット画像を取得する前記画像処理装置と、
を備える、
ことを特徴とする。
また、前記目的を達成するため、本発明に係る画像処理方法の一態様は、
ターゲット画像を取得する取得工程と、
前記ターゲット画像から、被写体の特定部位を表す画像領域である基準領域を検出する検出工程と、
前記基準領域のサイズに基づいて、前記ターゲット画像が含む前記被写体の肌を表す画像領域のサイズの予測値を取得する予測工程と、
前記ターゲット画像に含まれる、前記被写体の前記肌を表す画像領域と同一又は類似した画素値を有する画像領域である補正対象領域のサイズの実測値を取得する実測工程と、
前記実測値と前記予測値とを比較して、補正強度を決定する決定工程と、
を含む、
ことを特徴とする。
また、前記目的を達成するため、本発明に係るプログラムの一態様は、
コンピュータを、
ターゲット画像を取得する取得部、
前記ターゲット画像から、被写体の特定部位を表す画像領域である基準領域を検出する検出部、
前記基準領域のサイズに基づいて、前記ターゲット画像が含む前記被写体の肌を表す画像領域のサイズの予測値を取得する予測部、
前記ターゲット画像に含まれる、前記被写体の前記肌を表す画像領域と同一又は類似した画素値を有する画像領域である補正対象領域のサイズの実測値を取得する実測部、
前記実測値と前記予測値とを比較して、補正強度を決定する決定部、
として機能させる、
ことを特徴とする。
【手続補正２】
【補正対象書類名】明細書
【補正対象項目名】００３２
【補正方法】変更
【補正の内容】
【００３２】
具体的には、実測部１０４は、ターゲット画像ＴＧの肌色マップを作成し、この肌色マップの積分値をターゲット画像ＴＧの肌色量の実測値として取得する。ここで、肌色マップは、ターゲット画像ＴＧを構成する画素のうち、画素値（色相、彩度、明度）が、ＨＳＶ色空間において、検出部１０２が取得した顔画像領域の画素値を含む所定の領域に含まれる画素のみで構成される画像である。所定の領域は、例えば、顔画像領域の画素値を中心とする所定の直方体領域である。所定の直方体領域は、任意の手法により予め設定しておけばよい。具体的には、複数の被写体人物の肌の画像を解析し、肌の画像を構成する各画素の画素値と、集計された各画素の画素値の最頻値である肌の画像の画素値と、の間の相関を求めることにより所定の直方体領域を適宜設定することができる。
【手続補正３】
【補正対象書類名】明細書
【補正対象項目名】００３６
【補正方法】変更
【補正の内容】
【００３６】
ここで、美肌処理とは、ターゲット画像ＴＧに対してフィルタ処理、露出補正、彩度調整等を施し、好ましい画像を生成する処理である。美肌処理は、当該技術分野において周知の技術であるため、詳細な説明は省略する。処理部１０６は、美肌処理に含まれるフィルタ処理、露出補正、彩度調整等の各処理の強度をそれぞれ調整することにより、美肌処理の強度を調整する。例えば、強度１００％の美肌処理が、露出を＋１．０ＥＶ変更する露出補正を含むと予め設定されており、かつ、決定部１０５によって美肌処理の強度が５０％と決定されたとする。この場合、処理部１０６は、強度５０％の美肌処理の一環として、露出を（＋１．０ＥＶ）×（５０／１００）＝＋０．５ＥＶ変更する露出補正を実行する。処理部１０６は、同様にして、美肌処理に含まれる各処理を、所定の補正強度と、予め設定された、強度１００％の美肌処理が含む各処理の強度と、に基づいて決定された強度にてそれぞれ実行することにより、所定の強度の美肌処理を実行する。
【手続補正４】
【補正対象書類名】明細書
【補正対象項目名】００５１
【補正方法】変更
【補正の内容】
【００５１】
本実施形態で、外部記憶部２３から取得されるＳｋｉｎＢａｓｅは、人物モデル（モデルとなる被写体人物）の全身画像に含まれる、この人物モデルの顔画像領域のサイズ（例えば、１００００ピクセル×ピクセル）と、この人物モデルの肌を表す画像領域のサイズ（例えば、１２００００ピクセル×ピクセル）と、を含んでいる。ここで、例えば、ステップＳ１０３において取得した、ステップＳ１０２で検出された顔画像領域のサイズが、２００００ピクセル×ピクセルであったと仮定する。この場合、予測部１０３は、ＳｋｉｎＢａｓｅで示される、人物モデルの肌を表す画像領域のサイズ（１２００００ピクセル×ピクセル）に、ステップＳ１０２において取得した顔画像領域のサイズ（２００００ピクセル×ピクセル）の、ＳｋｉｎＢａｓｅで示される、人物モデルの顔画像領域のサイズ（１００００ピクセル×ピクセル）に対する比率（２００００ピクセル×ピクセル／１００００ピクセル×ピクセル）を乗じることにより、ＳｋｉｎＢａｓｅＦｉｎｉｓｈ＝（１２００００ピクセル×ピクセル）×２＝２４００００ピクセル×ピクセルを取得する。
【手続補正５】
【補正対象書類名】明細書
【補正対象項目名】００６２
【補正方法】変更
【補正の内容】
【００６２】
尚、撮像装置１は、検出した顔画像領域（基準領域）のサイズを示す、面積以外の特徴量を取得してもよい。例えば、顔画像領域に外接する矩形領域の縦サイズ（縦方向ピクセル数）や横サイズ（横方向ピクセル数）、顔画像領域に外接する楕円形領域の長径（長径方向ピクセル数）や短径（短径方向ピクセル数）等を顔画像領域のサイズとして取得することができる。また、撮像装置１は、検出した顔画像領域がターゲット画像ＴＧ全体に占める割合を、この顔画像領域のサイズを示す特徴量として取得することもできる。
【手続補正６】
【補正対象書類名】明細書
【補正対象項目名】００７６
【補正方法】変更
【補正の内容】
【００７６】
尚、上述の色空間に設定される所定の領域は、被写体人物の肌の画像の画素値を中心とする所定の直方体領域には限定されず、例えば、球形や四角柱形等の任意の形状を有する領域であってもよい。また、被写体人物の肌の画像の画素値は、当該所定の領域に含まれてさえいればよく、中心以外の場所に位置してもよい。
【手続補正７】
【補正対象書類名】明細書
【補正対象項目名】００８３
【補正方法】変更
【補正の内容】
【００８３】
本実施形態において、撮像装置１は、補正強度を決定した後、決定した補正強度にてターゲット画像ＴＧに直接美肌処理を施すことにより、当該決定した補正強度の美肌処理が施された処理画像を生成した。撮像装置１は、ターゲット画像ＴＧに、直接、決定した補正強度で美肌処理を施す上述の方法以外の方法により、決定した補正強度の美肌処理が施された処理画像を生成することもできる。例えば、撮像装置１は、ターゲット画像ＴＧと、ターゲット画像ＴＧに所定の補正強度（例えば、１００％）にて美肌処理を施した画像と、を適切な比率にて重み付き合成することにより、所定の補正強度の美肌処理が施された処理画像を生成してもよい。この場合、撮像装置１がターゲット画像ＴＧに直接施す美肌処理の補正強度は、常に一定（この場合は、１００％）である。撮像装置１は、ターゲット画像ＴＧに施す美肌処理の補正強度ではなく、ターゲット画像とターゲット画像に所定の補正強度にて美肌処理を施した画像とをどのような比率にて重み付き合成するかを、ターゲット画像ＴＧに含まれる、被写体人物の肌を表す画像領域のサイズ（面積又は割合）の予測値とターゲット画像ＴＧの肌色量の実測値との比較結果に基づいて決定する。尚、重み付き合成は、２つの画像全体を対象として行ってもよいし、２つの画像の一部分（例えば、肌色領域として検出された部分）のみを対象として行ってもよい。
【手続補正８】
【補正対象書類名】明細書
【補正対象項目名】００９５
【補正方法】変更
【補正の内容】
【００９５】
実施形態１に係る画像処理装置１００は、図４のフローチャートにおけるステップＳ１０４の処理を説明した際に上述したとおり、ＳｋｉｎＢａｓｅと、検出された顔画像領域のサイズと、に基づいて、ＳｋｉｎＢａｓｅＦｉｎｉｓｈ（ターゲット画像ＴＧに含まれる、被写体人物の肌を表す画像領域のサイズ（面積又は割合）の予測値）を取得した。これに対し、本実施形態に係る画像処理装置１００は、ＳｋｉｎＢａｓｅと、顔画像領域のサイズと、に基づいて、ＳｋｉｎＢａｓｅＦｉｎｉｓｈではなく、ＳｋｉｎＢａｓｅ’を取得している。これは、実施形態１に係る画像処理装置１００が、図２に示す、被写体人物の全身画像すべてを含むターゲット画像ＴＧを対象として美肌処理を行っているのに対して、本実施形態に係る画像処理装置１００は、図８に示す、被写体人物の全身画像のうち一部分のみを含むターゲット画像ＴＧを対象として美肌処理を行っているからである。本実施形態に係る画像処理装置１００は、被写体人物の全身画像のうち、ターゲット画像ＴＧに含まれる部分の割合を参酌して、ターゲット画像ＴＧに含まれる、被写体人物の肌を表す画像領域のサイズの予測値を取得する。そのために、本実施形態に係る画像処理装置１００は、まず、ステップＳ２０２の処理により、７頭身の人物モデルの全身画像すべてがターゲット画像ＴＧに含まれていた場合における、ターゲット画像ＴＧに含まれる、被写体人物の肌を表す画像領域のサイズの予測値をＳｋｉｎＢａｓｅ’として取得する。そして、後述する図９のフローチャートのステップＳ２０３〜Ｓ２０５の処理を実行することにより、ＳｋｉｎＢａｓｅ’を、被写体人物の全身画像のうち、ターゲット画像ＴＧに含まれている部分の割合で調整することにより、ＳｋｉｎＢａｓｅＦｉｎｉｓｈ（ターゲット画像ＴＧに含まれる被写体人物の肌を表す画像領域のサイズの予測値）を取得するのである。
【手続補正９】
【補正対象書類名】明細書
【補正対象項目名】０１０５
【補正方法】変更
【補正の内容】
【０１０５】
尚、撮像装置１は、互いに頭身が異なる複数の人物モデルを用いて作成された複数種類のＳｋｉｎＢａｓｅを予め記憶しておき、これら複数種類のＳｋｉｎＢａｓｅのうち何れか１つを用いてＳｋｉｎＢａｓｅＦｉｎｉｓｈを取得することもできる。この場合、ＳｋｉｎＢａｓｅの選択は、ユーザが操作部３２を操作することによって行ってもよいし、撮像装置１が、顔画像領域から検出部１０２が取得した任意の特徴量に基づいて行ってもよい。例えば、撮像装置１は、検出した顔画像領域の特徴量（例えば、シワの数）から被写体人物の年齢を推定し、この推定年齢に基づいてＳｋｉｎＢａｓｅを選択してもよい。被写体人物が子供である場合、大人よりも小さい頭身である可能性が高いので、より頭身の小さい人物モデルに基づいて作成されたＳｋｉｎＢａｓｅを用いてＳｋｉｎＢａｓｅＦｉｎｉｓｈを取得することが好ましい。推定年齢に基づいてＳｋｉｎＢａｓｅを選択することで、ターゲット画像ＴＧに含まれる、被写体人物の肌を表す画像領域のサイズを、より正確に予測することができる。尚、撮像装置１がターゲット画像ＴＧから複数の顔画像領域を検出した場合、各顔画像領域から推定される被写体人物の年齢を集計し、推定年齢の最頻値、最大値、最小値、平均値、中央値、ターゲット画像ＴＧの中心に近い顔画像領域ほど推定年齢の重みが大きくなる重み付き平均値、最大のサイズ（面積又は割合）を有する顔画像領域から得られた推定年齢等を用いてＳｋｉｎＢａｓｅを選択することとしてもよい。
【手続補正１０】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
ターゲット画像を取得する取得部と、
前記ターゲット画像から、被写体の特定部位を表す画像領域である基準領域を検出する検出部と、
前記基準領域のサイズに基づいて、前記ターゲット画像が含む前記被写体の肌を表す画像領域のサイズの予測値を取得する予測部と、
前記ターゲット画像に含まれる、前記被写体の前記肌を表す画像領域と同一又は類似した画素値を有する画像領域である補正対象領域のサイズの実測値を取得する実測部と、
前記実測値と前記予測値とを比較して、補正強度を決定する決定部と、
を備える、
ことを特徴とする画像処理装置。
【請求項２】
前記検出部は、前記ターゲット画像から検出した前記基準領域の数に基づいて、前記ターゲット画像が含む前記被写体の人数を取得し、
前記予測部は、前記人数を参酌して前記予測値を取得する、
ことを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記基準領域は、前記被写体の顔画像領域である、
ことを特徴とする請求項１又は２に記載の画像処理装置。
【請求項４】
モデルとなる前記被写体の前記特定部位を表す画像領域のサイズと、前記モデルとなる前記被写体の前記肌を表す画像領域のサイズと、に基づいて予め作成された、前記予測値を取得するためのモデルデータを記憶する記憶部をさらに備え、
前記予測部は、前記記憶部に記憶された前記モデルデータを参酌して前記予測値を取得する、
ことを特徴とする請求項１乃至３の何れか１項に記載の画像処理装置。
【請求項５】
前記予測部は、前記被写体の全身画像のうちの前記ターゲット画像に含まれる部分の割合を推定し、推定した前記割合を参酌して前記予測値を取得する、
ことを特徴とする請求項１乃至４の何れか１項に記載の画像処理装置。
【請求項６】
前記予測部は、前記基準領域の前記ターゲット画像における配置情報を参酌して前記割合を推定する、
ことを特徴とする請求項５に記載の画像処理装置。
【請求項７】
前記予測部は、前記基準領域に基づいて推定した前記被写体の年齢を参酌して前記割合を推定する、
ことを特徴とする請求項５又は６に記載の画像処理装置。
【請求項８】
前記決定部は、前記実測値が前記予測値を所定の閾値を超えて上回っている場合、前記実測値が前記予測値を前記所定の閾値を超えて上回っていない場合に決定する強度に比べて小さい強度を前記補正強度として決定する、
ことを特徴とする請求項１乃至７の何れか１項に記載の画像処理装置。
【請求項９】
前記ターゲット画像のうちの前記補正対象領域に前記補正強度で画像処理が施された処理画像を生成する処理部を更に備える、
ことを特徴とする請求項１乃至８の何れか１項に記載の画像処理装置。
【請求項１０】
被写体を撮像することによりターゲット画像を生成する撮像部と、
前記撮像部により生成された前記ターゲット画像を取得する請求項１から９の何れか１項に記載の画像処理装置と、
を備える、
ことを特徴とする撮像装置。
【請求項１１】
ターゲット画像を取得する取得工程と、
前記ターゲット画像から、被写体の特定部位を表す画像領域である基準領域を検出する検出工程と、
前記基準領域のサイズに基づいて、前記ターゲット画像が含む前記被写体の肌を表す画像領域のサイズの予測値を取得する予測工程と、
前記ターゲット画像に含まれる、前記被写体の前記肌を表す画像領域と同一又は類似した画素値を有する画像領域である補正対象領域のサイズの実測値を取得する実測工程と、
前記実測値と前記予測値とを比較して、補正強度を決定する決定工程と、
を含む、
ことを特徴とする画像処理方法。
【請求項１２】
前記ターゲット画像のうちの前記補正対象領域に前記補正強度で画像処理が施された処理画像を生成する処理工程を更に含む、
ことを特徴とする請求項１１に記載の画像処理方法。
【請求項１３】
コンピュータを、
ターゲット画像を取得する取得部、
前記ターゲット画像から、被写体の特定部位を表す画像領域である基準領域を検出する検出部、
前記基準領域のサイズに基づいて、前記ターゲット画像が含む前記被写体の肌を表す画像領域のサイズの予測値を取得する予測部、
前記ターゲット画像に含まれる、前記被写体の前記肌を表す画像領域と同一又は類似した画素値を有する画像領域である補正対象領域のサイズの実測値を取得する実測部、
前記実測値と前記予測値とを比較して、補正強度を決定する決定部、
として機能させる、
ことを特徴とするプログラム。
【請求項１４】
前記コンピュータを、
前記ターゲット画像のうちの前記補正対象領域に前記補正強度で画像処理が施された処理画像を生成する処理部、
として更に機能させる、
ことを特徴とする請求項１３に記載のプログラム。