(57)【要約】【課題】被写体の肌色らしい色に補正することができる画像処理装置を提供する。【解決手段】画像処理装置は、被写体像が撮像された画像を取得する画像取得手段と、取得された画像に含まれる特定の色を有する特定色領域を、特定色領域に含まれる各画素の色相に基づいて検出する特定色領域検出手段と、検出された特定色領域に含まれる補正対象画素を、特定色領域に含まれる各画素の明度に基づいて検出する補正対象画素検出手段と、検出された補正対象画素の明度および彩度を、特定色領域に含まれる複数の画素の明度の最頻値および彩度の最頻値に基づいて補正する補正手段とを備える。【選択図】図２
2015094991.tif 000002
【特許請求の範囲】
【請求項１】
被写体像が撮像された画像を取得する画像取得手段と、
取得された前記画像に含まれる特定の色を有する特定色領域を、前記特定色領域に含まれる各画素の色相に基づいて検出する特定色領域検出手段と、
検出された前記特定色領域に含まれる補正対象画素を、前記特定色領域に含まれる前記各画素の明度に基づいて検出する補正対象画素検出手段と、
検出された前記補正対象画素の明度および彩度を、前記特定色領域に含まれる複数の画素の明度の最頻値および彩度の最頻値に基づいて補正する補正手段とを備えることを特徴とする画像処理装置。
【請求項２】
請求項１に記載の画像処理装置において、
前記補正対象画素検出手段は、前記特定色領域に含まれる前記各画素の前記明度および彩度と、前記特定色領域に含まれる前記複数の画素の平均明度、平均彩度および彩度の標準偏差とに基づいて検出することを特徴とする画像処理装置。
【請求項３】
請求項２に記載の画像処理装置において、
前記補正対象画素検出手段は、前記特定色領域に含まれる前記各画素の前記明度が前記平均明度以上であって、かつ前記各画素の前記彩度が前記平均彩度と前記彩度の標準偏差との差以下であるとき、前記各画素を前記補正対象画素として検出することを特徴とする画像処理装置。
【請求項４】
請求項３に記載の画像処理装置において、
前記補正対象画素検出手段は、さらに、前記各画素の前記彩度が、前記平均彩度から、前記彩度の標準偏差の所定数倍を差し引いた値以下であるとき、前記各画素を前記補正対象画素として検出することを特徴とする画像処理装置。
【請求項５】
請求項３または４に記載の画像処理装置において、
前記補正対象画素検出手段は、さらに、前記特定色領域に含まれる前記各画素の前記明度が、前記平均明度に、前記特定色領域に含まれる前記複数の画素の明度の標準偏差に所定の係数を乗じた値を加算した値以上であるとき、前記各画素を前記補正対象画素として検出することを特徴とする画像処理装置。
【請求項６】
請求項１〜５のいずれか１項に記載の画像処理装置において、
前記補正手段は、前記補正対象画素の前記明度を、前記補正対象画素の前記明度から、前記補正対象画素の前記明度と前記明度の最頻値との差に所定の係数を乗じた値を減算することによって補正するとともに、前記補正対象画素の前記彩度を、前記補正対象画素の前記彩度から、前記補正対象画素の前記彩度と前記彩度の最頻値との差に前記所定の係数を乗じた値を減算することによって補正することを特徴とする画像処理装置。
【請求項７】
請求項１〜６のいずれか１項に記載の画像処理装置において、
前記補正対象画素検出手段は、前記特定色領域に含まれる前記各画素の前記明度の２次微分値が所定値以下であるとき、前記各画素を前記補正対象画素として検出することを特徴とする画像処理装置。
【請求項８】
請求項１〜７のいずれか１項に記載の画像処理装置と、
被写体からの被写体光が撮影レンズを透過することによって結像される前記被写体像を撮像して前記画像の画像信号を出力する撮像素子とを備える撮像装置。
【請求項９】
被写体像が撮像された画像を取得する画像取得処理と、
取得された前記画像に含まれる特定の色を有する特定色領域を、前記特定色領域に含まれる各画素の色相に基づいて検出する特定色領域検出処理と、
検出された前記特定色領域に含まれる補正対象画素を、前記特定色領域に含まれる前記各画素の明度に基づいて検出する補正対象画素検出処理と、
検出された前記補正対象画素の明度および彩度を、前記特定色領域に含まれる複数の画素の明度の最頻値および彩度の最頻値に基づいて補正する補正処理とをコンピュータに実行させることを特徴とする画像処理プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理装置、撮像装置および画像処理プログラムに関する。
【背景技術】
【０００２】
ポートレート写真において、肌色を好ましい肌色に補正する顔写真補正処理が行われている。顔写真において、顔表面の皮脂等による影響で白っぽく光って撮影される場合があり、これはテカリとしてあまり好まれない要素となる。そのため、そのようなテカリ成分として特定される領域に対して、テカリ成分を軽減して、より好ましい画像を得る技術が開示されている（例えば、特許文献１参照）。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０１１−４４１３２号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
特許文献１に記載の技術によると、テカリ領域の色相、明度および彩度が、平均肌情報および平均テカリ情報に基づいて決定される肌色目標値に補正される。しかし、肌色領域における色の分布にバラツキが大きい場合に、平均肌情報および平均テカリ情報に基づく補正によると、被写体の肌色らしい色とは異なってしまって、適正に補正することができないという問題がある。
【課題を解決するための手段】
【０００５】
（１）請求項１に記載の画像処理装置は、被写体像が撮像された画像を取得する画像取得手段と、取得された画像に含まれる特定の色を有する特定色領域を、特定色領域に含まれる各画素の色相に基づいて検出する特定色領域検出手段と、検出された特定色領域に含まれる補正対象画素を、特定色領域に含まれる各画素の明度に基づいて検出する補正対象画素検出手段と、検出された補正対象画素の明度および彩度を、特定色領域に含まれる複数の画素の明度の最頻値および彩度の最頻値に基づいて補正する補正手段とを備えることを特徴とする。
（２）請求項９に記載の画像処理プログラムは、被写体像が撮像された画像を取得する画像取得処理と、取得された画像に含まれる特定の色を有する特定色領域を、特定色領域に含まれる各画素の色相に基づいて検出する特定色領域検出処理と、検出された特定色領域に含まれる補正対象画素を、特定色領域に含まれる各画素の明度に基づいて検出する補正対象画素検出処理と、検出された補正対象画素の明度および彩度を、特定色領域に含まれる複数の画素の明度の最頻値および彩度の最頻値に基づいて補正する補正処理とをコンピュータに実行させることを特徴とする。
【発明の効果】
【０００６】
本発明によれば、肌色領域の分布におけるムラが大きい場合であっても、被写体の肌色らしい色に補正することができる。
【図面の簡単な説明】
【０００７】
【図１】一実施の形態における画像処理装置を有する撮像装置のブロック構成図である。
【図２】テカリ補正に関する画像処理のフローチャートである。
【図３】肌色領域およびテカリ画素を説明するための図である。
【図４】肌色領域に含まれる複数の画素の明度および彩度の頻度分布図である。
【図５】変形例におけるテカリ補正に関する画像処理のフローチャートである。
【図６】変形例におけるテカリ補正に関する画像処理のフローチャートである。
【図７】変形例におけるテカリ補正に関する画像処理のフローチャートである。
【図８】変形例における画像処理装置を有するパソコンおよびパソコンと接続される撮像装置のブロック構成図である。
【図９】本発明による画像処理装置が画像処理を実行するためのコンピュータプログラム製品の提供形態を示す図である。
【発明を実施するための形態】
【０００８】
図１は、本発明の一実施の形態における画像処理装置１１０を有する撮像装置１００のブロック構成図である。撮像装置１００は、画像処理装置１１０、イメージセンサ１２０、撮影レンズ１３０およびモニタ１４０を有するとともに、記録媒体１５０を接続することができる。撮影レンズ１３０は、不図示の被写体から到来する被写体光を透過してイメージセンサ１２０に被写体像を結像する。イメージセンサ１２０は、その結像された被写体像を撮像することによって画像を出力する。後述するように、イメージセンサ１２０によって被写体像が撮像された画像は画像処理装置１１０によって取得され、後述する画像処理が行われた後、補正された画像がモニタ１４０および／または記録媒体１５０に出力される。
【０００９】
画像処理装置１１０は、画像処理プログラムを実行するコンピュータである。画像処理装置１１０は、画像取得部１１１、色空間変換部１１２、肌色領域検出部１１３、テカリ画素検出部１１４、テカリ補正部１１５および画像出力部１１６を有する。画像取得部１１１は、イメージセンサ１２０によって被写体像が撮像された画像を取得する。画像取得部１１１によって取得された画像は、ＲＧＢ色空間で表されるＲＧＢ画像である。色空間変換部１１２は、ＲＧＢ色空間をＬＣｈ色空間に変換することによって、画像取得部１１１によって取得された画像を、色相ｈ、明度Ｌ＊および彩度Ｃ＊で表されるＬＣｈ画像に変換する。肌色領域検出部１１３は、画像取得部１１１によって取得され、色空間変換部１１２によって変換された画像に含まれる肌色を有する肌色領域を検出する。テカリ画素検出部１１４は、肌色領域検出部１３によって検出された肌色領域に含まれるテカリ画素を検出する。テカリ補正部１１５は、テカリ画素検出部１１４によって検出されたテカリ画素の明度および彩度を補正することによって、画像中のテカリ画素を除去する。色空間変換部１１２は、ＬＣｈ色空間をＲＧＢ色空間に変換することによって、テカリ補正部１１５によってテカリ画素が除去されたＬＣｈ画像をＲＧＢ画像に変換する。画像出力部１１６は、テカリ補正部１１５によってテカリ画素が除去されたＬＣｈ画像が、色空間変換部１１２によって変換されたＲＧＢ画像を、モニタ１４０および／または撮像装置１００の外部の記録媒体１５０へ出力する。
【００１０】
図２は、テカリ補正に関する画像処理のフローチャートである。この画像処理は画像処理装置１１０が予め記憶しているコンピュータプログラムを実行することによって行われる。この画像処理が開始されると、ステップＳ１０において、画像処理装置１１０の画像取得部１１１は、イメージセンサ１２０によって被写体像が撮像された画像を取得する。その際、画像取得部１１１は、イメージセンサ１２０または不図示の測光センサから測光データを取得し、イメージセンサ１２０によって出力されたＲＡＷ画像を取得し、その取得したＲＡＷ画像に対して、ＲＧＢ補間、ホワイトバランス、ノイズ除去等の処理を行う。
【００１１】
ステップＳ２０において、画像処理装置１１０の色空間変換部１１２は、画像取得部１１１によって取得されたＲＧＢ画像のＲＧＢ色空間を、公知の変換技術を用いてＬＣｈ色空間に変換する。具体的には、色空間変換部１１２は、ステップＳ１０において画像取得部１１１によって取得された測光データ、例えばイメージセンサ１２０のＲＧＢ分光感度、撮影時の照明条件、および画像出力色空間情報を用いて、ＲＧＢ色空間から輝度色差分離空間であるＬＣｈ空間に変換する。こうした色空間の変換を行うことによって、色空間変換部１１２は、画像取得部１１１によって取得されたＲＧＢ画像を、色相ｈ、明度Ｌ＊および彩度Ｃ＊で表されるＬＣｈ画像に変換する。
【００１２】
ステップＳ３０において、画像処理装置１１０の肌色領域検出部１１３は、公知の技術を用い、色相ｈに基づいて、肌色らしい色相を示す肌色領域を検出する。肌色領域の例については、図３を用いて後述する。色相ｈに基づいて肌色領域を検出する場合、明度Ｌ＊が肌色よりも小さいにもかかわらず肌色と似た色相を有する領域、あるいは彩度Ｃ＊が肌色よりも大きいにもかかわらず肌色と似た色相を有する領域、例えばピンク色の唇や淡い茶色の壁などを、肌色領域として検出する可能性がある。また、肌色領域の色相は肌色タイプによって異なるが、肌色領域の明度Ｌ＊と彩度Ｃ＊とは肌色タイプによらず概ね線形性を有している。したがって、肌色領域検出部１１３は、色相ｈに加えて明度Ｌ＊と彩度Ｃ＊とに基づいて肌色領域を検出してもよい。例えば、肌色領域検出部１１３は、肌色らしい色相を示し、かつ明度Ｌ＊および彩度Ｃ＊が所定範囲を満たす領域を、肌色領域として検出する。
【００１３】
ステップＳ４０において、画像処理装置１１０のテカリ画素検出部１１４は、ステップＳ３０で肌色領域検出部１１３によって検出された肌色領域に含まれるテカリ画素を、肌色領域に含まれる各画素の明度Ｌ＊および彩度Ｃ＊と、その肌色領域に含まれる複数の画素の平均明度Ｌ＊＿ｍｅａｎ、平均彩度Ｃ＊＿ｍｅａｎおよび彩度の標準偏差Ｃ＊＿ｓｄとに基づいて検出する。テカリ画素の例については、図３を用いて後述する。具体的には、肌色領域に含まれる各画素の明度Ｌ＊および彩度Ｃ＊が、それぞれ以下の式（１）および（２）を満たすとき、テカリ画素検出部１１４は、各画素をテカリ画素として検出する。すなわち、肌色領域に含まれる画素の明度Ｌ＊が上述した平均明度Ｌ＊＿ｍｅａｎ以上であって、かつその画素の彩度Ｃ＊が上述した平均彩度Ｃ＊＿ｍｅａｎと彩度の標準偏差Ｃ＊＿ｓｄとの差以下であるとき、その画素をテカリ画素として検出する処理を、肌色領域に含まれる各画素について、テカリ画素検出部１１４が行う。テカリ画素検出部１１４によって検出されたテカリ画素は、後述するテカリ補正部１１５によって補正される補正対象画素となる。
Ｌ＊≧Ｌ＊＿ｍｅａｎ                        （１）
Ｃ＊≦Ｃ＊＿ｍｅａｎ−Ｃ＊＿ｓｄ            （２）
【００１４】
顔画像などのテカリ補正が行われる通常の対象画像においては、テカリ画素を多く含む領域のみが元の画像から切り出されて得られたような場合でない限り、肌色領域内のテカリ画素の割合は他の画素の割合と比較して少ないと考えられる。肌色領域内は必ずしも完全に均一な肌色とは限らないが、通常、統計的には、明度Ｌ＊および／または彩度Ｃ＊の平均値ＡＶＧおよび標準偏差σを示す肌色領域内の全画素に対する、ＡＶＧ±σの範囲に含まれる画素、およびＡＶＧ±２σの範囲に含まれる画素（テカリ画素以外の他の画素）の割合は、それぞれ概ね６８％および９５％と考えられる。テカリ画素は、肌色領域内の他の画素と比較して、明度Ｌ＊が大きく、かつ彩度Ｃ＊が小さいことが知られている。したがって、テカリ画素の明度Ｌ＊は平均明度Ｌ＊＿ｍｅａｎよりも十分に大きく、かつ彩度Ｃ＊は平均彩度Ｃ＊＿ｍｅａｎよりも十分に小さいと考えられる。そこで、式（２）においては、右辺の平均彩度Ｃ＊＿ｍｅａｎから所定量を差し引くこととし、所定量を肌色領域の彩度の標準偏差Ｃ＊＿ｓｄとする。このようにすることによって、肌色領域内のテカリ画素以外の他の画素のうち、平均彩度Ｃ＊＿ｍｅａｎよりも僅かに小さい彩度Ｃ＊を有する画素がテカリ画素として誤検出されてしまうことを防ぐことができる。なお、演算量を低減するためには、所定量を固定値としてもよいが、撮影条件や被写体人物に応じて、肌色領域における彩度Ｃ＊のばらつきに対応するためには、所定量を肌色領域の彩度の標準偏差Ｃ＊＿ｓｄとするのが好ましい。
【００１５】
上述したように、肌色領域の明度Ｌ＊と彩度Ｃ＊とは概ね線形性を有しているため、式（２）において、肌色領域の彩度の標準偏差Ｃ＊＿ｓｄが考慮されていると、式（２）を満たす画素は、肌色領域に含まれる画素であってかつテカリ画素でなければ通常式（１）が満たされるはずである。しかし、明度が低い唇、肌色に色相が近い茶色の壁紙や物体などが肌色領域として検出された場合を考慮すると、それらの領域に含まれる画素がテカリ画素として検出されないように、彩度Ｃ＊に関する式（２）だけでなく、明度Ｌ＊に関する式（１）も用いられることが好ましい。すなわち、明度および彩度がともに低い画素がテカリ画素として検出されないように、式（１）および（２）が併用されることが好ましい。なお、後述するように、式（１）の代わりに式（６）を用いて、肌色領域の明度の標準偏差が考慮されることとしてもよい。テカリ画素は、後述するように、画像処理装置１１０のテカリ補正部１１５によって明度Ｌ＊および彩度Ｃ＊が補正されることによってテカリ補正が行われる補正対象画素である。テカリ画素の例については、図３を用いて後述する。
【００１６】
ステップＳ５０において、画像処理装置１１０のテカリ補正部１１５は、ステップＳ４０でテカリ画素検出部１１４によって検出されたテカリ画素の明度Ｌ＊および彩度Ｃ＊を、ステップＳ３０で肌色領域検出部１１３によって検出された肌色領域に含まれる複数の画素の明度の最頻値Ｌ＊＿ｍおよび彩度の最頻値Ｃ＊＿ｍに基づいて補正する。具体的には、テカリ補正部１１５は、以下の代入式（３）および（４）を用いてテカリ補正を行う。左辺の明度Ｌ＊および彩度Ｃ＊の補正後の値は、右辺の明度Ｌ＊および彩度Ｃ＊の補正前の値と明度の最頻値Ｌ＊＿ｍおよび彩度の最頻値Ｃ＊＿ｍとに基づいて、それぞれ算出される。すなわち、代入式（３）の左辺の明度Ｌ＊の補正後の値は、右辺のテカリ画素の明度Ｌ＊から、テカリ画素の明度Ｌ＊と明度の最頻値Ｌ＊＿ｍとの差に所定の係数αを乗じた値を減算することによって、補正されている。代入式（４）の左辺の彩度Ｃ＊の補正後の値は、右辺のテカリ画素の彩度Ｃ＊から、テカリ画素の彩度Ｃ＊と彩度の最頻値Ｃ＊＿ｍとの差に所定の係数αを乗じた値を減算することによって、補正されている。
Ｌ＊：＝Ｌ＊−（Ｌ＊−Ｌ＊＿ｍ）×α            （３）
Ｃ＊：＝Ｃ＊−（Ｃ＊−Ｃ＊＿ｍ）×α            （４）
【００１７】
上述した式（３）および（４）において、明度の最頻値Ｌ＊＿ｍおよび彩度の最頻値Ｃ＊＿ｍは、例えば、肌色領域に含まれる複数の画素を対象として、後述する図４に示す明度Ｌ＊および彩度Ｃ＊のヒストグラムを生成することによって得られる。テカリ画素の明度Ｌ＊と明度の最頻値Ｌ＊＿ｍとの差に乗じる所定の係数αは、補正強度を調整するパラメータであり、０≦α≦１を満たす。所定の係数αは、本画像処理装置１１０の製造者による何らかのポリシーに基づいて決定されてもよいし、使用者自らの主観評価に基づいて決定されてもよい。所定の係数αの値が０に近づくと、補正が緩和されて各画素が本来的に有する明度および彩度の値が維持されるようになる。所定の係数αの値が１に近づくと、補正が強化されて各画素が本来的に有する明度および彩度の値が失われて、各画素の補正後の明度および彩度は、一様に最頻値に近づくようになる。
【００１８】
上述したステップＳ５０において、テカリ補正部１１５は、テカリ画素の明度Ｌ＊および彩度Ｃ＊を補正する前に、テカリ画素に対して公知の平滑化処理を行うこととしてもよい。一般にテカリ画素の位置には、被写体の肌の構造（例えば毛穴）に起因する何らかの画像上の構造（例えば影）が存在するため、テカリ画素の明度Ｌ＊および彩度Ｃ＊を補正するだけでは、そうした画像上の構造は残存してしまうからである。
【００１９】
ステップＳ６０において、画像処理装置１１０の色空間変換部１１２は、ステップＳ２０における変換とは逆に、ＬＣｈ色空間を、公知の変換技術を用いてＲＧＢ色空間に変換する。色空間が変換されることによって、ＬＣｈ画像がＲＧＢ画像に変換される。
【００２０】
ステップＳ７０において、画像処理装置１１０の画像出力部１１６は、ステップＳ６０での色空間変換部１１２による変換によって得られたＲＧＢ画像を、所定の出力フォーマットにエンコーディングして、モニタ１４０および／または撮像装置１００の外部の記録媒体１５０へ出力する。出力が完了すると、この画像処理は終了する。
【００２１】
図３は、図２のステップＳ３０で検出される肌色領域およびステップＳ４０で検出されるテカリ画素を説明するための図である。図３（ａ）では、画像３００の中に、女性の被写体像が含まれており、その女性の顔に該当する肌色領域３２０にハッチングが付されている。図２のステップＳ３０において、画像処理装置１１０の肌色領域検出部１１３は、色相ｈに基づいて、図３（ａ）に示す画像３００の中から肌色らしい色相を示す肌色領域３２０を検出する。
【００２２】
図３（ｂ）には、肌色領域３２０の中に、テカリ画素が集中して存在するテカリ集中領域３５０と、テカリ画素が点在して存在するテカリ点在画素３７０とが存在する例が示されている。それらのテカリ集中領域３５０やテカリ点在画素３７０に含まれる画素は、条件式（１）および（２）を満たすと、図２のステップＳ４０において、画像処理装置１１０のテカリ画素検出部１１４によって検出される。
【００２３】
図４は、図３に示す肌色領域３２０に含まれる複数の画素の明度Ｌ＊および彩度Ｃ＊のヒストグラムを例示している。図４（ａ）において、横軸には明度Ｌ＊として、最頻値（最頻明度値）Ｌ＊＿ｍと、その前後の明度値Ｌ＊＿ｍ−２、Ｌ＊＿ｍ−１、Ｌ＊＿ｍ＋１、Ｌ＊＿ｍ＋２、Ｌ＊＿ｍ＋３およびＬ＊＿ｍ＋４が例示され、縦軸には、横軸の明度Ｌ＊の各明度値を示す画素の数（頻度）が示されている。図４（ａ）に示す例では、明度Ｌ＊が最頻値Ｌ＊＿ｍのとき、頻度は最大値を示している。このようにして特定される最頻値Ｌ＊＿ｍが、ステップＳ５０における画像処理装置１１０のテカリ補正部１１５による補正に用いられる。明度Ｌ＊の最頻値Ｌ＊＿ｍではなく、例えばステップＳ４０で用いられる平均明度Ｌ＊＿ｍｅａｎがステップＳ５０でも用いられた場合、図４（ａ）に示すようにヒストグラムに偏りや２箇所以上のピーク（例えば明度値Ｌ＊＿ｍ（最頻値）およびＬ＊＿ｍ＋４）が存在するような状況においては、平均明度Ｌ＊＿ｍｅａｎと最頻値Ｌ＊＿ｍとの差が大きくなる。そのため、テカリ補正部１１５による補正は、最も肌色らしい色とは異なる色にテカリ画素の色を近づけてしまうこととなり、不自然な補正結果が得られる可能性がある。したがって、ステップＳ５０では、平均明度Ｌ＊＿ｍｅａｎよりも明度Ｌ＊の最頻値Ｌ＊＿ｍが用いられることの方が好ましい。
【００２４】
図４（ｂ）において、横軸には彩度Ｃ＊として、最頻値（最頻彩度値）彩度Ｃ＊＿ｎと、その前後の彩度値彩度Ｃ＊＿ｎ−５、Ｃ＊＿ｎ−４、Ｃ＊＿ｎ−３、Ｃ＊＿ｎ−２、Ｃ＊＿ｎ−１およびＣ＊＿ｎ＋１が例示され、縦軸には、横軸の彩度Ｃ＊の各彩度値を示す画素の数（頻度）が示されている。図４（ｂ）に示す例では、彩度Ｃ＊が最頻値Ｃ＊＿ｎのとき、頻度は最大値を示している。このようにして特定される最頻値Ｃ＊＿ｎが、ステップＳ５０における画像処理装置１１０のテカリ補正部１１５による補正に用いられる。彩度Ｃ＊の最頻値Ｃ＊＿ｎではなく、例えばステップＳ４０で用いられる平均彩度Ｃ＊＿ｍｅａｎがステップＳ５０でも用いられた場合、図４（ｂ）に示すようにヒストグラムに偏りや２箇所以上のピーク（例えば彩度値Ｃ＊＿ｎ（最頻値）およびＣ＊＿ｎ−５）が存在するような状況においては、平均彩度Ｃ＊＿ｍｅａｎと最頻値Ｃ＊＿ｎとの差が大きくなる。そのため、テカリ補正部１１５による補正は、最も肌色らしい色とは異なる色にテカリ画素の色を近づけてしまうこととなり、不自然な補正結果が得られる可能性がある。したがって、ステップＳ５０では、平均明度Ｃ＊＿ｍｅａｎよりも彩度Ｃ＊の最頻値Ｃ＊＿ｎが用いられることの方が好ましい。
【００２５】
本実施の形態における画像処理装置１１０は、テカリ画素検出部１１４によって検出されたテカリ画素の明度Ｌ＊および彩度Ｃ＊を、ステップＳ３０で肌色領域検出部１１３によって検出された肌色領域に含まれる複数の画素の明度の最頻値Ｌ＊＿ｍおよび彩度の最頻値Ｃ＊＿ｍに基づいて補正するテカリ補正部１１５を有する。したがって、肌色領域の分布におけるムラが大きい場合であっても、被写体の肌色らしい色に補正することができる。
【００２６】
本実施の形態における画像処理装置１１０は、肌色領域検出部１１３によって検出された肌色領域に含まれるテカリ画素を、肌色領域に含まれる各画素の明度Ｌ＊および彩度Ｃ＊と、その肌色領域に含まれる複数の画素の平均明度Ｌ＊＿ｍｅａｎ、平均彩度Ｃ＊＿ｍｅａｎおよび彩度の標準偏差Ｃ＊＿ｓｄとに基づいて検出するテカリ画素検出部１１４を有する。したがって、テカリ画素ではない画素をテカリ画素として誤検出して、テカリ補正部１１５によって不必要な補正が行われてしまうことを防止し、適切にテカリ画素を検出することができる。
【００２７】
本実施の形態における画像処理装置１１０において、テカリ補正部１１５は、テカリ画素の明度Ｌ＊を、明度の最頻値Ｌ＊＿ｍに、テカリ画素の明度Ｌ＊と明度の最頻値Ｌ＊＿ｍとの差に所定の係数αを乗じた値を加算することによって補正するとともに、テカリ画素の彩度Ｃ＊を、彩度の最頻値Ｃ＊＿ｍに、テカリ画素の彩度Ｃ＊と彩度の最頻値Ｃ＊＿ｍとの差に所定の係数αを乗じた値を加算することによって補正する。したがって、製造者のポリシーまたは設計者の主観評価に基づいて所定の係数αの値が調整されることによって、適切な補正強度でテカリ補正を行うことができる。
【００２８】
−−−変形例−−−
（１）上述した実施の形態においては、図２のステップＳ４０において、肌色領域に含まれる各画素がテカリ画素として検出される条件式の１つである式（２）として、各画素の彩度Ｃ＊が、上述した平均彩度Ｃ＊＿ｍｅａｎと彩度の標準偏差Ｃ＊＿ｓｄとの差以下であることとした。しかし、肌色領域に含まれる各画素の彩度Ｃ＊が、式（５）に示すように、上述した平均彩度Ｃ＊＿ｍｅａｎから、彩度の標準偏差Ｃ＊＿ｓｄの所定数倍、例えばβ倍を差し引いた値以下であるとき、各画素をテカリ画素としてテカリ画素検出部１１４が検出することとしてもよい。所定数βは０より大きいかまたは０に等しい。
Ｃ＊≦Ｃ＊ｍｅａｎ−Ｃ＊ｓｄ×β            （５）
【００２９】
式（５）において、所定数βを小さくすると、肌色領域に含まれるテカリ画素以外の他の画素の一部がテカリ画素として誤検出される可能性が高まる一方、すべての真のテカリ画素が確実に検出され、ステップＳ５０で確実に補正される可能性も高まる。逆に、所定数βを大きくすると、真のテカリ画素の一部がテカリ画素として検出されない可能性が高まる一方、肌色領域に含まれるテカリ画素以外の他の画素がテカリ画素として誤検出される可能性が低くなって、ステップＳ５０における補正後に自然な画像が得られる可能性が高まる。このような特性を踏まえた製造者のポリシーまたは設計者の主観評価に基づいて所定数βの値が調整されることによって、自然なテカリ補正を実現することができる。
【００３０】
さらに、図２のステップＳ４０において、肌色領域に含まれる各画素がテカリ画素として検出される条件式の１つである式（１）として、各画素の明度Ｌ＊が、上述した平均明度Ｌ＊＿ｍｅａｎ以下であることとした。しかし、ステップＳ３０で行われる肌色領域の検出処理においては、色相ｈだけでなく明度Ｌ＊および彩度Ｃ＊に基づいてもなお、それら明度Ｌ＊および彩度Ｃ＊が満たすべき上述した「所定範囲」の値によっては、真の肌色領域以外の領域も肌色領域として誤検出される可能性がある。そのような誤検出された肌色領域に含まれる画素に対してテカリ補正が行われないようにするため、肌色領域に含まれる各画素の明度Ｌ＊が、平均明度Ｌ＊＿ｍｅａｎに、肌色領域に含まれる複数の画素の明度の標準偏差Ｌ＊＿ｓｄに所定の係数γを乗じた値を加算した値以上であるとき、各画素をテカリ画素としてテカリ画素検出部１１４が検出することとしてもよい。所定の係数γは０より大きいかまたは０に等しい。
Ｌ＊≧Ｌ＊＿ｍｅａｎ  ＋Ｌ＊ｓｄ×γ        （６）
【００３１】
式（６）において、所定の係数γを小さくすると、肌色領域に含まれるテカリ画素以外の他の画素の一部がテカリ画素として誤検出される可能性が高まる一方、すべての真のテカリ画素が確実に検出され、ステップＳ５０で確実に補正される可能性も高まる。逆に、所定の係数γを大きくすると、真のテカリ画素の一部がテカリ画素として検出されない可能性が高まる一方、肌色領域に含まれるテカリ画素以外の他の画素がテカリ画素として誤検出される可能性が低くなって、ステップＳ５０における補正後に自然な画像が得られる可能性が高まる。このような特性を踏まえた製造者のポリシーまたは設計者の主観評価に基づいて所定の係数γの値が調整されることによって、自然なテカリ補正を実現することができる。
【００３２】
図５は、本変形例におけるテカリ補正に関する画像処理のフローチャートである。図５に示すフローチャートと図２に示すフローチャートとの相違点は、ステップＳ４０の代わりにステップＳ４２における処理が行われる点である。ステップＳ４２においては、画像処理装置１１０のテカリ画素検出部１１４は、ステップＳ３０で肌色領域検出部１１３によって検出された肌色領域に含まれるテカリ画素を、肌色領域に含まれる各画素の明度Ｌ＊および彩度Ｃ＊と、その肌色領域に含まれる複数の画素の平均明度Ｌ＊＿ｍｅａｎ、平均彩度Ｃ＊＿ｍｅａｎ、明度の標準偏差Ｌ＊＿ｓｄおよび彩度の標準偏差Ｃ＊＿ｓｄとに基づいて、式（５）および（６）を用いて検出する。
【００３３】
（２）上述した実施の形態および変形例においては、図２のステップＳ４０において、テカリ画素検出部１１４は、肌色領域検出部１１３によって検出された肌色領域に含まれるテカリ画素を、肌色領域に含まれる各画素の明度Ｌ＊および彩度Ｃ＊と、その肌色領域に含まれる複数の画素の平均明度Ｌ＊＿ｍｅａｎおよび平均彩度Ｃ＊＿ｍｅａｎ等に基づいて検出する。図６は、本変形例におけるテカリ補正に関する画像処理のフローチャートである。図６（ａ）に示すフローチャートと図２に示すフローチャートとの相違点は、ステップＳ４０の代わりにステップＳ４５における処理が行われる点である。ステップＳ４５においては、画像処理装置１１０のテカリ画素検出部１１４は、ステップＳ３０で肌色領域検出部１１３によって検出された肌色領域に含まれる各画素の明度Ｌ＊の２次微分値が所定値以下のとき（明度Ｌ＊の２次微分値が負の数であって、その２次微分値の絶対値が大きくなる場合を含む）、各画素をテカリ画素として検出する。
【００３４】
明度Ｌ＊の２次微分値は、明度Ｌ＊の２次微分値を算出する対象の画素の画素位置の座標を（ｘ，ｙ）とするとき、例えば、図６（ｂ）に示す周囲の８画素の明度を用いるラプラシアンフィルタによって求めることができる。図６（ｂ）において、明度Ｌ＊（ｘ，ｙ）を有する２次微分値算出対象画素に対して、ｘ方向に隣接する両隣の画素の明度Ｌ＊（ｘ−１，ｙ）およびＬ＊（ｘ＋１，ｙ）と、ｙ方向に隣接する両隣の画素の明度Ｌ＊（ｘ，ｙ−１）およびＬ＊（ｘ，ｙ＋１）と、斜め方向に隣接する４つの画素の明度Ｌ＊（ｘ−１，ｙ−１）、Ｌ＊（ｘ＋１，ｙ−１）、Ｌ＊（ｘ−１，ｙ＋１）およびＬ＊（ｘ＋１，ｙ＋１）との和から、２次微分値算出対象画素の明度Ｌ＊（ｘ，ｙ）を８倍して得られる値を差し引くことによって得られる値が、画素位置（ｘ，ｙ）における画素の明度Ｌ＊（ｘ，ｙ）の２次微分値（ｄ＾２／ｄｘ＾２）Ｌ＊（ｘ，ｙ）である。
【００３５】
明度Ｌ＊の２次微分値は、明度Ｌ＊の２次微分値を算出する対象の画素の画素位置の座標を（ｘ，ｙ）とするとき、図６（ｂ）に示すラプラシアンフィルタの代わりに、例えば式（７）を用いて求めることとしてもよい。式（７）において、明度Ｌ＊（ｘ−１，ｙ）およびＬ＊（ｘ＋１，ｙ）は、明度Ｌ＊（ｘ，ｙ）を有する２次微分値算出対象画素に対してｘ方向に隣接する両隣の画素の明度である。式（７）によると、画素位置（ｘ，ｙ）における画素の明度Ｌ＊（ｘ，ｙ）の２次微分値（ｄ＾２／ｄｘ＾２）Ｌ＊（ｘ，ｙ）は、画素位置（ｘ，ｙ）に対してｘ方向の正の向きに隣接する画素位置（ｘ＋１，ｙ）に配置された画素の明度Ｌ＊（ｘ＋１，ｙ）と、画素位置（ｘ，ｙ）に配置された画素の明度Ｌ＊（ｘ，ｙ）との差から、画素位置（ｘ，ｙ）に配置された画素の明度Ｌ＊（ｘ，ｙ）と、画素位置（ｘ，ｙ）に対してｘ方向の負の向きに隣接する画素位置（ｘ＋１，ｙ）に配置された画素の明度Ｌ＊（ｘ＋１，ｙ）との差を、差し引いた値として得られる。
（ｄ＾２／ｄｘ＾２）Ｌ＊（ｘ，ｙ）
＝｛Ｌ＊（ｘ＋１，ｙ）−Ｌ＊（ｘ，ｙ）｝
−｛Ｌ＊（ｘ，ｙ）−Ｌ＊（ｘ−１，ｙ）｝              （７）
【００３６】
テカリ画素検出部１１４によるテカリ画素検出の際に明度Ｌ＊の２次微分値が用いられることによって、特に、図３（ｂ）に示すテカリ点在画素３７０に含まれる画素を検出しやすい。被写体の肌のテカリの原因は様々だが、皮脂が毛穴に詰まることによってテカリが生じる場合がある。このような毛穴のテカリは、図３（ｂ）に示すテカリ点在画素３７０に含まれるテカリ画素として画像中に現れることが考えられる。こうした場合において、本変形例によれば、テカリ画素を高精度に検出することができる。
【００３７】
（３）上述した実施の形態および変形例は互いに組み合わせることもできる。例えば、図７に示すように、画像処理装置１１０のテカリ画素検出部１１４によるテカリ画素検出処理として、ステップＳ４２およびＳ４５の処理がともに行われることとしてもよい。上述したように、ステップＳ４２では、ステップＳ３０で肌色領域検出部１１３によって検出された肌色領域に含まれるテカリ画素を、式（５）および（６）を用いて検出する。上述したように、ステップＳ４５では、ステップＳ３０で肌色領域検出部１１３によって検出された肌色領域に含まれるテカリ画素を、図６（ｂ）に示すラプラシアンフィルタを用いて検出する。ステップＳ４２で検出されたテカリ画素と、ステップＳ４５で検出されたテカリ画素とが、ステップＳ５０でテカリ補正部１１５によって補正される。
【００３８】
（４）上述した実施の形態および変形例においては、図３に示すように、画像３００には１人の被写体像のみが含まれている。しかし、画像３００に複数人の被写体像が含まれていた場合であっても本発明を適用することができる。例えば、肌色領域検出部１１３によって複数の肌色領域が検出された場合は、それらの肌色領域毎にテカリ画素検出部１１４によるテカリ画素検出およびテカリ補正部１１５によるテカリ補正が行われることとしてもよい。
【００３９】
（５）上述した実施の形態および変形例においては、図１に示すように、画像処理装置１１０は撮像装置１００に含まれているが、撮像装置１００に含まれていなくてもよい。図８は、本変形例における画像処理装置１１０を有するパソコン８００およびパソコン８００と接続される撮像装置１００のブロック構成図である。パソコン８００は、画像処理装置１１０と通信装置８１０とを有する。通信装置８１０は、後述する撮像装置１００が有する通信装置８６０との有線通信または無線通信を行うことによって、撮像装置のイメージセンサ１２０によって撮像された画像を受信し、その画像を画像処理装置１１０の画像取得部１１１に転送する。モニタ１４０および記録媒体１５０は、パソコン８００の外部装置として、画像処理装置１１０内の画像出力部１１６と接続されることによってデータ転送が行われる。
【００４０】
撮像装置１００は、イメージセンサ１２０と撮影レンズ１３０とに加えて、制御装置８５０と通信装置８６０とを有する。制御装置は、イメージセンサ１２０によって撮像された画像を読み出し、通信装置８６０に転送し、通信装置８６０にその画像をパソコン８００の通信装置８１０へ送信させる。
【００４１】
このように、画像処理装置１１０は、撮像装置１００に含まれずに、パソコン８００に含まれることとしても、本発明を適用することができる。
【００４２】
（６）撮像装置１００またはパソコン８００に内蔵される画像処理装置１１０が上述の実施形態および変形例の各々における画像処理を実行するためのコンピュータプログラム製品は、図９に示されるように、プログラム記憶媒体２０００（例えばＣＤ−ＲＯＭ）や通信ネットワーク４０００（例えばインターネット）によって伝達されるデータ信号を通じてパソコン８００に提供される。画像処理装置１１０が撮像装置１００に内蔵される場合は、そのコンピュータプログラム製品は、そのパソコン８００からさらに通信を介して撮像装置１００へ提供され、撮像装置１００がその画像処理プログラムを読み込む。
【００４３】
パソコン８００は、プログラム記憶媒体２０００を介して画像処理プログラムの提供を受ける。あるいは、以下の供給形態で画像処理プログラムが提供されても良い。パソコン８００は通信ネットワーク４０００との接続機能を有する。サーバー３０００は画像処理プログラムを提供するコンピュータであり、ハードディスクなどの記憶媒体に画像処理プログラムを格納する。サーバー３０００はハードディスクから読み出した画像処理プログラムを、データ信号として搬送波に載せ、通信ネットワーク４０００を介してパソコン８００へ転送する。以上のように、画像処理プログラムは、プログラム記憶媒体２０００や通信ネットワーク４０００を介するデータ信号としての提供を含む種々の形態のコンピュータプログラム製品によって供給されることが好ましい。
【００４４】
本発明は上述した内容に限定されるものではない。本発明の技術的思想の範囲内で考えられるその他の態様も本発明の範囲内に含まれる。
【符号の説明】
【００４５】
１００  撮像装置、１１０  画像処理装置、
１１１  画像取得部、１１２  色空間変換部、１１３  肌色領域検出部、
１１４  テカリ画素検出部、１１５  テカリ補正部、１１６  画像出力部、
１２０  イメージセンサ、１３０  撮影レンズ、１４０  モニタ、１５０  記録媒体、
３００  画像、３２０  肌色領域、３５０  テカリ集中領域、３７０  テカリ点在画素、
８００  パソコン、８１０、８６０  通信装置、８５０  制御装置、
２０００  プログラム記憶媒体、３０００  サーバー、４０００  通信ネットワーク
【図１】
2015094991.tif 000003
【図２】
2015094991.tif 000004
【図３】
2015094991.tif 000005
【図４】
2015094991.tif 000006
【図５】
2015094991.tif 000007
【図６】
2015094991.tif 000008
【図７】
2015094991.tif 000009
【図８】
2015094991.tif 000010
【図９】
2015094991.tif 000011