(57)【要約】  分割部は、肌の撮像画像に対して多次元的に領域の分割を行う。例えば、領域分割部２３は、平面方向に肌領域と非肌領域（例えば毛穴やシミ、体毛等の領域）の分割の領域を行う。特徴量算出部２４は、領域分割部２３で分割された領域毎に、色の性質に関する特徴量例えば肌の明るさや色、透明感等に関する特徴量を算出する。評価部２５は、特徴量算出部２４で算出した特徴量を用いて肌の評価値を算出する。このように、特徴量の算出が領域毎に行われて、特徴量から肌の評価値が算出されるので、領域分割を行うことなく肌の色を評価する場合に比べて精度よく評価を行うことができるようになる。
2014027523.tif 000002
【特許請求の範囲】
【請求項１】
肌の撮像画像に対して多次元的に領域の分割を行う分割部と、
前記分割部で分割された領域毎に、色の性質に関する特徴量を算出する特徴量算出部と、
前記特徴量算出部で算出した特徴量を用いて前記肌の評価値を算出する評価部と
を備える画像処理装置。
【請求項２】
前記分割部は、平面方向と奥行き方向の少なくとも何れかの方向に対して分割を行う
請求項１に記載の画像処理装置。
【請求項３】
前記分割部は、前記肌の撮像画像を肌領域と非肌領域に分割する
請求項１に記載の画像処理装置。
【請求項４】
前記分割部は、前記非肌領域として、毛穴領域とシミ領域と体毛領域の少なくとも何れかの領域を分割する
請求項３に記載の画像処理装置。
【請求項５】
前記分割部は、前記肌領域を肌の構成要素毎に分割する
請求項３に記載の画像処理装置。
【請求項６】
前記色の性質は、肌の明るさと色と透明感の少なくとも何れかである
請求項１に記載の画像処理装置。
【請求項７】
前記評価部は、前記領域毎に算出した特徴量に対して重み付けを行い、重み付け後の特徴量を用いて前記肌の評価値を算出する
請求項１に記載の画像処理装置。
【請求項８】
前記特徴量算出部と前記評価部は、大きく相違する値を除外する除外処理を行って前記特徴量と前記評価値の算出を行う
とする請求項１記載の画像処理装置。
【請求項９】
前記分割部は、光源と前記撮像画像の生成を行う撮像部の偏光面を制御して生成された奥行き方向が異なる位置の撮像画像の取得、または前記撮像部の焦点距離を制御して生成された奥行き方向が異なる位置の撮像画像の取得、または、光の強度分布と進行方向の情報から奥行き方向が異なる位置の撮像画像の生成を行うことで、前記奥行き方向の領域の分割を行う
請求項２に記載の画像処理装置。
【請求項１０】
肌の撮像画像に対して多次元的に領域の分割を行う工程と、
前記分割された領域毎に、色の性質に関する特徴量を算出する工程と、
前記算出した特徴量を用いて前記肌の評価値を算出する工程と
を含む画像処理方法。
【請求項１１】
肌の評価をコンピュータで実行させるプログラムであって、
肌の撮像画像に対して多次元的に領域の分割を行う手順と、
前記分割された領域毎に、色の性質に関する特徴量を算出する手順と、
前記算出した特徴量を用いて前記肌の評価値を算出する手順と
を前記コンピュータで実行させるプログラム。
【請求項１２】
撮像装置と情報処理装置を用いて構成される画像処理システムにおいて、
前記撮像装置には、肌の撮像画像を生成する撮像部を設け、
前記撮像装置または情報処理装置の何れかに、
前記肌の撮像画像に対して多次元的に領域の分割を行う分割部と、
前記分割部で分割された領域毎に、色の性質に関する特徴量を算出する特徴量算出部と、
前記特徴量算出部で算出した特徴量を用いて前記肌の評価値を算出する評価部と、
前記肌の評価値に基づき評価結果を提示する提示部と
を設けた画像処理システム。
【発明の詳細な説明】
【技術分野】
【０００１】
この技術は、画像処理装置、画像処理方法、プログラムおよび画像処理システムに関し、肌の色を精度よく評価できるようにする。
【背景技術】
【０００２】
従来、肌のカンセリング等では、ユーザの肌の色を測定して、測定結果に基づいて種々のアドバイスが行われている。また、肌の色の測定は、例えば特許文献１では、トラブルを生じている部分や影の部分を除く顔の肌色部分全体を肌色計測エリアとして、肌色計測エリアの画像を使ってヒストグラムを作成する。さらに、ヒストグラムに基づき頻度の高い色から全体のｎ％分の画素の平均値を計算することで、色の測定が行われている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０１０−１７９０１２号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
ところで、トラブルを生じている部分や影の部分を除く顔の肌色部分全体を肌色計測エリアとして設定する場合、エリア内の体毛領域や毛穴領域およびシミ領域によってヒストグラムが変化して、肌の色を精度よく評価することができないおそれがある。【０００５】
そこで、この技術では肌の色を精度よく評価できる画像処理装置と画像処理方法、プログラムおよび画像処理システムを提供することを目的とする。
【課題を解決するための手段】
【０００６】
この技術の第１の側面は、肌の撮像画像に対して多次元的に領域の分割を行う分割部と、前記分割部で分割された領域毎に、色の性質に関する特徴量を算出する特徴量算出部と、前記特徴量算出部で算出した特徴量を用いて前記肌の評価値を算出する評価部とを備える画像処理装置にある。【０００７】
この技術においては、肌の撮像画像に対して多次元的に領域の分割が分割部で行われる。例えば平面方向の領域分割が行われて、肌領域と非肌領域に分割される。また、光源と前記撮像画像の生成を行う撮像部の偏光面を制御して生成された奥行き方向が異なる位置の撮像画像の取得、または前記撮像部の焦点距離を制御して生成された奥行き方向が異なる位置の撮像画像の取得、または、光の強度分布と進行方向の情報から奥行き方向が異なる位置の撮像画像の生成が行われて、肌表面と肌内部との領域に分割される。さらに、非肌領域では、毛穴領域とシミ領域と体毛領域の少なくとも何れかの領域が分割されて、肌領域は、肌の構成要素毎に分割される。このような分割領域毎に、色の性質に関する特徴量が特徴量算出部で算出される。色の性質としては、肌の明るさと色と透明感の少なくとも何れかが用いられる。このように、領域毎に算出した特徴量を用いて肌の評価値が評価部で算出される。また、特徴量に対して領域毎の重み付けが行われて、重み付け後の特徴量を用いて肌の評価値の算出も行われる。また、特徴量や評価値は、大きく相違する値を除外する除外処理を行ってから特徴量や評価値の算出が行われる。【０００８】
この技術の第２の側面は、肌の撮像画像に対して多次元的に領域の分割を行う工程と、前記分割された領域毎に、色の性質に関する特徴量を算出する工程と、前記算出した特徴量を用いて前記肌の評価値を算出する工程とを含む画像処理方法にある。【０００９】
この技術の第３の側面は、肌の評価をコンピュータで実行させるプログラムであって、
肌の撮像画像に対して多次元的に領域の分割を行う手順と、前記分割された領域毎に、色の性質に関する特徴量を算出する手順と、前記算出した特徴量を用いて前記肌の評価値を算出する手順とを前記コンピュータで実行させるプログラムにある。【００１０】
なお、本技術のプログラムは、例えば、様々なプログラム・コードを実行可能な汎用コンピュータに対して、コンピュータ可読な形式で提供する記憶媒体、通信媒体、例えば、光ディスクや磁気ディスク、半導体メモリなどの記憶媒体、あるいは、ネットワークなどの通信媒体によって提供可能なプログラムである。このようなプログラムをコンピュータ可読な形式で提供することにより、コンピュータ上でプログラムに応じた処理が実現される。【００１１】
この技術の第４の側面は、撮像装置と情報処理装置を用いて構成される画像処理システムにおいて、前記撮像装置には、肌の撮像画像を生成する撮像部を設け、前記撮像装置または情報処理装置の何れかに、前記肌の撮像画像に対して多次元的に領域の分割を行う分割部と、前記分割部で分割された領域毎に、色の性質に関する特徴量を算出する特徴量算出部と、前記特徴量算出部で算出した特徴量を用いて前記肌の評価値を算出する評価部と、前記肌の評価値に基づき評価結果を提示する提示部とを設けた画像処理システムにある。
【発明の効果】
【００１２】
この技術によれば、肌画像に対して多次元的に領域の分割が行われて、分割された領域毎に、色の性質に関する特徴量が算出されて、算出した特徴量を用いて肌の評価値が算出される。したがって、領域の分割を行うことなく肌画像全体で肌の色を評価する場合に比べて、精度よく肌の色の評価を行うことができるようになる。なお、本明細書に記載された効果はあくまで例示であって限定されるものでは無く、また付加的な効果があってもよい。
【図面の簡単な説明】
【００１３】
【図１】画像処理システムの構成を例示した図である。
【図２】撮像装置の構成を簡略化して示した図である。
【図３】付属装置の光源を例示した図である。
【図４】撮像時の撮像装置の位置を示した図である。
【図５】画像処理装置の第１の実施の形態の構成を示す図である。
【図６】画像処理装置の第１の実施の形態の動作を示すフローチャートである。
【図７】色評価を示すフローチャートである。
【図８】領域分割までの動作を例示した図である。
【図９】特徴量算出領域の設定状態を例示した図である。
【図１０】評価結果をグラフ表示した場合を例示した図である。
【図１１】画像処理装置の第２の実施の形態の構成を示す図である。
【図１２】画像処理装置の第２の実施の形態の動作を示すフローチャートである。
【図１３】付属装置の光源を例示した図である。
【図１４】撮像時の撮像装置の位置を示した図である。
【図１５】画像処理装置の第３の実施の形態の構成を示す図である。
【図１６】画像処理装置の第３の実施の形態の動作を示すフローチャートである。
【図１７】肌画像を例示した図である。
【図１８】画像処理装置の第４の実施の形態の構成を示す図である。
【図１９】画像処理装置の第４の実施の形態の動作を示すフローチャートである。
【発明を実施するための形態】
【００１４】
以下、本技術を実施するための形態について説明する。なお、説明は以下の順序で行う。
１．画像処理システム
２．第１の実施の形態
２−１．第１の実施の形態の構成
２−２．第１の実施の形態の動作
３．第２の実施の形態
３−１．第２の実施の形態の構成
３−２．第２の実施の形態の動作
４．第３の実施の形態
４−１．第３の実施の形態の構成
４−２．第３の実施の形態の動作
５．第４の実施の形態
５−１．第４の実施の形態の構成
５−２．第４の実施の形態の動作
【００１５】
＜１．画像処理システム＞
図１は、本技術の画像処理システムの構成を例示している。画像処理システム１０は、撮像機能を有する機器（以下「撮像装置」という）１１や情報処理装置１５，１６等を用いて構成されている。撮像装置１１と情報処理装置（例えばパーソナルコンピュータ装置等）１５は、有線または無線の伝送路を介して直接接続可能とされている。また、撮像装置１１と情報処理装置（例えばサーバ装置等）１６は、公衆通信網のネットワーク等を介して接続可能とされている。
【００１６】
撮像装置１１は、肌の撮像画像を生成する撮像部１１２を備えている。撮像装置１１または情報処理装置１５，１６の何れかには、肌の評価を行う画像処理装置２０が設けられている。画像処理装置２０は、肌の撮像画像（以下「肌画像」という）に対して多次元的に領域の分割を行う分割部を備えている。また、画像処理装置２０は、分割部で分割された領域毎に、色の性質に関する特徴量を算出する特徴量算出部と、特徴量算出部で算出した特徴量を用いて肌の評価値を算出する評価部を備えている。さらに、撮像装置１１または情報処理装置１５，１６の何れかには、肌の評価値に基づき評価結果を提示する提示部５０が設けられている。なお、画像処理装置２０で肌の評価に用いる肌画像は、撮像部１１２から出力される肌画像に限らず、撮像部１１２で生成されて記録媒体等に記憶されている肌画像でもよい。
【００１７】
＜２．第１の実施の形態＞
第１の実施の形態では、肌画像を平面方向に領域分割して、分割された肌領域の評価を行う場合について説明する。
【００１８】
図２は、肌を撮像する撮像装置の構成を簡略化して示している。なお、図２の（Ａ）は撮像装置１１の正面図、図２の（Ｂ）は撮像装置１１の側面図である。撮像装置１１の鏡胴１１１の先端には、付属装置１２が設けられている。また、付属装置１２は、鏡胴１１１と一体に構成されていてもよく、鏡胴１１１に対して着脱可能に構成されていてもよい。付属装置１２には、図３に示すように、照明部を構成する複数の光源１２１（例えばＬＥＤ（Light Emitting Diode）1〜ＬＥＤn）がリング状に配されている。光源としては白色ＬＥＤが好ましい。付属装置１２が設けられた撮像装置１１は、例えば図４に示すように、肌表面に密着されて肌画像の撮像を行う。なお、肌の照明は、付属装置１２に限らず他の照明装置を用いるようにしてもよい。
【００１９】
［２−１．第１の実施の形態の構成］
図５は、画像処理装置の第１の実施の形態の構成を示している。画像処理装置２０は、色変換部２２、領域分割部２３、特徴量算出部２４、評価部２５を有している。また、領域分割部２３は、コントラスト強調処理部２３１、二値化処理部２３２を有している。特徴量算出部２４は、特徴量算出領域設定部２４１、除外処理部２４２、特徴量算出処理部２４３を有している。評価部２５は、除外処理部２５１と評価値算出処理部２５２を有している。
【００２０】
色変換部２２は、肌画像の色空間を所望の色空間に変換する。色変換部２２は、肌画像を所望の色空間例えば肌の評価に適した色空間であるＨＳＶ色空間に変換する。また、色変換部２２は、Ｌ＊ａ＊ｂ＊色空間に変換してもよい。なお、ＨＳＶ色空間において、Ｈ値は肌の色相、Ｓ値は肌の彩度、Ｖ値は肌の明るさに対応する。また、Ｌ＊ａ＊ｂ＊色空間において、Ｌ＊値は肌の明るさ、ｔａｎ-1（ｂ＊／ａ＊）は肌の色相に対応する。
【００２１】
領域分割部２３のコントラスト強調処理部２３１は、コントラスト強調処理を行うことで、二値化処理を適切に行うことができるようする。コントラスト強調処理部２３１は、ＨＳＶ色空間のＳ値に対してコントラスト強調処理、例えばＣＬＡＨＥ(Contrast Limited Adaptive Histogram Equalization)などのヒストグラムに基づいた処理を行い、コントラスト強調画像を生成する。また、コントラスト強調処理部２３１は、Ｓ値に対してガンマ補正処理を行い、コントラストが強調された画像を生成してもよい。また、コントラスト強調処理部２３１は、Ｌ＊ａ＊ｂ＊色空間のＬ＊値に対してコントラスト強調処理を行い、コントラスト強調画像を生成してもよい。
【００２２】
二値化処理部２３２は、コントラスト強調処理部２３１で生成されたコントラスト強調画像と予め設定した閾値を比較して、肌画像を肌領域と非肌領域に二値化した二値化画像を生成する。
【００２３】
特徴量算出部２４の特徴量算出領域設定部２４１は、肌領域に対して複数の特徴量算出領域を設定する。特徴量算出領域設定部２４１は、肌領域に対して多角形状や円状、楕円状等の特徴量算出領域を複数設定する。なお、特徴量算出領域は形状やサイズが異なっていてもよく、領域が他の領域と重複する部分を有していてもよい。
【００２４】
除外処理部２４２は、各特徴量算出領域において、ＨＳＶ色空間のＨ値とＶ値のそれぞれで大きく相違する値を除外する処理を行う。除外処理部２４２は、例えば、特徴量算出領域毎にＨ値とＶ値の棄却検定を行い、大きく相違する値を除外する。棄却検定としては、スミルノフ・グラブスの棄却検定、増山の棄却検定、トンプソンの棄却検定等を用いることができる。
【００２５】
特徴量算出処理部２４３は、特徴量算出領域毎に、ＨＳＶ色空間の除外処理後のＨ値とＶ値を用いて統計処理を行い、色の性質に関する特徴量を算出する。特徴量算出処理部２４３は、統計処理で例えば平均値を算出して特徴量とする。また、特徴量として、最頻値や中央値、最大値を用いてもよい。また、反射が強く飽和しているＨ値とＶ値が多くなるような場合に最小値を用いてもよい。
【００２６】
このように、特徴量算出処理部２４３は、ＨＳＶ色空間の除外処理後のＨ値とＶ値を用いて特徴量を算出していることから、除外処理が行われていないＨ値とＶ値を用いて特徴量を算出する場合に比べて、特徴量算出領域の特徴を強く反映した特徴量を算出できる。
【００２７】
評価部２５の除外処理部２５１は、各特徴量算出領域で算出した特徴量から値の大きく相違する特徴量を除外する処理を行う。除外処理部２５１は、Ｈ値を用いて各特徴量算出領域で算出されている特徴量の棄却検定と、Ｖ値を用いて各特徴量算出領域で算出されている特徴量の棄却検定をそれぞれ行い、値が大きく相違する特徴量を除外する。棄却検定としては、上述のようにスミルノフ・グラブスの棄却検定、増山の棄却検定、トンプソンの棄却検定等を用いることができる。
【００２８】
評価値算出処理部２５２は、除外処理後の特徴量を用いて統計処理を行い、色の性質に関する評価値を算出する。評価値算出処理部２５２は、Ｈ値に対して除外処理後の特徴量を用いて統計処理を行い、例えば平均値を算出して評価値とする。また、評価値として、最頻値や中央値を用いてもよい。同様に、評価値算出処理部２５２は、Ｖ値に対して除外処理後の特徴量を用いて統計処理を行い、例えば平均値を算出して評価値とする。また、評価値として、最頻値や中央値を用いてもよい。
【００２９】
このように、評価値算出処理部２５２は、ＨＳＶ色空間の除外処理後の特徴量から評価値を算出しているので、除外処理が行われていない特徴量から評価値を算出する場合に比べて、評価値は肌領域の特徴を強く反映した値となる。
【００３０】
［２−２．第１の実施の形態の動作］
図６は、画像処理装置の第１の実施の形態の動作を示すフローチャートである。
【００３１】
ステップＳＴ１で画像処理装置２０は、肌画像を取得する。画像処理装置２０は、撮像装置１１で生成された肌画像または撮像装置１１で生成されて記憶されている肌画像を取得してステップＳＴ５に進む。
【００３２】
ステップＳＴ５で画像処理装置２０は、肌画像の色変換処理を行う。画像処理装置２０は、例えば肌画像をＨＳＶ色空間（またはＬ＊ａ＊ｂ＊色空間）に変換してステップＳＴ１１に進む。
【００３３】
ステップＳＴ１１で画像処理装置２０は、コントラスト強調処理を行う。画像処理装置２０は、適切な二値化処理を行うことができるように、肌領域の分割に適したＳ値の画像に対してコントラスト強調処理を行いステップＳＴ１２に進む。
【００３４】
ステップＳＴ１２で画像処理装置２０は、二値化処理を行う。画像処理装置２０は、コントラスト強調処理後の画像を用いて二値化処理を行い、肌画像を肌領域と非肌領域に分割してステップＳＴ３１に進む。
【００３５】
ステップＳＴ３１で画像処理装置２０は、色評価を行う。図７は、色評価を示すフローチャートである。
【００３６】
ステップＳＴ３１１で画像処理装置２０は、特徴量算出領域の設定を行う。画像処理装置は、例えば肌領域に対して特徴量算出領域を設定してステップＳＴ３１２に進む。
【００３７】
ステップＳＴ３１２は、Ｈ値とＶ値についてのループ開始端であり、ステップＳＴ３１３は、各特徴量算出領域についてのループ開始端である。
【００３８】
ステップＳＴ３１４で画像処理装置２０は、除外処理を行う。画像処理装置２０は、特徴量算出領域内において大きく相違する値を除外してステップＳＴ３１５に進む。
【００３９】
ステップＳＴ３１５で画像処理装置２０は、特徴量算出処理を行う。画像処理装置２０は、特徴量算出領域内の除外処理後の値を用いて統計処理を行い、特徴量算出領域の色に関する特徴量を算出してステップＳＴ３１６に進む。
【００４０】
ステップＳＴ３１６は、各特徴量算出領域についてのループ終了端である。すなわち、ステップＳＴ３１３からステップＳＴ３１６までの処理により、各特徴量算出領域について特徴量の算出が行われる。
【００４１】
ステップＳＴ３１７で画像処理装置２０は、除外処理を行う。画像処理装置２０は、特徴量算出対象領域毎に算出した特徴量において、大きく相違する値の特徴量を除外してステップＳＴ３１８に進む。
【００４２】
ステップＳＴ３１８で画像処理装置２０は、評価値算出処理を行う。画像処理装置２０は、除外処理後の特徴量を用いて統計処理を行い、色に関する評価値を算出してステップＳＴ３１９に進む。
【００４３】
ステップＳＴ３１９で画像処理装置２０は、Ｈ値とＶ値の画像についてのループ終了端である。すなわち、ステップＳＴ３１１からステップＳＴ３１９までの処理により、Ｈ値とＶ値のそれぞれについて評価値が算出される。
【００４４】
次に、画像処理装置２０の動作例について説明する。図８は、領域分割までの動作を例示している。図８の（Ａ）は、肌画像（例えばＲＧＢ画像）を例示している。肌画像をＲＧＢ色空間からＨＳＶ色空間に変換すると、Ｓ値の画像は例えば図８の（Ｂ）に示す画像となる。このＳ値の画像に対してコントラスト強調処理を行ってから二値化処理を行うと、例えば図８の（Ｃ）に示す二値化画像となる。この二値化画像において、白色領域は、体毛領域や毛穴領域、シミ領域、黒子の領域等を示しており、残りの黒色領域が肌領域を示すようになる。したがって、肌領域のみの評価結果を得る場合には、肌領域に特徴量算出領域を設定する。
【００４５】
図９は、特徴量算出領域の設定状態を例示している。なお、図９では肌画像上に、矩形状の特徴量算出領域を複数設けた場合を例示している。
【００４６】
このように、肌領域に特徴量算出領域を設定して、特徴量算出領域のＨ値やＶ値に対して除外処理を行ってから特徴量を算出することで、特徴量算出領域の特徴を強く反映した特徴量を算出できる。さらに、特徴量算出領域毎の特徴量に対して除外処理を行ってから評価値を算出することで、肌領域の特徴を強く反映した評価値を算出できる。
【００４７】
このようにして、算出された評価値に基づき、提示部５０で肌の評価結果を提示する。評価結果の提示では、評価値を数字で出力してもよく、評価値をグラフ表示で出力してもよい。図１０は、評価結果をグラフ表示した場合を例示している。例えばグラフの横軸を肌の色味を示す評価値（Ｈ値に基づいた評価値）の座標軸、縦軸を肌の明るさを示す評価値（Ｖ値に基づいた評価値）の座標軸として、算出した評価値に基づく座標位置を、ユーザの肌の評価位置として提示する。
【００４８】
以上のように、第１の実施の形態では、肌画像から肌領域が分割されて、肌領域について色の性質に関する特徴量が算出される。さらに、算出された特徴量が肌の評価値として用いられる。したがって、肌領域を分割することなく肌画像全体から評価値を算出する場合に比べて、肌領域の色を精度よく評価できる。また、第１の実施の形態では、大きく相違する値を除外する除外処理が行われて評価値の算出が行われることから、領域の特徴を強く反映した評価値を算出できる。
【００４９】
＜３．第２の実施の形態＞
次に、第２の実施の形態では、肌画像を平面方向に領域分割して、分割された肌領域や非肌領域の評価結果を統合して、肌の評価を行う場合について説明する。
【００５０】
［３−１．第２の実施の形態の構成］
図１１は、画像処理装置の第２の実施の形態の構成を示している。画像処理装置２０は、色変換部２２、領域分割部２３、特徴量算出部２４、評価部２５、評価統合部２６を有している。また、領域分割部２３は、コントラスト強調処理部２３１、二値化処理部２３２、領域判定処理部２３３を有している。特徴量算出部２４は、特徴量算出領域設定部２４１、除外処理部２４２、特徴量算出処理部２４３を有している。評価部２５は、除外処理部２５１と評価値算出処理部２５２を有している。
【００５１】
色変換部２２は、肌画像の色空間を所望の色空間に変換する。色変換部２２は、肌画像を所望の色空間例えば肌の評価に適した色空間であるＨＳＶ色空間に変換する。また、色変換部２２は、Ｌ＊ａ＊ｂ＊色空間に変換してもよい。
【００５２】
領域分割部２３のコントラスト強調処理部２３１は、コントラスト強調処理を行うことで、二値化処理を適切に行うことができるようする。コントラスト強調処理部２３１は、ＨＳＶ色空間のＳ値に対してコントラスト強調処理、例えばＣＬＡＨＥ(Contrast Limited Adaptive Histogram Equalization)などのヒストグラムに基づいた処理を行い、コントラスト強調画像を生成する。また、コントラスト強調処理部２３１は、Ｓ値に対してガンマ補正処理を行い、コントラストが強調された画像を生成してもよい。また、コントラスト強調処理部２３１は、Ｌ＊ａ＊ｂ＊色空間のＬ＊値に対してコントラスト強調処理を行い、コントラスト強調画像を生成してもよい。
【００５３】
二値化処理部２３２は、コントラスト強調処理部２３１で生成されたコントラスト強調画像と予め設定した閾値を比較して、肌画像を肌領域と非肌領域に二値化した二値化画像を生成する。
【００５４】
領域判定処理部２３３は、非肌領域が体毛や毛穴、シミ等の何れに相当する領域か判定する。領域判定処理部２３３は、二値化画像において、非肌領域の判別を容易とするために構造の抽出するための処理例えばモルフォロジー（morphology）処理を行う。領域判定処理部２３３は、モルフォロジー処理によって、孤立点の削除や不連続点の接続等を行い、非肌領域の形状を対応する被写体（体毛や毛穴、シミ等）に近づける。さらに、領域判定処理部２３３は、モルフォロジー処理等が行われた画像に基づいて、非肌領域が体毛や毛穴、シミ等の何れに相当する領域であるか判定する。例えば非肌領域の形状が線状である場合には体毛領域、非肌領域の形状が円状であってサイズが毛穴のサイズに応じて予め設定した閾値範囲内である場合には毛穴領域と判定する。また、非肌領域の形状が線状や円状とは異なる形状であり、所定サイズよりも大きい場合にはシミ領域と判定する。なお、第２の実施の形態では、体毛領域と毛穴領域およびシミ領域を判定して、領域毎に評価値を算出する場合について説明するが、非肌領域の形状やサイズ等に基づき黒子領域等を判別して、これらの領域について評価値を算出するようにしてもよい。
【００５５】
特徴量算出部２４の特徴量算出領域設定部２４１は、肌領域および非肌領域における体毛領域と毛穴領域とシミ領域の各分割領域に対して複数の特徴量算出領域を設定する。特徴量算出領域設定部２４１は、肌領域および非肌領域における体毛領域と毛穴領域とシミ領域のそれぞれに対して多角形状や円状、楕円状等の特徴量算出領域を複数設定する。なお、特徴量算出領域は形状やサイズが異なっていてもよく、領域が他の領域と重複する部分を有していてもよい。
【００５６】
除外処理部２４２は、各特徴量算出領域において、ＨＳＶ色空間のＨ値とＶ値のそれぞれで大きく相違する値を除外する処理を行う。除外処理部２４２は、上述のように例えば特徴量算出領域毎にＨ値とＶ値の棄却検定を行い、大きく相違する値を除外する。
【００５７】
特徴量算出処理部２４３は、特徴量算出領域毎に、ＨＳＶ色空間の除外処理後のＨ値とＶ値を用いて統計処理を行い、色の性質に関する特徴量を算出する。特徴量算出処理部２４３は、統計処理で例えば平均値を算出して特徴量とする。また、特徴量として、最頻値や中央値、最大値を用いてもよい。また、反射が強く飽和しているＨ値とＶ値が多くなるような場合に最小値を用いてもよい。
【００５８】
このように、特徴量算出処理部２４３は、ＨＳＶ色空間の除外処理後のＨ値とＶ値を用いて特徴量を算出していることから、除外処理が行われていないＨ値とＶ値を用いて特徴量を算出する場合に比べて、特徴量算出領域の特徴を強く反映した特徴量を算出できる。
【００５９】
評価部２５の除外処理部２５１は、肌領域および非肌領域における体毛領域と毛穴領域とシミ領域の分割領域毎に、各特徴量算出領域において算出した特徴量に対して大きく相違する値を除外する処理を行う。除外処理部２５１は、上述のように、Ｈ値を用いて各特徴量算出領域で算出されている特徴量の棄却検定と、Ｖ値を用いて各特徴量算出領域で算出されている特徴量の棄却検定をそれぞれ行い、大きく相違する特徴量を除外する。
【００６０】
評価値算出処理部２５２は、肌領域と非肌領域における体毛領域と毛穴領域とシミ領域の分割領域毎に、除外処理後の特徴量を用いて統計処理を行い、色の性質に関する評価値を算出する。評価値算出処理部２５２は、Ｈ値に対して除外処理後の特徴量を用いて統計処理を行い、例えば平均値を算出して評価値とする。また、評価値として、最頻値や中央値を用いてもよい。同様に、評価値算出処理部２５２は、Ｖ値に対して除外処理後の特徴量を用いて統計処理を行い、例えば平均値を算出して評価値とする。また、評価値として、最頻値や中央値を用いてもよい。
【００６１】
このように、評価値算出処理部２５２は、ＨＳＶ色空間の除外処理後の特徴量を算出していることから、除外処理が行われていないＨ値とＶ値に基づく特徴量から評価値を算出する場合に比べて、分割領域の特徴を強く反映した特徴量を算出できる。
【００６２】
評価統合部２６は、肌領域および非肌領域における体毛領域と毛穴領域とシミ領域について算出された評価値を統合して、肌の評価値とする。また、評価統合部２６は、分割領域毎に算出した評価値に対して重み付けを行って統合してもよい。
【００６３】
［３−２．第２の実施の形態の動作］
図１２は、画像処理装置の第２の実施の形態の動作を示すフローチャートである。
【００６４】
ステップＳＴ１で画像処理装置２０は、肌画像を取得する。画像処理装置２０は、撮像装置１１で生成された肌画像または撮像装置１１で生成されて記憶されている肌画像を取得してステップＳＴ５に進む。
【００６５】
ステップＳＴ５で画像処理装置２０は、肌画像の色変換処理を行う。画像処理装置２０は、例えば肌画像をＨＳＶ色空間（またはＬ＊ａ＊ｂ＊色空間）に変換してステップＳＴ１１に進む。
【００６６】
ステップＳＴ１１で画像処理装置２０は、コントラスト強調処理を行う。画像処理装置２０は、適切な二値化処理を行うことができるように、肌領域の分割に適したＳ値の画像に対してコントラスト強調処理を行いステップＳＴ１２に進む。
【００６７】
ステップＳＴ１２で画像処理装置２０は、二値化処理を行う。画像処理装置２０は、コントラスト強調処理後の画像を用いて二値化処理を行い、肌画像を肌領域と非肌領域に分割してステップＳＴ１３に進む。
【００６８】
ステップＳＴ１３で画像処理装置２０は、非肌領域の判定処理を行う。画像処理装置２０は、非肌領域の形状やサイズに基づき、例えば毛穴に相当する非肌領域とシミに相当する非肌領域および体毛に相当する非肌領域を判定してステップＳＴ２１に進む。
【００６９】
ステップＳＴ２１は、各分割領域例えば肌領域と毛穴領域とシミ領域と体毛領域についてのループ開始端である。
【００７０】
ステップＳＴ３１で画像処理装置２０は、色評価を行う。画像処理装置２０は、各分割領域について図７に示す色評価を行い、評価値を算出してステップＳＴ４１に進む。
【００７１】
ステップＳＴ４１は、各分割領域についてのループ終了端である。すなわち、ステップＳＴ２１からステップＳＴ４１までの処理により、Ｈ値とＶ値のそれぞれについて評価値が分割領域毎に算出されてステップＳＴ５１に進む。
【００７２】
ステップＳＴ５１で画像処理装置２０は、評価統合処理を行う。画像処理装置２０は、肌領域と毛穴領域とシミ領域と体毛領域のそれぞれで算出されている評価値を統合して、肌の評価値を算出する。
【００７３】
次に、画像処理装置２０の評価統合処理について説明する。画像処理装置２０は、第１の実施の形態と同様な処理を分割領域毎に行い、分割領域毎に算出した評価値を統合して肌の評価値を算出する。式（１）と式（２）は、分割領域毎に算出した評価値に対して重み付けを行って統合する場合を例示している。
【００７４】
肌の色味の評価値＝  ａ1×（肌領域のＨ値の評価値）
＋ｂ1×（毛穴領域のＨ値の評価値）
＋ｃ1×（シミ領域のＨ値の評価値）
＋ｄ1×（体毛領域のＨ値の評価値）    ・・・（１）
肌の明るさ評価値＝  ａ2×（肌領域のＶ値の評価値）
＋ｂ2×（毛穴領域のＶ値の評価値）
＋ｃ2×（シミ領域のＶ値の評価値）
＋ｄ2×（体毛領域のＶ値の評価値）    ・・・（２）
【００７５】
式（１）（２）において、「ａ1，ｂ1，ｃ1，ｄ1，ａ2，ｂ2，ｃ2，ｄ2」は重み付けのパラメータである。これらのパラメータは、領域のサイズに応じて設定してもよく、予め複数のサンプルを用いて最適な評価結果が得られるように設定したパラメータを用いてもよい。
【００７６】
また、パラメータを切り替えることで、所望の領域の評価値や所望の領域を除いた評価値を算出できる。例えば「ａ1＝ｂ1＝ｃ1＝ａ2＝ｂ2＝ｃ2＝０」とすれば、体毛領域の評価値を得ることができる。また、「ｂ1＝ｄ1＝ｂ2＝ｄ2＝０」とすれば、体毛領域や毛穴領域を除いた肌の評価値を得ることができる。
【００７７】
さらに、上述の第２の実施の形態では、非肌領域における毛穴領域とシミ領域と体毛領域を分割する場合について説明したが、肌領域について構成要素毎に領域分割を行うようにしてもよい。例えば肌領域を皮丘領域と皮溝領域の構成要素に分割して、それぞれの領域について上述のように評価値を算出して、評価値を統合する。このような領域分割を行えば、例えば皮丘領域のＶ値または皮丘領域のＨ値とＶ値を、肌の透明感を示す指標とする場合、皮丘領域の評価値を用いることで、肌の透明感の評価を行うこともできる。
【００７８】
以上のように、第２の実施の形態では、肌画像から肌領域や毛穴領域、シミ領域等が分割されて、分割領域毎に色の評価が行われて、割領域毎の色の評価が統合される。したがって、第２の実施の形態によれば、肌領域や毛穴領域、シミ領域等のそれぞれについて色の評価することができる。また、第２の実施の形態によれば、毛穴領域やシミ領域等を含めた肌全体の色の評価を精度よく行うことができる。また、第２の実施の形態においても、大きく相違する値を除外する除外処理が行われて評価値の算出が行われることから、領域の特徴を強く反映した評価値を算出できる。
【００７９】
＜４．第３の実施の形態＞
次に、第３の実施の形態では、肌画像を奥行き方向に領域分割して、各領域の評価結果を統合して、肌の評価を行う場合について説明する。
【００８０】
この場合、付属装置１２には、図１３に示すように、光源として、所定の偏光面の偏光フィルタが設けられた白色ＬＥＤ１２１-1と、所定の偏光面に対して例えば偏光面が直交している偏光フィルタが設けられた白色ＬＥＤ１２１-2を設ける。また、付属装置１２が設けられた撮像装置１１では、例えば図１４に示すように、撮像部１１２までの光路上に、所定の偏光面に対して偏光面が直交している偏光フィルタ１１３を設ける。このように偏光フィルタを設けることで、白色ＬＥＤ１２１-1を点灯させて撮像を行うと、肌表面反射成分をカットして内部反射成分の画像を得ることができ、白色ＬＥＤ１２１-2を点灯させて撮像を行うと肌表面の画像を得ることができる。なお、肌の照明は、偏光面の異なる撮像画像が得られれば他の構成であってもよい。
【００８１】
また、撮像装置１１では、特開２００８−２６２３３６号公報と同様に、液体レンズや液晶レンズ等から構成されているマイクロレンズをマトリクス状に複数配列されているマイクロレンズアレイを撮像レンズとして用いる。この場合、マイクロレンズに印加する電圧を制御して焦点位置を変化させて、奥行き方向が異なる肌画像を生成してもよい。さらに、撮像装置１１として、複数のマイクロレンズから構成されるマイクロレンズアレイを用いて、撮像素子の受光面における光の強度分布に加えて、その光の進行方向の情報を得られるいわゆるライトフィールドカメラを用いてもよい。この場合、光の強度分布と進行方向の情報から焦点位置が奥行き方向の任意の位置に設定された肌画像を再構築する。
【００８２】
［４−１．第３の実施の形態の構成］
図１５は、画像処理装置の第３の実施の形態の構成を示している。画像処理装置２０は、階層分割部２１、色変換部２２、特徴量算出部２４、評価部２５、評価統合部２６を有している。また、特徴量算出部２４は、特徴量算出領域設定部２４１、除外処理部２４２、特徴量算出処理部２４３を有している。評価部２５は、除外処理部２５１と評価値算出処理部２５２を有している。
【００８３】
階層分割部２１は、奥行き方向が異なる複数の肌画像を取得する。階層分割部２１は、例えば肌表面の画像と肌の内部を示す画像を取得する。なお、以下の説明では奥行き方向が異なる画像を階層が異なる画像という。肌の内部を示す画像は、上述のように、光源と撮像部の前面に偏光フィルタを設けて偏光面を互いに直交させることにより、肌表面反射成分をカットして内部反射成分の画像を生成する。また、マイクロレンズに印加する電圧を制御して焦点位置を変化させて、奥行き方向が異なる肌画像を生成してもよい。さらに、ライトフィールドカメラが用いられる場合、階層分割部２１は、光の強度分布と進行方向の情報から焦点位置が奥行き方向の任意の位置に設定された肌画像を再構築してもよい。
【００８４】
色変換部２２は、肌画像の色空間を所望の色空間に変換する。色変換部２２は、肌画像を所望の色空間例えば肌の評価に適した色空間であるＨＳＶ色空間に変換する。また、色変換部２２は、Ｌ＊ａ＊ｂ＊色空間に変換してもよい。
【００８５】
特徴量算出部２４の特徴量算出領域設定部２４１は、奥行き方向が異なる複数の肌画像に対して複数の特徴量算出領域を設定する。特徴量算出領域設定部２４１は、各階層の肌画像に対して多角形状や円状、楕円状等の特徴量算出領域を複数設定する。なお、特徴量算出領域は形状やサイズが異なっていてもよく、領域が他の領域と重複する部分を有していてもよい。
【００８６】
除外処理部２４２は、各特徴量算出領域において、ＨＳＶ色空間のＨ値とＶ値のそれぞれで大きく相違する値を除外する処理を行う。除外処理部２４２は、上述のように例えば特徴量算出領域毎にＨ値とＶ値の棄却検定を行い、大きく相違する値を除外する。
【００８７】
特徴量算出処理部２４３は、特徴量算出領域毎に、ＨＳＶ色空間の除外処理後のＨ値とＶ値を用いて統計処理を行い、色の性質に関する特徴量を算出する。特徴量算出処理部２４３は、統計処理で例えば平均値を算出して特徴量とする。また、特徴量として、最頻値や中央値、最大値を用いてもよい。
【００８８】
このように、特徴量算出処理部２４３は、ＨＳＶ色空間の除外処理後のＨ値とＶ値を用いて特徴量を算出していることから、除外処理が行われていないＨ値とＶ値を用いて特徴量を算出する場合に比べて、特徴量算出領域の特徴を強く反映した特徴量を算出できる。
【００８９】
評価部２５の除外処理部２５１は、各階層の肌画像毎に、各特徴量算出領域において算出した特徴量に対して大きく相違する値を除外する処理を行う。除外処理部２５１は、上述のように、Ｈ値を用いて各特徴量算出領域で算出されている特徴量の棄却検定と、Ｖ値を用いて各特徴量算出領域で算出されている特徴量の棄却検定をそれぞれ行い、大きく相違する特徴量を除外する。
【００９０】
評価値算出処理部２５２は、各階層の肌画像毎に、除外処理後の特徴量を用いて統計処理を行い、色の性質に関する評価値を算出する。評価値算出処理部２５２は、Ｈ値に対して除外処理後の特徴量を用いて統計処理を行い、例えば平均値を算出して評価値とする。また、評価値として、最頻値や中央値を用いてもよい。同様に、評価値算出処理部２５２は、Ｖ値に対して除外処理後の特徴量を用いて統計処理を行い、例えば平均値を算出して評価値とする。また、評価値として、最頻値や中央値を用いてもよい。
【００９１】
このように、評価値算出処理部２５２は、ＨＳＶ色空間の除外処理後の特徴量を算出していることから、除外処理が行われていないＨ値とＶ値に基づく特徴量から評価値を算出する場合に比べて、分割領域の特徴を強く反映した特徴量を算出できる。
【００９２】
評価統合部２６は、各階層の肌画像について算出された評価値を統合して、肌の評価値とする。また、評価統合部２６は、階層毎に算出した評価値に対して重み付けを行って統合してもよい。
【００９３】
［４−２．第３の実施の形態の動作］
図１６は、画像処理装置の第３の実施の形態の動作を示すフローチャートである。
【００９４】
ステップＳＴ２で画像処理装置２０は、第１階層の肌画像を取得する。画像処理装置２０は、第１階層例えば撮像装置１１で生成された肌表面の画像または撮像装置１１で生成されて記憶されている肌表面の画像を取得してステップＳＴ５に進む。
【００９５】
ステップＳＴ３で画像処理装置２０は、第２階層の肌画像を取得する。画像処理装置２０は、第２階層例えば撮像装置１１で生成された肌内部の画像または撮像装置１１で生成されて記憶されている肌内部の肌画像を取得してステップＳＴ５に進む。
【００９６】
ステップＳＴ５で画像処理装置２０は、肌画像の色変換処理を行う。画像処理装置２０は、例えば肌画像をＨＳＶ色空間（またはＬ＊ａ＊ｂ＊色空間）に変換してステップＳＴ２２に進む。ステップＳＴ２２は、各階層についてのループ開始端である。
【００９７】
ステップＳＴ３１で画像処理装置２０は、色評価を行う。画像処理装置２０は、各分割領域について図７に示す色評価を行い、評価値を算出してステップＳＴ４２に進む。
【００９８】
ステップＳＴ４２は、各階層についてのループ終了端である。すなわち、ステップＳＴ２２からステップＳＴ４２までの処理により、Ｈ値とＶ値のそれぞれについて評価値が階層毎に算出されてステップＳＴ５２に進む。
【００９９】
ステップＳＴ５２で画像処理装置２０は、評価統合処理を行う。画像処理装置２０は、各階層の肌画像についてそれぞれ算出されている評価値を統合して、肌の評価値を算出する。
【０１００】
図１７は肌画像を例示している。なお、図１７の（Ａ）は肌表面、図１７の（Ｂ）は肌内部を示している。画像処理装置２０の評価統合処理について説明する。画像処理装置２０は、階層毎に算出した評価値を統合して肌の評価値を算出する。式（３）と式（４）は、階層毎に算出した評価値に対して重み付けを行って統合する場合を例示している。
【０１０１】
肌の色味の評価値＝  ｅ1×（肌表面のＨ値の評価値）
＋ｆ1×（肌内部のＨ値の評価値）    ・・・（３）
肌の明るさ評価値＝  ｅ2×（肌表面のＶ値の評価値）
＋ｆ2×（肌内部のＶ値の評価値）    ・・・（４）
【０１０２】
式（３）（４）において、「ｅ1，ｆ1，ｅ2，ｆ2」は重み付けのパラメータである。これらのパラメータは、予め複数のサンプルを用いて最適な評価結果が得られるように設定したパラメータを用いてもよい。また、パラメータを切り替えることで、所望の階層の評価値を得ることができる。
【０１０３】
以上のように、第３の実施の形態では、奥行き方向に階層的に評価が行われる。ここで、肌内部の画像で観測できる潜在的なシミやくすみ、メラニンも肌の色を決める色素成分である。また、肌内部の肌色状態は、肌のターンオーバーによって近い将来に表面化する。したがって、第３の実施の形態によれば、奥行き方向の色の評価結果を得ることができるので、早いタイミングで将来の肌を評価することが可能となり、肌のトラブルを未然に防ぐことができるようになる。
【０１０４】
＜５．第４の実施の形態＞
次に、第４の実施の形態では、肌画像を平面方向と奥行き方向に領域分割して、各領域の評価結果を統合して、肌の評価を行う場合について説明する。
【０１０５】
［５−１．第４の実施の形態の構成］
図１８は、画像処理装置の第４の実施の形態の構成を示している。画像処理装置２０は、階層分割部２１、色変換部２２、領域分割部２３、特徴量算出部２４、評価部２５、評価統合部２６を有している。また、領域分割部２３は、コントラスト強調処理部２３１、二値化処理部２３２、領域判定処理部２３３を有している。特徴量算出部２４は、特徴量算出領域設定部２４１、除外処理部２４２、特徴量算出処理部２４３を有している。評価部２５は、除外処理部２５１と評価値算出処理部２５２を有している。
【０１０６】
階層分割部２１は、奥行き方向が異なる複数の肌画像を取得する。階層分割部２１は、奥行き方向が異なる複数階層の画像例えば肌表面の画像と肌の内部を示す画像を、第３の実施の形態と同様にして取得する。すなわち、階層分割部２１は、光源と撮像部の前面に偏光フィルタを設けて偏光面を互いに直交させることにより、肌表面反射成分をカットして内部反射成分の画像を生成する。また、マイクロレンズに印加する電圧を制御して焦点位置を変化させて、奥行き方向が異なる肌画像を生成してもよい。さらに、ライトフィールドカメラが用いられる場合、階層分割部２１は、光の強度分布と進行方向の情報から焦点位置が奥行き方向の任意の位置に設定された肌画像を再構築してもよい。
【０１０７】
色変換部２２は、肌画像の色空間を所望の色空間に変換する。色変換部２２は、肌画像を所望の色空間例えば肌の評価に適した色空間であるＨＳＶ色空間に変換する。また、色変換部２２は、Ｌ＊ａ＊ｂ＊色空間に変換してもよい。
【０１０８】
領域分割部２３のコントラスト強調処理部２３１は、コントラスト強調処理を行うことで、二値化処理を適切に行うことができるようする。コントラスト強調処理部２３１は、ＨＳＶ色空間のＳ値に対してコントラスト強調処理、例えばＣＬＡＨＥ(Contrast Limited Adaptive Histogram Equalization)などのヒストグラムに基づいた処理を行い、コントラスト強調画像を生成する。また、コントラスト強調処理部２３１は、Ｓ値に対してガンマ補正処理を行い、コントラストが強調された画像を生成してもよい。また、コントラスト強調処理部２３１は、Ｌ＊ａ＊ｂ＊色空間のＬ＊値に対してコントラスト強調処理を行い、コントラスト強調画像を生成してもよい。
【０１０９】
二値化処理部２３２は、コントラスト強調処理部２３１で生成されたコントラスト強調画像と予め設定した閾値を比較して、肌画像を肌領域と非肌領域に二値化した二値化画像を生成する。
【０１１０】
領域判定処理部２３３は、非肌領域が体毛や毛穴、シミ等の何れに相当する領域か判定する。領域判定処理部２３３は、二値化画像において、非肌領域の判別を容易とするために構造の抽出するための処理例えばモルフォロジー処理を行う。領域判定処理部２３３は、モルフォロジー処理が行われた画像に基づいて、非肌領域が体毛や毛穴、シミ等の何れに相当する領域であるか判定する。例えば非肌領域の形状が線状である場合には体毛領域、非肌領域の形状が円状であってサイズが毛穴のサイズに応じて予め設定した閾値範囲内である場合には毛穴領域と判定する。また、非肌領域の形状が線状や円状とは異なる形状であり、所定サイズよりも大きい場合にはシミ領域と判定する。なお、第４の実施の形態においても第２の実施の形態と同様に、非肌領域の形状やサイズ等に基づき黒子領域等を判別して、これらの領域について評価値を算出するようにしてもよい。また、第４の実施の形態では、肌画像が肌の内部を示している場合、体毛領域の判定を除外してもよい。さらに、肌画像が肌の表面を示している場合、肌領域において、皮丘領域と皮溝領域を判定してもよい。
【０１１１】
特徴量算出部２４の特徴量算出領域設定部２４１は、階層毎および肌領域と非肌領域における体毛領域と毛穴領域とシミ領域のそれぞれに対して複数の特徴量算出領域を設定する。特徴量算出領域設定部２４１は、階層毎および肌領域と非肌領域における体毛領域と毛穴領域とシミ領域のそれぞれに対して多角形状や円状、楕円状等の特徴量算出領域を複数設定する。なお、特徴量算出領域は形状やサイズが異なっていてもよく、領域が他の領域と重複する部分を有していてもよい。
【０１１２】
除外処理部２４２は、各特徴量算出領域において、ＨＳＶ色空間のＨ値とＶ値のそれぞれで大きく相違する値を除外する処理を行う。除外処理部２４２は、上述のように例えば特徴量算出領域毎にＨ値とＶ値の棄却検定を行い、大きく相違する値を除外する。
【０１１３】
特徴量算出処理部２４３は、特徴量算出領域毎に、ＨＳＶ色空間の除外処理後のＨ値とＶ値を用いて統計処理を行い、色の性質に関する特徴量を算出する。特徴量算出処理部２４３は、統計処理で例えば平均値を算出して特徴量とする。また、特徴量として、最頻値や中央値、最大値を用いてもよい。
【０１１４】
このように、特徴量算出処理部２４３は、ＨＳＶ色空間の除外処理後のＨ値とＶ値を用いて特徴量を算出していることから、除外処理が行われていないＨ値とＶ値を用いて特徴量を算出する場合に比べて、特徴量は特徴量算出領域の特徴を強く反映した値となる。
【０１１５】
評価部２５の除外処理部２５１は、階層毎および肌領域と非肌領域における体毛領域と毛穴領域とシミ領域の分割領域毎に、各特徴量算出領域において算出した特徴量に対して大きく相違する値を除外する処理を行う。除外処理部２５１は、上述のように、Ｈ値を用いて各特徴量算出領域で算出されている特徴量の棄却検定と、Ｖ値を用いて各特徴量算出領域で算出されている特徴量の棄却検定をそれぞれ行い、大きく相違する特徴量を除外する。
【０１１６】
評価値算出処理部２５２は、階層毎および肌領域と非肌領域における体毛領域と毛穴領域とシミ領域の分割領域毎に、除外処理後の特徴量を用いて統計処理を行い、色の性質に関する評価値を分割領域毎に算出する。評価値算出処理部２５２は、Ｈ値に対して除外処理後の特徴量を用いて統計処理を行い、例えば平均値を算出して評価値とする。また、評価値として、最頻値や中央値を用いてもよい。同様に、評価値算出処理部２５２は、Ｖ値に対して除外処理後の特徴量を用いて統計処理を行い、例えば平均値を算出して評価値とする。また、評価値として、最頻値や中央値を用いてもよい。
【０１１７】
このように、評価値算出処理部２５２は、ＨＳＶ色空間の除外処理後の特徴量を算出していることから、除外処理が行われていないＨ値とＶ値に基づく特徴量から評価値を算出する場合に比べて、評価値は分割領域の特徴を強く反映した値となる。
【０１１８】
評価統合部２６は、分割領域すなわち階層毎および肌領域と非肌領域における体毛領域と毛穴領域とシミ領域毎に算出された評価値を統合して、肌の評価値とする。また、評価統合部２６は、階層毎に算出した評価値に対して重み付けを行って統合してもよい。
【０１１９】
［５−２．第４の実施の形態の動作］
図１９は、画像処理装置の第４の実施の形態の動作を示すフローチャートである。
【０１２０】
ステップＳＴ２で画像処理装置２０は、第１階層の肌画像を取得する。画像処理装置２０は、第１階層例えば撮像装置１１で生成された肌表面の画像または撮像装置１１で生成されて記憶されている肌表面の画像を取得してステップＳＴ５に進む。
【０１２１】
ステップＳＴ３で画像処理装置２０は、第２階層の肌画像を取得する。画像処理装置２０は、第２階層例えば撮像装置１１で生成された肌内部の画像または撮像装置１１で生成されて記憶されている肌内部の肌画像を取得してステップＳＴ５に進む。
【０１２２】
ステップＳＴ５で画像処理装置２０は、肌画像の色変換処理を行う。画像処理装置２０は、例えば肌画像をＨＳＶ色空間（またはＬ＊ａ＊ｂ＊色空間）に変換してステップＳＴ１１に進む。
【０１２３】
ステップＳＴ１１で画像処理装置２０は、コントラスト強調処理を行う。画像処理装置２０は、適切な二値化処理を行うことができるように、肌領域の分割に適したＳ値の画像に対してコントラスト強調処理を行いステップＳＴ１２に進む。
【０１２４】
ステップＳＴ１２で画像処理装置２０は、二値化処理を行う。画像処理装置２０は、コントラスト強調処理後の画像を用いて二値化処理を行い、肌画像を肌領域と非肌領域に分割してステップＳＴ１３に進む。
【０１２５】
ステップＳＴ１３で画像処理装置２０は、非肌領域の判定処理を行う。画像処理装置２０は、非肌領域の形状やサイズに基づき、例えば毛穴に相当する非肌領域とシミに相当する非肌領域および体毛に相当する非肌領域を判定してステップＳＴ２３に進む。
【０１２６】
ステップＳＴ２３は、各分割領域例えば階層毎および肌領域と毛穴領域とシミ領域と体毛領域についてのループ開始端である。
【０１２７】
ステップＳＴ３１で画像処理装置２０は、色評価を行う。画像処理装置２０は、各分割領域について図７に示す色評価を行い、評価値を算出してステップＳＴ４３に進む。
【０１２８】
ステップＳＴ４３は、各分割領域についてのループ終了端である。すなわち、ステップＳＴ２３からステップＳＴ４３までの処理により、Ｈ値とＶ値のそれぞれについて評価値が階層毎および肌領域と毛穴領域とシミ領域と体毛領域毎に算出されてステップＳＴ５３に進む。
【０１２９】
ステップＳＴ５３で画像処理装置２０は、評価統合処理を行う。画像処理装置２０は、各階層の肌画像についてそれぞれ算出されている評価値を統合して、肌の評価値を算出する。
【０１３０】
なお、評価統合処理では、例えば式（１）（３）を用いて肌の色味の評価値、式（２）（４）を用いて肌の明るさ評価値をそれぞれ算出すればよい。
【０１３１】
以上のように、第４の実施の形態では、平面方向および奥行き方向の分割を行い、分割領域毎に評価値が算出されて統合される。したがって、肌領域や毛穴領域、シミ領域等のそれぞれについての色の評価や、毛穴領域やシミ領域等を含めた肌全体の色の評価をより高度に行うことができる。また、第４の実施の形態によれば、評価結果に基づき肌のトラブルを未然に防ぐためのアドバイス等を的確に行うことが可能となる。
【０１３２】
明細書中において説明した一連の処理はハードウェア、またはソフトウェア、あるいは両者の複合構成によって実行することが可能である。ソフトウェアによる処理を実行する場合は、処理シーケンスを記録したプログラムを、専用のハードウェアに組み込まれたコンピュータ内のメモリにインストールして実行させる。または、各種処理が実行可能な汎用コンピュータにプログラムをインストールして実行させることが可能である。
【０１３３】
例えば、プログラムは記録媒体としてのハードディスクやＲＯＭ（Read Only Memory）に予め記録しておくことができる。あるいは、プログラムはフレキシブルディスク、ＣＤ−ＲＯＭ（Compact Disc Read Only Memory），ＭＯ（Magneto optical）ディスク，ＤＶＤ（Digital Versatile Disc）、磁気ディスク、半導体メモリカード等のリムーバブル記録媒体に、一時的または永続的に格納（記録）しておくことができる。このようなリムーバブル記録媒体は、いわゆるパッケージソフトウェアとして提供することができる。
【０１３４】
また、プログラムは、リムーバブル記録媒体からコンピュータにインストールする他、ダウンロードサイトからＬＡＮ（Local Area Network）やインターネット等のネットワークを介して、コンピュータに無線または有線で転送してもよい。コンピュータでは、そのようにして転送されてくるプログラムを受信し、内蔵するハードディスク等の記録媒体にインストールすることができる。
【０１３５】
さらに、本技術は、上述した技術の実施の形態に限定して解釈されるべきではない。この技術の実施の形態は、例示という形態で本技術を開示しており、本技術の要旨を逸脱しない範囲で当業者が実施の形態の修正や代用をなし得ることは自明である。すなわち、本技術の要旨を判断するためには、請求の範囲を参酌すべきである。
【０１３６】
なお、本技術の画像処理装置は以下のような構成も取ることができる。
（１）  肌の撮像画像に対して多次元的に領域の分割を行う分割部と、
前記分割部で分割された領域毎に、色の性質に関する特徴量を算出する特徴量算出部と、
前記特徴量算出部で算出した特徴量を用いて前記肌の評価値を算出する評価部と
を備える画像処理装置。
（２）  前記分割部は、平面方向と奥行き方向の少なくとも何れかの方向に対して分割を行う（１）に記載の画像処理装置。
（３）  前記分割部は、前記肌の撮像画像を肌領域と非肌領域に分割する（１）または（２）に記載の画像処理装置。
（４）  前記分割部は、前記非肌領域として、毛穴領域とシミ領域と体毛領域の少なくとも何れかの領域を分割する（３）に記載の画像処理装置。
（５）  前記分割部は、前記肌領域を肌の構成要素毎に分割する（３）または（４）に記載の画像処理装置。
（６）  前記色の性質は、肌の明るさと色と透明感の少なくとも何れかである（１）乃至（５）の何れかに記載の画像処理装置。
（７）  前記評価部は、前記領域毎に算出した特徴量に対して重み付けを行い、重み付け後の特徴量を用いて前記肌の評価値を算出する（１）乃至（６）の何れかに記載の画像処理装置。
（８）  前記特徴量算出部と前記評価部は、大きく相違する値を除外する除外処理を行って前記特徴量と前記評価値の算出を行う（１）乃至（７）の何れかに記載の画像処理装置。
（９）  前記分割部は、光源と前記撮像画像の生成を行う撮像部の偏光面を制御して生成された奥行き方向が異なる位置の撮像画像の取得、または前記撮像部の焦点距離を制御して生成された奥行き方向が異なる位置の撮像画像の取得、または、光の強度分布と進行方向の情報から奥行き方向が異なる位置の撮像画像の生成を行うことで、前記奥行き方向の領域の分割を行う（２）乃至（８）の何れかに記載の画像処理装置。
【産業上の利用可能性】
【０１３７】
この技術の画像処理装置と画像処理方法、プログラムおよび画像処理システムでは、肌画像に対して多次元的に領域分割が行われて、分割された領域毎に、色の性質に関する特徴量が算出されて、算出した特徴量を用いて肌の評価値が算出される。このため、肌画像全体で肌の色を評価する場合に比べて肌の色を精度よく評価できるようになる。したがって、肌の撮像機能を有する電子機器、例えばデジタルカメラや携帯端末装置、ネットワーク等を介して種々のサービスの提供を行う情報処理装置等に適している。
【符号の説明】
【０１３８】
１０・・・画像処理システム
１１・・・撮像装置
１２・・・付属装置
１５，１６・・・情報処理装置
２０・・・画像処理装置
２１・・・階層分割部
２２・・・色変換部
２３・・・領域分割部
２４・・・特徴量算出部
２５・・・評価部
２６・・・評価統合部
５０・・・提示部
１１１・・・鏡胴
１１２・・・撮像部
１１３・・・偏光フィルタ
１２１・・・光源
２３１・・・コントラスト強調処理部
２３２・・・二値化処理部
２３３・・・領域判定処理部
２４１・・・特徴量算出領域設定部
２４２，２５１・・・除外処理部
２４３・・・特徴量算出処理部
２５２・・・評価値算出処理部
【図１】
2014027523.tif 000003
【図２】
2014027523.tif 000004
【図３】
2014027523.tif 000005
【図４】
2014027523.tif 000006
【図５】
2014027523.tif 000007
【図６】
2014027523.tif 000008
【図７】
2014027523.tif 000009
【図８】
2014027523.tif 000010
【図９】
2014027523.tif 000011
【図１０】
2014027523.tif 000012
【図１１】
2014027523.tif 000013
【図１２】
2014027523.tif 000014
【図１３】
2014027523.tif 000015
【図１４】
2014027523.tif 000016
【図１５】
2014027523.tif 000017
【図１６】
2014027523.tif 000018
【図１７】
2014027523.tif 000019
【図１８】
2014027523.tif 000020
【図１９】
2014027523.tif 000021
【国際調査報告】
2014027523.tif 000022
2014027523.tif 000023
2014027523.tif 000024
2014027523.tif 000025