(57)【要約】  画像処理装置は、白から黒まで段階的に変化する濃淡を持つグレースケール色票の画像であって各色の画素値が同じ比率の画像を基準画像として記憶する基準画像記憶部（２０４）と、グレースケール色票（１８０）と共にカラーで撮像された画像を入力する撮像ボックス（１００）と、撮像画像に含まれるグレースケール色票の各色の画素値を基準画像記憶部（２０４）に記憶された基準画像に一致させるための補正量を算出する補正量算出部（２０２）と、補正量算出部（２０２）にて算出された補正量に基づいて撮像画像を補正する補正部（２０８）とを備える。これにより、任意の画像に対する色補正が可能な画像処理装置を実現できる。【特許請求の範囲】
【請求項１】
白から黒まで段階的に変化する濃淡を持つ色票と共にカラーで撮像された撮像画像を入力する撮像画像入力部と、
前記色票の画像であって各色の画素値が同じ比率の画像を基準画像として記憶する基準画像記憶部と、
前記撮像画像に含まれる色票の各色の画素値を前記基準画像記憶部に記憶された基準画像に一致させるための補正量を算出する補正量算出部と、
前記補正量算出部にて算出された補正量に基づいて前記撮像画像を補正する補正部と、
を備えることを特徴とする画像処理装置。
【請求項２】
前記補正量算出部は、段階的に濃淡の変化する前記色票を表示した各色の画素値を補間して前記色票に存在しない濃淡を表示する各色の画素値を求め、求められた画素値に基づいて補正量を算出することを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記撮像画像入力部には、前記撮像画像として顔画像が入力され、
前記補正部にて補正された顔画像を構成する各画素値を平滑化し、平滑化された画像を構成する各画素値と平滑化前の顔画像の各画素値との差に基づいて肌の欠陥を示す画像を生成する肌欠陥検出部を備えることを特徴とする請求項１に記載の画像処理装置。
【請求項４】
前記肌欠陥検出部は、前記補正部にて補正された顔画像を複数の肌欠陥判定領域に分割し、分割された前記肌欠陥判定領域ごとに、肌の欠陥を示す画像を生成することを特徴とする請求項３に記載の画像処理装置。
【請求項５】
前記顔画像の一部をマスキングするマスキング部を備え、
前記肌欠陥判定領域が所定の面積以下の場合には前記マスキング部にてマスキングを行った後に前記肌欠陥検出部によって肌の欠陥を示す画像を生成し、前記肌欠陥判定領域が所定の面積より大きい場合には、前記肌欠陥検出部にて生成された肌の欠陥の画像にマスキングを行うことを特徴とする請求項４に記載の画像処理装置。
【請求項６】
前記撮像画像入力部には、前記撮像画像として肌の画像が入力され、
前記補正部にて補正された肌の画像を複数の方向に放射状にスキャンして画素値を取得するスキャン部と、
前記スキャン部にて取得された各方向における画素値の分布と基準の画素値の分布とに基づいて、肌のキメの評価を示す評価値を算出するキメ評価値算出部と、
を備えることを特徴とする請求項１に記載の画像処理装置。
【請求項７】
前記キメ評価値算出部は、各方向における画素値の分布を示す標準偏差を用いて、キメの評価値を求めることを特徴とする請求項６に記載の画像処理装置。
【請求項８】
顔を撮像して顔画像を取得する撮像画像入力部と、
前記補正部にて補正された顔画像を構成する各画素値を平滑化し、平滑化された画像を構成する各画素値と平滑化前の顔画像の各画素値との差に基づいて肌の欠陥を示す画像を生成する肌欠陥検出部と、
を備えることを特徴とする画像処理装置。
【請求項９】
肌を撮像して肌の画像を取得する撮像画像入力部と、
前記補正部にて補正された肌の画像を複数の方向に放射状にスキャンして画素値を取得するスキャン部と、
前記スキャン部にて取得された各方向における画素値の分布と基準の画素値の分布とに基づいて、肌のキメの評価を示す評価値を算出するキメ評価値算出部と、
を備えることを特徴とする画像処理装置。
【請求項１０】
顔を撮像して顔画像を取得する撮像画像入力部と、
前記撮像画像入力部にて入力された画像の複製を生成する複製画像生成部と、
３６０°を等角度に分割する複数の方向を順次光源として、前記複製画像生成部にて生成された複数の複製画像のそれぞれにエンボス処理を行うエンボス処理部と、
前記エンボス処理部にてエンボス処理されたそれぞれの画像の平均画像を生成する画像合成部と、
前記画像合成部にて合成された平均画像から、エンボス処理によって形成された影によって周囲より暗くなっている部分を肌の欠陥として検出する肌欠陥検出部と、
を備えることを特徴とする画像処理装置。
【請求項１１】
肌を撮像して肌の画像を取得する撮像画像入力部と、
前記撮像画像入力部にて入力された画像の複製を生成する画像複製部と、
所定の方向に延びる直線を強調する強調処理を、前記複製画像生成部にて生成された複数の複製画像のそれぞれに対して、３６０°を等角度に分割する複数の方向について順次行う強調処理部と、
前記強調処理部にてそれぞれの方向について強調された複数の複製画像を重ね合わせた画像を合成する画像合成部と、
前記画像合成部にて合成された画像から、肌の皮丘を抽出する皮丘抽出部と、
を備えることを特徴とする画像処理装置。
【請求項１２】
前記強調処理部にて強調された画像に適応２値化処理を行う適応２値化処理部を備えることを特徴とする請求項１１に記載の画像処理装置。
【請求項１３】
白から黒まで段階的に変化する濃淡を持つ色票と共にカラーで撮像された撮像画像を入力する撮像画像入力ステップと、
前記撮像画像に含まれる色票の各色の画素値を、基準画像記憶部にあらかじめ記憶された各色の画素値が同じ比率の色票の基準画像に一致させるための補正量を算出する補正量算出ステップと、
前記補正量算出ステップにおいて算出された補正量に基づいて前記撮像画像を補正する補正ステップと、
を備えることを特徴とする画像処理方法。
【請求項１４】
撮像画像を補正するために、コンピュータに、
白から黒まで段階的に変化する濃淡を持つ色票と共にカラーで撮像された撮像画像を入力する撮像画像入力ステップと、
前記撮像画像に含まれる色票の各色の画素値を、基準画像記憶部にあらかじめ記憶された各色の画素値が同じ比率の色票の基準画像に一致させるための補正量を算出する補正量算出ステップと、
前記補正量算出ステップにおいて算出された補正量に基づいて前記撮像画像を補正する補正ステップと、
を実行させることを特徴とするプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像を処理する画像処理装置に関し、特に、肌等の生体の画像を解析する装置に関する。
【背景技術】
【０００２】
従来から、撮像された肌などの画像を用いてその状態を分析するシステムが知られていた。例えば、特開２００１−４１９号公報は、カメラまたはスキャナから取り込まれたデジタルイメージを分析して、赤いしみなどの肌の欠陥の位置を決定し、ディスプレイ上に視覚的に表示するシステムを開示している。【０００３】
このような画像を分析するシステムにおいては、同じ条件で撮像された画像を分析することが望ましい。しかし、実際には、照明等の条件を常に一定に保つことは困難である。被験者が自分で撮像した画像を用いて分析を行う場合には、撮像に用いたカメラが異なるので、他のデータとの比較が困難となる。【０００４】
上記の背景に鑑みて、分析（シミュレーション）を行う装置側で、画像を撮影したカメラ等の特性を認識して色補正を行う装置が特開２００２−１３１１３５号公報に開示されている。この装置は、被験者の顔画像を撮影するときに基準色票も合わせて撮影する。この装置は、撮影された基準色票のデータからカメラの色特性を認識し、その色特性に基づいて被験者の画像の色情報を補正する。具体的には、特開２００２−１３１１３５号公報において、基準色票として、（ａ）ホワイトバランス用の黒から白までの色票、（ｂ）肌色を表した色票、（ｃ）口紅の色を表した色票、（ｄ）眉毛の色を表した色票などの複数の色票が含まれる。この装置は、（ａ）の色票でホワイトバランスを調整し、（ｂ）〜（ｄ）の色票で各部位のプロファイルを作成する。
【発明の開示】
【発明が解決しようとする課題】
【０００５】
しかし、上記した特開２００２−１３１１３５号公報に記載された装置では、各部位についての補正量を決定するための複数の色票が必要である。従って、対象物の色域が広くなると対応する色票の数が増えることとなり、任意の画像に対する色補正用の色票を特定することができない。対象物に対応するプロファイルも増えることとなるので、短い処理時間で良好な補正結果を得ることが難しい。【０００６】
本発明は、上記背景に鑑み、任意の画像に対する色補正が可能な画像処理装置を提供することを目的とする。
【課題を解決するための手段】
【０００７】
本発明の画像処理装置は、白から黒まで段階的に変化する濃淡を持つ色票と共にカラーで撮像された撮像画像を入力する撮像画像入力部と、前記色票の画像であって各色の画素値が同じ比率の画像を基準画像として記憶する基準画像記憶部と、前記撮像画像に含まれる色票の各色の画素値を前記基準画像記憶部に記憶された基準画像に一致させるための補正量を算出する補正量算出部と、前記補正量算出部にて算出された補正量に基づいて前記撮像画像を補正する補正部とを備える。【０００８】
上記画像処理装置において、前記補正量算出部は、段階的に濃淡の変化する前記色票を表示した各色の画素値を補間して前記色票に存在しない濃淡を表示する各色の画素値を求め、求められた画素値に基づいて補正量を算出してもよい。【０００９】
上記画像処理装置の前記撮像画像入力部には、前記撮像画像として顔画像が入力され、前記補正部にて補正された顔画像を構成する各画素値を平滑化し、平滑化された画像を構成する各画素値と平滑化前の顔画像の各画素値との差に基づいて肌の欠陥を示す画像を生成する肌欠陥検出部を備えてもよい。【００１０】
上記画像処理装置において、前記肌欠陥検出部は、前記補正部にて補正された顔画像を複数の肌欠陥判定領域に分割し、分割された前記肌欠陥判定領域ごとに、肌の欠陥を示す画像を生成してもよい。【００１１】
上記画像処理装置は、前記顔画像の一部をマスキングするマスキング部を備え、前記肌欠陥判定領域が所定の面積以下の場合には前記マスキング部にてマスキングを行った後に前記肌欠陥検出部によって肌の欠陥を示す画像を生成し、前記肌欠陥判定領域が所定の面積より大きい場合には、前記肌欠陥検出部にて生成された肌の欠陥の画像にマスキングを行ってもよい。【００１２】
上記画像処理装置の前記撮像画像入力部には、前記撮像画像として肌の画像が入力され、前記補正部にて補正された肌の画像を複数の方向に放射状にスキャンして画素値を取得するスキャン部と、前記スキャン部にて取得された各方向における画素値の分布と基準の画素値の分布とに基づいて、肌のキメの評価を示す評価値を算出するキメ評価値算出部とを備えてもよい。【００１３】
上記画像処理装置において、前記キメ評価値算出部は、各方向における画素値の分布を示す標準偏差を用いて、キメの評価値を求めてもよい。【００１４】
本発明の別の態様に係る画像処理装置は、顔を撮像して顔画像を取得する撮像画像入力部と、前記補正部にて補正された顔画像を構成する各画素値を平滑化し、平滑化された画像を構成する各画素値と平滑化前の顔画像の各画素値との差に基づいて肌の欠陥を示す画像を生成する肌欠陥検出部とを備える。【００１５】
本発明の別の態様に係る画像処理装置は、肌を撮像して肌の画像を取得する撮像画像入力部と、前記補正部にて補正された肌の画像を複数の方向に放射状にスキャンして画素値を取得するスキャン部と、前記スキャン部にて取得された各方向における画素値の分布と基準の画素値の分布とに基づいて、肌のキメの評価を示す評価値を算出するキメ評価値算出部とを備える。【００１６】
本発明の別の態様に係る画像処理装置は、顔を撮像して顔画像を取得する撮像画像入力部と、前記撮像画像入力部にて入力された画像の複製を生成する複製画像生成部と、３６０°を等角度に分割する複数の方向を順次光源として、前記複製画像生成部にて生成された複数の複製画像のそれぞれにエンボス処理を行うエンボス処理部と、前記エンボス処理部にてエンボス処理されたそれぞれの画像の平均画像を生成する画像合成部と、前記画像合成部にて合成された平均画像から、エンボス処理によって形成された影によって周囲より暗くなっている部分を肌の欠陥として検出する肌欠陥検出部とを備える。【００１７】
本発明の別の態様に係る画像処理装置は、肌を撮像して肌の画像を取得する撮像画像入力部と、前記撮像画像入力部にて入力された画像の複製を生成する画像複製部と、所定の方向に延びる直線を強調する強調処理を、前記複製画像生成部にて生成された複数の複製画像のそれぞれに対して、３６０°を等角度に分割する複数の方向について順次行う強調処理部と、前記強調処理部にてそれぞれの方向について強調された複数の複製画像を重ね合わせた画像を合成する画像合成部と、前記画像合成部にて合成された画像から、肌の皮丘を抽出する皮丘抽出部とを備える。【００１８】
上記画像処理装置は、前記強調処理部にて強調された画像に適応２値化処理を行う適応２値化処理部を備えてもよい。【００１９】
本発明の画像処理方法は、白から黒まで段階的に変化する濃淡を持つ色票と共にカラーで撮像された撮像画像を入力する撮像画像入力ステップと、前記撮像画像に含まれる色票の各色の画素値を、基準画像記憶部にあらかじめ記憶された各色の画素値が同じ比率の色票の基準画像に一致させるための補正量を算出する補正量算出ステップと、前記補正量算出ステップにおいて算出された補正量に基づいて前記撮像画像を補正する補正ステップとを備える。【００２０】
本発明のプログラムは、撮像画像を補正するために、コンピュータに、白から黒まで段階的に変化する濃淡を持つ色票と共にカラーで撮像された撮像画像を入力する撮像画像入力ステップと、前記撮像画像に含まれる色票の各色の画素値を、基準画像記憶部にあらかじめ記憶された各色の画素値が同じ比率の色票の基準画像に一致させるための補正量を算出する補正量算出ステップと、前記補正量算出ステップにおいて算出された補正量に基づいて前記撮像画像を補正する補正ステップとを実行させる。【００２１】
以下に説明するように、本発明には他の態様が存在する。この発明の開示は、本発明の一部の態様の提供を意図しており、請求される発明の範囲を制限することを意図していない。
【図面の簡単な説明】
【００２２】
【図１】実施の形態の画像処理装置の構成を示す図である。
【図２】撮像ボックスの構成を示す図である。
【図３】画像処理装置のコンピュータの構成を示す図である。
【図４】基準画像記憶部に記憶されたグレースケール色票の例を示す図である。
【図５】補正量算出部による補正量の算出について説明するための図である。
【図６】補正量算出部による補正量の算出について説明するための図である。
【図７Ａ】顔画像の画像データを示す図である。
【図７Ｂ】平滑化された画像データを示す図である。
【図７Ｃ】元の画像データと平滑化された画像データとの差を示す図である。
【図７Ｄ】画像データの差分データを示す図である。
【図８】キメ計測部のスキャン部によるスキャンについて説明するための図である。
【図９】スキャンして得られた画素の分布を示すヒストグラムである。
【図１０】肌のキメの状態と画素の分布の標準偏差との関係を求めた実験結果である。
【図１１】画素の分布の標準偏差と評価値との関係を示す図である。
【図１２】撮像画像の補正の動作を示すフローチャートである。
【図１３】色素沈着を検出する動作を示すフローチャートである。
【図１４】毛穴を検出する動作を示すフローチャートである。
【図１５】キメの評価値を算出する動作を示すフローチャートである。
【図１６】第２の実施の形態における肌欠陥検出の動作を示すフローチャートである。
【図１７Ａ】エンボス処理前における肌欠陥の画像を示す図である。
【図１７Ｂ】エンボス処理後における肌欠陥の画像を示す図である。
【図１８Ａ】紙面に向かって右側の光源から光を当てた場合のエンボス処理後の肌欠陥の画像を示す図である。
【図１８Ｂ】紙面に向かって下側の光源から光を当てた場合のエンボス処理後の肌欠陥の画像を示す図である。
【図１８Ｃ】紙面に向かって左側の光源から光を当てた場合のエンボス処理後の肌欠陥の画像を示す図である。
【図１８Ｄ】紙面に向かって上側の光源から光を当てた場合のエンボス処理後の肌欠陥の画像を示す図である。
【図１９】エンボス処理後の４枚のコピー画像の平均画像を示す図である
【図２０】第３の実施の形態におけるキメ計測部の動作を示すフローチャートである。
【図２１】強調フィルタの例を示す図である。
【図２２Ａ】強調処理前の肌の画像の例を示す図である。
【図２２Ｂ】強調処理後の肌の画像の例を示す図である。
【発明を実施するための最良の形態】
【００２３】
以下に本発明の詳細な説明を述べる。ただし、以下の詳細な説明と添付の図面は、発明を限定するものではない。発明の範囲は、添付の特許請求の範囲により規定される。【００２４】
本実施の形態の画像処理装置は、白から黒まで段階的に変化する濃淡を持つ色票と共にカラーで撮像された撮像画像を入力する撮像画像入力部と、色票の画像であって各色の画素値が同じ比率の画像を基準画像として記憶する基準画像記憶部と、撮像画像に含まれる色票の各色の画素値を基準画像記憶部に記憶された基準画像に一致させるための補正量を算出する補正量算出部と、補正量算出部にて算出された補正量に基づいて撮像画像を補正する補正部とを備える。【００２５】
このように各色の画素値が同じ比率で含まれる色票の画像を基準画像として用いることにより、任意の画像に対して適切に色補正を行うことができる。色票には各色が同じ比率で含まれているため、例えば、特定の色が強い画像について、適切な補正量を算出できる。撮像された色票の各色の画素値を基準画像の各色の画素値に一致させることにより、各色のバランスを調整することができると共に、画像全体の明暗も基準画像に合わせて調整することができる。【００２６】
上記画像処理装置において、補正量算出部は、段階的に濃淡の変化する色票を表示した各色の画素値を補間して色票に存在しない濃淡を表示する各色の画素値を求め、求められた画素値に基づいて補正量を算出してもよい。【００２７】
このように撮像画像中の色票に存在しない画素値の補正量を、色票に存在する画素値から求めることにより、撮像画像を構成するすべての画素の補正量を算出することができる。【００２８】
上記画像処理装置の撮像画像入力部には、撮像画像として顔画像が入力され、補正部にて補正された顔画像を構成する各画素値を平滑化し、平滑化された画像を構成する各画素値と平滑化前の顔画像の各画素値との差に基づいて肌の欠陥を示す画像を生成する肌欠陥検出部を備えてもよい。【００２９】
このように撮像された顔画像と平滑化された顔画像との差を求めることにより、例えば、色素沈着（いわゆる「しみ」）や毛穴など局所的に輝度が変化する肌の欠陥を抽出することができる。【００３０】
上記画像処理装置において、肌欠陥検出部は、補正部にて補正された顔画像を複数の肌欠陥判定領域に分割し、分割された肌欠陥判定領域ごとに、肌の欠陥を示す画像を生成してもよい。【００３１】
このように顔画像を複数の肌欠陥判定領域に分割し、肌欠陥判定領域ごとに肌の欠陥の検出を行う構成により、目、鼻、口などの顔の部分を含まない肌欠陥判定領域について画像の平滑化を適切に行うことができ、肌の欠陥を適切に検出できる。【００３２】
上記画像処理装置は、顔画像の一部をマスキングするマスキング部を備え、肌欠陥判定領域が所定の面積以下の場合にはマスキング部にてマスキングを行った後に肌欠陥検出部によって肌の欠陥を示す画像を生成し、肌欠陥判定領域が所定の面積より大きい場合には、肌欠陥検出部にて生成された肌の欠陥の画像にマスキングを行ってもよい。【００３３】
このように顔画像の一部をマスキングするマスキング部を備えることにより、検査の対象以外の部分を処理対象から除外でき、誤った分析を回避できる。例えば、陰影を生じさせる目、眉、鼻、口などの立体的な部分をマスキング部によってマスキングすることにより、陰影に起因する誤分析を回避することができる。肌欠陥判定領域が所定の面積より大きい場合には、肌欠陥判定領域にマスキングされた部分が含まれる確率が高い。従って、マスキング部分が所定の面積より大きい場合には、肌の欠陥の検出後にマスキングを行う構成により、マスキング部分によって適切な平滑化が行えなくなる事態を回避できる。【００３４】
上記画像処理装置の撮像画像入力部には、撮像画像として肌の画像が入力され、補正部にて補正された肌の画像を複数の方向に放射状にスキャンして画素値を取得するスキャン部と、スキャン部にて取得された各方向における画素値の分布と基準の画素値の分布とに基づいて、肌のキメの評価を示す評価値を算出するキメ評価値算出部とを備えてもよい。【００３５】
このように肌の画像を放射状にスキャンして各方向における画素値を取得することにより、肌のキメの流れの方向にかかわらず、肌のキメの評価を適切に行うことができる。【００３６】
上記画像処理装置において、キメ評価値算出部は、各方向における画素値の分布を示す標準偏差を用いて、キメの評価値を求めてもよい。【００３７】
このように画素値の分布を示す標準偏差を用いることにより、放射状にスキャンして得られたそれぞれの方向における画素値の分布と基準のキメの画素値の分布とを比較することができる。【００３８】
本実施の形態の別の態様に係る画像処理装置は、顔を撮像して顔画像を取得する撮像画像入力部と、補正部にて補正された顔画像を構成する各画素値を平滑化し、平滑化された画像を構成する各画素値と平滑化前の顔画像の各画素値との差に基づいて肌の欠陥を示す画像を生成する肌欠陥検出部とを備える。【００３９】
このように撮像された顔画像と平滑化された顔画像との差を求めることにより、例えば、色素沈着や毛穴など局所的に輝度が変化する肌の欠陥を抽出することができる。【００４０】
本実施の形態の別の態様に係る画像処理装置は、肌を撮像して肌の画像を取得する撮像画像入力部と、補正部にて補正された肌の画像を複数の方向に放射状にスキャンして画素値を取得するスキャン部と、スキャン部にて取得された各方向における画素値の分布と基準の画素値の分布とに基づいて、肌のキメの評価を示す評価値を算出するキメ評価値算出部とを備える。【００４１】
このように肌の画像を放射状にスキャンして各方向における画素値を取得することにより、肌のキメの流れの方向にかかわらず、肌のキメの評価を適切に行うことができる。【００４２】
本実施の形態の別の態様に係る画像処理装置は、顔を撮像して顔画像を取得する撮像画像入力部と、撮像画像入力部にて入力された画像の複製を生成する複製画像生成部と、３６０°を等角度に分割する複数の方向を順次光源として、複製画像生成部にて生成された複数の複製画像のそれぞれにエンボス処理を行うエンボス処理部と、エンボス処理部にてエンボス処理されたそれぞれの画像の平均画像を生成する画像合成部と、画像合成部にて合成された平均画像から、エンボス処理によって形成された影によって周囲より暗くなっている部分を肌の欠陥として検出する肌欠陥検出部とを備える。【００４３】
毛穴などの肌の欠陥を含む画像に対してエンボス処理を行うと、その肌の欠陥の部分には光源と反対方向に陰影が形成される。本実施の形態によれば、複数の方向のそれぞれを光源として、複数の複製画像をエンボス処理することにより、それぞれの角度から光を当てた場合の陰影が形成される。これらの複数の画像の平均画像を生成することにより、肌の欠陥は、それぞれの光源による陰影が合成されて暗く表示される。従って、合成された画像から暗い部分を検出することにより、肌の欠陥を検出することができる。この実施の形態は、上記した他の実施の形態と組み合わせて構成することも可能である。【００４４】
本実施の形態の別の態様に係る画像処理装置は、肌を撮像して肌の画像を取得する撮像画像入力部と、撮像画像入力部にて入力された画像の複製を生成する画像複製部と、所定の方向に延びる直線を強調する強調処理を、複製画像生成部にて生成された複数の複製画像のそれぞれに対して、３６０°を等角度に分割する複数の方向について順次行う強調処理部と、強調処理部にてそれぞれの方向について強調された複数の複製画像を重ね合わせた画像を合成する画像合成部と、画像合成部にて合成された画像から、肌の皮丘を抽出する皮丘抽出部とを備える。【００４５】
肌の画像を所定の方向に強調することにより、その方向に沿った皮溝が強調され、その方向と垂直な方向には画像がぼやける。これにより、撮像画像入力部にて入力された画像において、薄く映った皮溝や途切れた皮溝をつないだ画像が得られる。本実施の形態によれば、複数の方向のそれぞれについて強調した複数の画像を重ね合わせるので、強調方向と垂直な方向に延びる途切れた皮溝をつなぎ、皮溝に囲まれて形成される皮丘を明確に識別できるようになる。このように処理された画像から皮丘を抽出し、抽出した皮丘の大きさを見ることで、肌のきめの細かさを判断することができる。この実施の形態は、上記した他の実施の形態と組み合わせて構成することも可能である。【００４６】
上記画像処理装置は、強調処理部にて強調された画像に適応２値化処理を行う適応２値化処理部を備えてもよい。【００４７】
撮像画像入力部にて入力される画像は、濃淡の一様でない画像でない場合が多い。強調処理部にて強調された画像に適応２値化処理を行うことにより、画像の濃淡にかかわりなく、皮溝を表示する画像が得られる。皮溝と皮溝でない部分との濃淡の差は、画像の濃淡にかかわりなくほぼ一定なので、その差分を検出することにより、画像の場所々々における濃淡の影響を除去した皮溝の画像を生成できる。【００４８】
本実施の形態の画像処理方法は、白から黒まで段階的に変化する濃淡を持つ色票と共にカラーで撮像された撮像画像を入力する撮像画像入力ステップと、撮像画像に含まれる色票の各色の画素値を、基準画像記憶部にあらかじめ記憶された各色の画素値が同じ比率の色票の基準画像に一致させるための補正量を算出する補正量算出ステップと、補正量算出ステップにおいて算出された補正量に基づいて撮像画像を補正する補正ステップとを備える。【００４９】
この構成により、本実施の形態の画像処理装置と同様に、任意の画像に対して適切に色補正を行うことができる。本実施の形態の画像処理方法に、本実施の形態の画像処理装置の各種の構成を適用することも可能である。【００５０】
本実施の形態のプログラムは、撮像画像を補正するために、コンピュータに、白から黒まで段階的に変化する濃淡を持つ色票と共にカラーで撮像された撮像画像を入力する撮像画像入力ステップと、撮像画像に含まれる色票の各色の画素値を、基準画像記憶部にあらかじめ記憶された各色の画素値が同じ比率の色票の基準画像に一致させるための補正量を算出する補正量算出ステップと、補正量算出ステップにおいて算出された補正量に基づいて撮像画像を補正する補正ステップとを実行させる。【００５１】
この構成により、本実施の形態の画像処理装置と同様に、任意の画像に対して適切に色補正を行うことができる。本実施の形態のプログラムに、本実施の形態の画像処理装置の各種の構成を適用することも可能である。【００５２】
以下、本発明の実施の形態の画像処理装置について図面を参照しながら説明する。以下の説明においては、顔を撮像して取得した顔画像を処理して、肌の状態を分析する装置を例として説明する。【００５３】
図１は、実施の形態の画像処理装置を示す図である。本実施の形態の画像処理装置は、顔を撮像する撮像ボックス１００およびディスプレイ１５０を備えたコンピュータ２００によって構成される。撮像ボックス１００は壁１１０で囲まれて構成されている。撮像ボックス１００に顔の肌状態の検査を受ける被験者１０５の頭を受け入れ、被験者１０５の顔を撮像する。撮像ボックス１００の後方は、被験者１０５が楽に頭を入れることができるようにカーテン１１５で外部と仕切ってもよい。【００５４】
撮像ボックス１００の内部には、被験者１０５を撮像するためのＣＣＤカメラ１２０が配置されている。ＣＣＤカメラ１２０は、右４５度の点１２２、前面の点１２４、左４５度の点１２６の間を自由に移動するように制御される。移動の点は、これらの３点に限定されず、被験者１０５の顔からの距離がほぼ同じ（ここでは２００ｍｍ）であるような弧状線上でどの位置を選んでもよい。最も右側の点と最も左側の点は、４５度以外の角度にあってもよい。ＣＣＤカメラ１２０は、各点に位置する際、その撮像軸が被験者１０５の顔面に対して実質的に垂直になるように配置される。【００５５】
ＣＣＤカメラ１２０は、例えば４００万画素を備え、被験者１０５の顔の高解像度画像を撮像する。本実施の形態では、一回の検査につき３枚のカラー画像を撮像する。具体的には、ＣＣＤカメラ１２０は、点１２２から撮像される右側顔画像、点１２４から撮像される正面顔画像、点１２６から撮像される左側顔画像を自動的に撮像する。手動で画像を撮像する場合には、例えば医師などの操作者がシャッタースイッチ１４０を押す。【００５６】
ＣＣＤカメラ１２０で取得された画像のカラー信号は、例えばＵＳＢポートを介して、コンピュータ２００に読み込まれる。コンピュータ２００は読み込んだ画像を処理して顔の肌の状態を解析し、解析結果を生成する。コンピュータ２００に読み込まれた画像、および算出された解析結果は、操作者または被験者１０５に対してディスプレイ１５０を介して表示される。【００５７】
図２は、撮像ボックス１００を詳細に説明するための図である。図２の左上図は、撮像ボックス１００の上方からの透視図である。この図に示されるように、撮像ボックス１００は、４つの光源１３１〜１３４を有する。４つの光源１３１〜１３４は、ＣＣＤカメラ１２０の軌道の後ろに、ほぼ等間隔で配置されている。各光源１３１〜１３４は、標準の白色光源である。光源１３１〜１３４と被験者１０５の顔との間に拡散板１６０（例えば乳白色のアクリル板）が配置されている。拡散板１６０によって拡散照明が実現されている。【００５８】
図２の左下図は、撮像ボックス１００の破線Ａ−Ａ´における断面図である。なお、被験者１０５の頭は省略している。拡散板１６０には、点１２２、１２４、１２６にそれぞれ対応する３つの穴１６２，１６４，１６６が形成されており、この穴１６２，１６４，１６６を通して被験者１０５の顔を撮像できる。【００５９】
被験者１０５の顔は、頭頂押さえ１７０と下顎台１７５によって固定される。被験者１０５が顎を下顎台１７５に乗せ、頭頂部を頭頂押さえ１７０に押し当てると、被験者１０５からＣＣＤカメラ１２０用の３つの穴１６２，１６４，１６６を除くすべての方向に、拡散板１６０が見えることになる。【００６０】
図２の右上図は、撮像ボックス１００の破線Ｂ−Ｂ´における断面図である。なお、この図には、被験者１０５の頭を記載している。この図に示されるように、別の光源１３５が撮像ボックス１００の天井に設けられ、さらに別の光源１３６が床に設けられている。いずれの光源１３５，１３６も、被験者１０５から見て拡散板１６０の後方に位置している。【００６１】
頭頂押さえ１７０には、グレースケール色票１８０が設けられている。グレースケール色票１８０は、白から黒まで段階的に変化する濃淡を有する。グレースケール色票１８０は、例えば１０段階〜２０段階程度の濃淡を有する。グレースケール色票１８０は、ＣＣＤカメラ１２０によって被験者１０５の顔と共に撮像される。ＣＣＤカメラ１２０から出力されるグレースケール色票１８０の画像情報は、撮像画像を補正するために用いられる。【００６２】
撮像ボックス１００内には、図示しない照度センサが配置されている。この照度センサの出力に基づいて、あらかじめ定められた範囲（例えば１００００Ｌｘ±３％）に照度を保持するように、光源１３１〜１３６に印加する電圧が制御される。【００６３】
図３は、色票付き正面顔画像、右側顔画像、左側顔画像を取り込んで画像処理を行うコンピュータ２００の構成を示す図である。コンピュータ２００は、取り込んだ顔画像の補正量を求める補正量算出部２０２、グレースケール色票１８０の基準画像を記憶した基準画像記憶部２０４、補正量に基づいて顔画像を補正する補正部２０６と、補正された顔画像を記憶する補正画像記憶部２０８とを備えている。コンピュータ２００は、補正画像記憶部２０８に記憶された補正画像に基づいて、顔の色素沈着を計測する色素沈着計測部２１０、毛穴を計測する毛穴計測部２２０、キメの細かさを計測するキメ計測部２３０を備えている。これらの構成によって計測された肌の状態の情報は、コンピュータ２００に接続されたディスプレイ１５０から出力される。【００６４】
次に、コンピュータ２００が有する各構成について詳しく説明する。補正量算出部２０２は、顔画像と共に撮像されたグレースケール色票１８０と、基準画像記憶部２０４に記憶されたグレースケール色票１８０の基準画像とに基づいて、顔画像を補正する補正量を算出する機能を有する。基準画像記憶部２０４には、グレースケール色票１８０の基準画像が記憶されている。ここで、基準画像とは、Ｒ（Ｒｅｄ）、Ｇ（Ｇｒｅｅｎ）、Ｂ（Ｂｌｕｅ）の各画素値が同じ比率で含まれるグレースケール色票の画像である。補正量算出部２０２は、撮像ボックス１００から取り込んだ顔画像に映っているグレースケール色票１８０と、基準画像記憶部２０４に記憶された基準のグレースケール色票１８０とを比較して補正量を計算する。【００６５】
図４に基準画像の例を示す。基準画像は、グレースケール色票１８０を撮像した画像である。ここでは説明の便宜上、５段階の濃淡のグレースケール色票１８０を示している。グレースケール色票１８０の位置は、図４に示すように、撮像ボックス１００から取り込まれる撮像画像に含まれるグレースケール色票１８０の位置に対応することが好ましい。これにより、撮像画像に含まれるグレースケール色票１８０と基準画像記憶部２０４に記憶されたグレースケール色票１８０との比較を容易に行うことができる。【００６６】
図５および図６は、補正量算出部２０２による補正量算出の原理について説明する図である。図５の１行目に示すように、例えば、領域Ｄ１ではＲＧＢの値は１０であり、領域２では７０というように、基準画像におけるグレースケール色票１８０では、各領域Ｄ１〜Ｄ５のＲＧＢの値は定まっている。これに対し、撮像画像に映ったグレースケール色票１８０では、撮影条件等の相違によって、例えば領域Ｄ１のＲＧＢの値が１０となるとは限らず、値が上下にずれる場合がある。補正量算出部２０２では、基準のグレースケール色票１８０の画素値からのずれを補正するための補正量を求める。例えば、領域Ｄ１については、Ｒの値を＋５、Ｇの値を−２、Ｂの値を＋１、することによって基準のグレースケール色票１８０に合わせることができるので、これらのＲＧＢの値が補正量となる。このようにグレースケール色票１８０の段階的な濃淡のそれぞれにおいて、補正量を求めることができる。【００６７】
ただし、グレースケール色票１８０の濃淡は段階的であるため、撮像画像のグレースケール色票１８０に存在しないＲＧＢ値については図５に示す表からは直接求めることができない。本実施の形態の画像処理装置では、図６に示す原理に基づいて、グレースケール色票１８０に存在しない画素値の補正量を算出する。【００６８】
図６は、図５に示す基準のＲＧＢ値と撮像されたグレースケール色票１８０のＲの値をプロットした図である。領域Ｄ１〜Ｄ５におけるＲの値を補間することによって、領域Ｄ１〜Ｄ５以外の部分における補正量を求める。ここでは、例えば、スプライン補間を用いることができる。ここでは、Ｒの値を例として示しているが、Ｇ、Ｂについても同様に補間を行う。【００６９】
補正部２０６は、補正量算出部２０２にて算出された補正量を用いて、撮像ボックス１００から取り込んだ顔画像を補正する機能を有する。具体的には、補正量算出部２０２にて算出されたＲＧＢの各画素値における補正量を顔画像の各画素値に加えることによって顔画像を補正する。補正部２０６は、補正して得られた顔画像を補正画像記憶部２０８に記憶する。【００７０】
以上が撮像ボックス１００から取り込んだ顔画像を補正する構成である。次に、補正された補正画像を使って、顔の肌の状態を分析するための色素沈着計測部２１０、毛穴計測部２２０、キメ計測部２３０について説明する。【００７１】
色素沈着計測部２１０および毛穴計測部２２０にて、色素沈着または毛穴を検出する原理について説明する。色素沈着とは、いわゆる「しみ」であり、毛穴とは毛穴が目立つ部分を意味する。色素沈着も毛穴も共に肌の欠陥であり、肌の色が急激に変化する部分を見つけることによって検出できる。本実施の形態の画像処理装置では、肌の色が急激に変化する部分のうち、所定の閾値より大きい部分を色素沈着、小さい部分を毛穴として検出する。色素沈着計測部２１０と毛穴計測部２２０の基本的な検出原理は、同じである。【００７２】
図７Ａ〜図７Ｄは、色素沈着計測部２１０および毛穴計測部２２０にて、肌の欠陥を検出する原理を説明するための図である。色素沈着計測部２１０および毛穴計測部２２０では、肌の色が急激に変化する部分を肌の欠陥として検出する。図７Ａは、顔画像の画像データを示す図であり、横軸が位置、縦軸が画素値を示す。本実施の形態では、肌の欠陥の検出には、Ｂ（Ｂｌｕｅ）の画素値を抽出して作成したＢｌｕｅ画像を用いる。以下、図７Ａに示す画像データから肌の欠陥を検出する原理について説明する。【００７３】
まず、図７Ａに示す画像データを平滑化し、図７Ｂに示す平滑化された画像データを生成する。次に、図７Ｃに示すように、元の画像データ（図７Ａ）と平滑化された画像データ（図７Ｂ）との差を求める。これにより、図７Ｄに示すように画像データの差分データが得られる。この差分データがあらかじめ定められた閾値より大きい場合に、肌の欠陥であると判定する。【００７４】
次に、色素沈着計測部２１０の具体的な構成について説明する。色素沈着計測部２１０は、上記した原理に基づいて色素沈着を検出する肌欠陥検出部２１２と、目、鼻、口、眉などの顔の一部をマスキングするマスキング部２１４とを備えている。【００７５】
肌欠陥検出部２１２は、毛穴や小皺を色素沈着として判定しないように、毛穴や小皺などの小さい欠陥を、ＭｅｄｉａｎＦｉｌｔｅｒを使って除去する機能を有する。肌欠陥検出部２１２は、検出対象の色素沈着の大きさに応じて処理単位となる領域（以下、「肌欠陥判定領域」という）の大きさを定め、肌欠陥判定領域ごとに欠陥検出を行う機能を有する。すなわち、肌欠陥判定領域の画像を平滑化し、元の画像と平滑化された画像との差分を求め、差分と閾値との比較によって肌の欠陥を検出する。また、肌欠陥検出部２１２は、検出された色素沈着部を大きさに応じて分類する。すなわち、肌欠陥検出部２１２は、ＰａｒｔｉｃｌｅＦｉｌｔｅｒによって大きい色素沈着部、または小さい色素沈着部を抽出する機能を有する。【００７６】
マスキング部２１４は、陰影を生じさせる目、眉、鼻、口などの顔画像の一部をマスキングする機能を有する。マスキングする箇所は、マウスなどの入力手段から入力された指定に従って決定する。【００７７】
毛穴計測部２２０の具体的な構成について説明する。毛穴計測部２２０の基本的な構成は、色素沈着計測部２１０と同じであり、肌欠陥検出部２２２およびマスキング部２２４を備えている。毛穴計測部２２０は、色素沈着計測部２１０にて検出された色素沈着の画像と元の画像との差分画像に基づいて、毛穴の計測を行う。これにより、毛穴より大きい欠陥である色素沈着を誤って検出する不都合を回避できる。毛穴計測部２２０も、検出した毛穴の大きさにより、毛穴または毛穴の開きか、あるいは毛穴の黒ずみのいずれかに分類する。【００７８】
次に、キメ計測部２３０について説明する。最初に、撮像画像からキメを計測する原理について図８〜図１０を参照して説明する。本実施の形態の画像処理装置では、画像の濃淡の標準偏差を用いてキメを計測する。【００７９】
図８は、肌の画像のスキャン方向を示す図である。図８に示すように、指定された測定点Ｍから放射方向にスキャンする。皮膚の溝は暗くなっているので、スキャンによって得られた画素値に基づいて、キメの計測を行うことができる。【００８０】
図９は、肌の画像を一方向にスキャンしたときに得られる画素の出現頻度のヒストグラムである。横軸は画素の輝度値を示し、縦軸はその輝度値を有する画素の出現頻度を示す。ここでは、Ｂ（Ｂｌｕｅ）の画素値を用いている。本発明の発明者らは、キメの整った肌とそうでない肌とでは、画素値の標準偏差が異なることを見出した。【００８１】
図１０は、キメの整った肌とそうでない肌の標準偏差を実験によって求めた結果を示す図である。図１０に示すようにキメの整った肌は、標準偏差が７．４４の近傍に分布する。毛穴の目立つ肌は標準偏差７．４４より大きくなり、つるつるの肌は標準偏差が７．４４より小さくなる傾向がある。かさかさの肌では標準偏差が小さい値から大きい値まで広範に分布する。本実施の形態のキメ計測部２３０は、上記の知見に基づいて、標準偏差に基づいてキメを計測する構成を採用している。【００８２】
キメ計測部２３０の具体的な構成について説明する。キメ計測部２３０は、計測対象の画像をスキャンするスキャン部２３２と、キメの整い度合いを示すキメ評価値を算出するキメ評価値算出部２３４とを備えている。【００８３】
スキャン部２３２は、計測対象画像の所定点から１６方向に放射状に画像をスキャンしてその画素値を取得する機能を有する。これにより、どの方向にキメが流れている場合にも、適切に評価することが可能となる。ここでは、１６方向にスキャンする例について説明しているが、スキャンする方向は１６方向に限られない。例えば、８方向でもよいし、２４方向でもよい。【００８４】
キメ評価値算出部２３４は、スキャン部２３２によるスキャンによって得られた画素値から、画素値の分布の標準偏差を求め、標準偏差を点数化して評価値を算出する機能を有する。【００８５】
図１１は、評価値を点数化するために用いられるグラフである。図１１に示すように、標準偏差７．４４のときに最高点数１００点を付与し、標準偏差が７．４４から離れるに従って付与する点数を低くする。そして、標準偏差が３．４４より小さい場合、あるいは１１．４４より大きい場合には０点を付与する。これにより、実験により求めたキメの整った肌の標準偏差７．４４に近いほど高い点数を付与することができる。キメ評価値算出部２３４は、１６方向のそれぞれにおけるキメの評価点数を求め、全方向のキメの評価点数の合計あるいは平均を求めてキメ評価値を算出する。【００８６】
本実施の形態の画像処理装置の動作について説明する。図１２は、本実施の形態の画像処理装置による画像補正の動作を示すフローチャートである。まず、画像処理装置は、撮像ボックス１００にて顔を撮像して撮像画像を取得する（Ｓ１０）。画像処理装置は、取得した撮像画像をコンピュータ２００に送り、コンピュータ２００の補正量算出部２０２は顔画像の補正量を算出する（Ｓ１２）。具体的には、補正量算出部２０２は、撮像画像中のグレースケール色票１８０が基準画像記憶部２０４に記憶されたグレースケール色票１８０の画素値に一致するように補正量を算出する。【００８７】
次に、コンピュータ２００の補正部２０６は、算出された補正量を用いて、撮像画像を補正する（Ｓ１４）。これにより、撮像条件の相違等の影響を低減することができる。補正部２０６は、補正された画像を補正画像記憶部２０８に記憶する（Ｓ１６）。【００８８】
図１３は、本実施の形態の画像処理装置による色素沈着検出の動作を示すフローチャートである。コンピュータ２００の色素沈着計測部２１０は、補正画像記憶部２０８から色素沈着検出の対象の画像を読み出す（Ｓ２０）。続いて、色素沈着計測部２１０は、読み出した画像から中心画像を切り出す（Ｓ２２）。このステップにおいて、色素沈着検出の対象となる顔以外の背景部分を概ね削除できる。次に、画像処理装置は、特徴点の入力を受け付ける（Ｓ２４）。例えば、マウス等によってポイントされた点を特徴点として受け付ける。ここで、特徴点とは目元や口元などを指示する点であり、この点に基づいてマスキングが行われる。【００８９】
次に、色素沈着計測部２１０は、画像からＢ（Ｂｌｕｅ）の画素を抽出して、Ｂｌｕｅ画像を作成する（Ｓ２６）。続いて、色素沈着計測部２１０は、作成したＢｌｕｅ画像から、毛穴および小皺を除去する（Ｓ２８）。ここでは、ＭｅｄｅｉａｎＦｉｌｔｅｒを使って、小さいオブジェクトを除去する。毛穴および小皺が除去されたＢｌｕｅ画像が色素沈着の検出対象の画像である。【００９０】
次に、色素沈着計測部２１０は、Ｂｌｕｅ画像から色素沈着を検出する。色素沈着計測部２１０は大きい色素沈着と小さい色素沈着とを検出可能であるが、最初に小さい色素沈着を検出する場合について説明する。小さい色素沈着を検出する場合には、色素沈着計測部２１０は、まずマスキング部２１４によって目、眉毛、口、鼻のマスキングを行う（Ｓ３０）。特徴点の入力（Ｓ２４）において入力された特徴点に基づいて、目、眉毛、口、鼻の位置を認識してマスクキングする。マスクキングは、白または黒で、目、眉毛、口、鼻の部分を一様に塗りつぶす。【００９１】
続いて、肌欠陥検出部２１２は、肌の欠陥の検出を行う（Ｓ３２）。まず、肌欠陥検出部２１２は、検出対象の肌の欠陥の大きさに応じて、Ｂｌｕｅ画像を肌欠陥判定領域の大きさを決定する。ここでは、ａ１×ａ１の大きさに決定する。肌欠陥検出部２１２は、肌欠陥判定領域の画像を平滑化し、元の画像との差分をとることによって、周囲の画素値から急激に変化している点を検出する。具体的には、差分と閾値とを比較して、差分が閾値を超えている場合に、肌欠陥であると判定する。【００９２】
次に、肌欠陥検出部２１２は、検出された肌欠陥から、ＰａｒｔｉｃｌｅＦｉｌｔｅｒを用いて、小さいオブジェクトを抽出する（Ｓ３４）。ここで抽出されるオブジェクトの大きさは、撮像された顔の大きさ等に基づいて、適切に設定される。色素沈着計測部２１０は、検出された肌欠陥を色素沈着として出力する（Ｓ４２）。【００９３】
次に、色素沈着計測部２１０が、大きい色素沈着を検出する場合について説明する。大きい色素沈着を検出する場合には、毛穴および小皺を除去した後に、マスキングを行わないで肌欠陥を抽出する（Ｓ３６）。まず、肌欠陥検出部２１２は、Ｂｌｕｅ画像を処理単位の肌欠陥検出領域の大きさを決定する。ここでは、ａ２×ａ２（ａ１＜ａ２）の大きさに決定する。このように肌欠陥検出領域を大きく設定することにより、大きい肌欠陥を検出することが可能となる。【００９４】
次に、肌欠陥検出部２１２は、肌の欠陥の検出を行う。その後で、マスキング部２１４が目、眉毛、口、鼻のマスキングを行う（Ｓ３８）。そして、色素沈着計測部２１０は、大きいオブジェクトを抽出し（Ｓ４０）、抽出された肌欠陥を色素沈着部として出力する（Ｓ４２）。【００９５】
図１４は、毛穴計測部２２０による毛穴計測の動作を示すフローチャートである。コンピュータ２００の毛穴計測部２２０は、補正画像記憶部２０８から毛穴検出の対象の画像を読み出す（Ｓ５０）。続いて、毛穴計測部２２０は、読み出した画像から中心画像を切り出し（Ｓ５２）、特徴点の入力を受け付け（Ｓ５４）、受け付けた特徴点に基づいて、目、眉毛、口、鼻をマスキングする（Ｓ５６）。次に、毛穴計測部２２０はＢｌｕｅ画像を作成し（Ｓ５８）、作成したＢｌｕｅ画像と、色素沈着計測部２１０にて検出された色素沈着部分との差分をとって、毛穴計測候補の画像を作成する（Ｓ６０）。【００９６】
次に、毛穴計測部２２０は、Ｂｌｕｅ画像から毛穴を検出する（Ｓ６２）。最初に、毛穴または毛穴の黒ずみを検出する場合について説明する。まず、肌欠陥検出部２２２が、検出対象の肌の欠陥の大きさに応じて、Ｂｌｕｅ画像を肌欠陥判定領域の大きさを決定する。ここでは、ａ３×ａ３の大きさに決定する。肌欠陥検出部２２２は、肌欠陥判定領域の画像を平滑化し、元の画像との差分をとることによって、周囲の画素値から急激に変化している点を検出する。続いて、毛穴計測部２２０は、ＰａｒｔｉｃｌｅＦｉｌｔｅｒによって検出された肌欠陥から小さいオブジェクトを抽出し（Ｓ６４）、抽出された肌欠陥を毛穴または毛穴の黒ずみとして出力する（Ｓ６６）。【００９７】
次に、毛穴の開きを検出する場合について説明する。この場合も、毛穴または毛穴の黒ずみを検出する場合と同様に、肌欠陥検出部２２２がＢｌｕｅ画像を肌欠陥判定領域の大きさを決定する。ここでは、ａ４×ａ４（ａ３＜ａ４）の大きさに決定する。毛穴の開きは、毛穴または毛穴の黒ずみに比べて大きい肌欠陥であるので、毛穴または毛穴の黒ずみを検出する場合に比べて肌欠陥判定領域を大きく設定する。続いて、毛穴計測部２２０は、肌欠陥判定領域ごとに肌欠陥を抽出し（Ｓ６８）、ＰａｒｔｉｃｌｅＦｉｌｔｅｒによって検出された肌欠陥から大きいオブジェクトを抽出し（Ｓ７０）、抽出された肌欠陥を毛穴の開きとして出力する（Ｓ７２）。【００９８】
図１５は、キメ計測部２３０によるキメ計測の動作を示すフローチャートである。コンピュータ２００のキメ計測部２３０は、補正画像記憶部２０８からキメ計測の対象の画像を読み出す（Ｓ８０）。続いて、キメ計測部２３０は、読み出した画像において測定を行う測定点の入力を受け付ける（Ｓ８２）。ここで測定点は、キメ計測の中心となる点であり、キメ計測部２３０は、測定点の付近での肌のキメを測定する。続いて、キメ計測部２３０は、キメ計測の対象の画像からＢ（Ｂｌｕｅ）の画素を抽出して、Ｂｌｕｅ画像を作成する（Ｓ８４）。【００９９】
次に、キメ計測部２３０のスキャン部２３２は、測定点から１６方向に放射状にスキャンして画素の値を取得する（Ｓ８６）。キメ評価値算出部２３４は、スキャンによって得られた各方向における画素値の分布の標準偏差を求める（Ｓ８８）。キメ評価値算出部２３４は、求めた標準偏差を点数化し、点数を合計してキメの整い度合いを示す評価値を算出する（Ｓ９０）。そして、キメ評価値算出部２３４は、キメ評価値を出力する（Ｓ９２）。以上、本実施の形態の画像処理装置の構成および動作について詳しく説明した。【０１００】
本実施の形態の画像処理装置は、グレースケール色票１８０の基準画像を予め記憶しておき、記憶されたグレースケール色票１８０の画素値と撮像画像におけるグレースケール色票１８０とを比較することによって撮像画像の補正量を求める。これにより、各色のバランスだけでなく、画素値の絶対量も基準画像に合わせることができ、撮影条件の相違等に起因する影響を低減できる。従って、例えば、顔画像を、撮像ボックス１００とは異なる撮像装置で取得した場合にも、撮像ボックス１００で撮像された顔画像と適切に比較することが可能となる。【０１０１】
本実施の形態の画像処理装置では、撮像画像を平滑化した画像と元の画像との差に基づいて肌の欠陥を検出するので、元々の肌（地肌）の色の影響を受けずに、適切に肌の欠陥を検出することができる。【０１０２】
本実施の形態の画像処理装置では、キメ計測部２３０が、測定点から放射状に画像をスキャンするので、キメがいずれの方向に流れていたとしても、適切にキメの評価を行うことができる。キメ計測部２３０は、スキャンによって得られた画素値の分布の標準偏差を用いてキメの評価値を求めているので、複数方向についてのキメの評価を総合して、キメの総合的な評価値を求めることができる。【０１０３】
従来は、測定点からある方向にスキャンしたときの明暗数によってキメを評価する手法が知られていた。しかし、従来の方法では明暗の多寡によってキメが細かいか粗いかを判断し、暗部の面積によってしわの太さを判断するに過ぎなかった。複数ラインでの測定結果の標準偏差を利用する手法も提案されているが、同一方向へのスキャン結果に基づいていたので、スキャンの方向によって評価結果が変わるという問題があった。本実施の形態によれば、複数方向へのスキャン結果を総合的に評価して、キメの流れる方向によらず評価を行うことができると共に、基準の肌との比較によって肌の状態も判断できる。【０１０４】
第２の実施の形態の画像処理装置について説明する。第２の実施の形態の画像処理装置は、基本的に第１の実施の形態の画像処理装置と同様の構成を有するが、第２の実施の形態の画像処理装置は、肌欠陥検出部の構成が異なる。第１の実施の形態では、肌欠陥検出部２１２，２２２は、元の画像と平滑化した画像との差分を求めることにより肌の欠陥を検出するが、第２の実施の形態では平滑化画像を用いないで肌の欠陥を検出する計算処理の負担の小さい処理を行う。【０１０５】
図１６は、第２の実施の形態の画像処理装置における肌欠陥検出の動作を示す図である。肌欠陥検出の対象となる画像は、撮像ボックス１００にて撮像された画像をトリミングして中心画像を切り出した画像である。また、肌欠陥検出の対象となる画像は、肌以外の特徴部分（目、眉毛、口、鼻など）をマスキングしておく。これらの処理は、第１の実施の形態の画像処理装置と同じ処理により行われる。【０１０６】
第２の実施の形態においては、肌欠陥検出部は、まず、検出の対象となる画像のコピーを作成する（Ｓ１００）。ここでは、肌欠陥検出部は、４枚のコピー画像を作成する。次に、肌欠陥検出部は、作成したそれぞれのコピー画像に対して、エンボス処理を行う（Ｓ１０２）。エンボス処理とは、所定の方向にある光源から光を当てたときに形成される陰影を含んだ画像を生成する処理である。【０１０７】
図１７Ａは、エンボス処理前における肌欠陥２４０の画像を示す図である。毛穴などの肌欠陥は、周囲より黒ずんでおり、図１７Ａのように表示される。図１７Ｂは、エンボス処理後における肌欠陥２４２の画像を示す図である。エンボス処理は、元の画像をずらしたシフト画像を生成し、元の画像とシフト画像との差分をとることによって行う。これにより、明暗の差が大きい部分に陰影が形成され、所定の方向から光を当てたときの画像が得られる。エンボス処理の光源２４４の方向は、シフトする方向によって規定される。【０１０８】
図１８Ａ〜図１８Ｄは、４枚のコピー画像のそれぞれにエンボス処理を行った画像の例を示す図である。図１８Ａ〜図１８Ｄに描かれた円は、毛穴等の肌の欠陥の輪郭を示している。図１８Ａは、紙面に向かって右側の光源から光を当てた場合のエンボス処理後の肌欠陥の画像２４２を示す。同様に、図１８Ｂは下側、図１８Ｃは左側、図１８Ｄは上側の光源から光を当てた場合のエンボス処理後の肌欠陥２４２の画像を示す。【０１０９】
次に、エンボス処理を行ったコピー画像からブルーチャンネルを取り出し、グレースケール画像に変更する（Ｓ１０４）。ここで、画像から暗い部分を除去するために、コピー画像の全画素から所定の画素値を減算し、その後所定の画素値を加算してもよい。【０１１０】
続いて、肌欠陥検出部は、エンボス処理後の４枚のコピー画像の平均画像２４６を生成する（Ｓ１０６）。具体的には、対応する画素の画素値の平均を求め、合成画像を生成する。図１９は、エンボス処理後の４枚のコピー画像の平均画像を示す図である。【０１１１】
図１９に示すように、平均画像２４６は、肌の欠陥の箇所が、エンボス処理の陰影によって周囲より暗くなっているので、肌の欠陥を検出することができる。暗くなっている部分の大きさに応じて、肌の欠陥の種類（しみ、毛穴等）を検出する手法は、第１の実施の形態と同様である。肌の欠陥を検出するときに、平均画像にガウシアンフィルターをかけてノイズを除去する（Ｓ１０８）。平均画像を生成した後は、肌欠陥検出部は、コピー画像を記憶していたメモリ領域を解放する（Ｓ１１０）。【０１１２】
本実施の形態の画像処理装置によれば、平滑化画像を生成して、平滑化画像と元の画像との差分を計算する必要がないので、計算処理の負担を軽減できる。また、肌欠陥の検出の精度については、第１の実施の形態の画像処理装置とほぼ同じ精度を実現できる。【０１１３】
次に、本発明の第３の実施の形態について説明する。第３の実施の形態の画像処理装置は、基本的に第１の実施の形態の画像処理装置と同様の構成を有するが、第３の実施の形態の画像処理装置は、キメ計測部の構成が異なる。第１の実施の形態では、キメ計測部２３０は、所定方向にスキャンしたときの皮溝の出現割合に基づいて、キメの状態を検出したが、第３の実施の形態では皮丘に着目してキメの状態を検出する処理を行う。【０１１４】
図２０は、第３の実施の形態におけるキメ検出の動作を示す図である。キメ検出の対象となる画像は、撮像ボックス１００にて撮像された画像をトリミングして中心画像を切り出した画像である。キメ検出の対象となる画像は、肌以外の特徴部分（目、眉毛、口、鼻など）をマスキングしておく。これらの処理は、第１の実施の形態の画像処理装置と同じ処理により行われる。【０１１５】
第３の実施の形態において、キメ計測部は、まず、対象画像のＲＧＢの平均値を計算することにより、対象画像をグレイスケールに変換する（Ｓ１２０）。また、マイクロスコープで得られた画像は、雑音レベルが高いので、ぼかし処理を行う（Ｓ１２０）。次に、キメ計測部は、対象画像のコピーを８枚生成する（Ｓ１２２）。続いて、キメ計測部は、８枚のコピーのそれぞれに対し、所定の方向に沿う直線を強調する処理を行う（Ｓ１２４）。所定の方向に沿う直線を強調する処理は、１５×１５フィルタによって行う。図２１は、紙面に向かって上方向から右に２２．５°傾いた方向の直線を強調する１５×１５フィルタの例を示す図である。【０１１６】
図２２Ａは強調処理前の肌の画像の例を示す図、図２２Ｂは強調処理後の肌の画像の例を示す図である。図２２Ａにおいて、矢印２５０は、垂直方向から右２２．５°傾いた強調方向を示している。図２２Ａおよび図２２Ｂから分かるように、強調処理を行うことにより、垂直方向から右２２．５°傾いた方向に向かって延びる皮溝が強調されると共に、強調方向と垂直な方向については画像がぼやけ、途切れて映っている皮溝２５２をつなぎ合わせることができる。これにより、皮溝に囲まれる皮丘を検出することが可能となる。キメ計測部は、８枚のコピー画像のそれぞれに対して、強調する角度を２２．５°ずつずらして強調処理を行う。【０１１７】
次に、キメ計測部は、強調処理により得られた画像に適応２値化処理を行う（Ｓ１２６）。これにより、画像に明暗のムラがある場合にも、皮溝と皮溝でない部分との明暗の差を用いることで、適切に皮溝を検出することができる。次に、キメ計測部は、画像全体に所定の画素値を加えた後に、所定の画素値を減じることにより、画像中の明部をカットする（Ｓ１２８）。キメ計測部は、強調処理（Ｓ１２４）、適応２値化処理（Ｓ１２６）および明部をカットする処理（Ｓ１２８）を８枚のコピー画像全てについて行ったか否かを判定し（Ｓ１３０）、８枚のコピー画像全てについて処理をした場合には（Ｓ１３０でＹＥＳ）、８枚のコピー画像を合成する（Ｓ１３２）。８枚のコピー画像の合成方法は、各画素の画素値を、８枚のコピー画像の対応する８つの画素の画素値のうち、最小の画素値を採用することによって決定する。【０１１８】
次に、キメ計測部は、パーティクルフィルタを用いて、合成した画像から所定の範囲（例えば０．０１ｍｍ２〜１．０ｍｍ２）の皮丘を検出し、その個数をカウントする（Ｓ１３４）。キメ計測部は、画像中に含まれる皮丘の数によってキメの細かさを評価する得点を算出する（Ｓ１３６）。キメの細かさは、例えば、検出されたキメの個数をあらかじめ設定した数に対する百分率で表してもよい。百分率の基準となる数は、画像の大きさやキメの細かさの評価基準に応じて適宜設定することができる。【０１１９】
次に、キメ計測部は、キメ表示画像を生成する（Ｓ１３６）。キメ表示画像は、モノクロ画像でもよいし、カラー画像でもよい。モノクロ画像の場合には、例えば、８ビットグレイスケール画像に変換して、皮丘以外の画素をインデックス１に変更する。そして、アプリケーション画像でパレットをグレースケールパレットに設定し、インデックス１だけ（Ｒ，Ｇ，Ｂ）を（２５５，１２８，０）にする。カラー画像の場合には、皮丘の部分の画素は元の画像のデータを用い、皮丘以外の部分の画素は（Ｒ，Ｇ，Ｂ）を（２５５，１２８，０）にする。【０１２０】
本実施の形態によれば、途切れた皮溝をつなぐことによって皮丘の識別を適切に行えるようにし、皮丘の数に応じてキメの細かさを適切に計測することができる。【０１２１】
以上、本発明の画像処理装置について実施の形態を挙げて詳しく説明したが、本発明は上記した実施の形態に限定されるものではない。【０１２２】
上記した実施の形態では、グレースケール色票１８０を用いた補正によって補正された補正画像に対して、肌欠陥の検出やキメの評価値の算出を行う例について説明したが、肌欠陥の検出やキメの評価値の算出は、撮像によって得られた元の画像に対して行ってもよい。【０１２３】
上記した実施の形態では、撮像ボックス１００に備えられたＣＣＤカメラ１２０で対象画像を撮像する例について説明したが、例えば、マイクロスコープ等の他の撮影デバイスを用いてもよい。なお、マイクロスコープで撮影した画像によりキメ計測を行う場合、色補正やマスキングの処理を行わない構成とすることも可能である。この構成により、キメの細かさを評価した場合にも、有効性を確認できた。【０１２４】
以上に現時点で考えられる本発明の好適な実施の形態を説明したが、本実施の形態に対して多様な変形が可能なことが理解される。本発明の真実の精神と範囲内にあるそのようなすべての変形を添付の特許請求の範囲が含むことが意図されている。
【産業上の利用可能性】
【０１２５】
以上説明したように、本発明は任意の画像に対して適切に色補正を行うことができるというすぐれた効果を有し、撮像された画像から肌の状態等を分析する装置等に適用することが可能である。
【図１】
2006057314.tif 000002
【図２】
2006057314.tif 000003
【図３】
2006057314.tif 000004
【図４】
2006057314.tif 000005
【図５】
2006057314.tif 000006
【図６】
2006057314.tif 000007
【図７Ａ】
2006057314.tif 000008
【図７Ｂ】
2006057314.tif 000009
【図７Ｃ】
2006057314.tif 000010
【図７Ｄ】
2006057314.tif 000011
【図８】
2006057314.tif 000012
【図９】
2006057314.tif 000013
【図１０】
2006057314.tif 000014
【図１１】
2006057314.tif 000015
【図１２】
2006057314.tif 000016
【図１３】
2006057314.tif 000017
【図１４】
2006057314.tif 000018
【図１５】
2006057314.tif 000019
【図１６】
2006057314.tif 000020
【図１７Ａ】
2006057314.tif 000021
【図１７Ｂ】
2006057314.tif 000022
【図１８Ａ】
2006057314.tif 000023
【図１８Ｂ】
2006057314.tif 000024
【図１８Ｃ】
2006057314.tif 000025
【図１８Ｄ】
2006057314.tif 000026
【図１９】
2006057314.tif 000027
【図２０】
2006057314.tif 000028
【図２１】
2006057314.tif 000029
【図２２Ａ】
2006057314.tif 000030
【図２２Ｂ】
2006057314.tif 000031
【国際調査報告】
2006057314.tif 000032
2006057314.tif 000033
2006057314.tif 000034
2006057314.tif 000035
2006057314.tif 000036
2006057314.tif 000037
2006057314.tif 000038