(57)【特許請求の範囲】
【請求項１】
被験者の肌を画像データとして撮影する撮影手段と、
偏光を用いて前記撮影された被験者の肌画像データを光源からの光が被験者の皮膚の表面で反射した表面反射光成分と皮膚の内部で反射した内部反射光成分とに分離する反射光検出手段と、
前記内部反射光成分の色成分ベクトルとその相対係数とから被験者の皮膚の肌色を構成するメラニン成分およびヘモグロビン成分を求める処理手段と
を備えた肌色測定装置。
【請求項２】
前記被験者から求められたメラニン成分およびヘモグロビン成分を肌のメラニン成分およびヘモグロビン成分の平均値のデータベースと比較し比較結果に基づいて被験者の肌状態を評価して評価結果を出力する評価手段を備えた請求項１記載の肌色測定装置。
【請求項３】
被験者の肌を画像データとして撮影する撮影手段と、
偏光を用いて前記撮影された被験者の肌画像データを光源からの光が被験者の皮膚の表面で反射した表面反射光成分と皮膚の内部で反射した内部反射光成分とに分離する反射光検出手段と、
前記内部反射光成分の色成分ベクトルとその相対係数とから被験者の皮膚の肌色を構成するメラニン成分およびヘモグロビン成分を求める処理手段と、
肌色に対する被験者の希望を入力する手段と、
基礎化粧を施したときのメラニン成分およびヘモグロビン成分の変化に関するデータが格納されたデータベースと、
入力された被験者の希望に沿って前記データベースから選択されたデータに基づいて、被験者の肌画像データに肌色を構成するメラニン成分およびヘモグロビン成分の比率の変化処理を行う画像処理手段と、
画像処理手段から出力された肌画像を表示する表示手段と
を備えた肌画像処理装置。
【請求項４】
入力された被験者の希望に沿った基礎化粧を所定期間施したときの肌色の変化の結果を表示する手段を含む請求項３記載の肌画像処理装置。
【請求項５】
入力された被験者の希望に沿って前記データベースから選択されたデータに対応する基礎化粧を実施するための基礎化粧品のデータを出力する手段をさらに備えた請求項３または４記載の肌画像処理装置。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、皮膚、特に顔の肌色の観測を行う技術に関する。本発明は、顧客の肌色を観測して顧客の肌の状態を診断し、その診断結果を出力するとともに、この診断結果に基づいて基礎化粧を行ったときの結果を出力したりどのような基礎化粧を行ったらよいかのアドバイスを行う装置に関する。
【０００２】
【従来の技術】
人の肌色が主としてメラニンの成分量とヘモグロビンの成分量とによって左右されることが知られている。褐色の肌はメラニン成分量が多く、白い肌はヘモグロビン成分量が少ない。また血色のよい肌はヘモグロビン、特に酸素分圧の高いヘモグロビン成分量が多く、血色の悪い肌はヘモグロビン成分量が少なく、肌色が血液の循環の度合いにより違ってくることが知られている。
【０００３】
出願人は、このようなメラニン成分量とヘモグロビン成分量とを測定する方法として、所定の波長の光を肌（皮膚）にあて、その反射光を検出する方法を提案している（特開平１０−１２７５８５号公報）。この公報提案の方法は、異なる３つ以上の波長を肌に当ててその反射光を検出し、波長ごとに異なるメラニン、ヘモグロビンによる吸光係数によって肌のメラニン成分量に基づく特性、ヘモグロビン成分量および酸素飽和度に基づく特性を求めて、肌の状態を診断しようとするものである。
【０００４】
【発明が解決しようとする課題】
この出願人提案の技術は、まず、３つの異なる波長を照射してそれぞれの波長領域で反射光の強度を検出する必要がある。特に、それぞれの波長の光源を準備する必要があり、装置構成が膨大なものとなる。また、この提案では表面反射光成分をノイズとして扱うように測定系を構成するとの記載はあるが、具体的にどのようにして表面反射光を取り除き、内部散乱反射光を検出するかの提案はない。
【０００５】
また、津村らのグループは、肌をメラニンとヘモグロビンとが層状に分布し、その２成分が相互に独立してLambert−Beerの法則に基づいているというモデルにより、顔画像を独立成分分析によって解析し、色素成分を算出する方法を提案している（「肌画像の独立成分分析に基づく顔色の変化予測」1997年日本光学会講演予稿集30aE02および「肌の色素成分に基づく顔色合成とその評価」カラーフォーラムＪＡＰＡＮ２０００第５〜８頁)。
【０００６】
しかし、この提案でも、肌の表面で反射される表面反射光は、皮膚の表皮および真皮に含まれるメラニンおよびヘモグロビンによる肌色を表すものではないので、単に撮影した顔画像を処理するだけでは、表面反射光の影響を受けて正確なメラニンおよびヘモグロビンの成分を計測することができない問題がある。
【０００７】
また、この画像処理によって処理された顔画像のメラニン成分量、ヘモグロビン成分量に基づいて基礎化粧を行ったり、あるいはどのような化粧顔にするのか等のアドバイスを行うことについては何ら言及がない。
【０００８】
本発明は、肌色に寄与するメラニン成分、ヘモグロビン成分等の色素成分の精度の高い計測を行うことができる肌色測定装置を提供することを目的とする。また、測定に基づいて被験者の肌色の診断を行う肌色診断装置および所望の化粧をした後の顔画像を表示することができる顔画像処理装置を提供することを目的とする。また、測定に基づいて顧客に対して化粧アドバイスを与えることができるアドバイスシステムを提供することを目的とする。
【０００９】
【課題を解決するための手段】
皮膚を表皮側の層にメラニン、真皮側の層にヘモグロビンを含むとした層状モデルとし、各成分が独立でLambert−Beerの法則に基づくとして、独立成分分析または主成分分析などを行うことにより、メラニン成分、ヘモグロビン成分とその相対係数（量）を算出できる。独立成分分析は、互いに独立な情報源からの信号が混合した信号を解析して、元の独立な信号を分離して抽出する手法であり、生体のような種々の情報源からの信号を分析するのに用いられている。また、主成分分析は、測定されたデータの相互関連を分析していくつかの主成分への要約、あるいは主成分に合成する分析方法をいう。
【００１０】
分光された肌色の色成分ベクトルについて考えると、
Ｃ＝ｑ(1)・Ｃ(1)＋ｑ(2)・Ｃ(2)＋Ｃ(3)
ここで、
Ｃ：ある座標（l,m)における色成分ベクトル
Ｃ(1)、Ｃ(2)：第１成分、第２成分色素の色成分ベクトル
ｑ(1)、ｑ(2)：第１成分、第２成分色素の相対係数
Ｃ(3)：皮膚構造や他の色素によって発生する定常ベクトル
で表すことができる。
【００１１】
これをＲＧＢの色信号についてそれぞれＲ、Ｇ、Ｂの色ベクトルをｒ、ｇ、ｂとするとき、ある点の画素の色ベクトルＣは
Ｃ＝［-logｒ、-logｇ、-logｂ］
となる。ここで、独立成分分析、主成分分析または因子分析を行い、色成分ベクトルとその相対係数を算出し、それぞれＣ(1)、Ｃ(2)、ｑ(1)、ｑ(2)を求めて、被験者の肌色におけるメラニン成分量、ヘモグロビン成分量を得ることができ、それにより、被験者の肌を評価することが可能である。なお、検出する色信号の数を増加させれば、それに応じて、上記Ｃ(3)から第３成分（およびより高次の成分）の色素の色成分ベクトルおよび相対係数を抽出することができる。
【００１２】
ここで、肌の表面で反射する表面反射光成分は、肌表面の凹凸に起因するもので、上述のメラニン成分とヘモグロビン成分とを分離する分析ではノイズとなってしまう。これは、表面反射光は色濃度表現系では加法的に扱うことができないためである。
【００１３】
本発明は、ノイズ成分となる表面反射光成分を偏光を用いて除去している。
【００１４】
皮膚の表面で反射する表面反射光は、入射光の偏光面が維持された状態で反射する。これに対して皮膚の内部で散乱した内部反射光は様々な偏光面の光を含む。
【００１５】
ここで、入射光を偏光板により、縦方向の偏光面の光として入射したとすると、皮膚の表面反射光はこの入射された縦方向の偏光面を維持して反射する。一方皮膚の内部反射光は、様々な偏光面の光を含んで反射する。このため、反射光を縦方向の偏光のみを通過させる偏光板を通過させると、表面反射光と内部反射光とを含んだ反射光を検出できる。一方、横方向の偏光のみを通過させる偏光板を通過させると、入射光と同じ偏光面の光を遮るので、内部反射光のみを検出できる。これにより、入射光と反射光とをそれぞれ偏光板を通過させて反射光を検出することにより、皮膚の表面で反射される表面反射光を除外することができる。
【００１６】
偏光を利用して表面反射光を除外した内部反射光によるメラニン、ヘモグロビン成分の抽出は、次のようになる。
【００１７】
偏光を利用して表面反射光を除外したＲ、Ｇ、Ｂの各色の強度ベクトルをそれぞれＲ、Ｇ、Ｂの色ベクトルをｒ′、ｇ′、ｂ′とするとき、ある点の画素の色成分ベクトルＣは
Ｃ＝［-logｒ′、-logｇ′、-logｂ′］
で表され、これを独立成分分析、主成分分析または因子分析を行うことにより、内部反射光のみによる、メラニン成分、ヘモグロビン成分とその相対係数を算出することができる。
【００１８】
なお、表面反射光の除去は、偏光板を用いた方法の他に、拡散光照明によって表面反射光を除去することが可能であるが、皮膚のような起伏の大きい凹凸があるような場合は、より簡便で安定的に表面反射光を除外できる偏光板を用いる方法が実用的である。
【００１９】
このように表面反射光を除外することで、被験者の肌のメラニン成分量、ヘモグロビン成分量を精度よく検出できる。本発明の手法は必要に応じてメラニン成分およびヘモグロビン成分以外の他の色素成分、例えばビルビリン成分およびカロチン成分にも適用される。肌色を構成する色素成分はそれぞれ特徴的な吸収スペクトルを示すことが公知であり、所望の色素成分に対応する波長において反射光を検出することで、その成分量と相対係数とを求めることができる。これに基づいて被験者の肌の評価診断、化粧シミュレーションおよびアドバイスを行う。
【００２０】
上記の方法により少なくともメラニン成分量、ヘモグロビン成分量とその相対係数が求められるので、検出された肌色に対するメラニン成分量、ヘモグロビン成分量の寄与分から肌色の評価、診断を行うことができる。例えば、被験者を撮影した顔画像からメラニン成分量、ヘモグロビン成分量を求め、データベースにある平均的な値と比較することで、色白の肌か、色黒の肌であるかを判定できる。また、ヘモグロビン成分量は、その分光特性から、酸素分圧が高いヘモグロビンが多いのか（動脈血型）、酸素分圧が低いヘモグロビンが多いのか（静脈型）がわかるので、健康診断としても利用できる。また、肌色が黒っぽい場合も、メラニン成分量が多いのか、あるいは酸素分圧が低いヘモグロビン成分量が多いのかを判定して、日焼け等によるメラニン成分量が多いのか、疲れによる色黒に見えるのか等の判定ができる。
【００２１】
また、求められた被験者のメラニン成分量とヘモグロビン成分量に基づいて化粧アドバイスを与えることができる。
【００２２】
被験者の肌色測定によりメラニン成分量、ヘモグロビン成分量が求められる。これとは別に被験者に対する問診により、被験者の希望を聞く。この問診は、例えば、より白い色、より褐色の色などどのような肌色になりたいかを聞くものである。ところで、どのような基礎化粧品を使用すれば、どのような肌色となるかのデータがデータベースとして構築されている。このデータは、どの基礎化粧品を皮膚に塗布するとどのように肌色におけるメラニン成分量とヘモグロビン成分量とが変化するかというデータ、あるいは経時変化として、この基礎化粧品を使うと１月後、２月後、３月後にはどのように肌色が変化するかのデータなどであり、画像処理装置は、このようなデータと被験者の希望および被験者の測定データとに基づいて、変化する肌色を予測として表示する。また、測定した被験者の肌色の情報に基づいて他のどのような基礎化粧品を用いたらよいかのアドバイスができる。
【００２３】
すなわち、本発明の第一の観点は、肌色測定装置であって、本発明の特徴とするところは、光源からの光が皮膚によって反射した反射光の分光データを、偏光を用いて、皮膚の表面で反射した表面反射光成分と皮膚の内部で反射した内部反射光成分とに分けて検出する反射光検出手段と、内部反射光成分から、被験者の肌色を構成する少なくとも一つの色素成分を求める処理手段と、この求められた色素成分を出力する手段とを備えたところにある。
【００２４】
例えば、前記色素成分は、メラニン成分、ヘモグロビン成分、ビルビリン成分およびカロチン成分からなる群から選択される。
【００２５】
本発明の第二の観点は、肌色診断装置であって、本発明の特徴とするところは、光源からの光が皮膚によって反射した反射光の分光データを、偏光を用いて、皮膚の表面で反射した表面反射光成分と皮膚の内部で反射した内部反射光成分とに分けて検出する反射光検出手段と、内部反射光成分から、被験者の肌色を構成するメラニン成分およびヘモグロビン成分を求める処理手段と、この求められたメラニン成分とヘモグロビン成分との関係から被験者の肌状態を評価して評価結果を出力する評価手段とを備えたところにある。
【００２６】
前記評価手段が、被験者から求められたメラニン成分およびヘモグロビン成分を既存のデータと比較し、比較結果に基づいて被験者の肌状態を評価することが望ましい。既存のデータは被験者と同年代の集団についての平均測定値が望ましいが、同一被験者の過去の測定値であってもよい。
【００２７】
本発明の第三の観点は、顔画像処理装置であって、本発明の特徴とするところは、光源からの光が皮膚によって反射した反射光の分光データを、偏光を用いて、皮膚の表面で反射した表面反射光成分と皮膚の内部で反射した内部反射光成分とに分けて、被験者の顔画像データとして検出する撮影手段と、内部反射光成分から、被験者の肌色を構成するメラニン成分およびヘモグロビン成分を求める処理手段と、肌色に対する被験者の希望を入力する手段と、基礎化粧を施したときのメラニン成分およびヘモグロビン成分の変化に関するデータが格納されたデータベースと、入力された被験者の希望に沿って前記データベースから選択されたデータに基づいて、被験者の顔画像データを処理する画像処理手段と、画像処理手段から出力された顔画像を表示する表示手段とを備えたところにある。
【００２８】
入力された被験者の希望に沿って前記データベースから選択されたデータに対応する基礎化粧を実施するための基礎化粧品のデータを出力する手段をさらに備えることが望ましい。
【００２９】
なお、基礎化粧とは、肌自体の色を変える美白剤、血行促進剤等の成分を含む乳液、化粧水等による化粧のことをいう。これに対し、ファンデーション等を用いて見かけ上の肌色を変える化粧をメイクアップという。
【００３０】
【発明の実施の形態】
本発明実施例の肌色測定装置および肌色診断装置ならびに顔画像処理装置を図１ないし図５を参照して説明する。図１は本発明第一実施例の肌色測定装置のブロック構成図である。図２は本発明第一実施例の肌色測定装置における内部光の検出を説明するための図である。図３は本発明第一実施例の肌色測定装置における表面光の検出を説明するための図である。図４は本発明第二実施例の肌色診断装置のブロック構成図である。図５は本発明第三実施例の顔画像処理装置のブロック構成図である。
【００３１】
本発明第一実施例は、肌色測定装置であって、図１に示すように、光源からの光が皮膚によって反射した反射光の分光データを、偏光を用いて、皮膚の表面で反射した表面反射光成分と皮膚の内部で散乱して反射した内部反射光成分とに分けて検出する反射光検出手段としての偏光板５０、５１、５２およびカメラ装置１および内部光検出部２と、内部反射光成分から、被験者の肌色を構成するメラニン成分またはヘモグロビン成分を求める処理手段としての分析部３とを備え、この求められたメラニン成分またはヘモグロビン成分を出力する肌色測定装置１０である。
【００３２】
本発明第二実施例は、肌色診断装置であって、図４に示すように、第一実施例の肌色測定装置１０から出力されたメラニン成分とヘモグロビン成分との関係から被験者の肌状態を評価して評価結果を出力する評価手段としての評価部１２を備えた肌色診断装置２０である。評価部１２が、被験者から求められたメラニン成分およびヘモグロビン成分を平均値データベース１１に記録された既存のデータと比較し、比較結果に基づいて被験者の肌状態を評価する。
【００３３】
本発明第三実施例は、顔画像処理装置であって、図５に示すように、第一実施例の肌色測定装置１０を用いて被験者の肌色を構成するメラニン成分およびヘモグロビン成分を求め、肌色に対する被験者の希望を入力し、基礎化粧を施したときのメラニン成分およびヘモグロビン成分の変化に関するデータが格納されたデータベースである変化状態データベース２１と、入力された被験者の希望に沿って変化状態データベース２１から選択されたデータに基づいて、被験者の顔画像データを処理する画像処理手段としての変化シミュレーション部２２と、変化シミュレーション部２２から出力された顔画像を表示する表示手段としての表示部２３とを備えた顔画像処理装置３０である。入力された被験者の希望に沿って変化状態データベース２１から選択されたデータに対応する基礎化粧を実施するための基礎化粧品のデータを出力する。
【００３４】
以下では、本発明実施例をさらに詳細に説明する。
【００３５】
（第一実施例）
本発明第一実施例を図１ないし図３を参照して説明する。本発明第一実施例の肌色測定装置１０は、測定の妨げとなっていたメラニン成分量およびヘモグロビン成分量の測定におけるノイズ成分となる肌の表面光成分を除去し、内部光成分による測定を行なうことができるため、正確な値を得ることができる。
【００３６】
すなわち、図２に示すように、偏光板５０を透過することにより偏光面が整えられた光が肌の表面を通過し、内部で散乱を複数回繰り返した後に外に出てくる場合には、偏光板５０で整えられた光は内部反射することにより、様々な偏光を有する光すなわち、内部光となって外に出ていく。
【００３７】
また、図３に示すように、偏光板５０を透過することにより偏光面が整えられた光が肌の表面で反射した場合には、偏光板５０で整えられた偏光方向は保存される。図３の例では、偏光板５０により縦方向の偏光に整えられた光が表面反射することにより、再び縦方向の偏光を有する光すなわち、表面光となって反射される。
【００３８】
このように偏光により表面光と内部光とを区別できる性質を利用して、図２に示すように、偏光板５１および５２を透過した光をカメラ装置１によりそれぞれ撮影する。偏光板５１を透過して撮影された画像を画像ａとする。偏光板５２を透過して撮影された画像を画像ｂとする。ここで、内部光画像を得たいときには、
２×画像ｂ
として画像合成を行う。すなわち、画像ｂには、内部光の要素しか含まれていないので、画像ｂとしてとらえられる光はそのまま全て内部光画像となる。しかし、内部光の約半分は、偏光板５２によって遮光されるので、遮光分を補う目的で、画像ｂの光量を２倍にする。
【００３９】
このようにしてノイズ成分となる肌の表面反射成分を除去した内部光成分に対し、分析部３では、前述したメラニン成分量およびヘモグロビン成分量の分析を行なうことにより、これらの正確な値を得ることができる。
【００４０】
（第二実施例）
本発明第二実施例の肌色診断装置について説明する。図４に示す肌色診断装置２０は、平均値データベース１１と評価部１２とから構成される。肌色測定装置１０の分析部３から出力されたメラニン成分量およびヘモグロビン成分量に着目し、メラニン成分量が多ければ色黒であり、また、ヘモグロビン成分量が少なければ、肌に赤みが少ないということができる。これにより、評価部１２は、被験者の肌色をメラニン成分量およびヘモグロビン成分量の平均値との差から評価することができる。この平均値は平均値データベース１１に蓄積しておく。
【００４１】
例えば、目の下のクマが、単にメラニンが多いだけなのか、疲れて酸素分圧が低いヘモグロビンが多いのか（静脈血型）、あるいは打撲のためか、単なる陰影にすぎないのか等を画像解析により判定することができる。これにより、肌の健康診断を行なうこともできる。メラニン成分量およびヘモグロビン成分量に基づく肌色診断の具体例を表１に示す。
【００４２】
【表１】
0003877959.tif 000002
【００４３】
（第三実施例）
本発明第三実施例の顔画像処理装置について説明する。図５に示す顔画像処理装置３０は、変化状態データベース２１と変化シミュレーション部２２と表示部２３とから構成される。変化シミュレーション部２２には、被験者の素顔画像と、肌色測定装置１０の分析部３により出力されたメラニン成分量およびヘモグロビン成分量と、肌色に対する被験者の希望とが入力される。
【００４４】
顔画像の印象データベースは、表２に示すように、被験者のなりたい希望の肌を言葉とそれに対応する画像処理の方向とを既定するための情報が記録されたデータベースであり、被験者からの「きれいな」「澄んだ」「生き生きした」「健康的な」等の肌の印象に対する希望に応じて、オペレータは、メラニン成分およびヘモグロビン成分の変化比率を変えることにより、画像表示されるシミュレーション結果の肌色の印象を変えることができる。以下に変化比率の具体例を示す。
【００４５】
【表２】
0003877959.tif 000003
【００４６】
変化シミュレーション部２２では、変化状態データベース２１の生体変化データベースを参照し、生体変化情報を得る。この生体変化情報は、規定された画像処理の方向に適合するタイプの基礎化粧品を所定期間使用した場合に発生するメラニン成分量およびヘモグロビン成分量の変化の情報であり、所定期間とは、例えば、１ヶ月、２ヶ月、３ヶ月といった期間である。ここで、表３に生体変化データベースの具体例を示す。各成分画像の所定領域の平均値濃度の変化比率（基準は０ヶ月）を示している。
【００４７】
【表３】
0003877959.tif 000004
【００４８】
このような生体変化データベースに基づき、どの基礎化粧品を使うと生体変化がどの程度なされるかをシミュレーションにて画像表示し、希望に合致するか否かを画面を見ながら対話的に判断して決定する。
【００４９】
メイクアップ効果データベースは、様々な化粧品を用いてメイクアップを施した場合のメイクアップ効果についての情報が記録されているデータベースであり、変化状態データベースの一部として任意に追加される。必要に応じて、このメイクアップ効果データベースを参照し、所定期間基礎化粧品を使用した後のメラニン成分量およびヘモグロビン成分量の増減に応じて変化した肌色に、さらにメイクアップを施した場合のメイクアップ効果情報を得て、基礎化粧による肌自体の色の変化では未だ不足している肌色の見かけ上の補正を行う。
【００５０】
変化シミュレーション部２２は、シミュレーション結果を表示部２３に表示する。オペレータは、被験者との対話により、希望との差異を分析する。表示されたシミュレーション結果が被験者の希望どおりであれば、シミュレーションに用いた基礎化粧品を被験者に適した基礎化粧品として決定する。シミュレーション結果が被験者の希望とは異なれば、使用基礎化粧品データを変更して再度変化シミュレーションを実行する。このようにして、被験者の希望に沿う基礎化粧品が決定される。
【００５１】
【発明の効果】
以上説明したように、本発明によれば、肌色に寄与するメラニン成分、ヘモグロビン成分等の色素成分の精度の高い計測を行うことができる。また、測定に基づいて被験者の肌色の診断を行う診断装置および所望の化粧をした後の顔画像を表示することができるメイクアップシステムを実現することができる。また、測定に基づいて顧客に対してアドバイスを与えることができるアドバイズシステムを実現することができる。
【図面の簡単な説明】
【図１】本発明第一実施例の肌色測定装置のブロック構成図。
【図２】本発明第一実施例の肌色測定装置における内部光の検出を説明するための図。
【図３】本発明第一実施例の肌色測定装置における表面光の検出を説明するための図。
【図４】本発明第二実施例の肌色診断装置のブロック構成図。
【図５】本発明第三実施例の顔画像処理装置のブロック構成図。
【符号の説明】
１  カメラ装置
２  内部光検出部
３  分析部
１０  肌色測定装置
１１  平均値データベース
１２  評価部
２０  肌色診断装置
２１  変化状態データベース
２２  変化シミュレーション部
２３  表示部
３０  顔画像処理装置
５０、５１、５２  偏光板
【図１】
0003877959.tif 000005
【図２】
0003877959.tif 000006
【図３】
0003877959.tif 000007
【図４】
0003877959.tif 000008
【図５】
0003877959.tif 000009