(57)【要約】【課題】小型簡便軽量であり処理速度が速く、高いリアリティのある化粧シミュレーション装置を提供する。【解決手段】標準となる顔画像に対し、その顔の三次元形状の情報と、その三次元形状に対する所望の化粧品の塗布領域を示す標準塗布形状とを定義した情報を保持し、被験者の二次元の顔画像を撮影し、撮影された被験者の二次元の顔画像から特徴点を抽出し、この特徴点とこの特徴点に対応する標準塗布形状の二次元に投影した特徴点とを比較し、この標準塗布形状の二次元に投影した特徴点と被験者の特徴点とが一致するように標準塗布形状を変形し、被験者の顔画像と合成する。生成された顔画像に対し、所望する化粧品を塗布した状態を仮想的に生成する。例えば、特徴点は、瞳の外周、唇の中央および左右、顔の輪郭の左右に設け、目、唇、顔などの部位内部の重心や端点を抽出し、詳細な輪郭抽出は行わない。【選択図】図１
2009053981.tif 000002
【特許請求の範囲】
【請求項１】
標準となる顔画像に対し、その顔の三次元形状の情報と、その三次元形状に対する所望の化粧品の塗布領域を示す標準塗布形状の情報とを保持する標準顔情報保持手段と、
被験者の二次元の顔画像を撮影する顔画像撮影手段と、
この顔画像撮影手段により撮影された被験者の二次元の顔画像から特徴点を抽出する特徴点抽出手段と、
この特徴点抽出手段により抽出された被験者の特徴点と、前記標準顔情報保持手段に保持されている前記標準塗布形状の二次元に投影した特徴点とを比較し、この標準塗布形状の二次元に投影した特徴点と前記被験者の特徴点とが一致するように前記三次元形状および前記標準塗布形状を変形し、被験者の顔画像と合成する変形合成手段と、
この変形合成手段により生成された顔画像に対し、所望する化粧品を塗布した状態を仮想的に生成する化粧シミュレーション手段と
を備え、
この化粧シミュレーション手段は、所望する化粧品を塗布した状態を仮想的に生成するのに際し、前記三次元形状の情報に基づき、化粧品塗布面の艶および発色の状態を表現する手段を備えた
化粧シミュレーション装置。
【請求項２】
前記特徴点を、瞳の外周、唇の中央および左右、顔の輪郭の左右に設ける請求項１記載の化粧シミュレーション装置。
【請求項３】
前記特徴点を、瞳の外周、唇の中央および左右に設け、顔の輪郭の左右に設けるべき特徴点については、前記瞳の外周、唇の中央および左右に設けた特徴点に基づき類推して設ける請求項１記載の化粧シミュレーション装置。
【請求項４】
被験者の顔画像から顔の表面で反射された表面反射光成分からなる外部顔画像データと内部で反射された内部反射光成分からなる内部顔画像データとを抽出する手段と、
化粧膜の表面で反射される表面反射光成分と化粧膜の内部で散乱されて反射される膜色成分と化粧膜を透過する透過成分とからなる化粧膜光学データを保持する手段と
を更に備え、
前記表現する手段は、被験者の顔画像の三次元形状情報に基づき、照明の位置を含む撮影環境に応じて前記化粧膜光学データと前記外部顔画像データと前記内部顔画像データとから被験者の顔画像の艶および発色の状態を表現する
請求項１ないし３のいずれかに記載の化粧シミュレーション装置。
【請求項５】
汎用の情報処理装置にインストールすることにより、その汎用の情報処理装置に、請求項１ないし４のいずれかに記載の化粧シミュレーション装置に相応する機能を実現させるプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、被験者の顔画像に仮想的に化粧を施した状態を画面に表示する装置に利用する。特に、店頭における化粧品の販売に利用する装置に関する。
【背景技術】
【０００２】
化粧品の研究開発または店頭でのメイクアドバイスのために、被験者の顔画像に、仮想的に化粧を施した状態を画面に表示する化粧シミュレーション装置が知られている（例えば、特許文献１または２参照）。
【０００３】
研究開発のための装置では、被験者の三次元形状に基づき仮想的に化粧を施した状態の顔画像を高いリアリティをもって表示することができるように工夫されている。また、化粧品の店頭販売のための装置では、顧客本人の顔画像を撮像し、仮想的に化粧を施した状態の顔画像をリアルタイムで表示することができるように工夫されている。
【特許文献１】特開２００５−２１６１３１号公報
【特許文献２】特開２００６−２３９２１号公報
【発明の開示】
【発明が解決しようとする課題】
【０００４】
一般的に、被験者の三次元形状のデータを収集するためには、複数台のカメラ装置を用いて異なる角度から被験者を撮影する必要がある。また、撮影した画像データの処理についても複雑な演算を必要とする。それ故、被験者の三次元形状を利用する上記の如き研究開発用装置では、高速に撮影・処理・表示することは困難である。
【０００５】
これに対し、店頭で使用するための装置は、小型簡便軽量であることが望ましく、顧客と対面しながら使用するために、処理の待ち時間が極力短く、処理速度が高速で、煩雑な操作ができるだけ少ないことが要求される。従って、複数台のカメラ装置の利用や、複雑な演算を要する三次元形状の情報処理を用いることが出来難く、結果として、化粧の異方性のある艶などの高度な表現ができず、得られる顔画像のリアリティが低いという問題がある。
【０００６】
本発明は、このような課題を解決するために行われたものであって、化粧シミュレーションを店頭にて行うのに適する、小型簡便軽量で処理速度が速く、高いリアリティのある化粧シミュレーション装置を提供することを目的とする。
【課題を解決するための手段】
【０００７】
本発明は、標準となる顔画像に対し、その顔の三次元形状の情報と、その三次元形状に対する所望の化粧品の塗布領域を示す標準塗布形状の情報とを保持する標準顔情報保持手段と、被験者の二次元の顔画像を撮影する顔画像撮影手段と、この顔画像撮影手段により撮影された被験者の二次元の顔画像から特徴点を抽出する特徴点抽出手段と、この特徴点抽出手段により抽出された被験者の特徴点と、前記標準顔情報保持手段に保持されている前記標準塗布形状の二次元に投影した特徴点とを比較し、この標準塗布形状の二次元に投影した特徴点と前記被験者の特徴点とが一致するように前記三次元形状および前記標準塗布形状を変形し、被験者の顔画像と合成する変形合成手段と、この変形合成手段により生成された顔画像に対し、所望する化粧品を塗布した状態を仮想的に生成する化粧シミュレーション手段とを備え、この化粧シミュレーション手段は、所望する化粧品を塗布した状態を仮想的に生成するのに際し、前記三次元形状の情報に基づき、化粧品塗布面の艶および発色の状態を表現する手段を備えた化粧シミュレーション装置である。
【０００８】
例えば、前記特徴点を、瞳の外周、唇の中央および左右、顔の輪郭の左右に設けることができる。かかる特徴点抽出手段は、目、唇、顔などの部位内部の重心や端点を抽出しており、詳細な輪郭抽出は行わない点に特徴がある。あるいは、前記特徴点を、瞳の外周、唇の中央および左右に設け、顔の輪郭の左右に設けるべき特徴点については、前記瞳の外周、唇の中央および左右に設けた特徴点に基づき類推して設けてもよい。
【０００９】
これによれば、被験者の二次元画像を撮影するだけで、被験者の三次元の顔画像を生成することができるため、複数台のカメラ装置や複雑な演算の必要が無く、さらに、少数の主要な特徴点のみを抽出するだけでよいため、これによっても複雑な操作や複雑な演算を無くすことができ、本発明の目的である小型簡便軽量であり、処理速度が速く、煩雑な操作を要しない化粧シミュレーション装置を実現することができる。
【００１０】
更に、被験者の顔画像から顔の表面で反射された表面反射光成分からなる外部顔画像データと内部で反射された内部反射光成分からなる内部顔画像データとを抽出する手段と、化粧膜の表面で反射される表面反射光成分と化粧膜の内部で散乱されて反射される膜色成分と化粧膜を透過する透過成分とからなる化粧膜光学データを保持する手段とを備えた構成とし、前記表現する手段は、被験者の顔画像の三次元形状の情報に基づき、照明の位置を含む撮影環境に応じて前記化粧膜光学データと前記外部顔画像データと前記内部顔画像データとから被験者の顔画像の艶および発色の状態を表現することができる。
【００１１】
これにより、リアリティの高い化粧シミュレーション結果を表示することができる。
【００１２】
また、本発明をプログラムの観点から観ることもできる。すなわち、本発明は、汎用の情報処理装置にインストールすることにより、その汎用の情報処理装置に、本発明の化粧シミュレーション装置の機能に相応する機能を実現させるプログラムである。
【００１３】
本発明のプログラムは記録媒体に記録されることにより、前記汎用の情報処理装置は、この記録媒体を用いて本発明のプログラムをインストールすることができる。あるいは、本発明のプログラムを保持するサーバからネットワークを介して直接前記汎用の情報処理装置に本発明のプログラムをインストールすることもできる。
【００１４】
これにより、汎用の情報処理装置を用いて、本発明の化粧シミュレーション装置の機能に相応する機能を実現することができる。
【００１５】
なお、本発明のプログラムは、汎用の情報処理装置によって直接実行可能なものだけでなく、ハードディスクなどにインストールすることによって実行可能となるものも含む。また、圧縮されたり、暗号化されたりしたものも含む。
【発明の効果】
【００１６】
本発明によれば、化粧シミュレーションを店頭にて行うのに適する、小型簡便軽量であり処理速度が速く、リアリティが高く、煩雑な操作を要しない化粧シミュレーション装置を実現することができる。
【発明を実施するための最良の形態】
【００１７】
本発明実施例の化粧シミュレーション装置を図面を参照して説明する。本実施例の化粧シミュレーション装置は、図１に示すように、標準となる顔画像に対し、その顔の三次元形状の情報と、その三次元形状に対する所望の化粧品の塗布領域を示す標準塗布形状の情報とを保持する標準顔情報保持部１と、被験者の二次元の顔画像をカメラ装置１１を用いて撮影する顔画像撮影部２と、この顔画像撮影部２により撮影された被験者の二次元の顔画像から特徴点を抽出する特徴点抽出部３と、この特徴点抽出部３により抽出された被験者の特徴点と、それに対応する標準顔情報保持部１に保持されている前記標準塗布形状の二次元に投影した特徴点とを比較する特徴点比較部４と、この比較結果に基づき前記標準塗布形状の二次元に投影した特徴点と前記被験者の特徴点とが一致するように前記標準塗布形状を変形し、被験者の顔画像と合成する変形合成部５と、この変形合成部５により生成された顔画像に対し、所望する化粧品を塗布した状態を仮想的に生成する化粧シミュレーション部１３とを備えている。この化粧シミュレーション部１３は、所望する化粧品を塗布した状態を仮想的に生成するのに際し、前記三次元形状の情報に基づき、化粧品塗布面の艶および発色の状態を表現する手段を備えている。より具体的には、素肌画像データ抽出部７、化粧膜光学データ保持部８、照明情報保持部９を備える。例えば、前記特徴点は、瞳の外周、唇の中央および左右、顔の輪郭の左右に設けられる。また、標準塗布形状は、標準顔形状上にメッシュ状態で定義しても、スプライン関数などで数学的に定義してもよい。
【００１８】
素肌画像データ抽出部７は、被験者の顔画像から顔の表面で反射された表面反射光成分からなる外部顔画像データと内部で反射された内部反射光成分からなる内部顔画像データとを抽出する。
【００１９】
化粧膜光学データ保持部８は、化粧膜の表面で反射される表面反射光成分と化粧膜の内部で散乱されて反射される膜色成分と化粧膜を透過する透過成分とからなる化粧膜光学データを保持する。
【００２０】
化粧シミュレーション部１３は、変形合成部５により合成された被験者の顔画像の三次元形状の情報に基づき、照明情報保持部９に保持されている照明の位置を含む撮影環境に応じて、前記素肌画像データと前記化粧膜光学データとから被験者の顔画像の艶および発色の状態を表現する。
【００２１】
標準塗布形状は、図２に示すように、標準となる顔に対して、その三次元形状に所望の化粧品を塗布する領域が、三次元形状の情報と共に保持される。三次元形状の情報とは、例えば、顔画像の表面に対する法線情報である。法線は、顔画像の表面に対して垂直な直線であり、法線の向き（ベクトル方向）を調べることにより表面の凹凸の状況を認識することができる。
【００２２】
図２（ａ）は、瞼に化粧が施された状態を示し、図２（ｂ）は、眉毛部分に化粧が施された状態を示し、図２（ｃ）は、頬に化粧が施された状態を示し、図２（ｄ）は、唇に化粧が施された状態を示し、図２（ｅ）は額に化粧が施された状態を示し、図２（ｆ）は、顔全体に下地として化粧が施された状態を示す。
【００２３】
オペレータは、被験者と相談しながら標準塗布形状図２（ａ）〜図２（ｆ）を適宜選択して組み合わせることにより、被験者の顔画像に、所望する化粧品を塗布した状態を仮想的に生成して表示部１０に表示する。
【００２４】
例えば、瞼には化粧品Ａを用い、眉毛部分には化粧品Ｂを用い、頬には化粧品Ｃを用い、唇には化粧品Ｄを用い、額には化粧品Ｅを用い、顔全体の下地には化粧品Ｆを用いるという化粧シミュレーションを実行する場合には、オペレータは、図２（ａ）の標準塗布形状の化粧部位については化粧品Ａを指定し、図２（ｂ）の標準塗布形状の化粧部位について化粧品Ｂを指定し、図２（ｃ）の標準塗布形状の化粧部位については化粧品Ｃを指定し、図２（ｄ）の標準塗布形状の化粧部位については化粧品Ｄを指定し、図２（ｅ）の標準塗布形状の化粧部位については化粧品Ｅを指定し、図２（ｆ）の標準塗布形状の化粧部位については化粧品Ｆを指定する。
【００２５】
この指定に基づき、艶・発色状態調整部６は、化粧膜光学データ保持部８から指定された化粧品の化粧膜光学データをそれぞれ取得し、各標準塗布形状におけるそれぞれの化粧部位に対して顔画像の艶および発色の状態を個別に調整する。
【００２６】
なお、標準塗布形状は、性別、年代別、顔タイプ別などに応じて複数用意し、化粧シミュレーションの開始にあたり、オペレータがいずれかを選択することができる。
【００２７】
処理の流れの概念を図３に示す。本発明の特徴とするところは、被験者に対しては二次元画像のみを撮影しているにもかかわらず、三次元形状の情報を有する標準塗布形状を被験者の二次元画像に合成することにより、被験者の三次元形状の情報を有する塗布形状を保持した顔画像を生成できるところにある。このようにして生成された、被験者の三次元形状の情報を有する塗布形状を保持した顔画像に対して、艶および発色状態の調整を施すことにより、リアリティのある化粧シミュレーション結果を表示することができる。
【００２８】
ここで、艶および発色状態の調整について説明する。照明情報（撮影環境）には、照明が被験者に照射される角度の情報が記録されており、装置の設置が完了した時点で固定的に設定される情報である。
【００２９】
素肌画像データには、素肌の表面で反射された表面反射光成分と、素肌の内部で反射された内部反射光成分とがあり、表面反射光成分は顔の艶を表す要因であり、内部反射光成分は顔の色味を表す要因である。
【００３０】
化粧膜光学データには、化粧膜の表面で反射された表面反射光成分と、化粧膜の内部で散乱されて反射された膜色成分と、化粧膜を透過した透過成分とがあり、表面反射光成分は化粧膜の艶を表す要因であり、膜色成分は化粧膜の色味を表す要因であり、透過成分は化粧膜を通して見える素肌の見え方を表す要因である。
【００３１】
これらの各種データと合成顔画像の三次元データとに基づき、リアリティの高い化粧シミュレーション結果の顔画像を生成する。なお、この詳細については特許文献２に記載されている。
【００３２】
次に、本発明の特徴である被験者の二次元画像に三次元情報を有する標準塗布形状を合成する手法について図４〜図１８を参照しながら説明する。図４に示すように、被験者の顔画像の特徴点を抽出し（Ｓ１）、これを標準塗布形状の特徴点と比較し（Ｓ２）、ズレがある場合には（Ｓ３）、標準塗布形状に、このズレを補正するために変形を施し（Ｓ４）、その上で被験者の顔画像と合成する（Ｓ５）。
【００３３】
このときに、少数の主要な特徴点のみを抽出するだけでよいため、複雑な演算を無くすことができ、三次元画像を撮影するためのカメラ装置が不要であることと併せて、小型簡便軽量であり、処理速度の速い化粧シミュレーション装置を実現することができる。また、画像の明るさ変化などに影響され難い特徴点を使うことで、位置検出のロバスト性が高まり、煩雑な位置の調整が不要となる。
【００３４】
以下の説明では、顔の輪郭の左右、瞳の周囲、唇の中央および左右の特徴点を求めるが、顔の輪郭については、瞳や唇の特徴点が得られればそこから類推できることとして特徴点を求める手順を省略してもよい。
【００３５】
すなわち、瞳や唇が人に与える印象に比べて顔の輪郭が与える影響は小さいので、瞳や唇の特徴点に基づきその位置関係から外挿するなど一律に定められたルールに基づいて顔の輪郭の特徴点を類推しても実用上の問題は殆ど無い。
【００３６】
図５および図６に示すように、標準塗布形状には、予め特徴点（黒丸）が設定されている。設定箇所は、顔の輪郭（Ｆ０１〜Ｆ０４）、瞳の周囲（ＲＥ０１〜ＲＥ０４、ＬＥ０１〜ＬＥ０４）、唇の中央（Ｌ０２）および左右（Ｌ１０、Ｌ０３）である。図７に示すように、被験者の顔画像からも同様に特徴点（二重丸）が抽出される。
【００３７】
なお、図５および図７の例では、顔の輪郭の左右のみならず、顔の輪郭の上下にも特徴点Ｆ０１およびＦ０３が設定されているが、これは顔の左右の特徴点Ｆ０２およびＦ０４および唇の中央（Ｌ０２）および左右（Ｌ１０、Ｌ０３）が設定されたことにより、顔の幅および唇の位置から容易に導出可能であるため設定しているものであり必須ではない。
【００３８】
図８に示すように、瞳の周囲の特徴点（ＲＥ０１〜ＲＥ０４）に対し、輪郭を決めるための基本点（ＲＥ１１〜ＲＥ１４）が設定される。これにより図９に示すように、目の輪郭が決定する。なお、基本点（ＲＥ１１〜ＲＥ１４）の設定位置については、特徴点（ＲＥ０１〜ＲＥ０４）の設定位置との関係から予め一般的に最も美しく見える位置に固定的に設定されている。これについては被験者毎に多少の個人差はあるものの実用上問題となるほどの差はない。
【００３９】
図１０は被験者の右目部分の特徴点（ＲＥ０１’〜ＲＥ０４’）である。これに対し、図１１に示すように、図９に示した輪郭を位置合わせし、図１２に示すように、標準塗布形状が変形されて被験者に右目の部分に合致する。図１２の破線が変形後の標準塗布形状であり、実線が被験者の画像である。左目についても右目と同様に標準塗布形状の変形が行われる。
【００４０】
図１３は標準塗布形状の唇の特徴点（Ｌ０１〜Ｌ０３）である。これらの特徴点（Ｌ０１〜Ｌ０３）に対し、基本点（Ｌ１１〜Ｌ１８）が予め設定されている。これにより図１４に示すように、唇の輪郭が決定する。なお、基本点（Ｌ１１〜Ｌ１８）の設定位置については、特徴点（Ｌ０１〜Ｌ０３）の設定位置との関係から予め一般的に最も美しく見える位置に固定的に設定されている。この設定は、図１５に示すように、唇の幅Ｗに対する理想的な幅Ｗ１、高さＨ１、Ｈ２の長さの比率が一般的に求められており、これに従って設定されている。
【００４１】
図１６は被験者の唇の特徴点（Ｌ０１’〜Ｌ０３’）である。これに対し、図１７に示すように、図１４に示した輪郭を位置合わせし、図１８に示すように、標準塗布形状が変形されて被験者に唇の部分に合致する。図１８の破線が変形後の標準塗布形状であり、実線が被験者の画像である。なお、唇の幅Ｗ１、高さＨ１およびＨ２については被験者の形状と異なっていても図１５に示す理想的な形状とする。
【００４２】
このようにして被験者の二次元画像に標準塗布形状の三次元画像が変形されて合成される。これにより、被験者の三次元の顔画像を生成することができる。
【００４３】
（プログラムの実施例）
汎用の情報処理装置にインストールすることにより、その汎用の情報処理装置に、本実施例の化粧シミュレーション装置の機能に相応する機能を実現させるプログラムの実施例を説明する。
【００４４】
本実施例のプログラムは記録媒体に記録されることにより、前記汎用の情報処理装置は、この記録媒体を用いて本実施例のプログラムをインストールすることができる。あるいは、本実施例のプログラムを保持するサーバからネットワークを介して直接前記汎用の情報処理装置に本実施例のプログラムをインストールすることもできる。
【００４５】
これにより、汎用の情報処理装置を用いて、本実施例の化粧シミュレーション装置の機能に相応する機能を実現することができる。
【００４６】
なお、本実施例のプログラムは、汎用の情報処理装置によって直接実行可能なものだけでなく、ハードディスクなどにインストールすることによって実行可能となるものも含む。また、圧縮されたり、暗号化されたりしたものも含む。
【産業上の利用可能性】
【００４７】
本発明は、化粧シミュレーションを店頭にて行うのに適する、小型簡便軽量であり処理速度が速く、高いリアリティのある化粧シミュレーション装置を実現することに利用できる。これにより、店頭での化粧品の適切なアドバイスを可能とし、化粧品の販売を促進させることができる。
【図面の簡単な説明】
【００４８】
【図１】本実施例の化粧シミュレーション装置のブロック構成図。
【図２】標準塗布形状の例を示す図。
【図３】処理の流れの概念図。
【図４】特徴点を用いた標準塗布形状の変形合成の流れを示すフローチャート。
【図５】標準塗布形状の特徴点を示す図。
【図６】標準塗布形状の目の特徴点を示す図。
【図７】被験者の顔画像の特徴点を示す図。
【図８】標準塗布形状の右目の基本点を示す図。
【図９】標準塗布形状の右目の輪郭を示す図。
【図１０】被験者の顔画像の右目の特徴点を示す図。
【図１１】標準塗布形状の右目の特徴点と被験者の右目の特徴点とを比較する図。
【図１２】標準塗布形状の右目の輪郭を被験者の右目の輪郭に合わせた状態を示す図。
【図１３】標準塗布形状の唇の特徴点および基本点を示す図。
【図１４】標準塗布形状の唇の輪郭を示す図。
【図１５】唇の幅に対する理想形状を示す図。
【図１６】被験者の唇の特徴点を示す図。
【図１７】標準塗布形状の唇の特徴点と被験者の唇の特徴点とを比較する図。
【図１８】標準塗布形状の唇の輪郭を被験者の唇の輪郭に合わせた状態を示す図。
【符号の説明】
【００４９】
１  標準顔情報保持部
２  顔画像撮影部
３  特徴点抽出部
４  特徴点比較部
５  変形合成部
６  艶・発色状態調整部
７  素肌画像データ抽出部
８  化粧膜光学データ保持部
９  照明情報保持部
１０  表示部
１１  カメラ装置
１２  光源
１３  化粧シミュレーション部
【図１】
2009053981.tif 000003
【図２】
2009053981.tif 000004
【図３】
2009053981.tif 000005
【図４】
2009053981.tif 000006
【図５】
2009053981.tif 000007
【図６】
2009053981.tif 000008
【図７】
2009053981.tif 000009
【図８】
2009053981.tif 000010
【図９】
2009053981.tif 000011
【図１０】
2009053981.tif 000012
【図１１】
2009053981.tif 000013
【図１２】
2009053981.tif 000014
【図１３】
2009053981.tif 000015
【図１４】
2009053981.tif 000016
【図１５】
2009053981.tif 000017
【図１６】
2009053981.tif 000018
【図１７】
2009053981.tif 000019
【図１８】
2009053981.tif 000020