(57)【要約】【課題】顔を立体的に捉えて、二つの顔画像の変化量に基づき顔の評価を高精度に行う。【解決手段】評価対象者の顔形状の三次元データを取得して前記顔形状の評価を行う顔形状評価装置において、前記顔形状の三次元データを多点で取得する三次元顔形状データ取得手段と、前記三次元顔形状データと、予め設定された条件に基づいて抽出された三次元平均顔データとに基づいて前記評価対象者の顔形状の評価を行う顔形状評価手段と、前記顔形状評価手段により得られる前記三次元顔形状データと前記三次元平均顔データとの差分データに基づいて前記顔形状にカラー領域を生成する差分カラー領域生成手段と、前記差分カラー領域生成手段により生成されたカラー領域を表示する画面を生成する表示画面生成手段と、前記表示画面生成手段により得られる画面を出力する出力手段とを有することにより、上記課題を解決する。【選択図】図１
2011150595.tif 000002
【特許請求の範囲】
【請求項１】
評価対象者の顔形状の三次元データを取得して前記顔形状の評価を行う顔形状評価装置において、
前記顔形状の三次元データを多点で取得する三次元顔形状データ取得手段と、
前記三次元顔形状データ取得手段により得られる三次元顔形状データと、予め設定された条件に基づいて抽出された三次元平均顔データとに基づいて前記評価対象者の顔形状の評価を行う顔形状評価手段と、
前記顔形状評価手段により得られる前記三次元顔形状データと前記三次元平均顔データとの差分データに基づいて前記顔形状にカラー領域を生成する差分カラー領域生成手段と、
前記差分カラー領域生成手段により生成されたカラー領域を表示する画面を生成する表示画面生成手段と、
前記表示画面生成手段により得られる画面を出力する出力手段とを有することを特徴とする顔形状評価装置。
【請求項２】
複数の前記評価対象者に対する顔形状の三次元データから、予め設定された条件に基づいて抽出された複数の三次元顔形状データにより前記三次元平均顔データを生成する三次元平均顔データ生成手段を有することを特徴とする請求項１に記載の顔形状評価装置。
【請求項３】
前記三次元平均顔データ生成手段は、
前記複数の三次元顔形状データから選択された二つの三次元顔形状データを所定の比率を用いてモーフィング処理により合成することを特徴とする請求項２に記載の顔形状評価装置。
【請求項４】
前記顔形状評価手段は、
前記評価対象者の顔における予め設定された部位に対しての評価を行うことを特徴とする請求項１乃至３の何れか１項に記載の顔形状評価装置。
【請求項５】
前記顔形状評価手段は、
複数の前記三次元顔形状データ若しくは前記三次元平均顔データを同じ画面上に三次元表示させ、そのうち一つのデータを基準データとし、鼻、額、耳儒部位、及び軟組織部分の厚みが薄く変化が起こりにくい領域のうち、少なくとも一箇所において三次元座標上での差がないように、その他のデータを重ねて位置を合わせた位置合わせデータを生成し、生成された前記位置合わせデータに基づいて評価を行うことを特徴とする請求項１乃至４の何れか１項に記載の顔形状評価装置。
【請求項６】
前記顔形状評価手段は、
前記位置合わせデータに基づいて、前記基準データに対し、評価する前記三次元顔形状データ若しくは前記三次元平均顔データの各点において三次元座標上での差分データを生成することを特徴とする請求項５に記載の顔形状評価装置。
【請求項７】
前記顔形状評価手段は、
評価する前記三次元顔形状データ若しくは前記三次元平均顔データの評価箇所が、前記基準データの顔の外側に相当する場所にあった場合に、前記評価箇所が膨張していると評価することを特徴とする請求項６に記載の顔形状評価装置。
【請求項８】
前記顔形状評価手段は、
評価する前記三次元顔形状データ若しくは前記三次元平均顔データの評価箇所が、前記基準データの顔の内側に相当する場所にあった場合に、前記評価箇所が引き締まっていると評価することを特徴とする請求項６に記載の顔形状評価装置。
【請求項９】
評価対象者の顔形状の三次元データを取得して前記顔形状の評価を行うための顔形状評価方法において、
前記顔形状の三次元データを多点で取得する三次元顔形状データ取得ステップと、
前記三次元顔形状データ取得ステップにより得られる三次元顔形状データと、予め設定された条件に基づいて抽出された三次元平均顔データとに基づいて前記評価対象者の顔形状の評価を行う顔形状評価ステップと、
前記顔形状評価ステップにより得られる前記三次元顔形状データと前記三次元平均顔データとの差分データに基づいて前記顔形状にカラー領域を生成する差分カラー領域生成ステップと、
前記差分カラー領域生成ステップにより生成されたカラー領域を表示する画面を生成する表示画面生成ステップと、
前記表示画面生成ステップにより得られる画面を出力手段に出力する出力ステップとを有することを特徴とする顔形状評価方法。
【請求項１０】
複数の前記評価対象者に対する顔形状の三次元データから、予め設定された条件に基づいて抽出された複数の三次元顔形状データにより前記三次元平均顔データを生成する三次元平均顔データ生成ステップを有することを特徴とする請求項９に記載の顔形状評価方法。
【請求項１１】
前記三次元平均顔データ生成ステップは、
前記複数の三次元顔形状データから選択された二つの三次元顔形状データを所定の比率を用いてモーフィング処理により合成することを特徴とする請求項１０に記載の顔形状評価方法。
【請求項１２】
前記顔形状評価ステップ手段は、
前記評価対象者の顔における予め設定された部位に対しての評価を行うことを特徴とする請求項９乃至１１の何れか１項に記載の顔形状評価方法。
【請求項１３】
前記顔形状評価ステップは、
複数の前記三次元顔形状データ若しくは前記三次元平均顔データを同じ画面上に三次元表示させ、そのうち一つのデータを基準データとし、鼻、額、耳儒部位、及び軟組織部分の厚みが薄く変化が起こりにくい領域のうち、少なくとも一箇所において前記基準データに対し三次元座標上での差がないように、その他のデータを重ねて位置を合わせた位置合わせデータを生成し、生成された前記位置合わせデータに基づいて評価を行うことを特徴とする請求項９乃至１２の何れか１項に記載の顔形状評価方法。
【請求項１４】
前記顔形状評価ステップは、
前記位置合わせデータに基づいて、前記基準データに対し、評価する前記三次元顔形状データ若しくは前記三次元平均顔データの各点において三次元座標上での差分データを生成することを特徴とする請求項１３に記載の顔形状評価方法。
【請求項１５】
前記顔形状評価ステップは、
評価する前記三次元顔形状データ若しくは前記三次元平均顔データの評価箇所が、前記基準データとした顔形状データの顔の外側に相当する場所にあった場合に、前記評価箇所が膨張していると評価することを特徴とする請求項１４に記載の顔形状評価方法。
【請求項１６】
前記顔形状評価ステップは、
評価する前記三次元顔形状データ若しくは前記三次元平均顔データの評価箇所が、前記基準データとした顔形状データの顔の内側に相当する場所にあった場合に、前記評価箇所が引き締まっていると評価することを特徴とする請求項１４に記載の顔形状評価方法。
【請求項１７】
請求項９乃至１６の何れか１項に記載の顔形状評価方法を実行させるようにコンピュータを動作させることを特徴とする顔形状評価プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、顔形状評価装置、顔形状評価方法、及び顔形状評価プログラムに係り、特に顔を立体的に捉えて、二つの顔画像の変化量に基づき顔の評価を高精度に行うための顔形状評価装置、顔形状評価方法、及び顔形状評価プログラムに関する。
【背景技術】
【０００２】
近年では、人の顔画像から顔の弛み等による老化度やアンチエイチング度等を評価したり、顔の美形度等を評価することで、スキンケア、化粧に対するカウンセリングや美容外科等の立場から診断したり、顔を識別したりする技術が存在する（例えば、特許文献１，２等参照）。
【０００３】
例えば、特許文献１に示されている技術では、判定対象の顔を撮像して得た顔画像に画像強調処理を施すことにより、明るさに関して区別した複数の領域で表される判定用顔画像を作成し、この判定用顔画像における領域の輪郭の形状に基づいて顔を判定する手法が開示されている。
【０００４】
また、特許文献２に示されている技術では、対象者の顔画像を撮像して得られた顔画像に画像強調処理を施すことにより、顔画像を撮像された者の顔の老化度を判定する手法が開示されている。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開平１１−１６９３５８号公報
【特許文献２】特開２００６−３３４４２７号公報
【発明の開示】
【発明が解決しようとする課題】
【０００６】
ところで、上述した従来技術においては、撮影した対象者の顔の二次元画像に基づく評価を行っているが、顔の形状は、顔の輪郭や目、鼻、口等の特徴部分等による凹凸があるため、二次元画像を基準に評価すると、その凹凸による三次元的な明暗が画像に反映されず高精度な評価ができない。
【０００７】
また、顔の評価においては、例えば老化度を評価するための一つの指標である顔面の弛み等においては、明暗だけでは判断しにくい。更に、顔の弛みは、視覚的に捉えることが可能な現象であるにもかかわらず、形状を具体的に捉え、数値化等の定量化して評価することができなかった。
【０００８】
また、弛みの改善についての評価には、撮影された二次元画像（写真）による比較手法が用いられることがあるが、これも写真撮影時の照明・アングル等の影響を受け易く、客観的な評価を行うには、非常に高い撮影技術が必要となるため、顔の評価を高精度に行うのは困難であった。
【０００９】
本発明は、上述した課題に鑑みてなされたものであって、顔を立体的に捉えて、二つの顔画像の変化量に基づき顔の評価を高精度に行うための顔形状評価装置、顔形状評価方法、及び顔形状評価プログラムを提供することを目的とする。
【課題を解決するための手段】
【００１０】
上述した課題を解決するために、本件発明は、以下の特徴を有する課題を解決するための手段を採用している。
【００１１】
請求項１に記載された発明は、評価対象者の顔形状の三次元データを取得して前記顔形状の評価を行う顔形状評価装置において、前記顔形状の三次元データを多点で取得する三次元顔形状データ取得手段と、前記三次元顔形状データ取得手段により得られる三次元顔形状データと、予め設定された条件に基づいて抽出された三次元平均顔データとに基づいて前記評価対象者の顔形状の評価を行う顔形状評価手段と、前記顔形状評価手段により得られる前記三次元顔形状データと前記三次元平均顔データとの差分データに基づいて前記顔形状にカラー領域を生成する差分カラー領域生成手段と、前記差分カラー領域生成手段により生成されたカラー領域を表示する画面を生成する表示画面生成手段と、前記表示画面生成手段により得られる画面を出力する出力手段とを有することを特徴とする。
【００１２】
請求項１記載の発明によれば、顔を立体的に捉えて、二つの顔形状データの変化量に基づき顔の評価を高精度に行うことができる。
【００１３】
請求項２に記載された発明は、複数の前記評価対象者に対する顔形状の三次元データから、予め設定された条件に基づいて抽出された複数の三次元顔形状データにより前記三次元平均顔データを生成する三次元平均顔データ生成手段を有することを特徴とする。
【００１４】
請求項２記載の発明によれば、個人の代表例データではなく、平均顔で評価することで客観性の高い評価が可能となり、また三次元平均顔データを他の評価等に用いるために情報提供する場合、平均顔は個人情報ではないため、データそのものの取り扱いが容易になる。
【００１５】
請求項３に記載された発明は、前記三次元平均顔データ生成手段は、前記複数の三次元顔形状データから選択された二つの三次元顔形状データを所定の比率を用いてモーフィング処理により合成することを特徴とする。
【００１６】
請求項３記載の発明によれば、モーフィング処理により多種の三次元平均顔データを容易に生成することができる。
【００１７】
請求項４に記載された発明は、前記顔形状評価手段は、前記評価対象者の顔における予め設定された部位に対しての評価を行うことを特徴とする。
【００１８】
請求項４記載の発明によれば、顔全体だけでなく、例えば顎の部分や口元の部分、目元の部分やフェイスライン等の各部位を対象にした評価を行うことができる。
【００１９】
請求項５に記載された発明は、前記顔形状評価手段は、複数の前記三次元顔形状データ若しくは前記三次元平均顔データを同じ画面上に三次元表示させ、そのうち一つのデータを基準データとし、鼻、額、耳儒部位、及び軟組織部分の厚みが薄く変化が起こりにくい領域のうち、少なくとも一箇所において三次元座標上での差がないように、その他のデータを重ねて位置を合わせた位置合わせデータを生成し、生成された前記位置合わせデータに基づいて評価を行うことを特徴とする。
【００２０】
請求項５記載の発明によれば、顔の変化が起こりにくい部分を基準に位置合わせすることで、二つの顔形状データの比較を高精度に行うことができる。
【００２１】
請求項６に記載された発明は、前記顔形状評価手段は、前記位置合わせデータに基づいて、前記基準データに対し、評価する前記三次元顔形状データ若しくは前記三次元平均顔データの各点において三次元座標上での差分データを生成することを特徴とする。
【００２２】
請求項６記載の発明によれば、三次元座標を用いて顔の立体的な変化を高精度に取得することができる。
【００２３】
請求項７に記載された発明は、前記顔形状評価手段は、評価する前記三次元顔形状データ若しくは前記三次元平均顔データの評価箇所が、前記基準データの顔の外側に相当する場所にあった場合に、前記評価箇所が膨張していると評価することを特徴とする。
【００２４】
請求項７記載の発明によれば、二つの顔形状データの変化量に基づき顔形状の評価を高精度に行うことができる。
【００２５】
請求項８に記載された発明は、前記顔形状評価手段は、評価する前記三次元顔形状データ若しくは前記三次元平均顔データの評価箇所が、前記基準データの顔の内側に相当する場所にあった場合に、前記評価箇所が引き締まっていると評価することを特徴とする。
【００２６】
請求項８記載の発明によれば、二つの顔形状データの変化量に基づき顔形状の評価を高精度に行うことができる。
【００２７】
請求項９に記載された発明は、評価対象者の顔形状の三次元データを取得して前記顔形状の評価を行うための顔形状評価方法において、前記顔形状の三次元データを多点で取得する三次元顔形状データ取得ステップと、前記三次元顔形状データ取得ステップにより得られる三次元顔形状データと、予め設定された条件に基づいて抽出された三次元平均顔データとに基づいて前記評価対象者の顔形状の評価を行う顔形状評価ステップと、前記顔形状評価ステップにより得られる前記三次元顔形状データと前記三次元平均顔データとの差分データに基づいて前記顔形状にカラー領域を生成する差分カラー領域生成ステップと、前記差分カラー領域生成ステップにより生成されたカラー領域を表示する画面を生成する表示画面生成ステップと、前記表示画面生成ステップにより得られる画面を出力手段により出力する出力ステップとを有することを特徴とする。
【００２８】
請求項９記載の発明によれば、顔を立体的に捉えて、二つの顔形状データの変化量に基づき顔の評価を高精度に行うことができる。
【００２９】
請求項１０に記載された発明は、複数の前記評価対象者に対する顔形状の三次元データから、予め設定された条件に基づいて抽出された複数の三次元顔形状データにより前記三次元平均顔データを生成する三次元平均顔データ生成ステップを有することを特徴とする。
【００３０】
請求項１０記載の発明によれば、個人の代表例データではなく、平均顔で評価することで客観性の高い評価が可能となり、また三次元平均顔データを他の評価等に用いるために情報提供する場合、平均顔は個人情報ではないため、データそのものの取り扱いが容易になる。
【００３１】
請求項１１に記載された発明は、前記三次元平均顔データ生成ステップは、前記複数の三次元顔形状データから選択された二つの三次元顔形状データを所定の比率を用いてモーフィング処理により合成することを特徴とする。
【００３２】
請求項１１記載の発明によれば、モーフィング処理により多種の三次元平均顔データを容易に生成することができる。
【００３３】
請求項１２に記載された発明は、前記顔形状評価ステップ手段は、前記評価対象者の顔における予め設定された部位に対しての評価を行うことを特徴とする。
【００３４】
請求項１２記載の発明によれば、顔全体だけでなく、例えば顎の部分や口元の部分、目元の部分やフェイスライン等の各部位を対象にした評価を行うことができる。
【００３５】
請求項１３に記載された発明は、前記顔形状評価ステップは、複数の前記三次元顔形状データ若しくは前記三次元平均顔データを同じ画面上に三次元表示させ、そのうち一つのデータを基準データとし、鼻、額、耳儒部位、及び軟組織部分の厚みが薄く変化が起こりにくい領域のうち、少なくとも一箇所において前記基準データに対し三次元座標上での差がないように、その他のデータを重ねて位置を合わせた位置合わせデータを生成し、生成された前記位置合わせデータに基づいて評価を行うことを特徴とする。
【００３６】
請求項１３記載の発明によれば、顔の変化が起こりにくい部分を基準に位置合わせすることで、二つの顔形状データの評価を高精度に行うことができる。
【００３７】
請求項１４に記載された発明は、前記顔形状評価ステップは、前記位置合わせデータに基づいて、前記基準データに対し、評価する前記三次元顔形状データ若しくは前記三次元平均顔データの各点において三次元座標上での差分データを生成することを特徴とする。
【００３８】
請求項１４記載の発明によれば、三次元座標を用いて顔の立体的な変化を高精度に取得することができる。
【００３９】
請求項１５に記載された発明は、前記顔形状評価ステップは、評価する前記三次元顔形状データ若しくは前記三次元平均顔データの評価箇所が、前記基準データとした顔形状データの顔の外側に相当する場所にあった場合に、前記評価箇所が膨張していると評価することを特徴とする。
【００４０】
請求項１５記載の発明によれば、二つの顔形状データの変化量に基づき顔形状の評価を高精度に行うことができる。
【００４１】
請求項１６に記載された発明は、前記顔形状評価ステップは、評価する前記三次元顔形状データ若しくは前記三次元平均顔データの評価箇所が、前記基準データとした顔形状データの顔の内側に相当する場所にあった場合に、前記評価箇所が引き締まっていると評価することを特徴とする。
【００４２】
請求項１６記載の発明によれば、二つの顔形状データの変化量に基づき顔形状の評価を高精度に行うことができる。
【００４３】
請求項１７に記載された発明は、請求項９乃至１６の何れか１項に記載の顔形状評価方法を実行させるようにコンピュータを動作させることを特徴とする。
【００４４】
請求項１７記載の発明によれば、顔を立体的に捉えて、二つの顔形状データの変化量に基づき顔の評価を高精度に行うことができる。また、プログラムをインストールすることにより、汎用のパーソナルコンピュータ等で本発明における顔形状評価処理を容易に実現することができる。
【発明の効果】
【００４５】
本発明によれば、顔を立体的に捉えて、二つの顔画像の変化量に基づき顔の評価を高精度に行うことができる。
【図面の簡単な説明】
【００４６】
【図１】本実施形態における顔形状評価システムの一例を示す図である。
【図２】本実施形態における顔形状評価処理が実現可能なハードウェア構成の一例を示す図である。
【図３】本実施形態における顔形状評価処理手順の一例を示すフローチャートである。
【図４】三次元顔形状計測装置を用いた撮影の概要を説明するための図である。
【図５】三次元平均顔データの生成例を示す図である。
【図６】モーフィング実施のためのメッシュ領域を示す図である。
【図７】混合比率の設定によるモーフィング結果の変化の様子を説明するための図である。
【図８】三次元平均顔データの生成結果の一例を示す図である。
【図９】本実施形態における顔形状評価手法の一例を示す図である。
【図１０】差分カラー領域の生成例を示す図である。
【図１１】表示結果の一例を示す図である。
【図１２】体積、表面積評価機能の評価手法の一例を示す図である。
【図１３】三次元平均顔データの生成におけるモーフィング実施手順の一例を示す図である。
【図１４】本実施形態における画像処理の様子を説明するための図である。
【図１５】上述したそれぞれの条件に対応して評価された結果を示す図である。
【図１６】体積、表面積評価結果の一例を示す図である。
【図１７】解析・評価結果及びアンケート結果の一例を示す図である。
【発明を実施するための形態】
【００４７】
＜本発明について＞
本発明は、撮影された評価対象者の顔を立体的に捉えて、二つの顔画像の変化量に基づき顔の評価を高精度に行う。具体的には、本発明は、三次元平均顔を作成し、例えば、皮膚外用剤や化粧品、健康食品、医薬品、マッサージ等の連用前後での三次元平均顔を比較することで、平均的な効果が、どの部位に、どれだけ発生しているのかを評価する。
【００４８】
また、本発明は、三次元顔形状データを比較して、その変化量に応じて色付け等を行い、変化量が視覚的に区別できるように表示することで、スキンケア製品や化粧品等を使用した結果、どのような効果があったのかを正確に把握することができ、その結果内容に応じて化粧品等を評価することもできる。
【００４９】
以下に、本発明における顔形状評価装置、顔形状評価方法、及び顔形状評価プログラムを好適に実施した形態について、図面を用いて説明する。
【００５０】
＜顔形状評価システム：システム構成例＞
まず、本実施形態における顔形状評価を行う顔形状評価システムのシステム構成例について図を用いて説明する。図１は、本実施形態における顔形状評価システムの一例を示す図である。図１に示す顔形状評価システム１０は、三次元顔形状計測装置１１と、顔形状評価装置１２とを有するよう構成されている。なお、三次元顔形状計測装置１１及び顔形状評価装置１２とは、有線又は無線等からなる通信ネットワーク１３によりデータの送受信が可能な状態で接続されている。
【００５１】
三次元顔形状計測装置１１は、評価対象者又は三次元平均画像を生成するためのサンプラー（被験者）の顔画像を撮影するための装置である。なお、三次元顔形状計測装置１１としては、例えば、格子パターン投影方式による撮影手法（例えば、ｄａｎａｅ（ＮＥＣエンジニアリング社製）等）や、レーザによる光切断方式による撮影手法（例えば、ｖｉｖｉｄ９１０（コニカミノルタ社製）等）、ステレオ方式による撮影手法（例えば、ＱＭ−３０００（トプコンテクノハウス社製）等）等の従来ある撮影手法により得られる三次元画像を用いることができる。
【００５２】
ここで、三次元顔形状計測装置１１により撮影される画像は、皮膚外用剤等の顔への塗布前、塗布後のそれぞれの画像や、例えば６時間後や１日後、１週間後や１月後等、異なる時間や期間に撮影した画像を取得する。また、三次元顔形状計測装置１１は、計測により得られた撮影対象者の顔の三次元画像を、通信ネットワーク１３を介して顔形状評価装置１２に出力する。
【００５３】
なお、三次元顔形状計測装置１１により撮影される画像が三次元平均顔の生成に使用される場合には、撮影対象者の年齢や肌の色やキメ、そばかすの有無、肌が荒れている場所、その他、肌に関する情報の対象者プロファイル情報、撮影したときの時間情報（季節、湿度、温度、気候等）や照明の当て方等の撮影情報等が一緒に送信され、顔形状評価装置１２で蓄積して管理される。
【００５４】
顔形状評価装置１２は、通信ネットワークを介して三次元顔形状計測装置１１から取得した三次元顔形状データを取得し、予め蓄積された三次元平均顔データと比較して顔形状の評価を行う。具体的には、顔形状評価装置１２は、比較する二つの三次元平均顔データを重ねて各点の三次元座標を比較し、各点の差分データから凹凸の量を測定する。また、顔形状評価装置１２は、測定した結果から、その凹凸の差分値（変化量）に応じて三次元顔形状データ上に色付け等を行い、顔形状評価装置１２に予め設けられているディスプレイ等に表示する。
【００５５】
また、顔形状評価装置１２は、三次元顔形状計測装置１１からの三次元画像を予め蓄積しておき、その蓄積された顔画像をある所定のタイミングで纏めて評価処理を実施することもできる。
【００５６】
なお、図１においては、顔形状評価システム１０は、三次元顔形状計測装置１１と顔形状評価装置１２との構成を１対１としたが、本発明においてはこの限りではなく、例えば１：Ｎ，Ｎ：１，Ｎ：Ｎ（Ｎ：任意の複数値）として構成されてもよく、三次元顔形状計測装置１１と顔形状評価装置１２とが一体となるように構成されていてもよい。
【００５７】
＜顔形状評価装置１２：機能構成例＞
ここで、本実施形態における顔形状評価装置１２の機能構成例について説明する。図１に示すように顔形状評価装置１２は、入力手段２１と、出力手段２２と、蓄積手段２３と、三次元顔形状データ取得手段２４と、三次元平均顔データ生成手段２５と、顔形状評価手段２６と、差分カラー領域生成手段２７と、表示画面生成手段２８と、送受信手段２９と、制御手段３０とを有するよう構成されている。
【００５８】
入力手段２１は、本実施形態における顔形状の評価を行うためのユーザ等からの各指示情報等を入力する。具体的には、入力手段２１は、ユーザ等からの三次元顔形状取得指示や三次元平均顔生成指示、顔形状評価指示、差分カラー領域生成指示、表示画面生成指示等の各種指示の入力を受け付ける。なお、入力手段２１は、例えばキーボードや、マウス等のポインティングデバイス等からなる。
【００５９】
また、入力手段２１は、通信ネットワーク１３に接続された三次元顔形状計測装置１１やその他の外部装置等により既に撮影された三次元顔形状データを送受信手段２９等により取得するための指示入力や、撮影画像に対する評価対象者のユーザ情報等の各種データを入力する機能も有している。
【００６０】
出力手段２２は、入力手段２１により入力された内容や、入力内容に基づいて実行された内容等の表示・出力を行う。なお、出力手段２２は、ディスプレイやスピーカ等からなる。更に、出力手段２２は、プリンタ等の機能を有していてもよく、その場合には顔形状評価結果等を、紙等の印刷媒体に印刷してユーザ等に提示することもできる。
【００６１】
蓄積手段２３は、三次元顔形状データ取得手段２４により得られる三次元顔形状データや、三次元平均顔データ生成手段２５により得られる平均顔画像、顔形状評価手段２６により得られる評価結果、差分カラー領域生成手段２７により設定される差分カラー割り当て情報、表示画面生成手段２８により生成された表示画面の各種情報、送受信手段２９により得られる情報等、本発明における顔形状評価を実行するために必要な各種データを蓄積する。また、蓄積手段２３は、必要に応じて蓄積されている各種データを読み出すことができる。
【００６２】
三次元顔形状データ取得手段２４は、入力手段２１からのユーザ等による画像取得指示により、通信ネットワーク１３を介して三次元顔形状計測装置１１から評価対象者や平均顔を生成するための被験者等の三次元顔形状データを取得する。なお、三次元顔形状データ取得手段２４は、送受信手段２９によって得られた三次元顔形状データを、蓄積手段２３により蓄積させてもよく、また三次元平均顔データ生成手段２５により三次元平均顔を生成させたり、顔形状評価手段２６により顔形状評価を行わせることができる。
【００６３】
三次元平均顔データ生成手段２５は、蓄積手段２３等から取得した複数のユーザから得られる三次元顔形状データを用いて三次元平均顔データを生成する。なお、三次元平均顔データ生成手段２５は、三次元平均顔データを生成する際、１０代、２０代、３０代、・・・、７０代等のように各年代別の三次元平均顔データを生成してもよく、笑った顔、怒った顔、泣いた顔等の顔の表情別、性別、国別、地域別、皮膚外用剤の顔への塗布前、塗布後等における各三次元平均顔データを生成してもよい。更に、三次元平均顔データ生成手段２５は、上述した内容を組み合わせた三次元平均顔データを生成することもできる。なお、具体的な生成手法については、後述する。また、三次元平均顔データ生成手段２５は、生成した１又は複数の三次元平均顔データを蓄積手段２３等に蓄積する。
【００６４】
顔形状評価手段２６は、三次元平均顔データ生成手段２５により生成された各種の三次元平均顔データのうち、予め設定された条件により抽出された三次元平均顔データと、評価対象者の三次元顔形状データとを比較し、その比較結果により、顔形状を評価する。なお、予め設定された条件とは、例えば評価対象者等に対応した年代別や国別、皮膚外用剤の顔への塗布前、塗布後等における平均顔データ等、三次元平均顔データ生成手段２５により生成される各種類の平均顔画像から、特定の平均顔画像を抽出するために、ユーザ等により設定される条件である。
【００６５】
また、顔形状評価手段２６は、上述した二つの画像の比較結果を数値化する。数値化される値は、三次元平均顔データと、評価対象者の三次元顔形状データとを重ね合わせて得られた凹凸の関係を数値化された値である。更に、数値化される際には、三次元空間上に予め設定された座標（ｘ，ｙ，ｚ）に基づいて、一方を基準とした相対的な位置関係により数値化を行う。また、顔形状評価手段２６は、数値化した情報を差分カラー領域生成手段２７に出力する。
【００６６】
更に、顔形状評価手段２６は、同一の評価対象者に対する三次元顔形状データが経時的に複数蓄積されている場合には、その時間の異なる同一評価対象者の三次元顔形状データを用いて、上述したような評価を行うこともできる。
【００６７】
差分カラー領域生成手段２７は、顔形状評価手段２６により数値化された情報に基づいて、その変化量を差分値として生成する。また、差分カラー領域生成手段２７は、差分値に対応するカラー領域を生成する。具体的には、差分カラー領域生成手段２７は、予め差分値に基づくカラー情報を割り当てておき、割り当てられた差分カラー割り当て情報を顔形状評価手段２６により数値化された情報に基づいて、画面表示されるカラー情報を生成する。また、差分カラー領域生成手段２７は、三次元平均顔データと評価対象者の三次元画像との凹凸比較により、どちらが表面に出ているかを判断し、その判断結果に基づいてカラー情報も設定される。つまり、二つの画像のうち、表面に出ている方の画像と、その差分値により異なるカラー情報が生成される
なお、差分カラー領域生成手段２７によって生成される画面表示用のカラー情報は、その色に関する情報と三次元空間における三次元顔形状データの位置座標となる。これにより、三次元顔形状データ上にカラー情報を表示することができる。
【００６８】
表示画面生成手段２８は、顔形状評価手段２６により評価された結果をディスプレイ等の出力手段２２に表示するための表示画面を生成する。なお、表示画面生成手段２８は、表示される内容に基づいてスピーカ等の出力手段２２により出力させる音声データを予め蓄積手段２３に蓄積されている複数の音声データから抽出する処理を行うこともできる。
【００６９】
送受信手段２９、上述した三次元顔形状計測装置１１に対して、評価対象者の三次元顔形状データを撮影させ、また撮影させた画像やその関連情報を取得するための各種制御信号を送信する。また、送受信手段２９は、三次元顔形状計測装置１１から、評価対象者を撮影した三次元顔形状データや時間情報、位置情報、更には通信ネットワーク１３により接続された外部装置等で取得された画像等を受信することができる。また、送受信手段２９は、三次元平均顔データや三次元画像、顔形状評価結果等を、通信ネットワーク１３を介して外部装置等に出力することができる。
【００７０】
制御手段３０は、顔形状評価装置１２の各構成部全体の制御を行う。具体的には、制御手段３０は、例えばユーザ等による入力手段２１からの各種指示情報等に基づいて、三次元顔形状取得処理、三次元平均顔生成処理、顔形状評価処理、差分カラー領域生成処理、表示画面生成処理等の各制御を行う。
【００７１】
本実施形態では、上述したような構成を有することにより、顔を立体的に捉えて、二つの顔画像の変化量に基づき顔の評価を高精度に行うことができる。
【００７２】
＜顔形状評価装置１２：ハードウェア構成＞
ここで、上述した顔形状評価装置１２においては、各機能をコンピュータに実行させることができる実行プログラム（顔形状評価プログラム）を生成し、例えば汎用のパーソナルコンピュータ、サーバ等にその実行プログラムをインストールすることにより、本発明における顔形状評価処理等を実現することができる。ここで、本実施形態における顔形状評価処理が実現可能なコンピュータのハードウェア構成例について図を用いて説明する。
【００７３】
図２は、本実施形態における顔形状評価処理が実現可能なハードウェア構成の一例を示す図である。図２におけるコンピュータ本体には、入力装置３１と、出力装置３２と、ドライブ装置３３と、補助記憶装置３４と、メモリ装置３５と、各種制御を行うＣＰＵ（Ｃｅｎｔｒａｌ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ）３６と、ネットワーク接続装置３７とを有するよう構成されており、これらはシステムバスＢで相互に接続されている。
【００７４】
入力装置３１は、ユーザ等が操作するキーボード及びマウス等のポインティングデバイスを有しており、ユーザ等からのプログラムの実行等、各種操作信号を入力する。また、入力装置３１は、ネットワーク接続装置３７等に通信ネットワーク１３を介して接続された三次元顔形状計測装置１１から計測された評価対象者や平均顔画像を生成するためのサンプラー（被験者）等の三次元顔形状データの取得指示や、取得した画像に対する画像の関連情報等の各種データを入力することもできる。
【００７５】
出力装置３２は、本発明における処理を行うためのコンピュータ本体を操作するのに必要な各種ウィンドウやデータ等を表示するディスプレイを有し、ＣＰＵ３６が有する制御プログラムによりプログラムの実行経過や結果等を表示することができる。また、出力装置３２は、上述の処理結果等を紙等の印刷媒体に印刷して、ユーザ等に提示することができる。
【００７６】
ここで、本発明においてコンピュータ本体にインストールされる実行プログラムは、例えば、ＵＳＢ（Ｕｎｉｖｅｒｓａｌ  Ｓｅｒｉａｌ  Ｂｕｓ）メモリやＣＤ−ＲＯＭ、ＤＶＤ等の可搬型の記録媒体３８等により提供される。プログラムを記録した記録媒体３８は、ドライブ装置３３にセット可能であり、記録媒体３８に含まれる実行プログラムが、記録媒体３８からドライブ装置３３を介して補助記憶装置３４にインストールされる。
【００７７】
補助記憶装置３４は、ハードディスク等のストレージ手段であり、本発明における実行プログラムや、コンピュータに設けられた制御プログラム等を蓄積し必要に応じて入出力を行うことができる。
【００７８】
メモリ装置３５は、ＣＰＵ３６により補助記憶装置３４から読み出された実行プログラム等を格納する。なお、メモリ装置３５は、ＲＯＭ（Ｒｅａｄ  Ｏｎｌｙ  Ｍｅｍｏｒｙ）やＲＡＭ（Ｒａｎｄｏｍ  Ａｃｃｅｓｓ  Ｍｅｍｏｒｙ）等からなる。
【００７９】
ＣＰＵ３６は、ＯＳ（Ｏｐｅｒａｔｉｎｇ  Ｓｙｓｔｅｍ）等の制御プログラム、及びメモリ装置３５に格納されている実行プログラムに基づいて、各種演算や各ハードウェア構成部とのデータの入出力等、コンピュータ全体の処理を制御して各処理を実現することができる。なお、プログラムの実行中に必要な各種情報等は、補助記憶装置３４から取得することができ、また実行結果等を格納することもできる。
【００８０】
ネットワーク接続装置３７は、通信ネットワーク等と接続することにより、実行プログラムを通信ネットワークに接続されている他の端末等から取得したり、プログラムを実行することで得られた実行結果又は本発明における実行プログラム自体を他の端末等に提供することができる。
【００８１】
また、ネットワーク接続装置３７は、通信ネットワークに接続された三次元顔形状計測装置１１等の外部装置により評価対象者の三次元顔形状データ等の各種データを取得することもできる。
【００８２】
上述したようなハードウェア構成により、本発明における顔形状評価処理を実行することができる。また、プログラムをインストールすることにより、汎用のパーソナルコンピュータ等で本発明における顔形状評価処理を容易に実現することができる。
【００８３】
＜顔形状評価処理手順＞
次に、本実施形態における顔形状評価処理手順について説明する。図３は、本実施形態における顔形状評価処理手順の一例を示すフローチャートである。なお、以下の説明では、事前に三次元平均顔データが生成され蓄積手段２３等に蓄積されているものとする。
【００８４】
図３に示す顔形状評価処理は、まず、評価対象者の三次元顔形状データを取得し（Ｓ０１）、取得した三次元顔形状データと予め設定された条件の三次元平均顔データとの比較による顔形状評価を行う（Ｓ０２）。
【００８５】
次に、顔形状評価の結果、両方の顔画像を形成する各点群データの各点の座標値に基づいてその差分値があるか否かを判断する（Ｓ０３）。なお、差分値があるか否かは予め設定された領域における差分値が、予め設定された閾値以上あるか否かで判断する。
【００８６】
差分値がある場合（Ｓ０３において、ＹＥＳ）、差分カラー領域の生成を行う（Ｓ０４）。また、Ｓ０４の処理が終了後又はＳ０３の処理において差分値がない場合（Ｓ０３において、ＮＯ）、表示画面を生成し（Ｓ０５）、生成された画面をディスプレイ等に出力する（Ｓ０６）。
【００８７】
次に、例えば他の条件により抽出される三次元平均顔データ等を用いて、他の条件による顔形状評価を行うか否かを判断し（Ｓ０７）、顔形状評価を行う場合（Ｓ０７において、ＹＥＳ）、他の条件によりＳ０２以降の処理を行う。また、顔形状評価を行わない場合（Ｓ０７において、ＮＯ）、処理を終了する。
【００８８】
＜実施例１＞
次に、上述した構成を用いた本実施形態における顔形状評価手法の具体例について説明する。なお、以下の実施例の説明においては、顔形状評価の一例として顔の弛みに関する改善効果評価を行う例について説明するが、本発明において評価できる内容はこれに限定されるものではなく、例えば他の指標に基づく、老化度評価やアンチエイチング度評価、美形度評価等に適宜適用することができる。
【００８９】
また、顔の弛みの変化を高精度に評価するための基準としては、その「部位」における「厚みの変化（色差）」、「体積」、「面積」等が重要となる。そこで、以下に示す実施例では、上記内容を取得して高精度に評価を行う手法を説明する。
【００９０】
＜三次元顔形状計測装置１１における計測手法の具体例＞
まず、三次元顔形状計測装置１１における計測手法の具体例について説明する。図４は、三次元顔形状計測装置を用いた撮影の概要を説明するための図である。なお、図４の例では、格子パターン投影方式による撮影手法について説明するが、本発明に適用される三次元顔形状データの生成例はこれに限定されるものではなく、上述したレーザによる光切断方式による撮影手法やステレオ方式による撮影手法等により得られる三次元画像を用いることができる。
【００９１】
図４に示す例では、計測時において評価対象者Ｐは、外形がボックス状に形成された三次元顔形状計測装置１１のカメラの位置に対応させて、開口部４１から顔が撮影されるようにする。このとき、三次元顔形状計測装置１１には、内部に評価対象者Ｐの左右それぞれからの画像を撮影するための撮影ユニット４２−１，４２−２が設置されている。撮影ユニット４２−１，４２−２は、図４の上部ボックスを外した状態に示すように、開口部４１からそれぞれ評価対象者Ｐの左右何れかの顔を撮影するための撮像手段としてのカメラ４３と、格子パターンを投影するプロジェクターとしての光源４４及びパターン格子４５とが設けられている。
【００９２】
また、評価対象者Ｐの三次元顔形状データを取得する際には、図４に示すように格子パターン投影プロジェクターの光源４４を用いて評価対象者Ｐの顔にパターン格子４５による格子模様を投影し、この格子模様をシフトさせ、カメラ４３により撮影する。この撮影画像から、位相シフト法により解析することで、短時間での三次元顔形状データ計測が可能となる。
【００９３】
なお、本実施例において、評価対象者Ｐは、三次元顔形状計測装置１１から約４００ｍｍ程度離れており、計測する範囲は、例えば約４００×３００［ｍｍ］とし、装置精度をサンプリング間隔（ｘ−ｙ面内）：０．３３ｍｍ、ｚ方向ノイズ（２σ）：０．０４６ｍｍとする。
【００９４】
また、計測では、化粧品等の連用前後の僅かな表情の違いが顔形状に影響を持つために、予め設定された音声ガイドにより、所定の表情にさせた上で複数回計測したデータを取得し、その中から連用前後で位置合わせを行い、最も表情の差の小さいデータの組み合わせを選択する等の所定の条件に基づいて、連用前後の表情の一致度が高いデータを取得する。
【００９５】
また、図４に示す格子パターン投影法を用いた三次元顔形状計測装置１１は、２眼式の装置となっており、左右それぞれの半顔を計測し、その後データを接合して顔全体のデータを取得している。計測範囲は、上下方向は首から頭まで、左右方向は、左右の耳が入る程度であり、計測時間は約１秒である。データを取得している間隔は、０．３３ｍｍ程度，奥行き方向のノイズ量は、０．０４６ｍｍ（２σ）程度である。
【００９６】
また、本実施形態における三次元顔形状計測装置１１で取得される三次元顔形状データは、ｘｙｚ座標を持つ点群データであり、図４では、その座標をＣＧ（Ｃｏｍｐｕｔｅｒ  Ｇｒａｐｈｉｃｓ）のシェーディングにて表示しているが、ｓｔｌ、ｄｘｆ等の一般的な三次元形状のフォーマット、若しくは装置独自のファイルフォーマットにより出力することもできる。
【００９７】
＜三次元平均顔データの生成例＞
次に、上述した本実施形態における三次元平均顔画像の生成例について図を用いて説明する。図５は、三次元平均顔データの生成例を示す図である。本実施形態においては、複数の三次元顔画像のうち、二つの顔画像をモーフィング機能により組み合わせて一つの合成画像を生成し、その合成画像を更に他の三次元顔画像にも施すことで三次元平均顔データを生成する。なお、図５の例では、８個の三次元顔画像４６−１〜４６−８から三次元平均顔データ４７を生成している。
【００９８】
ここで、本実施形態において、平均顔を用いて評価することの利点としては、例えば、個人の代表例データではなく、平均顔で評価することで客観性の高い評価が可能となり、また三次元平均顔画像を他の評価等に用いるために情報提供する場合、平均顔は個人情報ではないため、データそのものの取り扱いが容易になる。
【００９９】
また、本実施形態におけるモーフィングでは、例えば既存の解析ソフト（例えば、ＤＴｗｉｎ２等）を用いた三次元モーフィング機能により、二つのデータから設定した混合割合に応じた中間データ一つを作成し、同様に作成した中間データのうち、二つを合成して更に平均画像を生成する。なお、各個人データの寄与が均等となるように、混合割合を適切に設定しモーフィングを何度も実施することで、三次元平均顔が作成可能となる。
【０１００】
ここで、モーフィングを行うための準備として、各データ間で、同一箇所（位置としての対応関係）の情報が必要となる。ここで、図６は、モーフィング実施のためのメッシュ領域を示す図である。本実施形態では、評価対象者Ｐに対して図６に示すような所定の点数と所定の三角メッシュ数からなるメッシュ領域４８（図６の例では、点数４４、三角メッシュ数７４等）を手動や顔の特徴点等により設定する。
【０１０１】
なお、メッシュの各三角形は、各顔データ上で同じ部位上に設置する。なお、基本的にはメッシュを細かくする程、精度の高い平均顔が取得できるが、設定時の手間等が多くなるため、処理速度や目的とする精度等に応じて任意に設定することができる。
【０１０２】
＜三次元平均顔作成手順＞
ここで、三次元平均顔作成手順について説明する。なお、以下の処理は、例えばＤＴｗｉｎ２等の解析ソフトにより各処理を実施することができる。まず、顔三次元形状データをインポートし、各三次元顔形状データにおいて、三角メッシュ数７４，点数４４のメッシュの各点を図６と同じ位置と判断する場所に設置する。なお、モーフィングにより作成されたデータには、自動的にメッシュデータが設定されるため、上述の作業は不要となる。
【０１０３】
次に、例えば、化粧品使用群、化粧品＋食品使用群の各群毎の所定のグループ（分類）毎に、所定の期間（例えば、連用前、連用４週間後、連用６週間後等）の三次元平均顔を生成する。
【０１０４】
なお、本実施形態では、モーフィングする二つのデータの混合比率を設定することで、異なるモーフィングデータを生成することができる。図７は、混合比率の設定によるモーフィング結果の変化の様子を説明するための図である。
【０１０５】
図７の例では、２０代女性と６０代女性の元データを用いて、所定の混合比率で作成したモーフィングの計算結果を示している。予め設定される評価内容等に基づいて、所定の条件（例えば年代別や性別等）に基づく複数のモーフィングデータを容易に生成することができる。
【０１０６】
ここで、モーフィング処理では、二つのデータから一つのデータしか得られない。そのため、三次元平均顔の作成は、各個人データの残存率が均等になるように混合割合を最適に設定し、モーフィングを繰返し実施する。例えば、２人の平均顔であれば混合割合５０：５０を１回実施で完了する。また、Ａ、Ｂ、Ｃの三人の平均顔を作成するのであれば、１回目の処理で、ＡとＢを５０：５０の混合割合でモーフィング処理を実施し、次に、そのデータを取得する。ＡとＢのデータのモーフィング結果をＡＢとすると、２回目の処理でＡＢとＣを、６６．７：３３．３の混合割合でモーフィング処理することで、この３名の平均顔を取得することができる。つまり、上述した処理等によって平均顔の中の個人毎の割合が均等になるように処理を行うのが好ましい。なお、必要に応じて比率を変更することで、同一の元画像から多種の平均顔を取得することができる。
【０１０７】
＜三次元平均顔の生成結果＞
ここで、図８は、三次元平均顔データの生成結果の一例を示す図である。図８の例では、国籍が日本人、ドイツ人、それぞれの国籍で年代が２０代、５０代の女性８名ずつの三次元顔形状データを用いて生成した平均顔の例が示されている。このように、上述した混合比率等の条件を適宜設定することで、多種の三次元平均顔データを生成することができる。
【０１０８】
＜顔形状評価手法＞
次に、本実施形態における顔形状評価手法について図を用いて説明する。図９は、本実施形態における顔形状評価手法の一例を示す図である。図９（ａ）は、三次元平均顔データとの各点群データにおける比較の様子を示し、図９（ｂ）は、差分値を算出する流れを示している。
【０１０９】
図９（ａ）の例では、化粧品やマッサージ等の使用前の三次元顔形状データ５１と使用後の三次元顔形状データ５２とを用いて、連用前の三次元顔形状データと連用後の三次元顔形状データの形状の差を求めることで、改善を評価する。例えば、使用前（緑色）のデータに対し、使用後（桃色）のデータの位置を予め設定された顔の特徴点に基づいて合わせる。また、位置合わせ後、その位置合わせしたプレデータは点群データ（ｃｓｖ形式）で出力され、更に連用後のデータはｓｔｌ形式で出力される。
【０１１０】
ここで、本実施形態における形状変化を評価するためには、化粧品やマッサージ等の使用前の形状データに対して、使用後の形状データの位置をきっちりと合わせる必要がある。そのため、図９（ａ）に示す位置合わせ機能では、使用前のデータを基準として、使用後のデータに対して並進若しくは回転を与えて使用前のデータの位置、向きと合致させる。合致していることの確認は、位置を合わせようとする二つのデータを同じ画面上に三次元表示させ、予め設定された特徴点である鼻、額、耳儒部位等、軟組織部分の厚みが薄く変化が起こりにくい領域で二つのデータ間に差がなく重なるような状態にして位置を合わせた位置合わせデータ５３を生成する。
【０１１１】
次に、図９（ｂ）に示すように、出力されたデータをＶＸ（ＣＡＤソフト）等に読込み、使用前点群データから曲面を作成する。また、使用後のｓｔｌデータから、連用後点群データを取得し、各点から使用前の曲面までの距離を求めて差分値を取得する。
【０１１２】
従来では、計測した顔形状データから、使用前後の顔形状変化を評価する場合、これまで等高線や断面形状の差を用いて判断していた例があるが、その場合だと使用前後で等高線形状が異なっていれば、形状に変化があったことは認識できるが、具体的な変化量を評価できない。また、断面形状の比較では、断面内での変化量は評価できるが、一つの断面により評価可能な領域は線状の範囲でしかない。しかしながら、弛みやむくみによる改善変化は、広い範囲で形状変化が発生し、その位置と変化量の分布情報は重要であるため、断面による評価は不十分である。
【０１１３】
したがって、図９（ｂ）に示す誤差評価機能は、広い領域の形状変化を評価する手法として、比較する二つの三次元形状を同じ位置に合わせた後、場所ごとに二つのデータ間の差を評価し、差の量に応じてカラー表示する。ここで、形状の差を評価する方向としては、顔は卵状の曲面形状をしており、弛みやむくみ（引締り若しくは膨張）等の形状変化の方向は、曲面の法線方向に近いため、顔の場所毎に変化する方向が異なっており、評価する領域がある程度広く、顔形状の法線方向が場所毎に異なる場合には、顔形状の曲面の法線方向への変化を評価するのがよい。
【０１１４】
なお、この機能は、例えば、三次元ＣＡＤソフトのＶＸ（マシンウェア社製）等を用いて解析を行うことができる。手順としては、まず基準とするデータ（例えば、化粧品やマッサージの使用前のデータ）の点群データを曲面のデータに変換する。その後、この曲面データと使用後の点群データを比較するために、誤差評価機能を用い、使用後の点群データの各点に対して、使用前曲面データからの法線方向の差（距離）に応じた色付けを行う。
【０１１５】
なお、図９に示す色付けは、一例であり、本実施形態によれば、予め設定された色付けや点滅、輝度等に変化をつけることにより、その凹凸箇所の凹凸度に対応させて任意に強調表示することができる。
【０１１６】
＜差分カラー領域生成手法＞
次に、本実施形態における差分カラー領域生成手法について図を用いて説明する。図１０は、差分カラー領域の生成例を示す図である。図１０に示すように、予め設定された色付けの条件に基づいてビジュアルデータを取得する。具体的には、図１０に示すように例えばカラーバー等により画面設定が可能となっている。なお、本実施形態においてはこれに限定されず、ＲＧＢの数値や、赤、青、緑といった名称を直接入力することもできる。
【０１１７】
本実施形態における差分カラー領域生成では、連用後データの各点は、連用前の曲面からの距離に応じて、色付けが行われる。具体的な手順としては、まず基準とするデータ（例えば、化粧品やマッサージの使用前のデータ）の点群データを曲面のデータに変換する。その後、この曲面データと使用後の点群データを比較するために、誤差評価機能を用い、使用後の点群データの各点に対して、使用前曲面データからの法線方向の差（距離）に応じた色付けを行い、ビジュアルデータを取得する。次に、図１０に示すように、画像処理で、予め設定された差分値（変化量）の閾値に基づいて、変化がない緑色のエリアを削除して差分カラーを生成する。なお、色の設定内容については、図１０に示す色付け方法に限定されず本実施形態において任意に設定することができる。
【０１１８】
＜差分ベクトル表示による評価について＞
ここで、差分ベクトル表示による評価について説明する。二つの顔形状データ間の変化を差分カラー表示により評価する場合、二つの顔形状データの面と面の間の距離を評価しているため、頬が引き上がったとか、垂れ下がる等、顔の面内方向の変化は評価できない。これらの変化を評価するためには、比較する顔形状データ間で同じ位置（対応点）を特定し、その差を差分ベクトルとしてｘ，ｙ，ｚのそれぞれの方向別に求めることが必要となる。
【０１１９】
ここで、重要なのは対応点を特定する手法である。顔形状計測に用いている三次元顔形状計測装置１１の多くはカメラを搭載しており、レーザ光を走査した画像や、パターンを顔に投影した画像を取得し、この画像の各画素毎、若しくはデータ量を少なくするため数画素間隔で三次元座標データ（ｘ，ｙ，ｚ）を取得する。よって、三次元顔形状計測装置１１では、点群で構成される顔形状データと顔画像が取得可能であるが、顔形状データの各点が顔画像のどの画素に対応してるかは既知である。
【０１２０】
本実施形態では、例えば二つの顔形状データ間で対応点を探索する場合、顔形状データから直接対応点を求めることが困難な場合、顔画像データを用いてどの画素が対応点なのかを探索し、その画素から顔形状データのどの点が対応点なのかを知ることができる。
【０１２１】
ここで、顔画像を用いた対応点の探索手法は、例えば従来から様々な画像マッチング手法があるため、それらから任意に選択して用いればよく、例えば顔の特徴点に基づく画像マッチング手法等を用いることができる。画像マッチング手法を用いることで、評価エリア内の多くの点を一度に評価することが可能となる。
【０１２２】
このようにして、本実施形態では、顔形状データ上で、どの点とどの点が対応しているのかを得ることができ、その差を差分ベクトルとしてｘ，ｙ，ｚのそれぞれの方向別に求めることで変化の方向を加味した評価を行い、変化を矢印で表示することで、ビジュアル的にも分かり易い表示を行うことができる。
【０１２３】
＜他の手法との違い＞
変化量を矢印で表示する手法として、表情解析等を行うために、画像（二次元）においてオプティカルフローを用い、変化の方向と向きを矢印により評価するものがあるが、画像の奥行き方向の変化を評価することができないため、変化を正確に評価することはできない。
【０１２４】
また、変化量を三次元的に評価する手法としては、運動解析等でマーカーを付けてその位置の変化を三次元的に評価する手法があるが、マーカー設置点しか評価しない。また、マーカーを多く付けることで評価点を増やすことは可能であるが、商品情報（パンフレット）等に活用する場合を考えると、不自然なマーカーが顔に何点、何十点と付いているビジュアルデータは、見た目上よくない。
【０１２５】
ここで、上述した内容を実施するための手順と具体的な実施例について説明する。実施例として、昼と夕方に顔形状を三次元顔形状計測装置により計測し、その変化を評価したものを例示する。
【０１２６】
まず、計測は、三次元顔形状計測装置を用いて顔形状を計測する。このとき、装置のカメラにて取得した画像と、顔形状データの二つを取得しておく。また、上述した位置合わせは、例えばＤＴｗｉｎ２等の解析ソフトの位置合わせ機能を用いて、昼の顔形状データに対して、夕方の顔形状データの位置を合わせる。なお、計測と位置合わせに関しては、上述して説明したものと同じとする。
【０１２７】
また、移動量解析領域の設定は、例えば顔画像上で評価を行うエリアを指定する。なお、エリアは、例えば四角形や円形等の所定の領域が指定される。また、計算条件の設定では、
評価する間隔（矢印を表示する間隔）を何画素毎に行うのかを、予め設定される計算間隔により設定する。また、画像フィッティング実行時の設定として、窓サイズを設定する。
【０１２８】
次に、計算の実施とその結果について説明する。図１１は、表示結果の一例を示す図である。なお、図１１（ａ）は、評価対象者と移動量解析領域を示し、図１１（ｂ）は、評価対象者を真横方向から見た図を示し、図１１（ｃ）は、評価対象者を前斜め方向から見た図を示している。
【０１２９】
図１１（ｂ），（ｃ）に示すように、図１１（ａ）に示す移動量解析領域に対する窓サイズの設定において、計算間隔を１５画素毎、画像フィッティングの窓サイズを１２８画素で解析を実行した結果を、矢印等により明確に表示させることができる。なお、図１１（ｂ）,（ｃ）に示す矢印の大きさは、倍率を変更することで変更することができる。なお、変化量に応じて矢印の大きさや長さを変化させることで、その変化量を容易にユーザ等に示すことができる。
【０１３０】
＜体積、表面積評価機能＞
次に、本実施形態における体積、表面積評価機能について図を用いて説明する。図１２は、体積、表面積評価機能の評価手法の一例を示す図である。
【０１３１】
本実施形態における機能は、例えば、マッサージや化粧品の使用前後の指定した領域の体積変化量の評価、及び表面積を、例えばＶＸ（ＣＡＤソフト）を用いて評価することができる。まず、体積変化量の評価の手順は、図１２（ａ）に示すように、評価対象の領域や部位を直線や曲線等で囲んで領域４９を指定する。次に、図１２（ｂ）に示すように、この囲んだ領域に対しておおまかに平行平面を設定し、この面に対して指定した領域に対する投影図を作成し、この面の法線方向に厚みを持たせた立体形状を作成する。この立体を顔データ数だけコピーを作成し（位置も全く同じもの）、各顔データの曲面と交差する箇所で切断し、顔の内側の立体（図１２（ｃ））の体積を計算する。更に、求めた使用後の体積値から、使用前の体積値を引いた値が、指定した領域での体積変化量となる。
【０１３２】
また、指定部位の表面積の評価についても、同様の手順で処理を行うことができる。具体的には、まず図１２（ａ）に示すように、評価したい領域を直線や曲線等で囲んで領域を指定する。次に、図１２（ｂ）に示すように、この囲んだ領域に対して、おおまかに平行平面を設定し、この面に対して指定した領域の投影図を作成し、この面の法線法に厚みを持たせた立体形状を作成する。
【０１３３】
その後、この立体を顔データの曲面と交差する箇所で切断し、顔の内側の立体（図１２（ｃ））を取得する。更に、取得した立体の顔形状曲面がある曲面だけを残して、その他の面（底面、側面等）を全て削除し、その表面積を計算する。
【０１３４】
＜実施例２：弛みグレード別平均顔画像の生成例＞
ここで、本発明における他の実施例として弛みグレード別平均顔画像の生成例について説明する。例えば、顔の弛みに関する評価を行うための平均顔画像を生成する場合、予め複数の三次元顔形状データに対して目視等により、ユーザ等が弛みグレードを設定し、その設定された弛みグレードに基づいて三次元平均顔データを生成する。
【０１３５】
本実施例では、２０代〜６０代の女性１２８名を対照にし、三次元顔形状データを取得し、同時に採取される左右斜め側面の二次元テクスチャ画像について、６名の判定者が顔面全体の弛みの印象を、「感じない」を「０」、「はっきりと感じる」を「６」として弛み度を得点化した。
【０１３６】
また、その弛み得点から、５段階のグレードを設定し、各グレードから８名を選定し、三次元平均顔データを生成する。このようにすることで、グレード別弛み平均顔を作成することができる。
【０１３７】
なお、本実施例を適用して、三次元顔形状データを用いて作成した弛みグレート別平均顔画像の等高線変化を、加齢による弛みが顕在し易い部位である頬中央部、フェイスライン、鼻唇溝、口角部、上下眼瞼に着目して確認したところ、平均化する前の個々の三次元形状で確認できた頬中央部の弛み、フェイスラインの下垂、鼻唇溝、衡各部のシワ形状に起因する等高線形状の変化を確認することができた。
【０１３８】
＜評価結果＞
次に、上述した本実施形態を適用した具体的な評価結果について説明する。ここで、評価結果に用いた三次元平均顔データの作成内容について説明する。図１３は、三次元平均顔データの生成におけるモーフィング実施手順の一例を示す図である。
【０１３９】
ここで、三次元平均顔作成手順としては、上述したように、顔三次元形状データをインポートし、各三次元顔形状データにおいて、三角メッシュ数７４，点数４４のメッシュの各点を上述した図６に示す位置と同じ位置と判断する場所に設置する。また、化粧品使用群、化粧品＋食品使用群の各群毎に、連用前、連用４週間後、連用６週間後の三次元平均顔を作成する。
【０１４０】
＜モニター（被験者）について＞
モニターは、フェイスラインや顎下の弛みが気になる３０代後半〜４０代女性で、普段洗顔後のお手入れが化粧水・乳液等１〜３品程度の比較的シンプルな対象者３３名を以下のように群分けした。また、「化粧品使用群（以下、必要に応じて化粧品群と略称する。）」は、１０名を対象に「エッセンス塗布＋マスク貼付け」を行い、「化粧品＋食品使用群（以下、必要に応じて化粧品＋食品群と略称する。）」は、２３名を対象に「エッセンス塗布＋マスク貼付け＋ドリンク摂取」を行った。
【０１４１】
また、エッセンスは毎日使用し、またマスクとドリンクは、テスト開始から３日目までは毎日、その後テスト開始から１週間目の日に使用した。
【０１４２】
次に、三次元平均顔作成時使用データについて説明する。三次元平均顔作成時使用データは、「化粧品群」については、計１０名のうち、連用４週間後計測欠席者１名、連用前後の表情の違いが大きかった人１名を不使用とし、計８名のデータを用い平均顔を作成する。また、「化粧品＋食品群」については、計２３名のうち、連用４週間後計測欠席者１名、連用前後の表情の違いが大きかった人２名を不使用とし、計２０名のデータを用い平均顔を作成する。
【０１４３】
また、三次元平均顔作成時のモーフィング混合割合と割り付けについては、図１３に示すように、「化粧品群」、「化粧品＋食品群」をそれぞれトーナメントのように所定の二枚の画像を選択してモーフィングを繰返し、平均顔を作成した。このとき、各個人データの寄与が均等となるように、各モーフィング処理時の混合割合を設定する。また、平均顔は、各群において連用前、連用４週間後、連用６週間後の３つの平均顔を作成する。
【０１４４】
＜計測について＞
計測は、テスト品の使用前、使用４週間後、使用６週間後に実施し、また朝はむくみの影響が残っている等、日内の顔の変動を考慮して、被験者には毎回同じ時間帯に計測を行った。また、データの解析に関しては、装置から取得したデータのうち、右半顔側のデータのみを用いて解析を実施した。
【０１４５】
＜解析・評価について＞
上述した本実施形態における評価手順の順序で評価を実施した。ただし、解析の詳細については、まず、顔形状変化を評価する場合、比較するデータ間で表情の違いが大きなデータは、表情の違いにより発生した形状差が含まれ、誤差の大きなデータとなってしまうため、各群の平均顔作成時に、テスト品の使用前と使用後の顔形状データの間で、表情の違いが大きなものは不採用とした。
【０１４６】
また、実測では、「化粧品群」計１０名のうち、使用４週間後、計測欠席者１名、使用前後の計測時の表情の違いが大きな１名を不採用とし、計８名のデータを用い平均顔を作成した。また、「化粧品＋食品群」計２３名のうち、使用４週間後計測欠席者１名、使用前後の表情の違いが大きかった人２名を不使用とし、計２０名のデータを用い平均顔を作成した。
【０１４７】
上述した条件で作成した三次元平均顔データを、各群において使用前のデータを基準として、使用後のデータの位置を合わせた後に、上述したＶＸにおける誤差評価機能を使って、使用４週間後、使用６週間後の解析を実施した。
【０１４８】
この後、ビジュアル的により分かり易いデータとするためにｐｈｏｔｏｓｈｏｐを用いて画像処理を実施した。ここで、図１４は、本実施形態における画像処理の様子を説明するための図である。
【０１４９】
まず、差分カラーの解析結果と解析を実施した顔三次元形状を表示させた画像を取得する（図１４（ａ））。この画像上で、色が付いている領域のみ誤差評価解析を実施した。次に、形状変化が殆どなかった「緑色」のエリアを削除した。更に、図１４（ａ）の「赤色」の箇所は、単純な差の量を意味しているだけで、使用後に引締った方向なのか、膨張した方向に変化したのかの方向は反映していない。そこで、図１４（ｂ）に示すように、使用前のデータを「緑色」、使用後のデータを「桃色」とし、それらの位置合わせを実施し、重ね合わせた結果を画面に表示させるが、ここで、使用後の「桃色」が見えている領域は膨張した変化があったことを意味し、使用前の「緑色」が見えている場所は、引締った変化があったことを意味している。
【０１５０】
この引締った方向の変化があったエリアの「黄色〜赤色」を「水色〜青色」に変更することで、図１４（ｃ）に示すような、引締りと膨張方向を識別した結果を取得できる。なお、上述した「黄色〜赤色」を「水色〜青色」に変更する方法は、例えばｐｈｏｔｏｓｈｏｐ等の画像処理ソフトウェアを用いて、色を変更するエリアを選択して、諧調の反転を実施後、トーンカーブで緑色の成分を反転させると実施可能である。また、代表的なソフトのｒａｐｉｄｆｏｒｍでは、画像処理を実施しなくても方向性を考慮した結果が取得できる。
【０１５１】
ここで、図１５は、上述したそれぞれの条件に対応して評価された結果を示す図である。図１５に示すように、上述の処理によって、「化粧品群」、「化粧品＋食品群」のそれぞれで、使用前の三次元平均顔を基準として、使用４週間後、６週間後の平均顔にどのような変化があったのかが分かるビジュアルデータを取得した。
【０１５２】
図１５に示すように、「化粧品群」の平均顔による差分カラー表示においては、フェイスライン部位にて引締り効果があることがわかる。また、「化粧品＋食品群」の平均顔による差分カラー表示においては、フェイスライン部位だけでなく、頬の広い範囲で引締り効果があることがわかる。
【０１５３】
次に、体積、表面積評価結果の一例について図を用いて説明する。図１６は、体積、表面積評価結果の一例を示す図である。図１６（ａ）に示すように、白色の領域内（鼻際からもみ上げ付近への水平線と、そこから下ろした垂線とフェイスラインが交わる点と、その点からフェイスラインに沿ってフェイスラインとマリオネットラインの延長線の交点付近までと、そこからマリオネットラインの耳側の凸部、並びに鼻唇溝の外側の凸部の稜線を沿って鼻際までを囲む領域）の体積変化量を、例えば上述したＶＸの体積計算機能を用いて評価した。また、変化のあった領域を図１６（ｂ）に示すように指定し、その表面積を求めた。最後に、最も大きな変化量を求めた。
【０１５４】
ここで、図１７は、解析・評価結果及びアンケート結果の一例を示す図である。図１７（ａ）に示す評価結果では、「化粧品群」では、フェイスライン部位に引締り効果があった。また、「化粧品＋食品群」では、「化粧品群」で効果のあったフェイスラインだけでなく、頬の広い範囲において引締り効果があり、食品の併用により効果が広範囲に出現した。更に、連用６週間後の効果は、「化粧品群」、「化粧品＋食品群」共に、連用４週間後と同様の傾向で、より大きくなっていた
また、図１７（ｂ）に示すアンケート結果は、被験者に対して使用６週間後にインタビューを行い、そのコメントから改善のあった部位毎に改善率を算出したが、何れか改善されたことを認識している率が高いことがわかり、この評価が意味のあるものであると認識できる。
【０１５５】
上述したように、本発明によれば、顔を立体的に捉えて、二つの顔画像の変化量に基づき顔の評価を高精度に行うことができる。具体的には、本発明によれば、連用前後の顔三次元形状データを比較し、引締り若しくは膨張変化のあった場所を色付けする解析を行い、一目で弛みの改善効果が分かるビジュアルデータを生成し、表示することができる。
【０１５６】
また、本発明によれば、モーフィング技術により、複数人のデータを重ね合わせて三次元平均顔を作成し、連用前後の比較を行うことで、平均的な効果がどの部位に、どの程度発生したのかを評価することができる。
【０１５７】
また、本発明によれば、三次元平均顔を用いた評価が可能になったことにより、個人の顕著例ではなく客観性が高いビジュアルデータを取得可能となった。また、このデータは個人情報ではないため、個人の顕著例よりも情報の取り扱いが楽になる利点もある。
【０１５８】
以上本発明の好ましい実施例について詳述したが、本発明は係る特定の実施形態に限定されるものではなく、特許請求の範囲に記載された本発明の要旨の範囲内において、種々の変形、変更が可能である。
【符号の説明】
【０１５９】
１０  顔形状評価システム
１１  三次元顔形状計測装置
１２  顔形状評価装置
２１  入力手段
２２  出力手段
２３  蓄積手段
２４  三次元顔形状データ取得手段
２５  三次元平均顔データ生成手段
２６  顔形状評価手段
２７  差分カラー領域生成手段
２８  表示画面生成手段
２９  送受信手段
３０  制御手段
３１  入力装置
３２  出力装置
３３  ドライブ装置
３４  補助記憶装置
３５  メモリ装置
３６  ＣＰＵ
３７  ネットワーク接続装置
３８  記録媒体
４１  開口部
４２  撮影ユニット
４３  カメラ
４４  光源
４５  パターン格子
４６  三次元顔画像
４７  三次元平均顔データ
４８  メッシュ領域
４９  領域
５１  三次元顔形状データ（使用前画像）
５２  三次元平均顔データ（使用後画像）
５３  位置合わせデータ
【図１】
2011150595.tif 000003
【図２】
2011150595.tif 000004
【図３】
2011150595.tif 000005
【図１３】
2011150595.tif 000006
【図１７】
2011150595.tif 000007
【図４】
2011150595.tif 000008
【図５】
2011150595.tif 000009
【図６】
2011150595.tif 000010
【図７】
2011150595.tif 000011
【図８】
2011150595.tif 000012
【図９】
2011150595.tif 000013
【図１０】
2011150595.tif 000014
【図１１】
2011150595.tif 000015
【図１２】
2011150595.tif 000016
【図１４】
2011150595.tif 000017
【図１５】
2011150595.tif 000018
【図１６】
2011150595.tif 000019