(57)【特許請求の範囲】
【請求項１】
見た目年齢の異なる顔画像を合成する方法であって、
複数人の顔画像（以下、元画像という）を取得し、
各元画像から、その形状の特徴点が所定形状の顔型の特徴点に揃うように規格化した画像（以下、規格化元画像という）を作成し、
複数人の規格化元画像の色について主成分分析を行い、
主成分分析により得られる規格化元画像の固有ベクトル（以下、パラメータという）中、見た目年齢に寄与するパラメータを特定し、
一方、任意の顔の規格化元画像を作成し、任意の顔の規格化元画像において前記主成分分析で得られる固有ベクトル空間における主成分スコア（以下、パラメータの重み係数という）を変化させることにより見た目年齢の異なる規格化顔画像を作成する顔画像の合成方法。
【請求項２】
複数人の元画像の形状を平均化した標準顔を算出し、前記所定形状の顔型として標準顔を使用する請求項１記載の顔画像の合成方法。
【請求項３】
規格化元画像として、元画像を所定形状の顔型に規格化した後に、眉、目、口、毛髪及び背景をマスク処理した画像（以下、マスク処理画像という）を作成し、
前記主成分分析を複数人のマスク処理画像の色について行う請求項１又は２記載の顔画像の合成方法。
【請求項４】
複数人の規格化元画像の見た目年齢のスコア値を取得し、その見た目年齢のスコア値を、前記主成分分析により得られたパラメータの重み係数の値に対して重回帰分析することにより見た目年齢に寄与するパラメータを特定する請求項１〜３のいずれかに記載の顔画像の合成方法。
【請求項５】
任意の顔の規格化元画像として、前記複数人の規格化元画像において色を平均化した色平均顔を使用し、色平均顔について見た目年齢の異なる顔画像を作成する請求項１〜４のいずれかに記載の顔画像の合成方法。
【請求項６】
任意の顔の規格化元画像として、特定人の顔の規格化元画像を使用し、特定人について見た目年齢の異なる規格化顔画像を請求項１〜４のいずれかに記載の方法により作成し、さらに規格化顔画像の特徴点を特定人の顔の元画像の特徴点に戻すことにより、特定人について見た目年齢の異なる顔画像を作成する顔画像の合成方法。
【請求項７】
顔画像（以下、元画像という）を取得する画像取得手段と、元画像から見た目年齢の異なる合成顔画像を作成する演算手段とを備えた顔画像の合成装置であって、
該演算手段が、
元画像から、その形状の特徴点が所定形状の顔型の特徴点に揃うように規格化した画像（以下、規格化元画像という）を作成する機能、
複数人の規格化元画像の色について主成分分析を行う機能、及び
主成分分析による規格化元画像の固有ベクトル（以下、パラメータという）中、見た目年齢に寄与するパラメータを特定する機能、
任意の顔の規格化元画像において、前記主成分分析で得られる固有ベクトル空間における主成分スコア（以下、パラメータの重み係数という）を変化させることにより、見た目年齢の異なる規格化顔画像を作成する機能を備えている顔画像の合成装置。
【請求項８】
さらに、見た目年齢の異なる規格化顔画像の特徴点を前記任意の顔の元画像の特徴点に戻すことにより、前記任意の顔について見た目年齢の異なる合成顔画像を形成する機能、
を備えている請求項７記載の顔画像の合成装置。
【請求項９】
演算手段が、複数人の元画像の形状を平均化した標準顔を算出する機能を備え、
前記所定形状の顔型として、標準顔を使用する請求項７又は８記載の顔画像の合成装置。
【請求項１０】
演算手段が、規格化元画像として、元画像を所定形状の顔型に規格化すると共に、眉、目、口、毛髪及び背景をマスク処理した画像（以下、マスク処理画像という）を作成する機能を備えている請求項７〜９のいずれかに記載の顔画像の合成装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、見た目年齢が異なる顔画像を合成する顔画像の合成方法及び合成装置に関する。
【背景技術】
【０００２】
画像上で化粧のシミュレーションを行い、化粧方法や化粧品の選択のアドバイスを行う方法が開発されている（特許文献１）。この場合、シミュレーションの元画像には、モデルや顧客の顔画像が使用されている。
【０００３】
一方、化粧の目的の一つに、実年齢よりも見た目年齢を低く又は高く見せることがある。そのために、所期の見た目年齢となるように、肌の色を調整したり陰影をつけたりすることがなされるが、美容部員が、輪郭、立体感、肌の色等が種々異なる個々の顧客に対し、要望通りの見た目年齢に化粧を施すことや、そのような化粧方法を顧客にアドバイスすることは容易でない。これに対し、輪郭等が異なる顧客ごとに見た目年齢の異なる顔画像を参照できれば、そのような化粧の完成度が高まり、顧客に対する化粧方法のアドバイスも適確となる。また、同一人について見た目年齢の異なる顔画像を得ることは、化粧品の研究、開発においても必要となる。
【０００４】
【特許文献１】特開２０００−１９４８３５号公報
【発明の開示】
【発明が解決しようとする課題】
【０００５】
そこで、本発明は、任意の顧客等の特定人の顔画像において見た目年齢が異なる顔画像を得られるようにすることを目的とする。
【課題を解決するための手段】
【０００６】
本発明者は、
(a)複数の顔画像（以下、元画像という）から、その形状の特徴点が所定形状の顔型の特徴点に揃うように規格化した画像（以下、規格化元画像という）を合成し、その規格化元画像の色について主成分分析することにより固有ベクトル（以下、パラメータという）を得ると、パラメータの中には、見た目年齢に大きく寄与するものがあること、(b)規格化元画像について、前記主成分分析で得られる固有ベクトル空間における主成分スコア（以下、パラメータの重み係数という）のうち見た目年齢に寄与するものを変えた画像を得、それを元の形状に戻してやると、顔の輪郭や、眉、目、鼻、口の位置や形状等の顔の基本設計は元画像と共通だが、見た目年齢が異なる顔画像を得られることを見出した。
【０００７】
即ち、本発明は、見た目年齢の異なる顔画像を合成する方法であって、
複数人の元画像を取得し、
各元画像から規格化元画像を作成し、
複数人の規格化元画像の色について主成分分析を行い、
主成分分析により得られる規格化元画像のパラメータ中、見た目年齢に寄与するパラメータを特定し、そのパラメータの成分画像を作成し、
一方、任意の顔の規格化元画像を作成し、任意の顔の規格化元画像において、前記パラメータの重み係数を変化させることにより見た目年齢の異なる規格化顔画像を作成する顔画像の合成方法を提供し、また、特定人の顔の規格化元画像について見た目年齢の異なる規格か顔画像を作成した後、その特徴点を特定人の元画像の特徴点に戻すことにより、見た目年齢の異なる特定人の顔画像を作成する顔画像の合成方法を提供する。
【０００８】
また、本発明は、元画像を取得する画像取得手段と、元画像から見た目年齢の異なる合成顔画像を作成する演算手段とを備えた顔画像の合成装置であって、
該演算手段が、
元画像から規格化元画像を作成する機能、
複数人の規格化元画像の色について主成分分析を行う機能、
主成分分析による規格化元画像のパラメータ中、見た目年齢に寄与するパラメータを特定する機能、
任意の顔の規格化元画像において、前記パラメータの重み係数を変化させることにより、見た目年齢の異なる規格化顔画像を作成する機能を備えている顔画像の合成装置を提供し、さらに、見た目年齢の異なる規格化顔画像の特徴点を前記任意の顔の元画像の特徴点に戻すことにより、前記任意の顔について見た目年齢の異なる合成顔画像を形成する機能、
を備えている顔画像の合成装置を提供する。
【発明の効果】
【０００９】
本発明によれば、顔の輪郭や、眉、目、鼻、口の位置や形状等の顔の基本設計は共通だが、色と陰影分布が異なることにより、見た目年齢の異なる顔画像、即ち、若く又は老いて見える顔画像を合成することができる。したがって、本発明により得られる顔画像を参照することにより、若く又は老けて見せる化粧方法、化粧品素材、化粧料等の開発や研究を推進させることができ、また、顧客を若く又は老けて見せるための化粧方法のアドバイスを適確に行うことが可能となる。
【発明を実施するための最良の形態】
【００１０】
以下、図面を参照しつつ、本発明を詳細に説明する。なお、各図中、同一符号は同一又は同等の構成要素を表している。
【００１１】
図１Ａは、複数人の規格化元画像の色を平均化して得られる色平均顔について、見た目年齢の異なる顔画像を合成する方法の流れ図であり、図２この方法を実施する顔画像の合成装置１の一態様のブロック図である。
【００１２】
この顔画像の合成装置１は、元画像を取得する画像取得手段２と演算手段３を備えている。演算手段３は、高速コンピュータに、後述する標準顔の算出、画像の規格化、マスク処理、主成分分析、重回帰分析、画像の合成等に必要な演算機能と、画像や計算結果の保存機能等を組み込んだものであり、この演算手段３には、演算結果等を表示するディスプレイ４及びプリンタ５が接続されている。
【００１３】
図１Ａに示す方法は、次の工程を有している。
Ａ．複数人の元画像を取得し、
Ｂ．その元画像の形状の特徴点が所定形状の顔型の特徴点に揃うように規格化した規格化元画像を作成し、
Ｃ．規格化元画像において、眉、目、口、毛髪及び背景をマスク処理することにより肌領域だけ抽出したマスク処理画像を作成し、
Ｄ．規格化元画像の色（より具体的には、マスク処理画像の肌領域のＲＧＢ画素値）について主成分分析し、
Ｅ．規格化元画像の見た目年齢のスコア値を取得し、
Ｆ．工程Ｄの主成分分析により得た規格化元画像のパラメータのうち、見た目年齢に寄与するものを特定し、
Ｇ．一方、複数人の規格化元画像のマスク処理画像からそれらの色平均顔を算出し、
Ｈ．色平均顔について、工程Ｆで求めた、見た目年齢に寄与するパラメータの重み係数を変化させることにより、色平均顔について、見た目年齢の異なる顔画像を得る。
【００１４】
工程Ａで元画像の取得に使用する画像取得手段２としては、顔画像を撮るデジタルカメラ、顔写真から顔画像を取り込むイメージスキャナ、顔画像が記録されている任意の記録媒体から顔画像を取り込むドライブ、インターネット等の通信回線から顔画像を取り込む通信手段等をあげることができる。
【００１５】
ここで取り込む元画像は、素顔でも化粧顔でもよいが、一定照明条件下で取得することが好ましい。また、元画像の母集団の構成により、主成分分析によるパラメータの順位が大きく変わる場合があるため、元画像の母集団は、性別ごとにある年齢幅に属するように統制することが好ましく、例えば、女性で、18〜24歳、25〜39歳、又は40〜49歳等とすることが好ましい。また、最終的に取得する合成顔画像に付与したい顔型の特徴に応じて、二重瞼又は一重瞼等といった顔型の特徴ごとに元画像の母集団を統制してもよい。
【００１６】
演算手段３は、まず、画像取得手段２で取得した元画像を記憶する。
【００１７】
工程Ｂにおいては、取り込んだ個々の元画像毎に、形状の特徴、例えば、毛髪のはえぎわ、ほほ、あご等の輪郭や眉、目、鼻、等の形状を特定し、それらの形状の特徴点をモーフィング処理により所定形状の顔型の特徴点に揃える。この規格化で使用する所定形状の顔型は、頭髪を含まない顔面のみのものとすることが好ましい。またこの顔型には、任意の顔面形状のものを使用することができ、実在の人物の顔型でも仮想の人物の顔型でもよく、複数人の元画像の形状のみを平均化した標準顔の顔型を使用してもよい。標準顔は特定人を全く表象しないため、特定人の画像であることを理由として利用が制限されることを解消できる。
【００１８】
なお、ここで形状の特徴の特定や、モーフィング処理は、市販の顔画像合成システム（例えば、株式会社国際電気通信基礎研究所、futon）を用いて行うことができる。
【００１９】
工程Ｃは、規格化元画像から、眉、目、口、毛髪及び背景の画素値を除去（マスク処理）したマスク処理画像を作成する工程である。眉、目、唇、毛髪及び背景はベースメイクの領域ではないことから、ベースメイクに強く関与するパラメータを得るため、本発明においては工程Ｃを行うことが好ましい。なお、このマスク処理は、規格化前の元画像に対して行っても良い。
【００２０】
このマスク処理により、例えば、図３に示すように、２５〜４０歳の複数人の素顔及び／又は化粧顔の元画像の形状を標準顔にモーフィング処理し、眉、目、唇、毛髪及び背景の画素値をマスク処理したマスク処理画像を得る。
【００２１】
工程Ｄでは、複数人の規格化元画像、好ましくはマスク処理した規格化元画像の色について主成分分析を行う。具体的には、複数人の規格化元画像の画像データ（Ｍ（横）×Ｎ（縦）画素）のＲＧＢ画素値を一列に並べたＬ（＝Ｍ×Ｎ）次元ベクトルを主成分分析し、元画像のサンプル数Ｑに等しいＱ次元の固有ベクトル（パラメータ）とスコア値（重み係数）を求める。
【００２２】
この主成分分析の手法は、M. Turk and A. Pentland, "Eigenfaces for recognition," Journal of Cognitive Neuroscience, vol. 3, no. 1, pp. 71-86, 1991に記載されている方法によることができ、例えばNETLIBの数値演算ライブラリCLAPACKを用いて行うことができる。
【００２３】
次式(I)は、こうして得られた上位１７個のパラメータＸi(i＝1〜17)と重み係数ａi(i＝1〜17)で規格化元画像を表したものであり、図４は、上位１７次元のパラメータを画像として表現したものである。
【００２４】
【数１】
0004893968.tif 000002
【００２５】
一方、工程Ｅで、規格化元画像の見た目年齢のスコア値を取得する。スコア値としては、例えば、５〜２０人の美容専門家が見た目年齢を３〜１０歳刻みの年齢に評価したときの平均を算出する。
【００２６】
工程Ｆでは、工程Ｄの主成分分析により得た規格化元画像のパラメータのうち、見た目年齢に寄与するものを特定する。この特定の手法としては、例えば、工程Ｅで得た見た目年齢のスコア値を目的変数とし、主成分分析により得られた規格化元画像のパラメータＸiの重み係数ａiを説明変数とする重回帰分析を行うにあたり、ステップワイズ法により見た目年齢に寄与するパラメータＸiの重み係数ａiを選択する。例えば、１６１人の２５〜４０歳の化粧顔を元画像として標準顔に規格化し、見た目年齢のスコア値を、１５人の美容専門家が１９歳以下、２０〜２４歳、２５〜２９歳、３０〜３４歳、３５〜３９歳、４０歳以上という６段階の基準で評価したときの平均値とすることにより、次の回帰式（II）を得た。
【００２７】
【数２】
0004893968.tif 000003
【００２８】
式(II)からわかるように、見た目年齢に大きく寄与する重み係数は、パラメータＸ17、Ｘ14、Ｘ12、Ｘ11の重み係数ａ17、ａ14、ａ12、ａ11 であった。また、各パラメータの重み係数ａiの寄与を示す標準化偏回帰係数ｋ（絶対値の大きいものから選択される）はそれぞれｋ17は＋0.367、ｋ14は-0.319、ｋ12は-0.220、ｋ11は-0.217であった。
【００２９】
なお、見た目年齢に寄与するパラメータの特定方法としては、上述の重回帰分析による方法の他、判別分析（小林敏和、大図正孝、大竹俊輔、赤松茂、"形状とテクスチャの特徴空間における線形判別関数を用いた顔イメージの生成", 日本顔学会誌４巻１号、pp.33-44, 2004年）等によってもよい。
【００３０】
また、見た目年齢に寄与するパラメータとして特定するパラメータ数は、上述の４個に限られず、通常１〜２０個程度を特定することにより、効果的に見た目年齢を上下させることができる。また、このパラメータを特定する場合の条件を、例えば、重回帰分析の結果採用されるパラメータの累積寄与率が0.3以上というしきい値を設けることにより、パラメータを特定する機能を演算手段に持たせることができる。
【００３１】
工程Ｇでは、工程Ｃで作成した複数のマスク処理画像について、色を平均化した色平均顔を算出する。この色平均顔は、次の工程Ｈで顔画像の見た目年齢を変化させる際の基準となるものである。
【００３２】
工程Ｈでは、工程Ｇで算出した色平均顔について、工程Ｆで選択したパラメータの重み係数を変化させることにより、見た目年齢の異なる顔画像を作成する。より具体的には、例えば、前述の１６１人の化粧顔の色平均顔の場合、式(I)において、[規格化元画像の平均]を[色平均顔画像]とし、工程Ｆで選択したパラメータＸ17、Ｘ14、Ｘ12、Ｘ11 の重み係数ａ17、ａ14、ａ12、ａ11 を変化させることにより、色平均顔について見た目年齢を異ならせた顔画像を得る。
【００３３】
工程Ｆで得られた重回帰分析の標準化偏回帰係数ｋの符号により、それぞれの重み係数ａ17、ａ14、ａ12、ａ11 に対応するパラメータＸ17、Ｘ14、Ｘ12、Ｘ11 が、見た目年齢を高くするか低くするかという方向性がわかる。例えば、前述の式(II)によれば、見た目年齢を高くするためには、ａ17を正の方向に、ａ14、ａ12、ａ11を負の方向に変化させる。逆に、見た目年齢を低くするためには、ａ17を負の方向に、ａ14、ａ12、ａ11を正の方向に変化させる。
【００３４】
そこで、次式(IIIa)、式(IIIb)のように、見た目年齢を所定年齢分高く又は低くする成分画像を求め、この成分画像を[色平均顔画像]に重ね合わせる。
【００３５】
【数３】
0004893968.tif 000004
【００３６】
より具体的には、上述の式(IIIa)において、見た目年齢を５歳高くする成分画像は次式で得られる。
【００３７】
【数４】
0004893968.tif 000005
【００３８】
また、上述の式(IIIb)において、見た目年齢を５歳低くする成分画像は次式で得られる。
【００３９】
【数５】
0004893968.tif 000006
【００４０】
図５は、式(IIIa)、式(IIIb)に対応する成分画像と、そのパラメータの画像である。
【００４１】
以上の色平均顔について見た目年齢を変化させる方法は、実在の顔や合成による顔を問わず任意の顔について、見た目年齢を変化させる場合に適用することができ、したがって、特定人が若く又は老けて見える画像を得るために使用することができる。
【００４２】
その場合、図１Ｂに示すように、まず、工程Ａ’で、見た目年齢を異ならせようとする特定人の画像を取得し、工程Ｂ’でその特定人の規格化元画像を作成し、好ましくは工程Ｃ’で、規格化元画像として、工程Ｂ’で得た規格化元画像のマスク処理画像を作成する。
【００４３】
一方、前述の色平均顔について、見た目年齢を変化させる場合と同様にして、複数人の元画像から、見た目年齢に寄与するパラメータを特定する（工程Ａ〜工程Ｆ）。そして、工程Ｈ’において、次式Ｉ'で表される特定人のマスク処理画像について、工程Ｆで特定したパラメータの重み係数を変化させ、見た目年齢が高い又は低い規格化顔画像を形成する。
【００４４】
【数６】
0004893968.tif 000007
【００４５】
あるいは、見た目年齢を高くする成分画像（式(IIIa)）、又は低くする成分画像（式(IIIb)）を求め、図６のように、特定人の規格化元画像に式(IIIa)又は式(IIIb)の成分画像を加え、見た目年齢が高い又は低い規格化顔画像を形成する。
【００４６】
次に、工程Ｉで、見た目年齢を変化させた規格化顔画像の特徴点を特定人の元画像の特徴点に戻す（即ち、Ａ’からＢ‘で行った工程、又はＡ’からＣ‘で行った工程の逆の操作を行う）。こうして合成された顔画像は、顔の輪郭や、目、鼻、口の位置や形状といった顔の基本設計は特定人の元画像と共通だが、見た目年齢が異なったものとなる。
【産業上の利用可能性】
【００４７】
元画像と、本発明により得られる顔画像との見た目年齢の差は、化粧を変えることにより得られるものと解釈することができるため、本発明の方法は、化粧方法、化粧品素材、化粧料等の研究、開発や、化粧方法のアドバイス等の分野で有用となる。
【図面の簡単な説明】
【００４８】
【図１Ａ】色平均顔について、見た目年齢の異なる顔画像を合成する方法の流れ図である。
【図１Ｂ】特定人の顔画像について、見た目年齢の異なる顔画像を合成する方法の流れ図である。
【図２】顔画像の合成装置のブロック図である。
【図３】元画像、及びそれを規格化しマスク処理した画像である。
【図４】上位１７次元のパラメータの画像である。
【図５】規格化元画像に加えることにより、その見た目年齢を高く又は低くする成分画像と、それを構成するパラメータの画像である。
【図６】特定人（標準顔）の規格化元画像とその見た目年齢を変化させた規格化顔画像の例である。
【符号の説明】
【００４９】
１  顔画像の合成装置
２  画像取得手段
３  演算手段
４  ディスプレイ
５  プリンタ
【図１Ａ】
0004893968.tif 000008
【図１Ｂ】
0004893968.tif 000009
【図２】
0004893968.tif 000010
【図３】
0004893968.tif 000011
【図４】
0004893968.tif 000012
【図５】
0004893968.tif 000013
【図６】
0004893968.tif 000014