(57)【要約】【課題】被験者固有の特徴や希望を十分に生かしつつ被験者の印象を効率的に改善する。【解決手段】複数の顔画像について、画像認識により物理的に抽出される画像特徴量から主観的に認識される見た目の知覚特徴量を推定する推定式を取得すると共に、知覚特徴量から印象を推定する推定式を取得し、印象を推定する推定式において、被験者の所定の知覚特徴量を固定し、他の知覚特徴量のうち印象を改善する知覚特徴量又は印象を改善する画像特徴量を選択し、その選択した知覚特徴量又は画像特徴量に基づいて印象を改善するメイク又はヘアメイクをアドバイスする。【選択図】図１
2016081075.tif 000002
【特許請求の範囲】
【請求項１】
複数の顔画像について、画像認識により物理的に抽出される特徴量（以下、画像特徴量という）から主観的に認識される見た目の特徴量（以下、知覚特徴量という）を推定する推定式を取得すると共に、知覚特徴量から印象を推定する推定式を取得し、
印象を推定する推定式において、被験者の所定の知覚特徴量を固定し、
他の知覚特徴量のうち印象を改善する知覚特徴量又は印象を改善する画像特徴量を選択し、
その選択した知覚特徴量又は画像特徴量に基づいてメイク又はヘアメイクをアドバイスする印象の改善方法。
【請求項２】
前記推定式を、学習を用いた識別器によって取得する請求項１記載の印象改善方法。
【請求項３】
画像特徴量から推定する印象が、対人魅力である請求項１又は２記載の印象改善方法。
【請求項４】
複数の顔画像について、画像特徴量から知覚特徴量を推定する推定式を記憶すると共に、知覚特徴量から印象を推定する推定式を記憶する機能、
顔画像から画像特徴量を抽出する機能、
印象を推定する推定式において、被験者の所定の知覚特徴量を固定し、他の知覚特徴量又は画像特徴量から印象を算出する機能
を有する演算装置を備えた印象改善支援装置。
【請求項５】
被験者の所定の知覚特徴量を固定し、他の知覚特徴量又は画像特徴量を変化させることにより算出した印象の改善割合が大きい順に知覚特徴量又は画像特徴量を選択し、選択した知覚特徴量又は画像特徴量に基づいて印象を算出する機能
を有する演算装置を備えた請求項４記載の印象改善支援装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、メイク又はヘアメイクにより印象を改善する方法、及びその方法を支援する印象改善支援装置に関する。
【背景技術】
【０００２】
従来、被験者の画像の外見的特徴を分析して対象者の印象を分類し、所定の印象の外見となるようにメイクないしヘアメイクのアドバイスを行う手法が提案されている。しかしながら、従来の外見的特徴の分析に基づく一般的なメイクのアドバイス方法は、最初に美人顔や所定の印象の顔を選択し、次にその選択した顔の外見に対象者の外見的特徴を近づけるというものだった。
【０００３】
具体的には、画像認識により物理的に抽出される画像特徴量から機械学習を利用して画像の印象を判定する方法（特許文献１）、被験者の印象を分析し、それに基づいてメイク方法やヘアメイク方法をアドバイスする方法（特許文献２、特許文献３）や、髪質等の情報とヘアカラー施術後の髪色とをニューラルネットワークにより関連付け、所望の仕上がりの髪色にするためのヘアカラーをアドバイスする方法（特許文献４）、が提案されている。
【０００４】
一方、学習機能を有する識別器を用いて、顔の特徴と服装の特徴と声の特徴から魅力度を評価する方法が提案されている（非特許文献１）。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開2009-301121
【特許文献２】特開2001-346627
【特許文献３】特開2011-101823
【特許文献４】特開2005-143655
【非特許文献】
【０００６】
【非特許文献１】Sense beauty via face, dressing, and/or voice, MM '12 Proceedings of the 20th ACM international conference on Multimedia, Pages 239-248 (http://www.lv-nus.org/papers/2012/Beauty-MM12.pdf)
【発明の概要】
【発明が解決しようとする課題】
【０００７】
しかしながら、上述した従来のメイクないしヘアメイクの手法は、被験者固有の特徴や希望を十分に生かしたものではなかった。
【０００８】
また、従来のニューラルネットワークを代表とする学習機能を有する識別器により、顔画像の特徴などが被験者の魅力度に及ぼす影響が学習された場合、被験者の顔画像の特徴などからその被験者の魅力度を評価することはできるが、個々の被験者においてどのような魅力度が向上しうるかを推定すること、被験者が望む方向に魅力度を向上させること、さらに被験者が望む魅力度に基づいて、どのようなメイクあるいはヘアメイクをすればよいかを知ることはできない。
【０００９】
これに対し、本発明の課題は、被験者固有の特徴や希望を十分に生かしつつ被験者の印象を効率的に改善することにある。
【課題を解決するための手段】
【００１０】
本発明者は、顔画像の画像認識により物理的に抽出される特徴量（以下、画像特徴量という）からその顔画像の印象を推定して所定の印象を与えるメイク又はヘアメイクをアドバイスするにあたり、(i)顔画像について主観的に認識される見た目の特徴量（以下、知覚特徴量という）を画像特徴量から推定し、次いで知覚特徴量から印象を推定する推定式をたてられること、(ii)また、この推定式を用いて被験者が所定の印象を改善する場合には、被験者の知覚特徴量のうち、被験者に固有の知覚特徴量や、被験者が変化させないことを希望する知覚特徴量を固定し、他の知覚特徴量を変化させるか、又は画像特徴量を変化させることで所定の印象がもたらされるようにすると、被験者固有の特徴をいかしつつ被験者の希望に添った印象のメイクないしヘアメイクをできることを見出し、本発明を想到した。
【００１１】
即ち、本発明は、複数の顔画像について、画像特徴量から知覚特徴量を推定する推定式を取得すると共に、知覚特徴量から印象を推定する推定式を取得し、
印象を推定する推定式において、被験者の所定の知覚特徴量を固定し、
他の知覚特徴量のうち印象を改善する知覚特徴量又は印象を改善する画像特徴量を選択し、
その選択した知覚特徴量又は画像特徴量に基づいてメイク又はヘアメイクをアドバイスする印象の改善方法を提供する。
【００１２】
また、本発明は、複数の顔画像について、画像特徴量から知覚特徴量を推定する推定式を記憶すると共に、知覚特徴量から印象を推定する推定式を記憶する機能、
顔画像から画像特徴量を抽出する機能、
印象を推定する推定式において、被験者の所定の知覚特徴量を固定し、他の知覚特徴量又は画像特徴量から印象を算出する機能、
を有する演算装置を備えた印象改善装置を提供する。
【発明の効果】
【００１３】
本発明によれば、被験者固有の知覚的特徴や、知覚的特徴に関する被験者の希望を十分に生かしつつ、メイク又はヘアメイクにより被験者の印象を効率的に改善することができる。
【図面の簡単な説明】
【００１４】
【図１】図１は、実施例で使用する識別器の説明図である。
【図２】図２は、実施例において対人魅力の変化の推定に使用した顔画像である。
【図３】図３は、実施例において、画像から画像特徴量として抽出したカラーのヒストグラムとＬＢＰのヒストグラムである。
【図４】図４は、実施例において、画像特徴量をネットワークに入力して得られた知覚特徴量の推定値と対人魅力の推定値を表す図である。
【図５】図５は、実施例において、画像Ｐの知覚特徴量のうち、「肌の色味」と「肌の明るさ」を変動させたときの対人魅力度の推定値の変動を表す図である。
【図６】図６は、実施例において、画像Ｑの知覚特徴量のうち、「肌の色味」と「肌の明るさ」を変動させたときの対人魅力度の推定値の変動を表す図である。
【図７】図７は、実施例において、画像Ｐの知覚特徴量のうち、「肌の色味」と「唇の色の鮮やかさ」を変動させたときの対人魅力度の推定値の変動を表す図である。
【図８】図８は、実施例において、画像Ｑの知覚特徴量のうち、「肌の色味」と「唇の色の鮮やかさ」を変動させたときの対人魅力度の推定値の変動を表す図である。
【図９】図９は、画像Ｑの画像特徴量と画像Ｒの画像特徴量の差分ベクトルを表す図である。
【図１０】図１０は、画像Ｑ及び画像Ｒの唇の鮮やかさと対人魅力の推定値との関係図である。
【発明を実施するための形態】
【００１５】
以下、図面を参照しつつ、本発明を詳細に説明する。
＜顔画像の画像特徴量から印象を推定する推定式の取得＞
本発明においては、顔画像の画像特徴量又は知覚特徴量から印象を推定する推定式を取得しておき、その推定式を用いて任意の被験者の顔画像の画像特徴量又は知覚特徴量から印象を推定し、推定された印象と画像特徴量又は知覚特徴量との関係に基づき、印象に影響する画像特徴量又は知覚特徴量を変化させることで被験者の印象を効果的に改善するメイク又はヘアメイクをアドバイスする。この印象を推定する推定式には、複数人の顔画像について画像特徴量から知覚特徴量を推定する式を得ると共に、知覚特徴量から印象を推定する式を得ることにより得られる、画像特徴量から印象を推定する式を含む。
【００１６】
ここで、印象を推定する推定式を取得するために使用する顔画像としては、少なくとも顔領域を含む画像とし、好ましくは正面顔と斜め側面顔の双方を使用することが好ましい。
【００１７】
また、顔画像は照明光源が同一であり、顔画像の提供者が普段通りに行ったメイク又はヘアメイクで撮影され、極端な表情を付けない状態の画像とすることが好ましい。
さらに、顔画像は男女別に同年代（例えば、２０歳代、３０歳代、…６０歳代など）ごとに収集し、男女別に同年代ごとに推定式をたてることが推定式の推定精度を高める点で好ましい。
【００１８】
本発明において、画像特徴量は、画像認識により物理的に抽出される特徴量であり、例えば、顔領域の特徴量として、目及び唇領域と、目及び唇領域を除く肌部分のそれぞれについて、各画素におけるＲ、Ｇ、Ｂの強度や、ＬＢＰ(Local Binary Pattern)の輝度のヒストグラム、両目間の距離、目幅などの特徴点間の距離、目の高さ等をあげることができる。また、髪領域の画像特徴量として、例えば、画像から抽出した髪領域における、髪領域面積、縦横比、エッジ検出処理後に求めたエッジの方向性等をあげることができる。
【００１９】
また、知覚特徴量は、視覚によって認識される見た目の特徴量である。即ち、知覚特徴量は、知覚的特徴項目の評価を数値化したもので、錯視などの人の知覚特性による見え方を含む。
【００２０】
知覚的特徴項目としては、所定の印象の改善に大きく寄与すると予想されるものが好ましく、また、メイクやヘアメイクにより比較的容易に操作し得るものをあげることが好ましい。具体的には、例えば、表１の項目を挙げることができる。
【００２１】
知覚的特徴項目の評価は、美容技術を有する専門評価者による評定によることが好ましい。具体的には、表１のように、各特徴項目に対して所定の段階で評価を行うことにより、特徴量に数値を割り当てることができる。また、対人魅力のデータは、日常生活における社会的相互作用をみるため、顔画像の年齢と同年代を含む者による評定とすることが好ましい。
【００２２】
【表１】
2016081075.tif 000003
【００２３】
本発明においてメイク又はヘアメイクにより改善する印象としては、対人魅力、健康度、優しさ、知的な心証等をあげることができる。ここで、対人魅力は、周りの人がその人に対して抱く肯定的あるいは否定的な感情をいい、(i)様々な場面で社会的相互作用を促進させるという印象、(ii)周りの人がその人に対して、［近づきたい／避けたい］、あるいは［好きなれそう／嫌いになりそう］と感じる心証、(iii)周りの人がその人と［一緒に働きたい／一緒に働くのは嫌だ］と感じる心証等を上げることができる。
【００２４】
画像特徴量から印象を推定する推定式を取得する方法としては、例えば、図１に示すように、全部でＮ組の教師データ（即ち、パターン数Ｎの教師データ）から抽出したｎ番目の教師データを、画像特徴量Ｘn、知覚特徴量ｓn、印象ｔnと表す場合に、顔画像から抽出した画像特徴量ｘiを入力層とし、該顔画像を評価して得られる知覚特徴量ｓjを中間層とし、印象ｔを出力層とする３層の識別器を想定する。識別器を用い、複数の顔画像から抽出した画像特徴量ｘi（入力層）から、知覚特徴量ｓj（中間層）を推定する式と、知覚特徴量ｓj（中間層）から印象ｔ（出力層）を推定する式を、逐次的勾配降下法による誤差関数の最小化に基づく学習を使用することにより、画像特徴量ｘi（入力層）から印象ｔ（出力層）を推定する式を取得する。
【００２５】
より具体的には、サンプル数Ｎ（パターン数Ｎ）の教師データ集合の、各教師データに対応する誤差の重み付き線形和である誤差関数Ｅ(Ａ,Ｂ)は次式(1)で表される。この３層のネットワークのパラメータは、Ｅ(Ａ,Ｂ)の勾配を最小化する方向に変数Ａ,Ｂを逐次更新して評価を繰り返すことによって最適化される。
【００２６】
【数１】
2016081075.tif 000004
【００２７】
ここで、Ａ＝{ａij}は、画像特徴量ｘi（入力層）と知覚特徴量ｓj（中間層）の間に設けた重み行列であり、Ｂ＝{ｂjk}は、知覚特徴量ｓj（中間層）と印象ｔ（出力層）の間に設けた重み行列である。
【００２８】
En(Ａ,Ｂ)は、パターンｎの教師データにおける誤差関数で、次の式で定義される。
【００２９】
【数２】
2016081075.tif 000005
【００３０】
ただし、Ｘn，ｓn，ｔn はそれぞれ教師データの画像特徴量ベクトル、知覚特徴量ベクトル、印象の評定値であり、Ｅnの各項は各ベクトルの各要素ｘi，ｓj，ｔkに対してロジスティックシグモイド関数
【００３１】
【数３】
2016081075.tif 000006
によって一定の区間に収まるように写像されている。
例えば、Ｅnの第１項は、ｓn＝{φ(ｓj)}、ＡTＸn＝{φ(Σａijｘi)}等である。
【００３２】
また、λ1，λ2はパラメータである。
【００３３】
入力パターンｎに対応する誤差関数Ｅnについての評価の手順は以下のとおりである。１．誤差関数の第１項を最小化するＡTを求める。
【００３４】
【数４】
2016081075.tif 000007
【００３５】
２．１．で求めたＡTの値を用いて、誤差関数の第２項と第３項の和を最小化するＢTを求める。
【００３６】
【数５】
2016081075.tif 000008
【００３７】
３．２．で求めたＢTの値と次の漸化式を用いて、ＡTを更新する。
【００３８】
【数６】
2016081075.tif 000009
【００３９】
４．誤差関数Ｅnの値がごく小さい値に収束するまで２．と３．を繰り返す。
【００４０】
こうして、図１に示したように、画像特徴量ｘi（入力層）から知覚特徴量ｓj（中間層）を推定する式（７）を得、さらに知覚特徴量ｓi（中間層）から印象の評定値ｔk（出力層）を推定する式（８）を得る。
【００４１】
【数７】
2016081075.tif 000010
【００４２】
【数８】
2016081075.tif 000011
式中、φ(1)、φ(2)は、前述のロジスティックシグモノイド関数である。
【００４３】
＜任意の被験者の印象の推定＞
本発明においては、複数人の顔画像の画像特徴量から所定の印象を推定する推定式を取得した後、その推定式に基づいての被験者が呈する印象、例えば、対人魅力度を推定する。また、被験者の顔画像が所定の印象を呈するようにするための画像特徴量、例えば、対人魅力度を向上させるために有効な画像特徴量を得ることができる。
【００４４】
この場合、まず、複数人の顔画像から画像特徴量を抽出したのと同様に、被験者の顔画像から画像特徴量を抽出する。
【００４５】
次に、画像特徴量から印象を推定する推定式を取得するときに得た前述の式（７）を用いて被験者の知覚特徴量を推定する。この知覚特徴量には、顔の輪郭、骨格、法令線などの深いシワのように、被験者固有の特徴であって、メイクやヘアメイクで容易に変化させることができない知覚特徴量と、被験者がメイク又はヘアメイク後にも変化させることなく維持したいと希望する知覚特徴量と、被験者がメイク又はヘアメイクによって変化してもよいと思う知覚特徴量が存在する。そこで、被験者の顔画像の画像特徴量から推定される知覚特徴量のうち、メイクやヘアメイクでは容易に変化しない知覚特徴量や、被験者が変化を希望しない知覚特徴量以外の他の知覚特徴量を変化させ、その場合の被験者の印象の程度を前述の式（８）により推定する。そして、印象の改善の変動幅が大きい知覚特徴量を選定し、印象の改善の変動幅を最大にする知覚特徴量の組み合わせを求め、その知覚特徴量の組み合わせにより得られる印象の最大の改善度を前述の式（８）に基づいて算出する。また、印象の改善の変動幅を最大にする知覚特徴量の組み合わせに対応する画像特徴量の組み合わせを式（７）に基づいて算出する。あるいは、画像特徴量を変化させて印象を求め、印象の改善の変動幅を最大にする画像特徴量の組み合わせを求める。ここで、被験者が維持したい知覚特徴量には、たとえば、被験者自身がチャームポイントであると考える項目や、過去に他人から魅力的だと言われた項目が挙げられる。
【００４６】
こうして、被験者固有の知覚特徴量を踏まえ、被験者が変化を希望しない知覚特徴量は変化させずに、印象を最大限に改善するこのとのできる一つの知覚特徴量若しくは複数の知覚特徴量の組み合わせを得ることができる。また、印象を最大限に改善することのできる一つの画像特徴量若しくは複数の画像特徴量の組み合わせを得ることができる。
【００４７】
美容アドバイザーは、この知覚特徴量又は画像特徴量の変化に対応したメイクまたはヘアメイクを被験者にアドバイスすればよい。
【００４８】
なお、被験者の希望等に応じて、特定の知覚特徴量のみを変化させ、他の知覚特徴量を固定することによって、知覚特徴量が印象の改善又は改悪にどのように作用するかを見ても良い。
【００４９】
本発明の印象改善支援装置は、顔画像の画像特徴量から印象を推定する前述の式（７）及び式（８）を記憶し、顔画像から自動で画像特徴量を抽出することのできる機能を有する演算装置を備えたものである。これにより、任意の被験者の顔画像から画像特徴量を抽出し、その画像特徴量から知覚特徴量を算出し、さらに知覚特徴量から印象の改善又は改悪の程度を算出することが可能となる。この場合、印象の改善又は改悪の算出に使用する知覚特徴量は、印象改善支援装置の操作者が適宜選択することができる。したがって、印象改善支援装置の操作者は、メイク又はヘアメイクによっては変化しにくい知覚特徴量や、被験者が変化を希望しない知覚特徴量については固定とし、他の知覚特徴量を変化させることで、印象の改善の変化度合いを調べ、印象の改善への寄与が大きい知覚特徴量や画像特徴量を選択することができる。
また、本発明の印象改善支援装置としては、印象の改善への寄与が大きい順に知覚特徴量や画像特徴量が自動的に選択されるようにしてもよい。
【００５０】
以上、本発明で使用する推定式として、識別器において教師データの学習により導出したものを使用する態様について説明したが、画像特徴量ｘi（入力層）から知覚特徴量ｓj（中間層）を推定する段階と、知覚特徴量ｓj（中間層）から印象ｔ（出力層）を推定する段階の２段階で重回帰分析する方法により画像特徴量ｘiから印象ｔを推定する式を導出してもよい。
【００５１】
また、得られた知覚特徴量が印象の改善又は改悪の程度を、被験者に提示する手段として、画像処理装置を用いることができる。例えば、被験者の現在の画像に、得られた特徴量の変化の度合いを重ねていくことにより、被験者自身で印象変化の様子を知ることができる。美容アドバイザーは、提示された画像の中から被験者自身が好ましいと選択した画像に基づき、メイクやヘアメイクの方法を教授すればよい。
【実施例】
【００５２】
（１）推定式の取得
図１に示したように、画像特徴量ｘi（入力層）と知覚特徴量ｓj（中間層）と印象ｔ（出力層）の３層構成の学習機能を有する識別器において次の教師データを使用し、画像特徴量ｘi（入力層）から知覚特徴量ｓj（中間層）を推定する式（７）を得、さらに知覚特徴量ｓj（中間層）から印象ｔ（出力層）を推定する推定式（８）を得た。
【００５３】
この場合、教師データに使用した画像は、日本人女性１２０名（２０歳代から６０歳代までの各世代２４名ずつ）の化粧顔で無表情のものとし、評価する印象を対人魅力とした。そして、対人魅力と知的特徴量を次のように評価した。
【００５４】
(i)対人魅力の評価
日本人女性５０名（２０歳代から６０歳代までの各世代１０名ずつ）を評価者とした。
【００５５】
評価者には、液晶ディスプレイ上に、教師データの画像として同一人物の正面顔と左ななめ側面顔の画像が同時に提示されるようにし、評価者は次の各評価項目について、回答をパソコンに入力するようにした。
【００５６】
即ち、「近づきたい−避けたい」、「一緒に働くのは楽しそう−いやだ」、「好きになれそう−嫌いになりそう」という３つの評価項目に対し、どちらとも言えないを中点とした７段階で評価が行われるようにした。
【００５７】
(ii)知覚特徴量の評価
美容技術者６名を評価者とし、対人魅力の評価と同じ提示条件で評価者に教師データとする画像を提示した。
この場合、評価項目は次のとおりである。
＜５段階評価の項目＞
「髪のボリューム」
「肌の明るさ」
「肌の色味」
「唇の色の濃さ」
「唇の鮮やかさ」
「髪を除いた顔の縦横比」
「髪を含めた全体的な顔の縦横比」
＜４段階評価の項目＞
「頬の盛り上がり」
「二重顎の程度」
「顔の下部のたるみ」
「顎下から首にかけてのたるみ」
「広頸筋の隆起の程度」
「髪全体のツヤ感」
「髪全体のパサつき感」
「トップの髪のボリューム」
【００５８】
(iii)画像特徴量の抽出
全対象画像（Ｎ＝１２０）について、目・口唇を除くまぶたから下の肌部分、口唇部の２つの領域について、それぞれ以下の特徴量を算出した。
色：Ｒ，Ｇ，Ｂ各チャンネルのヒストグラム
テクスチャ：ＬＢＰ（Local Binary Pattern）の輝度ヒストグラム
【００５９】
（２）推定式を使用した知覚特徴量と対人魅力度の推定
教師データとして使用していない人物Ｐの顔画像（画像Ｐ）、及びおよび人物Ｑの顔画像（画像Ｑ）について、以下の手順で知覚特徴量と対人魅力度を推定した。この画像Ｐ及び画像Ｑを図２に示す。
また、知覚特徴量の変動による対人魅力度の変動を算出した。さらに、人物Ｐおよび人物Ｑを顧客と想定し、対人魅力度の変動算出値を利用したアドバイスの方法を検討した。
【００６０】
(2-1)知覚特徴量と対人魅力度の推定
画像Ｐ及び画像Ｑの画像特徴量として、Ｒ，Ｇ，Ｂ各チャンネルのヒストグラムとＬＢＰの輝度ヒストグラムを抽出した。画像Ｑから抽出した画像特徴量の一部を図３に示す。
また、画像Ｐと画像Ｑの画像特徴量をネットワークに入力して得られた、知覚特徴量の推定値Ｚ、および対人魅力の推定値Ｙを図４に示す。
【００６１】
(2-2) 知覚特徴量の変動による対人魅力度の変動
店頭でファンデーションと口紅を用いたアドバイスを求める顧客の希望を想定して、「肌の色の明るさ」、「肌の色味」、「唇の色の鮮やかさ」の知覚特徴量から選択された１つないし２つの知覚特徴量を変動させ、それ以外の知覚特徴量を固定したときの、各知覚特徴量ベクトルＹに対する対人魅力度の推定値Ｚを、前述の式（８）により算出した。
【００６２】
【数９】
2016081075.tif 000012
【００６３】
図５〜図８に、各知覚特徴量を変化させたとき（横軸）の対人魅力推定値（縦軸）を示す。
横軸、縦軸の値は教師データ取得時のスコアに換算されている。
各知覚特徴量の範囲は１〜５であり、これを超える操作は非常に極端なものになるため、この範囲における操作を変動可能範囲とした。
変動の１段階は知覚特徴量スコアに換算して０．５とした。
各グラフの中央付近に１つずつある■マーカー（グレー色）で示された点は、入力画像から推定された変動前の知覚特徴量および対人魅力値（変動の原点）である。
【００６４】
画像Ｐから推定された知覚特徴量のうち、「肌の色味」と「肌の明るさ」を変動させたときの対人魅力度の推定値の変動を図５に示す。
画像Ｑから推定された知覚特徴量のうち、「肌の色味」と「肌の明るさ」を変動させたときの対人魅力度の推定値の変動を図６に示す。
画像Ｐから推定された知覚特徴量のうち、「肌の色味」と「唇の色の鮮やかさ」を変動させたときの対人魅力度の推定値の変動を図７に示す。
画像Ｑから推定された知覚特徴量のうち、「肌の色味」と「唇の色の鮮やかさ」を変動させたときの対人魅力度の推定値の変動を図８に示す。
【００６５】
(2-3)対人魅力度の変動算出値を利用したアドバイス
(2-1)で得た各画像の知覚特徴量および対人魅力度の推定値、および(2-2)で得た対人魅力度の推定値の変動に基づき、次のアドバイスを行うことができる。
まず、同一顧客画像において、各知覚特徴量を変動させたときの対人魅力の変動幅を比較することで、いずれの特徴量の変動が対人魅力の向上に効果的かを知ることができる。たとえば、図５のグラフにおいて、変動の原点から知覚特徴量が＋１段階変動した時の対人魅力推定値の変化量は、肌の色味の変動に対しては＋１．５であり、一方、肌の明るさに対しては＋０．５であることから、肌の色味を赤みに変化させる提案のほうが効果が大きいと予想される。
【００６６】
また、各知覚特徴量を変動させて対人魅力を同程度向上させる場合の比較を行うことができる。例えば、図７において、顧客Ｐの変動の原点から唇の色の鮮やかさが＋１段階変動した時の対人魅力推定値の変化量は＋１．４であることから、唇の色の鮮やかさの調整でも肌の色味の＋１段階の変動と同等の効果が得られると予想される。
【００６７】
次に、異なる顧客の画像間では、同じ種類の知覚特徴量の対人魅力の変動効果が互いに異なることがわかる。たとえば、図５および図６はそれぞれ顧客Ｐと顧客Ｑの「肌の色味」の変動の結果を示している。両者を比較すると、変動の原点から知覚特徴量が＋１段階変動した時の対人魅力推定値の変化量は、顧客Ｐでは＋１．５である一方、顧客Ｑにおいては＋１．０である。すなわち、肌の色味を赤みに変化させる提案による推定魅力度の変動幅は顧客Ｐのほうが大きいと予想される。
【００６８】
また、２つの知覚特徴量を同時に操作する場合の効果を知ることができる。例えば、図７は顧客Ｐの「肌の色味」と「唇の色の鮮やかさ」が同時に変動した時の結果を示している。前記のように「肌の色味」は単独で＋１段階変動させることで対人魅力推定値が＋１．５変化し、「唇の色の鮮やかさ」は単独で＋１段階変動させることで対人魅力推定値が＋１．４変化する。これら２つの操作を同時に行うと、変動の原点からの対人魅力推定値の変化は＋２．４となる。他方、顧客Ｑに関して同様に図８を見ると、「肌の色味」を単独で＋１段階変動させたときの対人魅力の変化は＋１．０であるのに対して「唇の色の鮮やかさ」＋１段階の変動による変化も＋１．０であり、これら２つを同時に＋１段階ずつ変動させたときの対人魅力の変動は＋１．４となる。
【００６９】
このように、２つの特徴量が加算的に魅力度を向上させる効果を利用すると、ある特徴量変化による負の効果を、別の特徴量変化で補うアドバイスを行うことができる。たとえば、図８は顧客Ｑの肌の色と唇の色の特徴量が同時に変動した時の結果を示している。ここで、顧客Ｑが肌の色を黄色みに変化させたいという要望を持っていた場合、図８における変動の原点から「肌の色味」が−１段階変動した時の対人魅力推定値の変化量は−１．６であることが予想され、対人魅力値が低くなってしまう。ところが、これに「唇の色の鮮やかさ」の変動を＋２段階加えることによって、変動の原点からの対人魅力推定値の変化は＋０．９となるので、「唇の色の鮮やかさ」が他の特徴量による負の効果に対する“補償効果”があることが予想される。そこで、顧客には、このような補償効果を利用したアドバイスを行う。
【００７０】
また、顧客Ｐについては、「肌の色味」か「唇の色の鮮やかさ」のいずれかを操作するだけでも、推定される対人魅力が増すため、一定の満足感が得られることが予想される。一方、顧客Ｑに関しては、変動前の推定魅力度が顧客Ｑに比較して高いこともあり、ひとつの知覚特徴量の変動のみでは推定魅力度の変動幅が比較的小さく、十分な満足感が得られない可能性がある。そのため、操作前の推定魅力度が高い場合や、知覚特徴量を最適値まで変動させ得る幅が小さい場合には、複数の知覚的特徴項目の変動をアドバイスすることで、より満足感が得られやすいと予想される。
【００７１】
以上の実施例により、個人差、つまり、変動させる知覚的特徴やそれ以外の知覚的特徴における推定値に応じて、対人魅力の推定値に対する各知覚的特徴の寄与や、知覚的特徴間の組み合わせによる対人魅力への影響が異なることがわかり、本発明を用いることで、個人の特徴に応じた特徴操作のアドバイスが可能となることがわかる。
【００７２】
即ち、当該顧客において対人魅力の向上に最も効果的に作用する知覚的特徴項目を選択することで対人魅力を向上させるアドバイスが可能になると共に、当該顧客が望む知覚的特徴量の変化が対人魅力を向上させるものであっても、低下させるものであっても、それを前提として、トータルとして対人魅力が向上するように知覚的特徴項目を選択し、その操作をアドバイスすることができる。
【００７３】
（３）画像特徴量に基づく対人魅力の推定
教師データとして使用していない前述の画像Ｑ、及びおよび画像Ｑの唇領域に変動を加えた画像Ｒについて、以下の手順で知覚特徴量と対人魅力度を推定した。この画像Ｑ及び画像Ｒを図２に示す。
画像Ｑ及び画像Ｒの画像特徴量を（１）(iii)と同様にして抽出し、画像Ｑから抽出した画像特徴量と画像Ｒから抽出した画像特徴量の差分ベクトルを求めた。これを図９に示す。また、画像Ｑと画像Ｒから抽出した画像特徴量を、（１）で取得した式（７）で使用することにより知覚特徴量の推定値を得、さらに式（８）から対人魅力の推定値を得た。この結果を図１０に示す。
同一人の画像において、唇の鮮やかさに関する画像特徴量に差をもたせると（図９）、知覚特徴量及び対人魅力度の推定値が異なることがわかる（図１０）。
【図１】
2016081075.tif 000013
【図３】
2016081075.tif 000014
【図４】
2016081075.tif 000015
【図５】
2016081075.tif 000016
【図６】
2016081075.tif 000017
【図７】
2016081075.tif 000018
【図８】
2016081075.tif 000019
【図９】
2016081075.tif 000020
【図１０】
2016081075.tif 000021
【図２】
2016081075.tif 000022