(57)【要約】      （修正有）【課題】利用者の顔を構成する各パーツが理想的な配置に近付くようなメイク（化粧）を提案する情報処理装置及び情報処理方法並びにプログラムを提供する。【解決手段】メイクアップレシピ生成処理であって、利用者の顔画像を撮像し、顔画像に基づいて、利用者の顔画像におけるパーツを認識して、各パーツが最適な配置と大きさになるベストバランス顔画像を生成し、利用者の顔画像がベストバランス顔画像に近付くような化粧を設定し、化粧の手順を示すレシピ画像を生成して表示する。【選択図】図１３
2018077766.tif 000002
【特許請求の範囲】
【請求項１】
利用者の顔画像を撮像する撮像部と、
前記利用者の顔画像を、前記利用者の顔画像を構成するパーツが最適な大きさで、最適な位置に配置された最適顔画像に近付けて見えるようにする、前記利用者の顔に施すべき化粧を設定する化粧設定部とを含む
情報処理装置。
【請求項２】
前記最適顔画像は、前記利用者の顔画像を構成する前記パーツが、それぞれ所定の大きさで、かつ、所定の位置に配置された顔画像である
請求項１に記載の情報処理装置。
【請求項３】
前記最適顔画像は、複数の人物の顔画像における前記パーツが、平均的な大きさで、かつ、平均的な位置に配置された顔画像である
請求項２に記載の情報処理装置。
【請求項４】
前記最適顔画像は、前記パーツが、所定の理論に基づいて設定される、大きさおよび位置に配置される顔画像である
請求項２に記載の情報処理装置。
【請求項５】
前記最適顔画像は、前記パーツが、所定の人物の顔画像に基づいて設定される、大きさ、および位置に配置される顔画像である
請求項２に記載の情報処理装置。
【請求項６】
前記利用者の顔画像の前記パーツを認識するための特徴点を検出する特徴量検出部と、
前記特徴量に基づいて、前記パーツを認識し、前記最適顔画像に対する前記利用者の顔画像のパーツ毎のずれをスコア化することにより評価する評価部とをさらに含み、
前記化粧設定部は、前記評価部の評価結果に基づいて、前記利用者の顔画像を、前記利用者の顔画像を構成するパーツが最適な大きさで、最適な位置に配置された最適顔画像に近付けて見えるようにする、前記利用者の顔に施すべき化粧を設定する
請求項１に記載の情報処理装置。
【請求項７】
前記化粧設定部は、前記利用者の顔画像に対して、様々に化粧を変化させて施した顔画像を生成し、
前記評価部が、前記様々に化粧を変化させて施した顔画像と、前記最適顔画像との、それぞれの前記パーツのずれをスコア化した評価結果の、前記スコアが最小となる化粧を、前記利用者の顔に施すべき化粧として設定する
請求項６に記載の情報処理装置。
【請求項８】
前記利用者の顔画像の肌色を分析する分析部をさらに含み、
前記化粧設定部は、前記分析部により分析された色分析結果と、前記評価結果とに基づいて、前記利用者の顔画像を、前記利用者の顔画像を構成するパーツが最適な大きさで、最適な位置に配置された最適顔画像に近付けて見えるようにする、前記利用者の顔に施すべき化粧を設定する
請求項７に記載の情報処理装置。
【請求項９】
設定した前記化粧の手順を示す画像をパーツ毎のレシピ画像として生成するレシピ画像生成部をさらに含む
請求項１に記載の情報処理装置。
【請求項１０】
前記レシピ画像生成部は、前記化粧設定部により設定された前記レシピ画像を、前記パーツ毎に順次表示する
請求項９に記載の情報処理装置。
【請求項１１】
前記利用者の顔画像、および、前記利用者の顔画像に基づいて設定された化粧に対応する前記レシピ画像を、前記利用者を識別する情報に対応付けてデータベースに登録する登録部をさらに含む
請求項９に記載の情報処理装置。
【請求項１２】
前記利用者の顔画像、および、前記利用者の顔画像に基づいて設定された化粧に対応する前記レシピ画像を、前記利用者を識別する情報に対応付けて、外部のサーバ装置に送信し、データベースとして登録させる通信部をさらに含む
請求項９に記載の情報処理装置。
【請求項１３】
利用者の顔画像を取得し、
前記利用者の顔画像を、前記利用者の顔画像を構成するパーツが最適な大きさで、最適な位置に配置された最適顔画像に近付けて見えるようにする、前記利用者の顔に施すべき化粧を設定するステップを含む
情報処理方法。
【請求項１４】
利用者の顔画像を撮像させる撮像部と、
前記利用者の顔画像を、前記利用者の顔画像を構成するパーツが最適な大きさで、最適な位置に配置された最適顔画像に近付けて見えるようにする、前記利用者の顔に施すべき化粧を設定する化粧設定部と
してコンピュータを機能させるプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本開示は、情報処理装置、および情報処理方法、並びにプログラムに関し、特に、理想的な顔の各パーツの配置に近づけるようなメイク（化粧）を支援できるようにした情報処理装置、および情報処理方法、並びにプログラムに関する。
【背景技術】
【０００２】
メイク（化粧）を支援するための技術として、顔を撮像した顔画像に基づいて化粧（メイク）を施した状態の画像を生成し、撮像される顔画像の動きに合わせて、化粧を施した画像をトラッキングして表示させ、利用者がその顔画像を見ながら化粧をすることで、化粧を支援する技術が提案されている（特許文献１参照）。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０１２−１８１６８８号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、上述した特許文献１に係る技術においては、撮像された顔画像に対して単に化粧が施されるのみであり、利用者の顔を構成する各パーツが理想的な配置に近付くようなメイク（化粧）を提案するものではなかった。
【０００５】
本開示は、このような状況に鑑みてなされたものであり、特に、利用者の顔を構成する各パーツが理想的な配置に近付くようなメイク（化粧）を提案できるようにするものである。
【課題を解決するための手段】
【０００６】
本開示の一側面の情報処理装置は、利用者の顔画像を撮像する撮像部と、前記利用者の顔画像を、前記利用者の顔画像を構成するパーツが最適な大きさで、最適な位置に配置された最適顔画像に近付けて見えるようにする、前記利用者の顔に施すべき化粧を設定する化粧設定部とを含む情報処理装置である。
【０００７】
前記最適顔画像は、前記利用者の顔画像を構成する前記パーツが、それぞれ所定の大きさで、かつ、所定の位置に配置された顔画像とすることができる。
【０００８】
前記最適顔画像は、複数の人物の顔画像における前記パーツが、平均的な大きさで、かつ、平均的な位置に配置された顔画像とすることができる。
【０００９】
前記最適顔画像は、前記パーツが、所定の理論に基づいて設定される、大きさおよび位置に配置される顔画像とすることができる。
【００１０】
前記最適顔画像は、前記パーツが、所定の人物の顔画像に基づいて設定される、大きさ、および位置に配置される顔画像とすることができる。
【００１１】
前記利用者の顔画像の前記パーツを認識するための特徴点を検出する特徴量検出部と、前記特徴量に基づいて、前記パーツを認識し、前記最適顔画像に対する前記利用者の顔画像のパーツ毎のずれをスコア化することにより評価する評価部とをさらに含ませるようにすることができ、前記化粧設定部には、前記評価部の評価結果に基づいて、前記利用者の顔画像を、前記利用者の顔画像を構成するパーツが最適な大きさで、最適な位置に配置された最適顔画像に近付けて見えるようにする、前記利用者の顔に施すべき化粧を設定させるようにすることができる。
【００１２】
前記化粧設定部には、前記利用者の顔画像に対して、様々に化粧を変化させて施した顔画像を生成させ、前記評価部が、前記様々に化粧を変化させて施した顔画像と、前記最適顔画像との、それぞれの前記パーツのずれをスコア化した評価結果の、前記スコアが最小となる化粧を、前記利用者の顔に施すべき化粧として設定させるようにすることができる。
【００１３】
前記利用者の顔画像の肌色を分析する分析部をさらに含ませるようにすることができ、前記化粧設定部には、前記分析部により分析された色分析結果と、前記評価結果とに基づいて、前記利用者の顔画像を、前記利用者の顔画像を構成するパーツが最適な大きさで、最適な位置に配置された最適顔画像に近付けて見えるようにする、前記利用者の顔に施すべき化粧を設定させるようにすることができる。
【００１４】
設定した前記化粧の手順を示す画像をパーツ毎のレシピ画像として生成するレシピ画像生成部をさらに含ませるようにすることができる。
【００１５】
前記レシピ画像生成部は、前記化粧設定部により設定された前記レシピ画像を、前記パーツ毎に順次表示させるようにすることができる。
【００１６】
前記利用者の顔画像、および、前記利用者の顔画像に基づいて設定された化粧に対応する前記レシピ画像を、前記利用者を識別する情報に対応付けてデータベースに登録する登録部をさらに含ませるようにすることができる。
【００１７】
前記利用者の顔画像、および、前記利用者の顔画像に基づいて設定された化粧に対応する前記レシピ画像を、前記利用者を識別する情報に対応付けて、外部のサーバ装置に送信し、データベースとして登録させる通信部をさらに含ませるようにすることができる。
【００１８】
本開示の一側面の情報処理方法は、利用者の顔画像を取得し、前記利用者の顔画像を、前記利用者の顔画像を構成するパーツが最適な大きさで、最適な位置に配置された最適顔画像に近付けて見えるようにする、前記利用者の顔に施すべき化粧を設定するステップを含む情報処理方法である。
【００１９】
本開示の一側面のプログラムは、利用者の顔画像を撮像させる撮像部と、前記利用者の顔画像を、前記利用者の顔画像を構成するパーツが最適な大きさで、最適な位置に配置された最適顔画像に近付けて見えるようにする、前記利用者の顔に施すべき化粧を設定する化粧設定部としてコンピュータを機能させるプログラムである。
【００２０】
本開示の一側面においては、利用者の顔画像が撮像され、前記利用者の顔画像が、前記利用者の顔画像を構成するパーツが最適な大きさで、最適な位置に配置された最適顔画像に近付けて見えるようにする、前記利用者の顔に施すべき化粧が設定される。
【発明の効果】
【００２１】
本開示の一側面によれば、特に、利用者の顔を構成する各パーツが理想的な配置に近付くようなメイク（化粧）を提案することが可能となる。
【図面の簡単な説明】
【００２２】
【図１】本開示の情報処理システムの構成例を示すブロック図である。
【図２】端末内データベースの構成例を示す図である。
【図３】サーバ内データベースの構成例を示す図である。
【図４】ベストバランス顔画像の概念を説明する図である。
【図５】ベストバランス顔画像の概念を説明する図である。
【図６】ベストバランス顔画像の概念を説明する図である。
【図７】ベストバランス顔画像の概念を説明する図である。
【図８】ベストバランス顔画像の概念を説明する図である。
【図９】ベストバランス顔画像の概念を説明する図である。
【図１０】ベストバランス顔画像の概念を説明する図である。
【図１１】ベストバランス顔画像の概念を説明する図である。
【図１２】利用者の顔画像をベストバランス顔画像に近付けるメイクの概念を説明する図である。
【図１３】メイクアップレシピ生成処理を説明するフローチャートである。
【図１４】メイクアップレシピ生成処理における表示例を説明する図である。
【図１５】メイクアップレシピ生成処理における表示例を説明する図である。
【図１６】バランス評価処理を説明するフローチャートである。
【図１７】バランス評価処理における表示例を説明する図である。
【図１８】バランス評価処理における表示例を説明する図である。
【図１９】バランス評価処理における表示例を説明する図である。
【図２０】バランス評価処理における表示例を説明する図である。
【図２１】バランス評価処理における表示例を説明する図である。
【図２２】バランス評価処理における表示例を説明する図である。
【図２３】バランス評価処理における表示例を説明する図である。
【図２４】バランス評価処理における表示例を説明する図である。
【図２５】バランス評価処理における表示例を説明する図である。
【図２６】バランス評価処理における表示例を説明する図である。
【図２７】バランス評価処理における表示例を説明する図である。
【図２８】レシピ画像表示処理を説明するフローチャートである。
【図２９】レシピ画像表示処理における表示例を説明する図である。
【図３０】レシピ画像表示処理における表示例を説明する図である。
【図３１】レシピ画像表示処理における表示例を説明する図である。
【図３２】レシピ画像表示処理における表示例を説明する図である。
【図３３】レシピ画像表示処理における表示例を説明する図である。
【図３４】レシピ画像表示処理における表示例を説明する図である。
【図３５】レシピ画像表示処理における表示例を説明する図である。
【図３６】レシピ画像表示処理における表示例を説明する図である。
【図３７】レシピ画像表示処理における表示例を説明する図である。
【図３８】レシピ画像表示処理における表示例を説明する図である。
【図３９】レシピ画像表示処理における表示例を説明する図である。
【図４０】レシピ画像表示処理における表示例を説明する図である。
【図４１】レシピ画像表示処理における表示例を説明する図である。
【図４２】汎用のパーソナルコンピュータの構成例を説明する図である。
【発明を実施するための形態】
【００２３】
以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
【００２４】
＜情報処理システムの構成例＞
本開示の技術を適用した、サーバ装置と端末装置とからなる情報処理システムにおいては、例えば、タブレット端末からなる端末装置は、内蔵されたカメラからなる撮像部により利用者の顔画像を撮像し、撮像した顔画像に基づいて、顔画像を構成する各パーツを認識し、認識した各パーツと顔画像の輪郭等から最適なパーツの配置となるベストバランス顔画像を求める。そして、端末装置は、撮像された利用者の顔画像とベストバランス顔画像との差異を求めてスコア化し、スコアに基づいて、ベストバランス顔画像に近付けるようなメイク（化粧）を設定し、料理の手順を示すレシピのようにメイク（化粧）の手順を示すレシピ画像を生成し表示することで、利用者のメイク（化粧）を支援するものである。また、サーバ装置は、端末装置の利用者の顔画像を含めた情報、および、設定されたメイクに対応するレシピ画像を、利用者を識別する情報に対応付けてデータベースとして登録させる。
【００２５】
図１は、本開示の技術を適用した、利用者のメイク（化粧）を支援するためのサーバ装置と端末装置とからなる情報処理システムの構成例を示している。
【００２６】
図１の情報処理システム１１は、サーバ装置３１、端末装置３２−１乃至３２−ｎ、およびネットワーク３３から構成される。尚、以降において、端末装置３２−１乃至３２−ｎについては、特に区別する必要がない場合、単に、端末装置３２と称するものとし、その他の構成についても同様に称するものとする。
【００２７】
端末装置３２は、利用者により所持される、例えば、端末装置３２−ｎで示されるようなタブレット端末などであり、利用者の顔画像を撮像し、撮像した顔画像の各パーツを認識すると共に、撮像した利用者の顔画像の各パーツについて、それぞれの配置が最適となるベストバランス顔画像を設定する。そして、端末装置３２は、ベストバランス顔画像と実際の利用者の顔画像との差異をスコア化することで、利用者の顔画像を評価して、評価結果に基づいて、ベストバランス顔画像に近づけるようなメイク（化粧）を設定し、そのメイクの手順を示す画像からなるレシピ画像を提示する。
【００２８】
また、端末装置３２は、撮像した現実の利用者の顔画像、および、利用者の顔画像に対するメイク（化粧）を支援するレシピ画像を、インターネットに代表されるネットワーク３３を介してサーバ装置３１に送信する。
【００２９】
サーバ装置３１は、ネットワーク３３を介して送信されてくる各利用者の顔画像、およびレシピ画像を、利用者を識別する情報に対応付けてデータベースに格納する。
【００３０】
より詳細には、サーバ装置３１は、制御部５１、通信部５２、および記憶部５３から構成される。制御部５１は、例えば、CPU（Central Processing Unit）、RAM（Random Access Memory）、およびROM（Read Only Memory）を備えた演算処理装置であり、CPUが、ROMや、HDD（Hard Disc Drive）またはSSD（Solid State Drive）などからなる記憶部５３に記憶されたプログラムやデータをRAMに展開し、所定の処理を実行する。
【００３１】
また、制御部５１は、イーサネットボードなどからなる通信部５２を制御して、インターネットに代表されるネットワーク３３を介して、端末装置３２より送信されてくる利用者の顔画像、およびレシピ画像の情報を受信する。そして、制御部５１は、データベース管理部６１を制御して、受信した利用者の顔画像、およびレシピ画像の情報を、利用者を識別する利用者情報に対応付けて、記憶部５３に記憶されているサーバ内データベース１１１に格納させる。
【００３２】
端末装置３２は、撮像部８１、表示部８２、制御部８３、記憶部８４、通信部８５、および操作部８６から構成される。
【００３３】
撮像部８１は、端末装置３２−ｎで示されるようなタブレット端末からなる端末装置３２の上部に設けられた、CCD（Charge Coupled Device）やCMOS（Complementary Metal Oxide Semiconductor）などからなるイメージセンサであり、撮像面に対向する方向の画像を撮像する。一般に、タブレット状の端末装置３２は、利用者に対向する方向と、その反対方向をそれぞれ撮像する機能を備えたカメラ等が設けられているが、ここでいう撮像部８１は、利用者に対向する方向を撮像するカメラからなるものである。従って、端末装置３２が、利用者に把持された状態であるときには、通常、撮像部８１は、利用者の顔画像を撮像する構成とされる。
【００３４】
表示部８２は、端末装置３２−ｎで示されるようなタブレット端末の表面に設けられており、LCD（Liquid Crystal Display）や有機EL（Electro Luminescence）からなるものであり、制御部８３の処理結果や撮像部８１により撮像された画像を表示する。
【００３５】
制御部８３は、例えば、CPU、RAM、およびROMを備えた演算処理装置であり、CPUが、ROMやHDDまたはSSDなどからなる記憶部５３に記憶されたプログラムやデータをRAMに展開し、所定の処理を実行する。より詳細には、制御部８３は、プログラムやデータを実行することにより、特徴点抽出部９１、バランス評価分析部９２、メイク設定部９３、色分析部９４、レシピ画像表示制御部９５、およびデータベース管理部９６として機能する。
【００３６】
特徴点抽出部９１は、撮像部８１により撮像された顔画像より顔の輪郭や目鼻唇眉等の利用者の顔を構成するパーツを抽出するための特徴点を抽出する。
【００３７】
バランス評価分析部９２は、特徴点の情報に基づいて、利用者の顔の輪郭や各種のパーツを認識し、認識した輪郭に対応するパーツ毎の最適な配置や大きさとなるベストバランス顔画像を求め、撮像された実際の利用者の顔画像とベストバランス顔画像との各種パーツの差異をスコア化することで、バランス評価分析を行う。
【００３８】
色分析部９４は、撮像部８１により撮像された実際の利用者の顔画像より肌の色を分析する。
【００３９】
メイク設定部９３は、撮像部８１により撮像された実際の利用者の顔画像とベストバランス顔画像との各種パーツの配置や大きさの差異がスコア化されたバランス評価分析結果と、色分析結果とに基づいて、利用者の顔画像をベストバランス顔画像に近付けて見えるようなメイク（化粧）を設定する。
【００４０】
レシピ画像表示制御部９５は、メイク設定部９３により設定されたメイクを実施するためのパーツ毎のメイクの手順を示すレシピ画像を生成し、生成したレシピ画像を、各種のパーツ毎に順次表示することで、利用者のメイクを支援する。
【００４１】
データベース管理部９６は、レシピ画像表示制御部９５により生成されたレシピ画像と、撮像した利用者の顔画像とを、利用者を識別する情報に対応付けて、HDDやSSDなどからなる記憶部８４内の端末内データベース１３１に登録して管理する。また、データベース管理部９６は、レシピ画像表示制御部９５により生成されたレシピ画像と、撮像した利用者の顔画像とを、利用者を識別する情報と共に、イーサネットボードなどからなる通信部８５を制御して、ネットワーク３３を介してサーバ装置３１に送信する。
【００４２】
操作部８６は、表示部８２がタッチパネルなどから構成されるときの、表示部８２上に表示される操作ボタン、および、端末装置３２−ｎの表示部８２の下などに設けられた操作ボタンなどからなり、利用者の操作を受け付けて、操作内容に応じた操作信号を発生させる。
【００４３】
＜端末内データベースの構成例＞
次に、図２を参照して、端末内データベース１３１の構成例について説明する。
【００４４】
端末内データベース１３１は、利用者情報１５１、バランス顔情報１５２、およびレシピ表示用情報１５３より構成されている。
【００４５】
利用者情報１５１は、利用者を識別する、利用者に固有の情報であり、利用者ＩＤ（Identification）１６１、氏名ニックネーム（利用者の氏名、およびニックネーム）１６２、利用者の性別１６３、および利用者の年齢１６４の情報を含んでいる。
【００４６】
バランス顔情報１５２は、撮像部８１により撮像された利用者の顔画像１７１−１乃至１７１−ｎからなり、それぞれ顔画像管理情報１７２−１乃至１７２−ｎと対応付けて登録されている。
【００４７】
顔画像管理情報１７２は、顔画像ＩＤ（Identifier）１８１、特徴点修正情報１８２、バランス分析結果情報１８３、バランスレシピ結果情報１８４、および色分析結果情報１８５を含んでいる。
【００４８】
顔画像ＩＤは、撮像部８１により撮像された利用者の顔画像を識別する情報である。
【００４９】
特徴点修正情報１８２は、後述する顔画像を構成する目鼻唇眉等のパーツを認識するための特徴点の情報であり、さらに、ユーザにより修正された特徴点の情報を含む情報である。すなわち、顔画像より抽出される特徴点の情報は、実際に必要とされる位置とずれて検出されることがある（誤検出されることがある）ので、利用者により修正することができるようになされており、特徴点修正情報１８２は、利用者により修正された特徴点を含む全ての特徴点の情報である。
【００５０】
バランス分析結果情報１８３は、バランス評価分析部９２により、ベストバランス顔画像と、実際に撮像された利用者の顔画像との差分がスコア化されたバランス評価分析結果を示す情報である。
【００５１】
バランスレシピ結果情報１８４は、シミュレーションによりベストバランス顔画像に近付けるように設定されたメイクが施されたときの顔画像と、ベストバランス顔画像との差異をスコア化したバランス評価分析結果を示す情報である。
【００５２】
色分析結果情報１８５は、利用者の顔画像に基づいた分析結果であり、利用者の顔の色が、予めパレット状に設定された肌色のいずれに対応するのかを示す情報である。
【００５３】
レシピ表示用情報１５３は、顔画像１７１−１乃至１７１−ｎのそれぞれのレシピ画像１９１−１乃至１９１−ｎと、対応するレシピ画像管理情報１９２−１乃至１９２−ｎを含んでいる。
【００５４】
レシピ画像管理情報１９２は、顔を構成する各パーツのうち、適用するパーツに対応する部位に関する情報である適用部位情報２０１、それぞれの各パーツの施すメイクの色に関する情報である色情報２０２、各パーツの形状の情報である形状情報２０３、および、各パーツの配置に関する情報である配置情報２０４を含んでいる。
【００５５】
＜サーバ内データベースの構成例＞
次に、図３を参照して、サーバ内データベース１１１の構成例について説明する。
【００５６】
サーバ内データベース１１１は、利用者管理情報２３１、利用者バランス顔情報２３２、およびレシピ表示用更新情報２３３を含んでいる。
【００５７】
利用者管理情報２３１は、ネットワーク３３を介して各端末装置３２より送信されてくる、各端末装置３２の利用者情報１５１を管理するための情報であり、利用者情報１５１に対応する情報を利用者情報２４１−１乃至２４１−ｍとして格納する。
【００５８】
利用者バランス顔情報２３２は、バランス顔情報１５２の顔画像１７１、および顔画像管理情報１７２に対応する、顔画像２６１−１乃至２６１−ｍ、および顔画像管理情報２６２−１乃至２６２−ｍを格納する。ここで、顔画像管理情報２６２−１乃至２６２−ｍは、それぞれ利用者情報１５１に対応する利用者情報２４１の利用者ＩＤ１６１を含んでいる。
【００５９】
レシピ表示用更新画像２３３は、端末内データベース１３１におけるレシピ表示用情報１５３のレシピ画像１９１、およびレシピ画像管理情報１９２に対応する、レシピ画像２８１−１乃至２８１−ｍ、およびレシピ画像管理情報２８２−１乃至２８２−ｍをそれぞれ対応付けて格納している。
【００６０】
＜ベストバランス顔画像の概念＞
次に、バランス評価分析部９２における、利用者の顔の輪郭等から各種パーツ毎の最適な配置となるベストバランス顔画像の概念について説明する。
【００６１】
ベストバランス顔画像は、一般的に、多数の人間の顔の目鼻唇眉等の各パーツが、平均的な大きさで、かつ、平均的な位置に配置された顔画像とすることで表現することができるといわれている。そこで、このベストバランス顔画像は、多くの人間の顔の目鼻唇眉等の各パーツが平均的な大きさで、かつ、平均的な位置に配置されることにより構成される顔画像としてもよい。尚、以降において、多数の人間の顔の目鼻唇眉等の各パーツの平均的な大きさで、かつ、平均的な位置に配置された顔画像を平均顔画像とも称するものとする。
【００６２】
また、ベストバランス顔画像は、平均顔画像以外の各パーツの配置からなる顔画像であってもよく、例えば、著名なメイクアップアーティストなどのメイクに係る専門家などが、最適な配置として定義する所定の理論に基づいた顔画像としてもよい。
【００６３】
より具体的には、ベストバランス顔画像における、各パーツの大きさと配置のバランスは、図４乃至図１１で示されるような、顔の縦の長さの条件、顔の横幅の条件、鼻の下から顎まで長さの条件、目の大きさの条件、目の位置の条件、鼻の大きさの条件、鼻の位置の条件、耳の高さの条件、唇の大きさの条件、唇の位置の条件、横顔の条件、目元のバランスの条件、口元のバランスの条件、眉のバランスの条件、頬のバランスの条件のうちの少なくとも１つ以上満たすものとしてもよい。
【００６４】
すなわち、顔の縦の長さの条件は、例えば、図４で示されるように、頭髪の生え際から眉頭の下までの長さＡＤ、眉頭から鼻の下までの長さＤＥ、および鼻の下から顎の先までの長さＥＦが、それぞれ略同じ長さとする。
【００６５】
また、顔の横幅の条件は、例えば、図４で示されるように、左右の目尻の間の長さＢＣのうちの、左目の幅、右目の幅、および左右の眉間の間の幅のそれぞれが略同一であって、かつ、それぞれの幅が瞳の幅の略５倍とする。
【００６６】
さらに、鼻の下から顎まで長さの条件は、例えば、図４で示されるように、鼻の下から下唇の下までの長さＥＧと、下唇の下から顎までの長さＧＦとが略同一とする。
【００６７】
目の大きさの条件は、例えば、図５で示されるように、目の縦の長さと横の長さとの比が、が略１：３とする。
【００６８】
目の位置の条件は、例えば、図５で示されるように、頭髪の生え際から目までの長さＡＢと、目から唇の中央位置までの長さＢＣとが略同一の長さとし、かつ、左目の幅、右目の幅、および左右の眉間の間の幅のそれぞれが略同一とする。
【００６９】
鼻の大きさの条件は、例えば、図５で示されるように、鼻翼（鼻の横幅）ＤＥが、目の横幅の長さと略同一とする。
【００７０】
鼻の位置の条件は、例えば、図５で示されるように、鼻下から下唇の下までの長さＦＧと、下唇の下から顎までの長さＧＨとが略同一とする。
【００７１】
耳の高さの条件は、例えば、図５で示されるように、目尻の延長線Ｂと鼻下の延長線Ｆとの間の高さとする。
【００７２】
唇の大きさの条件は、例えば、図６で示されるように、唇の横幅が左右の瞳の距離ＡＢと略同一とし、縦幅が上唇と下唇とが略１：１．３乃至１：１．５の比とする。
【００７３】
唇の位置の条件は、例えば、図６で示されるように、鼻下から顎先までの長さＣＥを三等分したとき、唇の中央Ｄが、上から１／３の位置とする。
【００７４】
横顔の条件は、図７で示されるように、鼻と鼻の下の角度Ｂが９０度であり、上唇の先端が、顎先と鼻の先を繋いだ直線Ｃに接するか、または、僅かに、直線Ｃの内側（顔側）であり、かつ、目頭と鼻の上端Ａとの間隔が5mm程度であるものとする。
【００７５】
目元のバランスの条件は、例えば、図８の範囲Ａで示されるように、目の縦幅と横幅との比が略１：３であり、範囲Ｂで示されるように、目の縦幅と瞼の広さの比率が１：１であり、かつ、角度Ｃで示されるように、目頭と目尻との角度が、略１０度であるものとする。
【００７６】
口元のバランスの条件は、例えば、図９の範囲Ａから伸びる点線で示されるように、上唇の山が鼻孔の横幅の中心位置と同一であり、上唇の谷から山にかけての角度Ｂが略１０度乃至１５度であり、図９の範囲Ｃで示されるように、下唇の底辺が、顎先とほぼ同一の位置であり、上唇の山と山との幅より長いものとする。さらに、図９の範囲Ｄで示されるように、下唇の形が、顎のラインとほぼ平行であり、図９の範囲Ｅで示されるように、口角のラインが横から見たときに上下が一致しており、図９の範囲Ｆで示されるように、上唇と下唇とのバランスが、略１：１．３乃至１：１．５の比とする。
【００７７】
眉のバランスの条件は、例えば、図１０の直線Ａで示されるように、眉頭ａの位置が、目頭ｄの真上を起点とし、図１０の直線Ｂで示されるように、目尻ｃの位置が、小鼻ｆと目尻ｃを結ぶ延長線（直線Ｂ）上であり、図１０の眉山ａから眉尻ｃを結ぶ直線Ｃで示されるように、眉山ａの位置が眉頭ｅから略２／３であって、白目の端部であり、図１０の直線Ｄで示されるように、目頭ｄと目尻ｃとが一直線上であり、図１０の角度Ｅで示されるように、眉の水平方向に対する角度は、略１０度であるものとする。
【００７８】
頬のバランスの条件は、図１１の範囲Ａで示されるように、頬の長さが、小鼻ｐの横から輪郭線までの横幅と、瞳の真下から輪郭までの縦幅との比が略１：２となるものとする。
【００７９】
尚、ベストバランス顔画像については、この他にも様々な定義により設定するようにしてもよく、例えば、利用者の好む著名な俳優や歌手や、一般に、美顔とされる著名な人物などの所定の顔画像における大きさや配置の各パーツに基づいて定義されるようにしてもよい。
【００８０】
バランス評価分析部９２は、上述した条件に基づいて、撮像した利用者の顔画像の特徴点の情報に基づいて認識される輪郭に基づいて、対応するベストバランス顔画像を設定し、ベストバランス顔画像と利用者の顔画像との差分をスコア化することで、バランス評価結果を生成する。
【００８１】
＜バランス評価結果に対するメイクの設定方法の概念＞
次に、図１２を参照して、バランス評価結果に対するメイクの設定方法の概念について説明する。
【００８２】
メイク設定部９３は、バランス評価結果に基づいて、利用者の顔画像をベストバランス顔画像に近づけるようなメイクを設定する。そして、レシピ画像表示制御部９５は、設定されたメイクを実現するためのレシピ画像を生成する。ここで、バランス評価結果に対するメイクは、バランス評価結果に基づいた、利用者の顔画像をベストバランス顔画像に近づけるような印象を与える化粧を設定する。すなわち、利用者の顔は、設定されたメイクが施されることで、ベストバランス顔画像を見たときと似た印象を与えるような顔となる。
【００８３】
すなわち、メイク設定部９３は、バランス評価結果に基づいて、利用者の顔画像をベストバランス顔画像に近づけるような、濃淡を付加するメイク（化粧）を設定する。
【００８４】
より具体的には、図１２の画像Ｐ１１の矢印で示されるように、利用者の顔画像において、左右対称に存在する各パーツが中心位置から左右の外側に離れるように配置されているような場合、画像Ｐ１２で示されるようなメイクが設定される。尚、以降においては、このように顔画像を構成する各パーツのうち、左右に存在するパーツが顔の左右の中心位置から離れたように配置される顔画像を外心的な顔画像であるとも称するものとする。
【００８５】
すなわち、メイク設定部９３は、画像Ｐ１２においては、左右のそれぞれに存在する眉毛Ａ１−Ｒ，Ａ１−Ｌ、目Ａ２−Ｒ，Ａ２−Ｌ、頬Ａ３−Ｒ，Ａ３−Ｌ、唇Ａ４−Ｒ，Ａ４−Ｌに対するメイクは、左右の中心位置に近い位置程濃い色を付加するメイクとし、左右の中心位置から離れた位置程薄い色を付加するメイクとする。
【００８６】
このようなメイクが設定されることにより、画像Ｐ１１で示される外心的な顔画像における各種パーツは、画像Ｐ１２の矢印で示されるように顔画像の左右の中心位置にスライドしているような印象を与えることができ、全体として各種パーツが平均的な位置に配置され、ベストバランス顔画像に近付けることが可能となる。
【００８７】
逆に、図１２の画像Ｐ１４の矢印で示されるように、利用者の顔画像における左右のそれぞれに存在する各種パーツが左右の中心位置に寄っているような顔画像であった場合、画像Ｐ１３で示されるようなメイクが設定される。尚、このように顔画像を構成する各種パーツが左右の中心位置に寄せられて配置される顔画像を求心的な顔画像であるとも称するものとする。
【００８８】
すなわち、メイク設定部９３は、画像Ｐ１３においては、左右のそれぞれに存在する眉毛Ｂ１−Ｒ，Ｂ２−Ｌ、目Ｂ２−Ｒ，Ｂ２−Ｌ、頬Ｂ３−Ｒ，Ｂ３−Ｌ、唇Ｂ４−Ｒ，Ｂ４−Ｌに対するメイクは、左右の中心位置から離れた位置程濃い色を付加するメイクとし、左右の中心位置に近い位置程薄い色を設定する。
【００８９】
このようなメイクが設定されることにより、画像Ｐ１４で示される求心的な顔画像における各種パーツは、画像Ｐ１３の矢印で示されるように顔画像の左右の中心位置から離れるようにスライドしているような印象を与えることができ、全体として各パーツが平均的な位置に配置され、ベストバランス顔画像に近付けることが可能となる。
【００９０】
したがって、メイク設定部９３は、バランス評価分析結果に基づいて、利用者の顔画像に対するベストバランス顔画像との差分を示すスコアから、外心的な顔画像については、各種パーツの中心に近い範囲程をより濃い色のメイクを設定し、各種パーツの中心から離れた範囲をより薄い色のメイクを設定し、求心的な顔画像については、各パーツの中心に近い範囲を薄く、中心から離れた範囲を濃くするようなメイクを設定する。
【００９１】
結果として、利用者の顔画像をベストバランス顔画像に近付けるメイクを設定することが可能となる。
【００９２】
尚、図１２においては、各パーツの水平方向（左右方向）の中心位置からの距離のずれに応じてスコア化されたバランス評価分析結果に対するメイクの設定の概念について説明してきたが、同様の手法でその他の方向のずれに対しても同様の概念を用いたメイクを設定することで利用者の顔画像を、ベストバランス顔画像に近付ける印象を与えるメイクを設定することが可能となる。
【００９３】
＜メイクアップレシピ生成処理＞
次に、図１３のフローチャートを参照して、図１の情報処理システムによるメイクアップレシピ生成処理について説明する。
【００９４】
ステップＳ１１において、制御部８３は、撮像部８１を制御して、顔画像のプレビュ画像を撮像させると共に、撮像部８３により撮像された顔画像を、表示部８２を制御してプレビュ画像として表示させる。
【００９５】
ステップＳ１２において、制御部８３は、操作部８６を制御して、利用者により操作されて、撮像が指示されたか否かを判定し、撮像が指示されない場合、処理は、ステップＳ１１に戻る。すなわち、撮像が指示されるまで、制御部８３は、顔画像のプレビュ画像を表示部８２に表示させ続ける。この間に、利用者は、表示される顔画像のプレビュ画像を見ながら、適切な顔画像が撮像できる状態にタブレット状の端末装置３２の撮像部８１の向きを調整する。
【００９６】
ステップＳ１２において、例えば、利用者が、端末装置３２の撮像部８１の向きが調整されて、操作部８６が操作され、撮像が指示される場合、処理は、ステップＳ１３に進む。
【００９７】
ステップＳ１３において、制御部８３は、撮像部８１を制御して、顔画像を撮像し、新規のバランス顔情報１５２における顔画像１７１として記憶部８４の端末内データベース１３１に登録させる。このとき、新規の顔画像１７１に対応する顔画像管理情報１７２も併せてバランス顔情報１５２に設けられ、顔画像ＩＤ１８１が登録される。
【００９８】
ステップＳ１４において、制御部８３は、撮像した顔画像を、例えば、図１４の顔画像Ｆで示されるように、表示部８２に表示させる。このような表示により利用者は、撮像された顔画像を確認することができる。このとき、利用者が気に入った顔画像ではない場合は、再度撮像し直せるようにしてもよい。
【００９９】
ステップＳ１５において、制御部８３は、特徴点抽出部９１を制御して、撮像した顔画像より、顔を構成する目鼻唇眉等のパーツを抽出するための特徴点を検出させる。
【０１００】
ステップＳ１６において、特徴点抽出部９１は、例えば、図１５で示されるように、特徴点として検出した位置の情報を撮像した顔画像に重畳して、顔パーツ認識結果として表示部８２に表示させる。図１５においては、撮像された顔画像上に、黒色の点として特徴点情報が重畳された状態で表示部８２に表示されている。特徴点抽出部９１は、図１５で示される黒色の点の特徴点を、例えば、顔を構成する目鼻唇眉等のパーツ毎に異なる色で表示するようにしてもよい。
【０１０１】
また、特徴点は、顔を構成する目鼻唇眉等のパーツ上に設定されるものであるが、検出に際して、一部において、パーツの範囲からはみ出したものが検出されてしまうことがある（誤検出される特徴点がある）。そこで、このはみ出してしまった特徴点については、利用者により修正できるようになされており、特徴点抽出部９１は、利用者により操作部８６を用いた修正操作を受け付けて、特徴点を修正する。例えば、利用者が、タブレット状の端末装置３２のタッチパネル等からなる表示部８２上の特徴点をタップしてずらす等により修正できるようにしてもよい。このとき、特徴点抽出部９１は、修正された特徴点の情報を含めた全ての特徴点の情報を特徴点修正情報１８２として登録する。したがって、特徴点修正情報１８２には、修正の有無に関わらず、特徴点の情報が登録される。
【０１０２】
ステップＳ１７において、制御部８３は、バランス評価分析部９２を制御して、バランス評価処理を実行させて、バランス分析結果情報１８３として登録する。
【０１０３】
＜バランス評価処理＞
ここで、図１６のフローチャートを参照して、バランス評価処理について説明する。
【０１０４】
ステップＳ３１において、バランス評価分析部９２は、特徴点修正情報１８２の各特徴点の情報に基づいて、輪郭や目鼻唇眉等のパーツを認識する。
【０１０５】
ステップＳ３２において、バランス評価分析部９２は、特徴点修正情報１８２に基づいて、顔画像を構成する顔の輪郭を検出し、表示部８２を制御して、例えば、図１７で示されるような輪郭画像を表示させる。
【０１０６】
図１７の輪郭画像においては、顔の輪郭を示す点線が、顔画像に重畳された状態で示されている。また、このとき、バランス評価分析部９２は、顔画像の輪郭の縦方向と横方向との比を顔縦横バランスとして求めて、顔画像に重畳して表示する。図１７においては、顔縦横バランスとしての、顔画像の輪郭の縦方向と横方向との比が、４：３として表示されている。また、バランス評価分析部９２は、コメント欄３０１を顔画像の下部、すなわち、表示部８２における下部に設けて、顔縦横バランスに関するコメントを表示する。図１７においては、コメント欄３０１において、「顔縦横バランス（標準）」が表示されており、顔縦横バランスが標準的であることが示されている。
【０１０７】
ステップＳ３３において、バランス評価分析部９２は、特徴点修正情報１８２に基づいて、上述した条件に基づいて、ベストバランス顔画像を生成する。すなわち、バランス評価分析部９２は、特徴点に基づいて検出した輪郭に応じて、ベストバランス顔画像として定義される条件を満たすように各種パーツの大きさと配置を決定することで、ベストバランス顔画像を生成する。
【０１０８】
ステップＳ３４において、バランス評価分析部９２は、特徴点修正情報１８２に基づいて、顔画像の縦（タテ）方向のバランスを検出し、表示部８２を制御して、例えば、図１８で示されるような縦方向のバランス画像を表示させる。
【０１０９】
図１８の縦（タテ）方向のバランス画像においては、ベストバランス顔画像における目鼻唇眉などが点線で示され、図中の左側に示されるように、ベストバランス顔画像の頭髪の生え際から眉頭までの長さＡ１、眉頭から鼻の下までの長さＡ２、および鼻の下から顎までの長さＡ３が示される。また、図中の右側に示されるように、ベストバランス顔画像の頭髪の生え際から目尻までの長さＢ１、および、目尻から顎までの長さＢ２が示される。さらに、ベストバランス顔画像の頭髪の生え際から唇の下までの長さＣ１、および唇の下から顎までの長さＣ２が示される。ベストバランス顔画像の鼻の下から唇の下までの長さＤ１、および唇の下から顎までの長さＤ２が示される。
【０１１０】
バランス評価分析部９２は、長さＡ１乃至Ａ３、長さＢ１，Ｂ２、長さＣ１，Ｃ２、長さＤ１，Ｄ２に基づいて、顎の長さ、鼻筋の長さ、顎の長さ、眉頭の上下位置、黒目の上下位置、小鼻の上下位置、および口の上下位置のベストバランス顔画像に対する関係をコメント欄３０１に表示する。
【０１１１】
図１８のコメント欄３０１においては、顎の長さについては、「［短い］」とされ、ベストバランス顔画像に対して短いことが表されている。また、鼻筋の長さについては、「［長い］」とされ、ベストバランス顔画像に対して長いことが表されている。さらに、顎の長さは、「［長い］」とされ、ベストバランス顔画像に対して長いことが表されている。眉頭の上下位置については、「左右共に［高い］」とされ、ベストバランス顔画像に対して左右共に高いことが表されている。黒目の上下位置については、「左右共に［高い］」とされ、ベストバランス顔画像に対して左右共に高いことが表されている。小鼻の上下位置については、「［高い］」とされ、ベストバランス顔画像に対して高いことが表されている。口の上下位置については、「［高い］」とされ、ベストバランス顔画像に対して高いことが表されている。
【０１１２】
ステップＳ３５において、バランス評価分析部９２は、特徴点修正情報１８２に基づいて、顔画像の横（ヨコ）方向のバランスを検出し、表示部８２を制御して、例えば、図１９で示されるような横方向のバランス画像を表示させる。
【０１１３】
図１９の横方向のバランス画像においては、ベストバランス顔画像における目鼻唇眉などが点線で示され、ベストバランス顔画像の右目の幅Ｇ１、左右の目の間の幅Ｇ２、および左目の幅Ｇ３がそれぞれ示されている。また、小鼻の幅Ｈ１、および唇の幅Ｈ２が示されている。さらに、横方向の黒目の幅を基準とした間隔が示されている。
【０１１４】
バランス評価分析部９２は、幅Ｇ１乃至Ｇ３、幅Ｈ１，Ｈ２、黒目（ひとみ）の幅を基準とした間隔に基づいて、目尻の横幅、小鼻の横幅、口の横幅、目頭同士の間の幅、目尻と顔端の幅のベストバランス顔画像に対する関係をコメント欄３０１に表示する。
【０１１５】
図１９においては、目尻の横幅（目頭から目尻）については、「右は（標準）、左は［広い］」とされ、ベストバランス顔画像に対して右側が標準の幅であるが、左側が広いことが表されている。また、小鼻の横幅については、「［広い］」とされ、ベストバランス顔画像に対して広いことが表されている。さらに、口の横幅については、「［広い］」とされ、ベストバランス顔画像に対して広いことが表されている。また、目頭同士の間の幅については、「［広い］」とされ、ベストバランス顔画像に対して広いことが表されている。さらに、目尻と顔端の幅については、「［広い］」とされ、ベストバランス顔画像に対して広いことが表されている。
【０１１６】
ステップＳ３６において、バランス評価分析部９２は、特徴点修正情報１８２に基づいて、目のプロポーションを検出し、表示部８２を制御して、例えば、図２０で示されるような目のプロポーション画像を表示させる。
【０１１７】
図２０の目のプロポーション画像においては、ベストバランス顔画像における目が点線で示され、利用者の顔画像の目尻の高さを示す直線Ｊ１，Ｊ２が示されている。
【０１１８】
バランス評価分析部９２は、ベストバランス顔画像における目の位置と、利用者の顔画像の目尻の高さを示す直線Ｊ１，Ｊ２に基づいて、目の厚み、および目頭と目尻の角度に対するベストバランス顔画像との関係をコメント欄３０１に表示する。
【０１１９】
図２０において、目の厚みについては、「右は［薄い］左は［厚い］」とされ、ベストバランス顔画像に対して右目の厚みは薄いが、左目の厚みは厚いことが表されている。目頭と目尻の角度については、「左右とも［下がり目］」とされ、ベストバランス顔画像に対して左右ともに下がり目であることが表されている。
【０１２０】
ステップＳ３７において、バランス評価分析部９２は、特徴点修正情報１８２に基づいて、唇の形を検出し、表示部８２を制御して、例えば、図２１で示されるような唇の形画像を表示させる。
【０１２１】
図２１の唇の形画像においては、ベストバランス顔画像における口が点線で示され、ベストバランス顔画像の口における唇の横方向の山と谷間の幅の間隔が示されている。
【０１２２】
バランス評価分析部９２は、ベストバランス顔画像における口の位置と、横方向の山と谷間の幅の間隔に基づいて、唇全体の厚み、上下唇の厚み、および唇の山の位置に対するベストバランス顔画像との関係をコメント欄３０１に表示する。
【０１２３】
図２１において、唇全体の厚みについては、「［厚い］」とされ、ベストバランス顔画像に対して唇の厚みが厚いことが表されている。上下唇の厚みについては、「［厚い］」とされ、ベストバランス顔画像に対して上下唇の厚みが厚いことが表されている。唇の山の位置については、「右は［外側］左は［内側］」とされ、ベストバランス顔画像に対して唇の山の位置が、右は外側であり、右は内側であることが表されている。
【０１２４】
ステップＳ３８において、バランス評価分析部９２は、特徴点修正情報１８２に基づいて、眉の左右位置範囲を検出し、表示部８２を制御して、例えば、図２２で示されるような眉の左右位置範囲を表示させる。
【０１２５】
図２２の眉の左右位置範囲においては、利用者の顔画像における眉頭、眉山、および眉尻の範囲が線分で示されている。
【０１２６】
バランス評価分析部９２は、利用者の顔画像における眉頭、眉山、および眉尻の範囲が線分に基づいて、眉頭の左右位置、眉山の左右位置、および眉尻の範囲に対するベストバランス顔画像との関係をコメント欄３０１に表示する。
【０１２７】
図２２において、眉頭の左右位置については、「右は（標準）左は［内側］」とされ、ベストバランス顔画像に対して眉頭の左右位置が右側は標準の位置であり、左側は内側であることが表されている。眉山の左右位置については、「右は（標準）左は［内側］」とされ、ベストバランス顔画像に対して眉山の左右位置が右側は標準の位置であり、左側は内側であることが表されている。眉尻の範囲については、「右は（標準）左は［内側」］とされ、ベストバランス顔画像に対して眉尻の範囲が右側は標準の位置であり、左側は内側であることが表されている。
【０１２８】
ステップＳ３９において、バランス評価分析部９２は、これまでのバランス評価分析結果に基づいて、総合評価を求めて、表示部８２を制御して、例えば、図２３で示されるような総合評価画像を表示させる。
【０１２９】
図２３の総合評価画像においては、ベストバランス顔画像における各パーツが点線で表されて、利用者の顔画像に重畳されて表示されている。
【０１３０】
バランス評価分析部９２は、パーツ毎のメイクに関する総合評価をコメント欄３０１に表示する。
【０１３１】
図２３において、コメント欄３０１には、上からアイメイクに対応する黒目の左右位置、黒目の上下位置、両目の角度、アイブロウに対応する額の縦バランス、ノーズメイクに対応する両目頭間の幅、鼻の縦バランス、シェーディングに対応する額の縦バランス、あご（顎）の横バランス、目尻と輪郭の幅、チークに対するあご（顎）の縦バランス、リッピメイクに対応する口の横幅、上唇の厚さ、下唇の厚さのそれぞれについてのベストバランス顔画像に対する０点乃至１００点のスコアが表示されており、各スコアは、利用者の顔画像における各パーツが、ベストバランス顔画像の各パーツの配置等から離れている程、大きなスコアとされる。
【０１３２】
より具体的には、アイメイクに対応する黒目の左右位置については、「［外心的］スコア１００」とされ、黒目の左右位置がベストバランス顔画像における位置に対して、左右の中心から外側に向かって離れており、外心的であり、スコアが１００であることが表されている。黒目の上下位置については、「［高い］スコア７０」とされ、黒目の上下位置がベストバランス顔画像の位置よりも高い位置であり、スコアが７０であることが表されている。両目の角度については、「［下がり目］スコア９０」とされ、両目の角度がベストバランス顔画像におけるよりも小さく、下がり目であり、スコアが９０であることが表されている。
【０１３３】
また、アイブロウに対応する額の縦バランスについては、「［狭い］スコア９０」とされ、額の縦バランスがベストバランス顔画像における幅より狭く、スコアが９０であることが表されている。
【０１３４】
さらに、ノーズメイクに対応する両目頭間の幅については、「［広い］スコア１００」とされ、両目頭間の幅がベストバランス顔画像における幅より広く、スコアが１００であることが表されている。鼻の縦バランスについては、「［長い］スコア７０」とされ、鼻の縦バランスがベストバランス顔画像における長さよりも長く、スコアが７０であることが表されている。
【０１３５】
シェーディングに対応する顎の縦バランスについては、「［狭い］スコア９０」とされ、顎の縦バランスがベストバランス顔画像における長さよりも狭く、スコアが９０であることが表されている。あご（顎）の横バランスについては、「［長い］スコア９０」とされ、顎の横バランスがベストバランス顔画像における長さよりも長く、スコアが９０であることが表されている。目尻と輪郭の幅については、「［広い］スコア６０」とされ、目尻と輪郭の幅がベストバランス顔画像における幅よりも広く、スコアが６０であることが表されている。
【０１３６】
チークに対するあご（顎）の縦バランスについては、「［長い］スコア９０」とされ、顎の縦バランスがベストバランス顔画像における長さよりも長く、スコアが９０であることが表されている。
【０１３７】
リッピメイクに対応する口の横幅については、「［広い］スコア５０」とされ、口の横幅がベストバランス顔画像における広さよりも広く、スコアが５０であることが表されている。上唇の厚さについては、「［厚い］スコア５０」とされ、上唇の厚さがベストバランス顔画像における厚さよりも厚く、スコアが５０であることが表されている。下唇の厚さについては、「［厚い］スコア５０」とされ、下唇の厚さがベストバランス顔画像における厚さよりも厚く、スコアが５０であることが表されている。
【０１３８】
ステップＳ４０において、バランス評価分析部９２は、利用者の顔画像の横方向の中心線に対して右半分を左半分にも用いて生成される右半分合成画像、および左半分を右半分にも用いて生成される左半分合成画像を生成する。
【０１３９】
ステップＳ４１において、バランス評価分析部９２は、表示部８２を制御して、例えば、図２４の右半分画像、および、図２５の左半分画像として表示させる。
【０１４０】
図２４の右半分合成画像は、利用者の顔画像の右半分の顔画像が左半分にも適用された顔画像より構成されている。バランス評価分析部９２は、顔画像と左半分と右半分とを比較した結果として、コメント欄３０１に顔の左右サイズについては、「右の方が［小さい］」と表示しており、顔画像の右半分の方が左半分よりも小さいことを表している。
【０１４１】
図２５の左半分合成画像は、利用者の顔画像の左半分の顔画像が右半分にも適用された顔画像より構成されている。バランス評価分析部９２は、顔画像と左半分と右半分とを比較した結果として、コメント欄３０１に顔の左右サイズについては、「右の方が［小さい］」と表示しており、顔画像の右半分の方が左半分よりも小さいことを表している。
【０１４２】
以上の処理により、バランス評価処理が実行されて、利用者の顔画像が、ベストバランス顔画像に近付くように、施すべきメイクを生成するためのバランス評価情報が生成され、評価結果が示される。
【０１４３】
ここで、図１３のフローチャートの説明に戻る。
【０１４４】
ステップＳ１８において、制御部８３は、色分析部９４を制御して、利用者の顔画像に基づいて、利用者の顔の肌色がどのような肌色であるかを分析し、例えば、図２６で示されるようなカラーテスト画像を色分析結果として表示部８２に表示する。
【０１４５】
図２６のカラーテスト画像においては、上部において利用者の顔画像が表示されており、下部において、３×３色の複数の肌色がパレット状に配置されたカラーパレット３２１が表示され、利用者の顔画像の肌色に対応するパレット上にポインタ３２１ａが示されている。また、このとき、色分析部９４は、色分析結果をバランス顔情報１５２における色分析結果情報１８４に登録する。
【０１４６】
ステップＳ１９において、メイク設定部９３は、バランス評価情報と色分析結果とに基づいて、利用者の顔画像の各パーツが、ベストバランス顔画像の各パーツに近付くようなメイクを設定するためのシミュレーションを実行し、シミュレーションにより求められたメイクを利用者の顔画像に施した場合のシミュレーション結果を、例えば、図２７で示されるようなシミュレーション画像として表示する。
【０１４７】
すなわち、バランス評価分析部９２は、利用者の顔画像の各パーツの配置と、ベストバランス顔画像における各パーツとの配置とのずれが大きいほど高いスコアとなるようにスコア化したものを評価結果としている。そこで、メイク設定部９３は、利用者の顔画像に対して、様々なメイクを施すシミュレーションを実行し、メイク後の顔画像と、ベストバランス顔画像との比較により、スコアが最小となるメイクを求めることで、ベストバランス顔画像に近付けるようなメイクを、シミュレーションにより求める。このシミュレーションにおいては、メイク設定部９３は、上述した図１２を参照して説明したバランス評価結果に対するメイクの設定方法の概念に基づいたメイクを変化させながら繰り返す。また、このとき、メイク設定部９３は、シミュレーションにより求められたメイクに基づいたスコアの情報をバランス顔情報１５２におけるバランスレシピ結果情報１８４に登録する。
【０１４８】
図２７のシミュレーション画像は、上段においては、シミュレーションにより求められたメイクを利用者の顔画像に施した場合の顔画像が示されている。また、図２７の下段におけるコメント欄３０１には、「シミュレーション画像です。」と表記されており、上段の利用者の顔画像に、シミュレーションにより求められたメイクを施した顔画像であることが表されている。
【０１４９】
ステップＳ２０において、レシピ画像表示制御部９５は、レシピ画像表示処理を実行し、順次レシピ画像を表示する。ここで、コメント欄３０１には、「シミュレーション描画です。」と記載されており、利用者の顔画像に、シミュレーションにより求められたメイクが施された顔画像が表示されていることが示されている。
【０１５０】
このような処理により、利用者は、シミュレーション画像を見ることで、ベストバランス顔画像に近付くようなメイクを施した状態をイメージすることが可能となる。
【０１５１】
尚、ステップＳ２０を含めた以降の各ステップの処理は、操作部８６が操作されることで、順次各ステップが進行するものとする。また、以降の処理は、利用者が表示される内容を確認し、利用者が求めるタイミングにおいて次のステップに進むものとするが、その動作の説明は、冗長なものとなるため、説明を省略するものとする。さらに、ステップＳ２０を含めた以降のステップの各処理は、必要に応じて、操作部８６を操作することで、直前のステップに戻れるようにして、利用者が直前の処理を見返せるようにしてもよい。
【０１５２】
＜レシピ画像表示処理＞
ここで、図２８のフローチャートを参照して、レシピ画像表示処理について説明する。
【０１５３】
ステップＳ５１において、レシピ画像表示制御部９５は、バランス評価情報と色分析結果とに基づいた、メイクのシミュレーション結果より、対応するメイクを施す手順を示すレシピ画像１９１を生成すると共に、対応するレシピ画像管理情報１９２を生成し、レシピ表示用情報１５３として端末内データベース１３１に登録する。さらに、レシピ画像表示制御部９５は、例えば、図２９で示されるようにレシピ全体画像として表示部８２に表示する。
【０１５４】
図２９のレシピ全体画像においては、利用者の顔画像に各パーツに施すメイクのレシピ全体が重畳されて表示されている。より詳細には、図２９のメイクのレシピ全体画像には、フェイスシェーディングレシピ４０１−１乃至４０１−３、ノーズレシピ４０２−１，４０２−２，４０３、アイブロウレシピ４０４−１，４０４−２、アイシャドウレシピ４０５−１，４０５−２，４０６−１，４０６−２，４０７−１，４０７−２、チークレシピ４０８−１，４０８−２、チークハイライトレシピ４０９−１，４０９−２、リップレシピ４１０のそれぞれに施すメイクの具体的なレシピが示されている。すなわち、利用者は、図２９で示されるレシピ全体画像の個々のレシピに基づいた個々のメイクを自らの顔の各パーツに施すことで、図２７で示されるシミュレーション結果画像に対応する顔画像のようなメイクを実現することが可能となる。
【０１５５】
また、コメント欄３０１には、「バランスアップのポイント」として「アイメイク：下がり目で目の位置が高く、両黒目の間が広いプロポーションです。頬からあご先までが長く見せます。アイシャドウは、上まぶたの目頭側を濃く強調し、目の配置を内に寄せて見せます。下まぶたの目頭側を濃く強調することで、下がり目の印象をやわらげましょう。ノーズメイク：目と目の間が広く鼻筋が長いので、ハイライトを細く短く、ノーズシャドウを短く中央寄りに入れましょう。アイブロウ：ひたいが狭く、眉頭の間が広いので、眉の下側と眉頭側を中心に描き足しましょう。・・・」といったメイクにあたって、各パーツに対するポイントとなる具体的な注意点が記載されている。利用者は、これらのポイントに注意してメイクを施すことで、よりベストバランス顔画像に近付けるようなメイクを実現することが可能となる。
【０１５６】
ステップＳ５２において、レシピ画像表示制御部９５は、例えば、図３０で示されるようなフェイスシェーディングのレシピ画像を表示部８２に表示する。
【０１５７】
図３０のフェイスシェーディングのレシピ画像は、利用者の顔画像におけるフェイスシェーディングレシピ４０１−１乃至４０１−３の矢印方向で示されるように、施すべきシェーディングの方向が示されている。
【０１５８】
また、コメント欄３０１には、「あごと目尻から顔端が広いので、顎先と顔の側面をシェーディングしましょう。フェイスラインに影を入れることで輪郭がスリムに見え、小顔に見える効果があります。ブラシやシャドウをとり、手の甲で量を調整しながら、境界がはっきりとしないようにぼかし込みましょう。」と記載されており、バランス評価結果に基づいた、フェイスシェーディングのポイントが示されている。
【０１５９】
ステップＳ５３において、レシピ画像表示制御部９５は、例えば、図３１で示されるようにノーズのレシピ画像を表示部８２に表示する。
【０１６０】
図３１のノーズのレシピ画像は、ノーズレシピ４０２−１，４０２−２，４０３がそれぞれノーズシャドウのメイクの具体的な方法を示している。すなわち、ノーズレシピ４０２−１，４０２−２は鼻の左右のシャドウの入れ方を示しており、ノーズレシピ４０３は鼻のハイライトの入れ方を示している。
【０１６１】
また、コメント欄３０１には、「目と目の間が広く鼻筋が長いので、ハイライトを細く短く、ノーズシャドウを短く中央寄りに入れましょう。ハイライトは眉間の上から鼻先まで長めに入れます。ノーズシャドウは目頭のくぼみを一番濃くし、そこから眉頭と小鼻に向けてグラデーションをつけていきます。」と記載されており、バランス評価結果に基づいた、ノーズのメイクのポイントが示されている。
【０１６２】
ステップＳ５４において、レシピ画像表示制御部９５は、例えば、図３２で示されるようにアイブロウのレシピ画像を表示部８２に表示する。
【０１６３】
図３２のアイブロウのレシピ画像においては、アイブロウレシピ４０４−１，４０４−２がそれぞれアイブロウのメイクの具体的な方法を示している。
【０１６４】
また、コメント欄３０１には、「ひたいが狭く、眉頭の間が広いので、眉の下側と眉頭側を中心に描き足しましょう。」と記載されており、バランス評価結果に基づいた、アイブロウのメイクのポイントが示されている。
【０１６５】
ステップＳ５５において、レシピ画像表示制御部９５は、例えば、図３３で示されるようにアイシャドウ（ブロッキング）のレシピ画像を表示部８２に表示する。
【０１６６】
図３３のアイシャドウ（ブロッキング）のレシピ画像においては、アイシャドウ（ブロッキング）レシピ４０５−１，４０５−２，４０６−１，４０６−２，４０７−１，４０７−２がそれぞれアイシャドウ（ブロッキング）のメイクの具体的な方法を示すものとして、位置毎に使用するパレットの色が示されている。
【０１６７】
また、コメント欄３０１には、「下がり目で目の位置が高く、両黒目の間が広いプロポーションです。頬からあご先までが長く見えます。アイシャドウは上まぶたの目頭側を濃く強調し、目の配置を内に寄せて見せます。下まぶたの目頭側を濃く強調することで、下がり目の印象をやわらげましょう。」と記載されており、バランス評価結果に基づいた、アイシャドウ（ブロッキング）のメイクのポイントが示されている。
【０１６８】
ステップＳ５６において、レシピ画像表示制御部９５は、例えば、図３４で示されるようにアイシャドウ（ベース塗り）のレシピ画像を表示部８２に表示する。
【０１６９】
図３４のアイシャドウ（ベース塗り）のレシピ画像においては、アイシャドウ（ベース塗り）レシピ４０５−１，４０５−２における矢印がそれぞれアイシャドウ（ベース塗り）のメイクにおいてグラデーションをつける具体的な方向が示されている。
【０１７０】
また、コメント欄３０１には、「アイホールの目頭側を濃く強調し目を内側に寄せて見せます。アイホールの骨格に沿って目頭側から目尻に向かって薄くなるようにグラデーションを作ります。」と記載されており、バランス評価結果に基づいた、アイシャドウ（ベース塗り）のメイクのポイントが示されている。
【０１７１】
ステップＳ５７において、レシピ画像表示制御部９５は、例えば、図３５で示されるようにアイシャドウ（フレーム塗り）のレシピ画像を表示部８２に表示する。
【０１７２】
図３５のアイシャドウ（フレーム塗り）のレシピ画像においては、アイシャドウ（フレーム塗り）レシピ４０６−１，４０６−２における矢印がそれぞれアイシャドウ（フレーム塗り）のメイクにおいて、グラデーションをつける具体的な方向が示されている。
【０１７３】
また、コメント欄３０１には、「フレームラインの目頭側を濃く強調し目を内側に寄せて見せます。濃くしたい目頭側に暗めのシャドウを置き、目尻側に向かって薄くなるようにグラデーションを作ります。目尻側には明るめのシャドウを入れます。」と記載されており、バランス評価結果に基づいた、アイシャドウ（フレーム塗り）のメイクのポイントが示されている。
【０１７４】
ステップＳ５８において、レシピ画像表示制御部９５は、例えば、図３６で示されるようにアイシャドウ（アンダ塗り）のレシピ画像を表示部８２に表示する。
【０１７５】
図３６のアイシャドウ（アンダ塗り）のレシピ画像においては、アイシャドウ（アンダ塗り）レシピ４０７−１，４０７−２における矢印がそれぞれアイシャドウ（アンダ塗り）のメイクをする際のレシピとして、グラデーションをつける方向が示されている。
【０１７６】
また、コメント欄３０１には、「下のフレームラインの目頭側を強調するようにシェーディングします。濃くしたい目頭側の暗めのブラウンシャドウを置き、目尻側に向かって薄くなるようにグラデーションを作ります。目尻側にはブラウンを入れます。」と記載されており、バランス評価結果に基づいた、アイシャドウ（アンダ塗り）のメイクのポイントが示されている。
【０１７７】
ステップＳ５９において、レシピ画像表示制御部９５は、例えば、図３７で示されるようにアイラインのレシピ画像を表示部８２に表示する。
【０１７８】
図３７のアイラインのレシピ画像においては、アイラインレシピ４２１−１，４２１−２における矢印がそれぞれアイラインのメイクにおける具体的なアイラインを伸ばす方向が示されている。
【０１７９】
また、コメント欄３０１には、「両目頭の間が広く下がり目です。上まぶたのアイラインは目頭のふちまで描き、目の横幅を内に広げます。目尻側を太くし、目尻をクボミの上に水平に伸ばすことで、下がり目の角度を上げて見せます。下まぶたのアイラインも、目頭のフチからフレーム全体をふちどるように入れることで、目の横幅を内に広げ、目の重心を下げて見せます。まぶたを指で持ち上げてまつ毛の生え際をしっかり引き出してから、まつ毛とまつ毛の間を埋めるように描きます。目尻から中央に、目頭から中央に向けてフレームラインに沿って描きます。」と記載されており、バランス評価結果に基づいた、アイラインのメイクのポイントが示されている。
【０１８０】
ステップＳ６０において、レシピ画像表示制御部９５は、例えば、図３８で示されるようにアイラッシュのレシピ画像を表示部８２に表示する。
【０１８１】
図３８のアイラッシュのレシピ画像においては、アイラッシュレシピ４３１−１，４３１−２がそれぞれアイラッシュのメイクにおける具体的なアイラッシュの位置が示されている。
【０１８２】
また、コメント欄３０１には、「上まつ毛全体を強調し、目を上側に大きく広げて見せましょう。マスカラブラシを回転させながら、根本から毛先をブラシに巻き付けるようにすると上向きに上がり、カールが長持ちします。」と記載されており、バランス評価結果に基づいた、アイラッシュのメイクのポイントが示されている。
【０１８３】
ステップＳ６１において、レシピ画像表示制御部９５は、例えば、図３９で示されるようにチークのレシピ画像を表示部８２に表示する。
【０１８４】
図３９のチークのレシピ画像においては、チークレシピ４０８−１，４０８−２がそれぞれチークのメイクをする際のレシピとして、色が付されている。
【０１８５】
また、コメント欄３０１には、「チークカラーを低めに入れてあごの長さをやわらげましょう。頬骨の下のカーブを指で確かめ、目尻の真下からスタートし、頬骨に沿って耳の中央、鼻の脇側にグラデーションを広げていきます。」と記載されており、バランス評価結果に基づいた、チークのメイクのポイントが示されている。
【０１８６】
ステップＳ６２において、レシピ画像表示制御部９５は、例えば、図４０で示されるようにチークハイライトのメイクのレシピ画像を表示部８２に表示する。
【０１８７】
図４０のチークハイライトのレシピ画像においては、チークハイライトレシピ４０９−１，４０９−２がそれぞれチークハイライトのメイクにおけるハイライトのアウトラインの具体的な方向を示す矢印が付されている。
【０１８８】
また、コメント欄３０１には、「頬骨の上にハイライトを載せて頬の立体感を高め、目元の印象を明るく見せましょう。ハイライトカラーを頬骨の上に沿ってのせ、アウトラインをぼかし込みます。」と記載されており、バランス評価結果に基づいた、チークハイライトのメイクのポイントが示されている。
【０１８９】
ステップＳ６３において、レシピ画像表示制御部９５は、例えば、図４１で示されるようにリップのレシピ画像を表示部８２に表示する。
【０１９０】
図４１のリップのレシピ画像においては、リップレシピ４１０がリップのメイクにおける具体的なリップを塗る方向を示す矢印が付されている。
【０１９１】
また、コメント欄３０１には、「唇の横幅が広く上下ともに厚いので、唇の中央を濃く、唇の上下の輪郭をコンシーラでぼかしましょう。上下の唇の厚みが１：１．５くらいになるようにリップライナで上唇の山から口角の底辺から口角へとつないで形を整えてからリップを塗ります。口角は決して下げないように気を付けましょう。」と記載されており、バランス評価結果に基づいた、リップのメイクのポイントが示されている。
【０１９２】
以上の処理により、利用者の顔画像におけるパーツ毎のメイクの方法が、利用者が次の処理を進めるとき操作するボタンなどの操作部８６が操作されるタイミングで順次、手順を示すように表示されていく。このため、利用者は、それぞれのベストバランス顔画像に近付くようなメイクを、パーツ毎に表示される化粧のレシピ画像を見ながら順番に進めるだけで、自らの顔にベストバランス顔画像に近い印象を与える化粧を容易に施すことが可能となる。
【０１９３】
尚、各パーツのメイクに関するレシピを表示する処理は、上述した順序に限られるものではなく、その他の順序で表示するようにしてもよい。また、操作ボタンの操作により、直前のレシピの表示に戻るようにし、直前のパーツのレシピの表示に戻せるようにしてもよい。
【０１９４】
ここで、図１３のフローチャートの説明に戻る。
【０１９５】
ステップＳ２１において、データベース管理部９６は、通信部８５を制御して、上述した一連の処理により、端末内データベース１３１に格納された、新規のバランス顔情報１５２、およびレシピ表示用情報１５３を読み出し、利用者情報１５１と併せて、ネットワーク３３を介して、サーバ装置３１に送信する。
【０１９６】
このとき、サーバ装置３１の制御部５１は、通信部５４を制御して、送信されてきたバランス顔情報１５２、およびレシピ表示用情報１５３を、利用者情報１５１と共に受信させる。そして、制御部５１は、データベース管理部６１を制御して、記憶部５３のサーバ内データベース１１１の利用者バランス顔情報２３２、およびレシピ表示用更新情報２３３として、利用者管理情報２３１に登録される利用者情報２４１と対応付けて登録する。
【０１９７】
以上の処理により、利用者は、タブレット状の端末装置３２を利用して、自らの顔画像を撮像するのみで、ベストバランス顔画像に近付けるようなメイクをするためのレシピ画像を見ながら、ベストバランス顔画像に近いメイクを実現することが可能となる。また、肌色についても考慮されたメイクを実現することができるので、日焼けなどにより肌の色が濃くなっているような場合には、肌色を白くするようなメイクを実現するようなレシピとさせるようにしてもよいし、体調不良などで顔色がすぐれない状態でも、その状態を見た目に認識できないようにするようなメイクを実現することも可能となる。
【０１９８】
尚、ベストバランス顔画像は、顔画像を構成する各パーツの大きさと配置が、様々な理論に基づいて設定される顔画像であってよく、例えば、著名なメイクアップアーティストなどの理論に基づいた条件で特定される顔画像とするようにしてもよい。また、ベストバランス顔画像は、利用者が好む俳優や歌手などの有名人の顔画像とするようにしてもよい。また、複数の著名なメイクアップアーティストが推奨するメイクを選択できるようにしてもよいし、複数のベストバランス顔画像から、いずれかを選択できるようにしてもよい。
【０１９９】
また、メイクに使用する色合いなどについては、これから利用者が出かける目的地や季節等に応じたものとするようにしてもよく、例えば、結婚式、葬儀、パーティ、春、夏、秋、冬などに応じて色合いや濃さに変化を加えたバリエーションを設定して選択できるようにしてもよい。
【０２００】
さらに、メイクに使用する化粧品メーカに応じて使用される具体的な商品やその型番等を紹介するようにしてもよいし、新商品などを優先的に利用したメイクを設定するようにしてもよい。
【０２０１】
また、以上においては、一連の処理を端末装置３２が単独で実現するようにする例について説明してきたが、利用者の顔画像を撮像した後は、サーバ装置３１が、利用者の顔画像に基づいて、バランス評価処理を実行し、レシピ画像を生成して、端末装置３２に順次供給して表示させるようにしてもよい。
【０２０２】
さらに、一度、レシピ表示用情報１５３が生成されている場合については、端末装置３２、または、ネットワーク３３を介してサーバ装置３１のいずれかが、利用者を特定し、対応するレシピ表示用情報１５３を読み出して端末装置３２に供給し、レシピ画像を表示するのみの処理とするようにしてもよい。
【０２０３】
また、以上においては、ステップＳ１７の処理であるバランス評価処理について、その処理内容を表示する例について説明してきたが、バックグランド処理として、表示部８２には一切表示されないようにしてもよい。
【０２０４】
さらに、メイクをするためのレシピ画像については、所定の時間間隔で順次パーツ毎に切り替えて表示するようにしてもよいし、操作ボタンなどからなる操作部８６が操作される度に、パーツが切り替えられてレシピ画像が表示されるようにしてもよく、操作部８６が操作される度にパーツが切り替えられてレシピ画像が表示されるようにすることで、利用者がメイクするタイミングに応じて表示することが可能となる。
【０２０５】
＜ソフトウェアにより実行させる例＞
ところで、上述した一連の処理は、ハードウェアにより実行させることもできるが、ソフトウェアにより実行させることもできる。一連の処理をソフトウェアにより実行させる場合には、そのソフトウェアを構成するプログラムが、専用のハードウェアに組み込まれているコンピュータ、または、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどに、記録媒体からインストールされる。
【０２０６】
図４２は、汎用のパーソナルコンピュータの構成例を示している。このパーソナルコンピュータは、CPU(Central Processing Unit)１００１を内蔵している。CPU１００１にはバス１００４を介して、入出力インタ-フェイス１００５が接続されている。バス１００４には、ROM(Read Only Memory)１００２およびRAM(Random Access Memory)１００３が接続されている。
【０２０７】
入出力インタ-フェイス１００５には、ユーザが操作コマンドを入力するキーボード、マウスなどの入力デバイスよりなる入力部１００６、処理操作画面や処理結果の画像を表示デバイスに出力する出力部１００７、プログラムや各種データを格納するハードディスクドライブなどよりなる記憶部１００８、LAN（Local Area Network）アダプタなどよりなり、インターネットに代表されるネットワークを介した通信処理を実行する通信部１００９が接続されている。また、磁気ディスク（フレキシブルディスクを含む）、光ディスク（CD-ROM(Compact Disc-Read Only Memory)、DVD(Digital Versatile Disc)を含む）、光磁気ディスク（ＭＤ(Mini Disc)を含む）、もしくは半導体メモリなどのリムーバブルメディア１０１１に対してデータを読み書きするドライブ１０１０が接続されている。
【０２０８】
CPU１００１は、ROM１００２に記憶されているプログラム、または磁気ディスク、光ディスク、光磁気ディスク、もしくは半導体メモリ等のリムーバブルメディア１０１１ら読み出されて記憶部１００８にインストールされ、記憶部１００８からRAM１００３にロードされたプログラムに従って各種の処理を実行する。RAM１００３にはまた、CPU１００１が各種の処理を実行する上において必要なデータなども適宜記憶される。
【０２０９】
以上のように構成されるコンピュータでは、CPU１００１が、例えば、記憶部１００８に記憶されているプログラムを、入出力インタフェース１００５及びバス１００４を介して、RAM１００３にロードして実行することにより、上述した一連の処理が行われる。
【０２１０】
コンピュータ（CPU１００１）が実行するプログラムは、例えば、パッケージメディア等としてのリムーバブルメディア１０１１に記録して提供することができる。また、プログラムは、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の伝送媒体を介して提供することができる。
【０２１１】
コンピュータでは、プログラムは、リムーバブルメディア１０１１をドライブ１０１０に装着することにより、入出力インタフェース１００５を介して、記憶部１００８にインストールすることができる。また、プログラムは、有線または無線の伝送媒体を介して、通信部１００９で受信し、記憶部１００８にインストールすることができる。その他、プログラムは、ROM１００２や記憶部１００８に、あらかじめインストールしておくことができる。
【０２１２】
なお、コンピュータが実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであっても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで処理が行われるプログラムであっても良い。
【０２１３】
尚、図４２におけるCPU１００１が、制御部８３に、入力部１００６，出力部１００７が撮像部８１、および操作部８６に、通信部１００９が通信部８５にそれぞれ対応するものである。
【０２１４】
また、本明細書において、システムとは、複数の構成要素（装置、モジュール（部品）等）の集合を意味し、すべての構成要素が同一筐体中にあるか否かは問わない。したがって、別個の筐体に収納され、ネットワークを介して接続されている複数の装置、及び、１つの筐体の中に複数のモジュールが収納されている１つの装置は、いずれも、システムである。
【０２１５】
なお、本開示の実施の形態は、上述した実施の形態に限定されるものではなく、本開示の要旨を逸脱しない範囲において種々の変更が可能である。
【０２１６】
例えば、本開示は、１つの機能をネットワークを介して複数の装置で分担、共同して処理するクラウドコンピューティングの構成をとることができる。
【０２１７】
また、上述のフローチャートで説明した各ステップは、１つの装置で実行する他、複数の装置で分担して実行することができる。
【０２１８】
さらに、１つのステップに複数の処理が含まれる場合には、その１つのステップに含まれる複数の処理は、１つの装置で実行する他、複数の装置で分担して実行することができる。
【０２１９】
尚、本開示は、以下のような構成も取ることができる。
＜１＞  利用者の顔画像を撮像する撮像部と、
前記利用者の顔画像を、前記利用者の顔画像を構成するパーツが最適な大きさで、最適な位置に配置された最適顔画像に近付けて見えるようにする、前記利用者の顔に施すべき化粧を設定する化粧設定部とを含む
情報処理装置。
＜２＞  前記最適顔画像は、前記利用者の顔画像を構成する前記パーツが、それぞれ所定の大きさで、かつ、所定の位置に配置された顔画像である
＜１＞に記載の情報処理装置。
＜３＞  前記最適顔画像は、複数の人物の顔画像における前記パーツが、平均的な大きさで、かつ、平均的な位置に配置された顔画像である
＜２＞に記載の情報処理装置。
＜４＞  前記最適顔画像は、前記パーツが、所定の理論に基づいて設定される、大きさおよび位置に配置される顔画像である
＜２＞に記載の情報処理装置。
＜５＞  前記最適顔画像は、前記パーツが、所定の人物の顔画像に基づいて設定される、大きさ、および位置に配置される顔画像である
＜２＞に記載の情報処理装置。
＜６＞  前記利用者の顔画像の前記パーツを認識するための特徴点を検出する特徴量検出部と、
前記特徴量に基づいて、前記パーツを認識し、前記最適顔画像に対する前記利用者の顔画像のパーツ毎のずれをスコア化することにより評価する評価部とをさらに含み、
前記化粧設定部は、前記評価部の評価結果に基づいて、前記利用者の顔画像を、前記利用者の顔画像を構成するパーツが最適な大きさで、最適な位置に配置された最適顔画像に近付けて見えるようにする、前記利用者の顔に施すべき化粧を設定する
＜１＞乃至＜５＞のいずれかに記載の情報処理装置。
＜７＞  前記化粧設定部は、前記利用者の顔画像に対して、様々に化粧を変化させて施した顔画像を生成し、
前記評価部が、前記様々に化粧を変化させて施した顔画像と、前記最適顔画像との、それぞれの前記パーツのずれをスコア化した評価結果の、前記スコアが最小となる化粧を、前記利用者の顔に施すべき化粧として設定する
＜６＞に記載の情報処理装置。
＜８＞  前記利用者の顔画像の肌色を分析する分析部をさらに含み、
前記化粧設定部は、前記分析部により分析された色分析結果と、前記評価結果とに基づいて、前記利用者の顔画像を、前記利用者の顔画像を構成するパーツが最適な大きさで、最適な位置に配置された最適顔画像に近付けて見えるようにする、前記利用者の顔に施すべき化粧を設定する
＜７＞に記載の情報処理装置。
＜９＞  設定した前記化粧の手順を示す画像をパーツ毎のレシピ画像として生成するレシピ画像生成部をさらに含む
＜１＞乃至＜８＞のいずれかに記載の情報処理装置。
＜１０＞  前記レシピ画像生成部は、前記化粧設定部により設定された前記レシピ画像を、前記パーツ毎に順次表示する
＜９＞に記載の情報処理装置。
＜１１＞  前記利用者の顔画像、および、前記利用者の顔画像に基づいて設定された化粧に対応する前記レシピ画像を、前記利用者を識別する情報に対応付けてデータベースに登録する登録部をさらに含む
＜９＞に記載の情報処理装置。
＜１２＞  前記利用者の顔画像、および、前記利用者の顔画像に基づいて設定された化粧に対応する前記レシピ画像を、前記利用者を識別する情報に対応付けて、外部のサーバ装置に送信し、データベースとして登録させる通信部をさらに含む
＜９＞に記載の情報処理装置。
＜１３＞  利用者の顔画像を取得し、
前記利用者の顔画像を、前記利用者の顔画像を構成するパーツが最適な大きさで、最適な位置に配置された最適顔画像に近付けて見えるようにする、前記利用者の顔に施すべき化粧を設定するステップを含む
情報処理方法。
＜１４＞  利用者の顔画像を撮像させる撮像部と、
前記利用者の顔画像を、前記利用者の顔画像を構成するパーツが最適な大きさで、最適な位置に配置された最適顔画像に近付けて見えるようにする、前記利用者の顔に施すべき化粧を設定する化粧設定部と
してコンピュータを機能させるプログラム。
【符号の説明】
【０２２０】
１１  情報処理システム，  ３１  サーバ装置，  ３２，３２−１乃至３２−ｎ  端末装置，  ３３  ネットワーク，  ５１  制御装置，  ５２  通信部，  ５３  記憶部，  ６１  データベース管理部，  ８１  撮像部，  ８２  表示部，  ８３  制御部，  ８４  記憶部，  ８５  通信部，  ８６  操作部，  ９１  特徴点抽出部，  ９２  バランス評価分析部，  ９３  メイク設定部，  ９４  色分析部，  ９５  レシピ画像表示制御部，  ９６  データベース管理部，  １１１  サーバ内データベース，  １３１  端末内データベース
【図１】
2018077766.tif 000003
【図２】
2018077766.tif 000004
【図３】
2018077766.tif 000005
【図４】
2018077766.tif 000006
【図５】
2018077766.tif 000007
【図６】
2018077766.tif 000008
【図７】
2018077766.tif 000009
【図８】
2018077766.tif 000010
【図９】
2018077766.tif 000011
【図１０】
2018077766.tif 000012
【図１１】
2018077766.tif 000013
【図１２】
2018077766.tif 000014
【図１３】
2018077766.tif 000015
【図１４】
2018077766.tif 000016
【図１５】
2018077766.tif 000017
【図１６】
2018077766.tif 000018
【図１７】
2018077766.tif 000019
【図１８】
2018077766.tif 000020
【図１９】
2018077766.tif 000021
【図２０】
2018077766.tif 000022
【図２１】
2018077766.tif 000023
【図２２】
2018077766.tif 000024
【図２３】
2018077766.tif 000025
【図２４】
2018077766.tif 000026
【図２５】
2018077766.tif 000027
【図２６】
2018077766.tif 000028
【図２７】
2018077766.tif 000029
【図２８】
2018077766.tif 000030
【図２９】
2018077766.tif 000031
【図３０】
2018077766.tif 000032
【図３１】
2018077766.tif 000033
【図３２】
2018077766.tif 000034
【図３３】
2018077766.tif 000035
【図３４】
2018077766.tif 000036
【図３５】
2018077766.tif 000037
【図３６】
2018077766.tif 000038
【図３７】
2018077766.tif 000039
【図３８】
2018077766.tif 000040
【図３９】
2018077766.tif 000041
【図４０】
2018077766.tif 000042
【図４１】
2018077766.tif 000043
【図４２】
2018077766.tif 000044