(57)【要約】【課題】利用者の顔画像と目標顔画像との感性評価項目の類似性に基づき、利用者が美容手法を施した結果、目標顔画像にどの程度近づいたかを直観的に認識することが可能な、美容支援装置を提供する。【解決手段】第１の目標顔画像および利用者の顔画像を取得する顔画像取得部Ｐ１と、利用者の入力操作にしたがって、少なくとも１つの感性評価項目を選択する評価項目選択部Ｐ２と、この評価項目選択部により選択された前記感性評価項目において類似度の高い状態にある前記第２の目標顔画像の候補顔画像（利用者の顔画像に対して種々の美容手法を適用した合成顔画像）を提示するシミュレーション部Ｐ３と、利用者の前記候補顔画像の選択操作にしたがって、美容手法を抽出すべき利用者の前記第２の目標顔画像を特定して、該第２の目標顔画像に含まれる美容手順および必要な美容品を提示する美容手法提示部Ｐ４と、を備えた構成とする。【選択図】図２
2016081441.tif 000002
【特許請求の範囲】
【請求項１】
利用者が目標とする第１の目標顔画像を設定し、この第１の目標顔画像と類似度の高い状態にある利用者の合成顔画像である第２の目標顔画像に基づいて美容手法を提示する美容支援装置であって、
前記第１の目標顔画像および利用者の顔画像を取得する顔画像取得部と、
利用者の入力操作にしたがって、少なくとも１つの感性評価項目を選択する評価項目選択部と、
この評価項目選択部により選択された前記感性評価項目において類似度の高い状態にある前記第２の目標顔画像の候補顔画像を提示するシミュレーション部と、
利用者の前記候補顔画像の選択操作にしたがって、美容手法を抽出すべき利用者の前記第２の目標顔画像を特定して、該第２の目標顔画像に含まれる美容手順および必要な美容品を提示する美容手法提示部と、
を備えたことを特徴とする美容支援装置。
【請求項２】
さらに、候補顔画像編集部を備え、前記シミュレーション部によって提示された前記候補顔画像を利用者の操作入力によって編集可能としたことを特徴とする請求項１記載の美容支援装置。
【請求項３】
利用者の操作入力画面上に美容手法の適用前の利用者の顔画像と前記感性評価項目に対応した評価値を表示させることを特徴とする請求項１記載の美容支援装置。
【請求項４】
利用者の操作入力画面上に美容手法の適用前の利用者の顔画像、前記第１の目標顔画像、前記第２の目標顔画像のうち、少なくとも２つの画像を並べて表示させることを特徴とする請求項１記載の美容支援装置。
【請求項５】
前記候補顔画像編集部による前記候補顔画像の編集時、美容手法の適用前の利用者の顔画像、前記第１の目標顔画像、前記第２の目標顔画像のうち、少なくとも１つ顔画像の編集部位にかかる拡大画像を表示させることを特徴とする請求項２記載の美容支援装置。
【請求項６】
利用者の操作入力画面上に美容手法の適用前の利用者の顔画像、前記第１の目標顔画像、前記第２の目標顔画像のサムネイル画像を表示させることを特徴とする請求項１から請求項５のいずれかに記載の美容支援装置。
【請求項７】
利用者が目標とする第１の目標顔画像を設定し、この第１の目標顔画像と類似度の高い状態にある利用者の合成顔画像である第２の目標顔画像に基づいて美容手法を提示する美容支援システムであって、
少なくとも撮像部および表示部を備えた利用者端末と、
この利用者端末とネットワークを介して接続された情報処理装置と、
を有し、
前記情報処理装置が、
前記第１の目標顔画像および利用者の顔画像を取得する顔画像取得部と、
利用者の入力操作にしたがって、少なくとも１つの感性評価項目を選択する評価項目選択部と、
この評価項目選択部により選択された前記感性評価項目において類似度の高い状態にある前記第２の目標顔画像の候補顔画像を提示するシミュレーション部と、
利用者の前記候補顔画像の選択操作にしたがって、美容手法を抽出すべき利用者の前記第２の目標顔画像を特定して、該第２の目標顔画像に含まれる美容手順および必要な美容品を提示する美容手法提示部と、
を備えたことを特徴とする美容支援システム。
【請求項８】
利用者が目標とする第１の目標顔画像を設定し、この第１の目標顔画像と類似度の高い状態にある利用者の合成顔画像である第２の目標顔画像に基づいて美容手法を提示する処理を情報処理装置に行わせる美容支援方法であって、
前記第１の目標顔画像および利用者の顔画像を取得するステップと、
利用者の入力操作にしたがって、少なくとも１つの感性評価項目を選択するステップと、このステップにより選択された前記感性評価項目において類似度の高い状態にある前記第２の目標顔画像の候補顔画像を提示するステップと、
利用者の前記候補顔画像の選択操作にしたがって、美容手法を抽出すべき利用者の前記第２の目標顔画像を特定して、該第２の目標顔画像に含まれる美容手順および必要な美容品を提示するステップと、
を備えたことを特徴とする美容支援方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、被化粧者などの利用者に対して、美容方法に関するアドバイスを行う美容支援装置、美容支援システムおよび美容支援方法に関するものである。
【背景技術】
【０００２】
近年、化粧品の種類や用途が多岐にわたっている。化粧品そのものは従来の販売システムである対面販売に加え、スーパーマーケット、コンビニ等によって大量に販売されており、被化粧者は様々な化粧品をより簡易かつ大量に入手可能になっている。このような多品種の化粧品に対して、被化粧者は化粧品に添付される製品情報やファッション雑誌やインターネット等から化粧品やメイクアップ手法に関する情報を入手し、自らが化粧を施す際に活用している。しかし、このような情報のみでは、例えば実際に施した化粧が被化粧者の目標とするイメージに近いものか否かを適切に判断することはできない。
【０００３】
これに対して、特許文献１には、顧客の顔画像を顧客から受信し、受信した該顔画像に仮想的にメイクアップを施したシミュレーション顔画像及びそのシミュレーション顔画像と同一のメイクアップを現実に実現するための商品及び／又は方法に関する情報を、該顧客に送信するメイクアップアドバイスの提供方法が開示されている。具体的には、シミュレーションの条件を、顧客の商品購入履歴、システム利用履歴又は問診への入力内容に応じて、決定する技術が記載されている。
【０００４】
また、特許文献２には、ネットワークＮを介して顧客にメイクアップに関するアドバイスを提供するメイクアップアドバイスの提供方法であって、顧客Ｃの顔画像を顧客から受信し、受信した該顔画像に仮想的にメイクアップを施したシミュレーション顔画像及びそのシミュレーション顔画像と同一のメイクアップを現実に実現するための商品及び／又は方法に関する情報を、該顧客に送信する技術が開示されている。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２００２−０９２１３２号公報
【特許文献２】特開２００２−１３２９１６号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
特許文献１、２記載の技術によれば、顧客の顔画像を顧客から受信したのち、モデルなどにメイクアップを施した標準的なメイクパターンを提示し、顧客がなりたいと希望する印象に近いメイクパターンを選択させて、そのメイクアップを施したシミュレーション画像を生成し、同一のメイクアップを実現するための商品や方法を通知するものである。この場合、顧客の顔画像と標準的なメイクパターンが施されるモデルの顔画像とが類似している場合は、結果として、なりたいと希望する印象に近いシミュレーション画像が得られる。しかしながら、実際、両者の顔画像は類似しない場合が多く、単にモデルに施された標準的なメイクパターンを適用するだけでは、両者の雰囲気が異なってしまう（人の感性として両者の類似度が低い）ことがあり、しかもこの異なる程度を直観的に把握することは困難であるという課題があった。
本発明は、このような従来技術の課題を解決するべく案出されたものであり、その主な目的は、利用者の顔画像と目標顔画像との感性評価項目の類似性に基づき、利用者が美容手法を施した結果、目標顔画像にどの程度近づいたかを直観的に認識することが可能な、美容支援装置、美容支援システムおよび美容支援方法を提供することにある。
【課題を解決するための手段】
【０００７】
本発明の美容支援装置は、利用者が目標とする第１の目標顔画像を設定し、この第１の目標顔画像と類似度の高い状態にある利用者の合成顔画像である第２の目標顔画像に基づいて美容手法を提示する美容支援装置であって、前記第１の目標顔画像および利用者の顔画像を取得する顔画像取得部と、利用者の入力操作にしたがって、少なくとも１つの感性評価項目を選択する評価項目選択部と、この評価項目選択部により選択された前記感性評価項目において類似度の高い状態にある前記第２の目標顔画像の候補顔画像を提示するシミュレーション部と、利用者の前記候補顔画像の選択操作にしたがって、美容手法を抽出すべき利用者の前記第２の目標顔画像を特定して、該第２の目標顔画像に含まれる美容手順および必要な美容品を提示する美容手法提示部と、を備えた構成とする。
【０００８】
また、本発明の美容支援システムは、利用者が目標とする第１の目標顔画像を設定し、この第１の目標顔画像と類似度の高い状態にある利用者の合成顔画像である第２の目標顔画像に基づいて美容手法を提示する美容支援システムであって、少なくとも撮像部および表示部を備えた利用者端末と、この利用者端末とネットワークを介して接続された情報処理装置と、を有し、前記情報処理装置が、前記第１の目標顔画像および利用者の顔画像を取得する顔画像取得部と、利用者の入力操作にしたがって、少なくとも１つの感性評価項目を選択する評価項目選択部と、この評価項目選択部により選択された前記感性評価項目において類似度の高い状態にある前記第２の目標顔画像の候補顔画像を提示するシミュレーション部と、利用者の前記候補顔画像の選択操作にしたがって、美容手法を抽出すべき利用者の前記第２の目標顔画像を特定して、該第２の目標顔画像に含まれる美容手順および必要な美容品を提示する美容手法提示部と、を備えた構成とする。
また、本発明の美容支援方法は、利用者が目標とする第１の目標顔画像を設定し、この第１の目標顔画像と類似度の高い状態にある利用者の合成顔画像である第２の目標顔画像に基づいて美容手法を提示する処理を情報処理装置に行わせる美容支援方法であって、前記第１の目標顔画像および利用者の顔画像を取得するステップと、利用者の入力操作にしたがって、少なくとも１つの感性評価項目を選択するステップと、このステップにより選択された前記感性評価項目において類似度の高い状態にある前記第２の目標顔画像の候補顔画像を提示するステップと、利用者の前記候補顔画像の選択操作にしたがって、美容手法を抽出すべき利用者の前記第２の目標顔画像を特定して、該第２の目標顔画像に含まれる美容手順および必要な美容品を提示するステップと、を備えた構成とする。
【発明の効果】
【０００９】
本発明によれば、利用者の顔画像に対して互いに異なる美容手法を適用した候補顔画像と目標顔画像の類似度に基づいて、より目標顔画像に近づく美容手法を取得することが可能となり、特に、利用者の顔画像と目標顔画像との相違を人の感性に基づく評価項目を参照しながら、第２の目標顔画像を特定できるので、利用者の満足度が高い美容手法を取得することができる。
【図面の簡単な説明】
【００１０】
【図１】本発明の第１実施形態に係る美容支援装置の構成を示すブロック構成図
【図２】本発明の第１実施形態に係る美容支援装置１において美容手法を提示する過程を説明するフローチャート
【図３】本人画像および第１の目標顔画像取得部のフローチャート
【図４】本人画像および第１の目標顔画像取得部のＵＩ画面イメージ図
【図５】画像取得部のプログラムモジュールＰ１のフローチャート
【図６】撮影モードのＵＩ画面イメージ図
【図７】撮影モードで撮影された画像の利用確認のＵＩ画面イメージ図
【図８】選択モードのＵＩ画面イメージ図
【図９】評価項目選択部のフローチャート
【図１０】評価項目選択部のＵＩ画面イメージ図
【図１１】シミュレーション部のフローチャート
【図１２】第２の目標顔画像の候補顔画像提示のＵＩ画面イメージ図
【図１３】選択評価項目を有するレーダチャートの説明図
【図１４】第２の目標顔画像の候補顔画像の一覧表示のＵＩ画面イメージ図
【図１５】候補顔画像の編集モードのＵＩ画面イメージ図
【図１６】編集中の候補顔画像と美容手法適用前の本人画像の全体図比較時のＵＩ画面イメージ図
【図１７】編集中の候補顔画像と美容手法適用前の本人画像の特定部位拡大図比較時のＵＩ画面イメージ図
【図１８】編集中の候補顔画像と第１の目標顔画像の全体図比較時のＵＩ画面イメージ図
【図１９】編集中の候補顔画像と第１の目標顔画像の特定部位拡大図比較時のＵＩ画面イメージ図
【図２０】美容手法提示部のフローチャート
【図２１】美容手法提示部のＵＩ画面イメージ図
【図２２】現在の本人画像の全体図拡大表示時のＵＩ画面イメージ図
【図２３】現在の本人画像の特定部位拡大図拡大表示時のＵＩ画面イメージ図
【図２４】現在の本人画像と第２の目標顔画像の全体図比較時のＵＩ画面イメージ図
【図２５】現在の本人画像と第２の目標顔画像の特定部位拡大図比較時のＵＩ画面イメージ図
【図２６】現在の本人画像と第１の目標顔画像の全体図比較時のＵＩ画面イメージ    図
【図２７】現在の本人画像と第１の目標顔画像の特定部位拡大図比較時のＵＩ画面イメージ図
【発明を実施するための形態】
【００１１】
前記課題を解決するためになされた第１の発明は、利用者が目標とする第１の目標顔画像を設定し、この第１の目標顔画像と類似度の高い状態にある利用者の合成顔画像である第２の目標顔画像に基づいて美容手法を提示する美容支援装置であって、前記第１の目標顔画像および利用者の顔画像を取得する顔画像取得部と、利用者の入力操作にしたがって、少なくとも１つの感性評価項目を選択する評価項目選択部と、この評価項目選択部により選択された前記感性評価項目において類似度の高い状態にある前記第２の目標顔画像の候補顔画像を提示するシミュレーション部と、利用者の前記候補顔画像の選択操作にしたがって、美容手法を抽出すべき利用者の前記第２の目標顔画像を特定して、該第２の目標顔画像に含まれる美容手順および必要な美容品を提示する美容手法提示部と、を備えた構成とする。
【００１２】
これによると、利用者の顔画像に対して互いに異なる美容手法を適用した候補顔画像と目標顔画像の類似度に基づいて、より目標顔画像に近づく美容手法を取得することが可能となり、特に、利用者の顔画像と目標顔画像との相違を人の感性に基づく評価項目を参照しながら、第２の目標顔画像を特定できるので、利用者の満足度が高い美容手法を取得することができる。
【００１３】
また、第２の発明は、さらに、候補顔画像編集部を備え、前記シミュレーション部によって提示された前記候補顔画像を利用者の操作入力によって編集可能にする構成とする。
【００１４】
これによると、選択された候補顔画像に対して、利用者が手動で編集できるようになるため、利用者の意図する第２の目標顔画像を設定することができる。
【００１５】
また、第３の発明は、利用者の操作入力画面上に美容手法の適用前の利用者の顔画像と前記感性評価項目に対応した評価値を表示させる構成とする。
【００１６】
これによると、前記感性評価項目に対応した評価値によって、利用者の顔画像と第１の目標画像との相違を客観的に把握することができる。
【００１７】
また、第４の発明は、利用者の操作入力画面上に美容手法の適用前の利用者の顔画像、前記第１の目標顔画像、前記第２の目標顔画像のうち、少なくとも２つの画像を並べて表示させる構成とする。
【００１８】
これによると、最終的な美容手法を取得する過程で、利用者が美容手法の適用前の利用者の顔画像、前記第１の目標顔画像、前記第２の目標顔画像を見比べながら、美容方法のシミュレーションを行うことができ、意図しない美容手法の取得が防止される。
【００１９】
また、第５の発明は、前記候補顔画像編集部による前記候補顔画像の編集時、美容手法の適用前の利用者の顔画像、前記第１の目標顔画像、前記第２の目標顔画像のうち、少なくとも１つ顔画像の編集部位にかかる拡大画像を表示させる構成とする。
【００２０】
これによると、最終的な美容手法を取得する過程で、編集部位にかかる拡大画像を参照しながら、より詳細な美容方法のシミュレーションを行うことができる。
【００２１】
また、第６の発明は、利用者の操作入力画面上に美容手法の適用前の利用者の顔画像、前記第１の目標顔画像、前記第２の目標顔画像のサムネイル画像を表示させる構成とする。
【００２２】
これによると、美容手法を取得する過程で、美容手法の適用前の利用者の顔画像、前記第１の目標顔画像、前記第２の目標顔画像の各サムネイル画像が配置されるため、利用者が選択した各顔画像の選択状態を常に見直すことができる。
また、第７の発明は、利用者が目標とする第１の目標顔画像を設定し、この第１の目標顔画像と類似度の高い状態にある利用者の合成顔画像である第２の目標顔画像に基づいて美容手法を提示する美容支援システムであって、少なくとも撮像部および表示部を備えた利用者端末と、この利用者端末とネットワークを介して接続された情報処理装置と、を有し、前記情報処理装置が、前記第１の目標顔画像および利用者の顔画像を取得する顔画像取得部と、利用者の入力操作にしたがって、少なくとも１つの感性評価項目を選択する評価項目選択部と、この評価項目選択部により選択された前記感性評価項目において類似度の高い状態にある前記第２の目標顔画像の候補顔画像を提示するシミュレーション部と、利用者の前記候補顔画像の選択操作にしたがって、美容手法を抽出すべき利用者の前記第２の目標顔画像を特定して、該第２の目標顔画像に含まれる美容手順および必要な美容品を提示する美容手法提示部と、を備えた構成とする。
【００２３】
これによると、第１の発明と同様に、利用者の顔画像に対して互いに異なる美容手法を適用した候補顔画像と目標顔画像の類似度に基づいて、より目標顔画像に近づく美容手法を取得することが可能となる。
【００２４】
また、第８の発明は、利用者が目標とする第１の目標顔画像を設定し、この第１の目標顔画像と類似度の高い状態にある利用者の合成顔画像である第２の目標顔画像に基づいて美容手法を提示する処理を情報処理装置に行わせる美容支援方法であって、前記第１の目標顔画像および利用者の顔画像を取得するステップと、利用者の入力操作にしたがって、少なくとも１つの感性評価項目を選択するステップと、このステップにより選択された前
記感性評価項目において類似度の高い状態にある前記第２の目標顔画像の候補顔画像を提示するステップと、利用者の前記候補顔画像の選択操作にしたがって、美容手法を抽出すべき利用者の前記第２の目標顔画像を特定して、該第２の目標顔画像に含まれる美容手順および必要な美容品を提示するステップと、を備えた構成とする。
【００２５】
これによると、第１の発明と同様に、利用者の顔画像に対して互いに異なる美容手法を適用した候補顔画像と目標顔画像の類似度に基づいて、より目標顔画像に近づく美容手法を取得することが可能となる。
【００２６】
図１は、本発明の第１実施形態に係る美容支援装置１の概略構成を示すブロック構成図である。以降、図１を用いて第１実施形態の美容支援装置１について、まずは構成と機能について説明する。なお、本実施形態では、利用者として自ら化粧を施す被化粧者が本装置を利用する場合を例に説明するが、化粧以外の美容手法においても、同様の構成を採用することができる。
【００２７】
図１において、美容支援装置１は、撮像部２と画像入力部３と記憶部４と表示部５とユーザインタフェース部６と全体制御部７と画像処理部８で構成されている。美容支援装置１は、アプリケーションプログラムを情報処理装置としてのＰＣに予め導入して専用の装置として構成する他、汎用ＯＳ（Operating System）上で動作するアプリケーションプログラムを記録媒体に記録して、またネットワークを介して、ユーザに提供されるようにしてもよい。その場合、近年、普及が著しいタブレット端末やスマートフォンといった端末を用いることができる。
【００２８】
撮像部２は、例えばＣＣＤ（Charge Coupled Device Image Sensor）やＣＭＯＳ（Complementary Metal Oxide Semiconductor）で構成された撮像素子を備えており、例えば１５ｆｐｓ（Frames Per Second）の周期で画像を撮像して画像データを出力する。撮像部２で撮像された画像データに対して、例えば撮像部２に内蔵された画像処理回路（図示せず）は、前処理としてデモザイク、色補正、ホワイトバランス補正、γ補正等の公知の画像処理を施す機能が搭載されている。
【００２９】
その後、前処理後の画像データに対し、記憶部４に格納されているデータを参照して、画像処理部８によって種々の処理が実行される。なお、画像処理の対象となる画像データは、画像処理部８で所定の処理を施された後、図示しないメモリに一旦格納して、次の構成要素を起動するようにしてもよいし、各構成要素がパイプラインとして動作するようにハードウェアやソフトウェアを構成してもよい。
【００３０】
画像入力部３は、第１の目標顔画像および利用者の顔画像を取得する顔画像取得部に相当し、利用者が可搬性記憶媒体やインターネット等を経由して、利用者自身の顔画像や第３者の顔をディジタルカメラ等で撮影した画像や女優等の顔写真を検索した画像を取り込む。
【００３１】
記憶部４は、美容支援装置１を起動するためのアプリケーションプログラムや被化粧者のデータが格納され、特に、美容支援装置１を汎用ＯＳ上で動作させる場合のアプリケーションプログラムが記憶される。記憶部４は、いわゆる大容量記憶装置であるハードディスクドライブや、装置構成上、複数の被化粧者のデータを取り扱うような場合は、ハードディスクドライブを複数台で構成して信頼性やデータ転送の高速化を図ったＲＡＩＤ（Redundant Arrays of Inexpensive Disks）を使用するとよい。
【００３２】
表示部５は、液晶ディスプレイなどで構成され、アプリケーションプログラムによって生成された機能操作画面や画像入力部３を介して取り込んだ顔画像などを閲覧するために
用いられる。また、美容支援装置１にはユーザインタフェース部６が設けられている。ユーザインタフェース部６は具体的にはキーボード、マウス、タッチパネルといった入力デバイスで構成され、被化粧者はユーザインタフェース部６を操作することで、全体制御部７を介して美容支援装置１に指示を与える。この指示の具体例としては、例えば画像の選択指示が挙げられる。
【００３３】
次に、全体制御部７について説明する。美容支援装置１は、上述した各構成要素の動作を制御するハードウェアとして、図示しない演算装置としてのＣＰＵ（Central Processing Unit）またはＭＰＵ（Micro-Processing Unit）、ＡＳＩＣ（Application Specific Integrated Circuit）、ワークメモリ、プログラムメモリ、これらの構成要素間でデータをやり取りするパラレル／シリアルバス等の公知の構成を備えている。
【００３４】
なお、図１に示す機能ブロックの全てをハードウェアによって構成する必要はなく、適宜、上述した演算装置等とこれを動作させるソフトウェアを実装してもよいし、更に、構成要素の全てを、一般的なカメラ付きノートＰＣ（Personal Computer）、スマートフォンやタブレット端末等に実装してもよい。このようなカメラ付きノートＰＣ（Personal Computer）、スマートフォンやタブレット端末等を用いる場合、汎用ＯＳ（Operating System）上で動作するアプリケーションプログラムを記録媒体に記録して、またネットワークを介して、ユーザに提供されるようにしてもよい。
【００３５】
次に、画像処理部８の画像処理機能の概要を説明すると、利用者の顔画像に対して、種々のメイクアップ手法を適用（即ち、シミュレーション）した合成顔画像（以降、「候補顔画像」と呼称する）を数多く生成し、利用者が化粧に先んじて設定した「化粧によってこういう顔にしたい」という第１の目標顔画像との類似度を判定し、類似度が高い候補顔画像（第２の目標顔画像）の生成に使用したメイクアップ手法などの美容手法を抽出する。
【００３６】
図２は、本発明の第１実施形態に係る美容支援装置１において美容手法を提示する過程を説明するフローチャートである。
【００３７】
図２に示すフローチャートは、Ｐ１，Ｐ２，Ｐ３，Ｐ４の４つのプログラムモジュールの実行順に従った流れを表している。
【００３８】
Ｐ１は、画像取得部のプログラムモジュールであり、利用者自身の顔画像を指す本人画像と、利用者が化粧に先んじて「化粧によってこういう顔にしたい」という目標顔画像を指す第１の目標顔画像を取得する画像取得部として機能する。第１実施形態の美容支援装置１は、画像の入力源として撮像部２で撮影された画像や、画像入力部３で取り込まれたあらゆるソースを許容する。
【００３９】
Ｐ２は、評価項目選択部のプログラムモジュールであり、本人画像と第１の目標顔画像（あるいは後述する第２の目標顔画像）との類似度を判定する際の指標となる「人の感性に基づくそれぞれ異なる評価項目」を利用者が選択する評価項目選択部として機能する。以降の説明においては「人の感性に基づくそれぞれ異なる評価項目」を単に「評価項目」と呼称する。
【００４０】
Ｐ３は、シミュレーション部および候補顔画像編集部のプログラムモジュールであり、本人画像に対して、種々のメイクアップ手法を適用（即ち、シミュレーション）した候補顔画像を複数生成し、生成された候補顔画像と、プログラムモジュールＰ２で選択された評価項目に対応したその画像の評価値を候補顔画像ごとに提示するシミュレーション部として機能する。利用者は、シミュレーション部によって提示された候補顔画像の中から、
自身の顔に基づいた「化粧によってこういう顔にしたい」という目標顔画像（以降、「第２の目標顔画像」と呼称する）を選択して決定する。
【００４１】
また、候補顔画像に利用者自身が編集を加えたい場合、候補顔画像編集部によって選択した候補顔画像の編集を可能にする候補顔編集モードへ移行し、提示された候補顔画像をもとに利用者の操作入力によって手動でシミュレーションを行い、第２の目標顔画像を作成する候補顔画像編集部としても機能する。
【００４２】
Ｐ４は、美容手法提示部のプログラムモジュールであり、第２の目標顔画像にあたる候補顔画像の生成に使用した美容手法（化粧品やメイクアップ手順など）を抽出し、この美容手法にかかる美容情報を提示する美容手法提示部として機能する。
【００４３】
以降、図２に図１を併用して、第１実施形態の美容支援装置１の動作について詳細に説明する。なお、説明に際して、重要なポイントについては、都度図面を追加して説明を行う。なお、第１実施形態の美容支援装置１は、表示部５とユーザインタフェース部６とが一体構成されるタッチパネルが実装されたタブレット端末に化粧シミュレーションに係るアプリケーションプログラムが搭載された例を挙げて説明する。
【００４４】
まず、本人画像および第１の目標顔画像取得部について説明する。図３は、画像取得部の詳細フローチャートを示す。
【００４５】
まず、図４に示すＵＩ画面４０を表示し（ＳＴ１０１）、本人画像４１を取得するか、第１の目標顔４２を取得するかを、本人顔ボタン４３または目標顔ボタン４４で利用者が選択する。画像が取得済である場合、本人顔ボタン４３や目標顔ボタン４４の隣に取得された本人画像４１や第１の目標顔４２に対応した顔画像が表示される。ＵＩ画面４０において、本人顔ボタン４３などが選択された場合、図４に示すように、ボタン文字を反転表示させるほか、本人画像４１と本人顔ボタン４３を含むように選択枠（図示せず）などで強調表示するようにしてもよい。
【００４６】
次に、撮像部２を使用して現在の顔画像を取得する（撮影モード）か、撮像部２または画像入力部３で過去に取得された顔画像を利用する（選択モード）かを、撮影モードボタン４５または選択モードボタン４６で利用者が選択する（ＳＴ１０４）。なお、指示ボタン４７は、後述の評価項目のスクロール操作、ＵＩ画面上でのページ変更など各種の操作を実行する際に用いられる。
ここで、撮影モードボタン４５または選択モードボタン４６のいずれかが選択された際に、図５に示すプログラムモジュールＰ１１またはプログラムモジュールＰ１２が呼び出される。
【００４７】
プログラムモジュールＰ１１が呼び出されると、まず、図６のＵＩ画面６０を表示する（ＳＴ１１１）。図６の顔画像６１は、撮像部２で撮影された現在の顔画像である。画像処理部８により顔領域を検出して、実線で示す顔領域枠６２を表示し、その顔領域枠６２が点線で示す撮影用顔枠６３の範囲内であり、かつ一定の大きさ以上であれば撮影可能となる。この撮影を可能にする許容範囲は、図示しない設定画面等を用いて利用者が調整することができる。利用者がカメラのアイコンで表示された撮影ボタン６４を押下した際に撮影された顔画像６１（図４の本人画像４１または第１の目標顔画像４２）を取得する（ＳＴ１１２）。
【００４８】
撮影ボタン６４を押下された後、図７のＵＩ画面７０を表示する（ＳＴ１１３）。図７の撮影顔画像７１は取得された本人画像または第１の目標顔画像である。利用者にこの画像を利用するか確認し、ＹＥＳボタン７２が選択された場合、提示した顔画像を本人顔画
像（または第１の目標顔画像）として取得する。ＮＯボタン７３が選択された場合、図６のＵＩ画面６０を再度表示し撮影モードに移行する（ＳＴ１１４）。
【００４９】
次に、図８を用いて、過去に撮影された顔画像を利用する選択モード（図３のＰ１０２）について説明する。
【００５０】
プログラムモジュールＰ１２が呼び出されると、まず、図８のＵＩ画面８０を表示する（ＳＴ１２１５２１）。図８のＵＩ画面８０の顔画像一覧８１は、画像入力部３から取得された顔画像を所定サイズの画像で表示したものである。利用者が選択した顔画像の周辺に、実線で示す画像選択枠８２が表示される。利用者が決定ボタン８３を押下した際に、画像選択枠８２によって選択されていた顔画像を本人画像または第１の目標顔画像として取得する。
【００５１】
本人画像および第１の目標顔画像がどちらも取得済である場合、評価項目選択部であるプログラムモジュールＰ２に移行可能となる（図３のＳＴ１０２）。画面ＵＩ上では指示ボタン４７が押下された際に、評価項目選択部に移行することになる（ＳＴ１０３）。
【００５２】
次に、評価項目選択部であるプログラムモジュールＰ２の処理について説明する。図９に評価項目選択部であるプログラムモジュールＰ２のフローチャートを示す。
【００５３】
まず、図１０に示すＵＩ画面１００を表示する（ＳＴ２０１）。評価項目１０１の選択肢を提示し利用者が選択する。選択された評価項目１０１は、例えば実線で示す選択枠１０２を用いて強調表示される。
【００５４】
利用者が本人画像または第１の目標顔画像を変更したい場合は、画像再取得ボタン１０３を押下することで、Ｐ１に戻り再度本人画像または第１の目標顔画像を取得することが可能である（ＳＴ２０２）。
【００５５】
年齢や人種等の属性推定を行い、図１０の星記号１０４で示すように、お勧めの評価項目１０１を強調表示しても良い。
【００５６】
次頁ボタン１０５が押下された際、表示していた評価項目１０１以外の選択肢を表示する。同様に、前頁ボタン１０６が押下された際、それまでに表示していた評価項目１０１を再表示する。
【００５７】
なお、評価項目１０１は、利用者自身が新たに追加しても良い。
【００５８】
評価項目１０１の選択数が１つ以上のとき、シミュレーションボタン１０７が押下可能となる（ＳＴ２０３）。シミュレーションボタン１０７が押下された際にＰ３シミュレーション部に移行する（ＳＴ２０４）。
【００５９】
次に、シミュレーション部および候補顔画像編集部のプログラムモジュールＰ３の処理について説明する。図１１にシミュレーション部および候補顔画像編集部のプログラムモジュールＰ３のフローチャートを示す。
【００６０】
まず、図１２に示すＵＩ画面１２０を表示する（ＳＴ３０１）。第２の目標顔画像の候補顔画像１２１を提示し、同時に、美容手法適用前の本人画像１２２と第１の目標画像１２３を表示する。
【００６１】
また、レーダチャート１２４に候補顔画像１２１、美容手法適用前の本人画像１２２、
第１の目標画像１２３の選択中の評価項目１０１（図１０で選択済み）における評価値を示す。
【００６２】
図１３は、レーダチャート１２４の説明図である。図１３に示すように、候補顔画像１２１の評価値を破線、美容手法適用前の本人画像１２２の評価値を１点鎖線、第１の目標画像１２３の評価値を２点鎖線で示す。実際のＵＩ画面１２０では、各画像とその評価値は、色等を使って対応付けると良い。このレーダチャートによれば、感性評価項目に対応した評価値によって、利用者の顔画像と第１の目標画像との相違などを客観的に把握することができる。
【００６３】
図１２に戻って、次候補ボタン１２５が押下された際、表示されている候補顔画像１２１の次に第１の目標画像１２３との類似度が高い候補顔画像１２１を提示する。前候補ボタン１２６が押下された際、それまでに表示していた候補顔画像１２１を再表示する。すなわち、各候補顔画像ごとの評価値に基づき算出された類似度スコアなどを用いて候補顔画像１２１の並び順が制御されるようになっている。
【００６４】
評価項目１０１を変更したい場合は、評価項目選択ボタン１２７を押下することで、プログラムモジュールＰ２に戻り再度、評価項目１０１を選択することが可能である（ＳＴ３０２）。
【００６５】
次に、候補顔画像１２１の一覧表示時のＵＩ画面１４０を図１４に示す。図１２の一覧表示ボタン１２８が押下された際（ＳＴ３０３）、候補顔画像１２１とその画像の選択された評価項目１０１における評価値を示すレーダチャート１２４を一覧表示する（ＳＴ３０４）。
【００６６】
一覧表示した候補顔画像１２１の中から、利用者が選択した候補顔画像１２１を実線で示す画像選択枠１４１等を用いて強調表示する。同時に、美容手法適用前の本人画像１２２と第１の目標画像１２３、選択された候補顔画像１２１と美容手法適用前の本人画像１２２と第１の目標画像１２３の選択された評価項目１０１の評価値を有するレーダチャート１２４を上方へ拡大表示する。決定ボタン１４２が押下された際、図１２で示すＵＩ画面１２０に移行し、選択されていた候補顔画像１２１を提示する（ＳＴ３０５）。そして、ここで選択が確定した候補顔画像１２１が第２の目標画像として設定されることになる。
【００６７】
ここで、提示された候補顔画像１２１をもとに、利用者自身が編集を加え、第２の目標顔を作成することもできる。これにより、選択された候補顔画像１２１に対して、利用者が手動で編集できるようになるため、利用者の意図する第２の目標顔画像を設定することができるようになる。編集処理を実行する場合は、編集モードボタン１２９を押下することで編集作業ができる。編集モードボタン１２９が押下された際（ＳＴ３０６）、図１５から図１９に示すようなＵＩ画面１５０を表示し、編集モードへと移行する（ＳＴ３０７）。なお、図１６から図１９において、図１５と同様の構成については同じ符号を付し、その重複説明については省略する。
【００６８】
図１５において、ＵＩ画面１５０には美容手法適用前の本人画像サムネイル１５１、編集中の候補画像のサムネイル１５２、第１の目標顔画像のサムネイル１５３を左上部に配置して表示する。
【００６９】
利用者が編集中の候補画像のサムネイル１５２を押下した際、実線で示す選択枠１５４のように編集中の候補画像のサムネイル１５２が強調表示され、編集を加える対象となる候補顔画像の全体画像１５５と、点線で示す部位選択枠１５６で表示された編集中の部位
の拡大画像１５７とがＵＩ画面１５０の左下部に配置して表示される。
次に、編集したい部位を部位選択ボタン１５８、拡大された部位の編集したい部分をレイヤボタン１５９で選択する。なお、部位選択ボタン１５８の操作に基づく部位選択枠１５６は、公知の画像認識技術により顔画像の一部分（目、鼻口、眉など）を特定することで、その特定部位を含むように部位選択枠１５６が設定されるようになっている。また、部位選択枠１５６は、利用者がピンチイン、ピンチアウトなどの操作を行って任意に部位選択枠１５６のエリアを設定することもできる。
【００７０】
利用者が図１５に示すＵＩ画面１５０の右側に示すような、化粧品色選択ボタン１６１および濃淡バー１６２を用いて、化粧品とその色と濃淡を選択することで、編集中の部位の拡大画像１５７を変化させ、候補顔画像の全体画像１５５を好みに応じた画像へと編集することができる。なお、１６３は化粧品アイコンであり、表示中の化粧品のほか、化粧品アイコン１６３のタップ操作などにより図示しない化粧品一覧等から利用者が好みの化粧品を選択してＵＩ画面１５０に表示させることができる。１６４は、上記編集処理を終了させるための編集終了ボタンである。
【００７１】
このように、利用者が種々のメイクアップ手法を適用することで、候補顔画像の全体画像１５５とレーダチャート１２４に点線で示された候補顔画像の選択中の評価項目１０１における評価値が編集に伴って変化する。
【００７２】
ＵＩ画面１５０の左上部の美容手法適用前の本人画像サムネイル１５１が押下された際、図１６に示すＵＩ画面１５０を表示し、候補顔画像の全体画像１５５と美容手法適用前の本人画像の全体画像１６５とを並列表示する。
【００７３】
図１６の細部比較ボタン１６６が押下された際、図１７に示すＵＩ画面１５０を表示し、選択中の部位の候補顔画像の拡大画像１５７と美容手法適用前の本人画像の拡大画像１６７を表示する。全体比較ボタン１６８が押下された際、図１６に示すＵＩ画面１５０に再び移行する。
【００７４】
各ＵＩ画面１５０において左上部の第１の目標顔画像のサムネイル１５３が押下された際、図１８に示すＵＩ画面１５０を表示し、候補顔画像の全体画像１５５と第１の目標顔画像の全体画像１６９を並列表示する。
【００７５】
細部比較ボタン１６６が押下された際、図１９に示すＵＩ画面１５０を表示し、選択中の部位の候補顔画像の拡大画像１５７と第１の目標顔画像の拡大画像１７１を表示する。全体比較ボタン１６８が押下された際、図１８に示すＵＩ画面１５０に再び移行する。
【００７６】
編集終了ボタン１６４が押下された際（ＳＴ３０９）、編集モードを終了し図１２のＵＩ画面１２０を表示する（ＳＴ３０１）。
【００７７】
以上のように、選択された候補顔画像に対して、利用者が手動で編集できるようになるため、利用者の意図する第２の目標顔画像を設定することができる。
【００７８】
美容手法提示ボタン１３１が押下された際、美容手法提示部であるプログラムモジュールＰ４に移行する（ＳＴ３１０）。
【００７９】
次に、美容手法提示部のプログラムモジュールＰ４の処理について説明する。図２０に第２の美容手法提示部のフローチャートを示す。
【００８０】
まず、図２１に示すＵＩ画面を表示する（ＳＴ４０１）。撮像部２で撮影された現在の
利用者の本人画像の全体画像１６５図と選択部位の拡大画像１６７を表示し、加えて、部位選択ボタン１５８およびレイヤボタン１５９に対応した美容手法１７２を化粧品アイコン（化粧品情報）１６３と共に表示する。ここでは、美容手法１７２として手順内容に関するコメントを記載しているが、動画再生画面をポップアップさせるなどして、美容動画を提示するようにしてもよい。
【００８１】
また、ＵＩ画面１５０の左上部に示すように、現在の本人画像サムネイル１５１と第２の目標顔画像（設定した候補画像）となる候補顔画像のサムネイル１５２と第１の目標顔画像のサムネイル１５３を表示する。
【００８２】
また、現在の顔画像に対応する選択中の評価項目１０１における評価値をレーダチャート１２４に表示する。この時、レーダチャート１２４には第１の目標顔画像と第２の目標顔画像に関する選択中の評価項目１０１における評価値もあわせて表示する。
【００８３】
第２の目標顔画像を変更したい場合は、再シミュレーションボタン１７３を押下することで、プログラムモジュールＰ３に戻り再度、候補顔画像の選択・編集を行い、第２の目標顔画像を設定することが可能である（ＳＴ４０２）。
【００８４】
全体表示ボタン１７４が押下された際、図２２に示すＵＩ画面１５０に移行し、撮像部２で撮影された現在の利用者の本人画像の全体画像１６５を表示する。
【００８５】
図２２に示すＵＩ画面１５０の並列表示ボタン１７５が押下された際、図２１のＵＩ画面に移行し、撮像部で撮影された現在の利用者の本人画像の全体画像１６５と選択部位の拡大画像１６７を再度表示する。
【００８６】
細部表示ボタン１７６が押下された際、図２３に示すＵＩ画面１５０に移行し、撮像部２で撮影された現在の利用者の本人画像の選択部位の拡大画像１６７を表示する。
【００８７】
第２の目標顔画像のサムネイル１５２が押下された際、図２４に示すＵＩ画面１５０に移行し、撮像部２で撮影された現在の利用者の全体画像１６５と第２の目標顔画像としての候補顔画像の全体画像１５５を並列表示する。
【００８８】
細部比較ボタン１７７が押下された際、図２５に示すＵＩ画面１５０に移行し、撮像部２で撮影された現在の利用者の全体画像１６５の拡大画像１６７と第２の目標顔画像の選択部位の拡大画像１５７とを並列表示する。ここで、細部比較ボタン１７７に替わって全体比較ボタン１７８が現われ、この全体比較ボタン１７８を押下することで、図２４のＵＩ画面１５０に戻る。
【００８９】
第１の目標顔画像のサムネイル１５３が押下された際、図２６に示すＵＩ画面に移行し、撮像部２で撮影された現在の利用者の全体画像１６５と第１の目標顔画像の全体画像１６９とを並列表示する。
【００９０】
細部比較ボタン１７７が押下された際、図２７に示すＵＩ画面１５０に移行し、撮像部２で撮影された現在の利用者の拡大画像１６７と第１の目標顔画像の選択部位の拡大画像１７１とを並列表示する。
【００９１】
現在の本人画像サムネイル１５１が押下された際、図２１に示すＵＩ画面１５０に移行し、撮像部２で撮影された現在の利用者の本人画像の全体画像１６５と選択部位の拡大画像１６７を再度表示する。
【００９２】
そして、メイク終了ボタン１７９が押下された際、アプリケーションを終了する（ＳＴ４０３）。
【００９３】
以上、第１実施形態によれば、利用者の顔画像に対して互いに異なる美容手法を適用した候補顔画像と目標顔画像の類似度に基づいて、より目標顔画像に近づく美容手法を取得することが可能となり、特に、利用者の顔画像と目標顔画像との相違を人の感性に基づく評価項目を参照しながら、第２の目標顔画像を特定できるので、利用者の満足度が高い美容手法を取得することができる。
【００９４】
また、選択された候補顔画像に対して、利用者が手動で編集できるようになるため、利用者の意図する第２の目標顔画像を設定することができる。
【００９５】
また、レーダチャートに示される感性評価項目に対応した評価値によって、利用者の顔画像と第１の目標画像との相違を客観的に把握することができる。
【００９６】
また、最終的な美容手法を取得する過程で、利用者が美容手法の適用前の利用者の顔画像、前記第１の目標顔画像、前記第２の目標顔画像を見比べながら、美容方法のシミュレーションを行うことができ、意図しない美容手法の取得が防止される。
【００９７】
また、最終的な美容手法を取得する過程で、編集部位にかかる拡大画像を参照しながら、より詳細な美容方法のシミュレーションを行うことができる。
【００９８】
また、美容手法を取得する過程で、美容手法の適用前の利用者の顔画像、前記第１の目標顔画像、前記第２の目標顔画像の各サムネイル画像が配置されるため、利用者が選択した各顔画像の選択状態を常に見直すことができる。
【００９９】
上述第１実施形態では、美容支援装置１（利用者端末）として、表示部５とユーザインタフェース部６とが一体構成されるタッチパネルが実装されたタブレット端末に化粧シミュレーションに係るアプリケーションプログラムが搭載されて例を挙げて説明した。本発明の第２実施形態として、以下に記載するような美容支援システムとして構成することもできる。
【０１００】
すなわち、利用者側端末には、利用者の顔を撮影するカメラ（撮像部）、タッチパネル（表示部）を備え、Ｗｅｂブラウザ（閲覧部）などの閲覧ソフトを起動して、図示しないＩＰ網やＬＡＮなどの通信媒体（ネットワーク）を介して、化粧シミュレーションに係るサービスを提供する事業者側に設けられたクラウドコンピュータ（情報処理装置）にアクセスする。そして、美容支援装置１で実行される機能と同様、美容支援のための化粧シミュレーションプログラムを実行させるようにしてもよい。この場合、化粧シミュレーションに必要な負荷の大きな処理をクラウドコンピュータに分担させることができる。
【０１０１】
例えば、このような構成では、化粧シミュレーションに必要な処理のうち、少なくとも演算量が大きな処理、例えば、候補顔画像１２１である合成顔画像の生成処理を事業者側に設けられたクラウドコンピュータで高速に行うことが可能となる。このように構成すると、利用者側では、操作指示入力や表示出力にかかる処理だけで済むため、利用者側に高速な情報処理装置が不要となり、利用者が負担するコストを大幅に軽減することができる。
【０１０２】
また、安価なスマートフォンやタブレット端末などの携帯型端末でも化粧シミュレーションを実行できるようになり、これにより自宅のみならず外出先などの任意の場所で美容支援を受けることができる。
【産業上の利用可能性】
【０１０３】
本発明にかかる美容支援装置、美容支援システム、美容支援方法、並びに美容支援プログラムは、利用者の顔画像に対して互いに異なるメイクアップ手法を適用した候補顔画像と目標顔画像の類似度に基づいて、より目標顔画像に近づくメイクアップ手法を提供できる。また、利用者の顔画像と目標顔画像との相違を人の感性に基づく評価項目として具体的な数値で表示することができ、目標顔画像にどの程度近づいたかを直観的に認識することができる化粧シミュレータなどとして有用である。
【符号の説明】
【０１０４】
１  美容支援装置
２  撮像部
３  画像入力部
４  記憶部
５  表示部
６  ユーザインタフェース部
７  全体制御部
８  画像処理部
Ｐ１  画像取得部のプログラムモジュール
Ｐ２  評価項目選択部のプログラムモジュール
Ｐ３  シミュレーション部および候補顔画像編集部のプログラムモジュール
Ｐ４  美容手法提示部のプログラムモジュール
４１  本人画像
４２  目標顔
４３  本人顔ボタン
４４  目標顔ボタン
４５  撮影モードボタン
４６  選択モードボタン
４７  指示ボタン
６１  顔画像
６２  顔領域枠
６３  撮影用顔枠
６４  撮影ボタン
７１  撮影顔画像
７２  ＹＥＳボタン
７３  ＮＯボタン
８１  顔画像一覧
８２  画像選択枠
８３  決定ボタン
１０１  評価項目
１０２  選択枠
１０３  画像再取得ボタン
１０５  次頁ボタン
１０６  前頁ボタン
１０７  シミュレーションボタン
１２１  候補顔画像
１２２  本人画像
１２３  第１の目標画像
１２４  レーダチャート
１２５  次候補ボタン
１２６  前候補ボタン
１２７  評価項目選択ボタン
１２８  一覧表示ボタン
１２９  編集モードボタン
１３１  美容手法提示ボタン
１４１  画像選択枠
１４２  決定ボタン
１５１  本人画像サムネイル
１５２  サムネイル（第２の目標顔画像）
１５３  サムネイル（第２の目標顔画像）
１５４  選択枠
１５５  全体画像
１５６  部位選択枠
１５７  拡大画像
１５８  部位選択ボタン
１５９  レイヤボタン
１６１  化粧品色選択ボタン
１６２  濃淡バー
１６４  編集終了ボタン
１６５  全体画像
１６６  細部比較ボタン
１６７  拡大画像
１６８  全体比較ボタン
１６９  全体画像
１７１  拡大画像
１７２  美容手法
１７３  再シミュレーションボタン
１７４  全体表示ボタン
１７５  並列表示ボタン
１７６  細部表示ボタン
１７７  細部比較ボタン
１７８  全体比較ボタン
１７９  メイク終了ボタン
【図１】
2016081441.tif 000003
【図２】
2016081441.tif 000004
【図３】
2016081441.tif 000005
【図４】
2016081441.tif 000006
【図５】
2016081441.tif 000007
【図６】
2016081441.tif 000008
【図７】
2016081441.tif 000009
【図８】
2016081441.tif 000010
【図９】
2016081441.tif 000011
【図１０】
2016081441.tif 000012
【図１１】
2016081441.tif 000013
【図１２】
2016081441.tif 000014
【図１３】
2016081441.tif 000015
【図１４】
2016081441.tif 000016
【図１５】
2016081441.tif 000017
【図１６】
2016081441.tif 000018
【図１７】
2016081441.tif 000019
【図１８】
2016081441.tif 000020
【図１９】
2016081441.tif 000021
【図２０】
2016081441.tif 000022
【図２１】
2016081441.tif 000023
【図２２】
2016081441.tif 000024
【図２３】
2016081441.tif 000025
【図２４】
2016081441.tif 000026
【図２５】
2016081441.tif 000027
【図２６】
2016081441.tif 000028
【図２７】
2016081441.tif 000029