(57)【要約】  メイクアップ支援装置（１００）は、ユーザ顔画像、ターゲット顔画像、アレンジ顔画像を取得する画像取得部（１０１）と、ユーザ顔画像から抽出された顔特徴量と、ターゲット顔画像から抽出された顔特徴量との差分値が閾値以下である場合、ターゲット顔画像に定められた顔パーツ毎のメイクアイテムを採用し、差分値が閾値より大きい場合、前記ターゲット顔画像と前記アレンジ顔画像とで異なる特徴を有する一部の顔パーツについては、アレンジ顔画像に定められたメイクアイテムを採用する画像決定部（１０３）と、採用されたメイクアイテムを使用する際の手順をユーザに提示するメイク手順情報を生成し、所定の装置へ出力する情報生成部（１０４）と、を有する。
2018012136.tif 000002
【特許請求の範囲】
【請求項１】
ユーザ顔画像と、所定形状と所定色とを有するメイクアイテムが顔パーツ毎に定められたターゲット顔画像と、前記ターゲット顔画像と比較して一部の顔パーツの特徴が異なり、所定形状と所定色とを有するメイクアイテムが顔パーツ毎に定められたアレンジ顔画像と、を取得する画像取得部と、
前記ユーザ顔画像から抽出された顔特徴量と、前記ターゲット顔画像から抽出された顔特徴量との差分値が閾値以下である場合、前記ターゲット顔画像に定められた前記顔パーツ毎の前記メイクアイテムを採用し、前記差分値が前記閾値より大きい場合、前記一部の顔パーツについては、前記アレンジ顔画像に定められた前記メイクアイテムを採用し、その他の顔パーツについては、前記ターゲット顔画像に定められた前記メイクアイテムを採用する画像決定部と、
採用された前記メイクアイテムを使用する際の手順をユーザに提示するメイク手順情報を生成し、所定の装置へ出力する情報生成部と、
を有する、メイクアップ支援装置。
【請求項２】
前記画像決定部は、
前記ユーザ顔画像から抽出された所定の顔パーツに関する顔特徴量と、前記ターゲット顔画像から抽出された前記所定の顔パーツに関する顔特徴量との第１の差分値が、前記閾値以下であるかを判定し、
前記第１の差分値が前記閾値以下である場合、前記ターゲット顔画像において前記所定の顔パーツに定められている前記メイクアイテムを採用し、
前記第１の差分値が前記閾値より大きい場合、前記ユーザ顔画像から抽出された前記所定の顔パーツに関する顔特徴量と、前記アレンジ顔画像から抽出された前記所定の顔パーツに関する顔特徴量との第２の差分値が、前記閾値以下であるかを判定し、
前記第２の差分値が前記閾値以下である場合、前記アレンジ顔画像において前記所定の顔パーツに定められている前記メイクアイテムを採用する、
請求項１に記載のメイクアップ支援装置。
【請求項３】
前記画像取得部は、
複数の前記アレンジ顔画像を取得し、
前記画像決定部は、
前記ユーザ顔画像から抽出された前記所定の顔パーツに関する顔特徴量と、前記複数のアレンジ顔画像の各々から抽出された前記所定の顔パーツに関する顔特徴量との前記第２の差分値が、前記閾値以下であるかを判定し、
前記閾値以下である前記第２の差分値のうち最小値の前記アレンジ顔画像に定められている前記メイクアイテムを採用する、
請求項２に記載のメイクアップ支援装置。
【請求項４】
前記画像取得部は、
複数の前記アレンジ顔画像を取得し、
前記画像決定部は、
前記ユーザ顔画像から抽出された前記所定の顔パーツに関する顔特徴量と、前記複数のアレンジ顔画像の各々から抽出された前記所定の顔パーツに関する顔特徴量との前記第２の差分値が、前記閾値以下であるかを判定し、
前記第２の差分値が前記閾値以下である前記アレンジ顔画像のうち、予め重み付けがされた前記アレンジ顔画像に定められている前記メイクアイテムを採用する、
請求項２に記載のメイクアップ支援装置。
【請求項５】
前記重み付けは、
前記ユーザの属性を示す情報、前記ユーザのメイクの嗜好を示す情報、または、前記ユーザ顔画像から抽出された所定の顔パーツ間の相対関係を示す情報に基づいて設定される、
請求項４に記載のメイクアップ支援装置。
【請求項６】
前記画像決定部は、
採用された前記メイクアイテムの画像を前記ユーザ顔画像に重畳したシミュレーション画像を生成し、所定の表示装置へ出力する、
請求項１に記載のメイクアップ支援装置。
【請求項７】
前記メイク手順情報は、
少なくとも、採用された前記メイクアイテムの名称の情報、該メイクアイテムの使用方法の情報、該メイクアイテムの画像を前記ユーザ顔画像に重畳したシミュレーション画像を含む、
請求項１に記載のメイクアップ支援装置。
【請求項８】
前記メイクアイテムの画像は、
予め定められた前記メイクアイテムの形状と色を示す画像、または、予め定められた前記メイクアイテムの形状のみを示す画像のいずれかである、
請求項７に記載のメイクアップ支援装置。
【請求項９】
ユーザ顔画像と、所定形状と所定色とを有するメイクアイテムが顔パーツ毎に定められたターゲット顔画像と、前記ターゲット顔画像と比較して一部の顔パーツの特徴が異なり、所定形状と所定色とを有するメイクアイテムが顔パーツ毎に定められたアレンジ顔画像と、を取得し、
前記ユーザ顔画像から抽出された顔特徴量と、前記ターゲット顔画像から抽出された顔特徴量との差分値が閾値以下である場合、前記ターゲット顔画像に定められた前記顔パーツ毎の前記メイクアイテムを採用し、前記差分値が前記閾値より大きい場合、前記一部の顔パーツについては、前記アレンジ顔画像に定められた前記メイクアイテムを採用し、その他の顔パーツについては、前記ターゲット顔画像に定められた前記メイクアイテムを採用し、
採用された前記メイクアイテムを使用する際の手順をユーザに提示するメイク手順情報を生成する、
メイクアップ支援方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本開示は、ユーザのメイクアップを支援するメイクアップ支援装置およびメイクアップ支援方法に関する。
【背景技術】
【０００２】
例えば、ユーザが、化粧品売場等において店員によりメイクアップ（以下「メイク」という）を顔に施してもらった後、改めてそのメイクを自分で自分の顔に施してみようとすると、上手く再現できないことがある。また、例えば、ユーザが、再度、化粧品売場等を訪問し、上記店員とは別の店員に上記メイクを施してもらった場合、上手く再現できないことがある。【０００３】
そこで、メイクを施したときのメイクの状態を示す画像を顔画像に重畳してシミュレーション画像を生成する技術（例えば、特許文献１参照）を利用することが考えられる。顔画像に重畳される画像（以下「メイクパーツ画像」という）は、例えば、アイシャドウやチークといったメイクアイテムを示す画像が挙げられる。【０００４】
例えば、化粧品売場等に備えられた店舗端末は、店員が勧めるメイクを示すシミュレーション画像を生成し、そのシミュレーション画像をスマートフォン等のユーザ端末に送信する。これにより、ユーザは、ユーザ端末に表示されたシミュレーション画像を見ながら自分でメイクを行えるため、メイクの再現性が向上する。また、シミュレーション画像は店舗端末に保存されて店員の間で共有されるため、ユーザが再来店して店員に上記メイクを施してもらう場合でも、メイクの再現性が向上する。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特許第１７１５３５７号公報
【発明の概要】
【０００６】
メイクパーツ画像は、モデルの顔画像における各顔パーツ（例えば、眉、まぶた、頬、唇など）に対して、各種メイクアイテムの描画を行うことで作成される。しかしながら、ユーザの顔とモデルの顔とにおいて、全ての顔パーツの特徴が同じであることは稀である。特徴が異なる顔パーツに対応するメイクパーツ画像が選択された場合、そのメイクパーツ画像は、ユーザの顔パーツの特徴に合わせて変形されて表示される。その結果、顔全体の調和がとれていない不自然なメイクを示すシミュレーション画像になってしまうおそれがある。
【０００７】
そこで、本開示の一態様は、顔全体の調和がとれた自然なメイクをユーザに提示できるメイクアップ支援装置を提供する。
【０００８】
本開示のメイクアップ支援装置は、ユーザ顔画像と、所定形状と所定色とを有するメイクアイテムが顔パーツ毎に定められたターゲット顔画像と、ターゲット顔画像と比較して一部の顔パーツの特徴が異なり、所定形状と所定色とを有するメイクアイテムが顔パーツ毎に定められたアレンジ顔画像と、を取得する画像取得部と、ユーザ顔画像から抽出された顔特徴量と、ターゲット顔画像から抽出された顔特徴量との差分値が閾値以下である場合、ターゲット顔画像に定められた顔パーツ毎のメイクアイテムを採用し、差分値が閾値より大きい場合、上記一部の顔パーツについては、アレンジ顔画像に定められたメイクアイテムを採用し、その他の顔パーツについては、ターゲット顔画像に定められたメイクアイテムを採用する画像決定部と、採用されたメイクアイテムを使用する際の手順をユーザに提示するメイク手順情報を生成し、所定の装置へ出力する情報生成部と、を有する。
【０００９】
なお、これらの包括的または具体的な態様は、システム、方法、集積回路、コンピュータプログラム、または、記録媒体で実現されてもよく、システム、装置、方法、集積回路、コンピュータプログラムおよび記録媒体の任意な組み合わせで実現されてもよい。
【００１０】
本開示によれば、顔全体の調和がとれた自然なメイクをユーザに提示できる。
【図面の簡単な説明】
【００１１】
【図１】本開示に係るメイクアップ支援システムおよびメイクアップ支援装置の構成の一例を示すブロック図
【図２】本開示に係るメイクアップ支援装置の全体動作の一例を示すフローチャート
【図３】本開示に係るメイクパーツ画像テーブルの一例を示す図
【図４】本開示に係るメイクアップ支援装置のメイクパーツ画像決定処理の流れの一例を示すフローチャート
【図５】本開示に係る特徴量比較処理の具体例を説明する図
【図６】本開示に係るメイク手順情報の表示例を示す図
【図７】本開示に係るテンプレートデータ生成処理の流れの一例を示すフローチャート
【図８】本開示に係るアレンジデータ生成処理の流れの一例を示すフローチャート
【図９】本開示に係る特徴量比較処理の具体例を説明する図
【図１０】本開示に係る特徴量比較処理の具体例を説明する図
【発明を実施するための形態】
【００１２】
以下、本開示の一実施の形態について、図面を参照して詳細に説明する。
【００１３】
（発明に至った知見）
メイクシミュレーションシステムに用いられるメイクパーツ画像は、例えば、プロのメイクアップアーティスト等が、モデルの顔画像に対して、顔パーツ（例えば、眉、まぶた、頬、唇など）毎に各種メイクアイテム（例えば、アイブロウ、アイシャドウ、チーク、口紅など）を描画することにより、作成される。このようにして作成されたメイクパーツ画像は、メイクシミュレーションシステムにおいて、ユーザまたは化粧品売場等の店員により選択され、ユーザの顔画像に重畳されて表示される。
【００１４】
しかしながら、ユーザの顔とモデルの顔とにおいて、全ての顔パーツの特徴が同じであることは稀である。選択されたメイクパーツ画像に対応する顔パーツの特徴が、ユーザの顔パーツの特徴と異なる場合、メイクシミュレーションシステムは、選択されたメイクパーツ画像を、ユーザの顔パーツの特徴に合わせて変形して表示する。その結果、顔全体の調和がとれていない不自然なメイクを示すシミュレーション画像が表示されてしまう。
【００１５】
そこで、本発明では、顔全体の調和がとれた自然なメイクをユーザに提示できるようにする。
【００１６】
＜システム構成＞
まず、本実施の形態に係るメイクアップ支援装置を含むメイク支援システムの構成について、図１を用いて説明する。
【００１７】
図１は、メイク支援システムおよびメイクアップ支援装置の一例を示すブロック図である。
【００１８】
図１に示すメイク支援システム１は、例えば、工場、化粧品販売店舗、美容室、医療機関、身だしなみを整えるメイクルーム、イベント会場、および個人宅等に配置される。
【００１９】
図１に示すように、メイク支援システム１は、メイクアップ支援装置１００、撮像装置２００、表示装置３００、操作装置４００、記憶装置５００、および端末装置６００を含む。
【００２０】
メイクアップ支援装置１００は、ユーザのメイクを支援する装置であり、例えば、工場、化粧品販売店舗、美容室、医療機関、身だしなみを整えるメイクルーム、イベント会場、および個人宅等に配置される。メイクアップ支援装置１００は、据え置き型の装置でもよいし、容易に持ち運ぶことも可能なポータブル型の装置でもよい。メイクアップ支援装置１００の構成については後述する。
【００２１】
撮像装置２００は、ユーザの正面の顔を撮影する。ここで、撮影される顔は、例えば、メイクが施されていない顔である。なお、以下では、メイクが施されていないユーザの正面顔を撮影した静止画像を「ユーザ顔画像」という。
【００２２】
撮像装置２００は、ユーザ顔画像をメイクアップ支援装置１００へ出力する。
【００２３】
表示装置３００は、メイクパーツ画像が重畳されたユーザ顔画像、または、メイクパーツ画像が重畳されたターゲット顔画像などを表示する。
【００２４】
メイクパーツ画像とは、メイクアイテムの形状および色を表す画像である。メイクアイテムは、例えば、アイブロウ、アイシャドウ、アイライン、マスカラ、チーク、口紅等が挙げられる。
【００２５】
ターゲット顔画像とは、ユーザが「なりたい顔」として選択するモデルの、メイクが施されていない正面顔を撮影した静止画像である。モデルは、プロフェッショナルのモデルに限らず、例えば、一般人であってもよい。ターゲット顔画像として、複数のモデルの正面顔を撮影した複数の静止画像をあらかじめ記憶装置５００に記憶しておいてもよい。さらに、撮像装置２００あるいはネットワークを通じて、ターゲット顔画像となる静止画像を取得し、記憶装置５００に記憶してもよい。
【００２６】
なお、以下では、メイクパーツ画像が重畳されたユーザ顔画像を「メイク後ユーザ顔画像」といい、メイクパーツ画像が重畳されたターゲット顔画像を「メイク後ターゲット顔画像」という。なお、メイク後ユーザ顔画像は、「シミュレーション画像」と言い換えてもよい。
【００２７】
操作装置４００は、ユーザによる各種操作（例えば、後述するメイク後ターゲット顔画像の選択操作など）を受け付け、操作の内容をメイクアップ支援装置１００へ通知する。
【００２８】
記憶装置５００は、例えばネットワーク上のサーバ装置（図示略）に備えられ、種々の情報を記憶する。例えば、記憶装置５００は、メイクパーツ画像テーブル（詳細は後述。図３参照）を記憶する。また、例えば、記憶装置５００は、ユーザ（ユーザ識別情報）毎に、メイク手順情報（詳細は後述）などを記憶する。さらに、記憶装置５００は、複数のターゲット顔画像及び複数のメイク後ターゲット顔画像を記憶する。これらのメイク後ターゲット顔画像は、あらかじめ記憶装置５００に記憶されていてもよいし、ネットワーク等を通じて取得し、記憶させるようにしてもよい。
【００２９】
端末装置６００は、例えば、ユーザによって使用される、スマートフォンやタブレット等のユーザ端末である。端末装置６００は、メイクアップ支援装置１００と通信可能である。
【００３０】
なお、撮像装置２００、表示装置３００、操作装置４００、および記憶装置５００のうち少なくとも１つの装置は、メイクアップ支援装置１００に備えられてもよい。
【００３１】
＜装置の構成＞
次に、メイクアップ支援装置１００の構成について、図１を用いて説明する。
【００３２】
図１に示すように、メイクアップ支援装置１００は、画像取得部１０１、画像解析部１０２、画像決定部１０３、および情報生成部１０４を有する。
【００３３】
図示は省略するが、メイクアップ支援装置１００は、例えば、ＣＰＵ（Central Processing Unit）、制御プログラムを格納したＲＯＭ（Read Only Memory）等の記憶媒体、ＲＡＭ（Random Access Memory）等の作業用メモリ、および通信回路を有する。この場合、図１に示す各部の機能は、ＣＰＵが制御プログラムを実行することにより実現される。
【００３４】
画像取得部１０１は、撮像装置２００からユーザ顔画像を取得し、そのユーザ顔画像を、記憶装置５００に記憶させるとともに画像解析部１０２へ出力する。記憶装置５００に記憶されたユーザ顔画像は、ユーザ識別情報と関連付けられる。
【００３５】
画像解析部１０２は、画像取得部１０１からユーザ顔画像を受け取ると、そのユーザ顔画像から顔特徴量を抽出する。例えば、画像解析部１０２は、複数の顔特徴点（図５、図９、図１０参照）を抽出し、それらの顔特徴点に基づいて顔パーツ（例えば、目、まぶた、頬、鼻、唇、おでこ、あご等）の形状および位置等を抽出する。また、例えば、画像解析部１０２は、ユーザの髪、肌、瞳、唇の色を抽出する。
【００３６】
なお、顔特徴点の抽出方法および顔パーツの抽出方法としては、既知の分類方法、パターン認識方法、クラスタリング方法、および最適化方法を採用することができる。既知の分類方法としては、例えば、決定木分析、ニューラルネットワーク（深層学習を含む）、およびナイーブベイズが挙げられる。既知のパターン認識方法としては、例えば、ニューラルネットワーク（深層学習を含む）およびサポートベクターマシン（ＳＶＭ）が挙げられる。既知のクラスタリング方法としては、例えば、ｋ−Ｎｅａｒｅｓｔ  Ｎｅｉｇｈｂｏｒ（ｋ−ＮＮ、ｋ近傍法）、ｋ−ｍｅａｎｓ、および階層的クラスタリングが挙げられる。また、既知の最適化方法としては、例えば、遺伝的アルゴリズムが挙げられる。
【００３７】
画像解析部１０２は、抽出された顔特徴量を示す顔特徴情報を画像決定部１０３へ出力する。顔特徴情報は、例えば、抽出された各顔パーツの形状および位置（顔特徴点）、髪、肌、瞳、唇の色（ＲＧＢ、輝度）などの内容を含む。
【００３８】
画像決定部１０３は、画像解析部１０２から顔特徴情報を受け取ると、その顔特徴情報をユーザ識別情報と関連付けて記憶装置５００に記憶させる。
【００３９】
そして、画像決定部１０３は、記憶装置５００から複数のメイク後ターゲット顔画像を取得し、それらを表示装置３００に表示させる。画像決定部１０３における処理の詳細については、図４等を用いて後述する。
【００４０】
ここで、ユーザは、選択肢として表示された複数のメイク後ターゲット顔画像から所望のものを選択する操作（メイク後ターゲット顔画像の選択操作）を行う。例えば、ユーザは、自分が希望するメイクのイメージに合ったメイク後ターゲット顔画像を選択する。なお、選択肢として表示されるメイク後ターゲット顔画像は、モデルの顔画像にメイクパーツ画像を重畳した画像でもよいし、または、実際にメイクが施されたモデルの顔を撮影した写真の画像でもよい。なお、ユーザは、メイク後ターゲット顔画像の一覧から、自身のなりたいイメージに近いメイク後ターゲット顔画像を手動で選択することができる。あるいは、「二重」「面長」「シャープな印象」といった「なりたい顔」のイメージを表すキーワードをユーザに選択させ、後述するメイクパーツ画像テーブル中のターゲット顔画像及びアレンジ顔画像から最も近いものを「なりたい顔」として抽出してもよい。
【００４１】
画像決定部１０３は、操作装置４００がユーザによるメイク後ターゲット顔画像の選択操作を受け付けると、メイクパーツ画像決定処理を行う。メイクパーツ画像決定処理とは、ユーザに選択されたメイク後ターゲット顔画像、そのメイク後ターゲット顔画像に関連付けられた少なくとも１以上のアレンジ顔画像（詳細は後述）に基づいて、ユーザに提示する各メイクパーツ画像（メイクアイテム）を決定する処理である。メイクパーツ画像決定処理については、図３、図４を用いて後述する。
【００４２】
そして、画像決定部１０３は、メイクパーツ画像決定処理により決定された各メイクパーツ画像と、各メイクパーツ画像に対応するメイクアイテムの名称の情報（以下「アイテム名情報」という）と、各メイクアイテムの使用方法（例えば、各メイクアイテムの使用順序、各メイクアイテムの肌への塗布方法など）の情報（以下「メイク手法情報」という）とを含む決定結果情報を情報生成部１０４へ出力する。
【００４３】
なお、メイク手法情報は、例えば、ブラシ等の筆圧を示す情報、塗布方向を示す情報、ぼかしの程度を示す情報、メイクパーツ画像の作成者（メイクアイテムの描画者）のコメントを示す情報などを含んでもよい。
【００４４】
情報生成部１０４は、画像決定部１０３から決定結果情報を受け取ると、その決定結果情報と、記憶装置５００から取得したユーザ顔画像とに基づいてメイク手順情報を生成し、端末装置６００へ出力する。メイク手順情報は、各メイクパーツ画像に示されるメイクアイテムを使用する際の手順などをユーザに提示する内容を含む。メイク手順情報の詳細については、後述する。
【００４５】
＜装置の動作＞
次に、メイクアップ支援装置１００の全体動作（メイク手順情報の生成動作）について、図２を用いて説明する。
【００４６】
図２は、メイクアップ支援装置１００の全体動作の一例を示すフローチャートである。
【００４７】
ステップＳ１０１において、画像取得部１０１は、撮像装置２００からユーザ顔画像を取得する。そして、画像取得部１０１は、ユーザ顔画像を画像解析部１０２へ出力する。また、画像取得部１０１は、ユーザ顔画像にユーザ識別情報を関連付けて記憶装置５００に記憶させる。
【００４８】
ステップＳ１０２において、画像解析部１０２は、画像取得部１０１から受け取ったユーザ顔画像から顔特徴量を抽出する。そして、画像解析部１０２は、抽出された顔特徴量を示す顔特徴情報を画像決定部１０３へ出力する。
【００４９】
ステップＳ１０３において、画像決定部１０３は、記憶装置５００から、複数のメイク後ターゲット顔画像を取得し、それらを選択肢として表示装置３００に表示させる。画像決定部１０３における処理の詳細については、図４等を用いて後述する。
【００５０】
ステップＳ１０４において、画像決定部１０３は、操作装置４００がユーザによるメイク後ターゲット顔画像の選択操作を受け付けると、後述するメイクパーツ画像決定処理を行う。そして、画像決定部１０３は、メイクパーツ画像決定処理により決定された各メイクパーツ画像と、アイテム名情報と、メイク手法情報とを含む決定結果情報を情報生成部１０４へ出力する。
【００５１】
ステップＳ１０５において、情報生成部１０４は、記憶装置５００から取得したユーザ顔画像と、画像決定部１０３から受け取った決定結果情報とに基づいて、メイク手順情報を生成する。そして、情報生成部１０４は、メイク手順情報を端末装置６００へ出力する。
【００５２】
以上、メイクアップ支援装置１００の全体動作の一例について説明した。
【００５３】
次に、メイクアップ支援装置１００のメイクパーツ画像決定処理（図２のステップＳ１０４）の一例について、図３、図４を用いて説明する。
【００５４】
図３は、メイクパーツ画像決定処理に用いられるメイクパーツ画像テーブルの一例を示す図である。図４は、メイクアップ支援装置１００のメイクパーツ画像決定処理の流れの一例を示すフローチャートである。
【００５５】
まず、図３を参照して、メイクパーツ画像テーブルについて説明する。
【００５６】
メイクパーツ画像テーブルは、図３に示すように、１つのテンプレートデータに対して、複数のアレンジデータ（図３の例では、３つのアレンジデータ）が関連付けて登録されている。
【００５７】
テンプレートデータは、例えば、ターゲット顔画像１０、メイクパーツ画像１１〜１５、顔特徴情報を含む。
【００５８】
ターゲット顔画像１０は、メイクが施されていないモデルの正面顔の顔画像（静止画像）である。ターゲット顔画像１０は、メイクパーツ画像１１〜１５が重畳されてメイク後ターゲット顔画像となり、上述したとおり、選択肢として表示装置３００に表示される。
【００５９】
メイクパーツ画像１１は、眉毛（顔パーツの一例）に施されるアイブロウ（メイクアイテムの一例）の形状と色を示す画像である。
【００６０】
メイクパーツ画像１２は、目（顔パーツの一例）に施されるアイシャドウ（メイクアイテムの一例）の形状と色を示す画像である。
【００６１】
メイクパーツ画像１３は、目（顔パーツの一例）に施されるアイライン（メイクアイテムの一例）の形状と色を示す画像である。
【００６２】
メイクパーツ画像１４は、目（顔パーツの一例）に施されるマスカラ（メイクアイテムの一例）の形状と色を示す画像である。
【００６３】
メイクパーツ画像１５は、頬（顔パーツの一例）に施されるチーク（メイクアイテムの一例）の形状と色を示す画像である。
【００６４】
なお、ここではメイクパーツ画像１１〜１５がメイクアイテムの形状と色を示す場合を例に挙げたが、メイクパーツ画像１１〜１５を形状のみを示す画像とし、メイクパーツ画像１１〜１５の色を示す情報は別途登録されてもよい。
【００６５】
顔特徴情報は、ターゲット顔画像１０から抽出された顔特徴量を示す情報である。図３の例では、顔パーツ（例えば、輪郭、目、口）の形状、肌の色、髪の色を例示しているが、これらに限定されず、顔パーツの位置、唇の色などを含んでもよい。また、図３の例では、説明を簡便にするため、顔特徴量の内容を文章で示しているが、顔特徴量を示す値（例えば、顔特徴点の座標、ＲＧＢ値、輝度値等）が登録されてもよい。ここで「輪郭」とは毛髪部分を除いた顔の外周の形状であり、目、鼻、口、頬、等の他の顔パーツとともに顔を構成する顔パーツであるとする。
【００６６】
なお、図示は省略しているが、テンプレートデータには、図３に示したもののほか、メイク手法情報が含まれる。メイク手法情報とは、上述したとおり、各メイクアイテムの使用方法（例えば、各メイクアイテムの使用順序、各メイクアイテムを使用した肌への塗布方法など）を示す情報である。また、テンプレートデータには、各メイクアイテムに関して付加的に入力された付加情報（詳細は後述）などが含まれてもよい。
【００６７】
テンプレートデータの作成処理については、図７を用いて後述する。
【００６８】
各アレンジデータも、テンプレートデータと同様に、顔画像（以下「アレンジ顔画像」という）、各種メイクパーツ画像、各種顔特徴情報を含む。アレンジ顔画像とは、ターゲット顔画像と比較して一部の顔パーツの特徴が異なるモデルの正面顔（メイクが施されていない顔）を撮影した画像である。
【００６９】
例えば、第１アレンジデータでは、ターゲット顔画像１０と比較して目（目のキワ）の形状が異なる顔画像として、アレンジ顔画像２０が登録されている。また、第１アレンジデータでは、目（目のキワ）に対応するアイラインのメイクパーツ画像として、テンプレートデータのメイクパーツ画像１３と異なる形状のメイクパーツ画像２３が登録されている。
【００７０】
また、例えば、第２アレンジデータでは、ターゲット顔画像１０と比較して眉毛と目（まつげ）の形状が異なる顔画像として、アレンジ顔画像３０が登録されている。また、第２アレンジデータでは、眉毛に対応するアイブロウのメイクパーツ画像として、テンプレートデータのメイクパーツ画像１１と異なる形状のメイクパーツ画像３１が登録されている。また、第２アレンジデータでは、目（まつげ）に対応するマスカラのメイクパーツ画像として、テンプレートデータのメイクパーツ画像１４と異なる形状のメイクパーツ画像３４が登録されている。
【００７１】
また、例えば、第３アレンジデータでは、ターゲット顔画像１０と比較して目（目のキワ）と頬（輪郭の頬部分）の形状が異なる顔画像として、アレンジ顔画像４０が登録されている。また、第３アレンジデータでは、目（目のキワ）に対応するアイラインのメイクパーツ画像として、テンプレートデータのメイクパーツ画像１３と異なる形状のメイクパーツ画像４３が登録されている。また、第３アレンジデータでは、頬（輪郭の頬部分）に対応するチークのメイクパーツ画像として、テンプレートデータのメイクパーツ画像１５と異なる形状のメイクパーツ画像４５が登録されている。
【００７２】
なお、図示は省略しているが、各アレンジデータには、テンプレートデータと同様に、メイク手法情報が含まれる。また、各アレンジデータには、付加情報（詳細は後述）などが含まれてもよい。
【００７３】
また、図３の例では、アレンジデータの数を３つとしたが、これに限定されない。ただし、ユーザの顔の特徴により適合したメイクパーツ画像を決定するためには、アレンジデータの数は多い方が好ましい。
【００７４】
アレンジデータの作成処理については、図８を用いて後述する。
【００７５】
このようなメイクパーツ画像テーブルは、例えば、１つのターゲット顔画像（１つのテンプレートデータ）につき１つ作成される。よって、メイクパーツ画像テーブルは、選択肢としてユーザに提示されるメイク後ターゲット顔画像の数に応じて作成される。
【００７６】
以上、メイクパーツ画像テーブルについて説明した。
【００７７】
次に、図４を参照して、メイクパーツ画像決定処理の流れについて説明する。メイクパーツ画像決定処理では、メイクパーツ画像テーブルに登録されているメイクパーツ画像（メイクアイテム）の種類毎に、テンプレートデータまたはアレンジデータのいずれかに登録されているメイクパーツ画像が決定される。
【００７８】
ステップＳ２０１において、画像決定部１０３は、第ｉの顔パーツについて第１の差分値を算出する。
【００７９】
ｉは、メイクパーツ画像テーブルに登録されている顔パーツの種類の数である。図３のメイクパーツ画像テーブルの場合、眉毛（ｉ＝１）、まぶた（ｉ＝２）、目のキワ（ｉ＝３）、まつ毛（ｉ＝４）、頬（ｉ＝５）の５種類の顔パーツが登録されている。
【００８０】
第１の差分値とは、ユーザ顔画像から抽出された第ｉの顔パーツに関する特徴量と、ターゲット顔画像から抽出された第ｉの顔パーツに関する特徴量との差分を示す値である。例えば、顔パーツが目である場合（例えば、アイシャドウの画像、アイラインの画像、マスカラの画像を決定する場合）、ユーザ顔画像における目の形状と、ターゲット顔画像における目の形状とを比較する処理を行う。この具体例について、図５を用いて説明する。
【００８１】
図５は、例えば、ユーザ顔画像から抽出された左目周辺の顔特徴点の一例を示している。図５において、画像決定部１０３は、上まぶたの顔特徴点５１、目尻の顔特徴点５２、目頭の顔特徴点５３の３点から成る三角形の相似度を算出する。図示は省略するが、同様に、画像決定部１０３は、ターゲット顔画像において、上まぶたの顔特徴点、目尻の顔特徴点、目頭の顔特徴点の３点から成る三角形の相似度を算出する。そして、画像決定部１０３は、算出された２つの相似度の差分を算出する。
【００８２】
なお、特徴量の比較による第１の差分値の算出方法は、図５で説明したものに限定されない。その他の例については、後述する。
【００８３】
ステップＳ２０２において、画像決定部１０３は、第１の差分値が予め定められた閾値以下であるか否かを判定する。この閾値は、例えば、比較される２つの顔パーツの特徴が類似するとみなすことができる上限値である。
【００８４】
第１の差分値が閾値より大きい場合（ステップＳ２０２：ＮＯ）、フローはステップＳ２０５へ進む。ステップＳ２０５以降については後述する。
【００８５】
第１の差分値が閾値以下である場合（ステップＳ２０２：ＹＥＳ）、フローはステップＳ２０３へ進む。
【００８６】
ステップＳ２０３において、画像決定部１０３は、第ｉの顔パーツについては、ターゲット顔画像に関連付けられたメイクパーツ画像を採用する。例えば、図３において、ｉ＝１である場合（顔パーツが眉毛である場合）、画像決定部１０３は、ターゲット顔画像１０に関連付けられているメイクパーツ画像１１（アイブロウの画像）を採用する。
【００８７】
ステップＳ２０４において、画像決定部１０３は、全ての顔パーツに対してメイクパーツ画像を採用したか否かを判定する。
【００８８】
全ての顔パーツに対してメイクパーツ画像を採用した場合（ステップＳ２０４：ＹＥＳ）、一連の処理は終了する。
【００８９】
一方、全ての顔パーツに対してメイクパーツ画像を採用していない場合、換言すれば、メイクパーツ画像が採用されていない顔パーツが残っている場合（ステップＳ２０４：ＮＯ）、フローはステップＳ２０１へ戻る。
【００９０】
ステップＳ２０２において、第１の差分値が閾値より大きい場合（ステップＳ２０２：ＮＯ）、ユーザ顔画像における第ｉの顔パーツの特徴と、ターゲット顔画像における第ｉの顔パーツの特徴とが類似していないこととなる。この場合、画像決定部１０３は、テンプレートデータに関連付けられたアレンジデータから、第ｉの顔パーツに対応するメイクパーツ画像を選択する。
【００９１】
ステップＳ２０５において、画像決定部１０３は、第ｊのアレンジ顔画像を選択する。
【００９２】
ｊは、メイクパーツ画像テーブルに登録されているアレンジ顔画像の数である。図３のメイクパーツ画像テーブルの場合、アレンジ顔画像２０、３０、４０の３つが登録されている。
【００９３】
ステップＳ２０６において、画像決定部１０３は、第ｉの顔パーツについて第２の差分値を算出する。ここで、画像決定部１０３は、算出された第２の差分値を一時的に記憶しておく。
【００９４】
第２の差分値とは、ユーザ顔画像から抽出された第ｉの顔パーツに関する特徴量と、第ｊのアレンジ顔画像から抽出された第ｉの顔パーツに関する特徴量との差分を示す値である。例えば、顔パーツが目である場合、ユーザ顔画像における目の形状と、第ｊのアレンジ顔画像における目の形状とを比較する。この具体例については、図５を用いた上記説明と同様であるので、ここでの説明は省略する。
【００９５】
ステップＳ２０７において、画像決定部１０３は、第２の差分値が予め定められた閾値以下であるか否かを判定する。この閾値は、例えば、ステップＳ２０２で用いた閾値と同じである。
【００９６】
第２の差分値が閾値より大きい場合（ステップＳ２０７：ＮＯ）、フローはステップＳ２０５へ進む。
【００９７】
第２の差分値が閾値以下である場合（ステップＳ２０７：ＹＥＳ）、フローはステップＳ２０８へ進む。
【００９８】
ステップＳ２０８において、画像決定部１０３は、全てのアレンジ顔画像を選択したか否かを判定する。
【００９９】
全てのアレンジ顔画像を選択していない場合（ステップＳ２０８：ＮＯ）、フローはステップＳ２０５へ進む。
【０１００】
全てのアレンジ顔画像を選択した場合（ステップＳ２０８：ＹＥＳ）、フローはステップＳ２０９へ進む。
【０１０１】
ステップＳ２０９において、画像決定部１０３は、第ｉの顔パーツについて、第２の差分値が最小であるアレンジ顔画像に関連付けられたメイクパーツ画像を採用する。例えば、図３において、ｉ＝３である場合（顔パーツが目（目のキワ）である場合）、画像決定部１０３は、メイクパーツ画像２３またはメイクパーツ画像４３のいずれかのうち、第２の差分値が小さい方のアレンジ顔画像に関連付けられたメイクパーツ画像（アイラインの画像）を採用する。
【０１０２】
なお、ステップＳ２０９において、複数の第２の差分値が最小である場合、所定の重み付けに基づいてアレンジ顔画像を選択し、そのアレンジ顔画像からメイクパーツ画像が採用されてもよい。この例については、後述する。
【０１０３】
ステップＳ２０９の後、フローはステップＳ２０４へ進む。
【０１０４】
なお、既に説明したとおり、図４に示したメイクパーツ画像決定処理の終了後、画像決定部１０３は、採用された各メイクパーツ画像、アイテム名情報、およびメイク手法情報等を含む決定結果情報を情報生成部１０４へ出力する。
【０１０５】
このように、メイクパーツ画像決定処理では、ユーザ顔画像とターゲット顔画像とで所定の顔パーツの特徴が類似する場合、その顔パーツに対応してターゲット顔画像に関連付けられているメイクパーツ画像を採用する。一方、ユーザ顔画像とターゲット顔画像とで所定の顔パーツの特徴が類似しない場合、その顔パーツに対応してアレンジ顔画像に関連付けられているメイクパーツ画像を採用する。これにより、ユーザの各顔パーツの特徴に合わせたメイクパーツ画像が採用されるので、顔全体の調和がとれた自然なメイクをユーザに提示できる。
【０１０６】
以上、メイクパーツ画像決定処理の一例について説明した。
【０１０７】
次に、情報生成部１０４により生成されるメイク手順情報の一例について説明する。
【０１０８】
情報生成部１０４は、記憶装置５００から取得したユーザ顔画像と、画像決定部１０３から受け取った決定結果情報とに基づいて、メイク手順情報を生成する。決定結果情報は、少なくとも、メイクパーツ画像決定処理により決定された各メイクパーツ画像と、各メイクパーツ画像に対応するメイクアイテムの名称を示すアイテム名情報と、各メイクアイテムの使用方法（例えば、各メイクアイテムの使用順序、各メイクアイテムの肌への塗布方法など）を示すメイク手法情報を含む。
【０１０９】
例えば、情報生成部１０４は、メイク手法情報の一例として画面情報を生成し、端末装置６００へ出力する。画面情報は、端末装置６００の表示部（図示略）に表示される。
【０１１０】
端末装置６００における画面情報の表示例について説明する。図６は、画面情報の表示例を示す図である。
【０１１１】
図６に示すように、メイクアイテム毎に、ユーザ顔画像７０に重畳されたメイクパーツ画像７１、アイテム名情報７２、メイクアイテムの使用順序を示す使用順序情報７３、メイクアイテムの肌への塗布方法を示す塗布方法情報７４が表示される。なお、図示は省略しているが、メイク手法情報に含まれる各種情報（例えば、ブラシ等の筆圧を示す情報、塗布方向（ブラシ等を動かす方向）を示す情報、ぼかしの程度を示す情報、メイクアイテムの描画者のコメントを示す情報など）が、所定の態様で表示されてもよい。
【０１１２】
また、図６に示すように、メイクアイテム毎に、製品情報７５、アドバイス情報７６が表示されてもよい。製品情報７５は、例えば、メイクアイテムの型番やメイクアイテムの特徴などを示す情報である。アドバイス情報７６は、メイクアイテムを使用する際のアドバイスを示す情報である。製品情報７５およびアドバイス情報７６は、付加情報の一例であり、例えば、化粧品売場等の店員により入力され、メイクパーツ画像テーブルに登録される。この場合、情報生成部１０４へ出力される決定結果情報には、製品情報７５およびアドバイス情報７６が含まれる。
【０１１３】
なお、図６では図示を省略しているが、ユーザ顔画像７０に全てのメイクパーツ画像（図６の例では、アイブロウの画像、アイシャドウの画像、チークの画像、口紅の画像）を重畳した、メイク後ユーザ顔画像（シミュレーション画像）をメイク後顔見本として表示してもよい。
【０１１４】
このように画面情報には、メイクアイテムの使用順序や塗布方法などの詳細な内容が含まれるため、ユーザは、端末装置６００に表示された図６の画面情報を参照してメイクを行うことで、所望のメイクを再現することができる。
【０１１５】
なお、メイク手順情報（例えば、画面情報）には、図６に示した各種情報以外にも、例えば、メイクのイメージを示す情報、ユーザ識別情報、画面情報を識別可能な情報、メイクアイテムを識別可能な情報などが含まれてもよい。
【０１１６】
以上、メイク手順情報の一例について説明した。
【０１１７】
次に、テンプレートデータの作成処理の一例について、図７を用いて説明する。
【０１１８】
図７は、テンプレートデータの作成処理の流れを示すフローチャートである。
【０１１９】
ステップＳ３０１において、画像取得部１０１は、例えば、撮像装置２００により撮影されたターゲット顔画像を取得する。そして、画像取得部１０１は、ターゲット顔画像を画像解析部１０２へ出力する。
【０１２０】
ステップＳ３０２において、画像解析部１０２は、ターゲット顔画像から顔特徴量を抽出する。そして、画像解析部１０２は、抽出された顔特徴量を示す顔特徴情報と、ターゲット顔画像とを画像決定部１０３へ出力する。
【０１２１】
ステップＳ３０３において、画像決定部１０３は、画像解析部１０２から受け取ったターゲット顔画像を表示装置３００に表示させる。
【０１２２】
ここで、メイクパーツ画像の作成者（メイクアイテムの描画者。例えば、プロのメイクアップアーティスト）は、表示されたターゲット顔画像上に、各種メイクアイテムを所定の形状と所定の色で描画する操作を行う。また、必要に応じて、作成者は、描画されたメイクアイテムについてのコメントを入力する操作を行う。
【０１２３】
操作装置４００は、上記操作を受け付け、描画の内容やコメントなどを示す描画情報を画像決定部１０３へ出力する。描画情報に含まれる描画の内容は、例えば、各メイクアイテムが描画された順序、各メイクアイテムの形状と色、各メイクアイテムのぼかしの程度、各メイクアイテムの位置、各メイクアイテムが描画されたときの筆圧、各メイクアイテムが描画されたときの塗布方向などである。
【０１２４】
ステップＳ３０４において、画像決定部１０３は、操作装置４００から受け取った描画情報に基づいて、各メイクパーツ画像を抽出する。
【０１２５】
ステップＳ３０５において、画像決定部１０３は、操作装置４００から受け取った描画情報に基づいて、メイク手法情報を抽出する。
【０１２６】
また、例えば、作成者により各種メイクアイテムが描画された後、必要に応じて、例えば、化粧品売場等の店員は、付加情報を入力する操作を行う。付加情報は、例えば、図６に示した製品情報７５およびアドバイス情報７６などである。
【０１２７】
操作装置４００は、上記操作を受け付け、付加情報を画像決定部１０３へ出力する。
【０１２８】
ステップＳ３０６において、画像決定部１０３は、操作装置４００から付加情報を取得する。
【０１２９】
ステップＳ３０７において、画像決定部１０３は、ターゲット顔画像に対して顔特徴情報、各メイクパーツ画像、メイク手法情報、および付加情報を関連付けてテンプレートデータを作成する。そして、画像決定部１０３は、作成されたテンプレートデータを記憶装置５００に記憶させる。
【０１３０】
以上、テンプレートデータの作成処理の一例について説明した。
【０１３１】
次に、アレンジデータの作成処理の一例について、図８を用いて説明する。
【０１３２】
図８は、アレンジデータの作成処理の流れを示すフローチャートである。
【０１３３】
ステップＳ４０１において、画像取得部１０１は、例えば、撮像装置２００により撮影されたアレンジ顔画像を取得する。そして、画像取得部１０１は、アレンジ顔画像を画像解析部１０２へ出力する。
【０１３４】
ここで取得されるアレンジ顔画像は、上述したとおり、ターゲット顔画像の顔特徴量と比較して、一部の顔特徴量が異なるものである。例えば、画像取得部１０１は、ターゲット顔画像の所定の顔パーツ（例えば、目）の特徴と比べてその顔パーツの特徴が異なるモデルを撮影した顔画像を、アレンジ顔画像として撮像装置２００から取得する。
【０１３５】
なお、記憶装置５００に予め用意された複数の顔画像から、所定の条件を満たしたものをアレンジ顔画像として取得してもよい。この例については、後述する。
【０１３６】
ステップＳ４０２において、画像解析部１０２は、アレンジ顔画像から顔特徴量を抽出する。そして、画像解析部１０２は、抽出された顔特徴量を示す顔特徴情報と、アレンジ顔画像とを画像決定部１０３へ出力する。
【０１３７】
ステップＳ４０３において、画像決定部１０３は、画像解析部１０２から受け取ったアレンジ顔画像を表示装置３００に表示させる。
【０１３８】
ここで、メイクパーツ画像の作成者（メイクアイテムの描画者。例えば、プロのメイクアップアーティスト）は、表示されたアレンジ顔画像上に、各種メイクアイテムを所定の形状と所定の色で描画する操作を行う。また、必要に応じて、作成者は、描画されたメイクアイテムについてのコメントを入力する操作を行う。
【０１３９】
なお、ステップＳ４０３において、アレンジ顔画像にターゲット顔画像の各メイクパーツ画像を重畳して表示してもよい。ここで重畳表示されるメイクパーツ画像は、アレンジ顔画像の顔特徴量との差分が閾値以下となる顔特徴量を有する顔パーツに対応するものである。よって、アレンジ顔画像において、ターゲット顔画像の顔特徴量との差分が閾値より大きい顔特徴量を有する顔パーツには、メイクパーツ画像は表示されない。この場合、作成者は、アレンジ顔画像において、メイクパーツ画像が表示されていない顔パーツに対して、メイクアイテムを描画すればよい。したがって、作成者は、全てのメイクアイテムを描画する必要が無く、手間が省ける。
【０１４０】
操作装置４００は、上記操作を受け付け、描画の内容やコメントなどを示す描画情報を画像決定部１０３へ出力する。描画情報に含まれる内容は、上記テンプレートデータの作成処理で説明した内容と同様であるため、ここでの説明は省略する。
【０１４１】
ステップＳ４０４〜ステップＳ４０６における各処理は、図７のステップＳ３０４〜ステップＳ３０６と同様であるため、ここでの説明は省略する。
【０１４２】
ステップＳ４０７において、画像決定部１０３は、アレンジ顔画像に対して顔特徴情報、各メイクパーツ画像、メイク手法情報、および付加情報を関連付けてアレンジデータを作成する。
【０１４３】
ステップＳ４０８において、画像決定部１０３は、作成されたアレンジデータをテンプレートデータに関連付けてメイクパーツ画像テーブルを作成し、記憶装置５００に記憶させる。
【０１４４】
複数のアレンジデータをテンプレートデータに関連付ける場合は、図８に示したフローを繰り返し行えばよい。これにより、例えば図３に示したメイクパーツ画像テーブルが作成される。
【０１４５】
以上、アレンジデータの作成処理の一例について説明した。
【０１４６】
＜本実施の形態の効果＞
以上説明したように、本実施の形態のメイクアップ支援装置１００は、ユーザ顔画像と、所定形状と所定色のメイクアイテムが顔パーツ毎に定められたターゲット顔画像と、ターゲット顔画像と比較して一部の顔パーツの特徴が異なり、所定形状と所定色のメイクアイテムが顔パーツ毎に定められたアレンジ顔画像と、を取得する画像取得部１０１と、ユーザ顔画像から抽出された顔特徴量と、ターゲット顔画像から抽出された顔特徴量との差分値が閾値以下である場合、ターゲット顔画像に定められたメイクアイテムを採用し、差分値が閾値より大きい場合、アレンジ顔画像に定められたメイクアイテムを採用する画像決定部１０３と、採用されたメイクアイテムを使用する際の手順をユーザに提示するメイク手順情報を生成し、所定の装置へ出力する情報生成部１０４と、を有する。
【０１４７】
すなわち、本実施の形態のメイクアップ支援装置１００によれば、ユーザ顔画像とターゲット顔画像とで所定の顔パーツの特徴が類似する場合、その顔パーツに対応するメイクパーツ画像をターゲット顔画像に関連付けられているものに決定し、ユーザ顔画像とターゲット顔画像とで所定の顔パーツの特徴が類似しない場合、その顔パーツに対するメイクパーツ画像をアレンジ顔画像に関連付けられているものに決定する。これにより、ユーザの各顔パーツの特徴に合わせたメイクパーツ画像が採用されるので、顔全体の調和がとれた自然なメイクをユーザに提示できる。
【０１４８】
＜本実施の形態の変形例＞
以上、本発明の実施の形態について説明したが、本発明は上記説明に限定されず、種々の変形が可能である。以下、各変形例について説明する。
【０１４９】
（変形例１）
上記実施の形態では、顔パーツの特徴量の比較処理の一例として、図５を用いて目の形状を比較する場合を例に挙げて説明したが、これに限定されない。
【０１５０】
例えば、ユーザ顔画像とターゲット顔画像とにおける輪郭の形状を比較してもよい。この場合、画像決定部１０３は、図９に示すように、顔の横幅ｗ１（顔特徴点５４と顔特徴点５５との間の距離）の長さ、顔の縦幅ｗ２（顔特徴点５５と顔特徴点５６との間の距離）の長さ、あごの顔特徴点５７、右頬の顔特徴点５８、左頬の顔特徴点５９を結んだ逆三角形ｔ１の形状（相似度）についてユーザ顔画像とターゲット顔画像とを比較し、それぞれの第１の差分値を算出する。
【０１５１】
そして、顔の横幅ｗ１、顔の縦幅ｗ２、逆三角形ｔ１のそれぞれに関する第１の差分値が所定の閾値以下である場合、画像決定部１０３は、ユーザ顔画像とターゲット顔画像とで輪郭が同じ（または類似する）と判定し、ターゲット顔画像に関連付けられているメイクパーツ画像（例えば、チーク、ハイライト、シェーディング等、輪郭に対応するメイクアイテムを表す画像）を採用する。
【０１５２】
なお、上記輪郭の形状の比較処理は、ユーザ顔画像とターゲット顔画像とを比較する場合だけでなく、ユーザ顔画像とアレンジ顔画像とを比較する場合にも適用できる。
【０１５３】
（変形例２）
上記実施の形態および変形例１では、顔パーツの特徴量の比較処理の一例として、図５、図９を用いて顔パーツ（目、輪郭）の形状を比較する場合を例に挙げて説明したが、これに限定されない。
【０１５４】
例えば、ユーザ顔画像とターゲット顔画像とにおける顔パーツ間の相対関係を比較してもよい。この場合、画像決定部１０３は、図１０に示すように、目尻の顔特徴点６０と眉山の顔特徴点６１との間の距離Ｌ（まぶたの上下方向の幅）の長さについてユーザ顔画像とターゲット顔画像とを比較し、第１の差分値を算出する。
【０１５５】
そして、距離Ｌに関する第１の差分値が所定の閾値以下である場合、画像決定部１０３は、ユーザ顔画像とターゲット顔画像とで目（まぶた）が同じ（または類似する）と判定し、ターゲット顔画像に関連付けられているメイクパーツ画像（例えば、アイシャドウ等、まぶたに対応するメイクアイテムを表す画像）を採用する。
【０１５６】
なお、上記輪郭の形状の比較処理は、ユーザ顔画像とターゲット顔画像とを比較する場合だけでなく、ユーザ顔画像とアレンジ顔画像とを比較する場合にも適用できる。
【０１５７】
また、上記説明では、顔パーツ間の相対関係の一例として、顔パーツ間（眉と目の間）の距離を例に挙げて説明したが、これに限定されない。例えば、顔の縦幅または横幅に対する各顔パーツの位置の比、または、顔パーツの大きさの比率などを比較対象としてもよい。
【０１５８】
また、上記顔パーツ間の相対関係（例えば、顔パーツ間の距離、顔の縦幅または横幅に対する各顔パーツの位置の比、顔パーツの大きさの比率など）を、メイクパーツ画像決定処理（例えば、図４のステップＳ２０９）における重み付けに利用してもよい。例えば、ユーザ顔画像と複数のアレンジ顔画像とにおいて所定の顔パーツの形状の比較（例えば、図５、図９で説明した処理）を行った結果、複数の第２の差分値が同じとなった場合、画像決定部１０３は、顔パーツ間の相対関係に関する第２の差分値が小さい方のアレンジ顔画像からメイクパーツ画像を採用するようにしてもよい。
【０１５９】
（変形例３）
上記実施の形態において、画像決定部１０３は、ユーザ顔画像から抽出された髪、肌、唇等の色情報（例えば、色相、彩度、明度）とターゲット顔及びアレンジ顔の色情報を比較し、所定のメイクアイテム（例えば、ファンデーション、コンシーラ、アイブロウ、チーク、口紅等）を表すメイクパーツ画像の色を、差分値が閾値以上、または最少となる顔画像に設定されている色に決定／変更してもよい。
【０１６０】
（変形例４）
上記実施の形態では、メイクアップ支援装置１００がアレンジ顔画像を撮像装置２００から取得する場合を例に挙げて説明したが、これに限定されない。
【０１６１】
例えば、メイクアップ支援装置１００は、記憶装置５００に記憶されている複数の顔画像の中から、ターゲット顔画像の所定の顔パーツ（例えば、輪郭）の顔特徴量に対して差分が最も大きくなる顔パーツ（例えば、輪郭）の顔特徴量を有する顔画像を、アレンジ顔画像として取得してもよい。
【０１６２】
また、例えば、メイクアップ支援装置１００は、顔パーツ毎の顔特徴量の差分の大きさの設定操作を受け付け、その設定に基づいて、アレンジ顔画像を取得してもよい。例えば、メイクアップ支援装置１００は、輪郭についての第２の差分が閾値以下であり、輪郭以外の顔パーツ（例えば、目、鼻、唇等）についての第２の差分が閾値より大きいという内容の設定を受け付ける。その場合、メイクアップ支援装置１００は、記憶装置５００に記憶されている複数の顔画像の中から、設定された条件を満たすアレンジ顔画像を取得する。設定される条件は、メイクアップ支援装置１００のユーザが任意に設定できる。
【０１６３】
（変形例５）
上記実施の形態では、図６に示したように、両目が開いた状態を示すユーザ顔画像にアイシャドウのメイクパーツ画像を重畳して表示する場合を例に挙げて説明したが、これに限定されない。
【０１６４】
例えば、両目が開いた状態のユーザ顔画像に加えて、片目を閉じた状態のユーザ顔画像も撮影しておき、後者のユーザ顔画像のまぶた（目を閉じている方）に対してアイシャドウのメイクパーツ画像を重畳して表示してもよい。このメイクパーツ画像は、目を閉じた状態のまぶたに対して描画されたアイシャドウを示す画像である。
【０１６５】
なお、アイシャドウのメイクパーツ画像は、目を閉じた状態に対応するものおよび目を開いた状態に対応するものを用いてもよいし、顔特徴点に基づいて変形することで目を閉じた状態と目を開いた状態の両方に対応するものを用いてもよい。
【０１６６】
（変形例６）
上記実施の形態では、図６に示したように、ユーザ顔画像に重畳される各メイクパーツ画像は、メイクアイテムの形状と色を表す画像である場合を例に挙げて説明したが、メイクアイテムの形状のみを表す画像であってもよい。メイクアイテムの形状のみを表す画像は、例えば、メイクアイテムの外周を点線または実線で示す画像である。
【０１６７】
（変形例７）
上記実施の形態では、メイク手順情報を静止画像で画面表示する場合を例に挙げて説明したが、静止画像の画面表示に加えて、音声または動画などを用いてメイク手順情報の所定の内容をユーザに通知してもよい。
【０１６８】
（変形例８）
上記実施の形態では、図４に示したメイクパーツ画像決定処理（例えば、図４のステップＳ２０９）において、第２の差分値が最小となるアレンジ顔画像からメイクパーツ画像を採用する場合を例に挙げて説明したが、複数の第２の差分値が最小となる場合、ユーザに関する情報（以下「ユーザ関連情報」という）を重み付けに利用して、メイクパーツ画像の採用対象となるアレンジ顔画像を選択してもよい。
【０１６９】
ユーザ関連情報は、例えば、ユーザのメイクの好み（メイクアイテムの色の種類、メイクアイテムの色の濃淡など）、ユーザのメイクアイテム（化粧品）の購買履歴、ユーザが現在保持しているメイクアイテム（化粧品）などの内容を含む。
【０１７０】
例えば、図４のステップＳ２０９において、複数の第２の差分値が最小となる場合、メイクアップ支援装置１００は、ユーザ関連情報に示される内容に合致する（例えば、色の種類および色の濃淡が類似する）アレンジ顔画像を選択し、そのアレンジ顔画像からメイクパーツ画像を採用してもよい。
【０１７１】
（変形例９）
上記実施の形態において、メイクパーツ画像決定処理で決定されたメイクパーツ画像に対して、例えば化粧品売場等の店員が手動操作でアレンジを加えてもよい。アレンジの内容は、例えば、決定された所定のメイクパーツ画像の形状、色、または位置の変更、決定されたメイクパーツ画像以外のメイクパーツ画像の追加などである。メイクアップ支援装置１００は、メイク手順情報を生成する際、アレンジの内容を反映させる。
【０１７２】
なお、メイクアップ支援装置１００は、アレンジの内容を示す情報（以下「アレンジ情報」という）をユーザ毎に記憶装置５００に記憶させてもよい。例えば、１人のユーザにつき同じアレンジ（例えば、アイシャドウのメイクパーツ画像の色の変更）が複数回行われた場合、メイクアップ支援装置１００は、複数のアレンジ情報に基づいてアレンジの傾向を学習する。そして、メイクアップ支援装置１００は、次のメイクパーツ画像決定処理（図４のステップＳ２０９）において、複数の第２の差分値が最小となる場合、学習した傾向に合致する（例えば、色の種類および色の濃淡が類似する）アレンジ顔画像を選択し、そのアレンジ顔画像からメイクパーツ画像を採用してもよい。
【０１７３】
（変形例１０）
上記実施の形態において、１人のユーザがメイクアップ支援装置１００を複数回利用することで、そのユーザにつき複数のメイク手順情報が生成される場合、メイクアップ支援装置１００は、ユーザ毎に複数のメイク手順情報を記憶装置５００に記憶させてもよい。
【０１７４】
メイクアップ支援装置１００は、複数のメイク手順情報に基づいて、採用される各メイクパーツ画像の特徴（例えば、色の種類、色の濃淡等）を学習する。そして、メイクアップ支援装置１００は、次のメイクパーツ画像決定処理（図４のステップＳ２０９）において、複数の第２の差分値が最小となる場合、学習した特徴に合致する（例えば、色の種類および色の濃淡が類似する）アレンジ顔画像を選択し、そのアレンジ顔画像からメイクパーツ画像を採用してもよい。
【０１７５】
（変形例１１）
上記実施の形態において、ユーザは、メイク手順情報に基づいて実際にメイクを行った後、その感想などを示すフィードバック情報を端末装置６００に入力し、例えば記憶装置５００に送信してもよい。
【０１７６】
フィードバック情報は、例えば、メイク手順情報（例えば、塗布方法情報７４）が参考になったメイクアイテム、ユーザが気に入ったメイクアイテムや製品（型番または商品名）などの内容を含む。
【０１７７】
例えば、図４のステップＳ２０９において、複数の第２の差分値が最小となる場合、メイクアップ支援装置１００は、フィードバック情報に示される内容に合致する（例えば、色の種類および色の濃淡が類似する）アレンジ顔画像を選択し、そのアレンジ顔画像からメイクパーツ画像を採用してもよい。
【０１７８】
なお、１人のユーザにつき複数のフィードバック情報が記憶装置５００に記憶されている場合、メイクアップ支援装置１００は、複数のフィードバック情報に基づいて、ユーザの好み（例えば、各メイクアイテムの色の種類や濃淡等）を学習してもよい。そして、メイクアップ支援装置１００は、次のメイクパーツ画像決定処理（図４のステップＳ２０９）において、複数の第２の差分値が最小となる場合、学習したユーザの好みに合致する（例えば、色の種類および色の濃淡が類似する）アレンジ顔画像を選択し、そのアレンジ顔画像からメイクパーツ画像を採用してもよい。
【０１７９】
ここで、ユーザがフィードバック情報を送信する手段の一つとして、ユーザがソーシャル・ネットワーキング・サービス（ＳＮＳ）へフィードバック情報を投稿できるようにしてもよい。ユーザによる投稿を促進するため、例えば、図６のメイク手順情報にフェイスブック、ツイッター（登録商標）、インスタグラム、グーグルプラス等のＳＮＳへのリンク情報を含ませておいてもよい。ユーザがSNSに投稿する際には、投稿内容に自動的にハッシュタグを埋め込んでもよい。これにより、後から投稿情報を収集し、ユーザに人気のメイクデザインや人気の商品の分析を可能にすることができる。
【０１８０】
（変形例１２）
変形例８で説明したユーザ関連情報には、上述した内容のほか、例えば、ユーザの年齢、性別、国籍、居住地、出身地、肌の悩み、理想の肌状態、医療機関（皮膚科、美容皮膚科、美容整形外科など）で受けた治療の履歴（医療機関名、治療日、治療箇所等）といった内容が含まれてもよい。
【０１８１】
これらの内容は、例えば、店舗、医療機関等の関係者またはユーザ自身によって所定の装置（例えば、メイクアップ支援装置１００、端末装置６００等）から入力される。そして、入力された内容を含むユーザ関連情報は、所定の装置から記憶装置５００に送信され、記憶装置５００においてユーザ識別情報に紐付けられて記憶される。
【０１８２】
そして、メイクアップ支援装置１００は、例えば、メイク手順情報を生成した際に、ユーザ関連情報（例えば、国籍、年齢、性別など）と、生成されたメイク手順情報とを対応付けて、所定の装置（例えば、化粧品の開発会社や販売店舗）へ出力してもよい。これらの情報の対応付けにより、どのような属性のユーザがどのようなメイクが好みであるかが分かる。そのため、化粧品の開発、接客の際のアドバイスや商品の推薦等に活用できる。
【０１８３】
（変形例１３）
上記実施の形態では、メイクパーツ支援装置１００が、テンプレートデータおよびアレンジデータ（メイクパーツ画像テーブル）の作成処理、および、メイク手順情報の生成処理の両方を行う場合を例に挙げて説明したが、テンプレートデータおよびアレンジデータ（メイクパーツ画像テーブル）の作成処理は、メイクアップ支援装置１００以外の装置で行われてもよい。
【０１８４】
（変形例１４）
メイクアップ支援装置１００の構成要素（画像取得部１０１、画像解析部１０２、画像決定部１０３、情報生成部１０４）の一部は、他の構成要素と物理的に離隔していてもよい。この場合、離隔された構成要素同士は、互いに通信を行うための通信部をそれぞれ備える必要がある。例えば、メイクアップ支援装置１００の機能の一部は、クラウド化されていてもよい。
【０１８５】
（変形例１５）
また、図６のメイク手順情報に記載の製品情報７５には、各製品の購入サイトへのリンク情報が含まれていてもよい。これにより、ユーザはメイク手順情報から任意の製品情報を選択して製品購入サイトを表示し、オンラインで製品を購入することができる。この時、ユーザは、製品情報から製品購入サイトに直接アクセスするのではなく、製品情報から購入サイトアクセス情報取得サイトを経由して製品購入サイトへアクセスする。購入サイトアクセス情報取得サイトにおいて、各ユーザがメイク手順情報から製品購入サイトへアクセスしたことを記録する。これにより、複数のユーザによる製品購入サイトへのアクセス情報が記録され蓄積されるため、特定のユーザの好みの製品や、複数のユーザに人気の製品やトレンドを分析することが可能になる。
【０１８６】
（変形例１６）
図１の情報生成部１０４により生成されたメイク手順情報は、メイクアップ支援装置１００と物理的に接続された端末装置６００で表示されてもよいし、メイクアップ支援装置１００と物理的に接続されていない別の端末装置（以下、表示端末という）で表示されてもよい。表示端末がメイクアップ支援装置１００と物理的に接続されていない場合であっても、さまざまな無線通信の手法によりネットワーク接続可能である。メイクアップ支援装置１００と物理的に接続されていない表示端末でメイク手順情報を表示する手法としては、生成されたメイク手順情報を情報生成部１０４がクラウド上にアップロードし、表示端末がクラウド上のメイク手順情報にアクセスして取得し、表示してもよい。この場合、表示端末がメイク手順情報へアクセスするための方法として、電子メールでメイク手順情報へのURLを表示端末に通知する、または、QRコード（登録商標）を表示端末で読み取ることにより、表示端末がメイク手順情報へのリンクを取得するようにしてもよい。
【０１８７】
＜本開示のまとめ＞
本開示のメイクアップ支援装置は、ユーザ顔画像と、所定形状と所定色とを有するメイクアイテムが顔パーツ毎に定められたターゲット顔画像と、ターゲット顔画像と比較して一部の顔パーツの特徴が異なり、所定形状と所定色とを有するメイクアイテムが顔パーツ毎に定められたアレンジ顔画像と、を取得する画像取得部と、ユーザ顔画像から抽出された顔特徴量と、ターゲット顔画像から抽出された顔特徴量との差分値が閾値以下である場合、ターゲット顔画像に定められた顔パーツ毎のメイクアイテムを採用し、差分値が前記閾値より大きい場合、一部の顔パーツについては、アレンジ顔画像に定められたメイクアイテムを採用し、その他の顔パーツについては、ターゲット顔画像に定められたメイクアイテムを採用する画像決定部と、採用されたメイクアイテムを使用する際の手順をユーザに提示するメイク手順情報を生成し、所定の装置へ出力する情報生成部と、を有する。
【０１８８】
なお、上記メイクアップ支援装置において、画像決定部は、ユーザ顔画像から抽出された所定の顔パーツに関する顔特徴量と、ターゲット顔画像から抽出された所定の顔パーツに関する顔特徴量との第１の差分値が、閾値以下であるかを判定し、第１の差分値が閾値以下である場合、ターゲット顔画像において所定の顔パーツに定められているメイクアイテムを採用し、第１の差分値が閾値より大きい場合、ユーザ顔画像から抽出された所定の顔パーツに関する顔特徴量と、アレンジ顔画像から抽出された所定の顔パーツに関する顔特徴量との第２の差分値が、閾値以下であるかを判定し、第２の差分値が閾値以下である場合、アレンジ顔画像において所定の顔パーツに定められているメイクアイテムを採用する。
【０１８９】
また、上記メイクアップ支援装置において、画像取得部は、複数のアレンジ顔画像を取得し、画像決定部は、ユーザ顔画像から抽出された所定の顔パーツに関する顔特徴量と、複数のアレンジ顔画像の各々から抽出された所定の顔パーツに関する顔特徴量との第２の差分値が、閾値以下であるかを判定し、閾値以下である第２の差分値のうち最小値のアレンジ顔画像に定められているメイクアイテムを採用する。
【０１９０】
また、上記メイクアップ支援装置において、画像取得部は、複数のアレンジ顔画像を取得し、画像決定部は、ユーザ顔画像から抽出された所定の顔パーツに関する顔特徴量と、複数のアレンジ顔画像の各々から抽出された所定の顔パーツに関する顔特徴量との第２の差分値が、閾値以下であるかを判定し、第２の差分値が閾値以下であるアレンジ顔画像のうち、予め重み付けがされた前記アレンジ顔画像に定められているメイクアイテムを採用する。
【０１９１】
また、上記メイクアップ支援装置において、重み付けは、ユーザの属性を示す情報、ユーザのメイクの嗜好を示す情報、または、ユーザ顔画像から抽出された所定の顔パーツ間の相対関係を示す情報に基づいて設定される。
【０１９２】
また、上記メイクアップ支援装置において、画像決定部は、採用されたメイクアイテムの画像をユーザ顔画像に重畳したシミュレーション画像を生成し、所定の表示装置へ出力する。
【０１９３】
また、上記メイクアップ支援装置において、メイク手順情報は、少なくとも、採用されたメイクアイテムの名称の情報、該メイクアイテムの使用方法の情報、該メイクアイテムの画像を前記ユーザ顔画像に重畳したシミュレーション画像を含む。
【０１９４】
また、上記メイクアップ支援装置において、メイクアイテムの画像は、予め定められたメイクアイテムの形状と色を示す画像、または、予め定められたメイクアイテムの形状のみを示す画像のいずれかである。
【０１９５】
本開示のメイクアップ支援方法は、ユーザ顔画像と、所定形状と所定色とを有するメイクアイテムが顔パーツ毎に定められたターゲット顔画像と、ターゲット顔画像と比較して一部の顔パーツの特徴が異なり、所定形状と所定色とを有するメイクアイテムが顔パーツ毎に定められたアレンジ顔画像と、を取得し、ユーザ顔画像から抽出された顔特徴量と、ターゲット顔画像から抽出された顔特徴量との差分値が閾値以下である場合、ターゲット顔画像に定められた顔パーツ毎のメイクアイテムを採用し、差分値が閾値より大きい場合、上記一部の顔パーツについては記アレンジ顔画像に定められたメイクアイテムを採用し、その他の顔パーツについては、ターゲット顔画像に定められたメイクアイテムを採用し、採用されたメイクアイテムを使用する際の手順をユーザに提示するメイク手順情報を生成する。
【産業上の利用可能性】
【０１９６】
本開示に係るメイクアップ支援装置およびメイクアップ支援方法は、ユーザのメイクを支援するメイクアップ支援装置およびメイクアップ支援方法として有用である。
【符号の説明】
【０１９７】
１  メイク支援システム
１００  メイクアップ支援装置
１０１  画像取得部
１０２  画像解析部
１０３  画像決定部
１０４  情報生成部
２００  撮像装置
３００  表示装置
４００  操作装置
５００  記憶装置
６００  端末装置
【図１】
2018012136.tif 000003
【図２】
2018012136.tif 000004
【図３】
2018012136.tif 000005
【図４】
2018012136.tif 000006
【図５】
2018012136.tif 000007
【図６】
2018012136.tif 000008
【図７】
2018012136.tif 000009
【図８】
2018012136.tif 000010
【図９】
2018012136.tif 000011
【図１０】
2018012136.tif 000012
【国際調査報告】
2018012136.tif 000013
2018012136.tif 000014
2018012136.tif 000015
2018012136.tif 000016