(57)【要約】【課題】本発明の課題は、ユーザが満足するメイクアップの提案が容易になるメイクアップ支援システム、メイクアップ支援方法、及び、メイクアップ支援モデルを提案することである。【解決手段】メイクアップ支援システム１０は、メイクアップの対象となる人体の所定部位のデジタル写真である入力画像の入力を受け付ける画像入力部（端末装置３０）と、生成部４０と、を備える。生成部４０は、入力画像の画素値から導出される特徴量の座標が特徴量空間における規定範囲内に収まるように入力画像の画素値を補正して、入力画像から、所定部位の基準状態を示す正規化画像を生成する。【選択図】  図１
2019000132.tif 000002
【特許請求の範囲】
【請求項１】
メイクアップの対象となる人体の所定部位のデジタル写真である入力画像の入力を受け付ける画像入力部と、
前記入力画像の画素値から導出される特徴量の座標が特徴量空間における規定範囲内に収まるように前記入力画像の画素値を補正して、前記入力画像から、前記所定部位の基準状態を示す正規化画像を生成する生成部と、
を備える、
メイクアップ支援システム。
【請求項２】
前記生成部は、前記入力画像からの前記正規化画像の生成を、正規化モデルを利用して行うように構成され、
前記正規化モデルは、前記入力画像と前記正規化画像との関係を、複数人分の前記入力画像と前記正規化画像との関係を含む学習用データにより学習した学習済みモデルである、
請求項１のメイクアップ支援システム。
【請求項３】
前記規定範囲は、前記学習用データに含まれる前記入力画像の特徴量の座標の分布の重心を含む範囲である、
請求項２のメイクアップ支援システム。
【請求項４】
前記基準状態は、方向性が異なる複数のメイクアップを施す対象となる状態である、
請求項１〜３のいずれか一つのメイクアップ支援システム。
【請求項５】
前記基準状態は、前記複数のメイクアップのいずれに対しても、事前にメイクアップを落とす必要がない状態である、
請求項４のメイクアップ支援システム。
【請求項６】
前記生成部は、メイクアップの内容を指定するメイクアップパターンに基づいて、前記正規化画像から、前記正規化画像で表される前記所定部位の基準状態に前記メイクアップパターンで指定された内容のメイクアップを施して得られる前記所定部位のメイクアップ後の状態を示す結果画像を生成するように構成される、
請求項１〜５のいずれか一つのメイクアップ支援システム。
【請求項７】
前記メイクアップパターンの入力を受け付けるメイクアップパターン入力部を更に備え、
前記生成部は、前記メイクアップパターン入力部に入力された前記メイクアップパターンに基づいて、前記正規化画像から前記結果画像を生成するように構成される、
請求項６のメイクアップ支援システム。
【請求項８】
前記生成部は、前記正規化画像に基づいて決定されたメイクアップパターンに基づいて、前記正規化画像から前記結果画像を生成するように構成される、
請求項６のメイクアップ支援システム。
【請求項９】
前記生成部は、前記正規化画像からの前記結果画像の生成を、派生モデルを利用して行うように構成され、
前記派生モデルは、前記正規化画像と前記メイクアップパターンとを含む入力情報と前記結果画像との関係を、複数人分の前記入力情報と前記結果画像との関係を含む学習用データにより学習した学習済みモデルである、
請求項６〜８のいずれか一つのメイクアップ支援システム。
【請求項１０】
前記生成部は、前記メイクアップパターンで指定される内容のメイクアップを施すためのメイクアップ情報を生成するように構成される、
請求項６〜９のいずれか一つのメイクアップ支援システム。
【請求項１１】
前記結果画像は、前記所定部位のメイクアップ後の状態をイラストで示す画像である、
請求項６〜１０のいずれか一つのメイクアップ支援システム。
【請求項１２】
メイクアップの対象となる人体の所定部位のデジタル写真である入力画像の入力を受け付ける第１ステップと、
前記入力画像の画素値から導出される特徴量の座標が特徴量空間における規定範囲内に収まるように前記入力画像の画素値を補正して、前記入力画像から、前記所定部位の基準状態を示す正規化画像を生成する第２ステップと、
を含む、
メイクアップ支援方法。
【請求項１３】
入力画像と正規化画像との関係を、複数人分の前記入力画像と前記正規化画像との関係を含む学習用データにより学習した学習済みモデルを含み、
前記入力画像は、メイクアップの対象となる人体の所定部位のデジタル写真であり、
前記正規化画像は、前記入力画像の画素値から導出される特徴量の座標が特徴量空間における規定範囲内に収まるように前記入力画像の画素値を補正して得られる、前記所定部位の基準状態を示す画像である、
メイクアップ支援モデル。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、一般に、メイクアップ支援システム、メイクアップ支援方法、及び、メイクアップ支援モデルに関し、特に、ユーザのメイクアップの決定の支援に用いられるメイクアップ支援システム、メイクアップ支援方法、及び、メイクアップ支援モデルに関する。
【背景技術】
【０００２】
特許文献１は、肌状態測定分析情報管理システムを開示する。特許文献１の肌状態測定分析情報管理システムは、肌状態測定装置のユーザに、肌状態測定装置の測定データから自分の肌状態の分析結果を得られるサービスを提供できる。また、特許文献１の肌状態測定分析情報管理システムは、収集したデータを化粧品のメーカーや販売会社（化粧品会社）に提供できる。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０１６−１１５３６３号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
特許文献１の肌状態測定分析情報管理システムによれば、多くの肌状態の測定データを収集して利用することが可能である。しかしながら、ユーザ（顧客）に適したメイクアップについては、店舗のスタッフ（販売員、美容部員）が決定する必要がある。そのため、ユーザが満足するメイクアップを提案できるか否かが、スタッフの個人の技能に大きく左右されていた。
【０００５】
本発明の課題は、ユーザが満足するメイクアップの提案が容易になるメイクアップ支援システム、メイクアップ支援方法、及び、メイクアップ支援モデルを提案することである。
【課題を解決するための手段】
【０００６】
本発明に係る一態様のメイクアップ支援システムは、メイクアップの対象となる人体の所定部位のデジタル写真である入力画像の入力を受け付ける画像入力部と、生成部と、を備える。前記生成部は、前記入力画像の画素値から導出される特徴量の座標が特徴量空間における規定範囲内に収まるように前記入力画像の画素値を補正して、前記入力画像から、前記所定部位の基準状態を示す正規化画像を生成するように構成される。
【０００７】
本発明に係る一態様のメイクアップ支援方法は、第１ステップと第２ステップとを含む。第１ステップでは、メイクアップの対象となる人体の所定部位のデジタル写真である入力画像の入力を受け付ける。第２ステップでは、前記入力画像の画素値から導出される特徴量の座標が特徴量空間における規定範囲内に収まるように前記入力画像の画素値を補正して、前記入力画像から、前記所定部位の基準状態を示す正規化画像を生成する。
【０００８】
本発明に係る一態様のメイクアップ支援モデルは、入力画像と正規化画像との関係を、複数人分の前記入力画像と前記正規化画像との関係を含む学習用データにより学習した学習済みモデルを含む。前記入力画像は、メイクアップの対象となる人体の所定部位のデジタル写真である。前記正規化画像は、前記入力画像の画素値から導出される特徴量の座標が特徴量空間における規定範囲内に収まるように前記入力画像の画素値を補正して得られる、前記所定部位の基準状態を示す画像である。
【発明の効果】
【０００９】
本発明の態様のメイクアップ支援システム、メイクアップ支援方法、及び、メイクアップ支援モデルによれば、ユーザが満足するメイクアップの提案が容易になるという効果を奏する。
【図面の簡単な説明】
【００１０】
【図１】図１は、一実施形態のメイクアップ支援システムのブロック図である。
【図２】図２Ａ及び図２Ｂは、上記メイクアップ支援システムで表示される写真選択画面の概略図である。
【図３】図３は、上記メイクアップ支援システムで表示されるイラスト選択画面の概略図である。
【図４】図４は、上記メイクアップ支援システムで表示されるメイクアップ選択画面の概略図である。
【図５】図５は、上記メイクアップ支援システムで実行されるメイクアップ支援方法のフローチャートである。
【発明を実施するための形態】
【００１１】
１．実施形態
１．１  概要
本実施形態のメイクアップ支援システム１０（図１参照）は、ユーザ（顧客）に適したメイクアップの提案をするために用いられる。一例としては、メイクアップ支援システム１０は、店舗のスタッフ（販売員、美容部員）が、店舗に訪れたユーザに、ユーザが満足するメイクアップの提案をするために用いられ得る。ユーザが満足するメイクアップとは、例えば、ユーザが理想とする姿を実現するメイクアップ、ユーザが幸せな気分になれるメイクアップ、ユーザが自分らしくいられるメイクアップ等を想定している。
【００１２】
メイクアップ支援システム１０では、ユーザの情報として、ユーザの画像が利用される。ユーザの画像は、メイクアップの対象となる人体の所定部位のデジタル写真である。所定部位は、メイクアップの対象となる人体の全身又は一部であってよい。所定部位が人体の一部である例としては、頭部、手、足が挙げられる。また、所定部位は、例えば、頭部全体であってもよいし、頭部の一部（例えば、顔、頭）であってもよい。また、所定部位は、顔全体であってもよいし、顔の一部（例えば、目、眉、額、鼻、唇、顎、頬）であってもよい。所定部位は、ユーザが自身で予め決めている場合が多いが、店舗のスタッフとの相談によって変更され得る。なお、所定部位のデジタル写真は、所定部位のみのデジタル写真であってもよいが、通常、所定部位のみのデジタル写真を得ることは現実的ではないから、所定部位を含む人体のデジタル写真であればよい。例えば、所定部位が頭部であれば、頭部のデジタル写真は、頭部を含む部位である上半身のデジタル写真であってもよい。
【００１３】
上述したようにメイクアップの対象となる所定部位には様々な種類がある。メイクアップにも、メイクアップを施す部位（所定部位）の種類と関連して、フェイスメイクアップ、ヘアメイクアップ、アイメイクアップ等の様々な種類がある。本実施形態では、様々な種類のメイクアップを区別はせずに、包括的にメイクアップと称する場合がある。なお、ヘアメイクアップは、髪形を変えるヘアアレンジメント、髪を切るヘアカット、髪の色を変えるヘアカラーリングなども含み得る。
【００１４】
メイクアップ支援システム１０は、入力されたユーザの所定部位の画像（入力画像）を利用して、所定部位のメイクアップ後の状態を示す画像（結果画像）を出力する。メイクアップ支援システム１０は、結果画像を生成するにあたって、メイクアップの内容を指定するメイクアップパターンを利用する。メイクアップパターンは、メイクアップの内容を指定する情報である。例えば、メイクアップの内容は、１以上のメイクアップの工程（例えば、ベース、チーク、口、目、眉等）の情報を含み得る。メイクアップの工程の情報は、当該工程で使用するメイクアップアイテム（化粧品）の情報及び使用箇所（例えば、メイクアップアイテムを塗布する範囲）を示すパラメータで構成され得る。メイクアップアイテムは、例えば、メイクアップベース、コンシーラ、ファンデーション、パウダー、ハイライター、チーク、アイライナー、アイシャドウ、マスカラ、口紅、グロス、チークが挙げられる。このように、メイクアップパターンは、１以上のメイクアップの工程の情報を示すパラメータを含む。メイクアップパターンは、例えば、ＴＰＯ（例えば、ビジネス、フォーマル、ドレス、カジュアル）や印象（例えば、色白、色黒、ナチュラル、キレイめ、やさしめ）、流行（例えば、人気女優やモデル風のメイクアップ）等の要素を考慮して、種々用意され得る。また、メイクアップパターンは、メイクアップアーティストの施したメイクアップの履歴等を参考にして生成されてもよい。そのため、ユーザが好みの結果画像を選択することは、ユーザが好みのメイクアップパターンを選択することに等しい。
【００１５】
メイクアップ支援システム１０は、ユーザが最終的に選択したメイクアップパターンで指定される内容のメイクアップを施すための情報（メイクアップ情報）を出力する。メイクアップ情報は、例えば、メイクアップパターンではパラメータで表されていたメイクアップの内容を人（例えばスタッフ）が理解できる表現（文章等）に変換して得られる。店舗のスタッフは、メイクアップ支援システム１０から出力されたメイクアップ情報を参考に、ユーザにメイクアップの方法及び必要な化粧品を提示する。このようにして、メイクアップ支援システム１０を利用することにより、スタッフは、ユーザが満足するメイクアップの提案を容易に行える。特に、ユーザが満足するメイクアップは、ユーザ毎に異なり、ユーザ自身も明確には把握できていない場合が多い。メイクアップ支援システム１０は、所定部位のメイクアップ後の状態を結果画像という具体的なイメージで提示する。このように、メイクアップ支援システム１０は、メイクアップ後の状態に関してユーザ自身がいまだ自分の理想を明確に把握できていない場合に、ユーザのメイクアップ後の状態を具体的に示す画像を提案可能にする。
【００１６】
また、メイクアップ支援システム１０において、結果画像は、所定部位のメイクアップ後の状態をイラストで示す。イラストを用いることで、例えば、所定部位においてユーザ自身があまり見たくない部分（例えば、ユーザがコンプレックスを感じる部分）を目立たなくさせることができる。そのため、ユーザが自身の画像（結果画像）を見る際の心理的な負担の軽減が期待できる。このような結果画像を生成するために、メイクアップ支援システム１０は、イラスト化処理を行う。イラスト化処理は、例えば、画像の階調変換（階調の線形又は非線形補正）、画像の階調の平坦化（平滑化）、画像のエッジ強調などを含み得る。また、所定部位が顔を含む場合、顔のパーツ（例えば、目、眉、鼻、口）の配置を調整する処理とパーツの形状を単純化する処理が含まれ得る。イラスト化処理の具体的な内容は、イラストのタッチ（テイスト）に応じて決定される。イラストのタッチは、例えば、画像の単純化の度合い、輪郭・シェイプの強調度合い、カラー・トーンの強調度合い等の組み合わせによって様々である。
【００１７】
１．２  構成
以下に、メイクアップ支援システム１０の具体的な構成について説明する。メイクアップ支援システム１０は、図１に示すように、１以上のカメラ２０と、１以上の端末装置３０と、生成部４０と、を含む。１以上の端末装置３０と、生成部４０とは、インターネット等のネットワーク６０に接続されている。
【００１８】
メイクアップ支援システム１０において、結果画像の生成は、生成部４０により行われる。端末装置３０は、生成部４０による結果画像の生成に利用される情報である、ユーザの画像（入力画像）を生成部４０に与えるために用いられる。また、メイクアップ支援システム１０では、結果画像の生成にメイクアップパターンが用いられるが、メイクアップパターンの決定や変更は、生成部４０によっても行われる。
【００１９】
カメラ２０は、例えば、化粧品の販売をする店舗において使用される。カメラ２０は、上述した入力画像を得るために用いられる。カメラ２０は、例えば、いわゆるデジタルカメラである。本実施形態において、カメラ２０により生成される入力画像は、カラー画像である。
【００２０】
カメラ２０により撮像されたユーザ（の所定部位）の画像は、入力画像として端末装置３０に送信される。本実施形態では、カメラ２０は、複数の入力画像を得るために用いられる。複数の入力画像は、所定部位を撮像する方向が異なる画像である。つまり、カメラ２０によって、ユーザの所定部位が様々な角度から撮像される。例えば、カメラ２０を、水平面内において、ユーザの回りに３６０°回転させることで、ユーザの所定部位（例えば頭部）を３６０°の全方向から撮影する。そのため、カメラ２０から端末装置３０には所定部位を異なる方向から撮像して得られる複数の入力画像が出力される。例えば、頭部の正面から３０°刻みで撮影することで、１２枚の入力画像が得られる。
【００２１】
端末装置３０は、例えば、化粧品の販売をする店舗において使用される。端末装置３０は、図１に示すように、入力部３１と、出力部３２と、通信部３３と、処理部３４と、を備える。端末装置３０は、例えば、ＣＰＵ及びメモリを主構成とするコンピュータシステムにて構成されており、ＣＰＵがメモリに格納されているプログラムを実行することにより、コンピュータシステムが端末装置３０として機能する。プログラムは、ここでは端末装置３０のメモリに予め記録されているが、インターネット等の電気通信回線を通じて、又はメモリカード等の記録媒体に記録されて提供されてもよい。
【００２２】
入力部３１は、人による操作を受け付ける機能を有している。出力部３２は、例えば液晶ディスプレイや有機ＥＬ（electroluminescence）ディスプレイのような薄型のディスプレイ装置である。ここで、入力部３１は、例えば、出力部３２の表示面に設置されるタッチパッドである。つまり、出力部３２と入力部３１とはタッチパネルを構成する。なお、入力部３１は、タッチパネルに限らず、例えばキーボードやポインティングデバイス、メカニカルなスイッチ等であってもよい。
【００２３】
通信部３３は、ネットワーク６０に接続されることで、端末装置３０と生成部４０との間の通信を可能にする。
【００２４】
処理部３４は、出力部３２に表示させる画面を作成し、出力部３２を制御することにより、作成した画面を出力部３２に表示させる機能を持つ。つまり、端末装置３０は、専用のアプリケーションソフトをインストールし、このアプリケーションソフトを起動することにより、出力部３２を制御するための処理部３４としての機能を実現する。
【００２５】
処理部３４は、図２Ａ及び図２Ｂに示すような写真選択画面５００を表示するように構成される。写真選択画面５００では、処理部３４は、カメラ２０から得られた複数の入力画像５１０を所定枚数（図２Ａ及び図２Ｂでが２枚）ずつ表示する。処理部３４は、写真選択画面５００の表示中は、入力部３１による入力画像５１０の選択を受け付ける。つまり、処理部３４は、入力部３１により、複数の入力画像５１０から結果画像の生成に用いる入力画像５１０を選択することを可能にする。これによって、ユーザは、複数の入力画像５１０から最も気に入った入力画像５１０を選択することができる。処理部３４は、入力部３１により選択された入力画像５１０を、通信部３３を通じて生成部４０に送信する。生成部４０は、端末装置３０から受け取った入力画像５１０を元に、結果画像を生成する処理を行う。
【００２６】
また、処理部３４は、図３に示すようなイラスト選択画面６００を表示するように構成される。イラスト選択画面６００は、結果画像のイラストのタッチを選択するための画面である。イラスト選択画面６００では、処理部３４は、図３に示すように、複数（図３では４枚）のサンプル画像６１０，６２０，６３０，６４０を表示する。複数のサンプル画像６１０，６２０，６３０，６４０は、それぞれ、異なるイラストのタッチを例示している。
【００２７】
例えば、サンプル画像６１０，６２０，６３０，６４０は、画像の単純化の度合いと、輪郭・シェイプの強調度合い／カラー・トーンの強調度合いとの組み合わせが異なるイラストのタッチに対応している。サンプル画像６１０，６２０は、サンプル画像６３０，６４０よりも、画像の単純化の度合いが低い（イラストがより写真に近い）。サンプル画像６１０，６３０は、サンプル画像６２０，６４０よりも輪郭・シェイプの強調度合いが低く、カラー・トーンの強調度合いが高い。特に、サンプル画像６１０は、写真に近い画像であるが、隈や細かい皺等が除去されている。サンプル画像６２０は、似顔絵に近い画像であり、写真に比べれば輪郭が強調されている。サンプル画像６３０は、サンプル画像６２０をさらに単純化した画像である。サンプル画像６４０は、サンプル画像６１０をさらに単純化した画像である。
【００２８】
サンプル画像６１０，６２０，６３０，６４０は、ユーザの入力画像５１０を利用して生成されている。ただし、必ずしもユーザの入力画像５１０を利用する必要はなく、予め用意された画像であってもよい。例えば、サンプル画像は、ユーザとは別人のデジタル写真を利用して生成された画像であってもよい。
【００２９】
処理部３４は、イラスト選択画面６００の表示中は、入力部３１によるサンプル画像６１０，６２０，６３０，６４０の選択を受け付ける。つまり、処理部３４は、入力部３１により、イラストのタッチを選択することを可能にする。これによって、ユーザは、複数のサンプル画像６１０，６２０，６３０，６４０を参考にして、最も気に入ったイラストのタッチを選択することができる。処理部３４は、入力部３１により選択されたイラストのタッチの情報（イラストのタッチの選択の結果）を、通信部３３を通じて生成部４０に送信する。生成部４０は、端末装置３０から受け取ったイラストのタッチの情報を元に、結果画像を生成する処理を行う。
【００３０】
また、処理部３４は、メイクアップパターンの入力を受け付けるメイクアップ入力画面を表示するように構成される。メイクアップ入力画面では、処理部３４は、例えば、予め用意された複数のメイクアップパターンを表示する。また、処理部３４は、入力部３１による複数のメイクアップパターンの選択を受け付ける。このようにして、処理部３４は、メイクアップパターンの入力を受け付ける。また、メイクアップ画面では、処理部３４は、入力部３１によるメイクアップパターンの直接入力を受け付ける。この場合、処理部３４は、メイクアップパターンのパラメータを個々に変更する個別変更ボタンを表示してもよいし、メイクアップパターンの２以上のパラメータを一括して変更する一括変更ボタンを表示してもよい。一括変更ボタンは、例えば、メイクアップパターンを変更する傾向（例えば、「地味め」、「華やかめ」、「幼め」、「大人め」、「やわらかめ」、「キレイめ」、「ナチュラル」等）を表示してもよい。
【００３１】
処理部３４は、入力部３１により入力されたメイクアップパターンを生成部４０に送信する。メイクアップ入力画面では、処理部３４は、メイクアップパターンを所定数（例えば４つ）まで同時に入力可能としている。生成部４０は、処理部３４から受け取ったメイクアップパターンに基づいて、入力画像から結果画像を生成する。
【００３２】
また、処理部３４は、図４に示すようなメイクアップ選択画面７００を表示するように構成される。メイクアップ選択画面７００では、処理部３４は、生成部４０から得られた複数（図４では４枚）の結果画像７１０，７２０，７３０，７４０を表示する。処理部３４は、メイクアップ選択画面７００の表示中は、入力部３１による結果画像７１０，７２０，７３０，７４０の選択を受け付ける。そのため、ユーザは、生成部４０で生成される複数の結果画像７１０，７２０，７３０，７４０から最も気に入った結果画像を選択することができる。
【００３３】
処理部３４は、入力部３１により、複数の結果画像７１０，７２０，７３０，７４０のいずれかが選択されると、選択された結果画像を元にメイクアップ情報を生成するか、選択された結果画像を元に別の結果画像を生成するかの選択を受け付ける。ここで、選択された結果画像を元に別の結果画像を生成することが選択されると、処理部３４は、メイクアップ入力画面を表示する。この場合、処理部３４は、メイクアップ入力画面に、選択された結果画像に対応するメイクアップパターンを予め表示してもよい。一方、選択された結果画像を元にメイクアップ情報を生成することが選択されると、処理部３４は、選択された結果画像に対応するメイクアップパターンで指定される内容のメイクアップを施すためのメイクアップ情報を生成部４０から取得し、出力部３２に表示する。なお、ユーザが複数の結果画像７１０，７２０，７３０，７４０のいずれも選択したくない場合には、再度、メイクアップ入力画面を表示させればよい。
【００３４】
このように、端末装置３０では、入力部３１を用いてメイクアップパターンを入力すれば、入力されたメイクアップパターンに対応する結果画像が出力部３２に表示される。そのため、ユーザの好みの結果画像（ユーザの気に入った結果画像）が得られるようにメイクアップパターンを変更できる。また、端末装置３０は、メイクアップパターンに対応するメイクアップ情報を出力部３２に表示できる。
【００３５】
このように、端末装置３０は、メイクアップ支援システム１０において、入力画像、イラストのタッチの選択の結果、メイクアップパターンの選択の結果、及び結果画像の選択の結果についての情報を、生成部４０に与えるために使用されている。つまり、端末装置３０は、メイクアップの対象となる人体の所定部位のデジタル写真である入力画像の入力を受け付ける画像入力部として機能する。また、端末装置３０は、メイクアップパターンの入力を受け付けるメイクアップパターン入力部として機能する。
【００３６】
次に、生成部４０について説明する。生成部４０は、図１に示すように、通信部４１と、モデル格納部４２と、処理部４３と、を含む。生成部４０は、例えば、ＣＰＵ及びメモリを主構成とするコンピュータシステムにて構成されており、ＣＰＵがメモリに格納されているプログラムを実行することにより、コンピュータシステムが生成部４０として機能する。プログラムは、ここでは生成部４０のメモリに予め記録されているが、インターネット等の電気通信回線を通じて、又はメモリカード等の記録媒体に記録されて提供されてもよい。
【００３７】
通信部４１は、ネットワーク６０に接続されることで、端末装置３０との間の通信を可能にする。
【００３８】
モデル格納部４２は、処理部４３での処理に使用されるメイクアップ支援モデルを格納する。メイクアップ支援モデルは、入力画像から結果画像を生成するために用いられる学習済みモデルである。
【００３９】
本実施形態では、メイクアップ支援モデルは、入力画像から結果画像を生成する過程において、メイクアップパターンを適用するための所定部位の基準状態を示す画像（以下、正規化画像という）を生成する。基準状態は、一例としては、方向性が異なる複数のメイクアップを施す対象となる状態である。換言すれば、基準状態は、所定部位のメイクアップ後の状態への変換が容易に行える状態である。そのため、正規化画像から所定部位のメイクアップ後の状態の画像を生成する処理が容易になる。一例としては、基準状態は、何もメイクアップが施されていない状態、又は、方向性が異なる複数のメイクアップに共通する処理だけが行われた状態を想定している。例えば、所定部位が顔である場合には、何もメイクアップが施されていない状態は素顔に相当する。想定されるメイクアップに共通する処理だけが行われた状態は、複数のメイクアップのいずれに対しても、事前にメイクを落とす必要がない状態であるともいえる。一例としては、このような状態は、ベースのメイクアップだけが完了した状態に相当し得る。
【００４０】
メイクアップ支援モデルは、メイクアップパターンに基づいて、正規化画像から結果画像を生成する。結果画像は、正規化画像で表される所定部位の基準状態にメイクアップパターンで指定された内容のメイクアップを施して得られる所定部位のメイクアップ後の状態を示す。正規化画像から結果画像を生成することによって、店舗に訪れるユーザが既に所定部位に何らかのメイクアップを施していても、このような来店時のユーザの所定部位の状態が結果画像に影響することが低減され得る。
【００４１】
ここで、メイクアップパターンは、上述したように、端末装置３０を利用して入力することができる。そのため、ユーザが満足するメイクアップの提案がより容易になる。
【００４２】
本実施形態において、メイクアップ支援モデルは、正規化モデルと、派生モデルと、を含む。
【００４３】
正規化モデルは、ユーザの入力画像から、派生モデルに与える正規化画像を生成するために用いられる。より詳細には、正規化モデルは、入力画像の画素値から導出される特徴量の座標が特徴量空間における規定範囲内に収まるように入力画像の画素値を補正して、入力画像から正規化画像を生成するために用いられる。
【００４４】
ここにおいて、特徴量は、例えば、入力画像の画素値であってもよいし、入力画像を構成する画素にｍ×ｎのフィルタを適用して導出される値であってもよい。ｍ、ｎは２以上の整数であり、ｍとｎは同じであってもよい。特徴量空間は、入力画像から導出される特徴量毎の座標軸で規定される空間である。特徴量の数が１００あれば、特徴量空間は１００次元の空間となる。特徴量の座標は、入力画像から導出される各特徴量の座標軸上の値で定義される。規定範囲は、正規化画像（つまり所定部位の基準状態）によって決まり得る。本実施形態では、規定範囲は、学習用データに含まれる入力画像の特徴量の座標の分布の重心（又は中心）を含む範囲としている。これは、所定部位の状態を、メイクアップがされていない状態に近付けることを意味する。このように規定範囲を設定することで、所定部位から来店時のユーザのメイクアップの影響が低減された正規化画像が生成され得る。そのため、正規化画像から所定部位のメイクアップ後の状態の画像を生成する処理が容易になる。なお、規定範囲の大きさが小さいほど、正規化画像間において顔の形状以外の差が小さくなる。
【００４５】
本実施形態において、正規化モデルは、入力画像と正規化画像との関係を、複数人分の入力画像と正規化画像との関係を含む学習用データにより学習した学習済みモデルである。このような正規化モデルを利用することにより、正規化画像の精度が向上する。
【００４６】
正規化モデルを生成するためのモデルとしては、例えば、階層モデルの一種であるニューラルネットワークが用いられる。例えば、ニューラルネットワークでは、入力画像の各画素値が変数として入力層に与えられ、出力層からの変数が正規化画像の各画素値として与えられる。所定部位が顔である場合、入力画像と正規化画像とにおいては、顔の形状（顔の輪郭、顔のパーツの形状及び配置）は大きく変化しないという見込みがある。また、顔においてメイクアップにより変更され得る部分（口紅を塗る部分、チークをつける部分、アイシャドウを塗る部分等）は、顔のパーツとの関係においてある程度決まるという見込みがある。そこで、このような見込みに基づいて、ニューラルネットワークの１以上の中間層（隠れ層）の構造を設計すれば、精度の高い学習済みモデルが得られ得る。
【００４７】
派生モデルは、正規化画像から結果画像を生成するために用いられる。また、派生モデルは、結果画像を生成するにあたって、メイクアップパターンを用いる。つまり、派生モデルは、正規化画像とメイクアップパターンとから、結果画像を生成するために用いられる。より詳細には、派生モデルは、正規化画像の画素値から特徴量を導出し、導出された特徴量の座標がメイクアップパターンに応じた値となるように正規化画像の画素値を補正して、正規化画像とメイクアップパターンとから結果画像を生成するために用いられる。
【００４８】
本実施形態において、派生モデルは、正規化画像とメイクアップパターンとを含む入力情報と結果画像との関係を、複数人分の入力情報と結果画像との関係を含む学習用データにより学習した学習済みモデルである。このような派生モデルを利用することにより、結果画像の精度が向上する。
【００４９】
派生モデルを生成するためのモデルとしては、例えば、階層モデルの一種であるニューラルネットワークが用いられる。例えば、ニューラルネットワークでは、正規化画像の各画素値及びメイクアップパターンの規定する数値が変数として入力層に与えられ、出力層からの変数が結果画像の各画素値として与えられる。例えば、所定部位が顔である場合、正規化画像と結果画像とにおいては、顔の形状（顔の輪郭、顔のパーツの形状及び配置）は大きく変化しないという見込みがある。また、メイクアップパターンに応じて決定されるメイクアップにより変更され得る顔の部分（口紅を塗る部分、チークをつける部分、アイシャドウを塗る部分等）は、顔のパーツとの関係においてある程度決まるという見込みがある。そこで、このような見込みに基づいて、ニューラルネットワークの１以上の中間層（隠れ層）の構造を設計すれば、精度の高い学習済みモデルが得られ得る。
【００５０】
上述したように、結果画像は、所定部位をイラストで示す画像である。そのため、ユーザが自身の結果画像を見る際の心理的な負担の軽減が期待できる。このような結果画像を得るために、正規化モデルの学習用データの正規化画像として所定部位をイラストで示す画像が用いられている。この場合、正規化モデルにより入力画像から正規化画像が生成される過程で、イラスト化処理が実行される。そのため、メイクアップ支援モデルは、正規化モデルと派生モデルとの組み合わせを、イラストのタッチ毎に有している。イラストは、デジタル写真よりも単純な特徴量が得られやすい。そのため、メイクアップ支援モデルの結果の精度の向上が期待できる。
【００５１】
メイクアップ支援モデルでは、入力画像から結果画像を生成する過程が、メイクアップパターンに関わらず共通して実行される項目（共通項）に関する処理（正規化画像を生成する処理）と、メイクアップパターンごとに独立して実行される項目（独自項）に関する処理（派生画像を生成する処理）とに分けられている。そして、共通項と独自項とで別々の学習済みモデル（正規化モデル及び派生モデル）が使用されている。そのため、結果画像を複数枚生成する場合には、重複する処理を省略できて、総演算量を減らすことができ、負荷の低減及び処理の高速化を図ることができる。
【００５２】
処理部４３は、モデル格納部４２に格納されたメイクアップ支援モデルを利用して、入力画像から結果画像を生成し、端末装置３０に送信するように構成される。より詳細には、処理部４３は、正規化モデルを利用して、通信部４１を通じて得た入力画像及びイラストのタッチの選択の結果に基づいて、正規化画像を生成する。また、処理部４３は、派生モデルを利用して、正規化画像と通信部４１を通じて得たメイクアップパターンの入力の結果に基づいて、結果画像を生成する。そして、処理部４３は、結果画像を、通信部４１を通じて、端末装置３０に送信する。
【００５３】
また、処理部４３は、メイクアップパターンで指定される内容のメイクアップを施すためのメイクアップ情報を生成するように構成される。より詳細には、処理部４３は、通信部４１を通じて端末装置３０から得たメイクアップパターンの選択の結果を元にしてメイクアップ情報を生成して、通信部４１を通じて端末装置３０に出力する。処理部４３は、結果画像で示される所定部位のメイクアップ後の状態を実現するためのメイクアップの内容をメイクアップ情報として出力することができる。そのため、ユーザが満足するメイクアップの提案が更に容易になる。
【００５４】
１．３  動作
次に、本実施形態のメイクアップ支援システム１０の動作の一例について図５を参照して簡単に説明する。下記の例は、店舗にいるスタッフが、メイクアップ支援システム１０を利用して、店舗に訪れたユーザに、当該ユーザが満足するメイクアップの提案を行う手順を示す。
【００５５】
まず、店舗において、カメラ２０を用いてユーザの撮影が行われる（Ｓ１００）。カメラ２０で得られたユーザの複数のデジタル写真は、入力画像として端末装置３０に入力される。
【００５６】
端末装置３０は、図２Ａ及び図２Ｂに示すような写真選択画面５００を表示し、入力画像５１０の選択を受け付ける（Ｓ１１０）。これによって、ユーザは、複数のデジタル写真（入力画像５１０）から最も気に入ったデジタル写真を選択することができる。端末装置３０は、最終的にユーザによって選択された入力画像を生成部４０に送信する。
【００５７】
端末装置３０は、図３に示すようなイラスト選択画面６００を表示し、イラストのタッチの選択を受け付ける（Ｓ１２０）。これによって、ユーザは、複数のサンプル画像６１０，６２０，６３０，６４０を参考にして、最も気に入ったイラストのタッチを選択することができる。端末装置３０は、ユーザにより選択されたイラストのタッチの情報（イラストのタッチの選択の結果）を、生成部４０に送信する。
【００５８】
ステップＳ１１０及びＳ１２０によって、端末装置３０から生成部４０に、入力画像及びイラストのタッチの選択の結果が与えられる。その結果、生成部４０は、正規化モデルを利用して、端末装置３０から得た入力画像及びイラストのタッチの選択の結果に基づいて、正規化画像を生成する（Ｓ１３０）。
【００５９】
端末装置３０は、メイクアップ入力画面を表示し、メイクアップパターンの入力を受け付ける（Ｓ１４０）。メイクアップ入力画面は、ユーザがメイクアップパターンを入力するというよりは、店舗のスタッフがユーザの意見を聞きながら、メイクアップパターンを入力することを想定して用意されている。メイクアップ入力画面で入力されたメイクアップパターンは、端末装置３０から生成部４０に送信される。
【００６０】
生成部４０は、派生モデルを利用して、正規化モデルを利用して生成された正規化画像と、端末装置３０から得たメイクアップパターンに基づいて、結果画像を生成する（Ｓ１５０）。そして、生成部４０は、生成した結果画像を、端末装置３０に送信する。
【００６１】
端末装置３０は、図４に示すようなメイクアップ選択画面７００を表示する（Ｓ１６０）。メイクアップ選択画面７００は、端末装置３０が生成部４０から受け取った結果画像７１０，７２０，７３０，７４０を表示する。端末装置３０は、メイクアップ選択画面７００の表示中は、入力部３１による結果画像７１０，７２０，７３０，７４０の選択を受け付ける。そのため、ユーザは、複数の結果画像７１０，７２０，７３０，７４０から最も気に入った結果画像を選択することができる。
【００６２】
端末装置３０は、入力部３１により、複数の結果画像７１０，７２０，７３０，７４０のいずれかが選択されると、メイクアップパターンを変更するかどうかの選択を受け付ける（Ｓ１７０）。
【００６３】
メイクアップパターンの変更が選択された場合（Ｓ１７０：Ｙｅｓ）、端末装置３０は、メイクアップ入力画面を表示し、メイクアップパターンの入力を受け付ける（Ｓ１４０）。この場合、端末装置３０は、メイクアップ入力画面に、選択された結果画像に対応するメイクアップパターンを予め表示する。店舗のスタッフは、ユーザの意見を聞きながら、選択された結果画像に対応するメイクアップパターンを変更して、ユーザの好みに合うように新たなメイクアップパターンを作成する。
【００６４】
メイクアップパターンの変更が選択されなかった場合（Ｓ１７０：Ｎｏ）、端末装置３０は、選択された結果画像に対応するメイクアップパターンを生成部４０に送信する。生成部４０は、端末装置３０から受け取ったメイクアップパターンの選択の結果を元にしてメイクアップ情報を生成して、端末装置３０に出力する（Ｓ１８０）。そして、端末装置３０は、生成部４０から受け取ったメイクアップ情報を、表示する（Ｓ１９０）。店舗のスタッフは、端末装置３０に表示されたメイクアップ情報を参考に、ユーザにメイクアップの方法及び必要な化粧品を提示する。
【００６５】
このようにして、メイクアップ支援システム１０を利用することにより、スタッフは、ユーザが満足するメイクアップの提案を容易に行える。
【００６６】
なお、図５のフローチャートは、あくまでも、上記実施形態のメイクアップ支援システム１０の動作の一例であって、ステップＳ１００〜Ｓ１９０の順番を図５の順番に限定する趣旨ではない。例えば、ステップＳ１１０とステップＳ１２０とは入れ替わってもよい。また、ステップＳ１３０は、ステップＳ１４０とステップＳ１５０との間にあってもよい。この場合、ステップＳ１４０が一回でも実行された後は、ステップＳ１３０は省略され得る。
【００６７】
１．４  まとめ
以上述べたメイクアップ支援システム１０では、生成部４０は、入力画像の画素値から導出される特徴量の座標が特徴量空間における規定範囲内に収まるように入力画像の画素値を補正して、入力画像から、所定部位の基準状態を示す正規化画像を生成する。換言すれば、メイクアップ支援システム１０は、次のようなメイクアップ支援方法を実行する。メイクアップ支援方法は、第１ステップと第２ステップとを含む。第１ステップでは、メイクアップの対象となる人体の所定部位のデジタル写真である入力画像５１０の入力を受け付ける。第２ステップでは、入力画像５１０の画素値から導出される特徴量の座標が特徴量空間における規定範囲内に収まるように入力画像５１０の画素値を補正して、入力画像５１０から、所定部位の基準状態を示す正規化画像を生成する。
【００６８】
正規化画像を利用することにより、所定部位のメイクアップ後の状態を示す画像（例えば、結果画像７１０〜７４０）を生成することが可能になる。つまり、ユーザに、所定部位のメイクアップ後の状態を画像で示すことが可能になる。したがって、本実施形態のメイクアップ支援システム１０及びメイクアップ支援方法では、ユーザが満足するメイクアップの提案が容易になる。
【００６９】
メイクアップ支援システム１０は、メイクアップ支援モデルを利用して、ユーザが満足するメイクアップの提案の支援を行う。メイクアップ支援モデルは、入力画像５１０と正規化画像との関係を、複数人分の入力画像５１０と正規化画像との関係を含む学習用データにより学習した学習済みモデルを含む。入力画像５１０は、メイクアップの対象となる人体の所定部位のデジタル写真である。正規化画像は、入力画像５１０の画素値から導出される特徴量の座標が特徴量空間における規定範囲内に収まるように入力画像５１０の画素値を補正して得られる、所定部位の基準状態を示す画像である。そのため、メイクアップ支援モデルによれば、ユーザが満足するメイクアップの提案が容易になる。
【００７０】
更に、以上述べたメイクアップ支援システム１０では、生成部４０は、メイクアップの内容を指定するメイクアップパターンに基づいて、正規化画像から、結果画像７１０〜７４０を生成する。結果画像は、正規化画像で表される所定部位の基準状態にメイクアップパターンで指定された内容のメイクアップを施して得られる所定部位のメイクアップ後の状態を示す。換言すれば、メイクアップ支援方法は、更に、第３ステップを含む。第３ステップでは、メイクアップの内容を指定するメイクアップパターンに基づいて、正規化画像から、結果画像７１０〜７４０を生成する。結果画像は、正規化画像で表される所定部位の基準状態にメイクアップパターンで指定された内容のメイクアップを施して得られる所定部位のメイクアップ後の状態を示す。
【００７１】
結果画像７１０〜７４０は、所定部位のメイクアップ後の状態を示すから、ユーザは、結果画像を参考にして、自身の理想を具体的なイメージとしてスタッフに伝えることが可能になる。したがって、メイクアップ支援システム１０及びメイクアップ支援方法では、ユーザが満足するメイクアップの提案が更に容易になる。
【００７２】
また、以上述べたメイクアップ支援システム１０では、生成部４０は、メイクアップパターンで指定される内容のメイクアップを施すためのメイクアップ情報を生成する。換言すれば、メイクアップ支援方法は、更に、第４ステップを含む。第４ステップでは、メイクアップパターンで指定される内容のメイクアップを施すためのメイクアップ情報を生成する。
【００７３】
メイクアップ情報を参考にして、スタッフはユーザにメイクアップの方法及び必要な化粧品を提示することができる。そのため、ユーザが満足するメイクアップの提案をより容易に行える。
【００７４】
２．変形例
本発明の実施形態は、上記実施形態に限定されない。上記実施形態は、本発明の目的を達成できれば、設計等に応じて種々の変更が可能である。以下に、上記実施形態の変形例を列挙する。
【００７５】
例えば、メイクアップ支援システム１０は、メイクアップの対象となる人体の所定部位のデジタル写真である入力画像の入力を受け付ける画像入力部（端末装置３０）を有していればよく、入力画像それ自体を生成する機能を有していなくてもよい。つまり、メイクアップ支援システム１０はカメラ２０を含んでいなくてもよい。例えば、ユーザが自身のお気に入りのデジタル写真を持って来店した場合には、このデジタル写真を入力画像として用いてもよい。
【００７６】
また、上記実施形態では、生成部４０は、メイクアップパターン入力部（端末装置３０）に入力されたメイクアップパターンに基づいて、正規化画像から結果画像を生成する。しかし、生成部４０は、正規化画像に基づいて決定されたメイクアップパターンに基づいて、正規化画像から結果画像を生成するように構成されていてもよい。つまり、生成部４０は、正規化画像の画素値から導出される特徴量に基づいて、メイクアップパターンを自動的に決定してもよい。メイクアップパターンの自動的な決定には、学習済みモデルを利用することができる。例えば、ユーザの正規化画像と当該ユーザが満足する傾向があるメイクアップパターンとの関係を利用して、学習済みモデルを生成すればよい。
【００７７】
また、上記実施形態では、処理部３４は、写真選択画面５００を表示する。しかしながら、使用する入力画像が予め決定されている場合には、処理部３４は、写真選択画面５００を必ずしも表示する必要はない。
【００７８】
また、上記実施形態では、処理部３４は、イラスト選択画面６００を表示する。しかしながら、結果画像は、所定部位のメイクアップ後の状態をイラストではなく写真で表示してもよい。このようにイラスト化処理を行わない場合（所定部位のメイクアップ後の状態をイラストで表示しない場合）には、処理部３４は、イラスト選択画面６００を表示する必要はない。
【００７９】
また、上記実施形態では、処理部３４は、正規化画像を出力部３２に表示していないが、正規化画像を出力部３２に表示してもよい。
【００８０】
なお、正規化画像は、結果画像の精度を向上させるために、様々なユーザの入力画像のばらつきを所定範囲内に収めることを目的として生成される画像である。そのため、基準状態は、必ずしも、上記実施形態のように、複数のメイクアップのいずれに対しても、事前にメイクアップを落とす必要がない状態である必要はない。つまり、基準状態は、どのように正規化画像を選択するかによって変わるから、予め選択されたメイクアップ後の状態であってもよい。
【００８１】
また、上記実施形態では、正規化モデルの学習用データの正規化画像として所定部位をイラストで示す画像が用いられている。これにより、正規化モデルにより入力画像から正規化画像が生成される過程で、イラスト化処理が実行される。これに代えて、正規化モデルの学習用データの入力画像として所定部位をイラストで示す画像が用いられてもよい。この場合、端末装置３０と生成部４０とのいずれかが、入力画像のイラスト化処理を実行すればよい。あるいは、派生モデルの学習用データの結果画像として所定部位をイラストで示す画像が用いられてもよい。これにより、派生モデルにより正規化画像から結果画像が生成される過程で、イラスト化処理が実行される。これに代えて、派生モデルの学習用データの正規化画像として所定部位をイラストで示す画像が用いられてもよい。この場合、生成部４０が、正規化画像のイラスト化処理を実行すればよい。あるいは、生成部４０が、結果画像のイラスト化処理を実行してもよい。
【００８２】
上記実施形態において、メイクアップパターンは、１以上のメイクアップの工程の情報を示すパラメータを含んでいるが、更に、追加のパラメータとして所定部位の周囲の状況を示すパラメータを含んでいてもよい。所定部位が顔である場合、所定部位の周囲の状況は、例えば、服装や髪形が挙げられる。人の顔の印象は、服装や髪形によっても左右されるからである。服装の情報は、例えば、服装自体の情報であってもよいし、服装の印象を示す情報であってもよい。服装の印象を示す情報は、例えば、服装の色合いや、格式（フォーマル、カジュアル等）、用途等を示す情報を含み得る。同様に、髪形の情報は、例えば、髪形自体の情報であってもよいし、髪形の印象を示す情報であってもよい。髪型の印象を示す情報は、例えば、髪の色合いや、パターン（ロング、ショート、ボブ等）等を示す情報を含み得る。
【００８３】
また、上記実施形態では、処理部３４は、派生モデルを利用して、結果画像を生成する。しかしながら、結果画像は、端末装置３０で正規化画像を加工することで生成されてもよい。これは、スタッフが、ユーザの要望を聞きながら、端末装置３０を利用して、正規化画像を加工して結果画像を生成する場合を想定している。この場合、端末装置３０には、入力部３１の入力に応じて、正規化画像を加工して結果画像を生成する機能が必要になる。このような機能は、周知の画像処理プログラムにより実現可能である。
【００８４】
つまり、メイクアップ支援モデルは、派生モデルを必ずしも含んでいなくてもよく、少なくとも、正規化モデルを含んでいればよい。上記実施形態では、正規化モデルは、イラストのタッチ毎に用意されているが、さらに、カテゴリに応じて複数の正規化モデルが用意されていてもよい。カテゴリの例としては、メイクアップに使用する化粧品の価格帯、性別、年齢、メイクアップの用途（例えば、時期、場所、目的）が挙げられる。この点は、派生モデルにおいても同様である。
【００８５】
なお、上記実施形態では、メイクアップ支援システム１０は、１以上のカメラ２０と、１以上の端末装置３０と、生成部４０とで構成されている。１以上の端末装置３０と、生成部４０とは、複数のコンピュータを含むコンピュータシステムで構成されている。しかしながら、メイクアップ支援システム１０は、少なくとも、端末装置３０と生成部４０とを単一のコンピュータで実現したものであってもよい。つまり、メイクアップ支援システム１０は、例えば、ＣＰＵ及びメモリを主構成とするコンピュータシステムにて構成されてもよい。そして、ＣＰＵがメモリに格納されているプログラムを実行することにより、コンピュータシステムがメイクアップ支援システム１０として機能すればよい。プログラムは、ここではメイクアップ支援システム１０のメモリに予め記録されているが、インターネット等の電気通信回線を通じて、又はメモリカード等の記録媒体に記録されて提供されてもよい。なお、コンピュータシステムは、単一のコンピュータにより構成されてもよいし、複数のコンピュータで構成されるシステムであってもよい。例えば、メイクアップ支援システム１０は、複数のコンピュータの少なくとも１以上によって構成されてもよい。複数のコンピュータがメイクアップ支援システム１０の機能を分担してもよい。また、メイクアップ支援システム１０の少なくとも一部の機能は、例えば、クラウド（クラウドコンピューティング）によって実現されてもよい。ここで使用されるコンピュータは、専用の装置である必要はなく、スマートフォン、タブレットコンピュータ、パーソナルコンピュータなどであってもよい。そのため、メイクアップ支援システム１０は、一か所に設置されたコンピュータで実現されてもよいし、複数箇所に分散して配置された複数のコンピュータによっても実現され得る。
【００８６】
上記実施形態のメイクアップ支援システム１０は、メイクアップ後の状態に関してユーザ自身がいまだ自分の理想を明確に把握できていない場合に、ユーザのメイクアップ後の状態を具体的に示す画像を提案可能にする。そのため、ユーザは、画像を参考にして、自身の理想を具体的なイメージとしてスタッフに伝えることが可能になる。つまり、メイクアップ支援システム１０は、ユーザの理想をスタッフに伝達する補助をしている。このようなユーザの理想を具体的なイメージとして提案するという技術的思想は、様々な場面に適用することができる。例えば、服のコーディネート、建物のリフォーム、商品のオーダーといった場面に適用できる。商品としては、衣服、家具（例えば化粧棚）、車等が挙げられる。ここで、建物のリフォームの場合について簡単に説明する。この場合、入力画像としては、リフォームの対象となる場所（例えば部屋）のデジタル写真が使用される。正規化画像では、基準状態として、リフォームの対象となる場所から家具や壁紙等が除去された状態が用いられる。そして、結果画像としては、リフォームの対象となる場所のリフォーム後の状態を示す画像が用いられる。リフォーム後の状態は、例えば、ユーザが所望する家具や壁紙等が設置された状態である。この場合でも、学習済みモデルを利用することができる。そして、入力画像から結果画像を生成する過程が、リフォームの内容に関わらず共通して実行される項目（共通項）に関する処理と、リフォームの内容ごとに独立して実行される項目（独自項）に関する処理とに分けられてもよい。共通項としては、基本的な部屋や家具の形状が挙げられる。独自項としては、材質（木製や金属製）、色、柄が挙げられる。上記実施形態と同様に、共通項と独自項とで別々の学習済みモデルを利用してもよい。
【００８７】
３．態様
以上述べた実施形態及び変形例から明らかなように、第１の態様のメイクアップ支援システム（１０）は、メイクアップの対象となる人体の所定部位のデジタル写真である入力画像の入力を受け付ける画像入力部（端末装置３０）と、生成部（４０）と、を備える。前記生成部（４０）は、前記入力画像（５１０）の画素値から導出される特徴量の座標が特徴量空間における規定範囲内に収まるように前記入力画像（５１０）の画素値を補正して、前記入力画像（５１０）から正規化画像を生成するように構成される。前記正規化画像は、前記所定部位の基準状態を示す。第１の態様によれば、ユーザが満足するメイクアップの提案が容易になる。
【００８８】
第２の態様のメイクアップ支援システム（１０）は、第１の態様との組み合わせにより実現され得る。第２の態様では、前記生成部（４０）は、前記入力画像（５１０）からの前記正規化画像の生成を、正規化モデルを利用して行うように構成される。前記正規化モデルは、前記入力画像（５１０）と前記正規化画像との関係を、複数人分の前記入力画像（５１０）と前記正規化画像との関係を含む学習用データにより学習した学習済みモデルである。第２の態様によれば、正規化画像の精度が向上する。
【００８９】
第３の態様のメイクアップ支援システム（１０）は、第２の態様との組み合わせにより実現され得る。第３の態様では、前記規定範囲は、前記学習用データに含まれる前記入力画像（５１０）の特徴量の座標の分布の重心を含む範囲である。第３の態様によれば、正規化画像から所定部位のメイクアップ後の状態の画像を生成する処理が容易になる。
【００９０】
第４の態様のメイクアップ支援システム（１０）は、第１〜第３の態様のいずれか一つとの組み合わせにより実現され得る。第４の態様では、前記基準状態は、方向性が異なる複数のメイクアップを施す対象となる状態である。第４の態様によれば、正規化画像から所定部位のメイクアップ後の状態の画像を生成する処理が容易になる。
【００９１】
第５の態様のメイクアップ支援システム（１０）は、第４の態様との組み合わせにより実現され得る。第５の態様では、前記基準状態は、前記複数のメイクアップのいずれに対しても、事前にメイクを落とす必要がない状態である。第５の態様によれば、正規化画像から所定部位のメイクアップ後の状態の画像を生成する処理が容易になる。
【００９２】
第６の態様のメイクアップ支援システム（１０）は、第１〜第５の態様のいずれか一つとの組み合わせにより実現され得る。第６の態様では、前記生成部（４０）は、メイクアップの内容を指定するメイクアップパターンに基づいて、前記正規化画像から、結果画像（７１０〜７４０）を生成するように構成される。前記結果画像は、前記正規化画像で表される前記所定部位の基準状態に前記メイクアップパターンで指定された内容のメイクアップを施して得られる前記所定部位のメイクアップ後の状態を示す。第６の態様によれば、ユーザが満足するメイクアップの提案がより容易になる。
【００９３】
第７の態様のメイクアップ支援システム（１０）は、第６の態様との組み合わせにより実現され得る。第７の態様では、前記メイクアップ支援システム（１０）は、前記メイクアップパターンの入力を受け付けるメイクアップパターン入力部（端末装置３０）を更に備える。前記生成部（４０）は、前記メイクアップパターン入力部（端末装置３０）に入力された前記メイクアップパターンに基づいて、前記正規化画像から前記結果画像（７１０〜７４０）を生成するように構成される。第７の態様によれば、ユーザが満足するメイクアップの提案がより容易になる。
【００９４】
第８の態様のメイクアップ支援システム（１０）は、第６の態様との組み合わせにより実現され得る。第８の態様では、前記生成部（４０）は、前記正規化画像に基づいて決定されたメイクアップパターンに基づいて、前記正規化画像から前記結果画像（７１０〜７４０）を生成するように構成される。第８の態様によれば、ユーザが満足するメイクアップの提案がより容易になる。
【００９５】
第９の態様のメイクアップ支援システム（１０）は、第６〜第８の態様のいずれか一つとの組み合わせにより実現され得る。第９の態様では、前記生成部（４０）は、前記正規化画像からの前記結果画像（７１０〜７４０）の生成を、派生モデルを利用して行うように構成される。前記派生モデルは、前記正規化画像と前記メイクアップパターンとを含む入力情報と前記結果画像（７１０〜７４０）との関係を、複数人分の前記入力情報と前記結果画像（７１０〜７４０）との関係を含む学習用データにより学習した学習済みモデルである。第９の態様によれば、結果画像の精度が向上する。
【００９６】
第１０の態様のメイクアップ支援システム（１０）は、第６〜第９の態様のいずれか一つとの組み合わせにより実現され得る。第１０の態様では、前記生成部（４０）は、前記メイクアップパターンで指定される内容のメイクアップを施すためのメイクアップ情報を生成するように構成される。第１０の態様によれば、ユーザの適したメイクアップの提案が更に容易になる。
【００９７】
第１１の態様のメイクアップ支援システム（１０）は、第６〜第１０の態様のいずれか一つとの組み合わせにより実現され得る。第１１の態様では、前記結果画像は、前記所定部位のメイクアップ後の状態をイラストで示す画像である。第１１の態様によれば、ユーザが自身の結果画像を見る際の心理的な負担の軽減が期待できる。
【００９８】
第１２の態様のメイクアップ支援方法は、第１ステップと第２ステップとを含む。前記第１ステップでは、メイクアップの対象となる人体の所定部位のデジタル写真である入力画像（５１０）の入力を受け付ける。第２ステップでは、前記入力画像（５１０）の画素値から導出される特徴量の座標が特徴量空間における規定範囲内に収まるように前記入力画像（５１０）の画素値を補正して、前記入力画像（５１０）から正規化画像を生成するように構成される。前記正規化画像は、前記所定部位の基準状態を示す。第１２の態様によれば、ユーザが満足するメイクアップの提案が容易になる。
【００９９】
第１３の態様のメイクアップ支援モデルは、入力画像（５１０）と正規化画像との関係を、複数人分の前記入力画像（５１０）と前記正規化画像との関係を含む学習用データにより学習した学習済みモデルを含む。前記入力画像（５１０）は、メイクアップの対象となる人体の所定部位のデジタル写真である。前記正規化画像は、前記入力画像（５１０）の画素値から導出される特徴量の座標が特徴量空間における規定範囲内に収まるように前記入力画像（５１０）の画素値を補正して得られる、前記所定部位の基準状態を示す画像である。第１３の態様によれば、ユーザが満足するメイクアップの提案が容易になる。
【符号の説明】
【０１００】
１０  メイクアップ支援システム
３０  端末装置（画像入力部、メイクアップパターン入力部）
４０  生成部
【図１】
2019000132.tif 000003
【図２】
2019000132.tif 000004
【図３】
2019000132.tif 000005
【図４】
2019000132.tif 000006
【図５】
2019000132.tif 000007