(57)【要約】【課題】  ユーザ端末と接続した状態でメイクアップの施術に関するアドバイスを行い、施術すべきメイクアップに応じたメイクアップ支援システムを提供する。【解決手段】ユーザ端末５と専門員装置３とを接続した状態でメイクアップ対象者の映像と用途情報を取得する。取得した対象者映像に基づき、メイクアップ対象者の顔映像と背景映像とを判別し、顔映像を抽出し、背景映像と用途映像をメイクアップ施術前の対象者の顔映像と合成し、施術すべきメイクアップに応じた映像編集を行い、メイクアップ施術後のメイクアップ編集映像をユーザ端末５に出力する。【選択図】図１
2020022681.tif 000002
【特許請求の範囲】
【請求項１】
ユーザ端末と専門員装置を接続してメイクアップ施術のアドバイスを行うメイクアップ支援システムであって、
背景映像及び用途映像をメイクアップ施術の用途に関する用途情報に関連付けて記憶するデータベースと、
前記ユーザ端末からメイクアップ対象者の映像と用途情報を取得する第１取得手段と、
前記第１手段により取得したメイクアップ対象者の映像から前記メイクアップ対象者の顔映像を抽出する抽出手段と、
前記第１取得手段により取得された用途情報に関連付けられた背景映像及び用途映像を前記データベースから取得する第２取得手段と、
前記第２取得手段により取得した背景映像及び用途映像と、前記抽出手段により抽出した顔映像とを合成する合成手段と、
前記合成手段により合成された合成映像に施術すべきメイクアップに応じた映像編集を行うメイクアップ映像編集手段と、
前記編集されたメイクアップ編集映像を前記ユーザ端末に出力するメイクアップ施術映像出力手段と、
を備えることを特徴とするメイクアップ支援システム。
【請求項２】
前記施術映像出力手段は、前記ユーザ端末に、前記メイクアップ施術前の対象者映像と前記合成されたメイクアップ施術後の対象者映像を並べて表示させること、
を特徴とする請求項１記載のメイクアップ支援システム。
【請求項３】
前記施術映像出力手段は、ユーザ端末に、メイクアップ対象者の現在の対象映像と前記メイクアップ施術後の対象者映像を同一画面上に表示させること、
を特徴とする請求項１又は２記載のメイクアップ支援システム。
【請求項４】
ユーザ端末と専門員装置を接続してメイクアップ施術のアドバイスを行うメイクアップ支援方法であって、
前記ユーザ端末からメイクアップ対象者の映像と用途情報を取得する第１工程と、
前記第１工程により取得したメイクアップ対象者の映像から前記メイクアップ対象者の顔映像を抽出する第２工程と、
前記第１工程により取得された用途情報に関連付けられた背景映像及び用途映像を、前記背景映像及び前記用途映像をメイクアップ施術の用途に関する用途情報に関連付けて記憶するデータベースから取得する第３工程と、
前記第３工程により取得した背景映像及び用途映像と、前記抽出手段により抽出した顔映像とを合成する第４工程と、
前記第４工程により合成された合成映像に施術すべきメイクアップに応じた映像編集を行う第５工程と、
前記編集されたメイクアップ編集映像を前記ユーザ端末に出力する第６工程と、
を有することを特徴とするメイクアップ支援方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、ユーザ端末と接続した状態でメイクアップの施術に関するアドバイスを行うメイクアップ支援システム及びメイクアップ支援方法に関する。
【背景技術】
【０００２】
従来より、顔の印象に対する分析を行い、その分析結果からメイクアップ効果を定量化する装置が知られている（例えば、特許文献１参照）。特許文献1では、顔画像の輪郭に対応させた指数を設定し、その設定した指数を基準として顔の特定部位の変化量を求め、顔の輪郭又は大きさ（小顔に対する見え方）に関わるメイクアップ効果を定量化する装置等について提示している。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０１７−７３１０８号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、上述した特許文献１の装置では、小顔に対するメイクアップ効果を定量化するものであり、例えば、幅広い年齢層やメイクアップ用途に対する具体的な施術のアドバイスを得ることは難しい。具体的なメイクアップの施術であれば、例えば、デパートやスーパー等の化粧品売り場で店員にその場で化粧を施術してもらうことが可能である。しかしながら、外出は化粧が必要（素顔で外出しづらい）、多くの来店者の前で施術される、その場なので施術は１回だけ、営業時間や店舗立地（離れている、出かけるのが面倒）等に制約があり、現在の自分の顔、メイクアップ用途を考慮したメイクアップのアドバイスを受けることは難しい。
【０００５】
そこで本発明は、上述した問題に鑑みて案出されたものであり、その目的とするところは、現在の自分の顔、メイクアップ用途を考慮した施術すべきメイクアップに応じたアドバイスによる支援を目的とする。
【課題を解決するための手段】
【０００６】
第１発明に係るメイクアップ支援システムは、ユーザ端末と専門員装置を接続してメイクアップ施術のアドバイスを行うメイクアップ支援システムであって、背景映像及び用途映像をメイクアップ施術の用途に関する用途情報に関連付けて記憶するデータベースと、前記ユーザ端末からメイクアップ対象者の映像と用途情報を取得する第１取得手段と、前記第１手段により取得したメイクアップ対象者の映像から前記メイクアップ対象者の顔映像を抽出する抽出手段と、前記第１取得手段により取得された用途情報に関連付けられた背景映像及び用途映像を前記データベースから取得する第２取得手段と、前記第２取得手段により取得した背景映像及び用途映像と、前記抽出手段により抽出した顔映像とを合成する合成手段と、前記合成手段により合成された合成映像に施術すべきメイクアップに応じた映像編集を行うメイクアップ映像編集手段と、前記編集されたメイクアップ編集映像を前記ユーザ端末に出力するメイクアップ施術映像出力手段と、を備えることを特徴とする。
【０００７】
第２発明に係るメイクアップ支援システムは、第１発明において、施術映像出力手段は、ユーザ端末に、メイクアップ施術前の対象者映像と合成されたメイクアップ施術後の対象者映像を並べて表示させること、を特徴とする。
【０００８】
第３発明に係るメイクアップ支援システムは、第１発明又は第２発明において、施術映像出力手段は、ユーザ端末に、メイクアップ対象者の現在の対象映像とメイクアップ施術後の対象者映像を同一画面上に表示させること、を特徴とする。
【０００９】
第４発明に係るメイクアップ支援方法は、ユーザ端末と専門員装置を接続してメイクアップ施術のアドバイスを行うメイクアップ支援方法であって、前記ユーザ端末からメイクアップ対象者の映像と用途情報を取得する第１工程と、前記第１工程により取得したメイクアップ対象者の映像から前記メイクアップ対象者の顔映像を抽出する第２工程と、前記第１工程により取得された用途情報に関連付けられた背景映像及び用途映像を、前記背景映像及び前記用途映像をメイクアップ施術の用途に関する用途情報に関連付けて記憶するデータベースから取得する第３工程と、前記第３工程により取得した背景映像及び用途映像と、前記抽出手段により抽出した顔映像とを合成する第４工程と、前記第４工程により合成された合成映像に施術すべきメイクアップに応じた映像編集を行う第５工程と、前記編集されたメイクアップ編集映像を前記ユーザ端末に出力する第６工程と、を有することを特徴とする。
【発明の効果】
【００１０】
第１発明〜第４発明によれば、第１取得手段は、ユーザ端末からメイクアップ対象者の映像と用途情報を取得する。このため、メイクアップ対象者の現在の対象者映像とメイクアップ施術の用途に関する用途情報を確認できる。これにより、メイクアップ対象者の現在の顔の映像及びメイクアップ用途を確認でき、メイクアップ対象者の用途に応じたメイクアップ施術が可能となる。
【００１１】
第１発明〜第４発明によれば、抽出手段は、メイクアップ対象者の映像から前記メイクアップ対象者の顔映像を抽出する。このため、メイクアップ対象者の対象者映像と対象者背景映像とを判別でき、顔映像を抽出することができる。これにより、メイクアップ対象者の現在の顔の映像及びメイクアップ用途を確認でき、メイクアップ対象者の用途に応じた施術すべきたメイクアップのアドバイスが可能となる。
【００１２】
第１発明〜第４発明によれば、第１取得手段は、ユーザ端末からメイクアップ対象者の映像と用途情報を取得する。このため、メイクアップ対象者のメイクアップ用途に合った背景情報を提供できる。これにより、メイクアップ対象者の現在の顔の映像及びメイクアップ用途を確認でき、メイクアップ対象者の用途に応じた施術すべきメイクアップのアドバイスが可能となる。
【００１３】
第１発明〜第４発明によれば、映像合成手段は、背景映像及び用途映像と、抽出手段により抽出した顔映像とを合成する。これにより、メイクアップ対象者のメイクアップ用途に合った施術映像を確認できる。これにより、メイクアップ対象者の現在の顔の映像及びメイクアップ用途を確認でき、メイクアップ対象者の用途に応じた施術すべきメイクアップの支援が可能となる。
【００１４】
第１発明〜第４発明によれば、メイクアップ施術手段及び施術映像出力手段は、合成された映像に施術すべきメイクアップに応じた映像編集を行い、ユーザ端末に出力する。これにより、メイクアップ対象者と専門員でメイクアップ施術の結果を共有できる。このため、現在の自分の顔、メイクアップ用途を参考とした施術すべきメイクアップのアドバイスを提供することができる。
【００１５】
特に、第２発明によれば、施術映像出力手段は、ユーザ端末にメイクアップ編集映像の施術前の映像情報及び施術後の映像情報を各々並べて表示する。これにより、メイクアップ施術の経過をその場で確認できる。このため、メイクアップ施術の手順をリアルタイムで理解でき、メイクアップ施術前とメイクアップ施術後の施術の評価ができる。
【００１６】
特に、第３発明によれば、施術映像出力手段は、ユーザ端末にメイクアップ対象者の現在の対象映像と前記メイクアップ施術後の対象者映像を同一画面上に表示させる。このため、メイクアップ施術後に、メイクアップ施術の経過を確認できる。これにより、メイクアップ施術の手順をリアルタイムで理解でき、メイクアップ施術前とメイクアップ施術後の施術の評価ができる。
【図面の簡単な説明】
【００１７】
【図１】図１は、実施形態におけるメイクアップ支援システムの構成例を示す模式図である。
【図２】図２は、実施形態における専門員装置の構成の一例を示す模式図である。
【図３】図３は、実施形態における専門員装置の機能の一例を示す模式図である。
【図４】図４（ａ）は、実施形態におけるユーザ管理情報テーブルの一例を示す模式図である。図４（ｂ）は、実施形態における専門員管理情報テーブルの一例を示す模式図である。
【図５】図５（ａ）は、実施形態における施術テーブルの一例を示す模式図である。図５（ｂ）は、実施形態におけるメイクアップ座標テーブルの一例を示す模式図である。
【図６】図６は、実施形態における用途情報テーブルの一例を示す模式図である。
【図７】図７は、実施形態における専門員装置のメイクアップ施術動作の一例を示すフローチャートである。
【図８】図８（ａ）は、実施形態における専門員装置におけるメイクアップ施術前の映像情報の一例を示す模式図である。図８（ｂ）は、実施形態における専門員装置におけるメイクアップ施術後の映像情報の一例を示す模式図である。
【図９】図９（ａ）は、実施形態におけるユーザ端末における用途情報の確認画面の一例を示す模式図である。図９（ｂ）は、実施形態における専門員における用途情報の確認画面の一例を示す模式図である。図９（ｃ）は、実施形態におけるユーザ端末における用途情報の反映結果画面の一例を示す模式図である。
【図１０】図１０（ａ）は、実施形態におけるユーザ端末におけるメイクアップ施術前の入力画面の一例を示す模式図である。図１０（ｂ）は、実施形態におけるユーザ端末における専門員の選択画面の一例を示す模式図である。図１０（ｃ）は、実施形態におけるユーザ端末における専門員の選択結果画面の一例を示す模式図である。
【図１１】図１１（ａ）は、実施形態におけるユーザ端末におけるメイクアップ施術前の映像情報の一例を示す模式図である。図１１（ｂ）は、実施形態におけるユーザ端末におけるメイクアップ施術後の映像情報の一例を示す模式図である。図１１（ｃ）は、実施形態におけるユーザ端末におけるメイクアップ施術後の再確認の一例を示す模式図である。
【発明を実施するための形態】
【００１８】
以下、本発明の実施形態におけるメイクアップ支援システムの一例について、図面を参照しながら説明する。
【００１９】
（実施形態：メイクアップ支援システム１の構成）
図１を参照して、実施形態におけるメイクアップ支援システム１の構成の一例について説明する。図１は、本実施形態におけるメイクアップ支援システム１の全体構成を示すブロック図である。
【００２０】
図１に示すように、メイクアップ支援システム１は、管理サーバ２、複数の専門員装置３、データベース４として管理情報データベース４ａ、施術情報データベース４ｂ、複数のユーザ端末５を備える。管理サーバ２は、ユーザ端末５と公衆通信網６（ネットワーク）を介して接続される。ユーザ端末５は、国内又は海外に設置されてもよい。同様に、管理サーバ２、データベース４（管理情報データベース４ａ及び施術情報データベース４ｂ）、専門員装置３は、国内又は海外の拠点に分散配置されていてもよい。
【００２１】
＜管理サーバ２＞
管理サーバ２は、各種情報に関するデータベース４を備える。このデータベース４は、例えば、公衆通信網６を介して送られてきた各種情報が蓄積される。管理サーバ２は、公衆通信網６を介して、専門員装置３、データベース４、ユーザ端末５の管理及び各情報の更新等を行う。
【００２２】
＜専門員装置３＞
専門員装置３は、例えば、美容師、エステシャン、メイクアップアーティスト、又は美容師の見習い、美容学校等の学生等が装着し、専門員装置３を使用して施術すべきメイクアップのアドバイスを行う。専門員装置３は、例えば、専門員等の頭部に装着され、その状態でユーザ端末５と接続して施術すべきメイクアップに応じた映像編集によるアドバイスを行う。メイクアップ施術は、管理サーバ２によって制御され、専門員装置３の専門員とユーザ端末５のメイクアップ対象者とを接続した状態で行う。
【００２３】
専門員装置３は、管理サーバ２のデータベース４の管理情報データベース４ａにアクセスし、管理情報データベース４ａに登録されているメイクアップ対象者に施術すべきメイクアップのアドバイスを行う。専門員装置３は、ＨＭＤ（ヘッドマウントディスプレィ）のようなＶＲ機であってもよい。専門員装置３は、例えば、パソコン等と組み合わされ、管理サーバ２からダウンロード、又はオンラインで提供される様々な施術機能を利用できるように設定されてもよい。専門員装置３は、このような構成により、ユーザ端末５のメイクアップ対象者に対して、最新の機能やサービスを提供することができる。また、専門員装置３は、例えば、メイクアップ対象者に自身を紹介する機能として、専門員装置３に専門員自身を撮影するカメラ等を備えていてもよい。専門員の映像の表示や切り換えは、例えば、ユーザ端末５からの操作が可能としてもよい。メイクアップ対象者は、自分が施術すべきメイクアップのアドバイスを受ける専門員の容姿や施術中の映像を確認することができ、安心して施術のアドバイスを受けることが可能となる。
【００２４】
＜データベース４＞
データベース４は、例えば、管理情報データベース４ａと施術情報データベース４ｂで構成される。データベース４には、公衆通信網６を介して様々な情報が管理サーバ２によって集められ、各々対応付けられて記憶される。データベース４は、専門員装置３からアクセス可能であり、専門員装置３で利用される様々な情報やデータ、アプリケーション、ログ等が記憶される。
【００２５】
＜管理情報データベース４ａ＞
管理情報データベース４ａについて、図４（ａ）ユーザ管理情報テーブル及び図４（ｂ）専門員権利情報テーブルを参照しながら、各テーブル構成の一例について説明する。
【００２６】
＜（ａ）ユーザ管理情報テーブル＞
ユーザ管理情報テーブルは、管理情報データベース４ａに記憶される。ユーザ管理情報テーブルは、例えば、ユーザ管理情報テーブルを記憶する。図４（ａ）ユーザ管理情報テーブルは、例えば、メイクアップ対象者の「ユーザＩＤ」、「ニックネーム」、「メールアドレス」、「ユーザ端末情報」、「購入済商品」、「利用可能回数」等の情報を、各々対応付けて記憶する。なお、「ユーザＩＤ」は、例えば、メイクアップ対象者に付与される一意の識別番号である。「ニックネーム」は、例えば、氏名の他に、氏名に代わる呼称である。「メールアドレス」は、例えば、メイクアップ支援システム１とのやり取りで使用される一意の識別情報である。「ユーザ端末情報」は、例えば、メイクアップ対象者が所有する通信機器名となる。管理サーバ２は、ここに登録されるユーザ端末のスペックに応じた制御を行う。
【００２７】
図４（ａ）ユーザ管理情報テーブルには、例えば、ユーザ端末５のカメラの制御情報や表示部に関する情報が記憶される。管理サーバ２は、図４（ａ）ユーザ管理情報テーブルに記憶された情報に基づき制御を行う。「利用可能回数」は、例えば、メイクアップ対象者が受けられるメイクアップ支援のサービス回数である。この回数は、例えば、メイクアップ対象者が購入した商品の金額に応じて設定されるようにしてもよい、また、「利用可能回数」は、回数の代わりに利用可能時間が設定されてもよい。
【００２８】
＜（ｂ）専門員管理情報テーブル＞
専門員管理情報テーブルは、管理情報データベース４ａに記憶される。まず、専門院管理テーブルに記憶される「専門員ＩＤ」は、例えば、専門員装置３の施術者であり、各専門員に付与される一意の識別番号である。「資格」は、例えば、専門員が保有する資格となる。「専門用途」は、例えば、各専門員の得意とする施術カテゴリが登録される。「専門用途」は、メイクアップ対象者によって入力された用途情報に基づき、専門員を割り当てるために記憶される。「専門用途用」は、複数が登録されていてもよい。「施術ユーザＩＤ」は、例えば、専門員が施術したメイクアップ対象者に関する情報が登録される。これにより、過去にどのような施術をしたかの確認が可能となる。「施術評価」は、例えば、専門員の施術に対する評価が登録される。この施術評価は、例えば、メイクアップ対象者によって施術後に入力されるようにしてもよい。
【００２９】
＜施術情報データベース４ｂ＞
図５（ａ）に、施術テーブルの一例を示す各情報の一例を示す。施術情報データベース４ｂについて、図５（ａ）施術情報テーブル、及び図５（ｂ）メイクアップ座標テーブルを参照しながら、各テーブル構成の一例について説明する。
【００３０】
＜（ａ）施術テーブル＞
施術テーブルは、「ユーザＩＤ」、「用途情報」、「施術前画像」、「施術後画像」、「施術内容」、「施術時間」等を各々対応付けて記憶する。「ユーザＩＤ」は、例えば、メイクアップ対象者に付与される一意の識別番号である。「用途情報」は、例えば、背景映像及び用途映像と関連付けられる。背景映像は、例えば、レストランやカフェ、美術館、海岸等、用途情報に対応する様々な背景に関する映像になる。用途映像は、例えば、ドレス、上品なスーツ、ユニフォーム等の衣装に関する映像であり、用途情報に関連付けられ、用途情報に応じて着せ替えられる映像となる。「用途情報」は、メイクアップ対象者によって設定される用途に関する情報である。「施術前画像」は、例えば、メイクアップ対象者の受付け時の施術前の映像であり、「施術後画像」は、例えば、メイクアップ施術後の画像が記憶される。これらの画像は、動画であってもよく、数秒〜数十秒等のメイクアップ対象者の動画が記録される。「施術内容」は、例えば、メイクアップ対象者のメイクアップ対象映像に対して施術された内容が記録される。「施術時間」は、例えば、施術すべきメイクアップに応じた映像編集にかかった時間が記憶される。
【００３１】
＜（ｂ）メイクアップ座標テーブル＞
メイクアップ座標テーブルは、ユーザ端末５から取得されたメイクアップ対象者の顔映像の領域の座標を登録する。メイクアップ座標は、例えば、ユーザ端末５で撮影され、専門員装置３が取得したメイクアップ対象者の映像に対して、例えば、２Ｄ、３Ｄの位置情報がユーザ端末５に備わるセンサーにより計測され、計測された数値が座標として記憶される。メイクアップ座標テーブルは、「ユーザＩＤ」、「メイクアップ対象映像」、「メイクアップ対象映像座標」、「施術座標」等を各々対応付けて記憶する。「ユーザＩＤ」は、例えば、メイクアップ対象者に付与される一意の識別番号である。「メイクアップ対象映像」は、例えば、メイクアップ施術の対象となる映像情報となり、２Ｄ、３Ｄの位置情報で記憶される。「メイクアップ対象映像座標」は、例えば、メイクアップ対象映像に対して、その箇所にメイクアップ施術を行ったかの座標が設定される。メイクアップ座標は、例えば、ユーザ端末５によって撮影され、抽出されたメイクアップ対象者の顔映像情を、横：Ｘ，縦：Ｙ，奥行き：Ｚとして順次に（時系列）に記憶してもよい。メイクアップ座標は、説明した座標の他に、抽出されたメイクアップ対象者の顔映像に対して、施術すべきメイクアップに応じた映像編集箇所がどこであるか、どの程度であるか等を、各々対応付けて記憶できればよい。
【００３２】
＜用途情報テーブル＞
用途情報テーブルは、施術情報データベース４ｂに記憶される。用途情報は、用途情報と関連する背景映像及び用途映像を記憶する。用途情報テーブルは、例えば、用途情報は、例えば、ユーザ端末５の画面上に用途情報の項目が表示され、表示された項目をメイクアップ対象者が選択してもよい。用途情報テーブルは、「用途情報」、「背景映像」、「用途映像」等を各々対応付けて記憶する。用途情報は、例えば「フォーマルＡ」、「カジュアルＡ」等であり、メイクアップ対象者のメイクアップの用途となる。背景映像は、例えば、用途情報に関連する主要な各店舗の店内等の映像を記憶する。用途映像は、例えば、用途情報のシーンに合った主要な、人気の衣装等の映像を記憶する。用途情報には、例えば、主要なキーワードが関連付けて記憶されてもよい。この場合、ユーザ端末５から、主要なキーワードを入力（画面、音声等）されれば、関連する背景映像及び用途映像が取得される。
【００３３】
＜ユーザ端末５＞
ユーザ端末５は、例えば、スマートフォン、タブレット、パソコン等の機器であり、撮影機能（例えば、カメラ）が備わる。撮影機能は、複数のレンズ及びセンサー等を備え、メイクアップ対象者の顔や上半身を、平面的、又は立体的な映像情報として撮影する。センサー類は、例えば、奥行きや明るさ等を計測可能であり、これにより、メイクアップ対象者の映像と用途情報は、一時的又は時系列に撮影され、メイクアップ対象となる映像情報として施術情報データベース４ｂのメイクアップ座標テーブルに記憶される。撮影機能は、例えば、ユーザ端末５とは別の撮影装置あってもよく、この場合、スマートフォンやタブレット、パソコン等と接続されて機能することになる。
【００３４】
ユーザ端末５が、例えば、スマートフォンの場合、メイクアップ対象者はスマートフォンの撮影機能を自撮りモードに設定し、画面を見ながら自分の上半身を撮影するようにしてもよい。映像情報は、平面的な静止画であってもよく、また、立体的に撮影するのであれば、最初に自分の正面の映像を撮影し、その後、左側、右側と、順番に上半身を撮影することで、スマートフォンに備わるアプリケーション（画像加工、編集ソフトウェア：図示せず）により、立体的な画像として生成されてもよい。各アプリケーションは、スマートフォン、タブレット、パソコン等に公衆通信網６を介して、管理サーバ２からダウンロードされてもよい。各アプリケーションは、管理サーバ２の管理情報データベース４ａに記憶されており、例えば、会員や商品購入者等であれば、自由にダウンロードできるようにしてもよい。または、各アプリケーションは、メイクアップ支援システム１のサービスアプリケーションとしてメイクアップ対象者に提供されてもよい。ユーザ端末５に備わる各アプリケーションは、ユーザ端末５の特性や性能に応じて、スマートフォン、タブレット、パソコン等に適したアプリケーションが管理サーバ２、又は認可を受けた第三者管理サーバ（図示せず）より提供されてもよい。
【００３５】
図２は、専門員装置３の構成の一例を示す模式図である。専門員装置３は、パーソナルコンピュータ（ＰＣ）等の電子機器が用いられるほか、例えばウェブサーバ等により具現化されてもよい。専門員装置３は、筐体と、ＣＰＵ２０と、ＲＯＭ２１と、ＲＡＭ２２と、記憶部２３と、Ｉ／Ｆ２４〜２６、表示部２８、入出力部２９、撮影部４０とを備え、内部バス２７により接続される。
【００３６】
ＣＰＵ（Central Processing Unit）２０は、専門員装置３の全体を制御する。ＲＯＭ（Read Only Memory）２１は、ＣＰＵ２０の動作コードを格納する。ＲＡＭ（Random Access Memory）２２は、ＣＰＵ２０の動作時に使用される作業領域である。記憶部２３は、例えばＨＤＤ（Hard Disk Drive）の他、ＳＳＤ（solid state drive）等のデータ保存装置が用いられ、専門員装置３を実行させる各種設定情報やプログラム等が記憶される。なお、例えば専門員装置３は、図示しないＧＰＵ（Graphics Processing Unit）を有してもよい。ＧＰＵを有することで、通常よりも高速演算処理が可能となる。Ｉ／Ｆ２４は、公衆通信網６を介して、管理サーバ２及びユーザ端末５等との各種情報の送受信を行うためのインターフェースである。Ｉ／Ｆ２５は、入出力部２９及び撮影部４０との情報の送受信を行うためのインターフェースである。入出力部２９として、例えばキーボードや施術すべきメイクアップを行うためのデバイス等が用いられる。専門員装置３は、施術すべきメイクアップを行う専門員から入出力部２９を介して、各種情報又はメイクアップ施術の制御コマンド等を入力する。Ｉ／Ｆ２６は、表示部２８との各種情報の送受信を行うためのインターフェースである。表示部２８は、例えば、ＶＲ映像を表示されるための表示部であり、ディスプレイであってもよい。記憶部２３は、例えば、管理サーバ２から適宜にダウンロードされたメイクアップ施術に関するアプリケーションや各種の設定情報であり、各々対応付けて記憶する。メイクアップ支援システム１の処理状況等を出力する。表示部２８として、ディスプレイが用いられ、例えばタッチパネル式であってもよい。記憶部２３は、メイクアップ施術で、メイクアップ対象者の背景情報として設定される『用途情報』を記憶してもよい。
【００３７】
図３は、専門員装置３の機能の一例を示す模式図である。専門員装置３は、第１取得部３０、抽出部３１、第２取得部３２、映像合成部３３、施術映像編集部３４、施術映像出力部３５を備える。さらに、専門員装置３には、公衆通信網６を介して管理サーバ２の管理情報データベース４ａ及び施術情報データベース４ｂに接続する。なお、図３に示した各機能は、ＣＰＵ２０が、ＲＡＭ２２を作業領域として、記憶部２３等に記憶されたプログラムを実行することにより実現される。
【００３８】
第１取得部３０は、ユーザ端末５からメイクアップ対象者の映像と用途情報を取得する。例えば、メイクアップ対象者は、ユーザ端末５に予め格納されるメイクアップ支援アプリ（図示せず）を起動する。ユーザ端末５は、メイクアップ支援アプリにより制御される。ユーザ端末５は、例えば、映像カメラ機能と通信機能を介して、メイクアップ対象者の全身、上半身又は顔映像等を取得する。
【００３９】
抽出部３１は、第１取得部３０で取得された対象者映像から、前記メイクアップ対象者の顔映像を抽出する。
【００４０】
第２取得部３２は、背景映像及び用途映像をメイクアップ施術の用途に関する用途情報に関連付けて記憶するデータベースから、第１取得手段により取得された用途情報に関連付けられた背景映像及び用途映像を取得する。用途情報は、例えば、メイクアップ対象者の用途に応じて、様々な衣装等の用途映像とシーン等に関する背景画像が用意される。
【００４１】
映像合成部３３は、第２取得に３２により取得した背景映像及び用途映像と、抽出部３１により抽出した顔映像とを合成する。映像合成部３３は、第２取得部３２で取得した背景映像及び用途映像を、ユーザ端末５から取得したメイクアップ施術前の対象者映像の顔映像と合成する。
【００４２】
施術映像編集部３４は、映像合成部３３で背景映像及び用途映像を合成されたメイクアップ対象者の顔映像に施術すべきメイクアップに応じた映像編集を行う。施術すべきメイクアップに応じた映像編集の内容は、データベース４の施術情報データベース４ｂに記録される。
【００４３】
施術映像出力部３５は、ユーザ端末５に、映像合成部３３で合成されたメイクアップ施術前、又はメイクアップ施術後の合成映像の出力を行う。施術映像出力部３５は、公衆通信網６を介して、ユーザ端末５に接続され、メイクアップ対象者のユーザ端末５に出力を行う。
【００４４】
（実施形態：メイクアップ支援システム１の動作）
次に、本実施形態におけるメイクアップ支援システム１の動作の一例について説明する。図７は、本実施形態におけるメイクアップ支援システム１の動作の一例を示すフローチャートであり、管理サーバ２は、ユーザ端末５と専門員装置３とを接続する。管理サーバ２は、専門員装置３から専門員によって施術された施術内容を、ユーザ端末５に出力する。
【００４５】
＜第１取得ステップＳ１００＞
先ず、第１取得ステップＳ１００では、ユーザ端末５に事前にインストールされているメイクアップ支援システム１と連携するアプリケーションにより処理がなされる。ユーザ端末５は、メイクアップ対象者によりユーザ端末５にインストールされたアプリケーションの起動がなされ、公衆通信網６を介して管理サーバ２に接続され、データベース４の管理情報データベース４ａに記録されているユーザＩＤとの照合の後、専門員装置３との間でメイクアップ施術のやり取りがなされる。
【００４６】
ここで、図８（ａ）は、第１取得ステップＳ１００によって、専門員装置３に表示されたユーザ端末５で取得されたメイクアップ対象者の対象者映像の一例を示す模式図である。図８（ｂ）は、後述する施術映像出力ステップＳ１０５によって、専門員装置３に表示されたメイクアップ施術後の映像情報の一例を示す模式図である。
【００４７】
第１取得ステップＳ１００では、ユーザ端末５との接続により、メイクアップ対象者の現在の映像を取得する。また、第１取得ステップＳ１００では、メイクアップ対象者のメイクアップ施術の用途に関する用途情報を含む映像情報を取得する（第１取得部３０）。第１取得ステップＳ１００では、取得する映像は、メイクアップメイクアップ対象者の映像であり、メイクアップ対象者の顔映像と背景映像となる。メイクアップ対象者の映像は、施術すべきメイクアップのアドバイスを受ける前の本人の映像であればよく、例えば、静止画（平面）、又は動画でもよい。また、立体的な３Ｄ映像であってもよい。第１取得ステップＳ１００によって取得されたメイクアップ施術の対象者の映像は、データベース４の施術情報データベース４ｂの（ａ）施術テーブルに記録される。
【００４８】
＜抽出ステップＳ１０１＞
次に、抽出ステップＳ１０１では、取得した対象者映像に基づき、メイクアップ対象者が撮影されている対象者映像から対象者の顔映像の抽出を行う。（抽出部３１）抽出ステップＳ１０１では、取得したメイクアップ対象者の対象者映像に基づき、例えば、画像認識技術により、各画素の色調等の差異の連続性、又は基づき顔映像の部分だけを判別し、抽出するようにしてもよい。
【００４９】
抽出部３１は、例えば、データベース４の管理情報データベース４ａにメイクアップ対象者の顔映像を予め取得しておき、新たに取得したメイクアップ対象者の顔映像との比較を行い、例えば、画像認識技術により、各画素の色調等の差異の連続性等に基づき、対象者映像と背景映像との境界を判別し、その判別の結果、顔映像のみを抽出するようにしてもよい。
【００５０】
＜第２取得ステップＳ１０２＞
次に、第２取得ステップＳ１０２では、第１取得ステップＳ１００で取得された映像情報に含まれる用途情報に基づき、管理サーバ２のデータベース４の施術情報データベース４ｂにアクセスし、図６に示す用途情報テーブルから、用途情報と関連する背景映像及び用途映像を取得する（第２取得部３２）。背景映像は、例えば、メイクアップ対象者のメイクアップの目的の「フォーマル」、「カジュアル」等によって、関連する映像として予め準備された複数の店舗の映像である。用途映像は、例えば、メイクアップ対象者のメイクアップの目的の「フォーマル」、「カジュアル」等によって、関連する映像として予め準備された複数の衣装等の映像となる。第２取得ステップＳ１０２では、ユーザ端末５から取得した用途情報に基づき、例えば、用途情報が「カジュアル」であれば、関連する背景映像として、日常的な比較的にラフで、堅苦しくない店舗や施設、シーン等として記憶されている背景映像を取得する。同様に、第２取得ステップＳ１０２では、用途情報が「カジュアル」であれば、関連する用途映像として、明るく、ポップな色調、デザインの等として記憶されている衣装映像を取得する。用途映像として、普段着の衣装に関する映像を取得する。背景映像及び用途映像には、用途情報との関連で目的や映像イメージのキーワードが付与されて記憶される。付与されるキーワードは、例えば、「フォーマル」であれば、「フォーマルＡ」の背景映像の「店舗Ａ１．ｊｐｇ」には「銀座、赤坂、・・・」が付与され、用途映像の「衣装Ａ１．ｊｐｇ」には「ディナー、パーティー」が付与される。第２取得ステップＳ１０２では、これらのキーワードが用途情報に含まれる、または検出されれば、関連する背景映像及び用途映像を用途テーブルから取得する。
【００５１】
ここで、図９（ａ）は、実施形態におけるユーザ端末における用途情報の確認画面の一例を示す模式図である。図９（ｂ）は、実施形態における専門員における用途情報の確認画面の一例を示す模式図である。図９（ｃ）は、実施形態におけるユーザ端末における用途情報の反映結果画面の一例を示す模式図である。
【００５２】
第２取得ステップＳ１０２では、第１取得ステップＳ１００で取得された図９（ａ）に対して、ユーザ端末５と専門員装置３との間で、図９（ｂ）〜（ｃ）に示すような処理が行われる。図９（ｂ）は、ユーザ端末５に表示される映像であり、専門員が専門員装置３において、例えば、用途情報の確認のための質問５３（『○○様、この後、どちらにお出かけでしょうか？』）のような質問を行う。次に、図（ｃ）は、専門員装置３に表示される映像であり、メイクアップ対象者がユーザ端末５において、メイクアップ施術に関する回答５４（『夜に、銀座○○○○でディナーです。』）というような回答を行う。回答５４は、例えば、管理サーバ２で語彙・キーワード分析等が行われ（図示せず）、その結果、回答５４に対応する背景映像４１及び用途映像４２をデータベース４の用途情報テーブルに記憶されているキーワードから「銀座」、「ディナー」というキーワードに関連する背景映像「店舗Ａ１．ｊｐｇ」、「店舗Ａ２．ｊｐｇ」及び用途映像「衣装Ａ１．ｊｐｇ」、「衣装Ａ２．ｊｐｇ」を自動的に取得するように構成してもよい。
【００５３】
なお、質問５３及び回答５４は、専門員装置３又はユーザ端末５は、音声でやり取りされてもよく、この場合、音声認識技術により、自動的に判別され、判別された結果に応じて、図６に示す用途情報テーブルを参照し、対象の背景映像４１及び用途映像４２が取得されるよう構成してもよい。
【００５４】
＜映像合成ステップＳ１０３＞
次に、映像合成ステップＳ１０３では、第２取得ステップＳ１０２で取得した背景映像４１と用途映像４２を、メイクアップ施術前の対象者の顔映像と合成する。映像合成ステップＳ１０３では、第１取得ステップＳ１００で取得された映像に基づき、抽出ステップＳ１０１で対象者映像と対象者背景映像と顔映像との判別を行い、メイクアップ対象者の顔映像を抽出する。そして、映像合成ステップＳ１０３では、第２取得ステップＳ１０２により用途情報に基づき取得された背景映像４１及び用途映像４２に抽出した顔映像を合成する（映像合成部３３）。映像合成ステップＳ１０３では、例えば、第２取得ステップＳ１０２で取得した背景映像４１及び用途映像４２がメイクアップ対象者のイメージ合っているかの確認を行ってもよい。映像合成ステップＳ１０３では、映像合成した映像が、メイクアップ対象者のイメージと合わなければ、再度の合成処理を行ってもよい。
【００５５】
映像合成ステップＳ１０３では、専門員装置３の表示部２８に図８（ａ）、図８（ｂ）のような映像を表示する。図８（ａ）は、第１取得ステップＳ１００により、ユーザ端末５から取得されたメイクアップ対象者の対象者映像である。図８（ｂ）は、メイクアップ施術後のメイクアップ対象者の施術後映像である。図８（ｂ）は、用途情報に応じた背景映像４１及び用途映像４２がメイクアップ施術後の対象者映像と合成されて表示される。
【００５６】
＜施術映像編集ステップＳ１０４＞
次に、施術映像編集ステップＳ１０４は、映像合成ステップＳ１０３で合成されたメイクアップ施術対象の合成映像に施術すべきメイクアップに応じた映像編集を行う（施術映像編集部３４）。施術映像編集ステップＳ１０４では、例えば、ユーザ端末５、又は専門員装置３によって設定されたメイクアップ対象映像であり、背景映像４１及び用途映像４２に顔映像が合成されている。メイクアップ対象映像で取得される映像は、静止画の場合は、例えば、ユーザ端末５側で撮影されたメイクアップ対象者の今の画像であり、その画像が選択されるようにしてもよい。また、動画の場合は、例えば、基準となる画像を決定するようにしてもよい。
【００５７】
施術映像編集ステップＳ１０４では、メイクアップ対象映像に、例えば、メイクアップ施術の基準となる映像と座標を、施術情報データベース４ｂのメイクアップ座標テーブルに記憶する。施術映像編集ステップＳ１０４は、さらにメイクアップ対象画像の要素分析を行い、各特長的なパーツに応じて、各座標を割り当ててもよい。割り当てられた各座標は、データベース４のメイクアップ座標テーブルに登録される。登録されたメイクアップ対象映像の座標は、専門員装置３からメイクアップ対象映像に対して施術される座標を記憶する。これにより、メイクアップ対象映像の、どの部分に、どのようなメイクアップ施術をしているかが、ユーザ端末５と専門員装置３で分かる。
【００５８】
さらに、施術映像編集ステップＳ１０４では、メイクアップ施術に関するアプリケーションを、専門員装置３の記憶領域か、あるいは管理サーバ２にメイクアップライブラリを保有するようにしてもよい。専門員は、例えば、専門員装置３からのメイクアップライブラリの読み込みを行い、メイクアップツールを使用し、メイクアップ対象映像に施術すべきメイクアップのアドバイス等を行うようにしてもよい。
【００５９】
さらに、施術映像編集ステップＳ１０４では、データベース４の管理情報データベース４ａのユーザ管理情報テーブルにアクセスし、メイクアップ対象者のユーザＩＤに基づき、購入商品の情報を取得し、取得した購入商品に関するメイクアップ情報に基づき、施術すべきメイクアップのアドバイスをするようにしてもよい。このようにすることで、メイクアップ対象者は、自分が購入した商品を使った施術すべきメイクアップのやり方や方法、専門員による高度な術を編集された映像により確認することができる。
【００６０】
＜施術映像出力ステップＳ１０５＞
次に、施術映像出力ステップＳ１０５は、専門員装置３によって実行された施術すべきメイクアップに応じた映像編集に関する施術情報を記憶するとともに、施術すべきメイクアップに応じて映像編集されたメイクアップ編集映像を出力する（施術映像出力部３５）。施術映像出力ステップＳ１０５は、施術映像編集ステップＳ１０４による施術すべきメイクアップに応じた映像編集の終了後、施術情報データベース４ｂの施術テーブルに記憶された施術後の編集画像を取得し、ユーザ端末５に出力する。すでに、ユーザ端末５の機器に関する情報は、管理情報データベース４ａのユーザ管理情報テーブルにユーザ端末情報として登録されている。施術映像出力ステップＳ１０５は、このユーザ端末情報を参照し、適した形式、例えば、ユーザ端末５での参照に適した画像サイズやフレーム数で出力する。
【００６１】
ここで、ユーザ端末５における施術すべきメイクアップに応じた一連のメイクアップ映像編集は、例えば、専門員装置３での施術の状況を、ユーザ端末５でライブできる。ユーザ端末５は、施術映像出力ステップＳ１０５により出力された施術すべきメイクアップに応じた映像編集の映像情報をユーザ端末５の記憶領域に記憶するようにしてもよい。又は、管理サーバ２に施術情報データベース４ｂ内に各ユーザの領域を設け、その領域にメイクアップ施術の映像情報を記録してもよい。
【００６２】
これにより、本実施形態におけるメイクアップ支援システム１の動作が終了する。
【００６３】
図１０（ａ）は、実施形態におけるユーザ端末におけるメイクアップ施術前の入力画面の一例を示す模式図である。図１０（ｂ）は、実施形態におけるユーザ端末における専門員の選択画面の一例を示す模式図である。図１０（ｃ）は、実施形態におけるユーザ端末における専門員の選択結果画面の一例を示す模式図である。
【００６４】
例えば、図１０（ａ）に示すように、管理サーバ２でユーザ端末５に提供されるメイクアップ支援システム１のアプリケーションでは、メイクアップ対象者の初回の利用、日頃の利用者に応じたメニューを用意する。メニューは、例えば、『始めてご利用されるお客様』、『いつもご利用いただいているお客様』等が用意される。『始めてご利用されるお客様』の場合は、管理サーバ２へのお客様登録がされ、『いつもご利用いただいているお客様』の場合は、メイクアップ支援システムのサービスを受ける。
【００６５】
次に、図１０（ｂ）に示すように、例えば、メイクアップ対象者は、希望の専門員を選択できる。専門員は、管理サーバ２においてスケジュール管理されており、登録されている専門員のリストが表示される。専門員の予約は、例えば、ボタン５０〜５１が表示され、『今すぐメイクアップ』、『空き時間で予約』等により絞込みが可能となる。専門員の検索や予約は、データベース４の管理情報データベース４ａに登録される専門員の情報により表示される。図１０（ｃ）に示すように、専門員が割り当てられ、ユーザ端末５と専門員装置３でのやり取りが可能となる。ユーザ端末５には、例えば、専門員によって専門員装置３に入力されたメッセージ５２が表示される。
【００６６】
さらに、図１１（ａ）は、実施形態におけるユーザ端末におけるメイクアップ施術前の映像情報の一例を示す模式図である。図１１（ｂ）は、実施形態におけるユーザ端末における施術すべきメイクアップに応じた映像編集された映像情報の一例を示す模式図である。図１１（ｃ）は、実施形態におけるユーザ端末におけるメイクアップ施術後の再確認の一例を示す模式図である。
【００６７】
さらに、図１１（ａ）は、例えば、ユーザ端末５で表示されるメイクアップ施術前の対象者映像と合成映像であり、背景映像４１及び用途映像４２が合成されている。この合成された表示内容で問題なければ、専門員による施術すべきメイクアップに応じた映像編集が開始され、施術すべきメイクアップに応じた映像編集の内容は、データベース４の施術情報データベース４ｂに記録される。また、図１１（ｂ）は、ユーザ端末５で表示される施術すべきメイクアップに応じた映像編集は、メイクアップ対象者映像の顔映像と合成映像であり、背景映像４１及び用途映像４２が合成されている。この施術すべきメイクアップに応じた映像編集の映像は、データベース４の施術情報データベース４ｂに記録されており、メイクアップ対象者は、自分のユーザＩＤでログインし、いつでも施術すべきメイクアップを閲覧できる。図１１（ｃ）は、ユーザ端末５で表示されるメイクアップ施術後の表示であり、メイクアップ対象者のメイクアップ施術前の映像（今の顔の映像）がミラー反転で表示される。メイクアップ施術の動画５５は、データベース４の施術情報データベース４ｂに記憶され、ユーザ端末５の動画５５を参照することができる。ユーザ端末５では、ミラー反転されたメイクアップ対象者の映像と、施術情報データベース４ｂメイクアップ施術の動画が合わせて表示される。メイクアップ対象者は、例えば、専門員による施術すべきメイクアップに応じた映像の確認後、専門員からのアドバイスの通りに実際の自分の顔にメイクアップ施術を行う。メイクアップ対象者は、メイクアップ施術後の確認をすることができ、例えば、診断ボタン５６、指導ボタン５７で表示される『診断』、『指導』が可能となる。
【００６８】
診断ボタン５６は、例えば、データベース４の施術情報データベース４ｂに記録されたメイクアップ施術の記録と、新たにメイクアップ対象者によって行われるメイクアップ施術の手順やメイクが比較される。比較結果は、例えば、相違する部分を、メイクアップ施術前の対象者映像に重ねて表示するようにしてもよい。メイクアップ対象者には、メイクアップ編集映像に間違いがあれば、専門員が指摘するようにしてもよい。また、例えば、指導ボタン５７は、メイクアップ施術を担当した専門員への問い合わせが可能となる。
【００６９】
また、本実施形態によれば、第１取得ステップＳ１００は、管理サーバ２とユーザ端末５と専門員装置３を接続した状態で、ユーザ端末５からメイクアップ対象者の映像と用途情報を取得する。このため、メイクアップ対象者の現在の顔の映像を取得できる。さらに、映像情報に含まれるメイクアップに関する用途情報を取得する。これにより、どのような用途のメイクアップかを確認でき、専門員は、メイクアップ対象者の用途に応じたメイクアップ施術が可能となる。
【００７０】
また、本実施形態よれば、管理サーバ２は、ユーザ端末５と施術すべきメイクアップに応じた映像編集によるアドバイスを行う専門員装置３との間における映像情報の制御を行う。このため、遠隔でのメイクアップ施術が可能となる。これにより、従来の顔画像を用いたメイクアップ診断と比べ、専門員は専門員装置３を通じてメイクアップ対象者の細かい表情や情報を、リアルタイムで確認できる。これにより、ユーザ端末５と専門員装置３において効果的なメイクアップ施術、アドバイスが可能となる。
【００７１】
また、本実施形態によれば、施術映像編集ステップＳ１０４は、設定されたメイクアップ座標上にメイクアップ施術し、施術の状況は、施術情報データベース４ｂに記憶される。このため、ユーザ端末５と専門員装置３でメイクアップ編集映像を共有でき、ライブでのメイクアップ施術が可能となる。これにより、元の『今の顔』とメイクアップ施術後のメイクアップ編集映像を比較して表示させることができる。
【００７２】
また、本実施形態によれば、施術映像出力ステップＳ１０５は、専門員装置３によって実行されたメイクアップ施術に関する施術情報を記憶し、出力する。これにより、専門員による専門員装置３からのメイクアップ施術のアドバイスを、メイクアップ対象者はその場で確認できる。さらに、メイクアップ対象者のメイクアップ施術は、各ユーザＩＤで施術情報データベース４ｂに記録される。そのため、メイクアップ対象者は、自分のユーザＩＤでアクセスし、いつでも自分に施術されたメイクアップ編集映像を再生できる。このため、現在の自分の顔、メイクアップ用途のメイクアップ施術の再生機会が増え、メイクアップ活用の機会が広がり、施術すべきメイクアップに応じたアドバイスをすることができる。
【００７３】
また、本実施形態によれば、施術映像編集ステップＳ１０４は、ユーザ端末５と専門員装置３との間で設定されたメイクアップ対象映像に対し、２次元又は３次元の座標を設定する。このため、メイクアップ対象映像が、平面に加え、奥行きのある立体的なメイクアップ施術のアドバイスや映像編集されたメイクアップ編集映像を提供することが可能となる。これにより、専門員装置３では、ＶＲ機によるメイクアップ施術のアドバイスや映像編集されたメイクアップ編集映像の提供を行うことで、平面的なメイクアップ施術に比べて、立体的な映像での確認が可能となり、よりリアルなメイクアップ施術のアドバイスや映像編集されたメイクアップ編集映像の提供を行うことができる。これにより、例えば、メイクアップ対象者の背中や背景など、これまでのメイクアップサービスではアドバイスできない部分まで考慮することができるようになる。
【００７４】
また、本実施形態によれば、施術映像出力ステップＳ１０５は、メイクアップ対象者からメイクアップの用途に関する用途情報を合わせて取得する。このため、メイクアップ対象者の顔映像の域部分だけ抽出することで、各用途情報に応じた映像情報に置き換え、メイクアップ対象者が希望する別の映像として表示するができる。これにより、単なる顔だけのメイクアップ施術やアドバイスに比べて、実際のメイクアップ対象者の目的や用途に適したトータルメイクアップ施術ができる。
【００７５】
また、本実施形態によれば、施術映像出力ステップＳ１０５は、管理情報データベース４ａに記憶されるユーザ端末情報を判別する。これにより、ユーザ端末５の機器構成や表示デバイス等を確認する。このため、ユーザ端末５で参照しやすい表示として、例えば、メイクアップ編集映像の施術前の映像情報及び施術後の映像情報を各々並べて表示することができる。これにより、ユーザ端末５と専門員装置３の間で行われるメイクアップ施術の前後の経過を、一度に並べて確認できる。さらに、メイクアップ施術の手順をリアルタイムで理解でき、メイクアップ施術前とメイクアップ施術後の施術の評価ができる。
【００７６】
さらに、本実施形態によれば、ユーザ端末と専門員装置を接続してメイクアップ施術のアドバイスを行うメイクアップ支援方法であって、第１取得ステップＳ１００を行う第１工程と、第１取得ステップＳ１００を行う第２工程と、第２取得ステップＳ１０２を行う第３工程と、映像合成ステップＳ１０３を行う第４工程、施術映像編集ステップＳ１０４を行う第５工程と、施術映像出力ステップＳ１０５を行う第５工程により提供することができる。
【００７７】
本発明の実施形態を説明したが、各実施形態は例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。
【符号の説明】
【００７８】
１        ：メイクアップ支援システム
２        ：管理サーバ
２０      ：ＣＰＵ
２１      ：ＲＯＭ
２２      ：ＲＡＭ
２３      ：記憶部
２４      ：Ｉ／Ｆ
２５      ：Ｉ／Ｆ
２６      ：Ｉ／Ｆ
２７      ：内部バス
２８      ：表示部
２９      ：入出力部
３        ：専門員装置
３０      ：第１取得得部
３１      ：抽出部
３２      ：第２取得部
３３      ：映像合成部
３４      ：施術映像編集部
３５      ：施術映像出力部
４        ：データベース
４ａ      ：管理情報データベース
４ｂ      ：施術情報データベース
４０      ：撮影部
４１      ：背景映像
４２      ：用途映像
５        ：ユーザ端末
５０、５１：ボタン
５２      ：メッセージ
５３      ：質問
５４      ：回答
５５      ：動画
５６      ：診断ボタン
５７      ：指導ボタン
６        ：公衆通信網
Ｓ１００  ：第１取得ステップ
Ｓ１０１  ：抽出ステップ
Ｓ１０２  ：第２取得ステップ
Ｓ１０３  ：映像合成ステップ
Ｓ１０４  ：施術映像編集ステップ
Ｓ１０５  ：施術映像出力ステップ
【図１】
2020022681.tif 000003
【図２】
2020022681.tif 000004
【図３】
2020022681.tif 000005
【図４】
2020022681.tif 000006
【図５】
2020022681.tif 000007
【図６】
2020022681.tif 000008
【図７】
2020022681.tif 000009
【図８】
2020022681.tif 000010
【図９】
2020022681.tif 000011
【図１０】
2020022681.tif 000012
【図１１】
2020022681.tif 000013
【手続補正書】
【提出日】平成31年2月28日(2019.2.28)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
ユーザ端末と前記ユーザ端末に接続される専門員装置に提示される仮想空間において前記ユーザ端末と前記専門員装置が接続された状態でメイクアップ施術のアドバイスを行うメイクアップ支援システムであって、
背景映像及び用途映像をメイクアップ施術の用途に関する用途情報に関連付けて記憶するデータベースと、
前記ユーザ端末からメイクアップ対象者の映像と用途情報を取得する第１取得手段と、
前記第１取得手段により取得したメイクアップ対象者の映像から前記メイクアップ対象者の顔映像を抽出する抽出手段と、
前記第１取得手段により取得された用途情報に関連付けられた背景映像及び用途映像を前記データベースから取得する第２取得手段と、
前記第２取得手段により取得した背景映像及び用途映像と、前記抽出手段により抽出した顔映像とを合成する合成手段と、
前記合成手段により合成された合成映像に施術すべきメイクアップに応じた映像編集を行うメイクアップ映像編集手段と、
前記編集されたメイクアップ編集映像を前記ユーザ端末に出力するメイクアップ施術映像出力手段と、
を備えることを特徴とするメイクアップ支援システム。
【請求項２】
前記施術映像出力手段は、前記ユーザ端末に、前記メイクアップ施術前の対象者映像と前記合成されたメイクアップ施術後の対象者映像を並べて表示させること、
を特徴とする請求項１記載のメイクアップ支援システム。
【請求項３】
前記施術映像出力手段は、ユーザ端末に、メイクアップ対象者の現在の対象映像と前記メイクアップ施術後の対象者映像を同一画面上に表示させること、
を特徴とする請求項１又は２記載のメイクアップ支援システム。
【請求項４】
ユーザ端末と前記ユーザ端末に接続される専門員装置に提示される仮想空間において前記ユーザ端末と前記専門員装置が接続された状態でメイクアップ施術のアドバイスを行うメイクアップ支援方法であって、
前記ユーザ端末からメイクアップ対象者の映像と用途情報を取得する第１工程と、
前記第１工程により取得したメイクアップ対象者の映像から前記メイクアップ対象者の顔映像を抽出する第２工程と、
前記第１工程により取得された用途情報に関連付けられた背景映像及び用途映像を、前記背景映像及び前記用途映像をメイクアップ施術の用途に関する用途情報に関連付けて記憶するデータベースから取得する第３工程と、
前記第３工程により取得した背景映像及び用途映像と、前記抽出手段により抽出した顔映像とを合成する第４工程と、
前記第４工程により合成された合成映像に施術すべきメイクアップに応じた映像編集を行う第５工程と、
前記編集されたメイクアップ編集映像を前記ユーザ端末に出力する第６工程と、
を有することを特徴とするメイクアップ支援方法。
【手続補正２】
【補正対象書類名】明細書
【補正対象項目名】０００６
【補正方法】変更
【補正の内容】
【０００６】
第１発明に係るメイクアップ支援システムは、ユーザ端末と前記ユーザ端末に接続される専門員装置に提示される仮想空間において前記ユーザ端末と前記専門員装置が接続された状態でメイクアップ施術のアドバイスを行うメイクアップ支援システムであって、背景映像及び用途映像をメイクアップ施術の用途に関する用途情報に関連付けて記憶するデータベースと、前記ユーザ端末からメイクアップ対象者の映像と用途情報を取得する第１取得手段と、前記第１取得手段により取得したメイクアップ対象者の映像から前記メイクアップ対象者の顔映像を抽出する抽出手段と、前記第１取得手段により取得された用途情報に関連付けられた背景映像及び用途映像を前記データベースから取得する第２取得手段と、前記第２取得手段により取得した背景映像及び用途映像と、前記抽出手段により抽出した顔映像とを合成する合成手段と、前記合成手段により合成された合成映像に施術すべきメイクアップに応じた映像編集を行うメイクアップ映像編集手段と、前記編集されたメイクアップ編集映像を前記ユーザ端末に出力するメイクアップ施術映像出力手段と、を備えることを特徴とする。
【手続補正３】
【補正対象書類名】明細書
【補正対象項目名】０００９
【補正方法】変更
【補正の内容】
【０００９】
第４発明に係るメイクアップ支援方法は、ユーザ端末と前記ユーザ端末に接続される専門員装置に提示される仮想空間において前記ユーザ端末と前記専門員装置が接続された状態でメイクアップ施術のアドバイスを行うメイクアップ支援方法であって、前記ユーザ端末からメイクアップ対象者の映像と用途情報を取得する第１工程と、前記第１工程により取得したメイクアップ対象者の映像から前記メイクアップ対象者の顔映像を抽出する第２工程と、前記第１工程により取得された用途情報に関連付けられた背景映像及び用途映像を、前記背景映像及び前記用途映像をメイクアップ施術の用途に関する用途情報に関連付けて記憶するデータベースから取得する第３工程と、前記第３工程により取得した背景映像及び用途映像と、前記抽出手段により抽出した顔映像とを合成する第４工程と、前記第４工程により合成された合成映像に施術すべきメイクアップに応じた映像編集を行う第５工程と、前記編集されたメイクアップ編集映像を前記ユーザ端末に出力する第６工程と、を有することを特徴とする。