(57)【要約】【課題】店舗やインターネットを通じての口紅等の化粧品販売において、客観的で且つユーザーのメイクイメージに則したコーディネートを可能とする。【解決手段】  ユーザーの化粧品選択を支援するシステムであり、ユーザーを撮影したユーザー画像を取得するユーザー画像取得部と、背景色及び衣装色が含まれるサンプル画像を複数パターン蓄積するサンプル画像蓄積部と、ユーザーに対して、質疑を出力し、それに対する応答の入力をアンケート回答として受け付けるアンケート入力部と、アンケート回答を解析するアンケート解析部と、サンプル画像蓄積部から、アドバイザーの操作に応じて、任意のサンプル画像を取得するサンプル画像取得部と、アドバイザーが選択したサンプル画像を基準画像とし、アンケート解析部による解析結果と、選択された基準画像とに基づいて、基準色を抽出する基準色抽出部と、ユーザー画像を被加工画像とし、基準色に基づいて、該被加工画像を加工し、サンプル画像に合成する画像加工部とを備える。【選択図】図１
2020013368.tif 000002
【特許請求の範囲】
【請求項１】
ユーザーの化粧品選択を支援するシステムであり、
ユーザーを撮影したユーザー画像を取得するユーザー画像取得部と、
背景色及び衣装色が含まれるサンプル画像を複数パターン蓄積するサンプル画像蓄積部と、
ユーザーに対して、質疑を出力し、それに対する応答の入力をアンケート回答として受け付けるアンケート入力部と、
前記アンケート回答を解析するアンケート解析部と、
前記サンプル画像蓄積部から、アドバイザーの操作に応じて、任意のサンプル画像を取得するサンプル画像取得部と、
前記アドバイザーが選択した前記サンプル画像を基準画像とし、前記アンケート解析部による解析結果と、選択された基準画像とに基づいて、基準色を抽出する基準色抽出部と、
前記ユーザー画像を被加工画像とし、前記基準色に基づいて、該被加工画像を加工し、前記サンプル画像に合成する画像加工部と
を備えることを特徴とするメイクアップ支援システム。
【請求項２】
前記サンプル画像は、異なる２色以上の背景色と、異なる２色以上の衣装色との組み合わせが対比可能に含まれていることを特徴とする請求項１に記載のメイクアップ支援システム。
【請求項３】
前記サンプル画像に含まれる衣装色は、少なくとも表側に２色及び裏側に２色が対比可能に配置された円錐状のエプロンの配色であることを特徴とする請求項２に記載のメイクアップ支援システム。
【請求項４】
前記アンケートでは、複数段階で色の異なる皮膚の画像が選択可能に配置されていることを特徴とする請求項１に記載のメイクアップ支援システム。
【請求項５】
ユーザーの化粧品選択を支援するプログラムであり、コンピューターを、
ユーザーを撮影したユーザー画像を取得するユーザー画像取得部と、
背景色及び衣装色が含まれるサンプル画像を複数パターン蓄積するサンプル画像蓄積部と、
ユーザーに対して、質疑を出力し、それに対する応答の入力をアンケート回答として受け付けるアンケート入力部と、
前記アンケート回答を解析するアンケート解析部と、
前記サンプル画像蓄積部から、アドバイザーの操作に応じて、任意のサンプルの画像を取得するサンプル画像取得部と、
前記アドバイザーが選択した前記サンプル画像を基準画像とし、前記アンケート解析部による解析結果と、選択された基準画像とに基づいて、基準色を抽出する基準色抽出部と、
前記ユーザー画像を被加工画像とし、前記基準色に基づいて、該被加工画像を加工し、前記サンプル画像に合成する画像加工部として
機能させることを特徴とするメイクアップ支援プログラム。
【請求項６】
前記サンプル画像は、異なる２色以上の背景色と、異なる２色以上の衣装色との組み合わせが対比可能に含まれていることを特徴とする請求項５に記載のメイクアップ支援プログラム。
【請求項７】
前記サンプル画像に含まれる衣装色は、少なくとも表側に２色及び裏側に２色が対比可能に配置された円錐状のエプロンの配色であることを特徴とする請求項６に記載のメイクアップ支援プログラム。
【請求項８】
前記アンケートでは、複数段階で色の異なる皮膚の画像が選択可能に配置されていることを特徴とする請求項５に記載のメイクアップ支援プログラム。
【請求項９】
ユーザーの化粧品選択を支援する方法であって、
ユーザーを撮影したユーザー画像をユーザー画像取得部が取得するステップと、
背景色及び衣装色が含まれるサンプル画像を、サンプル画像蓄積部が複数パターン蓄積するステップと、
ユーザーに対して質疑を出力し、それに対する応答の入力をアンケート回答としてアンケート入力部が受け付けるとともに、前記アンケート回答をアンケート解析部が解析するステップと、
前記サンプル画像蓄積部から、アドバイザーの操作に応じて、任意のサンプルの画像をサンプル画像取得部が取得するとともに、前記アドバイザーが選択した前記サンプル画像を基準画像とし、前記アンケート解析部による解析結果と選択された基準画像とに基づいて、基準色抽出部が基準色を抽出するステップと、
前記ユーザー画像を被加工画像とし、前記基準色に基づいて、該被加工画像を加工し、前記サンプル画像に合成するステップと
を含むことを特徴とするメイクアップ支援方法。
【請求項１０】
前記サンプル画像は、異なる２色以上の背景色と、異なる２色以上の衣装色との組み合わせが対比可能に含まれていることを特徴とする請求項９に記載のメイクアップ支援方法。
【請求項１１】
前記サンプル画像に含まれる衣装色は、少なくとも表側に２色及び裏側に２色が対比可能に配置された円錐状のエプロンの配色であることを特徴とする請求項１０に記載のメイクアップ支援方法。
【請求項１２】
前記アンケートでは、複数段階で色の異なる皮膚の画像が選択可能に配置されていることを特徴とする請求項９に記載のメイクアップ支援方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、ユーザーが希望するメイクアップイメージに則したリップカラーをコーディネートするなど、ユーザーの化粧品選択を支援するメイクアップ支援システム及び方法に関する。
【背景技術】
【０００２】
従来、リップカラーなどのメイクアップ化粧料は、ユーザーの顔にアクセントをつけ、その人のイメージを形成させるのに重要であり、口紅などのメイクアップ化粧料の色の種類は多種にわたっている。さらに、使用者の色に対する嗜好性も千差万別であり、メイクアップ化粧料は本来、化粧する人の意志やその人の持つメイクイメージを十分に表現できることが望ましい。
【０００３】
ところで、店舗などでのコーディネートサービスにおいてユーザー自身がリップカラーやメイクアップを自分で客観的に評価するのは難しく、その一方で、販売の現場では美容部員による主観的なアドバイスのために、人が最初に願望として抱いていたメイクイメージとは異なる化粧料を勧められる場合があった。このため、販売の現場では、客観的なメイクイメージを実現するための経験や知識、十分な訓練が求められている、これに対し従来から、メイクアップシミュレータが開発されている（例えば、特許文献１）。
【先行技術文献】
【特許文献】
【０００４】
【特許文献２】特開平１１−２１１９７４号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、上述したようなメイクアップシミュレータでは、ユーザーの指向性を考慮してユーザーのメイクイメージに合った化粧品のカラーを選択するが、そもそもユーザー抱いているメイクイメージが、ユーザー自身も把握できていない場合も多いことから、ユーザーが納得のゆくコーディネートを提案するのは難しかった。
【０００６】
また、近年ではインターネットを通じて、上述したようなコーディネートサービスを手軽に受けたいという要請もがある。しかしながら、インターネットを通じた遠隔的なコーディネートでは一定の限界があり、適切な手法の発案が求められていた。
【０００７】
そこで、本発明は、上記のような問題を解決するものであり、店舗やインターネットを通じての口紅等の化粧品販売において、客観的で且つユーザーのメイクイメージに則したコーディネートを可能とするメイクアップ支援システム、メイクアップ支援プログラム、及びメイクアップ支援方法を提供することを目的とする。
【課題を解決するための手段】
【０００８】
上記課題を解決するために、本発明は、ユーザーの化粧品選択を支援するシステムであり、ユーザーを撮影したユーザー画像を取得するユーザー画像取得部と、背景色及び衣装色が含まれるサンプル画像を複数パターン蓄積するサンプル画像蓄積部と、ユーザーに対して、質疑を出力し、それに対する応答の入力を受け付けるアンケート入力部と、アンケートを解析するアンケート解析部と、サンプル画像蓄積部から、アドバイザーの操作に応じて、任意のサンプルの画像を取得するサンプル画像取得部と、アドバイザーが選択したサンプル画像を基準画像とし、アンケート解析部による解析結果と、選択された基準画像とに基づいて、基準色を抽出する基準色抽出部と、ユーザー画像を被加工画像とし、基準色に基づいて、被加工画像を加工する画像加工部とを備えることを特徴とする。
【０００９】
また、本発明は、ユーザーの化粧品選択を支援する方法であって、
ユーザーを撮影したユーザー画像をユーザー画像取得部が取得するステップと、
背景色及び衣装色が含まれるサンプル画像を、サンプル画像蓄積部が複数パターン蓄積するステップと、
ユーザーに対して質疑を出力し、それに対する応答の入力をアンケート入力部が受け付けるとともに、前記アンケートをアンケート解析部が解析するステップと、
前記サンプル画像蓄積部から、アドバイザーの操作に応じて、任意のサンプルの画像をサンプル画像取得部が取得するとともに、前記アドバイザーが選択した前記サンプル画像を基準画像とし、前記アンケート解析部による解析結果と選択された基準画像とに基づいて、基準色抽出部が基準色を抽出するステップと、
前記ユーザー画像を被加工画像として、前記基準色に基づき、画像加工部が該被加工画像を加工するステップと
を含む。
【００１０】
上記発明において、サンプル画像は、異なる２色以上の背景色と、異なる２色以上の衣装色との組み合わせが対比可能に含まれていることが好ましい。上記発明において、サンプル画像に含まれる衣装色は、少なくとも表側に２色及び裏側に２色が対比可能に配置された円錐状のエプロンの配色であることが好ましい。上記発明において、アンケートでは、複数段階で色合いや明度などが変化するように表現された皮膚の画像が、任意の段階の色が選択可能に配置されていることが好ましい。
【００１１】
さらに、本発明は、ユーザーの化粧品選択を支援するプログラムであり、コンピューターを、ユーザーを撮影したユーザー画像を取得するユーザー画像取得部と、背景色及び衣装色が含まれるサンプル画像を複数パターン蓄積するサンプル画像蓄積部と、ユーザーに対して、質疑を出力し、それに対する応答の入力を受け付けるアンケート入力部と、アンケートを解析するアンケート解析部と、サンプル画像蓄積部から、アドバイザーの操作に応じて、任意のサンプルの画像を取得するサンプル画像取得部と、アドバイザーが選択したサンプル画像を基準画像とし、アンケート解析部による解析結果と、選択された基準画像とに基づいて、基準色を抽出する基準色抽出部と、ユーザー画像を被加工画像とし、基準色に基づいて、被加工画像を加工する画像加工部として機能させることを特徴とする。
【００１２】
このような発明によれば、プログラムとすることで、特別な処理装置を必要とせず、パーソナルコンピューター等、種々の情報処理装置を上述した画像データ管理装置とし、画像データ管理方法を様々な情報処理装置において実現することができる。すなわち、この画像データ管理プログラムを、汎用的なコンピューターやＩＣチップにインストールし、ＣＰＵ上で実行することにより、上述した各機能を有するシステムが構成され、上記本発明の方法を容易に構築することができる。このプログラムは、例えば、通信回線を通じて配布することが可能であり、またスタンドアローンの計算機上で動作するパッケージアプリケーションとして譲渡することができる。そして、このような画像データ管理プログラムは、コンピューターで読み取り可能な記録媒体に記録することができ、汎用のコンピューターや専用コンピューターを用いて、上述したシステムや方法を実施することが可能となるとともに、プログラムの保存、運搬及びインストールを容易に行うことができる。
【発明の効果】
【００１３】
以上述べたように、この発明によれば、店舗やインターネットを通じての口紅等の化粧品販売において、客観的で且つユーザーのメイクイメージに則したコーディネートが可能となる。
【図面の簡単な説明】
【００１４】
【図１】実施形態に係るメイクアップ支援システムの全体構成を示す概念図である。
【図２】実施形態に係るスタンドアローン型の情報処理端末として動作するメイクアップ支援システムを構成する各装置の内部構造を示すブロック図である。
【図３】実施形態に係るメイクアップ支援システムを構成する店舗装置の内部構造を示すブロック図である。
【図４】実施形態に係るメイクアップ支援システムを構成するユーザー端末及びサーバー装置の内部構造を示すブロック図である。
【図５】実施形態に係るサーバー装置又は店舗装置としての情報処理端末の内部構造を示すブロック図である。
【図６】実施形態に係るメイクアップ支援システムを構成するタブレットＰＣの内部構造を示すブロック図である。
【図７】実施形態に係るメイクアップ支援システムで用いられる撮影用エプロンの構成を示す説明図である。
【図８】実施形態に係るメイクアップ支援システムで用いられる撮影用エプロンの構成を示す説明図である。
【図９】実施形態に係るウィンドウに表示されたメイクアップ加工画面を示す説明図である。
【図１０】実施形態に係るメイクアップ支援方法を示すフローチャート図である。
【図１１】実施形態に係るメイクアップ支援方法を示すフローチャート図である。
【図１２】実施形態に係るメイクアップ支援方法におけるアンケート項目の例を示す説明図である。
【発明を実施するための形態】
【００１５】
（メイクアップ支援システムの全体構成）
以下に添付図面を参照して、本発明に係るメイクアップ支援システムの実施形態を詳細に説明する。図１は、本実施形態に係るメイクアップ支援システムの全体構成を示す概念図である。
【００１６】
図１に示すように、本実施形態におけるメイクアップ支援システムは、ユーザー７（７ａ，７ｂ）に対して、口紅などの化粧品の選択を支援するコーディネートサービスで利用可能なシステムである。本実施形態では、所定のＣ言語で作成された本発明のメイクアップ支援プログラムを、パーソナルコンピューターやタブレットＰＣ等の情報処理装置１０にインストールすることで、情報処理装置１０をメイクアップ支援システム用の端末として動作させ、本発明のメイクアップ支援方法を実現することができる。
【００１７】
具体的には、本実施形態では、単一のエンジンプログラムを備えたメイクアップ支援プログラムを、異なる利用環境で稼動する各種の情報処理装置１０（１０ａ及び１０ｂ）にそれぞれインストールし、その利用環境におけるユーザー画像やサンプル画像の取得経路の設定を切り替えることで、異なる使用形態に対応したメイクアップ支援システムをそれぞれ構築させることができる。
【００１８】
詳述すると、図１に示すような、店舗９に設置された汎用的なコンピューターである店舗側装置１０ａ及びタブレットＰＣ４に、本発明のメイクアップ支援プログラムをインストールした場合、このメイクアップ支援プログラムは、スタンドアローンで独立的に動作し、店舗用のメイクアップ支援アプリケーションとして動作する。そして、この店舗９では、ウェディングコーディネートを受けるべく来店したユーザー７ａを、店舗内のカメラ３ａやタブレットＰＣ４のカメラ機能で撮影し、その撮影した画像データを、ユーザー画像又はサンプル画像として加工して表示部２ａ，２ｂに表示させる。このように店舗９においてユーザーに直接コーディネートサービスを提供する場合には、来店したユーザーにタブレットＰＣ４を貸し渡して、タブレットＰＣ４を通じてアンケートに回答させ、サービス提供側でユーザー情報を取得する。
【００１９】
一方、図２に示すような、通信ネットワーク５に接続されたサーバー装置１０ｂに、本発明のメイクアップ支援プログラムをインストールした場合には、このメイクアップ支援プログラムは、Ｗｅｂアプリケーションとしてサーバー上で動作し、ウェブ上のバーチャルメイクアップ支援サービス用として使用される。そして、このバーチャルメイクアップ支援サービスでは、通信ネットワーク５に接続された複数のユーザー７ｂが使用するユーザー端末６からのアクセスを受け付け、ユーザーが自分で用意した画像をアップロードさせ、そのアップロードされた画像データをサンプル画像と合成して、ユーザーの表示部２ｂに表示させる。また、このバーチャルメイクアップ支援サービスにおいても、ユーザー端末６を通じてアンケートに回答させ、サービス提供側でユーザー情報を取得する。
【００２０】
（各装置及びその内部構造）
次いで、これらのメイクアップ支援システムを構成する各装置と、各装置の内部構造について説明する。図３は、本実施形態に係るメイクアップ支援システムを構成する店舗装置の内部構造を示すブロック図であり、図４は、本実施形態に係るメイクアップ支援システムを構成するユーザー端末及びサーバー装置の内部構造を示すブロック図である。なお、説明中で用いられる「モジュール」とは、装置や機器等のハードウェア、或いはその機能を持ったソフトウェア、又はこれらの組み合わせなどによって構成され、所定の動作を達成するための機能単位を示す。
【００２１】
（１）スタンドアローン型  
先ず、スタンドアローン型の情報処理端末におけるメイクアップ支援システムについて説明する。この場合には、図３に示すように、店舗９内に設置された情報処理装置である店舗側装置１０ａと、カメラ３ａ及びタブレットＰＣ４とを備えている。なお、本実施形態では、カメラ３ａとタブレットＰＣ４とを別体として記述するが、本発明はこれに限定されるものではなく、例えば、図６に示すように、タブレットＰＣ４に備えられたカメラ４６ｃを用いてもよい。
【００２２】
店舗９は、化粧品の販売店や美容院等の店舗など、来店したユーザー７ａに対してメイクコーディネートサービスを提供する場である。カメラ３ａ（又はタブレットＰＣ４のカメラ４６ｃ）は、静止画、又は動画を撮影する撮像装置であって、レンズと、ＣＣＤ、又はＣＭＯＳである固定撮像素子から構成され、入射された被写体像を表す光がＣＣＤの受光面に結像され、カメラ信号処理回路及びＡ／Ｄ変換器等を介して、店舗側装置１０ａに画像データが入力される。
【００２３】
店舗側装置１０ａは、ＣＰＵによる演算処理機能、及び通信インターフェースによる通信処理機能を備えたユーザー端末であり、パーソナルコンピューター等の汎用コンピューターや、機能を特化させた専用装置により実現することができ、店舗側装置１０ａには、記憶部１２０と、アプリケーション実行部１１０と、表示部２ａと、入出力インターフェース１０１とが備えられている。
【００２４】
表示部２ａは、例えば、液晶ディスプレイ等の表示装置であり、液晶ディスプレイ等の表示デバイスとそのディスプレイの表示駆動回路とを含み、ディスプレイ上に画像や文字等を表示する。
【００２５】
記憶部１２０は、各種データを蓄積するメモリ装置等であり、アプリケーションデータや、各機能モジュールにおいて表示される画像データ、ユーザーの名前や住所等の個人情報等などが蓄積されている。そして、記憶部１２０は、サンプル画像蓄積部１２０ａ及びアンケート蓄積部１２０ｂを有している。
【００２６】
サンプル画像蓄積部１２０ａは、各色、明度、照度の風景やセットを背景として、ユーザー本人の他、サンプルとなる人物が、各種衣装やアクセサリーを装着したポートレイト写真を、サンプル画像として複数蓄積する記憶装置である。なお、本実施形態において、サンプル画像は、異なる２色以上の背景色と、異なる２色以上の衣装色との組み合わせが対比可能に含まれており、例えば、人物の背景が、人物を中心に左右異なる配色とし、その前景においてユーザー本人或いは他のモデルが図７及び図８に示すような、衣装色のエプロンを装着した画像をサンプル画像として用いる。
【００２７】
すなわち、サンプル画像に含まれる衣装色は、少なくとも表側に２色及び裏側に２色が対比可能に配置された円錐状のエプロンの配色となっている。このサンプル画像の撮影に際しては、エプロンの表裏或いは左右を被写体人物の正面に位置するように段階的に回転させて装着することにより、適切な色の対比がなされたサンプル画像を簡単に撮れるようにしている。なお、モデルによるサンプル画像では、丸顔、面長顔、又は四角顔など、顔の形が異なるモデルが、上記エプロンを表裏・左右を段階的に回転させて装着した画像が複数含まれている。また、このサンプル画像としては、顔の形毎に、肌色の明るさや色合いなど、肌色の種類が異なるバリエーションも含まれており、顔の形状のパターンと肌色の種類とが対応付けられて記憶されている。
【００２８】
アンケート蓄積部１２０ｂには、各種アンケート項目、アンケートの際に対比可能に表示される各色の手のひらなど、皮膚の画像が蓄積されている。また、このアンケートでは、色合いや明度などが段階的に変化するように表現されたカラーバーのように、異なる皮膚の画像が選択可能に配置され、任意の色の皮膚の画像を選択することで、回答する肌の色を入力できるようになっている。このアンケート項目としては、図１２に示すように、手のひらの色や指先の色（圧迫してみるなどの人為的な状態における色など）、かの血色（高揚の前後なども含む）、目の印象やコントラスト、髪の毛の色、質感などを文字入力や、アイコン画像を選択するなどの操作により回答する形式の者が含まれる。
【００２９】
アプリケーション実行部１１０は、ＯＳ上において、ブラウザソフトや画像再生アプリケーションなどのプログラムを実行するモジュールであり、本実施形態においては、取得したユーザー画像とサンプル画像を合成する機能を有している。
【００３０】
入力インターフェース１０１ａは、操作ボタンやタッチパネル、ジョグダイヤルなどユーザー操作を入力するデバイスであり、出力インターフェース１０１ｂは、ディスプレイやスピーカーなど、映像や音響を出力するデバイスである。本実施形態においては、入力インターフェース１０１ａを介して、カメラ３ａ、及びタブレットＰＣ４が接続されており、カメラ３ａで撮影された画像データや、タブレットＰＣ４で計測された肌色データが店舗側装置１０ａに入力される。
【００３１】
（２）Ｗｅｂ型メイクアップ支援システム
一方、Ｗｅｂ上で使用されるメイクアップ支援システムには、２（ｂ）に示すように、通信ネットワーク５に接続されたサーバー装置１０ｂと、ユーザー端末６とを有し、ユーザー端末６にはカメラ３ｂが備えられている。
【００３２】
通信ネットワーク５は、通信プロトコルＴＣＰ／ＩＰを用いて種々の通信回線（ＦＴＴＨなどの光回線、ＡＤＳＬ回線などの公衆回線、専用回線、無線通信網）を相互に接続して構築される分散型のＩＰ網であり、このＩＰ網には、１０ＢＡＳＥ−Ｔや１００ＢＡＳＥ−ＴＸ等によるイントラネット（企業内ネットワーク）や家庭内ネットワークなどのＬＡＮなども含まれる。
【００３３】
ユーザー端末６は、ＣＰＵによる演算処理機能、及び通信インターフェースによる通信処理機能を備えたユーザー端末であり、パーソナルコンピューター等の汎用コンピューターや、機能を特化させた専用装置により実現することができ、モバイルコンピューターやＰＤＡ（Personal Digital Assistance）、携帯電話機等が含まれる。
【００３４】
そして、ユーザー端末６は、通信インターフェース６２と、入力インターフェース６１ａと、出力インターフェース６１ｂと、ブラウザ部６３と、表示部２ｂとを備えている。
【００３５】
ブラウザ部６３は、通信ネットワーク５であるインターネットにアクセスして、データの送受信を行うソフトウェアである。このブラウザ部６３は、Ｗｅｂページを閲覧するためのアプリケーションソフトであり、インターネットからＨＴＭＬ（HyperText Markup Language）ファイルや画像ファイル、音楽ファイルなどをダウンロードし、レイアウトを解析して表示・再生する。また、フォームを使用してユーザーがデータをＷｅｂサーバーに送信したり、ＪａｖａＳｃｒｉｐｔ（登録商標）やＦｌａｓｈ、及びＪａｖａ（登録商標）などで記述されたアプリケーションソフトを動作させたりすることも可能である。
【００３６】
そして、ブラウザ部６３は、出力インターフェース６１ｂにより、映像や音声を出力することができるとともに、入力インターフェース６１ａにより、マウスやキーボードなどの操作デバイスからの操作信号が、ユーザー操作として入力される。そして、このブラウザ部６３によって、Ｗｅｂページを表示するとともに、Ｗｅｂページ上におけるクリックや文字入力などのユーザー操作が可能となる。
【００３７】
通信インターフェース６２は、データ通信を行うための通信インターフェースであり、無線等による非接触通信や、ケーブル，アダプタ手段等により接触（有線）通信をする機能を備えている。入力インターフェース６１ａは、操作ボタンやタッチパネル、ジョグダイヤルなどユーザー操作を入力するデバイスであり、出力インターフェース６１ｂは、ディスプレイやスピーカーなど、映像や音響を出力するデバイスである。本実施形態においては、入力インターフェース６１ａを介して、カメラ３ｂが接続されており、カメラ３ｂで撮影された画像データがユーザー端末６に入力される。
【００３８】
表示部２ｂは、例えば、液晶ディスプレイ等の表示装置であり、液晶ディスプレイ等の表示デバイスとそのディスプレイの表示駆動回路とを含み、ディスプレイ上に画像や文字等を表示する。カメラ３ｂは、静止画、又は動画を撮影する撮像装置であって、レンズと、ＣＣＤ、又はＣＭＯＳである固定撮像素子から構成され、入射された被写体像を表す光がＣＣＤの受光面に結像され、カメラ信号処理回路及びＡ／Ｄ変換器等を介して、ユーザー端末６に画像データが送信される。
【００３９】
一方、サーバー装置１０ｂは、ＣＰＵによる演算処理機能、及び通信インターフェースによる通信処理機能を備えた情報処理端末であり、パーソナルコンピューター等の汎用コンピューターや、機能を特化させた専用装置により実現することができる。特に、本実施形態において、サーバー装置１０ｂは、例えば、ＷＷＷ（World Wide Ｗｅｂ）等のドキュメントシステムにおいて、ＨＴＭＬ（HyperText Markup Language）ファイルや画像ファイル、音楽ファイルなどの情報送信を行うサーバーコンピューター或いはその機能を持ったソフトウェアによって実現されるＷｅｂサーバー機能を有しており、ＨＴＭＬ文書や画像などの情報を蓄積しておき、Ｗｅｂブラウザなどのクライアントソフトウェアの要求に応じて、インターネットなどのＩＰ網を通じて、これらの情報を送信する。
【００４０】
そして、本実施形態において、サーバー装置１０ｂは、図４に示すように、記憶部１２０と、アプリケーション実行部１１０と、通信インターフェース１０２とを有している。
【００４１】
記憶部１２０は、各種データを蓄積するメモリ装置等であり、アプリケーションデータや、各機能モジュールにおいて表示される画像データ、ユーザーの名前や住所等の個人情報等などが蓄積されている。そして、記憶部１２０は、サンプル画像蓄積部１２０ａを有している。
【００４２】
サンプル画像蓄積部１２０ａは、上記同様、各色、明度、照度の風景やセットを背景として、ユーザー本人の他、サンプルとなる人物が、各種衣装やアクセサリーを装着したポートレイト写真を、サンプル画像として複数蓄積する記憶装置である。なお、本実施形態において、サンプル画像は、異なる２色以上の背景色と、異なる２色以上の衣装色との組み合わせが対比可能に含まれており、例えば、人物の背景が、人物を中心に左右異なる配色とし、その前景においてユーザー本人或いは他のモデルが図７及び図８に示すような、衣装色のエプロンを装着した画像をサンプル画像として用いる。
【００４３】
すなわち、サンプル画像に含まれる衣装色は、少なくとも表側に２色及び裏側に２色が対比可能に配置された円錐状のエプロンの配色となっている。このサンプル画像の撮影に際しては、エプロンの表裏或いは左右を被写体人物の正面に位置するように段階的に回転させて装着することにより、適切な色の対比がなされたサンプル画像を簡単に撮れるようにしている。なお、モデルによるサンプル画像では、丸顔、面長顔、又は四角顔など、顔の形が異なるモデルが、上記エプロンを表裏・左右を段階的に回転させて装着した画像が複数含まれている。また、このサンプル画像としては、顔の形毎に、肌色の明るさや色合いなど、肌色の種類が異なるバリエーションも含まれており、顔の形状のパターンと肌色の種類とが対応付けられて記憶されている。
【００４４】
アンケート蓄積部１２０ｂには、各種アンケート項目、アンケートの際に対比可能に表示される各色の手のひらなど、皮膚の画像が蓄積されている。また、このアンケートでは、複数段階で色の異なる皮膚の画像が選択可能に配置され、皮膚の画像を選択することで、回答する肌の色を入力できるようになっている。
【００４５】
アプリケーション実行部１１０は、ＯＳ上において、ブラウザソフトや画像再生アプリケーションなどのアプリケーションを実行するモジュールであり、本実施形態においては、画像データの選択処理や合成・加工処理を実行する。通信インターフェース１０２は、データ通信を行うための通信インターフェースであり、無線等による非接触通信や、ケーブル，アダプタ手段等により接触（有線）通信をする機能を備えている。
【００４６】
（情報処理装置の構成）
本実施形態では、情報処理装置にメイクアップ支援プログラムをインストールし、メイクアップ支援システムの端末装置として動作させる場合について説明する。なお、以下の各実施形態において「モジュール」とは、装置や機器等のハードウェア、或いはその機能を持ったソフトウェア、又はこれらの組み合わせなどによって構成され、所定の動作を達成するための機能単位を示す。
【００４７】
（情報端末装置の構成）
次いで、タブレットＰＣ４、店舗側装置１０ａ、或いはサーバー装置１０ｂにおけるアプリケーション実行部１１０の内部構造について説明する。図５は、本実施形態に係るメイクアップ支援システムの動作を模式的に示す説明図であり、図６は、タブレットＰＣ４の内部構造を示すブロック図である。なお、ここでは、情報処理装置のハードウェア構成を図６に示したタブレットＰＣ４を例に説明するが、基本的なハードウェア構成は、店舗側装置１０ａ、及びサーバー装置１０ｂも同様である。
【００４８】
タブレットＰＣ４は、メイクアップ支援サービスの提供を受けるユーザーが使用する情報処理装置であり、通信機能やＣＰＵを備え、各種アプリケーションソフトをインストールすることにより様々な機能が実装可能となっている。本実施形態では、このタブレットＰＣ４に本発明のメイクアップ支援プログラムを含むアプリケーションをインストールして、本発明に係るメイクアップ支援システムのユーザーに貸し出し用の端末装置として機能させる。この情報処理端末としては、タブレットＰＣの他、例えば、パーソナルコンピューター等の汎用コンピューターや、機能を特化させた専用装置により実現することができ、スマートフォンやモバイルコンピューター、携帯電話機が含まれる。
【００４９】
詳しくは、タブレットＰＣ４は、演算処理を行うＣＰＵ４１と、情報を一時的に記憶するメモリ４２と、通信回線やインターネットを介して外部との通信を行う通信インターフェース４３と、蓄積部であるストレージ４４と、出力インターフェース４５と、入力インターフェース４６とを有している。なお、本実施形態では、これらの各装置４１〜４６等はＣＰＵバス４０を介して接続されており、相互にデータの受渡しが可能となっている。
【００５０】
ＣＰＵ４１は、各部を制御する際に必要な種々の演算処理を行う装置であり、各種プログラムを実行することにより、ＣＰＵ４１上に仮想的に各種モジュールを構築する。本実施形態では、このＣＰＵ４１でメイクアップ支援プログラムを実行することによって、この汎用的なタブレットＰＣ４を、メイクアップ支援システム用の端末として機能させることができる。
【００５１】
通信インターフェース４３は、無線通信により無線基地局３１と通信を行うモジュールであり、ＬＴＥ回線、３Ｇ・４Ｇ回線や、Ｗｉｆｉ（登録商標）、Ｂｌｕｅｔｏｏｔｈ（登録商標）などの無線通信ネットワーク、その他の公知の装置・通信方式を用いることができる。
【００５２】
ストレージ４４は、データを記録媒体に蓄積するとともに、これら蓄積されたデータを各デバイスの要求に応じて読み出す装置であり、例えば、ハードディスクドライブ（ＨＤＤ）やソリッドステートドライブ（ＳＳＤ）、メモリカード等により構成することができる。
【００５３】
また、ＣＰＵバスには、ＧＰＳや無線基地局３１の識別子・座標などから自機の現在位置を測定する位置情報取得手段や、現在時刻を計時する時計手段などが接続されている。これらの位置情報取得手段及び時計手段による測定結果は、相互に紐付けられて自機のステータス情報として、メモリ４２やストレージ４４に蓄積されるとともに、ＣＰＵ１１上で実行されるＯＳやアプリケーションの要求に応じて受渡される。
【００５４】
出力インターフェース４５は、ディスプレイやスピーカー４５ａ等の出力デバイスから映像や音声を出力するために映像信号や音声信号を送出するモジュールであり、アプリケーション実行部１１０で実行されるアプリケーションソフトに関する映像や音声を出力することができる。入力インターフェース４６は、タッチパネル４６ａや物理的な操作ボタン４６ｂ等の操作デバイスの他、カメラ４６ｃ、マイクの入力デバイスから操作信号を受信するモジュールであり、受信された操作信号はＣＰＵ４１に伝えられ、ＯＳや各アプリケーションに対する操作を行うことができる。なお、本実施形態では、これら入力インターフェース４６及び出力インターフェース４５に接続されたタッチパネル４６ａでは、入力デバイスであるタッチパネルが、表示デバイスであるディスプレイに重畳されて構成されており、操作用画面の表示データをディスプレイに表示させ、それに応じたタッチ操作やゼスチャー操作がなされることによってユーザー操作信号を取得するＧＵＩが提供される。
【００５５】
そして、ＣＰＵ１１上では、ＯＳ実行部によって各種コンピューター用に提供されたＯＳ（Ｏｐｅｒａｔｉｎｇ  Ｓｙｓｔｅｍ）が起動・実行されており、このＯＳによってタブレットＰＣ４の基本的な機能が制御されている。また、このＯＳ上ではアプリケーション実行部１１０によって、種々のアプリケーションが実行可能になっており、このアプリケーション実行部１１０によって、アプリケーションを実行することにより、様々な機能が実行される。
【００５６】
詳述すると、ＯＳ実行部は、ＣＰＵ上でＯＳプログラムを実行するためのモジュールであり、このＯＳ実行部でＯＳプログラムが実行されることによって、タブレットＰＣ４の基本的な機能が管理・制御され、アプリケーション実行部１１０で構築された各モジュールと、タブレットＰＣ４の各装置・機能との連携を可能としている。アプリケーション実行部１１０は、ＣＰＵ上でアプリケーションプログラムを実行するためのモジュールであり、このアプリケーション実行部１１０でアプリケーションプログラムを実行することによって、種々の機能モジュールがＣＰＵ上に仮想的に構築される。
【００５７】
（アプリケーション実行部１１０の内部構造）
アプリケーション実行部１１０は、具体的にはＣＰＵ等の演算処理装置で実行されるＯＳ或いはファームウェアであり、本実施形態では、このアプリケーション実行部１１０で、メイクアップ支援プログラムを読み込んで実行することによりＣＰＵ上に種々の機能モジュールを仮想的に構築し、構築された各機能モジュールによって、画像データに関する処理や、各部の動作制御、ユーザー操作に対する種々の処理を行う。
【００５８】
具体的にアプリケーション実行部１１０には、画像データの選択に係るモジュールとして、操作信号取得部１０３と、ユーザー情報取得部１１１と、サンプル画像選択部１１５とが含まれる。
【００５９】
操作信号取得部１０３は、ユーザーによる操作信号を受信するモジュールであり、受信した操作信号を解析し、ユーザー操作に応じた処理を他のモジュールに実行させる。特に、本実施形態において、この操作信号取得部１０３は、画像合成処理や、取得経路の種別設定等のユーザー操作に関する信号を受信し、アプリケーション実行部１１０の各モジュールを実行させる。
【００６０】
ユーザー情報取得部１１１は、ユーザーを撮影したユーザー画像や、ユーザーが回答したアンケート情報を、ユーザー情報として取得するモジュールである。本実施形態において、ユーザー画像取得部１１１は、入力インターフェース１０１ａ、又は通信インターフェース１０２を介して、ユーザー画像を取得する。なお、タブレットＰＣ４によってユーザーの肌色が測定された場合には、測定されたユーザーの肌色データも入力される。このユーザー情報取得部１１１は、サンプル画像取得部１１１ａと、アンケート取得部１１１ｂとを備えている。サンプル画像取得部１１１ａは、ユーザーがエプロン７０を装着した画像をユーザー画像として取得するとともに、エプロン７０を装着したユーザー画像が用意できないときには他のモデルのサンプル画像を加工してユーザー画像の顔部分を合成して、画像を生成する。また、アンケート取得部１１１ｂは、ユーザーに対して質疑を出力し、それに対する応答の入力を受け付けるモジュールである。
【００６１】
サンプル画像選択部１１５は、サンプル画像蓄積部１２０ａから、アドバイザーの操作に応じて、任意のサンプル画像を選択して取得するモジュールである。本実施形態において、サンプル画像選択部１１５は、ユーザーが自撮りした画像、或いは店舗にてアドバイザー等が撮影した画像において、顔の輪郭部分を、顔認識技術を用いて解析し、ユーザーの顔の形状が、丸顔か、面長顔か、四角顔等のカテゴリーにいずれかに属するかを決定する。そして、その決定されたカテゴリーに属するサンプル画像をサンプル画像蓄積部１２０ａから抽出する。この際、サンプル画像選択部１１５は、ユーザー画像の肌色についても解析し、決定された顔の形状のカテゴリー内から、ユーザー画像の肌色に近似する肌色を有するサンプル画像を取得する。
【００６２】
また、アプリケーション実行部１１０には、画像データの合成・加工処理に係るモジュールとして、取得経路設定部１１２と、基準色抽出部１１３と、画像合成部１１４と、画像加工部１１６と、出力信号生成部１０４とが備えられている。
【００６３】
取得経路設定部１１２は、ユーザー画像の取得経路の種別を設定するモジュールであり、メイクアップ支援プログラムに対し、手動又は自動で設定されることで、画像を合成する際の基準画像を、ユーザー画像とするか、サンプル画像とするかが決定される。ここで、本実施形態において、コンピューターを店舗側装置１０ａとして使用する場合には、取得経路を周辺接続機器経路と設定し、コンピューターをＷｅｂ上のサーバー装置１０ｂとして使用する場合には、取得経路をＷｅｂ経路と設定する。なお、この取得経路設定部１１２における取得経路の種別の設定は、例えば、メイクアップ支援プログラムをインストールする際に、ユーザーに選択を要求したり、インストール後にユーザーによる任意の選択操作にて手動で設定されるようにしてもよく、又は、インストール対象となった情報処理装置１０の機能（ＯＳやドライバ、ファームウェアの種類、外部デバイスやプラグインの有無など）を自動的に検出して、その検出された機能に応じて自動的に設定するようにしてもよい。
【００６４】
基準色抽出部１１３は、取得経路設定部１１２での設定に従って、ユーザー画像又はサンプル画像のいずれかを基準画像として選択し、選択された基準画像から基準色を抽出するモジュールである。具体的には、店舗のアドバイザーが選択したサンプル画像を基準画像とし、解析部１１４ａによるアンケート解析結果及びサンプル画像の解析結果と、選択された基準画像とに基づいて、基準色を抽出する。また、本実施形態において、基準色抽出部１１３は、取得経路設定部１１２での設定が周辺接続機器経路と設定されている場合には、ユーザー画像を基準画像とし、そのユーザー画像の肌色を基準色としたり、カメラ４６ｃやタブレットＰＣ４によって撮影されたユーザーの手のひらの肌色データを基準色として抽出する。一方、基準色抽出部１１３は、取得経路設定部１１２での設定がＷｅｂ経路と設定されている場合には、ユーザーが選択したサンプル画像を基準画像として抽出し、サンプル画像の肌色を基準色として抽出する。
【００６５】
画像合成部１１４は、基準画像として選択されなかった画像を加工画像とし、基準色に基づいて、加工画像を加工するとともに、加工した加工画像を基準画像へ合成し、合成画像を生成するモジュールである。本実施形態では、画像合成部１１４は、アンケート解析部及び画像解析部としての解析部１１４ａが含まれ、解析部１１４ａは、画像を合成する処理においては、画像を解析するとともにアンケート情報を解析して、その解析結果を反映させて、メイクアップ加工における配色の決定を行う。画像合成部１１４は、ユーザー画像の顔部分Ｃ１を、顔認識技術を用いて、目、鼻、口、及び輪郭を解析し、目、鼻、口を含む顔の中心部分を決定する。そして、合成するサンプル画像の顔部分に応じて、ユーザー写真の顔部分Ｃ１を拡大・縮小したり、ユーザー画像の傾きを補正して、合成する顔部分Ｃ１を切り出す。そして、サンプル画像の顔部分に、切り出したユーザー画像の顔部分Ｃ１を嵌め込む。
【００６６】
さらに、画像合成部１１４は、画像の色を補正する処理を実行する。本実施形態において、合成画像の色補正は、基準画像がユーザー画像か、サンプル画像かを判断し、基準画像として選択されなかった画像を加工画像とし、基準色に基づいて、加工画像を加工する。具体的に、画像合成部１１４は、例えば、基準画像がユーザー画像であった場合には、（ａ）に示すように、サンプル画像の顔部分Ｃ１にユーザー画像の顔部分Ｃ１を合成するとともにサンプル画像の顔の周辺部分と、エプロンを装着した上半身とをユーザー画像の顔部分Ｃ１の肌色に補正する。
【００６７】
一方、基準画像がサンプル画像で合った場合には、図７（ｂ）に示すように、サンプル画像の顔部分Ｃ１にユーザー画像の顔部分Ｃ１を合成するとともに、ユーザー画像の顔部分Ｃ１をサンプル画像の顔の周辺部分と、エプロンを装着した上半身の肌の色に補正する。なお、本実施形態においては、基準画像と加工画像とを合成した後に色の補正を処理したが、本発明は、これに限定するものではなく、加工画像の色を補正した後に基準画像と加工画像とを合成する構成であってもよい。
【００６８】
画像加工部１１６は、合成画像を加工するモジュールであり、ユーザー画像を被加工画像とし、基準色に基づいて被加工画像（ユーザー画像）を加工し、サンプル画像に合成する画像加工部であり、ここではアンケート情報に基づく合成画像を加工する機能を有している。具体的には、図９に示すように、アンケートの各項目が表示されたアンケート回答画面２５０が表示され、ユーザーが各項目の入力欄において、選択式の回答の中から回答を選択したり、入力欄２５１に数値を入力することで、画像のサイズ、縦横比、形状のいずれかを含む変形処理を合成画像に対して行い、（ｂ）に示すように、全体画面に表示されたユーザーの全体姿２１１が変更されるようになっている。
【００６９】
また、画像加工部１１６は、合成画像に対して、さらに部分的な画像を付加画像として追加して合成する機能を有している。具体的には、図７及び図８に示すようなエプロン７０を装着した画像を用い、選択的に合成する機能を備えている。ウィンドウ２００に表示されたパーツ画面２２０において、髪型、ドレス、アクセサリー等のアイコン画像２２１が表示され、このアイコン画像２２１のいずれかが選択されることで、全体画面２１０部分に表示されたユーザーの全体姿２１１に、ドレスやアクセサリーのアイコン画像２２１が追加して合成されるようになっている。なお、この際、画像加工部１１６は、変形処理に用いたパラメータに応じて、付加画像を変形して、付加画像を合成画像に合成する機能を有している。すなわち、例えば、ユーザーに関する情報を変更し、ユーザーの全体姿のサイズ等が変更された場合には、付加画像であるドレス画像や、アクセサリー画像についても、同比率で変更されて合成されるようになっている。
【００７０】
さらに、画像加工部１１６は、合成画像の一部に着色、色調変更、明度変更、又は画像合成のいずれかの色変更処理を含むメイクアップ加工を施す機能を有している。具体的に、このメイクアップ加工は、ウィンドウ２００にアンケート回答画面２５０と、顔部分の拡大画面２６０が表示され、アンケート回答画面２５０に表示された各項目に入力したり、アイコン画像を選択することで、アンケートに回答する。
【００７１】
出力信号生成部１０４は、ユーザー画像取得部１１１で取得されたユーザー画像や、アプリケーション実行部１１０によって実行された画像合成処理や、加工処理の実行結果を映像信号及び音声信号に変換し、表示部２ａ，２ｂやスピーカーで出力可能な信号に生成するモジュールである。なお、本実施形態では、サンプル画像とユーザー画像との合成画像のみを表示させるものではなく、合成写真と式場の写真を合成し、挙式風景画像を生成し、表示させることもでき、挙式トータルでの雰囲気を再現させることができる。
【００７２】
（メイクアップ支援プログラム）
本実施形態係るメイクアップ支援システム及びメイクアップ支援方法は、所定の言語で記述されたプログラムをコンピューター上で実行することにより実現することができる。すなわち、このプログラムを、ユーザー端末やＷｅｂサーバー等のコンピューターやＩＣチップにインストールし、ＣＰＵ上で実行することにより、上述した各機能を有するシステムを容易に構築することができる。このプログラムは、例えば、通信回線を通じて配布することが可能であり、またスタンドアローンの計算機上で動作するパッケージアプリケーションとして譲渡することができる。
【００７３】
そして、このようなプログラムは、汎用コンピューターで読み取り可能な記録媒体に記録することができる。具体的には、フレキシブルディスクやカセットテープ等の磁気記録媒体、若しくはＣＤ−ＲＯＭやＤＶＤ−ＲＯＭ等の光ディスクの他、ＲＡＭカードなど、種々の記録媒体に記録することができる。本実施形態は書き込み不可のＣＤ−ＲＯＭやＤＶＤ−ＲＯＭ中にあるコンテンツに対してリンクを設けることができる特徴を有する。
【００７４】
（メイクアップ支援方法）
以上の構成を有するメイクアップ支援システム又はメイクアップ支援プログラムを動作させることによって、本発明のメイクアップ支援方法を実施することができる。図１０及び図１１は、本実施形態に係るメイクアップ支援システムの動作を示すフローチャート図である。
【００７５】
先ず、ユーザー画像の取得経路の種別が設定される（Ｓ１０１）。本実施形態においては、店舗側装置１０ａやタブレットＰＣ４にメイクアップ支援プログラムをインストールし、店舗内の設備として使用する場合、設定を周辺接続機器経路（又は内蔵カメラ０）に設定され、Ｗｅｂ上のサーバー装置１０ｂにメイクアップ支援プログラムをインストールし、Ｗｅｂを通じたコーディネートサービスを提供する場合、取得経路はＷｅｂ経路に設定される。
【００７６】
次いで、ユーザーをカメラ３ａ、３ｂ、タブレットＰＣ４等によって撮影し、そのユーザー画像データを、入力インターフェース１０１ａ、又は通信インターフェース１０２を介して、店舗側装置１０ａ又はサーバー装置１０ｂに送信する。これを受けて、店舗側装置１０ａ又はサーバー装置１０ｂが、ユーザーを撮影したユーザー画像を受信し（Ｓ１０２）、サンプルとなる人物のサンプル画像を取得する（Ｓ１０３）。ここで撮影されるユーザー画像は、図７及び図８に示したエプロン７０を各配色の組み合わせが衣装色として写るように、エプロン７０を順次回転させて撮影する。このようなユーザー画像が用意できないときには、他のモデルが上記エプロン７０を装着して撮影した画像をサンプル画像として用いる。
【００７７】
ユーザー自身がエプロンを着て撮影したユーザー画像が用意できないときには、ユーザーは、エプロンを着けずに自身の顔が写った画像を送信する。サービス側においてサンプル画像選択部１１５は、取得したユーザー画像における顔の輪郭部分を、顔認識技術を用いて解析して、ユーザーの顔の形状が、丸顔か、面長顔か、四角顔等のカテゴリーにいずれかに属するかを決定する。さらに、サンプル画像選択部１１５は、ユーザー画像の肌色についても解析し、決定された顔の形状のカテゴリー内から、ユーザー画像の肌色に近似する肌色を有するサンプル画像を決定する。そして、その決定されたカテゴリーに属する顔の形のサンプル画像をサンプル画像蓄積部１２０ａから抽出し、ユーザーの顔の形と、肌色の種類に近似するモデルがエプロン７０を装着して写ったサンプル画像を表示する。
【００７８】
さらに、店舗側装置１０ａ、又はサーバー装置１０ｂは、アンケート情報や種別設定に従って、ユーザー画像又はサンプル画像のいずれかを基準画像として選択し（Ｓ１０４）、選択された基準画像から基準色を抽出する（Ｓ１０５）。具体的には、店舗側装置１０ａでは、取得経路設定部１１２での設定が周辺接続機器経路と設定されており、基準色抽出部１１３は、ユーザー画像を基準画像とし、そのユーザー画像の肌色を基準色として抽出したり、タブレットＰＣ４によって測定された肌色データを基準色として抽出する。一方、サーバー装置１０ｂでは、取得経路設定部１１２での設定がＷｅｂ経路と設定されており、基準色抽出部１１３は、サンプル画像を基準画像として抽出し、サンプル画像の肌色を基準色として抽出する。
【００７９】
そして、ウィンドウ２００に表示された画面２６０において、ユーザー画像又はサンプル画像が表示され、アドバイザーやユーザーの操作に応じて、アンケート情報を反映させたメイクアップ加工がされた画像が適宜選択される。画像合成部１１４は、ユーザー画像を被加工画像とし、基準色に基づいて、被加工画像をメイクアップ加工するとともに、メイクアップ加工した被加工画像を基準画像へ合成し、合成画像を生成する（Ｓ１０６）。
【００８０】
詳述すると、先ず、画像合成部１１４は、ユーザー画像の顔部分Ｃ１を顔認識技術及び特徴点抽出技術を用いて解析し、図９に示すように、目、鼻、口を含む顔の中心部分を決定する。そして、合成するサンプル画像の顔の大きさに応じて、ユーザー画像を拡大・縮小したり、ユーザー画像の傾きを補正して、合成する顔部分Ｃ１を切り出す。そして、サンプル画像の顔部分に、切り出したユーザー画像の顔部分Ｃ１を嵌め込む。
【００８１】
次ぎに、画像の色を補正する。画像合成部１１４は、先ず、基準色抽出部１１３によって選択された基準画像を判別し、その基準画像の肌部分の色を決定する。そして、画像合成部１１４は、加工画像を基準画像の肌色に補正する。具体的に、基準画像がユーザー画像であった場合には、図９（ａ）に示すように、ユーザー画像の顔部分Ｃ１にアンケート情報や、背景色、エプロン７０の組み合わせに→選択された基準色に基づいて決定されたメイクアップの色、口紅やファンデーション、アイシャドウ等のメイクアップに関する配色が設定される。この設定されたメイクアップの配色に基づいてユーザー画像を加工して生成した画像を合成するとともに、サンプル画像の顔の周辺部分と、上半身部分とをユーザー画像の顔部分Ｃ１を補正する。
【００８２】
このとき、ユーザーによって回答されたアンケート情報に基づいて、合成画像を加工する（Ｓ１０７）。本実施形態における合成画像の加工は、先ず、合成写真に対して、画像のサイズ、縦横比、形状のいずれかを含む変形処理を行う（Ｓ２０１）。具体的には、図１２に示すように、ユーザーがウィンドウ２００に表示されたパラメータ画面のアイコン画像を選択したり、色の度合いをスライダーで入力したり、入力値欄２４２に数値を入力する。そして、画像加工部１１６は、その調整又は数値入力に応じて、画像のサイズ、縦横比、形状のいずれかを含む変形処理を合成画像に対して行う。
【００８３】
次いで、画像加工部１１６は、合成画像に対して、部分的な画像を付加画像として追加して合成する（Ｓ２０２）。具体的には、画面に表示されたアイコン画像をユーザーが選択すると、背景や持ち物、アクセサリーなどの画像が追加・変更されて合成され、表示される。この際、画像加工部１１６は、変形処理に用いたパラメータに応じて、付加画像についても同比率で変形し、付加画像を合成画像に合成し、表示する。
【００８４】
特に、本実施形態では、合成画像の一部に着色、色調変更、明度変更、又は画像合成のいずれかの色変更処理を含むメイクアップ加工を実行する（Ｓ２０３）。この際、画像加工部１１６は、取得経路の種別、基準色に関する情報、及び被加工画像に対する加工に関する情報に基づいて、色変更処理に関するアンケート回答画面２５０やメイクアップ画面２００の操作を実施する。
【００８５】
なお、本実施形態においては、メイクアップ支援システム、メイクアップ支援方法、及びメイクアップ支援プログラムを用いて、ウェディングドレスの衣装を画面上において仮想的に試着させたが、本発明はこれに限定されるものではなく、衣装の画像と人物及び動物等の画像とを合成して画面上に仮想的に試着させることができればよく、例えば、七五三用の衣装、成人式用の衣装、キャラクタ衣装、及びペット衣装等の様々な衣装を用いてもよい。
【００８６】
（作用・効果）
以上述べたように、この発明によれば、店舗やインターネットを通じての口紅等の化粧品販売において、客観的で且つユーザーのメイクイメージに則したコーディネートが可能となる。
【００８７】
また、本実施形態に係るメイクアップ支援プログラムを記録したコンピューター読み取り可能な記録媒体によれば、汎用のコンピューターや専用コンピューターを用いて、上述したシステムや方法を実施することが可能となるとともに、プログラムの保存、運搬及びインストールを容易に行うことができる。結果的に、本実施形態によれば、メイクアップ支援プログラムを使用することで、特別な処理装置を必要とせず、種々の情報処理装置を上述したメイクアップ支援装置とし、メイクアップ支援方法を様々な情報処理装置において実現することができる。
【符号の説明】
【００８８】
Ｃ１…顔部分
２ａ，２ｂ…表示部
３ａ，３ｂ…カメラ
４…タブレットＰＣ
５…通信ネットワーク
６…ユーザー端末
７０…エプロン
７（７ａ，７ｂ）…ユーザー
９…店舗
１０ａ…店舗側装置
１０ｂ…サーバー装置
３１…無線基地局
４０…ＣＰＵバス
４１…ＣＰＵ
４２…メモリ
４３…通信インターフェース
４４…ストレージ
４５…出力インターフェース
４５ａ…スピーカー
４６…入力インターフェース
４６ａ…タッチパネル
４６ｂ…操作ボタン
４６ｃ…カメラ
６１ａ…入力インターフェース
６１ｂ…出力インターフェース
６２…通信インターフェース
６３…ブラウザ部
１０１…入出力インターフェース
１０１ａ…入力インターフェース
１０１ｂ…出力インターフェース
１０２…通信インターフェース
１０３…操作信号取得部
１０４…出力信号生成部
１１０…アプリケーション実行部
１１１…ユーザー画像取得部
１１２…取得経路設定部
１１３…基準色抽出部
１１４…画像合成部
１１５…サンプル画像選択部
１１６…画像加工部
１２０…記憶部
１２０ａ…サンプル画像蓄積部
１２０ｂ…アンケート蓄積部
２００…メイクアップ画面
２５０…アンケート回答画面
【図１】
2020013368.tif 000003
【図２】
2020013368.tif 000004
【図３】
2020013368.tif 000005
【図４】
2020013368.tif 000006
【図５】
2020013368.tif 000007
【図６】
2020013368.tif 000008
【図７】
2020013368.tif 000009
【図８】
2020013368.tif 000010
【図９】
2020013368.tif 000011
【図１０】
2020013368.tif 000012
【図１１】
2020013368.tif 000013
【図１２】
2020013368.tif 000014