(57)【特許請求の範囲】
【請求項１】
ユーザーが選択した参照画像に近づけるためのメイクを補助するメイクアップ補助システムであって、
ユーザー画像をリアルタイムで取得する画像取得手段と、
前記参照画像に含まれる顔パーツに関連する要素情報、及び前記画像取得手段により取得されたユーザー画像に含まれる顔パーツに関連する要素情報を検出する検出手段と、
前記参照画像に含まれる顔パーツに関連する要素情報に基づいてユーザーのメイクを補助するためのメイク参照レイヤーを生成し、前記検出手段により検出されたユーザー画像に含まれる顔パーツに関連する要素情報に基づいて当該メイク参照レイヤーと前記画像取得手段により取得されるリアルタイムのユーザー画像との位置を一定に合わせるための位置合わせレイヤーを生成するレイヤー生成手段と、
前記画像取得手段により取得されるリアルタイムのユーザー画像に、前記メイク参照レイヤー及び前記位置合わせレイヤーを重ねて表示する表示手段と、
を備えるメイクアップ補助システム。
【請求項２】
前記レイヤー生成手段は、前記画像取得手段により予め取得されたユーザー画像に含まれる顔パーツに関連する要素情報、又は前記画像取得手段により取得されるリアルタイムのユーザー画像に含まれる顔パーツに関連する要素情報に基づいて前記位置合わせレイヤーを生成する請求項１に記載のメイクアップ補助システム。
【請求項３】
前記レイヤー生成手段は、前記画像取得手段により取得されるリアルタイムのユーザー画像に含まれる顔パーツに関連する要素情報に基づいて前記位置合わせレイヤーを生成したとき、当該位置合わせレイヤーに対応する最新のメイク参照レイヤーを生成する請求項２に記載のメイクアップ補助システム。
【請求項４】
前記レイヤー生成手段は、前記ユーザー画像の透過像、前記ユーザー画像に含まれる顔パーツの輪郭を抽出したもの、又はこれらを加工したものを前記位置合わせレイヤーとして生成する請求項１〜３の何れか一項に記載のメイクアップ補助システム。
【請求項５】
前記レイヤー生成手段は、複数の参照画像から抽出された顔パーツに関連する要素情報を組み合わせて前記メイク参照レイヤーを生成する請求項１〜４の何れか一項に記載のメイクアップ補助システム。
【請求項６】
前記レイヤー生成手段は、前記参照画像に含まれる顔パーツに関連する要素情報に基づいてユーザーが選択する顔パーツに対応した前記メイク参照レイヤーを部分的に生成する請求項１〜５の何れか一項に記載のメイクアップ補助システム。
【請求項７】
前記レイヤー生成手段は、前記検出手段により検出された前記参照画像に含まれる顔パーツ、又は当該顔パーツの輪郭を抽出したものを前記メイク参照レイヤーとして生成する請求項１〜６の何れか一項に記載のメイクアップ補助システム。
【請求項８】
前記レイヤー生成手段は、前記検出手段により検出された前記参照画像に含まれる顔パーツの位置、形状、光沢、及び色彩の少なくとも一つを調整して、前記メイク参照レイヤーを生成する請求項１〜７の何れか一項に記載のメイクアップ補助システム。
【請求項９】
前記レイヤー生成手段は、前記検出手段により検出された前記参照画像に含まれる顔パーツの位置を、前記検出手段により検出されたユーザー画像に含まれる顔パーツの位置に合わせて調整して、前記メイク参照レイヤーを生成する請求項８に記載のメイクアップ補助システム。
【請求項１０】
前記レイヤー生成手段は、前記検出手段により検出された前記参照画像に含まれる顔パーツに関連する要素情報に基づいて前記画像取得手段によりユーザー画像を取得する際に前記参照画像と前記画像取得手段により取得されるリアルタイムのユーザー画像との位置を一定に合わせるための画像取得レイヤーをさらに生成する請求項１〜９の何れか一項に記載のメイクアップ補助システム。
【請求項１１】
前記画像取得レイヤーは、前記検出手段により検出された前記参照画像に含まれる顔パーツの位置を示すマーク、又は複数の前記マーク及び複数の前記マークを結んだ線分を前記画像取得レイヤーとして生成する請求項１０に記載のメイクアップ補助システム。
【請求項１２】
前記表示手段はさらに、前記画像取得手段によるリアルタイムのユーザー画像の取得時に、前記画像取得レイヤーを表示する請求項１０又は１１に記載のメイクアップ補助システム。
【請求項１３】
前記参照画像と前記画像取得手段により取得されるリアルタイムのユーザー画像との差異に基づいて前記参照画像へのメイクの到達度を判定する判定手段をさらに備える請求項１〜１２の何れか一項に記載のメイクアップ補助システム。
【請求項１４】
前記参照画像と前記画像取得手段により取得されるリアルタイムのユーザー画像との差異に基づいてアドバイス又は警告を発する発報手段をさらに備える請求項１３に記載のメイクアップ補助システム。
【請求項１５】
前記発報手段は、前記画像取得手段により取得されるリアルタイムのユーザー画像に含まれる顔パーツに関連する位置座標と前記位置合わせレイヤーに含まれる顔パーツに関連する位置座標との差が所定の閾値を超えた場合に警告を発する請求項１４に記載のメイクアップ補助システム。
【請求項１６】
前記表示手段は、前記判定手段による判定結果及び／又は前記発報手段による発報情報を表示する請求項１４又は１５に記載のメイクアップ補助システム。
【請求項１７】
前記表示手段は、前記画像取得手段により取得されるリアルタイムのユーザー画像に、前記位置合わせレイヤーと前記メイク参照レイヤーとを交互に重ねて表示する請求項１〜１６の何れか一項に記載のメイクアップ補助システム。
【請求項１８】
ユーザーが選択した参照画像に近づけるためのメイクを補助するメイクアップ補助方法であって、
ユーザー画像をリアルタイムで取得する画像取得ステップと、
前記参照画像に含まれる顔パーツ、及び前記画像取得ステップにおいて取得されたユーザー画像に含まれる顔パーツを検出する検出ステップと、
前記参照画像に含まれる顔パーツに関連する要素情報に基づいてユーザーのメイクを補助するためのメイク参照レイヤーを生成し、前記検出ステップにおいて検出されたユーザー画像に含まれる顔パーツに関連する要素情報に基づいて当該メイク参照レイヤーと前記画像取得ステップにおいてリアルタイムで取得されるユーザー画像との位置を一定に合わせるための位置合わせレイヤーを生成するレイヤー生成ステップと、
前記画像取得ステップにおいてリアルタイムで取得されるユーザー画像に、前記メイク参照レイヤー及び前記位置合わせレイヤーを重ねて表示する表示ステップと、
を包含するメイクアップ補助方法。
【請求項１９】
前記メイク参照レイヤーを前記ユーザー画像に重ねて表示したものに基づいて前記メイク参照レイヤーの位置、形状、光沢、及び色彩の少なくとも一つを調整する調整ステップをさらに包含する請求項１８に記載のメイクアップ補助方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、ユーザーが選択した参照画像に近づけるためのメイクを補助するメイクアップ補助システム、及びメイクアップ補助方法に関する。
【背景技術】
【０００２】
メイクは流行性に富むため、日々様々な手法や化粧品、道具などが編み出されている。このため、メイクアップのバリエーションは、豊富で複雑なものとなっている。さらに、同一のメイクを施しても、映え方や印象は、施される人の顔によって異なる。これに伴い、流行のメイクアップをするためのアドバイスをするサービスの提供や、ユーザーが所望する画像に近づけるようなメイクアップを補助する装置等が提案されている。
【０００３】
メイクアップを補助する装置の例として、特許文献１には、予め専門家の化粧手順を記号化して格納されたものに基づいて、利用者の希望に応じた化粧手順や化粧をしたい顔写真にシュミレーションした画像などを表示する化粧アドバイス装置が提案されている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００２−１２３５８５号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
特許文献１の化粧アドバイス装置は、利用者の理想とする顔写真と化粧をしたい顔写真とを比較した差異に基づいて導き出された化粧の手順を表示する装置である。特許文献１を始めとする従来の化粧アドバイス装置では、所定の時間に撮影された顔写真に対する化粧アドバイスを提供するものであって、メイクアップと同時進行、すなわちメイクアップ中にリアルタイムに応じたアドバイスが提供されるものではない。化粧をしたい顔写真としてメイクアップの直前に利用者の顔写真を撮影したものを使用したとしても、メイクアップを完成させるためにはある程度の時間を要する。このため、利用者にとってアドバイスを受けた時（すなわち、顔写真を撮影した時）の顔写真と同一の状態、すなわち利用者の頭部の位置、方向、及び表情などをメイクアップ中一定に保つことは非常に困難である。このように、従来の化粧アドバイス装置では、利用者がアドバイスに使用した顔写真と同一の状態を保った状態でメイクを施さなければ的確なアドバイスを受けることができない点で改善の余地があった。
【０００６】
本発明は、上記問題点に鑑みてなされたものであり、メイクアップ中にリアルタイムに応じた的確なアドバイスを享受できるメイクアップ補助システムを提供し、さらに、当該メイクアップ補助システムを用いたメイクアップ補助方法を提供することを目的とする。
【課題を解決するための手段】
【０００７】
上記課題を解決するための本発明に係るメイクアップ補助システムの特徴構成は、
ユーザーが選択した参照画像に近づけるためのメイクを補助するメイクアップ補助システムであって、
ユーザー画像をリアルタイムで取得する画像取得手段と、
前記参照画像に含まれる顔パーツに関連する要素情報、及び前記画像取得手段により取得されたユーザー画像に含まれる顔パーツに関連する要素情報を検出する検出手段と、
前記参照画像に含まれる顔パーツに関連する要素情報に基づいてユーザーのメイクを補助するためのメイク参照レイヤーを生成し、前記検出手段により検出されたユーザー画像に含まれる顔パーツに関連する要素情報に基づいて当該メイク参照レイヤーと前記画像取得手段により取得されるリアルタイムのユーザー画像との位置を一定に合わせるための位置合わせレイヤーを生成するレイヤー生成手段と、
前記画像取得手段により取得されるリアルタイムのユーザー画像に、前記メイク参照レイヤー及び／又は前記位置合わせレイヤーを重ねて表示する表示手段と、
を備えることにある。
【０００８】
本構成のメイクアップ補助システムによれば、画像取得手段は、メイクアップ中にユーザー画像をリアルタイムで取得することができるため、ユーザーの位置や表情などが変化しても、これに応じたリアルタイムのユーザー画像が取得される。検出手段は、参照画像又はリアルタイムで取得したユーザー画像から其々の画像に含まれる目、鼻、頬などの顔パーツに関連する要素情報を検出することができるため、ユーザーの顔の位置や表情などが変化しても、変化に応じた顔のパーツに関連する要素情報が検出される。レイヤー生成手段は、検出手段が参照画像から検出した要素情報に基づいてメイク参照レイヤーを生成する。レイヤー生成手段は、検出手段がユーザー画像から検出した要素情報に基づいて位置合わせレイヤーを生成する。表示手段は、リアルタイムで取得されるユーザー画像に生成されたメイク参照レイヤー及び／又は位置合わせレイヤーを重ねて表示する。その結果、ユーザーの顔の位置や表情などが変化しても、ユーザーは表示された位置合わせレイヤーを基準として自分の顔を正しい位置や表情へ戻すことができる。これにより、メイク参照レイヤーは、リアルタイムで取得されるユーザー画像に適切な位置で重ねて表示される。その結果、ユーザーは、適切な位置に表示されたメイク参照レイヤーを参照しながらメイクアップをすることが可能となる。
【０００９】
本発明に係るメイクアップ補助システムにおいて、
前記レイヤー生成手段は、前記画像取得手段により予め取得されたユーザー画像に含まれる顔パーツに関連する要素情報、又は前記画像取得手段により取得されるリアルタイムのユーザー画像に含まれる顔パーツに関連する要素情報に基づいて前記位置合わせレイヤーを生成することが好ましい。
【００１０】
本構成のメイクアップ補助システムによれば、画像取得手段によりメイクアップ前に予め取得されたユーザー画像だけでなく、メイクアップ中に取得されるリアルタイムのユーザー画像からも位置合わせレイヤーが生成される。これにより、メイクアップ中にユーザーの顔の位置や表情が変化したり、メイクによってパーツの形状などが変化しても、これに応じた位置合わせレイヤーが新たに生成されるため、ユーザーはメイク参照レイヤーを適切に参照できる状態に自分の顔の位置や表情を維持することがさらに容易となる。その結果、ユーザーは、メイクアップ中のリアルタイムに適応した最新のアドバイスを享受できる。
【００１１】
本発明に係るメイクアップ補助システムにおいて、
前記レイヤー生成手段は、前記画像取得手段により取得されるリアルタイムのユーザー画像に含まれる顔パーツに関連する要素情報に基づいて前記位置合わせレイヤーを生成したとき、当該位置合わせレイヤーに対応する最新のメイク参照レイヤーを生成することが好ましい。
【００１２】
本構成のメイクアップ補助システムによれば、メイクアップ中に取得されるリアルタイムのユーザー画像から生成された位置合わせレイヤーに対応して、メイク参照レイヤーが生成される。すなわち、メイクアップ中にユーザーの位置や表情が変化したり、メイクによって顔のパーツの形状などが変化すると、リアルタイムに取得されたユーザー画像の顔のパーツに関連する要素情報に基づいてメイク参照レイヤーも変化する。これにより、メイク参照レイヤーの位置情報をリアルタイムのユーザーの顔の位置情報に近似させることができ、ユーザーは、メイクアップ中においてリアルタイムに適応したアドバイスを享受し易くなる。
【００１３】
本発明に係るメイクアップ補助システムにおいて、
前記レイヤー生成手段は、前記ユーザー画像の透過像、前記ユーザー画像に含まれる顔パーツの輪郭を抽出したもの、又はこれらを加工したものを前記位置合わせレイヤーとして生成することが好ましい。
【００１４】
本構成のメイクアップ補助システムによれば、位置合わせレイヤーを、画像取得手段により取得されたユーザー画像を透過させたもの、ユーザー画像に含まれる顔パーツの輪郭を検出手段により抽出したもの、又はこれらを加工したものとすることで、メイクアップの際に位置合わせレイヤーが邪魔にならず、容易にメイクアップを行うことができる。
【００１５】
本発明に係るメイクアップ補助システムにおいて、
前記レイヤー生成手段は、複数の参照画像から抽出された顔パーツに関連する要素情報を組み合わせて前記メイク参照レイヤーを生成することが好ましい。
【００１６】
本構成のメイクアップ補助システムによれば、複数の参照画像を基にメイク参照レイヤーを生成することができるため、ユーザーの好みに応じて、参照画像の選択の幅を広げることが可能となる。
【００１７】
本発明に係るメイクアップ補助システムにおいて、
前記レイヤー生成手段は、前記参照画像に含まれる顔パーツに関連する要素情報に基づいてユーザーが選択する顔パーツに対応した前記メイク参照レイヤーを部分的に生成することが好ましい。
【００１８】
本構成のメイクアップ補助システムによれば、ユーザーがポイントメイクとして参照したい顔のパーツについて部分的にメイク参照レイヤーを生成することができる。メイク参照レイヤーが部分的であるため、リアルタイムで取得されるユーザー画像にメイク参照レイヤーを重ねて表示したときに、メイクが施されない場所との対比が容易となる。このため、ユーザーは、参照画像からユーザーが必要とする個所についてのポイントメイクのアドバイスを的確に享受できる。
【００１９】
本発明に係るメイクアップ補助システムにおいて、
前記レイヤー生成手段は、前記検出手段により検出された前記参照画像に含まれる顔パーツ、又は当該顔パーツの輪郭を抽出したものを前記メイク参照レイヤーとして生成することが好ましい。
【００２０】
本構成のメイクアップ補助システムによれば、メイク参照レイヤーを、画像取得手段により取得された参照画像を透過させたもの、又は参照画像に含まれる顔パーツの輪郭を検出手段により抽出したものとすることで、メイクアップの際にメイク参照レイヤーが邪魔にならず、容易にメイクアップを行うことができる。
【００２１】
本発明に係るメイクアップ補助システムにおいて、
前記レイヤー生成手段は、前記検出手段により検出された前記参照画像に含まれる顔パーツに関連する要素情報に基づいて前記画像取得手段によりユーザー画像を取得する際に前記参照画像と前記画像取得手段により取得されるリアルタイムのユーザー画像との位置を一定に合わせるための画像取得レイヤーをさらに生成することが好ましい。
【００２２】
本構成のメイクアップ補助システムによれば、参照画像から検出手段により検出された目や鼻などの顔パーツの位置情報に基づいた画像取得レイヤーが生成される。これにより、ユーザーは画像取得レイヤーに顔の位置を合わせてユーザー画像を取得することにより、参照画像の顔パーツの位置に適応するユーザー画像を取得することができる。その結果、参照画像から生成されるメイク参照レイヤーとユーザー画像から生成される位置合わせレイヤーとにおける其々の顔パーツの位置のズレを小さくすることができ、より参照画像に近づいたメイクアップの実現が可能となる。
【００２３】
本発明に係るメイクアップ補助システムにおいて、
前記参照画像と前記画像取得手段により取得されるリアルタイムのユーザー画像との差異に基づいて前記参照画像へのメイクの到達度を判定する判定手段をさらに備えることが好ましい。
【００２４】
本構成のメイクアップ補助システムによれば、参照画像とリアルタイムで取得されるユーザー画像との差異を判定することから、ユーザーはその時点でのメイクの到達度を知ることができる。これにより、ユーザーはリアルタイムのある時点でさらにどの程度メイクが必要であるか確認することができる。
【００２５】
本発明に係るメイクアップ補助システムにおいて、
前記参照画像と前記画像取得手段により取得されるリアルタイムのユーザー画像との差異に基づいてアドバイス又は警告を発する発報手段をさらに備えることが好ましい。
【００２６】
本構成のメイクアップ補助システムによれば、発報手段は、参照画像とリアルタイムで取得されるユーザー画像との差異に基づいてアドバイス又は警告を発するため、ユーザーはリアルタイムで更なるメイクやメイクの修正が必要であるか確認することができる。
【００２７】
本発明に係るメイクアップ補助システムにおいて、
前記発報手段は、前記画像取得手段により取得されるリアルタイムのユーザー画像に含まれる顔パーツに関連する位置座標と前記位置合わせレイヤーに含まれる顔パーツに関連する位置座標との差が所定の閾値を超えた場合に警告を発することが好ましい。
【００２８】
本構成のメイクアップ補助システムによれば、位置合わせレイヤーに対して、ユーザーの顔の位置が所定の閾値を超えた場合に警告が発されるため、ユーザーは自分の顔の位置が、位置合わせレイヤーに対して正しい位置から外れたことを認識することができる。その結果、ユーザーは自分の顔の位置を位置合わせレイヤーに対して正しい位置に合わせることができ、より的確なアドバイスを享受することができる。
【００２９】
本発明に係るメイクアップ補助システムにおいて、
前記表示手段は、前記判定手段による判定結果及び／又は前記発報手段による発報情報を表示することが好ましい。
【００３０】
本構成のメイクアップ補助システムによれば、表示手段が判定結果や発報情報を表示するため、ユーザーは必要な情報をリアルタイムで確認することが可能となる。
【００３１】
本発明に係るメイクアップ補助システムにおいて、
前記表示手段は、前記画像取得手段により取得されるリアルタイムのユーザー画像に、前記位置合わせレイヤーと前記メイク参照レイヤーとを交互に重ねて表示することが好ましい。
【００３２】
本構成のメイクアップ補助システムによれば、位置合わせレイヤー又はメイク参照レイヤーの一方がリアルタイムのユーザー画像に対して重ねて表示されるため、ユーザーは位置合わせレイヤー及びメイク参照レイヤーの其々を認識し易い。これにより、ユーザーは、位置合わせレイヤーが表示されているときは顔の位置を確認しながら適切な位置に合わせることができ、メイク参照レイヤーが表示されているときはメイク参照レイヤーに従ってメイクアップをすることができる。その結果、ユーザーは、より参照画像に近づいたメイクアップの実現が可能となる。
【００３３】
上記課題を解決するための本発明に係るメイクアップ補助方法の特徴構成は、
ユーザーが選択した参照画像に近づけるためのメイクを補助するメイクアップ補助方法であって、
ユーザー画像をリアルタイムで取得する画像取得ステップと、
前記参照画像に含まれる顔パーツ、及び前記画像取得ステップにおいて取得されたユーザー画像に含まれる顔パーツを検出する検出ステップと、
前記参照画像に含まれる顔パーツに関連する要素情報に基づいてユーザーのメイクを補助するためのメイク参照レイヤーを生成し、前記検出ステップにおいて検出されたユーザー画像に含まれる顔パーツに関連する要素情報に基づいて当該メイク参照レイヤーと前記画像取得ステップにおいてリアルタイムで取得されるユーザー画像との位置を一定に合わせるための位置合わせレイヤーを生成するレイヤー生成ステップと、
前記画像取得ステップにおいてリアルタイムで取得されるユーザー画像に、前記メイク参照レイヤー及び／又は前記位置合わせレイヤーを重ねて表示する表示ステップと、
を包含することにある。
【００３４】
本構成のメイクアップ補助方法によれば、画像取得ステップでは、メイクアップ中にユーザー画像をリアルタイムで取得することができ、ユーザーの位置や表情などが変化しても、これに応じたリアルタイムのユーザー画像が取得される。検出ステップでは、参照画像又はリアルタイムで取得したユーザー画像から其々の画像に含まれる目、鼻、頬などの顔パーツに関連する要素情報を検出することができるため、ユーザーの顔の位置や表情などが変化しても、変化に応じた顔のパーツに関連する要素情報が検出される。レイヤー生成ステップでは、検出ステップにおいて参照画像から検出した要素情報に基づいてメイク参照レイヤーを生成する。レイヤー生成ステップでは、検出ステップにおいてユーザー画像から検出した要素情報に基づいて位置合わせレイヤーを生成する。表示ステップでは、リアルタイムで取得されるユーザー画像に生成されたメイク参照レイヤー及び／又は位置合わせレイヤーを重ねて表示する。その結果、ユーザーの顔の位置や表情などが変化しても、ユーザーは表示された位置合わせレイヤーを基準として自分の顔を正しい位置や表情へ戻すことができる。これにより、メイク参照レイヤーは、リアルタイムで取得されるユーザー画像に適切な位置で重ねて表示される。その結果、ユーザーは、適切な位置に表示されたメイク参照レイヤーを参照しながらメイクアップをすることが可能となる。
【００３５】
本発明に係るメイクアップ補助方法において、
前記メイク参照レイヤーを前記ユーザー画像に重ねて表示したものに基づいて前記メイク参照レイヤーの位置、形状、光沢、及び色彩の少なくとも一つを調整する調整ステップをさらに包含することが好ましい。
【００３６】
本構成のメイクアップ補助方法によれば、メイク参照レイヤーをユーザー画像に重ねて表示したものを参照しながら、ユーザーの好みに応じてメイク参照レイヤーを調整することができるため、ユーザー画像に対して調和したメイク参照レイヤーを生成することができる。これにより、メイク参照レイヤーをユーザーの好みに応じてより自然でユーザーの顔になじむように変化させることが可能となる。
【図面の簡単な説明】
【００３７】
【図１】図１は、本発明に係るメイクアップ補助システムのブロック図である。
【図２】図２は、ユーザー画像を撮影する際の位置合わせについての説明図である。
【図３】図３は、メイク参照レイヤーの生成についての説明図である。
【図４】図４は、位置合わせレイヤーの生成についての説明図である。
【図５】図５は、画像取得レイヤーの生成についての説明図である。
【図６】図６は、本発明に係るメイクアップ補助方法の手順を示すフローチャートである。
【図７】図７は、メイクアップ補助方法における調整ステップについての説明図である。
【図８】図８は、本発明に係るメイクアップ補助システムの使用例についての説明図である。
【発明を実施するための形態】
【００３８】
以下、本発明に係るメイクアップ補助システム、及びメイクアップ補助方法に関する実施形態について図面を参照して説明する。なお、本発明は、以下に説明する実施形態や図面に記載される構成に限定されることを意図しない。
【００３９】
＜メイクアップ補助システム＞
図１は、本発明に係るメイクアップ補助システム１００（以下、単に「補助システム１００」と称する。）のブロック図である。補助システム１００は、ユーザーが選択した参照画像に近づけるためのメイクを補助するシステムである。図１に示すように、補助システム１００は、画像取得手段１０、検出手段２０、レイヤー生成手段３０、及び表示手段４０を備え、さらに、追加の構成として、判定手段５０、及び発報手段６０を備える。以下、本発明に係る補助システム１００が備える各手段について説明する。なお説明の便宜上、初めに参照画像について説明し、その後各手段について説明する。
【００４０】
［参照画像］
参照画像は、メイクアップを行う上で、ユーザーが参照するために選択される画像である。すなわち、参照画像は、ユーザーが目標とする理想のメイクがされた顔の画像である。参照画像は、顔の全域が写っているものが好ましいが、少なくともユーザーがメイクを参照したい領域が写っていればよく、必ずしも顔の全域が写っていなくてもよい。参照画像は、正面前向きに写っているものが好ましいが、横向きなど正面前向きではない画像であってもよい。参照画像は、カラーであることが好ましいが、モノクロなどであってもよい。参照画像は、色温度やコントラストなどを公知の手法を用いて調整したものであってもよい。
【００４１】
ユーザーは予め参照画像を選択しておく。ユーザーが選択する参照画像は一枚以上あればよい。図１に示すように、参照画像は、補助システム１００がアクセス可能なデータベース２１、またはネットワーク上のクラウドデータ２２などから選択可能である。あるいは、カメラ１１で撮影した画像をそのまま参照画像として利用することも可能である。選択された参照画像は、補助システム１００内に取り込まれる。
【００４２】
［画像取得手段］
画像取得手段１０は、ユーザーの顔の画像（以下、単に「ユーザー画像」と称する。）をリアルタイムで取得する。ここでリアルタイムとは、メイクアップ前からメイクアップ後までに亘るあらゆる個々の瞬間の時点をいう。画像取得手段１０は、メイクアップ中にユーザー画像をリアルタイムで連続的に取得することができるため、ユーザーの顔の位置や表情が変化したり、メイクによって顔のパーツの色彩などが変化しても、これに応じたユーザー画像を取得可能である。図１に示すように、画像取得手段１０は、カメラ１１により撮影されたユーザー画像を画像情報として取得する。カメラ１１は、取得される画像が顔のパーツや色を明確に判別することが可能な解像度を有するものであれば特に限定されず、例えば、デジタルカメラや、スマートフォン等のようなカメラ機能を有する電子機器が挙げられる。
【００４３】
図２は、画像取得手段１０でユーザー画像を撮影する際の位置合わせについての説明図である。図２は、後述の表示手段に表示される画像の一例である。初めに、メイクアップ前のユーザーの顔がカメラ１１で撮影され、レイヤーなどの基となる撮影画像が画像情報として補助システム１００内に取り込まれる。図２に示すように、画像情報には、参照画像１２、リアルタイムのユーザー画像１３（以下、ｎ回目に撮影された画像を「第ｎユーザー画像１３」と称する。）、及び参照画像１２とユーザー画像１３とを重ねた重ね合わせ画像１４が含まれる。ユーザー画像１３は、カメラ１１により連続的に取得され、ユーザーの動きに連動して変化する。なお、表示手段において、ユーザー画像１３の表示は省略されていてもよい。重ね合わせ画像１４は、参照画像１２及びユーザー画像１３の少なくとも一方を半透過して重ね合わせたものである。図２では、ユーザー画像１３に半透過した参照画像１２を重ねたものを例示する。例えば、ユーザーは、重ね合わせ画像１４に含まれる参照画像１２に現在表示手段に表示されている自身の顔ができるだけ一致するように維持した状態で顔を撮影し、参照画像１２に適応した新たな第ｎユーザー画像１３を取得する。ユーザーは、メイクアップ前に撮影されたユーザーの顔の撮影画像に換えて新たな第ｎユーザー画像１３をレイヤーなどの基として利用することができる。ユーザー画像１３の撮影のタイミングは、例えば、ユーザーやオペレーターによるクリック操作や、タイマー機能によって決定される。引き続きメイクアップ中において、画像取得手段１０は、メイクアップ中のユーザー画像をリアルタイムで取得し続ける。このように、ユーザー画像１３は、メイクアップ中連続して自動的に取得され、第ｎユーザー画像１３としてリアルタイムで撮影される。
【００４４】
［検出手段及びレイヤー生成手段］
検出手段２０は、参照画像１２、ユーザー画像１３などに含まれる顔パーツに関連する要素情報を検出する。レイヤー生成手段３０は、検出手段２０が検出した要素情報を基に、メイク参照レイヤー、位置合わせレイヤー、及び画像取得レイヤーを生成する。以下、それぞれのレイヤーについて詳細に説明する。
【００４５】
（メイク参照レイヤー）
図３は、メイク参照レイヤーの生成についての説明図である。図３（ａ）は、ユーザーが選択した参照画像１２である。図３（ｂ）は、検出手段２０の検出方法の一例について説明するための説明図である。図３（ｃ）は、メイク参照レイヤーについて説明するための説明図である。予め、ユーザーは、図３（ａ）に示す参照画像１２を選択し、補助システム１００に取り込んでおく。図３（ｂ）に示すように、検出手段２０は、参照画像１２中の顔パーツを認識する。続いて、検出手段２０は、参照画像１２に含まれる顔パーツに関連する要素情報を検出する。顔パーツとは、例えば、目、鼻、口、頬などに代表される顔の一部であって、位置座標、輪郭座標、色彩、形状、及び光沢などのその部分を構成する要素情報を含む。顔パーツは、自動で認識させることも可能であるが、ユーザーが任意で部分や領域を指定することも可能である。顔パーツを自動で認識させる場合は、例えば参照画像１２の輝度勾配、色情報などを基に認識され、顔パーツをユーザーが任意で選択する場合は、例えばモニターなどに表示された参照画像１２をマウスの操作により選択する方法などが挙げられる。図３（ｂ）では、例示として、眉２３、目２４、及び口２５が顔パーツとして認識され、顔パーツとして選択された部分が破線で囲まれている。顔パーツに関連する要素情報とは、顔パーツの其々の位置座標、輪郭座標、色彩、形状、及び光沢などを示す情報である。図３（ｃ）に示すように、レイヤー生成手段３０は、検出手段２０が検出した要素情報に基づいてユーザーのメイクを補助するためのメイク参照レイヤー３１を生成する。メイク参照レイヤー３１は、図３（ｂ）で選択された顔パーツ（眉２３、目２４、及び口２５）を、参照画像１２から切り出した画像、すなわち参照画像１２に含まれる顔パーツである。なお、メイク参照レイヤー３１は、参照画像１２に含まれる顔パーツの輪郭を抽出したものや、顔パーツを透過させたものであってもよい。レイヤー生成手段３０は、参照画像１２からメイク参照レイヤー３１を容易に生成することができ、メイクアップの際にメイク参照レイヤー３１が邪魔にならず、ユーザーは容易にメイクアップを行うことができる。
【００４６】
メイク参照レイヤーとして選択される顔パーツは、参照画像１２から一つ以上の部分として選択することもでき、参照画像１２の顔全体を選択することもできる。レイヤー生成手段３０は、参照画像１２に含まれる顔パーツに関連する要素情報に基づいてユーザーが選択する顔パーツのメイク参照レイヤーを部分的に生成してもよい。レイヤー生成手段３０は、例えば、アイメイクのみを参照するための部分的なポイントメイク用のメイク参照レイヤーを生成することができる。この場合、ポイントメイク用のメイク参照レイヤーが部分的に生成されるため、ポイントメイク用のメイク参照レイヤーをリアルタイムで取得されるユーザー画像に重ねて表示したときに、メイクが施されない場所との対比がし易くなる。このため、ユーザーは、参照画像１２からユーザーが必要とする個所についてのポイントメイクのアドバイスを的確に享受できる。
【００４７】
レイヤー生成手段３０は、複数の参照画像から抽出された顔パーツに関連する要素情報を組み合わせてメイク参照レイヤーを生成することも可能である。例えば、目や鼻に関連する要素情報を参照画像１２から抽出し、口、頬に関連する要素情報を別の参照画像（図示せず）から抽出し、これらの抽出された要素情報を基にメイク参照レイヤーを生成する。このように複数の参照画像を基にメイク参照レイヤーを生成することでユーザーの好みに応じて参照画像の選択の幅を広げることが可能となるため、参照できるメイクのバリエーションを増やすことができる。
【００４８】
（位置合わせレイヤー）
図４は、位置合わせレイヤーの生成についての説明図である。図４（ａ）は、画像取得手段１０で予め撮影されたユーザー画像１３であり、デフォルトユーザー画像１３とする。図４（ｂ）は、検出手段２０の検出方法の一例について説明するための説明図である。図４（ｃ）及び図４（ｄ）は、位置合わせレイヤーについて説明するための説明図である。図４（ａ）に示すデフォルトユーザー画像１３は、ユーザーをカメラ１１で撮影したものであり、補助システム１００に取り込まれている。図４（ｂ）に示すように、検出手段２０は、参照画像１２における顔パーツの認識と同様に、デフォルトユーザー画像１３中の顔パーツを認識する。続いて、検出手段２０は、デフォルトユーザー画像１３に含まれる顔パーツに関連する要素情報を検出する。デフォルトユーザー画像１３中の顔パーツの位置座標、輪郭座標などの要素情報が検出される。図４（ｃ）又は図４（ｄ）に示すように、レイヤー生成手段３０は、検出手段２０が検出した要素情報に基づいて、メイク参照レイヤー３１とリアルタイムで取得される第ｎユーザー画像１３との位置を一定に合わせるための位置合わせレイヤー３２（３２ａ、３２ｂ）を生成する。位置合わせレイヤー３２ａは、デフォルトユーザー画像１３に含まれる顔パーツの輪郭を抽出したものであり、位置合わせレイヤー３２ｂは、デフォルトユーザー画像１３の透過像である。レイヤー生成手段３０は、ユーザー画像１３から位置合わせレイヤー３２を容易に生成することができ、メイクアップの際に位置合わせレイヤー３２が邪魔にならず、ユーザーは容易にメイクアップを行うことができる。なお、位置合わせレイヤーは、位置合わせレイヤー３２ａ、３２ｂを其々加工したものであってもよい。
【００４９】
レイヤー生成手段３０は、画像取得手段１０により予め取得されたデフォルトユーザー画像１３に含まれる顔パーツに関連する要素情報に基づいて前記位置合わせレイヤーを生成するだけでなく、画像取得手段１０によりリアルタイムで取得されるユーザー画像（第ｎユーザー画像１３）に含まれる顔パーツに関連する要素情報に基づいて位置合わせレイヤー３３（３３ａ、３３ｂ）を生成することができる。位置合わせレイヤー３３ａは、第ｎユーザー画像１３に含まれる顔パーツの輪郭を抽出したものであり、位置合わせレイヤー３３ｂは、第ｎユーザー画像１３の透過像である。すなわち、メイクアップ中にユーザーの位置などが変化した場合、最新の第ｎユーザー画像１３を基に新たな位置合わせレイヤー３３ａ、３３ｂを生成することができる。検出手段２０は、参照画像１２及び第ｎユーザー画像１３から其々の画像に含まれる目、鼻、頬などの顔パーツに関連する要素情報を検出することができるため、ユーザーの顔の位置や表情などが変化しても、変化に応じた顔パーツに関連する要素情報を検出できる。これにより、メイクアップ中にユーザーの位置や表情などが変化しても、これに応じた位置合わせレイヤー３３ａ、３３ｂが新たに生成される。このため、ユーザーはメイク参照レイヤー３１を適切に参照できる状態に自分の顔を維持することがさらに容易となる。その結果、ユーザーは、メイクアップ中においてリアルタイムに適応した最新のアドバイスを享受できる。
【００５０】
レイヤー生成手段３０は、画像取得手段１０によりリアルタイムで取得されるユーザー画像（第ｎユーザー画像１３）に含まれる顔パーツに関連する要素情報に基づいて位置合わせレイヤー３３ａ、３３ｂを生成したとき、位置合わせレイヤー３３ａ、３３ｂに対応する最新のメイク参照レイヤーを生成することができる。すなわち、メイクアップ中にユーザーの位置などが変化した場合、最新の第ｎユーザー画像１３の顔パーツに関連する要素情報を基に最新のメイク参照レイヤーが変形される。これにより、最新のメイク参照レイヤーの位置情報をリアルタイムのユーザーの顔の位置情報に近似させることができ、ユーザーはメイクアップ中においてリアルタイムに適応した最新のアドバイスを享受できる。
【００５１】
（画像取得レイヤー）
図５は、画像取得レイヤーの生成についての説明図である。図５（ａ）は、ユーザーが選択した参照画像１２である。図５（ｂ）は、参照画像１２の位置情報を取得する方法について説明するための説明図である。図５（ｃ）は、画像取得レイヤーについて説明するための説明図である。図５（ｄ）は、画像取得レイヤーの使用方法について説明するための説明図である。レイヤー生成手段３０は、検出手段２０により検出された参照画像１２に含まれる顔パーツに関連する要素情報に基づいて、画像取得手段１０によりユーザー画像１３を取得する際に参照画像１２と画像取得手段１０により取得されるリアルタイムのユーザー画像（第ｎユーザー画像１３）との位置を一定に合わせるための画像取得レイヤーをさらに生成することができる。
【００５２】
詳細に説明すると、予め、ユーザーは、図５（ａ）に示す参照画像１２を選択し、補助システム１００に取り込んでおく。図５（ｂ）に示すように、検出手段２０は、参照画像１２中の顔パーツを認識する。検出手段２０は、参照画像１２に含まれる顔パーツの両目及び口を検出する。画像取得レイヤー１９は、マーク１７及び破線１８を含む。検出された顔パーツの両目及び口の其々概ね中心位置にマーク１７が表示される。図５（ｂ）ではマーク１７が丸印として表示されているが、マーク１７の形状は丸印に限られず、位置を示すものであればよい。マーク１７は３点表示されているが、１点、２点又は４点以上であってもよい。マーク１７は、目及び口の位置が認識されて表示されているが、その他の顔パーツであってもよい。マーク１７どうしの間は破線１８が表示されているが、破線１８はマーク１７の位置を目視し易くするために付されるものであり、必要に応じて省略されてもよい。
【００５３】
図５（ｃ）に示すように、画像取得レイヤー１９のみが参照画像１２から抽出されてモニターなどの表示手段４０に表示される。図５（ｄ）に示すように、画像取得手段１０によりユーザー画像を取得する際に、ユーザーは画像取得レイヤー１９に顔の位置を合わせて、第ｎユーザー画像１３を撮影する。すなわち、表示手段４０に表示されている画像取得レイヤー１９のマーク１７に、ユーザーの両目と口の位置を合わせた状態で、画像取得手段１０によりユーザー画像を取得する。これにより、参照画像１２の顔パーツの位置情報に基づいた画像取得レイヤー１９が生成され、参照画像１２の顔パーツの位置に適応する第ｎユーザー画像１３を取得することができる。その結果、参照画像１２から生成されるメイク参照レイヤー３１と第ｎユーザー画像１３から生成される位置合わせレイヤー３２、３３における其々の顔パーツとの位置のズレを小さくすることができ、より参照画像１２に近いメイクアップの実現が可能となる。
【００５４】
［表示手段］
表示手段４０は、補助システム１００に取り込まれた情報を表示するものであり、例えばパソコンに接続されたモニターやスマートフォンの画面などが挙げられる。表示手段４０は、参照画像１２、デフォルトユーザー画像１３、第ｎユーザー画像１３、及び上記各種レイヤーや、これらに付随する情報などを表示する。付随する情報としては、顔パーツとして選択された部分を囲む破線や、後述される判定手段５０又は発報手段６０が発する警告又はアドバイス等の情報も含まれる。
【００５５】
表示手段は、リアルタイムで取得される第ｎユーザー画像１３に生成されたメイク参照レイヤー３１及び／又は位置合わせレイヤー３２、３３を重ねて表示する。ユーザーの顔の位置や表情などが変化しても、ユーザーは表示された位置合わせレイヤー３２、３３を基準として自分の顔を正しい位置や表情へ戻すことができる。これにより、メイク参照レイヤー３１は、リアルタイムで取得される第ｎユーザー画像１３に適切な位置で重ねて表示される。その結果、ユーザーは、適切な位置に表示されたメイク参照レイヤー３１を参照しながらメイクアップをすることができる。また、表示手段４０は、リアルタイムの第ｎユーザー画像１３に、メイク参照レイヤー３１及び位置合わせレイヤー３２、３３の一方を表示することができる。さらに、表示手段４０は、リアルタイムの第ｎユーザー画像１３に、メイク参照レイヤー３１と位置合わせレイヤー３２、３３とを交互に重ねて表示することができ、これにより、位置合わせレイヤー３２、３３又はメイク参照レイヤー３１の一方が、リアルタイムの第ｎユーザー画像１３に対して重ねて表示されるため、ユーザーは位置合わせレイヤー３２、３３及びメイク参照レイヤー３１の其々を認識し易い。ユーザーは、位置合わせレイヤー３２、３３が表示されているときは、顔の位置を確認しながら適切な位置に合わせることができ、メイク参照レイヤー３１が表示されているときは、メイク参照レイヤー３１に従ってリアルタイムでメイクアップをすることができる。その結果、ユーザーは、より参照画像１２に近づいたメイクアップの実現が可能となる。
【００５６】
［判定手段］
判定手段５０は、参照画像１２と画像取得手段１０により取得されるリアルタイムの第ｎユーザー画像１３との差異に基づいて参照画像１２へのメイクの到達度を判定する。差異は、参照画像１２と第ｎユーザー画像１３とから認識される輝度勾配又は色情報などを基に判断される。画像の差異の判断方法は、一般的に公知のものである。差異が大きいほど第ｎユーザー画像１３が参照画像１２からかけ離れているため、メイクの到達度が低く表示され、差異が小さいほど第ｎユーザー画像１３が参照画像１２へ近づいているため、メイクの到達度が高く表示される。例えば、メイクアップ前に撮影されたデフォルトユーザー画像１３を０点として、デフォルトユーザー画像１３にメイク参照レイヤー３１を重ねて表示させた画像を１００点として、メイクの到達度を判定してもよい。これにより、ユーザーはその時点でのメイクの到達度を知ることができるため、ユーザーはその時点においてさらにどの程度メイクが必要であるかを確認することができる。さらに、表示手段４０は、判定手段５０による判定結果を表示する。表示手段４０が判定結果を表示するため、ユーザーはメイクを完成させるために必要な情報を確認することが可能となる。
【００５７】
［発報手段］
発報手段６０は、参照画像１２とリアルタイムで取得される第ｎユーザー画像１３との差異に基づいてアドバイス又は警告を発する。例えば、判定手段５０で判定されたメイクの到達度が低い場合や、メイクの位置や色彩が参照画像１２から著しく異なる場合などにおいて、メイクが間違っていることをユーザーに知らせる警告や、メイクを修正するためのアドバイスなどが発される。アドバイスとしては、メイクの手法だけでなく推奨する化粧品や器具についての情報も含まれる。これにより、発報手段６０は、参照画像１２とリアルタイムで取得される第１ユーザー画像１３との差異に基づいてアドバイス又は警告を発するため、ユーザーはリアルタイムで更なるメイクやメイクの修正が必要であるか否かを確認することができる。
【００５８】
発報手段６０が発した発報情報は、アラームなどの音で通知されるものであってもよく、モニターなどの表示手段４０に表示されるのであってもよい。表示手段４０は、発報手段６０が発した発報情報を表示することができるため、ユーザーはメイクを完成させるために必要な情報がリアルタイムで得られる。すなわち、ユーザーはメイクアップ中にリアルタイムに応じたアドバイスや警告を確認することが可能となる。
【００５９】
発報手段６０は、リアルタイムに取得される第ｎユーザー画像１３に含まれる顔パーツに関連する位置座標と位置合わせレイヤー３２、３３などに含まれる顔パーツに関連する位置座標との差が所定の閾値を超えた場合に警告を発する。すなわち、位置合わせレイヤー３２、３３に対して、リアルタイムで表示手段４０に表示されるユーザーの顔の位置とのズレが所定の閾値を超えた場合に警告が発される。これにより、ユーザーは自分の顔の位置が、位置合わせレイヤー３２、３３などに対して正しい位置から外れたことを認識することができる。その結果、ユーザーは自分の顔の位置を位置合わせレイヤー３２、３３などに対して正しい位置に合わせることができるため、より的確なアドバイスを享受することができる。
【００６０】
＜メイクアップ補助方法＞
図６は、本発明に係るメイクアップ補助方法の手順を示すフローチャートである。各ステップに付している記号「Ｓ」はステップを意味する。メイクアップ補助方法は、ユーザーが選択した参照画像に近づけるためのメイクを補助するメイクアップ補助方法であって、画像取得ステップ（Ｓ１）、検出ステップ（Ｓ２）、レイヤー生成ステップ（Ｓ３）、及び表示ステップ（Ｓ４）を包含し、さらに、追加のステップとして、調整ステップ（Ｓ３´）、判定ステップ（Ｓ５，Ｓ７）、及び発報ステップ（Ｓ６，Ｓ８）を包含する。以下、本発明に係るメイクアップ補助方法の各ステップについて説明する。
【００６１】
［画像取得ステップ］
本発明のメイクアップ補助方法を開始すると（Ｓ０）、初めに画像取得ステップ（Ｓ１）が実行される。画像取得ステップ（Ｓ１）では、ユーザー画像をリアルタイムで取得する。メイクアップ中にユーザー画像をリアルタイムで取得することができるため、ユーザーの顔の位置や表情が変化したり、メイクによって顔パーツの色彩などが変化しても、変化に対応したユーザー画像を取得することができる。
【００６２】
［検出ステップ］
検出ステップ（Ｓ２）では、ユーザーが選択した参照画像に含まれる顔パーツ、及び画像取得ステップ（Ｓ１）において取得されたユーザー画像に含まれる顔パーツを検出する。参照画像及びリアルタイムで取得したユーザー画像から其々の画像に含まれる目、鼻、頬などの顔パーツに関連する要素情報を検出することができるため、メイクアップ中にユーザーの顔の位置や表情などが変化しても、変化に応じた顔のパーツに関連する要素情報が検出することができる。
【００６３】
［レイヤー生成ステップ］
レイヤー生成ステップ（Ｓ３）では、参照画像に含まれる顔パーツに関連する要素情報に基づいてユーザーのメイクを補助するためのメイク参照レイヤーを生成する。さらに、検出ステップ（Ｓ２）において検出されたユーザー画像に含まれる顔パーツに関連する要素情報に基づいて当該メイク参照レイヤーと画像取得ステップにおいてリアルタイムで取得されるユーザー画像との位置を一定に合わせるための位置合わせレイヤーを生成する。リアルタイムで取得したユーザー画像から検出された要素情報に基づいて位置合わせレイヤーを生成することが可能であるため、メイクアップ中にユーザーの顔の位置や表情などが変化しても、これに応じた位置合わせレイヤーを生成することができる。
【００６４】
［調整ステップ］
本発明のメイクアップ補助方法は、メイク参照レイヤー３１を調整する調整ステップ（Ｓ３´）をさらに包含してもよい。図７は、メイクアップ補助方法における調整ステップについての説明図である。図７（ａ）は、デフォルトユーザー画像１３に調整前のメイク参照レイヤー３１を重ねて表示した画像７１を示す図である。図７（ｂ）は、デフォルトユーザー画像１３に調整後のメイク参照レイヤー３６を重ねて表示した画像７５を示す図である。図７（ｃ）は、図７（ｂ）から調節後のメイク参照レイヤー３６を抽出したものを示す図である。初めに画像取得手段１０で予め撮影された図７（ａ）に示すユーザー画像（デフォルトユーザー画像１３）にレイヤー生成ステップ（Ｓ３）で生成したメイク参照レイヤー３１を重ねて表示する。メイク参照レイヤー３１をデフォルトユーザー画像１３に重ねて表示した画像７１を参照しながら、ユーザーは好みに応じてメイク参照レイヤー３１の位置、形状、光沢、及び色彩の少なくとも一つを調整する。例えば、破線７３で囲まれた上唇の口紅を塗布する領域を変化させたり、矢印７４のように、眉の位置を移動させることが挙げられる。ユーザーはメイク参照レイヤー３１をデフォルトユーザー画像１３に重ねて表示したものを参照しながら、図７（ｂ）の画像７５に示すように、ユーザーの好みに応じてメイク参照レイヤー３１を調整することができるため、デフォルトユーザー画像１３に対して調和したメイク参照レイヤー３６を生成することができる。図７（ｃ）に示すように、メイク参照レイヤー３６は、調節された後に図７（ｂ）の画像７５から切り出された状態で使用される。これにより、メイク参照レイヤー３１をユーザーの好みに応じてより自然でユーザーの顔になじむように変形することが可能となる。なお、メイク参照レイヤー３１の調整は、手動のみならず予め補助システム１００、又は補助システム１００がアクセス可能なデータベース２１に格納されたバランス調整プログラムによって自動的に行われてもよい。バランス調整プログラムは、各パーツの距離や形状などを基に予め設定された値に基づいてメイク参照レイヤー３１の調整を行う。
【００６５】
調整ステップ（Ｓ３´）においては、上述の調整方法以外に、以下の方法による実施も可能である。前述の画像取得レイヤー１９の生成と同様にデフォルトユーザー画像１３から顔パーツの位置を抽出したレイヤー（以下、補正レイヤーという）を生成する。補正レイヤーは、デフォルトユーザー画像１３の両目と口の位置を認識したものである。画像取得レイヤー１９と同様に円と点線からなるものであってもよい。参照画像１２又は参照画像１２から抽出されたメイク参照レイヤー３１の両目と口の位置を補正レイヤーに合わせて変形させる。デフォルトユーザー画像１３の顔パーツの位置に対応した参照画像１２又はメイク参照レイヤーが速やかに得られる。これにより、デフォルトユーザー画像１３に対して調和したメイク参照レイヤーを生成することができるため、メイク参照レイヤーを、より自然でユーザーの顔になじむように変形することが可能となる。なお、調整ステップ（Ｓ３´）は、予め撮影されたユーザー画像（デフォルトユーザー画像１３）だけでなく、リアルタイムで取得したユーザー画像（第ｎユーザー画像１３）に対しても実施できる。
【００６６】
［表示ステップ］
図８は、本発明に係るメイクアップ補助システムの使用例についての説明図である。図８（ａ）は、ユーザーが位置合わせレイヤー３２に合わせる前のユーザー画像１３を示す図である。図８（ｂ）はユーザーが位置合わせレイヤー３２に合わせた状態のユーザー画像１３を示す図である。図８（ｃ）は、メイクアップ完了後のユーザー画像８５を示す図である。表示ステップ（Ｓ４）では、画像取得ステップにおいてリアルタイムで取得されるユーザー画像に、生成されたメイク参照レイヤー及び／又は位置合わせレイヤーを重ねて表示する。初めに画像取得ステップ（Ｓ１）においてリアルタイムで取得される図８（ａ）に示すユーザー画像１３に、位置合わせレイヤー３２が重ねて表示される。ユーザーは、表示された位置合わせレイヤー３２を基準として自分の顔の位置などを調整する。ユーザーが自分の顔の位置を位置合わせレイヤー３２に合わせた状態で、図８（ｂ）に示すように、メイク参照レイヤー３６が重ねて表示される。位置合わせレイヤー３２とメイク参照レイヤー３６とは其々交互に片方ずつ表示されてもよく、重ねて表示されてもよい。メイクアップ中にユーザーの位置や表情などが変化しても、ユーザーは表示された位置合わせレイヤー３２を基準として自分の顔を正しい位置や表情へ戻すことができる。これにより、メイク参照レイヤー３６をリアルタイムで取得されるユーザー画像１３に対して適切な位置で重ねて表示できる。その結果、ユーザーは適切な位置に表示されたメイク参照レイヤー３６を参照しながらメイクアップをすることが可能となるため、より的確なアドバイスを享受することができる。その結果、図８（ｃ）に示すように、ユーザーはメイク参照レイヤー３６に沿ったメイクアップを完了することができる。
【００６７】
［判定ステップ及び発報ステップ］
第一判定ステップ（Ｓ５）は、リアルタイムに取得されるユーザー画像に含まれる顔パーツに関連する位置座標と位置合わせレイヤーに含まれる顔パーツに関連する位置座標との差が所定の閾値を超えたか判定する。すなわち、位置合わせレイヤーに対して、リアルタイムで表示されるユーザーの顔の位置とのズレが所定の閾値を超えたかが判定される。ズレが所定の閾値以下である場合（Ｓ５：Ｎｏ）は、次の判定ステップ（Ｓ７）に進む。ズレが所定の閾値を超えた場合（Ｓ５：Ｙｅｓ）は、第一発報ステップ（Ｓ６）において、警告が発され、表示ステップ（Ｓ４）に戻る。これにより、ユーザーは自分の顔の位置が、位置合わせレイヤーに対して正しい位置から外れたことを認識することができる。その結果、ユーザーは自分の顔の位置を位置合わせレイヤーに対して正しい位置に合わせることができるため、より的確なアドバイスを享受することができる。
【００６８】
第二判定ステップ（Ｓ７）では、参照画像と画像取得手段によりリアルタイムで取得されるユーザー画像との差異に基づいて参照画像へのメイクの到達度を判定する。第二判定ステップ（Ｓ７）において、ユーザーのメイクが目標の状態に達していると判定された場合（Ｓ７：Ｙｅｓ）は、本発明に係るメイクアップ補助方法は終了する（Ｓ９）。ユーザーのメイクが目標の状態に達していないと判定された場合（Ｓ７：Ｎｏ）は、第二発報ステップ（Ｓ８）において、アドバイス又は警告が発され、表示ステップ（Ｓ４）に戻る。これにより、ユーザーはその時点におけるメイクの到達度を確認することができるため、ユーザーはその時点においてさらにどの程度メイクが必要であるかを確認したり、メイクを完成させるために必要なアドバイスを確認することができる。
【産業上の利用可能性】
【００６９】
本発明は、メイクアップ中にリアルタイムに応じた的確なアドバイスをユーザーに提供するメイクアップ補助システムとして好適に利用されるが、店頭やネットワーク上でユーザーの好みのメイクアップに応じたメイクアップ製品を選択し推奨する目的においても利用可能である。また、本発明は、顔をメイクアップする目的として好適に利用されるが、ヘアメイクやネイル等の他の美容目的においても利用可能である。
【符号の説明】
【００７０】
１０          画像取得手段
１２          参照画像
１３          ユーザー画像（第ｎユーザー画像、デフォルトユーザー画像）
２０          検出手段
３０          レイヤー生成手段
３１，３６    メイク参照レイヤー
３２，３３    位置合わせレイヤー
４０          表示手段
５０          判定手段
６０          発報手段
１００        メイクアップ補助システム
【図１】
0006695132.tif 000002
【図２】
0006695132.tif 000003
【図３】
0006695132.tif 000004
【図４】
0006695132.tif 000005
【図５】
0006695132.tif 000006
【図６】
0006695132.tif 000007
【図７】
0006695132.tif 000008
【図８】
0006695132.tif 000009