(57)【要約】メイクアップ支援装置（１００）は、顔を撮影した画像に、顔に対してメイクアップを適用したときの状態を示す画像を重畳して得られる、シミュレーション画像を生成するメイクアップ提示部（２７０）と、ユーザから、生成されたシミュレーション画像に含まれるメイクアップ画像に対する修正を受け付けるメイクアップ修正部（２９０）と、修正後のメイクアップ画像の領域を、顔特徴点に対する相対位置を用いて示す、修正情報を記録する修正情報記録部（３００）と、を有する。
2015029372.tif 000002
【特許請求の範囲】
【請求項１】
顔を撮影した画像に、前記顔に対してメイクアップを適用したときの状態を示すメイクアップ画像を重畳して、シミュレーション画像を生成するメイクアップ提示部と、
ユーザから、生成された前記シミュレーション画像に含まれる前記メイクアップ画像に対する修正を受け付けるメイクアップ修正部と、
修正後の前記メイクアップ画像の領域を、顔特徴点に対する相対位置を用いて示す、修正情報を記録する修正記録部と、を有する、
メイクアップ支援装置。
【請求項２】
前記画像を取得する画像取得部と、
取得された前記画像から、顔特徴点を取得する特徴点取得部と、
生成された前記シミュレーション画像を表示する表示部と、を更に有する、
請求項１に記載のメイクアップ支援装置。
【請求項３】
前記修正記録部は、
前記修正情報を、前記メイクアップ支援装置以外の装置のユーザが利用可能な記憶媒体に保存する、
請求項２に記載のメイクアップ支援装置。
【請求項４】
修正前の前記メイクアップ画像の領域を前記顔特徴点に対する相対位置を用いて示す、メイクアップ情報を格納するメイクアップ情報格納部、を更に有し、
前記修正情報は、修正前の前記メイクアップ画像の領域を示す情報と、修正後の前記メイクアップ画像の領域の修正前の前記メイクアップ画像の領域に対する差分を示す情報と、を含む、
請求項３に記載のメイクアップ支援装置。
【請求項５】
前記修正は、前記メイクアップ画像の、平行移動、回転、拡大、縮小、および変形のうち少なくとも１つを含み、
前記メイクアップ情報は、前記顔特徴点に対する修正前の前記メイクアップ画像の領域の前記相対位置を示す情報を含み、
前記修正情報は、前記顔特徴点の配置に基づく顔座標系を用いて、修正前の前記メイクアップ画像の領域に対する修正後の前記メイクアップ画像の領域の差分を示す情報を含む、
請求項４に記載のメイクアップ支援装置。
【請求項６】
前記メイクアップ情報は、前記メイクアップ画像の領域に対して設定された、前記画像に設定される顔参照点への合わせ込みの対象となるメイクアップ参照点の位置、を示す情報を含み、
取得された前記顔特徴点を基準として、前記画像に顔参照点を設定する参照点設定部、を更に有し、
前記メイクアップ提示部は、
前記メイクアップ画像の前記メイクアップ参照点の位置を、設定された顔参照点の位置に合わせ込むことにより、前記画像に対する前記メイクアップ画像の領域を決定し、
前記修正情報は、前記顔座標系を用いて、修正後の前記メイクアップ画像の領域の前記メイクアップ参照点の位置の、前記顔参照点の前記デフォルト位置に対する差分を示す情報を含む、
請求項５に記載のメイクアップ支援装置。
【請求項７】
前記顔の映像を撮影する撮影部、を更に有し、
前記画像取得部は、
前記映像を構成する画像を取得し、
前記表示部は、
前記映像に沿って、前記シミュレーション画像を順次表示し、
前記参照点設定部は、
前記修正が設定された後、前記修正情報に従って前記顔参照点の位置を設定する、
請求項６に記載のメイクアップ支援装置。
【請求項８】
第１のメイクアップ支援装置および第２のメイクアップ支援装置を含むメイクアップ支援システムであって、
前記第１のメイクアップ支援装置は、
第１の顔を撮影した第１の画像に、前記第１の顔に対してメイクアップを適用したときの状態を示すメイクアップ画像を重畳して第１のシミュレーション画像を生成する第１のメイクアップ提示部と、ユーザから、生成された前記第１のシミュレーション画像に含まれる前記メイクアップ画像に対する修正を受け付けるメイクアップ修正部と、修正後の前記メイクアップ画像の領域を、顔特徴点に対する相対位置を用いて示す、修正情報を記録する修正記録部と、を有し、
前記第２のメイクアップ支援装置は、
記録された前記修正情報を取得する修正取得部と、取得された前記修正情報に基づいて、第２の顔を撮影した第２の画像に、修正後の前記メイクアップ画像を重畳して得られる、第２のシミュレーション画像を生成する第２のメイクアップ提示部と、を有する、
メイクアップ支援システム。
【請求項９】
顔を撮影した画像に、前記顔に対してメイクアップを適用したときの状態を示すメイクアップ画像を重畳して得られる、シミュレーション画像を生成するステップと、
ユーザから、生成された前記シミュレーション画像に含まれる前記メイクアップ画像に対する修正を受け付けるステップと、
修正後の前記メイクアップ画像の領域を、顔特徴点に対する相対位置を用いて示す、修正情報を記録するステップと、を有する、
メイクアップ支援方法。
【請求項１０】
コンピュータに、
顔を撮影した画像に、前記顔に対してメイクアップを適用したときの状態を示すメイクアップ画像を重畳してシミュレーション画像を生成する処理と、
ユーザから、生成された前記シミュレーション画像に含まれる前記メイクアップ画像に対する修正を受け付ける処理と、
修正後の前記メイクアップ画像の領域を、顔特徴点に対する相対位置を用いて示す、修正情報を記録する処理と、を実行させる、
メイクアップ支援プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本開示は、顔のメイクアップ（化粧）を支援するメイクアップ支援装置、メイクアップ支援システム、メイクアップ支援方法、およびメイクアップ支援プログラムに関する。
【背景技術】
【０００２】
近年、顔のメイクアップの仕方（以下、単に「メイクアップ」という）の多様化が進んでいる。無数の選択肢の中から適切なメイクアップを選択することは、特にメイクアップについての十分な知識を有さない人にとって、困難である。あらゆるメイクアップを実際に試して判断および比較を行うことは、膨大な時間および手間を要するからである。【０００３】
そこで、メイクアップが適用されたときの顔のシミュレーション画像を生成して提示する技術が、例えば、特許文献１および特許文献２に記載されている。特許文献１および特許文献２に記載の技術は、メイクアップの対象となる顔（以下、単に「顔」という）を撮影した画像（以下「顔画像」という）を取得する。そして、特許文献１および特許文献２に記載の技術は、顔画像に、メイクアップを顔に適用したときのメイクアップの状態を示す画像（以下「メイクアップ画像」という）を重畳して、シミュレーション画像を生成し、表示する。以下、シミュレーション画像の生成および表示は、「メイクアップシミュレーション」という。【０００４】
また、特許文献１に記載の技術は、ユーザから、表示されたシミュレーション画像に含まれるメイクアップ画像に対する修正の設定を受け付けることができる。【０００５】
特許文献１および特許文献２に記載の技術（以下「従来技術」という）によれば、実際にメイクアップを行うことなく、メイクアップの良し悪しを判断することが可能となる。すなわち、より少ない時間および手間で適切なメイクアップを選択することが可能となる。また、従来技術によれば、ユーザは、メイクアップシミュレーションの対象としてデフォルトで用意されたメイクアップを修正したメイクアップ（以下「修正メイクアップ」という）についても、メイクアップシミュレーションを簡単に行うことができる。【０００６】
ところで、修正メイクアップの中には、他のユーザが試してみたいと望むものが存在し得る。例えば、著名なメイクアップアーティストによって創作された修正メイクアップや、多くのユーザによって実施され、流行になりつつある修正メイクアップが存在する。
【先行技術文献】
【特許文献】
【０００７】
【特許文献１】特開２００１−３４６６２７号公報
【特許文献２】特開２００７−１７５３８４号公報
【特許文献３】特開２００３−４４８３７号公報
【特許文献４】特開２００７−２５７１６５号公報
【発明の概要】
【０００８】
しかしながら、従来技術では、あるユーザによって創作された修正メイクアップを、他のユーザに適用することは困難である。なぜなら、顔部品の大きさ、形状、および配置は、ユーザによって異なり、修正メイクアップのメイクアップ画像を他のユーザの顔画像にどのように貼り付けるかが問題となるからである。
【０００９】
本開示の目的は、あるユーザによって創作された修正メイクアップを他のユーザにも簡単に適用することを可能にする、メイクアップ支援装置、メイクアップ支援システム、メイクアップ支援方法、およびメイクアップ支援プログラムを提供することである。
【００１０】
本開示の一態様に係るメイクアップ支援装置は、顔を撮影した画像に、前記顔に対してメイクアップを適用したときの状態を示すメイクアップ画像を重畳して得られる、シミュレーション画像を生成するメイクアップ提示部と、ユーザから、生成された前記シミュレーション画像に含まれる前記メイクアップ画像に対する修正を受け付けるメイクアップ修正部と、修正後の前記メイクアップ画像の領域を、顔特徴点に対する相対位置を用いて示す、修正情報を記録する修正情報記録部と、を有する。
【００１１】
本開示の一態様に係るメイクアップ支援システムは、第１のメイクアップ支援装置および第２のメイクアップ支援装置を含むメイクアップ支援システムであって、前記第１のメイクアップ支援装置は、第１の顔を撮影した第１の画像に、前記第１の顔に対してメイクアップを適用したときの状態を示すメイクアップ画像を重畳して得られる、第１のシミュレーション画像を生成する第１のメイクアップ提示部と、ユーザから、生成された前記第１のシミュレーション画像に含まれる前記メイクアップ画像に対する修正を受け付けるメイクアップ修正部と、修正後の前記メイクアップ画像の領域を、顔特徴点に対する相対位置を用いて示す、修正情報を記録する修正情報記録部と、を有し、前記第２のメイクアップ支援装置は、記録された前記修正情報を取得する修正取得部と、取得された前記修正情報に基づいて、第２の顔を撮影した第２の画像に、修正後の前記メイクアップ画像を重畳して得られる、第２のシミュレーション画像を生成する第２のメイクアップ提示部と、を有する。
【００１２】
本開示の一態様に係るメイクアップ支援方法は、顔を撮影した画像に、前記顔に対してメイクアップを適用したときの状態を示すメイクアップ画像を重畳して得られる、シミュレーション画像を生成するステップと、ユーザから、生成された前記シミュレーション画像に含まれる前記メイクアップ画像に対する修正を受け付けるステップと、修正後の前記メイクアップ画像の領域を、顔特徴点に対する相対位置を用いて示す、修正情報を記録するステップと、を有する。
【００１３】
本開示の一態様に係るメイクアップ支援プログラムは、コンピュータに、顔を撮影した画像に、前記顔に対してメイクアップを適用したときの状態を示すメイクアップ画像を重畳して得られる、シミュレーション画像を生成する処理と、ユーザから、生成された前記シミュレーション画像に含まれる前記メイクアップ画像に対する修正を受け付ける処理と、修正後の前記メイクアップ画像の領域を、顔特徴点に対する相対位置を用いて示す、修正情報を記録する処理と、を実行させる。
【００１４】
本開示によれば、あるユーザによって創作された修正メイクアップを他のユーザにも簡単に適用されることを可能にする。
【００１５】
なお、包括的又は具体的な態様は、システム、集積回路、コンピュータプログラム又はコンピュータ読み取り可能なＣＤ−ＲＯＭなどの記録媒体で実現されてもよい。また、包括的又は具体的な態様は、システム、方法、集積回路、コンピュータプログラム又は記録媒体の任意な組み合わせで実現されてもよい。
【図面の簡単な説明】
【００１６】
【図１】本開示の実施の形態１に係るメイクアップ支援装置の構成の一例を示すブロック図
【図２】本開示の実施の形態２に係るメイクアップ支援装置の構成の一例を示すブロック図
【図３】実施の形態２における顔特徴点の一例を示す図
【図４】実施の形態２における顔座標系の一例を示す図
【図５】実施の形態２におけるメイクアップテーブルの内容の一例を示す図
【図６】実施の形態２におけるメイクアップ情報テーブルの内容の一例を示す図
【図７】実施の形態２におけるメイクアップの範囲の具体的内容の一例を示す図
【図８】実施の形態２におけるシミュレーション画像の生成手法の一例を示す図
【図９】実施の形態２における平行移動の際の顔参照点の移動の様子の一例を示す図
【図１０】実施の形態２における回転の際の顔参照点の移動の様子の一例を示す図
【図１１】実施の形態２における拡大縮小の際の顔参照点の移動の様子の一例を示す図
【図１２】実施の形態２における変形の際の顔参照点の移動の様子の一例を示す図
【図１３】実施の形態２に係るメイクアップ支援装置の動作の一例を示すフローチャート
【図１４】実施の形態２において取得される撮影画像の一例を示す図
【図１５】実施の形態２において生成される顔特徴点情報の一例を示す図
【図１６】実施の形態２における生成される顔参照点情報の一例を示す図
【図１７】実施の形態２において生成されるシミュレーション画像の一例を示す図
【図１８】実施の形態２において生成される修正後のシミュレーション画像の一例を示す図
【図１９】実施の形態２において記録される修正情報の一例を示す図
【図２０】実施の形態２における他のユーザの顔のシミュレーション画像の一例を示す図
【発明を実施するための形態】
【００１７】
以下、本開示の各実施の形態について、図面を参照して詳細に説明する。
【００１８】
（実施の形態１）
本開示の実施の形態１は、本開示の基本的態様の一例である。
【００１９】
図１は、本実施の形態に係るメイクアップ支援装置の構成の一例を示すブロック図である。
【００２０】
図１において、メイクアップ支援装置１００は、メイクアップ提示部２７０、メイクアップ修正部２９０、および修正情報記録部３００を有する。
【００２１】
メイクアップ提示部２７０は、顔を撮影した画像に、顔に対してメイクアップを適用したときのメイクアップの状態を示すメイクアップ画像を重畳して得られる、シミュレーション画像を生成する。
【００２２】
メイクアップ修正部２９０は、ユーザから、生成されたシミュレーション画像に含まれるメイクアップ画像に対する修正を受け付ける。
【００２３】
修正情報記録部３００は、修正後のメイクアップ画像の領域を、顔特徴点に対する相対位置を用いて示す、修正情報を記録する。
【００２４】
メイクアップ支援装置１００は、図示しないが、例えば、ＣＰＵ（Ｃｅｎｔｒａｌ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ）、制御プログラムを格納したＲＯＭ（Ｒｅａｄ  Ｏｎｌｙ  Ｍｅｍｏｒｙ）等の記憶媒体、およびＲＡＭ（Ｒａｎｄｏｍ  Ａｃｃｅｓｓ  Ｍｅｍｏｒｙ）等の作業用メモリを有する。この場合、上記した各部の機能は、ＣＰＵが制御プログラムを実行することにより実現される。
【００２５】
このようなメイクアップ支援装置１００は、あるユーザによって創作された修正メイクアップのメイクアップ画像の領域を、顔特徴点に対する相対位置を用いて記録することができる。顔特徴点は、通常、顔部品の大きさ、形状、および配置の個人差によらずに、顔から取得することができる情報である。したがって、メイクアップ支援装置１００は、あるユーザによって創作された修正メイクアップを他のユーザにも簡単に適用することを可能にする。
【００２６】
（実施の形態２）
本開示の実施の形態２は、本開示の具体的態様の一例である。本実施の形態は、本開示を、デジタルビデオカメラおよびタッチパネル付きのディスプレイを備えた装置に適用した例である。
【００２７】
＜用語の説明＞
まず、本実施の形態において用いられる用語について説明する。
【００２８】
「顔部品」とは、目、眉、鼻、頬（ほお）骨、唇、輪郭等、顔を構成する部分を指すものとする。
【００２９】
「顔部品ＩＤ」とは、顔部品の識別情報である。
【００３０】
「顔特徴点」とは、画像上あるいは実空間上の、眉頭、眉尻、目頭、および目尻等、顔部品の特徴点である。
【００３１】
「顔特徴点ＩＤ」とは、顔特徴点の識別情報である。
【００３２】
「メイクアップ」とは、アイブロウやアイシャドウ等の、顔部品の特徴の印象を補正して審美性の向上を図るメイクアップの仕方（種類）を示し、色素の色、塗布濃度、および塗布範囲を少なくとも含む。
【００３３】
「メイクアップ情報」とは、メイクアップの内容を示す情報であり、少なくとも、顔画像から、顔にメイクアップを施したときの画像を生成するために必要な情報（顔の色との差分を示す情報）を含む。
【００３４】
「メイクアップ種別」とは、「ファンデーション」、「アイブロウ」、「アイシャドウ」、「口紅」、および「チーク」等、少なくとも顔部品との位置関係により区別されるメイクアップの種類である。
【００３５】
「メイクアップID」とは、メイクアップの識別情報である。
【００３６】
「メイクアップ画像」とは、顔にメイクアップを適用したときのメイクアップの状態を示す画像である。
【００３７】
＜メイクアップ支援装置の構成＞
次に、本実施の形態に係るメイクアップ支援装置の構成について説明する。
【００３８】
図２は、本実施の形態に係るメイクアップ支援装置の構成の一例を示すブロック図である。
【００３９】
図２において、メイクアップ支援装置１００は、撮影部２１０、画像取得部２２０、特徴点取得部２３０、参照点設定部２４０、メイクアップ情報格納部２５０、メイクアップ選択部２６０、メイクアップ提示部２７０、表示部２８０、メイクアップ修正部２９０、および修正情報記録部３００を有する。
【００４０】
撮影部２１０は、例えばデジタルビデオカメラであり、メイクアップシミュレーションの対象となる顔の映像を撮影する。そして、撮影部２１０は、撮影した映像を、画像取得部２２０へ出力する。映像は、時系列の複数の画像（フレーム画像）により構成される。なお、本実施の形態において、メイクアップシミュレーションの対象となる顔は、メイクアップ支援装置１００のユーザの顔であるものとする。
【００４１】
画像取得部２２０は、入力された映像から、映像を構成する画像を順次取得する。そして、画像取得部２２０は、取得した画像（以下「撮影画像」という）を、メイクアップ提示部２７０および特徴点取得部２３０へ出力する。なお、画像取得部２２０は、鏡を見ながらメイクアップを行っている感覚をユーザに与えるため、撮影画像に対して左右反転させる画像処理を行うことが望ましい。また、撮影画像は、メイクアップシミュレーションの対象となる顔の画像の部分（以下「顔画像」という）を含む。
【００４２】
特徴点取得部２３０は、入力された撮影画像から、各顔部品の顔特徴点を取得する。顔特徴点の取得は、例えば、撮影画像の各部分領域と、予め用意され、顔特徴点の位置が設定された、各顔部品のテンプレート画像とのマッチングにより行われる（例えば、特許文献３参照）。そして、特徴点取得部２３０は、顔特徴点情報を、参照点設定部２４０へ出力する。ここで、顔特徴点情報とは、取得された各顔特徴点の識別情報および位置を示す情報である。顔特徴点の詳細については、後述する。
【００４３】
なお、顔画像は、顔を正面から撮影した画像とは限らない。このため、メイクアップ支援装置１００は、ユーザの顔の向きに応じて顔部品のテンプレート画像を適宜変形し、変形後のテンプレート画像と撮影画像とのマッチングを行うようにしてもよい。この場合、メイクアップ支援装置１００は、例えば、撮影画像から、撮影画像に含まれる顔の向きを検出する検出部を備える。これにより、メイクアップ支援装置１００は、ユーザの顔の動きに柔軟に追随して、顔画像から、顔特徴点の取得を行うことができる。
【００４４】
参照点設定部２４０は、撮影画像から取得された顔特徴点を基準として、予め定められたルールに基づいて、顔画像に顔参照点を設定する。ここで、顔参照点とは、メイクアップ画像の領域の位置を決定するための点であり、後述のメイクアップ参照点の合わせ込みの対象となる点である。そして、参照点設定部２４０は、顔参照点情報を、メイクアップ提示部２７０およびメイクアップ修正部２９０へ出力する。ここで、顔参照点情報とは、設定された顔参照点の識別情報および位置を示す情報である。
【００４５】
なお、本実施の形態において、参照点設定部２４０は、顔参照点の初期位置を、顔特徴点の位置に設定する。そして、参照点設定部２４０は、後述のメイクアップ修正部２９０から修正情報が入力された場合（つまり、修正が設定された後）、修正情報に従って、顔参照点の位置を設定し直す。
【００４６】
メイクアップ情報格納部２５０は、メイクアップテーブルおよびメイクアップ情報テーブルを格納している。メイクアップテーブルは、顔全体のメイクアップのパターンである複数のメイクアップパターンを定義する。メイクアップ情報テーブルは、メイクアップパターンを構成するメイクアップ種別毎に、メイクアップ情報を記述している。メイクアップ情報は、メイクアップの内容を、顔部品の領域（顔特徴点の位置）と関連付けて記述した情報である。メイクアップテーブルおよびメイクアップ情報テーブルの内容の詳細については、後述する。
【００４７】
本実施の形態において、メイクアップ情報は、メイクアップの内容を顔特徴点と関連付けて記述した情報である。より具体的には、メイクアップ情報は、後述の修正が行われる前のデフォルトのメイクアップ画像の領域を、顔特徴点に対する相対位置を用いて示す情報である。更に具体的には、メイクアップ情報は、メイクアップ画像の領域に対するメイクアップ参照点の位置を示す情報である。ここで、メイクアップ参照点とは、メイクアップ画像に対する顔画像に設定された顔参照点への合わせ込みの対象となる点である。すなわち、顔参照点およびメイクアップ参照点は、顔画像に対するメイクアップ画像の領域の位置の基準点である。
【００４８】
メイクアップ選択部２６０は、ユーザから、メイクアップ情報テーブルに記述された複数のメイクアップから１つを選択する選択操作を受け付ける。かかる選択操作は、例えば、上述のタッチパネル付きディスプレイを介して行われる。そして、メイクアップ選択部２６０は、選択された表示メイクアップを、選択されたメイクアップのメイクアップ情報を、メイクアップ情報テーブルから取得し、メイクアップ提示部２７０へ出力する。
【００４９】
メイクアップ提示部２７０は、メイクアップ情報に基づき、選択されたメイクアップのメイクアップ画像を重畳して得られる、シミュレーション画像を生成する。より具体的には、メイクアップ提示部２７０は、メイクアップ画像のメイクアップ参照点の位置を、設定された顔参照点の位置に合わせ込むことにより、顔画像に対するメイクアップ画像の領域を決定する。そして、メイクアップ提示部２７０は、生成したシミュレーション画像を、表示部２８０へ出力する。シミュレーション画像の生成手法の詳細については、後述する。
【００５０】
表示部２８０は、例えば、上述のタッチパネル付きディスプレイのディスプレイ部分を含む。表示部２８０は、入力されたシミュレーション画像の画像データに基づき、シミュレーション画像を表示する。より具体的には、表示部２８０は、撮影された映像に沿って、シミュレーション画像を順次表示する。
【００５１】
メイクアップ修正部２９０は、例えば、上述のタッチパネル付きディスプレイを介して、ユーザから、生成されたシミュレーション画像に含まれるメイクアップ画像に対する修正を受け付ける。修正は、メイクアップ画像の、平行移動、回転、拡大、縮小、および変形のうち少なくとも１つを含む。メイクアップ修正部２９０は、修正情報を生成し、修正情報記録部３００および参照点設定部２４０へ出力する。
【００５２】
ここで、修正情報は、修正後のメイクアップ画像の領域を、顔特徴点に対する相対位置を用いて示す情報であり、参照点差分情報を含む。ここで、参照点差分情報とは、顔参照点がデフォルトの位置からどのように移動したかを示す情報である。より具体的には、参照点差分情報は、顔座標系を用いて、修正後のメイクアップ画像の領域のメイクアップ参照点の位置（顔参照点の位置）の、顔参照点のデフォルト位置に対する差分を示す情報である。顔座標系の詳細、およびメイクアップ画像の修正手法についての詳細は、後述する。
【００５３】
修正情報記録部３００は、入力された修正情報を記録する。より具体的には、修正情報記録部３００は、修正情報を、メイクアップ支援装置１００以外の装置のユーザが利用可能な記憶媒体に保存する。かかる記録は、例えば、インターネット等の通信ネットワークに接続し、通信ネットワーク上の共用サーバに送信することにより行われる。
【００５４】
なお、メイクアップ支援装置１００は、図示しないが、例えば、ＣＰＵ、制御プログラムを格納したＲＯＭ等の記憶媒体、およびＲＡＭ等の作業用メモリを有する。この場合、上記した各部の機能は、ＣＰＵが制御プログラムを実行することにより実現される。
【００５５】
このようなメイクアップ支援装置１００は、あるユーザによって創作された修正メイクアップのメイクアップ画像の領域を、顔特徴点に対する相対位置を用いて記録することができる。
【００５６】
次に、顔特徴点、顔座標系、メイクアップテーブルの内容、メイクアップ情報テーブルの内容、シミュレーション画像の生成手法、メイクアップ画像の修正手法、および修正情報の内容の詳細について、順に説明する。
【００５７】
＜顔特徴点＞
図３は、顔特徴点の一例を示す図である。
【００５８】
図３に示すように、顔画像（一部のみ図示する）４１１からは、例えば、顔部品毎に複数ずつ、顔特徴点４１２（図中、丸に十字の印で示す）が抽出される。顔特徴点４１２は、主に、顔部品のエッジ、鋭角部、中央部などに位置している。顔特徴点４１２の配置は、顔によって異なる。
【００５９】
＜顔座標系＞
図４は、顔座標系の一例を示す図である。
【００６０】
図４に示すように、顔座標系４２１は、例えば、左目の中心４２２および右目の中心４２３を通る軸をＸ軸とし、Ｘ軸に直交し、かつ、左目の中心４２２と右目の中心４２３との間の中点を通る軸をＹ軸とする座標系である。なお、顔座標系の単位長さは、左目の中心と右目の中心との間の距離を基準とした長さ等、複数の顔特徴点の間の距離に比例した長さであることが望ましい。
【００６１】
なお、顔座標系は、図４に示す例に限定されない。例えば、顔座標系は、鼻先と右目の目尻とを通る軸と、鼻先と左目の目尻とを通る軸によって定義されてもよい。また、これらの軸は、チーク、アイシャドウ、アイブロウなどのメイクアップ種別毎に、それぞれ個別に定義されてもよい。
【００６２】
＜メイクアップテーブルの内容＞
図５は、メイクアップ情報格納部２５０が格納するメイクアップテーブルの内容の一例を示す図である。
【００６３】
図５に示すように、メイクアップテーブル４３０は、メイクアップパターン４３１と、メイクアップID４３２とを、対応付けて記述している。メイクアップパターン４３１は、ここでは簡略化して図示しているが、具体的には、例えば、「キュート」、「クール」等の、メイクアップに関するイメージを表すテキスト情報を含む。
【００６４】
メイクアップ選択部２６０は、例えば、メイクアップパターン４３１の「キュート」、「クール」等のテキスト情報を、選択肢として表示することにより、上述のメイクアップの選択操作をユーザから受け付ける。
【００６５】
＜メイクアップ情報テーブルの内容＞
図６は、メイクアップ情報格納部２５０が格納するメイクアップ情報テーブルの内容の一例を示す図である。
【００６６】
図６に示すように、メイクアップ情報テーブル４４０は、例えば、メイクアップID４４１、メイクアップ種別４４２、色４４３、濃度４４４、および範囲４４５を、対応付けて記述している。これらは、メイクアップ情報を構成する。
【００６７】
メイクアップID４４１は、メイクアップテーブル４３０のメイクアップID４３２（図５参照）に対応している。メイクアップ種別４４２は、ここでは簡略化して図示しているが、具体的には、「アイブロウ」、「ファンデーション」、「アイシャドウ」、「口紅」、および「チーク」等である。
【００６８】
色４４３、濃度４４４、および範囲４４５の組は、少なくとも、メイクアップが施された状態を画像化するのに必要な情報を含む。
【００６９】
色４４３は、ここでは簡略化して図示しているが、具体的には、ＲＧＢ値および光沢度等である。濃度４４４は、ここでは簡略化して図示しているが、具体的には、顔画像の上に重畳する際の透過度およびグラデーションの仕方等である。範囲４４５は、ここでは簡略化して図示しているが、具体的には、１つまたは複数のメイクアップ参照点に対する塗布領域の相対的な範囲である。
【００７０】
図７は、左目のアイシャドウの範囲４４５（図６参照）の具体的内容の一例を示す図である。
【００７１】
図７に示すように、左目のアイシャドウの範囲４４５は、３つのメイクアップ参照点４５１と、メイクアップ参照点４５１に対する相対位置が設定された塗布領域４５２との組み合わせから成る。これらの相対位置関係は、例えば、メイクアップ参照点４５１を基準とする座標系を用いて、定義される。
【００７２】
なお、メイクアップの流行の変化は速く、提示すべきメイクアップの変化も速い。このため、メイクアップテーブル４３０およびメイクアップ情報テーブル４４０は、例えば、メイクアップ支援装置１００に備えられた通信回路（図示せず）を介して、インターネット上のサーバから定期的に更新されることが望ましい。また、図５に示すメイクアップテーブル４３０および図６に示すメイクアップ情報テーブル４４０は、１つのテーブルに統合されていてもよい。
【００７３】
＜シミュレーション画像の生成手法＞
図８は、シミュレーション画像の生成手法の一例を示す図である。
【００７４】
図８に示すように、図７に示す３つのメイクアップ参照点４５１に対応する３つの顔参照点４５３が、顔画像に対して設定されたとする。
【００７５】
メイクアップ提示部２７０は、３つの顔参照点４５３に対する塗布領域４５２の相対位置を保持したままで、３つのメイクアップ参照点４５１のそれぞれを、対応する３つの顔参照点４５３に合わせ込む処理（以下「参照点合わせ込み処理」という）を行う。
【００７６】
３つの顔参照点４５３の相対位置関係（三角形４５４の形状）は、３つのメイクアップ参照点４５１の相対位置関係（三角形４５５の形状）と一致しているとは限らない。また、顔画像の解像度と、メイクアップ情報が示すデフォルトのメイクアップ画像の解像度とを合わせたときに、３つの顔参照点４５３の間の相対距離（三角形４５４の大きさ）は、３つのメイクアップ参照点４５１の間の相対距離（三角形４５５の大きさ）と一致しているとは限らない。
【００７７】
そこで、メイクアップ提示部２７０は、これらの相対位置関係あるいは相対距離が異なる場合、塗布領域４５２を、アフィン変換等の公知の画像処理技術を用いて拡大、縮小、あるいは変形することにより、参照点合わせ込み処理を行う。
【００７８】
そして、メイクアップ提示部２７０は、参照点合わせ込み処理を行った後の塗布領域４５２を用いてメイクアップ画像を生成する。そして、メイクアップ提示部２７０は、顔画像に、参照点合わせ込み処理を行った後の塗布領域を用いて、選択されたメイクアップのメイクアップ画像の重畳を行って、シミュレーション画像を生成する。メイクアップ画像は、例えば、顔部品情報とメイクアップ情報とに基づいて生成される。
【００７９】
なお、シミュレーション画像における画像の重畳は、例えば、アルファ（α）ブレンド処理等の公知の画像合成処理により行われる。この場合のα値は、メイクアップの濃度に応じた値に設定される。アルファブレンド処理は、例えば、以下の式（１）〜（３）で表される。ここで、ｒ１、ｇ１、ｂ１は、撮影画像の任意の領域のＲＧＢ値である。また、ｒ２、ｇ２、ｂ２は、メイクアップ画像の任意の領域のＲＧＢ値である。そして、Ｒ、Ｇ、Ｂは、シミュレーション画像の対応する領域のＲＧＢ値である。
【００８０】
Ｒ  ＝  ｒ２×α＋ｒ１×（１−α）      ・・・（１）
Ｇ  ＝  ｇ２×α＋ｇ１×（１−α）      ・・・（２）
Ｂ  ＝  ｂ２×α＋ｂ１×（１−α）      ・・・（３）
また、メイクアップのそれぞれに、顔に重ねて塗布する場合の順序（以下「塗布順序」という）が設定されており、かつ、メイクアップ画像が、濃度に応じた密度の網掛け画像であったとする。塗布順序は、例えば、チークの塗布が、ファンデーションの塗布の後にすべきものであるということを規定する。この場合、メイクアップ提示部２７０は、画像の重畳を、眉消去顔画像に対して、各メイクアップ画像を塗布順序に応じた順序で上塗り処理することにより、行ってもよい。
【００８１】
なお、メイクアップ提示部２７０は、アイブロウを含むメイクアップシミュレーションを行う場合、撮影画像から眉を消去した画像を用いて、シミュレーション画像を生成することが望ましい。撮影画像から眉を消去する技術としては、特許文献４に記載の技術等の、公知の画像処理技術を採用することができる。
【００８２】
＜メイクアップ画像の修正手法＞
メイクアップ修正部２９０は、まず、シミュレーション画像に表示されているメイクアップの中から、修正の対象となるメイクアップを選択する。そして、メイクアップ修正部２９０は、平行移動、回転、拡大縮小、および変形という、修正種別の中から、実行する修正種別を選択する。更に、メイクアップ修正部２９０は、選択された修正種別について、修正の程度を決定する。なお、修正を行う修正種別の順序は、予め定められていてもよいし、ユーザが任意に選択することが可能であってもよい。
【００８３】
メイクアップ修正部２９０は、これらの、メイクアップの選択、修正種別の選択、および修正の程度の決定を、上述のタッチパネルディスプレイを介して、ユーザから受け付ける。具体的には、メイクアップ修正部２９０は、まず、メイクアップの選択肢および修正種別の選択肢を表示する。そして、メイクアップ修正部２９０は、メイクアップおよび修正種別が選択されると、顔参照点に対するドラッグ操作を受け付ける。なお、メイクアップ修正部２９０は、シミュレーション画像に、顔参照点の位置をマーカによって表示することが望ましい。そして、メイクアップ修正部２９０は、修正の完了を示す所定の操作が行われたとき、顔参照点の初期状態からの差分を示す修正情報を生成する。
【００８４】
図９は、平行移動の際の顔参照点の移動の様子の一例を示す図である。
【００８５】
平行移動が選択され、複数の顔参照点４５３のうちのいずれかに対してドラッグ操作が行われたとする。この場合、メイクアップ修正部２９０は、ドラッグ操作が行われた顔参照点４５３の移動方向および移動量を取得する。そして、図９に示すように、メイクアップ修正部２９０は、修正の対象となっているメイクアップの他の全ての顔参照点４５３を、ドラッグ操作が行われた顔参照点４５３と同一の移動方向および同一の移動量にて、移動させる。
【００８６】
平行移動の分解能は、例えば、右目の中心と左目の中心との間の距離の１００分の１である。また、初期状態からの最大の移動量は、例えば、右目の中心と左目の中心との間の距離である。
【００８７】
平行移動は、例えば、平行移動後の顔参照点４５３の、初期位置に対する顔座標系における差分ΔＸ、ΔＹにより表される。
【００８８】
図１０は、回転の際の顔参照点の移動の様子の一例を示す図である。
【００８９】
回転が選択され、複数の顔参照点４５３のうちのいずれかに対してドラッグ操作が行われたとする。この場合、メイクアップ修正部２９０は、ドラッグ操作が行われた顔参照点４５３の、予め定められた修正基準点４６１に対する回転方向および回転角を取得する。そして、図１０に示すように、メイクアップ修正部２９０は、修正の対象となっているメイクアップの他の全ての顔参照点４５３を、上記修正基準点４６１に対して、同一の回転方向および同一の回転角にて、回転させる。
【００９０】
回転の分解能は、例えば、０.０１度である。また、初期状態からの最大の回転角は、±４５度である。
【００９１】
回転は、例えば、平行移動後の顔参照点４５３の、初期位置に対する反時計廻りの回転角θにより表される。
【００９２】
図１１は、拡大縮小の際の顔参照点の移動の様子の一例を示す図である。
【００９３】
拡大縮小が選択され、複数の顔参照点４５３のうちのいずれかに対してドラッグ操作が行われたとする。この場合、メイクアップ修正部２９０は、ドラッグ操作が行われた顔参照点４５３の、予め定められた修正基準点４６１からのＸ軸方向距離およびＹ軸方向距離を取得する。そして、メイクアップ修正部２９０は、初期状態に対する修正基準点４６１からのＸ軸方向距離の拡大縮小率ＲＸ、および、初期状態に対する修正基準点４６１からのＹ軸方向距離の拡大縮小率ＲＹを取得する。そして、図１１に示すように、メイクアップ修正部２９０は、修正の対象となっているメイクアップの他の全ての顔参照点４５３の上記修正基準点４６１からの距離を、同一の拡大縮小率で変化させる。
【００９４】
拡大縮小の分解能は、例えば、１％である。また、拡大縮小の範囲は、５０％〜２００％である。
【００９５】
図１２は、変形の際の顔参照点の移動の様子の一例を示す図である。
【００９６】
変形が選択され、複数の顔参照点４５３のうちのいずれかに対してドラッグ操作が行われたとする。この場合、メイクアップ修正部２９０は、修正の対象となっているメイクアップの他の顔参照点４５３については移動させずに、ドラッグ操作が行われた顔参照点４５３の移動方向および移動量を取得する。
【００９７】
変形は、例えば、ドラッグ操作が行われた顔参照点４５３の識別情報と、当該顔参照点４５３の、初期位置に対する顔座標系における差分ΔＸ、ΔＹとにより表される。
【００９８】
なお、回転および拡大縮小に必要な修正基準点４６１は、例えば、アイブロウおよびノーズシャドウにおいては眉頭の顔参照点である。上瞼アイシャドウ、下瞼アイシャドウ、上睫毛マスカラ、および下睫毛マスカラにおいては修正基準点４６１は黒目中心の顔参照点である。
【００９９】
但し、修正基準点４６１は、必ずしも顔参照点４５３の位置に一致していなくてもよい。例えば、修正基準点４６１は、顔の中心位置や、メイクアップ毎の顔参照点の重心位置としてもよい。また、修正基準点は、修正種別毎に異なっていてもよい。更に、修正基準点４６１は、ユーザによって任意に設定されてもよい。
【０１００】
また、メイクアップ修正部２９０は、アイブロウ等の左右対称のメイクアップについては、左右のメイクアップで個別に修正を受け付けてもよいし、片方のメイクアップに対して行われた修正を他方のメイクアップに反映（つまり左右で連動）させてもよい。
【０１０１】
以上のような修正を経て生成される修正情報は、例えば、各参照点に対して、Ｘ軸方向の移動量（ΔＸ）、Ｙ軸方向の移動量（ΔＹ）、回転量（θ）、Ｘ軸方向の縮尺（ＲＸ）、およびＹ軸方向の縮尺（ＲＹ）を含む。
【０１０２】
＜メイクアップ支援装置の動作＞
次に、メイクアップ支援装置１００の動作について説明する。
【０１０３】
図１３は、メイクアップ支援装置１００の動作の一例を示すフローチャートである。
【０１０４】
まず、ステップＳ１１００において、撮影部２１０は、ユーザの顔の映像の撮影を開始し、画像取得部２２０は、撮影された映像を構成する撮影画像の取得を開始する。また、特徴点取得部２３０は、撮影画像に含まれる顔の顔部品の取得を開始する。
【０１０５】
この際、特徴点取得部２３０は、例えば、撮影画像を解析することにより、撮影画像から顔の（顔部品の）特徴点を抽出する。そして、特徴点取得部２３０は、取得した顔特徴点から、顔特徴点情報を生成する。
【０１０６】
図１４は、図１３のステップＳ１１００において取得される、撮影画像の一例を示す図である。
【０１０７】
図１４に示すように、撮影画像５１０は、ユーザの顔画像５１１を含む。ユーザは、メイクアップをしていない状態である。撮影画像５１０からは、例えば、図３に示すような顔特徴点が抽出されて、顔特徴点情報が生成される。
【０１０８】
図１５は、図１３のステップＳ１１００において生成される、顔特徴点情報の一例を示す図である。
【０１０９】
図１５に示すように、顔特徴点情報５２０は、例えば、顔部品ＩＤ５２１と顔特徴点ＩＤ５２２との組み合わせ毎に、顔特徴点位置５２３および人ＩＤ５２４を記述している。
【０１１０】
顔部品ＩＤ５２１は、左目、上唇等の、顔部品の識別情報である。顔特徴点ＩＤ５２２は、眉頭の顔特徴点、目の中心の顔特徴点等の、顔特徴点の識別情報である。顔特徴点位置５２３は、顔特徴点の位置であり、例えば、顔座標系の座標値で表される。人ＩＤ５２４は、人の識別情報である。人ＩＤ５２４は、例えば、撮影が開始される毎に、タッチパネル付きディスプレイに対する操作等を介してユーザにより指定された値が、設定される。
【０１１１】
そして、図１３のステップＳ１２００において、メイクアップ選択部２６０は、メイクアップを選択し、メイクアップ情報を、メイクアップ提示部２７０へ出力する。
【０１１２】
そして、図１３のステップＳ１３００において、参照点設定部２４０は、顔特徴点情報と、予め定められたルールに基づいて、顔参照点を設定する。すなわち、参照点設定部２４０は、顔特徴点の位置を、顔参照点の初期位置として設定する。そして、参照点設定部２４０は、顔参照点情報を生成し、メイクアップ提示部２７０へ出力する。
【０１１３】
図１６は、図１３のステップＳ１３００において生成される、顔参照点情報の一例を示す図である。
【０１１４】
図１６に示すように、顔参照点情報５３０は、顔部品ＩＤ５３１と顔参照点ＩＤ５３２との組み合わせ毎に、顔参照点位置５３３、修正基準位置５３４、および人ＩＤ５３５を記述している。
【０１１５】
顔部品ＩＤ５３１および人ＩＤ５３５は、それぞれ、顔特徴点情報５２０の、顔部品ＩＤ５２１および人ＩＤ５２４に対応している。顔参照点位置５３３は、顔参照点の位置であり、例えば、顔座標系の座標値で表される。修正基準位置５３４は、修正基準点の位置であり、例えば、顔座標系の座標値で表される。
【０１１６】
そして、図１３のステップＳ１４００において、メイクアップ提示部２７０は、顔参照点情報が示す顔参照点の位置に、メイクアップ参照点を合せ込む形で、顔画像に対するメイクアップ画像の塗布領域を決定する。そして、決定された塗布領域で、メイクアップ画像を顔画像に重畳し、シミュレーション画像を生成する。そして、表示部２８０は、生成されたシミュレーション画像を表示する。
【０１１７】
図１７は、図１３のステップＳ１４００において生成される、シミュレーション画像の一例を示す図である。
【０１１８】
図１７に示すように、シミュレーション画像５４０は、顔画像５１１に、アイブロウ、アイシャドウ、アイライナー、チーク、および口紅の画像といった、メイクアップ画像５４１〜５４５を重畳した画像となっている。
【０１１９】
そして、図１３のステップＳ１５００において、メイクアップ修正部２９０は、メイクアップ画像に対する修正操作があったか否かを判断する。この修正操作は、具体的には、例えば、顔参照点に対するドラッグ操作である。メイクアップ修正部２９０は、メイクアップ画像に対する修正操作があった場合（Ｓ１５００：ＹＥＳ）、処理をステップＳ１６００へ進める。また、メイクアップ修正部２９０は、メイクアップ画像に対する修正操作がない場合（Ｓ１５００：ＮＯ）、処理を、後述のステップＳ１９００へ進める。
【０１２０】
ステップＳ１６００において、メイクアップ修正部２９０は、修正操作の内容を示す修正情報を、参照点設定部２４０へ出力する。参照点設定部２４０は、この修正情報に従って、メイクアップ参照点の位置を移動させて、修正後のシミュレーション画像を生成する。
【０１２１】
図１８は、図１３のステップＳ１６において生成される、修正後のシミュレーション画像の一例を示す図である。
【０１２２】
例えば、図１８に示すように、顔参照点は、アイシャドウ５４２の塗布領域が上外側へ拡大するように、ドラッグされる。
【０１２３】
そして、図１３のステップＳ１７００において、メイクアップ修正部２９０は、修正内容を記録する操作（以下「記録操作」という）が行われたかどうかを判定する。この記録操作は、例えば、所定のアイコンのクリック操作である。メイクアップ修正部２９０は、記録操作が行われていない場合（Ｓ１７００：ＮＯ）、処理を、後述のステップＳ１９００へ進める。また、メイクアップ修正部２９０は、記録操作が行われた場合（Ｓ１７００：ＹＥＳ）、処理をステップＳ１８００へ進める。
【０１２４】
ステップＳ１８００において、メイクアップ修正部２９０は、その時点における修正内容を示す修正情報を、メイクアップ支援装置１００以外の装置のユーザが利用可能な記憶媒体に保存（記録）する。
【０１２５】
図１９は、図１３のステップＳ１８００において記録される、修正情報の一例を示す図である。
【０１２６】
図１９に示すように、修正情報５５０は、顔部品ＩＤ５５１と顔参照点ＩＤ５５２との組み合わせ毎に、位置の差分５５３および人ＩＤ５５４を記述している。
【０１２７】
部品ＩＤ５５１、顔参照点ＩＤ５５２、および人ＩＤ５５４は、それぞれ、顔参照点情報５３０の、顔部品ＩＤ５３１、顔参照点ＩＤ５３２、および人ＩＤ５３５に対応している。位置の差分５５３は、例えば、上述の、Ｘ軸方向の移動量（ΔＸ）、Ｙ軸方向の移動量（ΔＹ）、回転量（θ）、Ｘ軸方向の縮尺（ＲＸ）、およびＹ軸方向の縮尺（ＲＹ）である。
【０１２８】
そして、図１３のステップＳ１９００において、画像取得部２２０は、映像の入力が継続しているか否かを判断する。画像取得部２２０は、映像の入力が継続している場合（Ｓ１９００：ＹＥＳ）、処理をステップＳ１３００へ戻し、次の撮影画像へと処理を移す。また、画像取得部２２０は、映像の入力が終了した場合（Ｓ１９００：ＮＯ）、一連の処理を終了する。
【０１２９】
このような処理により、あるユーザによって創作された修正メイクアップの修正情報が、記録される。修正情報は、上述の通り、メイクアップ画像の修正内容を、顔特徴点に対する相対位置を用いて記述した情報である。したがって、例えば、他の装置において、他のユーザの顔画像に、修正情報が示す修正内容を適用したメイクアップ画像を合成して、シミュレーション画像を生成することが可能となる。
【０１３０】
この場合、他の装置がシミュレーション画像を生成する手順は、例えば、メイクアップ支援装置１００がシミュレーション画像を生成する手順と同一である。他の装置（他のメイクアップ支援装置）は、メイクアップ支援装置１００によって記録された修正情報を取得する修正取得部を有する必要がある。そして、他の装置は、取得された修正情報に基づいて、他の顔を撮影した画像に、修正後のメイクアップ画像を重畳して得られる、他のシミュレーション画像を生成するメイクアップ提示部を有する必要がある。
【０１３１】
なお、修正情報が適用されるメイクアップは、修正の対象となったメイクアップと同一のメイクアップであってもよいし、修正の対象となったメイクアップとは別のメイクアップであってもよい。例えば、修正の対象となったメイクアップとは色が異なるメイクアップに対して、修正情報を適用してもよい。
【０１３２】
図２０は、記録された修正情報を他のユーザの顔に適用したときのシミュレーション画像の一例を示す。
【０１３３】
図２０に示すように、修正メイクアップが創作されたシミュレーション画像の顔とは別の顔の顔画像５６１であっても、その創作された修正メイクアップを適用することができる。すなわち、アイシャドウ５６２は、顔画像５６１に適合しており、かつ、元の修正メイクアップと同じように塗布領域が上外側へ拡大している。
【０１３４】
以上のように、本実施の形態に係るメイクアップ支援装置１００は、あるユーザによって創作された修正メイクアップのメイクアップ画像の領域を、顔特徴点に対する相対位置を用いて記録することができる。顔特徴点は、通常、顔部品の大きさ、形状、および配置の個人差によらずに、顔から取得することができる情報である。したがって、このようなメイクアップ支援装置１００は、あるユーザによって創作された修正メイクアップを他のユーザにも簡単に適用することを可能にする。
【０１３５】
なお、メイクアップ支援装置１００は、複数のメイクアップ支援装置１００を含み、当該複数のメイクアップ支援装置１００の間で修正情報を共用する、メイクアップ支援システムを構成してもよい。
【０１３６】
この場合、メイクアップ支援システムは、上述の、通信ネットワーク上に配置されたサーバを有し、当該サーバに、各メイクアップ支援装置１００で生成された修正情報を収集し、蓄積することが望ましい。
【０１３７】
また、この場合、サーバは、収集された修正情報から、メイクアップのトレンドを解析し、解析結果に基づいて、各メイクアップ支援装置１００のユーザに対し、修正メイクアップを提案するようにしてもよい。また、サーバは、解析結果に基づいて、メイクアップ情報を生成し、各メイクアップ支援装置１００に配布してもよい。
【０１３８】
＜修正情報の他の形態＞
なお、修正情報の形態は、上述の例に限定されない。例えば、修正情報は、メイクアップ参照点を移動させ、デフォルトのメイクアップ参照点の位置に対する移動後のメイクアップ参照点の位置の差分を示すものであってもよい。
【０１３９】
＜メイクアップの他の選択手法＞
また、メイクアップの選択手法は、上述の例に限定されない。例えば、メイクアップ選択部２６０は、顔の特徴に適したメイクアップを自動で選択してもよいし、流行のメイクアップを自動で選択してもよい。
【０１４０】
＜その他の構成の変形例＞
また、上述の各種テーブルは、必ずしもメイクアップ支援装置１００に格納されていなくてもよい。例えば、メイクアップ支援装置１００がネットワークに接続可能である場合、メイクアップ支援装置１００は、上記テーブルが格納されたネットワーク上のサーバにアクセスして、メイクアップを選択すればよい。
【０１４１】
また、メイクアップ支援装置１００は、例えば、図２に示す機能部のうち、撮影部２１０および表示部２８０のみをユーザの所持する端末に配置し、他の装置部をネットワーク上のサーバ上に配置する等、分散配置型のシステムであってもよい。
【０１４２】
また、メイクアップ支援装置１００は、外光を検出し、画像から、外光の影響を軽減した状態で、顔特徴点の取得を行うようにしてもよい。
【０１４３】
また、メイクアップ支援装置１００は、メイクアップに必要な化粧品の情報を、シミュレーション画像と併せてユーザに提示してもよい。
【０１４４】
本開示のメイクアップ支援装置は、顔を撮影した画像に、前記顔に対してメイクアップを適用したときの状態を示すメイクアップ画像を重畳して得られる、シミュレーション画像を生成するメイクアップ提示部と、ユーザから、生成された前記シミュレーション画像に含まれる前記メイクアップ画像に対する修正を受け付けるメイクアップ修正部と、修正後の前記メイクアップ画像の領域を、顔特徴点に対する相対位置を用いて示す、修正情報を記録する修正情報記録部と、を有する。
【０１４５】
なお、上記メイクアップ支援装置は、前記画像を取得する画像取得部と、取得された前記画像から、顔特徴点を取得する特徴点取得部と、生成された前記シミュレーション画像を表示する表示部と、を更に有してもよい。
【０１４６】
また、上記メイクアップ支援装置において、前記修正情報記録部は、前記修正情報を、前記メイクアップ支援装置以外の装置のユーザが利用可能な記憶媒体に保存してもよい。
【０１４７】
また、上記メイクアップ支援装置は、修正前の前記メイクアップ画像の領域を前記顔特徴点に対する相対位置を用いて示す、メイクアップ情報を格納するメイクアップ情報格納部、を更に有し、前記修正情報は、修正前の前記メイクアップ画像の領域を示す情報と、修正後の前記メイクアップ画像の領域の修正前の前記メイクアップ画像の領域に対する差分を示す情報と、を含んでもよい。
【０１４８】
また、上記メイクアップ支援装置において、前記修正は、前記メイクアップ画像の、平行移動、回転、拡大、縮小、および変形のうち少なくとも１つを含み、前記メイクアップ情報は、前記顔特徴点に対する修正前の前記メイクアップ画像の領域の前記相対位置を示す情報を含み、前記修正情報は、前記顔特徴点の配置に基づく顔座標系を用いて、修正前の前記メイクアップ画像の領域に対する修正後の前記メイクアップ画像の領域の差分を示す情報を含んでもよい。
【０１４９】
また、上記メイクアップ支援装置において、前記メイクアップ情報は、前記メイクアップ画像の領域に対して設定された、前記画像に設定される顔参照点への合わせ込みの対象となるメイクアップ参照点の位置、を示す情報を含み、取得された前記顔特徴点を基準として、前記画像に顔参照点を設定する参照点設定部、を更に有し、前記メイクアップ提示部は、前記メイクアップ画像の前記メイクアップ参照点の位置を、設定された顔参照点の位置に合わせ込むことにより、前記画像に対する前記メイクアップ画像の領域を決定し、前記修正情報は、前記顔座標系を用いて、修正後の前記メイクアップ画像の領域の前記メイクアップ参照点の位置の、前記顔参照点の前記デフォルト位置に対する差分を示す情報を含んでもよい。
【０１５０】
また、上記メイクアップ支援装置は、前記顔の映像を撮影する撮影部、を更に有し、前記画像取得部は、前記映像を構成する画像を取得し、前記表示部は、前記映像に沿って、前記シミュレーション画像を順次表示し、前記参照点設定部は、前記修正が設定された後、前記修正情報に従って前記顔参照点の位置を設定してもよい。
【０１５１】
本開示のメイクアップ支援システムは、第１のメイクアップ支援装置および第２のメイクアップ支援装置を含むメイクアップ支援システムであって、前記第１のメイクアップ支援装置は、第１の顔を撮影した第１の画像に、前記第１の顔に対してメイクアップを適用したときの状態を示すメイクアップ画像を重畳して得られる、第１のシミュレーション画像を生成する第１のメイクアップ提示部と、ユーザから、生成された前記第１のシミュレーション画像に含まれる前記メイクアップ画像に対する修正を受け付けるメイクアップ修正部と、修正後の前記メイクアップ画像の領域を、顔特徴点に対する相対位置を用いて示す、修正情報を記録する修正情報記録部と、を有し、前記第２のメイクアップ支援装置は、記録された前記修正情報を取得する修正取得部と、取得された前記修正情報に基づいて、第２の顔を撮影した第２の画像に、修正後の前記メイクアップ画像を重畳して得られる、第２のシミュレーション画像を生成する第２のメイクアップ提示部と、を有する。
【０１５２】
本開示のメイクアップ支援方法は、顔を撮影した画像に、前記顔に対してメイクアップを適用したときの状態を示すメイクアップ画像を重畳して得られる、シミュレーション画像を生成するステップと、ユーザから、生成された前記シミュレーション画像に含まれる前記メイクアップ画像に対する修正を受け付けるステップと、修正後の前記メイクアップ画像の領域を、顔特徴点に対する相対位置を用いて示す、修正情報を記録するステップと、を有する。
【０１５３】
本開示のメイクアップ支援プログラムは、コンピュータに、顔を撮影した画像に、前記顔に対してメイクアップを適用したときの状態を示すメイクアップ画像を重畳して得られる、シミュレーション画像を生成する処理と、ユーザから、生成された前記シミュレーション画像に含まれる前記メイクアップ画像に対する修正を受け付ける処理と、修正後の前記メイクアップ画像の領域を、顔特徴点に対する相対位置を用いて示す、修正情報を記録する処理と、を実行させる。
【産業上の利用可能性】
【０１５４】
本開示は、あるユーザによって創作された修正メイクアップを他のユーザにも簡単に適用することを可能にする、メイクアップ支援装置、メイクアップ支援システム、メイクアップ支援方法、およびメイクアップ支援プログラムとして有用である。
【符合の説明】
【０１５５】
１００  メイクアップ支援装置
２１０  撮影部
２２０  画像取得部
２３０  特徴点取得部
２４０  参照点設定部
２５０  メイクアップ情報格納部
２６０  メイクアップ選択部
２７０  メイクアップ提示部
２８０  表示部
２９０  メイクアップ修正部
３００  修正情報記録部
【図１】
2015029372.tif 000003
【図２】
2015029372.tif 000004
【図３】
2015029372.tif 000005
【図４】
2015029372.tif 000006
【図５】
2015029372.tif 000007
【図６】
2015029372.tif 000008
【図７】
2015029372.tif 000009
【図８】
2015029372.tif 000010
【図９】
2015029372.tif 000011
【図１０】
2015029372.tif 000012
【図１１】
2015029372.tif 000013
【図１２】
2015029372.tif 000014
【図１３】
2015029372.tif 000015
【図１４】
2015029372.tif 000016
【図１５】
2015029372.tif 000017
【図１６】
2015029372.tif 000018
【図１７】
2015029372.tif 000019
【図１８】
2015029372.tif 000020
【図１９】
2015029372.tif 000021
【図２０】
2015029372.tif 000022
【国際調査報告】
2015029372.tif 000023
2015029372.tif 000024
2015029372.tif 000025
2015029372.tif 000026