(57)【要約】【課題】顔映像に対し、化粧品毎に異なる特有の質感を仮想的に与えてバーチャルメイクアップを行い、ユーザの利便性を向上する。【解決手段】バーチャルメイクアップ装置は、カメラによって撮像された顔画像からバーチャルメイクアップの対象部位画像を抽出し、バーチャルメイクアップのアイテムの指定に応じて、対象部位画像に、アイテムに対応する色を塗布し、対象部位画像の一部に、アイテム毎に異なる質感成分を付与する。バーチャルメイクアップ装置は、色が塗布された対象部位画像と、対象部位画像の一部に質感成分が付与された画像と、顔画像のうちバーチャルメイクアップの対象部位画像とを用いて、顔画像にアイテムを用いたバーチャルメイクアップが施されたバーチャルメイクアップ画像を表示部に表示する。【選択図】図４
2018063681.tif 000002
【特許請求の範囲】
【請求項１】
カメラによって撮像された顔画像からバーチャルメイクアップの対象部位画像を抽出する対象部位抽出部と、
前記バーチャルメイクアップのアイテムの指定に応じて、前記対象部位画像に、指定された前記アイテムに対応する色を塗布する色塗布処理部と、
前記対象部位画像の一部に、指定された前記アイテム毎に異なる質感成分を付与する質感制御部と、
前記色塗布処理部の出力画像と、前記質感制御部の出力画像と、前記顔画像のうち前記バーチャルメイクアップの対象部位画像とを用いて、前記顔画像に前記アイテムを用いたバーチャルメイクアップが施されたバーチャルメイクアップ画像を表示部に表示する表示制御部と、を備える、
バーチャルメイクアップ装置。
【請求項２】
前記質感制御部は、前記対象部位画像の所定帯域成分の所定パラメータのピーク位置を示す画素を中心とした所定範囲の画素領域を前記対象部位画像の一部として、前記画素領域における個々の前記所定パラメータ毎の、前記アイテム毎に異なる前記所定パラメータの調整関数の出力値を用いて、前記アイテム毎に異なる質感成分を付与する、
請求項１に記載のバーチャルメイクアップ装置。
【請求項３】
前記所定範囲の画素領域は前記アイテム毎に異なる、
請求項２に記載のバーチャルメイクアップ装置。
【請求項４】
前記質感制御部は、前記対象部位画像の高帯域成分の所定パラメータに含まれるノイズ成分を抑圧する、
請求項１に記載のバーチャルメイクアップ装置。
【請求項５】
前記表示制御部は、前記色塗布処理部の出力画像に前記質感制御部の出力画像を重畳したレイヤ画像を、前記顔画像のうち前記バーチャルメイクアップの対象部位画像に重畳して、前記バーチャルメイクアップ画像を生成する、
請求項１に記載のバーチャルメイクアップ装置。
【請求項６】
カメラによって撮像された顔画像からバーチャルメイクアップの対象部位画像を抽出する処理と、
前記バーチャルメイクアップのアイテムの指定に応じて、前記対象部位画像に、指定された前記アイテムに対応する色を塗布する処理と、
前記対象部位画像の一部に、指定された前記アイテム毎に異なる質感成分を付与する処理と、
前記色が塗布された前記対象部位画像と、前記対象部位画像の一部に前記質感成分が付与された画像と、前記顔画像のうち前記バーチャルメイクアップの対象部位画像とを用いて、前記顔画像に前記アイテムを用いたバーチャルメイクアップが施されたバーチャルメイクアップ画像を表示部に表示するステップと、を有する、
バーチャルメイクアップ方法。
【請求項７】
コンピュータであるバーチャルメイクアップ装置に、
カメラによって撮像された顔画像からバーチャルメイクアップの対象部位画像を抽出する処理と、
前記バーチャルメイクアップのアイテムの指定に応じて、前記対象部位画像に、指定された前記アイテムに対応する色を塗布する処理と、
前記対象部位画像の一部に、指定された前記アイテム毎に異なる質感成分を付与する処理と、
前記色が塗布された前記対象部位画像と、前記対象部位画像の一部に前記質感成分が付与された画像と、前記顔画像のうち前記バーチャルメイクアップの対象部位画像とを用いて、前記顔画像に前記アイテムを用いたバーチャルメイクアップが施されたバーチャルメイクアップ画像を表示部に表示するステップと、を実現させるための、
バーチャルメイクアッププログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本開示は、顔画像にバーチャルなメイクアップを施すバーチャルメイクアップ装置、バーチャルメイクアップ方法及びバーチャルメイクアッププログラムに関する。
【背景技術】
【０００２】
従来、人の顔を撮影した画像に対し画像処理により仮想的な化粧（メイクアップ）を施すバーチャルメイクアップに関する技術が知られている（例えば、特許文献１参照）。特許文献１に記載の技術は、３原色の顔画像から抽出した唇領域の代表的な色の画素の色相、彩度、明度の平均値を算出し、塗り替えようとする目標口紅色と代表的な色の画素の平均値との塗り替え偏差を算出する。更に、唇領域の各画素の色相、彩度、明度に塗り替え偏差を加算して新たな画素の色相、彩度、明度を算出し、３原色の表示用に用いる画素に変換する。これにより、人の目の特性に近い色相、彩度、明度の形態で口紅の色を塗り替えた顔画像が得られる。
【０００３】
また近年、口紅が与える質感（テキスチャ感）の種類も多様に登場してきている。質感の種類としては、例えば艶や光沢の目立つ質感を与えるグロス（GLOSS）、テカリも艶もほぼ無く色味を強調する質感を与えるマット（MATTE）、透明感は無いがべたつくこともないリップクリームのような柔らかい印象の質感を与えるクリーム（CREME）等が知られている。質感の種類はこれらに限定されるものではなく、他にも多くの質感を与える口紅が登場してきている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２０００−０１１１４５号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
特許文献１の構成では、顔画像に対して化粧品（例えば口紅）を用いた仮想的なメイクアップを行える。しかしながら、顔画像に対し、上述した多様な種類の質感を個々に表現することは困難であるという課題があった。
【０００６】
本開示の目的は、顔映像に対し、化粧品毎に異なる特有の質感を仮想的に与えてバーチャルメイクアップを行い、ユーザの利便性を向上するバーチャルメイクアップ装置及びバーチャルメイクアップ方法を提供する事である。
【課題を解決するための手段】
【０００７】
本開示は、カメラによって撮像された顔画像からバーチャルメイクアップの対象部位画像を抽出する対象部位抽出部と、前記バーチャルメイクアップのアイテムの指定に応じて、前記対象部位画像に、指定された前記アイテムに対応する色を塗布する色塗布処理部と、前記対象部位画像の一部に、指定された前記アイテム毎に異なる質感成分を付与する質感制御部と、前記色塗布処理部の出力画像と、前記質感制御部の出力画像と、前記顔画像のうち前記バーチャルメイクアップの対象部位画像とを用いて、前記顔画像に前記アイテムを用いたバーチャルメイクアップが施されたバーチャルメイクアップ画像を表示部に表示する表示制御部と、を備える、バーチャルメイクアップ装置を提供する。
【０００８】
また、本開示は、カメラによって撮像された顔画像からバーチャルメイクアップの対象部位画像を抽出する処理と、前記バーチャルメイクアップのアイテムの指定に応じて、前記対象部位画像に、指定された前記アイテムに対応する色を塗布する処理と、前記対象部位画像の一部に、指定された前記アイテム毎に異なる質感成分を付与する処理と、前記色が塗布された前記対象部位画像と、前記対象部位画像の一部に前記質感成分が付与された画像と、前記顔画像のうち前記バーチャルメイクアップの対象部位画像とを用いて、前記顔画像に前記アイテムを用いたバーチャルメイクアップが施されたバーチャルメイクアップ画像を表示部に表示するステップと、を有する、バーチャルメイクアップ方法を提供する。
【０００９】
また、本開示は、コンピュータであるバーチャルメイクアップ装置に、カメラによって撮像された顔画像からバーチャルメイクアップの対象部位画像を抽出する処理と、前記バーチャルメイクアップのアイテムの指定に応じて、前記対象部位画像に、指定された前記アイテムに対応する色を塗布する処理と、前記対象部位画像の一部に、指定された前記アイテム毎に異なる質感成分を付与する処理と、前記色が塗布された前記対象部位画像と、前記対象部位画像の一部に前記質感成分が付与された画像と、前記顔画像のうち前記バーチャルメイクアップの対象部位画像とを用いて、前記顔画像に前記アイテムを用いたバーチャルメイクアップが施されたバーチャルメイクアップ画像を表示部に表示するステップと、を実現させるための、バーチャルメイクアッププログラムを提供する。
【発明の効果】
【００１０】
本開示によれば、顔映像に対し、化粧品毎に異なる特有の質感を仮想的に与えてバーチャルメイクアップを行え、ユーザの利便性を向上できる。
【図面の簡単な説明】
【００１１】
【図１】本実施の形態のバーチャルメイクアップ装置の使用状態の一例を示す図
【図２】本実施の形態におけるバーチャルメイクアップ画面の一例を示す図
【図３】本実施の形態のバーチャルメイクアップ装置の内部構成の一例を詳細に示すブロック図
【図４】本実施の形態の画像処理装置を構成するハードウェア的又はソフトウェア的な構成要素に、構成要素間のデータフローを書き加えた図
【図５】唇領域抽出部の動作手順の一例を詳細に説明するフローチャート
【図６】唇形状分析部の動作手順の一例を詳細に説明するフローチャート
【図７】唇形状分析部における形状分析の動作概要例の模式図
【図８】色塗布処理部における色塗布の動作概要例の説明図
【図９】しわ・光沢制御部の動作手順の一例を詳細に説明するフローチャート
【図１０Ａ】唇領域の水平方向における光沢付与前後の各輝度分布の一例を示すグラフ
【図１０Ｂ】唇領域の垂直方向における光沢付与前後の各輝度分布の一例を示すグラフ
【図１０Ｃ】ゲイン関数の一例を示すグラフ
【図１１Ａ】しわ・光沢制御部の出力画像の一例を示す模式図
【図１１Ｂ】ノイズ抑圧部の出力画像の一例を示す模式図
【図１２】化粧重畳処理部におけるバーチャルメイクアップ画像の生成の動作概要例の説明図
【発明を実施するための形態】
【００１２】
以下、適宜図面を参照しながら、本発明に係るバーチャルメイクアップ装置、バーチャルメイクアップ方法及びバーチャルメイクアッププログラムを具体的に開示した実施の形態（以下、「本実施の形態」という）を詳細に説明する。但し、必要以上に詳細な説明は省略する場合がある。例えば、既によく知られた事項の詳細説明や実質的に同一の構成に対する重複説明を省略する場合がある。これは、以下の説明が不必要に冗長になるのを避け、当業者の理解を容易にするためである。なお、添付図面及び以下の説明は、当業者が本開示を十分に理解するために提供されるのであって、これらにより特許請求の範囲に記載の主題を限定することは意図されていない。
【００１３】
＜装置の概要＞
先ず、本実施の形態に係るバーチャルメイクアップ装置１００の概要について、図１及び図２を参照して説明する。
【００１４】
図１は、本実施の形態のバーチャルメイクアップ装置１００の使用状態の一例を示す図である。
【００１５】
図１に示すように、バーチャルメイクアップ装置１００は、店舗等の平らな面（例えばテーブル、不図示）上に立てて置くことが可能な略直方体の筐体１１０内に収容され、例えばタッチパネル付きディスプレイ１３０を有するタブレット型端末により構成される。バーチャルメイクアップ装置１００が収容される筐体１１０の主面には、カメラ１２０が配置される。バーチャルメイクアップ装置１００の筐体１１０の左右両側には、ユーザ２００（特にユーザの顔２１０）を照明可能なＬＥＤ（Light Emission Diode）照明ＬＤ１，ＬＤ２が一体的に配置される。ＬＥＤ照明ＬＤ１，ＬＤ２は、筐体１１０と同程度の高さを有する筐体内に収容され、それぞれユーザ２００を左右両側から照明光を当てる。言い換えると、ＬＥＤ照明ＬＤ１，ＬＤ２は、筐体１１０と平行に、かつユーザ２００に向くように配置される。
【００１６】
ユーザ２００とバーチャルメイクアップ装置１００との間の相対位置は、例えばカメラ１２０の画角内にユーザの顔２１０が含まれ、ユーザ２００がタッチパネル付きディスプレイ１３０を視認でき、かつ、ユーザの指２２０がタッチパネル付きディスプレイ１３０に触れられるように、ユーザ２００によって個別に調整される。
【００１７】
カメラ１２０は、例えばオートフォーカス機能を備えたデジタルカメラであり、ユーザ２００の顔２１０を撮像する。以下、カメラ１２０により撮像された顔２１０の画像を、単に「顔画像」という。
【００１８】
タッチパネル付きディスプレイ１３０は、顔画像に対するバーチャルメイクアップを行うためのユーザインタフェースであるバーチャルメイクアップ画面３００を表示する。ここで、バーチャルメイクアップとは、ユーザ２００がバーチャルメイクアップ画面３００に表示されたアイテム（例えば口紅等の化粧品）を指定したときに、カメラ１２０により撮像された顔画像に対し、その指定されたアイテム毎の化粧（メイクアップ）を仮想的に施す画像処理のことをいう。
【００１９】
図２は、本実施の形態におけるバーチャルメイクアップ画面３００の一例を示す図である。
【００２０】
図２に示すように、バーチャルメイクアップ画面３００は、映像表示領域３１０及び操作受付領域３２０を含み、ユーザ２００のバーチャルメイクアップ装置１００に対する操作に従って、タッチパネル付きディスプレイ１３０に表示される。
【００２１】
映像表示領域３１０は、カメラ１２０により撮像された複数の顔画像の鏡像画像により構成される顔映像をリアルタイムに表示する。なお、映像表示領域３１０は、カメラ１２０により撮像された或る時点の顔２１０のスナップショット（静止画）を表示しても構わない。映像表示領域３１０は、操作受付領域３２０に対する操作に応じて、その操作に基づいて決定されたバーチャルメイクアップ画像（例えば図１２に示すバーチャルメイクアップ画像ＶＭＵ１）を、顔映像に重畳して表示する。
【００２２】
なおここで、「リアルタイム」とは、ユーザ２００が鏡を見ている感覚に近い感覚を覚える程度の小さい遅延時間を含む概念とする。また、バーチャルメイクアップ画像とは、操作受付領域３２０に対する指定によって選択された化粧アイテム（例えば、口紅やアイシャドー等の化粧品）によるメイクアップを、対応する顔部品（例えば、唇や瞼）に施したときの、仮想的に化粧した状態を示す画像である。
【００２３】
操作受付領域３２０は、例えば、アイテム選択エリア３２１、質感選択エリア３２２、商品情報詳細エリア３２３、及び処理選択エリア３２４を含む。
【００２４】
アイテム選択エリア３２１は、予め定められた複数の化粧アイテムの中から、操作の対象となる化粧アイテムを選択する操作を受け付ける。なお、アイテム選択エリア３２１は、例えば大分類と小分類とで階層的に選択操作を受け付けてもよい。
【００２５】
質感選択エリア３２２は、アイテム選択エリア３２１において選択された化粧アイテム毎に予め定められた種類の質感（言い換えると、それぞれ特有の質感を付与可能な具体的な個々の化粧アイテム）を選択する操作を受け付ける。即ち、アイテム選択エリア３２１及び質感選択エリア３２２は、バーチャルメイクアップの内容を指定する操作（以下「メイク指定操作」ともいう）を受け付ける。例えば、リップグロス（Lip gloss、いわゆるグロス）にも化粧品メーカ毎や化粧品毎に多様な質感の種類が存在しており、発色の良さ、艶、テカリ具合、しわ感等の大小の組み合わせに応じて、図２では色及び質感がそれぞれ異なる化粧アイテムＡ，Ｂ，Ｃの３種類が例示されている。リップグロスの色及び質感は、色及び質感が異なる化粧アイテムＡ，Ｂ，Ｃの３種類に限定されないことは言うまでもない。また、図２ではリップグロスの中で色及び質感が異なる化粧アイテムの組み合わせとして３種類が例示されているが、リップグロスに限定されず、例えばマット又はクリーム等の異なる種類（色及び質感）が選択され、これらの中から化粧アイテムＡ，Ｂ，Ｃのように選択されてもよい。ユーザ２００により選択される化粧アイテム（例えば口紅）は１つ１つ、色と質感とを有するものである。従って、ユーザ２００により化粧アイテム（例えば口紅）が１つ選択されると、その選択された化粧アイテム（例えば口紅）の有する特有の質感がユーザ２００により選択されたことになる。
【００２６】
商品情報詳細エリア３２３は、アイテム選択エリア３２１及び質感選択エリア３２２においてそれぞれ選択された化粧アイテム及び質感の詳細情報を表示するエリアである。例えばユーザ２００により指定（選択）された化粧品の名前（Name）は「ｌｉｐ  ｇｌｏｓｓ  Ａ」であり、色（Color）は「ピンク」であり、仕上がりの質感（Finish）は「ｇｌｏｓｓ」である。このように、指定（選択）される化粧品毎に、「名前」、「色」、「質感」の各種情報が対応付けられてバーチャルメイクアップ装置１００内に保持される。なお、これらの各種情報は、バーチャルメイクアップ装置１００と外部接続されるデータベース（不図示）において格納されてよい。この場合、バーチャルメイクアップ装置１００は、ユーザ２００の化粧アイテムの指定（選択）がある度に、そのデータベースにアクセスして化粧アイテムの各種情報を取得しても構わない。
【００２７】
処理選択エリア３２４は、メイク指定操作により指定されたバーチャルメイクアップの内容を示す情報（以下「メイク指定情報」ともいう）に関して実行すべき処理を選択する操作を受け付ける。この実行すべき処理には、メイク指定情報に対応するバーチャルメイクアップ画像のプレビュー表示や、バーチャルメイクアップ前後の顔画像の比較、ユーザ２００により指定されたメイク指定情報をユーザ２００の識別情報と対応付けて記録する処理、バーチャルメイクアップの処理終了等が含まれる。
【００２８】
映像表示領域３１０は、カメラ１２０により撮像された顔映像をリアルタイムで表示し続けている。バーチャルメイクアップ装置１００は、メイク指定操作を検知すると、カメラ１２０のオートフォーカス動作を開始し、メイク指定操作を検知しない間はむやみにオートフォーカス動作を行わない。
【００２９】
例えば、バーチャルメイクアップ装置１００は、アイテム選択エリア３２１において、化粧アイテムを選択する操作（以下「アイテム選択操作」ともいう）が行われたか否かを逐次判定する。バーチャルメイクアップ装置１００は、アイテム選択操作が行われたとき、選択された化粧アイテム（例えば口紅）に対応する顔部分（例えば唇３１１）をフォーカス位置として、カメラ１２０のフォーカス動作を行う。なお、バーチャルメイクアップ装置１００は、フォーカス位置を示すフォーカス枠３１２を、映像表示領域３１０の顔映像に重畳して表示してもよい。
【００３０】
ユーザ２００（図１参照）は、例えばリップ類（ＬＩＰ）のバーチャルメイクアップを開始しようとする場合、先ず、アイテム選択エリア３２１において、口紅を選択する。この選択により、バーチャルメイクアップ装置１００は、即座に口紅に対応する顔部品である唇にフォーカス（焦点）を合わせ、ユーザ２００が注目している唇が鮮明に映し出された顔映像を表示する。即ち、バーチャルメイクアップ装置１００は、バーチャルメイクアップのアイテム選択操作があるときに限って、ユーザ２００がバーチャルメイクアップの対象として注目している顔部分を鮮明に表示できる。
【００３１】
＜装置の詳細＞
以下、バーチャルメイクアップ装置１００の構成及び動作について、詳細に説明する。
【００３２】
まず、バーチャルメイクアップ装置１００の内部構成について、図３を参照して説明する。
【００３３】
図３は、本実施の形態のバーチャルメイクアップ装置１００の内部構成の一例を詳細に示すブロック図である。
【００３４】
バーチャルメイクアップ装置１００は、カメラ１２０と、撮像制御回路２と、入力画素メモリ３と、プレーンメモリ４と、ディスプレイ５と、ストレージ６と、媒体制御回路７と、座標検知回路８と、ＧＵＩ（Graphical User Interface）制御部９と、画像処理装置１０とを含む構成である。ディスプレイ５と座標検知回路８とにより、タッチパネル付きディスプレイ１３０が構成されてよい。
【００３５】
カメラ１２０は、撮像光学系を構成するレンズ（例えばフォーカスレンズ、ズームレンズ）によりイメージセンサ（不図示）に結像された被写体像に対して光電変換を施し、被写体（例えばユーザ２００の顔）の映像信号を生成する。
【００３６】
撮像制御回路２は、カメラ１２０の撮像光学系であるフォーカスレンズ、ズームレンズ、シャッタ・絞りによる露出制御を行う。
【００３７】
入力画素メモリ３は、例えばＲＡＭ（Random Access Memory）を用いて構成され、バーチャルメイクアップの処理対象であるユーザ２００の顔画像の画像データ（フレーム）を一時的に格納する。
【００３８】
プレーンメモリ４は、例えばフラッシュメモリ等の半導体メモリを用いて構成され、入力画素メモリ３に格納された画像データに対するバーチャルメイクアップの処理結果としての画像（つまり、バーチャルメイクアップ画像）のデータを一時的に格納する。
【００３９】
表示部の一例としてのディスプレイ５は、例えばＬＣＤ（Liquid Crystal Display）、ＰＤＰ（Plasma Display Panel）又は有機ＥＬ（Electroluminescence）素子を用いて構成され、カメラ１２０により撮像されたオリジナルの顔画像や、バーチャルメイクアップ後の顔画像を表示する。
【００４０】
ストレージ６は、例えばフラッシュメモリ等の半導体メモリ、ＨＤＤ（Hard Disk Drive）又はＳＳＤ（Solid State Drive）を用いて構成され、各種の情報又はデータ（例えばバーチャルメイクアップ装置１００により生成されたバーチャルメイクアップ画像）を保存する。
【００４１】
媒体制御回路７は、プレーンメモリ４に格納された画像データをストレージ６に書き込み、必要に応じてストレージ６から読み出す。
【００４２】
座標検知回路８は、ユーザ２００からの入力操作（例えばタッチ操作、フリック操作）を検知するとともに、その検知された入力操作がなされたディスプレイ５上の位置（つまり、座標）を検知する。
【００４３】
ＧＵＩ制御部９は、座標検知回路８により検知された座標に従ってイベントを出力して、ＧＵＩの更新を行う。例えばＧＵＩ制御部９は、座標検知回路８により検知された座標（例えばバーチャルメイクアップ画面３００の表示を指示するためのアイコンの座標）に従って、イベント（例えばバーチャルメイクアップ画面３００の生成）を実行してイベントの処理結果（例えばバーチャルメイクアップ画面３００）をディスプレイ５に表示する。ここで、ＧＵＩは、ウインドウ、スクロールバー、ラジオボタン、テキストボックス、プルダウンメニューといった様々なウィジェットにより構成される。これらの状態を変化させるため、ＧＵＩ制御部９は、ディスプレイ５に表示された画面（例えばバーチャルメイクアップ画面３００）に対するユーザ２００の入力操作（例えばタッチ）が発生した場合に、そのタッチ座標にかかるイベントを出力して、各ウィジェットの状態を変化させる。バーチャルメイクアップ装置１００は、このようなウィジェットの状態変化により、ＧＵＩを用いた対話的な操作環境をユーザに提供できる。
【００４４】
画像処理装置１０は、バーチャルメイクアップのための画像処理を実行する。画像処理装置１０の構成の詳細については、図４を参照して後述する。以下の説明では、例えばユーザ２００がバーチャルメイクアップの化粧アイテムとして、多様な色や質感の種類が存在している複数種の口紅のうちいずれか一つを選択してバーチャルメイクアップを楽しむ例を説明する。
【００４５】
図４は、本実施の形態の画像処理装置１０を構成するハードウェア的又はソフトウェア的な構成要素に、構成要素間のデータフローを書き加えた図である。
【００４６】
画像処理装置１０は、唇領域抽出部１０１と、唇形状分析部１０２と、色塗布処理部１０３と、質感制御部１０４と、統合処理部１０５と、化粧重畳処理部１０６とを含む構成である。質感制御部１０４は、しわ・光沢制御部１０４ａとノイズ抑圧部１０４ｂとを有する構成である。唇領域抽出部１０１と、唇形状分析部１０２と、色塗布処理部１０３と、質感制御部１０４と、統合処理部１０５と、化粧重畳処理部１０６とは、それぞれプロセッサ（例えばＣＰＵ（Central Processing Unit）、ＭＰＵ（Micro Processing Unit）又はＤＳＰ（Digital Signal Processor））を用いて構成される。画像処理装置１０の入力は３原色（例えばＲＧＢ色空間）の顔画像ＯＲＧ０と塗り替えたい口紅の色（ＲＧＢ値）であり、画像処理装置１０の出力は顔画像ＯＲＧ０の唇領域に塗り替えたい口紅の塗布色を塗布したＲＧＢ画像のバーチャルメイクアップ画像ＶＭＵ１である。
【００４７】
バーチャルメイクアップのための画像処理の対象は、ノーメークの唇や、既に口紅が塗布された唇の双方を含む。既に、口紅が塗布された唇を画像処理の対象にする場合、その口紅による光学特性が、バーチャルメイクアップされた顔画像にも反映されるため、この場合もリアルなバーチャルメイクアップを実現できる。
【００４８】
図５は、唇領域抽出部１０１の動作手順の一例を詳細に説明するフローチャートである。
【００４９】
対象部位抽出部の一例としての唇領域抽出部１０１は、カメラ１２０によって撮像されたオリジナルの顔画像ＯＲＧ０からバーチャルメイクアップの対象部位画像（例えば唇画像）を抽出する。具体的には、唇領域抽出部１０１は、オリジナルの顔画像ＯＲＧ０から顔検知を行い（Ｓ１０１１）、顔検知した場合に（Ｓ１０１２、ＹＥＳ）、顔パーツ（例えば目、鼻、口）検知を行う（Ｓ１０１３）。なお、顔検知しなかった（つまり、顔を検知できなかった）場合には（Ｓ１０１２、ＮＯ）、図５の唇領域抽出部１０１の処理は終了する。
【００５０】
唇領域抽出部１０１は、顔検知結果と顔パーツ検知結果とを用いて顔の特徴点を検知するとともに、唇部位を規定する特徴点を抽出し、特徴点間を結ぶ輪郭線を生成する。唇部位を規定する特徴点の抽出手法としては、例えば色によるセグメンテーション、エッジ検出や顔モデルによるパーツ検出など様々な公知方法を採用できる。唇領域抽出部１０１は、例えば顔パーツ検知による唇領域検出を利用する。唇領域抽出部１０１は、この輪郭線によって唇部位の領域が指定された唇領域画像ＯＲＧ１をオリジナルの顔画像ＯＲＧ０から切り出して生成する（Ｓ１０１４）。唇領域抽出部１０１は、唇領域画像ＯＲＧ１を唇形状分析部１０２に出力する。また、唇領域抽出部１０１は、唇部位の領域指定に合わせて、唇の特徴点で囲まれる領域を有効領域としてマスクするための唇領域マスク画像ＭＳＫ１を生成する（Ｓ１０１５）。唇領域抽出部１０１は、この唇領域マスク画像ＭＫＳ１と唇領域画像ＯＲＧ１とを化粧重畳処理部１０６に出力する。
【００５１】
唇形状分析部１０２は、唇部位の領域が指定された唇領域画像ＯＲＧ１の色空間（例えばＲＧＢ。なおＹＵＶでも可）を、処理中間色空間に変換し、変換結果をメモリ（例えばプレーンメモリ４）に一時的に格納する。処理中間色空間として、色相（Ｈ）、彩度（Ｃ）、輝度（Ｌ）により表現可能なＨＣＬ色空間が挙げられる。また、唇形状分析部１０２は、例えば高速フーリエ変換又は離散的フーリエ変換を用いて、色相、彩度、輝度の情報を有する唇領域画像ＯＲＧ１がどのような周波数成分を有するかを判別するために、唇領域抽出部１０１の出力画像（つまり、空間領域の唇領域画像ＯＲＧ１）を空間周波数領域の唇領域画像ＯＲＧ１’に変換する（図７参照）。図７に示す唇領域画像ＯＲＧ１’は、例えば唇領域を含む矩形状の画像であって、唇領域を構成する画素毎の輝度値のみで示される。
【００５２】
図６は、唇形状分析部１０２の動作手順の一例を詳細に説明するフローチャートである。図７は、唇形状分析部１０２における形状分析の動作概要例の模式図である。
【００５３】
唇形状分析部１０２は、３種類のフィルタ（具体的には、ＬＰＦ（Low Pass Filter）１０２ｌ、ＢＰＦ（Band Pass Filter）１０２ｂ及びＨＰＦ（High Pass Filter）１０２ｈ）を有する。
【００５４】
唇形状分析部１０２は、ＬＰＦ１０２ｌを用いて、空間周波数領域の唇領域画像ＯＲＧ１’のうち、ＬＰＦ１０２ｌの第１カット周波数（既定値）以下の信号成分から構成される画像信号を抽出する（Ｓ１０２１）。この画像信号は、ユーザ２００の唇のブロードな形状（つまり、唇の大まかな凸凹の形状）の画像信号ＬＰＬ１に対応する（図７参照）。なお、図７に示す画像信号ＬＰＬ１は、唇領域を構成する画素毎の輝度値から所定値をオフセットとして引かれた結果が含まれた唇領域を含む矩形状の輪郭を有する画像である。例えば、バーチャルメイクアップ後の唇の形状もバーチャルメイクアップ前の唇の形状もさほど変わらないことに着目し、唇領域画像ＯＲＧ１’のＬＰＦ１０２ｌ出力を、後述する化粧レイヤ画像ＬＡＹ１のベース（骨格）部分として利用するものである。唇形状分析部１０２は、画像信号ＬＰＬ１を色塗布処理部１０３及びしわ・光沢制御部１０４ａにそれぞれ出力する。
【００５５】
唇形状分析部１０２は、ＢＰＦ１０２ｂを用いて、空間周波数領域の唇領域画像ＯＲＧ１’のうち、ＢＰＦ１０２ｂの所定周波数帯域の信号成分から構成される画像信号を抽出する（Ｓ１０２２）。この画像信号は、ユーザ２００の唇の特徴部分ともいえるしわ（皺）の模様ＭＳＷ１の画像信号ＬＰＢ１に対応する（図７参照）。なお、図７に示す画像信号ＬＰＢ１は、唇領域に現れる深いしわ（皺）の模様ＭＳＷ１の画像成分を有する、唇領域を含む矩形状の輪郭を有する画像である。現実のメイクアップ後にも唇に現れる深いしわ（皺）は残ることが多いことに着目し、この深いしわ（皺）の模様部分に光沢を付与するように画像処理を施すことで、現実的なメイクアップと同等のバーチャルメイクアップを可能にできる。また、唇に現れる深いしわ（皺）の模様はユーザ毎に異なることが多く、ＬＥＤ照明ＬＤ１，ＬＤ２からの照明光のしわ（皺）の凸部分における反射により、ユーザ毎に異なる特有の光沢感が得られる。唇形状分析部１０２は、画像信号ＬＰＢ１をしわ・光沢制御部１０４ａに出力する。なお、唇形状分析部１０２は、空間周波数領域の唇領域画像ＯＲＧ１’のうち、例えば平均の輝度値の振幅が深いしわ用の所定値（既定値）より大きい成分のみ通せるフィルタを用いることで、「残したい深いしわ」成分を抽出してもよい。
【００５６】
唇形状分析部１０２は、ＨＰＦ１０２ｈを用いて、空間周波数領域の唇領域画像ＯＲＧ１’のうち、ＨＰＦ１０２ｈの第２カット周波数（既定値）以上の信号成分から構成される画像信号を抽出する（Ｓ１０２３）。この画像信号は、ユーザ２００の唇に現れる細かいしわ（皺）ＣＳＷ１及びノイズ成分ＮＳ１を含む画像信号ＬＰＨ１に対応する（図７参照）。なお、図７に示す画像信号ＬＰＨ１は、唇領域に現れる細かいしわ（皺）ＣＳＷ１及びノイズ成分ＮＳ１を含む画像成分を有する、唇領域を含む矩形状の輪郭を有する画像である。ユーザ２００により指定された口紅を用いたバーチャルメイクアップによる口紅の質感劣化を抑制するために、高周波成分として存在する細かいしわ（皺）ＣＳＷ１及びノイズ成分ＮＳ１が画像信号ＬＰＨ１としてＨＰＦ１０２ｈにより抽出される。唇形状分析部１０２は、画像信号ＬＰＨ１をノイズ抑圧部１０４ｂに出力する。唇形状分析部１０２は、空間周波数領域の唇領域画像ＯＲＧ１’のうち、例えば平均の輝度値の振幅が消したい細いしわ用の所定値（既定値）より小さい成分のみ通せるフィルタを用いることで、「消したい細いしわ成分及びノイズ成分」を抽出してもよい。
【００５７】
図８は、色塗布処理部１０３における色塗布の動作概要例の説明図である。
【００５８】
色塗布処理部１０３は、バーチャルメイクアップの化粧アイテム（例えば口紅）の指定に応じて、唇形状分析部１０２から出力された画像信号ＬＰＬ１（つまり、唇のブロードな形状の画像信号）に、指定された化粧アイテム（例えば口紅）毎に対応する色（つまり、ユーザ２００の塗り替えたい口紅の色（ＲＧＢ））を塗布処理する。このために、色塗布処理部１０３は、ＲＧＢの色空間を有する口紅の色空間を、唇形状分析部１０２と同様の処理中間色空間（例えばＨＣＬ色空間）に変換し、変換結果をメモリ（例えばプレーンメモリ４）に一時的に格納する。
【００５９】
そして、色塗布処理部１０３における画像信号ＬＰＬ１への色の塗布処理は、例えば本願と同じ発明者による先願として既に国際公開されている国際公開第２０１４／１６７８３１号の図９〜図１６に示す方法を参照することで実現可能であるため、ここでは図８を参照してＨＣＬ色空間のＬチャネル（輝度）を用いて概要のみ説明し、詳細な説明は割愛する。
【００６０】
図８において、バーチャルメイクアップにおいて生成されるバーチャルメイクアップ画像が人間の目にオリジナル画像の色と似たような感覚を与えることができるように、塗り替えたい口紅の代表色（平均色）Ｌ’ａｖｅとその口紅の色レンジｒａｎｇｅＬ’との関係は、なるべくオリジナルの唇の代表色（平均色）Ｌａｖｅと唇の色レンジｒａｎｇｅＬとの関係が維持される。つまり、唇の代表色Ｌａｖｅ−最大値Ｌｍａｘ間の距離ａと、唇の代表色Ｌａｖｅ−最小値Ｌｍｉｎ間の距離ｂとの比率ａ／ｂは、口紅の代表色Ｌ’ａｖｅ−最大値Ｌ’ｍａｘ間の距離ａ’と、口紅の代表色Ｌ’ａｖｅ−最小値Ｌ’ｍｉｎ間の距離ｂ’との比率ａ’／ｂ’に対し、ａ／ｂ＝ａ’／ｂ’の関係が成り立つ。
【００６１】
また、塗り替え色のコントラスト調整、彩度調整のために色レンジ調整係数が設けられ、この色レンジ調整係数はＬ’ａｖｅ／Ｌａｖｅとなる。色塗布処理部１０３は、唇形状分析部１０２から出力された画像信号ＬＰＬ１を構成する画素をライン単位に走査して色塗布の処理を行う。色塗布処理部１０３は、上記ａ／ｂ＝ａ’／ｂ’の関係と色レンジ調整係数（＝Ｌ’ａｖｅ／Ｌａｖｅ）とを用いて、指定された化粧アイテム（例えば口紅）毎に対応する色（つまり、ユーザ２００の塗り替えたい口紅の色）を、画像信号ＬＰＬ１を構成する画素に塗布処理することで、色の塗られた唇のブロード形状を示す画像信号ＬＰＬＣ１を生成する。色塗布処理部１０３は、色の塗られた唇のブロード形状を示す画像信号ＬＰＬＣ１を統合処理部１０５に出力する。これにより、色塗布処理部１０３は、色塗布処理によって唇がのっぺり（つまり平べったい）画像とはならず、唇のブロード形状を示す画像信号ＬＰＬＣ１において唇領域のブロードな形状を維持できる。
【００６２】
図９は、しわ・光沢制御部１０４ａの動作手順の一例を詳細に説明するフローチャートである。図１０Ａは、唇領域の水平方向における光沢付与前後の各輝度分布の一例を示すグラフである。図１０Ｂは、唇領域の垂直方向における光沢付与前後の各輝度分布の一例を示すグラフである。
【００６３】
質感制御部１０４のしわ・光沢制御部１０４ａは、唇領域画像ＯＲＧ１’の一部の画像領域に、ユーザ２００により指定された化粧アイテム毎に異なる質感成分を付与するように画像処理を施す。しわ・光沢制御部１０４ａによる画像処理の対象（つまり、唇領域画像ＯＲＧ１’の一部の画像領域）は、唇形状分析部１０２から出力された画像信号ＬＰＢ１に現れる深いしわ（皺）の模様ＭＳＷ１の部分である。つまり、しわ・光沢制御部１０４ａは、ユーザ２００の唇の深いしわ（皺）の模様部分に、指定（選択）された化粧アイテム（例えば口紅）毎に異なる特有の光沢成分を画像処理によって付与する。唇の深いしわ（皺）の模様部分は、唇全体において凸凹の現れる部分（言い換えると、出っ張っている部位）である。このため、唇の深いしわ（皺）の模様部分には、ＬＥＤ照明ＬＤ１，ＬＤ２からの照明光も多く当たり、図１０Ａ及び図１０Ｂに示すように、唇領域の他の部位に比べて所定パラメータ（例えば輝度値）の変動も大きく、複数の所定パラメータのピーク値が検知される。
【００６４】
図１０Ａでは、横軸は水平方向の位置を示し、縦軸は輝度（値）Ｌを示す。図１０Ａでは、水平方向に対する、ＬＰＦ１０２ｌ出力の輝度値（言い換えると、唇のブロードな形状に対応する輝度値の変化）を示す曲線Ｂｒｈと、ＢＰＦ１０２ｂ出力の輝度値（言い換えると、唇の深いしわ（皺）の模様部分を含む唇領域の一部に対応する輝度値の変化）を示す曲線Ｌｈと、曲線Ｌｈで示される輝度値の平均値を示す直線ｍＬｈとが示されている。また、図１０Ａでは、比較のために縦軸の値を意図的にずらして、曲線Ｂｒｈと、しわ・光沢制御部１０４ａによるゲインマップ（後述参照）の算出結果となるゲイン調整後の、ＢＰＦ１０２ｂ出力の輝度値を示す曲線Ｌｈａと、直線ｍＬｈと、曲線Ｌｈａで示される輝度値の平均値を示す直線ｍＬｈａとが示されている。
【００６５】
同様に、図１０Ｂでは、横軸は垂直方向の位置を示し、縦軸は輝度（値）Ｌを示す。図１０Ｂでは、垂直方向に対する、ＬＰＦ１０２ｌ出力の輝度値（言い換えると、唇のブロードな形状に対応する輝度値の変化）を示す曲線Ｂｒｖと、ＢＰＦ１０２ｂ出力の輝度値（言い換えると、唇の深いしわ（皺）の模様部分を含む唇領域の一部に対応する輝度値の変化）を示す曲線Ｌｖと、曲線Ｌｖで示される輝度値の平均値を示す直線ｍＬｖとが示されている。また、図１０Ｂでは、比較のために縦軸の値を意図的にずらして、曲線Ｂｒｖと、しわ・光沢制御部１０４ａによるゲインマップ（後述参照）の算出結果となるゲイン調整後の、ＢＰＦ１０２ｂ出力の輝度値を示す曲線Ｌｖａと、直線ｍＬｖと、曲線Ｌｖａで示される輝度値の平均値を示す直線ｍＬｖａとが示されている。
【００６６】
しわ・光沢制御部１０４ａは、ＬＰＦ１０２ｌ出力の輝度値（言い換えると、唇のブロードな形状に対応する輝度値の変化）を基に、唇領域の中で出っ張っている位置（部位）を探索する（Ｓ１０４１）。つまり、しわ・光沢制御部１０４ａは、唇領域の中でＬＥＤ照明ＬＤ１，ＬＤ２からの照明光を含む周囲の環境光が多く反射する部位を探索する。例えば図１０Ａの曲線Ｂｒｈや図１０Ｂの曲線Ｂｒｖにおいて、輝度値が大きくなっている部分（ピーク値周辺）が唇領域の中で出っ張っている部位であると、しわ・光沢制御部１０４ａによって判断される。
【００６７】
しわ・光沢制御部１０４ａは、ステップＳ１０４１において唇領域の中で出っ張っている部位を示す画素を中心とした所定範囲の画素領域を、ユーザ２００により指定（選択）された口紅毎に異なる特有の光沢成分を付与する対象として、その口紅に対応したゲイン関数及びゲインの調整適用範囲を選択する（Ｓ１０４２）。しわ・光沢制御部１０４ａは、ユーザ２００により指定（選択）された口紅毎に異なる特有の光沢成分を付与する対象（つまり、上述した所定範囲の画素領域）の個々の画素毎の輝度値を調整するためのゲインマップを算出する（Ｓ１０４３）。ゲインマップは、例えば光沢成分を付与する対象（つまり、上述した所定範囲の画素領域）において、その画素領域を構成する画素毎の輝度値を調整するときに使用される、画素毎のゲインの分布を示す。
【００６８】
しわ・光沢制御部１０４ａは、ステップＳ１０４３において算出されたゲインマップを用いて、ユーザ２００により指定（選択）された口紅毎に異なる特有の光沢成分を付与する対象（つまり、上述した所定範囲の画素領域）の個々の画素毎の輝度値を調整して算出する（Ｓ１０４４）。
【００６９】
ここで、ユーザ２００により指定（選択）される口紅毎に、ステップＳ１０４２において選択されるゲイン関数（図１０Ｃ参照）及びゲインの調整適用範囲は異なる。図１０Ｃは、ゲイン関数の一例を示すグラフである。図１０Ｃでは、横軸は輝度値（輝度値の最大値を用いて正規化済み）を示し、縦軸はゲイン調整済みの輝度値を示し、ユーザ２００により指定（選択）された口紅に対応したゲイン関数の曲線Ｇａが示されている。曲線Ｇａは、例えばゲインを調整するための調整関数として、β×（輝度）αの関数により示される。例えばαは２．２であり、βは６０であるが、これらの値に限定されないことは言うまでもない。この曲線Ｇａ上の一点として、例えばＢＰＦ１０２ｂ出力である唇の深いしわ（皺）の模様部分の画像を構成する或る画素の正規化済みの輝度値が「０．５９３３４３８７３」である場合、しわ・光沢制御部１０４ａは、光沢成分の付与結果として、その画素の輝度値（ゲイン関数の出力値）を「１９．０２９４１６３」となるようにゲイン（例えば１．０）を、横軸の輝度値に応じて調整して算出する。
【００７０】
図１１Ａは、しわ・光沢制御部１０４ａの出力画像の一例を示す模式図である。
【００７１】
しわ・光沢制御部１０４ａは、唇形状分析部１０２からのＢＰＦ１０２ｂ出力である画像信号ＬＰＢ１に対し、ユーザ２００により指定（選択）された口紅に応じた光沢成分の付与の処理（図９参照）により、例えばリップグロス（グロス）のようなテカリ感の強い光沢成分が得られた画像信号ＬＰＢＧ１を生成できる。又は、しわ・光沢制御部１０４ａは、唇形状分析部１０２からのＢＰＦ１０２ｂ出力である画像信号ＬＰＢ１に対し、ユーザ２００により指定（選択）された口紅に応じた光沢成分の付与の処理（図９参照）により、例えば金属感の強い光沢成分が得られた画像信号ＬＰＢＭ１を生成できる。画像信号ＬＰＢＧ１と画像信号ＬＰＢＭ１とは、それぞれ選択される口紅が異なり、特有の光沢成分が付与されるのだが、光沢成分が付与される範囲も異なっている。これは、上述したように、口紅毎に、ステップＳ１０４２において選択されるゲイン関数及びゲインの調整適用範囲が異なるためである。
【００７２】
このように、しわ・光沢制御部１０４ａは、ユーザ２００により指定（選択）された化粧アイテム（例えば口紅）毎に異なる特有の光沢成分を、バーチャルメイクアップの対象部位画像（例えば唇領域画像ＯＲＧ１’の一部）に的確に付与でき、本物の化粧アイテムを塗布することなく、化粧アイテムに応じた質感を仮想的かつ明確に再現できる。しわ・光沢制御部１０４ａは、唇領域の中で出っ張っている部位及びその部位の周囲の所定範囲に口紅に応じた特有の光沢成分を付与した画像信号ＬＰＢＧ１を統合処理部１０５に出力する。
【００７３】
質感制御部１０４のノイズ抑圧部１０４ｂは、唇形状分析部１０２からのＨＰＦ１０２ｈ出力の画像信号ＬＰＨ１を用いて、高帯域成分の所定パラメータ（例えば輝度）に含まれるノイズ成分を抑圧する。ノイズ抑圧部１０４ｂは、例えば画像信号ＬＰＨ１に含まれる唇の細かいしわ（皺）ＣＳＷ１及びノイズ成分ＮＳ１の画像を構成する画素における所定のパラメータ（例えば輝度値）のゲイン（例えば１．０）をダウンすることによって、唇の細かいしわ（皺）ＣＳＷ１及びノイズ成分ＮＳ１を抑圧する。又は、ノイズ抑圧部１０４ｂにおけるノイズ成分の抑圧方法は上述したゲインダウンの方法以外の公知技術でもよい。
【００７４】
また、ノイズ抑圧部１０４ｂは、ユーザ２００によって指定（選択）された化粧アイテム（例えば口紅）毎に、上述したゲインダウンの調整量（つまり、ダウンするべきゲインの量）を異ならせてよい。これにより、ユーザ２００によって指定（選択）された化粧アイテム（例えば口紅）毎に異なる細かいしわ（皺）やノイズ成分の抑圧を柔軟に変更でき、バーチャルメイクアップ装置１００は、ユーザ２００に対してより適切なバーチャルメイクアップ画像を提示できる。ノイズ抑圧部１０４ｂは、唇の細かいしわ（皺）ＣＳＷ１及びノイズ成分ＮＳ１を一定量抑圧した画像信号ＬＰＨｎｒ１を統合処理部１０５に出力する。
【００７５】
図１１Ｂは、ノイズ抑圧部１０４ｂの出力画像の一例を示す模式図である。
【００７６】
ノイズ抑圧部１０４ｂは、唇形状分析部１０２からのＨＰＦ１０２ｈ出力である画像信号ＬＰＨ１に対し、唇の細かいしわ（皺）ＣＳＷ１及びノイズ成分ＮＳ１を一定量抑圧した画像信号ＬＰＨｎｒ１を生成できる。
【００７７】
表示制御部の一例としての統合処理部１０５は、色塗布処理部１０３の出力画像に、質感制御部１０４の出力画像を重畳してレイヤ画像の一例としての化粧レイヤ画像ＬＡＹ１’を生成して化粧重畳処理部１０６に出力する。具体的には、統合処理部１０５は、色の塗られた唇のブロード形状を示す画像信号ＬＰＬＣ１に、唇領域の中で出っ張っている部位及びその部位の周囲の所定範囲に口紅に応じた特有の光沢成分を付与した画像信号ＬＰＢＧ１と、唇の細かいしわ（皺）ＣＳＷ１及びノイズ成分ＮＳ１を一定量抑圧した画像信号ＬＰＨｎｒ１とを重畳して、化粧レイヤ画像ＬＡＹ１’を生成する。
【００７８】
より具体的には、統合処理部１０５は、画像信号ＬＰＬＣ１と画像信号ＬＰＢＧ１と画像信号ＬＰＨｎｒ１とを用いて、ｋ×（画像信号ＬＰＬＣ１を構成する画素値）＋ｍ×（画像信号ＬＰＢＧ１を構成する画素値）＋ｎ×（画像信号ＬＰＨｎｒ１を構成する画素値）により、化粧レイヤ画像ＬＡＹ１’を生成する。それぞれの画像信号を構成する画素値は、所定のパラメータの一例として、輝度値である。但し、輝度値だけに限定されず、明度や彩度も含まれても構わない。ここでは、ｋは１．０、ｍは０．０〜１．０の実数値、ｎは０．０〜１．０の実数値である。
【００７９】
また、統合処理部１０５は、化粧レイヤ画像ＬＡＹ１’を生成すると、化粧レイヤ画像ＬＡＹ１の処理中間色空間（例えばＨＣＬ色空間）から、デバイス（例えばディスプレイ５）の表示できる色空間（例えばＲＧＢ。なおＹＵＶでも可）に逆変換し、変換結果（つまり、図１２に示す化粧レイヤ画像ＬＡＹ１参照）を化粧重畳処理部１０６に出力する。
【００８０】
図１２は、化粧重畳処理部１０６におけるバーチャルメイクアップ画像ＶＭＵ１の生成の動作概要例の説明図である。
【００８１】
表示制御部の一例としての化粧重畳処理部１０６は、顔画像ＯＲＧ０のうちバーチャルメイクアップの対象部位画像（つまり、唇領域画像ＯＲＧ１に前記レイヤ画像を重畳して、前記顔画像に前記アイテムを用いたバーチャルメイクアップが施されたバーチャルメイクアップ画像をディスプレイ５に表示する。具体的には、化粧重畳処理部１０６は、唇領域抽出部１０１から出力されたＲＧＢ色空間を有する唇領域マスク画像ＭＫＳ１及び唇領域画像ＯＲＧ１と、統合処理部１０５によりＲＧＢ色空間を有する化粧レイヤ画像ＬＡＹ１とを合成することで、バーチャルメイクアップ画像ＶＭＵ１を生成する。
【００８２】
より具体的には、化粧重畳処理部１０６は、唇領域マスク画像ＭＳＫ１を用いて化粧レイヤ画像ＬＡＹ１のうち唇の形状部分を抽出し（切り出し）、切り出された唇の形状部分だけの化粧レイヤ画像ＬＡＹ１を、オリジナルの唇領域画像ＯＲＧ１に重ね合わせることで、バーチャルメイクアップ画像ＶＭＵ１を生成する。例えば化粧重畳処理部１０６は、｛ｐ×（化粧レイヤ画像ＬＡＹ１）×（唇領域マスク画像ＭＳＫ１）｝＋｛（１−ｐ）×（オリジナルの唇領域画像ＯＲＧ１）｝とにより、バーチャルメイクアップ画像ＶＭＵ１を生成する。ｐは０．０〜１．０の実数値である。なお図１２では、説明を分かり易くするために、バーチャルメイクアップ画像ＶＭＵ１は、バーチャルメイクアップが施された唇領域を含む矩形状の大きさとしているが、カメラ１２０により撮像されたユーザ２００の顔画像をオリジナルとして、この顔画像に対し、唇領域マスク画像ＭＳＫ１を用いて切り出された化粧レイヤ画像ＬＡＹ１が重ね合されてもよい。
【００８３】
以上により、本実施の形態のバーチャルメイクアップ装置１００は、カメラ１２０によって撮像されたオリジナルの顔画像ＯＲＧ０からバーチャルメイクアップの対象部位画像（例えば唇領域画像ＯＲＧ１）を抽出し、バーチャルメイクアップの化粧アイテム（例えば口紅）の指定に応じて、ＲＧＢの色空間からＨＣＬの色空間を有するように変換された唇領域画像ＯＲＧ１’に、ＲＧＢの色空間からＨＣＬの色空間を有するように変換された化粧アイテム（例えば口紅）の色を塗布する。バーチャルメイクアップ装置１００は、唇領域画像ＯＲＧ１’（対象部位画像の一部）に、化粧アイテム（例えば口紅）毎に異なる質感成分を付与する。バーチャルメイクアップ装置１００は、バーチャルメイクアップの対象となる唇領域画像ＯＲＧ１に、唇領域マスク画像ＭＳＫ１を用いて化粧レイヤ画像ＬＡＹ１の唇領域のみを切り出した画像を重畳することで、バーチャルメイクアップが施されたバーチャルメイクアップ画像ＶＭＵ１を生成してディスプレイ５に表示する。
【００８４】
これにより、バーチャルメイクアップ装置１００は、ユーザ２００の顔画像に対し、１つ１つの化粧アイテム毎に異なる特有の質感成分を仮想的に与えてバーチャルメイクアップをユーザ２００に楽しませることができる。従って、バーチャルメイクアップ装置１００は、ユーザ２００の個々の顔画像のフレーム毎にバーチャルメイクアップの画像処理を施せるので、例えばユーザ２００が口をパッと開いたときの唇のブロードな形状の動きに追従してバーチャルメイクアップ後の唇の雰囲気（例えばテカリ具合、発色の良さ、しわ感）をユーザ２００に適切に確認させることができ、ユーザの利便性を向上できる。
【００８５】
例えば今後、店舗等に来店した顧客が化粧品（例えば口紅）を購入する前に、自分が選択した化粧品を使用してバーチャルメイクアップすることが予めできると、実使用時の具体的な印象を確認でき、結果的に顧客の購入意欲が増すことも期待できる。また、購入しようかどうかを悩んだり迷ったりしている顧客に対し、化粧品（例えば口紅）の有する多様な質感を顧客が仮想体験できることは店舗側にとっても販売戦略上一つの魅力であり、化粧品の売上アップも期待できる。
【００８６】
また、バーチャルメイクアップ装置１００は、唇領域画像ＯＲＧ１’の所定帯域成分の所定パラメータ（例えば輝度値）のピーク位置（つまり、ＬＰＦ１０２ｌ出力の画像信号のうち輝度値のピークが得られた位置（画素））を中心とした所定範囲の画素領域を、光沢成分の付与対象とする。バーチャルメイクアップ装置１００は、その画素領域における個々の輝度値毎の、口紅毎に異なる輝度値の調整関数（ゲイン関数）の出力値を用いて、口紅毎に異なる質感成分を付与する。これにより、バーチャルメイクアップ装置１００は、唇のブロードな形状や深いしわ（皺）の位置がユーザ毎に異なるので、ユーザにより選択された口紅毎に異なる特有の質感成分を唇の深いしわ（皺）の模様部分に付与できて、バーチャルメイクアップ後の画像を効果的にユーザに提示できる。
【００８７】
また、上述したゲイン関数を用いた輝度値の調整がなされる所定範囲の画素領域は、化粧アイテム（例えば口紅）毎に異なる。これにより、バーチャルメイクアップ装置１００は、ユーザにより選択された化粧アイテム毎に、唇の光沢付与対象の範囲を異ならせて所定パラメータ（例えば輝度値）のゲイン調整を行えるので、例えばグロス、マット、クリーム、ラスタ、リキッドリップカラー等の質感、又は同一のグロスでもそのグロス内の質感のそれぞれの種類毎にきめ細かな違いを楽しめるバーチャルメイクアップ画像ＶＭＵ１をユーザに提示できる。
【００８８】
また、バーチャルメイクアップ装置１００は、バーチャルメイクアップの対象となる唇領域画像ＯＲＧ１’の高帯域成分の所定パラメータ（例えば輝度）に含まれるノイズ成分を抑圧する。これにより、バーチャルメイクアップ装置１００は、ノイズ成分を一定量抑圧できるので鮮明なバーチャルメイクアップ画像ＶＭＵ１を得ることができ、バーチャルメイクアップ画像ＶＭＵ１の視認性の劣化を抑制できる。
【００８９】
また、バーチャルメイクアップ装置１００は、色塗布処理後の出力画像（画像信号ＬＰＬＣ１）に、質感成分付与後の出力画像（例えば画像信号ＬＰＢＧ１）を重畳する。この重畳により、バーチャルメイクアップ装置１００は、ＨＣＬ色空間からＲＧＢ色空間を有する化粧レイヤ画像ＬＡＹ１を生成できる。
【００９０】
以上、図面を参照しながら各種の実施形態について説明したが、本発明はかかる例に限定されないことは言うまでもない。当業者であれば、特許請求の範囲に記載された範疇内において、各種の変更例又は修正例に想到し得ることは明らかであり、それらについても当然に本発明の技術的範囲に属するものと了解される。また、発明の趣旨を逸脱しない範囲において、上述実施形態における各構成要素を任意に組み合わせてもよい。
【００９１】
上述した実施の形態では、バーチャルメイクアップの対象部位として唇を例示して詳細を説明したが、バーチャルメイクアップの対象部位は唇に限定されず、例えば目の周囲（つまり、目元）にも適用できる。つまり、アイシャドーのように目の周囲（特にまぶた）に陰影を付与するためのバーチャルメイクアップにも使用可能である。
【００９２】
上述した実施の形態では、本発明に係るバーチャルメイクアップ装置の具体的な実施の形態について説明したが、この実施の形態は、本発明に係るバーチャルメイクアップ装置が行うバーチャルメイクアップ方法についても適用可能であり、また、コンピュータであるバーチャルメイクアップ装置に本発明に係るバーチャルメイクアップ方法の各処理を実現させるためのバーチャルメイクアッププログラムについても適用可能である。
【産業上の利用可能性】
【００９３】
本開示は、顔映像に対し、化粧品毎に異なる特有の質感を仮想的に与えてバーチャルメイクアップを行い、ユーザの利便性を向上するバーチャルメイクアップ装置、バーチャルメイクアップ方法及びバーチャルメイクアッププログラムとして有用である。
【符号の説明】
【００９４】
２  撮像制御回路
３  入力画素メモリ
４  プレーンメモリ
５  ディスプレイ
６  ストレージ
７  媒体制御回路
８  座標検知回路
９  ＧＵＩ制御部
１０  画像処理装置
１００  バーチャルメイクアップ装置
１０１  唇領域抽出部
１０２  唇形状分析部
１０２ｂ  ＢＰＦ（Band Pass Filter）
１０２ｈ  ＨＰＦ（High Pass Filter）
１０２ｌ  ＬＰＦ（Low Pass Filter）
１０３  色塗布処理部
１０４  質感制御部
１０４ａ  しわ・光沢制御部
１０４ｂ  ノイズ抑圧部
１０５  統合処理部
１０６  化粧重畳処理部
１１０  筐体
１２０  カメラ
１３０  タッチパネル付きディスプレイ
２００  ユーザ
２１０  顔
２２０  指
３００  バーチャルメイクアップ画面
ＬＤ１、ＬＤ２  ＬＥＤ照明
【図１】
2018063681.tif 000003
【図２】
2018063681.tif 000004
【図３】
2018063681.tif 000005
【図４】
2018063681.tif 000006
【図５】
2018063681.tif 000007
【図６】
2018063681.tif 000008
【図７】
2018063681.tif 000009
【図８】
2018063681.tif 000010
【図９】
2018063681.tif 000011
【図１０Ａ】
2018063681.tif 000012
【図１０Ｂ】
2018063681.tif 000013
【図１０Ｃ】
2018063681.tif 000014
【図１１Ａ】
2018063681.tif 000015
【図１１Ｂ】
2018063681.tif 000016
【図１２】
2018063681.tif 000017