(57)【特許請求の範囲】
【請求項１】
オートフォーカス機能を備えたカメラによって撮影された顔映像を表示させた状態において、前記顔映像に対するバーチャルメイクの内容を指定するメイク指定操作を受け付ける表示制御部と、
所定の前記メイク指定操作が行われた事を条件として、前記カメラのオートフォーカス動作を開始させるカメラ制御部と、を有する、
バーチャルメイク装置。
【請求項２】
前記カメラ制御部は、
前記所定のメイク指定操作が行われた後の前記オートフォーカス動作の頻度に比べて、前記所定のメイク指定操作が行われる前の前記オートフォーカス動作の頻度を低くする、
請求項１に記載のバーチャルメイク装置。
【請求項３】
前記カメラ制御部は、
前記所定のメイク指定操作が行われるまで、前記オートフォーカス動作を開始させない、
請求項１に記載のバーチャルメイク装置。
【請求項４】
前記所定のメイク指定操作は、前記顔映像に対するバーチャルメイクのパーツであって顔部品に予め対応付けられた化粧アイテムを選択するアイテム選択操作、を含み、
前記カメラ制御部は、
選択された前記化粧アイテムに対応する前記顔部品の、前記顔映像における位置に対応する位置を、前記オートフォーカス動作のフォーカス位置とする、
請求項１に記載のバーチャルメイク装置。
【請求項５】
前記表示制御部は、
選択された前記化粧アイテムのメイクパーツ画像を、表示されている前記顔映像のうち、対応する前記顔部品の位置に重畳して表示する、を有する、
請求項４に記載のバーチャルメイク装置。
【請求項６】
前記表示制御部は、
前記オートフォーカス動作が行われている間に取得された前記顔映像に代えて、前記オートフォーカス動作が開始される前の前記顔映像から得られる顔静止画像を表示する、
請求項１に記載のバーチャルメイク装置。
【請求項７】
前記カメラ制御部は、
前記所定のメイク指定操作が行われた後の前記オートフォーカス動作が完了した後、前記顔映像における顔の大きさの変化に基づいて、前記カメラの焦点距離を調整する、
請求項１に記載のバーチャルメイク装置。
【請求項８】
オートフォーカス機能を備えたカメラによって撮影された顔映像の表示を開始し、前記顔映像に対するバーチャルメイクの内容を指定するメイク指定操作を受け付けるステップと、
所定の前記メイク指定操作が行われた事を条件として、前記カメラのオートフォーカス動作を開始させるステップと、を有する、
バーチャルメイク方法。
【請求項９】
バーチャルメイク装置に、
オートフォーカス機能を備えたカメラによって撮影された顔映像の表示を開始し、前記顔映像に対するバーチャルメイクの内容を指定するメイク指定操作を受け付けるステップと、
所定の前記メイク指定操作が行われた事を条件として、前記カメラのオートフォーカス動作を開始させるステップと、
を実行させるバーチャルメイクプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本開示は、顔映像に対してバーチャルメイクを行うバーチャルメイク装置、バーチャルメイク方法、およびバーチャルメイクプログラムに関する。
【背景技術】
【０００２】
従来、顔を撮影した画像に対して画像処理により仮想的な化粧を施す、いわゆるバーチャルメイクに関する技術が存在する（例えば、特許文献１参照）。特許文献１に記載の技術は、オートフォーカス機能を備えたカメラによって撮影された顔の静止画像を表示させ、目や唇等の顔部品に対する選択操作が行われると、選択された顔部品の部分の色を任意の色に置き換える。かかる技術によれば、ユーザが選択した顔部品に対して仮想的に化粧が施された画像を、簡単に生成する事ができる。
【０００３】
更に、近年では、顔を撮影した動画（以下「顔映像」という）に対するバーチャルメイクに関する技術の開発も盛んである（例えば、特許文献２参照）。特許文献２に記載の技術は、目頭や口角等の顔特徴点をトラッキングポイントとして顔部品の位置を追跡し、アイシャドウや口紅等のメイクパーツの画像（以下「メイクパーツ画像」という）を、映像において顔の所定位置に継続的に重畳する。かかる技術によれば、顔の位置や向きが時々刻々と変化する顔映像においても、バーチャルメイクを実現する事ができる。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００１−２０４５４５号公報
【特許文献２】特開２０１３−１０１６３３号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
ところで、顔映像に対するバーチャルメイクの内容を指定する操作（以下「メイク指定操作」という）が行われる毎に、操作の内容をリアルタイムで反映した映像を生成および表示する事が考えられる。このようなバーチャルメイクは、以下、単に「顔映像に対するバーチャルメイク」という。
【０００６】
ところが、顔映像に対するバーチャルメイクにおいてオートフォーカス動作が頻繁に行われると、ユーザに不快感を与えるおそれがある。なぜなら、画像のコントラストによりフォーカス位置を決定するコントラストオートフォーカス動作は、フォーカスレンズを前後に移動させてコントラストのピーク位置（テクスチャが最も鮮明になるレンズ位置）をサーチするものであるため、表示映像を乱すからである。
【０００７】
一方で、ユーザが注目している顔画像がぼやけていると、やはりユーザに不快感を与え得る。したがって、顔映像に対するバーチャルメイクを、より快適に行う事を可能にするような技術が望まれる。
【０００８】
本開示の目的は、顔映像に対するバーチャルメイクをより快適に行う事を可能にするバーチャルメイク装置、バーチャルメイク方法、およびバーチャルメイクプログラムを提供する事である。
【課題を解決するための手段】
【０００９】
本開示のバーチャルメイク装置は、オートフォーカス機能を備えたカメラによって撮影された顔映像を表示させた状態において、前記顔映像に対するバーチャルメイクの内容を指定するメイク指定操作を受け付ける表示制御部と、所定の前記メイク指定操作が行われた事を条件として、前記カメラのオートフォーカス動作を開始させるカメラ制御部と、を有する。
【００１０】
本開示のバーチャルメイク方法は、オートフォーカス機能を備えたカメラによって撮影された顔映像の表示を開始し、前記顔映像に対するバーチャルメイクの内容を指定するメイク指定操作を受け付けるステップと、所定の前記メイク指定操作が行われた事を条件として、前記カメラのオートフォーカス動作を開始させるステップと、を有する。
【００１１】
本開示のバーチャルメイクプログラムは、オートフォーカス機能を備えたカメラによって撮影された顔映像の表示を開始し、前記顔映像に対するバーチャルメイクの内容を指定するメイク指定操作を受け付けるステップと、所定の前記メイク指定操作が行われた事を条件として、前記カメラのオートフォーカス動作を開始させるステップと、を有する。
【発明の効果】
【００１２】
本開示によれば、顔映像に対するバーチャルメイクをより快適に行う事を可能にする。
【図面の簡単な説明】
【００１３】
【図１】本開示の一実施の形態に係るバーチャルメイク装置の使用状態の一例を示す図
【図２】本実施の形態におけるバーチャルメイク画面一例を示す図
【図３】本実施の形態に係るバーチャルメイク装置の構成の一例を示すブロック図
【図４】本実施の形態における顔部品情報テーブルの一例を示す図
【図５】本実施の形態における化粧アイテム情報テーブルの一例を示す図
【図６】本実施の形態における情報対応テーブルの一例を示す図
【図７】本実施の形態に係るバーチャルメイク装置の動作の一例を示すフローチャート
【発明を実施するための形態】
【００１４】
以下、本開示の一実施の形態について、図面を参照して詳細に説明する。
【００１５】
＜装置の概要＞
まず、本実施の形態に係るバーチャルメイク装置の概要について説明する。
【００１６】
図１は、本実施の形態に係るバーチャルメイク装置の使用状態の一例を示す図である。
【００１７】
図１に示すように、バーチャルメイク装置１００は、例えば、卓上に立てて置く事が可能なタブレット型端末である。バーチャルメイク装置１００は、板状の筐体１１０の主面に、カメラ１２０およびタッチパネル付きディスプレイ１３０を配置している。なお、バーチャルメイク装置１００は、筐体１１０の主面に、ライトを更に配置していてもよい。
【００１８】
ユーザ２００とバーチャルメイク装置１００との間の相対位置は、例えば、カメラ１２０に顔２１０が写り、タッチパネル付きディスプレイ１３０を視認でき、かつ、指２２０がタッチパネル付きディスプレイ１３０に触れられるように、ユーザ２００によって調整される。
【００１９】
カメラ１２０は、オートフォーカス機能を備えたデジタルカメラであり、ユーザ２００の顔２１０の映像（以下「顔映像」という）を撮影する。
【００２０】
タッチパネル付きディスプレイ１３０は、顔映像に対するバーチャルメイクを行うためのユーザインタフェースである、バーチャルメイク画面３００を表示する。
【００２１】
図２は、バーチャルメイク画面３００の一例を示す図である。
【００２２】
図２に示すように、バーチャルメイク画面３００は、映像表示領域３１０および操作受付領域３２０を含む。
【００２３】
映像表示領域３１０は、カメラ１２０が撮影した顔映像の鏡像映像（以下、単に「顔映像」という）を、リアルタイムで表示する。また、映像表示領域３１０は、操作受付領域３２０に対する操作に応じて、当該操作に基づいて決定されたメイクパーツ画像（図示せず）を、顔映像に重畳して表示する。
【００２４】
なお、ここで、「リアルタイム」とは、ユーザ２００が鏡を見ている感覚に近い感覚を覚える程度に小さい遅延時間を含む概念とする。また、メイクパーツ画像とは、化粧アイテム（例えば、口紅やアイシャドウ）を、対応する顔部品（例えば、唇や瞼）に施したときの、化粧した状態を示す画像である。
【００２５】
操作受付領域３２０は、例えば、アイテム選択エリア３２１、色選択エリア３２２、スタイル選択エリア３２３、および処理選択エリア３２４を含む。
【００２６】
アイテム選択エリア３２１は、予め定められた複数の化粧アイテムの中から、操作の対象となる化粧アイテムを選択する操作を受け付ける。なお、アイテム選択エリア３２１は、大分類と小分類とで階層的に選択操作を受け付けてもよい。色選択エリア３２２は、化粧アイテム毎に予め定められた複数の色の中から、化粧アイテムに適用する色を選択する操作を受け付ける。スタイル選択エリア３２３は、化粧アイテム毎に予め定められた複数の化粧の塗布形状の中から、化粧アイテムに適用する形状を選択する操作を受け付ける。すなわち、アイテム選択エリア３２１〜スタイル選択エリア３２３は、バーチャルメイクの内容を指定する操作（以下「メイク指定操作」という））を受け付ける。
【００２７】
処理選択エリア３２４は、メイク指定操作により指定されたバーチャルメイクの内容を示す情報（以下「メイク指定情報」という）に関して実行すべき処理を選択する操作を受け付ける。かかる処理には、メイク指定情報に対応するメイクパーツ画像のプレビュー表示およびメイク指定情報の記録等を含む。
【００２８】
映像表示領域３１０は、撮影した顔映像をリアルタイムで表示し続けている。この状態で、カメラ１２０（図１参照）のオートフォーカス動作が頻繁に行われると、上述の通り、ユーザに不快感を与えるおそれがある。そこで、バーチャルメイク装置１００は、所定のメイク指定操作が行われた事を条件として、カメラ１２０のオートフォーカス動作を開始させるようにし、当該操作が行われていないときは、むやみにオートフォーカス動作を行わないようにする。
【００２９】
例えば、バーチャルメイク装置１００は、アイテム選択エリア３２１において、化粧アイテムを選択する操作（以下「アイテム選択操作」という）が行われたか否かを逐次判定する。そして、バーチャルメイク装置１００は、アイテム選択操作が行われたとき、選択された化粧アイテム（例えば口紅）に対応する顔部分（例えば唇）３１１をフォーカス位置として、カメラ１２０のフォーカス動作を行う。なお、バーチャルメイク装置１００は、フォーカス位置を示すフォーカス枠３１２を、処理選択エリア３２４の顔映像に重畳して表示してもよい。
【００３０】
ユーザ２００（図１参照）は、例えばリップ類（ＬＩＰ）のバーチャルメイクを開始しようとする場合、まず、アイテム選択エリア３２１において、口紅を選択する。すると、バーチャルメイク装置１００は、即座に口紅に対応する顔部品である唇にフォーカス（焦点）を合わせ、ユーザ２００が注目している唇が鮮明に映し出された顔映像を表示する。
【００３１】
すなわち、バーチャルメイク装置１００は、オートフォーカス動作がむやみに行われる事による煩わしさを回避しつつ、ユーザ２００がバーチャルメイクの対象として注目している顔部分を鮮明に表示する事を可能にする。
【００３２】
以下、かかるバーチャルメイク装置１００の構成および動作について、詳細に説明する。
【００３３】
＜装置の構成＞
まず、バーチャルメイク装置１００の構成について説明する。
【００３４】
図３は、バーチャルメイク装置１００の構成の一例を示すブロック図である。
【００３５】
図３において、バーチャルメイク装置１００は、カメラ１２０、タッチパネル付きディスプレイ１３０、情報格納部１４０、映像処理部１５０、表示制御部１６０、およびカメラ制御部１７０を有する。
【００３６】
カメラ１２０は、図示しない光学系、シャッター機構、および撮像素子を有するデジタルカメラであり、顔映像を撮影し、得られた顔映像のストリームデータを、映像処理部１５０へ出力する。なお、顔映像を左右方向において反転させる処理は、カメラ１２０において行われてもよいし、後段の映像処理部１５０または表示制御部１６０において行われてもよい。
【００３７】
また、カメラ１２０は、ＡＦ（Auto Focus）部１２１を有している。ＡＦ部１２１は、後述のカメラ制御部１７０からフォーカス位置を指定されたとき、かかる位置にフォーカスを合わせるフォーカス動作を行う。なお、カメラ１２０は、フォーカス動作の有無によらず、撮影を行い、映像ストリームデータを出力する。
【００３８】
タッチパネル付きディスプレイ１３０は、例えば、液晶ディスプレイとその表面に配置された透明なタッチパネルを有する。タッチパネル付きディスプレイ１３０は、ユーザの指２２０がタッチパネル付きディスプレイ１３０に接触しているとき、かかる接触を検出し、どの領域に指２２０が接触しているかを示す操作情報を表示制御部１６０へ出力する。また、タッチパネル付きディスプレイ１３０は、例えば画像信号の入力等による表示制御部１６０からの制御を受けて、上述のバーチャルメイク画面３００（図２参照）等の各種画像および映像を表示する。
【００３９】
情報格納部１４０は、バーチャルメイク装置１００の各部が動作するのに必要な各種情報を格納する。情報格納部１４０は、例えば、顔部品情報テーブル、化粧アイテム情報テーブル、および情報対応テーブルを予め格納している。
【００４０】
図４は、顔部品情報テーブルの一例を示す図である。
【００４１】
図４に示すように、顔部品情報テーブル４１０は、顔部品４１１毎に、抽出用情報４１２、基準顔特徴点４１３、ＡＦ用領域４１４等を記述している。
【００４２】
抽出用情報４１２は、顔映像から、顔部品を抽出するための情報であり、例えば、顔部品を含む画像領域の画像特徴である。基準顔特徴点４１３は、顔特徴点のうち、顔部品が顔映像において占める領域の基準となる、１つまたは複数の顔特徴点である。ＡＦ用領域４１４は、基準顔特徴点４１３を基準として定まる、顔部品にフォーカスを合わせる際にフォーカス判定の対象となる領域である。
【００４３】
例えば、「唇」という顔部品４１１に対応付けて、「Ｅ１」という抽出用情報４１２、「左口角、右口角、・・・」という基準顔特徴点４１３、および「Ｆ１」というＡＦ用領域４１４が記述されている。これは、顔映像から唇を抽出する場合、抽出用情報Ｅ１を用いる事、および、唇にフォーカスを合わせる場合には左口角や右口角等の顔特徴点を基準として定まる領域Ｆ１を用いてコントラストのピーク位置をサーチする事を、規定している。
【００４４】
図５は、化粧アイテム情報テーブルの一例を示す図である。
【００４５】
図５に示すように、化粧アイテム情報テーブル４２０は、化粧アイテム４２１と化粧アイテムの細目であるアイテム細目４２２との組合せ（以下、単に「化粧アイテム」という毎に、色４２３、濃さ４２４、基準顔特徴点４２５、およびパーツ領域４２６を記述している。
【００４６】
色４２３は、化粧アイテムのメイクパーツ画像の色である。濃さ４２４は、メイクパーツ画像を顔画像に重畳する際の透過度である。基準顔特徴点４２５は、顔特徴点のうち、メイクパーツ画像が顔映像において占める領域の基準となる、１つまたは複数の顔特徴点である。パーツ領域４２６は、基準顔特徴点４２５を基準として定まる、メイクパーツ画像が顔映像において占める領域である。
【００４７】
例えば、「リップ類（ＬＩＰＳ）」という化粧アイテム４２１の「口紅」というアイテム細目４２２に対応付けて、「ピンク」という色４２３、「Ｄ１１」という濃さ４２４、「左口角、右口角、・・・」という基準顔特徴点４２４、および「Ｍ１１」というパーツ領域４２６が記述されている。これは、口紅の色としてピンクが選択された場合、顔映像のうち左口角や右口角等の顔特徴点を基準として定まる領域Ｍ１１を、濃さＤ１１のピンクで占めるような画像を、メイクパーツ画像として使用する事を規定している。
【００４８】
図６は、情報対応テーブルの一例を示す図である。
【００４９】
図６に示すように、情報対応テーブル４３０は、化粧アイテム４３１毎に、当該化粧アイテム４３１の適用の対象となる顔部品４３２を記述している。すなわち、情報対応テーブル４３０は、ユーザ２００がバーチャルメイクの対象として選択している化粧アイテム４３１が存在するとき、どの顔部品４３２にユーザ２００が注目している可能性が高いかを記述している。なお、化粧アイテム４３１は、化粧アイテム情報テーブル４２０に記述された化粧アイテム４２１に対応し（図５参照）、顔部品４３２は、顔部品情報テーブル４１０に記述された顔部品４１１に対応している（図４参照）。
【００５０】
例えば、「リップ類（ＬＩＰＳ）」とう化粧アイテム４２１に対応付けて、「唇」という顔部品４３２が対応付けられている。これは、リップ類（ＬＩＰＳ）は、唇が適用対象であるという事を規定する。言い換えると、かかる対応付けは、リップ類がバーチャルメイクの対象として選択されたとき、唇にフォーカスを合わせるべきであるという事を示す。
【００５１】
図３の映像処理部１５０は、顔部品情報テーブル４１０の抽出用情報４１２（図４参照）に基づき、唇や目等の顔部品を顔映像のストリームデータから逐次抽出する。そして、映像処理部１５０は、表示制御部１６０に対して、顔映像のストリームデータを出力すると共に、基準顔特徴点を含む各顔部品の位置を示す情報（以下「部品位置情報」という）を逐次出力する。なお、映像処理部１５０による顔特徴点の抽出手法としては、特許文献１および特許文献２に記載の手法等、公知の手法を採用することができる。
【００５２】
表示制御部１６０は、顔映像のストリームデータ、操作情報、および部品位置情報に基づいて、顔映像を含むバーチャルメイク画面３００（図２参照）を生成してタッチパネル付きディスプレイ１３０に表示させる。表示制御部１６０は、操作受付部１６１およびメイク重畳部１６２を有する。
【００５３】
操作受付部１６１は、顔映像がタッチパネル付きディスプレイ１３０に表示された状態において、メイク指定操作を受け付ける。すなわち、操作受付部１６１は、バーチャルメイク画面３００の操作受付領域３２０を生成して表示させ、操作受付領域３２０に対して行われた操作を操作情報に基づいて判定する。そして、操作受付部１６１は、メイク指定操作が行われる毎に、その操作内容を示す情報を、メイク重畳部１６２へ出力する。また、操作受付部１６１は、所定のメイク指定操作が行われたとき、その旨をカメラ制御部１７０へ通知する。
【００５４】
所定のメイク指定操作とは、バーチャルメイクの対象として、ユーザ２００が顔映像のいずれかの部分に注目している可能性が高い事を示す操作である。本実施の形態において、所定のメイク指定操作は、上述のアイテム選択操作とする。操作受付部１６１は、アイテム選択操作が行われたとき、選択された化粧アイテムを示す情報（以下「選択アイテム情報」という）を、カメラ制御部１７０へ出力する。
【００５５】
メイク重畳部１６２は、顔映像のストリームデータに基づいて、バーチャルメイク画面３００の映像表示領域３１０にリアルタイムの顔映像を表示させる。また、メイク重畳部１６２は、メイク指定操作の有無およびその内容に応じて、部品位置情報および化粧アイテム情報テーブル４２０（図５参照）に基づき、メイクパーツ画像を生成して顔映像に重畳する。なお、メイク重畳部１６２によるバーチャルメイク映像（メイクパーツ画像が重畳された顔映像）の生成手法としては、特許文献１および特許文献２に記載の手法等、公知の手法を採用することができる。
【００５６】
カメラ制御部１７０は、オートフォーカス動作を含む、カメラ１２０の各種動作を制御する。カメラ制御部１７０は、特に、アイテム選択操作が行われた事を条件として、カメラ１２０のＡＦ部１２１のオートフォーカス動作を開始させる。この時、カメラ制御部１７０は、選択アイテム情報、情報対応テーブル４３０（図６参照）、および顔部品情報テーブル４１０（図４参照）に基づき、選択された化粧アイテムに対応する顔部品のＡＦ用領域を、オートフォーカス動作のフォーカス位置とする。すなわち、カメラ制御部１７０は、むやみにオートフォーカス動作を行わないようにするとともに、少なくともアイテム選択操作が行われたとき、選択された化粧アイテムに対応する顔部品が鮮明に映し出されるように、オートフォーカス動作を行う。
【００５７】
なお、バーチャルメイク装置１００は、図示しないが、例えば、ＣＰＵ（Central Processing Unit）、制御プログラムを格納したＲＯＭ（Read Only Memory）等の記憶媒体、およびＲＡＭ（Random Access Memory）等の作業用メモリ等のハードウェアを有する。この場合、上記した各部の機能は、ＣＰＵが制御プログラムを実行する事により実現される。
【００５８】
このような構成により、バーチャルメイク装置１００は、少なくともユーザ２００が顔映像のいずれかの部分に注目している可能性が高いタイミングにおいて、オートフォーカス動作を行い、他のタイミングにおけるオートフォーカス動作を制限する事ができる。
【００５９】
＜装置の動作＞
次に、バーチャルメイク装置１００の動作について説明する。
【００６０】
図７は、バーチャルメイク装置１００の動作の一例を示すフローチャートである。
【００６１】
ステップＳ１１００において、カメラ制御部１７０は、カメラ１２０の露出（明るさ）、ホワイトバランス（色）、およびフォーカス位置を、規定値に設定する。かかる規定値は、例えば、バーチャルメイク装置１００の設置時におけるオペレータ等による事前セットアップにより、設置環境（周囲の明るさ等）に合わせて決定されたものである。
【００６２】
なお、ユーザ２００の顔のカメラ１２０に対する位置は変化し易いが、特に設置場所が店舗の場合、周辺の照明環境は大きく変化しない場合が多い。
【００６３】
ステップＳ１２００において、カメラ１２０、カメラ１２０およびタッチパネル付きディスプレイ１３０は、顔映像の撮影およびバーチャルメイク画面３００（図２参照）の表示を開始する。
【００６４】
バーチャルメイク装置１００は、後続するステップＳ１３００〜Ｓ１９００の処理を、所定の周期（例えば、顔映像のフレーム間隔毎）で繰り返し実行する。
【００６５】
ステップＳ１３００において、映像処理部１５０は、顔映像から顔部品を抽出する。
【００６６】
ステップＳ１４００において、操作受付部１６１は、メイク指定操作が行われたか否かを判定する。操作受付部１６１は、メイク指定操作が行われていない場合（Ｓ１４００：ＮＯ）、処理を後述のステップＳ１９００へ進める。また、操作受付部１６１は、メイク指定操作が行われた場合（Ｓ１４００：ＹＥＳ）、処理をステップＳ１５００へ進める。
【００６７】
ステップＳ１５００において、操作受付部１６１は、行われたメイク指定操作が、アイテム選択操作（所定のメイク指定操作）であるか否かを判定する。操作受付部１６１は、行われたメイク指定操作がアイテム選択操作である場合（Ｓ１５００：ＹＥＳ）、処理をステップＳ１６００へ進める。また、操作受付部１６１は、行われたメイク指定操作がアイテム選択操作以外の操作である場合（Ｓ１５００：ＮＯ）、処理を後述のステップＳ１８００へ進める。
【００６８】
ステップＳ１６００において、カメラ制御部１７０は、アイテム選択操作により選択された化粧アイテムに対応する顔部品の位置（ＡＦ用領域、以下「注目位置」という）を判定する。
【００６９】
ステップＳ１７００において、カメラ制御部１７０は、注目位置をフォーカス位置として、ＡＦ部１２１に対しオートフォーカス動作を実施させる。カメラ制御部１７０は、ステップＳ１７００以外のタイミングにおいては、基本的に、オートフォーカス動作を指示しないものとする。
【００７０】
なお、表示制御部１６０は、オートフォーカス動作が行われている間、オートフォーカス動作が開始される前に撮影された顔映像から得られる顔静止画像を、顔映像のストリームデータに代えて、バーチャルメイク画面３００の映像表示領域３１０に表示させてもよい。これにより、映像表示領域３１０の顔映像が急に不明瞭になるのを防ぐ事ができ、ユーザ２００に与える不快感を低減する事ができる。
【００７１】
ステップＳ１８００において、メイク重畳部１６２は、メイク指定操作が指定したバーチャルメイクの内容に応じたメイクパーツ画像の生成、および、メイクパーツ画像の顔映像への重畳を開始する。なお、メイク重畳部１６２は、既にメイクパーツ画像の重畳が開始されている場合、最後に行われたメイク指定操作の内容に応じてバーチャルメイク映像の状態を変更する。
【００７２】
そして、ステップＳ１９００において、カメラ１２０（または他の装置部）は、ユーザ２００による操作等により、バーチャルメイクに関する処理の終了を指示されたか否かを判定する。カメラ１２０は、処理の終了を指示されていない場合（Ｓ１９００：ＮＯ）、処理をステップＳ１３００へ戻す。また、カメラ１２０は、処理の終了を指示された場合（Ｓ１９００：ＹＥＳ）、一連の処理を終了する。
【００７３】
このような動作により、バーチャルメイク装置１００は、オートフォーカス動作の実施をアイテム選択操作が行われたタイミングに制限しつつ、顔映像の変化に追従したバーチャルメイク映像を表示する事ができる。
【００７４】
なお、カメラ制御部１７０は、アイテム選択操作が行われた後のオートフォーカス動作が完了した後、顔映像における顔の大きさ（顔領域の幅や面積等）の変化に基づいて、カメラの焦点距離を調整してもよい。
【００７５】
この場合、例えば、映像処理部１５０は、周期的に、顔映像における顔の大きさを判定し、判定結果をカメラ制御部１７０へ出力する。顔の大きさは、例えば、肌色領域の面積や左右の瞳中心の間の距離を算出する事により、判定する事ができる。そして、カメラ制御部１７０は、前回オートフォーカス動作が行われた直後からの顔の大きさの変化（例えば大きさの比）と、前回のオートフォーカス動作により決定された焦点距離とに基づいて、現在の顔の位置に焦点が合う焦点距離を推定する。この場合、カメラ制御部１７０は、顔の大きさの変化のパターン毎にフォーカスレンズの調整後の位置を示すテーブルを、予め保持しておく事が望ましい。
【００７６】
また、カメラ制御部１７０は、アイテム選択操作が行われる前においても、ＡＦ部１２１に対してオートフォーカス動作を実施させてもよい。但し、カメラ制御部１７０は、アイテム選択操作が行われた後のオートフォーカス動作の頻度に比べて、アイテム選択操作が行われる前のオートフォーカス動作の頻度を高くする事が望ましい。
【００７７】
また、カメラ制御部１７０は、所定の条件が満たされる場合、アイテム選択操作が行われたとしてもオートフォーカス動作を実施しないようにしてもよい。かかる所定の条件としては、例えば、前回のオートフォーカス動作が行われたタイミング（以下「前回ＡＦタイミング」という）からの経過時間が少ない事、前回ＡＦタイミングからの顔の動きが少ない事、および、前回ＡＦタイミングからの顔の大きさの変化が少ない事等が含まれる。
【００７８】
＜本実施の形態の効果＞
以上説明したように、本実施の形態に係るバーチャルメイク装置１００は、オートフォーカス機能を備えたカメラ１２０によって撮影された顔映像を表示させた状態において、顔映像に対するバーチャルメイクの内容を指定するメイク指定操作を受け付ける表示制御部１６０と、所定のメイク指定操作が行われた事を条件として、カメラ１２０のオートフォーカス動作を開始させるカメラ制御部１７０とを有する。
【００７９】
すなわち、本実施の形態に係るバーチャルメイク装置１００は、リアルタイムによるバーチャルメイクアップにおいて、カメラ１２０のＡＦ処理を、バーチャルメイクアップ処理と連動させて制限する。これにより、本実施の形態に係るバーチャルメイク装置１００は、顔映像に対するバーチャルメイクを、より快適に行う事を可能にする。
【００８０】
＜本実施の形態の変形例＞
なお、オートフォーカス動作のトリガとなる所定のメイク指定操作は、アイテム選択操作に限定されるものではなく、例えば、バーチャルメイクの開始のために、操作受付領域３２０の表示開始を指示する操作であってもよい。
【００８１】
また、バーチャルメイクの対象となるメイクパーツおよび顔部品は、上述の例に限定されるものではない。バーチャルメイク装置１００は、鬘、カラーコンタクト、タトゥー、眼鏡、アクセサリー、特殊メイク等を、バーチャルメイクの対象となるメイクパーツに含んでもよい。この場合においても、バーチャルメイク装置１００は、メイクパーツ毎にどの顔部品にフォーカスを合わせるべきかを示す情報を、予め保持しておくことが望ましい。
【００８２】
また、バーチャルメイク装置は、タブレット型端末に限定されるものではなく、例えば、スマートフォンやパーソナルコンピュータであってもよい。
【００８３】
また、タッチパネルによる接触検出の対象は、指に限定されるものではなく、例えば、スタイラスであってもよい。
【００８４】
また、操作受付部は、ディスプレイと離隔したタッチパネル、マウス、キーボード、操作受付領域３２０の各領域を多数のキースイッチ等で置き換えた専用入力装置、あるいは視線検出による操作インタフェース等を介して、メイク指定操作を受け付けてもよい。
【００８５】
また、バーチャルメイク装置の構成の一部は、当該装置の構成の他の部分と物理的に離隔していてもよい。この場合、それらの離隔した複数の部分は、互いに通信を行うための通信部をそれぞれ備える必要がある。
【００８６】
＜本開示のまとめ＞
本開示のバーチャルメイクは、オートフォーカス機能を備えたカメラによって撮影された顔映像を表示させた状態において、前記顔映像に対するバーチャルメイクの内容を指定するメイク指定操作を受け付ける表示制御部と、所定の前記メイク指定操作が行われた事を条件として、前記カメラのオートフォーカス動作を開始させるカメラ制御部と、を有する。
【００８７】
なお、上記バーチャルメイク装置において、前記カメラ制御部は、前記所定のメイク指定操作が行われた後の前記オートフォーカス動作の頻度に比べて、前記所定のメイク指定操作が行われる前の前記オートフォーカス動作の頻度を低くしてもよい。
【００８８】
また、上記バーチャルメイク装置において、前記カメラ制御部は、前記所定のメイク指定操作が行われるまで、前記オートフォーカス動作を開始させなくてもよい。
【００８９】
また、上記バーチャルメイク装置において、前記所定のメイク指定操作は、前記顔映像に対するバーチャルメイクのパーツであって顔部品に予め対応付けられた化粧アイテムを選択するアイテム選択操作、を含み、前記カメラ制御部は、選択された前記化粧アイテムに対応する前記顔部品の、前記顔映像における位置に対応する位置を、前記オートフォーカス動作のフォーカス位置としてもよい。
【００９０】
また、上記バーチャルメイク装置において、前記表示制御部は、選択された前記化粧アイテムのメイクパーツ画像を、表示されている前記顔映像のうち、対応する前記顔部品の位置に重畳して表示してもよい。
【００９１】
また、上記バーチャルメイク装置において、前記表示制御部は、前記オートフォーカス動作が行われている間に取得された前記顔映像に代えて、前記オートフォーカス動作が開始される前の前記顔映像から得られる顔静止画像を表示してもよい。
【００９２】
また、上記バーチャルメイク装置において、前記カメラ制御部は、前記所定のメイク指定操作が行われた後の前記オートフォーカス動作が完了した後、前記顔映像における顔の大きさの変化に基づいて、前記カメラの焦点距離を調整してもよい。
【００９３】
本開示のバーチャルメイク方法は、オートフォーカス機能を備えたカメラによって撮影された顔映像の表示を開始し、前記顔映像に対するバーチャルメイクの内容を指定するメイク指定操作を受け付けるステップと、所定の前記メイク指定操作が行われた事を条件として、前記カメラのオートフォーカス動作を開始させるステップと、を有する。
【００９４】
本開示のバーチャルメイクプログラムは、オートフォーカス機能を備えたカメラによって撮影された顔映像の表示を開始し、前記顔映像に対するバーチャルメイクの内容を指定するメイク指定操作を受け付けるステップと、所定の前記メイク指定操作が行われた事を条件として、前記カメラのオートフォーカス動作を開始させるステップと、を有する。
【産業上の利用可能性】
【００９５】
本開示に係るバーチャルメイク装置、バーチャルメイク方法、およびバーチャルメイクプログラムは、顔映像に対するバーチャルメイクをより快適に行う事を可能にするバーチャルメイク装置、バーチャルメイク方法、およびバーチャルメイクプログラムとして有用である。
【符号の説明】
【００９６】
１００  バーチャルメイク装置
１１０  筐体
１２０  カメラ
１２１  ＡＦ部
１３０  タッチパネル付きディスプレイ
１４０  情報格納部
１５０  映像処理部
１６０  表示制御部
１６１  操作受付部
１６２  メイク重畳部
１７０  カメラ制御部
【図１】
0006731616.tif 000002
【図２】
0006731616.tif 000003
【図３】
0006731616.tif 000004
【図４】
0006731616.tif 000005
【図５】
0006731616.tif 000006
【図６】
0006731616.tif 000007
【図７】
0006731616.tif 000008