(57)【要約】【課題】シミュレーション結果に含まれるメイクアップ後の顔の肌色とミラーに映された自分の顔の肌色とを理想的な肌色に近づけてユーザに見比べさせることが可能なメイクアップシミュレーションに利用する端末装置を提供することを目的とする。【解決手段】メイクアップシミュレーションに利用する端末装置２であって、ユーザの顔を撮影し、画像を制御手段に出力する撮像手段１４と、制御手段によって行われたメイクアップシミュレーション結果の画像を表示する表示手段１３と、ユーザの顔を映す鏡手段１６と、鏡手段に映されたユーザの顔の肌色が理想的な肌色となるようにユーザの顔を照らす照明手段１５とを備えることにより上記課題を解決する。【選択図】図２
2009039523.tif 000002
【特許請求の範囲】
【請求項１】
メイクアップシミュレーションに利用する端末装置であって、
ユーザの顔を撮影し、画像を制御手段に出力する撮像手段と、
前記制御手段によって行われたメイクアップシミュレーション結果の画像を表示する表示手段と、
前記ユーザの顔を映す鏡手段と、
前記鏡手段に映されたユーザの顔の肌色が理想的な肌色となるようにユーザの顔を照らす照明手段と
を備えることを特徴とする端末装置。
【請求項２】
前記表示手段と前記鏡手段とは、連接されていることを特徴とする請求項１記載の端末装置。
【請求項３】
前記撮像手段及び前記表示手段は第１の部材に配置され、前記鏡手段は第２の部材に配置されており、前記第２の部材は可動可能に前記第１の部材に連接されていることを特徴とする請求項１記載の端末装置。
【請求項４】
前記第２の部材は前記第１の部材に配置されている前記表示手段を少なくとも覆い隠す位置に可動可能であることを特徴とする請求項３記載の端末装置。
【請求項５】
前記第２の部材は前記第１の部材の背面に隠れる位置に可動可能であることを特徴とする請求項４記載の端末装置。
【請求項６】
前記第２の部材は前記第１の部材に内向する第１の面と、前記第１の面の反対側の面とに前記鏡手段が配置されていることを特徴とする請求項４記載の端末装置。
【請求項７】
前記撮像手段及び前記表示手段は第１の部材に配置され、前記鏡手段は第２及び第３の部材に配置されており、前記第２及び第３の部材は可動可能に前記第１の部材に連接されていることを特徴とする請求項１記載の端末装置。
【請求項８】
前記第２及び第３の部材は前記第１の部材に配置されている前記表示手段を少なくとも覆い隠す位置に可動可能であることを特徴とする請求項７記載の端末装置。
【請求項９】
前記第２及び第３の部材は前記第１の部材に内向する第１の面と、前記第１の面の反対側の面とに前記鏡手段が配置されていることを特徴とする請求項８記載の端末装置。
【請求項１０】
前記照明手段が発光する光の色を制御する照明色制御手段を更に備えることを特徴とする請求項１記載の端末装置。
【請求項１１】
前記制御手段を更に備えることを特徴とする請求項１記載の端末装置。
【請求項１２】
前記照明手段は、発光ダイオードであることを特徴とする請求項１乃至１１何れか一項記載の端末装置。
【請求項１３】
前記鏡手段は、ガラスに含まれる鉄分を減少させて入射光の青が吸収される量を減少させたことを特徴とする請求項１乃至１２何れか一項記載の端末装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明はメイクアップシミュレーションに利用する端末装置に係り、特にメイクアップシミュレーション結果を表示する端末装置に関する。
【背景技術】
【０００２】
従来、メイクアップを施す商品の販売等のため、実際にメイクアップを施すことなくコンピュータ上でメイクアップ後の顔をシミュレーションする技術が知られている（例えば特許文献１参照）。
【０００３】
また、特許文献２には、シミュレーション結果に含まれるメイクアップ後の顔と自分の顔とを見比べるため、ミラーが連接されたメイクアップシミュレーション用表示装置が開示されている。
【特許文献１】特開２００１−３４６６２７号公報
【特許文献２】実開昭６４−４３２６号公報
【発明の開示】
【発明が解決しようとする課題】
【０００４】
特許文献２のメイクアップシミュレーション用表示装置では、シミュレーション結果に含まれるメイクアップ後の顔とミラーに映された自分の顔とについて、肌色が異なるという問題があった。
【０００５】
一般的に、シミュレーション結果に含まれるメイクアップ後の顔は肌色を容易に調整できるため、シミュレーション結果に含まれるメイクアップ後の顔の肌色をミラーに映された自分の顔の肌色に合わせることが簡単である。
【０００６】
しかしながら、シミュレーション結果に含まれるメイクアップ後の顔の肌色はミラーに映された自分の顔の肌色よりも理想的な肌色であることが多い。
【０００７】
したがって、上記のようにシミュレーション結果に含まれるメイクアップ後の顔の肌色をミラーに映された自分の顔の肌色に合わせる場合は、理想的な肌色から遠ざかることになる。
【０００８】
シミュレーション結果に含まれるメイクアップ後の顔とミラーに映された自分の顔とを見比べるとき、従来のメイクアップシミュレーション用表示装置では肌色を合わせようとすると、シミュレーション結果に含まれるメイクアップ後の顔の肌色とミラーに映された自分の顔の肌色とが理想的な肌色から遠ざかり、綺麗に見えない恐れがあった。
【０００９】
従来のメイクアップシミュレーション用表示装置は、シミュレーション結果に含まれるメイクアップ後の顔とミラーに映された自分の顔とを見比べさせることにより商品の購入意欲を減退させてしまう可能性があるという問題があった。
【００１０】
本発明は、上記の点に鑑みなされたもので、シミュレーション結果に含まれるメイクアップ後の顔の肌色とミラーに映された自分の顔の肌色とを理想的な肌色に近づけてユーザに見比べさせることが可能なメイクアップシミュレーションに利用する端末装置を提供することを目的としている。
【課題を解決するための手段】
【００１１】
上記した課題を解決するため、本発明は、メイクアップシミュレーションに利用する端末装置であって、ユーザの顔を撮影し、画像を制御手段に出力する撮像手段と、前記制御手段によって行われたメイクアップシミュレーション結果の画像を表示する表示手段と、前記ユーザの顔を映す鏡手段と、前記鏡手段に映されたユーザの顔の肌色が理想的な肌色となるようにユーザの顔を照らす照明手段とを備えることを特徴とする。
【００１２】
前記鏡手段は、ガラスに含まれる鉄分を減少させて入射光の青が吸収される量を減少させたことを特徴としてもよい。
【００１３】
なお、本発明の構成要素、表現または構成要素の任意の組合せを、方法、装置、システム、コンピュータプログラム、記録媒体、データ構造などに適用したものも本発明の態様として有効である。
【発明の効果】
【００１４】
本発明によれば、シミュレーション結果に含まれるメイクアップ後の顔の肌色とミラーに映された自分の顔の肌色とを理想的な肌色に近づけてユーザに見比べさせることが可能なメイクアップシミュレーションに利用する端末装置を提供可能である。
【発明を実施するための最良の形態】
【００１５】
次に、本発明を実施するための最良の形態を、以下の実施例に基づき図面を参照しつつ説明していく。
【００１６】
図１は本発明による端末装置を含むメイクアップシミュレーションシステムの一例の構成図である。図１のメイクアップシミュレーションシステム１は、端末装置２及び制御装置３を含む構成である。なお、端末装置２及び制御装置３は同一の筐体に配置しても別々の筐体に配置してもよい。
【００１７】
制御装置３は端末装置２の制御，メイクアップシミュレーションの処理等を行うものである。制御装置３は例えばパーソナルコンピュータ（ＰＣ）で構成される。端末装置２は制御装置３によって制御される。端末装置２は例えばメイクアップシミュレーションを受けるユーザの前面に置かれる。端末装置２はメイクアップシミュレーション結果等、メイクアップシミュレーションに関する情報を表示する。
【００１８】
なお、メイクアップシミュレーションシステム１は、プリンタを更に含む構成としてもよい。プリンタは、端末装置２に表示されるメイクアップシミュレーション結果等、メイクアップシミュレーションに関する情報を印刷できる。
【００１９】
図２及び図３は本発明による端末装置の第一実施例の外観図である。端末装置２は第１の部材１１及び第２の部材１２が連接された構成である。第２の部材１２は、第１の部材１１に対して軸２０を中心にして回動可能に取り付けられている。図２の端末装置２は第１の部材１１に対して第２の部材１２が開かれた状態を表している。図３の端末装置２は第１の部材１１に対して第２の部材１２が閉じられた状態を表している。
【００２０】
第１の部材１１は、表示手段としてのモニタ１３，撮像手段としてのカメラ１４，照明１５が配置されている。第２の部材１２は、両面に鏡１６，１９が配置されている。第２の部材１２は第１の部材１１に対して閉じられた状態のとき、第１の部材１１に配置されているカメラ１４及び照明１５を覆い隠すことが無いように開口部１７及び１８が設けられている。開口部１７及び１８は透明部材によって構成してもよい。
【００２１】
したがって、端末装置２は第１の部材１１に対して第２の部材１２が閉じられた状態であってもカメラ１４及び照明１５を利用可能である。なお、端末装置２は開口部１８の位置に別の照明を配置してもよい。
【００２２】
照明１５は例えば複数の発光ダイオード（ＬＥＤ）によって構成される。照明１５を構成するＬＥＤは、鏡１６，１９に映されたユーザの顔が理想的（自然）な肌色となるような光の色（波長）を選択することが望ましい。また、端末装置２は照明１５を複数色のＬＥＤによって構成しておき、照明１５が発光する光の色を制御する仕組みを設けることにより、カメラ１４による撮影時や、光の色によるユーザの顔の見え方の違いを説明するとき等、状況に応じた光の色を発光できる。なお、照明１５が発光する光の色を制御する仕組みは、スイッチを設けて手動により制御する方法や、制御装置３からの指示により制御する方法等が考えられる。
【００２３】
鏡１６及び１９は、色の変化が少なく自然な色表現が可能なものを使用する。鏡１６及び１９は、入射光の青を吸収する鉄分をガラスから多く取り除くことで、色の変化が少なく自然な色表現が可能となる。鏡１６及び１９は、ユーザの顔を理想的（自然）な肌色で映すことができる。
【００２４】
カメラ１４は、メイクアップシミュレーションを行うユーザの顔を撮影して画像（静止画像又は動画像）を制御装置３へ出力する。モニタ１３はメイクアップシミュレーション結果等、メイクアップシミュレーションに関する情報を表示する。ユーザからの操作を受け付ける場合、モニタ１３は例えばタッチパネルモニタで構成することができる。
【００２５】
タッチパネルモニタは操作部及び表示部として機能するものである。無論、端末装置２は操作部を別途含む構成としてもよい。また、ユーザからの操作を制御装置３側から受け付ける構成としてもよい。タッチパネルモニタは、操作画像を表示すると共に、ユーザからの操作を受け付けて操作情報を制御装置３へ出力する。また、タッチパネルモニタはメイクアップシミュレーション結果等、メイクアップシミュレーションに関する情報を表示する。
【００２６】
このように、本発明による端末装置２はカメラ１４によって撮影したユーザの顔の画像を制御装置３へ出力する。制御装置３は、受信した画像に含まれるユーザの顔を対象としてメイクアップシミュレーションを行い、そのメイクアップシミュレーション結果等の画像を端末装置２へ出力する。端末装置２は、受信したメイクアップシミュレーション結果等の画像をタッチパネルモニタ１５に表示する。
【００２７】
図４及び図５は、本発明による端末装置の第二実施例の外観図である。第二実施例の端末装置２は、第一実施例の端末装置２における第二の部材１２が、第二の部材１２ａ及び第三の部材１２ｂに分割されている点で、第一実施例の端末装置２と異なる。
【００２８】
端末装置２は第１の部材１１，第２の部材１２ａ及び第３の部材１２ｂが連接された構成である。第２の部材１２ａは、第１の部材１１に対して軸２０ａを中心にして回動可能に取り付けられている。第３の部材１２ｂは、第１の部材１１に対して軸２０ｂを中心にして回動可能に取り付けられている。
【００２９】
図４の端末装置２は、第１の部材１１に対して第２の部材１２ａ及び第３の部材１２ｂが開かれた状態を表している。図５の端末装置２は、第１の部材１１に対して第２の部材１２ａ及び第３の部材１２ｂが閉じられた状態を表している。第２の部材１２ａは両面に鏡１６ａ，１９ａが配置されている。第３の部材１２ｂは両面に鏡１６ｂ，１９ｂが配置されている。
【００３０】
第２の部材１２ａ及び第３の部材１２ｂは、第１の部材１１に対して閉じられた状態のとき、第１の部材１１に配置されているカメラ１４及び照明１５を覆い隠すことが無いように開口部１７ａ，１７ｂ及び１８が設けられている。開口部１７ａ，１７ｂ及び１８は透明部材によって構成してもよい。
【００３１】
したがって、端末装置２は第１の部材１１に対して第２の部材１２ａ及び第３の部材１２ｂが閉じられた状態であってもカメラ１４及び照明１５を利用可能である。なお、端末装置２は開口部１８の位置に別の照明を配置してもよい。
【００３２】
照明１５を構成するＬＥＤは鏡１６ａ，１６ｂ，１９ａ及び１９ｂに映されたユーザの顔が理想的（自然）な肌色となるような光の色（波長）を選択することが望ましい。鏡１６ａ，１６ｂ，１９ａ及び１９ｂは、上記したような色の変化が少なく自然な色表現が可能なものを使用する。その他の構成は、第一実施例の端末装置２と同様であるため、説明を省略する。
【００３３】
図６〜図９は本発明による端末装置の第三実施例の外観図である。なお、第三実施例の外観図は端末装置２だけでなく制御装置３も図示している。端末装置２は第１の部材１１及び第２の部材１２が連接された構成である。第２の部材１２は蝶番２１を介して第１の部材１１に取り付けられている。第２の部材１２は蝶番２１により第１の部材１１の背面に隠れるように回動可能である。
【００３４】
蝶番２１は第１の蝶番２１Ａ及び２１Ｂから構成されている。図６の端末装置２は第１の部材１１に対して第２の部材１２が閉じられた状態を表している。第１の蝶番２１Ａが回動することにより、第２の部材１２は図７及び図８のように第１の部材１１に対して開かれた状態となる。また、第２の蝶番２１Ｂが回動することにより、第２の部材１２は図９のように第１の部材１１の背面に回動する。
【００３５】
第１の部材１１は、モニタ１３，カメラ１４，照明１５が配置されている。第２の部材１２は、両面に鏡１６，１９が配置されている。第２の部材１２は第１の部材１１に対して閉じられた状態のとき、第１の部材１１に配置されているカメラ１４及び照明１５を覆い隠すことが無い形状である。なお、第２の部材１２は第１の部材１１に対して閉じられた状態のとき、第１の部材１１に配置されているカメラ１４及び照明１５を覆い隠す部分を透明部材によって構成してもよい。従って、端末装置２は第１の部材１１に対して第２の部材１２が閉じられた状態であってもカメラ１４及び照明１５を利用可能である。
【００３６】
照明１５は例えば電極管によって構成される。また、証明１５は第一及び第二実施例と同様、複数の発光ダイオード（ＬＥＤ）によって構成してもよい。その他の構成は、第一実施例の端末装置２と同様であるため、説明を省略する。
【００３７】
本発明による端末装置２を含むメイクアップシミュレーションシステム１は、鏡というメイクアップに必要不可欠なアイテムをコンセプトとし、ユーザとのインタラクティブな機能を持つ。また、本発明による端末装置２を含むメイクアップシミュレーションシステム１は、ユーザがあたかも鏡を見ながら自然にメイクアップをしている気分にさせる特徴を持つ。
【００３８】
メイクアップシミュレーションシステム１は、カメラ１４から出力された動画像等を制御装置３で画像処理し、動画像等に含まれるユーザの顔にメイクアップを施して、デジタルの鏡であるモニタ１３に表示する。メイクアップシミュレーションシステム１は、様々な商品情報、美容情報およびユーザの顔にメイクアップを施したイメージ画像を端末装置２のモニタ１３に表示できる。
【００３９】
図１０は本発明による端末装置を含むメイクアップシミュレーションシステムの一実施例のハードウェア構成図である。なお、図２〜図５と同一部分については同一符号を付している。
【００４０】
図１０のメイクアップシミュレーションシステム１は、それぞれバスＢ等で相互に接続されているタッチパネルモニタ（以下、単にモニタと呼ぶ）１３，カメラ１４，演算処理装置３０，メモリ装置３１，ドライブ装置３２及び補助記憶装置３３を含むように構成されている。なお、図１０の演算処理装置３０，メモリ装置３１，ドライブ装置３２及び補助記憶装置３３は、図１の制御装置３を構成する。
【００４１】
メイクアップシミュレーションシステム１を制御するメイクアップシミュレーションプログラムは制御装置３を制御する各種プログラムの少なくとも一部である。メイクアップシミュレーションプログラムは例えば記録媒体３４の配布などによって提供される。
【００４２】
なお、メイクアップシミュレーションプログラムを記録した記録媒体３４は、ＣＤ−ＲＯＭ、フレキシブルディスク、光磁気ディスク等の様に情報を光学的，電気的或いは磁気的に記録する記録媒体、ＲＯＭ、フラッシュメモリ等の様に情報を電気的に記録する半導体メモリ等、様々なタイプの記録媒体を用いることができる。
【００４３】
また、メイクアップシミュレーションプログラムを記録した記録媒体３４がドライブ装置３２にセットされると、メイクアップシミュレーションプログラムは記録媒体３４からドライブ装置３２を介して補助記憶装置３３にインストールされる。補助記憶装置３３はインストールされたメイクアップシミュレーションプログラムを格納すると共に、必要なファイル，データ等を格納する。メモリ装置３１は、起動時に補助記憶装置３３からメイクアップシミュレーションプログラムを読み出して格納する。そして、演算処理装置３０はメモリ装置３１に格納されたメイクアップシミュレーションプログラムに従って、後述するような各種処理を実現している。
【００４４】
図１１は、メイクアップシミュレーションシステムが行なう処理の概略を表した一実施例のフローチャートである。図１２は、モニタに表示されるメイン画面及び操作画面の一例のイメージ図である。図１２の画面イメージ１００〜１１１はメイン画面のものである。画面イメージ２００〜２１０は操作画面のものである。
【００４５】
制御装置３は、カメラ１４が撮影した動画像を継続して受信している。このとき、制御装置３はモニタ１３に画面イメージ１００及び２００を表示している。画面イメージ１００及び２００はスクリーンセーバーを表示している例を表している。
【００４６】
ステップＳ１に進み、制御装置３は受信している動画像にユーザの顔が含まれているか否かを継続して判定している。制御装置３は動画像にユーザの顔が含まれていることを認識するまでステップＳ１の処理を繰り返し行う（Ｓ１においてＮＯ）。
【００４７】
動画像にユーザの顔が含まれていることを認識すると（Ｓ１においてＹＥＳ）、制御装置３はステップＳ２に進み、メイクアップシミュレーションを行なうためのメイクアップシミュレーションプログラムを含むソフトを起動する。このとき、制御装置３はモニタ１３に画面イメージ１０１及び２０１を表示する。
【００４８】
画面イメージ１０１はカメラ１４でユーザの顔を撮影した動画像を表示している例を表している。画面イメージ２０１は、横に移動する歓迎のコメントを表示している例を表している。
【００４９】
ステップＳ３に進み、制御装置３は、ステップＳ２で起動したソフトに基づいてメイクアップシミュレーションを開始する。このとき、制御装置３はモニタ１３に画面イメージ１０２及び２０２を表示する。画面イメージ１０２は、カメラ１４でユーザの顔を撮影した動画像に、魔法の鏡的な演出を施して表示している例を表している。画面イメージ２０２は、画面イメージ２０１と同様、横に移動する歓迎のコメントを表示している例を表している。
【００５０】
ステップＳ４に進み、制御装置３はメイクアップシミュレーションを後述するように実行する。このとき、制御装置３はモニタ１３に画面イメージ１０３〜１０６，２０３〜２０６を順次表示する。
【００５１】
画面イメージ１０３〜１０６は、メイクアップシミュレーションにより４つのメイクアップパターン（イメージ）が施されたユーザの顔を表示している例を表している。画面イメージ２０３〜２０６は、そのときモニタ１３に表示されている画面イメージ１０３〜１０６のメイクアップパターンの内容（例えば名称等）を表示している例を表している。
【００５２】
所定時間が経過するか、又はユーザがモニタ１３にタッチするまで、制御装置３はモニタ１３に画面イメージ１０３〜１０６，２０３〜２０６を順次表示する。所定時間が経過するか、又はユーザがモニタ１３にタッチすると、制御装置３はステップＳ５に進み、モニタ１３に画面イメージ１０７及び２０７を表示する。
【００５３】
画面イメージ１０７は、画面イメージ１０１と同様、カメラ１４でユーザの顔を撮影した動画像を表示している例を表している。画面イメージ２０７は、４つのメイクアップパターン（イメージ）から１つのイメージを選択可能なイメージ選択画面を表示している例を表している。ユーザは、モニタ１３の該当箇所にタッチすることで、イメージ選択画面から１つのイメージを選択することができる。
【００５４】
ステップＳ６に進み、制御装置３はイメージ選択画面から１つのイメージが選択されるまでステップＳ６の処理を繰り返し行う（Ｓ６においてＮＯ）。ユーザがイメージ選択画面から１つのイメージを選択すると、モニタ１３はユーザからの操作を受け付けて操作情報を制御装置３に出力する。
【００５５】
ユーザがイメージ選択画面から１つのイメージを選択したと判定すると（Ｓ６においてＹＥＳ）、制御装置３はステップＳ７に進み、選択されたイメージのイメージ画面をモニタ１３に表示する。このとき、制御装置３はモニタ１３に画面イメージ１０８及び２０８を表示する。
【００５６】
画面イメージ１０８は、イメージ選択画面から選択された１つのイメージに基づき、異なるカラーパターンが施されたメイクアップ後のユーザの顔のイメージ画像と、イメージ画像のようにメイクアップする為の商品情報とを順次表示している例を表している。画面イメージ２０８は、イメージ選択画面から選択された１つのイメージの内容と、そのときモニタ１３に表示されている画面イメージ１０８のイメージ画像のようにメイクアップする為の商品情報とを表示している例を表している。
【００５７】
なお、ユーザがモニタ１３を操作することによりプリントアウトを指示できるようにしてもよい。ユーザからのプリントアウト指示を受け付けると、制御装置３は画面イメージ１０９及び２０９を操作パネル４に表示する。画面イメージ１０９は、プリントアウトするイメージ画像を表示している例を表している。画面イメージ２０９は、プリントアウト中のコメントを表示している例を表している。制御装置３はプリンタ（図示せず）を制御してモニタ１３に表示されているイメージ画像（画面イメージ１０９）をプリントアウトする。
【００５８】
また、ユーザはモニタ１３を操作することにより、メイクアップ前及び後のイメージ画像から成る比較画面の表示およびプリントアウトを指示することもできる。ユーザからの比較画面の表示指示を受け付けると、制御装置３は画面イメージ１１０をモニタ１３に表示する。画面イメージ１１０は、メイクアップ前及び後のイメージ画像から成る比較画面を表示している例を表している。比較画面を表示している状態で、ユーザからのプリントアウト指示を受け付けると、制御装置３はプリンタ（図示せず）を制御してモニタ１３に表示されている比較画面をプリントアウトする。
【００５９】
そして、ユーザによるメイクアップシミュレーションが終了すると、制御装置３はモニタ１３にスクリーンセーバーである画面イメージ１１１及び２１０を表示して処理を終了する。
【００６０】
本発明による端末装置２は、例えば図２に記載されるように、モニタ１３の横に鏡１６が設けられている。したがって、ユーザはメイクアップシミュレーションにより４つのメイクアップパターン（イメージ）が施されたユーザの顔を画面イメージ１０３〜１０６等としてモニタ１３に表示させつつ、鏡１６に映された自分の顔を確認できるので、メイクアップシミュレーション結果に含まれるメイクアップ後の顔と、自分の顔とを見比べることができる。
【００６１】
また、本発明による端末装置２は鏡１６に映されたユーザの顔が理想的（自然）な肌色となるような光の色（波長）を選択して発光できると共に、色の変化が少なく自然な色表現が可能な鏡１６を使用しているため、鏡１６に映されたユーザの顔が理想的（自然）な肌色となる。
【００６２】
そして、本発明による端末装置２は、メイクアップシミュレーション結果に含まれるメイクアップ後の顔の肌色を調整により、鏡１６に映されたユーザの顔の色の肌色と合わせることにより、メイクアップシミュレーション結果に含まれるメイクアップ後の顔の肌色とミラーに映された自分の顔の肌色とを理想的な肌色に近づけることができる。
【００６３】
したがって、本発明による端末装置２はメイクアップシミュレーション結果に含まれるメイクアップ後の顔と自分の顔とを綺麗な肌色で見比べることができ、商品の購入意欲を向上させることが期待できる。
【００６４】
なお、図１１及び図１２の例ではメイクアップシミュレーションにより４つのイメージを表示しているが、４つ以外のイメージを表示するものであってもよい。また、メイクアップシミュレーションシステム１はカメラ１４から出力された動画像に含まれるユーザの顔にメイクアップを施す例を示しているが、予め撮影した動画像を動画ファイルとして補助記憶装置３３等に記憶しておき、その動画ファイルに含まれるユーザの顔にメイクアップを施すものであってもよい。
【００６５】
メイクアップシミュレーションシステム１はカメラ１４から出力された動画像を上記のようなメイクアップシミュレーション以外に利用することもできる。図１３はメイクアップシミュレーションシステムが行なうメイクアップシミュレーション以外の処理を表したイメージ図である。
【００６６】
画面イメージ３００は、カメラ１４で撮影したユーザの顔の動画像を表示している例を表している。メイクアップシミュレーションシステム１は動画像に含まれているユーザの顔を認識し、ユーザの顔の静止画３０１を切り出す。
【００６７】
メイクアップシミュレーションシステム１は顔立ち分析ロジックおよび肌分析ロジックにより静止画３０１の顔立ち診断および肌色診断を行い、その結果を表す画面イメージ３０２をモニタ１３に表示できる。なお、顔立ち分析ロジックおよび肌分析ロジックにより静止画３０１の顔立ち診断および肌色診断を行なう処理は、例えば特開２００１−３４６６２７号公報に記載されている公知技術である。
【００６８】
また、メイクアップシミュレーションシステム１は画面イメージ３０３のようなコース選択画面３０３をモニタ１３に表示して、各コース（トレンド、ベーシック、フリー）をユーザに選択させることもできる。
【００６９】
メイクアップシミュレーションシステム１は、ユーザにより選択されたコースに基づく画面イメージ３０４〜３０９をモニタ１３に表示してシミュレーション及びアドバイスを行なう。
【００７０】
画面イメージ３０４〜３０６は、各コースのシミュレーション画面を表示している例を表している。画面イメージ３０７〜３０９は、各コースのアドバイス画面を表示している例を表している。
【００７１】
例えばベーシックコースとは、顔立ち診断および肌色診断の結果に基づいて、最適なメイクアップテクニックをシミュレーション及びアドバイスするものである。また、トレンドコースとは最新のトレンドメイクアップのシミュレーション及びアドバイスするものである。また、フリーメイクアップコースとは目元，口元，ほお，眉，個々のパーツに対応したアイテムのシミュレーション及びアドバイスするものである。
【００７２】
シミュレーション画面又はアドバイス画面を表示している状態で、ユーザからのプリントアウト指示を受け付け、制御装置３はプリンタ（図示せず）を制御してモニタ１３に表示されているシミュレーション画面又はアドバイス画面をプリントアウトするようにしてもよい。
【００７３】
次に、上記のようなメイクアップシミュレーションシステム１の詳細について図１４を参照しつつ説明する。図１４はメイクアップシミュレーションシステムの詳細を表した一例のシステム構成図である。
【００７４】
図１４に示したメイクアップシミュレーションシステム１は、アナログカメラ５１，ＵＳＢキャプチャデバイス５２，動画ファイル５３，メイクアップカメラ５４，静止画システム５５，動画ファイル５６，共有メモリ５７，シミュレータメインアプリ５８及びインターフェースアプリ５９を含む構成である。
【００７５】
アナログカメラ５１は撮影した例えばＮＴＳＣ方式の動画像をＵＳＢキャプチャデバイス５２経由で出力する。ＵＳＢキャプチャデバイス５２から出力された動画像は、例えばＡＰＩ（application programming interface）の一例としてのＤｉｒｅｃｔＸ６１を利用してシミュレータメインアプリ５８に入力される。また、動画ファイル５３もＤｉｒｅｃｔＸ６１を利用してシミュレータメインアプリ５８に入力される。
【００７６】
メイクアップカメラ５４は撮影した動画像をシリアルインターフェースの一例としてのＩＥＥＥ１３９４経由で出力する。メイクアップカメラ５４から出力された動画像は専用ＡＰＩ６２を利用してシミュレータメインアプリ５８に入力される。シミュレータメインアプリ５８は専用ＡＰＩ６２を利用して入力された動画像から動画像用解像度の原画像と静止画用解像度の静止画像とを得る。
【００７７】
シミュレータメインアプリ５８はＤｉｒｅｃｔＸ６１を利用して入力された動画像及び動画ファイル５３と、専用ＡＰＩ６２を利用して入力された動画像から得られた動画像用解像度の動画像とを原画像とし、原画像に対してトリミング及び縮小処理を行う。
【００７８】
シミュレータメインアプリ５８は原画像に対してトリミングを行ってメイクアップ前画像を得る。また、シミュレータメインアプリ５８は原画像に対して縮小処理を行って顔認識処理用画像を得る。顔認識処理部６３は、顔認識処理用画像からユーザの顔を認識するための後述するようなトラッキングポイント６４を、ＦＦＴ（高速フーリエ変換）により得る。
【００７９】
メイクアップ処理部６５は、トラッキングポイント６４に基づき、メイクアップ前画像に含まれるユーザの顔に、ファンデーション，眉，シャドウ，口紅，チークから成るメイクアップを施してメイクアップ後画像を得る。なお、メイクアップ処理部６５は、ファンデーション処理部６６，眉処理部６７，シャドウ処理部６８，口紅処理部６９，チーク処理部７０を含む構成である。
【００８０】
メイクアップ処理部６５はメイクアップ後画像のようにメイクアップする為の商品情報７１をメイクアップ後画像に含ませることができる。動画サーバ７２は、メイクアップ前画像およびメイクアップ後画像を共有メモリ５７に書き込むと共に、メイクアップ前画像およびメイクアップ後画像を動画ファイル５６として出力することもできる。
【００８１】
インターフェースアプリ５９は、ＡｃｔｉｖｅＸコントローラ８０及びＡｃｔｉｖｅＸビュアー８１を利用する、動画コントロールオブジェクト８２，動画表示オブジェクト８３及びその他のコントローラ８４を含む構成である。なお、インターフェースアプリ５９とシミュレータメインアプリ５８とはＡｃｔｉｖｅＸ＆Ｓｏｃｋｅｔによる連携を図っている。
【００８２】
インターフェースアプリ５９はＡｃｔｉｖｅＸビュアー８１を利用して、供給メモリ５７に書き込まれているメイクアップ前画像およびメイクアップ後画像を前述したモニタ１３に表示することができる。
【００８３】
シミュレータメインアプリ５８は、専用ＡＰＩ６２を利用して入力された動画像から得られた静止画用解像度の静止画像に対してトリミング及び縮小処理を行う。シミュレータメインアプリ５８は静止画用解像度の静止画像に対してトリミングを行なう。さらに、シミュレータメインアプリ５８は静止画用解像度の静止画像に対して縮小処理を行って顔認識処理用画像を得る。顔認識処理部７３は、顔認識処理用画像からユーザの顔を認識する為の後述するようなトラッキングポイント７４を得る。
【００８４】
シミュレータメインアプリ５８は、トラッキングポイント７４に基づき、トリミングを行った動画像に含まれるユーザの顔から詳細部位を抽出し、その詳細部位から顔立ち診断および肌色診断に用いるタイプ、肌色等の追加情報を得て、トラッキングポイント７４に追加情報を付加したトラッキングポイント７５と、専用ＡＰＩ６２を利用して入力された動画像から得られた静止画用解像度の静止画像とを静止画システム５５に出力する。
【００８５】
静止画システム５５は、トラッキングポイント７５を使用して、前述した顔立ち分析ロジックおよび肌分析ロジックにより静止画３０１の顔立ち診断および肌色診断を行い、その結果を表す画面イメージ３０２をモニタ１３に表示できる。その他、静止画システム５５は画面イメージ３０３〜３０９をモニタ１３に表示することもできる。
【００８６】
図１５は、シミュレータメインアプリが行なう処理を表す画面イメージ図である。画面イメージ４００はメイクアップ前画像を表示した例を表している。画面イメージ４０１は顔認識処理用画像から得たトラッキングポイント６４をメイクアップ前画像に重ねて表示した例を表している。また、画面イメージ４０２はトラッキングポイント６４に基づいてメイクアップ前画像に含まれるユーザの顔にメイクアップを施したメイクアップ後画像を表示した例を表している。
【００８７】
以下、シミュレータメインアプリ５８が行なう処理のうち、顔認識処理，メイクアップ処理の詳細について図面を参照しつつ順番に説明していく。なお、本実施例では、メイクアップ処理の一例として、ファンデーション処理，眉処理，シャドウ処理，口紅処理及びチーク処理から成るメイクアップ処理を説明するが、他の組み合わせであってもよい。
【００８８】
（顔認識処理）
図１６はメイクアップ前画像に含まれるユーザの顔のイメージ画像である。図１７はトラッキングポイントを表す一例のイメージ図である。シミュレータメインアプリ５８の顔認識処理部６３は、図１６のようなイメージ画像からユーザの顔を認識する為の図１７のような４５点のトラッキングポイント６４を得る。図１７のトラッキングポイント６４は一例であって、制御装置３の処理能力やモニタ１３の精細度に応じて調整してもよい。
【００８９】
このように、メイクアップ前画像に含まれるユーザの顔からトラッキングポイント６４を得ることにより、メイクアップ処理部６５はトラッキングポイント６４と関連付けてメイクアップの施し方や色を図１８のようなメイクアップ処理パラメータファイルに設定しておくことができる。
【００９０】
図１８は、メイクアップ処理パラメータファイルの一例の構成図である。図１８のメイクアップ処理パラメータファイルは、目元，口元，チーク等ごとにトラッキングポイント６４と関連付けてメイクアップの施し方や色が設定されているものである。なお、メイクアップ処理パラメータファイルはメイクアップパターン（イメージ）毎に設定されるものである。図１８のメイクアップ処理パラメータファイルは、クラスエレガンスの例を表している。
【００９１】
（口紅処理）
シミュレータメインアプリ５８に含まれる口紅処理部６９は図１９に示すように唇８点及び鼻３点のトラッキングポイント６４を参照し、口紅処理を行う。図１９は口紅処理により参照されるトラッキングポイントを示すイメージ図である。
【００９２】
図２０は口紅処理を示す一例のフローチャートである。口紅処理は大別するとステップＳ１０の前準備処理とステップＳ２０の色塗り処理とで構成される。前準備処理は、ステップＳ１１の切出し＆回転処理，ステップＳ１２の輪郭抽出用画像の作成処理，ステップＳ１３の輪郭抽出処理，ステップＳ１４のスプライン曲線生成処理，ステップＳ１５の回転戻し処理，ステップＳ１６の色塗りマップ生成処理とで構成される。色塗り処理は、ステップＳ２１の色塗りマップに基づく色塗り処理，ステップＳ２２のデバック＆デザイン用描画処理とで構成される。
【００９３】
ステップＳ１１の切出し＆回転処理に進み、口紅処理部６９は、顔認識処理用画像からユーザの顔の唇を含む部分画像５００を切り出し、その部分画像５００を処理用の姿勢に回転させて部分画像５０１を得る。
【００９４】
ステップＳ１２の輪郭抽出用画像の作成処理に進み、口紅処理部６９は部分画像５０１から輪郭抽出用画像を作成する。ステップＳ１３の輪郭抽出処理に進み、口紅処理部６９は輪郭抽出用画像から唇の輪郭を部分画像５０２に示すようにポイントで抽出する。
【００９５】
図２１は輪郭抽出処理を表す一例のイメージ図である。輪郭抽出用画像６００は唇８点及び鼻３点のトラッキングポイントが重ねて表示されている。口紅処理部６９は、唇８点及び鼻３点のトラッキングポイントを元に再探索して輪郭抽出用画像６０１のポイントを抽出する。
【００９６】
図２２は輪郭抽出用画像６００の唇８点及び鼻３点のトラッキングポイントと、唇８点及び鼻３点のトラッキングポイントを元に再探索して抽出した輪郭抽出用画像６０１のポイントとの比較画面である。なお、上記再探索が不調な場合は輪郭抽出用画像６００の唇８点及び鼻３点のトラッキングポイントから算出した図２３のようなデフォルトポイントを採用する。
【００９７】
図２３は唇８点及び鼻３点のトラッキングポイントからデフォルトポイントを求める処理を表した一例のイメージ図である。口紅処理部６９は鼻の３点のトラッキングポイントを参照し、上唇５点に対してデフォルトポイントを求める。
【００９８】
ステップＳ１４のスプライン曲線生成処理に進み、口紅処理部６９は輪郭抽出用画像６０１のポイント又は図２３のようなデフォルトポイントを２次スプラインで補間し、図２４に示すような輪郭を完成させる。図２４は、ポイント又はデフォルトポイントから輪郭を完成させる処理を表したイメージ図である。部分画像５０３のように唇の輪郭が完成すると、口紅処理部６９はステップＳ１５に進み、ステップＳ１１の切出し＆回転処理で行った回転を元に戻す回転戻し処理を行なう。
【００９９】
ステップＳ１６の色塗りマップ生成処理に進み、口紅処理部６９は部分画像７００の明度および彩度から色塗りの強さを決める色塗りマップを生成する。図２５は色塗りマップ生成処理を表した一例のイメージ図である。具体的に、口紅処理部６９は、明度および彩度から色塗りの強さを表すグレースケール画像７０１を生成する。口紅処理部６９は、ステップＳ１４のスプライン曲線生成処理で完成させた唇の輪郭で囲まれた部分画像７０２のみを色塗りマップ５０４としてグレースケール画像７０１から切り出す。
【０１００】
ステップＳ２１の色塗りマップに基づく色塗り処理に進み、口紅処理部６９はステップＳ１６の色塗りマップ生成処理で生成した色塗りマップ５０４と、図１８のようなメイクアップ処理パラメータファイルに設定されているメイクアップの施し方や指定色に基づいてメイクアップ前画像に対して着色を行なう。
【０１０１】
図２６は色塗りマップに基づく色塗り処理を表した一例のイメージ図である。口紅処理部６９は図１８のようなメイクアップ処理パラメータファイル８０１に設定されているメイクアップの施し方や指定色と、ステップＳ１６の色塗りマップ生成処理で生成した色塗りマップ８０２とに基づいて、メイクアップ前画像８０３に対して着色を行い、メイクアップ後画像８０４を得る。
【０１０２】
そして、ステップＳ２２のデバック＆デザイン用描画処理に進み、口紅処理部６９はデバック＆デザイン用描画の処理を行ったあと、口紅処理を終了する。
【０１０３】
（シャドウ処理）
シミュレータメインアプリ５８に含まれるシャドウ処理部６８は図２７に示すように左右別に目３点及び眉１点のトラッキングポイント６４を参照し、シャドウ処理を行う。図２７はシャドウ処理により参照されるトラッキングポイントを示すイメージ図である。
【０１０４】
図２８はシャドウ処理を示す一例のフローチャートである。シャドウ処理は大別するとステップＳ３０の前準備処理とステップＳ４０の色塗り処理とで構成される。前準備処理は、ステップＳ３１の基本輪郭の生成処理で構成される。
【０１０５】
色塗り処理は、色塗りパターン分繰り返し行なう、ステップＳ４１の色塗り輪郭の生成処理，ステップＳ４２の色塗り中心の生成処理，ステップＳ４３の色塗りマップの生成処理，ステップＳ４４の色塗りマップに基づく色塗り処理，ステップＳ４５のデバック＆デザイン用描画処理とで構成される。
【０１０６】
ステップＳ３１の基本輪郭の生成処理に進み、シャドウ処理部６８は、顔認識処理用画像からユーザの顔の目の形状を部分画像９００のように得る。図２９は、基本輪郭の生成処理を表す一例のイメージ図である。
【０１０７】
シャドウ処理部６８は色塗り輪郭の基本となる輪郭を生成するため、部分画像１００１に示すように、目の中心から上下方向を探索して目の輪郭（上辺境界＆下辺境界）を２点認識する。シャドウ処理部６８は、認識した目の輪郭２点，目尻及び目頭の４点に、スプライン補間で生成した４点を追加して、計８点によるポリゴンを部分画像１００２のように生成する。
【０１０８】
ステップＳ４１の色塗り輪郭の生成処理に進み、シャドウ処理部６８は色塗り輪郭を部分画像９０１のように生成する。図３０は色塗り輪郭の生成処理を表す一例のイメージ図である。シャドウ処理部６８は色塗り輪郭を生成するため、部分画像１１０１に示すように、目尻及び目頭を基準に色塗り輪郭を生成する。なお、輪郭の拡張、頂点のシフト等についてはＧＵＩでパラメータ指定するようにしてもよい。
【０１０９】
ステップＳ４２の色塗り中心の生成処理に進み、シャドウ処理部６８は色塗り中心位置を部分画像９０２の「●」ように生成する。ステップＳ４３の色塗りマップの生成処理に進み、シャドウ処理部６８は部分画像９０３のように、色塗りの強さを決める色塗りマップを生成する。
【０１１０】
具体的に、色塗りマップ生成処理は色塗り中心からポリゴンの辺までの距離に対応して塗りの強さを決定する。例えばシャドウ処理部６８は辺に近いほど塗りの強さを弱めるように色塗りマップを決定する。なお、色塗りマップ生成処理は色塗り輪郭から基本輪郭を除いた部分を対象としている。
【０１１１】
シャドウ処理部６８は生成した色塗りマップに対し、図３１に示すように、ぼかし処理を掛けることで更に滑らかなグラデーションを生成する。図３１は、ぼかし処理を掛けていない色塗りマップと、ぼかし処理を掛けている色塗りマップとを表した一例のイメージ図である。
【０１１２】
ステップＳ４４の色塗りマップに基づく色塗り処理に進み、シャドウ処理部６８は、ステップＳ４３の色塗りマップの生成処理で生成した色塗りマップ９０３と、図１８のようなメイクアップ処理パラメータファイルに設定されているメイクアップの施し方や指定色に基づいてメイクアップ前画像に対して着色を行ない、メイクアップ後画像を得る。
【０１１３】
そして、ステップＳ４５のデバック＆デザイン用描画処理に進み、シャドウ処理部６８はデバック＆デザイン用描画の処理を行ったあと、シャドウ処理を終了する。なお、シャドウ処理部６８はステップＳ４１〜Ｓ４５の処理を色塗りパターン分だけ繰り返し行なうことで、多色塗りを実現することもできる。
【０１１４】
（チーク処理）
シミュレータメインアプリ５８に含まれるチーク処理部７０は図３２に示すように目尻＆口角（左右別）、眼間＆鼻中心（スタビライズ用）のトラッキングポイント６４を参照して、チーク処理を行う。図３２はチーク処理により参照されるトラッキングポイントを示すイメージ図である。
【０１１５】
図３３はチーク処理を示す一例のフローチャートである。チーク処理は、ステップＳ５０の色塗り輪郭の生成処理，ステップＳ５１の色塗り処理，ステップＳ５２のデバック＆デザイン用描画処理とで構成される。
【０１１６】
ステップＳ５０の色塗り輪郭の生成処理に進み、チーク処理部７０は色塗り輪郭を生成するため、目尻及び口角を基準に色塗り輪郭として輪郭ポリゴンを生成する。図３４は色塗り輪郭を表した一例のイメージ図である。なお、輪郭ポリゴンの点数，大きさ，形状または位置等はＧＵＩでパラメータ指定するようにしてもよい。
【０１１７】
ステップＳ５１の色塗り処理に進み、チーク処理部７０は色塗り中心から輪郭ポリゴンの辺までの距離に対応して塗りの強さを決定する。なお、塗りの強さの決定に処理コストが掛かりすぎる場合は、解像度（ＧＵＩでパラメータ指定）を落として（モザイク状に間引きして）塗りの強さを決定してもよい。チーク処理部７０は決定した塗りの強さと、図１８のようなメイクアップ処理パラメータファイルに設定されているメイクアップの施し方や指定色に基づいてメイクアップ前画像に対して着色を行ない、メイクアップ後画像を得る。
【０１１８】
そして、ステップＳ５２のデバック＆デザイン用描画処理に進み、チーク処理部７０はデバック＆デザイン用描画の処理を行ったあと、チーク処理を終了する。
【０１１９】
（眉処理）
シミュレータメインアプリ５８に含まれる眉処理部６７は図３５に示すように左右別に目尻，目中心および眉２点のトラッキングポイント６４を参照し、眉処理を行う。図３５は眉処理により参照されるトラッキングポイントを示すイメージ図である。
【０１２０】
図３６は眉処理を示す一例のフローチャートである。眉処理は大別するとステップＳ６０の眉輪郭抽出処理，ステップＳ７０の元眉領域の消去処理，ステップＳ８０の眉形状の変形処理，ステップＳ９０の変形眉の貼付け処理で構成される。
【０１２１】
元眉領域の消去処理は、ステップＳ７１の領域の膨張処理，ステップＳ７２の眉の消去処理で構成される。眉形状の変形処理は、ステップＳ８１の変形指定に対応した指示曲線の作成処理，ステップＳ８２の変形眉の生成処理で構成される。
【０１２２】
ステップＳ６０の眉輪郭抽出処理に進み、眉処理部６７は顔認識処理用画像からユーザの顔の眉の形状を部分画像２００１のように得る。図３７は、眉輪郭抽出処理を表す一例のイメージ図である。眉処理部６７は眉の輪郭を抽出するため、部分画像２１０１に示すように、眉尻（実際には眉の中心付近）を中心に左右に眉を探索する。眉処理部６７は部分画像２１０２に示すように、探索結果から眉の輪郭形状を認識する。
【０１２３】
ステップＳ７１の領域の膨張処理に進み、眉処理部６７は認識した眉の輪郭形状を表す領域を膨張させる。ステップＳ７２の眉の消去処理に進み、眉処理部６７は膨張させた領域を付近の肌色を使って塗りつぶすことで眉を消去する。また、眉処理部６７は膨張させた領域の境界部分に、なじませる処理を施す。
【０１２４】
ステップＳ８１の変形指定に対応した指示曲線の作成処理に進み、眉処理部６７は認識した眉の輪郭形状を表す領域（スケルトン）を指定に従って変形させる。図３８は変形指定に対応した指示曲線の作成処理を表す一例のイメージ図である。
【０１２５】
眉処理部６７は、部分画像２２０１に示すように、認識した眉の輪郭形状を表す領域を横方向の軸線と縦方向の複数のタンザクから成るスケルトン２２０２に置き換え、軸線の形状とタンザクの高さを変えることで、例えばスケルトン２２０３のように変形処理を施すことができる。
【０１２６】
ステップＳ８２の変形眉の生成処理に進み、眉処理部６７はスケルトン２２０３から変形眉を生成する。ステップＳ９０の変形眉の貼付け処理に進み、眉処理部６７は変形眉をメイクアップ前画像に対して貼付けて、メイクアップ後画像を得る。
【０１２７】
（ファンデーション処理）
シミュレータメインアプリ５８に含まれるファンデーション処理部６６は図３９に示すように左右別に目尻，目頭および眉１点、眼間および鼻中心のトラッキングポイント６４を参照し、ファンデーション処理を行う。図３９はファンデーション処理により参照されるトラッキングポイントを示すイメージ図である。
【０１２８】
図４０はファンデーション処理を示す一例のフローチャートである。ファンデーション処理は、ステップＳ１０１の輪郭の生成処理，ステップＳ１０２の対象画像へのぼかし処理，ステップＳ１０３の画像の貼り付け処理で構成される。なお、ステップＳ１０１〜Ｓ１０３の処理は対象エリア分、繰り返し行われる。
【０１２９】
ステップＳ１０１の輪郭の生成処理に進み、ファンデーション処理部６６は図４１のイメージ画像に示すように、額，鼻，頬（左右）の３種類（４箇所）の輪郭を生成する。図４１は輪郭を表した一例のイメージ画像である。なお、各輪郭のサイズ，位置等はＧＵＩでパラメータ指定するようにしてもよい。
【０１３０】
ステップＳ１０２の対象画像へのぼかし処理に進み、ファンデーション処理部６６は生成した輪郭に対応する対象画像へのぼかし処理を図４２のように行なう。図４２は、ぼかし処理前の元画像と、ぼかし処理後の元画像とを表した一例のイメージ図である。対象画像へのぼかし処理により、ファンデーション処理部６６は肌の細かい荒れ等を平滑化することができる。
【０１３１】
ステップＳ１０３の画像の貼り付け処理に進み、ファンデーション処理部６６は、ぼかし処理後の対象画像をメイクアップ前画像の額，鼻，頬（左右）の３種類（４箇所）の輪郭に貼り付け、メイクアップ後画像を得る。
【０１３２】
以上、本発明によれば、動画像に含まれるユーザの顔に、少ない処理負担で正確にメイクアップを施すことができる。なお、特許請求の範囲に記載した撮像手段はカメラ１４に相当し、制御手段は制御装置３に相当し、表示手段はモニタ１３に相当し、鏡手段は鏡１６及び１９に相当する。
【０１３３】
また、本発明は、具体的に開示された実施例に限定されるものでなく、特許請求の範囲から逸脱することなく、種々の変形や変更が可能である。
【０１３４】
上記したメイクアップシミュレーションシステム１はリアルタイムシミュレーションである為、静止画によるものや従来のメイクアップシミュレーションシステムと異なり、瞬時に顔のトラッキングポイントを認識し、トラッキングポイントをもとにメイクアップシミュレーションを行うことができるので、これまでできなかった以下のことも可能にしている。
【０１３５】
メイクアップシミュレーションシステム１は、リアルタイムなシミュレーションが可能である。メイクアップシミュレーションシステム１は、正面顔だけでなく、横顔からのシミュレーション等も可能なため、頬紅等のシミュレーション効果やテクニックの確認が容易である。
【０１３６】
メイクアップシミュレーションシステム１は、リアルタイムなシミュレーションになったことで、これまでの平面的な表現から、顔を立体としてとらえた分析や、立体感や質感の表現も可能である。
【０１３７】
また、メイクアップシミュレーションシステム１は、同時に何人もの顔認識が可能であるため、同時に何人ものリアルタイムなシミュレーションが可能である。メイクアップシミュレーションシステム１は、顔認識機能が優れていることから、個々の顔立ちにあわせて、あるいは男性または女性を自動的に分類し、顔立ちや分類にあわせたメイクアップシミュレーションが可能である。例えばメイクアップシミュレーションシステム１はカップルで同時に、それぞれのメイクアップシミュレーションが可能である。
【図面の簡単な説明】
【０１３８】
【図１】本発明による端末装置を含むメイクアップシミュレーションシステムの一例の構成図である。
【図２】本発明による端末装置の第一実施例の外観図である。
【図３】本発明による端末装置の第一実施例の外観図である。
【図４】本発明による端末装置の第二実施例の外観図である。
【図５】本発明による端末装置の第二実施例の外観図である。
【図６】本発明による端末装置の第三実施例の外観図である。
【図７】本発明による端末装置の第三実施例の外観図である。
【図８】本発明による端末装置の第三実施例の外観図である。
【図９】本発明による端末装置の第三実施例の外観図である。
【図１０】本発明による端末装置を含むメイクアップシミュレーションシステムの一実施例のハードウェア構成図である。
【図１１】メイクアップシミュレーションシステムが行なう処理の概略を表した一実施例のフローチャートである。
【図１２】モニタに表示されるメイン画面及び操作画面の一例のイメージ図である。
【図１３】メイクアップシミュレーションシステムが行なうメイクアップシミュレーション以外の処理を表したイメージ図である。
【図１４】メイクアップシミュレーションシステムの詳細を表した一例のシステム構成図である。
【図１５】シミュレータメインアプリが行なう処理を表す画面イメージ図である。
【図１６】メイクアップ前画像に含まれるユーザの顔のイメージ画像である。
【図１７】トラッキングポイントを表す一例のイメージ図である。
【図１８】メイクアップ処理パラメータファイルの一例の構成図である。
【図１９】口紅処理により参照されるトラッキングポイントを示すイメージ図である。
【図２０】口紅処理を示す一例のフローチャートである。
【図２１】輪郭抽出処理を表す一例のイメージ図である。
【図２２】輪郭抽出用画像６００の唇８点及び鼻３点のトラッキングポイントと、唇８点及び鼻３点のトラッキングポイントを元に再探索して抽出した輪郭抽出用画像６０１のポイントとの比較画面である。
【図２３】唇８点及び鼻３点のトラッキングポイントからデフォルトポイントを求める処理を表した一例のイメージ図である。
【図２４】ポイント又はデフォルトポイントから輪郭を完成させる処理を表したイメージ図である。
【図２５】色塗りマップ生成処理を表した一例のイメージ図である。
【図２６】色塗りマップに基づく色塗り処理を表した一例のイメージ図である。
【図２７】シャドウ処理により参照されるトラッキングポイントを示すイメージ図である。
【図２８】シャドウ処理を示す一例のフローチャートである。
【図２９】基本輪郭の生成処理を表す一例のイメージ図である。
【図３０】色塗り輪郭の生成処理を表す一例のイメージ図である。
【図３１】ぼかし処理を掛けていない色塗りマップと、ぼかし処理を掛けている色塗りマップとを表した一例のイメージ図である。
【図３２】チーク処理により参照されるトラッキングポイントを示すイメージ図である。
【図３３】チーク処理を示す一例のフローチャートである。
【図３４】色塗り輪郭を表した一例のイメージ図である。
【図３５】眉処理により参照されるトラッキングポイントを示すイメージ図である。
【図３６】眉処理を示す一例のフローチャートである。
【図３７】眉輪郭抽出処理を表す一例のイメージ図である。
【図３８】変形指定に対応した指示曲線の作成処理を表す一例のイメージ図である。
【図３９】ファンデーション処理により参照されるトラッキングポイントを示すイメージ図である。
【図４０】ファンデーション処理を示す一例のフローチャートである。
【図４１】輪郭を表した一例のイメージ画像である。
【図４２】ぼかし処理前の元画像と、ぼかし処理後の元画像とを表した一例のイメージ図である。
【符号の説明】
【０１３９】
１    メイクアップシミュレーション装置
２    端末装置
３    制御装置
１１    第１の部材
１２    第２の部材
１３    モニタ
１４    カメラ
１５    照明
１６，１９    鏡
１７，１８    開口部
２０    軸
２１    蝶番
３０    演算処理装置
３１    メモリ装置
３２    ドライブ装置
３３    補助記憶装置
３４    記録媒体
５５    静止画システム
５７    共有メモリ
５８    シミュレータメインアプリ
５９    インターフェースアプリ
６３    顔認識処理部
６４    トラッキングポイント
６５    メイクアップ処理部
６６    ファンデーション処理部
６７    眉処理部
６８    シャドウ処理部
６９    口紅処理部
７０    チーク処理部
７１    商品情報
【図１】
2009039523.tif 000003
【図２】
2009039523.tif 000004
【図３】
2009039523.tif 000005
【図４】
2009039523.tif 000006
【図５】
2009039523.tif 000007
【図６】
2009039523.tif 000008
【図７】
2009039523.tif 000009
【図８】
2009039523.tif 000010
【図９】
2009039523.tif 000011
【図１０】
2009039523.tif 000012
【図１１】
2009039523.tif 000013
【図１４】
2009039523.tif 000014
【図１５】
2009039523.tif 000015
【図１６】
2009039523.tif 000016
【図１７】
2009039523.tif 000017
【図１８】
2009039523.tif 000018
【図２２】
2009039523.tif 000019
【図２４】
2009039523.tif 000020
【図３３】
2009039523.tif 000021
【図４０】
2009039523.tif 000022
【図１２】
2009039523.tif 000023
【図１３】
2009039523.tif 000024
【図１９】
2009039523.tif 000025
【図２０】
2009039523.tif 000026
【図２１】
2009039523.tif 000027
【図２３】
2009039523.tif 000028
【図２５】
2009039523.tif 000029
【図２６】
2009039523.tif 000030
【図２７】
2009039523.tif 000031
【図２８】
2009039523.tif 000032
【図２９】
2009039523.tif 000033
【図３０】
2009039523.tif 000034
【図３１】
2009039523.tif 000035
【図３２】
2009039523.tif 000036
【図３４】
2009039523.tif 000037
【図３５】
2009039523.tif 000038
【図３６】
2009039523.tif 000039
【図３７】
2009039523.tif 000040
【図３８】
2009039523.tif 000041
【図３９】
2009039523.tif 000042
【図４１】
2009039523.tif 000043
【図４２】
2009039523.tif 000044