(57)【要約】【課題】  化粧要素画像の輪郭を違和感なくシミュレーション対象画像上に表示する。【解決手段】  使用メイクパターン画像記憶部１０４から、静止画像に対して作成されたメイクパターン画像を読み出し、メイクパターン画像に含まれるレイヤー画像を基に、各透明度が正規化された正規化透明度レイヤー画像を作成する透明度正規化部１０７と、レイヤー画像の色成分と、動画像中の各フレーム画像に対して色変換処理を施す色変換処理部１０９と、各フレーム画像及びメイクパターン画像中の各々に含まれる顔の輪郭内部にメッシュを設定するメッシュ設定部１１６，１１７と、両画像に設定されたメッシュの各頂点の差分を算出し、この差分を基に、正規化透明度レイヤー画像中の化粧要素画像を、各フレーム画像に適合するように変形させる化粧要素画像変形部１２０と、色変換レイヤー画像及び各フレーム画像をαブレンディングにより合成する画像合成部１２１とを備える。【選択図】      図２
2005216131.tif 000002
【特許請求の範囲】
【請求項１】
操作装置を介して入力されたユーザからの描画指令に基づいて予め作成され、各階層に同一色からなる少なくとも１つの化粧要素画像を含むｎ（ｎは正の整数）階層からなるレイヤー画像と、顔画像を含む背景画像とから構成される基準画像を取得する基準画像取得手段と、
前記レイヤー画像の各画素の透明度を基に、第１の画像を作成する第１の画像作成手段と、
シミュレーション対象となる人物の顔画像を含むシミュレーション対象画像を取得するシミュレーション対象画像取得手段と、
前記基準画像及び前記シミュレーション対象画像の各々に含まれる顔画像の輪郭内部にメッシュを設定するメッシュ設定手段と、
前記基準画像及び前記シミュレーション対象画像の各々に設定されたメッシュの対応する頂点の位置の差分を算出し、算出した差分に基づいて、前記第１の画像中に含まれる化粧要素画像を、前記シミュレーション対象画像中の顔画像に適合するように変形させる画像変形手段と、
前記シミュレーション対象画像を、各レイヤー画像の色成分を用いて色変換処理を実行し、前記レイヤー画像の各階層に対応する第２の画像を作成する第２の画像作成手段と、
前記第１の画像を基に、前記第２の画像及び前記シミュレーション対象画像の各々の透明度を決定し、決定した透明度を用いて、前記シミュレーション対象画像と前記第２の画像とを合成する画像合成手段とを備えることを特徴とする化粧シミュレーション装置。
【請求項２】
前記第１の画像作成手段は、前記透明度を基に、透明度レイヤー画像を作成し、作成した透明度レイヤー画像の各画素の透明度を正規化し、得られた画像を前記第１の画像とし、
前記画像合成手段は、αブレンディングにより、前記シミュレーション対象画像及び前記２の画像を合成することを特徴とする請求項１記載の化粧シミュレーション装置。
【請求項３】
前記第２の画像作成手段は、各レイヤー画像の色成分及び前記シミュレーション対象画像の各々をＲＧＢ表色系からＨＳＶ表色系に変換し、変換された両色を式（Ａ）〜式（Ｃ）に示す色変換処理を実行し、得られた画像をＨＳＶ表色系からＲＧＢ表色系に変換し、前記第２の画像を作成することを特徴とする請求項２記載の化粧シミュレーション装置。
Ｈr＝Ｈc                        ・・・式（Ａ）
Ｓr＝０．８×Ｓf＋０．２×Ｓc    ・・・式（Ｂ）
Ｖr＝０．８×Ｖf＋０．２×Ｖc    ・・・式（Ｃ）
但し、Ｈc、Ｓc、Ｖcはレイヤー画像の色成分のＨＳＶ値を示し、Ｓf、Ｖfはシミュレーション対象画像の各画素のＨＳＶ値を示し、Ｈr、Ｓr、Ｖrは第２の合成対象画像の各画素のＨＳＶ値を示している。
【請求項４】
顔の輪郭内部にメッシュが設定された初期メッシュを記憶する初期メッシュ記憶手段をさらに備え、
前記初期メッシュの各頂点は、顔部品の輪郭上に位置する特徴頂点と、その他の浮動点とから構成され、
前記メッシュ設定手段は、前記シミュレーション対象画像及び前記基準画像の各々から、前記顔部品の輪郭を抽出し、前記特徴頂点を、抽出した顔部品の輪郭上に移動させるとともに、前記初期メッシュの各頂点間の距離が保持されるように、前記浮動点を移動させ、前記シミュレーション対象画像及び前記基準画像の各々に、メッシュを設定することを特徴とする請求項１〜３のいずれかに記載の化粧シミュレーション装置。
【請求項５】
前記画像変形手段は、前記初期メッシュの各頂点を、画像面と直交する高さ成分が付与された３次元データとし、前記浮動点には、一定の値の高さ成分を付与し、前記特徴頂点は、前記画像面上に位置させ、前記各頂点に対し、式（Ｄ）及び式（Ｅ）で示す演算を所定回数適用することにより前記浮動点を移動させることを特徴とする請求項４記載の化粧シミュレーション装置。
【数１】
2005216131.tif 000008
但し、Ｐiベクトルは、メッシュの頂点の座標を示し、Ｐjベクトルは、Ｐiベクトルに隣接するメッシュの頂点の座標を示し、Ｐi´ベクトルは演算が施されたＰiベクトルを示し、Ｐj´ベクトルは演算が施されたＰjベクトルを示し、ｌijはＰiベクトル及びＰjベクトルを結ぶ線分の長さを示し、λは定数値を示している。
【請求項６】
前記シミュレーション対象画像は、動画像中の各フレーム画像であることを特徴とする請求項１〜５のいずれかに記載の化粧シミュレーション装置。
【請求項７】
コンピュータが、操作装置を介して入力されたユーザからの描画指令に基づいて予め作成され、各階層に同一色からなる少なくとも１つの化粧要素画像を含むｎ（ｎは正の整数）階層からなるレイヤー画像と、顔画像を含む背景画像とから構成される基準画像を取得する基準画像取得ステップと、
コンピュータが、前記レイヤー画像の各画素の透明度を基に、第１の画像を作成する第１の画像作成ステップと、
コンピュータが、シミュレーション対象となる人物の顔画像を含むシミュレーション対象画像を取得するシミュレーション対象画像取得ステップと、
コンピュータが、前記基準画像及び前記シミュレーション対象画像の各々に含まれる顔画像の輪郭内部にメッシュを設定するメッシュ設定ステップと、
コンピュータが、前記基準画像及び前記シミュレーション対象画像の各々に設定されたメッシュの対応する頂点の位置の差分を算出し、算出した差分に基づいて、前記第１の画像中に含まれる化粧要素画像を、前記シミュレーション対象画像中の顔画像に適合するように変形させる画像変形ステップと、
コンピュータが、前記シミュレーション対象画像を、各レイヤー画像の色成分を用いて色変換処理を実行し、前記レイヤー画像の各階層に対応する第２の画像を作成する第２の画像作成ステップと、
コンピュータが、前記第１の画像を基に、前記第２の画像及び前記シミュレーション対象画像の各々の透明度を決定し、決定した透明度を用いて、前記シミュレーション対象画像と前記第２の画像とを合成する画像合成ステップとを備えることを特徴とする化粧シミュレーション方法。
【請求項８】
操作装置を介して入力されたユーザからの描画指令に基づいて予め作成され、各階層に同一色からなる少なくとも１つの化粧要素画像を含むｎ（ｎは正の整数）階層からなるレイヤー画像と、顔画像を含む背景画像とから構成される基準画像を取得する基準画像取得手段と、
前記レイヤー画像の各画素の透明度を基に、第１の画像を作成する第１の画像作成手段と、
シミュレーション対象となる人物の顔画像を含むシミュレーション対象画像を取得するシミュレーション対象画像取得手段と、
前記基準画像及び前記シミュレーション対象画像の各々に含まれる顔画像の輪郭内部にメッシュを設定するメッシュ設定手段と、
前記基準画像及び前記シミュレーション対象画像の各々に設定されたメッシュの対応する頂点の位置の差分を算出し、算出した差分に基づいて、前記第１の画像中に含まれる化粧要素画像を、前記シミュレーション対象画像中の顔画像に適合するように変形させる画像変形手段と、
前記シミュレーション対象画像を、各レイヤー画像の色成分を用いて色変換処理を実行し、前記レイヤー画像の各階層に対応する第２の画像を作成する第２の画像作成手段と、
前記第１の画像を基に、前記第２の画像及び前記シミュレーション対象画像の各々の透明度を決定し、決定した透明度を用いて、前記シミュレーション対象画像と前記第２の画像とを合成する画像合成手段としてコンピュータを機能させることを特徴とする化粧シミュレーションプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、顔画像を含むシミュレーション対象画像に対して仮想的に化粧を施す化粧シミュレーション技術に関するものである。
【背景技術】
【０００２】
従来より、ペンタブレット等の入力装置と、市販のレタッチ画像処理ソフトウェア（例えば、アドビ社のフォトショップ等）がインストールされた市販のコンピュータとを用いて、ユーザからの描画指令を基に、ブラシで化粧を塗布するような描画処理を行い、顔の静止画像に対して仮想的に化粧を施す手法が知られている。
【０００３】
また、顔の動画像の各フレームに対し、口及び目の位置を検出し、検出した位置を基に、口紅、チーク等の化粧を施す領域を特定し、指定した領域に色を付すことにより、顔の動画像に対してリアルタイムに化粧シミュレーションを行なう技術が知られている（特許文献１）。
【特許文献１】特開２００３−４４８３７号公報
【発明の開示】
【発明が解決しようとする課題】
【０００４】
しかしながら、上記静止画像に対して仮想的に化粧を施す手法では、作成されたシミュレーション画像は、単に顔画像上に領域が指定されて化粧の塗布領域（化粧要素画像）が定められているにすぎず、かかる画像を、同一人物で表情の異なる画像に適用する、あるいは、他人の画像に適用するというようなことはなされていなかった。
【０００５】
また、特許文献１の発明は、化粧要素画像を数式で定義し、顔の表情の変化に応じて、数式のパラメータを調整し、シミュレーション画像を得るものであるが、かかるパラメータの調整には数学及びプログラム等の専門的な知識が要求される。そのため、専門的な知識を有さない多少絵心のあるユーザが、簡略化された操作によりシミュレーション画像を得ることは困難であるという問題があった。また、化粧要素画像が自由曲線から構成される場合、パラメータの調整は非常に複雑となり、数学及びプログラミングの知識を有する熟練者であっても、パラメータの調整には、多大な労力がかかるという問題があった。さらに、化粧画像が数式で定義されているため、演算に時間多大なる時間がかかるという問題があった。さらに、化粧要素画像を数式で近似するという方式であるため、実際に化粧を塗布したような高品質な画像を得ることが困難であった。
【０００６】
本発明は、上記課題を解決するためになされたものであり、専門的な知識を有する者でなくとも、簡略化された操作により高品質かつ高速にシミュレーション画像を得ることができる化粧シミュレーションに関する技術を提供することを目的とする。
【課題を解決するための手段】
【０００７】
本発明にかかる化粧シミュレーション装置は、操作装置を介して入力されたユーザからの描画指令に基づいて予め作成され、各階層に同一色からなる少なくとも１つの化粧要素画像を含むｎ（ｎは正の整数）階層からなるレイヤー画像と、顔画像を含む背景画像とから構成される基準画像を取得する基準画像取得手段と、前記レイヤー画像の各画素の透明度を基に、第１の画像を作成する第１の画像作成手段と、シミュレーション対象となる人物の顔画像を含むシミュレーション対象画像を取得するシミュレーション対象画像取得手段と、前記基準画像及び前記シミュレーション対象画像の各々に含まれる顔画像の輪郭内部にメッシュを設定するメッシュ設定手段と、前記基準画像及び前記シミュレーション対象画像の各々に設定されたメッシュの対応する頂点の位置の差分を算出し、算出した差分に基づいて、前記第１の画像中に含まれる化粧要素画像を、前記シミュレーション対象画像中の顔画像に適合するように変形させる画像変形手段と、前記シミュレーション対象画像を、各レイヤー画像の色成分を用いて色変換処理を実行し、前記レイヤー画像の各階層に対応する第２の画像を作成する第２の画像作成手段と、前記第１の画像を基に、前記第２の画像及び前記シミュレーション対象画像の各々の透明度を決定し、決定した透明度を用いて、前記シミュレーション対象画像と前記第２の画像とを合成する画像合成手段とを備えることを特徴とする。
【０００８】
また、前記第１の画像作成手段は、前記透明度を基に、透明度レイヤー画像を作成し、作成した透明度レイヤー画像の各画素の透明度を正規化し、得られた画像を前記第１の画像とし、前記画像合成手段は、αブレンディングにより、前記シミュレーション対象画像及び前記２の画像を合成することが好ましい。
【０００９】
また、前記第２の画像作成手段は、各レイヤー画像の色成分及び前記シミュレーション対象画像の各々をＲＧＢ表色系からＨＳＶ表色系に変換し、変換された両色を式（Ａ）〜式（Ｃ）を用いて合成し、合成した画像をＨＳＶ表色系からＲＧＢ表色系に変換し、得られた画像を、前記第２の画像とすることが好ましい。
Ｈr＝Ｈc                        ・・・式（Ａ）
Ｓr＝０．８×Ｓf＋０．２×Ｓc    ・・・式（Ｂ）
Ｖr＝０．８×Ｖf＋０．２×Ｖc    ・・・式（Ｃ）
但し、Ｈc、Ｓc、Ｖcはレイヤー画像の色成分のＨＳＶ値を示し、Ｓf、Ｖfはシミュレーション対象画像の各画素のＨＳＶ値を示し、Ｈr、Ｓr、Ｖrは第２の合成対象画像の各画素のＨＳＶ値を示している。
【００１０】
また、顔の輪郭内部にメッシュが設定された初期メッシュを記憶する初期メッシュ記憶手段をさらに備え、前記初期メッシュの各頂点は、顔部品の輪郭上に位置する特徴頂点と、その他の浮動点とから構成され、前記メッシュ設定手段は、前記シミュレーション対象画像及び前記基準画像の各々から、前記顔部品の輪郭を抽出し、前記特徴頂点を、抽出した顔部品の輪郭上に移動させるとともに、前記初期メッシュの各頂点間の距離が保持されるように、前記浮動点を移動させ、前記シミュレーション対象画像及び前記基準画像の各々に、メッシュを設定することが好ましい。
【００１１】
また、前記画像変形手段は、前記初期メッシュの各頂点を、画像面と直交する高さ成分が付与された３次元データとし、前記浮動点には、一定の値の高さ成分を付与し、前記特徴頂点は、前記画像面上に位置させ、前記各頂点に対し、式（Ｄ）及び式（Ｅ）で示す演算を所定回数適用することにより前記浮動点を移動させることが好ましい。
【００１２】
【数２】
2005216131.tif 000003
【００１３】
但し、Ｐiベクトルは、メッシュの頂点の座標を示し、Ｐjベクトルは、Ｐiベクトルに隣接するメッシュの頂点の座標を示し、Ｐi´ベクトルは演算が施されたＰiベクトルを示し、Ｐj´ベクトルは演算が施されたＰjベクトルを示し、ｌijはＰiベクトル及びＰjベクトルを結ぶ線分の長さを示し、λは定数値を示している。
【００１４】
また、前記シミュレーション対象画像は、動画像中の各フレーム画像であることが好ましい。
【００１５】
本発明にかかる化粧シミュレーション方法は、コンピュータが、操作装置を介して入力されたユーザからの描画指令に基づいて予め作成され、各階層に同一色からなる少なくとも１つの化粧要素画像を含むｎ（ｎは正の整数）階層からなるレイヤー画像と、顔画像を含む背景画像とから構成される基準画像を取得する基準画像取得ステップと、コンピュータが、前記レイヤー画像の各画素の透明度を基に、第１の画像を作成する第１の画像作成ステップと、コンピュータが、シミュレーション対象となる人物の顔画像を含むシミュレーション対象画像を取得するシミュレーション対象画像取得ステップと、コンピュータが、前記基準画像及び前記シミュレーション対象画像の各々に含まれる顔画像の輪郭内部にメッシュを設定するメッシュ設定ステップと、コンピュータが、前記基準画像及び前記シミュレーション対象画像の各々に設定されたメッシュの対応する頂点の位置の差分を算出し、算出した差分に基づいて、前記第１の画像中に含まれる化粧要素画像を、前記シミュレーション対象画像中の顔画像に適合するように変形させる画像変形ステップと、コンピュータが、前記シミュレーション対象画像を、各レイヤー画像の色成分を用いて色変換処理を実行し、前記レイヤー画像の各階層に対応する第２の画像を作成する第２の画像作成ステップと、コンピュータが、前記第１の画像を基に、前記第２の画像及び前記シミュレーション対象画像の各々の透明度を決定し、決定した透明度を用いて、前記シミュレーション対象画像と前記第２の画像とを合成する画像合成ステップとを備えることを特徴とする。
【００１６】
本発明にかかる化粧シミュレーションプログラムは、操作装置を介して入力されたユーザからの描画指令に基づいて予め作成され、各階層に同一色からなる少なくとも１つの化粧要素画像を含むｎ（ｎは正の整数）階層からなるレイヤー画像と、顔画像を含む背景画像とから構成される基準画像を取得する基準画像取得手段と、前記レイヤー画像の各画素の透明度を基に、第１の画像を作成する第１の画像作成手段と、シミュレーション対象となる人物の顔画像を含むシミュレーション対象画像を取得するシミュレーション対象画像取得手段と、前記基準画像及び前記シミュレーション対象画像の各々に含まれる顔画像の輪郭内部にメッシュを設定するメッシュ設定手段と、前記基準画像及び前記シミュレーション対象画像の各々に設定されたメッシュの対応する頂点の位置の差分を算出し、算出した差分に基づいて、前記第１の画像中に含まれる化粧要素画像を、前記シミュレーション対象画像中の顔画像に適合するように変形させる画像変形手段と、前記シミュレーション対象画像を、各レイヤー画像の色成分を用いて色変換処理を実行し、前記レイヤー画像の各階層に対応する第２の画像を作成する第２の画像作成手段と、前記第１の画像を基に、前記第２の画像及び前記シミュレーション対象画像の各々の透明度を決定し、決定した透明度を用いて、前記シミュレーション対象画像と前記第２の画像とを合成する画像合成手段としてコンピュータを機能させることを特徴とする。
【発明の効果】
【００１７】
請求項１記載の発明によれば、ペンタブレット等の操作装置を用いて顔の静止画像上に化粧要素画像が描画された基準画像と、シミュレーション対象画像とが取得され、基準画像を構成する各レイヤー画像の透明度を基に、第１の画像が作成され、基準画像の顔領域及びシミュレーション対象画像の顔領域の各々に対してメッシュが設定され、両メッシュの各頂点の差分を基に、第１の画像中の化粧要素画像が、シミュレーション対象画像中の顔領域に適合するように変形される。そして、シミュレーション対象画像が各レイヤー画像の色成分を用いて変換され、第２の画像が作成され、第１の画像を基に、第２の画像及びシミュレーション対象画像の透明度が決定され、決定された透明度により、第１の画像及びシミュレーション対象画像が合成される。
【００１８】
したがって、ユーザは、ペンタブレット等の操作装置を操作するというような簡略化された操作を行なうだけで、実際に化粧を塗布したような高品質な化粧シミュレーション画像を高速に得ることができる。また、レイヤー画像に基づいて、シミュレーションを実行しているため、メイクパターン画像から一部の化粧要素画像を削除する、又は、一部の化粧要素画像の色を変更するというような設定を容易に行なうことができる。
【００１９】
請求項２記載の発明によれば、透明度レイヤー画像の各画素の透明度が正規化されているため、画像合成手段は、レイヤー画像の順序が入れ替わっても、同一の画像を生成することができる。
【００２０】
請求項３記載の発明によれば、シミュレーション対象画像の明度・彩度をある程度維持したまま、化粧要素画像の色相を変更することができるため、化粧要素画像をシミュレーション対象画像上に自然な状態で表すことができる。
【００２１】
請求項４記載の発明によれば、初期メッシュの頂点同士の位置関係がバランスよく保持された状態で、基準画像及びシミュレーション対象画像にメッシュを設定することができる。
【００２２】
請求項５記載の発明によれば、初期メッシュの各頂点間の距離を保持しつつ、メッシュを構成するポリゴンの重なりの発生を防止することができる。
【００２３】
請求項６記載の発明によれば、動画像に対して化粧シミュレーションを実行することができる。
【００２４】
請求項７記載の発明によれば、ペンタブレット等の操作装置を用いて顔の静止画像上に化粧要素画像が描画された基準画像と、基準画像及びシミュレーション対象画像とが取得され、基準画像を構成する各レイヤー画像の透明度を基に、第１の画像が作成され、基準画像の顔領域及びシミュレーション対象の顔領域の各々に対してメッシュが設定され、両メッシュの各頂点の差分を基に、第１の画像中の化粧要素画像が、シミュレーション対象画像中の顔領域に適合するように変形される。そして、シミュレーション対象画像が各レイヤー画像の色成分を用いて変換され、第２の画像が作成され、第１の画像を基に、第２の画像及びシミュレーション対象画像の透明度が決定され、決定された透明度により、第１の画像及びシミュレーション対象画像が合成される。
【００２５】
したがって、ユーザは、ペンタブレット等の操作装置を操作するというような簡略化された操作を行なうだけで、実際に化粧を塗布したような高品質な化粧シミュレーション画像を高速に得ることができる。また、レイヤー画像に基づいて、シミュレーションを実行しているため、メイクパターン画像から一部の化粧要素画像を削除する、又は、一部の化粧要素画像の色を変更するというような設定を容易に行なうことができる。
【００２６】
請求項８記載の発明によれば、ペンタブレット等の操作装置を用いて顔の静止画像上に化粧要素画像が描画された基準画像と、基準画像及びシミュレーション対象画像とが取得され、基準画像を構成する各レイヤー画像の透明度を基に、第１の画像が作成され、基準画像の顔領域及びシミュレーション対象画像の顔領域の各々に対してメッシュが設定され、両メッシュの各頂点の差分を基に、第１の画像中の化粧要素画像が、シミュレーション対象画像中の顔領域に適合するように変形される。そして、シミュレーション対象画像が各レイヤー画像の色成分を用いて変換され、第２の画像が作成され、第１の画像を基に、第２の画像及びシミュレーション対象画像の透明度が決定され、決定された透明度により、第１の画像及びシミュレーション対象画像が合成される。
【００２７】
したがって、ユーザは、ペンタブレット等の操作装置を操作するというような簡略化された操作を行なうだけで、実際に化粧を塗布したような高品質な化粧シミュレーション画像を高速に得ることができる。また、レイヤー画像に基づいて、シミュレーションを実行しているため、メイクパターン画像から一部の化粧要素画像を削除する、又は、一部の化粧要素画像の色を変更するというような設定を容易に行なうことができる。
【発明を実施するための最良の形態】
【００２８】
以下、本発明の一実施の形態による化粧シミュレーション装置について図面を参照しながら説明する。図１は、本発明の一実施の形態による化粧シミュレーション装置のハードウェア構成を示すブロック図である。
【００２９】
図１に示す化粧シミュレーション装置は、通常のコンピュータ等から構成され、入力装置１、ＲＯＭ（リードオンリメモリ）２、ＣＰＵ（中央演算処理装置）３、ＲＡＭ（ランダムアクセスメモリ）４、外部記憶装置５、表示装置６及び記録媒体駆動装置７を備える。各ブロックは内部のバスに接続され、このバスを介して種々のデータが入出力され、ＣＰＵ３の制御の下、種々の処理が実行される。
【００３０】
入力装置１は、キーボード、マウス及びペンタブレット等から構成され、操作者が種々のデータ及び操作指令等を入力するために使用される。
【００３１】
ＲＯＭ２は、ＢＩＯＳ（Basic Input/Output System）等のシステムプログラム等を記憶する。ＲＡＭ４は、ＣＰＵ３の作業領域等として用いられる。
【００３２】
外部記憶装置５は、ハードディスクドライブ等から構成され、所定のＯＳ（Operating System）及び後述する化粧シミュレーションプログラム等を記憶する。
【００３３】
表示装置６は、液晶表示装置、ＣＲＴ（陰極線管）等から構成され、ＣＰＵ３の制御の下、種々の画像を表示する。
【００３４】
記録媒体駆動装置７は、ＣＤ−ＲＯＭドライブ、フレキシブルディスクドライブ等から構成される。本実施形態では、化粧シミュレーションプログラムを記録する、ＣＤ−ＲＯＭ、フレキシブルディスク等のコンピュータ読み取り可能な記録媒体８を、記録媒体駆動装置７に装填し、インストールすることにより、化粧シミュレーションプログラムを外部記憶装置５に格納している。
【００３５】
なお、インターネット上に接続されたＷＥＢサーバに化粧シミュレーションプログラムを記憶させておき、ＷＥＢサーバからその化粧シミュレーションプログラムをダウンロードすることにより、コンピュータに化粧シミュレーションプログラムをインストールしてもよい。さらに、コンピュータに顔の動画像を取得させ、ＷＥＢサーバに送信し、ＷＥＢサーバ上で化粧シミュレーションの処理を実行し、その処理結果をパーソナルコンピュータに送信するというように、ＷＥＢサーバとコンピュータとで化粧シミュレーションプログラムを分散して実行させてもよい。
【００３６】
動画カメラ１０は、入出力インターフェイス（Ｉ／Ｆ）９を介してバスラインに接続され、例えばＣＣＤエリアセンサにより、種々の動画像を所定のフレームレートで取得し、コンピュータに出力する。
【００３７】
静止画カメラ１１は、入出Ｉ／Ｆ９を介してバスラインに接続され、例えばＣＣＤエリアセンサにより、種々の静止画像を取得し、コンピュータに出力する。
【００３８】
本化粧シミュレーション装置は、ユーザによって予め作成されたメイクパターン画像を基に、動画像に対して化粧シミュレーションを実行する化粧シミュレーションモードと、上記メイクパターン画像を作成するメイクパターン作成モードとを備えている。まず、化粧シミュレーションモードについて説明する。
【００３９】
（化粧シミュレーションモード）
図２は、本化粧シミュレーション装置の化粧シミュレーションモードの機能を示すブロック図を示している。メイクパターン画像記憶部１０１は、外部記憶装置５から構成され、メイクパターン作成モードにおいて作成された１又は複数種類のメイクパターン画像を記憶している。
【００４０】
メイクパターン画像は、Ｎ（Ｎは正の整数）階層からなるレイヤー画像と、顔が表示された背景画像とから構成されている。背景画像は、人間を静止画カメラ１１で撮影することで取得された画像である。レイヤー画像には、１種類の化粧要素画像が含まれる。ここで、化粧要素画像とは、口紅、チーク、アイシャドウ等、各化粧要素の形状及び色等が表された画像を示す。化粧要素画像は、入力装置１を操作することにより、ユーザによって仮想的に描画された画像である。メイクパターン作成モードでは、１種類の化粧要素画像が作成される毎に１つのレイヤー画像が作成されるため、レイヤー画像には１種類の化粧要素画像が含まれる。また、メイクパターン作成モードでは、１種類の化粧要素画像に対して、１色の色が設定される。
【００４１】
レイヤー画像は、Ｒ（赤），Ｇ（緑），Ｂ（青）値からなる色成分と、背景画像に対する各画素の透明度が示された透明度成分とから構成されている。１種類の化粧要素画像は、１色から構成されているため、１枚のレイヤー画像の色成分は、全画素において同じＲ，Ｇ，Ｂ値を有している。すなわち、１枚のレイヤー画像の色成分は、１種類のＲ，Ｇ，Ｂ値により表される。
【００４２】
透明度は、背景画像に対するレイヤー画像の表示の混合率を示すものである。最大値１では、レイヤー画像のみが表示され背景画像は表示されない。また、最小値０では、レイヤー画像が表示されず、背景画像のみが表示される。すなわち、ｉ（１≦ｉ≦ｎ）番目のレイヤー画像のある画素の透明度をａiとするとき、背景画像の透明度は、１−ａiとなる。なお、透明度は、ユーザによる化粧要素画像の描画時のペンタブレットの軌跡や筆圧等に応じて設定される。
【００４３】
背景画像は、Ｒ，Ｇ，Ｂ値からなる色成分から構成されている。背景画像は、画素毎に色が異なるため、背景画像の色成分は、レイヤー画像とは異なり、画素毎に異なるＲ，Ｇ，Ｂ値を有している。背景画像自身は、透明度を有さないが、レイヤー画像の透明度によって、背景画像の透明度が規定される。
【００４４】
操作部１０２は、入力装置１から構成され、ユーザが種々の操作指令を入力するために用いられる。
【００４５】
初期設定部１０３は、ＣＰＵ３から構成され、操作部１０２を介して入力されたユーザからの操作指令を基に、メイクパターン画像記憶部１０１に記憶された複数種類のメイクパターン画像の中から、化粧シミュレーションに使用する１種類のメイクパターン画像を決定し、当該メイクパターン画像を使用メイクパターン画像として、使用メイクパターン画像記憶部１０４に記憶させる。また、使用メイクパターン画像のうち、いずれか１又は複数のレイヤー画像を削除する指令が行なわれた場合、使用メイクパターン画像から当該レイヤー画像を削除し、使用メイクパターン画像を更新する。また、使用メイクパターン画像のうち、いずれか１又は複数枚のレイヤー画像に対し、色の指定が行なわれた場合、当該レイヤー画像の色成分の値を指定された色の値に変更し、使用メイクパターン画像を更新する。以下、使用化粧パターン画像は、ｎ（ｎ≦Ｎ）枚のレイヤー画像からなるものとする。
【００４６】
使用メイクパターン画像記憶部１０４は、ＲＡＭ４から構成され、使用メイクパターン画像を記憶する。
【００４７】
透明度レイヤー画像作成部１０５は、ＣＰＵ３から構成され、各レイヤー画像の透明度成分を基に、レイヤー画像の各階層に対応する透明度レイヤー画像を作成する。レイヤー画像は、画素毎に異なる透明度を有しているため、透明度レイヤー画像は、透明度によって濃淡表示された化粧要素画像を含む画像となる。
【００４８】
色レイヤー作成部１０６は、ＣＰＵ３から構成され、各レイヤー画像に設定された色成分を基に、レイヤー画像の各階層に対応する色レイヤーを作成する。各レイヤー画像の色成分は、１種類のＲ，Ｇ，Ｂ値から構成されるため、各色レイヤーは、１種類のＲ，Ｇ，Ｂ値から構成される。すなわち、色レイヤーは、Ｒ，Ｇ，Ｂ値からなるデータである。
【００４９】
透明度正規化部１０７は、ＣＰＵ３から構成され、透明度レイヤー画像作成部１０５によって作成された透明度レイヤー画像の各画素に対して、式（１）の演算を施すことにより各画素を正規化し、正規化透明度レイヤー画像を作成する。また、透明度正規化部１０７は、背景画像の各画素に対して、式（２）の演算を施すことにより、背景画像の透明度を正規化する。
【００５０】
【数３】
2005216131.tif 000004
【００５１】
但し、αiはｉ階層目の透明度レイヤー画像の各画素の透明度を示し、βiは正規化された透明度レイヤー画像の各画素の透明度を示し、γは正規化された背景画像の各画素の透明度を示し、式（１）及び式（２）の分母は１からｎ階層目までの透明度レイヤー画像の透明度の和を示している。
【００５２】
正規化透明度画像レイヤー記憶部１０８は、ＲＡＭ４から構成され、透明度正規化部１０７によって作成された正規化透明度レイヤー画像及び背景画像の透明度を記憶する。
【００５３】
色変換処理部１０９は、ＣＰＵ３から構成され、フレーム画像抽出部１１２によって動画像から抽出された１枚のフレーム画像の各画素のＲ，Ｇ，Ｂ値と、色レイヤーのＲ，Ｇ，Ｂ値とをＨＳＶ表色系に変換した後、式（３）〜式（５）に示す色変換処理を実行し、得られた画像をさらにＲ，Ｇ，Ｂ表色系に変換することにより、色変換レイヤー画像を作成する。なお、ＨＳＶ表色系は、各画素が色相（Ｈ）、彩度（Ｓ）及び強度（Ｖ）の成分で表される表色系である。
Ｈr＝Ｈc                        ・・・式（３）
Ｓr＝０．８×Ｓf＋０．２×Ｓc    ・・・式（４）
Ｖr＝０．８×Ｖf＋０．２×Ｖc    ・・・式（５）
但し、Ｈc、Ｓc、Ｖcは色レイヤーのＨ，Ｓ，Ｖ値を示し、Ｓf、Ｖfはフレーム画像１画素のＨ，Ｓ，Ｖ値を示し、Ｈr、Ｓr、Ｖrは色変換処理後の各画素のＨＳＶ値を示している。なお、色レイヤーはｎ階層からなるため、作成される色変換レイヤー画像はｎ階層からなる。
【００５４】
色変換レイヤー画像記憶部１１０は、ＲＡＭ４から構成され、色変換処理部１０９によって作成されたｎ階層からなる色変換レイヤー画像を記憶する。
【００５５】
動画像取得部１１１は、動画カメラ１０から構成され、人間の顔の動画像を取得する。被写体となる人間は、化粧シミュレーションが適用される人間であり、使用メイクパターン画像のモデルとなる人間と同一人であってもよいし、別人であってもよい。
【００５６】
フレーム画像抽出部１１２は、動画像取得部１１１によって取得された動画像から１枚のフレーム画像を順次抽出する。
【００５７】
特徴量抽出部１１３は、ＣＰＵ３から構成され、使用メイクパターン画像記憶部１０４に記憶された使用メイクパターン画像から、顔の特徴量を抽出する。なお、特徴量とは、目、眉頭、目頭、目尻、鼻及び口等の特徴点と、顔、眉、目及び口の輪郭を表す特徴エッジと、肌、髪、背景の各領域を示す特徴クラスタ画像とが含まれる。これら特徴点、特徴エッジ及び特徴クラスタの抽出手法は、本出願人が出願した特開２００３−４４８３７号公報に開示されているため、説明を省略する。
【００５８】
特徴量抽出部１１４は、ＣＰＵ３から構成され、特徴量抽出部１１３と同様にして、フレーム画像抽出部１１２によって抽出されたフレーム画像の特徴量を抽出する。
【００５９】
初期メッシュ記憶部１１５は、外部記憶装置５から構成され、人間の顔の輪郭内部にメッシュを設定する際に用いられる初期メッシュを記憶する。この初期メッシュは、ある人間の顔画像に基づいて予め作成されたものであり、一部のメッシュの頂点が、当該人間の顔、眉、目及び口の各輪郭を示す特徴エッジ上に位置するように、顔の輪郭内部にメッシュの各頂点が設定されている。本実施形態では、メッシュを三角形のポリゴンで構成しているが、これに限定されず、四角形、五角形等のポリゴンを用いても良い。以下、初期メッシュにおいて、特徴量に一致するように設定されたメッシュの頂点を「特徴頂点」と称し、特徴頂点以外のメッシュの頂点を「浮動点」と称する。本実施形態では、初期メッシュは、シェアウェアであるメタセコイアを用いて作成した。
【００６０】
メッシュ設定部１１６は、ＣＰＵ３から構成され、初期メッシュの特徴頂点を、使用メイクパターン粧画像から抽出された特徴エッジ上の対応する位置（移動対象位置）に移動させた後、初期メッシュの各頂点間の距離を一定に保ち（長さ制約）、かつ、メッシュを構成するポリゴンの重なりが生じないという制約条件を満たすように、上記特徴頂点の移動量に応じて、浮動点を移動させ、使用メイクパターン粧画像の顔の輪郭内部にメッシュを設定する。このメッシュの頂点の移動の詳細については後述する。
【００６１】
メッシュ設定部１１７は、ＣＰＵ３から構成され、初期メッシュ記憶部１１５に記憶された初期メッシュを、メッシュ設定部１１６と同一の手法により変形させ、フレーム画像中の顔の輪郭内部にメッシュを設定する。
【００６２】
座標計算部１１８は、ＣＰＵ３から構成され、フレーム画像に設定されたメッシュの各頂点と、使用メイクパターン画像に設定されたメッシュの各頂点とにおいて、対応する頂点同士の位置の差分から各頂点の差分ベクトルを算出し、座標変換テーブルを作成する。座標変換テーブルは、例えば、メッシュに含まれる全ての頂点と、各頂点の差分ベクトルとを対応づけて記憶している。
【００６３】
座標変換テーブル記憶部１１９は、ＲＡＭ４から構成され、座標計算部１１８によって作成された座標変換テーブルを記憶する。
【００６４】
化粧要素画像変形部１２０は、ＣＰＵ３から構成され、使用メイクパターン画像に設定されたメッシュを正規化透明度レイヤー画像に張り、座標変換テーブルを参照することにより、正規化透明度レイヤー画像に張られたメッシュの各頂点を、フレーム画像に設定された対応するメッシュの頂点の位置に移動させて正規化透明度レイヤー画像に張られたメッシュを変形させ、その変形量に応じて、メッシュを構成する各ポリゴン内の画像を変形させ、正規化透明度レイヤー画像中の化粧要素画像を変形させる。
【００６５】
画像合成部１２１は、ＣＰＵ３から構成され、化粧要素画像変形部１２０によって変形された化粧要素画像を含む正規化透明度レイヤー画像の各画素の透明度（上記βi）を色変換レイヤー画像の各画素のα値とし、背景画像の正規化された各画素の透明度（上記γ）をフレーム画像のα値とし、αブレンディングにより、フレーム画像と、色変換レイヤー画像とを合成する。αブレンディングは、式（６）によって示される。
【００６６】
【数４】
2005216131.tif 000005
【００６７】
但し、Ｃrベクトルは、合成後のＲ，Ｇ，Ｂ値を示し、Ｃfベクトルはフレーム画像の各画素のＲ，Ｇ，Ｂ値を示し、Ｃiベクトルは色変換レイヤー画像の各画素のＲ，Ｇ，Ｂ値を示している。また、βiは式（１）で表され、γは式（２）で表される。
【００６８】
表示部１２２は、表示装置６から構成され、画像合成部１２１によって合成された画像、すなわち、仮想的に化粧が施された顔の動画像を表示する。
【００６９】
なお、本実施形態では、透明度レイヤー画像作成部１０５及び透明度正規化部１０７及び正規化透明度レイヤー画像記憶部１０８が第１の画像作成手段に相当し、色レイヤー作成部１０６、色変換処理部１０９及び色変換レイヤー画像記憶部１１０が第２の画像作成手段に相当し、使用メイクパターン画像が基準画像に相当し、動画像がシミュレーション対象画像に相当し、特徴量抽出部１１３、特徴量抽出部１１４、初期メッシュ記憶部１１５、メッシュ設定部１１６及び初期メッシュ設定部１１７が、メッシュ設定手段に相当し、座標計算部１１８、座標変換テーブル記憶部１１９及び化粧要素画像変形部１２０がメッシュ変形手段に相当し、画像合成部１２１が画像合成手段に相当する。
【００７０】
次に、図３及び図４に示すフローチャートにしたがって、本化粧シミュレーション装置の動作について説明する。
【００７１】
まず、ステップＳ１において、初期設定部１０３は、ユーザによって選択された１種類のメイクパターン画像を使用メイクパターン画像として決定し、使用メイクパターン画像記憶部１０４に記憶させる。この場合、初期設定部１０３により、メイクパターン画像記憶部１０１に記憶されているメイクパターン画像の一覧画像が、表示部１２２に表示される。そして、ユーザによって、一覧画像の中からクリックされたメイクパターン画像が使用メイクパターン画像として決定される。
【００７２】
さらに、ユーザにより、使用メイクパターン画像のうち、いずれかのメイクパターン画像を化粧シミュレーションに使用しない指令がされると、当該レイヤー画像を使用メイクパターン画像から削除し、使用メイクパターン画像を更新する。このとき、更新された使用メイクパターン画像は、表示部１２２に表示される。また、化粧シミュレーションに使用するレイヤー画像のうち、いずれかのレイヤー画像に対する色の指定が行なわれた場合、当該レイヤー画像の色成分の値を指定された色の値に変更し、使用メイクパターン画像を更新する。このとき、更新された使用メイクパターン画像は、表示部１２２に表示される。ある化粧要素画像に対する色の変更は、まず、ユーザにより、表示部１２２に表示された使用メイクパターン画像のうち、色の変更を希望する化粧要素画像をクリックさせて選択させる。そして、表示部１２２に表示された複数の色からなるカラーパレットの中から、いずれかの色がクリックされると、当該色が化粧要素画像の色として設定され、化粧要素画像の色が変更される。
【００７３】
ステップＳ２において、透明度レイヤー画像作成部１０５は、使用メイクパターン画像記憶部１０４から使用メイクパターン画像を読み出し、使用メイクパターン画像を構成するレイヤー画像の透明度成分から透明度レイヤー画像を作成する。
【００７４】
ステップＳ３において、色レイヤー作成部１０６は、使用メイクパターン画像記憶部１０４から使用メイクパターン画像を読み出し、使用メイクパターン画像を構成するレイヤー画像の色成分から色レイヤーを作成する。
【００７５】
ステップＳ４において、透明度レイヤー画像作成部１０５は、透明度レイヤー画像を式（１）を用いて正規化し正規化透明度レイヤー画像を作成するとともに、式（２）を用いて背景画像の透明度を正規化する。図５は、式（１）及び式（２）を説明するための図である。図５では、１〜ｎ番目のレイヤーに対応するグラフが示されており、各グラフは、透明度レイヤー画像の透明度と、対応する階層の背景画像の透明度との関係が示されている。例えば、レイヤー１のグラフにおいて右側の領域Ｒ１には、１階層目の透明度レイヤー画像の透明度が示され、左側の領域Ｒ２には、１階層目の背景画像の透明度が示されている。
【００７６】
各グラフの右側に示された数式は、１からｎ階層目までの透明度レイヤー画像の透明度α1〜αnの和に対する、各透明度レイヤー画像の透明度αiの比率を示している。この比率を透明度αiにかけあわせると上記式（１）が得られる。
【００７７】
また、グラフの右側に示された比率を背景画像の透明度１−αiにかけあわせ、全レイヤーについての総和をとると、上記式（２）が得られる。そして、βi及びγは、Σβi＋γ＝１の関係を有している。正規化する理由については後述する。但し、Σβi＝β1＋β2＋・・・＋βnである。
【００７８】
図３に示すステップＳ５において、特徴量抽出部１１３は、使用メイクパターン画像から特徴量を抽出する。図６は、使用メイクパターン画像から抽出される特徴量を示した図である。図６に示すように、化粧要素画像ＭＥ１〜ＭＥ４が表示された使用メイクパターン画像から顔、眉、目及び口の輪郭を示す特徴エッジＥ１〜Ｅ４と、○で示す目頭、眉尻等の特徴点ＴＰと、髪、肌、背景の各領域を示す特徴クラスタＨＣ、ＳＣ、ＢＣとが抽出されていることが分かる。なお、特徴エッジＥ１〜Ｅ４としては、顔、眉、目及び口の輪郭に限定されず、他の顔部品、例えば鼻等の輪郭を特徴エッジとしてもよいし、上記４種類の特徴エッジＥ１〜Ｅ４のうち、いずれかの特徴エッジを省いてもよい。図６では、目に関しては、目の上側のエッジの頂点、目の下側の輪郭の頂点、目頭、目尻及び目の瞳の中心が特徴点ＴＰとして抽出されている。また、眉に関しては、眉頭及び眉尻が特徴点ＴＰとして抽出されている。また、口に関しては、唇の外周上の、上唇と下唇との２つのつなぎ目が特徴点ＴＰとされている。また、鼻に関しては、両鼻の穴の間が特徴点ＴＰとされている。また、顔の輪郭に関しては、目付近の点、下あごの頂点、頬の付近の顔の輪郭の傾きが大きく変化する点が特徴点ＴＰとされている。ただし、これらの特徴点ＴＰは、一例であって、いずれかの特徴点ＴＰを省略してもよいし、新たに特徴点ＴＰを追加してもよく、図６の○で示す点に限定されない。
【００７９】
図３に示すステップＳ６において、メッシュ設定部１１７は、初期メッシュを変形させることにより、使用メイクパターン画像の顔の輪郭内部にメッシュを設定する。図７は、初期メッシュの一例を示した図である。図７に示すように初期メッシュは、一部の頂点が、顔、眉、目及び口の輪郭を示す特徴エッジＥ１´、Ｅ２´、Ｅ３´、Ｅ４´及び特徴点ＴＰ上に位置していることが分かる。これらの頂点を初期メッシュの特徴頂点と称する。そして、メッシュ設定部１１６は、この初期メッシュを図６に示す使用メイクパターン画像に重ね、初期メッシュの特徴頂点を、使用メイクパターン画像の対応する移動対象位置に移動させる。具体的には、初期メッシュの特徴点上の特徴頂点は、使用メイクパターン画像の対応する特徴点上に移動させる。また、特徴エッジ上であって、特徴点以外の初期メッシュの特徴頂点は、使用メイクパターン画像の対応する特徴エッジ上において、各点の内分比が一致するように移動させる。
【００８０】
次に、メッシュ設定部１１６は、初期メッシュの各頂点に一定の高さ成分（Ｚ成分）を与えて３次元データとし、各頂点に対して式（７）及び式（８）の演算を繰り返し適用することにより、各浮動点を移動させる。これにより、使用メイクパターン画像に対して、上述した長さ制約を満たし、かつ、メッシュを構成するポリゴンの重なりが生じないようなメッシュが設定されることとなる。
【００８１】
【数５】
2005216131.tif 000006
【００８２】
ただし、Ｐiベクトルは、メッシュの頂点の座標を示し、Ｐjベクトルは、Ｐiベクトルに隣接するメッシュの頂点の座標を示し、Ｐi´ベクトルは演算が施されたＰiベクトルを示し、Ｐj´ベクトルは演算が施されたＰjベクトルを示し、ｌijは初期メッシュにおけるＰiベクトル及びＰjベクトルを結ぶ線分の長さを示し、λは定数値を示している。
【００８３】
図８は、初期メッシュの特徴頂点を使用メイクパターン画像の対応する移動対象位置に移動させ、浮動点に一定の高さ成分を付与した直後の使用メイクパターン画像に設定されたメッシュを示した図であり、（ａ）はＺ方向視のメッシュを示し、（ｂ）は斜め方向視のメッシュを示している。各浮動点は、（ｂ）に示すように、Ｚ方向に一定の距離ずらされていることが分かる。また、各特徴頂点は、ＸＹ平面上に位置していることが分かる。そして、メッシュ設定部１１６は、各頂点に対し式（７）及び式（８）の演算を順次適用していく。
【００８４】
図９は、図８に示す各頂点に対し、式（７）及び式（８）の演算を１回適用したときの使用メイクパターン画像に設定されたメッシュを示した図であり、（ａ）はＺ方向視のメッシュを示し、（ｂ）は斜め方向視のメッシュを示している。図９（ｂ）に示すように各浮動点は、図８（ｂ）の場合に比べ、Ｚ成分の値が少し小さくなっていること分かる。また、図９（ａ）に示すように各浮動点は、図８（ｂ）の場合に比べ、メッシュを構成するポリゴンの重なりが多少改善されていることが分かる。
【００８５】
図１０〜図１４は、図８に示す各浮動点に対し、式（７）及び式（８）の演算をそれぞれ５回、１０回、２０回、３０回、６０回適用したときの使用メイクパターン画像に設定されたメッシュを示した図であり、図１０〜図１４のいずれにおいても（ａ）はＺ方向視のメッシュを示し、（ｂ）は斜め方向視のメッシュを示している。図１０（ｂ）〜図１４（ｂ）に示すように、各頂点に対して式（７）及び式（８）の演算を適用する回数を増加させると、各浮動点の高さ成分の値が全体的に低くなっていき、図１４（ｂ）に示す式（５）の演算を６０回適用したときのメッシュに至っては、各浮動点の高さ成分がほぼ０になっていることが分かる。また、これに伴い、図１０（ａ）〜図１４（ａ）に示すように、式（７）及び式（８）の演算を適用する回数が増大するにつれてメッシュを構成するポリゴンの重なりが解消されていることが分かる。
【００８６】
高さを導入せずとも画像平面状において、長さ制約を満たすように、初期メッシュを変形させれば、ある程度、変形前のメッシュの頂点同士の位置関係をバランスよく保持した状態で顔の輪郭内部にメッシュを設定することも可能である。
【００８７】
しかしながら、高さを導入しない画像平面状において長さ制約のみを加味して、初期メッシュを変形させた場合、メッシュを構成するポリゴンの重なりが生じる可能性が高くなる。かかるポリゴンの重なりは、初期メッシュ全体のサイズよりも小さな顔の輪郭に初期メッシュを適用した場合に発生する。これは、実際の布を本来の大きさより小さく縮め、床に押し付けた場合に生じる皺に例えることができる。
【００８８】
図１５は、メッシュを構成するポリゴンの重なりが生じている画像に対して、化粧要素画像を合成したときの一例を示す画面図である。図１５の場合、口紅の輪郭Ｋ１が不自然な形状となっており、唇からはみ出た口紅Ｋ２が表示されていることが分かる。このようにメッシュを構成するポリゴンの重なりが生じると、顔の画像に対して化粧要素画像を違和感なく自然な状態で合成することができなくなる。
【００８９】
そこで、メッシュ設定部１１６は、各頂点に高さ成分を与え、式（７）及び式（８）を用いて３次元的に浮動点の位置を算出することにより、使用メイクパターン画像に対し、メッシュが重なって設定されることを防止している。
【００９０】
図１６は、図６に示す使用メイクパターン画像の顔の輪郭内部に設定されたメッシュを示した図である。図１６に示すように、メッシュを構成するポリゴンの重なりが発生することなく、顔の輪郭（特徴エッジＥ１）内部にバランスよくメッシュが設定されていることが分かる。また、特徴エッジＥ１〜Ｅ４上のメッシュの頂点が位置していることが分かる。
【００９１】
図３に示すステップＳ７において、動画像取得部１１１は、人間の顔の動画像を取得する。ステップＳ８において、フレーム画像抽出部１１２は、動画像取得部１１１によって取得された動画像から１枚のフレーム画像を抽出する。図４に示すステップＳ９において、特徴量抽出部１１４は、フレーム画像から特徴量を抽出する。この場合、図６に示す使用メイクパターン画像から抽出された特徴量Ｅ１〜Ｅ４、ＴＰ、ＨＣ、ＢＣ、ＳＣと同じような特徴量がフレーム画像から抽出される。なお、フレーム画像抽出部１１２は、動画像を構成する各フレーム画像を順次抽出してもよいし、所定のコマ間隔でフレーム画像を順次抽出していってもよい。
【００９２】
ステップＳ１０において、メッシュ設定部１１６は、ステップＳ６で示した手法と同じ手法で初期メッシュを変形させることにより特徴量が抽出されたフレーム画像にメッシュを設定する。
【００９３】
図１７は、フレーム画像の顔の輪郭内部に設定されたメッシュを示した図である。図１７に示すフレーム画像は、図６に示す使用メイクパターン画像に対して多少顔の表情が変化していることが分かる。そして、このように顔の表情が変化した場合でも、メッシュを構成するポリゴンの重なりが生じないように顔の輪郭内部にバランス良くメッシュが設定されていることが分かる。また、特徴エッジＥ１〜Ｅ４上にメッシュの頂点が位置していることが分かる。
【００９４】
ステップＳ１１において、座標計算部１１８は、使用メイクパターン画像に設定されたメッシュ及びフレーム画像に設定されたメッシュの対応する頂点同士の位置の差分を算出し、座標変換テーブルを作成し、座標変換テーブル記憶部１１９に記憶させる。この座標変換テーブルはフレーム画像毎に更新される。
【００９５】
ステップＳ１２において、化粧要素画像変形部１２０は、座標変換テーブルを参照し、正規化透明度レイヤー画像中の化粧要素画像を変形させる。図１８は、化粧要素画像が、化粧要素画像変形部１２０によって変形される様子を示した図であり、（ａ）は変形前を示し、（ｂ）は変形後を示している。図１８（ａ）に示す化粧要素画像Ｇ１が描画されたメッシュを構成するポリゴンＰＲ１が、（ｂ）に示すポリゴンＰＲ２に変形したとすると、化粧要素画像変形部１２０は、メッシュを構成するポリゴンＰＲ１の変形量に応じて、ポリゴンＰＲ１内に描画された化粧要素画像Ｇ１をポリゴンＰＲ２上に写し、化粧要素画像Ｇ１を化粧要素画像Ｇ２に変形させる。
【００９６】
図４に示すステップＳ１３において、色変換処理部１０９は、ステップＳ８で抽出されたフレーム画像と、色レイヤー作成部１０６によって作成された色レイヤーとに対し、式（３）〜式（５）に示す色変換処理を施し、ｎ階層の色変換レイヤー画像を作成し、色変換レイヤー画像記憶部１１０に記憶させる。
【００９７】
ステップＳ１４において、画像合成部１２１は、ステップＳ８で抽出されたフレーム画像と、色合成部により作成された色変換レイヤー画像とを式（６）を用いて合成する。
【００９８】
次に、透明度正規化部１０７が透明度αi及び透明度１−αiを正規化する理由について説明する。式（９）〜式（１１）は、αブレンディングの一般的な数式を示している。
【００９９】
【数６】
2005216131.tif 000007
【０１００】
但し、Ｃｒベクトルは合成後の各画素のＲ，Ｇ，Ｂ値を示し、Ｃfベクトルは背景画像の各画素のＲ，Ｇ，Ｂ値を示し、Ｃiベクトルはｉ階層目のレイヤー画像の各画素のＲ，Ｇ，Ｂ値を示している。また、式（９）は、１枚のレイヤー画像を背景画像に合成する場合を示し、式（１０）は２枚のレイヤー画像を背景画像に合成する場合を示し、式（１１）はｎ枚のレイヤー画像を背景画像に合成する場合を示している。式（１１）に示すようにレイヤーの順番を入れ替えると、式（１１）の第２項が入れ替えに応じて異なる値となってしまうため、Ｃrベクトルの値がレイヤーの順番に依存してしまう。そこで、本化粧シミュレーション装置は、レイヤーの順序を入れ替えても、同一のＣrベクトルの値を得るために、透明度レイヤー画像の各画素の透明度αi及び背景画像の各画素の透明度１−αiを式（１）及び式（２）を用いて正規化してβi及びγとし、βiをαブレンディングにおけるレイヤー画像のα値とし、γをαブレンディングにおける背景画像のα値として用いることにより、Ｃrベクトルの値がレイヤーの順番に依存することを防止している。
【０１０１】
ステップＳ１５において、表示部１２２は、合成された画像を表示する。図１９は、画像合成部１２１による合成の結果、得られた画像を示している。図１９に示すように、図６に示す使用メイクパターン画像に含まれる化粧要素画像ＭＥ１〜ＭＥ４が、図１７に示すフレーム画像に適合するように変形され、フレーム画像上に違和感のない自然な状態で表示されていることが分かる。
【０１０２】
なお、図６及び図１７に示す化粧要素画像ＭＥ１〜ＭＥ４は、一例にすぎず、他の化粧要素画像を含んでも良いし、いずれかの化粧要素画像を省略してもよい。
【０１０３】
図４に示すステップＳ１６において、フレーム画像抽出部１１２は、全てのフレーム画像の抽出が終了したか否かを判定し、全てのフレーム画像の抽出が終了している場合（ステップＳ１６でＹＥＳ）、処理を終了する。一方、ステップＳ１６において、全てのフレーム画像の抽出が終了していない場合（ステップＳ１６でＮＯ）、ステップＳ１７に進み、次のフレーム画像を抽出し、ステップＳ９に戻る。
【０１０４】
（メイクパターン作成モード）
次に、メイクパターン作成モードについて説明する。図２０は、メイクパターン作成モードにおける化粧シミュレーション装置の機能を示すブロック図である。
【０１０５】
静止画像取得部２０１は、静止画カメラ１１から構成され、メイクパターン画像のモデルとなる人間の顔の静止画像を取得する。
【０１０６】
操作部２０２は、入力装置１から構成され、ユーザからの種々の操作指令を入力するために用いられる。
【０１０７】
レイヤー画像作成部２０３は、ユーザにより顔の静止画像上に１種類の化粧要素画像が描画される毎にその化粧要素画像を含む１枚のレイヤー画像を作成する。レイヤー画像は、上述したように、Ｒ，Ｇ，Ｂ値からなる色成分と各画素の透明度を示す透明度成分とから構成される。透明度は、静止画像を背景画像としたときの各レイヤー画像の背景画像に対する透明度を示す。
【０１０８】
透明度レイヤー画像作成部２０４は、透明度レイヤー画像作成部１０５と同様に、レイヤー画像の透明度成分を基に、レイヤー画像の各階層に対応する透明度レイヤー画像を作成する。
【０１０９】
色レイヤー作成部２０５は、色レイヤー作成部１０６と同様に、レイヤー画像の色成分を基に、レイヤー画像の各階層に対応する色レイヤーを作成する。
【０１１０】
透明度正規化部２０６は、透明度正規化部１０７と同様に、透明度レイヤー画像の各画素に対し、上記式（１）の演算を施し、正規化透明度レイヤー画像を作成するとともに、背景画像である顔の静止画像の各画素に対し式（２）の演算を施し、背景画像の各画素の透明度を正規化する。
【０１１１】
正規化透明度レイヤー画像記憶部２０７は、ＲＡＭ４から構成され、正規化透明度レイヤー画像及び正規化された背景画像の各画素の透明度を記憶する。
【０１１２】
色変換処理部２０８は、色変換処理部１０９と同様に、色レイヤーのＲ，Ｇ，Ｂ値及び静止画像の各画素のＲ，Ｇ，Ｂ値をそれぞれＨＳＶ表色系に変換した後、上記式（３）〜式（５）に示す色変換処理を実行し、得られた画像をさらに、Ｒ，Ｇ，Ｂ表色系に変換することにより、レイヤー画像の各階層に対応する色変換レイヤー画像作成する。
【０１１３】
色変換レイヤー画像記憶部２０９は、ＲＡＭ４から構成され、色変換処理部２０８によって作成された色変換レイヤー画像を記憶する。
【０１１４】
画像合成部２１０は、画像合成部１２１と同様に、正規化透明度レイヤー画像の各画素の透明度を色変換レイヤー画像の各画素のα値とし、背景画像の各画素の透明度を顔の静止画像のα値とし、色変換レイヤー画像と顔の静止画像とをαブレンディングによって合成する。
【０１１５】
表示部２１１は、表示装置６から構成され、画像合成部２１０によって合成された画像を表示する。
【０１１６】
メイクパターン画像作成部２１２は、レイヤー画像作成部２０３によって作成されたレイヤー画像と静止画像取得部２０１によって取得された静止画像とを、メイクパターン画像として、メイクパターン画像記憶部１０１に記憶させる。
【０１１７】
次に、メイクパターン作成モードにおける化粧シミュレーション装置の動作について、図２１に示すフローチャートを用いて説明する。まず、ステップＳ１０１において、静止画像取得部２０１は、メイクパターン画像のモデルとなる人間の顔の静止画像を取得する。この場合、例えば、図６に示すような人間の顔の静止画像が取得される。
【０１１８】
ステップＳ１０２において、レイヤー画像作成部２０３は、操作部２０２を介して、ユーザによる化粧要素画像の描画入力を受け付け、ステップＳ１０３において、１種類の化粧要素画像の描画入力を受け付ける毎に、各化粧要素画像を含むレイヤー画像を作成する。
【０１１９】
この場合、レイヤー画像作成部２０３は、静止画像取得部２０１によって取得された顔の静止画像を表示部２１１に表示させ、表示された静止画像上に化粧要素画像をペンタブレットを用いて描画させることにより、化粧要素画像の描画入力を受け付ける。描画された化粧要素画像は、表示部２１１に表示される。また、１種類の化粧要素画像の入力が終了したか否かの判断はユーザの指示によって行なわれる。
【０１２０】
この段階において、表示部２１１には、透明度成分と、単色の色成分とによって表された化粧要素画像が、静止画像上に単に重ねて合わせて表示されているだけの画像が表示されており、化粧要素画像が人の顔に対して、違和感のある不自然な状態で表示されている。
【０１２１】
ステップＳ１０４において、ユーザによりステップＳ１０３で作成されたレイヤー画像を静止画像に合成する指示が入力されると（ステップＳ１０４でＹＥＳ）、ステップＳ１０６に進む。一方、ステップＳ１０４において、レイヤー画像を静止画像に合成する指示が入力されない場合は（ステップＳ１０４でＮＯ）、ステップＳ１０５に進む。
【０１２２】
ステップＳ１０５において、ユーザによりメイクパターン作成モードの終了の指示がされた場合（ステップＳ１０５でＹＥＳ）、処理を終了する。一方、ステップＳ１０５において、ユーザによりメイクパターン作成モードの終了の指示がされなかった場合（ステップＳ１０５でＮＯ）、ステップＳ１０２に戻る。
【０１２３】
ステップＳ１０６において、透明度レイヤー画像作成部２０４は、レイヤー画像の透明度成分を基に、レイヤー画像の各階層に対応する透明度レイヤー画像を作成する。ステップＳ１０７において、色レイヤー作成部２０５は、レイヤー画像の色成分を基に、レイヤー画像の各階層に対応する色レイヤーを作成する。
【０１２４】
ステップＳ１０８において、透明度正規化部２０６は、透明度レイヤー画像の各画素の透明度を正規化し、正規化透明度レイヤー画像を作成し、正規化透明度レイヤー画像記憶部２０７に記憶させるとともに、静止画像の各画素の透明度を正規化し、正規化透明度レイヤー画像記憶部２０７に記憶させる。
【０１２５】
ステップＳ１０９において、色変換処理部２０８は、色レイヤーと静止画像とを基に、レイヤー画像の各階層に対応する色変換レイヤー画像を作成し、色変換レイヤー画像記憶部２０９に記憶させる。
【０１２６】
ステップＳ１１０において、画像合成部２１０は、静止画像と、色変換レイヤー画像とをαブレンディングにより合成させる。ステップＳ１１１において、表示部２１１は、画像合成部２１０によって合成された画像を表示する。この場合、ステップＳ１０２の段階で、静止画像上に違和感なく不自然な状態で表示されていた化粧要素画像が違和感のない自然な状態で静止画像上に表示されることとなる。
【０１２７】
ステップＳ１１２において、ユーザによりメイクパターン画像の作成指示がされると（ステップＳ１１２でＹＥＳ）、ステップＳ１１３に進み、メイクパターン画像作成部２１２は、レイヤー画像作成部２０３によって作成されたレイヤー画像と静止画像取得部２０１によって取得された静止画像とを合成してメイクパターン画像を作成し、メイクパターン画像記憶部１０１に記憶させ、メイクパターン作成モードを終了する。
【０１２８】
一方、ステップＳ１１２において、ユーザによりメイクパターン画像の作成指示がされない場合（ステップＳ１１３でＮＯ）、ステップＳ１０２に戻る。
【０１２９】
このように、本化粧シミュレーション装置によれば、ペンタブレット等を操作することによりユーザにより予め作成されたメイクパターン画像に含まれる化粧要素画像をフレーム画像に適合するように変形させ、フレーム画像上に表示させているため、ユーザは、ペンタブレット等の操作装置を操作するというような簡略化された操作を行なうだけで、実際に化粧を塗布したような高品質な化粧シミュレーション画像を高速に得ることができる。また、レイヤー画像に基づいて、シミュレーションを実行しているため、メイクパターン画像から一部の化粧要素画像を削除する、又は、一部の化粧要素画像の色を変更するというような設定を容易に行なうことができる。
【０１３０】
さらに、透明度レイヤー画像の各画素の透明度及び背景画像の各画素の透明度を正規化しているため、レイヤーの順序に依存しないαブレンディングが可能となる。さらに、初期メッシュの長さ制約を満たし、かつ、メッシュを構成するポリゴンの重なりが生じないように、メイクパターン画像及びフレーム画像の顔の輪郭内部にメッシュを設定しているため、化粧要素画像をフレーム画像上により違和感なく自然な状態で表示することができる。色変換レイヤー画像をαブレンディングの背景画像として用いているため、フレーム画像または静止画像に対してより違和感なく自然な状態で化粧要素画像を表示することができる。
【０１３１】
なお、本発明は、以下の態様を採用してもよい。
【０１３２】
（１）上記実施の形態では、化粧シミュレーションプログラムをコンピュータにインストールすることにより、コンピュータを化粧シミュレーション装置として機能させていたが、これに限定されず、専用のハードウェア回路を用いて、化粧シミュレーション装置を構成してもよい。
【０１３３】
（２）上記実施の形態では、レイヤー画像は、１種類の化粧要素画像を含むものとしたが、これに限定されず、色成分が一致する複数の化粧要素画像を１枚のレイヤー画像中に含ませても良い。
【０１３４】
（３）上記実施の形態では、静止画像を静止画カメラ１１で取得していたが、これに限定されず、動画カメラにより撮影された動画像の１枚のフレーム画像を静止画像として取得してもよい。これにより、静止画カメラ１１が不要となる。
【０１３５】
（４）上記実施の形態では、化粧シミュレーションモードは、顔画像を含む背景画像とレイヤー画像とからなるメイクパターン画像を基に、化粧シミュレーションを実行していたが、これに限定されず、メイクパターン作成モードにおいて、透明度正規化部２０６で作成された正規化透明度レイヤー画像と、色変換処理部２０８で作成された色変換レイヤー画像と、顔画像を含む背景画像とからなる画像をメイクパターン画像として、化粧シミュレーションを実行してもよい。この場合、予め、色変換レイヤー画像と、正規化透明度レイヤー画像とが作成されているため、透明度レイヤー画像作成部１０５、透明度正規化部１０７、色レイヤー作成部１０６及び色変換処理部１０９は不要となる。ただし、メイクパターン画像記憶部１０１及び使用メイクパターン画像記憶部１０４の使用メモリの節約という観点からは、顔画像を含む背景画像と、レイヤー画像とをメイクパターン画像とすることが好ましい。
【図面の簡単な説明】
【０１３６】
【図１】本発明の一実施の形態による化粧シミュレーション装置のハードウェア構成を示すブロック図である。
【図２】本化粧シミュレーション装置の化粧シミュレーションモードの機能を示すブロック図を示している。
【図３】本化粧シミュレーション装置の動作を示すフローチャートである。
【図４】本化粧シミュレーション装置の動作を示すフローチャートである。
【図５】式（１）及び式（２）を説明するための図である。
【図６】使用メイクパターン画像から抽出される特徴量を示した図である。
【図７】初期メッシュの一例を示した図である。
【図８】初期メッシュの特徴頂点を使用メイクパターン画像の対応する移動対象位置に移動させ、浮動点に一定の高さ成分を付与した直後の使用メイクパターン画像に設定されたメッシュを示した図であり、（ａ）はＺ方向視のメッシュを示し、（ｂ）は斜め方向視のメッシュを示している。
【図９】図８に示す各頂点に対し、式（７）及び式（８）の演算を１回適用したときの使用メイクパターン画像に設定されたメッシュを示した図であり、（ａ）はＺ方向視のメッシュを示し、（ｂ）は斜め方向視のメッシュを示している。
【図１０】図８に示す各頂点に対し、式（７）及び式（８）の演算を５回適用したときの使用メイクパターン画像に設定されたメッシュを示した図であり、（ａ）はＺ方向視のメッシュを示し、（ｂ）は斜め方向視のメッシュを示している。
【図１１】図８に示す各頂点に対し、式（７）及び式（８）の演算を１０回適用したときの使用メイクパターン画像に設定されたメッシュを示した図であり、（ａ）はＺ方向視のメッシュを示し、（ｂ）は斜め方向視のメッシュを示している。
【図１２】図８に示す各頂点に対し、式（７）及び式（８）の演算を２０回適用したときの使用メイクパターン画像に設定されたメッシュを示した図であり、（ａ）はＺ方向視のメッシュを示し、（ｂ）は斜め方向視のメッシュを示している。
【図１３】図８に示す各頂点に対し、式（７）及び式（８）の演算を３０回適用したときの使用メイクパターン画像に設定されたメッシュを示した図であり、（ａ）はＺ方向視のメッシュを示し、（ｂ）は斜め方向視のメッシュを示している。
【図１４】図８に示す各頂点に対し、式（７）及び式（８）の演算を３０回適用したときの使用メイクパターン画像に設定されたメッシュを示した図であり、（ａ）はＺ方向視のメッシュを示し、（ｂ）は斜め方向視のメッシュを示している。
【図１５】メッシュを構成するポリゴンの重なりが生じている画像に対して、化粧要素画像を合成したときの一例を示す画面図である。
【図１６】図６に示す使用メイクパターン画像の顔の輪郭内部に設定されたメッシュを示した図である。
【図１７】フレーム画像の顔の輪郭内部に設定されたメッシュを示した図である。
【図１８】化粧要素画像が、変形される様子を示した図であり、（ａ）は変形前を示し、（ｂ）は変形後を示している。
【図１９】画像合成部による合成の結果、得られた画像を示している。
【図２０】メイクパターン作成モードにおける化粧シミュレーション装置の機能を示すブロック図である。
【図２１】メイクパターン作成モードにおける化粧シミュレーション装置の動作を示すフローチャートである。
【符号の説明】
【０１３７】
１０１  メイクパターン画像記憶部
１０２  操作部
１０３  初期設定部
１０４  使用メイクパターン画像記憶部
１０５  透明度レイヤー画像作成部
１０６  色レイヤー作成部
１０７  透明度正規化部
１０８  正規化透明度画像レイヤー記憶部
１０９  色変換処理部
１１０  色変換レイヤー画像記憶部
１１１  動画像取得部
１１２  フレーム画像抽出部
１１３  特徴量抽出部
１１４  特徴量抽出部
１１５  初期メッシュ記憶部
１１６  メッシュ設定部
１１７  メッシュ設定部
１１８  座標計算部
１１９  座標変換テーブル記憶部
１２０  化粧要素画像変形部
１２１  画像合成部
１２２  表示部
２０１  静止画像取得部
２０２  操作部
２０３  レイヤー画像作成部
２０４  透明度レイヤー画像作成部
２０５  色レイヤー作成部
２０６  透明度正規化部
２０７  正規化透明度レイヤー画像記憶部
２０８  色変換処理部
２０９  色変換レイヤー画像記憶部
２１０  画像合成部
２１１  表示部
２１２  メイクパターン画像作成部
【図１】
2005216131.tif 000009
【図２】
2005216131.tif 000010
【図３】
2005216131.tif 000011
【図４】
2005216131.tif 000012
【図５】
2005216131.tif 000013
【図６】
2005216131.tif 000014
【図７】
2005216131.tif 000015
【図８】
2005216131.tif 000016
【図９】
2005216131.tif 000017
【図１０】
2005216131.tif 000018
【図１１】
2005216131.tif 000019
【図１２】
2005216131.tif 000020
【図１３】
2005216131.tif 000021
【図１４】
2005216131.tif 000022
【図１５】
2005216131.tif 000023
【図１６】
2005216131.tif 000024
【図１７】
2005216131.tif 000025
【図１８】
2005216131.tif 000026
【図１９】
2005216131.tif 000027
【図２０】
2005216131.tif 000028
【図２１】
2005216131.tif 000029