(57)【要約】【課題】よりリアルな化粧シミュレーションを行う【解決手段】所定フレーム周期毎に被験者の顔画像を取得する画像取得部１００と、フレーム毎に顔画像の眼の位置を検出する位置検出部６１０と、フレーム毎に検出された眼の位置を基準として顔画像の所定の領域を化粧領域として設定する化粧領域設定部６２０と、化粧領域に所定の色を着色し、顔画像にメークアップ処理を施すメークアップ処理部６３０とを備えている。【選択図】　　　図２
2004030007.tif 000002
【特許請求の範囲】
【請求項１】
所定フレーム周期で撮影された被験者の顔画像を取得する画像取得手段と、
フレーム毎に顔画像の眼の位置を検出する位置検出手段と、
フレーム毎に検出された眼の位置に基づいて、顔画像の所定の領域を化粧領域として設定する化粧領域設定手段と、
前記化粧領域に所定の色を着色し、顔画像にメークアップ処理を施すメークアップ処理手段とを備えることを特徴とする化粧シミュレーション装置。
【請求項２】
前記化粧領域設定手段は、眼の位置を基準として上唇と下唇とを含む領域を唇検出領域として設定する唇検出領域設定手段と、前記唇検出領域から色情報を基に、下唇の輪郭を検出する下唇輪郭検出手段と、前記唇検出領域から明度を基に、上唇の輪郭を検出する上唇輪郭検出手段とを含み、検出された上唇及び下唇の輪郭によって囲まれた領域を前記化粧領域として設定することを特徴とする請求項１記載の化粧シミュレーション装置。
【請求項３】
前記化粧領域設定手段は、前記唇検出領域内に下唇の画像の重心を中心とする上唇検出用領域を設定し、設定した上唇検出用領域内に含まれる画像から上唇の画像を特定する上唇画像特定手段を備えることを特徴とする請求項２記載の化粧シミュレーション装置。
【請求項４】
前記化粧領域設定手段は、前記上唇輪郭検出手段が検出した上唇の輪郭を構成する画素の配列から、上唇の輪郭を表す近似関数を算出するとともに、前記下唇輪郭検出手段が検出した下唇の輪郭を構成する画素の配列から、下唇の輪郭を表す近似関数を算出する近似関数算出手段を備えることを特徴とする請求項２又は３記載の化粧シミュレーション装置。
【請求項５】
前記近似関数算出手段は、上唇の上側の輪郭線を左右方向の中心部で２つの領域に分け、それぞれの領域において、輪郭線を表す近似関数を算出することを特徴とする請求項４記載の化粧シミュレーション装置。
【請求項６】
前記メークアップ処理手段は、前記近似関数算出手段が算出した唇の輪郭を表す近似関数を用いて、唇の光沢を表すためのハイライト処理を施すことを特徴とする請求項４又は５記載の化粧シミュレーション装置。
【請求項７】
予め定められた複数の化粧パターンを記憶する記憶手段と、
前記複数の化粧パターンの一覧画像を作成する一覧画像作成手段と、
オペレータの操作指令を受け付ける入力手段とを更に備え、
前記化粧領域設定手段は、前記複数の化粧パターンの一覧画像の中から、前記入力手段を用いてオペレータによって選択された化粧パターンに基づいて、前記化粧領域を設定し、
前記メークアップ処理手段は、前記複数の化粧パターンの一覧画像の中から、前記入力手段を用いてオペレータによって選択された化粧パターンに基づいて、前記化粧領域を着色することを特徴とする請求項１〜７のいずれかに記載の化粧シミュレーション装置。
【請求項８】
コンピュータが、所定フレーム周期で撮影された被験者の顔画像を取得し、
コンピュータが、フレーム毎に検出された眼の位置に基づいて、顔画像の所定の領域を化粧領域として設定し、
コンピュータが、前記化粧領域に所定の色を着色し、顔画像にメークアップ処理を施すことを特徴とする化粧シミュレーション方法。
【請求項９】
所定フレーム周期で撮影された被験者の顔画像を取得する画像取得手段、
フレーム毎に顔画像の眼の位置を検出する位置検出手段、
フレーム毎に検出された眼の位置に基づいて、顔画像の所定の領域を化粧領域として設定する化粧領域設定手段、
前記化粧領域に所定の色を着色し、顔画像にメークアップ処理を施すメークアップ処理手段としてコンピュータを機能させることを特徴とする化粧シミュレーションプログラム。
【請求項１０】
所定フレーム周期で撮影された被験者の顔画像を取得する画像取得手段、
フレーム毎に顔画像の眼の位置を検出する位置検出手段、
フレーム毎に検出された眼の位置に基づいて、顔画像の所定の領域を化粧領域として設定する化粧領域設定手段、
前記化粧領域に所定の色を着色し、顔画像にメークアップ処理を施すメークアップ処理手段としてコンピュータを機能させることを特徴とする化粧シミュレーションプログラムを記録したコンピュータ読取可能な記録媒体。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
被写体の顔画像に仮想的に化粧を施す化粧シミュレーション技術に関する。
【０００２】
【従来の技術】
従来より、人の顔画像を撮影してコンピュータに取り込み、所定の画像処理を施すことにより、仮想的に化粧を施す化粧シミュレーション装置が知られている。このような化粧シミュレーション装置は、実際に化粧を施すことなく、化粧による効果をコンピュータの画面上で確認することができるため、化粧品の実演販売や、化粧技法を取得するためのトレーニングなどに広く利用されている。
【０００３】
このような化粧シミュレーションに関する技術として、顔のメークアップ支援装置（特開平６−３１９６１３）、リップカラーアドバイスシステム及び方法（特開平８−２０２７５４）、メークアップのシミュレート法（特開平１０−２１２９０）などが報告されている。
【０００４】
【発明が解決しようとする課題】
しかしながら、これらの技術はいずれもデジタルスチルカメラやイメージスキャナーなどから得られた静止画像を対象としており、動画像を対象としたものではない。そのため、顔の表情の変化に対する化粧効果を確認することができず、リアル性に欠けるという問題があった。
【０００５】
本発明は、上記課題を解決するためになされたものであり、よりリアルに化粧シミュレーションを行うことができる化粧シミュレーション技術を提供することを目的としている。
【０００６】
【課題を解決するための手段】
本発明に係る化粧シミュレーション装置は、所定フレーム周期毎に被験者の顔画像を取得する画像取得手段と、フレーム毎に顔画像の眼の位置を検出する位置検出手段と、フレーム毎に検出された眼の位置に基づいて、顔画像の所定の領域を化粧領域として設定する化粧領域設定手段と、前記化粧領域に所定の色を着色し、顔画像にメークアップ処理を施すメークアップ処理手段とを備えることを特徴とするものである。
【０００７】
本化粧シミュレーション装置によれば、撮影された顔画像の眼の位置がフレーム毎に検出され、検出された眼の位置に基づいて、そのフレーム内に化粧領域が設定され、その化粧領域が着色されて、顔画像にメークアップ処理が施されるため、動画像を対象とした化粧シミュレーションが可能となる。さらに、検出が容易な眼の位置を基準として化粧領域を設定しているため、化粧領域の設定の正確性が増し、よりリアルな化粧シミュレーションを実現することができる。
【０００８】
また、前記化粧領域設定手段は、眼の位置を基準として上唇と下唇とを含む領域を唇検出領域として設定する唇検出領域設定手段と、前記唇検出領域から色情報を基に、下唇の輪郭を検出する下唇輪郭検出手段と、前記唇検出領域から明度を基に、上唇の輪郭を検出する上唇輪郭検出手段とを含み、上唇及び下唇の輪郭によって囲まれた領域を前記化粧領域として設定することが好ましい。
【０００９】
この場合、色情報によって下唇の輪郭が検出されるとともに、色情報による検出が困難な上唇は、明度によってその輪郭が検出されているため、上唇及び下唇の輪郭をより正確に検出することができる。
【００１０】
また、前記化粧領域設定手段は、前記唇検出領域内に下唇の画像の重心を中心として上唇検出用領域を設定し、設定した上唇検出用領域内の画像から上唇の画像を特定する上唇画像特定手段を備えることが好ましい。
【００１１】
この場合、下唇輪郭検出手段が検出した下唇の輪郭から算出される下唇の重心を中心として、唇の輪郭の形に一致するような形状を有する上唇検出用領域が設定され、その上唇検出用域内の画像を基に上唇の画像が特定される。上唇の付近には、深いしわなどが多数存在するため、明度を基に上唇の輪郭を検出すると、誤ってこれらのしわを上唇の輪郭として検出する場合がある。そこで、下唇の重心とする上唇検出用領域を唇検出領域にあてはめ、上唇検出用領域外の画像を排除して、残存する画像から上唇の画像を特定するため、より正確に上唇の画像を特定することができる。ここで、上唇検出用領域としては、楕円、多角形などの形状を有する領域が含まれる。
【００１２】
また、前記化粧領域設定手段は、前記上唇輪郭検出手段が検出した上唇の輪郭を構成する画素の配列から、上唇の輪郭を表す近似関数を算出するとともに、前記下唇輪郭検出手段が検出した下唇の輪郭を構成する画素の配列から、下唇の輪郭を表す近似関数を算出する近似関数算出手段を備えることが好ましい。
【００１３】
この場合、検出された上唇及び下唇の輪郭を構成する画素の配列を基に、下唇及び上唇の輪郭線を表す近似関数が算出されるため、なめらかな化粧領域を設定することができる。
【００１４】
また、前記近似関数算出手段は、上唇の上側の輪郭線を左右方向の中心部で２つの領域に分け、それぞれの領域において、輪郭線を表す近似関数を算出することが好ましい。
【００１５】
この場合、上唇の上側の輪郭線を左右方向の中心部分で２つの領域に分けて、それぞれの領域において、輪郭線を表す近似関数を算出して、上唇の上側の輪郭線を２つの近似関数で表すため、上唇上側の中心にある上唇の切り込み部分を表すことができる。
【００１６】
また、前記メークアップ処理手段は、前記近似関数算出手段が算出した唇の輪郭を表す近似関数を用いて、下唇に、下唇の光沢を表すためのハイライト処理を施すことが好ましい。
【００１７】
この場合、唇のハイライト（光沢）は、通常、唇の輪郭線に沿った形状で、下唇あるいは上唇のそれぞれにおいて、上下方向の中心部分に現れる場合が多い。本発明では、唇の輪郭線をなめらかに表現する近似関数を用いてハイライト処理を行うため、速やかにハイライト処理を施すことができるとともに、唇のハイライトをより美しく表現することが可能となり、化粧シミュレーションのリアル性が増すこととなる。
【００１８】
また、予め定められた複数の化粧パターンを記憶する記憶手段と、前記複数の化粧パターンの一覧画像を作成する一覧画像作成手段と、オペレータの操作指令を受け付ける入力手段とを更に備え、前記化粧領域設定手段は、前記複数の化粧パターンの一覧画像の中から、前記入力手段を用いてオペレータによって選択された化粧パターンに基づいて、前記化粧領域を設定し、前記メークアップ処理手段は、前記複数の化粧パターンの一覧画像の中から、前記入力手段を用いてオペレータによって選択された化粧パターンに基づいて、前記化粧領域を着色することが好ましい。
【００１９】
この場合、オペレータは、予め記憶された複数の化粧パターン及びカラーパターンの一覧画像から、化粧パターン及びカラーパターンの選択が行えるため、顔画像にふさわしい化粧パターン及びカラーパターンの選定が容易となる。
【００２０】
本発明に係る化粧シミュレーション方法は、コンピュータが、所定フレーム周期毎に被験者の顔画像を取得し、コンピュータが、フレーム毎に検出された眼の位置に基づいて、顔画像の所定の領域を化粧領域として設定し、コンピュータが、前記化粧領域に所定の色を着色し、顔画像にメークアップ処理を施すことを特徴とするものである。
【００２１】
本化粧シミュレーション方法によれば、撮影された顔画像の眼の位置がフレーム毎に検出され、検出された眼の位置に基づいて、そのフレーム内に化粧領域が設定され、その化粧領域が着色されて、顔画像にメークアップ処理が施されるため、動画像を対象とした化粧シミュレーションが可能となる。さらに、検出が容易な眼の位置を基準として化粧領域を設定しているため、化粧領域の設定の正確性が増し、よりリアルな化粧シミュレーションを実現することができる。
【００２２】
本発明に係る化粧シミュレーションプログラムは、所定フレーム周期毎に被験者の顔画像を取得する画像取得手段、フレーム毎に顔画像の眼の位置を検出する位置検出手段、フレーム毎に検出された眼の位置に基づいて、顔画像の所定の領域を化粧領域として設定する化粧領域設定手段、前記化粧領域に所定の色を着色し、顔画像にメークアップ処理を施すメークアップ処理手段としてコンピュータを機能させることを特徴とするものである。
【００２３】
本発明に係る化粧シミュレーションプログラムによれば、撮影された顔画像の眼の位置がフレーム毎に検出され、検出された眼の位置に基づいて、そのフレーム内に化粧領域が設定され、その化粧領域が着色されて、顔画像にメークアップ処理が施されるため、動画像を対象とした化粧シミュレーションが可能となる。さらに、検出が容易な眼の位置を基準として化粧領域を設定しているため、化粧領域の設定の正確性が増し、よりリアルな化粧シミュレーションを実現することができる。
【００２４】
本発明に係る化粧シミュレーションプログラムを記録する記録媒体は、所定フレーム周期毎に被験者の顔画像を取得する画像取得手段、フレーム毎に顔画像の眼の位置を検出する位置検出手段、フレーム毎に検出された眼の位置に基づいて、顔画像の所定の領域を化粧領域として設定する化粧領域設定手段、前記化粧領域に所定の色を着色し、顔画像にメークアップ処理を施すメークアップ処理手段としてコンピュータを機能させることを特徴とする化粧シミュレーションプログラムを記録したものである。
【００２５】
本化粧シミュレーションプログラムを記録した記録媒体によれば、撮影された顔画像の眼の位置がフレーム毎に検出され、検出された眼の位置に基づいて、そのフレーム内に化粧領域が設定され、その化粧領域が着色されて、顔画像にメークアップ処理が施されるため、動画像を対象とした化粧シミュレーションが可能となる。さらに、検出が容易な眼の位置を基準として化粧領域を設定しているため、化粧領域の設定の正確性が増し、よりリアルな化粧シミュレーションを実現することができる
【００２６】
【発明の実施の形態】
以下、本発明に係る化粧シミュレーション装置の一実施形態について説明する。図１は、化粧シミュレーション装置の概略構成を示した図である。
【００２７】
図１に示す化粧シミュレーション装置は、種々の処理を行うパーソナルコンピュータ１と、被験者の顔画像を撮影するビデオカメラ２とを備えている。
【００２８】
パーソナルコンピュータ１は、種々のプログラムを実行し、化粧シミュレーション装置全体を制御するＣＰＵ（中央処理装置）１１と、ビデオカメラ２によって撮影された被写体の顔画像や種々のデータを一時的に記憶するＲＡＭ（ランダムアクセスメモリ）１２と、パーソナルコンピュータ１を動作させるための基本プログラムを記憶するＲＯＭ（リードオンリーメモリ）１３と、ＣＲＴ（陰極線管）、液晶パネル、プロジェクタあるいはプラズマディスプレイなどから構成され、処理された顔画像などを表示する表示装置１４と、ＣＤ−ＲＯＭ、ＤＶＤ及びフレキシブルディスクなどの記録媒体Ｍに記録されたデータを読み取る記録媒体駆動装置１５と、ハードディスクなどから構成され、化粧シミュレーションプログラムを記憶する補助記憶装置１６と、マウス及びキーボードを含み、オペレータの操作指令を受け付ける入力装置１７とを備えている。
【００２９】
ビデオカメラ２は、パーソナルコンピュータ１と例えばビデオケーブルにより接続され、所定のフレームレートで被写体の顔画像を撮影し、撮影した顔画像をビデオケーブルを介してパーソナルコンピュータ１に出力する。
【００３０】
本実施形態では、化粧シミュレーションプログラムを記録するＣＤ−ＲＯＭを記録媒体駆動装置１５に装填し、パーソナルコンピュータ１にインストールすることにより、パーソナルコンピュータ１を化粧シミュレーション装置として機能させている。なお、インターネット上に配設されたＷＥＢサーバに化粧シミュレーションプログラムを記憶させておき、ＷＥＢサーバからその化粧シミュレーションプログラムをダウンロードすることにより、パーソナルコンピュータ１に化粧シミュレーションプログラムをインストールしてもよい。さらに、パーソナルコンピュータ１によって顔画像を取得して、取得した顔画像をＷＥＢサーバに送信し、ＷＥＢサーバ上で眼の検出処理を施し、その処理結果をパーソナルコンピュータに送信するというように、ＷＥＢサーバとパーソナルコンピュータ１との間で眼検出プログラムを分散して実行させてもよい。
【００３１】
図２は、化粧シミュレーション装置のブロック構成図を示している。本化粧シミュレーション装置は、機能的に、画像取得部１００と、画像メモリ２００と、表示部３００と、化粧パターン記憶部４００と、カラーパターン記憶部５００と、プログラム実行部６００と、一覧画像作成部７００とを備えている。
【００３２】
画像取得部１００は、ビデオカメラ２を用いて撮影された被写体の顔画像を取得して、画像メモリ２００に記憶させる。画像取得部１００は、顔画像を取得するにあたり、眼の中心と口の中心とを結ぶ直線の方向が水平方向に対して直交する方向となるように、かつ、頭が上側となるように顔画像を取得する。以下の説明において、顔画像とは、図３に示すように被写体の顔の部分を含む長方形状の画像を示し、この顔画像の左上の頂点を原点（０、０）とし、長方形の上辺にｘ座標を長方形の左辺にｙ座標を設定する。
【００３３】
画像メモリ２００は、ＲＡＭ１２などから構成され、画像取得部１００が取得した顔画像及びプログラム実行部６００が顔画像に対して種々の処理を施した画像などを一時的に記憶するとともに、記憶している顔画像を表示部３００に出力する。
【００３４】
表示部３００は、表示装置１４やＶＲＡＭなどを含み、画像メモリ２００から出力された画像を表示する。
【００３５】
化粧パターン記憶部４００は、主にＲＡＭ１２から構成され、複数のアイメークパターン及び複数のリップメークパターンなどを記憶する。カラーパターン記憶部５００は、主にＲＡＭ１２から構成され、化粧領域に施すためのアイカラーパターンやリップカラーパターンなどを記憶する。
【００３６】
一覧画像作成部７００は、化粧パターン記憶部４００に記憶されているアイメークパターンなどのデータと、カラーパターン記憶部５００に記憶されているアイカラーパターンなどのデータと、顔画像とを合成して、後述する図１５又は図２３に示すような一覧画像を作成する。
【００３７】
プログラム実行部６００は、ＣＰＵ１１が化粧シミュレーションプログラムを実行することにより実現され、顔画像の眼の位置を検出する位置検出部６１０と、検出された眼の位置を基準として顔画像に化粧領域を設定する化粧領域設定部６２０と、設定された化粧領域に色を着色するメークアップ処理部６３０とを備えている。さらに、化粧領域設定部６２０は、顔画像にアイシャドーやアイラインなどのアイメークを施すための領域を設定するアイメーク領域設定部６２１と、顔画像にリップメークを施すための領域を設定するリップメーク領域設定部６２２とを備えている。
【００３８】
（眼の位置検出処理）
次に眼の位置検出処理について説明する。図４は、位置検出部６１０のブロック構成図を示している。
【００３９】
位置検出部６１０は、例えば顔画像の１枚目のフレームから所定枚数目までのフレームに対して眼の検出を行う眼検出モードと、眼検出モードにおいて検出された過去のフレームの眼の位置を基に、現フレームの眼の位置を検出する眼追跡モードとの２つのモードを備えている。
【００４０】
位置検出部６１０は、検出領域設定部６１１と、画像抽出部６１２と、位置特定部６１３と、予測位置算出部６１４と、判断部６１５と、濃淡画像変換部６１６とを備えている。
【００４１】
検出領域設定部６１１は、眼検出モードにおいては、画像取得部１００が取得した顔画像の例えば１枚目から所定枚数目より１つ前までのフレームに対して、画像抽出部６１２が顔画像に対してフィルタ処理を施すための両眼を含む第１の検出領域Ｒ１を設定する。図３に示すように第１の検出領域Ｒ１は、ｘ方向に平行かつ長尺の長方形状の領域である。
【００４２】
また、検出領域設定部６１１は、眼追跡モードにおいては、現フレームの１つ前のフレームで検出された両眼のそれぞれの位置を中心とする２つの領域を現フレームに当てはめ、現フレームに対して画像抽出部６１２が種々の処理を施すための第２の検出領域Ｒ２を設定する。図３に示すように、第２の検出領域Ｒ２に含まれる２つの領域のうち一方の領域は、左側の眉及び眼を含む例えば、ほぼ正方形状の領域であり、他方の領域は右側の眉及び眼を含む例えば、ほぼ正方形状の領域である。なお、第２の検出領域Ｒ２に含まれる２つの領域は、それぞれ眼の中心位置を中心とし、かつ短軸がｙ方向と平行な楕円状の領域としてもよい。
【００４３】
画像抽出部６１２は、濃度補正部６１２１と、サブサンプリング部６１２２と、フィルタ処理部６１２３と、面積算出部６１２４と、画像判定部６１２５とを備えている。
【００４４】
濃度補正部６１２１は、検出領域設定部６１１が設定した第１及び第２の検出領域Ｒ１及びＲ２に対して、同じ濃度値を有する画素数を求め、濃度値ヒストグラムを作成し、この濃度値ヒストグラムを平坦化する処理を行う。その結果、ビデオカメラ２が被写体を撮像する際の照明条件などが異なることによる顔画像毎の明暗のバラツキが抑制される。
【００４５】
サブサンプリング部６１２２は、フィルタ処理部６１２３によるフィルタ処理の高速化を図るための前処理として、第１及び第２の検出領域Ｒ１及びＲ２の画素数を間引く処理を行う。この場合、第２の検出領域Ｒ２に含まれる２つの領域のそれぞれは、画素数が例えば６４×６４ドットとなるように間引き処理がされる。
【００４６】
フィルタ処理部６１２３は、眼検出モードにおいては、第１の検出領域Ｒ１を取り出し、眼追跡モードにおいては、第２の検出領域Ｒ２を取り出し、取り出した第１の検出領域Ｒ１及び第２の検出領域Ｒ２に対して瞳を抽出するための瞳抽出フィルタと、眼の輪郭を抽出するための眼輪郭抽出フィルタとを用いて、瞳及び眼の輪郭の画像を抽出する。図５は、瞳抽出フィルタを示したグラフであり、図６は、目輪郭抽出フィルタを示したグラフである。図５及び図６において、縦軸は顔画像のｙ座標に対応する座標であり、横軸はフィルタ値を示す座標である。
【００４７】
瞳抽出フィルタｈｐ（ｙ）は、式（１）のように表される。
【００４８】
【数１】
2004030007.tif 000003
【００４９】
ここで、式（１）において、ｙは、顔画像のｙ方向の任意の位置を示す変数であり、Ｔｐは定数であり、その値は一般人の平均的な瞳の半径とほぼ同じ値である。顔画像中の眼、特に瞳の部分は周囲の肌色領域及び白眼領域よりも相対的に暗い。そこで、瞳抽出フィルタｈｐ（ｙ）として、図５に示す横軸の値が０に近づくにつれてフィルタ値が０に近づき、原点から横軸に対して定数Ｔｐ及び−Ｔｐに近づくにつれてフィルタ値が１に近づくような、瞳の抽出に適した１次元の関数が採用されている。
【００５０】
眼輪郭抽出フィルタｈｃ（ｙ）は、式（２）のように表される。
【００５１】
【数２】
2004030007.tif 000004
【００５２】
式（２）は、式（１）とほぼ同じ式であるが、定数Ｔｃの大きさが式（１）の定数Ｔｐの大きさと異なる。すなわち、眼輪郭抽出フィルタｈｃ（ｙ）は、周囲の肌色の画像に対して相対的に暗い曲線状の眼の輪郭が適切に抽出されるように、すなわち、暗くかつ細いライン状の領域を抽出することができるように定数Ｔｃの値が設定されている。そのため、定数Ｔｃは定数Ｔｐよりも小さい値（Ｔｃ＜Ｔｐ）が設定されている。
【００５３】
フィルタ処理部６１２３は、第１及び第２の検出領域Ｒ１及びＲ２内の画像のｙ方向の１ライン分の画像ｆ（ｙ）に対して瞳抽出フィルタｈｐ（ｙ）を用いて式（３）に示す畳み込み積分を施した後、更にｘ方向に隣接する次のｙ方向の１ライン分の画像ｆ（ｙ）に対して瞳抽出フィルタｈｐ（ｙ）を用いた畳み込み積分を施すというように、第１及び第２の検出領域Ｒ１及びＲ２内のｙ方向の画像ｆ（ｙ）に対して瞳抽出フィルタｈｐ（ｙ）を用いた畳み込み積分を順番に施していき瞳画像を抽出する。
【００５４】
【数３】
2004030007.tif 000005
【００５５】
さらに、フィルタ処理部６１２３は、式（４）に示すように、ｙ方向の１ライン分の画像ｆ（ｙ）に対して、眼輪郭抽出フィルタｈｃ（ｙ）を用いた畳み込み積分を順番に施していき、眼の輪郭画像を抽出する。そして、抽出した瞳画像と眼の輪郭画像とを合成し、眼の画像を抽出する。
【００５６】
ここで、フィルタ処理部６１２３は、第１及び第２の検出領域Ｒ１及びＲ２の画像に対して、１次元のフィルタ処理を施しているが、画像取得部１００は、眼の中心と口の中心とを結ぶ直線がｙ方向となるように顔画像を取得しているため、眼の輪郭線は多くの部分がｘ方向とほぼ平行に現れることとなり、ｙ方向の１ライン分の画像ｆ（ｙ）に対して眼輪郭抽出フィルタｈｃ（ｙ）を用いた畳み込み積分を施せば、眼の輪郭画像を抽出することができる。その結果、計算量の多い２次元のフィルタ処理を施さなくとも、１次元のフィルタ処理により眼の輪郭画像を抽出することができる。
【００５７】
面積算出部６１２４は、フィルタ処理部６１２３によってフィルタ処理が施された第１及び第２の検出領域Ｒ１及びＲ２の画像に対して２値化処理を施す。上述したようにフィルタ処理部６１２３は、第１及び第２の検出領域Ｒ１及びＲ２に対して、眼輪郭抽出フィルタｈｃ（ｙ）及び瞳抽出フィルタｈｐ（ｙ）を用いて、眼の画像を抽出しているが、これらのフィルタは、肌色に対して相対的に暗い画素を抽出する特性を有しているため、眉、鼻の脇及び眼の下のくまなども検出する場合がある。そのため、フィルタ処理部６１２３は、複数の眼の候補画像を抽出することとなる。そこで、面積算出部６１２４は、画像判定部６１２５が面積を基に、眼の画像を判定することができるように、２値化処理を施した後、各候補画像のそれぞれをラベリングし、各候補画像のドット数をカウントすることにより各候補画像の面積を算出する。
【００５８】
画像判定部６１２５は、面積算出部６１２４が算出した各候補画像のうち、面積の大きな２つ候補画像を眼の画像として判断し、複数の候補画像の中から眼の画像を特定する。ただし、面積の比較だけでは、眉を示す候補画像も大きな面積を有しているため、誤ってこの画像を眼の画像として特定する場合がある。そこで、画像判定部６１２５は、ｙ方向の上下に面積の大きな２つの候補画像を検出した場合、上側の候補画像を眉の画像として排除し、下側の画像を眼の画像として特定する。
【００５９】
位置特定部６１３は、画像判定部６１２５が特定した両眼の画像のそれぞれの重心を算出し、両眼のそれぞれの位置を特定する。位置特定部６１３は、眼の中心を算出するにあたり、例えば眼の画像に外接する四角形を当てはめこの四角形の２本の対角線の交点を眼の重心として算出する。
【００６０】
予測位置算出部６１４は、位置特定部６１３が過去フレームにおいて検出した両眼のそれぞれの位置をもとに眼の移動速度及び移動加速度を算出し、算出した移動速度及び移動加速度からテイラー展開にしたがって現フレームの眼の予測位置を算出する。現フレーム対して１つ前のフレームにおける眼の位置をｘ（ｔ）、ｙ（ｔ）とすると眼の移動速度はｘ（ｔ）及びｙ（ｔ）の１階微分ｘ’（ｔ）及びｙ’（ｔ）で表され、眼の移動加速度はｘ（ｔ）、ｙ（ｔ）の２階微分ｘ’’（ｔ）、ｙ’’（ｔ）で表される（ただし、ｔは時間を表す変数）。したがって、各フレームの時間間隔をΔｔとすると予測位置ｘ（ｔ＋Δｔ）、ｙ（ｔ＋Δｔ）は、式（５）で示すように、２次の項までのテイラー展開を行った式で表すことができる。
【００６１】
【数４】
2004030007.tif 000006
【００６２】
判断部６１５は、位置特定部６１３が特定した現フレームの眼の位置と、予測位置算出部６１４が算出した現フレームの眼の予測位置との差ｄを求め、この差ｄを基に、予め定められた信頼度関数を用いて信頼度を算出し、位置特定部６１３が特定した眼の位置の正確性を判断する。信頼度関数は、図７に示すような例えばｅｘｐ（−ｄ２）で表される関数であり、差ｄが０に近づくにつれて信頼度が高くなり、差が大きくなるにつれて信頼度が低くなるような関数である。さらに、判断部６１５は、信頼度が例えば所定の値以上であれば、位置特定部６１３が検出した眼の位置を正しい眼の位置として採用し、信頼度が所定の値以下であれば、位置特定部６１３が眼の位置を誤検出したとして、その位置を眼の位置として採用しない。なお、信頼度関数は、指数関数に限定されず、例えば二次関数や１次関数などでもよい。
【００６３】
濃淡画像変換部６１６は、画像取得部１００が取得した顔画像のＲ（赤）、Ｇ（緑）及びＢ（青）色の成分に対してそれぞれ異なる所定の重みづけを施して合成することにより、その顔画像を輝度成分のみを表す濃淡画像に変換し、画像メモリ２００に記憶させる。上記検出領域設定部６１１〜判断部６１５は、この濃淡画像に対して種々の処理を行う。
【００６４】
次に、位置検出部６１０が行う眼位置検出モードの処理ついて図８に示すフローチャートに従って説明する。
【００６５】
まず、画像取得部１００によって、顔画像の１枚目のフレームが取得される（ステップＳ１０１）。次いで、濃淡画像変換部６１６により、画像取得部１００が取得した顔画像が濃淡画像に変換される（ステップＳ１０２）。次いで、検出領域設定部６１１により、顔画像上に第１の検出領域Ｒ１が設定される（図３参照）（ステップＳ１０３）。次いで、濃度補正部６１２１によって、第１の検出領域Ｒ１の濃度値ヒストグラムが平坦化される（ステップＳ１０４）。
【００６６】
次いで、サブサンプリング部６１２２により、フィルタ処理部６１２３の計算量の低下させるために、第１の検出領域Ｒ１の画像に対して間引き処理が施される（ステップＳ１０５）。
【００６７】
次いで、フィルタ処理部６１２３により、顔画像から第１の検出領域Ｒ１が取り出され、取り出された第１の検出領域Ｒ１に対して、瞳抽出フィルタｈｐ（ｔ）を用いたフィルタ処理が施され（ステップＳ１０６）瞳の画像が抽出される。この場合、図９（ａ）で示すような瞳の画像が抽出される。次いで、フィルタ処理部６１２３により、再度、顔画像から第１の検出領域Ｒ１が取り出され、取り出した第１の検出領域Ｒ１の画像に対して、眼輪郭抽出フィルタｈｃ（ｔ）を用いたフィルタ処理が施され、眼の輪郭の画像が抽出される（ステップＳ１０７）。この場合、図９（ｂ）で示すような眼の輪郭の画像が抽出される。次いで、フィルタ処理部６１２３により、ステップＳ１０６で抽出された瞳の画像とステップＳ１０７で抽出された眼の輪郭との画像が合成され、眼の画像が抽出される（ステップＳ１０８）。この場合、図９（ｃ）で示すような瞳及び眼の輪郭が合成された眼の画像が抽出される。なお、実際には、ステップＳ１０８の段階において、眼以外の複数の眼の候補画像が含まれているが、図９（ａ）〜（ｃ）においては、これら眼以外の眼の候補画像を省略している。
【００６８】
次いで、面積算出部６１２４により、フィルタ処理部６１２３がフィルタ処理した第１の検出領域Ｒ１に対して、２値化処理が施され、複数の眼の候補画像がラベリングされ（ステップＳ１０９）、ドット数に基づいて各候補画像の面積が算出される。次いで、画像判定部６１２５によって、複数の眼の候補画像の中から２つの面積の大きな候補画像が抽出可能な場合（ステップＳ１１０でＹＥＳ）、この候補画像が両眼の画像として判定され、ステップＳ１１１に進む。一方、ステップＳ１１０において、面積の大きな２つの領域を抽出することができない場合（ステップＳ１１０でＮＯ）、再処理を行うためステップＳ１０３に戻る。なお、画像判定部６１２５が、ｙ方向の上下に２つの面積の大きな領域を抽出した場合（すなわち、この場合、眼の候補画像としてふさわしい面積を有する眼の候補画像が少なくとも３つ存在する）、上側の画像は眉の画像として排除され、下側の画像が眼の画像として特定される。
【００６９】
次いで、位置特定部６１３によって、眼の画像の重心が算出され、その中心が眼の位置として検出される（ステップＳ１１１）。次いで、顔画像の次のフレームが取得される（ステップＳ１１２）。次いで、取得されたフレームが所定枚数目未満のフレームである場合（ステップＳ１１３でＮＯ）、ステップＳ１０２に戻る。一方、取得したフレームが所定枚数目のフレームである場合（ステップＳ１１３でＹＥＳ）、図１０に示すステップＳ２０１に進む。ここで、所定枚数目とは、眼追跡モードにおいて、眼の位置の移動速度及び移動加速度を算出することができる十分な枚数が該当する。したがって、眼の位置の移動速度及び加速度を算出するためには、少なくとも３枚のフレームが必要であるため、所定枚数目のフレームは少なくとも４枚目以降のフレームとなる。
【００７０】
次に、眼追跡モードにおける位置検出部６１０が行う処理について図１０に示すフローチャートに従って説明する。眼追跡モードは、眼検出モードのステップＳ１１３の処理に引き続いて行われる。
【００７１】
まず、図８に示すステップＳ１１２で取得されたフレームが濃淡画像に変換される（ステップＳ２０１）。次いで、検出領域設定部６１１により、過去のフレームで検出された眼の位置に基づいて、図３に示すように現フレーム上に第２の検出領域Ｒ２が設定される（ステップＳ２０２）。次いで、ステップＳ２０３〜ステップＳ２０８おいて、図８に示す眼検出モードのステップＳ１０４〜Ｓ１０９で行われた処理と同様の処理が、第２の検出領域Ｒ２に対して行われる。
【００７２】
次いで、予測位置算出部６１４により、現フレームの１つ前のフレームにおける眼の位置、過去のフレームの眼の位置から算出された眼の移動速度及び移動加速度を用いて、テイラー展開によって現フレームの眼の予測位置が算出される（ステップＳ２０９）。次いで、判断部６１５によって、位置特定部６１３が現フレーム上で検出した眼の位置と、ステップＳ２０９で算出された眼の予測位置との差ｄが算出され、算出された差ｄを基に信頼度が算出され、この信頼度が所定の閾値と比較され、位置特定部６１３が検出した眼の位置の正確性が判断される（ステップＳ２１０）。ここで、算出された信頼度が所定の閾値よりも大きい場合は、位置特定部６１３が特定した眼の位置は正しいものであるとして、（ステップＳ２１０でＹＥＳ）その位置が眼の位置として決定される（ステップＳ２１１）。一方、算出された信頼度が所定の閾値よりも小さい場合は、位置特定部６１３は眼の位置を誤って特定したとして、図８で示すステップＳ１０３に戻り、再度眼の検出処理が行われる（ステップＳ２１０でＮＯ）。この場合、表示部３００には、図３で示すように、位置特定部６１３が検出した眼の位置を示すマーカＩＭを被写体の顔の動きに追従するように、瞳の中心の位置に表示させてもよい。
【００７３】
次いで、画像取得部１００により、次のフレームが取得される（ステップＳ２１２）。次いで、最終フレームの処理が終了したか否かが判断され（ステップＳ２１３）、最終フレームの処理が終了済みである場合（ステップＳ２１３でＹＥＳ）、処理を終了する。最終フレームの処理が終了していない場合（ステップＳ２１３でＮＯ）、ステップＳ２０１に戻り、ステップＳ２１２で取得されたフレームについて引き続いて眼追跡モードの処理が施される。
【００７４】
（メークアップ処理）
次に、メークアップ処理について説明する。図１１は、アイメーク領域設定部６２１のブロック構成図を示している。
【００７５】
アイメーク領域設定部６２１は、ノイズ除去部６２１１と、エッジ検出部６２１２と、近似関数算出部６２１３と、制御点作成部６２１４と、境界線算出部６２１５とを備えている。
【００７６】
ノイズ除去部６２１２は、検出領域設定部６１１が設定した第２の検出領域Ｒ２に対して、所定の周波数帯域の画像成分を通過させる空間周波数フィルタを用いて、不要な画像成分を除去する。第２の検出領域Ｒ２内には、眉間やこめかみ付近で周囲の肌色より暗い領域が存在するため、エッジ検出部６２１２は、これらの暗い領域を眼及び眉の輪郭線として誤って検出するおそれがある。そこで、ノイズ除去部６２１２は、空間周波数フィルタを用いて眼及び眉の輪郭を検出するうえで不要となる画像成分を除去している。空間周波数フィルタによるフィルタ処理方法としては、例えば離散フーリエ変換、離散コサイン変換あるいはウェーブレット変換などによるフィルタ処理方法を採用すればよい。
【００７７】
エッジ検出部６２１２は、位置特定部６１３で検出された両眼のそれぞれの位置を基に、ｙ方向上の眉及び眼の間の位置を第１の始点として設定し、第２の検出領域Ｒ２内の画像に対して、上方向（−ｙ方向）に向かって周囲の肌色よりも暗い画素の検出を所定の濃度閾値と比較することにより行い、検出した画素を眉の下側の輪郭線の画素（輪郭画素）とするとともに、下方向（＋ｙ方向）に向かって周囲の肌色よりも暗い画素の検出を、所定の濃度閾値と比較することにより行い、検出した画素を眼の上側の輪郭画素とする。エッジ検出部６２１２は、このような処理を第２の検出領域Ｒ２のｘ軸方向の一辺のほぼ真ん中の位置から左側（＋ｘ側）及び右側（−ｘ側）に向けてｙ方向の１ラインの画像を１つの処理単位として順番に施していく。このように、エッジ検出部６２１２は、眼及び眉の輪郭画素の検出を第２の検出領域のｘ方向の真ん中の位置から左右に分かれて行うため、濃度閾値より暗い画素が検出されなくなった位置が、目頭、目尻、眉頭及び眉尻の位置となる。
【００７８】
さらに、エッジ検出部６２１２は、位置特定部６１３で検出された両眼それぞれの位置を基に、眉の下側の輪郭画素及び眼の上側の輪郭画素を検出する場合と同様にして、眉の上側（ｘ軸側）の所定の位置を第２の始点として、下方向（＋ｙ方向）に向かって周囲の肌色よりも暗い画素の検出を行い、検出した画素を眉の上側の輪郭画素とする。
【００７９】
さらに、エッジ検出部６２１２は、位置特定部６１３で検出された両眼それぞれの位置を基に、眼の下側の所定の位置を第３の始点として、眉の上側の輪郭画素を検出する場合と同様にして、上方向（−ｙ方向）に向かって周囲の肌色よりも暗い画素の検出を行い、検出した画素を眼の下側の輪郭画素とする。
【００８０】
近似関数算出部６２１３は、エッジ検出部６２１２が検出した眉の上端画素の配列を基に、例えば最小二乗法を用いて眉の上側の輪郭を表す近似関数を算出する。さらに近似関数算出部６２１３は、眉の下側の輪郭画素、眼の上側の輪郭画素及び眼の下側の輪郭画素に関しても、画素の配列を基に、最小二乗近似法を用いて眉の下側の輪郭、眼の上側の輪郭及び眼の下側の輪郭を表す近似関数をそれぞれ算出する。ここで、高次の近似関数を用いて輪郭線を表すと、輪郭線の形状が不自然になるため、近似関数としては低次の関数、例えば二次関数を用いることが好ましい。
【００８１】
制御点作成部６２１４は、エッジ検出部６２１２が検出した眉尻、眉頭、目尻及び目頭の画素をｙ方向に平行移動し、これらの画素を線形補間することにより、アイメーク領域を設定するための複数の制御点を作成する。さらに、制御点作成部６２１４は、制御点の作成をするにあたり、化粧パターン記憶部４００に記憶されている複数のアイメークパターンの中からユーザーによって選択されたアイメークパターンにしたがって、制御点を作成する。
【００８２】
境界線算出部６２１５は、制御点作成部６２１４によって作成された複数の制御点のうち、いくつかの制御点を通過するという拘束条件を用いて、アイメーク領域の境界線を表す近似関数を算出する。この近似関数と眼の輪郭線とによって囲まれた領域がアイメーク領域となる。ここで、近似関数は、ｘ座標を変数とする１変数の関数となる。そのため、アイメーク領域内にある画素の判定は、境界線を表す近似関数と眼の上側の輪郭線を表す近似関数とを比較することにより容易に行うことができる。また、アイメーク領域を近似関数により特定することができるため、アイメーク領域境界の画素を容易に特定することができ、境界線付近で、アイメークの色を連続的に変化させることも可能となる。
【００８３】
次に、図１２に示すフローチャートに従って、アイメーク領域設定部６２１が１枚のフレームに対して行う処理について説明する。なお、このフレームは予め、図４に示す濃淡画像変換部６１６で濃淡画像に変換され、検出領域設定部６１１によって第２の検出領域Ｒ２が設定されているものとする。また、第２の検出領域Ｒ２が特定されるまでは、アイメーク領域設定部６２１は、第１の検出領域Ｒ１に対して以下に示す処理を行う。
【００８４】
まず、ノイズ除去部６２１１により、第２の検出領域Ｒ２に対して空間周波数フィルタを用いたフィルタ処理が施される（ステップＳ３０１）。これにより、エッジ検出部６２１２が眼及び眉の輪郭画素を検出するうえで不要となるノイズ成分が除去される。
【００８５】
次いで、エッジ検出部６２１２により、図１３に示すように、第１の始点Ｓ１から上側及び下側のそれぞれの方向に向かって眼の上側の輪郭画素ＥＰ１及び眉の下側の輪郭画素ＭＰ２が検出される（ステップＳ３０２）。次いで、エッジ検出部６２１２により、第２の始点Ｓ２から下方向に眉の上側の輪郭画素ＭＰ１が検出されるとともに、第３の始点Ｓ３から上方向に向かって眼の下側の輪郭画素ＥＰ２が検出される（ステップＳ３０３）。
【００８６】
次いで、近似関数算出部６２１３によって、ステップＳ３０２で検出された眼の上側の輪郭画素ＥＰ１及び眉の下側の輪郭画素ＭＰ２の配列を基に、最小二乗法により眼の上側の輪郭線及び眉の下側の輪郭線を表す近似関数がそれぞれ算出されるとともに、ステップＳ３０３で検出された眉の上側の輪郭画素ＭＰ１及び眼の下側の輪郭画素ＥＰ２の配列を基に、最小二乗法により眉の上側の輪郭線及び眼の下側の輪郭線を表す近似関数がそれぞれ算出される（ステップＳ３０４）。
【００８７】
次いで、エッジ検出部６２１２によって、目頭、目尻、眉頭及び眉尻の画素が検出される（ステップＳ３０５）。次いで、制御点作成部６２１４によって、目頭、目尻、眉頭及び眉尻の画素を基に、制御点が作成される（ステップＳ３０６）。この場合、図１４に示すように、目頭ＥＴが制御点ＣＰとされ、眉尻ＭＥは、例えば＋ｙ方向の位置ＭＥ’まで移動され制御点ＣＰとされる。さらに、瞳の上端の点ＨＴは−ｙ方向の位置ＨＴ’まで移動され、制御点ＣＰとされる。そして、これらの制御点ＣＰのうちいくつかの制御点ＣＰが線形補間されて新たな制御点ＣＰ’が作成される。
【００８８】
次いで、図１２に示すステップＳ３０７において、境界線算出部６２１５によって、制御点ＣＰ及びＣＰ’を基に、アイメーク領域の境界線を表す近似関数ＥＬ１が算出される（ステップＳ３０７）。この場合、図１４に示すように、近似関数ＥＬ１及び眼の輪郭ＥＬ２に囲まれた領域がアイメーク領域ＥＭＲとなる。
【００８９】
さらにこの場合、表示部３００に表示された図１５に示す画面図を用いてオペレータが選択したアイメークパターンの形に、アイメーク領域ＥＭＲの形が一致するように制御点ＣＰ及びＣＰ’を作成してもよい。図１５に示す画面図には、複数のアイメークパターンを一覧表示するアイメークパターン一覧表示部ＰＲと、顔を動画像で表示する顔画像表示部ＦＲと、アイメーク領域ＥＭＲに施す複数のアイカラーパターンを一覧表示するアイカラーパターン表示部ＣＲとが表示されている。この一覧画像は、一覧画像作成部７００が、化粧パターン記憶部４００及びカラーパターン記憶部５００に記憶されているアイメークパターン及びアイカラーパターンを、顔画像と合成することにより作成される。オペレータは、この一覧画像上で目的とするアイメークパターン及びアイカラーパターンにマウスポインタを合わせクリックすると、顔画像表示部ＦＲに表示された顔画像にそのアイメークパターン及びアイカラーパターンが施される。
【００９０】
次いで、メークアップ処理部６３０によって、アイメーク領域内ＥＭＲに、ユーザーによって選択されたアイカラーパターンが着色される（ステップＳ３０８）。以上の処理により、顔画像にアイメーク処理が施される。なお、ステップＳ３０１〜ステップＳ３０８までの処理は、各フレームに対して行われるため、動画像に対するアイメーク処理が行われることとなる。
【００９１】
次に、図１６にしたがってリップメーク領域設定部６２２の説明を行う。リップメーク領域設定部６２２は、上唇の輪郭線の検出と下唇の輪郭線の検出とをそれぞれ個別に行う。
【００９２】
リップメーク領域設定部６２２は、Ｒ−Ｇ画像変換部６２２１と、濃淡画像変換部６２２２と、唇検出領域設定部６２２３と、フィルタ処理部６２２４と、面積算出部６２２５と、下唇画像特定部６２２６と、下唇輪郭検出部６２２７と、上唇画像特定部６２２８と、上唇輪郭検出部６２２９と、近似関数算出部６２３０と、輪郭補正部６２３１とを備える。
【００９３】
６２２１は、下唇の輪郭を検出するために用いられ、顔画像からＲ（赤色）成分とＧ（緑色）成分とを抽出し、Ｒ成分からＧ成分を差し引いた差分（Ｒ−Ｇ）成分を算出し、顔画像を差分（Ｒ−Ｇ）画像に変換する。なお、この場合、Ｒ−Ｇ画像変換部６２２１は、顔画像から抽出したＲ成分とＧ成分との比率（Ｒ／Ｇ）成分を算出し、顔画像を比率（Ｒ／Ｇ）成分に変換してもよい。
【００９４】
濃淡画像変換部６２２２は、上唇の輪郭を検出をするために用いられ、顔画像に含まれるＲ、Ｇ及びＢの成分を合成して、輝度のみを表す濃淡画像に顔画像を変換する。
【００９５】
唇検出領域設定部６２２３は、位置特定部６１３が特定した眼の位置を基準として、唇を含む所定の領域を、上唇及び下唇を検出するための唇検出領域として設定する。図１７に示すように、唇検出領域設定部６２２３は、唇検出領域を設定するにあたり、一般的な人間の眼の位置ＥＰに対する口の重心の平均的な位置ＲＧを重心Ｒ３Ｇとするｘ方向に長尺な長方形状の領域を唇検出領域Ｒ３として設定する。
【００９６】
フィルタ処理部６２２４は、唇検出領域Ｒ３に対して、所定の周波数帯域のみを抽出する空間周波数フィルタを施して、上唇及び下唇を検出するにあたり不要な画像を除去する。
【００９７】
面積算出部６２２５は、唇検出領域Ｒ３を２値化処理して、下唇の複数の候補画像を抽出し、各候補画像のそれぞれをラベリングし、下唇の各候補画像のそれぞれに含まれるドット数をカウントすることにより下唇の候補画像の面積を算出する。
【００９８】
下唇画像特定部６２２６は、複数の下唇の候補画像の中から面積が最大のものを下唇の画像として特定する。
【００９９】
下唇輪郭検出部６２２７は、下唇画像特定部６２２６が判定した下唇の画像の下側の点を第４の始点として、−ｙ方向に赤色の画素の検出を行い、検出した画素を下唇の下側の輪郭画素とする。下唇輪郭検出部６２２７は、このような処理を、唇検出領域Ｒ３において、ｙ方向の１ラインを１つの処理単位として、第４の始点をｘ方向にずらしながら、順次下唇の下側の輪郭画素を検出する。
【０１００】
上唇画像特定部６２２８は、図１７に示すように、下唇画像特定部６２２６が判定した下唇画像の重心ＭＧを重心Ｒ３Ｇとする楕円領域Ｒ４（上唇検出用領域）を、唇検出領域Ｒ３内に設定し、唇検出領域Ｒ３の領域内にあって、楕円領域Ｒ４領域外にある画像を除去し、唇検出領域Ｒ３内に残存する画像を上唇の画像として特定する。
【０１０１】
上唇輪郭検出部６２２９は、上唇画像特定部６２２８が特定した上唇の画像よりも上側の所定の位置を第５の始点として、＋ｙ方向に所定の濃度閾値よりも暗い（輝度の低い）画素の検出を行い、検出した画素を上唇の上側の輪郭画素とする。上唇輪郭検出部６２２９は、このような処理を、唇検出領域Ｒ３において、ｙ方向の１ラインを１つの処理単位として第５の始点をｘ方向にずらしながら、順次上唇の輪郭画素を検出していく。
【０１０２】
近似関数算出部６２３０は、上唇の輪郭画素の配列を基に、最小二乗近似法により、上唇の上側の輪郭線を表す近似関数を算出する。上唇の左右方向の中間の上側の輪郭は、切り込んだ部分があるため、１つの近似関数により上唇の輪郭を表すことは困難である。そのため、近似関数算出部６２３０は、左右の２つの領域に分けて区分的に近似関数を算出している。ここで、自然な輪郭を表現するためには、近似関数としては低次の関数、例えば二次関数を用いることが好ましい。
【０１０３】
輪郭補正部６２３１は、近似関数算出部６２３０が算出した、上唇の上側の輪郭線を表す近似関数及び下唇の下側の輪郭を表す近似関数が、オペレータによって選択されたリップメークパターンの形状となるように、近似関数の補正を行う。ここで、輪郭補正部６２３１は、唇の厚みを制御する場合は、上唇及び下唇の輪郭を表す近似関数を上下動させることにより制御することができる。さらに、唇の輪郭形状を変更する場合は、唇の輪郭を表す近似関数に対して、輪郭形状を変更するための補正成分を合成することにより、輪郭形状を変更することができる。ここで、輪郭形状を修正するための補正成分は、関数で表すことができるため、輪郭形状の変更は容易に行うことができる。
【０１０４】
さらに、輪郭補正部６２３１は、唇の上側の輪郭線と下側の輪郭線で囲まれる領域（唇領域）から、この唇領域に含まれる歯及び口腔の領域を検出して取り除き、リップメーク領域を設定する。この場合、輪郭補正部６２３１は、唇領域内部の白い画素及び黒い画素を検出することにより歯及び口腔の領域を検出する。
【０１０５】
次に図１８に示すフローチャートにしたがって、リップメーク領域設定部６２２が１枚のフレームに対して行う下唇の輪郭を検出する処理について説明する。
【０１０６】
まず、Ｒ−Ｇ画像変換部６２２１によって、顔画像からＲ−Ｇ成分のみが抽出され、顔画像がＲ−Ｇ画像に変換される（ステップＳ４０１）。次いで、唇検出領域設定部６２２３によって、眼の位置を基準として、顔画像に唇検出領域Ｒ３が設定される（ステップＳ４０２）。次いで、フィルタ処理部６２２４により、唇検出領域Ｒ３の画像に空間周波数フィルタによるフィルタ処理が施され（ステップＳ４０３）、ノイズ成分が除去される。
【０１０７】
次いで、面積算出部６２２５により、唇検出領域Ｒ３の画像が２値化される（ステップＳ４０３）。この場合、唇検出領域Ｒ３には、複数の下唇の候補画像が含まれている。次いで、面積算出部６２２５により、各下唇の候補画像のドット数を基に、下唇の候補画像の面積が算出される（ステップＳ４０５）。次いで、下唇画像特定部６２２６によって、下唇の候補画像のうち最も面積が大きな下唇の候補画像が下唇の画像として特定される（ステップＳ４０６）。
【０１０８】
次いで、下唇輪郭検出部６２２７により、図１９に示すように、第４の始点Ｓ４を始点として、−ｙ方向に赤色の画素が検出され、検出された画素が、下唇の下側の輪郭画素ＰＲ２とされる（ステップＳ４０７）。
【０１０９】
次いで、近似関数算出部６２３０により、下唇の下側の輪郭画素の配列を基に、下唇の下側の輪郭を表す近似関数が算出される（ステップＳ４０８）。
【０１１０】
次に、図２０に示すフローチャートにしたがって、リップメーク領域設定部６２２が、１枚のフレームに対して行う上唇の輪郭を検出する処理について説明する。
【０１１１】
まず、濃淡画像変換部６２２２によって、顔画像が濃淡画像に変換される（ステップＳ５０１）。次いで、唇検出領域設定部６２２３によって、眼の位置を基準として、顔画像に唇検出領域Ｒ３が設定される（ステップＳ５０２）。次いで、フィルタ処理部６２２４により、唇検出領域Ｒ３の画像に空間周波数フィルタを用いたフィルタ処理が施される（ステップＳ５０３）。これにより、ノイズ成分が除去される。次いで、上唇画像特定部６２２８によって、下唇画像特定部６２２６が算出した、下唇の重心を重心とする楕円領域Ｒ４が、唇検出領域Ｒ３内に設定され、上唇の画像が特定される（ステップＳ５０４）。
【０１１２】
次いで、上唇輪郭検出部６２２９により、図１９に示すように、上唇の上側の第５の始点Ｓ５を始点として＋ｙ方向に、所定の濃度閾値よりも暗い画素の検出が行われ、検出された暗い画素が、上唇の上側の輪郭画素ＲＰ１とされる（ステップＳ５０５）。次いで、上唇輪郭検出部６２２９により、輪郭画素ＲＰ１の配列を基に、上唇の上側の輪郭線を表す近似関数が最小二乗法によって算出される（ステップＳ５０６）。次いで、輪郭補正部６２３１により、図１８のステップ４０８で算出された下唇の輪郭線とステップＳ５０６で算出された上唇の輪郭線とで囲まれる唇領域内において、歯及び口腔の画像が検出除去される（ステップＳ５０７）。これにより、リップメーク領域が設定される。
【０１１３】
リップメーク領域設定部６２２は、このような処理を各フレームに対して行うため、顔の表情に追従するリップメーク領域の設定が可能となる。
【０１１４】
次に、メークアップ処理部６３０について説明する。図２１は、メークアップ処理部６３０のブロック構成図を示している。メークアップ処理部６３０は、着色部６３１と、ハイライト処理部６３２と、ラメ処理部６３３とを備えている。
【０１１５】
着色部６３１は、リップメーク領域設定部６２２が設定した、リップメーク領域に対して、オペレータにより選択されたリップカラーパターンを着色する。なお、着色部６３１は、オペレータによりリップカラーパターンが選択されていない場合は、予め定められたリップカラーパターンをリップメーク領域に着色する。ここで、着色部６３１がリップメーク領域にリップカラーパターンを着色するにあたり、特願２００１−２３０５２８の技術を用いてカラーパターンを着色する。
【０１１６】
ハイライト処理部６３２は、下唇の光沢を表すためのハイライト処理を行う。この場合、ハイライト処理部６３２は、ハイライト唇領域の下側の輪郭線を−ｙ方向に平行移動することによって、ハイライト領域の中心線を定め、この中心線に近づくにつれて画素の輝度値を上げることによりハイライト処理を行う。これにより、下唇の光沢がよりリアルに表現されることとなる。
【０１１７】
ラメ処理部６３３は、唇にラメ状の光沢粒子が含まれたリップスティックを塗った場合の視覚効果を表現するラメ処理を行う。
【０１１８】
次に、メークアップ処理部６３０が１毎のフレームに対して行うリップメーク処理について、図２２に示すフローチャートに従って説明する。
【０１１９】
まず、輪郭補正部６２３１により、オペレータによって選択されたリップメークパターンに基づいて、唇領域の上側及び下側の輪郭線が補正される（ステップＳ６０１）。これによりリップメーク領域の形状が、リップメークパターンの形状と一致する。この場合、表示部３００には、図２３で示すような、リップメークパターンを選択するための画面が表示され、オペレータは、この画面を操作することにより、化粧パターンを選択することができる。この画面には、リップメークパターンの一覧を示するリップメーク一覧表示エリアＡＡ、顔画像を動画表示する顔画像表示エリアＢＡ及びリップメーク領域に着色する色の一覧を表示するカラーパレット表示エリアＣＡなどから構成されている。リップメーク一覧表示エリアＡＡには、複数（例えば６つ）のリップメークパターンＲＰが表示されている。オペレータは、マウスポインタをリップメークパターンＲＰのいずれかに合わせてクリックすると、そのリップメークパターンが顔画像表示エリアＢＡに表示された顔画像に施される。
【０１２０】
次いで、メークアップ処理部６３０により、オペレータによって選択されたリップカラーが、リップメーク領域に着色される（ステップＳ６０２）。この場合、オペレータは、図２３に示す画面において、カラーパレット表示エリアＣＡに表示されている複数のカラーパレットＩＰのいずれか１つにマウスポインタを合わせてクリックすると、そのカラーパレットＩＰに表示された色が、顔画像のリップメーク領域に着色される。
【０１２１】
次いで、ハイライト処理部６３２により、ハイライト処理が施される（ステップＳ６０３）。この場合、図１９に示すように、下唇領域には、ハイライト領域の中心線ＨＣＬを中心として、下唇の各画素の輝度値が調節され、下唇のハイライトが表現される。
【０１２２】
次いで、ラメ処理部６３３により、リップメーク領域にラメ処理が施される場合（ステップＳ６０４でＹＥＳ）、ステップＳ６０５に進む。一方、ラメ処理部６３３により、リップメーク領域にラメ処理が施されない場合、（ステップＳ６０４でＮＯ）処理を終了する。
【０１２３】
次いで、ラメ処理部６３３により、リップメーク領域内でラメ処理を行う画素がランダムに抽出される（ステップＳ６０５）。次いで、ラメ処理部６３３により、抽出された画素の輝度が高く設定され、ラメによって唇に生じる光沢が表現される（ステップＳ６０６）。
【０１２４】
メークアップ処理部６３０は、このような処理を各フレームに対して行うため、顔画像の動きに追従するリップメーク処理が可能となる。
【０１２５】
なお、本発明は、以下の態様をとることができる。
【０１２６】
（１）上記実施形態では、画像取得部１００は、被写体の顔の頭部が上側となるように顔画像を取得したが、これに限定されず、例えば顔の頭部が下側あるいは斜め上側に傾くように顔画像を取得してもよい。この場合、眼の中心と口の中心とを結ぶ直線と平行な方向であって、頭部側を上側とし、口側を下側とすればよい。さらに、この場合、上唇画像特定部６２２８が唇検出領域Ｒ３内に楕円領域Ｒ４を設定する場合、楕円の短軸が、眼の中心と口の重心ＲＧとを結ぶ直線上に重なるように、楕円領域Ｒ４を設定すればよい。
【０１２７】
（２）上記実施形態では、近似関数算出部６２１３は、最小二乗法により輪郭線を表す近似関数を算出しているが、これに限定されず、スプライン処理などによって、近似関数を算出してもよい。ただし、なめらかな輪郭線を得るためには、最小二乗法で算出された近似関数が好ましい。
【０１２８】
（３）上記実施形態では説明しなかったが、化粧領域設定部は、眼及び口以外の例えば頬などに化粧領域を設定し、メークアップ処理部６３０は、この化粧領域に色を着色することによりメークアップ処理を行ってもよい。ここで、メークアップ処理部６３０が、化粧領域に色を着色するにあたり、特願２００１−２３０５２８の技術を用いて着色する。
【０１２９】
（４）本化粧シミュレーションプログラムを半導体集積回路により構成し、例えばビデオカメラに内蔵してもよい。
【０１３０】
【発明の効果】
以上説明したように、本発明に係る化粧シミュレーション装置によれば、動画像に対して化粧シミュレーションを行うことができる。さらに、その位置を正確に検出することができる眼の位置に基づいて化粧領域を設定しているため、化粧領域の位置がフレーム間でずれることなく、化粧シミュレーションのリアル性を増すことができる。
【図面の簡単な説明】
【図１】本発明に係る化粧シミュレーション装置の概略構成を示した図である。
【図２】本発明に係る化粧シミュレーション装置のブロック構成図である。
【図３】顔画像の一例を示した図である。
【図４】位置検出部のブロック構成図である。
【図５】瞳抽出フィルタを示したグラフである。
【図６】目輪郭抽出フィルタを示したグラフである。
【図７】信頼度関数の一例を示したグラフである。
【図８】位置検出部が行う眼位置検出モードの処理を示すフローチャートである。
【図９】眼の画像が抽出される様子を説明するための図である。
【図１０】眼追跡モードにおける位置検出部が行う処理を示すフローチャートである。
【図１１】アイメーク領域設定部のブロック構成図である。
【図１２】アイメーク領域設定部が１枚のフレームに対して行う処理を示したフローチャートである。
【図１３】眼及び眉の輪郭画素が検出される様子を説明するための図である。
【図１４】アイメーク領域が設定される様子を説明するための図である。
【図１５】アイメークパターン及びアイラインパターンの一覧画像を示した図である。
【図１６】リップメーク設定部のブロック構成図を示している。
【図１７】唇検出領域が設定される様子を説明するための図である。
【図１８】リップメーク領域設定部が１枚のフレームに対して行う下唇の輪郭を検出する処理を示すフローチャートである。
【図１９】下唇の輪郭画素が検出される様子を説明するための図である。
【図２０】リップメーク領域設定部が、１枚のフレームに対して行う上唇の輪郭を検出する処理を示すフローチャートである。
【図２１】メークアップ処理部のブロック構成図である。
【図２２】メークアップ処理部が１毎のフレームに対して行う処理を示すフローチャートである。
【図２３】リップメークパターン及びリップカラーパターンの一覧画像を示した図である。
【符号の説明】
１００　画像取得部
２００　画像メモリ
３００　表示部
４００　化粧パターン記憶部
５００　カラーパターン記憶部
６００　プログラム実行部
６１０　位置検出部
６１１　検出領域設定部
６１２　画像抽出部
６１２１　濃度補正部
６１２２　サブサンプリング部
６１２３　フィルタ処理部
６１２４　面積算出部
６１２５　画像判定部
６１３　位置特定部
６１４　予測位置算出部
６１５　判断部
６１６　濃淡画像変換部
６２０　化粧領域設定部
６２１　アイメーク領域設定部
６２１１　ノイズ除去部
６２１２　エッジ検出部
６２１２　ノイズ除去部
６２１３　近似関数算出部
６２１４　制御点作成部
６２１５　　境界線算出部
６２２　リップメーク領域設定部
６２２１　Ｒ−Ｇ画像変換部
６２２２　濃淡画像変換部
６２２３　唇検出領域設定部
６２２４　フィルタ処理部
６２２５　面積算出部
６２２６　下唇画像特定部
６２２７　下唇輪郭検出部
６２２８　上唇画像特定部
６２２９　上唇輪郭検出部
６２３０　近似関数算出部
６２３１　輪郭補正部
６３０　メークアップ処理部
６３１　着色部
６３２　ハイライト処理部
６３３　ラメ処理部
７００　一覧画像作成部
【図１】
2004030007.tif 000007
【図２】
2004030007.tif 000008
【図３】
2004030007.tif 000009
【図４】
2004030007.tif 000010
【図５】
2004030007.tif 000011
【図６】
2004030007.tif 000012
【図７】
2004030007.tif 000013
【図８】
2004030007.tif 000014
【図９】
2004030007.tif 000015
【図１０】
2004030007.tif 000016
【図１１】
2004030007.tif 000017
【図１２】
2004030007.tif 000018
【図１３】
2004030007.tif 000019
【図１４】
2004030007.tif 000020
【図１５】
2004030007.tif 000021
【図１６】
2004030007.tif 000022
【図１７】
2004030007.tif 000023
【図１８】
2004030007.tif 000024
【図１９】
2004030007.tif 000025
【図２０】
2004030007.tif 000026
【図２１】
2004030007.tif 000027
【図２２】
2004030007.tif 000028
【図２３】
2004030007.tif 000029