(57)【特許請求の範囲】
【請求項１】
３原色の顔画像から唇領域を抽出する唇領域抽出手段と、
抽出された前記唇領域の代表的な色の画素の色相、彩度、明度の平均値を算出する平均値算出手段と、
塗り替えようとする目標口紅色と前記代表的な色の画素の平均値との色相、彩度、明度の差である塗り替え偏差を算出する塗り替え偏差算出手段と、
前記唇領域の各画素の色相、彩度、明度に前記塗り替え偏差の色相、彩度、明度を加算して新たな画素の色相、彩度、明度を算出する加算手段と、
前記唇領域の新たな画素の色相、彩度、明度を３原色に変換して表示用に用いる変換手段とを
有することを特徴とする口紅色変換システム。
【請求項２】
請求項１記載の口紅色変換システムにおいて、
前記加算手段に、前記唇領域の画素が肌色であるとき前記塗り替え偏差の色相、彩度、明度の加算を停止する肌色判別手段を
有することを特徴とする口紅色変換システム。
【請求項３】
請求項１または２記載の口紅色変換システムにおいて、
前記加算手段に、前記唇領域の画素がハイライトまたは影の部分であるとき前記塗り替え偏差の色相のみを加算して、彩度、明度の加算を停止するハイライト影判別手段を
有することを特徴とする口紅色変換システム。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は口紅色変換システムに係り、人の顔の画像上で唇の口紅の色を塗り替える口紅色変換システムに関する。
【０００２】
【従来の技術】
メーキャップによるイメージの演出法では、形の特徴や目に映ったときどのようにどの様な印象を受けるかを把握している。例えば、直線はシャープあるいは静的なイメージを演出させ、曲線はソフトあるいは動的なイメージを演出する。したがって、眉を直線的又は曲線的にメーキャップすることにより、それぞれ、シャープなイメージを演出したりソフトなイメージを演出したりすることができる。同様に、下降線を使用して落ちついたイメージを出したり、太い線を使用してたくましいイメージを演出することができる。これと同様に、例えば口紅の色を変えることにより、新たなイメージを演出することができる。
【０００３】
このようなメーキャップによるイメージ演出をコンピュータシステムの画像処理技術を用いて実現することが考えられている。従来のコンピュータシステムの画像処理技術でも、例えば顔画像の中で唇の部分の色を変化させることが可能である。従来のコンピュータシステムの画像処理技術では、元の顔画像の唇領域及び唇の色を指定し、更に、塗り替えようとする口紅の色を指定すると、指定された元の顔画像の唇領域の唇の色を指定された口紅の色に置き換えている。
【０００４】
【発明が解決しようとする課題】
しかし、従来のコンピュータシステムの画像処理技術では、元の顔画像の唇領域及び唇の色を指定し、更に、塗り替えようとする口紅の色を指定すると、指定された元の顔画像の唇領域の唇の色を指定された口紅の色に置き換えているだけであるため、塗り替え後の唇には、元の唇の自然な質感が失われ、唇領域の画像品質が劣化するという問題があった。
【０００５】
本発明は、上記の点に鑑みなされたもので、元の唇の自然な質感を失うことなく顔画像の口紅の色を塗り替えることができ、劣化のない顔画像を得ることのできる口紅色変換システムを提供することを目的とする。
【０００６】
【課題を解決するための手段】
請求項１に記載の発明は、３原色の顔画像から唇領域を抽出する唇領域抽出手段と、
抽出された前記唇領域の代表的な色の画素の色相、彩度、明度の平均値を算出する平均値算出手段と、
塗り替えようとする目標口紅色と前記代表的な色の画素の平均値との色相、彩度、明度の差である塗り替え偏差を算出する塗り替え偏差算出手段と、
前記唇領域の各画素の色相、彩度、明度に前記塗り替え偏差の色相、彩度、明度を加算して新たな画素の色相、彩度、明度を算出する加算手段と、
前記唇領域の新たな画素の色相、彩度、明度を３原色に変換して表示用に用いる変換手段とを有する。
【０００７】
このように、唇領域の代表的な色の画素の色相、彩度、明度の平均値を算出し、目標口紅色と代表的な色の画素の平均値との色相、彩度、明度の差である塗り替え偏差を算出し、唇領域の各画素の色相、彩度、明度に塗り替え偏差の色相、彩度、明度を加算して新たな画素の色相、彩度、明度を３原色に変換して表示するため、人の目の特性に近い色相、彩度、明度の形態で、かつ、画素単位で新たな画素の色が算出され、元の唇の自然な質感を失うことなく顔画像の口紅の色を塗り替えて、劣化のない顔画像を得ることができる。
【０００８】
請求項２に記載の発明は、請求項１記載の口紅色変換システムにおいて、
前記加算手段に、前記唇領域の画素が肌色であるとき前記塗り替え偏差の色相、彩度、明度の加算を停止する肌色判別手段を有する。
このように、唇領域の画素が肌色であるとき塗り替え偏差の色相、彩度、明度の加算を停止するため、唇領域と誤って抽出された肌色の画素の色が口紅の色に塗り替えられることを防止でき、劣化のない顔画像を得ることができる。
【０００９】
請求項３に記載の発明は、請求項１または２記載の口紅色変換システムにおいて、
前記加算手段に、前記唇領域の画素がハイライトまたは影の部分であるとき前記塗り替え偏差の色相のみを加算して、彩度、明度の加算を停止するハイライト影判別手段を有する。
【００１０】
このように、唇領域の画素がハイライトまたは影の部分であるとき塗り替え偏差の色相のみを加算して、彩度、明度の加算を停止するため、唇領域で光が当たっているハイライト部分や光の当たらない影の部分における光の影響を保持して口紅の色を表現することができる。
【００１１】
【発明の実施の形態】
図１は本発明の口紅色変換システムの一実施例のブロック図を示す。同図中、中央処理装置（ＣＰＵ）１０には、バス１５を介して入力装置２０、記憶装置３０、表示装置４０、印刷装置５０、通信装置６０それぞれが接続されている。入力装置２０としてはキーボード２１，マウス２２，デジタルカメラ２３等が設けられており、記憶装置３０としてはＲＡＭ３１、ＲＯＭ３２、ハードディスク装置３３、フレキシブルディスク装置３４等が設けられている。ＣＰＵ１０は記憶装置３０に記憶されている各種処理プログラムを実行し、その結果を記憶装置３０に記憶すると共に、表示装置４０に表示し、印刷装置５０で印刷して出力する。記憶装置３０には各種処理プログラムの他に、各種ライブラリも記憶されている。
【００１２】
図２は本発明の口紅色変換システムの一実施例のメインフローチャートを示す。同図中、ステップＳ１０で入力装置２０のデジタルカメラ２３で被験者の顔を撮影し、得られた顔画像を記憶装置３０のハードディスク装置３３に記憶する。次に、ステップＳ１２で上記の顔画像に対し顔位置認識処理を行う。この顔位置認識処理によって顔領域のラベリングが行われると共に、顔の輪郭の特徴点が抽出される。なお、顔画像は左上隅を原点として、横方向をＸ軸、縦方向をＹ軸とするＸＹ座標で位置を表す。顔画像の各画素は、３原色ＲＧＢの値を表している。
【００１３】
次に、ステップＳ１４で顔領域のエッジ画像作成処理が行われ、顔のエッジ画像（２値画像）が作成され、ステップＳ１６で上記エッジ画像をＹ軸に投影してエッジのヒストグラムを作成するＹ投影が行われる。この後、ステップＳ１８でＹ投影によるヒストグラムから顔の各部位、つまり、眉、目、鼻、口それぞれのＹ座標を検索する。ステップＳ２０では顔のエッジ画像における目及び鼻を含むＹ座標位置で、目及び鼻の特徴点及びこれに付随する特徴点を抽出する。また、ステップＳ２２では上記の口のＹ座標を用いて唇領域を抽出する。
【００１４】
この後、ステップＳ２４では、塗り替えようとする唇の色、即ち目標口紅色を指定する。この目標口紅色を指定はカウンセラー（オペレータ）によって行われ、色相、彩度、明度（ＨＳＶ）として与えられる。次に、ステップＳ２６で唇領域の色を目標口紅色に塗り替える口紅色変換が行われ、ステップＳ２８でこの変換結果の顔画像を表示装置４０にディスプレイ表示し、また印刷装置５０でプリントアウトして、処理を終了する。
【００１５】
図３及び図４はステップＳ２２で実行する唇領域抽出処理の一実施例のフローチャートを示す。図３において、ステップＳ３０では顔のエッジ画像における口を含むＹ座標位置が鼻の下端の特徴点のＹ座標より下方であるかどうかを判別し、口を含むＹ座標位置が鼻の下端の特徴点のＹ座標より下方でなければステップＳ３２で鼻の下端の特徴点のＹ座標より下方に修正する。また、ステップＳ３４で鼻の左右端の特徴点より大きめの範囲を口の範囲として仮設定し、この範囲の口のＹ座標領域の顔画像及び顔のエッジ画像を取得する。
【００１６】
次のステップＳ３６では鼻の下端から口のＹ座標領域の上端までＹ座標を変位させてループ処理を行い、このループ内のステップＳ３８で口の範囲の向かって左端から右端までＸ座標を変位させてループ処理を行い、このループ内のステップＳ４０で顔のエッジ画像からエッジの画素であるか否かを判別し、エッジの画素でなければ肌部分であるためステップＳ４２で顔画像から肌色情報を蓄積する。また、エッジの画素が最初に検出されたときステップＳ４４で検出した画素のＹ座標を唇の上端として記憶する。
【００１７】
次に、ステップＳ４６で蓄積している肌色情報の平均値を求める。この後、図４のステップＳ４８で口の領域の上端から下端までＹ座標を変位させてループ処理を行い、このループ内のステップＳ５０で口の範囲の向かって左端から右端までＸ座標を変位させてループ処理を行い、このループ内のステップＳ５２でこのＹ座標位置の１ラインでの肌色の画素の比率を算出する。そして、ステップＳ５４で肌色情報の平均値に対する各画素の色の偏差を求め、この偏差が閾値を超えたときに唇領域と判定して記憶する。
【００１８】
ステップＳ５６では唇の下端か否かを判別する。ここでは、そのラインでエッジの画素が検出されなかった、かつ、そのラインの肌色の画素の比率が所定値以上であるという条件を満足したとき、唇の下端と判別する。唇の下端が検出されると、ステップＳ５８で直前のラインにおけるエッジの画素のＸ座標とそのラインのＹ座標を唇の下端として記憶し、これにより、唇領域の抽出が終了する。
【００１９】
図５はステップＳ２６で実行する口紅色変換処理の一実施例のフローチャートを示す。図５において、ステップＳ６０では唇領域の顔画像の全画素の明度（Ｖ）の平均値及び標準偏差σを算出する。なお、各画素の明度（Ｖ）はＲＧＢの値から所定の演算式を用いて算出して保持しておく。次に、ステップＳ６２で唇領域の顔画像の全画素を順に検索し、ステップＳ６４で検索した画素の明度（Ｖ）が明度（Ｖ）の平均値±σの範囲にあるか否かを判別する。
【００２０】
この条件を満足する場合はその画素が唇領域の代表的な明度であるからステップＳ６６に進み、その画素のＲＧＢの値から所定の演算式を用いて彩度（Ｓ），色相（Ｈ）それぞれを算出して明度（Ｖ）と共に格納する。つまり、ＲＧＢ／ＨＳＶ変換を行う。更に、ステップＳ６８で唇領域の代表的な明度の画素について色相、彩度、明度（ＨＳＶ）の平均値を求め、このＨＳＶの平均値を元の唇色として保持する。
【００２１】
ここで、色相（Ｈ）、彩度（Ｓ）、明度（Ｖ）は、図６に示すように高さ方向の軸に明度（Ｖ）を取り、この軸に垂直に彩度（Ｓ）を取ると、色相（Ｈ）は彩度（Ｓ）の回転角として与えられ、加算混合の３原色ＲＧＢ及び減算混合の３原色Ｍｇ（マゼンタ）Ｃｙ（シアン）Ｙ（イエロー）それぞれは、図６に示すように表される。
【００２２】
次に、ステップＳ７０ではステップＳ２４で指定された目標口紅色（ＨＳＶ）に対する元の唇色（ＨＳＶ）の差を、塗り替え偏差（ＨＳＶ）として算出する。この後、再びステップＳ７２で唇領域の顔画像の全画素を順に検索し、ステップＳ７４で検索した画素が肌色か否かを判別する。これは、唇領域に肌色の部分が残っているおそれがあるためである。なお、肌色としてはステップＳ４６で蓄積している肌色情報の平均値を用いる。
【００２３】
ここで、検索した画素が肌色でない場合はＳ７６でその画素の明度（Ｖ）が第１の閾値以上の光が当たっているハイライト部分か、または第２の閾値以下の光の当たらない影の部分かを判別する。ハイライト部分または影の部分であれば、ステップＳ７８でその画素の色相（Ｈ）に塗り替え偏差の色相を加算して、色相だけを変更する。一方、ハイライト部分及び影の部分でなければ、その画素は元の唇色またはその近傍の色であるためステップＳ８０でその画素の色（ＨＳＶ）に塗り替え偏差（ＨＳＶ）を加算して、新たな色（ＨＳＶ）とする。これにより、唇領域で光が当たっているハイライト部分や光の当たらない影の部分における光の影響を保持して口紅の色を表現することが可能となる。
【００２４】
この後、ステップＳ８２でメディアンフィルタ処理等によってノイズ除去を行う。これは、唇領域を塗り替えたときに生じたノイズを除去するためである。次のステップＳ８４で唇領域の顔画像の全画素の色相、彩度、明度（ＨＳＶ）を３原色ＲＧＢの値に変換して処理を終了する。
このように、唇領域の代表的な色の画素の色相、彩度、明度の平均値を算出し、目標口紅色と代表的な色の画素の平均値との色相、彩度、明度の差である塗り替え偏差を算出し、唇領域の各画素の色相、彩度、明度に塗り替え偏差の色相、彩度、明度を加算して新たな画素の色相、彩度、明度を３原色に変換して表示するため、人の目の特性に近い色相、彩度、明度の形態で、かつ、画素単位で新たな画素の色が算出され、元の唇の自然な質感を失うことなく顔画像の口紅の色を塗り替えて、劣化のない顔画像を得ることができる。
【００２５】
また、唇領域の画素が肌色であるとき塗り替え偏差の色相、彩度、明度の加算を停止するため、唇領域と誤って抽出された肌色の画素の色が口紅の色に塗り替えられることを防止でき、また、唇領域の画素がハイライトまたは影の部分であるとき塗り替え偏差の色相のみを加算して、彩度、明度の加算を停止するため、唇領域で光が当たっているハイライト部分や光の当たらない影の部分における光の影響を保持して口紅の色を表現することができる。
【００２６】
なお、ステップＳ２２が唇領域抽出手段に対応し、ステップＳ６８が平均値算出手段に対応し、ステップＳ７０が塗り替え偏差算出手段に対応し、ステップＳ８０が加算手段に対応し、ステップＳ８４が変換手段に対応し、ステップＳ７４が肌色判別手段に対応し、ステップＳ７６，Ｓ７８がハイライト影判別手段に対応する。
【００２７】
【発明の効果】
上述のように、請求項１に記載の発明は、３原色の顔画像から唇領域を抽出する唇領域抽出手段と、
抽出された前記唇領域の代表的な色の画素の色相、彩度、明度の平均値を算出する平均値算出手段と、
塗り替えようとする目標口紅色と前記代表的な色の画素の平均値との色相、彩度、明度の差である塗り替え偏差を算出する塗り替え偏差算出手段と、
前記唇領域の各画素の色相、彩度、明度に前記塗り替え偏差の色相、彩度、明度を加算して新たな画素の色相、彩度、明度を算出する加算手段と、
前記唇領域の新たな画素の色相、彩度、明度を３原色に変換して表示用に用いる変換手段とを有する。
【００２８】
このように、唇領域の代表的な色の画素の色相、彩度、明度の平均値を算出し、目標口紅色と代表的な色の画素の平均値との色相、彩度、明度の差である塗り替え偏差を算出し、唇領域の各画素の色相、彩度、明度に塗り替え偏差の色相、彩度、明度を加算して新たな画素の色相、彩度、明度を３原色に変換して表示するため、人の目の特性に近い色相、彩度、明度の形態で、かつ、画素単位で新たな画素の色が算出され、元の唇の自然な質感を失うことなく顔画像の口紅の色を塗り替えて、劣化のない顔画像を得ることができる。
【００２９】
また、請求項２に記載の発明は、加算手段に、前記唇領域の画素が肌色であるとき前記塗り替え偏差の色相、彩度、明度の加算を停止する肌色判別手段を有する。
このように、唇領域の画素が肌色であるとき塗り替え偏差の色相、彩度、明度の加算を停止するため、唇領域と誤って抽出された肌色の画素の色が口紅の色に塗り替えられることを防止でき、劣化のない顔画像を得ることができる。
【００３０】
また、請求項３に記載の発明は、加算手段に、前記唇領域の画素がハイライトまたは影の部分であるとき前記塗り替え偏差の色相のみを加算して、彩度、明度の加算を停止するハイライト影判別手段を有する。
このように、唇領域の画素がハイライトまたは影の部分であるとき塗り替え偏差の色相のみを加算して、彩度、明度の加算を停止するため、唇領域で光が当たっているハイライト部分や光の当たらない影の部分における光の影響を保持して口紅の色を表現することができる。
【図面の簡単な説明】
【図１】本発明の口紅色変換システムの一実施例のブロック図である。
【図２】本発明の口紅色変換システムの一実施例のメインフローチャートである。
【図３】ステップＳ２２で実行する唇領域抽出処理の一実施例のフローチャートである。
【図４】ステップＳ２２で実行する唇領域抽出処理の一実施例のフローチャートである。
【図５】ステップＳ２６で実行する口紅色変換処理の一実施例のフローチャートである。
【図６】色相（Ｈ）、彩度（Ｓ）、明度（Ｖ）と３原色ＲＧＢとの関係を示すための図である。
【符号の説明】
１０  中央処理装置（ＣＰＵ）
２０  入力装置
２１  キーボード
２２  マウス
２３  デジタルカメラ
３０  記憶装置
３１  ＲＡＭ
３２  ＲＯＭ
３３  ハードディスク装置
３４  フレキシブルディスク装置
４０  表示装置
５０  印刷装置
【図１】
0003723349.tif 000002
【図２】
0003723349.tif 000003
【図３】
0003723349.tif 000004
【図４】
0003723349.tif 000005
【図５】
0003723349.tif 000006
【図６】
0003723349.tif 000007