(57)【特許請求の範囲】
【請求項１】
顔画像における眉を変形して表示する眉変形システムにおいて、
眉の形状を表す複数の眉テンプレートが予め格納されている眉テンプレート格納手段と、
前記複数の眉テンプレートから選択された眉テンプレートを前記顔画像の目頭と目尻から算出した眉の傾きとなるよう回転し、前記顔画像の小鼻と目頭を通る直線と前記顔画像の眉頭を通る横軸との交点が前記選択された眉テンプレートの眉頭の位置となり、小鼻と目尻を通る直線と回転された眉テンプレートの眉頭と眉尻を通る直線との交点が前記選択された眉テンプレートの眉尻の位置となるよう前記回転された眉テンプレートを拡大または縮小して修正する眉テンプレート修正手段と、
前記顔画像から眉を消去する消去手段と、
前記眉を消去した顔画像に前記修正された眉テンプレートを合成する合成手段とを
有することを特徴とする眉変形システム。
【請求項２】
請求項１記載の眉変形システムにおいて、
前記消去手段は、顔画像の眉を消去する部分に前記顔画像の眉の近傍の画素を合成することを特徴とする眉変形システム。
【請求項３】
請求項２記載の眉変形システムにおいて、
前記消去手段で眉を消去した部分の境界についてスムージングを行う第１のスムージング手段を
有することを特徴とする眉変形システム。
【請求項４】
請求項１乃至３のいずれか記載の眉変形システムにおいて、
前記合成手段で眉テンプレートを合成した顔画像における眉のエッジについてスムージングを行う第２のスムージング手段を
有することを特徴とする眉変形システム。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は眉変形システムに係り、人の顔画像における眉を変形して表示する眉変形システムに関する。
【０００２】
【従来の技術】
メーキャップによるイメージの演出法は、造形理論を応用したもので、形の特徴や目に映ったときどのようにどの様な印象を受けるかを把握している。例えば、直線はシャープあるいは静的なイメージを演出させ、曲線はソフトあるいは動的なイメージを演出する。したがって、眉を直線的又は曲線的にメーキャップすることにより、それぞれ、シャープなイメージを演出したりソフトなイメージを演出したりすることができる。同様に、下降線を使用して落ちついたイメージを出したり、太い線を使用してたくましいイメージを演出することができる。
【０００３】
このようなメーキャップによるイメージ演出をコンピュータシステムの画像処理技術を用いて実現することが考えられている。従来のコンピュータシステムの画像処理技術では、単に形状を直線的又は曲線的に変形させることが行われている。
【０００４】
【発明が解決しようとする課題】
しかし、従来のコンピュータシステムの画像処理技術では、オペレータが顔画像における眉の部分の指定、変形の操作、変形部分の色の修正、等を細かに入力しなければならず、また、操作には画像処理の専門的な知識を必要とし、手間及び時間がかかるという問題があった。
【０００５】
本発明は、上記の点に鑑みなされたもので、顔画像における眉を変形して表示させるのに操作が簡単で、かつ、時間がかからず、自然な眉を表現できる眉変形システムを提供することを目的とする。
【０００６】
【課題を解決するための手段】
請求項１に記載の発明は、顔画像における眉を変形して表示する眉変形システムにおいて、
眉の形状を表す複数の眉テンプレートが予め格納されている眉テンプレート格納手段と、
前記複数の眉テンプレートから選択された眉テンプレートを前記顔画像の目頭と目尻から算出した眉の傾きとなるよう回転し、前記顔画像の小鼻と目頭を通る直線と前記顔画像の眉頭を通る横軸との交点が前記選択された眉テンプレートの眉頭の位置となり、小鼻と目尻を通る直線と回転された眉テンプレートの眉頭と眉尻を通る直線との交点が前記選択された眉テンプレートの眉尻の位置となるよう前記回転された眉テンプレートを拡大または縮小して修正する眉テンプレート修正手段と、
前記顔画像から眉を消去する消去手段と、
前記眉を消去した顔画像に前記修正された眉テンプレートを合成する合成手段とを有する。
【０００７】
このように、眉の形状を表す複数の眉テンプレートを用意しておき、その中から選択した眉テンプレートを顔画像に合わせて修正し、また、顔画像から眉を消去して修正された眉テンプレートを合成することにより、所望の眉テンプレートを選択するだけの簡単な操作で、時間をかけずに眉を変形して自然な眉を表示することができる。
【０００９】
請求項２に記載の発明は、請求項１記載の眉変形システムにおいて、  前記消去手段は、顔画像の眉を消去する部分に前記顔画像の眉の近傍の画素を合成する。
このように、眉を消去する部分に眉の近傍の画素を合成するため、消去する眉と合成する眉テンプレートとの形状の差違があっても、眉を消去した部分は肌色となるので、合成された顔画像に傷が生じることを防止できる。
【００１０】
請求項３に記載の発明は、請求項２記載の眉変形システムにおいて、
前記消去手段で眉を消去した部分の境界についてスムージングを行う第１のスムージング手段を有する。
このように、眉を消去した部分の境界のムージングを行うため、境界が目立たなくなり、合成された顔画像の品質を向上できる。
【００１１】
請求項４に記載の発明は、請求項１乃至３のいずれか記載の眉変形システムにおいて、  前記合成手段で眉テンプレートを合成した顔画像における眉のエッジについてスムージングを行う第２のスムージング手段を有する。
このように、合成した顔画像における眉のエッジについてムージングを行うため、合成された眉の境界が目立たなくなり、合成された顔画像の品質を向上できる。
【００１２】
【発明の実施の形態】
図１は本発明の眉変形システムの一実施例のブロック図を示す。同図中、中央処理装置（ＣＰＵ）１０には、バス１５を介して入力装置２０、記憶装置３０、表示装置４０、印刷装置５０、通信装置６０それぞれが接続されている。入力装置２０としてはキーボード２１，マウス２２，デジタルカメラ（またはＣＣＤカメラ）２３等が設けられており、記憶装置３０としてはＲＡＭ３１、ＲＯＭ３２、ハードディスク装置３３、フレキシブルディスク装置３４等が設けられている。ＣＰＵ１０は記憶装置３０に記憶されている各種処理プログラムを実行し、その結果を記憶装置３０に記憶すると共に、表示装置４０に表示し、印刷装置５０で印刷して出力する。記憶装置３０には各種処理プログラムの他に、眉の形状を表す複数種類の眉テンプレートが予め格納されている。
【００１３】
図２は本発明の眉変形システムの一実施例のメインフローチャートを示す。同図中、ステップＳ１０の特徴点抽出処理では被験者の顔を撮像し、得られた顔画像の特徴点を抽出する。次に、ステップＳ１２で変形しようとする所望の眉の形状を表示装置４０に表示された複数の眉テンプレートの中からマウス２２を用いて選択する。
【００１４】
この後、ステップＳ１４で顔画像の元の左眉を消去し、ステップＳ１６で選択した眉テンプレートの左眉を顔画像に合成する。更に、ステップＳ１８で顔画像の元の右眉を消去し、ステップＳ２０で選択した眉テンプレートの右眉を顔画像に合成する。ステップＳ２２では眉を合成した顔画像を表示装置４０に表示すると共に、印刷装置５０でプリントアウトする。
【００１５】
図３はステップＳ１０で実行する特徴点抽出処理の一実施例のフローチャートを示す。同図中、ステップＳ３０で入力装置２０のデジタルカメラ２３で被験者の顔を撮像し、得られた顔画像を記憶装置３０のハードディスク装置３３に記憶する。次に、ステップＳ３２で上記の顔画像に対し顔位置認識処理を行う。この顔位置認識処理によって顔領域のラベリングが行われると共に、顔の輪郭の特徴点が抽出される。なお、顔画像は左上隅を原点として、横方向をＸ軸、縦方向をＹ軸とするＸＹ座標で位置を表す。
【００１６】
次に、ステップＳ３４で顔領域のエッジ画像作成処理が行われ、顔のエッジ画像（２値画像）が作成され、ステップＳ３６で上記エッジ画像をＹ軸に投影してエッジのヒストグラムを作成するＹ投影が行われる。この後、ステップＳ３８でＹ投影によるヒストグラムから顔の各部位、つまり、眉、目、鼻、口それぞれのＹ座標を検索する。
【００１７】
ステップＳ４０では顔のエッジ画像における目及び鼻を含むＹ座標位置で、目及び鼻の特徴点及びこれに付随する特徴点を抽出する。また、ステップＳ４２で顔のエッジ画像における口を含むＹ座標位置で、口の特徴点及びこれに付随する特徴点を抽出する。また、ステップＳ４４で顔のエッジ画像における眉を含むＹ座標位置で、眉の特徴点及びこれに付随する特徴点を抽出して、処理を終了する。
【００１８】
ここで、眉の変形に用いられる目及び鼻と眉の特徴点の抽出について詳しく説明する。図４はステップＳ４０で実行する目及び鼻の特徴点抽出処理の一実施例のフローチャートを示す。同図中、ステップＳ４６では目及び鼻を含むＹ座標領域の顔画像を取得する。次のステップＳ４７のループ処理で閾値ＴＨを最低値から順次増加させ、ループ内のステップＳ４８で閾値ＴＨを用いて顔画像の２値化を行う。このように閾値ＴＨを可変して２値化を行うのは、瞳を正確に検出するためである。
【００１９】
次のステップＳ４９では２値化で得たエッジ画像において、連続するエッジで囲まれる領域をラベリングする。そして、ステップＳ５０のループ処理内のステップＳ５１でラベリングされた各領域について瞳か否かを判別する。ここでは、その領域がほぼ円形で所定範囲の面積を持つか、そして、その領域に対となる同様の領域があるか、等の条件で瞳か否かを判別する。
【００２０】
次に、ステップＳ５２で２つの瞳を検出できたか否かを判別し、瞳を検出できた場合にはステップＳ５４で固定値の閾値を用いて顔画像の２値化（エッジ画像）を行う。この後、ステップＳ５６でエッジ画像での左の瞳を中心とする左目の領域で左目の特徴点を抽出し、ステップＳ５８でエッジ画像での右の瞳を中心とする右目の領域で右目の特徴点を抽出する。なお、左右の目の特徴点として図５に示す瞳ＰＬ，ＰＲと、目尻ＥＬ１，ＥＲ１と、目頭ＥＬ４，ＥＲ４と、瞳の上下の目の輪郭ＥＬ５，ＥＲ５，ＥＬ３，ＥＲ３であり、これらの特徴点が記憶される。
【００２１】
この後、ステップＳ６０に進む。ここでは、２つの瞳を２点とし、口の方向に１点を設けた正三角形を設定する。そして、ステップＳ６２でエッジ画像での上記正三角形内において、最もＹ座標が大きい点を特徴点Ｎ２として抽出して記憶する。次に、ステップＳ６４でＹ座標が特徴点ＥＬ３，ＥＲ３と特徴点Ｎ２との間で、最もＸ座標が小さい点を特徴点Ｎ１として抽出して記憶し、最もＸ座標が大きい点を特徴点Ｎ３として抽出して記憶する。上記の目及び鼻の特徴点を全て抽出して、この処理を終了する。
【００２２】
図６及び図７はステップＳ４４で実行する眉の特徴点抽出処理の一実施例のフローチャートを示す。図６中、ステップＳ１００では眉のＹ座標が適正か否かを判別する。ここでは、例えば眉のＹ座標が、顔の特徴点Ｆ１，Ｃ２のＹ座標の平均値より小さいとき適正と判別する。ここで眉のＹ座標が適正でなければ、ステップＳ１０２でこれを適正な値とする。
【００２３】
次のステップＳ１０２では顔領域における向かって左の眉の内側から外側までＸ座標を変位させてループ処理を行い、このループ内のステップＳ１０４で眉の領域の上端から下端方向にＹ座標を変位させてループ処理を行い、このループ内のステップＳ１０６で顔のエッジ画像からエッジであり、かつ、顔画像から肌色ではない画素が最初に検出されたときステップＳ１０８に進む。ステップＳ１０８では検出した画素のＹ座標をこのときのＸ座標における左眉の上端として記憶する。更に、ステップＳ１０２のループ内のステップＳ１１０で眉の領域の下端から上端方向にＹ座標を変位させてループ処理を行い、このループ内のステップＳ１１２で顔のエッジ画像からエッジであり、かつ、顔画像から肌色ではない画素が最初に検出されたときステップＳ１１４で検出した画素のＹ座標をこのときのＸ座標における左眉の下端として記憶する。
【００２４】
次の図７のステップＳ１２２では顔領域における向かって右の眉の内側から外側までＸ座標を変位させてループ処理を行い、このループ内のステップＳ１２４で眉の領域の上端から下端方向にＹ座標を変位させてループ処理を行い、このループ内のステップＳ１２６で顔のエッジ画像からエッジであり、かつ、顔画像から肌色ではない画素が最初に検出されたときステップＳ１２８に進む。ステップＳ１２８では検出した画素のＹ座標をこのときのＸ座標における右眉の上端として記憶する。更に、ステップＳ１２２のループ内のステップＳ１３０で眉の領域の下端から上端方向にＹ座標を変位させてループ処理を行い、このループ内のステップＳ１３２で顔のエッジ画像からエッジであり、かつ、顔画像から肌色ではない画素が最初に検出されたときステップＳ１３４で検出した画素のＹ座標をこのときのＸ座標における右眉の下端として記憶する。
【００２５】
この後、ステップＳ１４４で左右の眉それぞれの上端で最も高い位置（Ｙ座標最小）を、眉山の特徴点（図５に示す点ＢＬ２，ＢＲ２）として抽出する。また、ステップＳ１４６で左右の眉それぞれの上端及び下端で最も顔の内側（中心側）の位置を眉頭の特徴点（図５に示す点ＢＬ３，ＢＲ３）として抽出する。また、ステップＳ１４８で左右の眉それぞれの上端及び下端で最も顔の外側の位置を眉尻の特徴点（図５に示す点ＢＬ１，ＢＲ１）として抽出する。また、ステップＳ１４９で左右の眉それぞれの下端で最も低い位置（Ｙ座標最大）を、眉底の特徴点（図５に示す点ＢＬ４，ＢＲ４）として抽出する。そして、この処理を終了する。
【００２６】
図８はステップＳ１４，Ｓ１８で実行する眉の消去処理の一実施例のフローチャートを示す。同図中、ステップＳ１６０で顔画像の眉を含む領域（眉領域）のうち眉部分（眉のエッジ画像で囲まれる部分）をマスクし、このとき、眉の色情報を記憶する。次に、ステップＳ１６２で顔画像の眉の上端から下端方向にＹ座標を変位させてループ処理を行い、このループ内のステップＳ１６４で眉の内側から外側までＸ座標を変位させてループ処理を行う。このループ内のステップＳ１６６でＸＹ座標がマスク部分であるか否かを判別し、マスク部分にあたる場合にはステップＳ１６８に進む。
【００２７】
ステップＳ１６８では眉領域のうちマスク部分の外側周辺位置から、コピー用としての肌色の画素をランダムに選択し、ステップＳ１７０で選択した画素を上記マスク部分のＸＹ座標の画素にコピーする。これによって、眉の部分に肌色が合成されて眉が消去される。
この後、ステップＳ１７２で眉の消去部分についてメディアンフィルタ処理を行ってノイズを除去し、ステップＳ１７４で顔画像の眉のエッジ（エッジ画像による）近傍のスムージングを行う。更に、ステップＳ１７６で消去した眉頭近傍のスムージングを行い、処理を終了する。このように、眉を消去した部分の境界のムージングを行うため、境界が目立たなくなり、合成された顔画像の品質を向上できる。
【００２８】
図９はステップＳ１６，Ｓ２０で実行する眉の合成処理の一実施例のフローチャートを示す。同図中、ステップＳ１８０で抽出された眉頭、眉尻の特徴点（右眉ではＢＲ３，ＢＲ１）から眉の傾きを算出し、選択した眉テンプレートの傾きを上記算出した眉の傾きとなるよう眉テンプレートを回転させる。次のステップＳ１８２で眉テンプレートの色を眉の消去時に記憶した元の眉の色に変更する。
【００２９】
そして、ステップＳ１８４で図１０（Ａ）に示すように、小鼻の特徴点Ｎ３と目頭の特徴点ＥＲ４を通る直線Ｌ１と、元の眉の特徴点ＢＲ３のＹ座標（直線Ｌ２）との交点を眉テンプレートの眉頭ＴＢＲ３として設定する。更に、図１０（Ｂ）に示すように、小鼻の特徴点Ｎ３と目尻の特徴点ＥＲ１を通る直線Ｌ３と、回転された眉テンプレートの眉頭と眉尻を通る直線Ｌ４との交点をテンプレートの眉尻ＴＢＲ１として設定する。この後、ステップＳ１８６で回転された眉テンプレートの眉頭，眉尻が、眉頭ＴＢＲ３，眉尻ＴＢＲ１に一致するよう回転された眉テンプレートを拡大または縮小してサイズ合わせを行う。このように、顔画像の鼻及び目の形状に合わせて選択された眉テンプレートの眉頭及び眉尻それぞれの配置位置を決定するため、自然な形で眉テンプレートを合成することができる。
【００３０】
次に、ステップＳ１８８で顔画像の眉の上端から下端方向にＹ座標を変位させてループ処理を行い、このループ内のステップＳ１９０で眉の内側から外側までＸ座標を変位させてループ処理を行う。このループ内のステップＳ１９２で眉テンプレートを線形補間しながら顔画像にコピーして眉を合成する。
この後、ステップＳ１９４で顔画像の眉の上端から下端方向にＹ座標を変位させてループ処理を行い、このループ内のステップＳ１９６で眉の内側から外側までＸ座標を変位させてループ処理を行う。このループ内のステップＳ１９８でエッジ検出を行い、ステップＳ２００でエッジか否かを判別する。そして、エッジであればステップＳ２０２に進んで、そのＸＹ座標に隣接する９画素を用いてスムージングを行い、合成した眉を顔画像となじませて自然な表現が得られるようにする。
【００３１】
このように、眉の形状を表す複数の眉テンプレートを用意しておき、その中から選択した眉テンプレートを顔画像に合わせて修正し、また、顔画像から眉を消去して修正された眉テンプレートを合成することにより、所望の眉テンプレートを選択するだけの簡単な操作で、時間をかけずに眉を変形して自然な眉を表示することができる。また、合成した顔画像における眉のエッジについてムージングを行うため、合成された眉の境界が不自然に目立つことを防止し、合成された顔画像の品質を向上できる。
【００３２】
なお、記憶装置３０が眉テンプレート格納手段に対応し、ステップＳ１８０〜１８６が眉テンプレート修正手段に対応し、ステップＳ１６０〜１７０が消去手段に対応し、ステップＳ１５３が合成手段に対応し、ステップＳ１７２〜１７６が第１のスムージング手段に対応し、ステップＳ２０２が第２のスムージング手段に対応する。
【００３３】
【発明の効果】
上述のように、請求項１に記載の発明は、眉の形状を表す複数の眉テンプレートが予め格納されている眉テンプレート格納手段と、
前記複数の眉テンプレートから選択された眉テンプレートを前記顔画像の目頭と目尻から算出した眉の傾きとなるよう回転し、前記顔画像の小鼻と目頭を通る直線と前記顔画像の眉頭を通る横軸との交点が前記選択された眉テンプレートの眉頭の位置となり、小鼻と目尻を通る直線と回転された眉テンプレートの眉頭と眉尻を通る直線との交点が前記選択された眉テンプレートの眉尻の位置となるよう前記回転された眉テンプレートを拡大または縮小して修正する眉テンプレート修正手段と、
前記顔画像から眉を消去する消去手段と、
前記眉を消去した顔画像に前記修正された眉テンプレートを合成する合成手段とを有する。
【００３４】
このように、眉の形状を表す複数の眉テンプレートを用意しておき、その中から選択した眉テンプレートを顔画像に合わせて修正し、また、顔画像から眉を消去して修正された眉テンプレートを合成することにより、所望の眉テンプレートを選択するだけの簡単な操作で、時間をかけずに眉を変形して自然な眉を表示することができる。
【００３６】
また、請求項２に記載の発明では、消去手段は、顔画像の眉を消去する部分に前記顔画像の眉の近傍の画素を合成する。
このように、眉を消去する部分に眉の近傍の画素を合成するため、消去する眉と合成する眉テンプレートとの形状の差違があっても、眉を消去した部分は肌色となるので、合成された顔画像に傷が生じることを防止できる。
【００３７】
また、請求項３に記載の発明は、消去手段で眉を消去した部分の境界についてスムージングを行う第１のスムージング手段を有する。
このように、眉を消去した部分の境界のムージングを行うため、境界が目立たなくなり、合成された顔画像の品質を向上できる。
また、請求項４に記載の発明は、合成手段で眉テンプレートを合成した顔画像における眉のエッジについてスムージングを行う第２のスムージング手段を有する。
【００３８】
このように、合成した顔画像における眉のエッジについてムージングを行うため、合成された眉の境界が目立たなくなり、合成された顔画像の品質を向上できる。
【図面の簡単な説明】
【図１】本発明の眉変形システムの一実施例のブロック図である。
【図２】本発明の眉変形システムの一実施例のメインフローチャートである。
【図３】ステップＳ１０で実行する特徴点抽出処理の一実施例のフローチャートである。
【図４】ステップＳ４０で実行する目及び鼻の特徴点抽出処理の一実施例のフローチャートである。
【図５】顔画像の特徴点を示す図である。
【図６】ステップＳ４４で実行する眉の特徴点抽出処理の一実施例のフローチャートである。
【図７】ステップＳ４４で実行する眉の特徴点抽出処理の一実施例のフローチャートである。
【図８】ステップＳ１４，Ｓ１８で実行する眉の消去処理の一実施例のフローチャートである。
【図９】ステップＳ１６，Ｓ２０で実行する眉の合成処理の一実施例のフローチャートである。
【図１０】眉テンプレートの眉頭と眉尻の一を決め方を説明するための図である。
【符号の説明】
１０  中央処理装置（ＣＰＵ）
２０  入力装置
２１  キーボード
２２  マウス
２３  デジタルカメラ
３０  記憶装置
３１  ＲＡＭ
３２  ＲＯＭ
３３  ハードディスク装置
３４  フレキシブルディスク装置
４０  表示装置
５０  印刷装置
【図１】
0003773657.tif 000002
【図２】
0003773657.tif 000003
【図３】
0003773657.tif 000004
【図４】
0003773657.tif 000005
【図５】
0003773657.tif 000006
【図６】
0003773657.tif 000007
【図７】
0003773657.tif 000008
【図８】
0003773657.tif 000009
【図９】
0003773657.tif 000010
【図１０】
0003773657.tif 000011