(57)【特許請求の範囲】
【請求項１】
使用者の顔画像に基づいてカリカチュアを生成する装置であって、
３次元カリカチュアの生成に必要なＡＳＭや３次元ポリゴン顔の基本モデルが格納されているメモリ部と、
入力された顔画像から目の位置を検出し、顔画像の大きさを正規化する前処理部と、
前記前処理された顔画像から顔構成要素に対するそれぞれの初期位置を検出する顔構成要素の初期位置検出部と、
前記検出された初期位置に対応するように、前記メモリ部に格納されているＡＳＭを前記前処理された顔画像にローディングするＡＳＭローディング部と、
前記ローディングされたＡＳＭを適応化して、顔構成要素に対する各特徴点を抽出するＡＳＭ適応部と、
前記メモリ部から３次元ポリゴン顔の基本モデルをローディングした後、前記ＡＳＭ適応部を介して抽出された各特徴点の座標値に応じて前記ローディングされた３次元ポリゴン顔の基本モデルを変形して３次元ポリゴン顔のカリカチュアを生成するカリカチュア生成部とを備えることを特徴とする３次元カリカチュアの生成装置。
【請求項２】
前記前処理部は、入力された顔画像がカラーイメージの場合、
これを白黒イメージに変換する白黒化部と、
ガボールフィルタ応答を用いて、前記入力された顔画像から顔領域を検出する顔領域検出部と、
前記顔領域検出部を介して検出された顔領域から目の位置を検出する目検出部と、
前記目検出部を介して検出された目の位置に基づいて、前記顔領域の大きさを前記メモリ部に格納されている３次元ポリゴン顔の基本モデルと１：１でマッピングできる大きさに正規化する顔正規化部とを備えることを特徴とする請求項１に記載の３次元カリカチュアの生成装置。
【請求項３】
前記目検出部は、
入力された顔画像に対して、しきい値を基準として画素を黒色または白色に割り当てる２進化を行う２進化部と、
前記２進化部から２進化された顔画像が入力されると、眉毛や目に該当する領域にて黒色を有する画素をグルーピングするグルーピング部と、
前記グルーピング部を介して検出された複数のグループにラベルをつけて複数のグループを順序化してから、同一のラベルを有する領域を孤立領域として抽出するラベリング部と、
前記ラベリング部を介して抽出された孤立領域のうち、眉毛候補領域及び目候補領域を検出し、検出された目候補領域が目であるかを判断する判断部とを備えることを特徴とする請求項２に記載の３次元カリカチュアの生成装置。
【請求項４】
前記判断部によって前記眉毛候補領域と目候補領域とが共に検出されるまで、前記２進化部が、しきい値を変化させて２進化を行い、前記ラベリング部が、前記孤立領域を抽出することを特徴とする請求項３に記載の３次元カリカチュアの生成装置。
【請求項５】
前記顔構成要素の初期位置検出部は、前記前処理された顔画像にキャニフィルタを適用して顔構成要素に対するそれぞれの初期位置を検出することを特徴とする請求項１に記載の３次元カリカチュアの生成装置。
【請求項６】
前記メモリ部は、ＡＳＭの形態的変化特徴データをさらに備え、前記ＡＳＭ適応部は、前記メモリ部に格納されているＡＳＭの形態的変化特徴データを利用して、前記前処理された顔画像から眉毛、目、鼻、唇、及び顔の輪郭線に対する特徴点を抽出することを特徴とする請求項１に記載の３次元カリカチュアの生成装置。
【請求項７】
前記ＡＳＭ適応部は、特徴点抽出時に、顔構成要素に対する特徴点抽出の探索領域を予め制限することを特徴とする請求項１に記載の３次元カリカチュアの生成装置。
【請求項８】
前記メモリ部は、前記３次元ポリゴン顔の基本モデルをテクスチャリングするための２次元顔のテクスチャをさらに含み、前記カリカチュア生成部は、前記メモリ部に格納されている２次元顔のテクスチャを前記３次元ポリゴン顔の基本モデルにマッピングすることを特徴とする請求項１に記載の３次元カリカチュアの生成装置。
【請求項９】
前記メモリ部は、３次元身体カリカチュアの生成に必要な３次元身体モデルをさらに含み、前記カリカチュア生成部は、前記メモリ部に格納されている３次元身体モデルに基づいて、３次元身体カリカチュアを生成することを特徴とする請求項１に記載の３次元カリカチュアの生成装置。
【請求項１０】
側面の顔画像が入力された場合、前記前処理部は、前記入力された側面の顔画像から鼻の先の点と、眉毛とを検出して、これに基づいて側面の顔画像を正規化し、前記顔構成要素の初期位置検出部は、前記前処理された顔画像から顔構成要素に対するそれぞれの側面の初期位置を検出し、前記ＡＳＭローディング部は、前記検出された側面の初期位置に対応するように、前記メモリ部に格納されている側面ＡＳＭを前記前処理された側面の顔画像にローディングし、前記ＡＳＭ適応部は、前記ローディングされた側面ＡＳＭを適応化して、前記前処理された側面の顔画像から顔構成要素に対する各特徴点の座標値を抽出し、前記カリカチュア生成部は、前記ＡＳＭ適応部を介して抽出された各特徴点の座標値に応じて前記３次元ポリゴン顔の基本モデルを変形して、３次元ポリゴン顔のカリカチュアを生成することを特徴とする請求項１に記載の３次元カリカチュアの生成装置。
【請求項１１】
前記カリカチュア生成部を介して生成された３次元ポリゴン顔のカリカチュアを２次元に投影して、２次元顔のカリカチュアを獲得する投影部をさらに備えることを特徴とする請求項１に記載の３次元カリカチュアの生成装置。
【請求項１２】
前記カリカチュア生成部を介して生成された３次元ポリゴン顔のカリカチュアから各特徴点の座標値及びメモリ参照値を抽出して伝送するカリカチュア送受信部をさらに備えることを特徴とする請求項１に記載の３次元カリカチュアの生成装置。
【請求項１３】
前記カリカチュア送受信部から前記３次元ポリゴン顔のカリカチュアの各特徴点の座標値及びメモリ参照値が受信された場合、前記カリカチュア生成部は、前記受信されたメモリ参照値に対応する３次元ポリゴン顔の基本モデル及び２次元顔のテクスチャを前記メモリ部からローディングした後、前記２次元顔のテクスチャを３次元ポリゴン顔の基本モデルにマッピングし、前記受信された各特徴点の座標値に応じて３次元ポリゴン顔の基本モデルを変形して３次元ポリゴン顔のカリカチュアを復元することを特徴とする請求項１２に記載の３次元カリカチュアの生成装置。
【請求項１４】
３次元カリカチュアの生成装置によって、使用者の顔画像に基づいてカリカチュアを生成する３次元カリカチュアの生成方法であって、
前処理部が、入力された顔画像から目の位置を検出し、顔画像の大きさを正規化する前処理ステップと、
顔構成要素の初期位置検出部が、前記前処理された顔画像から顔構成要素に対するそれぞれの初期位置を検出するステップと、
ＡＳＭローディング部が、前記検出された初期位置に対応するように、ＡＳＭを前記前処理された顔画像にローディングしてから、ＡＳＭ適応部が、前記ローディングされたＡＳＭを適応化して各特徴点を抽出するステップと、
カリカチュア生成部が、３次元ポリゴン顔の基本モデルをローディングした後、前記ＡＳＭ適応化を介して抽出された各特徴点の座標値に応じて前記ローディングされた３次元ポリゴン顔の基本モデルを変形して３次元ポリゴン顔のカリカチュアを生成するステップとを含むことを特徴とする３次元カリカチュアの生成方法。
【請求項１５】
前記前処理ステップは、入力された顔画像がカラーイメージの場合、
白黒化部が、これを白黒イメージに変換するステップと、
顔領域検出部が、ガボールフィルタ応答を用いて、前記入力された顔画像から顔領域を検出するステップと、
目検出部が、前記検出された顔領域から目の位置を検出するステップと、
顔正規化部が、前記検出された目の位置に基づいて顔領域の大きさを前記３次元ポリゴン顔の基本モデルと１：１でマッピングできる大きさに正規化するステップとを含むことを特徴とする請求項１４に記載の３次元カリカチュアの生成方法。
【請求項１６】
前記目の位置検出ステップは、
２進化部が、入力された顔画像に対して、しきい値を基準として画素を黒色または白色に割り当てる２進化を行うステップと、
グルーピング部が、前記２進化された顔画像から黒色の画素をグルーピングするステップと、
ラベリング部が、前記グルーピングにより検出された複数のグループにラベルをつけて複数のグループを順序化してから、同一のラベルを有する領域を孤立領域として抽出するラベリングステップと、
判断部が、前記抽出された孤立領域のうち、眉毛候補領域や目候補領域を検出し、検出された目候補領域から両目の中心点を検出するステップとを含むことを特徴とする請求項１５に記載の３次元カリカチュアの生成方法。
【請求項１７】
前記顔画像を２進化するステップは、前記２進化部が、前記入力された顔画像の明るさによってしきい値の変化範囲を設定した上、設定のしきい値の変化範囲内でしきい値の初期値を設定し、設定のしきい値を基準として入力された顔画像を２進化するステップをさらに含むことを特徴とする請求項１６に記載の３次元カリカチュアの生成方法。
【請求項１８】
前記グルーピングステップは、前記グルーピング部が、水平に離れている黒色の画素間の間隔を計算し、算出した間隔が所定距離以下であると、黒色の画素を相互連結するステップをさらに含むことを特徴とする請求項１６に記載の３次元カリカチュアの生成方法。
【請求項１９】
前記ラベリングステップは、前記ラベリング部が、前記グルーピングにより検出された複数のグループのうち、所定の大きさ以下のグループは、ノイズと見なして除去するステップをさらに含むことを特徴とする請求項１６に記載の３次元カリカチュアの生成方法。
【請求項２０】
前記抽出された孤立領域のうち、一対の眉毛候補領域と一対の目候補領域とが存在しない場合、前記判断部によって一対の眉毛候補領域と一対の目候補領域とが共に検出されるまで、前記２進化部が、しきい値を変化させて２進化を行い、前記ラベリング部が、前記孤立領域を抽出するステップをさらに含むことを特徴とする請求項１６に記載の３次元カリカチュアの生成方法。
【請求項２１】
前記目候補領域から両目の中心点を検出するステップは、
前記判断部が、前記目候補領域の情報を予め格納されている基準値と比較して、目候補領域に対する偏差値を計算するステップと、
前記判断部が、前記各偏差値に重みを付けて重み付けされた各偏差値をすべて合算して、前記目候補領域の誤差率を計算するステップと、
前記判断部が、前記目候補領域の誤差率が許容可能な範囲内であるかを判断するステップとをさらに含むことを特徴とする請求項１６に記載の３次元カリカチュアの生成方法。
【請求項２２】
前記予め格納されている基準値は、目の大きさ、アスペクト比、垂直位置、または水平位置に対する値を含むことを特徴とする請求項２１に記載の３次元カリカチュアの生成方法。
【請求項２３】
前記判断部が、前記目候補領域に対する偏差値の計算時に、前記目候補領域の情報を該当しきい値に対する基準値と比較することを特徴とする請求項２１に記載の３次元カリカチュアの生成方法。
【請求項２４】
前記抽出された孤立領域のうち、一対の眉毛候補領域のみ検出された場合、前記判断部が、前記眉毛候補領域を目候補領域に設定してから、前記目候補領域に対する誤差率を計算することを特徴とする請求項２１に記載の３次元カリカチュアの生成方法。
【請求項２５】
前記抽出された孤立領域のうち、左右のいずれかの眉毛候補領域のみ検出された場合、前記判断部が、前記眉毛候補領域を目候補領域に設定した後、前記目候補領域に基づいて目の対を生成し、生成された一対の目候補領域に対する誤差率を計算することを特徴とする請求項２１に記載の３次元カリカチュアの生成方法。
【請求項２６】
前記顔構成要素の初期位置検出ステップは、前記顔構成要素の初期位置検出部が、前記前処理された顔画像にキャニフィルタを適用して各顔構成要素の初期位置を決定するステップを含むことを特徴とする請求項１４に記載の３次元カリカチュアの生成方法。
【請求項２７】
前記特徴点を抽出するステップは、前記ＡＳＭ適応部が、ＡＳＭの形態的変化の特徴データを利用して前記前処理された顔画像から眉毛、目、鼻、唇、及び顔の輪郭線に対する特徴点を抽出するステップを含むことを特徴とする請求項１４に記載の３次元カリカチュアの生成方法。
【請求項２８】
前記ＡＳＭ適応部が、前記顔構成要素に対する特徴点抽出時に、特徴点抽出の探索領域を予め制限することを特徴とする請求項１４に記載の３次元カリカチュアの生成方法。
【請求項２９】
前記カリカチュア生成部が、前記３次元ポリゴン顔の基本モデルに２次元顔のテクスチャをマッピングするステップをさらに含むことを特徴とする請求項１４に記載の３次元カリカチュアの生成方法。
【請求項３０】
前記カリカチュア生成部が、３次元身体モデルに基づいて３次元身体カリカチュアを生成するステップをさらに含むことを特徴とする請求項１４に記載の３次元カリカチュアの生成方法。
【請求項３１】
側面の顔画像が入力された場合、前記前処理部が、前記入力された側面の顔画像から鼻の先の点や眉毛を検出し、これに基づいて側面の顔画像を正規化するステップと、
前記顔構成要素の初期位置検出部が、前記前処理された顔画像から顔構成要素に対するそれぞれの側面の初期位置を検出するステップと、
前記ＡＳＭローディング部が、前記検出された側面の初期位置に対応するように、側面ＡＳＭを前記前処理された側面の顔画像にローディングするステップと、
前記ＡＳＭ適応部が、前記ローディングされた側面ＡＳＭを適応化して、前記前処理された側面の顔画像から顔構成要素に対する各特徴点の座標値を抽出するステップと、
前記カリカチュア生成部が、前記ＡＳＭ適応化を介して抽出された各特徴点の座標値に応じて前記ローディングされた３次元ポリゴン顔の基本モデルを変形して、３次元ポリゴン顔のカリカチュアを生成するステップとをさらに含むことを特徴とする請求項１４に記載の３次元カリカチュアの生成方法。
【請求項３２】
投影部が、前記３次元ポリゴン顔のカリカチュアを２次元に投影して、２次元顔のカリカチュアを獲得するステップをさらに含むことを特徴とする請求項１４に記載の３次元カリカチュアの生成方法。
【請求項３３】
カリカチュア送受信部が、前記３次元ポリゴン顔のカリカチュアから各特徴点の座標値及びメモリ参照値を抽出して伝送するステップをさらに含むことを特徴とする請求項１４に記載の３次元カリカチュアの生成方法。
【請求項３４】
前記３次元ポリゴン顔のカリカチュアの各特徴点の座標値及びメモリ参照値が受信された場合、前記カリカチュア生成部が、前記受信されたメモリ参照値に対応する３次元ポリゴン顔の基本モデル及び２次元顔のテクスチャをローディングするステップと、前記２次元顔のテクスチャを３次元ポリゴン顔の基本モデルにマッピングするステップと、前記受信された各特徴点の座標値に応じて３次元ポリゴン顔の基本モデルを変形して、３次元ポリゴン顔のカリカチュアを復元するステップをさらに含むことを特徴とする請求項３３に記載の３次元カリカチュアの生成方法。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、３次元カリカチュアの生成装置及びその方法に関し、より詳しくは、顔の形状に合わせて特化したＡＳＭ（Ａｃｔｉｖｅ  Ｓｈａｐｅ  Ｍｏｄｅｌ）手法を用いて、顔構成要素に対する特徴点情報を正確に抽出し、この特徴点情報に基づいて３次元ポリゴン顔の基本モデルを変形することにより、使用者の顔と類似性の高い３次元カリカチュアを生成する装置及びその方法に関する。
【０００２】
【従来の技術】
一般に、カリカチュアは、人物または擬人化された動植物をテーマとし、滑稽、ユーモア、風刺などの効果を目指して描かれる絵であって、使用者の好奇心や間接的な満足、個人が望む理想の人物像などの意味を含み、主に、芸能人やスポーツ選手らの公報手段として活用されてきたが、近年においては、一般の人々にも広く用いられるようになってきている。
【０００３】
従来、カリカチュアは、専門のカリカチュアデザイナーの手作業によって完成されるのが通常であったが、一般人の関心が高まるにつれて、専門家の手を借りずに、カリカチュアの生成が可能となる技術が開発されつつある。
【０００４】
その一例として、使用者がクリップアートデータベースから、目、鼻、口などの顔の輪郭線形成に必要なクリップアートを選択して組み合わせ、種々のアクセサリーまたは衣服を着せることで、最終的にカリカチュアを完成するという技術が挙げられる。しかし、このような方法では、使用者が自分の顔の特徴と最も近似したクリップアートを選択する点に難点があり、類似性が低いことで、使用者からの不満があった。
【０００５】
特許文献１には、写真の顔から、まず全体的な顔の形態を完成し、前記顔の形態に適用される顔の各要素の位置、比率、及び種類を計算して、最終的に、様々なサイズを有する、予め構築されている顔の各要素についてのデータベースから顔の各要素についてのモデルを抽出して合成することにより、カリカチュアを生成する方法が開示されている。しかし、この方法では、使用される顔のサイズについては、単に顔の各構成要素の位置情報のみを利用しているため、顔の各要素についての正確な特徴点の抽出はほとんど不可能であり、よって、自分の顔特徴に近似したカリカチュアの生成は困難となる。
【０００６】
また、特許文献２には、ソフトウェアにより編集された写真の各構成部分と、顔の各部位別のカリカチュアが格納されている各部位別カリカチュアとを比較して、必要な顔の各部位をデータベース上のデータに替えて、カリカチュアに変換する方法が開示されている。しかし、このような方法では、色調変換により、天然色で構成された原本データを白黒に分ける写真編集過程を必要とし、よって、カラーを有するカリカチュアの生成は、事実上不可能であるという限界があった。
【０００７】
さらに、特許文献３には、入力された顔画像と参照画像との対応点情報を利用して顔の形態情報を抽出し、これに基づいて顔画像を再合成することにより、より自然で高精度のカリカチュア画像を生成する方法が開示されている。しかし、この方法では、特許文献１の場合と同様に、予め準備した参照画像を顔画像と合成する単純な方式を採用しており、顔画像からの顔の特徴点抽出については、具体的に提示されていない。
【０００８】
一方、前記の特許文献はいずれも２次元カリカチュアの生成に関するものであるが、最近は、顔モデリング手法を用いた３次元カリカチュアの生成についての研究が盛んに進められている。
【０００９】
このような３次元カリカチュアの生成技術の一例として、特許文献４には、正面や側面からの２枚の顔画像を利用して顔の特徴、すなわち、顔の各部位の位置を統計資料から推定し、これにより、表情の変わった肖像画を生成する技術が開示されている。しかし、このような技術では、正面や側面の顔画像を利用して表情の変わった肖像画を生成するときに、統計資料から顔の特徴を推定しており、原本画像の顔の特徴を正確に抽出することができないという問題点がある。
【００１０】
また、他の３次元カリカチュアの生成技術として、特許文献５には、正面及び側面の写真から目、鼻、口、耳、眉毛、及び顔の輪郭線、鼻筋などを通る外郭線模型、並びに髪の毛の特徴などを抽出してから、３次元顔形状のデータベース（実際の多くの人々の顔形状がデータとして蓄積されている）から前記抽出された顔特徴と類似した複数の３次元顔画像を選定して、使用者に自分の顔写真と最も類似した３次元顔形状を選定させる技術が開示されている。しかし、依然として、予め構築されている顔形状データベースとの単純な比較によって、最も類似する３次元顔形状を生成するに止まり、より細かい部分の修整のためには、修整専門家による別の手作業工程を必要とするという問題点があった。
【００１１】
【特許文献１】
韓国特許出願公開第２０００−６３３９１号明細書
【特許文献２】
韓国特許出願公開第２０００−４９４２１号明細書
【特許文献３】
韓国特許公開特許第２０００−６４１１０号明細書
【特許文献４】
米国特許第５９６００９９号明細書
【特許文献５】
韓国特許公開特許第２００１−６９８２０号明細書
【００１２】
【発明が解決しようとする課題】
本発明は、前記問題点を解決するためになされたものであって、顔形状に合わせて特化したＡＳＭ手法を用いて顔構成要素についての特徴点情報を正確に抽出し、この特徴点情報に基づいて３次元ポリゴン顔の基本モデルを変形することにより、使用者の顔と類似性の高い３次元カリカチュアを生成する３次元カリカチュアの生成装置及びその方法を提供することを目的とする。
【００１３】
【課題を解決するための手段】
前記目的を達成するために、本発明に係る３次元カリカチュアの生成装置は、３次元カリカチュアの生成に必要なＡＳＭや３次元ポリゴン顔の基本モデルが格納されているメモリ部と、入力された顔画像から目の位置を検出し、顔画像の大きさを正規化する前処理部と、前記前処理された顔画像から顔構成要素に対するそれぞれの初期位置を検出する顔構成要素の初期位置検出部と、前記検出された初期位置に対応するように、前記メモリ部に格納されているＡＳＭを前記前処理された顔画像にローディングするＡＳＭローディング部と、前記ローディングされたＡＳＭを適応化して、顔構成要素に対する各特徴点を抽出するＡＳＭ適応部と、前記メモリ部から３次元ポリゴン顔の基本モデルをローディングした後、前記ＡＳＭ適応部を介して抽出された各特徴点の座標値に応じて前記ローディングされた３次元ポリゴン顔の基本モデルを変形して３次元ポリゴン顔のカリカチュアを生成するカリカチュア生成部とを備える（請求項１）。
【００１４】
ここで、前記前処理部は、入力された顔画像がカラーイメージの場合、これを白黒イメージに変換する白黒化部と、ガボールフィルタ応答を用いて、前記入力された顔画像から顔領域を検出する顔領域検出部と、前記顔領域検出部を介して検出された顔領域から目の位置を検出する目検出部と、前記目検出部を介して検出された目の位置に基づいて、前記顔領域の大きさを前記メモリ部に格納されている３次元ポリゴン顔の基本モデルと１：１でマッピングできる大きさに正規化する顔正規化部とを備える（請求項２）。
【００１５】
前記目検出部は、入力された顔画像に対して、しきい値を基準として画素を黒色または白色に割り当てる２進化を行う２進化部と、前記２進化部から２進化された顔画像が入力されると、眉毛や目に該当する領域にて黒色を有する画素をグルーピングするグルーピング部と、前記グルーピング部を介して検出された複数のグループにラベルをつけて複数のグループを順序化してから、同一のラベルを有する領域を孤立領域として抽出するラベリング部と、前記ラベリング部を介して抽出された孤立領域のうち、眉毛候補領域及び目候補領域を検出し、検出された目候補領域が目であるかを判断する判断部とを備えることができる（請求項３）。
【００１６】
前記判断部によって前記眉毛候補領域と目候補領域とが共に検出されるまで、前記２進化部が、しきい値を変化させて２進化を行い、前記ラベリング部が、前記孤立領域を抽出することが望ましい（請求項４）。
【００１７】
本発明に係る３次元カリカチュアの生成装置において、前記顔構成要素の初期位置検出部は、前記前処理された顔画像にキャニフィルタを適用して顔構成要素に対するそれぞれの初期位置を検出する（請求項５）。
【００１８】
また、本発明に係る３次元カリカチュアの生成装置において、前記メモリ部は、ＡＳＭの形態的変化特徴データをさらに備え、前記ＡＳＭ適応部は、前記メモリ部に格納されているＡＳＭの形態的変化特徴データを利用して、前記前処理された顔画像から眉毛、目、鼻、唇、及び顔の輪郭線に対する特徴点を抽出することができる（請求項６）。
【００１９】
また、本発明に係る３次元カリカチュアの生成装置において、前記ＡＳＭ適応部は、特徴点抽出時に、顔構成要素に対する特徴点抽出の探索領域を予め制限することができる（請求項７）。
【００２０】
また、本発明に係る３次元カリカチュアの生成装置において、前記メモリ部は、前記３次元ポリゴン顔の基本モデルをテクスチャリングするための２次元顔のテクスチャをさらに含み、前記カリカチュア生成部は、前記メモリ部に格納されている２次元顔のテクスチャを前記３次元ポリゴン顔の基本モデルにマッピングすることができる（請求項８）。
【００２１】
さらに、本発明に係る３次元カリカチュアの生成装置において、前記メモリ部は、３次元身体カリカチュアの生成に必要な３次元身体モデルをさらに含み、前記カリカチュア生成部は、前記メモリ部に格納されている３次元身体モデルに基づいて、３次元身体カリカチュアを生成することができる（請求項９）。
【００２２】
本発明に係る３次元カリカチュアの生成装置において、側面の顔画像が入力された場合、前記前処理部は、前記入力された側面の顔画像から鼻の先の点と、眉毛とを検出して、これに基づいて側面の顔画像を正規化し、前記顔構成要素の初期位置検出部は、前記前処理された顔画像から顔構成要素に対するそれぞれの側面の初期位置を検出し、前記ＡＳＭローディング部は、前記検出された側面の初期位置に対応するように、前記メモリ部に格納されている側面ＡＳＭを前記前処理された側面の顔画像にローディングし、前記ＡＳＭ適応部は、前記ローディングされた側面ＡＳＭを適応化して、前記前処理された側面の顔画像から顔構成要素に対する各特徴点の座標値を抽出し、前記カリカチュア生成部は、前記ＡＳＭ適応部を介して抽出された各特徴点の座標値に応じて前記３次元ポリゴン顔の基本モデルを変形して、３次元ポリゴン顔のカリカチュアを生成する（請求項１０）。
【００２３】
また、本発明に係る３次元カリカチュアの生成装置は、前記カリカチュア生成部を介して生成された３次元ポリゴン顔のカリカチュアを２次元に投影して、２次元顔のカリカチュアを獲得する投影部をさらに備えることができる（請求項１１）。
【００２４】
また、本発明に係る３次元カリカチュアの生成装置は、前記カリカチュア生成部を介して生成された３次元ポリゴン顔のカリカチュアから各特徴点の座標値及びメモリ参照値を抽出して伝送するカリカチュア送受信部をさらに備えることができる（請求項１２）。
【００２５】
ここで、前記カリカチュア送受信部から前記３次元ポリゴン顔のカリカチュアの各特徴点の座標値及びメモリ参照値が受信された場合、前記カリカチュア生成部は、前記受信されたメモリ参照値に対応する３次元ポリゴン顔の基本モデル及び２次元顔のテクスチャを前記メモリ部からローディングした後、前記２次元顔のテクスチャを３次元ポリゴン顔の基本モデルにマッピングし、前記受信された各特徴点の座標値に応じて３次元ポリゴン顔の基本モデルを変形して３次元ポリゴン顔のカリカチュアを復元することが望ましい（請求項１３）。
【００２６】
一方、前記目的を達成するために、本発明に係る３次元カリカチュアの生成方法は、３次元カリカチュアの生成装置によって、使用者の顔画像に基づいてカリカチュアを生成する３次元カリカチュアの生成方法であって、前処理部が、入力された顔画像から目の位置を検出し、顔画像の大きさを正規化する前処理ステップと、顔構成要素の初期位置検出部が、前記前処理された顔画像から顔構成要素に対するそれぞれの初期位置を検出するステップと、ＡＳＭローディング部が、前記検出された初期位置に対応するように、ＡＳＭを前記前処理された顔画像にローディングしてから、前記ローディングされたＡＳＭを適応化して各特徴点を抽出するステップと、カリカチュア生成部が、３次元ポリゴン顔の基本モデルをローディングした後、前記ＡＳＭ適応化を介して抽出された各特徴点の座標値に応じて前記ローディングされた３次元ポリゴン顔の基本モデルを変形して３次元ポリゴン顔のカリカチュアを生成するステップとを含む（請求項１４）。
【００２７】
ここで、前記前処理ステップは、入力された顔画像がカラーイメージの場合、白黒化部が、これを白黒イメージに変換するステップと、顔領域検出部が、ガボールフィルタ応答を用いて、前記入力された顔画像から顔領域を検出するステップと、目検出部が、前記検出された顔領域から目の位置を検出するステップと、顔正規化部が、前記検出された目の位置に基づいて顔領域の大きさを前記３次元ポリゴン顔の基本モデルと１：１でマッピングできる大きさに正規化するステップとを含む（請求項１５）。
【００２８】
前記目の位置検出ステップは、２進化部が、入力された顔画像に対して、しきい値を基準として画素を黒色または白色に割り当てる２進化を行うステップと、グルーピング部が、前記２進化された顔画像から黒色の画素をグルーピングするステップと、ラベリング部が、前記グルーピングにより検出された複数のグループにラベルをつけて複数のグループを順序化してから、同一のラベルを有する領域を孤立領域として抽出するラベリングステップと、判断部が、前記抽出された孤立領域のうち、眉毛候補領域や目候補領域を検出し、検出された目候補領域から両目の中心点を検出するステップとを含む（請求項１６）。
【００２９】
前記顔画像を２進化するステップは、前記２進化部が、前記入力された顔画像の明るさによってしきい値の変化範囲を設定した上、設定のしきい値の変化範囲内でしきい値の初期値を設定し、設定のしきい値を基準として入力された顔画像を２進化するステップをさらに含むことができる（請求項１７）。
【００３０】
また、前記グルーピングステップは、前記グルーピング部が、水平に離れている黒色の画素間の間隔を計算し、算出した間隔が所定距離以下であると、黒色の画素を相互連結するステップをさらに含むことができる（請求項１８）。
【００３１】
また、前記ラベリングステップは、前記ラベリング部が、前記グルーピングにより検出された複数のグループのうち、所定の大きさ以下のグループは、ノイズと見なして除去するステップをさらに含むことができる（請求項１９）。
【００３２】
さらに、前記抽出された孤立領域のうち、一対の眉毛候補領域と一対の目候補領域とが存在しない場合、前記判断部によって一対の眉毛候補領域と一対の目候補領域とが共に検出されるまで、前記２進化部が、しきい値を変化させて２進化を行い、前記ラベリング部が、前記孤立領域を抽出するステップをさらに含むことができる（請求項２０）。
【００３３】
また、前記目候補領域から両目の中心点を検出するステップは、前記判断部が、前記目候補領域の情報を予め格納されている基準値と比較して、目候補領域に対する偏差値を計算するステップと、前記判断部が、前記各偏差値に重みを付けて重み付けされた各偏差値をすべて合算して、前記目候補領域の誤差率を計算するステップと、前記判断部が、前記目候補領域の誤差率が許容可能な範囲内であるかを判断するステップとをさらに含むことができる（請求項２１）。
【００３４】
ここで、前記予め格納されている基準値は、目の大きさ、アスペクト比、垂直位置、または水平位置に対する値を含むことが望ましい（請求項２２）。
【００３５】
また、前記判断部が、前記目候補領域に対する偏差値の計算時に、前記目候補領域の情報を該当しきい値に対する基準値と比較することが望ましい（請求項２３）。
【００３６】
さらに、前記抽出された孤立領域のうち、一対の眉毛候補領域のみ検出された場合、前記判断部が、前記眉毛候補領域を目候補領域に設定してから、前記目候補領域に対する誤差率を計算することが望ましい（請求項２４）。
【００３７】
また、前記抽出された孤立領域のうち、左右のいずれかの眉毛候補領域のみ検出された場合、前記判断部が、前記眉毛候補領域を目候補領域に設定した後、前記目候補領域に基づいて目の対を生成し、生成された一対の目候補領域に対する誤差率を計算することが望ましい（請求項２５）。
【００３８】
本発明に係る３次元カリカチュアの生成方法において、前記顔構成要素の初期位置検出ステップは、前記顔構成要素の初期位置検出部が、前記前処理された顔画像にキャニフィルタを適用して各顔構成要素の初期位置を決定するステップを含むことができる（請求項２６）。
【００３９】
また、本発明に係る３次元カリカチュアの生成方法において、前記特徴点を抽出するステップは、前記ＡＳＭ適応部が、ＡＳＭの形態的変化の特徴データを利用して前記前処理された顔画像から眉毛、目、鼻、唇、及び顔の輪郭線に対する特徴点を抽出するステップを含むことができる（請求項２７）。
【００４０】
本発明に係る３次元カリカチュアの生成方法は、前記ＡＳＭ適応部が、前記顔構成要素に対する特徴点抽出時に、特徴点抽出の探索領域を予め制限することが望ましい（請求項２８）。
【００４１】
また、本発明に係る３次元カリカチュアの生成方法は、前記カリカチュア生成部が、前記３次元ポリゴン顔の基本モデルに２次元顔のテクスチャをマッピングするステップをさらに含むことができる（請求項２９）。
【００４２】
さらに、本発明に係る３次元カリカチュアの生成方法は、前記カリカチュア生成部が、３次元身体モデルに基づいて３次元身体カリカチュアを生成するステップをさらに含むことができる（請求項３０）。
【００４３】
本発明に係る３次元カリカチュアの生成方法は、側面の顔画像が入力された場合、前記前処理部が、前記入力された側面の顔画像から鼻の先の点や眉毛を検出し、これに基づいて側面の顔画像を正規化するステップと、前記顔構成要素の初期位置検出部が、前記前処理された顔画像から顔構成要素に対するそれぞれの側面の初期位置を検出するステップと、前記ＡＳＭローディング部が、前記検出された側面の初期位置に対応するように、側面ＡＳＭを前記前処理された側面の顔画像にローディングするステップと、前記ＡＳＭ適応部が、前記ローディングされた側面ＡＳＭを適応化して、前記前処理された側面の顔画像から顔構成要素に対する各特徴点の座標値を抽出するステップと、前記カリカチュア生成部が、前記ＡＳＭ適応化を介して抽出された各特徴点の座標値に応じて前記ローディングされた３次元ポリゴン顔の基本モデルを変形して、３次元ポリゴン顔のカリカチュアを生成するステップとをさらに含むことができる（請求項３１）。
【００４４】
また、本発明に係る３次元カリカチュアの生成方法は、投影部が、前記３次元ポリゴン顔のカリカチュアを２次元に投影して、２次元顔のカリカチュアを獲得するステップをさらに含むことができる（請求項３２）。
【００４５】
また、本発明に係る３次元カリカチュアの生成方法は、カリカチュア送受信部が、前記３次元ポリゴン顔のカリカチュアから各特徴点の座標値及びメモリ参照値を抽出して伝送するステップをさらに含むことができる（請求項３３）。
【００４６】
ここで、前記３次元ポリゴン顔のカリカチュアの各特徴点の座標値及びメモリ参照値が受信された場合、前記カリカチュア生成部が、前記受信されたメモリ参照値に対応する３次元ポリゴン顔の基本モデル及び２次元顔のテクスチャをローディングするステップと、前記２次元顔のテクスチャを３次元ポリゴン顔の基本モデルにマッピングするステップと、前記受信された各特徴点の座標値に応じて３次元ポリゴン顔の基本モデルを変形して、３次元ポリゴン顔のカリカチュアを復元するステップをさらに含むことができる（請求項３４）。
【００４７】
【発明の実施の形態】
以下、本発明の好ましい実施の形態を、添付図面に基づいて詳しく説明する。図１は、本発明に係る３次元カリカチュアの生成装置１００の概略を示すブロック図であり、メモリ部１０、画像処理部３０、投影部４０、カリカチュア格納部５０、及びカリカチュア送受信部７０を備えている。
【００４８】
メモリ部１０には、３次元カリカチュアの生成に必要な学習データ、２次元顔のテクスチャ（ｔｅｘｔｕｒｅ）、３次元ポリゴン顔の基本モデル、３次元身体モデルなどがデータベース（ＤａｔａＢａｓｅ、以下、ＤＢと称する）形態に格納されているが、以下、これらの学習データＤＢ１１、２次元顔のテクスチャＤＢ１３、３次元ポリゴン顔の基本モデルＤＢ１５、及び３次元身体モデルＤＢ１７について簡単に説明する。
【００４９】
学習データＤＢ１１には、様々な形態の眉毛、目、鼻、口、顔の輪郭線を学習パターンとして用いて得られた正面及び側面ＡＳＭと、これらのＡＳＭの平均位置座標並びにＡＳＭの形態的変化特徴データが格納され、２次元顔のテクスチャＤＢ１３には、３次元ポリゴン顔の基本モデルにテクスチャリングするための２次元顔のテクスチャが格納される。ここで、２次元顔のテクスチャは、３次元顔のカリカチュアに様々な色相情報を反映できるように変化し得るが、例えば、化粧した場合の唇の色、照明による皮膚色の明るさの変化などを３次元顔のカリカチュアに反映することにより、より自然で高精度のカリカチュアを生成することが可能となるように構成されている。
【００５０】
また、３次元ポリゴン顔の基本モデルＤＢ１５には、様々な類型の３次元ポリゴン顔の基本モデルが格納されている。これらの３次元ポリゴン顔の基本モデルは、人種的・国民的な特徴が反映された人類学的標準データに基づいて構成されており、３次元身体モデルＤＢ１７には、髪の毛、体、眼鏡、アクセサリー、衣服、靴などの身体構成要素をカリカチュアに処理するための３次元の身体モデルがそれぞれ格納されている。
【００５１】
一方、前記メモリ部１０は、学習データ、２次元顔のテクスチャ、３次元ポリゴン顔の基本モデル、３次元身体モデルを始めとし、その他のデータを含むこともできる。
【００５２】
画像処理部３０は、ＡＳＭ手法を用いて顔の各部位に対する特徴点情報を検出し、検出された特徴点情報に基づいて３次元顔基本モデルを変形することにより、使用者の顔特徴の反映された３次元カリカチュアを生成しており、前処理部３１、顔構成要素の初期位置検出部３３、ＡＳＭローディング部３５、ＡＳＭ適応部３７、カリカチュア生成部３９から構成されている。
【００５３】
前処理部３１は、入力された顔画像から目の位置を検出し、顔画像の大きさを正規化する前処理を行うものであり、以下、前処理部３１について、図２を参照しながらより詳しく説明する。
【００５４】
図２は、図１に示す前処理部の詳細な構成を示す図であり、図２に示すように、前処理部３１は、白黒化部２１、顔領域検出部２２、目検出部２３、及び顔正規化部２８を備える。
【００５５】
白黒化部２１は、入力した顔画像がカラーイメージである場合、これを白黒イメージに変換するが、これは、ＲＧＢ（Ｒｅｄ、Ｇｒｅｅｎ、Ｂｌｕｅ）方式のカラーイメージには、色相成分と明るさ成分とが共に混ざっているが、これは、特徴点抽出時に明るさ変化によるエラーが生じることもあるからである。
【００５６】
顔領域検出部２２は、ガボールフィルタ応答（Ｇａｂｏｒ  Ｆｉｌｔｅｒ  Ｒｅｓｐｏｎｓｅ）を用いて入力画像から顔領域を検出するが、このようなガボールフィルタを用いた顔領域検出方法は、入力された顔画像に多様な方向性や周波数を有するガボールフィルタの集合を適用し、その反応値によって顔領域を検出するものであり、画像処理分野において広く用いられている前処理方法の一種であることから、その詳細は省略する。
【００５７】
目検出部２３は、前記顔領域検出部２２を介して検出された顔領域から、円形をしていて顔領域の上部に位置し、白色の中で黒色を示す部位、すなわち、両目の中心点（目の瞳孔）を検出する。ここで、両目の中心点を一番最初に検出するのは、左右対称をさしている両目の中心点が最も検出しやすく、両目の中心点の位置が決まれば、顔の他の構成要素の位置は、適当な比例関係により容易に検出できるからである。
【００５８】
図６は、カリカチュアの生成のために入力された顔画像の一例を示している。図６（ａ）に示すように、解像度の高い顔画像が入力されると、目のエッジを抽出し、抽出した目のエッジ情報に基づいて両目の中心点を検出できるが、図６（ｂ）に示すように、解像度の低い顔画像が入力された場合には、目がほぼ一点として認識されることから、目のエッジを正確に検出することができないだけでなく、目のエッジが検出されても、眉毛と目とが区別し難く、眉毛を目と誤って認識してしまう恐れがある。
【００５９】
このようなエッジ検出方法の他に、しきい値を基準として２５６段階の明度値を有する白黒顔画像を黒色と白色とに分けると、目の瞳孔の明るさが非常に低く、黒色を示すことを利用して、黒い色を有する円形領域を両目の中心点として検出する２進化手法も開示されているが、一つのしきい値のみを利用する従来の２進化手法では、解像度の低く、明暗の分布が不規則な顔画像から眉毛と目とを容易に区別できないので、両目の中心点を正確に検出できないという限界がある。
【００６０】
従って、解像度の低い顔画像からも両目の位置を正確に検出するためには、しきい値を顔画像の状態によって適宜に変化させる必要があるが、本発明では、後述するように、目検出部２３を介して眉毛や目が共に一定の黒い領域に示されるまでしきい値を増加させながら２進化を行い、そのために、目検出部２３は、２進化部２４、グルーピング部２５、ラベリング部２６、及び判断部２７を備えている。
【００６１】
２進化部２４は、白黒顔画像が入力されると、２進化のためのしきい値の変化範囲を設定した上、しきい値の変化範囲内でしきい値の初期値を設定し、設定されたしきい値を基準として、しきい値以上の明るさを有する画素は白色に、しきい値以下の明るさを有する画素は黒色に割り当てる。
【００６２】
設定のしきい値によって２進化された顔画像の一例を図７及び図８に示している。図７及び図８に示すように、設定のしきい値によって顔画像を２進化すると、一番最初に眉毛が検出され、しきい値の増加に従い、目、鼻、口などが黒色に示されることが分かる。
【００６３】
グルーピング部２５は、２進化された顔画像が入力されると、眉毛や目に該当する領域にて黒色を有する画素を複数のグループに束ねるグルーピングを行う。ここで、グルーピングとは、黒色を有する画素が見つかると、その画素の周囲に隣り合う８つの画素を調べて、黒色の画素を探し出し、探し出された黒色の画素を一つのグループとして束ねることをいう。
【００６４】
ラベリング部２６は、前記グルーピング部２５を介して検出された複数のグループにラベルをつけて、複数のグループを順序化してから、同一のラベルを有する領域を孤立領域として抽出する。
【００６５】
判断部２７は、眉毛や目は、常時対を成しており、眉毛が目の上に位置するという点から、上側に位置した孤立領域に対して、水平方向への大きさの変化がそれほど大きくない孤立領域の対が存在するかを調べて、存在する場合はこれを眉毛候補領域として認識し、眉毛候補領域の直下に近接して水平方向への大きさの変化がそれほど大きくない孤立領域の対が存在するかを調べて、存在する場合はこれを目の領域として認識する。
【００６６】
前記ラベリング部２６を介して抽出された孤立領域のうち、一対の眉毛候補領域や一対の目候補領域が存在しない場合、すなわち、両眉毛や両目のうち、いずれの１つでも検出されない場合、判断部２７は、眉毛が目と誤って認識されないように、両眉毛や両目が全て検出されるまで、しきい値を増加させながら２進化を行う。
【００６７】
もし、両眉毛と両目とが共に検出された場合、判断部２７は、目候補領域が目であるかを検証するために、目の大きさ、形、及び位置に対する情報を基準値として目候補領域の誤差率を計算して、誤差率の許容可能な範囲内であるかを判断し、目候補領域の誤差率の許容可能な範囲内であると判断されると、すなわち、目候補領域が目であると判断されると、目候補領域から両目の中心点を検出するが、これについては、図４の説明で詳しく述べることにする。
【００６８】
顔正規化部２８は、前記目検出部２３を介して検出された目の位置に基づいて顔領域の大きさを３次元ポリゴン顔の基本モデルＤＢ１５に格納された３次元顔基本モデルと１：１でマッピングできる大きさに正規化を行い、顔画像が少し歪んだ場合、これを、正常な角度に補正するものである。
【００６９】
図１０（ａ）ないし図１０（ｄ）は、前処理部３１を介して顔画像の前処理を行う一例を示している。まず、顔画像が入力されると、前処理部３１は、図１０（ａ）に示すように、顔画像を白黒に変換して照明や雑音による影響を除去した後、図１０（ｂ）に示すように、元の顔画像にガボールフィルタを適用して使用者の顔と類似した特徴の含まれた四角形の顔領域を検出する。その次に、前処理部３１は、図１０（ｃ）に示すように、顔領域から両目の中心点を検出し、図１０（ｄ）に示すように、検出された顔領域及び両目の中心点に基づいて顔領域の大きさを正規化すると共に傾斜を補正する。
【００７０】
一方、一般的なＡＳＭ手法を用いて顔の各部位に対する特徴点を抽出すると、特徴点抽出時に、眉毛を目と誤って認識したり、顔の構成要素がそれぞれとんでもない方向に移動してしまうといった現象が生じることもある。
【００７１】
このような現象を防止するために、本発明では、顔構成要素の初期位置検出部３３を介して、眉毛、目、鼻、口、及び顔輪郭線の概略的な位置を予め設定しておき、ＡＳＭ適応化を行っている。以下、顔構成要素の初期位置設定について、より詳しく説明する。
【００７２】
入力された顔画像から特徴点を抽出するとき、各顔構成要素のＡＳＭが顔画像のどこに置かれた状態でＡＳＭ適応化が行われるかが、非常に重要となる。すなわち、ＡＳＭのローディングされる初期位置が後に行われるＡＳＭ適応化性能に極めて大きく影響する。例えば、ＡＳＭのローディングされる初期位置をきちんと設定すれば、少ない回数の適応化過程のみで特徴点を正確に抽出できるが、初期位置を誤って設定すると、特徴点の抽出が正常に行われないこともある。
【００７３】
顔構成要素の初期位置検出部３３は、白黒の顔画像にキャニフィルタ（Ｃａｎｎｙ  ｆｉｌｔｅｒ）を適用して、各顔構成要素の初期位置を検出する。ここで、キャニフィルタは、ガウシアンマスク（Ｇａｕｓｓｉａｎ  ｍａｓｋｓ）を用いてエッジを検出することにより、ＡＳＭがローディングされる初期位置を検出する。
【００７４】
また、顔構成要素の初期位置を検出するときに、前記したキャニフィルタを用いる方法の他に、前記目検出部２３を介して検出された両目の中心点に基づいて、顔構成要素間の幾何学的な位置特性によって、眉毛、目、鼻、及び口の初期位置を検出することもできる。
【００７５】
図１０（e）ないし図１０（g）は、入力された顔画像から各顔構成要素の初期位置を検出し、検出された初期位置にＡＳＭをローディングして、特徴点を抽出する一例を示している。図１０（e）に示すように、キャニフィルタを介して眉毛、目、鼻、口、及び顔の輪郭線の初期位置が検出されると、図１０（ｆ）に示すように、検出された初期位置にＡＳＭをローディングし、ローディングされたＡＳＭを適応化することにより、図１０（g）に示すように、顔構成要素についての特徴点を正確に抽出することができる。
【００７６】
一方、各顔構成要素に対するＡＳＭの間で一定の関係を維持させることも、正確な特徴点抽出に役に立つ。例えば、右の目のＡＳＭは、いくら適応化が進行していても、その中点が左の目のＡＳＭと同一の横軸上に存在する必要があり、右の目のＡＳＭは、右の眉毛のＡＳＭより常時下方に位置する必要があるという関係を設定すれば、ＡＳＭ適応化性能が向上する。
【００７７】
図１１は、顔構成要素の初期位置検出と、各ＡＳＭの間の関係による制限条件を加えることにより、ＡＳＭ適応化性能が向上した一例を示している。図１１（ａ）に示すように、単に目の位置のみに基づいて入力された顔画像に、各関連性の与えられていないＡＳＭをローディングすると、ＡＳＭ適応化が進行するほど、入力の顔画像から誤った特徴点が抽出されることもある。しかし、図１１（ｂ）に示すように、顔構成要素初期位置検出部３３を介して顔構成要素の初期位置を設定してから、設定された初期位置に基づいて相互関連性を有するＡＳＭを顔画像にローディングすると、少ない回数の適応化過程のみで各特徴点が正確に抽出されることが分かる。
【００７８】
すなわち、顔構成要素の初期位置検出部３３を介して各顔構成要素の初期位置が検出されると、ＡＳＭローディング部３１は、検出された初期位置に対応するように、顔画像に学習データＤＢ１１から相互関連性を有するＡＳＭをローディングすることにより、ＡＳＭ適応化性能を向上できることから、迅速かつ正確に各顔構成要素に対する特徴点を抽出することができる。
【００７９】
特に、本発明においては、学習データＤＢ１１には、様々な解像度の変化に対応できるように、それぞれの解像度に学習されたＡＳＭが格納されていることから、鮮明な顔画像を撮像できる使用者インタフェースを提供しにくい環境、例えば、小型カメラ付の携帯電話から解像度の低い顔画像が入力されても、眉毛、目、鼻、口、及び顔輪郭線に対する各特徴点を正確に抽出することができる。
【００８０】
ＡＳＭ適応部３７は、予め得られたＡＳＭの形態的変化特徴データを利用して、ローディングされたＡＳＭを適応化し、入力された顔構成要素に対する各特徴点を抽出し、抽出された各特徴点のＸ、Ｙ座標値をカリカチュア生成部３９に出力する。ここで、ＡＳＭ適応化とは、顔画像にローディングされたＡＳＭの各特徴点を直線で連結し、その中点で直線に対する法線方向の画素に対して探索を行って、その探索領域にて基本の学習値と最大相関を起こす画素を新しい中点として変更し、変更された中点に合わせて各特徴点の位置を変更して行く過程を繰り返すことにより、眉毛、目、鼻、口、及び顔の輪郭線についての各特徴点を探し出すことをいう。
【００８１】
しかし、これまでＡＳＭ適応化においては、探索領域をどのように設定するかについての基準がなかったことから、探索領域が広すぎる場合は、探索領域を大いに外れ、とんでもないところの特徴点を抽出したり、探索領域が狭すぎる場合は、ＡＳＭ適応化にずいぶん長い時間を費やしてしまう恐れがあった。
【００８２】
また、大半の特徴点が所望の領域内で抽出されたとしても、1つか、２つの特徴点がとんでもないところから抽出されたときは、特徴点の全体の形状が完全に崩れてしまうおそれもあった。例えば、小鼻のある部位と上唇中央の窪んだ部位とは、その形態や位置がお互いに似ているが、このとき、上唇線を探す特徴点の探索領域が広すぎると、小鼻のある部位を上唇線に誤って認識することもある。つまり、ＡＳＭの適応化段階にて１つか、２つの特徴点を誤って抽出すると、これによって他の特徴点も誤って抽出される可能性が高くなる。
【００８３】
従って、可能な限りＡＳＭ適応化段階にて特徴点が誤って抽出されないように探索領域を制限する必要があり、このため、本発明では、次のように各顔構成要素に対する特徴点抽出の探索領域を、予め制限した状態でＡＳＭ適応化を行っている。
【００８４】
例えば、目の場合、目の上方の各特徴点の探索領域は、眉毛との距離の１／２以下になるように制限し、目の下方の各特徴点の探索領域は、目の上下幅の１／２以下になるように制限する。さらに、鼻の場合、鼻孔及び小鼻に該当する各特徴点の探索領域は、上唇との距離の１／２以下になるように制限し、唇の場合、上唇の各特徴点の探索領域は、小鼻との距離の１／２以下になるように制限し、下唇の各特徴点の探索領域は、唇の上下幅の１／３以下になるように制限する。
【００８５】
前記探索領域の制限値は、数回の実験を通して得られた特徴点抽出エラーを最小化できる値であり、このような探索領域の制限によって特徴点抽出の信頼性を高めることができる。
【００８６】
ここで、図１に示すように、カリカチュア生成部３９は、３次元顔のカリカチュアを生成する顔カリカチュア生成部３９ａ及び３次元身体カリカチュアを生成する身体カリカチュア生成部３９ｂから構成されている。これについては、図３に関する説明で詳しく述べることにし、以下、簡単に説明する。
【００８７】
顔カリカチュア生成部３９ａは、ＡＳＭ適応化によって抽出された顔特徴点情報を利用して３次元ポリゴン顔の基本モデルを変形することにより、使用者の顔特徴の反映された３次元顔のカリカチュアを生成し、身体カリカチュア生成部３９ｂは、３次元身体モデルＤＢ１５に格納されている髪の毛、体、眼鏡、アクセサリー、衣服、靴下などの身体構成要素などの３次元身体モデルに基づいて３次元身体カリカチュアを生成するものである。
【００８８】
また、投影部４０は、２次元カリカチュアが必要な場合、カリカチュア生成部３９を介して生成された３次元カリカチュアを２次元に投影して２次元カリカチュアを生成し、カリカチュア格納部５０は、カリカチュア生成部３９を介して生成された３次元カリカチュアを格納するものである。
【００８９】
カリカチュア生成部３９で生成された３次元カリカチュアは、カリカチュア送受信部７０を介して無線または有線で他の３次元カリカチュアの生成装置１００に伝送することもできるが、このとき、カリカチュア送受信部７０は、伝送されるデータの容量を減らすために、３次元カリカチュアから各特徴点の座標値及びメモリ参照値を抽出して、他の３次元カリカチュアの生成装置１００に伝送する。このように伝送された各特徴点の座標値及びメモリ参照値は、他の３次元カリカチュアの生成装置１００内のカリカチュア送受信部７０を介して再び３次元カリカチュアに復元できる。このような３次元カリカチュアを復元する方法については、図５の説明で詳しく説明することにする。
【００９０】
なお、前記した本発明の構成要素は、ハードウェアに具現される場合、当業界の通常の知識を有する者にとっては、他の多くの変更が可能である。例えば、本発明においては、学習データ、２次元顔のテクスチャ、３次元ポリゴン顔の基本モデル、３次元身体モデルの以外に、他のデータが格納されるメモリ部１０は、ＡＳＭローディング部３５、ＡＳＭ適応部３７またはカリカチュア生成部３９などが別のメモリを備える場合、複数のメモリに分けて構成することが可能であり、また、ＡＳＭローディング部３５、ＡＳＭ適応部３７、及びカリカチュア生成部３９などの各構成要素は、マイクロプロセッサで駆動されるソフトウェアにより具現することが可能である。
【００９１】
一方、本発明に係る３次元カリカチュアの生成方法について、以下、添付図面を参照しながら詳しく説明する。
図３は、本発明に係る３次元カリカチュアの生成方法を示すフローチャートである。
【００９２】
顔画像が入力されると、入力された顔画像から目の位置を検出し、顔画像の大きさを正規化する前処理を行う（ステップＳ１０）。以下、図４を参照しながら前処理段階ステップＳ１０について、より詳しく説明する。
【００９３】
図４は、図３において顔画像前処理段階の詳細を示すフローチャートである。まず、入力された顔画像がカラーイメージである場合、これを白黒イメージに変換してから（ステップＳ１１）、ガボールフィルタ応答を利用して白黒の顔画像から顔領域を検出する（ステップＳ１２）。
【００９４】
その次に、顔画像から両眉毛や両目が共に一定の黒い領域に示されるまで、しきい値を増加させながら２進化を行うが、まず、２進化のためのしきい値の変化範囲を設定した上で、設定しきい値の変化範囲内でしきい値の初期値を設定し、設定のしきい値を基準として、しきい値以上の明るさを有する画素は白色に、しきい値以下の明るさを有する画素は黒色にそれぞれ割り当てる（ステップＳ１３〜ステップＳ１４）。
【００９５】
ここで、しきい値の変化範囲は、入力された顔画像の明るさによって決定されることが好ましいが、これは、全体に顔が暗いか、または明るい場合に、これを基準としてしきい値の変化範囲を選定すれば、不要な演算量を減らすことができるからである。
【００９６】
顔画像の２進化が終了した後、眉毛や目に該当する領域で黒色画素を複数のグループに束ねるグルーピングを行う（ステップＳ１５）。このとき、水平に離れている黒色画素間の間隔を計算し、算出した間隔が所定距離以下であると、黒色画素をお互いに連結して、雑音によるエラーを減らすことも可能であるが、連結可能な黒色画素間の距離は、普通６４０×４８０の解像度を有する顔画像で５を超えないのが好ましく、この値は、顔画像の解像度によって異なることもある。
【００９７】
その次に、グルーピングを行った複数のグループにラベルをつけて、複数のグループを順序化した後、同一のラベルを有する領域を孤立領域として抽出する（ステップＳ１６）。このとき、ラベリングアルゴリズムとしては、４方向連結追跡アルゴリズム、または８方向連結追跡アルゴリズムを利用することが可能であり、顔画像でのグループの数が多いと、ラベリングに長い時間が費やされることから、グループの大きさが３〜４以下の領域は、ノイズと見なして除去するのが好ましい。
【００９８】
その次に、ラベリングを通して抽出された孤立領域のうち、一対の眉毛候補領域や一対の目候補領域が存在するかを判断し、眉毛や目のいずれかでも検出されない場合には、一対の眉毛や一対の目が共に検出されるまで、しきい値を増加させながら２進化を行う（ステップＳ１７〜ステップＳ１９）。このとき、しきい値は、設定の変化範囲内で増加することが好ましい。
【００９９】
各孤立領域のうち、一対の眉毛候補領域や一対の目候補領域が存在する場合、目候補領域が目であるかを検証するために、目の大きさ、形、位置に対する情報を基準値として目候補領域の誤差率を計算し、誤差率が許容可能な範囲内であるかを判断する。以下、目候補領域の誤差率の計算方法について、より詳しく説明する。
【０１００】
一般に、目は、顔領域の全体面積で０.２％〜２.５％を占め、楕円形をしており、顔領域で垂直方向に上側に位置し、左右の目は、同一の水平線上に位置しているが、このような目の大きさ、形、位置についての情報は、目候補領域が目であるかを判断するときに用いられる。
【０１０１】
すなわち、目の大きさ、形、位置に対する情報を基準値として目候補領域の誤差率を計算し、算出した目候補領域の誤差率に基づいて目候補領域が目であるかを判断することができる。
【０１０２】
まず、目候補領域の誤差率を計算するために、基準値に対して目候補領域の大きさ、アスペクト比、垂直位置、水平位置に対する偏差値を求める。
【０１０３】
ここで、目候補領域の大きさ、アスペクト比、垂直位置、及び水平位置は、ラベリングを行う際に得られた孤立領域の情報により簡単に求めることができる。これは、ラベリングを行って孤立領域を抽出すると、各孤立領域に対するＸＹ座標値が求められ、このＸＹ座標値によって孤立領域の大きさ、アスペクト比、垂直位置、及び水平位置を計算することができるからである。
【０１０４】
一方、目の大きさ、アスペクト比、垂直位置、水平位置は、２進化のしきい値に応じて変化することから、目候補領域に対する偏差値を求めるときには、２進化のしきい値による基準値を求める必要がある。
【０１０５】
図９は、２進化のしきい値に応じて目候補領域に対する基準値が変わる一例を示している。図９に示すように、しきい値が増加すると、顔画像で目の占める大きさが増加することから、該当のしきい値に対する基準値を基準として、目候補領域に対する偏差値を求める必要があり、これと同様に、目のアスペクト比、目の垂直位置、及び水平位置に対しても該当のしきい値に対する基準値を基準として目候補領域に対する偏差値を求める必要がある。
【０１０６】
本実施の形態においては、全体の顔領域で目の大きさに対する基準値を０.２％〜２.５％に設定することにより、目候補領域の大きさが全体の顔領域の０.２％〜２.５％の場合は、目であると判断し、目のアスペクト比に対する基準値を１.０〜３.２に設定することにより、目候補領域のアスペクト比が１.０以下、あるいは、３.２以上の場合、すなわち、目候補領域が楕円形でない場合は、目でないと判断する。
【０１０７】
また、本実施の形態においては、全体の顔領域での目の垂直位置に対する基準値を１／３に設定することにより、目候補領域が顔領域で垂直方向に上側に位置すると目であると判断し、また、全体の顔領域での目の水平位置に対する基準値を５°に設定することにより、左右の目候補領域がほぼ同一の水平線上に存在すると、目であると判断されるようになっている。
【０１０８】
前記目候補領域の大きさ、アスペクト比、垂直位置、水平位置に対する偏差値をＤ１、Ｄ２、Ｄ３、Ｄ４とし、各偏差値に対する重みをｋ１、ｋ２、ｋ３、ｋ４とすると、目候補領域に対する誤差率Ｅｒに関わる式は、下記の数１のようになる。
【０１０９】
【数１】
0003924262.tif 000002
【０１１０】
前記数１より、各偏差値に対する重みｋ１、ｋ２、ｋ３、ｋ４は、顔画像の学習結果によって決定されたりするが、例えば、目が全体の顔領域で０.２％〜２.５％の大きさを占める領域である確率が高いという学習結果が出た場合、目候補領域の大きさに対する重み（ｋ１）を他の重み（ｋ２、ｋ３、ｋ４）よりも大きい値に設定することが可能であり、各偏差値に対する重み（ｋ１、ｋ２、ｋ３、ｋ４）は、変更可能な値である。
【０１１１】
前記目候補領域に対する誤差率Ｅｒが許容可能な範囲（例えば、３０％）内であると判断されると、すなわち、目候補領域の大きさ、形、及び位置が適合であると判断されると、目候補領域から両目の中心点を検出する（ステップＳ２４〜ステップＳ２５）。
【０１１２】
前記したように、目候補領域に対する誤差率Ｅｒを計算する際、目の大きさ、形、位置に対する偏差値のいずれも考慮しているので、眉毛を目と誤って認識する可能性を最小化することが可能となり、これにより、解像度の低い顔画像からも両目の中心点を正確に検出することができる。
【０１１３】
一方、使用者の眉毛が白色の場合、眉毛が初めから検出されないこともあるが、この場合、判断部２７は、２進化により左右の両目が検出されると、これを眉毛候補領域として認識し、その下方の領域で目候補領域が検出されるまで、しきい値を増加させながら２進化を行う（ステップＳ１１〜ステップＳ１９）。しかし、最大しきい値による２進化処理を行っても一対の目候補領域が検出されない場合は、眉毛候補領域と認識していた領域を目候補領域と設定し（ステップＳ２０〜ステップＳ２１）、目候補領域に対する誤差率Ｅｒを計算し、算出された誤差率Ｅｒが許容可能な範囲にあると判断されると、目候補領域から両目の中心点を検出する（ステップＳ２４〜ステップＳ２５）。
【０１１４】
また、使用者の一方の眉毛が髪の毛に遮られた場合、眉毛の片方のみ検出されることもあるが、この場合、判断部２７は、２進化を行って片方の孤立領域（眉毛）のみが検出されると、これを無視して２進化を行いつつ、２進化により左右の一対の目が検出されると、これを眉毛候補領域と認識し、その下方の領域から目候補領域が検出されるまでしきい値を増加させながら、２進化を行う（ステップＳ１１〜ステップＳ１９）。しかし、最大しきい値による２進化処理を行っても左右対称的な眉毛候補領域が検出されないと、眉毛候補領域と認識していた領域を目候補領域と設定し（ステップＳ２０〜ステップＳ２１）、目候補領域に対する誤差率Ｅｒを計算し、算出された誤差率Ｅｒが許容可能な範囲内であると判断されると、目候補領域から両目の中心点を検出する（ステップＳ２４〜ステップＳ２５）。
【０１１５】
一方、髪の毛により一方の眉毛と一方の目が共に遮られた場合には、最大しきい値によって２進化を行っても、一対の孤立領域が検出されないが、この場合、左右のいずれの一方に一つの目候補領域のみが存在すれば、その目候補領域に基づいて目の対を生成し（ステップＳ２２〜ステップＳ２３）、生成された一対の目候補領域に対する誤差率Ｅｒを計算して、算出された誤差率Ｅｒが許容可能な範囲内であると判断されると、目候補領域から両目の中心点を検出する（ステップＳ２４〜ステップＳ２５）。
【０１１６】
本発明では、髪の毛により両目が全て遮られている場合については除いているが、それは、一般の顔画像においては、髪の毛により両眉毛が全て遮られることはあっても、両目まで遮られる場合は、極めて少ないことからである。
【０１１７】
さらに、本実施の形態においては、目候補領域の検証条件を大きさ、アスペクト比、垂直位置、及び水平位置に限定しており、これにより、目候補領域に対する誤差率を計算しているが、前述の条件の他にも様々な条件を用いることが可能である。
【０１１８】
その次に、検出された両目の位置に基づいて顔領域の大きさを３次元ポリゴン顔の基本モデルＤＢ１５に格納されている３次元顔基本モデルと１：１でマッピングできる大きさで正規化する（ステップＳ２６）。このとき、顔画像が少し歪んだ場合は、これを正常角度で補正することも可能である。
【０１１９】
さらに、図３を参照して、前記したように、顔画像の前処理が終了した後、顔構成要素の初期位置検出部３３から、顔領域にキャニフィルタを適用して各顔構成要素に対する初期位置を検出すると（ステップＳ３０）、ＡＳＭローディング部３１は、検出された初期位置に対応するように、前処理された顔画像にＡＳＭをローディングする（ステップＳ５０）。
【０１２０】
一方、顔構成要素の初期位置を検出する際、前記したようにキャニフィルタを活用する方法の他に、２進化を行って検出された両目の中心点に基づいて、顔構成要素間の幾何学的な位置特性により、眉毛、目、鼻、及び口の初期位置を検出することも可能である。
【０１２１】
その次に、ＡＳＭ適応部３７は、学習データＤＢ１１に格納されているＡＳＭの形態的変化特徴データを利用してローディングされたＡＳＭを適応化させ、前処理された顔画像から眉毛、目、鼻、唇、または顔の輪郭線に対する各特徴点を抽出する（ステップＳ７０）。
【０１２２】
前記特徴点の抽出時に、各顔構成要素に対する特徴点抽出の探索領域を予め制限した状態でＡＳＭ適応化を行っているが、探索領域の制限については、図１の説明で詳しく説明したので、その詳細は省略する。
【０１２３】
その次に、顔カリカチュア生成部３９ａは、３次元ポリゴン顔の基本モデルＤＢ１５及び２次元顔のテクスチャＤＢ１３から３次元顔基本モデル及び２次元顔のテクスチャをローディングし（ステップＳ９０）、ローディングされた２次元顔のテクスチャを３次元顔基本モデルにマッピングし（ステップＳ１１０）、その後、抽出された各特徴点の座標値に応じて３次元顔基本モデルを変形して、３次元ポリゴン顔のカリカチュアを生成する（ステップＳ１３０）。
【０１２４】
ここで、２次元顔のテクスチャは、図１２（ａ）に示すように、皮膚色、眉毛の色、唇の色などを３次元顔基本モデルに適用するためのものであり、図１２（ｂ）に示すように、２次元顔のテクスチャを３次元顔基本モデルにマッピングすると、より自然で精度の高い３次元顔のカリカチュアが生成されることが分かる。
【０１２５】
抽出された各特徴点の座標値に応じて３次元顔基本モデルを変形する過程について、以下、概略的に説明する。ＡＳＭ適応部３７を介して抽出された特徴点は、ＸＹ座標値を有するが、これらのＸＹ座標値に基づいて各特徴点を３次元顔基本モデルに適用すると、３次元顔基本モデル上のポリゴン成分が変位され、結果的に使用者の顔と類似した３次元顔基本モデルに変形されるようになる。
【０１２６】
図１３は、３次元ポリゴン顔の基本モデルを変形する過程を説明するための図であり、図１３に示すように、３次元顔基本モデル上の各基本特徴点がＡ、Ｂ、Ｃであり、特徴点Ａ、Ｂ、Ｃの３点が成す三角形内にある所定のポリゴンがＤであり、△ＡＢＣの面積がＡｒｅａであり、△ＤＢＣの面積がＡ１であり、△ＤＡＣの面積がＡ２であり、△ＤＡＢの面積がＡ３であると仮定する。
【０１２７】
ＡＳＭ適応化により抽出された特徴点Ａ′、Ｂ′、Ｃ′を３次元顔基本モデル上に適用すると、顔基本モデル上の基本特徴点は、それぞれＡ→Ａ′、Ｂ→Ｂ′、Ｃ→Ｃ′に移動され、これにより、３次元顔基本モデル上のポリゴンもそれぞれ変位されるが、このとき、ポリゴンＤの変位は、下記の数２のようになる。
【０１２８】
【数２】
0003924262.tif 000003
【０１２９】
上記数２において、ｗ1、ｗ２、ｗ３は、それぞれＡ1をＡｒｅａに除した値、Ａ２をＡｒｅａに除した値、Ａ３をＡｒｅａに除した値、即ち、
【数３】
0003924262.tif 000004
である。
【０１３０】
特徴点の適用によりポリゴンＤが変位されると、ポリゴンＤ周辺のポリゴンも同様な方式で変位され、これにより、３次元顔基本モデルが全体として使用者の顔と類似に変形される。
【０１３１】
前記抽出された各特徴点を３次元顔基本モデル上に適用する際、ＸＹ座標値の以外の情報、例えば、Ｚ軸方向の座標値は、３次元顔基本モデルが有している人類学的標準データをそのまま活用する。例えば、ＡＳＭ適応化により抽出された特徴点のＸ、Ｙ座標が（１７０、２１０）の場合、これを３次元顔基本モデル上に適用すると、特徴点のＸ、Ｙ、Ｚ座標は、（１７０、２１０、３５）になるが、ここで、Ｚ軸方向の座標値３５は、３次元顔基本モデルが有している人類学的標準データ値である。
【０１３２】
一方、前記したように、３次元顔基本モデルが有している人類学的標準データをそのまま活用する方法の他に、後述するように、側面の顔画像を利用して使用者とより類似した３次元カリカチュアを生成することも可能である。
【０１３３】
まず、側面の顔画像が入力された場合、前処理部３１は、入力された側面の顔画像から鼻の先の点や眉毛を検出し、これに基づいて側面の顔画像を正規化し、顔構成要素の初期位置検出部３３は、前処理された顔画像から顔構成要素に対するそれぞれの側面の初期位置を検出する。その次に、ＡＳＭローディング部３５は、検出された側面の初期位置に対応するように、メモリ部１０に格納されている側面のＡＳＭを前処理された側面の顔画像にローディングし、ＡＳＭ適応部３７は、ローディングされた側面のＡＳＭを適応化して、前処理された側面の顔画像から眉毛、目、鼻、唇、及び顔の輪郭線に対する各特徴点のＹＺ座標値を抽出する。
【０１３４】
その次に、顔カリカチュア生成部３９ａは、ＡＳＭ適応部３７を介して抽出された各特徴点のＸＹ、ＹＺ座標値に応じて３次元ポリゴン顔の基本モデルを変形し、３次元ポリゴン顔のカリカチュアを生成する。
【０１３５】
また、使用者と類似しながらも戯画性または誇張性の強調された３次元カリカチュアを生成するために、スネーク（Ｓｎａｋe）アルゴリズムを利用して顔基本モデルを変形することも可能である。以下、スネークアルゴリズムを利用して３次元顔基本モデルを変形する方法について簡単に説明する。
【０１３６】
スネークアルゴリズムは、画像力（ｉｍａｇｅ  ｆｏｒｃｅｓ）のようなエネルギー最小化を繰り返して行い、画像内でライン、エッジ、輪郭線などを抽出する方法であり、本発明では、スネークアルゴリズムを適用して、各特徴点間の相互位置及び各特徴点が成す形状を可能な限り維持しながらＸＹ位置変換を行い、残りの周辺点は、基本モデル上の座標値に基づいてＸＹＺ変換することにより、使用者の顔と類似しながらも戯画性または誇張性の強調されたカリカチュアを生成する。
【０１３７】
図１４は、誇張性の強調されたカリカチュアの一例を示している。図１４に示すように、誇張された３次元顔基本モデルを用い、使用者の顔構成要素から重要な特徴のみを３次元顔基本モデルに適用することにより、使用者の顔と類似した種々の３次元キャラクターを生成することができる。
【０１３８】
さらに、図３を参照して、３次元ポリゴン顔のカリカチュアが生成された後、身体カリカチュア生成部３９ｂは、３次元身体モデルＤＢ１７に格納されている３次元身体モデルに基づいて３次元身体カリカチュアを生成し（ステップＳ１５０）、最終的に、３次元ポリゴン顔のカリカチュアと３次元身体カリカチュアとを合成して３次元カリカチュアを完成する（ステップＳ１７０）。
【０１３９】
一方、２次元カリカチュアが必要な場合、投影部４０を介して３次元カリカチュアを２次元に投影して、２次元カリカチュアを生成し（ステップＳ１９０〜ステップＳ２１０）、３次元カリカチュアの伝送が必要な場合、３次元カリカチュアから各特徴点の座標値及びメモリ参照値を抽出して伝送する（ステップＳ２３０〜ステップＳ２５０）。以下、伝送された各特徴点の座標値及びメモリ参照値に基づいて再び３次元カリカチュアを復元する方法について説明する。
【０１４０】
図５は、図３において伝送された３次元カリカチュアを復元する方法を示すフローチャートである。
【０１４１】
まず、３次元カリカチュアから抽出された各特徴点の座標値及びメモリ参照値が受信されると、顔カリカチュア生成部３９ａは、３次元ポリゴン顔の基本モデルＤＢ１５、及び２次元顔のテクスチャＤＢ１３から受信されたメモリ参照値に対応する３次元顔基本モデル、及び２次元顔のテクスチャをローディングする（ステップＳ３１０）。
【０１４２】
その次に、顔カリカチュア生成部３９ａが２次元顔のテクスチャを３次元顔の基本モデルにマッピングした後、受信された各特徴点の座標値に応じて３次元顔の基本モデルを変形して３次元ポリゴン顔のカリカチュアを復元する（ステップＳ３３０〜ステップＳ３５０）。
【０１４３】
その次に、身体カリカチュア生成部３９ｂが受信されたメモリ参照値に対応する３次元身体モデルを３次元身体モデルＤＢ１７からローディングして、３次元身体カリカチュアを復元し、このように復元された３次元ポリゴン顔のカリカチュアと３次元身体カリカチュアとを合成して３次元カリカチュアを復元する（ステップＳ３７０〜ステップＳ３９０）。
【０１４４】
前記した３次元カリカチュア伝送及び復元方法は、３次元カリカチュアの生成装置１００と、３次元カリカチュアを復元できるデータベースさえ備えていれば、カリカチュアステッカー自販機、コンピュータ、携帯電話、ＰＤＡなどの通信端末、アバター（ａｖａｔａｒｓ）を用いたゲーム、チャティングインターネットサービスなど、様々な分野に適用できる。例えば、カリカチュアステッカー自販機から伝送された３次元カリカチュアをインターネットアバターサイトで復元したり、コンピュータから伝送された３次元カリカチュアを携帯電話で復元することができる。
【０１４５】
以上のように、添付図面に基づいて一実施例を挙げて説明してきたが、本発明は、これに限定されるものでなく、このような本発明の基本的な技術的思想を逸脱しない範囲内で、当業界の通常の知識を有する者にとっては、他の多くの変更が可能である。また、本発明は、添付の特許請求の範囲に基づいて解釈されるべきであることは言うまでもない。
【０１４６】
【発明の効果】
本発明に係る３次元カリカチュアの生成装置及びその方法によれば、以下のような効果を奏する。
すなわち、顔の形状に合わせて特化したＡＳＭ手法を用いることで、顔を特徴付ける各要素の特徴点情報を正確に抽出することが可能となり、使用者の顔と類似性の高い３次元カリカチュアを生成することが可能となる。
【０１４７】
また、本発明によると、２次元カリカチュアが必要な場合、３次元カリカチュアを投影により２次元カリカチュアに容易に変換でき、３次元カリカチュアの伝送時に、顔の特徴情報や３次元カリカチュアに使用されたメモリ参照値のみを伝送しているので、システム負荷を最小限に抑えることができる。
【０１４８】
さらに、本発明によると、カリカチュアステッカー自販機、コンピュータ、携帯電話、ＰＤＡなどの通信端末機、及びインターネット上で、３次元カリカチュアを簡単に復元して使用することが可能となる。
【図面の簡単な説明】
【図１】本発明に係る３次元カリカチュアの生成装置の概略を示すブロック図である。
【図２】図１における前処理部の詳細な構成を示す図である。
【図３】本発明に係る３次元カリカチュアの生成方法を示すフローチャートである。
【図４】図３における前処理段階の詳細を示すフローチャートである。
【図５】図３における伝送された３次元カリカチュアを復元する方法を示すフローチャートである。
【図６】顔画像の一例を示す図である。
【図７】設定しきい値によって顔画像を２進化した結果を示す図である。
【図８】設定しきい値によって顔画像を２進化した結果を示す他の図である。
【図９】２進化のしきい値の変化に応じて顔画像での目の占める大きさが変化することを示す図である。
【図１０】本発明により入力された顔画像から特徴点を抽出する一例を示す図である。
【図１１】顔構成要素の初期位置検出によりＡＳＭ適応化性能が向上した一例を示す図である。
【図１２】３次元ポリゴン顔のカリカチュアを生成する過程を説明するための図である。
【図１３】３次元ポリゴン顔の基本モデルを変形する過程を説明するための図である。
【図１４】誇張性の強調されたカリカチュアの一例を示す図である。
【符号の説明】
１０：メモリ部
１１：学習データＤＢ
１３：２次元顔のテクスチャＤＢ
１５：３次元ポリゴン顔の基本モデルＤＢ
１７：３次元身体モデルＤＢ
３０：画像処理部
３１：前処理部
３３：顔構成要素の初期位置検出部
３５：ＡＳＭローディング部
３７：ＡＳＭ適応部
３９：カリカチュア生成部
３９ａ：顔カリカチュア生成部
３９ｂ：身体カリカチュア生成部
４０：投影部
５０：カリカチュア格納部
７０：カリカチュア送受信部
【図１】
0003924262.tif 000005
【図２】
0003924262.tif 000006
【図３】
0003924262.tif 000007
【図４】
0003924262.tif 000008
【図５】
0003924262.tif 000009
【図６】
0003924262.tif 000010
【図７】
0003924262.tif 000011
【図８】
0003924262.tif 000012
【図９】
0003924262.tif 000013
【図１０】
0003924262.tif 000014
【図１１】
0003924262.tif 000015
【図１２】
0003924262.tif 000016
【図１３】
0003924262.tif 000017
【図１４】
0003924262.tif 000018