(57)【要約】一枚の顔正面イメージを使用者が表示される画面上で顔の正面、側面及び後面を修正して正確な３次元の立体映像で再生できる３次元顔形状を製作する。３次元顔モデリングシステムの運営方法は、ポリゴンメッシュの形態で表現される仮想３次元顔の標準モデルとモデリング対象の対象モデル正面イメージを、標準モデルが表示される画面上に重ね合わせるように提供する。重ね合わせる標準モデルと対象モデル正面イメージが一致するように標準モデルを変形する。変形された標準モデルを基に、対象モデルの正面イメージを修正した形態である顔正面テクスチャーを生成する。生成された顔の正面テクスチャーで顔色及び毛髪色と同じ画素を抽出して、抽出された画素を顔の側面及び後面テクスチャーに付与し頭型を編集する。顔の正面、側面及び後面テクスチャーを変形した標準モデルにテクスチャーマッピングして３次元の顔形状を復元する。
2004506276.tif 000002
【特許請求の範囲】
【請求項１】
３次元仮想顔をポリゴンメッシュの形状の標準モデルで提供する仮想３次元標準モデル提供モジュール；
モデリング対象の顔の正面イメージを提供する対象モデル正面イメージ提供モジュール；
前記標準モデルに前記対象モデルの正面イメージを重ね合わせた後、標準モデルを前記対象モデルの正面イメージと一致するように変形する標準モデル変形モジュール；
前記対象モデルの正面イメージに対する修正顔の正面テクスチャーを生成する顔正面テクスチャー生成モジュール；
前記正面テクスチャーの顔色及び毛髪色と同様に顔の側面及び後面テクスチャーを製作する顔の側面及び後面テクスチャー編集モジュール；及び、
前記製作された顔の正面、側面及び後面テクスチャーを変形の標準モデルにテクスチャーマッピングしたテクスチャーマッピングモジュールを含むことを特徴とする、３次元顔モデリングシステム。
【請求項２】
前記顔の側面及び後面テクスチャー編集モジュールは、前記標準モデルの左側及び右側の何れか一側の頭型を変形すれば、それに対応する他側の頭型も自動変化する対称モード（ｓｙｍｍｅｔｒｙ ｍｏｄｅ）を行うことを特徴とする、請求項１に記載の３次元顔モデリングシステム。
【請求項３】
前記仮想３次元標準モデルには、前記対象モデルの正面イメージと比較して顔全体の横と縦の比率を一致させるための頭周り調整線；
前記対象モデルの正面イメージと比較して目、鼻及び口の横位置を一致させるための横調整線；
前記対象モデルの正面イメージと比較して両目及び鼻の縦位置を一致させるための縦調整線；及び、
前記対象モデルの正面イメージと比較して前記標準モデルの特定部位を一致させるための特徴点を含むことを特徴とする、請求項１に記載の３次元顔モデリングシステム。
【請求項４】
前記標準モデル変形モジュールは、前記標準モデルの頭周り調整線、横調整線及び縦調整線を前記対象モデルの正面イメージに各々対応させて前記標準モデルの輪郭を一致させるグローバル変形モジュール；及び、
前記変形された標準モデルの特徴部位を前記対象モデルの正面イメージに対応させて前記標準モデルの特定部位を一致させるローカル変形モジュールからなることを特徴とする、請求項１に記載の３次元顔モデリングシステム。
【請求項５】
前記グローバル変形モジュール及びローカル変形モジュールは、前記標準モデルの左・右調整線と特徴点の何れか一つが動けば、対応する他側の調整線または特徴点が自動変化する対称モード（ｓｙｍｍｅｔｒｙ ｍｏｄｅ）を行うことを特徴とする、請求項４に記載の３次元顔モデリングシステム。
【請求項６】
３次元仮想顔をポリゴンメッシュ（ｐｏｌｙｇｏｎ ｍｅｓｈ）で表現する幾何学的な形態の標準モデルとして提供する段階；
対象モデルの正面イメージを前記標準モデルが表示される画面上に重ね合わせるように提供する段階；
前記重ね合わせた標準モデルと前記対象モデルの正面イメージが一致するように前記標準モデルを変形させる段階；
前記変形された標準モデルを基に、対象モデルの正面イメージで正面と側面の境界線よりも少し内側で、前記対象モデルの正面イメージの顔色及び毛髪色と同じ画素を抽出して顔正面テクスチャーを生成する段階；
前記生成された顔正面テクスチャーの顔色及び毛髪色と同じ顔色及び毛髪色を顔の側面及び後面テクスチャーに付与し、髪型を編集する段階；及び、
前記顔の正面、側面及び後面テクスチャーをテクスチャーマッピングして、３次元の顔形状を復元する段階を含むことを特徴とする、３次元顔モデリング方法。
【請求項７】
前記標準モデルの変形段階は、前記標準モデルの輪郭が前記対象モデルの正面イメージと一致するように前記標準モデルの頭周り調整線、横調整線及び縦調整線を調節し、バーテックス（ｖｅｒｔｅ：頂点）全体の位置を線形的に補正するグローバル変形段階；及び、
前記調節及び補正された標準モデルと前記対象モデルの正面イメージの特定部位が一致するように前記標準モデルの特徴点及び非特徴点を変形して、前記特定部位を細部的に修正するローカル変形段階を含むことを特徴とする、請求項６に記載の３次元顔モデリング方法。
【請求項８】
前記顔正面テクスチャーの生成段階において、抽出された顔色の画素は口の位置を中心として放射線方向に、前記毛髪色の画素は額を中心として放射線方向にイメージプロセッシングすることを特徴とする、請求項６に記載の３次元顔モデリング方法。
【請求項９】
前記顔後面テクスチャーに顔色及び毛髪色を付与することは、前記顔正面テクスチャーで目の位置の修正線を基準として、修正された右側四角領域が顔後面テクスチャーの左に入り、左側四角領域が顔後面テクスチャーの右に入り、中央部分は両側を線形的に補正することを特徴とする、請求項６に記載の３次元顔モデリング方法。
【請求項１０】
前記テクスチャーマッピングは、前記顔正面テクスチャーの場合は顔正面の約１２０゜程度をテクスチャーマッピングし、前記顔の側面及び後面テクスチャーの場合は円筒形マッピングすることを特徴とする、請求項６に記載の３次元顔モデリング方法。
【請求項１１】
前記顔の側面及び後面の髪型の修正は、前記顔の側面及び後面の髪型によって髪型調整点をつけた後、前記髪型調整点がなす線を中心として、前記線の上部には毛髪色を付与し、前記線の下部には顔色を付与することを特徴とする、請求項６に記載の３次元顔モデリング方法。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は１枚の顔正面イメージを利用して顔全体を立体形状で製作する３次元顔モデリングに関し、詳しくは、使用者が表示される画面上で顔の正面、側面、後面を修正して正確な３次元の立体映像で再生できる３次元顔モデリングに関する。
【０００２】
人体を３次元モデリングするために最も重要な部分は顔である。顔は人の同一性を形成するのに最も大きい比重を占めるだけでなく、小さな面積に多くの重要な構成要素を含んでいる。このような構成要素の小さな変化によって全体として顔が違うように見えることができる。
【０００３】
また、３次元顔に３次元身体のような付加要素を追加してアニメーション効果を提供すれば、仮想現実世界（ＶＲ）における実際自身の同一性を持つアバター（ａｖａｔａｒ：具象）の登場が可能になる。換言すれば、真の自身のアバターで仮想現実社会をなすには、自身の３次元顔モデリングが具現されるべきである。
【０００４】
一般的に、３次元で顔をモデリングする方法としては、３次元スキャニング装備を利用して顔を３次元モデリングする方法と、ステレオビジョン（ｓｔｅｒｅｏ ｖｉｓｉｏｎ）等を利用して他の角度で取った写真から共通の領域に対応する２次元情報を組み合わせて３次元モデリングする方法とがある。
【０００５】
【発明が解決しようとする課題】
スキャニング装備を利用して顔を３次元モデリングする方法は、幾何学的モデルだけでなく、顔色などのテクスチャー情報まで完壁に復元できるが、高価な装備を使用するため、一般人に商用化しにくいという問題点がある。
【０００６】
また、ステレオビジョン等の２次元情報を３次元で復元する方法は、提供される写真の共通の部分が存在するように、多様な角度で取った写真を提供しなければならないという問題点がある。
【０００７】
したがって、本発明は前記問題点を解決するためのもので、その目的は、正面で取った１枚の顔写真だけで３次元顔モデリングするシステムを提供することにある。
【０００８】
本発明の他の目的は、正面で取った１枚の顔写真だけで３次元顔モデリングする方法を提供することにある。
【０００９】
【課題を解決するための手段】
前記目的を達成するために、本発明の３次元顔モデリングシステムの運用方法は、ポリゴンメッシュ（ｐｏｌｙｇｏｎ ｍｅｓｈ）で表現する仮想３次元顔を標準モデルとして提供する段階；対象モデルの正面イメージを前記標準モデルが表示される画面上に重ね合わせるように提供する段階；重ね合わせた標準モデルと対象モデルの正面イメージが一致するように標準モデルを変形させる段階；変形された標準モデルを基に、対象モデルの正面イメージで正面と側面の境界線よりも少し内側で、対象モデルの正面イメージの顔色及び毛髪色と同じ画素を抽出して顔正面テクスチャーを生成する段階；生成された顔正面テクスチャーの顔色及び毛髪色と同じ顔色及び毛髪色を顔の側面及び後面テクスチャーに付与し、髪型を編集する段階；及び、顔の正面、側面及び後面テクスチャーをテクスチャーマッピングして、３次元の顔形状を復元する段階を含む。
【００１０】
望ましくは、標準モデルの変形段階は、標準モデルの輪郭が対象モデル正面イメージと一致するように標準モデルの頭周り調整線及び横と縦の調整線を調節し、バーテックス全体の位置を線形的に補正するグローバル変形段階と、グローバル変形された標準モデルと対象モデル正面イメージの特定部位が一致するように標準モデルの特徴点及び非特徴点を変形し、特定部位を細部的に修正するローカル変形段階とを含む。
【００１１】
【発明の実施の形態】
以下、添付図面に基づき、本発明の望ましい実施例を詳細に説明する。
図１は本発明による３次元顔モデリングシステムの概略ブロック図で、図２は本発明による３次元顔モデリングする順序図で、図３は本発明によって提供さるる仮想３次元の標準モデルを画面に示す一実施例で、図４は本発明によって提供される対象モデル正面イメージと標準モデルを重ね合わせた一実施例で、図５は本発明によって標準モデルの特徴点を調整して対象モデル正面イメージに一致させる一実施例で、図６は本発明によって顔正面テクスチャーを生成した一実施例で、図７は本発明によって顔後面テクスチャーを編集する一実施例である。
【００１２】
本実施例を示す図３乃至図７は画面上で表示されるものであって、画面は左側及び右側の上・下段に分けられる４個の小さな画面からなり、画面の左側上段は標準モデルを正面で変形し、画面の右側上段は標準モデルを側面で変形し、画面の左側下段は顔の側面及び後面テクスチャーに対する編集を行い、右側下段は３次元で復元された３次元顔を立体的に回転して比較できる画面が提供される。
【００１３】
また、本発明でのポリゴンメッシュは、顔全体に対して５００〜１，０００余個の複数の点を結んだ三角形の網形態であって、各顔全体の大きさ及び形状を表現する。
【００１４】
本発明の３次元顔モデリングシステムは、３次元仮想顔をポリゴンメッシュの形態の標準モデルで提供する仮想３次元標準モデル提供モジュール１０２と、モデリング対象の顔正面イメージを提供する対象モデル正面イメージ提供モジュール１０４と、標準モデルに対象モデル正面イメージを重ね合わせた後、標準モデルを対象モデルに一致するように変形する標準モデル変形モジュール１０６と、対象モデル正面イメージを修正して顔正面テクスチャーを生成する顔正面テクスチャー生成モジュール１１２と、顔正面テクスチャーの顔色及び毛髪色と同様に顔の側面及び後面テクスチャーを製作する顔側面及び後面テクスチャー編集モジュール１１４、１１６と、製作された顔の正面、側面及び後面テクスチャーを変形の標準モデルにマッピングするテクスチャーマッピングモジュール１１８とを含む。
【００１５】
望ましくは、仮想３次元標準モデル提供モジュール１０２では、図３のように、一般形の顔に基づいて３次元製作した仮想の標準モデルを提供する。標準モデルは顔全体が３角形のポリゴンメッシュ（ｐｏｌｙｇｏｎ ｍｅｓｈ）１０の集まりである幾何学的な立体映像として提供される。また、画面上で提供される標準モデルは、対象モデルの正面イメージ１と一致させるために顔全体の横・縦の比率を合わせるための頭周り調整線２、顔の特定部位を合わせるための横調整線４、縦調整線６及び特徴点８を含む。
【００１６】
対象モデル正面イメージ提供モジュール１０４では、図４のように、３次元製作するための対象モデルの顔正面写真をスキャニングした対象モデルの正面イメージ１を標準モデルが表示される画面上に重ね合わせるように提供する。よって、標準モデルの各種調整線２、４、６、８と実際対象モデルの正面イメージ１との全体的な大きさ及び主要部位の位置差が容易に分かる。
【００１７】
標準モデルの変形モジュール１０６は、大きく、グローバル変形モジュール１０８及びローカル変形モジュール１１０を含み、標準モデルと対象モデルの正面イメージ１が一致するように標準モデルを変形する。
【００１８】
このとき、グローバル変形モジュール１０８では、図５のように、画面上で重ね合わせられた対象モデルの正面イメージ１と標準モデルを比較して、標準モデルが正面イメージ１に一致するように標準モデルの頭周り調整線２、横調整線４及び縦調整線６などを調整する。
【００１９】
また、ローカル変形モジュール１１０では、グローバル変形モジュール１０８により対象モデルの正面イメージ１と標準モデルの外形を全般的に一致させた後、標準モデルの眉、目、鼻、口及び耳等の顔の特定部位に既定の特徴点８を対象モデルの正面イメージ１に一致するように調整する。また、このような特徴点８は特徴点８の変化に連動され、顔全体の屈曲を表現する非特徴点の変化を伴う。
【００２０】
顔正面テクスチャー生成モジュール１１２では、標準モデルと対象モデルの正面イメージ１を一致させた後、図６のように、グローバル変形モジュール１０８で調整された頭周り調整線の位置を基に、対象モデル正面イメージの正面と側面の境界線よりも少し内側で、対象モデル正面イメージの顔色及び毛髪色と同様な多数の画素を抽出し、対象モデル正面イメージを修正した形態である顔正面テクスチャーを生成する。
【００２１】
また、顔の側面及び後面テクスチャー編集モジュール１１４、１１６は、生成された顔正面テクスチャーを利用して顔の側面及び後面テクスチャーを生成して編集する。初期生成時、顔の側面及び後面テクスチャーの大きさは顔正面テクスチャーの大きさと同様にし、構成は顔正面テクスチャーで目位置修正線を基準として、修正された右側四角領域が顔後面テクスチャーの左に入り、左側四角領域が顔後面テクスチャーの右に入る。また、中央部分は両側を線形的に補正して満たす。顔の側面及び後面テクスチャー生成後、これに対する編集は図７のように、頭型調整点１２を利用して修正する。
【００２２】
テクスチャーマッピングモジュール１１８では、生成された顔の正面、側面及び後面テクスチャーを変形の標準モデルにテクスチャーマッピングする。顔正面テクスチャーは顔正面から約１２０゜程度をテクスチャーマッピングするが、テクスチャー座標は形状の正面に該当する各バーテックスをｘ、ｙ平面に投影して求める。側面及び後面テクスチャーの場合、顔正面テクスチャーによりマッピングされない領域に対してテクスチャーマッピングするが、顔正面テクスチャーとは異なり、円筒形マッピング（ｃｙｌｉｎｄｒｉｃ ｍａｐｐｉｎｇ）によりテクスチャー座標を求める。円筒形マッピングは幾何学的な形状を頭の上から見た時、その中心を軸として側面から後面まで側面及び後面テクスチャーを円筒形に立ててこれをテクスチャーマッピングする。
【００２３】
以下、図２に示すように、本発明による３次元顔モデリングの処理過程によって詳細に説明する。
まず、３次元仮想標準モデルを画面上に表示するように提供する（段階Ｓ２０２）。標準モデルは、図３に示すように、正面及び側面に各々画面上に表示され、提供される標準モデルは顔全体が３角形のポリゴンメッシュ１０で表現され、顔全体の幾何学的な形状を具現する。また、標準モデルは顔の横・縦の比率を合わせるための頭周り調整線２と、目、鼻、口の位置を合わせるための横調整線４と、両目及び鼻の位置を合わせるための縦調整線６と、顔の特定部位に対してその位置を概略的に表す特徴点８とを含む。
【００２４】
標準モデルの提供後、対象モデルの顔正面写真をスキャニングして保存したカラー及び白黒の各種正面イメージ１を、図４のように標準モデルが表示される画面上に重ね合わせるように提供する（段階Ｓ２０４）。したがって、提供される正面顔写真はポリゴンメッシュ１０で構成された標準モデルと比較されるように重ね合わせされる。
【００２５】
対象モデルの正面イメージ１と標準モデルが画面上に表示されれば、使用者は標準モデルをグローバル変形させる（段階Ｓ２０６）。グローバル変形は正面イメージ１と標準モデルを比較して、標準モデルの頭周り調整線２、横調整線４及び縦調整線６を各々対応する正面イメージ１に一致する割合で調整する。正面イメージ１に対して頭周り調整線２は顔の横と縦の比率を合わせ、横の３線のうち、上の横調整線は目の位置に、中間の横調整線は鼻端に、下の横調整線は口の位置に一致するように調整して全体バーテックスをグループ化する。縦の３線は両目の位置と鼻の位置に一致するように調整する。また、変形された調整線の位置によって、変化量に合わせて標準モデルのバーテックス全体の位置を線形的に補正する。
【００２６】
グローバル変形で標準モデルの顔全体の比率を調整した後、ローカル変形で特定部位を細部的に修正する（段階Ｓ２０８）。ローカル変形は標準モデルの各部位の既定の特徴点８を正面イメージ１に一致させる。特徴点８は顔輪郭、眉毛、目、鼻、口及び耳等の顔の特定部位に対してその大きさと位置を概略的に表すもので、特徴点８の変化によって周囲に影響を受ける非特徴点と連動するようにインデックスされる。このとき、特徴点８の変形において、正面の特徴点８はｘ、ｙ、ｚ座標中でｘ、ｙに対するもので、側面の場合はｚ座標に対する移動に関連する。
【００２７】
グローバル変形とローカル変形において、使用者は対称モード（ｓｙｍｍｅｔｒｙ ｍｏｄｅ）及び非対称モードを選択的に使用することができる。対称モードは人の顔が左・右対称であることを利用したもので、左・右の何れか一つの調整線または特徴点が動けば、対応する他側の調整線または特徴点８も自動で対応するように動く。これとは別途に、非対称モードを使用して、それぞれの調整線２、６または特徴点８を調節できる。
【００２８】
このようなグローバル変形及びローカル変形により変形された標準モデルを基に、対象モデルの顔イメージを修正した形態である顔正面テクスチャーを生成する。図６のように、対象モデルの正面イメージ１でグローバル変形の調整線の位置を利用して、イメージプロセッシング作業によって正面と側面の境界線よりも少し内側で、顔色及び毛髪色で外部領域を修正して顔正面テクスチャーを生成する（段階Ｓ２１０）。
【００２９】
顔正面テクスチャーを生成後、顔の側面及び後面テクスチャーを生成し編集する（段階Ｓ２１２）。まず、生成時の初期構成は顔正面テクスチャーで目の位置の修正線を基準として、修正された右側四角領域の画素が側面及び後面テクスチャーの左に入り、左側四角領域の画素が右に入る。また、中央部分は両側を線形的に補正して満たす。そして、テクスチャーマッピング時、正面テクスチャーと側面及び後面テクスチャーの連結部分で、毛髪の不自由な領域は使用者が該当部分の側面及び後面テクスチャーを確認しながら編集する。
【００３０】
また、顔の側面及び後面テクスチャーの頭型は、図７のように、頭型調整点１２で修正する。頭型調整点１２は顔の側面及び後面の頭型を決定後、調整点１２を付けて形態を形成すれば、その点からなす線を中心として線の上部は毛髪色に、下部は顔色にイメージプロセッシングする。ここで、使用者はグローバル変形及びローカル変形と同様に対称モードを使用して、一側の側面及び後面テクスチャーの変化が他側に同様に適用されるようにすることができる。
【００３１】
顔の正面、側面及び後面テクスチャーが完成すれば、３次元顔の幾何学的な形状で顔正面から約１２０゜程度を顔の正面テクスチャーとしてテクスチャーマッピングする（段階Ｓ２１４）。テクスチャー座標は幾何学的な形状の正面に該当する各バーテックスをｘ、ｙ平面に投影して求める。顔の側面及び後面テクスチャーの場合、顔正面テクスチャーによりマッピングされない領域に対してテクスチャーマッピングするが、顔正面テクスチャーとは異なり、円筒形マッピングによりテクスチャー座標を求める。顔全体テクスチャーの幾何学的な形状を頭の上から見た時、その中心を軸として側面から後面まで顔後面テクスチャーを円筒形に立てて、これをテクスチャーマッピングする。
【００３２】
以上、本発明の望ましい実施例として顔の３次元モデリングシステムに対して上述したが、本発明の属する技術分野における通常の知識を持った人が容易に変更できる程度の構成は、添付の請求範囲に記載された技術思想に含まれる。
【００３３】
【発明の効果】
本発明の構成から見れば、本発明は一枚の正面顔写真だけで顔全体を３次元で容易に具現できる。
【００３４】
また、本発明は全体的な顔の形状と共に顔色及び毛髪色を具現できることで、完壁な３次元立体映像を提供できる。
【００３５】
また、本発明は一枚の正面顔写真で３次元の立体映像を具現できるため、自身のアバターを具現して仮想現実世界で適用できる。
【図面の簡単な説明】
【図１】
本発明による３次元顔モデリングシステムの概略ブロック図である。
【図２】
本発明による３次元顔モデリングする順序図である。
【図３】
本発明によって提供さるる仮想３次元の標準モデルを画面に示す一実施例である。
【図４】
本発明によって提供される対象モデル正面イメージと標準モデルを重ね合わせた一実施例である。
【図５】
本発明によって標準モデルの特徴点を調整して対象モデル正面イメージに一致させる一実施例である。
【図６】
本発明によって顔正面テクスチャーの顔色と毛髪色を再構成した一実施例である。
【図７】
本発明によって顔後面テクスチャーを編集する一実施例である。
【符号の説明】
１　対象モデルの正面イメージ
２　頭周り調整線
４　横調整線
６　縦調整線
８　特徴点
１０　ポリゴンメッシュ
１２　頭型調整点
【図１】
2004506276.tif 000003
【図２】
2004506276.tif 000004
【図３】
2004506276.tif 000005
【図４】
2004506276.tif 000006
【図５】
2004506276.tif 000007
【図６】
2004506276.tif 000008
【図７】
2004506276.tif 000009
【国際公開パンフレット】
2004506276.tif 000010
2004506276.tif 000011
2004506276.tif 000012
2004506276.tif 000013
2004506276.tif 000014
2004506276.tif 000015
2004506276.tif 000016
2004506276.tif 000017
2004506276.tif 000018
2004506276.tif 000019
2004506276.tif 000020
2004506276.tif 000021
2004506276.tif 000022
2004506276.tif 000023
2004506276.tif 000024
2004506276.tif 000025
2004506276.tif 000026
2004506276.tif 000027
2004506276.tif 000028
2004506276.tif 000029
2004506276.tif 000030
2004506276.tif 000031
2004506276.tif 000032
2004506276.tif 000033
【国際調査報告】
2004506276.tif 000034