(57)【要約】【課題】低い計算コストで高品質な顔を表現することができる三次元顔モデルデータ生成装置を提供する。【解決手段】人物表情撮影部１は、被写体となる人物の映像を撮影する。表情データ取得部２は、撮影した人物映像から、顔に相当する領域と、表情を表現するために必要な制御点の座標を抽出する。顔モデル変形部４は、抽出した表情向けの制御点の座標を用い、対応する顔モデルに係る形状データの制御点を移動・変形させ、被写体の表情付き形状データを生成する。顔テクスチャ切り出し部５は、顔に相当する領域を、撮影した人物映像から切り出す。テクスチャ貼付部６は、被写体の表情付き形状データに対し、取得したテクスチャを貼付する。表示部７は、テクスチャを貼付した形状データをレンダリングして表示を行う。【選択図】図１
2012185624.tif 000002
【特許請求の範囲】
【請求項１】
被写体となる人物の映像を撮影する人物表情撮影手段と、
前記人物表情撮影手段により撮影された人物映像から、顔に相当する領域と、表情を表現するために必要な制御点との座標を抽出する表情データ取得手段と、
予め作成された被写体の形状データ、及びテクスチャを持つ顔モデルを保持する顔モデル保持手段と、
前記表情データ取得手段によって抽出された表情向けの制御点の座標を用い、前記顔モデル保持手段に保持されている顔モデルに係る形状データの制御点を移動・変形させ、被写体の表情付き形状データを生成する顔モデル変形手段と、
前記表情データ取得手段によって抽出された顔に相当する領域を、前記人物表情撮影手段により撮影された人物映像からテクスチャとして切り出す顔テクスチャ切り出し手段と、
前記顔モデル変形手段によって生成された前記被写体の表情付き形状データに対し、前記顔テクスチャ切り出し手段によって切り出されたテクスチャを貼付するテクスチャ貼付手段と
を備えることを特徴とする三次元顔モデルデータ生成装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、人物の顔の表情を精細にリアルタイムで表現するための三次元顔モデルデータ生成装置に関する。
【背景技術】
【０００２】
人物やキャラクタなどをコンピュータグラフィックス（ＣＧ）で表現する手法が多く利用されている。テレビ番組などにおいては、リアルタイムで役者の体勢や、表情などをセンシングして、ＣＧキャラクタのポーズや、表情などに反映させることで効果的なＣＧ演出を行っている。
【０００３】
特に、エンターテインメント分野を中心に、仮想キャラクタだけでなく、リアルな人物ひいては役者自身のＣＧモデルを用いてリアルタイム表示する手法もある。バーチャルリアリティや、立体視映像を用いた表現においては、被写体自身をリアルタイムでＣＧモデル（三次元モデル）化することがとても重要である。
【０００４】
リアルタイムで被写体自身のＣＧモデルを表現する手法としては、ステレオ計測や、奥行きカメラによって直接形状を含めて取得する手法（例えば非特許文献１参照）と、モーションキャプチャによって取得した姿勢・表情データを、予め作成したＣＧモデルの骨格や、表情制御点などに当てはめる手法（例えば非特許文献２参照）との２つが主流となっている。
【先行技術文献】
【非特許文献】
【０００５】
【非特許文献１】A Robust 3D Face Recognition Algorithm Using Passive Stereo Vision(東北大学)
【非特許文献２】R-CAST（株式会社ビジュアルサイエンス研究所）
【発明の概要】
【発明が解決しようとする課題】
【０００６】
上述した非特許文献１に記載されている、直接形状を含めて取得する手法には、計測精度が表情の品質に直結するが、ほとんどの撮影条件で十分な品質を確保できない（撮影条件に左右されやすい）という問題がある。特に、ノイズやゆらぎなどが大きな品質低下をもたらすという問題がある。
【０００７】
一方で、非特許文献２に記載されている、予めＣＧモデルを作成して動きを当てはめる手法は、生成される映像としては、ＣＧがベースとなっているため、非特許文献１の手法が抱えるような品質に関する問題点はない。しかし、表情の表現力を高めると、より多くの制御点や、ポリゴンなどが必要になるため、より計算コストを必要とするという問題がある。また、多くの制御点、及びポリゴンを利用した場合でも、ＣＧであることの違和感があるという問題がある。
【０００８】
本発明は、このような事情を考慮してなされたものであり、その目的は、低い計算コストで高品質な顔を表現することができる三次元顔モデルデータ生成装置を提供することにある。
【課題を解決するための手段】
【０００９】
上述した課題を解決するために、本発明は、被写体となる人物の映像を撮影する人物表情撮影手段と、前記人物表情撮影手段により撮影された人物映像から、顔に相当する領域と、表情を表現するために必要な制御点との座標を抽出する表情データ取得手段と、予め作成された被写体の形状データ、及びテクスチャを持つ顔モデルを保持する顔モデル保持手段と、前記表情データ取得手段によって抽出された表情向けの制御点の座標を用い、前記顔モデル保持手段に保持されている顔モデルに係る形状データの制御点を移動・変形させ、被写体の表情付き形状データを生成する顔モデル変形手段と、前記表情データ取得手段によって抽出された顔に相当する領域を、前記人物表情撮影手段により撮影された人物映像からテクスチャとして切り出す顔テクスチャ切り出し手段と、前記顔モデル変形手段によって生成された前記被写体の表情付き形状データに対し、前記顔テクスチャ切り出し手段によって切り出されたテクスチャを貼付するテクスチャ貼付手段とを備えることを特徴とする三次元顔モデルデータ生成装置である。
【発明の効果】
【００１０】
この発明によれば、低い計算コストで高品質な顔を表現することができる。
【図面の簡単な説明】
【００１１】
【図１】本発明の実施形態によるリアルタイム三次元顔モデルデータ生成装置の構成を示すブロック図である。
【図２】本実施形態によるリアルタイム三次元顔モデルデータ生成装置の動作を説明するための概念図である。
【発明を実施するための形態】
【００１２】
以下、本発明の一実施形態を、図面を参照して説明する。
本発明は、三次元モデルデータを生成する装置に関するものある。本発明の特徴は、人物の顔の表情を精細に表現するために、実写の被写体映像をテクスチャとして用いていること、及びリアルタイムでの顔についてのモデルデータの生成を可能とするために、当該モデルデータの制御点を最小限に抑えていることにある。
【００１３】
本発明は、予めＣＧモデルを作成して動きを当てはめる技術をベースとし、顔の表情データ取得後に人物の顔の部分だけを切り出し、表情に応じて変形させた顔形状モデルのテクスチャとして貼付することを特徴とする。これにより、リアルタイムの現在の表情画像をテクスチャとして貼り付けることができ、より高い品質をもった違和感の無い表現を、必要最小限の制御点での低計算コストで実現し、従来の課題を解決するものである。
【００１４】
図１は、本発明の実施形態によるリアルタイム三次元顔モデルデータ生成装置の構成を示すブロック図である。図１において、人物表情撮影部１は、最終的に表示するＣＧモデルの被写体となる人物の映像を撮影する。表情データ取得部２は、撮影した人物映像から、顔に相当する領域と、目の上がり下がり・眉の上がり下がり・口の形などの表情を表現するために必要な制御点の座標を抽出する。顔に相当する領域は、後述の顔モデル保持部３のテクスチャに相当する。また、制御点の座標は、顔モデル保持部３の形状データを特徴付ける点に相当する。
【００１５】
なお、表情データ取得部２の機能は、参考文献１（インターネット＜URL：http://www.seeingmachiness.com/produuct/faceapi/＞）、参考文献２（叶  冠峰，「顔動画像からの特徴点抽出を用いた表情認識」，岐阜大学,平成１７年２月３日）などで実現可能である。これら参考文献１、２では、撮影した人物映像の中から、特徴点を抽出し、抽出した特徴点の中から、顔や、口、鼻などの人間の顔を構成する特徴と同等の配置や、形状を持つ点を抽出する。さらに、抽出した基本的な顔の位置から、おおよその眉毛の位置や、口の開き具合などを画像処理によって推定することができる。
【００１６】
顔モデル保持部３は、予め作成された被写体の形状データ、及びテクスチャを持つＣＧレンダリング向けの顔モデルを保持する。なお、被写体の完全なモデルでない場合、つまり簡易化したものや、一般化したものもあり得る。簡易化したものとは、計測などによって得られた人物の顔の形状データを、ＣＧクリエイターなどが手作業で形状の間引きをしてデータ量を軽減したものである。一般化したものとは、複数人の顔の形状データを簡易化し、さらにそれらの形状を統計処理して平均したものである。
【００１７】
顔モデル変形部４は、表情データ取得部２で抽出した表情向けの制御点の座標を用い、顔モデル保持部３に保持されている顔モデルに係る形状データの制御点を移動・変形させ、被写体の表情付き形状データを生成する。変形手法については、参考文献３（Coding, Analysis, Interpretation, and Recognition of Facial Expressions (Georgia Institute of Technology)）に代表されるように、制御点となるポリゴン頂点と、周辺のポリゴン頂点とを弾性体モデルで表現して変形させるなど様々な手法が存在する。
【００１８】
なお、顔モデル保持部３に保持されている顔モデルから、人物表情撮影部１で撮影した人物に対応する顔モデルを特定する方法としては、手動でマッチングする方法が考えられる。また、最初から顔モデル保持部３には、被写体となる人物の顔モデルしか保持しないよう当該顔モデル保持部３を構成することも考えられる。さらに、顔画像から人物を識別する手法を利用することも考えられる。但し、この場合には、顔モデル保持部３に、識別用のデータを別途持つ必要があり、表情データ取得部２の処理に際して、当該識別用データを用いて撮影された人物を識別する処理が必要になる。
【００１９】
顔テクスチャ切り出し部５は、表情データ取得部２で抽出した顔に相当する領域を、撮影した人物映像からテクスチャとして切り出す。テクスチャ貼付部６は、顔モデル変形部４で生成した被写体の表情付き形状データに対し、顔テクスチャ切り出し部５で切り出したテクスチャを貼付する。
【００２０】
なお、テクスチャを貼付しない部分については、予め顔モデル保持部３で保持しているテクスチャを貼付しておく。テクスチャの貼付には、被写体と被写体を撮影したカメラとの相対位置を求め、そのカメラ位置に撮影した顔領域を表示するプロジェクタが存在すると想定し、顔モデルの再投影をするプロジェクションマッピング（インターネット＜URL:http://www.asr.co.jp/user/nobo/bk/bk08.html＞）などを代表とするＣＧにおける一般的なマッピング手法を用いることが可能である。
【００２１】
表示部７は、テクスチャを貼付した形状データをレンダリングして表示を行う。レンダリングには、ＤｉｒｅｃｔＸ（登録商標）や、ＯｐｅｎＧＬ（登録商標）など一般的なレンダリング手法を利用することが可能である。
【００２２】
次に、本実施形態の動作について説明する。
図２は、本実施形態によるリアルタイム三次元顔モデルデータ生成装置の動作を説明するための概念図である。人物表情撮影部１は、最終的に表示するＣＧモデルの被写体となる人物の映像を撮影する（ステップＳ１）。表情データ取得部２は、撮影した人物映像から、顔に相当する領域と、目の上がり下がり・眉の上がり下がり・口の形などの表情を表現するために必要な制御点の座標を抽出する（ステップＳ２）。顔モデル変形部４は、表情データ取得部２で抽出した表情向けの制御点の座標を用い、対応する顔モデルに係る形状データの制御点を移動・変形させ、被写体の表情付き形状データを生成する（ステップＳ３）。
【００２３】
次に、顔テクスチャ切り出し部５は、表情データ取得部２で抽出した顔に相当する領域を、撮影した人物映像から切り出す（ステップＳ４）。テクスチャ貼付部６は、顔モデル変形部４で生成した被写体の表情付き形状データに対し、顔テクスチャ切り出し部５で取得したテクスチャを貼付する（ステップＳ６）。表示部７は、テクスチャを貼付した形状データをレンダリングして表示を行う（ステップＳ７）。
【００２４】
上述した実施形態によれば、実際の被写体映像からテクスチャを切り出すため、表情変化によって生じる皺などの細かな陰影などを含む高品質な顔を表現することができる。
【００２５】
また、本実施形態によれば、詳細な表情は、テクスチャで表現できるため、細かな表情再現のための詳細な形状データや、制御点データなどが不要となるため、低い計算コストで表示することができる。
【符号の説明】
【００２６】
１  人物表情撮影部
２  表情データ取得部
３  顔モデル保持部
４  顔モデル変形部
５  顔テクスチャ切り出し部
６  テクスチャ貼付部
７  表示部
【図１】
2012185624.tif 000003
【図２】
2012185624.tif 000004