(57)【要約】【課題】送信側から三次元形状モデルに関するデータを送信し、受信側で、受信したデータに基づいて三次元形状モデルを復元する場合に、送信側から送信するデータの量を大幅に軽減することができる。【解決手段】三次元形状モデリング用データ送信装置１００Ａは、ネットワーク１０２を介して三次元形状モデリング用データ受信装置１００Ｂに、三次元形状の特徴点を表す特徴点データを送信する。三次元形状モデリング用データ受信装置１００Ｂでは、受信した特徴点データに基づいて三次元形状を復元する。【選択図】図１
2013008137.tif 000002
【特許請求の範囲】
【請求項１】
複数の二次元画像を取得する二次元画像取得手段と、
前記二次元画像取得手段により取得した前記二次元画像から第１の特徴点を抽出する特徴点抽出手段と、
前記特徴点抽出手段により抽出した前記第１の特徴点の三次元位置情報を取得する三次元位置情報取得手段と、
前記三次元位置情報取得手段により取得した前記第１の特徴点の三次元位置情報を送信する送信手段と、
を備えた三次元形状モデリング用データ送信装置。
【請求項２】
前記送信手段は、前記第１の特徴点の三次元位置を段階的に移動させた場合の各段階における前記第１の特徴点の三次元位置情報の履歴データを送信する
請求項１記載の三次元形状モデリング用データ送信装置。
【請求項３】
前記送信手段は、前記二次元画像取得手段により取得した前記二次元画像を送信する
請求項１又は請求項２記載の三次元形状モデリング用データ送信装置。
【請求項４】
前記請求項１〜請求項３の何れか１項に記載の送信装置から送信された前記第１の特徴点の三次元位置情報を受信する三次元位置情報受信手段と、
三次元標準形状が有する第２の特徴点の標準位置情報と、前記三次元位置情報受信手段で受信した前記第１の特徴点の三次元位置情報とから、前記三次元標準形状を変形することにより三次元形状モデルを作成する作成手段と、
を有する三次元形状モデリング用データ受信装置。
【請求項５】
前記三次元位置情報受信手段は、前記第１の特徴点の三次元位置を段階的に移動させた場合の各段階における前記第１の特徴点の三次元位置情報の履歴データを受信し、前記作成手段は、前記各段階について前記三次元形状モデルを各々作成する
請求項４記載の三次元形状モデリング用データ受信装置。
【請求項６】
前記作成手段が、前記三次元標準形状の全体的な形状についてはユークリッドノルムを基底関数とするＧＦＦＤの変形手法により変形し、前記三次元標準形状の詳細な形状についてはガウス関数を基底関数とするＧＦＦＤの変形手法により変形する
請求項４又は請求項５記載の三次元形状モデリング用データ受信装置。
【請求項７】
前記受信手段は、前記請求項２記載の送信装置から送信された前記二次元画像を受信し、
前記作成手段は、前記三次元形状モデルに、前記受信手段で受信した二次元画像をテクスチャとして貼付する
請求項４〜請求項６の何れか１項に記載の三次元形状モデリング用データ受信装置。
【請求項８】
前記三次元標準形状に、任意の情報を付加する
請求項４〜請求項７の何れか１項に記載の三次元形状モデリング用データ受信装置。
【請求項９】
前記請求項１記載の三次元形状モデリング用データ送信装置と、
前記請求項４記載の三次元形状モデリング用データ受信装置と、
を備えた三次元形状モデリングシステム。
【請求項１０】
前記請求項２記載の三次元形状モデリング用データ送信装置と、
前記請求項５記載の三次元形状モデリング用データ受信装置と、
を備えた三次元形状モデリングシステム。
【請求項１１】
前記請求項３記載の三次元形状モデリング用データ送信装置と、
前記請求項７記載の三次元形状モデリング用データ受信装置と、
を備えた三次元形状モデリングシステム。
【請求項１２】
コンピュータを、前記請求項１〜請求項３記載の何れか１項に記載の三次元形状モデリング用データ送信装置を構成する各手段として機能させるための三次元形状モデリング用データ送信プログラム。
【請求項１３】
コンピュータを、前記請求項４〜請求項８記載の何れか１項に記載の三次元形状モデリング用データ受信装置を構成する各手段として機能させるための三次元形状モデリング用データ受信プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、対象物の三次元幾何形状を生成するための、三次元形状モデリング用データ送信装置、三次元形状モデリング用データ受信装置、三次元形状モデリングシステム、三次元形状モデリング用データ送信プログラム、及び三次元形状モデリング用データ受信プログラムに関する。
【背景技術】
【０００２】
三次元幾何形状作成に関する技術は、用いる手法により２つに分類される。ひとつは、実際に存在する対象物から自動的に幾何的な特徴を抽出する手法である。例として、レンジスキャナを用いて対象物の三次元幾何情報を取り込み、物理法則に基づいたモデルを生成する手法がある（例えば、非特許文献１参照）。また、対象物の正面と側面の画像からモデルを生成する手法もある（例えば、非特許文献２参照）。上記の手法は、映画やコンピュータゲームなどのエンターテインメント分野では既に実用化されており、半自動的にリアリスティックな幾何形状を得ることができる。しかし上記の手法は、レンジスキャナなど特殊な装置を必要とする。
【０００３】
もうひとつは、直接的に対象物の幾何形状を作成する際に、その作業をより簡便にすることを目標とする手法である。このような手法のうちいくつかは既に商用の三次元モデリングソフトに組み込まれている。しかしこの手法は、作業者に高度な芸術的感性を要求するため、より高レベルでの制御が可能になるよう研究が行われている。例えば、パラメータによって顔形状を変形する手法（非特許文献３参照）や、局所的な変形パラメータをより大局的な集合にして表現する手法（非特許文献４参照）が提案されている。
【０００４】
しかし、上記の手法は、幾何形状作成の効率化を図る作業補助的なものであり、どんな作業者でも任意の対象物の幾何形状を作成するためには十分ではない。
【０００５】
また、人体計測に基づくパラメータを用いて顔の三次元幾何形状を生成する手法もある（非特許文献５参照）。しかし、この手法ではパラメータが十分でなく、顎の突出度と眼裂の大きさなど僅かな特徴の操作しかできない為、詳細な特徴を持つ顔形状の生成はできない。
【０００６】
一方、任意の三次元形状を生成する手法として、三次元物体の二次元図形情報を用いる手法がある。この手法は、物体の二次元図形情報の特徴点と、その物体に基本形状が近似する三次元基本形状モデルの制御点をとる。そして、三次元基本形状モデルの制御点を二次元図形情報の特徴点に一致させるよう、三次元基本形状モデルを変形する（例えば、特許文献１参照）。
【０００７】
また、三次元形状の変形については、変形手法であるＦＦＤ（Free-Form Deformation）を用い、基底関数にcosine関数やcosine-n乗関数（nは２以上の整数）を用いる手法が提案されている（例えば、特許文献２参照）。
【０００８】
しかし、顔を対象とした場合、特許文献１の手法をはじめとした、単に三次元形状モデルを作成する手法だけでは、不十分であるといえる。これは、三次元顔形状モデルの主な用途が、デジタルアクターやアバタなどの表情を伴ったアニメーションの作成や、美容整形シミュレーションなどであるためである。
【０００９】
従来技術では、対象を三次元形状全般としているものが多く、顔形状特有の情報を扱っていないため、新たな顔形状モデルを作成するごとに顔形状特有の情報を付加しなければならず、作業効率が悪くなっている。
【００１０】
このため、特許文献３には、人間の顔を対象として、リアリスティックで、作成後の利用が容易な三次元顔形状モデルが得られる技術として、顔形状の幾何学的特徴を特徴点として抽出し、得られた特徴点に対して変形手法を適用する方法が開示されている。
【先行技術文献】
【非特許文献】
【００１１】
【非特許文献１】Y.Lee, D.Terzopoulos, and K.Waters, realistic face modeling for animation In Proceedings SIGGRAPH'95, 1995, p.55-62
【非特許文献２】T.Akimoto, Y.Suenaga, and R.Wallace, Automatic creation of 3D facial models IEEE Computer Graphics and Applications, September 1993, 13(5):p.16-22
【非特許文献３】F.Parke and K.Waters, Computer Facial Animation AKPeters, 1996
【非特許文献４】N.Magnenat-Thalmann, H.Minh, M.deAngelis, and D.Thalmann, Design, transformation and animation of human faces The Visual Computer, 1989, 5(1/2):p.32-39
【非特許文献５】Douglas DeCarlo, Dimitris Metaxas, and Matthew Stone, anthropometric Face Model using VariationalTechniques In Proceedings SIGGRAPH'98, 1998, p.67-74
【特許文献】
【００１２】
【特許文献１】特開平４−２８９９７６号公報
【特許文献２】特開２００４−７８３０９号公報
【特許文献３】特許第４４７４５４６号公報
【発明の概要】
【発明が解決しようとする課題】
【００１３】
前述のように、三次元顔形状モデルの主な用途としては、デジタルアクターやアバタなどの表情を伴ったアニメーションの作成があるが、例えば三次元のアバタは、ウェブ上における仮想ショップ等において本格的に普及する可能性がある。
【００１４】
通常、三次元形状のデータを送受信する場合、例えば図２４に示すように、１０００ＫＢ程度の三次元形状データや、６００ＫＢ程度のポリゴンデータを送信する場合、送信側で圧縮処理してからネットワークを介して送信する。この場合、送信される三次元形状データは、１００ＫＢ程度、ポリゴンデータは６０ＫＢ程度となる。そして、受信側では、これを解凍して三次元形状を復元する。
【００１５】
このように、送信側で三次元形状のデータを圧縮処理しても、それほどデータのサイズが小さくなるわけではなく、通信負荷を大幅に軽減することはできない。これは、上記のように例えば三次元のアバタが本格的に普及し、リアルタイムでの三次元形状のデータの送受信による復元の要求が増加した場合に大きな問題となる。
【００１６】
本発明はこのような点に鑑みてなされたものであり、送信側から三次元形状モデルに関するデータを送信し、受信側で、受信したデータに基づいて三次元形状モデルを復元する場合に、送信側から送信するデータの量を大幅に軽減することができる三次元形状モデルが得られる三次元形状モデリング用データ送信装置、三次元形状モデリング用データ受信装置、三次元形状モデリングシステム、三次元形状モデリング用データ送信プログラム、及び三次元形状モデリング用データ受信プログラムを提供することを目的としている。
【課題を解決するための手段】
【００１７】
上記課題を解決するため、請求項１記載の発明の三次元形状モデリング用データ送信装置は、複数の二次元画像を取得する二次元画像取得手段と、前記二次元画像取得手段により取得した前記二次元画像から第１の特徴点を抽出する特徴点抽出手段と、前記特徴点抽出手段により抽出した前記第１の特徴点の三次元位置情報を取得する三次元位置情報取得手段と、前記三次元位置情報取得手段により取得した前記第１の特徴点の三次元位置情報を送信する送信手段と、を備えたことを特徴とする。
【００１８】
なお、請求項２に記載したように、  前記送信手段は、前記第１の特徴点の三次元位置を段階的に移動させた場合の各段階における前記第１の特徴点の三次元位置情報の履歴データを送信するようにしてもよい。
【００１９】
また、請求項３に記載したように、前記送信手段は、前記二次元画像取得手段により取得した前記二次元画像を送信するようにしてもよい。
【００２０】
請求項４記載の発明の三次元形状モデリング用データ受信装置は、前記請求項１〜請求項３の何れか１項に記載の送信装置から送信された前記第１の特徴点の三次元位置情報を受信する三次元位置情報受信手段と、三次元標準形状が有する第２の特徴点の標準位置情報と、前記三次元位置情報受信手段で受信した前記第１の特徴点の三次元位置情報とから、前記三次元標準形状を変形することにより三次元形状モデルを作成する作成手段と、を有することを特徴とする。
【００２１】
なお、請求項５に記載したように、前記三次元位置情報受信手段は、前記第１の特徴点の三次元位置を段階的に移動させた場合の各段階における前記第１の特徴点の三次元位置情報の履歴データを受信し、前記作成手段は、前記各段階について前記三次元形状モデルを各々作成するようにしてもよい。
【００２２】
また、請求項６に記載したように、前記作成手段が、前記三次元標準形状の全体的な形状についてはユークリッドノルムを基底関数とするＧＦＦＤの変形手法により変形し、前記三次元標準形状の詳細な形状についてはガウス関数を基底関数とするＧＦＦＤの変形手法により変形するようにしてもよい。
【００２３】
また、請求項７に記載したように、前記受信手段は、前記請求項２記載の送信装置から送信された前記二次元画像を受信し、前記作成手段は、前記三次元形状モデルに、前記受信手段で受信した二次元画像をテクスチャとして貼付するようにしてもよい。
【００２４】
また、請求項８に記載したように、前記三次元標準形状に、任意の情報を付加するようにしてもよい。
【００２５】
請求項９記載の発明の三次元形状モデリングシステムは、前記請求項１記載の三次元形状モデリング用データ送信装置と、前記請求項４記載の三次元形状モデリング用データ受信装置と、を備えたことを特徴とする。
【００２６】
請求項１０記載の発明の三次元形状モデリングシステムは、前記請求項２記載の三次元形状モデリング用データ送信装置と、前記請求項５記載の三次元形状モデリング用データ受信装置と、を備えたことを特徴とする。
【００２７】
請求項１１記載の発明の三次元形状モデリングシステムは、前記請求項３記載の三次元形状モデリング用データ送信装置と、前記請求項７記載の三次元形状モデリング用データ受信装置と、を備えたことを特徴とする。
【００２８】
請求項１２記載の発明の三次元形状モデリング用データ送信プログラムは、コンピュータを、前記請求項１〜請求項３記載の何れか１項に記載の三次元形状モデリング用データ送信装置を構成する各手段として機能させることを特徴とする。
【００２９】
請求項１３記載の発明の三次元形状モデリング用データ受信プログラムは、コンピュータを、前記請求項４〜請求項８記載の何れか１項に記載の三次元形状モデリング用データ受信装置を構成する各手段として機能させることを特徴とする。
【発明の効果】
【００３０】
本発明によれば、送信側から三次元形状モデルに関するデータを送信し、受信側で、受信したデータに基づいて三次元形状モデルを復元する場合に、送信側から送信するデータの量を大幅に軽減することができる、という効果を有する。
【図面の簡単な説明】
【００３１】
【図１】三次元形状モデリングシステムの概略構成を示すブロック図である。
【図２】三次元形状モデリング用データ送信装置の概略構成を示すブロック図である。
【図３】三次元形状モデリング用データ受信装置の概略構成を示すブロック図である。
【図４】三次元形状モデリング用データ送信装置の動作を示すフローチャートである。
【図５】三次元形状モデリング用データ受信装置の動作を示すフローチャートである。
【図６】二次元顔画像の特徴点を抽出した図である。
【図７】標準特徴点を付加した標準顔形状モデルの一例を示す図である。
【図８】ＧＦＦＤによる三次元形状の変形例である。
【図９】ＧＦＦＤによる三次元形状の変形例である。
【図１０】ＧＦＦＤによる標準顔形状モデルからの変形例である。
【図１１】変形した三次元顔形状モデルにテクスチャを貼付した図である。
【図１２】標準顔形状モデルへの情報付加の例である。
【図１３】表情を付けた三次元顔形状モデルの例である。
【図１４】眼鏡の着用シミュレーションを行った場合の三次元顔形状モデルの例である。
【図１５】標準顔形状モデルをポリゴンメッシュで示した例を示す図である。
【図１６】足部の特徴点について説明するための図である。
【図１７】足部の三次元形状モデルを示す図である。
【図１８】特徴点データの送受信について説明するための図である。
【図１９】様々な三次元形状の生成について説明するための図である。
【図２０】車のバケットシートの変形の様子を示す図である。
【図２１】受話器の変形の様子を示す図である。
【図２２】電話機の変形の様子を示す図である。
【図２３】特徴点データの履歴を送信する場合について説明するための図である。
【図２４】従来の三次元形状データの送受信について説明するための図である。
【発明を実施するための形態】
【００３２】
以下、図面を参照して本発明の実施の形態を説明する。
【００３３】
図１は、本発明の一実施形態に係る三次元形状モデリングシステム１０の概略構成を示すブロック図である。なお、本実施形態では、三次元形状の一例として顔形状をモデリングする場合について説明する。
【００３４】
三次元形状モデリングシステム１０は、三次元形状モデリング用データ送信装置１００Ａ及び三次元形状モデリング用データ受信装置１００Ｂを含んで構成されており、三次元形状モデリング用データ送信装置１００Ａと三次元形状モデリング用データ受信装置１００Ｂとは、例えばインターネット等のネットワーク１０２を介して接続される。
【００３５】
図２は、本発明の一実施形態に係る三次元形状モデリング用データ送信装置１００Ａの概略構成を示すブロック図である。三次元形状モデリング用データ送信装置１００Ａは、システム全体の制御を行うＣＰＵ１Ａ、ＲＯＭ（リードオンリメモリ）２Ａ、データ一時記憶用のＲＡＭ（ランダムアクセスメモリ）３Ａ、モニタ等の表示部４Ａ、二次元の顔画像を入力する入力部５Ａ、データ記憶部７Ａ、送信部８Ａを含んで構成されている。データ記憶部７Ａは、プログラム記憶部７３Ａを有し、後述する処理プログラムを記憶する。
【００３６】
図３は、本発明の一実施形態に係る三次元形状モデリング用データ受信装置１００Ｂの概略構成を示すブロック図である。三次元形状モデリング用データ受信装置１００Ｂは、システム全体の制御を行うＣＰＵ１Ｂ、ＲＯＭ（リードオンリメモリ）２Ｂ、データ一時記憶用のＲＡＭ（ランダムアクセスメモリ）３Ｂ、モニタ等の表示部４Ｂ、入力部５Ｂ、データ記憶部７Ｂ、受信部８Ｂを含んで構成されている。
【００３７】
データ記憶部７Ｂは、標準顔形状モデル（ジェネリックモデル）を記憶している標準顔形状記憶部７１、特徴点を記憶している計測点データベース７２、プログラム記憶部７３Ｂを有する。
【００３８】
プログラム記憶部７３Ｂには、後述する処理プログラムや、三次元形状の変形手法であり、一般的な関数によるＧＦＦＤ（general Free-Form Deformation）のプログラムを記憶している。ＧＦＦＤについては後述する。
【００３９】
計測点データベース７２に記憶している特徴点は、法医学複顔法で用いられているものであり、人体測定における計測点を基に、顔形状の個人差を表す形状の特徴点を統計的に解析して定められた点である。この特徴点は、鼻の最突出点や、目尻など、二次元画像上でも明確な特徴を持った点としている。本発明は、この点を顔形状の特徴点として用いることで、対象となる顔の三次元顔形状モデルを十分な精度で得ることができる。
【００４０】
なお、三次元形状モデリング用データ送信装置１００Ａ及び三次元形状モデリング用データ受信装置１００Ｂの両方の機能を備えた装置を構成してもよい。
【００４１】
次に、三次元形状モデリング用データ送信装置１００ＡのＣＰＵ１Ａにおいて実行される処理を図４に示すフローチャートを参照して説明する。ＣＰＵ１Ａは、プログラム記憶部７３Ａに記憶された処理プログラムを読み出して実行する。
【００４２】
まず、ステップＳ１では、ユーザはデジタルカメラで、顔形状モデルを作成する対象となる顔を異なる撮像方向から複数枚撮影し、撮影したその二次元顔画像を入力部５Ａに入力する。二次元顔画像は、システムに要求される精度によって、２枚以上の異なる任意の方向を向いた顔画像を利用する。顔画像の枚数、及び画像中の顔の向きは重要でない。本例では、正面と左右側面の３枚の二次元顔画像を入力する。
【００４３】
ステップＳ２では、計測点データベース７２に記憶されている計測点を呼び出し、入力部５Ａから入力された３枚の二次元顔画像それぞれについて、二次元顔画像の特徴点を抽出する。
【００４４】
特徴点は、マウス操作等の手動による抽出の他に、一般的な画像処理手法による自動抽出も可能である。
【００４５】
最も容易な特徴点の自動抽出方法は、二次元顔画像から任意の輝度を閾値として２値化し、特徴点の定義に合う点を、画像を走査し判定する方法である。また、特徴部分にマーカーを付して撮影し、その撮影画像からマーカーを抽出することで特徴点を抽出するようにしてもよい。
【００４６】
本例では、十分な精度を持った三次元顔形状モデルを構築するため、図６で示す５１個の特徴点を抽出する。なお、特徴点は、任意の数を定義することも可能である。
【００４７】
各画像から抽出した特徴点は、鼻の最突出点や、目尻などといった顔の特徴部位の情報を持っているものの、座標は二次元でしか持っていない。
【００４８】
そこで、ステップＳ３では、撮像方向の違う各画像での特徴点の対応関係から、特徴点の三次元位置情報を求める。
【００４９】
各顔画像の情報は、撮影したカメラのレンズなどの特性により歪み等が発生している。ＣＰＵ１は、抽出した特徴点の二次元座標に撮影したデジタルカメラのパラメータを用いて歪み等の補正を行い、特徴点の三次元位置情報を算出する。
【００５０】
このパラメータは、カメラの焦点距離等を示す内部パラメータと、カメラの配置、姿勢等を示す外部パラメータである。パラメータが未知の場合は、別工程として寸法の判っている立方体等を同じカメラで複数方向から撮影し、撮影した画像からパラメータを計算する。
【００５１】
ステップＳ４では、特徴点の三次元位置情報及び二次元顔画像のテクスチャを送信部８Ａによりネットワーク１０２を介して三次元形状モデリング用データ受信装置１００Ｂへ送信する。
【００５２】
次に、三次元形状モデリング用データ受信装置１００ＢのＣＰＵ１Ｂにおいて実行される処理を図４に示すフローチャートを参照して説明する。ＣＰＵ１Ｂは、プログラム記憶部７３Ｂに記憶された処理プログラムを読み出して実行する。
【００５３】
まず、ステップＳ５では、三次元形状モデリング用データ送信装置１００Ａから送信された特徴点の三次元位置情報及び二次元顔画像のテクスチャを受信する。
【００５４】
ステップＳ６では、標準顔形状記憶部７１に記憶されている標準顔形状モデルを呼び出し、ステップＳ５で受信した特徴点の三次元位置情報に基づき、標準顔形状モデルを変形する。
【００５５】
標準顔形状記憶部７１に記憶されている標準顔形状モデルは、図７に示すような自由曲面、あるいはポリゴンメッシュで構成された幾何形状と、二次元顔画像から抽出する特徴点と一対一で対応する特徴点から構成される。この標準顔形状モデルの特徴点標準位置情報を、ステップＳ５で受信した特徴点の三次元位置情報に合うように移動し、特徴点以外の幾何形状部分を特徴点の移動を補間するように変形する。
【００５６】
ステップＳ６における標準顔形状モデルの変形には、一般的な関数によるGFFD（Generalized Free-Form Deformation）を用いた手法を用いる。
【００５７】
ここで、FFD(Free-Form Deformation)は変形対象の形状モデルに独立な変形手法であり、空間の変形を定義する操作点の数は変形される物体に独立であるので、スプライン曲面のように多くの制御点を変更する必要がない。しかし、従来のFFDは操作点の形状に制限が設けられている等の問題があった。
【００５８】
これに対してGFFDは、任意数の操作点を任意の位置に配置し、操作点の移動により変形を直感的に制御でき、任意の基底関数を選択できる等、従来のFFDに比べ柔軟な変形の制御を可能とする。図８に、ガウス関数を基底関数とした場合のGFFDによる形状変形の例を、図９にユークリッドノルムを基底関数とした場合のGFFDによる形状変形の例を示す。このように、GFFDでは、操作点の移動により、周囲の幾何形状も滑らかに変形することができる。
【００５９】
そこで、標準顔形状モデルの特徴点をGFFDの操作点とし、二次元顔画像から抽出した特徴点へと移動することで幾何形状を変形する。
【００６０】
ここで、GFFDを用いた標準顔形状モデルの変形の詳細を以下に説明する。
【００６１】
ｎ個の標準顔形状モデルにおける特徴点を
【００６２】
【数１】
2013008137.tif 000003
【００６３】
顔画像から抽出した特徴点を
【００６４】
【数２】
2013008137.tif 000004
【００６５】
とし、piからqiへの変換を表す写像を考えると、
【００６６】
【数３】
2013008137.tif 000005
【００６７】
と表される。この関数fを用いて空間上の任意の点を変換する。ここで、関数fをｎ個のベクトルの重み付き線形結合と考えると、
【００６８】
【数４】
2013008137.tif 000006
【００６９】
と表される。ここで、
【００７０】
【数５】
2013008137.tif 000007
【００７１】
は制御ベクトル、関数
【００７２】
【数６】
2013008137.tif 000008
【００７３】
は標準顔形状モデルにおけるｊ番目の特徴点を中心とする任意の基底関数である。ここで、未知のベクトルVを求めるために、標準顔形状モデルにおける特徴点piと、その移動後の点として顔画像から抽出した特徴点qiを式（１）に代入すると、
【００７４】
【数７】
2013008137.tif 000009
【００７５】
と表される。ここで、行列形式に書き換えると、
【００７６】
【数８】
2013008137.tif 000010
【００７７】
となり、ここで
【００７８】
【数９】
2013008137.tif 000011
【００７９】
と置けば、Vは、Gの逆行列を用いて次の様に求めることができる。
【００８０】
【数１０】
2013008137.tif 000012
【００８１】
このように、特徴点の移動に合わせて、空間上の任意の点pを移動させた点qを
【００８２】
【数１１】
2013008137.tif 000013
【００８３】
として求めることができる。
【００８４】
基底関数Gは変形対象に合わせて任意の関数を選択可能である。本発明では主にガウス関数とユークリッドノルムを用いている。ガウス関数を用いた場合では、標準偏差によって変形の微調整が可能であり、ユークリッドノルムの場合は、元の幾何形状の特徴をできるだけ保った変形が可能である。
【００８５】
顔形状の全体的な形状を、ユークリッドノルムを用いたGFFDにより変形し、眼、鼻、口などの詳細な形状を、ガウス関数を用いたGFFDにより変形すると、顔の様に複雑な構造を持った形状も精度高く変形することができる。
【００８６】
この手法を用いて、標準顔形状モデルを変形した例を図１０に示す。作成される顔形状モデルは三次元形状なので、図１１に示すように、入力画像とは異なる方向も表示が可能である。
【００８７】
次に、ステップＳ７では、受信部８Ｂで受信した二次元顔画像のテクスチャを、作成した三次元顔形状モデルに貼り付け、表示部４Ｂに表示する。テクスチャとは、コンピュータグラフィックスにおいて形状に画像を貼り付けることにより質感を向上させる手法である。本発明においては、二次元顔画像に合わせて標準顔形状モデルを変形するので、撮像したカメラの向きから顔の画像を貼り付けることで、作成した形状に合ったテクスチャとなる。図１１にテクスチャを貼り付けた顔形状を示す。
【００８８】
ところで、標準顔形状モデルには、作成後の三次元顔形状モデルの用途に応じて、任意の情報を付加しておくことが可能である。三次元顔形状モデルは、実際の利用に際し、表情付けなどの変形が行われるのが一般的である。そのため、標準顔形状モデルに、表情などの情報を付加しておき、標準顔形状モデルの変形時にその付加情報も同様に変形すれば、作成される三次元顔形状モデルにも自動的に付加情報を持つようになり、作成後の三次元顔形状モデルの操作が非常に容易になる。
【００８９】
例として表情付けを挙げる。一般的な表情を表現するために用いられている筋肉を、三次元ベクトルとしてモデル化し、図１２（Ａ）のように、筋肉の始点と終点を標準顔形状モデル上の点として定義する。次に、表情筋の始点を、その表情筋のベクトル方向に移動させ、その移動に合わせて標準顔形状モデルを変形させる。よって、図１２（Ｂ）のように、表情を付けた標準顔形状モデルを作成することができる。
【００９０】
表情を付けた標準顔形状モデルからの変形にも、ガウス関数を用いたGFFDによる変形を用いる。表情を付けた標準顔形状モデルを変形させ、顔画像のテクスチャを貼り付けた例を図１３に示す。よって、システムに新たな要素を追加することなく、作成した三次元顔形状モデルへの表情付けを実現している。このように、標準顔形状モデルに情報を付加しておくだけで、作成した三次元顔形状モデルに、比較的容易に表情付けを行うことができる。
【００９１】
以上説明したように、本実施形態によれば、二次元顔画像から容易に三次元顔形状モデルが作成できる。よって、特殊な装置や芸術的感性を持っていない作業者でも、顔画像を用意すれば数分で三次元顔形状モデルを作成できる。
【００９２】
以上、本発明の実施形態について図面を参照して詳述してきたが、具体的な構成はこの実施形態に限られるものではなく、本発明の要旨を逸脱しない範囲の設計変更等も含まれる。
【００９３】
例えば、上記実施形態では、あらかじめ組み込まれている標準顔形状モデルからの変形を行ったが、本発明はこれに限定されるものではなく、任意の顔形状を標準顔形状モデルとして設定することも可能である。
【００９４】
また、標準顔形状モデルに付加する情報は、図１４に示す眼鏡の着用シミュレーションなどでもよい。図１４の例では、標準顔形状モデルに、眼鏡をフィットさせるために必要な特徴点を付加しておき、作成した三次元顔形状モデルの特徴点に三次元形状モデルの眼鏡を合わせている。
【００９５】
また、本発明は、顔を扱う様々な分野で応用が可能である。前述した眼鏡の装着シミュレーションの他、美容整形シミュレーション、ゲームや映画などのキャラクター作成を行うツールとしての利用、携帯通信端末でのチャットやメールにおけるアバタ作成の利用などに応用が可能である。
【００９６】
また、本実施形態では、標準顔形状モデル（ジェネリックモデル）として、図７に示すような自由曲面で表した幾何形状モデルを用いたが、図１５に示すように、ポリゴンメッシュで構成されたジェネリックモデルを用いてもよい。このような場合も、三次元形状モデリング用データ受信装１００Ｂは、ジェネリックモデルの特徴点Ｐ１の特徴点標準位置情報を、三次元形状モデリング用データ送信装置１００Ａから送信された特徴点Ｐ２の三次元位置情報に合うように移動させることにより、顔の三次元形状モデルを復元することができる。
【００９７】
また、本実施形態では、顔の三次元形状を作成する場合について説明したが、三次元形状は顔に限られるものではなく、例えば足部等でもよい。足部の場合、図１６に示すように、くるぶしやかかと等に特徴点を設定する。このような場合も、三次元形状モデリング用データ受信装１００Ｂは、図１７に示すように、ジェネリックモデルの特徴点Ｐ１の特徴点標準位置情報を、三次元形状モデリング用データ送信装置１００Ａから送信された特徴点Ｐ２の三次元位置情報に合うように移動させることにより、足部の三次元形状モデルを復元することができる。
【００９８】
図１８に示すように、足部の三次元形状データは１０００ＫＢ程度、顔の三次元形状データは６００ＫＢ程度であるが、特徴点のデータは何れも２ＫＢ程度であり、三次元形状データと比較してデータ量が著しく少ない。本実施形態に係る三次元形状モデリング用データ送信装置１００Ａは、この特徴点のデータを送信すればよいため、送信データ量を大幅に軽減することができる。そして、三次元形状モデリング用データ受信装置１００Ｂでは、上記で説明したようなＧＦＦＤによる変換ツールを備えていれば、容易に顔や足部の三次元形状を復元することができる。
【００９９】
また、三次元形状モデルとしては、図１９に示すように、顔や足部等の人間の一部の形状に限らず、例えば車のバケットシートや受話器、電話機等でもよい。この場合、例えば図１９に示すように、車のバケットシートのジェネリックモデルは球とすることができ、受話器及び電話機のジェネリックモデルは直方体とすることができる。図２０には、球のジェネリックモデルから特徴点Ｐ２を段階的に移動させて車のバケットシートの三次元形状が作成される様子を示した。また、図２１には、直方体のジェネリックモデルから特徴点Ｐ２を段階的に移動させて受話器の三次元形状が作成される様子を示した。また、図２２には、直方体のジェネリックモデルから特徴点Ｐ２を段階的に移動させて電話機の三次元形状が作成される様子を示した。
【０１００】
このように、特徴点Ｐ２を段階的に移動させることで、三次元形状モデルの最終的な形状だけでなく、作成過程を表示することが可能となる。
【０１０１】
そこで、図２３に示すように、三次元形状モデリング用データ送信装置１００Ａでは、特徴点Ｐ２の三次元位置を段階的に移動させた場合の各段階における特徴点Ｐ２の三次元位置情報の履歴データを送信し、三次元形状モデリング用データ受信装置１００Ｂでは、この履歴データを受信して、各段階について三次元形状モデルを各々作成して、三次元形状モデルが段階的に変形する過程を表示するようにしてもよい。これにより、三次元形状がどのように変形するかを容易に認識することができる。
【０１０２】
なお、三次元形状モデリング用データ送信装置１００Ａは、各段階における特徴点Ｐ２の三次元位置情報をまとめて三次元形状モデリング用データ受信装置１００Ｂに送信するようにしてもよいし、各段階の特徴点Ｐ２の三次元位置情報を１回１回三次元形状モデリング用データ受信装置１００Ｂに送信するようにしてもよい。このとき、三次元形状モデリング用データ受信装置１００Ｂから受信した旨の返答があった場合に、次の段階の特徴点Ｐ２の三次元位置情報を送信するようにしてもよい。
【符号の説明】
【０１０３】
１Ａ、１Ｂ    ＣＰＵ
２Ａ、２Ｂ    ＲＡＭ
３Ａ、３Ｂ    ＲＯＭ
４Ａ、４Ｂ    表示部
５Ａ、５Ｂ    入力部
７Ａ、７Ｂ    データ記憶部
８Ａ   送信部
８Ｂ   受信部
１０   三次元形状モデリングシステム
７１   標準顔形状記憶部
７２   計測点データベース
７３Ａ、７３Ｂ       プログラム記憶部
１００ 顔形状モデリングシステム
１００Ａ      三次元形状モデリング用データ送信装置
１００Ｂ      三次元形状モデリング用データ受信装置
１０２ ネットワーク
【図１】
2013008137.tif 000014
【図２】
2013008137.tif 000015
【図３】
2013008137.tif 000016
【図４】
2013008137.tif 000017
【図５】
2013008137.tif 000018
【図６】
2013008137.tif 000019
【図７】
2013008137.tif 000020
【図８】
2013008137.tif 000021
【図９】
2013008137.tif 000022
【図１０】
2013008137.tif 000023
【図１１】
2013008137.tif 000024
【図１２】
2013008137.tif 000025
【図１３】
2013008137.tif 000026
【図１４】
2013008137.tif 000027
【図１５】
2013008137.tif 000028
【図１６】
2013008137.tif 000029
【図１７】
2013008137.tif 000030
【図１８】
2013008137.tif 000031
【図１９】
2013008137.tif 000032
【図２０】
2013008137.tif 000033
【図２１】
2013008137.tif 000034
【図２２】
2013008137.tif 000035
【図２３】
2013008137.tif 000036
【図２４】
2013008137.tif 000037