(57)【要約】【課題】素人でも容易にモデルデータが作成でき、ユーザが所望する部品等を選択する単純操作だけで多種多様なモデルデータを得られるモデル生成装置を提供。【解決手段】モデル生成装置14は、特徴点抽出部24で顔画像の特徴点を抽出し、この特徴点を特徴点表示部26に表示させて、特徴点と顔のずれ等を修正し、顔変形部28で入力モデルデータ（テンプレートデータ）40が示す特徴点を顔画像の特徴点に変化させることで入力モデルを変形させ、供給される顔画像に似させて変形させたモデルデータ42とパーツ設定部30で選択した所望のパーツデータ56とを画像貼付部32に供給し、両データ42および56を基に貼り付けたモデル画像を描画し、モデル知識の有無に関わらず、容易に基本モデルデータ62を作成する。【選択図】図１
2007026088.tif 000002
【特許請求の範囲】
【請求項１】
あらかじめ個々の顔の特徴付けに用いる顔画像、該顔画像に対して修飾するパーツデータおよびあらかじめ設定した顔の部位を表わす第１の特徴点が含まれる基本のモデルデータを入力し、入力される３つのデータが反映された新規の基本モデルデータを生成するモデル生成装置において、該装置は、
前記顔画像における特徴点を第２の特徴点として抽出する特徴点抽出手段と、
第１の特徴点と第２の特徴点とを対応させ、第１の特徴点を第２の特徴点に移動させる変形手段と、
前記パーツデータから所望するパーツを選択するパーツ選択手段と、
移動した第１の特徴点と選択したパーツデータとを基として画像を貼り付ける貼付け手段とを含むことを特徴とするモデル生成装置。
【請求項２】
請求項１に記載の装置において、該装置は、第２の特徴点を表示する第１の表示手段と、
貼り付けて得られたモデル画像を表示する第２の表示手段とを含むことを特徴とするモデル生成装置。
【請求項３】
請求項１または２に記載の装置において、前記パーツ選択手段は、前記パーツデータを画像として表示する第３の表示手段と、
表示されたパーツ画像から所望のパーツを選択する決定手段と、
選んだパーツに対応するパーツデータに対して付加情報を付ける情報入力手段とを含むことを特徴とするモデル生成装置。
【請求項４】
請求項１または２に記載の装置において、前記パーツ選択手段は、すでに作成されたパーツデータに対して付けられた付加情報を基に該付加情報とパーツデータとを読み出す読出し制御手段と、
該読出し制御手段の制御により読み出した付加情報と入力されたキー情報とを照合し、該キー情報に一致する付加情報を検出する検索手段と、
検出した付加情報に該当するパーツデータを画像として表示する第３の表示手段と、
表示されたパーツデータの画像から所望のパーツを選択する決定手段とを含むことを特徴とするモデル生成装置。
【請求項５】
請求項２、３または４に記載の装置において、第２の表示手段は、顔画像をディジタル入力する画像入力手段から時系列的に連続して供給される顔画像を基に得られる顔の動きを表情情報として検出する表情解析手段と、
該表情情報を用いて、前記特徴点を変化させた画像の貼り付けによりモデル画像として描画する描画手段とを含むモデル生成装置。
【請求項６】
請求項１ないし４のいずれか一項に記載のモデル生成装置が配されるモデル生成システムにおいて、該システムは、
前記モデルデータを格納する第１のサーバ装置と、
前記モデル生成装置が配された第２のサーバ装置と、
前記新規の基本モデルデータの作成に関わる注文情報を出力し、作成した基本モデルデータを取得する端末装置とを含み、
第１、第２のサーバ装置および前記端末装置は、通信ネットワークに接続され、
前記新規の基本モデルデータを個人用として取得することを特徴とするモデル生成システム。
【請求項７】
請求項６に記載のシステムにおいて、前記端末装置は、前記モデル生成装置を含むことを特徴とするモデル生成システム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、モデル生成装置に関するものである。本発明は、とくに、人間や動物の動作や表情をコンピュータグラフィックスで表現するアバタモデルを生成する装置に関するものである。
【背景技術】
【０００２】
従来からポリゴンに画像を貼り付けたバーチャルヒューマンモデルであるアバタを用いてコミュニケーションする特許文献１の提案がある。この提案の方法では、最初に、たとえばカメラから入力される通話対象である自分または通話相手の画像データを取得する。この方法では次に取得した画像データから通話対象の動きを求め、求めた動きを基に表情情報を検出する。さらに次の段階では、検出した表情情報に応じてあらかじめ作成されたモデルを連動させてレンダリングして描画画像を作成する。この作成した描画画像を見ながら通話することでこの提案は、テレビ電話のように通信において通話対象の感情も汲み取りながら、通信対象のプライバシーをも考慮したコミュニケーションが実現する。
【０００３】
このような方法を用いたサービスを展開するためには、低コストで簡単にユーザに多種多様なモデルの提供が要求される。しかしながら、モデル作成には専門的な知識が要求される。このような要求によりモデル作成はコストがかかり、市場に十分な量を提供できないという問題がある。
【０００４】
このような問題に対して、従来では特許文献２が提案されている。この提案は、ユーザが顔部品を選択することでモデルを作成する方法である。
【０００５】
【特許文献１】日本国特許第3593067号
【特許文献２】日本国特許第2943703号
【発明の開示】
【発明が解決しようとする課題】
【０００６】
しかしながら、特許文献２の方法は、あらかじめ３次元モデルの作成知識が要される多くの部品を作成しておき、それをユーザが選択するものである。このため、部品を作成する段階において多大なコストおよび時間が要求される。
【０００７】
本発明はこのような従来技術の欠点を解消し、素人でも容易にモデルデータが作成でき、ユーザが所望する部品等を選択する単純操作だけで多種多様なモデルデータを得られるモデル生成装置を提供することを目的とする。
【課題を解決するための手段】
【０００８】
本発明は上述の課題を解決するために、あらかじめ個々の顔の特徴付けに用いる顔画像、この顔画像に対して修飾するパーツデータおよびあらかじめ設定した顔の部位を表わす第１の特徴点が含まれる基本のモデルデータを入力し、入力される３つのデータが反映された新規の基本モデルデータを生成するモデル生成装置において、この装置は、顔画像における特徴点を第２の特徴点として抽出する特徴点抽出手段と、第１の特徴点と第２の特徴点とを対応させ、第１の特徴点を第２の特徴点に移動させる変形手段と、パーツデータから所望するパーツを選択するパーツ選択手段と、移動した第１の特徴点と選択したパーツデータとを基として画像を貼り付ける貼付け手段とを含むことを特徴とする。
【０００９】
本発明のモデル生成装置は、特徴点抽出手段で第２の特徴点を抽出し、第２の特徴点を第１の表示手段に表示させて、特徴点と顔のずれ等を修正し、変形手段で第１の特徴点を第２の特徴点に変化させることでモデルデータを顔画像に似せて変形させ、この変形させたモデルデータとパーツ選択手段で選択した所望のパーツデータとを貼付け手段に供給し、両データを基に貼り付けたモデル画像を描画し、モデル知識の有無に関わらず、容易にモデルデータを作成することができる。
【発明を実施するための最良の形態】
【００１０】
次に添付図面を参照して本発明によるモデル生成装置の一実施例を詳細に説明する。
【００１１】
本実施例は、本発明のモデル生成装置をモデル生成システム10に適用した場合である。本発明と直接関係のない部分について図示および説明を省略する。以下の説明で、信号はその現れる接続線の参照番号で指示する。
【００１２】
モデル生成システム10は、図１に示すように、データストレージ部12およびモデル生成装置14を含む。データストレージ部12は、各種のデータをそれぞれ記憶する機能を有する。データストレージ部12は、各種のデータとして顔画像データ、入力モデルデータ、パーツデータおよび出力モデルデータを記憶する顔画像記憶部16、入力モデル記憶部18、パーツデータ記憶部20および出力モデル記憶部22を含む。モデル生成システム10は、図示しない操作部からの操作指示を制御部に送る。制御部は、操作指示に応じて生成した制御信号をデータストレージ部12に出力する。データストレージ部12は、供給される制御信号に応じて顔画像記憶部16、入力モデル記憶部18およびパーツデータ記憶部20のそれぞれからのデータをモデル生成装置14に出力する。
【００１３】
顔画像記憶部16には、カメラで撮影したような人間のリアルな顔画像データまたは似顔絵ツール等で作成した漫画画像データが格納される。本実施例では漫画画像データが記憶される場合を後段で示す。漫画画像データは透過情報との組合せで記憶される。顔画像データは、たとえば１画素あたり32ビットの情報を持ち、この情報のうち、24ビットでRGBデータを表わし、残りの８ビットで透過情報を表わす。顔画像データはモデル生成装置12を操作するユーザが作成する。ここでのユーザは、たとえばコンテンツプロバイダである。
【００１４】
入力モデル記憶部18にはテンプレートモデルが格納される。テンプレートモデルは複数の平面状のメッシュを奥行き方向にややずらして配置する。メッシュには顔メッシュおよびパーツメッシュ等が用意される。顔メッシュには人間の標準的なポリゴンが配置される。また、パーツメッシュにはたとえば、体メッシュ、メガネメッシュ、ひげメッシュ等のあらかじめ想定されるモデルのバリエーションを増やすメッシュが用意されている。パーツメッシュはそれぞれ、あらかじめ正しい位置に配置される。たとえばメガネメッシは顔メッシュにおける目の位置に配される。また、ひげメッシュは顔メッシュの口の位置に配される。
【００１５】
さらに、たとえば顔メッシュが左右に動けばメガネメッシュも追従して動くようにメッシュそれぞれに動作設定する。ここで、メッシュの表面に貼り付ける画像をテクスチャという。各メッシュのテクスチャは透過画像に設定する。目、口、鼻等のように顔の特徴的な部位にはあらかじめ特徴点が設定される。特徴点は、顔画像に応じて変化することから変化点とも呼ぶ。
【００１６】
パーツデータ記憶部20は、テンプレートモデル内のパーツメッシュに合うようなパーツデータであり、透過情報も持つ。パーツデータはユーザが作成する。
【００１７】
モデル生成装置14は、特徴点抽出部24、特徴点表示部26、顔変形部28、パーツ設定部30、画像貼付部32およびモデル表示部34を含む。特徴点抽出部24は、顔画像記憶部16から供給される顔画像データ36が含む特徴点を抽出する機能を有する。特徴点抽出部24は、抽出した顔画像における特徴点データ38を特徴点表示部26および顔変形部28に出力する。
【００１８】
特徴点表示部26は、供給される特徴点データ38を入力し、特徴点データ38を顔画像の特徴点として画面に表示し、表示した特徴点を編集する機能を有する。特徴点表示部26は、操作部からの指示に応じて編集した特徴点データ38を顔変形部28に出力する。
【００１９】
顔変形部28は、特徴点データ38に従って選んだ入力モデルの特徴点を変化点として移動させる機能を有する。顔変形部28には、入力モデル記憶部18からテンプレートモデルである入力モデルデータ40が供給される。入力モデルデータ40は操作部を介して入力モデル記憶部18に供給される指示信号に応じて選ばれる。顔変形部28は、選んだ入力モデルデータ40を入力し、この入力モデルデータ40の特徴点を特徴点データ38に応じて変化させる。顔変形部28は、入力モデルを供給される個々の顔に合わせて変化させることで入力モデルを多様化させることができる。顔変形部28は変形した顔モデルデータ42を画像貼付部32に出力する。
【００２０】
パーツ設定部30は、パーツ画像データの中から適当なパーツ画像データを選択して、設定する機能を有する。パーツ設定部30には、入力データ記憶部18からテンプレートモデルにおける平面状のメッシュデータ44が供給される。また、パーツ設定部30には、パーツデータ記憶部20からパーツデータ46が供給される。上述の機能を実現するためパーツ設定部30は、図２に示すように、パーツ表示部48、パーツ決定部50およびタイトル入力部52を含む。
【００２１】
パーツ表示部48は、供給されるパーツデータ46を表示する機能を有する。パーツ表示部48は、後述するようにパーツデータ46をパーツとして表示し、表示したパーツ画像に対応するパーツデータ54をパーツ決定部50に供給する。
【００２２】
パーツ決定部50は、供給される複数種類のパーツデータから選択し、決定する機能を有する。パーツ決定部50は選択したパーツデータ56をタイトル入力部52に出力する。タイトル入力部52は、決定したパーツ毎にタイトルを付ける機能を有する。タイトル入力部52には、入力データ記憶部18からデータ44が供給される。
【００２３】
なお、パーツ決定部50およびタイトル入力部52は、操作部における一部機能、すなわち決定キー機能やキー入力機能に対応する。
【００２４】
図１に戻って、画像貼付部32は、変形させた顔画像のモデルデータおよび選択したパーツデータを新たな基本モデルデータとして作成し、さらに作成したこの基本モデルデータに対して画像として貼り付ける機能を有する。画像貼付部32は、顔変形部28から顔メッシュを含む変形させた顔モデルデータ42を受け取り、顔メッシュのテクスチャとして顔画像を設定する。このとき、後述するように、たとえば顔画像の透過情報を設定することにより、顔メッシュのテクスチャは、顔領域だけ見える設定になる。
【００２５】
画像貼付部32は、パーツ設定部30から各パーツのメッシュとパーツのデータ58を受け取り、パーツメッシュのテクスチャとして選択されたパーツ画像を設定する。このときパーツ画像の透過情報を設定すると、パーツメッシュのテクスチャは、たとえばメガネのフレーム部分だけ見える設定になる。
【００２６】
画像貼付部32は、顔メッシュおよびパーツメッシュをテンプレートモデルと同じように配置してレンダーする。レンダーした画像データ60がモデル表示部34に出力される。画像貼付部32は、ユーザによる表示されるモデルの良否確認において、良好と判断された場合全メッシュを示すテンプレートモデル、顔テクスチャおよび複数のパーツテクスチャを一体化して表わすことができる基準モデルデータ62を生成し、出力モデル記憶部22に出力する。
【００２７】
モデル表示部34は、モデルを表示する機能を有する。モデル表示部34には、モデル構築前のテンプレートデータである入力モデルデータ64と画像データ60が供給される。モデル表示部34は、両データ60および64を表示することによりモデルの出来栄えを確認できる。モデル表示部34は、特徴点表示部26と同一のモニタにしてもよい。同一モニタは、マルチ画面の内、表示内容に応じて該当するデータを表示すればよい。
【００２８】
コンテンツプロバイダはモデル生成装置14を用いて、テンプレートモデルである入力モデルデータ40およびメッシュデータ44から新規の基準モデルデータ62を作成し、一般のユーザがモデル生成装置14を利用して、基準モデルデータから個人モデルデータを作成する。
【００２９】
次にモデル生成システム10の動作について説明する。最初に、基準モデルデータを作成する手順を説明する。
【００３０】
特徴点抽出部24は、顔画像データ36を取り込み、顔画像の顔部位を抽出する。本実施例では特許文献１に示す公知の技術を用いて自動的に検出する。このとき図３のテンプレートモデルに設定した黒三角形の頂点で表わされる変化点は少なくとも抽出する。ここで、特徴点は顔画像の左上を原点66とする２次元座標で抽出される。しかしながら、特徴点の抽出は失敗することもある。特徴点表示部26で顔画像と抽出した特徴点とを重ねて表示するとよい。コンテンツプロバイダが表示を見て特徴点がずれている場合、これにより抽出した特徴点を修正できる。未抽出の場合には特徴点を追加できる。
【００３１】
このようにして正しい特徴点が決定されると、顔変形部28では、全特徴点の情報および入力モデルデータ40、すなわちテンプレートモデルを受け取り、とくに、テンプレートモデルに設定されている変化点とこの変化点に対応する特徴点の座標とを参照する。この参照により該当する変化点を特徴点に移動させる。この処理により図４に示すように入力された顔画像にマッチした顔メッシュ67aを作成する。図４には、顔メッシュ67aだけでなく、めがねメッシュ67b、ひげメッシュ67cおよび体メッシュ67dも示す。
【００３２】
画像貼付部32は、図5(a)に示すように、顔変形部28から顔メッシュと顔画像を含む顔モデルデータ42を受け取り、顔メッシュのテクスチャとして顔画像を設定する。このとき、図5(b)に示すような顔画像の透過情報を設定する。画像貼付部32は、顔メッシュのテクスチャは、顔領域のみ見えるような設定になる。
【００３３】
パーツ設定部30では、複数のパーツデータ44を読み取ってパーツ画像として表示する。コンテンツプロバイダは、表示されたパーツ画像の中から顔画像に合うパーツを選択する。たとえば顔画像が図5(a)に示すように女性の場合、図6(a)に示すメガネメッシュ向けの女性用メガネのパーツ画像をたとえば数個設定する。また、体メッシュ向けに女性用の服装のパーツ画像を数個設定してもよい。しかしながら、ひげメッシュは女性に合わないので設定しない。
【００３４】
パーツ設定部30においてパーツ画像が１つ決定されるたびにタイトル入力部52では、当該パーツ画像のタイトルを入力する表示窓が表示され、たとえば「伊達メガネ」、「ちょびひげ」などそのパーツ画像を表わすのにふさわしいタイトル(テキストデータ)を入力する。そしてモデル内に当該パーツテクスチャにとともにタイトルを情報として格納する。これにより生成されるデータ（基準モデルデータ）58には、複数存在するパーツテクスチャのそれぞれにタイトルが付与される。
【００３５】
画像貼付部32では、パーツ設定部30から各パーツのメッシュとパーツデータを受け取り、パーツメッシュのテクスチャとして選択されたパーツ画像を設定する。このとき図6(b)に示すように、パーツ画像の透過情報を設定すると、パーツメッシュのテクスチャは、たとえばメガネのフレーム部分だけ見えるような設定になる。
【００３６】
画像貼付部32は、上述した設定に応じて供給される各種のデータをテンプレートモデルと同じように配置し、レンダーする。このレンダリングで得られた画像データ60をモニタ表示部34に供給すると、コンテンツプロバイダは生成したモデルを確認することができる。画像貼付部32は、全メッシュのテンプレートモデル、顔テクスチャおよび複数のパーツテクスチャを一体化した新規の基準モデルデータ62を生成する。
【００３７】
モデル生成システム10は、顔画像を漫画表現のモデル生成に限定されるものでなく、コンテンツプロバイダは個人ユーザが自分の顔写真でモデルを作成することもできる。この場合、あえて漫画画像を入れないことから、顔メッシュはいわゆる「のっぺら坊」の状態である。したがって、モデル生成装置14では特徴点抽出や顔変形は行なわない。
【００３８】
個人ユーザによる個人モデルの作成手順を説明する。顔メッシュには、漫画画像のテクスチャまたはのっぺら坊のような透過テクスチャを設定する。また、パーツメッシュはパーツ毎に複数のパーツテクスチャを有する。
【００３９】
入力モデルデータに透過テクスチャを設定する場合、リアル顔画像を用いる。この設定の場合、透過情報は一般的に存在しない。これに対して、漫画画像を用いる場合、顔画像は使用しない。また、パーツ画像も使用しない。
【００４０】
上述した条件のうち、リアル画像として顔画像が入力されると、特徴点抽出部24は特徴点を抽出し、抽出した特徴点から顔の領域を推測する。この顔の領域の推測から、顔領域を決定する。特徴点表示部26で、抽出された特徴点と顔領域に対して修正する。
【００４１】
この場合、顔変形部28で特徴点データ38を基に顔メッシュを変形させる。変形した顔モデルデータ42を画像貼付部32に出力する。画像貼付部32では顔領域の判定部分を不透過にして、顔画像テクスチャとする。画像貼付部32は、この判定部分以外の領域を透過テクスチャとする。
【００４２】
顔画像が入力されないと、顔メッシュには漫画テクスチャが供給されている。特徴点抽出部24、特徴点表示部26、顔変形部28は何等処理せず、顔メッシュに関しては画像貼付部32も処理しない。
【００４３】
パーツ設定部30では、モデルデータに含まれる各パーツデータからパーツテクスチャを生成し、各パーツを画像として表示する。個人ユーザは表示されるパーツの中からパーツ毎に１つ好みのものを選択する。選択したパーツテクスチャ58は画像貼付部32に供給される。画像貼付部32では該当パーツ領域に供給されるパーツテクスチャ58を貼り付ける画像貼付部32は、モデル表示部34に貼り付けたパーツテクスチャ58および顔メッシュをレンダーした画像データ60を供給する。モデル表示部34はこの画像データ60を表示する。
【００４４】
個人ユーザがこのモデルで良いと判断すると、全メッシュの顔画像モデル、顔テクスチャおよび選択したパーツテクスチャを一体化した個人モデルを個人基本モデルとして生成する。
【００４５】
このように動作させて、一度テンプレートモデルを作成すると、作成したテンプレートモデルから様々な顔やパーツを持つ基準モデルデータを容易に作成することができ、さらに作成した基準モデルデータから様々な個人基本モデルデータを作成できる。
【００４６】
また、基準モデルデータを作成する過程では、コンテンツプロバイダは似顔絵やパーツ等の画像デザインを行なうだけで良いことから、モデル生成における複雑な知識を必要としない。さらに、個人基本モデルデータを作成する過程ではカメラ撮影やパーツ選択といった端末操作だけで済むことから、一般ユーザでも十分容易に扱うことができる。
【００４７】
このようにモデル生成システム10は多種多様な基本モデルデータを市場に提供し、展開できるので、提供されるモデルデータを用いた通信コミュニケーション等におけるツールの拡販に貢献することが可能となる。
【００４８】
また、パーツ設定部30は、図２に示す構成に限定されるものでなく、図７に示すようにすでに入力された情報を基にパーツ設定してもよい。この場合、パーツ設定部30は、図２に示したパーツ表示部48およびパーツ決定部50を用い、タイトル読出し部68および検索部70を設ける。
【００４９】
タイトル読出し部68は、入力モデル記憶部18内に存在する各パーツテクスチャのタイトルを読み出す機能を有する。タイトル読出し部68には、入力キー72に応じて読出し制御信号44を生成し、入力モデル記憶部18に出力する。入力モデル記憶部18は、読出し制御信号44に応じて読み出したパーツテクスチャのタイトル44をタイトル読出し部68に供給する。タイトル読出し部68は、供給されたタイトル44をタイトル74として検索部70に出力する。
【００５０】
検索部70は、供給されるタイトル74とユーザからの入力キー72とを照合し、一致するタイトルを検出する機能を有する。検索部70は、この検出機能により一致したタイトル76をパーツ表示部48に出力する。
【００５１】
パーツ表示部48は、供給されるタイトル44におけるパーツテクスチャの内、検索したタイトル76に対応するパーツテクスチャを表示する。表示されるパーツテクスチャは複数であってもよい。パーツ表示部48は表示したパーツテクスチャ54をパーツ決定部50に出力する。パーツ決定部50は、表示された複数のパーツテクスチャからいくつかを選択する。パーツ決定部50は、選択したパーツテクスチャのデータ58を画像貼付部32に出力する。
【００５２】
モデル生成システム10の動作は基本的に前述した通りである。とくに、この構成を用いて、コンテンツプロバイダが操作する場合、パーツ表示部48は供給されるパーツ画像44の内、一致したパーツ画像を表示する。次にパーツ決定部50は、表示されたパーツ画像の中から顔メッシュに合うパーツを選択して、決定する。
【００５３】
また、個人モデルデータを作成する場合、パーツ設定部30において、タイトル読出し部68は入力モデル記憶部18から読み出したパーツテクスチャのタイトル44を検索部70に渡す。次に検索部70は、個人ユーザから供給される入力キー72とタイトル74とを照合し、マッチしたタイトル76をパーツ表示部48に出力する。
【００５４】
パーツ表示部48は、検索部70からタイトル76を受け取り、このタイトルを持つパーツテクスチャ44だけを表示する。さらに、パーツ決定部50は、パーツ表示部48に表示されたパーツテクスチャの中から個人ユーザが好むものを入力データ72に応じて選択し、決定する。
【００５５】
このように動作させると、パーツテクスチャの数が膨大になった場合において、個人ユーザは、入力キーで所望のパーツを検索できることから、好みのモデルの作成を容易に処理することができる。また、たとえば携帯電話機のように表示領域が限られている端末装置等における利用において有利である。
【００５６】
さらに、モデル表示部34は、図２に示す構成に限定されるものでなく、図８に示すように顔画像に対して柔軟に対応するようにしてもよい。この場合、図８のモデル表示部34は、前述した構成における単に表示機能を有するだけでなく、顔解析部78およびモデルレンダー部80を含む。顔解析部78は、外部の画像入力装置、たとえばディジタルカメラ82から入力される顔画像データ84を解析し特徴点を表情情報86として検出する機能を有する。また、モデルレンダー部80は、供給される入力モデルデータ64を表情情報86に基づいてレンダーする機能を有する。
【００５７】
モデル表示部34は、前段の処理で画像貼り付けが行なわれた基本モデルの画像データ60を受け取ると、カメラ82を起動させる。このとき被写体の顔画像をモデル表示部34の顔解析部78に連続的に取り込む。
【００５８】
顔解析部78は、連続的に送られてくる顔画像を受け取り、この顔画像データが示す特徴的な部分または部位をたとえば特徴点として検出する。この特徴点の検出により時系列的に連続して供給される顔画像における特徴点の変化から、顔の動き、すなわち表情情報が作成される。モデルレンダー部80は顔解析部78から順次、供給される表情情報86を利用して、モデルを変形させながら表示する。この処理をフェイスシンクという。ここで表示されるモデルの一例を図９に示す。ここで、表情情報の作成およびフェイスシンクそれぞれの詳細は特許文献１に開示されている。本実施例は、この開示技術を利用する。
【００５９】
このようにモデル表示部34を構成し、動作させると、顔画像のテクスチャやパーツ画像のテクスチャを選択し、設定後にモデルの状態を確認する段階において、フェイスシンクさせると、作成したモデルが実際にどのような動きをするかを参照することができる。これにより個人ユーザの意図通りのモデルが作成されたのか否かを実際に適用する前に検証することができる点で有利である。
【００６０】
次に本発明に係るモデル生成システムを適用したモデル提供システム90について説明する。モデル提供システム90は、少なくとも、モデル生成システム10の構成要素を通信により有機的につなげられた分散システムである。モデル提供システム90は、図10に示すように、構成要素として、サーバ装置92および94、ならびにユーザ端末装置96を含む。
【００６１】
サーバ装置92は、入力モデルデータ、すなわちテンプレートモデルをデータベース化し、保持して、アクセスに応じてテンプレートモデルを出力する機能を有する。サーバ装置92には、図１のデータストレージ部12が備えられる。本実施例のサーバ装置92は、モデル作成の専門的な知識を有する生成者がすでに作成したテンプレートモデルを格納する場合である。テンプレートモデルは、人間用のテンプレートモデルだけでなく、たとえば犬用および猫用等、各種のデンプレートモデルが保管されている。したがって、サーバ装置92が有するストレージは、図１の入力モデル記憶部18に対応するものである。サーバ装置92は、ネットワーク98に接続される。
【００６２】
また、サーバ装置94は、テンプレートモデルから基準モデル62を作成する機能を有し、ネットワーク98に接続される。ネットワーク98は、IP（Internet Protocol）ネットワークでもよい。この機能を実現するためサーバ装置94はモデル生成装置14を含む。サーバ装置94は、サーバ装置92からテンプレートモデルを読み出し、ネットワーク98を介してダウンロードする。サーバ装置94は、コンテンツを配信する業者、たとえばコンテンツプロバイダが管理する。この管理はコンテシツプロバイダへの利用料金の支払い、すなわち課金処理も含む。サーバ装置94は、図示しないが図１の出力モデル記憶部22を備える。
【００６３】
ユーザ端末装置96は、個人ユーザが所有する装置である。ユーザ端末装置96もネットワーク98に接続される。ユーザ端末装置96は、入力操作部に相当し、作成した新規の基準モデルデータ62の良否を判定する。
【００６４】
モデル提供システム90の動作について簡単に説明する。ユーザ端末装置96は、所望する基準モデルデータ、とくに、パーツテクスチャ、顔画像など個人モデルを作成する上で要求される仕様情報を作成する。ユーザ端末装置96は、たとえばパーソナルコンピュータや携帯電話機からサーバ装置94にアクセスし、作成した仕様情報を注文情報としてサーバ装置94に送信する。
【００６５】
サーバ装置94は、ユーザ登録の有無に基づくユーザ管理および各ユーザに対する課金管理を経て仕様情報に対応する入力モデルデータをサーバ装置92から読み出す。サーバ装置94は、入力モデルデータをモデル生成装置14に供給し、前述した方法を適用して基準モデルデータや個人基準モデルデータを作成する。このとき顔画像毎に様々な基準モデルデータ62が作成されることは言うまでもない。人間用モデルデータとしては、若い女、年老いた男、子供、赤ちゃんなどバリエーションは限りなく存在する。また、サーバ装置94は、作成した基準モデルデータを一般ユーザ、すなわちこの基準モデルデータをコミュニケーションツールとして利用するユーザに紹介するウェブサイトでもある。ウェブサイトでは、上述したように個人ユーザの注文を受け付ける。このようにサーバ装置94は、ユーザ管理、個人ユーザ管理およびその課金管理によりウェブサイトを運営する。コンテンツプロバイダは、モデルデータのダウンロード時に料金を精算してもよいし、会員登録制でユーザから毎月定額料金を徴収するようにしてもよい。
【００６６】
ユーザ端末装置96は、ネットワーク98を介してサーバ装置94で作成した自身の注文情報に基づく個人基準モデルをダウンロードする。ユーザは、ユーザ端末装置96のコミュニケーションツールとして個人基準モデルを利用する。
【００６７】
モデル提供システム90によれば、コンテンツプロバイダは漫画画像やパーツ画像のような２次元の画像をデザインするだけでバリエーション豊富な基準モデルを容易に作成し、ユーザに提供できる。このことから、システム90におけるサイトがユーザに飽きられることがないように運営することが可能になる。
【００６８】
また、ユーザも豊富な基準モデルから所望のモデルデータを選択でき、さらに顔画像を写真画像にしたり、パーツを自由に選択したりできる点等のように個人用のユニークなモデルデータを取得することができる。
【００６９】
このようにして、システム90が実施されるとこれまで問題となっていたコンテンツ不足を解消できる。このため、コミュニケーションツールの拡販にも貢献することが可能となる。また、本実施例では、モデルデータをサーバ装置94で生成することから、ユーザ端末装置に負担を掛けることなく、携帯電話ユーザにも利用しやすいという利点がある。
【００７０】
なお、ユーザ端末装置96は、図11に示すように、モデル生成装置14を含んでもよい。ユーザ端末装置96は、コンテンツプロバイダが管理するサーバ装置94からモデル生成装置が利用するアプリケーションソフトウェアをダウンロードする。次にユーザ端末装置96はサーバ装置94からコンテンツプロバイダが作成した基準モデルの内、所望する基準モデルデータをダウンロードする。ユーザ端末装置96は、内蔵するモデル生成装置14で、基準モデルデータから個人基準モデルデータを作成する。これにより、ユーザ端末装置14は生成した個人基準モデルをコミュニケーションツール等で利用する。
【００７１】
このようにモデル提供システム90において、個人基準モデルデータの生成を各ユーザ端末装置96で処理することにより、サーバ装置94では多くのユーザを相手に細かい注文のやり取りが不要になり、ネットワーク負荷を抑制する効果を奏する。このため、コンテンツプロバイダは低コストでより多くの顧客に向けたサイト運営が可能になる。
【図面の簡単な説明】
【００７２】
【図１】本発明に係るモデル生成装置を適用したモデル生成システムの概略的な構成を示すブロック図である。
【図２】図１に示したパーツ設定部の概略的な構成を示すブロック図である。
【図３】図１の入力モデル記憶部に格納する入力モデルデータ（テンプレートモデル）の一例である。
【図４】図１のモデル生成システムが扱うテンプレートモデルにおける各メッシュを説明する図である。
【図５】図１のモデル生成システムが扱う顔画蔵とその透過情報を説明する図である。
【図６】図１のモデル生成システムが扱うパーツ画蔵とその透過情報を説明する図である。
【図７】図２のパーツ設定部と異なる概略的な構成を示すブロック図である。
【図８】図１のモデル表示部34において追加した構成要素の配置を示すブロック図である。
【図９】図１のモデル生成システムで得られるフェイスシンクの表示例を示す図である。
【図１０】本発明に係るモデル生成システムを適用したモデル提供システムの概略的な構成を示すブロック図である。
【図１１】図10のユーザ端末装置内に追加される構成要素を示すブロック図である。
【符号の説明】
【００７３】
10  モデル生成システム
12  データストレージ部
14  モデル生成装置
16  顔画蔵記憶部
18  入力モデル記憶部
20  パーツデータ記憶部
22  出力モデル記憶部
24  特徴点抽出部
26  特徴点表示部
28  顔変形部
30  パーツ設定部
32  画像貼付部
34  モデル表示部
【図１】
2007026088.tif 000003
【図２】
2007026088.tif 000004
【図３】
2007026088.tif 000005
【図４】
2007026088.tif 000006
【図５】
2007026088.tif 000007
【図６】
2007026088.tif 000008
【図７】
2007026088.tif 000009
【図８】
2007026088.tif 000010
【図９】
2007026088.tif 000011
【図１０】
2007026088.tif 000012
【図１１】
2007026088.tif 000013