(57)【要約】【課題】モデルの作成を自動化しても、ユーザの要求に対応可能なモデル作成装置およびデータ配信システムを提供。【解決手段】モデル作成装置10は、画像格納部12に格納した顔画像を特徴抽出部14に供給し、特徴抽出部14で各部品における特徴点を従来の数より多く抽出して、モデル変形部20にて抽出した特徴点および基準モデル格納部18から供給される基準データを基に基準データを変形させたモデルを従来よりも高い精度で表して、画像貼付部22に供給し、画像調整部16では顔画像の座標系を基準モデルの座標系に調整した顔画像を画像貼付部22に供給し、画像貼付部22で供給されるモデルに供給される顔画像を貼り付けてずれのない基準変形モデルを作成する。【選択図】図１
2006040228.tif 000002
【特許請求の範囲】
【請求項１】
供給される顔画像を一時的に格納する画像格納手段と、
前記顔画像に含まれる特徴的な顔部品それぞれに対して抽出する特徴点の数を従来の数より多く抽出する特徴抽出手段と、
基準として用いるモデルを格納するモデル格納手段と、
前記抽出された複数の特徴点を基に前記基準モデルを変形するモデル変形手段と、
前記顔画像を表示する座標系と前記基準モデルを表示する座標系とを一致させる調整を施す画像調整手段と、
前記調整された顔画像を前記変形された基準モデルに貼り付ける画像貼付手段とを含むことを特徴とするモデル作成装置。
【請求項２】
請求項１に記載の装置において、該装置は、前記特徴点に対する通し番号、前記特徴点の位置を示す座標および前記特徴点の有無を表すフラグを一組にまとめた特徴点テーブルを設定し、
外部から前記特徴点テーブルを入力する入力手段と、
前記供給される特徴点テーブルを外部に出力する特徴出力手段と、
少なくとも、前記抽出された特徴点および前記入力手段からの特徴点の一方の特徴点が前記基準モデルの変形に十分か否かを判定し、該判定の真に応じて前記特徴点テーブルを前記モデル変形手段に出力し、該判定の偽に応じて少なくとも、前記入力手段からの特徴点テーブルおよび前記部品抽出手段からの特徴点を基に生成した特徴点テーブルの一方を前記特徴出力手段に出力する特徴判定手段とを含むことを特徴とするモデル作成装置。
【請求項３】
顔画像および基準とするモデルを注文データとして送信し、該注文データに応じて変形した基準データを受信する情報端末装置と、前記注文データを受信し、該注文データに応じて前記変形した基準データを管理し、該変形した基準データを注文した情報端末装置に送信するサーバ装置とがネットワークを介して接続されているデータ配信システムにおいて、前記サーバ装置は、供給される顔画像を一時的に格納する画像格納手段と、
前記顔画像に含まれる特徴的な顔部品それぞれに対して抽出する特徴点の数を従来の数より多く抽出する特徴抽出手段と、
基準として用いるモデルを格納するモデル格納手段と、
前記抽出された複数の特徴点を基に前記基準モデルを変形するモデル変形手段と、
前記顔画像を表示する座標系と前記基準モデルを表示する座標系とを一致させる調整を施す画像調整手段と、
前記調整された顔画像を前記変形された基準モデルに貼り付ける画像貼付手段とをモデル作成装置として含むことを特徴とするデータ配信システム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、モデル作成装置およびデータ配信システムに関し、とくに、本発明のモデル作成装置は、人間や動物から得た画像に合わせて変形させ、画像に対応した変形モデルを得る装置に関するものである。また、本発明のデータ配信システムは、注文データを受け、注文に対応して基準モデルを変形させ、注文の送信元に作成した基準変形モデルを提供するモデル配信システムに関するものである。
【背景技術】
【０００２】
現在、コミュニケーションツールやコンピュータゲームなどで利用するために、ユーザの個性を活かした３次元コンピュータグラフィックス（CG）モデルを作成するサービスが実用段階に入っている。これらのサービスの具体例として非特許文献１および非特許文献２などが挙げられる。
【０００３】
これらのサービスでは、ユーザがユーザの所有する画像、たとえば自分の顔画像をサービスサイトに送信するとともに、この顔画像の特徴となる顔部品の位置をユーザが指定する。サービスサイトでは、この特徴に沿ってモデルを変形したり、この顔画像をモデルに貼り付けたりすることによってユーザの個性を活かしたモデルを作成し、作成したモデルを送信した送信元のユーザに提供している。
【特許文献１】特開2003−281539号公報
【非特許文献１】ちょbit3D，http://www.spacetown.ne.jp/mebius/lib/t-bit3d/chobi.html，2004年３月２日現在
【非特許文献２】3DMeNow，http://www.biovirtual.com
【発明の開示】
【発明が解決しようとする課題】
【０００４】
しかしながら、個性を十分に活かすには、顔部品の特徴が細かく指定されることが望まれる。このように個性を反映するためにはユ一ザに多大な負担が強いられるという問題がある。一方、顔部品の抽出に公知技術を用いると、ユーザの指定無しにモデルを自動的に作成することは可能であるが、抽出精度に依存することが多く、かつ撮影条件が厳しくなることから、モデル作成の自動化は現在、実用レベルに至っていない。
【０００５】
また、ユーザには、低料金で早くモデルを取得したい場合や高料金でも精度の高いモデルを取得したい場合など多岐にわたる要求がある。前者の要求では、携帯電話等のような情報機器が有する小さな画面だけで表示することが多いことから、抽出精度は低くて済む。後者を要求するユーザにはパーソナルコンピュータ等がある。前述したサービスには、これらユーザの要求すべてに対応することが求められている。
【０００６】
本発明はこのような従来技術の欠点を解消し、モデルの作成を自動化しても、ユーザの要求に対応可能なモデル作成装置およびデータ配信システムを提供することを目的とする。
【課題を解決するための手段】
【０００７】
本発明は上述の課題を解決するために、供給される顔画像を一時的に格納する画像格納手段と、顔画像に含まれる特徴的な顔部品それぞれに対して抽出する特徴点の数を従来の数より多く抽出する特徴抽出手段と、基準として用いるモデルを格納するモデル格納手段と、抽出された複数の特徴点を基に基準モデルを変形するモデル変形手段と、顔画像を表示する座標系と基準モデルを表示する座標系とを一致させる調整を施す画像調整手段と、調整された顔画像を変形された基準モデルに貼り付ける画像貼付手段とを含むことを特徴とする。
【０００８】
本発明のモデル作成装置は、画像格納手段に格納した顔画像を特徴抽出手段に供給し、この特徴抽出手段で各部品における特徴点を従来の数より多く抽出することにより、モデル変形手段にて抽出した特徴点およびモデル格納手段から供給される基準データを基に基準データを変形させたモデルを従来よりも高い精度を有するモデルにして、画像貼付手段に供給し、画像調整手段では顔画像の座標系を基準モデルの座標系に調整した顔画像を画像貼付手段に供給し、画像貼付手段で供給されるモデルに供給される顔画像を貼り付けてずれのない基準変形モデルを作成することにより、煩雑なユーザによる部品抽出操作を行うことなく、顔画像に合わせた基準変形モデルを自動的に作成することができる。
【０００９】
また、本発明は上述の課題を解決するために、顔画像および基準とするモデルを注文データとして送信し、この注文データに応じて変形した基準データを受信する情報端末装置と、注文データを受信し、この注文データに応じて変形した基準データを管理し、この変形した基準データを注文した情報端末装置に送信するサーバ装置とがネットワークを介して接続されているデータ配信システムにおいて、サーバ装置は、供給される顔画像を一時的に格納する画像格納手段と、顔画像に含まれる特徴的な顔部品それぞれに対して抽出する特徴点の数を従来の数より多く抽出する特徴抽出手段と、基準として用いるモデルを格納するモデル格納手段と、抽出された複数の特徴点を基に基準モデルを変形するモデル変形手段と、顔画像を表示する座標系と基準モデルを表示する座標系とを一致させる調整を施す画像調整手段と、調整された顔画像を変形された基準モデルに貼り付ける画像貼付手段とをモデル作成装置として含むことを特徴とする。
【００１０】
本発明のデータ配信システムは、情報端末装置からの注文データがネットワークを介してサーバ装置に供給され、サーバ装置に含まれるモデル作成装置にて画像格納手段に格納した顔画像を特徴抽出手段に供給し、この特徴抽出手段で各部品における特徴点を従来の数より多く抽出することにより、モデル変形手段にて抽出した特徴点およびモデル格納手段から供給される基準データを基に基準データを変形させたモデルを従来よりも高い精度を有するモデルにして、画像貼付手段に供給し、画像調整手段では顔画像の座標系を基準モデルの座標系に調整した顔画像を画像貼付手段に供給し、画像貼付手段で供給されるモデルに供給される顔画像を貼り付けてずれのない基準変形モデルを作成し、サーバ装置から作成した基準変形モデルを注文した情報端末装置に供給することで、情報端末装置におけるユーザの操作負担を従来よりも少なくし、サーバ装置における所望の基準変形モデルの生成に要するコストを抑制し、モデルの生成も短時間で取得することができる。
【発明を実施するための最良の形態】
【００１１】
次に添付図面を参照して本発明によるモデル作成装置の実施例を詳細に説明する。
【００１２】
本実施例は、本発明のモデル作成装置をモデル作成装置10に適用した場合である。本発明と直接関係のない部分について図示および説明を省略する。以下の説明で、信号はその現れる接続線の参照番号で指示する。
【００１３】
モデル作成装置10は、図１に示すように、画像格納部12、部品抽出部14、画像調整部16、基準モデル格納部18、モデル変形部20、画像貼付部22およびモデル出力部24を含む。画像格納部12は、供給される画像データ26を格納する機能を有するメモリである。画像データ26は、人物の顔が撮影された画像、すなわち顔画像データである。また、画像格納部12は、圧縮された顔画像データが供給される場合、圧縮を解凍または伸長する機能も有している。画像格納部12は、格納されている顔画像データ28を部品抽出部14および画像調整部16に、それぞれ出力する。
【００１４】
部品抽出部14は、顔画像から顔部品の特徴点を抽出する機能を有し、図２に示すように顔画像データ28で表される顔画像30の中から、目、眉毛、鼻、口等の顔部品の位置を特徴点32として抽出またはサンプリングを行う。本実施例では、特徴点32を白丸で表している。また、特徴点は、顔画像30における座標の原点34を両目の間を２分割した位置に設定し、この原点からの座標（X, Y）で表している。顔部品抽出の方法は公知技術である特許文献１を用いる。高精度に動作させる場合、少なくとも図２に示す程度に特徴点を詳細に抽出することが望ましい。基本的にこのように特徴点を抽出することにより、顔画像モデルがユーザの顔画像に代わって口を開閉したり、眉を動かしたりする高精度な動作させる上でのデータが提供されることになる。部品抽出部14は、抽出した顔に部品それぞれの特徴点を示すデータ36をモデル変形部20に供給する。
【００１５】
図１に戻って、基準モデル格納部18は、少なくとも一つの基準となるモデルを格納する機能を有するメモリである。本実施例における基準データ38は、図３に示すように、人用として、あらかじめ作成されたポリゴンを有する顔モデルであり、各ポリゴンの位置とモデル原点がそれぞれ、特定されている。モデル原点40は、特徴点を抽出する場合と同様にモデルの両目の中心に設定している。このように原点を先の設定と同じ位置に設定することによって供給される顔画像データ28と基準データ38とが対応付けられるようになる。基準モデル格納部18は、基準データ38をモデル変形部20に出力する。
【００１６】
なお、本実施例では、人用のモデルを一つ用意し、それを使用する場合を示したが、基準モデルは複数用意しておき、どの基準モデルを使用するかを外部から与える方式にしてもよい。たとえば、顔画像が犬や猫の場合でも、基準モデルを犬や猫を用意し、それを選択することにより人以外のモデルを作成することができる。
【００１７】
再び、図１に戻って、モデル変形部20は、抽出されたデータ36に従って基準データ38のポリゴンを変化させて、基準となる顔モデルを変形する機能を有している。また、モデル変形部20は、基準モデルの座標系と供給される顔画像の座標系との違いを吸収する変換比率Rを算出する機能も有している。変換比率Rは、基準モデルの両目間の距離MLと顔画像における両目間の距離ILとして、ML/ILから得られる。距離ILは、画像上のピクセル数を基に求めている。モデル変形部20は、抽出した特徴点の座標に変形比率Rを乗算し、抽出した特徴点に対応する基準モデルの特徴点それぞれを得られた乗算結果の対応座標に移動させる。
【００１８】
なお、ポリゴン数が特徴点の数より多い場合は、特徴点に最も近いと推定されるポリゴンに対して変形比率Rを乗算して、得られた座標位置に移動させ、その周りのポリゴンは移動したポリゴンとの対称関係を崩さない位置関係を保ちながら、他のポリゴンに対する得られた座標位置に影響しない範囲が保たれるように移動させる。
【００１９】
これにより、ポリゴンが変形された基準モデルが得られるから、モデル変形部20は、供給された顔画像の特徴を有する基準変形モデル42を画像貼付部22に出力する。また、モデル変形部20は、変形比率R 44を画像調整部16に供給する。
【００２０】
画像調整部16は、供給される顔画像データ28を基準モデルの座標系に一致するように調整する機能を有し、顔画像データ28の横幅Wおよび高さまたは縦幅Hに変形比率R 44を乗算し、線形伸縮を施す。この処理は、供給される顔画像データ28が様々なサイズ、すなわちピクセル単位で表される異なる解像度の入力に対応して正規化することが望まれているからである。画像調整部16は、画像貼付部22に調整画像データ46を供給する。
【００２１】
画像貼付部22は、供給される基準変形モデル42の顔ポリゴンに調整画像データ46の原点を合わせて、貼り付ける、テクスチャマッピング機能を有している。サイズはすでに調整されているので、顔以外はポリゴンからはみ出す。これをマッピングされると表現する。はみ出した部分は、モデルを表示したときに無視される。この結果、この部分は見えない。これにより、基準モデルの顔だけが供給される顔の画像データに似た変形モデルになる。画像貼付部22は、このようにして得られた画像データを基準変形モデル48としてモデル出力部24に供給する。
【００２２】
モデル出力部24は、供給される基準変形モデル48を一時的に格納し、出力するメモリである。モデル出力部24における所定のメモリのアドレスは外部から与えてもよいし、あらかじめ固定のアドレスを装置内部で持つようにしてもよい。モデル出力部24は、図示しないが、供給されるタイミングに応じて格納している基準変形モデル50を出力する。
【００２３】
次にモデル作成装置10の動作について簡単に説明する。供給される画像データ26は画像格納部12に一時格納し、顔画像データ28を部品抽出部14および画像調整部16にそれぞれ、供給する。部品抽出部14では、顔画像データ28から顔部品の特徴点を抽出し、データ36をモデル変形部20に供給する。モデル変形部20には、基準データ格納部18から基準データ38も供給されている。
【００２４】
モデル変形部20では、基準モデル38と顔部品の特徴点であるデータ36との変形比率Rを求め、データ36に変形比率Rを作用させ、得られた結果の特徴点に対応する基準モデル38の特徴点の位置を得られた結果に置換することにより、基準モデルを変形させた基準変形モデル42を生成する。
【００２５】
基準変形モデル42の生成方法は、最初、画像上のピクセル数を単位にモデルの両目間の距離MLと顔画像における両目間の距離ILとをそれぞれ、求め、双方の変換比率としてR=ML/ILを求める。
【００２６】
次に基準モデルの座標系と供給される顔画像の座標系とのずれを吸収するように処理する。抽出した顔部品の各特徴点の座標であるデータ36を(X1, Y1)，(X2, Y2)，・・・，(Xn, Yn)とし、nは特徴点数を表している。データ36に変形比率Rを作用する。すなわち、(X1×R, Y1×R)，(X2×R, Y2×R)，・・・，(Xn×R, Yn×R)。基準モデル38とデータ36の特徴点それぞれを対応させ、基準データ38の特徴点の位置を示す座標の値に変形比率Rを作用したデータ36で置換することにより、基準データのポリゴンをそれぞれ、移動させる。この置換された基準データが基準変形データ42である。基準変形データ42は画像貼付部22に出力される。また、変形比率R 44が画像調整部16に出力される。
【００２７】
画像調整部16では、顔画像データ28を変換比率R 44で線形伸縮させて、調整画像データ46を得る。調整画像データ46は画像貼付部22に出力される。画像貼付部22では、基準変形データ42に調整画像データ46をテクスチャマッピングして、基準変形モデル48を得る。
【００２８】
このように部品抽出部14で特徴点を抽出することで煩雑なユーザによる部品抽出操作をなくすことができ、顔画像に合わせた基準モデルである基準変形モデル48を自動的に作成することができる。
【００２９】
次にモデル作成装置10における他の実施例について説明する。図４のモデル作成装置10は、図１に示した構成要素に特徴入力部52、特徴判定部54および特徴出力部56を含む。図１に示した構成要素のそれぞれには、先の実施例と同じ参照番号を付し、説明の煩雑さを避けるため説明を省略する。特徴入力部52は、外部から顔部品の特徴点を受け取る機能を有している。特徴入力部52は、外部から特徴点テーブル58を入力する入力インタフェースでメモリ機能も有している。特徴入力部52は、特徴判定部54に特徴点テーブル60として出力する。特徴点テーブル60は未抽出点の追加・抽出点の修正等のように編集された情報を含んでいてもよい。入力前の情報編集は、オペレータ、すなわち編集者が行う。編集者は特徴点テーブルに示された座標と顔画像を比較し、正しく抽出されているかを確認し、要求に応じて特徴点テーブルを修正して、特徴判定部54に入力する。
【００３０】
特徴判定部54は、基準モデルにおいて変形させる特徴点がすべて抽出されているか否かを確認する判定機能を有している。特徴点テーブルは、図５に示すように、特徴点通番、座標および抽出フラグを有している。特徴点通番はあらかじめ基準モデルにおいて変形させる特徴点の通し番号として保持されている。座標は、前述した特徴点の原点に対する位置を表している。また、抽出フラグは、通番にマッチする特徴点の有無をそれぞれ、「1」と「0」で表している。なお、抽出されなかったとき座標の値には初期値または原点であるX=0、Y=0が入ることにする。
【００３１】
図４に戻って、特徴判定部54は、少なくとも一つでも抽出フラグが「0」があった場合、特徴テーブル62を特徴出力部56に出力する。また、特徴判定部54は、誤抽出の可能性があるので、部品抽出部14からの抽出結果を特徴出力部56に送信することが好ましい。特徴判定部54は、特徴入力部52から受け取った編集結果の特徴点テーブルだけまたは抽出フラグ「1」の特徴点テーブルすべてを特徴点テーブル64としてモデル変形部20に送信する構成としてもよい。
【００３２】
特徴出力部56は、部品抽出部14で抽出した結果を外部へ出力する出力インタフェースで、メモリ機能を有してもよい。特徴出力部56は、モデル作成装置10の外部に供給される特徴点テーブル62をチェック用の特徴点テーブル66として出力する。
【００３３】
次に本実施例における動作について説明する。顔画像から顔部品の特徴点を抽出する場合、入射光が逆光や暗い等の劣悪な撮影環境、長髪で目や眉が隠れる状況およびひげで口が隠れる状況などが発生すると、抽出精度が低下し誤抽出を招いたり、抽出自体が不可能になったりする場合がある。
【００３４】
特徴判定部54では、特徴テーブルであるデータ36だけでなく、装置外部から供給される抽出を補償するように特徴点テーブル60を入力し、基準モデルにおいてあらかじめ用意されている特徴点すべてが抽出されているかをチェックし、通番にマッチする特徴点の抽出フラグに「0」が少なくとも一つ存在するとき、特徴点テーブル62を特徴出力部56に送信し、外部に出力する。このとき、特徴判定部54はモデル変形部20に何も送信しない。これにより、基準変形モデル48は作成されず、外部にて出力される特徴点テーブルに対して追加・修正処理は施されることになる。また、モデル変形で用いる特徴点すべてが抽出されたとき、抽出結果として特徴点テーブル64をモデル変形部20に送り、これ以降、先の実施例と同様の動作手順により基準変形モデルを作成する。
【００３５】
特徴判定部54の機能を要約すると、特徴判定部54は、少なくとも、抽出された特徴点および特徴入力部52からの特徴点の一方の特徴点が基準モデルの変形に十分か否かを判定し、この判定の真に応じて特徴点テーブルをモデル変形部20に出力し、この判定の偽に応じて少なくとも、特徴入力部52からの特徴点テーブルおよび部品抽出部14からの特徴点を基に生成した特徴点テーブルの一方を特徴出力部56に出力している。
【００３６】
装置外部では、特徴点テーブルに示された座標と顔画像を比較し、正しく抽出されているかを確認し、要求に応じて特徴点テーブル58を修正し、未抽出点を特徴点テーブル58に追加する。上述した処理作業はモデル作成装置10を扱う編集者が行う。
【００３７】
このように特徴点の編集を編集者が行うことにより、撮影環境の劣化などの不具合が生じても、正しい特徴点を抽出し、提供することができ、顔画像の特徴を活かした高精度な基準変形モデルを確実に作成することが可能になる。また、特徴点の編集は、未抽出特徴点および誤抽出特徴点だけであるから、全特徴点をあらかじめ指定する方法に比べて負担を小さくすることができる。
【００３８】
次に本発明のデータ配信システムをモデル配信システム70に適用した実施例について説明する。モデル配信システム70は、図６に示すように、情報端末装置72およびモデル配信サーバ74を含む。情報端末装置72およびモデル配信サーバ74は、それぞれ、ネットワーク76に接続して、ネットワーク76を介して相互に通信している。情報端末装置72は、携帯電話機やパーソナルコンピュータ等がある。モデル配信サーバ74は、モデル配信サービスを提供するサーバであり、モデル作成装置10を含む。また、ネットワーク76はインターネットを利用することが好ましい。
【００３９】
情報端末装置72は、モデル配信サービスを提供するモデル配信サーバ74のURL（Uniform Resource Locator）をブラウザ上にて指定し、指定先のURLからの情報としてブラウザ上に図７に示す注文画面76を表示させ、基準モデルの選択ボタン78、顔画像のファイル名80および「注文」と表示された注文指示ボタン82の操作を介してそれぞれ、指定した情報、すなわち注文データをモデル配信サーバ74に出力する。注文画面76には、複数表示されている基準モデルのサムネイル画像を参照して好みのモデルを一つだけ選択するとよい。顔画像のファイル名80は画像入力エディタで指定する。
【００４０】
モデル配信サーバ74は、モデル作成装置10を内蔵し、モデル作成装置10に注文データとして供給される基準モデルの番号および顔画像データを基に基準変形モデルを作成し、作成した基準変形モデルを管理して、この基準変形モデルを注文した情報端末装置72に配信する。
【００４１】
このようにモデル配信サービスは、情報端末装置72のユーザからの注文データをモデル配信サーバ74に供給し、モデル配信サーバ74で供給される注文データに応じて基準変形モデルを作成し、注文先である情報端末装置72に基準変形モデルを提供するサービスである。
【００４２】
このように動作させると、ユーザは、顔部品の特徴を指定することなく、顔画像を送信するだけという少ない負担で好みの基準変形モデルを短時間に取得することができる。また、自動的にモデル作成が行われることから、モデル配信サービス側のコストが小さいという点で有利である。
【００４３】
なお、モデル作成装置10は、特徴入力、特徴判定および特徴出力の機能を持つ装置を用いて、供給される注文データの特徴点テーブルを作成し、この注文データに特徴点テーブルを追加して、送信元の情報端末装置72に送信する。この場合、情報端末装置72にはあらかじめ後述する特徴点編集ツールが備えられており、モデル配信サーバ74から特徴点テーブルを含む注文データを受け取ってユーザが特徴点テーブルの編集を行ってもよい。特徴点編集ツールは、たとえばモデル配信サービスにて無償でダウンロードできる。
【００４４】
ユーザは、図示しないが更新した特徴点テーブルをブラウザ上で指定し、再度注文指示ボタン82を操作する。情報端末装置72は、特徴点テーブル付き注文データをモデル配信サーバ74に送信する。モデル配信サーバ74では、特徴点テーブル付き注文データに含まれる特徴点テーブルおよび顔画像をモデル作成装置10に入力して、モデルを作成し、作成した基準変形モデルを送信元の情報端末装置72に送信する。
【００４５】
これによれば、悪条件下で撮影された画像であっても、ユーザが確認・修正を行うので失敗のない高精度なモデルを作成することが可能となる。また、ユーザは多数の特徴点のうち、未抽出特徴点と誤抽出特徴点のみを編集するだけでよいので利用者の負担が比較的少なく済ませることができる。
【００４６】
さらに、この場合のモデル配信サービスは、編集者を介さない点で特徴を編集する負担がなく、コストを抑制して、サービス価格を安く設定することができる。したがって、ユーザは低料金で本サービスの提供を受けることが可能となる。
【００４７】
次に本発明のデータ配信システムをモデル配信システム70に適用した他の実施例について説明する。モデル配信システム70は、図８に示すように、編集端末装置64が新たに追加されている。編集端末装置84は、ネットワーク76を介し、モデル配信サーバ74内の未処理注文フォルダを監視する機能および特徴点編集ツールを有している。編集端末装置84は、編集者により操作される。
【００４８】
編集端末装置84における監視機能は、モデル配信サーバ74のURLを指定し、編集端末装置84のブラウザ上に未処理注文フォルダ内の注文データを表示して参照できるようにして、未処理注文フォルダ内に一つまたは複数の注文データが存在する場合に注文データを、それぞれ指定して、取得する。
【００４９】
また、編集端末装置84における特徴点編集ツールは、注文データ内の顔画像と特徴点テーブルが示す座標に特徴点とを重ねた表示、修正および更新する機能を有している。特徴点は、たとえば顔画像に赤い丸印で重畳表示して、明確化することができる。編集者は画面を参照することにより、誤った座標に表示された特徴点を知ることができ、正しい座標へ修正移動させることができる。また、特徴点が抽出される座標に特徴点が表示されていない場合には、周囲の特徴点から整合可能な座標に特徴点を追加する。特徴点編集ツールは、座標の変更に応じて特徴点データを更新し、特徴点の追加に応じて特徴点データにおける抽出フラグを「1」に変更して座標も更新する。編集端末装置84は、終了にともない特徴点テーブルをモデル配信サーバ74のモデル作成装置10にネットワーク76を介して供給する。
【００５０】
次に本実施例のモデル配信システム70におけるモデル配信サービスを説明する。
【００５１】
情報端末装置72は、モデル配信サービスを提供するモデル配信サーバ74のURLを指定して、ブラウザ上に図９に示す注文画面76を表示させる。注文画面76は、基本的に図７の画面構成に同じであり、注文指示ボタン82の横に注文リスト86を設けている点で相違している。注文リスト86については後段で説明する。情報端末装置72は、注文画面76で選択した情報、注文データをモデル配信サーバ74に送信する。
【００５２】
モデル配信サーバ74では、モデル作成装置10を用いて供給される注文データを基に特徴点テーブルを作成し、この注文データに特徴点テーブルを追加して、あらかじめ設けている未処理注文フォルダに格納する。一方、編集端末装置84は、モデル配信サーバ74のURLを指定して、ネットワーク76を介して未処理注文フォルダ内の注文データを表示させて監視する。監視して注文データが存在するとき、注文データを指定してモデル配信サーバ74から編集端末装置84に注文データを取得する。
【００５３】
編集端末装置84では、あらかじめ備える特徴点編集ツールを用いて、注文データの顔画像と特徴点データとを重畳表示する。編集者は、特徴点編集ツールにより視覚的に確認しながら、誤った座標を正しい座標に移動させ、本来の抽出されるべき特徴点がない場合に対応の座標を特徴点として追加する。編集端末装置84はこのように更新した特徴点データを含む注文データをモデル配信サーバ74に送信する。
【００５４】
モデル配信サーバ74では、編集端末装置84への注文データのダウンロード後に、ダウンロードした注文データを削除し、編集端末装置84から注文データがアップロードされたときモデル配信サーバ74の処理済み注文フォルダに注文データを格納する。モデル配信サーバ74は、更新した注文データをモデル作成装置10に供給して、基準変形モデルを作成する。作成した基準変形モデルは、ユーザからのダウンロード要求が供給されるまでモデル配信サーバ74内に保持される。ここで、モデル作成装置10は、前述した他の構成例を用いるとよい。
【００５５】
ところで、ユーザはモデル作成を注文した後、注文リストボタン86を操作すると、情報端末装置72はリスト表示命令をモデル配信サーバ74に送る。モデル配信サーバ74ではこの命令を受け取ると、命令を送出したユーザの注文データを未処理注文フォルダおよび処理済み注文フォルダから検索する。
【００５６】
未処理注文フォルダに注文データが存在する場合、モデル配信サーバ74は、たとえば「モデル作成中」などの応答メッセージを情報端末装置72に送信する。また処理済み注文フォルダに注文データが存在する場合、モデル配信サーバ74は、たとえば「モデル作成完了」などの応答メッセージを情報端末装置72に送信する。このような注文リストの表示は、一人のユーザが複数のモデル作成を連続して注文する場合があることから、注文データ毎にモデル作成状況を把握する上で有利である。ユーザは「モデル作成完了」の応答メッセージに対応する注文の基準変形モデルをダウンロードして、モデルを取得する。
【００５７】
なお、モデル配信システム70は、図10に示すように、モデル作成装置10を編集端末装置84内に配設するようにしてもよい。この構成によれば、モデル配信サーバ74は、情報端末装置72から供給される注文データと作成完了の基準変形モデルとを未処理注文フォルダと処理済み注文フォルダとでそれぞれ、管理すればよい。一方、編集端末装置84は、未処理注文フォルダの注文データをモデル作成装置10にて特徴点テーブルを作成し、特徴点テーブルを含む注文データにする。この注文データに対して特徴点編集ツールを用いて注文データを更新する。編集端末装置84は、更新した注文データを基にモデル作成装置10で基準変形モデルを作成する。作成した基準変形モデルは、ネットワーク76を介して編集端末装置84からモデル配信サーバ74の処理済み注文フォルダに供給される。作成した基準変形モデルは、ユーザからのダウンロード要求が供給されるまでモデル配信サーバ74内に保持される。
【００５８】
このように動作させることにより、ユーザは煩雑な顔部品の特徴を指定せず、利用者の負担が少なくても、顔画像を送信するだけで所望のモデルを取得することができる点で有利である。また、悪条件下で撮影された画像を用いても、編集者が確認・修正を行うので失敗のない高精度なモデルを作成することが可能となる。さらに、編集者は多数の特徴点のうち、未抽出特徴点と誤抽出特徴点を編集するだけで済むことから、編集者の負担も軽減しながら、数多くの注文を処理することが可能である。
【００５９】
とくに、モデル配信サーバ74にモデル作成装置10を設けると、サーバ−編集端末間でのモデル送受信が不要になるから、通信コストを軽減することができる。一方、編集端末装置84にモデル作成装置10を設けると、モデル作成処理を編集端末装置84で実行することから、モデル配信サーバ74の負担を抑え、低スペックマシンで実現させることができる。
【００６０】
さらに、図11に示すモデル配信システム70は、図８および図10を組み合わせた構成にしてもよい。ただし、モデル配信サーバ74に配設するモデル作成装置10は、図１に示した構成でよい。本実施例では、ネットワーク76を介してユーザが指定したURLにアクセスして、情報端末装置72のブラウザ上に図12の注文画面76が表示される。注文画面76は、図９の構成に注文形態領域88が追加されている。本実施例の動作について簡単に説明する。
【００６１】
ユーザは複数用意されている基準モデルのサムネイル画像を参照して自分の好みの基準モデルを選択ボタン78で選択する。この選択ボタン78は、複数の基準モデルの中から、一つだけを選択できる。また、ユーザはあらかじめデジタルカメラ等で撮影された顔画像を示すデータファイル名を画像入力エディタで指定する。
【００６２】
次にユーザは注文形態領域88の中から選択ボタンを一つ選択して注文形態を選ぶ。「自動で作成」とは、部品特徴点の編集を行わずに基準変形モデルを作成し、注文形態番号を１とする。「サービス側で編集」とは、サービス側の編集者が部品特徴点の編集を行い、編集した注文データから基準変形モデルを作成し、注文形態番号を２とする。さらに、「自分で編集」とは、モデル配信サービスから特徴点テーブルをもらい、ユーザ自身で部品特徴点の編集を行って基準変形モデルの作成を依頼し、注文形態番号を３とする。
【００６３】
ユーザが基準モデル、顔画像のデータファイル名および注文形態の番号を選択して注文データをまとめ、注文指示ボタン82を操作すると、選択した注文データが情報端末装置72からネットワーク76を介しモデル配信サーバ74に送信される。
【００６４】
モデル配信サーバ74では、ユーザから注文データを受信し、注文形態番号が１のとき、モデル配信システム70の最初の実施例と同様に基準変形モデルを作成し、情報端末装置72に送信する。注文形態番号が２のとき、前述したように編集者が特徴点の編集を行って、得られた注文データから基準変形モデルを作成、情報端末装置72に送信する。注文形態番号が３のとき、最初の実施例と同様にユーザが情報端末装置72で特徴点の編集を行い、再度モデル作成をモデル配信サーバ74に依頼し、基準変形モデルを情報端末装置72で取得する。
【００６５】
このように動作させることで、ユーザの要求、すなわち低料金で早くモデルを取得したい場合、編集したくないが正確なモデルを取得したい場合、および自分で編集するが低料金で正確なモデルを取得したい場合等に応じて選択でき、使い勝手を向上させることができる。
【００６６】
なお、本発明の実施例では、部品特徴点の座標を２次元で表現し、モデル変形にともなうポリゴンの移動も２次元で行うと説明したが、これに限定されるものでなく、撮影角度を変えて複数枚使用した顔画像を基に奥行き方向の座標を自動で検出したり、特徴点の確認・特徴点の修正段階で編集者が奥行き方向の情報を追加したりといった方法を採用して、３次元的にモデルを変形させてもよい。
【００６７】
また、モデル配信サービスにおいて使用する顔画像は、ユーザの顔に限定されるものでなく、たとえば友人、恋人、ペット等の顔画像を用いてモデルを作成してもよい。
【００６８】
本発明の実施例では、モデル作成装置というハードウェアにより基準変形モデルを作成しているが、プログラムというソフトウェア処理で実現させてもよい。さらに、本発明を適用した実施例では、情報端末装置72および編集端末装置84を、それぞれ一つずつ配設しているが、それぞれを複数配設しても実現できることは言うまでもない。
【００６９】
以上のように構成することにより、モデル作成装置10は、画像格納部12に格納した顔画像を特徴抽出部14に供給し、特徴抽出部14で各部品における特徴点を従来の数より多く抽出することにより、モデル変形部20にて抽出した特徴点および基準モデル格納部18から供給される基準データを基に基準データを変形させたモデルを従来よりも高い精度で表して、画像貼付部22に供給し、画像調整部16では顔画像の座標系を基準モデルの座標系に調整した顔画像を画像貼付部22に供給し、画像貼付部22で供給されるモデルに供給される顔画像を貼り付けてずれのない基準変形モデルを作成することにより、煩雑なユーザによる部品抽出操作を行うことなく、顔画像に合わせた基準変形モデルを自動的に作成することができる。
【００７０】
モデル作成装置10は、特徴点に対する通し番号、特徴点の位置を示す座標および特徴点の有無を表す抽出フラグを一組にまとめた特徴点テーブルを設定し、特徴入力部52で外部から特徴点テーブルを入力し、特徴出力部56で供給される特徴点テーブルを外部に出力し、特徴判定部54で少なくとも、抽出された特徴点および特徴入力部52からの特徴点の一方の特徴点が基準モデルの変形に十分か否かを判定し、この判定の真に応じて特徴点テーブルをモデル変形部20に出力し、この判定の偽に応じて少なくとも、特徴入力部52からの特徴点テーブルおよび部品抽出部14からの特徴点を基に生成した特徴点テーブルの一方を特徴出力部56に出力することにより、撮影環境の劣化等にともなう不具合に対応して正しい特徴点を抽出して、提供し、特徴点の編集は、未抽出特徴点および誤抽出特徴点だけであるから、全特徴点をあらかじめ指定する方法に比べて負担を小さくして、ユーザの個性を活かした基準変形モデルの作成を容易にすることができる。
【００７１】
モデル配信システム70は、情報端末装置72からの注文データがネットワーク76を介してモデル配信サーバ74に供給され、モデル配信サーバ74に含まれるモデル作成装置10にて画像格納部12に格納した顔画像を特徴抽出部14に供給し、特徴抽出部14で各部品における特徴点を従来の数より多く抽出することにより、モデル変形部20にて抽出した特徴点および基準モデル格納部18から供給される基準データを基に基準データを変形させたモデルを従来よりも高い精度で表して、画像貼付部22に供給し、画像調整部16では顔画像の座標系を基準モデルの座標系に調整した顔画像を画像貼付部22に供給し、画像貼付部22で供給されるモデルに供給される顔画像を貼り付けてずれのない基準変形モデルを作成し、モデル配信サーバ74から作成した基準変形モデルを注文した情報端末装置12に供給することで、情報端末装置12におけるユーザの操作負担を従来よりも少なくし、モデル配信サーバ74における所望の基準変形モデルの生成に要するコストを抑制し、モデルの生成も短時間で取得することができる。
【図面の簡単な説明】
【００７２】
【図１】本発明のモデル作成装置を適用した実施例の概略的な構成を示すブロック図である。
【図２】図１のモデル作成装置が扱う抽出した特徴点の位置の一例を示す図である。
【図３】図１のモデル作成装置が扱う基準モデルの例を示す図である。
【図４】本発明のモデル作成装置を適用した他の実施例の概略的な構成を示すブロック図である。
【図５】図４のモデル作成装置が扱う特徴点テーブルの一例を示す図である。
【図６】本発明のデータ配信システムをモデル配信システムに適用した実施例における概略的な構成を示すブロック図である。
【図７】図６のモデル配信システムにおける情報端末装置に表示される注文画面の一例を示す図である。
【図８】本発明のデータ配信システムをモデル配信システムに適用した他の実施例における概略的な構成を示すブロック図である。
【図９】図８のモデル配信システムにおける情報端末装置に表示される注文画面の一例を示す図である。
【図１０】本発明のデータ配信システムをモデル配信システムに適用した他の実施例における概略的な構成を示すブロック図である。
【図１１】本発明のデータ配信システムをモデル配信システムに適用した他の実施例における概略的な構成を示すブロック図である。
【図１２】図11のモデル配信システムにおける情報端末装置に表示される注文画面の一例を示す図である。
【符号の説明】
【００７３】
10  モデル作成装置
12  画像格納部
14  部品抽出部
16  画像調整部
18  基準モデル格納部
20  モデル変形部
22  画像貼付部
24  モデル出力部
70  モデル配信システム
72  情報端末装置
74  モデル配信サーバ
【図１】
2006040228.tif 000003
【図２】
2006040228.tif 000004
【図３】
2006040228.tif 000005
【図４】
2006040228.tif 000006
【図５】
2006040228.tif 000007
【図６】
2006040228.tif 000008
【図７】
2006040228.tif 000009
【図８】
2006040228.tif 000010
【図９】
2006040228.tif 000011
【図１０】
2006040228.tif 000012
【図１１】
2006040228.tif 000013
【図１２】
2006040228.tif 000014