(57)【要約】　　　（修正有）【課題】画像を全ユーザに配布する際のネットワークへの負荷を減らすために、３Ｄデフォルメアバタ生成処理を分散させる。【解決手段】対象ユーザ端末では特徴抽出処理のみ行い、特徴量のみをネットワークを通じて他ユーザへ配布し、受信した各ユーザの端末でモデル生成処理等を行う。また、基本顔３次元形状を復元した後、３次元幾何図形に対して変化を加え、その結果に応じて詳細顔３次元形状及び、鼻、眉、目、口の２次元構造の復元に変化を与える。【選択図】　　　図１
2004046641.tif 000002
【特許請求の範囲】
【請求項１】
複数の利用者が同時に参加できる３次元ＣＧで構成された各種仮想空間アプリケーションにおけるユーザの分身である３Ｄデフォルメアバタを分散させて生成するためのシステムにおける、該３Ｄデフォルメアバタを生成する対象者のユーザ端末における顔３次元ＣＧデフォルメアバタ分散型生成方法において、
入力された顔画像から、特徴抽出処理を行い、特徴量をネットワークを介して他のユーザ端末に送信することを特徴とする顔３次元ＣＧデフォルメアバタ分散型生成方法。
【請求項２】
前記特徴量をネットワークを介して前記他のユーザ端末に送信する際に、
前記ネットワークに接続された仮想空間サーバを介して前記他のユーザ端末に前記特徴量、ユーザＩＤ、デフォルメ度パラメータを送信する請求項１記載の顔３次元ＣＧデフォルメアバタ分散型生成方法。
【請求項３】
前記特徴抽出処理として、
前記対象者の頭部と側面の２方向から撮影した撮影情報から、側面顔と正面顔の外形輪郭及び各顔部品領域の縁を抽出し、正面及び側面の撮影画像上における顔特徴点の２次元配置情報を獲得し、
前記特徴量として、前記顔特徴点の２次元配置情報を前記ネットワークを介して前記他のユーザ端末に送信する請求項１記載の顔３次元ＣＧデフォルメアバタ分散型生成方法。
【請求項４】
複数の利用者が同時に参加できる３次元ＣＧで構成された各種仮想空間アプリケーションにおけるユーザの分身である３Ｄデフォルメアバタを分散させて生成するためのシステムにおける、該３Ｄデフォルメアバタを生成するユーザ端末における顔３次元ＣＧデフォルメアバタ分散型生成方法において、
前記ネットワークを介して他のユーザ端末から特徴量を受信し、
前記特徴量を用いて、モデル生成処理を行うことにより、デフォルメされた３次元ＣＧデフォルメアバタを生成することを特徴とする顔３次元ＣＧデフォルメアバタ分散型生成方法。
【請求項５】
前記特徴量として、前記ネットワークを介して配布された前記顔特徴点の２次元配置情報を受信し、
前記モデル生成処理として、前記顔特徴点の２次元配置情報に基づいて、該顔特徴点の３次元配置情報を計算し、該顔特徴点を顔基本構造特徴点と、顔詳細構造特徴点に分類し、該顔基本構造特徴点の３次元配置情報に基づいて、楕円曲線と直線及び各線からなる面によって表現される３次元幾何図形で頭部骨格、鼻、口の３次元構造をそれぞれ復元し、
復元された頭部骨格、鼻、口を一体化することによって、基本顔３次元形状として復元し、
前記基本顔３次元形状の表面上において、一定間隔に形状制御候補点を設定し、
前記顔詳細構造特徴点の３次元配置情報と前記形状制御候補点の３次元配置情報に基づいて、該形状制御候補点の配置を変更させることによって、前記基本顔３次元形状の表面を変化させて、詳細顔３次元形状を復元し、
前記顔特徴点の２次元配置情報に基づいて、鼻、眉、目、口をそれぞれ複数の簡易な２次元幾何図形で近似し、２次元幾何図形を統合することによって、鼻、眉、目、口の２次元構造を復元し、
復元された前記詳細顔３次元形状の表面に、復元された鼻、眉、目、口を貼り付ける請求項４記載の顔３次元ＣＧデフォルメアバタ分散型生成方法。
【請求項６】
前記基本顔３次元形状を復元した後、３次元幾何図形に対して変化を加え、その結果に応じて前記詳細顔３次元形状及び、鼻、眉、目、口の２次元構造の復元に変化を与える請求項５記載の顔３次元ＣＧデフォルメアバタ分散型生成方法。
【請求項７】
複数の利用者が同時に参加できる３次元ＣＧで構成された各種仮想空間アプリケーションにおけるユーザの分身である３Ｄデフォルメアバタを分散させて生成する顔３次元ＣＧデフォルメアバタ分散型生成システムにおける、該３Ｄデフォルメアバタを生成する対象者のユーザ端末であって、
入力された顔画像から、特徴抽出処理を行い、特徴量をネットワークを介して他のユーザ端末に送信する特徴量抽出手段を有することを特徴とするユーザ端末。
【請求項８】
前記特徴量抽出手段は、前記特徴量をネットワークを介して前記他のユーザ端末に送信する際に、該ネットワークに接続された仮想空間サーバを介して前記他のユーザ端末に前記特徴量、ユーザＩＤ、デフォルメ度パラメータを送信する請求項７記載のユーザ端末。
【請求項９】
前記特徴抽出手段は、
前記対象者の頭部と側面の２方向から撮影した撮影情報から、側面顔と正面顔の外形輪郭及び各顔部品領域の縁を抽出し、正面及び側面の撮影画像上における顔特徴点の２次元配置情報を獲得する手段と、
前記特徴量として、前記顔特徴点の２次元配置情報を前記ネットワークを介して前記他のユーザ端末に送信する手段を含む請求項７または、８記載のユーザ端末。
【請求項１０】
複数の利用者が同時に参加できる３次元ＣＧで構成された各種仮想空間アプリケーションにおけるユーザの分身である３Ｄデフォルメアバタを分散させて生成する顔３次元ＣＧデフォルメアバタ分散型生成システムにおける、該３Ｄデフォルメアバタを生成するユーザ端末であって、
他のユーザ端末から撮影画像の特徴量を受信し、該特徴量を用いてモデル生成処理を行うことにより、デフォルメされた３次元ＣＧデフォルメアバタを生成するデフォルメアバタ生成手段を有することを特徴とするユーザ端末。
【請求項１１】
前記デフォルメアバタ生成手段は、
前記特徴量として、前記ネットワークを介して配布された前記顔特徴点の２次元配置情報を受信する手段と、
前記モデル生成処理として、前記顔特徴点の２次元配置情報に基づいて、該顔特徴点の３次元配置情報を計算し、該顔特徴点を顔基本構造特徴点と、顔詳細構造特徴点に分類し、該顔基本構造特徴点の３次元配置情報に基づいて、楕円曲線と直線及び各線からなる面によって表現される３次元幾何図形で頭部骨格、鼻、口の３次元構造をそれぞれ復元する手段と、
復元された頭部骨格、鼻、口を一体化することによって、基本顔３次元形状として復元する手段と、
前記基本顔３次元形状の表面上において、一定間隔に形状制御候補点を設定する手段と、
前記顔詳細構造特徴点の３次元配置情報と前記形状制御候補点の３次元配置情報に基づいて、該形状制御候補点の配置を変更させることによって、前記基本顔３次元形状の表面を変化させて、詳細顔３次元形状を復元する手段と、
前記顔特徴点の２次元配置情報に基づいて、鼻、眉、目、口をそれぞれ複数の簡易な２次元幾何図形で近似し、２次元幾何図形を統合することによって、鼻、眉、目、口の２次元構造を復元する手段と、
復元された前記詳細顔３次元形状の表面に、復元された鼻、眉、目、口を貼り付ける手段とを有する請求項１０記載のユーザ端末。
【請求項１２】
前記基本顔３次元形状を復元した後、３次元幾何図形に対して変化を加え、その結果に応じて前記詳細顔３次元形状及び、鼻、眉、目、口の２次元構造の復元に変化を与える手段を含む請求項１１記載のユーザ端末。
【請求項１３】
複数の利用者が同時に参加できる３次元ＣＧで構成された各種仮想空間アプリケーションにおけるユーザの分身である３Ｄデフォルメアバタを分散させて生成するためのシステムにおける、３Ｄデフォルメアバタを生成する対象者のユーザ端末が実行する３次元ＣＧデフォルメアバタ分散型生成プログラムであって、
入力された顔画像から、特徴抽出処理を行うステップと、
前記特徴量抽出処理により抽出された特徴量をネットワークを介して他のユーザ端末に送信するステップからなることを特徴とする顔３次元ＣＧデフォルメアバタ分散型生成プログラム。
【請求項１４】
前記特徴量をネットワークを介して前記他のユーザ端末に送信するステップにおいて、
前記ネットワークに接続された仮想空間サーバを介して前記他のユーザ端末に前記特徴量、ユーザＩＤ、デフォルメ度パラメータを送信するステップを含む請求項１３記載の顔３次元ＣＧデフォルメアバタ分散型生成プログラム。
【請求項１５】
前記特徴抽出処理を行うステップは、
前記対象者の頭部と側面の２方向から撮影した撮影情報から、側面顔と正面顔の外形輪郭及び各顔部品領域の縁を抽出し、正面及び側面の撮影画像上における顔特徴点の２次元配置情報を獲得するステップと、
前記特徴量として、前記顔特徴点の２次元配置情報を前記ネットワークを介して前記他のユーザ端末に送信するステップを含む請求項１３記載の顔３次元ＣＧデフォルメアバタ分散型生成プログラム。
【請求項１６】
複数の利用者が同時に参加できる３次元ＣＧで構成された各種仮想空間アプリケーションにおけるユーザの分身である顔３次元ＣＧデフォルメアバタを分散させて生成するためのシステムにおける、該３Ｄデフォルメアバタを生成するユーザ端末が実行する顔３次元ＣＧデフォルメアバタ分散型生成プログラムであって、
前記ネットワークを介して、３Ｄデフォルメアバタを生成する対象者のユーザ端末から特徴量を受信するステップと、
前記特徴量を用いて、モデル生成処理を行うことにより、デフォルメされた３次元ＣＧデフォルメアバタを生成するステップとを実行することを特徴とする顔３次元ＣＧデフォルメアバタ分散型生成プログラム。
【請求項１７】
前記特徴量として、前記ネットワークを介して配布された前記顔特徴点の２次元配置情報を受信するステップと、
前記モデル生成処理として、前記顔特徴点の２次元配置情報に基づいて、該顔特徴点の３次元配置情報を計算し、該顔特徴点を顔基本構造特徴点と、顔詳細構造特徴点に分類し、該顔基本構造特徴点の３次元配置情報に基づいて、楕円曲線と直線及び各線からなる面によって表現される３次元幾何図形で頭部骨格、鼻、口の３次元構造をそれぞれ復元するステップと、
復元された頭部骨格、鼻、口を一体化することによって、基本顔３次元形状として復元するステップと、
前記基本顔３次元形状の表面上において、一定間隔に形状制御候補点を設定するステップと、
前記顔詳細構造特徴点の３次元配置情報と前記形状制御候補点の３次元配置情報に基づいて、該形状制御候補点の配置を変更させることによって、前記基本顔３次元形状の表面を変化させて、詳細顔３次元形状を復元するステップと、
前記顔特徴点の２次元配置情報に基づいて、鼻、眉、目、口をそれぞれ複数の簡易な２次元幾何図形で近似し、２次元幾何図形を統合することによって、鼻、眉、目、口の２次元構造を復元するステップと、
復元された前記詳細顔３次元形状の表面に、復元された鼻、眉、目、口を貼り付けるステップとを含む請求項１６記載の顔３次元ＣＧデフォルメアバタ分散型生成プログラム。
【請求項１８】
前記基本顔３次元形状を復元した後、３次元幾何図形に対して変化を加え、その結果に応じて前記詳細顔３次元形状及び、鼻、眉、目、口の２次元構造の復元に変化を与えるステップを含む請求項１７記載の顔３次元ＣＧデフォルメアバタ分散型生成プログラム。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、顔３次元コンピュータグラフィックス（以下，ＣＧと記す）デフォルメアバタ分散型生成方法及びユーザ端末及び顔３次元ＣＧデフォルメアバタ分散型生成プログラムに係り、特に、複数の利用者が同時に参加できる３次元ＣＧで構成された各種仮想空間アプリケーションにおけるユーザの分身である３Ｄデフォルメアバタを生成するための顔３次元ＣＧデフォルメアバタ分散型生成方法及びユーザ端末及び顔３次元ＣＧデフォルメアバタ分散型生成プログラムに関する。
【０００２】
【従来の技術】
従来、アプリケーション側で用意した種類のパーツを組み合わせて、アバタを生成する方法があるが、ユーザの自由度が少なく、個人情報を反映できないという問題がある。そこで、ユーザ自身の情報を反映したアバタを生成する場合、３Ｄアバタのデータを空間コンテンツの３次元データの一種と考え、ユーザがある空間へログインした際に、同一空間に存在するユーザに全て配布する方法がある。
【０００３】
【発明が解決しようとする課題】
しかしながら、上記従来のユーザがある空間へログインした際に、同一空間に存在するユーザに全て配布する方法では、空間に入る度にデータを全ユーザに配布しなくてはならないため、配布時のネットワークへの負荷が膨大になるという問題がある。
【０００４】
本発明は、上記の点に鑑みなされたもので、ネットワークへの負荷を減らすために、３Ｄデフォルメアバタ生成処理を分散させ、対象ユーザ端末では特徴抽出処理のみ行い、特徴量のみをネットワークを通じて他ユーザへ配布し、受信した各ユーザの端末でモデル生成処理等を行う３次元ＣＧデフォルメアバタ分散型生成方法及びユーザ端末及び顔３次元ＣＧデフォルメアバタ分散型生成プログラムを提供することを目的とする。
【０００５】
【課題を解決するための手段】
図１は、本発明の原理を説明するための図である。
本発明は、複数の利用者が同時に参加できる３次元ＣＧで構成された各種仮想空間アプリケーションにおけるユーザの分身である顔３次元ＣＧデフォルメアバタを分散させて生成するためのシステムにおける、該３Ｄデフォルメアバタを生成する対象者のユーザ端末における顔３次元ＣＧデフォルメアバタ分散型生成方法において、
顔画像が入力されると（ステップ１）、特徴抽出処理を行い（ステップ２）、特徴量をネットワークを介して他のユーザ端末に送信する（ステップ３）。
【０００６】
また、本発明は、特徴量をネットワークを介して他のユーザ端末に送信する際に、
ネットワークに接続された仮想空間サーバを介して他のユーザ端末に特徴量、ユーザＩＤ、デフォルメ度パラメータを送信する。
【０００７】
また、本発明は、特徴抽出処理として、
対象者の頭部と側面の２方向から撮影した撮影情報から、側面顔と正面顔の外形輪郭及び各顔部品領域の縁を抽出し、正面及び側面の撮影画像上における顔特徴点の２次元配置情報を獲得し、
特徴量として、顔特徴点の２次元配置情報をネットワークを介して他のユーザ端末に送信する。
【０００８】
本発明は、複数の利用者が同時に参加できる３次元ＣＧで構成された各種仮想空間アプリケーションにおけるユーザの分身である顔３次元ＣＧデフォルメアバタを分散させて生成するためのシステムにおける、該３Ｄデフォルメアバタを生成するユーザ端末における顔３次元ＣＧデフォルメアバタ分散型生成方法において、
ネットワークを介して特徴量を受信し、
特徴量を用いて、モデル生成処理を行うことにより、デフォルメされた３次元ＣＧデフォルメアバタを生成する。
【０００９】
また、本発明は、特徴量として、ネットワークを介して配布された顔特徴点の２次元配置情報を受信し、
モデル生成処理として、顔特徴点の２次元配置情報に基づいて、該顔特徴点の３次元配置情報を計算し、該顔特徴点を顔基本構造特徴点と、顔詳細構造特徴点に分類し、該顔基本構造特徴点の３次元配置情報に基づいて、楕円曲線と直線及び各線からなる面によって表現される３次元幾何図形で頭部骨格、鼻、口の３次元構造をそれぞれ復元し、
復元された頭部骨格、鼻、口を一体化することによって、基本顔３次元形状として復元し、
基本顔３次元形状の表面上において、一定間隔に形状制御候補点を設定し、
顔詳細構造特徴点の３次元配置情報と形状制御候補点の３次元配置情報に基づいて、形状制御候補点の配置を変更させることによって、基本顔３次元形状の表面を変化させて、詳細顔３次元形状を復元し、
顔特徴点の２次元配置情報に基づいて、鼻、眉、目、口をそれぞれ複数の簡易な２次元幾何図形で近似し、２次元幾何図形を統合することによって、鼻、眉、目、口の２次元構造を復元し、
復元された詳細顔３次元形状の表面に、復元された鼻、眉、目、口を貼り付ける。
【００１０】
また、本発明は、基本顔３次元形状を復元した後、３次元幾何図形に対して変化を加え、その結果に応じて詳細顔３次元形状及び、鼻、眉、目、口の２次元構造の復元に変化を与える。
【００１１】
図２は、本発明の原理構成図である。
【００１２】
本発明は、複数の利用者が同時に参加できる３次元ＣＧで構成された各種仮想空間アプリケーションにおけるユーザの分身である３Ｄデフォルメアバタを分散させて生成する顔３次元ＣＧデフォルメアバタ分散型生成システムにおける、該３Ｄデフォルメアバタを生成する対象者のユーザ端末１０であって、
入力された顔画像から、特徴抽出処理を行い、特徴量をネットワークを介して他のユーザ端末に送信する特徴量抽出手段１１を有する。
【００１３】
また、上記の特徴量抽出手段１１は、特徴量をネットワークを介して他のユーザ端末に送信する際に、該ネットワークに接続された仮想空間サーバを介して他のユーザ端末に特徴量、ユーザＩＤ、デフォルメ度パラメータを送信する手段を含む。
【００１４】
また、上記の特徴抽出手段１１は、
対象者の頭部と側面の２方向から撮影した撮影情報から、側面顔と正面顔の外形輪郭及び各顔部品領域の縁を抽出し、正面及び側面の撮影画像上における顔特徴点の２次元配置情報を獲得する手段と、
特徴量として、顔特徴点の２次元配置情報をネットワークを介して他のユーザ端末に送信する手段を含む。
【００１５】
本発明は、複数の利用者が同時に参加できる３次元ＣＧで構成された各種仮想空間アプリケーションにおけるユーザの分身である３Ｄデフォルメアバタを分散させて生成する顔３次元ＣＧデフォルメアバタ分散型生成システムにおける、該３Ｄデフォルメアバタを生成するユーザ端末２０であって、
他のユーザ端末から撮影画像の特徴量を受信し、該特徴量を用いてモデル生成処理を行うことにより、デフォルメされた３次元ＣＧデフォルメアバタを生成するデフォルメアバタ生成手段２１を有する。
【００１６】
上記のデフォルメアバタ生成手段２１は、
特徴量として、ネットワークを介して配布された顔特徴点の２次元配置情報を受信する手段と、
モデル生成処理として、顔特徴点の２次元配置情報に基づいて、該顔特徴点の３次元配置情報を計算し、該顔特徴点を顔基本構造特徴点と、顔詳細構造特徴点に分類し、該顔基本構造特徴点の３次元配置情報に基づいて、楕円曲線と直線及び各線からなる面によって表現される３次元幾何図形で頭部骨格、鼻、口の３次元構造をそれぞれ復元する手段と、
復元された頭部骨格、鼻、口を一体化することによって、基本顔３次元形状として復元する手段と、
基本顔３次元形状の表面上において、一定間隔に形状制御候補点を設定する手段と、
顔詳細構造特徴点の３次元配置情報と形状制御候補点の３次元配置情報に基づいて、形状制御候補点の配置を変更させることによって、基本顔３次元形状の表面を変化させて、詳細顔３次元形状を復元する手段と、
顔特徴点の２次元配置情報に基づいて、鼻、眉、目、口をそれぞれ複数の簡易な２次元幾何図形で近似し、２次元幾何図形を統合することによって、鼻、眉、目、口の２次元構造を復元する手段と、
復元された詳細顔３次元形状の表面に、復元された鼻、眉、目、口を貼り付ける手段とを有する。
【００１７】
また、ユーザ端末２０は、基本顔３次元形状を復元した後、３次元幾何図形に対して変化を加え、その結果に応じて詳細顔３次元形状及び、鼻、眉、目、口の２次元構造の復元に変化を与える手段を含む。
【００１８】
本発明は、複数の利用者が同時に参加できる３次元ＣＧで構成された各種仮想空間アプリケーションにおけるユーザの分身である顔３次元ＣＧデフォルメアバタを分散させて生成するためのシステムにおける、３Ｄデフォルメアバタを生成する対象者のユーザ端末が実行する３次元ＣＧデフォルメアバタ分散型生成プログラムであって、
入力された顔画像から、特徴抽出処理を行うステップと、
特徴量抽出処理により抽出された特徴量をネットワークを介して他のユーザ端末に送信するステップからなる。
【００１９】
また、本発明は、特徴量をネットワークを介して他のユーザ端末に送信するステップにおいて、
ネットワークに接続された仮想空間サーバを介して他のユーザ端末に特徴量、ユーザＩＤ、デフォルメ度パラメータを送信するステップを含む。
【００２０】
また、本発明の特徴抽出処理を行うステップは、
対象者の頭部と側面の２方向から撮影した撮影情報から、側面顔と正面顔の外形輪郭及び各顔部品領域の縁を抽出し、正面及び側面の撮影画像上における顔特徴点の２次元配置情報を獲得するステップと、
特徴量として、顔特徴点の２次元配置情報をネットワークを介して他のユーザ端末に送信するステップを含む。
【００２１】
本発明は、複数の利用者が同時に参加できる３次元ＣＧで構成された各種仮想空間アプリケーションにおけるユーザの分身である顔３次元ＣＧデフォルメアバタを分散させて生成するためのシステムにおける、該３Ｄデフォルメアバタを生成するユーザ端末が実行する顔３次元ＣＧデフォルメアバタ分散型生成プログラムであって、
ネットワークを介して、３Ｄデフォルメアバタを生成する対象者のユーザ端末から特徴量を受信するステップと、
特徴量を用いて、モデル生成処理を行うことにより、デフォルメされた３次元ＣＧデフォルメアバタを生成するステップとを実行する。
【００２２】
また、本発明の３Ｄデフォルメアバタを生成するユーザ端末が実行する顔３次元ＣＧデフォルメアバタ分散型生成プログラムは、
特徴量として、ネットワークを介して配布された顔特徴点の２次元配置情報を受信するステップと、
モデル生成処理として、顔特徴点の２次元配置情報に基づいて、該顔特徴点の３次元配置情報を計算し、該顔特徴点を顔基本構造特徴点と、顔詳細構造特徴点に分類し、該顔基本構造特徴点の３次元配置情報に基づいて、楕円曲線と直線及び各線からなる面によって表現される３次元幾何図形で頭部骨格、鼻、口の３次元構造をそれぞれ復元するステップと、
復元された頭部骨格、鼻、口を一体化することによって、基本顔３次元形状として復元するステップと、
基本顔３次元形状の表面上において、一定間隔に形状制御候補点を設定するステップと、
顔詳細構造特徴点の３次元配置情報と形状制御候補点の３次元配置情報に基づいて、形状制御候補点の配置を変更させることによって、基本顔３次元形状の表面を変化させて、詳細顔３次元形状を復元するステップと、
顔特徴点の２次元配置情報に基づいて、鼻、眉、目、口をそれぞれ複数の簡易な２次元幾何図形で近似し、２次元幾何図形を統合することによって、鼻、眉、目、口の２次元構造を復元するステップと、
復元された詳細顔３次元形状の表面に、復元された鼻、眉、目、口を貼り付けるステップとを含む。
【００２３】
また、本発明の３Ｄデフォルメアバタを生成するユーザ端末が実行する顔３次元ＣＧデフォルメアバタ分散型生成プログラムは、
基本顔３次元形状を復元した後、３次元幾何図形に対して変化を加え、その結果に応じて詳細顔３次元形状及び、鼻、眉、目、口の２次元構造の復元に変化を与えるステップを含む。
【００２４】
上記のように、本発明では、ネットワークへの負荷を減らすために、３Ｄデフォルメアバタ生成処理を他のユーザ端末に分散させ、対象ユーザ端末では、特徴抽出処理のみを行い、特徴量のみをネットワークを通じて、他ユーザへ配布し、受信した各ユーザの端末でモデル生成処理等を行って、３次元ＣＧデフォルメアバタを生成することが可能となる。
【００２５】
【発明の実施の形態】
図３は、本発明の一実施の形態におけるシステム構成を示す。
【００２６】
同図に示すシステムは、サーバ・クライアントシステムであり、ユーザ端末３００間のデータ通信はインターネット／イントラネット４００を利用し、仮想空間サーバ１１０、ディレクトリサーバ１２０を介して行われている。
【００２７】
図４は、本発明の一実施の形態におけるユーザ端末の構成を示す。
【００２８】
同図に示すユーザ端末は、対象者のユーザ端末３００１　と３Ｄデフォルメアバタ生成側のユーザ端末３００２　がある。同図では、説明の簡単化のために双方の構成を分けて記載しているが同一の構成であってもよい。
【００２９】
ユーザ端末３００１　は、入出力インタフェース３１０と特徴量抽出部３２０から構成される。
【００３０】
特徴量抽出部３２０は、撮影装置から入出力インタフェース３１０を介して入力された対象者の頭部を正面と側面の２方向から撮影した撮影画像から、側面積と正面顔の外形輪郭及び各顔部品の領域の縁を抽出し、正面及び側面の撮影画像上における顔特徴点の２次配置情報を獲得し、当該２次配置情報に基づいて、顔特徴点の３次元配置情報を計算し、顔特徴点を顔基本構造特徴点と顔詳細特徴点に分類し、その結果を入出力インタフェース３１０を介して、ユーザ端末３００２　に送信する。
【００３１】
ユーザ端末３００２　は、入出力インタフェース３１０と３Ｄデフォルメアバタ生成部３３０から構成される。
【００３２】
デフォルメアバタ生成部３３０は、入出力インタフェース３１０を介してユーザ端末３００１　から取得した情報に基づいてそれぞれ処理を行う、顔部品３次元形状復元部３３１、顔基本３次元形状復元部３３２、顔詳細３次元形状復元部３３３、テキスチャ作成部３３４、テキスチャ貼付部３３５、強調変更部３３６から構成される。
【００３３】
顔部品３次元形状復元部３３１は、顔基本構造特徴点の３次元配置情報に基づいて、楕円曲線と直線及び各線からなる面によって表現された３次元幾何図形で頭部骨格、鼻、口の３次元構造を復元し、復元された頭部骨格、鼻、口を一体化することによって、基本顔３次元形状として復元する。
【００３４】
顔基本３次元形状復元部３３２は、顔部品３次元形状復元部３３１で復元された頭部骨格、鼻、口を一体化することによって、基本顔３次元形状として復元する。
【００３５】
顔詳細３次元形状復元部３３３は、顔詳細構造特徴点の３次元配置情報と、基本顔３次元形状の表面上において、一定間隔で設定された形状制御候補点の３次元配置情報に基づいて、形状制御候補点の配置を変更させることによって、基本顔３次元形状の表面を変化させて、詳細顔３次元形状を復元する。
【００３６】
テキスチャ作成部３３４は、顔特徴点の２次元配置情報に基づいて、鼻、眉、目、口をそれぞれ複数の簡易な２次元幾何図形で近似し、２次元幾何図形を統合することによって、鼻、眉、目、口の２次元構造を復元する。
【００３７】
テキスチャ貼付部３３５は、顔詳細３次元形状復元部３３３で復元された詳細顔３次元形状の表面に、テキスチャ作成部３３４で作成された鼻、眉、目、口を貼り付ける。
【００３８】
強調・変更部３３６は、顔部品３次元形状復元部３３１で基本３次元形状を復元した後、３次元幾何図形に対して変化を加え、その結果に応じて、詳細顔３次元形状及び鼻、眉、目、口の２次元構造の復元に変化を与え、対象者の３次元顔特徴をより強調する。
【００３９】
次に、上記の構成における動作を説明する。
【００４０】
図５は、３次元デフォルメアバタの作成手順を示すフローチャートである。
【００４１】
ユーザ端末３００１　において、画像が入力されると（ステップ１０１）、当該画像から個人特定に必要な最小限の顔特徴量を自動抽出し（ステップ１０２）、３Ｄモデル生成処理（ステップ１０３）、デフォルメ処理（ステップ１０４）、後頭部・身体モデル処理（ステップ１０５）、及びモデル統合処理（ステップ１０６）等を行って顔モデルを復元する。
【００４２】
本発明では、上記のように、個人特定に必要な最小限の顔特徴量を自動的に抽出し、外見情報を忠実かつ詳細に復元するのではなく、個性をより際立たせるためにデフォルメ処理を行い、後頭部・身体モデルを組み合わせて統合して、顔３次元ＣＧキャラクタアバタを自動生成する手法を用いる。
【００４３】
次に、上記の動作を詳細に説明する。
【００４４】
図６は、３次元デフォルメアバタ作成の詳細な手順を示すフローチャートである。
【００４５】
対象者の頭部と正面と側面の２方向から撮影し（ステップ２０１）、当該撮影情報から、入力点を指定することにより（ステップ２０２）、側面顔と正面顔の外形輪郭及び各顔部品を部品領域の縁を抽出し、正面及び側面の撮影画像上における顔特徴点の２次元配置情報を獲得し（ステップ２０３）、その情報に基づいて肌、眉、目、口をそれぞれ複数の簡易な２次元幾何図形で近似し、その図形を統合することによって各顔部品を復元し（ステップ２０４〜ステップ２０６）、復元された詳細顔３次元形状の表面に、復元された各顔部品を張りつけるものである（ステップ２０７、２０８）。さらに、より強調する場合には（ステップ２０９）、利用者自身による操作により利用者によるサイズ変更や（ステップ２１１）、他者による平均顔との比較等を行って（ステップ２１２）、復元された顔部品を強調する。
【００４６】
上記の処理の詳細は、特願２００１−２０９６３０に記述されている。
【００４７】
次に、上記の方法を用いて、３次元デフォルメアバタ分散作成処理について説明する。
【００４８】
上記に記載した処理は、全て対象ユーザ端末で一括して行っていたが、以下に示す方法は、図７に示すように、仮想空間サーバ１１０を介在させて行う方法について説明する。図７は、本発明の一実施の形態における仮想空間サーバを介在させた３Ｄデフォルメアバタ分散生成処理の作成手順を示す。
【００４９】
まず、画像認識を含む顔特徴処理と、デフォルメ度決定処理の一部のみを対象ユーザ端末３００１　で行い（ステップ３０１）、次に、ユーザＩＤや抽出された顔特徴量、デフォルメ度パラメータのみを仮想空間サーバ１００に送信する（ステップ３０２）。
【００５０】
仮想空間サーバ１００は、対象者以外の各々の他のユーザ端末３００２　、３００３　（つまり、受信側）に情報を配信する（ステップ３０３）。
【００５１】
受信側のユーザ端末３００２　、３００３　では、配信された当該情報に基づいて、３Ｄモデル生成処理、モデル統合やデフォルメ表現処理を等を行って顔モデルを復元する（ステップ３０４）。
【００５２】
なお、受信側のユーザ端末３００２　、３００３　では、配信された当該情報に基づいて、その都度３Ｄデフォルメアバタを生成してもよいが、処理の簡略化のために、一度生成された３Ｄデフォルメアバタは受信側のユーザ端末３００２　、３００３　で保存しておき、配信情報に差分が生じた場合のみ、生成し直す方法でもよい。
【００５３】
また、上記の実施の形態におけるユーザ端末の動作をプログラムとして構築し、ユーザ端末として利用されるコンピュータにインストールする、または、ネットワークを介して流通させることも可能である。
【００５４】
また、構築されたプログラムをユーザ端末として利用されるコンピュータに接続されるハードディスク装置や、フレキシブルディスク、ＣＤ−ＲＯＭ等の可搬記憶媒体に格納しておき、本発明を実施する際にインストールすることも可能である。
【００５５】
なお、本発明は、上記の実施の形態に限定されることなく、特許請求の範囲内において、種々変更・応用が可能である。
【００５６】
【発明の効果】
上述のように、本発明によれば、以下ような効果を奏する。
【００５７】
▲１▼　３Ｄデフォルメアバタ生成処理を分散化することにより、個人特定のために必要最小限の、特徴的な部分の情報だけをネットワーク上でやりとりすることになるため、利用空間に依存せず、かつネットワークへの負荷を大幅に減少させることができる。
【００５８】
▲２▼　受け手（受信者側）の端末でモデル生成処理を行うため、受け手側の印象等を反映することが可能となり、個性をより顕著に反映した、受け手の独自のアバタ表示方法が実現できる。
【図面の簡単な説明】
【図１】本発明の原理を説明するための図である。
【図２】本発明の原理構成図である。
【図３】本発明の一実施の形態におけるシステム構成図である。
【図４】本発明の一実施の形態におけるユーザ端末の構成図である。
【図５】３Ｄデフォルメアバタの作成手順のフローチャートである。
【図６】３次元デフォルメアバタ作成の詳細な手順を示すフローチャートである。
【図７】本発明の一実施の形態における仮想空間サーバを介在させた３Ｄデフォルメアバタ分散生成処理の作成手順を示す図である。
【符号の説明】
１０、２０　ユーザ端末
１１　特徴量抽出手段
２１　デフォルメアバタ生成手段
１００　サーバ
１１０　仮想空間サーバ
１２０　ディレクトリサーバ
３００　ユーザ端末
３１０　入出力インタフェース
３２０　特徴量抽出部
３３０　３Ｄデフォルメアバタ生成部
３３１　顔部品３次元形状復元部
３３２　顔基本３次元形状復元部
３３３　顔詳細３次元形状復元部
３３４　テキスチャ作成部
３３５　テキスチャ貼付部
３３６　強調変更部
４００　ネットワーク
【図１】
2004046641.tif 000003
【図２】
2004046641.tif 000004
【図３】
2004046641.tif 000005
【図４】
2004046641.tif 000006
【図５】
2004046641.tif 000007
【図６】
2004046641.tif 000008
【図７】
2004046641.tif 000009