(57)【特許請求の範囲】
【請求項１】
個人のモデルを生成する方法において、
少なくとも１つの識別特徴を共有している複数の個人の画像を利用して生成される顔モデルを、コンピュータ内に複数記憶するステップと、
処理画像中のターゲットである個人の少なくとも１つの識別特徴を識別するためのタイプデータを前記コンピュータが受信するステップと、
前記タイプデータに整合する顔モデルを、前記コンピュータが前記複数の顔モデルから選択するステップと、
前記処理画像中の前記ターゲットである個人の特徴ポイントの位置が、前記選択された顔モデルの特徴ポイントの位置に対応するように前記コンピュータが前記処理画像を歪ませるステップと、
前記歪まされた処理画像と前記選択された顔モデルの平均顔画像とを比較して生成されたカラーデータに応じて、前記コンピュータが前記処理画像をモデル化するステップと、を備えることを特徴とする方法。
【請求項２】
前記少なくとも１つの識別特徴は、個人の性別を含むことを特徴とする請求項１に記載の方法。
【請求項３】
前記少なくとも１つの識別特徴は、個人の民族性を含むことを特徴とする請求項１又は２に記載の方法。
【請求項４】
前記少なくとも１つの識別特徴は、個人の年齢を含むことを特徴とする請求項１、２又は３に記載の方法。
【請求項５】
前記少なくとも１つの識別特徴は、顔にひげがあるか否かを含むことを特徴とする請求項１から４のいずれか１項に記載の方法。
【請求項６】
前記少なくとも１つの識別特徴は、眼鏡の有無を含むことを特徴とする請求項１から５のいずれか１項に記載の方法。
【請求項７】
前記受信するステップは、前記コンピュータと通信ネットワークを介して接続されたユーザ端末装置で入力されたユーザ入力データである、前記ターゲットである個人の少なくとも１つの識別特徴を識別するためのタイプデータを受信することを含むことを特徴とする請求項１から６のいずれか１項に記載の方法。
【請求項８】
個人のモデルを生成するデータ処理装置であって、
少なくとも１つの識別特徴を共有している複数の個人の画像を利用して生成される顔モデルを、複数格納するデータベースと、
処理画像中のターゲットである個人の少なくとも１つの識別特徴を識別するデータの受信に応答して、前記データベースの複数の顔モデルから、前記ターゲットである個人に整合する顔モデルを選択する選択手段と、
前記処理画像中の前記ターゲットである個人の特徴ポイントの位置が、前記選択された顔モデルの特徴ポイントの位置に対応するように前記処理画像を歪ませる手段と、
前記歪まされた処理画像と前記選択された顔モデルの平均顔画像とを比較して生成されたカラーデータに応じて、前記処理画像をモデル化する手段と、を備えることを特徴とする装置。
【請求項９】
前記データベースに格納される前記主成分解析モデルの少なくとも１つは、同じ性別の個人のみの画像を利用して生成された主成分解析モデルを含むことを特徴とする請求項８に記載の装置。
【請求項１０】
前記データベースに格納される前記主成分解析モデルの少なくとも１つは、同じ民族性タイプを共有する個人のみの画像を利用して生成された主成分解析モデルを含むことを特徴とする請求項８に記載の装置。
【請求項１１】
前記データベースに格納される前記主成分解析モデルの少なくとも１つは、同じ年齢範囲に入る年齢の個人のみの画像を利用して生成された主成分解析モデルを含むことを特徴とする請求項８に記載の装置。
【請求項１２】
前記データベースに格納される前記主成分解析モデルの少なくとも１つは、顔にひげのある個人又は顔にひげがない個人のみの画像を利用して生成された主成分解析モデルを含むことを特徴とする請求項８に記載の装置。
【請求項１３】
前記データベースに格納される前記主成分解析モデルの少なくとも１つは、眼鏡を掛けている個人又は眼鏡を掛けていない個人のみの画像を利用して生成された主成分解析モデルを含むことを特徴とする請求項８に記載の装置。
【請求項１４】
前記選択手段は、前記ターゲットである個人の画像を受信し、前記画像を利用して、前記ターゲットである個人の少なくとも１つの識別特徴を識別するデータを生成するように動作可能であることを特徴とする請求項８から１３のいずれか１項に記載の装置。
【請求項１５】
複数の顔モデルを記憶し、
画像データを受信し、
前記画像データに現れる人のタイプを示すタイプデータに整合する顔モデルを前記複数の顔モデルから選択し、
前記受信した画像データの特徴ポイントの位置が、前記選択された顔モデルの特徴ポイントの位置に対応するように前記受信画像を歪ませ、
前記歪まされた受信画像と前記選択された顔モデルとを比較して生成されたカラーデータに応じて、前記受信画像をモデル化することを特徴とするデータ処理方法。
【請求項１６】
複数の顔モデルを記憶し、
画像データを受信し、
前記画像データに現れる人のタイプを示すタイプデータに整合する顔モデルを前記複数の顔モデルから選択し、
前記画像データの特徴ポイントの位置が、前記選択された顔モデルの特徴ポイントの位置に対応するように前記受信画像を歪ませ、
前記歪まされた受信画像と前記選択された顔モデルとを比較してカラーデータを生成し、
前記歪まされた受信画像における特徴ポイントの位置と前記選択された顔モデルにおける特徴ポイントの位置との差分データ、及び前記カラーデータを用いて、前記画像データに関する固有データを求め、
前記選択された顔モデルの識別データと前記固有データとを出力することを特徴とするデータ処理方法。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は個人のモデルを生成する方法及び装置に関する。より詳細には、本発明の実施形態は、主成分解析を利用して個人をモデル化する方法及び装置に関する。
【０００２】
【従来の技術】
認識可能な個人の画像を生成することが可能なコンピュータシステム用のアプリケーションは数多くある。これらアプリケーションは、発呼者の顔を電話機に表示するシステムからコンピュータゲーム内で生成されるコンピュータグラフィックスにまで及んでいる。顔を表現するモデルに基づく方法は存在しているが、既存の方法は、通常、人間の顔に存在するばらつきを処理するために比較的多数のパラメータを必要とする。
【０００３】
人間の顔をモデル化する周知の方法の１つは、主成分解析を使用する方法である。顔が様々に変化するモデルを生成するために、異なる顔の大量のデータセットが最初に取得される。次に、平均的な顔が決定され得るように、顔の上の複数の特徴ポイントが識別される。次に、モデルを生成するために使用される個人それぞれの顔がこの平均的な顔からどのように変化するかが識別され、その結果が主成分解析にかけられて、データセット内で顔を変化させる最も有意なやり方を決定することができる。
【０００４】
限られた数の最も有意なばらつきを使用して個人の顔のモデルを生成することにより、特定の個人の顔を適度に程度に近似して、生成することができる。
【０００５】
【非特許文献１】
コーテス（Cootes）等著，「アクティブ表情モデル（Active Appearance Models）」，スプリンガー社（Springer），１９９８年コンピュータ・ビジョンに関する欧州会議予稿（Proceedings European Conference on Computer Vision 1998），第２巻，ｐ．４８４〜４９８
【０００６】
【発明が解決しようとする課題】
多数の顔の主成分解析から求められるコンピュータモデルを使用して、特定の人の比較的コンパクトな表現を形成することは可能であるが、できるだけ少ない数のパラメータで個人の顔の高品質なモデルを表現できるシステムを提供することが望ましい。更に、個人の顔のモデルを迅速且つ容易に生成できることが望ましい。
【０００７】
【課題を解決するための手段】
本発明の１つの態様によれば、個人のモデルを生成する方法において、
少なくとも１つの識別特徴を共有している複数の個人の画像を利用して生成される顔モデルを、コンピュータ内に複数記憶するステップと、
処理画像中のターゲットである個人の少なくとも１つの識別特徴を識別するためのタイプデータを前記コンピュータが受信するステップと、
前記タイプデータに整合する顔モデルを、前記コンピュータが前記複数の顔モデルから選択するステップと、
前記処理画像中の前記ターゲットである個人の特徴ポイントの位置が、前記選択された顔モデルの特徴ポイントの位置に対応するように前記コンピュータが前記処理画像を歪ませるステップと、
前記歪まされた処理画像と前記選択された顔モデルの平均顔画像とを比較して生成されたカラーデータに応じて、前記コンピュータが前記処理画像をモデル化するステップとから成る方法が提供される。
【０００８】
本発明のその他の態様は添付の図面を参照することにより明白になるであろう。
【０００９】
【発明の実施の形態】
第１実施形態
図１は、本発明に従った顔モデル化システムを組み込んだ通信システムの概略ブロック図である。通信システムは、相互に接続されていると共に、通信ネットワーク５を介してモデル生成コンピュータ３に接続される複数の移動電話１−１〜１−Ｎを具備している。各々の移動電話１−１；１−Ｎは発呼者の画像を表示でき、その移動電話１−１；１−Ｎのユーザの写真を撮影するためのカメラ７と、その移動電話１−１；１−Ｎを呼び出している個人の顔の画像を表示する画面９と、キーボード１１と、スピーカ１３と、マイクロホン１４とを具備している。
【００１０】
本発明の本実施形態によるモデル生成コンピュータ３は、移動電話１−１；１−Ｎから受信した顔の画像データを、受信した顔の極めてコンパクトな表現のモデルに変換するように構成されている。これは、選択ユニット１５と、多数の異なる顔モデル１８−１；１８−ｎを格納しているモデルデータベース１７とを含むモデル生成コンピュータ３により実現され、格納されるモデルは、性別及び民族性によりグループ分けされた顔の画像データを使用して生成されたモデルである。
【００１１】
詳細には、使用中、個人が移動電話１−１；１−Ｎの１つを入手したとき、まず、その移動電話１−１；１−Ｎのカメラ７を使用して自身の写真を撮影する。次に、個人は得られた画像のコピーを通信ネットワーク５を介して、その個人の性別及び民族性を識別する、キーボード１１を使用して入力されたタイプデータと共にモデル生成コンピュータ３へ送信する。
【００１２】
このデータをモデル生成コンピュータ３が受信すると、選択ユニット１５は受信したタイプデータを処理し、モデルデータベース１７の中から、タイプデータにより識別される性別と民族性の組み合わせが共通な複数の個人の顔の画像を使用して生成された主成分解析顔モデルを選択する。
【００１３】
選択ユニット１５がモデルデータベース１７から受信したタイプデータに対応する顔モデル１８−１を選択すると、モデル生成コンピュータ３内部に設けられた整合ユニット２０は選択された顔モデルを使用して個人の受信画像データを処理し、受信画像をモデル化するための１組の重み付け値を求める。次に、それらの重み付け値を重み付け値を生成するために使用された顔モデル１８−１；１８−ｎを識別するデータと共に個人の移動電話１−１；１−Ｎに返送する。
【００１４】
その後、個人がその移動電話１−１；１−Ｎを使用して電話呼び出し１８−１〜１８−ｎを実行すると、それらの重み付け値と、重み付け値を求めるために使用された顔モデルを識別するデータは受信者の電話１−１；１−Ｎへ送信され、そこで、受信者の電話の画面９に発呼者の画像を表示できるように、重み付け値と、顔モデルを識別するデータが処理される。
【００１５】
本実施形態のモデル生成コンピュータ３は、効率が良く、個人の顔の画像を限られた数のパラメータを使用して表現することを可能にするモデル化システムを提供する。発明者は、人間の顔の外観のばらつきの大半は、多くの場合、年齢、性別及び民族性などの個人の基本的特徴を識別することにより説明できると認識している。
【００１６】
更に、発明者は、人間の顔におけるいくつかのばらつきは年齢、性別及び民族性などにより識別される小グループの中にのみ存在すると認識している。従って、例えば、顔にひげのある人と、ひげのない人との間では、あごひげの成長は顔の有意な相違を生じさせるが、このばらつきは婦人の顔をモデル化する場合には大きな意味を持たない。同様に、顔の画像における外観の皮膚の色合いは照明の変化によって画像中で著しく大きく変化しうるが、同じ民族性を共有する個人の間では皮膚の色合いのばらつきははるかに限定される。
【００１７】
この認識は、同じ特徴を共有している顔を別個に処理するモデル化システムを提供することにより、２つの領域で利点が生じるであろうことを実現させることとなる。
【００１８】
第１に、個人の顔を適切に近似してモデル化するために必要なパラメータの総数が減少する。これは、特定のタイプに対応するデータを使用して個人の顔をモデル化するため、そのタイプの個人の中には存在しないばらつきをモデル化するためのパラメータが無視されるからである。個人の顔を適切に近似するために必要なパラメータの総数がこのように減少することによって、通信ネットークを介して画像のモデルを送信するために要求される帯域幅も縮小される。
【００１９】
様々に異なる顔タイプに対応する様々に異なるモデルを使用して顔をモデル化する方法は、受信された個人の顔を処理する場合にも有益である。これには２つの理由がある。第１に、受信画像は特定の性別と民族性の組み合わせのモデルデータに対して処理されるため、そのモデルの中では起こらない顔のばらつきのモデル化は不要になり、その結果、処理量は減少する。第２に、同じ性別と民族性、従って、同じタイプデータを共有している顔は一般に類似しているので、１組の重み付け値を決定するためにデータを処理する場合、画像をモデル化するための初期スタート地点はより一般的なモデルに対応するスタート地点よりも近くになり、その結果、要求される処理量は減少する。
【００２０】
加えて、様々に異なるタイプの画像を別個に処理することにより、限られた数のパラメータによって実現されるモデル化の品質が向上する。画質の向上は、選択されたタイプに基づく初期の第１回目の顔の近似が特定の顔をどのようにしてモデル化すべきであるかに関する情報、並びに顔のどのタイプのばらつきが現れている可能性があるか又は存在していないかに関する情報を大量に伝えるために得られる。
【００２１】
図１のモデル生成コンピュータ３の処理を詳細に説明する前に、まず、図２及び図３を参照して、モデル生成コンピュータ３のモデルデータベース１７における顔モデル１８−１〜１８−ｎのデータ構造の例、並びに様々に異なる性別／民族性の組み合わせと関連する顔モデル１８−１〜１８−ｎを生成する方法を説明する。
【００２２】
図２は、図１のモデル生成コンピュータ３のモデルデータベース１７の中に格納されている顔モデル１８−１；１８−ｎの概略ブロック図である。本実施形態では、モデルデータベース１７は白人女性、白人男性、黒人女性、黒人男性、東洋人の女性及び東洋人の男性の顔モデルを含む６種類の顔モデルを格納している。各々のモデルは平均的な顔２１と、モデルの性別及び民族性をもつ顔が形状及び外観に関して変化を示す最も有意な方法を識別するベクトルから成るｍ個の固有ベクトル２２−１〜２２−ｍとを含む。
【００２３】
モデルごとに、平均的な顔は、平均的カラー画像によりモデル化されるべき個人のタイプの平均的な顔を指示するデータと、そのタイプを共有する複数の個人の顔の平均３次元ワイヤメッシュモデル及び平均的な顔の画像における５０個の特徴ポイントに対応する１組の２次元座標とにより表現される。本実施形態におけるモデルの固有ベクトルは、モデルタイプの個人の間で５０個の特徴ポイントの場所が変化する最も有意な２５の方法を識別する２５の固有ベクトルと、顔の上で特徴ポイントに対して場所を規定された位置にある画素のカラーデータの色相が変化する方法を識別するデータとから構成されている。
【００２４】
図３は、図１のモデル生成コンピュータ３のモデルデータベース１７で顔モデルデータ１８−１；１８−ｎを生成するための処理のフローチャートである。
【００２５】
まず、性別及び民族性の異なる多数の個人についてデータのライブラリを取得する。このデータベースは、個人ごとに、その個人の顔の画像と、個人の顔の形状の３次元ワイヤメッシュモデルとを含む。３次元ワイヤメッシュモデルのデータは、例えば、個人の顔をレーザーストライプで走査するなどの何らかの適切な方法により取得されれば良い。
【００２６】
顔のデータと対応する３次元モデルのデータのライブラリを取得したならば、次に、画像中の特徴ポイント及びワイヤメッシュモデルを識別する（ｓ３−１）。本実施形態におけるそれらの特徴ポイントは、個人の顔の形状の縁の輪郭を示す複数のポイントと、個人の目、まゆ、唇及び鼻の縁の輪郭を示す複数のポイントとを含む。個人の鼻の鼻梁に沿って走る複数のポイントも識別する。本実施形態では、各々の顔画像において合わせて５０個の特徴ポイントを、識別すべきそれらの顔の３次元ワイヤメッシュモデル上の対応する位置と共に識別することになる。
【００２７】
画像及びモデルを識別すべき特徴ポイントの場所によってマークアップした後、生成すべき様々に異なる顔モデルに対応して画像上に現れる個人の性別及び民族性に応じて各々の顔にモデルタイプを割り当てる。次に、様々に異なるタイプが割り当てられた顔のマークアップされた画像及び３次元ワイヤメッシュモデルを別個に処理する（ｓ３−３）。
【００２８】
詳細には、それぞれ明確に異なる性別／民族性の組み合わせを持つ画像及びワイヤメッシュモデルの全てに対して、まず、マークアップされた特徴ポイントの各々の平均位置を決定する。次に、そのグループの中における個人の顔ごとの特徴ポイントの位置の、この平均位置に対する差異を決定する。上記非特許文献１（コーテス（Cootes）等著，「アクティブ表情モデル（Active Appearance Models）」，スプリンガー社（Springer），１９９８年コンピュータ・ビジョンに関する欧州会議予稿（Proceedings European Conference on Computer Vision 1998），第２巻，ｐ．４８４〜４９８）で説明されているような従来のモデル化技法を使用して、モーフィングされた画像における特徴ポイントの位置がグループ内の画像のそれらの特徴の平均位置に対応するように、ある特定の性別／民族性の組み合わせを共有している顔の画像をモーフィングし、次に、モーフィングされた画像から平均画像を取得することにより、その性別／民族性と関連する顔の平均的形状及び平均的外観を決定する。次に、３次元ワイヤメッシュモデル及び画像の各々が性別／民族性の組み合わせに対応する画像のグループの平均ワイヤメッシュモデル及び平均画像に対してどのように異なるかを表すベクトル表現を決定する。
【００２９】
本実施形態では、それらのオフセットベクトルは、それぞれ、画像の各特徴ポイントの３次元座標の、そのグループ内の画像のその特徴ポイントの対応する平均位置に対するオフセットと、特定の顔のモーフィングされた画像における画素の色がそのグループの平均的な顔の対応する画素とどのように異なるかを示すカラーデータとを含む。
【００３０】
特定の性別／民族性の組み合わせについて特定の顔のグループの平均ワイヤメッシュモデル、及びそれに付随する、その性別／民族性の組み合わせにおける平均的な顔のカラー画像とを決定し、且つそのグループ内の個々の顔が特徴ポイントのオフセット及びカラーデータの差に関して平均的な顔とどのように異なるかを示すオフセットベクトルを取得したならば、次に、形状オフセットとカラーオフセットとの間のばらつき方の相関関係を確定するために、従来の主成分解析技法を利用して、個人の顔のオフセットベクトルを処理する（ｓ３−４）。次に、そのグループ内の様々に異なる顔の間のばらつきの大半をどのばらつきが占めるかを確定するために、主成分解析処理の結果として生成される固有ベクトルを順序付けする。次に、そのタイプの顔についてモデルの一部として上からｍ個のベクトルを格納する。本実施形態では、モデルごとに２５のベクトルを格納する。
【００３１】
様々に異なる民族性及び性別の顔の利用可能な３次元モデル及び画像を別個に処理することにより、分類ごとの個人モデルを生成する。各グループを別個に扱うことにより、各モデルの固有ベクトルがそれぞれ識別可能なグループの中に実際に存在するばらつきを表現していることを保証するための手段が提供される。例えば、ひげの有無によって起こる顔の色合いのばらつきを固有ベクトルによりモデル化し、男性の顔と関連付けることはあるが、そのようなばらつきは女性の顔のモデルには存在しない。このように、様々に異なる顔のカテゴリを相互に独立させてモデル化することによって、実際には起こらないばらつきをモデル化したデータを格納することは回避され、それにより、より少数のベクトルを使用して個人の顔の現実に即したモデル化を実現することができる。
【００３２】
次に、図４及び図５を参照して、通信ネットワーク５を介して移動電話１−１；１−Ｎから受信される画像データ及びタイプデータのモデル生成コンピュータ３による処理を詳細に説明する。
【００３３】
図４は、モデル生成コンピュータ３により受信される画像データ及びタイプデータの処理のフローチャートである。
【００３４】
モデル生成コンピュータ３により最初に画像データ及びタイプデータが受信されると（ｓ４−１）、受信画像の中に現れる個人の民族性及び性別を識別するタイプデータを選択ユニット１５へ送信する。
【００３５】
そして、選択ユニット１５はモデルデータベース１７から、受信したタイプデータに整合する顔モデル１８−１；１８−ｎを選択する（ｓ４−２）。例えば、白人男性の場合、白人男性の画像及びワイヤメッシュモデルから生成された顔モデル１８−１；１８−ｎがモデルデータベース１７から選択ユニット１５により選択されることになる。
【００３６】
特定の顔モデル１８−１；１８−ｎが選択されたならば、次に、整合ユニット２０は選択された顔モデル１８−１；１８−ｎを使用して受信画像データを処理する。次に、整合ユニット２０の処理のフローチャートである図５を参照して、整合ユニットによる処理（ｓ４−３）を詳細に説明する。
【００３７】
まず最初に、タイプデータによりモデルが選択された後、整合ユニット２０は画像上の特徴ポイントを識別するために受信画像を処理する（ｓ５−１）。従来の特徴検出技法を使用して、受信画像の中で、モデル生成コンピュータ３において顔モデル１８−１〜１８−ｎを生成するために使用された画像で識別された特徴ポイントと同じである顔、目、まゆ、鼻、口及び鼻梁の輪郭に対応するそれらの特徴ポイントを識別する。
【００３８】
次に、それらの特徴ポイントの位置を使用して、特徴ポイントの位置が認知された画像を処理するために使用されるべきモデル１８−１；１８−ｎ中に格納されているような特徴ポイントの平均位置に対応するように受信画像を歪ませるためのモーフィング関数を計算する（ｓ５−２）。次に、モーフィングされた画像における画素のカラー画素値を判定し、それらのカラー画素値をその顔タイプの平均顔画像における対応するカラー画素値と比較することにより、受信画像のカラーデータを生成する。
【００３９】
処理すべき顔タイプについて受信画像における特徴ポイントの位置がその画像タイプの平均的な顔における特徴ポイントの位置とどのように異なっているかを認識し、且つモーフィングされた画像における画素のカラーデータを取得した後、このデータをベクトルとして組み合わせ（ｓ５−３）、次に、従来の技法を使用して、決定されたベクトルを最も厳密にモデル化している、選択されたモデルの固有ベクトル２２の組み合わせを計算して、受信画像を最も厳密にモデル化している固有ベクトルの相対的重み付けを確定する（ｓ５−４）。
【００４０】
図４に戻り、計算されたそれらの固有ベクトルの重み付け値をモデル生成コンピュータ３により、受信画像を処理するために使用された顔モデル１８−１；１８−ｎを識別するデータと共に、当初、画像及びタイプデータを発信した移動電話１−１；１−Ｎに返送する。それらの固有ベクトルと、画像を処理するために使用された顔モデル１８−１；１８−ｎを識別するデータセット識別子は、共に、以下に図６、図７及び図８を参照して詳細に説明するように移動電話を使用して発呼者の画像を生成し、受信者の電話の画面９に表示させることができるような十分なデータを含む。
【００４１】
図６は、本発明の本実施形態に従った図１の通信ネットワークを含む移動電話の概略ブロック図である。
【００４２】
本実施形態では、移動電話１−１〜１−Ｎの各々は、移動電話１のキーボード１１、カメラ７、スピーカ１３及びマイクロホン１４に接続する処理ユニット２５を具備する。更に、処理ユニット２５は送信器／受信器２７と、個人の画像をモデル化するための重み付け値を格納するメモリ２８にも接続されている。処理ユニット２５は、画像生成モジュール３０を介して移動電話１の画面９にも接続されている。画像生成モジュール３０自体はモデルデータベース３２に接続されている。画像生成モジュール３０とモデルデータベース３２は相互に作用して、重み付けデータと、送信器／受信器２７を介して移動電話１により受信されるモデルタイプを識別するデータとを利用して個人のモデル画像を生成することを可能にする。
【００４３】
図７は、モデルデータベース３２内に格納されているデータを更に詳細に示す、図６のモデルデータベース３２の概略ブロック図である。
【００４４】
本実施形態では、モデルデータベース３２はルックアップテーブル４０と、あらゆる性別又は民族性の顔４１をモデル化するための主成分解析モデルとを格納するように構成されている。主成分解析モデル４１自体は平均顔データ４２と、個人の顔の間に存在するばらつきをモデル化するための多数の固有ベクトル４４−１〜４４−ｐとを含む。本実施形態の平均顔データ４２と、固有ベクトル４４−１〜４４−ｐは、モデル生成コンピュータ３内に格納されている様々に異なる顔モデル１８−１〜１８−ｎを生成するために使用された利用可能な顔のライブラリの全てを利用して生成される主成分解析モデルを構成している。
本実施形態においては、ルックアップテーブル４０は、顔モデル１８−１〜１８−ｎの各々の各固有ベクトル２２をｐ個１組の重み（モデルデータベース３２内に格納されているモデルの固有ベクトル４４−１〜４４−ｐごとに１つずつ）と関連付けるデータを含む。これらの重みは、移動電話１に格納されているモデルの固有ベクトル４４−１〜４４−ｐがモデル生成コンピュータ３のモデルデータベース１７内に格納されている個人モデルの固有ベクトル２２により識別されるばらつきをモデル化することができるようにするために必要な相対的重みを識別するデータである。
【００４５】
次に、図８を参照して、本発明の本実施形態による移動電話の処理ユニット２５及び画像生成モジュール３０によるデータの処理を詳細に説明する。
【００４６】
処理ユニット２５は最初に、移動電話１のユーザが移動電話１のメモリ２８内に格納すべき新たな顔モデルを生成することを希望することを指示するデータがキーボード１１を介して入力されたか否かを判定する（ｓ８−１）。
【００４７】
入力されていれば、処理ユニット２５は次に、性別及び民族性のタイプを識別するユーザ入力データを要求すると共に、ユーザに移動電話１のカメラ７を使用して自身の写真を撮影することを要求するプロンプトを移動電話１の画面９に表示させる（ｓ８−２）。
【００４８】
データが入力され、カメラ７を使用して画像が取得されたならば、送信器／受信器２７及び通信ネットワーク５を介してデータと画像を、処理が行われるモデル生成コンピュータ３へ送信する（ｓ８−３）。モデル生成コンピュータ３による画像データと、性別及び民族性を識別するデータの処理の結果として、モデル生成コンピュータ３は１組の重み付け値と、モデルを生成するために使用された顔モデル１８−１；１８−ｎを識別するデータセット識別子とを出力する。次に、モデルデータとデータセット識別子が通信ネットワーク５を介して移動電話１に返送される。それらの重み付け値及びデータセット識別子が受信された時点（ｓ８−４）で、それらは処理ユニット２５によりメモリ２８へ送信され、格納される。
【００４９】
新たな顔モデル化データのセットを格納するための要求が入力されなかったと処理ユニット２６が判定した（ｓ８−１）場合には、処理ユニット２５は、キーボード１１を使用して電話番号が入力されているか否かを判定する（ｓ８−５）。入力されていれば、移動電話は従来の通りに通信ネットワーク５を介して、その電話番号により識別される電話機に接続する。次に、移動電話１は通信ネットワーク５を介して、顔モデル１８−１〜１８−ｎを識別するデータセット識別子及びメモリ２８にその時点で格納されている重み付け値を送信する（ｓ８−６）。
【００５０】
次に、処理ユニット２５は、通信ネットワーク５及び送信器／受信器２７を介して呼び出されている電話機からの応答が受信されるまで待つ（ｓ８−７）。応答が受信されたとき、その応答はデータセット識別子と、１組の重み付け値とを含むであろう。次に、処理ユニット２５はそれらのデータセット識別子及び重み付け値を、画像生成モジュール３０へ送信する。そこで、画像生成モジュール３０は、モデルデータベース３２に格納されているデータを使用してそれらのデータセット識別子及び重み付け値を処理し、画面９に表示される呼の受信者の画像を生成する。
【００５１】
詳細には、呼び出されている人物の画像をモデル化するための重みは、受信されたタイプデータにより識別されるモデルタイプと関連するベクトルに関する、ルックアップテーブル４０中に格納されている重みデータの各々の項目をタイプデータと共に受信される重み付け値と乗算し、次に、その結果を加算して、固有ベクトルと乗算するための値を求めることにより決定される。
【００５２】
例えば、
0003768945.tif 000002
というデータが受信されており、且つ
白人女性（１）：wf1(1)...wf1(p)
白人女性（２）：wf2(1)...wf2(p)
：
白人女性（ｎ）：wfn(1)...wfn(p)
という重みデータが格納されている場合、移動電話１で顔をモデル化するために使用されるｐ個の固有ベクトル４４−１〜４４−ｐの各々について１つずつ、最終的にｐ個１組の値を取得するために、
e(1)=w(1)×wf1(1)+...w(n)×wfn(1)
e(2)=w(1)×wf1(2)+...w(n)×wfn(2)
:
e(p)=w(1)×wf1(p)+...w(n)×wfn(p)
というｐ個の値が求められるであろう。
【００５３】
次に、これらの計算された固有値により重み付けされたｐ個の固有ベクトル４４−１〜４４−ｐにより変更された、モデルデータベース３２内に格納されたモデル４１の平均的な顔４２を変更することにより、画像を生成する。その後、計算された画像を移動電話１の画面９に表示する。
【００５４】
発呼者の画像を計算し、移動電話１の画面９に表示したならば、移動電話１はマイクロホン１４を介して受信された音声データを送信し、且つ受信された音声データを従来のように送信器／受信器２７を介し、スピーカ１３を通して出力する。
【００５５】
キーボード１１を使用して呼が実行されなかったと処理ユニットが判定した（ｓ８−５）場合には、処理ユニット２５は、次に、呼が受信されたことを指示するデータが送信器／受信器２７により受信されたか否かを判定する。受信されていなければ、処理ユニット２５は、メモリ２８内に格納すべき新たな顔を指示するデータがキーボード１１を介して入力されているか否かを再びチェックする（ｓ８−１）。
【００５６】
送信器／受信器２７を介して呼が受信されたと処理ユニット２５が判定した（ｓ８−１０）場合、受信されたデータは重み付け値と、データセット識別子とを含むであろう。そこで、処理ユニット２５は、通信ネットワーク５及び送信器／受信器２７を介して受信された重み付け値及びデータセット識別子を画像生成モジュール３０へ送信することにより、それらのデータを処理する。画像生成モジュール３０は、先に呼び出されている個人の画像を生成すること（ｓ８−８）に関連して説明したのと同じ方法により発呼者の画像を生成する。
【００５７】
呼び出している側の個人の画像が計算され、画面９に表示されたならば、処理ユニット２５は移動電話１のメモリ２８に格納されている重み付け値及びデータセット識別子を送信器／受信器２７及び通信ネットワーク５を介して、受信した呼を行った移動電話１へディスパッチする（ｓ８−１２）。次に、処理ユニット２５はマイクロホン１４により受信された音声データを送信器／受信器２７を介して送信させると共に、送信器／受信器２７により受信された音声データを従来の通りにスピーカ１３により出力させる（ｓ８−９）。
【００５８】
第２実施形態
次に本発明の第２実施形態を説明する。図９は、本発明の第２実施形態に従ったモデル生成ユニット６０の概略ブロック図である。モデル生成ユニット６０は、整合ユニット２０が重み生成ユニット６５に置換されている点を除き、第１実施形態のモデル生成コンピュータ３と同じである。本実施形態のモデル生成ユニット６０は、特定の性別及び民族性を有することがわかっている複数の個人の顔のランダムモデルを生成するために利用される。
【００５９】
使用中、モデル生成ユニット６０は、生成すべき顔の性別及び民族性を識別するデータを受信する。次に、このデータを選択ユニット１５へ送信する。そこで、選択ユニットはモデルデータベース１７から、モデル顔を生成するために利用すべき顔モデル１８−１〜１８−ｎを選択する。モデル生成ユニット６０は選択されたモデルを使用して、タイプデータにより識別されるタイプの性別及び民族性を持つ個人のモデル顔を生成する。これは、重み生成ユニット６５が選択されたモデルの固有ベクトルに１組の重みをランダムに割り当てることにより実現される。次に、重み生成ユニット６５により生成された関連する１組の重みにより重み付けされた固有ベクトルを加算し、これらを加算したベクトルを利用して選択されたモデルの平均的な顔を修正する。その結果を、タイプデータにより指示される性別及び民族性を持つランダムな個人のモデルとして出力する。
【００６０】
先に図３に関連して説明したように様々に異なる性別及び民族性タイプを持つ様々に異なる個人のモデルのデータベースを設けることにより、受信されたタイプデータを利用して、その性別／民族性の組み合わせを有する一個人のランダムな顔を生成することができる手段が提供される。モデル生成ユニット６０により生成されるモデルを、例えば、コンピュータゲームに利用しても良い。
【００６１】
他の実施形態及び変形例
上述の実施形態では、様々に異なる性別及び民族性のタイプに応じてモデルが生成されると説明したが、複数の個人を異なるグループに分割する場合に他の要因を使用しても良いことは理解されるであろう。例えば、様々に異なる年齢範囲の個人に対して、又はあごひげ、眼鏡などの個人を見分ける特徴が画像中に存在するか否かによってモデルを生成することも可能であろう。
【００６２】
第１実施形態においては、ある特定のタイプと関連するモデルを使用して画像をモデル化するために取得された重み付け値を、任意の顔タイプをモデル化するモデル化システムに対応する重みに変換していたが、代替的実施形態では、電話に１組のモデルを格納し、重み付け値を直接使用して、発呼者の画像を生成することも可能であろう。
【００６３】
上述の実施形態においては、グループ内での個人のばらつきをモデル化するために使用される固有ベクトルの数はそれぞれ同じであると説明したが、異なるグループにおけるばらつきを異なる数のベクトルを使用してモデル化しても良いことは理解されるであろう。
【００６４】
第１実施形態においては、性別や民族性などの、ユーザの特徴を識別するデータはキーボード１１を使用して入力されると説明したが、他の方法を利用してもよい。例えば、様々に異なるグループの平均的な顔２１を移動電話１の画面９に表示し、モデルを生成するためのデータを送信する前に、ユーザ自身の顔に最も合致する顔を選択するようにユーザを促すことも可能であろう。あるいは、例えば、移動電話１のＳＩＭカードに、移動電話を最初に購入したときにユーザから得られたデータと共に、ユーザのタイプデータをあらかじめ格納しておいても良いであろう。更に他の代替例として、モデル生成コンピュータ３にユーザのデータベースを格納しておき、モデル生成コンピュータ３と連絡している移動電話１の識別に基づいて適切な顔モデル１８−１を選択することも考えられるであろう。
【００６５】
更に別の実施形態においては、例えば、性別又は民族性を指示するデータの入力をなくしても良い。これは、モデル生成コンピュータ３が受信画像を処理して、撮影された個人の性別又は民族性などを識別することにより実現できるであろう。そのようなシステムは、最も適切な分類を使用する確率が最も高いという利点も有すると考えられる。
【００６６】
上述の実施形態では顔の３次元カラーモデルについて説明したが、本発明はグレイスケール画像及び２次元モデルにも等しく適用可能である。
【００６７】
図面を参照して説明した本発明の実施形態は、コンピュータ装置及びそのコンピュータ装置で実行されるプロセスを含むが、本発明は、本発明を実現するのに適するコンピュータプログラム、特にキャリア上又は内部に存在するコンピュータプログラムへも拡張される。プログラムはソースコード又はオブジェクトコードの形態、あるいは本発明によるプロセスの実現に使用するのに適する他の何らかの形態をとっていれば良い。キャリアはプログラムを実行することができる何らかのエンティティ又は装置であれば良い。
【００６８】
例えば、キャリアは、ＣＤ−ＲＯＭ又は半導体のＲＯＭなどのＲＯＭのような記憶媒体、あるいはフロッピー（登録商標）ディスク又はハードディスクなどの磁気記録媒体を含むであろう。更に、キャリアは電気ケーブル又は光ケーブル、あるいは無線又はその他の手段により搬送可能である電気信号又は光信号のような送信可能なキャリアであっても良い。
【００６９】
ケーブル、あるいはその他の装置又は手段により直接に搬送可能な信号でプログラムを具現化する場合、キャリアはそのようなケーブル、あるいはその他の装置又は手段により構成されても良い。
【００７０】
あるいは、キャリアはプログラムが組み込まれ、関連するプロセスを実行するのに適合する、又は関連するプロセスを実行する際に使用するための集積回路であっても良い。
【００７１】
上述の実施形態においては、顔をモデル化するシステムを説明したが、本発明はより一般的に適用可能であることが理解されるであろう。詳細には、例えば、顔だけではなく頭部全体をモデル化する場合、又は個人の更に大きな部分（例えば、頭部と肩）、更には全身のモデルを生成する場合などに本発明を利用しても良い。
【図面の簡単な説明】
【図１】本発明の第１実施形態に従ったモデル生成コンピュータを含む通信ネットワークの概略ブロック図である。
【図２】図１のモデル生成コンピュータのモデルデータベース内にあるモデルデータの概略ブロック図である。
【図３】図２のモデルデータの生成のフローチャートである。
【図４】図１のモデル生成コンピュータの処理のフローチャートである。
【図５】個人の顔のモデルを生成するための図１のモデル生成コンピュータの詳細な処理のフローチャートである。
【図６】図１の通信ネットワークの移動電話の概略ブロック図である。
【図７】図６の移動電話のモデルデータベースの概略ブロック図である。
【図８】図６の移動電話によるデータの処理のフローチャートである。
【図９】本発明の第２実施形態の概略ブロック図である。
【符号の説明】
１−１〜１−Ｎ  移動電話
３  モデル生成コンピュータ
５  通信ネットワーク
７  カメラ
９  画面
１１  キーボード
１３  スピーカ
１４  マイクロホン
１５  選択ユニット
１７  モデルデータベース
１８−１〜１８−ｎ  顔モデル
２０  整合ユニット
２５  処理ユニット
２７  送信器／受信器
２８  メモリ
３０  画像生成モジュール
３２  モデルデータベース
６５  重み生成ユニット
【図１】
0003768945.tif 000003
【図２】
0003768945.tif 000004
【図３】
0003768945.tif 000005
【図４】
0003768945.tif 000006
【図５】
0003768945.tif 000007
【図６】
0003768945.tif 000008
【図７】
0003768945.tif 000009
【図８】
0003768945.tif 000010
【図９】
0003768945.tif 000011