(57)【特許請求の範囲】
【請求項１】
現実的な顔のアニメーションを音声から直接生成する方法であって、
人が話をしている間に現れる顔及び顔つきの観察記録を基に、顔及び音声の動作の動的なモデルを学習し、学習した顔つきのカテゴリーに関連して音声を分析し、顔と音素との多重結合を含む長期の依存関係を絶対的にモデル化する動的モデル学習ステップと、
新たな入力オーディオに伴う顔つきのシーケンスである顔面シーケンスを生成する顔面シーケンス生成ステップと、
前記顔面シーケンスを、顔面の制御パラメータの最適なシーケンスに変換するシーケンス変換ステップと、
前記顔面の制御パラメータに基づき顔面のアニメーションを動かす顔面アニメーション動作ステップと
を備え、
前記顔面シーケンス生成ステップは、
隠れマルコフ・モデルを使うことであって、
前記人が話をする時の顔の動態及び本質的な状態を学習するためと、
前記状態から顔のポーズへのマッピングを学習するためと、
前記状態から、前記人の音声から抽出される音響特性へのマッピングを学習するためと、
最適に両立性のある顔の状態のシーケンスを得るために新たな入力音声を分析するためと、
前記新たに入力された音声を話したとしたら、その話している間に、前記人の顔がどのように動くかに対応して、前記顔の状態のシーケンスを、アニメ化された顔の可能な顔のポーズを介して、最適な軌跡に変換するためと
に隠れマルコフ・モデルを使うことを含む
ことを特徴とする顔面アニメーション生成方法。
【請求項２】
前記隠れマルコフ・モデルは、
エントロピー最小化技術を用いてトレーニングされ、
それにより、最適な状態シーケンスを抽出することを可能とし、
前記モデルの構造およびパラメータに関する概念を予想することなく、
顔の状態及び動態の最適なモデルを学習することを可能とする
請求項１記載の顔面アニメーション生成方法。
【請求項３】
前記シーケンス変換ステップは、
可能性のある顔の動作の軌跡すべてに対し確率を割当て、最も現実的なアニメーションの生成を可能とする可能性が最も高い軌跡を選択する確率割当ステップを含む
請求項１記載の顔面アニメーション生成方法。
【請求項４】
前記確率割当ステップは、
隠れマルコフ・モデルから前記確率を導くステップを含む
ことを特徴とする請求項３記載の顔面アニメーション生成方法。
【請求項５】
現実的な顔のアニメーションを音声から直接生成する方法であって、
人が話をする際の映像フレーム画像及び同期したオーディオ・ファイルを供給する画像・オーディオ供給ステップと、
前記映像フレーム画像を用いてエントロピー的にトレーニングし、顔の状態を有する顔の状態機械と、前記顔の状態の顔の構成へのマッピングとを得るエントロピートレーニングステップと、
前記顔の状態からオーディオの特徴へのマッピングを評価することにより、顔の動態を有し、オーディオからオーディオへのシーケンスによって動かされる音声の隠れマルコフ・モデルを供給するマッピング評価ステップと、
前記音声の隠れマルコフ・モデルを使用して新たなオーディオから顔の状態を予測することにより、最適な顔の状態シーケンスを供給する顔状態予測ステップと、
前記顔の状態シーケンスに前記顔のマッピングを結合することにより、前記顔の構成空間により最適な軌跡を供給する結合ステップと、
アニメーション制御パラメータのシーケンスを生成するシーケンス生成ステップと
を含むことを特徴とする顔面アニメーション生成方法。
【請求項６】
第１の顔面状態に結び付けるためにマッピングされた音素表現に代わる表現の複数の第１のオーディオ特徴から、第２のオーディオ特徴に対応する該第１のオーディオ特徴を識別するステップと、
前記識別された第１のオーディオ特徴に結び付く前記第１の顔面状態を識別するステップと、
前記識別された第１の顔面状態を使用する前記第２のオーディオ特徴に対応する顔面アニメーションを生成するステップと
を備えたことを特徴とする顔面アニメーション生成方法。
【請求項７】
第１の顔面状態に結び付けるためにマッピングされた複数の第１のオーディオ特徴から、第２のオーディオ特徴に対応する該第１のオーディオ特徴を識別するステップと、
前記識別された第１のオーディオ特徴に結び付く前記第１の顔面状態を識別するステップと、
前記識別された第１の顔面状態を使用する前記第２のオーディオ特徴に対応する顔面アニメーションを生成するステップとを備え
前記第１の顔面状態は、顔面のポーズと顔面の動態を含む
ことを特徴とする顔面アニメーション生成方法。
【請求項８】
前記顔面のポーズは、顔面の異なる領域に結び付けられたポーズセグメントを含む顔面の表現を表し、
前記顔面の動態は、１つの表情から他の表情への変化の確率を含む
ことを特徴とする請求項７に記載の顔面アニメーション生成方法。
【請求項９】
前記第１のオーディオ特徴は、トレーニング・オーディオに結び付けられており、さらに、
前記トレーニング・オーディオに同期したトレーニング・ビデオの中の顔面の特徴をトラッキングするステップと
前記トラッキングされた顔面の特徴を使用する前記第１の顔面状態を生成するステップと
を備えたことを特徴とする請求項７に記載の顔面アニメーション生成方法。
【請求項１０】
前記顔面の動態は、前記トラッキングされた顔面に対応し、さらに、
前記第１の顔面状態を生成するために前記顔面の動態を前記顔面のポーズにマッピングするステップ
を備えたことを特徴とする請求項９に記載の顔面アニメーション生成方法。
【請求項１１】
第１の顔面状態に結び付けるためにマッピングされた複数の第１のオーディオ特徴から、第２のオーディオ特徴に対応する第１のオーディオ特徴を識別するステップと、
前記識別された第１のオーディオ特徴に結び付く前記第１の顔面状態を識別するステップと、
前記識別された第１の顔面状態を使用する前記第２のオーディオ特徴に対応する顔面アニメーションを生成するステップとを備え、
前記第１の顔面状態を識別するステップは、前記予測された第１の顔面状態のシーケンスを識別するステップ、及び前記識別された予測された第１の顔面状態のシーケンスにより軌跡を識別するステップを含み、
前記識別された第１の顔面状態は、前記識別された軌跡に沿う前記識別されたシーケンスの予測された第１の顔面状態である
ことを特徴とする顔面アニメーション生成方法。
【請求項１２】
各々顔面の表情に対応する第１の顔面状態に結び付けるためにマッピングされた複数の第１のオーディオ特徴から、第２のオーディオ特徴に対応する第１のオーディオ特徴を識別するステップと、
前記識別された第１のオーディオ特徴に結び付く前記第１の顔面状態を識別するステップと、
前記識別された第１の顔面状態に対応する顔面の表現から、平均的な顔面の表現を識別するステップと、
前記第２のオーディオ特徴に対応し前記識別された平均的な顔面の表現を表す前記識別された第１の顔面状態を使用する顔面アニメーションを生成するステップ
を備えたことを特徴とする顔面アニメーション生成方法。
【請求項１３】
第１の顔面状態に結び付けるためにマッピングされた複数の第１のオーディオ特徴から、第２のオーディオ特徴に対応する第１のオーディオ特徴を識別するステップと、
前記識別された第１のオーディオ特徴に結び付く前記第１の顔面状態を識別するステップと、
前記識別された第１の顔面状態を使用する前記第２のオーディオ特徴に対応する顔面アニメーションを生成するステップと、
前記第１の顔面状態を表す顔の隠れマルコフ・モデルを生成するステップと、
前記第１のオーディオ特徴に結び付く前記第１の顔面状態のマッピングを表す音声の隠れマルコフ・モデルを生成するステップとを備え、
前記第２のオーディオ特徴に対応する前記第１のオーディオ特徴は、前記音声の隠れマルコフ・モデルを使うことによって識別され、
前記識別された第１のオーディオ特徴に結び付く第１の顔面状態は、前記顔の隠れマルコフ・モデルを使うことによって識別される
ことを特徴とする顔面アニメーション生成方法。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、アニメーションに係り、特に時間を多くかけることなく、動画化した人物の生きているような音声制御型の顔のアニメーションを供給するシステムに関する。
【０００２】
【従来の技術】
リップ・シンキング（ｌｉｐ−ｓｙｎｃｈｉｎｇ）からアニメーションまで、心理学者や作家は同様に、音声と顔つきとの間に多くの相互に関係のある情報があると述べている。Ｃ．Ｂｅｎｏｉｔ，  Ｃ．Ａｂｒｙ，  Ｍ．−Ａ．  Ｃａｔｈｉａｒｄ，  Ｔ．Ｇｕｉａｒｄ−Ｍａｒｉｇｎｙ及びＴ．Ｌａｌｌｏｕａｃｈｅによる「Ｒｅａｄ  ｍｙ  ｌｉｐｓ：  Ｗｈｅｒｅ？  Ｈｏｗ？  Ｗｈｅｎ？  Ａｎｄ  ｓｏ．．．  Ｗｈａｔ？  」（Ｉｎ  ８ｔｈ  Ｉｎｔ．  Ｃｏｎｇｒｅｓｓ  ｏｎ  Ｅｖｅｎｔ  Ｐｅｒｃｅｐｔｉｏｎ  ａｎｄ  Ａｃｔｉｏｎ，  Ｍａｒｓｅｉｌｌｅ，  Ｆｒａｎｃｅ，  Ｊｕｌｙ  １９９５，  Ｓｐｒｉｎｇｅｒ−Ｖｅｒｌａｇ）の記事に述べられているように、観察記録者が音声の表面的及び感情的な内容を理解するのに、顔の情報が明らかにその理解を助けることができ、そういった顔の情報が、音声に基づくインタフェースが成功するのに必要な要因とみなされる場合がある。逆に、本物のような顔を人工的に作ることが困難であることが、満足できるデジタルのデータ、代理物、及びアニメーションを生成することに対し、広く注目された障害となっている。人間の視覚システムは、顔の動きを解釈するのに高度に専門化している。その結果、Ｈ．  ＭｃＧｕｒｋ及びＪ．  ＭａｃＤｏｎａｌｄによる「Ｈｅａｒｉｎｇ  ｌｉｐｓ  ａｎｄ  ｓｅｅｉｎｇ  ｖｏｉｃｅｓ」（Ｎａｔｕｒｅ，  ２６４：７４６−７４８，  １９７６）に述べられているように、顔を不完全に動画化した場合、それが音声の理解を妨げ、むしろじゃまをする可能性がある。
【０００３】
顔のアニメーションの大部分を占めるリップ・シンキングは、面倒な処理である。すなわち、リップ・シンキングは、まず音声トラックを通常手作業で分解し、句点や母音のような特徴を識別し、顔のポーズのマッチングを１秒間に２〜１０でアニメーション・トラックにスケジューリングする。リップ・シンキング研究及びそれに関する商業用に提供された物の圧倒的大部分は、Ｆ．  Ｐａｒｋｅによる「Ａ  ｐａｒａｍｅｔｒｉｃ  ｍｏｄｅｌ  ｆｏｒ  ｈｕｍａｎ  ｆａｃｅｓ」（Ｔｅｃｈｎｉｃａｌ  Ｒｅｐｏｒｔ  ＵＴＥＣ−ＣＳｃ−７５−０４７，  Ｕｎｉｖｅｒｓｉｔｙ  ｏｆ  Ｕｔａｈ，  １９７４）、Ｆ．Ｐａｒｋｅによる「Ａ  ｍｏｄｅｌ  ｆｏｒ  ｈｕｍａｎ  ｆａｃｅｓ  ｔｈａｔ  ａｌｌｏｗｓ  ｓｐｅｅｃｈ  ｓｙｎｃｈｒｏｎｉｚｅｄ  ａｎｉｍａｔｉｏｎ」（Ｊｏｕｒｎａｌ  ｏｆ  Ｃｏｍｐｕｔｅｒｓ  ａｎｄ  Ｇｒａｐｈｉｃｓ，  １（１）：１−４，  １９７５）、Ｃｏｈｅｎ及びＤ．  Ｍａｓｓａｒｏによる「Ｍｏｄｅｌｉｎｇ  ｃｏ−ａｒｔｉｃｕｌａｔｉｏｎ  ｉｎ  ｓｙｎｔｈｅｔｉｃ  ｖｉｓｕａｌ  ｓｐｅｅｃｈ」（Ｎ．  Ｍ．  Ｔｈａｌｍａｎｎ  ａｎｄ  Ｄ．  Ｔｈａｌｍａｎｎ，  ｅｄｉｔｏｒｓ，  Ｍｏｄｅｌｓ  ａｎｄ  Ｔｅｃｈｎｉｑｕｅｓ  ｉｎ  Ｃｏｍｐｕｔｅｒ  Ａｎｉｍａｔｉｏｎ，  Ｓｐｒｉｎｇｅｒ−Ｖｅｒｌａｎｇ，  １９９３）、Ｔ．  Ｅｚｚａｔ及びＴ．  Ｐｏｇｇｉｏによる「Ｍｉｋｅｔａｌｋ：  Ａ  ｔａｌｋｉｎｇ  ｆａｃｉａｌ  ｄｉｓｐｌａｙ  ｂａｓｅｄ  ｏｎ  ｍｏｒｐｈｉｎｇ  ｖｉｓｅｍｅｓ」（Ｐｒｏｃ．  ｏｆ  Ｔｈｅ  Ｃｏｍｐｕｔｅｒ  Ａｎｉｍａｔｉｏｎ  Ｃｏｎｆｅｒｅｎｃｅ，  Ｊｕｎｅ  １９９８）、Ｊ．  Ｅ．  Ｂａｌｌ及びＤ．  Ｔ．  Ｌｉｎｇによる「Ｓｐｏｋｅｎ  ｌａｎｇｕａｇｅ  ｐｒｏｃｅｓｓｉｎｇ  ｉｎ  ｔｈｅ  ｐｅｒｓｏｎａ  ｃｏｎｖｅｒｓａｔｉｏｎａｌ  ａｓｓｉｓｔａｎｔ」（ＥＳＣＡ  Ｗｏｒｋｓｈｏｐ  ｏｎ  Ｓｐｏｋｅｎ  Ｄｉａｌｏｇｕｅ  Ｓｙｓｔｅｍｓ，  １９９５）、及びＩ．  Ｋａｔｕｎｏｂｕ及びＯ．  Ｈａｓｅｇａｗａによる「Ａｎ  ａｃｔｉｖｅ  ｍｕｌｔｉｍｏｄｅｌ  ｉｎｔｅｒａｃｔｉｏｎ  ｓｙｓｔｅｍ」（ＥＳＣＡ  Ｗｏｒｋｓｈｏｐ  ｏｎ  Ｓｐｏｋｅｎ  Ｄｉａｌｏｇｕｅ  Ｓｙｓｔｅｍｓ，  １９９５）に述べられているように、手作業によって得られるか否かに関わらず、中間の音素表現に基づいている。他の商業用に提供された物は、Ｊ．  Ｌｅｗｉｓによる「Ａｕｔｏｍａｔｅｄ  ｌｉｐ−ｓｙｎｃ：  Ｂａｃｋｇｒｏｕｎｄ  ａｎｄ  ｔｅｃｈｎｉｑｕｅｓ」（Ｔｈｅ  Ｊｏｕｒｎａｌ  ｏｆ  Ｖｉｓｕａｌｉｚａｔｉｏｎ  ａｎｄ  Ｃｏｍｐｕｔｅｒ  Ａｎｉｍａｔｉｏｎ，  ２：１１８−１２２，  １９９１）、Ｋ．  Ｗａｔｅｒｓ及びＴ．  Ｌｅｖｅｒｇｏｏｄによる「Ｄｅｃｆａｃｅ：  Ａ  ｓｙｓｔｅｍ  ｆｏｒ  ｓｙｎｔｈｅｔｉｃ  ｆａｃｅ  ａｐｐｌｉｃａｔｉｏｎｓ」（Ｍｕｌｔｉｍｅｄｉａ  Ｔｏｏｌｓ  ａｎｄ  Ａｐｐｌｉｃａｔｉｏｎｓ，  １：３４９−３６６，  １９９５）及びＣ．  Ｂｒｅｇｌｅｒ，  Ｍ．  Ｃｏｖｅｌｌ及びＭ．  Ｓｌａｎｅｙによる「Ｖｉｄｅｏ  ｒｅｗｒｉｔｅ：  Ｄｒｉｖｉｎｇ  ｖｉｓｕａｌ  ｓｐｅｅｃｈ  ｗｉｔｈ  ａｕｄｉｏ」（Ｐｒｏｃ．  ＡＣＭ  ��ＩＧＧＲＡＰＨ  ９７，  １９９７）に述べられているように、言語認識に基づいている。視素（Ｖｉｓｅｍｅｓ）は、音声を発している間に通常生じると考えられている口のポーズである。
【０００４】
【発明が解決しようとする課題】
一般に、音素又は視素の特徴は、動的な要因を無視して、唇のポーズに直接にマップされる。上述したＢｒｅｇｌｅｒ等による記事に述べられているように、ビデオ・リライト（Ｖｉｄｅｏ  Ｒｅｗｒｉｔｅ）において、顔ではなく音声の音素間多重結合がトライフォンを用いて部分的にモデル化される。一方、上述したＣｏｈｅｎ等の記事に述べられているように、Ｂａｌｄｙは、心理学の文献から導き出された明白ではあるが発見的（ｈｅｕｒｉｓｔｉｃ）な音素間多重結合モデルを使用する。音素間多重結合は、音響信号及び顔の動作に目立った影響を与える近接した音声のセグメント間の相互作用である。例えば、人は、発声しようとする次の母音の予想とは異なるように母音を形成する場合がある。
【０００５】
音素及び視素の表現は、音声の韻律と顔の上部の顔つきとの間、及び音声と顔つき・エネルギーの間の関係を消すため、声と顔とに共通する情報の最適状態には及ばない表現であるといってよい。更に、音素を打ち切ることによって失われる固有の情報がある。
【０００６】
オーディオ信号から直接唇のポーズを生成しようという試みは、母音の形を予測することと、音素間多重結合のような時間的効果を無視することに限定されていた。
【０００７】
これらの方法はいずれも、実際の顔の動態（ｄｙｎａｍｉｃｓ）を扱ってはいない。例えば、複数の時間尺度、すなわち音声の装置における３００ミリ秒以下および顔における３００ミリ秒以上の音素間多重結合が生じる。更に、上述したＢｅｎｏｉｔ等の記事に述べられているように、唇だけでは、人間自身が雑音を含む音声の曖昧さを除くために使用することができる視覚的な情報の半分も伝えることができない。顔つきの表現豊かで感情的な内容の多くが顔の上半分で発生するが、音声指向の顔のアニメーションは、このことについて全く扱っていないことがわかっている。
【０００８】
【課題を解決するための手段】
この発明に係る顔面アニメーション生成方法は、現実的な顔のアニメーションを音声から直接生成する方法であって、人が話をしている間に現れる顔及び顔つきの観察記録を基に、顔及び音声の動作の動的なモデルを学習し、学習した顔つきのカテゴリーに関連して音声を分析し、顔と音素との多重結合を含む長期の依存関係を絶対的にモデル化する動的モデル学習ステップと、新たな入力オーディオに伴う顔つきのシーケンスである顔面シーケンスを生成する顔面シーケンス生成ステップと、顔面シーケンスを、顔面の制御パラメータの最適なシーケンスに変換するシーケンス変換ステップと、顔面の制御パラメータに基づき顔面のアニメーションを動かす顔面アニメーション動作ステップとを備え、顔面シーケンス生成ステップは、隠れマルコフ・モデルを使うことであって、人が話をする時の顔の動態及び本質的な状態を学習するためと、状態から顔のポーズへのマッピングを学習するためと、状態から、人の音声から抽出される音響特性へのマッピングを学習するためと、最適に両立性のある顔の状態のシーケンスを得るために新たな入力音声を分析するためと、新たに入力された音声を話したとしたら、その話している間に、人の顔がどのように動くかに対応して、顔の状態のシーケンスを、アニメ化された顔の可能な顔のポーズを介して、最適な軌跡に変換するためとに隠れマルコフ・モデルを使うことを含む。
【００１０】
また、隠れマルコフ・モデルは、エントロピー最小化技術を用いてトレーニングされ、それにより、最適な状態シーケンスを抽出することを可能とし、モデルの構造及びパラメータに関する概念を予想することなく、顔の状態及び動態の最適なモデルを学習することを可能とする。
【００１１】
また、シーケンス変換ステップは、可能性のある顔の動作の軌跡すべてに対し確率を割当て、最も現実的なアニメーションの生成を可能とする可能性が最も高い軌跡を選択する確率割当ステップを含む。
【００１２】
また、確率割当ステップは、隠れマルコフ・モデルから確率を導くステップを含む。
【００１３】
さらに、他の発明に係る顔面アニメーション生成方法は、現実的な顔のアニメーションを音声から直接生成する方法であって、人が話をする際の映像フレーム画像及び同期したオーディオ・ファイルを供給する画像・オーディオ供給ステップと、映像フレーム画像を用いてエントロピー的にトレーニングし、顔の状態を有する顔の状態機械と、顔の状態の顔の構成へのマッピングとを得るエントロピートレーニングステップと、顔の状態からオーディオの特徴へのマッピングを評価することにより、顔の動態を有し、オーディオからオーディオへのシーケンスによって動かされる音声の隠れマルコフ・モデルを供給するマッピング評価ステップと、音声の隠れマルコフ・モデルを使用して新たなオーディオから顔の状態を予測することにより、最適な顔の状態シーケンスを供給する顔状態予測ステップと、顔の状態シーケンスに顔のマッピングを結合することにより、顔の構成空間により最適な軌跡を供給する結合ステップと、アニメーション制御パラメータのシーケンスを生成するシーケンス生成ステップとを含む。
また、他の発明に係る顔面アニメーション生成方法は、第１の顔面状態に結び付けるためにマッピングされた音素表現に代わる表現の複数の第１のオーディオ特徴から、第２のオーディオ特徴に対応する該第１のオーディオ特徴を識別するステップと、識別された第１のオーディオ特徴に結び付く第１の顔面状態を識別するステップと、識別された第１の顔面状態を使用する第２のオーディオ特徴に対応する顔面アニメーションを生成するステップとを備える。
また、他の発明に係る顔面アニメーション生成方法は、第１の顔面状態に結び付けるためにマッピングされた複数の第１のオーディオ特徴から、第２のオーディオ特徴に対応する第１のオーディオ特徴を識別するステップと、識別された第１のオーディオ特徴に結び付く第１の顔面状態を識別するステップと、識別された第１の顔面状態を使用する第２のオーディオ特徴に対応する顔面アニメーションを生成するステップとを備え、第１の顔面状態は、顔面のポーズと顔面の動態を含む。
また、顔面のポーズは、顔面の異なる領域に結び付けられたポーズセグメントを含む顔面の表現を表し、顔面の動態は、１つの表情から他の表情への変化の確率を含む。
また、第１のオーディオ特徴は、トレーニング・オーディオに結び付けられており、さらに、トレーニング・オーディオに同期したトレーニング・ビデオの中の顔面の特徴をトラッキングするステップとトラッキングされた顔面の特徴を使用する第１の顔面状態を生成するステップとを備える。
また、顔面の動態は、トラッキングされた顔面に対応し、さらに、第１の顔面状態を生成するために顔面の動態を顔面のポーズにマッピングするステップを備える。
また、他の発明に係る顔面アニメーション生成方法は、第１の顔面状態に結び付けるためにマッピングされた複数の第１のオーディオ特徴から、第２のオーディオ特徴に対応する第１のオーディオ特徴を識別するステップと、識別された第１のオーディオ特徴に結び付く第１の顔面状態を識別するステップと、識別された第１の顔面状態を使用する第２のオーディオ特徴に対応する顔面アニメーションを生成するステップとを備え、第１の顔面状態を識別するステップは、予測された第１の顔面状態のシーケンスを識別するステップ、及び識別された予測された第１の顔面状態のシーケンスにより軌跡を識別するステップを含み、識別された第１の顔面状態は、識別された軌跡に沿う識別されたシーケンスの予測された第１の顔面状態である。
また、他の発明に係る顔面アニメーション生成方法は、各々顔面の表情に対応する第１の顔面状態に結び付けるためにマッピングされた複数の第１のオーディオ特徴から、第２のオーディオ特徴に対応する第１のオーディオ特徴を識別するステップと、識別された第１のオーディオ特徴に結び付く第１の顔面状態を識別するステップと、識別された第１の顔面状態に対応する顔面の表現から、平均的な顔面の表現を識別するステップと、第２のオーディオ特徴に対応し識別された平均的な顔面の表現を表す識別された第１の顔面状態を使用する顔面アニメーションを生成するステップを備える。
また、他の発明に係る顔面アニメーション生成方法は、第１の顔面状態に結び付けるためにマッピングされた複数の第１のオーディオ特徴から、第２のオーディオ特徴に対応する第１のオーディオ特徴を識別するステップと、識別された第１のオーディオ特徴に結び付く第１の顔面状態を識別するステップと、識別された第１の顔面状態を使用する第２のオーディオ特徴に対応する顔面アニメーションを生成するステップと、第１の顔面状態を表す顔の隠れマルコフ・モデルを生成するステップと、第１のオーディオ特徴に結び付く第１の顔面状態のマッピングを表す音声の隠れマルコフ・モデルを生成するステップとを備え、第２のオーディオ特徴に対応する第１のオーディオ特徴は、音声の隠れマルコフ・モデルを使うことによって識別され、識別された第１のオーディオ特徴に結び付く第１の顔面状態は、顔の隠れマルコフ・モデルを使うことによって識別される。
【００１４】
【発明の実施の形態】
実施の形態１．
図１は、映像及びオーディオの両方のトレーニングを含む顔のアニメーション・システムの動作を図式表示した図である。すなわち、顔の隠れマルコフ・モデルの生成を表しており、このモデルは、オーディオの特徴へのマッピングと結合することにより、音声の隠れマルコフ・モデルを形成し、このモデルにより、最適な顔の状態シーケンスを提供するために新たなオーディオを分析する。また、この音声の隠れマルコフ・モデルから、顔の構成空間による軌跡に関して最適な顔の構成シーケンスが計算され、それによって、アニメーションの制御パラメータを供給する。
【００１５】
図１において、隠れマルコフ・モデル（ＨＭＭ）を使用して、アニメーションのための制御パラメータを提供するシステムは、最初に、トレーニングに使用する映像フレーム１０及び同期したオーディオ・ファイル１２の両方からスタートする。口角（ｃｏｒｎｅｒｓ  ｏｆ  ｔｈｅ  ｍｏｕｔｈ）の映像における特徴を追跡し、この情報を、顔の状態機械１６と顔の構成１８へのマッピングとからなる顔の隠れマルコフ・モデル１４をエントロピーを用いてトレーニングするのに使用する。
【００１６】
顔の隠れマルコフ・モデルを学習し、２０で図示するように、顔の状態からオーディオの特徴へのマッピングを評価する。このマッピングにより、顔の動態１６を有するオーディオからオーディオへの構成２０によって動かす音声の隠れマルコフ・モデル２２が得られる。
【００１７】
そして、このモデルを、新たなオーディオ２８から顔の状態を予測するのに利用し、それによって、顔のマッピング１８と連絡することにより、顔の構成空間を介して最適な軌跡３６を供給する最適な顔の状態シーケンス３０を供給する。その軌跡３６は、３８に図示するようにアニメーションのための制御パラメータのシーケンスを定義する。
【００１８】
図２に、顔の隠れマルコフ・モデルの中の状態機械４０が、音声の隠れマルコフ・モデルにおいてどのように再使用されるかを示す高度に図解した図を示す。ここで、状態から顔の構成空間へのマッピングを、各マッピング４２の平均的な顔の表現を示すことによって図式化する。音声の隠れマルコフ・モデルを制御するために、内部の状態機械４０を保持し、それによって顔の動態を保存する。そして、新たなマッピングを音声の構成空間４４に対して作成する。
【００１９】
図３において、人工的な（合成された）顔の軌跡をどのように生成するかに関するフローチャートを示す。図示しているように、トレーニング映像６０を視覚特徴トラッカ（ｔｒａｃｋｅｒ）６２に供給し、この視覚特徴トラッカ６２において、エントロピー隠れマルコフ・モデル・トレーニング・アルゴリズム６６に対する入力として利用される顔の動きデータ６４を生成する。エントロピー隠れマルコフ・モデル・トレーニング・ユニットは、顔の構成空間７０へのマッピングと顔の動態７２を描く状態機械とから構成される顔の隠れマルコフ・モデルを生成する。
【００２０】
必要なアニメーションに最も類似して対応する顔の構成（ｃｏｎｆｉｇｕｒａｔｉｏｎ）及び顔の動態は、同様のトレーニング・シナリオを利用することで、個人の音声スタイルと密接に結合している。上記シナリオでは、オーディオ７４が音響分析７６に供給され、音響分析７６からは、出力モデリング・モジュール８０において利用される音声データ７８が出力される。映像とオーディオとのリンクは、顔の空間における一連の顔のイメージである顔の状態シーケンス８２によって供給される。顔の状態シーケンス８２を音声データ７８に結合することにより、各々が顔の状態に対応する一組の音声マッピング８２が生成される。顔のマッピング、顔の動態、及び音声のマッピングは、音声／顔の隠れマルコフ・モデル８４が生成される学習モデルを構成する。
【００２１】
実行時間中、新たなオーディオ９０が、音響分析９２に供給され、音響分析９２から新たな音声データ９４が供給される。音声／顔の隠れマルコフ・モデルは、新たな音声データと結合して、動的なプログラミング９６を介して新たな最適な顔の状態シーケンス９８を生成する。ジオデシック分析１００は、新たな顔の状態シーケンス９８と顔のマッピング７０を結合し、アニメーションで利用される人工の（合成された）顔の軌跡１０２を供給する。
【００２２】
エントロピーを用いてトレーニングされた隠れマルコフ・モデルを利用することにより、冗長な音声のセグメント化又は分解を必要としない単純なトレーニング・セッションにより、生きているようなアニメーションを実現することができる。本発明によるシステムは、ミッドレンジ・コンピュータにおいて、ほぼリアルタイムでトレーニングすることができる。一旦トレーニングすると、リアルタイム又はそれより高速に、新規なアニメータを生成することができる。
【００２３】
顔の調音データを得るために、コンピュータ・ビジョン・システムを使用して、口の角のような顔に現れるいくつかの個々の特徴を同時に追跡する。Ｇ．  Ｈａｇｅｒ及びＫ．  Ｔｏｙａｍａによる「Ｔｈｅ  Ｘｖｉｓｉｏｎ  ｓｙｓｔｅｍ：  Ａ  ｇｅｎｅｒａｌ−ｐｕｒｐｏｓｅ  ｓｕｂｓｔｒａｔｅ  ｆｏｒ  ｐｏｒｔａｂｌｅ  ｒｅａｌ−ｔｉｍｅ  ｖｉｓｉｏｎ  ａｐｐｌｉｃａｔｉｏｎｓ」（Ｃｏｍｐｕｔｅｒ  Ｖｉｓｉｏｎ  ａｎｄ  Ｉｍａｇｅ  Ｕｎｄｅｒｓｔａｎｄｉｎｇ，  １９９７）に述べられているようなＨａｇｅｒのＳＳＤテクスチャに基づくトラッカを用いた場合、まず始点（起点）として、そうしたトラック網で顔をカバーする。ばねの張力を１組のトラッカを接続する各エッジに与え、ばねのエネルギー及び個々のトラッカの残余を同時に最小化することによって、システム全体を緩める。トラッカが目標とする特徴から離れた場合、隣接するトラッカからのばね力がそれをもとの場所に押し戻すようになっている。ばねの長さと剛性を評価するために、映像をシステムに流し、複数のトラッカの組の間の距離の平均及び変化を記録し、ばねの特性を修正するのに使用する。これを数回繰り返すことにより、十分に安定した正確なトラッキングを得ることができる。
【００２４】
有効な音声表示を得るために、Ｈ．  Ｈｅｒｍａｎｓｋｙ及びＮ．  Ｍｏｒｇａｎによる「Ｒａｓｔａ  ｐｒｏｃｅｓｓｉｎｇ  ｏｆ  ｓｐｅｅｃｈ」（ＩＥＥＥ  Ｔｒａｎｓａｃｔｉｏｎｓ  ｏｎ  Ｓｐｅｅｃｈ  ａｎｄ  Ａｕｄｉｏ  Ｐｒｏｃｅｓｓｉｎｇ，  ２（４）：５７８−５８９，  Ｏｃｔｏｂｅｒ  １９９４）において論じられているように、ＬＰＣ及びＲＡＳＴＡ−ＰＬＰの特徴の混合を計算する。これらは、音声認識に有効であり、話者と録音状態の間の変化に対して幾分か頑健であることが知られている。
【００２５】
最終的な目標は、所定の時間フレームにおいて、音声の特徴から同時に起こる顔の特徴へのマッピングを学習することである。このマッピングは多くの音声と多くの顔の特徴に対応している。多くの音声が１つの顔のポーズに対して互換性があり、多くの顔のポーズが１つの音声に対して互換性がある。この曖昧さが無ければ、パーセプトロン、ニューラル・ネットワーク、またはラディアル基底関数ネットワークのような単純な回帰方法を使用することができる。この曖昧さを無くす方法としては、対象とするフレームの前後からのコンテクストを使用する方法しかない。曖昧さを除くコンテクストが、現在のフレームに対して固定した長さ又は近接（ｐｒｏｘｉｍｉｔｙ）を全く有していないという事実により、隠れマルコフ・モデルを使用することが推奨され、それによって、適切にトレーニングした場合、その長さに関係無く、発声全体に亙ってコンテクストを最適に使用することができる。隠れマルコフ・モデルは、その隠れ状態を使用して、コンテクストの情報を調子を合わせて前方及び後方に運ぶ。トレーニングは、自然にいくつかの状態をそのタスクに割当てる。
【００２６】
隠れ状態が、観察記録されたデータの影響を受けて各フレームにおいて変化するため、隠れマルコフ・モデルにおけるマトリクスが制御する状態変化がスパースすることは重要であり、コンテクストを運ぶ状態が、データを動かす状態へと容易に変化し、コンテクストの情報が失われる。その内部のエントロピーを最小化する確率のモデルをトレーニングするために、フレームワークが生成される。隠れマルコフ・モデルにおいて、これは、緻密さ、スパース、コンテクストの情報を運ぶ能力、および状態の特異性を最大化するように変化する。従来から、トレーニングされる隠れマルコフ・モデルは、一般に、状態の混合としてフレームの内容を表現するため、本システムがある状態にあるということを特定することができないことから、この最後の特徴は、特に重要である。
【００２７】
本実施の形態では、エントロピーを用いたトレーニングのフレームワークは以下のようであり、これについては１９９７年１２月１９日出願の米国出願番号第０８／９９４，５３３号公報で概略説明されており、本明細書中に参照として組み込まれている。このシステムは、データセットＸと、パラメータ及び構造が疎マトリクスθによって特定されるモデルとから開始する。従来からのトレーニングでは、θの疎構造が予め設定されているものとし、モデルθが与えられるデータＸの尤度Ｐ（Ｘ｜θ）を最大にするためにゼロ以外のパラメータを評価する。エントロピーを用いたトレーニングでは、ベイズの法則、すなわちＰ（θ｜Ｘ）＝Ｐ（Ｘ｜θ）Ｐ（θ）／Ｐ（Ｘ）によって与えられる事後確率（ｐｏｓｔｅｒｉｏｒ）を最大にすることにより、θのサイズ、疎構造、及びそのパラメータ値を同時に学習する。なお、エントロピーの事前確率（ｐｒｉｏｒ）Ｐ（θ）＝ｅ−Ｈ（θ）であり、Ｈ（θ）はモデルのパラメータによって定義されるエントロピーの基準である。エントロピーは、不確実性を測定する。そのため、ユーザは、データを表現することができる最小の曖昧なモデルを求める。また、エントロピーの事前確率は、格言“オッカムのかみそり”、すなわち、“モデルが小さいほど選択条件が少ないためより曖昧でなくなる”ということを数式化したものとして理解することもできる。
【００２８】
隠れマルコフ・モデルのような因数分解可能なモデルが与えられることにより、最大事後確率（ＭＡＰ）の問題は、各々がそれ自身のエントロピーの事前確率を有するＱとしてのそれぞれ独立したパラメータについて別々の方程式に分解する。正確な解は、非常に高速な学習アルゴリズムを生成しながら、そのようなあらゆる種類の方程式により求められる。余分なものを取り除いた方程式の関連する組により、事後確率を失うことなくパラメータをゼロにすることができる時期が分かる。これにより、モデルの適当なサイズ及びまばらな構造を学習することができる。また、事後確率にエントロピーの項があるため、追加の計算コストをかけることなく、決定論的アニーリング、すなわち効果的な疑似大域最適化技術を、学習に容易に折り込むことができる。しばしば、隠れマルコフ・モデルのエントロピーを用いたトレーニングは、データを生成する機構に非常に類似した有限状態機械を回復する。
【００２９】
エントロピーを用いたトレーニングを使用して、ユーザは、ビジョン・システムから出力されるポーズ及び速度から顔の動的なモデルを評価する。そして、動的プログラミング分析を使用して、トレーニング映像が与えられた隠れ状態の最も可能性のあるシーケンスを見つける。この状態シーケンスを使用して、ユーザは、状態ごとに与えられた同期したオーディオ・トラックの出力確率（すなわち所定の各状態）を評価する。これにより、オーディオの特徴が各顔の状態に関連づけられる。そして、ユーザは、顔のモデルを２つに分割する。各状態を顔の構成及び変化の速度の尤もらしい範囲に関連づける出力の確率を無視する。内部状態機械は、性質上の副視素（ｓｕｂ−ｖｉｓｅｍｅ）の状態間の変化という意味で顔の動態を表し、オーディオの出力確率に結び付けられる。この結果、顔の動態を保存する新たな音声の隠れマルコフ・モデルが生成されるが、これにより、それらは音声の特徴によって制御されるようになる。
【００３０】
新たな音声トラックに伴う顔の動きを人工的に造る（合成する）ために、ユーザは、音声の隠れマルコフ・モデルを使用して、予測された顔の状態について最大限に可能性のあるシーケンスを見つける。このシーケンスは、顔の自然の動態に従うが、新たな音声トラックの情報によって操作される。そして、ユーザは、顔の出力確率を使用して、予測された状態から実際の顔の構成へのマッピングを作成する。各状態について最も可能性のある構成を単純に選択すると、アニメーションは、ポーズからポーズへぎくしゃくと動く（ｊｅｒｋ）こととなる。タイミングは自然であるが、ぎくしゃくとした動き（ｊｅｒｋｉｎｅｓｓ）は自然ではない。大抵の音素に基づく及び視素に基づくリップ・シンク（ｌｉｐ−ｓｙｎｃ）システムは、ポーズの間を補間するかあるいはスプラインを施すことによってこの問題を解決する。これは、ぎくしゃくとした動き（ｊｅｒｋｉｎｅｓｓ）を解決するかもしれないが、の目的のためだけの解決方法であって、自然なタイミングを低下させる（または台無しにする）。
【００３１】
必要なのは、正確な時に構成空間における高確率の密度の領域を通る短く滑らかな軌跡である。軌跡を評価する従来の方法には、一般に、過度の長さ及び／又はよじれ及び／又は点の凝集状態について、確率の項及びペナルティの項を有する方程式を最大化する処理が含まれている。ユーザは、各項についてパラメータ化及び重み付けを選択しなければならない。解を計算することは、しばしば大よその解しか求められず、そのような処理はくどく、計算上コストがかかる。更に、方程式は多くの局所最大値を有し、ユーザは、求められる最大値のが最適に近いか並みの値であるかを判断することができない。
【００３２】
本発明によるシステムにおいては、問題は十分に単純化しているため、閉じた構成の解が得られる。顔のマッピングはそれ自身、顔の動態に最も一致した滑らかな軌跡を完全に特定するのに十分な情報を含んでいる。ポーズと変化の速度とが両方ともモデル化されるため、各軌跡のセグメントの位置、ヘディング、及び長さに制約がある。これは、軌跡が幾何学的及び時間的に良好な動きをすることを保証するのに十分である。また、それによって非常に明確な定式化がなされる。
【００３３】
各状態が、位置と速度をモデル化するガウス出力を有するものとする。説明を簡単にするために、状態毎に１つのガウスを仮定するが、本発明のシステムは、普通にガウスの混合に汎化する。隠れマルコフ・モデル・トレーニングから、各状態について平均の位置と速度とが、すべての次元における位置と速度とに関連する全次元（ｆｕｌｌ−ｒａｎｋ）の逆共分散マトリクスと共に得られる。新たな音声データのビタビ分析から、各フレームを制御する状態のシーケンスが得られる。ユーザは、各フレーム１，２，３，・・・においておおよその平均を通るかもしくはその近くを通る顔の軌跡を求める。これは、制御する状態によって決定される各フレーム毎に一つ、ガウスの積として書き込むことができる。ログを取ることによって、最大化しようとする二次的な和が生成される。μｉ，ドットμｉを、状態ｉの平均位置及び速度とし、Ｋｉを全ての次元における位置及び速度に関連する全次元の共分散マトリクスとする。更に、ｓ（ｔ）をフレームｔを制御する状態とし、Ｙ＝｛ｙ１，ｙ２，ｙ３，…｝を対象とする変数、すなわち軌跡がフレーム１，２，３，…で通る点とする。そして、以下の式の最大値を求める。
【００３４】
【数１】
0003633399.tif 000002
【００３５】
ここで、
【００３６】
【数２】
0003633399.tif 000003
【００３７】
は、瞬間の顔の位置及び速度の行ベクトルである。これらの方程式から、１つの大域的な最大値を有する二次形式が生成される。これらの導関数をゼロに設定することにより、顔の軌跡における各制御ポイントがその隣接する点のみに依存する一次方程式のブロック・バンド（ｂｌｏｃｋ−ｂａｎｄｅｄ）システムが生成される。ＴフレームとＤ次元について、本システムは、Ｇ．Ｈ．Ｇｏｌｕｂ及びＣ．Ｆ．  ｖａｎ  Ｌｏａｎによる「Ｍａｔｒｉｘ  Ｃｏｍｐｕｔａｔｉｏｎｓ」（Ｊｏｈｎｓ  Ｈｏｐｋｉｎｓ，  １９９６，  ３ｒｄ  ｅｄｉｔｉｏｎ，  ｓｅｃｔｉｏｎ  ［４．３．１］）で論じられているように、ＬＵ分解して、時間０（ＴＤ２）で解くことができる。
【００３８】
アニメーションについては、本システムは、顔のトラッキング・データとみなされるデータを人工的に造る（合成する）。例えば、最も見られる可能性のあるものが、入力される発声を生成するトレーニングの対象を有している。このような制御ポイントの軌跡を使用して、３Ｄの動画化した頭のモデルもしくは動作の様相を与える歪んだ２Ｄの顔のイメージを動かす。驚くほど現実感を持たせるような解法において、顔の２Ｄイメージを、加工していない３Ｄの頭のモデル・カウント上にテキスチャ・マッピングする。頭のモデルの単純な変形により、顔の動きの自然な幻影が得られ、一方、画像のシェーディングによって滑らかな表面の幻影が得られる。
【００３９】
人工的に造った（合成した）軌跡における制御ポイントをモデルの頂点にマッピングすることにより直接に、又は、人工的な（合成された）顔の構成をＰ．  Ｅｋｍａｎ及びＷ．  Ｆｒｉｅｓｅｎによる「Ｍａｎｕａｌ  ｆｏｒ  ｔｈｅ  Ｆａｃｉａｌ  Ａｃｔｉｏｎ  Ｃｏｄｉｎｇ  Ｓｙｓｔｅｍ」（Ｃｏｎｓｕｌｔｉｎｇ  Ｐｓｙｃｈｏｌｏｇｉｓｔｓ  Ｐｒｅｓｓ，  Ｉｎｃ．，  Ｐａｌｏ  Ａｌｔｏ，  ＣＡ，  １９７８）に論じられているような、モデル上で定義されている顔の動作ユニット（Ｆａｃｉａｌ  Ａｃｔｉｏｎ  Ｕｎｉｔｓ）にマッピングすることにより間接的に、上記変形を適用することができる。
【００４０】
トレーニング・データが大雑把で不十分であったとしても、全ての母音及び大抵の子音について正確な動きを得ることができる。更に、ユーザは、眉毛を含む顔の上部の動きをかなり正確に予測することができる。データ・セットをわずかに増加させることにより、非常に自然に見える顔のアニメーションを生成するのに１６個の状態だけで十分であることが分かった。これは、通常の音声について、顔の動きを、フレーム毎に多くても４ビットを使用してコード化し再構成することができることを意味している。
【００４１】
【発明の効果】
アニメーションの音声トラックを分割すること無しに、より現実的な音声によって動くアニメーションを提供するために、本発明では、音声から顔へのより直接的なマッピングを使用する。このマッピングでは、音声を発している間の顔の自然の動態のモデルを学習し、その後音声パターンから顔の動きの軌跡（ｔｒａｊｅｃｔｏｒｙ）へのマッピングを学習する。エントロピー最小化技術により、曖昧さの尺度であるエントロピーを用いて、人が求めるべきことを予め指定する必要無く学習することができる。なお、顔と音声の動作を分析し、話者の頭の動画化されたものがどのように動くかを予測するために、隠れマルコフ・モデルを使用する。隠れマルコフ・モデルを使用することにより、本発明によるプロセスは、現実的な生きているようなアニメーションのシーケンスを生成するのに何月もかからず、数分しかかからない。
【００４２】
この方法は、いくつかの重要な特性を有している。第１に、音声を、音声の知覚に関する仮説したカテゴリーではなく、学習した顔つきのカテゴリーに関連して分析する。第２に、顔の音素間多重結合のような長期の依存関係（ｄｅｐｅｎｄｅｎｃｉｅｓ）を、無条件にモデル化する。第３に、確率的フレームワークにより、ユーザが、小さい時間フレームについてだけでなく発声全体についてアニメーションを生成するのに使用する顔のイメージのシーケンスにより、最も尤もらしい顔の軌跡を見つけることができる。最後に、システムの出力は、モデルに基づくあるいはイメージに基づく顔のアニメーションを動作させるのに動くのに使用することができる顔の制御パラメータのシーケンスである。
【００４３】
本実施の形態では、同期した音声と映像のデータベースを、開始点として使用する。そして、本システムは、隠れマルコフ・モデルを使用して顔の動態をモデル化する。隠れマルコフ・モデルは、２つの部分に分割される。すなわち、顔の性質上の動態、例えば表情から表情の変化の確率をモデル化する有限状態機械（ｆｉｎｉｔｅ  ｓｔａｔｅ  ｍａｃｈｉｎｅ）と、顔の構成空間の領域をそれらの状態に結び付ける１組のガウス分布である。そして、本システムは、音声の構成空間の領域から、同時に顔が占める状態への、第２の分布の組を学習する。これは、顔の動的なモデルと結合して、新たな音声トラックを分析するのに使用する新たな隠れマルコフ・モデルとなる。その結果は、音声認識エンジンと同様であるが、本システムは、最も可能性のある音素のシーケンスを与える代りに、必要な場合に曖昧さを除くために発声全体からのコンテクストを使用して、最もありそうな顔の状態のシーケンスを供給する。この顔の状態のシーケンスと顔の出力分布の元の組を使用して、本システムは、顔の構成空間の顔の状態により、最大限に可能性のある軌跡を与えるという課題を解決する。可能性のある顔の各表現はすべて、顔の構成空間のポイントである。この空間による最大限可能性のある軌跡は、目的の音声トラックに最もよく一致する表現のシーケンスである。そして、その軌跡は、アニメーションを動かすのに使用する。
【００４４】
本発明の２つの特徴により、これが実行可能となる。その特徴とは、第１に、状態シーケンスが与えられることにより、顔の自然のポーズと動作の速度の両方を模倣する最大限可能性のある軌跡に対し、閉じた解法（ｃｌｏｓｅｄ  ｓｏｌｕｔｉｏｎ）を得ることができる。第２に、エントロピー最小化学習アルゴリズムにより、独特の曖昧さを取り除いた状態シーケンスを与える確率的なモデルを評価することができる。
【００４５】
第２の点は、ほんのわずかである。隠れマルコフ・モデルのビタビ分析から最も可能性のある状態シーケンスを抽出することは常に可能であるが、一般に、ほんのわずかだけ可能性の低い他のシーケンスは数多くある。このため、最も可能性のあるシーケンスは、確率の集まり全体のほんのわずかな部分しか占めていない。本発明のシステムでは、この種の曖昧さを明確に最小化するスパース（まばらな）隠れマルコフ・モデルを評価する方法を用いる。このため、最も可能性のあるシーケンスは、確率の集まりの大部分を有している。
【００４６】
要約すると、時間で変化する信号の間のマッピングを学習するシステムを、面倒な音声トラックの分析を行うことなく、音声から直接顔のアニメーションを動かすのに使用する。本システムは、音声を発している間の顔及び顔つきの観察記録から、顔及び音声の動作の動的なモデルを学習する。本システムは、音素又は視素のような発見的な中間の表現に依存する代りに、隠れマルコフ・モデルをトレーニングして音声及び顔の動作の最適な表現を得る。エントロピーの事前確率（ｐｒｉｏｒ）を使用したエントロピー最小化トレーニング技術により、これらのモデルが、新たな音声の実行に伴う現実的な顔の動作を人工的に造る（合成する）のに十分な動態の情報を含むことが確実になる。更に、これらのモデルは、コンテクストを最適に使用することにより、曖昧さや比較的長く続く顔の音素間多重結合の効果を扱うことができる。本システムの出力は、歪んだフォトリアリスティックな画像から３Ｄアニメーションのキャラクタまであらゆる種類のアニメーションを動かすのに適した顔の制御パラメータのシーケンスである。
【図面の簡単な説明】
【図１】映像及びオーディオの両方のトレーニングを含む顔のアニメーション・システムの動作を図式表示した図である。
【図２】顔の隠れマルコフ・モデルの中の状態機械が、音声の隠れマルコフ・モデルにおいてどのように再使用されるかを概略的に示す図式的な図である。
【図３】エントロピーの隠れマルコフ・モデル・トレーニングを用いた学習と、音声／顔の隠れマルコフ・モデルを用いた人工的な顔の軌跡の生成との両方を示すフローチャートである。
【符号の説明】
１０  映像フレーム、１２  オーディオ・ファイル、１４  顔の隠れマルコフ・モデル、１６  顔の状態機械、１８  顔の構成、２０  オーディオからオーディオへの構成、２２  音声の隠れマルコフ・モデル、２８  新たなオーディオ、３０  最適な顔の状態シーケンス、３６  軌跡、３８  アニメーションのための制御パラメータ、４０  状態機械、４２  マッピング、４４  音声の構成空間。
【図１】
0003633399.tif 000004
【図２】
0003633399.tif 000005
【図３】
0003633399.tif 000006