(57)【特許請求の範囲】
【請求項１】
所与の視覚音素シーケンスに従って顔の口をアニメーション化するコンピュータ実施方法であって、
フェイスモデルにより前記顔をグラフィックで表現するステップと、
複数のＶ個の可能な各視覚音素に、該視覚音素の複数のＩ個の異なるスキャン又はサンプルを測定により取得するステップと、
前記フェイスアニメーションモデルにより前記複数のＶ個の異なる各視覚音素の前記複数のＩ個の各サンプルを表現して、視覚音素シーケンスを視覚音素空間を通る軌跡を通じて表現することができるように、前記視覚音素空間に広がる前記スキャン又はサンプルに基づいて行列を生成する、表現するステップと、
ベイズ手法を適用して、前記所与の視覚音素シーケンスの前記視覚音素空間を通る最良のパスを取得する、適用するステップと、
を含み、
前記視覚音素リストを所与とした前記軌跡の確率
【数１】
0005529299.tif 000035
は、前記軌跡を所与とした前記視覚音素リストの確率
【数２】
0005529299.tif 000036
に比例する、所与の視覚音素シーケンスに従って顔の口をアニメーション化するコンピュータ実施方法。
【請求項２】
前記行列に基づいて主成分解析を実行して、前記複数の視覚音素の各々の前記主成分を取得する、実行するステップと、
前記サンプルに基づいて、前記フェイスアニメーションモデル内の前記複数のＶ個の視覚音素の各々の前記統計学的変動性を表す統計学的モデルを取得することステップと、
前記視覚音素空間を通る前記軌跡の平滑性の確率的表現により、或る視覚音素表現の前記事前確率を表現するステップと、
前記事前確率及び前記統計学的モデルに基づいて、前記ベイズ手法を適用して、前記所与の視覚音素シーケンスの前記視覚音素空間を通る最良のパスを取得する、適用するステップと、
を更に含む、請求項１に記載のコンピュータ実施方法。
【請求項３】
前記複数のＩ個のサンプルは、異なる被写体により話された或る視覚音素のサンプルであるか、又は
前記複数のＩ個のサンプルは、異なる言葉に属するか又は一人の被写体が異なる時点において話した或る視覚音素のサンプルである、請求項１又は２に記載のコンピュータ実施方法。
【請求項４】
視覚音素ｖについて位置合わせされた人物ｉのスキャンがｘｖｉとして示され、対応するニュートラルフリースキャン
【数３】
0005529299.tif 000037
は、同じ個人Ｉのニュートラルスキャン
【数４】
0005529299.tif 000038
を差し引くことにより計算され、全ての視覚音素の前記ニュートラルフリースキャンが前記データ行列に積み重ねられる、請求項１〜３のいずれか一項に記載のコンピュータ実施方法。
【請求項５】
前記フェイスアニメーションモデル内のスキャンされた前記各視覚音素の前記変動性を記述する統計学的モデルを取得するステップは、
【数５】
0005529299.tif 000039
により特定の視覚音素ｖの全てのスキャンｉを前記フェイスアニメーションモデルに射影するステップと、
好ましくは再びＰＣＡを使用して、前記データポイントに多変数正規分布をフィッティングするステップと、
を含む、請求項１〜４のいずれか一項に記載のコンピュータ実施方法。
【請求項６】
前記各視覚音素の前記統計学的モデル
【数６】
0005529299.tif 000040
は、前記ＦＡＭ
【数７】
0005529299.tif 000041
内の平均、成分の（列）正規直交行列Ｂ、及び加重ｄｉａｇ（σｉ）により定義される、請求項１〜５のいずれか一項に記載のコンピュータ実施方法。
【請求項７】
時点ｔｉにおける視覚音素
【数８】
0005529299.tif 000042
のリスト
【数９】
0005529299.tif 000043
をアニメーション化する場合、前記アニメーションは、フェイスアニメーションモデル
【数１０】
0005529299.tif 000044
を通じて平滑な軌跡をフィッティングすることにより生成され、前記フェイスアニメーションモデルは、頂点空間内で形状シーケンス
【数１１】
0005529299.tif 000045
を定義する、請求項１〜６のいずれか一項に記載のコンピュータ実施方法。
【請求項８】
【数１２】
0005529299.tif 000046
である、請求項１〜７のいずれか一項に記載のコンピュータ実施方法。
【請求項９】
【数１３】
0005529299.tif 000047
である、請求項１〜８のいずれか一項に記載のコンピュータ実施方法。
【請求項１０】
前記確率を最大化するために、費用関数
【数１４】
0005529299.tif 000048
は最小化される、請求項５〜９のいずれか一項に記載の方法。
【請求項１１】
所与の視覚音素シーケンスに従って顔の口をアニメーション化する装置であって、
フェイスモデルにより前記顔をグラフィックで表現するモジュールと、
複数のＶ個の可能な視覚音素の各々に、該視覚音素の複数のＩ個の異なるスキャン又はサンプルを測定により取得するモジュールと、
前記フェイスアニメーションモデルにより前記複数のＶ個の異なる視覚音素の各々の前記複数のＩ個のサンプルの各々を表現して、視覚音素シーケンスを視覚音素空間を通る軌跡を通じて表現することができるように、前記視覚音素空間に広がる前記スキャン又はサンプルに基づいて行列を生成するモジュールと、
ベイズ手法を適用して、前記所与の視覚音素シーケンスの前記視覚音素空間を通る最良のパスを取得するモジュールと、
を備え、
前記視覚音素リストを所与とした前記軌跡の確率
【数１５】
0005529299.tif 000049
は、前記軌跡を所与とした前記視覚音素リストの確率
【数１６】
0005529299.tif 000050
に比例する、装置。
【請求項１２】
請求項２〜１０のいずれか一項に記載の方法を実行するモジュールを更に備える、請求項１１に記載の装置。
【請求項１３】
コンピュータで実行されると、前記コンピュータが請求項１〜１０のいずれか一項に記載の方法を実行できるようにするコンピュータ実行可能なコードを含むコンピュータプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、顔の口をアニメーション化するコンピュータ実施方法及び対応する装置に関する。
【０００２】
一実施の形態では、本発明は、人のような仮想アバターの分野に関する。より詳細には、本発明は、発話アバター（speaking avatar）の口アニメーションの現実性及び自然性を増大させる。そのような人のようなアバターは、オンライン仮想アシスタント、仮想教師、パーソナルアバター（例えば、ビデオチャットで人物に取って代わる）、そして更に多くのものとすることができる。
【背景技術】
【０００３】
キャラクタのアニメーション化は、コンピュータグラフィックス領域での困難な技術分野である。キャラクタのアニメーション化は、アニメーション化された動画を生成する際に使用されるが、動画のみならず、いわゆるアバターをアニメーション化する際にも使用することができる。
【０００４】
仮想アバターは、オンラインアシスタント又はｅ−教師等の多くの用途で広く使用されている。仮想アバターは、発話及び体の動きを通じてそれ自体を表現して、情報を現実的な方法で伝える。アニメーションの表現性及び自然性により、これらのアバターはユーザから高く評価されるようになる。したがって、ユーザは、サービスが自然で良質なアバターを提供する場合、そのサービスの使用を高く評価する。
【０００５】
自然な発話表現を提供するためには、唇（すなわち、発話の視覚的部分）は発話（すなわち、音声）と同期しなければならず、自然にアニメーション化されなければならない。このプロセスは通常、２つのステップで行われる：
・視覚音素（viseme）に対応するキーフレーム（すなわち、意味を区別する音の最小単位である視覚的な音素(visual phonene)）を定義する、
・キーフレーム間のアニメーションを補間又は実行する。
【０００６】
キーフレームの定義及び音声との同期は、音声と視覚とのいかなる不連続性も回避するために重要である。第２のステップは、信頼性が高く自然なアニメーションを提供し、いかなる視覚的な不連続性も回避するためにも重要である。これらの不連続性（すなわち、音声と視覚との不連続性及び視覚的な不連続性）は、アバターの現実性レベル及び自然性を低下させ、ユーザを困惑させる。これは、自然ではないアバターを使用する場合、ユーザによるサービスの使用回避に繋がり得る。
【０００７】
顔のアニメーションは数年来、活発な研究分野であり、大規模な調査については、Deng及びNoh「Computer Facial Animation: A Survey」、（Deng及びNeumann「Data-Driven 3D Facial Animation」掲載)を参照のこと。既存の解決策は、ヒューリスティック手法、サンプルベースの手法、及び学習ベースの手法に分類することができる。
【０００８】
ヒューリスティック手法は、手動で作成された視覚音素形状及び経験的な平滑化関数を使用する。サンプルベースの手法は、「トライフォンビデオセグメント」を取得して使用し、同時調音をモデリングする。
【０００９】
学習ベースの手法は、データから視覚音素及び同時調音を学習する。例えば、BrandはＨＭＭベースモデルを使用する（Brand、「Voice pupperty」、SIGGRAPH 99、参照）。Ezzat、Geiger及びPoggio「Trainable videorealistic speech animation」、ACM Trans.Graph.,388-398,2002、では、多次元モーフィングモデルを使用する。視覚音素ごとに１スキャンを使用する視覚音素モデルを使用することが、例えばV.Blanz、C.Basso、T.Poggio及びT.Vetter、「Reanimating Faces in Images and Video」、EUROGRAPHICS 2003、に開示されている。Deng、Neumann、Lewis、Kim、Bulut、Narayanan、「Expressive facial animation synthesis by learning speech co-articulations and expression spaces」、IEEE Transaction on Visualization and Computer Graphics,2006、では、同時調音モデルの学習が開示されている。
【発明の概要】
【発明が解決しようとする課題】
【００１０】
本発明の目的は、発話アバターの口のアニメーションの現実性及び自然性を増大させるように口のアニメーションを改良することである。そのような人のようなアバターは、オンライン仮想アシスタント、仮想教師、パーソナルアバター（例えば、ビデオチャットで人物に取って代わる）、そして更に多くのものとすることができる。
【課題を解決するための手段】
【００１１】
本発明の一実施の形態によれば、所与の視覚音素シーケンスに従って顔の口をアニメーション化するコンピュータ実施方法であって、
フェイスモデルにより前記顔をグラフィックで表現するステップと、
複数のＶ個の可能な各視覚音素に、該視覚音素の複数のＩ個の異なるスキャン又はサンプルを測定により取得するステップと、
前記フェイスアニメーションモデルにより前記複数のＶ個の異なる各視覚音素の前記複数のＩ個の各サンプルを表現して、視覚音素シーケンスを視覚音素空間を通る軌跡を通じて表現することができるように、前記視覚音素空間に広がる前記スキャン又はサンプルに基づいて行列を生成する、表現するステップと、
ベイズ手法を適用して、前記所与の視覚音素シーケンスの前記視覚音素空間を通る最良のパスを取得する、適用するステップと、
を含む、所与の視覚音素シーケンスに従って顔の口をアニメーション化するコンピュータ実施方法が提供される。
【００１２】
このようにして、視覚音素表現の生じ得る変動性を考慮に入れることができ、それにより、より自然なアニメーションが達成される。
【００１３】
一実施の形態によれば、前記方法は、前記行列に基づいて主成分解析を実行して、前記複数の各視覚音素の前記主成分を取得する、実行するステップと、
前記サンプルに基づいて、前記フェイスアニメーションモデル内の前記複数のＶ個の各視覚音素の前記統計学的変動性を表す統計学的モデルを生成するステップと、
前記視覚音素空間を通る前記軌跡の平滑性の確率的表現により、或る視覚音素表現の前記事前確率を表現するステップと、
前記事前確率及び前記統計学的モデルに基づいて、前記ベイズ手法を適用して、前記所与の視覚音素シーケンスの前記視覚音素空間を通る最良のパスを取得する、適用するステップと、
を更に含む。
【００１４】
統計学的モデル及び平滑性基準により、ベイズモデルの適用及び実施が可能である。
【００１５】
一実施の形態によれば、前記複数のＩ個のサンプルは、異なる被写体により話された或る視覚音素のサンプルであるか、又は
前記複数のＩ個のサンプルは、異なる言葉に属するか又は一人の対象が異なる時点において話した或る視覚音素のサンプルである。
【００１６】
これにより、視覚音素の変動性をモデルで考慮することが可能である。
【００１７】
一実施の形態によれば、視覚音素ｖについて位置合わせされた人物ｉのスキャンがｘｖｉとして示され、対応するニュートラルフリースキャン
【数１】
0005529299.tif 000002
は、同じ個人Ｉのニュートラルスキャン
【数２】
0005529299.tif 000003
を差し引くことにより計算され、全ての視覚音素の前記ニュートラルフリースキャンが前記データ行列に積み重ねられる。
【００１８】
これは、視覚音素形状を抽出し、形状へのニュートラルスキャンの影響をなくす。
【００１９】
一実施の形態によれば、前記フェイスアニメーションモデル内のスキャンされた前記各視覚音素の前記変動性を記述する統計学的モデルを取得するステップは、
【数３】
0005529299.tif 000004
により特定の視覚音素ｖの全てのスキャンｉを前記フェイスアニメーションモデルに射影するステップと、
好ましくは再びＰＣＡを使用して、前記データポイントに多変数正規分布をフィッティングするステップと、
を含む。
【００２０】
これにより、統計学的モデルの実施が可能になる。
【００２１】
一実施の形態によれば、前記各視覚音素の前記統計学的モデル
【数４】
0005529299.tif 000005
は、前記ＦＡＭ
【数５】
0005529299.tif 000006
内の平均、成分の（列）正規直交行列Ｂ、及び加重ｄｉａｇ（σｉ）により定義される。
【００２２】
一実施の形態によれば、時点ｔｉにおける視覚音素
【数６】
0005529299.tif 000007
のリスト
【数７】
0005529299.tif 000008
をアニメーション化する場合、前記アニメーションは、フェイスアニメーションモデル
【数８】
0005529299.tif 000009
を通じて平滑な軌跡をフィッティングすることにより生成され、前記フェイスアニメーションモデルは、頂点空間内で形状シーケンス
【数９】
0005529299.tif 000010
を定義する。
【００２３】
これにより、最適な軌跡の導出が可能になる。
【００２４】
一実施の形態によれば、前記視覚音素リストを所与とした前記軌跡の確率
【数１０】
0005529299.tif 000011
は、前記軌跡を所与とした前記視覚音素リストの確率
【数１１】
0005529299.tif 000012
に比例する。
【００２５】
これはベイズ理論の実施である。
【００２６】
一実施の形態によれば、前記軌跡を所与とした前記視覚音素リストの確率は、
【数１２】
0005529299.tif 000013
【００２７】
これにより、確率分布の実施が可能になる。
【００２８】
一実施の形態によれば、
【数１３】
0005529299.tif 000014
である。
【００２９】
一実施の形態によれば、前記確率を最大化するために、前記費用関数
【数１４】
0005529299.tif 000015
は最小化される。
【００３０】
一実施の形態によれば、所与の視覚音素シーケンスに従って顔の口をアニメーション化する装置であって、
フェイスモデルにより前記顔をグラフィックで表現するモジュールと、
複数のＶ個の可能な各視覚音素に、該視覚音素の複数のＩ個の異なるスキャン又はサンプルを測定により取得するモジュールと、
前記フェイスアニメーションモデルにより前記複数のＶ個の異なる各視覚音素の前記複数のＩ個の各サンプルを表現して、視覚音素シーケンスを視覚音素空間を通る軌跡を通じて表現することができるように、前記視覚音素空間に広がる前記スキャン又はサンプルに基づいて行列を生成するモジュールと、
ベイズ手法を適用して、前記所与の視覚音素シーケンスの前記視覚音素空間を通る最良のパスを取得するモジュールと、
を備える、所与の視覚音素シーケンスに従って顔の口をアニメーション化する装置が提供される。
【００３１】
このようにして、本発明の一実施形態による装置を実施することができる。
【００３２】
一実施形態によれば、方法が提供され、本発明の実施形態の１つによる方法を実行するモジュールを備える装置が提供される。
【００３３】
一実施の形態によれば、コンピュータで実行されると、前記コンピュータが本発明の実施の形態のうちの１つによる方法を実行できるようにするコンピュータ実行可能なコードを含むコンピュータプログラムが提供される。
【図面の簡単な説明】
【００３４】
【図１】本発明の実施形態を概略的に示す図である。
【図２】本発明の実施形態を概略的に示す図である。
【図３】本発明の実施形態を概略的に示す図である。
【図４】本発明の実施形態を概略的に示す図である。
【発明を実施するための形態】
【００３５】
以下、本発明の幾つかの実施形態について説明する。
【００３６】
一実施形態によれば、発話に従ってアバターの口をアニメーション化する方法は、
・視覚音素ごとに１組の可能な形状を取得し、
・動きの成分を通じて、視覚音素空間内の全ての視覚音素について全ての可能な口の動きを生成することができる生成統計学的モデルであるフェイスアニメーションモデル（ＦＡＭ）を作成する、
・ＦＡＭ視覚音素空間内の視覚音素間で統計的に最良のパスを見つける、
である。
【００３７】
視覚音素ごとに複数の形状を作成することにより、各視覚音素の表現に柔軟性が提供される。実際には、視覚音素の表現は、異なる事例で（例えば、人ごと、かつ、言葉ごとに）異なり得る。したがって、視覚音素ごとのこのより広い１組の形状によって、より大きな１組の可能性を有することができる。
【００３８】
視覚音素は異なる方法で表現することができるため（すなわち、異なる値を仮定する視覚音素空間内の成分による僅かな違いを有する）、最も適切に表現された視覚音素（成分の「最良値」）を識別する選択を行う必要がある。それを達成するために、生成統計学的モデルが作成される。このモデル（すなわち、ＦＡＭ）は、視覚音素の全ての可能な形状間の全ての可能な口の動きを生成可能である。これは、フェイスアニメーションモデルを作成するステップにおいて作成された形状セットに基づいて、全ての可能な口の動きを含む空間として視覚化することができる。ＦＡＭの作成後、次のステップは、シーケンスの個々の視覚音素を表す形状間を自然に補間するために、この空間内の最良パスを見つけることである。
【００３９】
視覚音素ごとに１つの形状を使用するこれまでの手法とは対照的に、この手法では、各視覚音素の口形状の統計学的３Ｄモデルが使用される。このモデルは、異なる被写体（又は別の実施形態では、同じ視覚音素を含む異なる言葉）にわたる特定の視覚音素の口形状の変動性を符号化する。この手法の主要な利点は、はるかに自然な口のアニメーション化が可能なことである。一実施形態によれば、これにより、時点ｔにおいて抽出された視覚音素に属する口形状の尤度と、軌跡の平滑性についての先験的仮定とをトレードオフして、ベイズ手法を使用してキーフレーム間を補間することができる。
【００４０】
以下、更なる実施形態について幾らかより詳細に説明する。
【００４１】
以下に説明される実施形態は、モーフィングモデル（ＭＭ）と呼ばれ、V.Blanz及びT.Vetter、「A Morphable Model for the Synthesis of 3D Faces」、SIGGRAPH 99,187-194、に記載されている特定の３Ｄフェイスモデルを利用する。しかし、視覚音素がその視覚音素を表す個々の成分からなる視覚音素空間内にアニメーション化された視覚音素を表すことが可能な任意のモデルを使用することができる。
【００４２】
この実施形態では、特定の人物の口（歯を含む）の現実的でもっともらしいアニメーションを生成可能なフェイスアニメーションシステムについて説明する。口の動きのために、データから学習される口形状の統計学的モデル（すなわち、１３個の各視覚音素に１つの統計学的モデル）が使用される。
【００４３】
このために、幾つかのステップが実行される。
【００４４】
第１のステップにおいて、視覚音素が獲得又は取得される。
【００４５】
視覚音素は、既知のスキャン装置を用いて取得される。一実施形態によれば、アイデンティティ（identity）ごと（すなわち、人物ごと）に、１６個のスキャン（１３個の視覚音素及び基準として口が閉じられた状態での３つのニュートラルスキャン）が取得される。実施形態では、１２のアイデンティティの視覚音素がスキャンされ、合計で１９２のスキャンが得られる。スキャン又は人物の数に他の値を選ぶことも同様に可能である。
【００４６】
次のステップにおいて、フェイスアニメーションモデルが生成される。フェイスアニメーションモデル（ＦＡＭ）は、全ての視覚音素の全ての可能な口の動きを生成可能な生成統計学的モデルである。ＦＡＭはモーフィングモデル（ＭＭ）と一緒に使用される：ＭＭは、アイデンティティを符号化し、３Ｄ再構築の計算に使用される。ＦＡＭは、口の動きを符号化し（アイデンティティに影響を及ぼさない）、フェイスアニメーションに使用される。
【００４７】
ＦＡＭを完了するために、まず、スキャンを対応させ、これは、この例で図１の３行目に示されるように、全てのスキャンの共通パラメータ化（すなわち、共通メッシュ）を定義する。図１は、３つのアイデンティティ（１列目、２列目、３列目のそれぞれ）の視覚音素ａｏの幾つかのスキャン例を示す。２列目は未処理スキャンを示し、３列目は処理済みデータを示す。
【００４８】
視覚音素ｖの人物ｉの位置合わせされたスキャンがｘｖｉとして示され、対応するニュートラルフリースキャン
【数１５】
0005529299.tif 000016
は、同じ個人ｉのニュートラルスキャン
【数１６】
0005529299.tif 000017
を差し引くことにより計算される。全ての視覚音素のニュートラルフリースキャンがデータ行列
【数１７】
0005529299.tif 000018
に積み重ねられる。
【００４９】
モデルの成分を計算するために、主成分解析（ＰＣＡ）が１組のスキャン例に対して使用される。
【数１８】
0005529299.tif 000019
式中、成分Ｖ＝［ｖ１，．．．，ｖｎ］は（列）正規直交成分であり、Ｗは対角成分であり、σｉｖ＝ｗｉ／√ｎであり、式中、ｎはスキャン数である。結果として生成される、データから学習されるモデルは図２において視覚化される。
【００５０】
上述したように、フェイスアニメーションモデルＦＡＭはＭＭと一緒に使用される：各アニメーション化顔形状
【数１９】
0005529299.tif 000020
は、ＭＭ平均μ、単位成分ｕｉの線形結合（ＭＭ及びフィッティングにより与えられる）、及びアニメーションの成分の線形結合（加重σｉｖとともに前に計算されたｖｉ）として表現される。次に、各形状が、単位系数αｉ及びそのアニメーション係数βｉにより符号化される。
【００５１】
次のステップにおいて、発話アニメーションの場合、フェイスアニメーションモデル内でスキャンされた１３個の各視覚音素の変動性を記述する統計学的モデルが取得される。そのようなモデルを計算するために、特定の視覚音素ｖの全てのスキャンｉがＦＡＭに射影され、
【数２０】
0005529299.tif 000021
再びＰＣＡを使用して、データポイントに多変数正規分布がフィッティングされる。各視覚音素の統計学的モデル
【数２１】
0005529299.tif 000022
は、ＦＡＭ
【数２２】
0005529299.tif 000023
内の平均、成分の（列）正規直交行列Ｂ、及び加重ｄｉａｇ（σｉ）により定義される。そのような視覚音素モデルの例は図３に見ることができ、図３は、視覚音素ａｏ（上）及びｆ（下）の視覚音素モデル例を示す。
【００５２】
このようにして、視覚音素の視覚音素空間の成分の「確率分布」を取得することができる。そうして得られた統計学的モデルは、上記サンプルに基づいて上記フェイスアニメーションモデル内で複数のＶ個の視覚音素のそれぞれの統計学的変動性を表す。
【００５３】
以下、一実施形態によるアニメーションについて説明する。
【００５４】
この実施形態では、視覚音素取得時に得られたタイミング情報を視覚音素モデルと共に使用して、事前に記録された音ファイルに従って画像アニメーションをレンダリングする。このタイミング情報は、書かれた言葉に基づいて、又は何らかの方法で得られた連結された視覚音素のみに基づいて導出された視覚音素シーケンスのレンダリングにも同様に使用することができる。
【００５５】
発話解析の出力は、時点ｔｉにおける視覚音素
【数２３】
0005529299.tif 000024
のリスト
【数２４】
0005529299.tif 000025
である。アニメーションは、ＦＡＭ
【数２５】
0005529299.tif 000026
を通じて平滑な軌跡をフィッティングすることにより生成され、このＦＡＭは、頂点空間内で形状シーケンス
【数２６】
0005529299.tif 000027
を定義する。
【００５６】
フィッティングはベイズ手法を使用して行われる。これは図４に示され、図４は、発話アニメーションの場合、フェイスアニメーションモデルを通じて平滑な軌跡をどのようにしてフィッティングするかを示す。時点ｔにおいて、対応する視覚音素のもっともらしい形状が生成される（３つの異なる視覚音素の統計学的モデルが可視化される）（図４参照）。
【００５７】
ベイズ手法は、その時点における視覚音素に属するキーフレームｆ内の形状の確率と、一次導関数及び二次導関数を使用する口の動きの平滑性の先験的仮定とのトレードオフを含む。
【００５８】
換言すれば、平滑性の確率的表現により表される軌跡の平滑性についての先験的仮定が利用される。これは、特定の口の動き（或る形状から他の形状への遷移を表す）の速度及び加速度が、この速度及び加速度が幾らか制限されるように或る確率分布に従うという仮定に基づく。
【００５９】
視覚音素リストを所与とした軌跡の確率
【数２７】
0005529299.tif 000028
は、軌跡を所与とした視覚音素リストの確率
【数２８】
0005529299.tif 000029
に比例し（これはベイズ理論の適用）、ここでは、前に得られた統計学的視覚音素モデル、及び軌跡の先験的確率
【数２９】
0005529299.tif 000030
が利用され、ここでは、軌跡の平滑性についての先験的仮定、特に、人が口を素早く動かすことができず（一次導関数＝速さ、パラメータη１）、素早く加速させることができない（二次導関数＝速度：パラメータη２）という先験的仮定がなされる。
【００６０】
パラメータη１、パラメータη２は実験的に決定することができる。
【００６１】
確率を最大にするために、Ｌ−ＢＦＧＳ−Ｂを使用して、標準準ニュートンオプティマイザを使用して費用関数
【数３０】
0005529299.tif 000031
が最小化され、Ｍはフレーム数である。上記式２．８中、以下の修正を行うべきである：ＵはＷを示し、ｓ（ｔｉ）は
【数３１】
0005529299.tif 000032
を示し、
【数３２】
0005529299.tif 000033
は
【数３３】
0005529299.tif 000034
を示すべきである。
【００６２】
上記例の代わりに、同様に他の最適化関数を使用することもできる。
【００６３】
このようにして、視覚音素空間を通る最適な軌跡を与える視覚音素表現を取得することができ、口アニメーションのレンダリングに使用することができる。
【００６４】
最後のビデオは、結果として生成される形状をレンダリングすることにより、当該技術分野で既知のワープフィールド／３Ｄ組み合わせ手法を使用してレンダリングされる。
【００６５】
本発明の実施形態に関連して説明された方法、要素、ユニット、及び装置をハードウェア、ソフトウェア、又は両方の組み合わせとして実施可能なことが当業者には容易に明らかであろう。特に、本発明の実施形態及び実施形態に関連して説明されたモジュールの要素が、コンピュータで実行されるか、又はマイクロプロセッサにより実行される単数又は複数のコンピュータプログラムにより実施可能なことが理解されよう。本発明を実施する任意の装置は特に、ネットワーク内で動作するルータ、サーバ、モジュール等のネットワークエンティティの形態、又は携帯電話、スマートフォン、ＰＤＡ等のモバイル装置の形態、又は同様の任意のものの形態をとることができる。
【図１】
0005529299.tif 000051
【図２】
0005529299.tif 000052
【図３】
0005529299.tif 000053
【図４】
0005529299.tif 000054