(57)【要約】【課題】方法が、変形可能な表面のクラスを表す可変多重線形モデルを構築する。【解決手段】最初に、変形可能な表面のメッシュを取得する。このメッシュは頂点を含む。メッシュは異なる個性および異なる表情を有する。メッシュは、人間の顔の画像から得ることができ、目、眉毛、頬、鼻、口および顎のような顔の特徴が変形可能な表面を形成する。メッシュは、データテンソルの要素としてメモリに記憶される。データテンソルは、列ベクトルからなる行列に選択的に平坦化される。補完インクリメンタル特異値分解を各行列に適用して、一組の直交基底を生成する。次に、直交基底をテンソル乗算によりデータテンソルに適用してコアテンソルを構築する。コアテンソルは、表面のクラスを表す可変多重線形モデルである。【選択図】図１
2006018828.tif 000002
【特許請求の範囲】
【請求項１】
変形可能な表面のクラスを表す可変多重線形モデルを構築する方法であって、
複数の変形可能な表面の、異なる個性及び異なる表情を有する複数のメッシュを取得すること、
前記複数のメッシュをデータテンソルの要素としてメモリに記憶すること、
前記データテンソルを複数の行列に選択的に平坦化すること、
インクリメンタル特異値分解を各行列に適用して、一組の直交基底を生成すること、
並びに
前記基底をテンソル乗算により前記データテンソルに適用して、前記変形可能な表面のクラスを表す前記可変多重線形モデルであるコアテンソルを構築すること
を含む、変形可能な表面のクラスを表す可変多重線形モデルを構築する方法。
【請求項２】
前記データテンソルの選択された要素を前記可変多重線形モデルに従って合成して、レンダリングするための合成の変形可能な表面を生成することをさらに含む
請求項１記載の方法。
【請求項３】
前記変形可能な表面は、顔である
請求項１記載の方法。
【請求項４】
第１の顔の第１のビデオを取得すること、
第２の顔の第２のビデオを取得すること、
前記可変多重線形モデルに従ってフローベースの追跡を前記第１のビデオに適用して、第１の形状データ、動きデータ、及びテクスチャデータを抽出すること、
前記可変多重線形モデルに従ってフローベースの追跡を前記第２のビデオに適用して、第２の形状データ、動きデータ、及びテクスチャデータを抽出すること、
並びに
前記第１の形状データ、動きデータ、及びテクスチャデータと前記第２の形状データ、動きデータ、及びテクスチャデータを合成して、前記第１の顔と前記第２の顔の特徴を合成した合成の顔の合成ビデオを生成することをさらに含む
請求項３記載の方法。
【請求項５】
前記データテンソルは、複数の軸を含み、前記平坦化は、前記軸の部分集合に沿って行われる
請求項１記載の方法。
【請求項６】
同一の個性（ｎｉ）を有する画像が前記テンソルの第１の軸に沿って配置され、同一の表情（ｎｅ）を有する画像が前記テンソルの第２の軸に沿って配置され、かつ前記画像中の頂点（３ｎｖ）が前記テンソルの第３の軸に沿って配置される
請求項１記載の方法。
【請求項７】
前記特異値分解は、前記データテンソルが不完全である場合に補完する
請求項１記載の方法。
【請求項８】
前記第１のテクスチャデータ及び前記第２のテクスチャデータを前記動きデータ及び前記形状データ上に多重線形回帰して、前記合成の顔のテクスチャ関数を得ることをさらに含む
請求項４記載の方法。
【請求項９】
パラメータ設定が、前記合成の顔を動画化するために用いられる
請求項４記載の方法。
【請求項１０】
前記合成の顔の前記個性に関連する第１のパラメータが前記合成ビデオ全体について求められ、一方で、前記合成の顔の表情に関連する第２のパラメータが前記合成ビデオ中の各画像について求められる
請求項９記載の方法。
【請求項１１】
前記複数のメッシュは、異なる年齢の顔のものであり、前記可変多重線形モデルに前記年齢を組み込む
請求項３記載の方法。
【請求項１２】
前記可変多重線形モデルは、前記顔の前記年齢を特定するために用いられる
請求項１１記載の方法。
【請求項１３】
前記複数のメッシュは、異なる健康特性の顔のものであり、前記可変多重線形モデルに前記健康特性を組み込む
請求項３記載の方法。
【請求項１４】
前記可変多重線形モデルは、前記顔の前記健康特性を診断するために用いられる
請求項１１記載の方法。
【請求項１５】
前記直交基底及び前記コアテンソルを切断して、前記可変多重線形モデルを前記データテンソルの低ランク近似に圧縮することをさらに含む
請求項１記載の方法。
【請求項１６】
各行列の列ベクトルは、前記直交基底に対応する
請求項１記載の方法。
【請求項１７】
前記顔の特徴は、前記変形可能な表面を形成する
請求項３記載の方法。
【請求項１８】
前記特徴は、目、目蓋、眉毛、額、頬、鼻、口、唇及び顎を含む
請求項１７記載の方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、包括的にはコンピュータによって作成される動画に関し、特に多重線形モデルに従って顔の個性（identities）および表情を動画化することに関する。
【背景技術】
【０００２】
人間を瞬間的に特徴付けるものが１つあるとすれば、それは人間の顔である。以下では、同一人物の顔は、その顔の姿勢、年齢、または健康状態がどうあれ、同一の「個性」すなわち「外見」を持つと言う。すなわち、顔の全体的な外見がその顔を特定の人物であるとして、その人物が年を経て加齢してもなお一意に認識可能にしている。同様に、異なる外見の顔、すなわち異なる個人が、同一の「表情」、例えば、微笑み、怒り、笑い、悲しみ、緊張、冷笑、深刻、当惑、不機嫌、しかめ面、歯を剥く（snarling）等を見せることができる。すなわち、別人の顔の全体的な外見ははっきりと異なるが、人間は人が微笑んでいるときや泣いているときを容易に認識することができる。
【０００３】
我々人間は、外見や表情の異なる顔のわずかな差異を容易に区別することができるが、現実的で説得力のある顔の動画を作成することは極めて難しく時間集約的なプロセスであり、非常に詳細なモデルと熟練したアニメータを必要とする。
【０００４】
有力な手法は、基本的な変形セットを用いて３次元の幾何形状モデルを変化させることである。これらのモデルを生成すること、モデルをターゲットのキャラクターに適合させること、および、モデルを制御することは全て、制作プロセスにおける主要なボトルネックである。
【０００５】
顔の変化は、変化の原因が外見（すなわち人の顔の「個性」）であれ、姿勢であれ、表情であれ、影のパターンであれ、低次元の線形部分空間によって近似できることがよく知られている（Sirovich等著「人間の顔を特徴付ける低次元の手順（Low dimensional procedure for the characterization of human faces）」（Journal of the Optical Society of America A 4, pp. 519-524, 1987）、およびPenev等著「顔空間のグローバル次元数（The global dimensionality of face space）」（Proc. 4th Int'l Conf. Automatic Face and Gesture Recognition, IEEE CS, pp. 264-270, 2000））。
【０００６】
これらの線形部分空間の推定および利用は従来技術の大部分を占める（特に、Li等著「モデルベースの顔画像の符号化における３Ｄ動き推定（3-D motion estimation in model-based facial image coding）」（IEEE Trans. PAMI 15, 6, pp. 545-555, June 1993）、DeCarlo等著「オプティカルフローと変形可能なモデルの統合、ならびに人間の顔の形状および動きの推定への応用（The integration of optical flow and deformable models with applications to human face shape and motion estimation）」（Proceedings, CVPR96, pp. 231-238, 1996）、Bascle等著「顔の追跡およびアニメーションにおける顔の姿勢および表情の可分性（Separability of pose and expression in facial tracking and animation）」（Proc. ICCV, p. 323-328, 1998）、およびBregler等著「画像ストリームからの非剛体３Ｄ形状の復元（Recovering non-rigid 3D shape from image streams）」（Proc. CVPR, 2000））。
【０００７】
コンピュータグラフィックスにおいて、モーフィング可能な（morphable）モデルとして知られるこれらの部分空間は、キャラクターアニメーションおよびビデオリライト（rewrite：再描画）の主力である（Blanz等著「３Ｄ顔合成のためのモーフィング可能なモデル（A morphable model for the synthesis of 3D faces）」（Proc. SIGGRAPH99, 1999）、およびPighin等著「写真からの現実的な顔の表情の合成（Synthesizing realistic facial expressions from photographs）」（Proceedings of the 25th annual conference on Computer graphics and interactive techniques, ACM Press, pp. 75-84, 1998））。
【０００８】
モーフィング可能な外見モデルは、２Ｄ画像に３Ｄの形状およびテクスチャ情報を加えるのに非常に適しており、一方、モーフィング可能な表情モデルは、追跡およびパフォーマンスアニメーションに用いることができる。
【０００９】
アニメータのニーズを考慮して、モーフィング可能な表情モデルを新たな人物に適応することによって個性空間および表情空間を統合するための多くの試みがなされてきた。
【００１０】
しかし、こうしたモデルは、中間の顔の幾何形状の変形としてモデル化された元の対象の表情を別の顔の幾何形状に移植するため、不自然なまたは変化が不十分な結果を生じる可能性がある。
【００１１】
Blanz等（２００３年）によって記載されているように、「我々は、顔の大きさおよび形状、特徴的な筋肉の活動パターン、ならびに皮膚および組織の機械的な特性に依存する個人間のわずかな変化を無視する。」
【００１２】
コンピュータビジョンでは、顔画像の変化は、姿勢および表情、個性、照明、またはそれらの任意の組み合わせの多重線形とした場合により正確にモデル化されることがよく知られている。単純に言えば、顔の画像を生成する関数が何であれ、多重線形モデルは、一次テイラー近似の項を線形モデルよりも多く捉えるため、より正確な近似を提供することができる。
【００１３】
アニメーションに最も重要なこととして、多重線形モデルは属性の可分性を与えるため、モデルを個別に制御することができる。一般に、可分性は、線形部分空間モデルにおける統計的効率と相容れない。この例外として、人物間の全ての変化が表情間の全ての変化に直交するという非常に可能性の低い場合がある。これは、重力が年老いた顔に自然な皺を刻む世界ではあり得ない。
【００１４】
線形モデルと同様に、主な実験による観察として、多重線形モデルによって与えられるデータ近似、特に、画像およびモーションキャプチャデータの認識および合成に対する多重線形モデルの有効性はかなり良好である（Vasilescu等著「画像集合の多重線形解析：テンソル顔（Multilinear analysis of image ensembles: Tensorfaces）」（7th European Conference on Computer Vision (ECCV 2002） (Part I), pp. 447-460, 2002）、およびVasilescu著「人間のモーションシグネチャ：解析、合成、認識（Human motion signatures: Analysis, synthesis, recognition）」（Proc. ICPR, 2002））。
【００１５】
こうした方法のもう１つの魅力は使用が簡単であることである。線形モーフィング可能なモデルは、特異値分解（ＳＶＤ）により例示的な顔の行列から容易に推定され、単純な線形代数によりビジョンまたはレンダリングに結び付けられる（connected）。
【００１６】
同様に、多重線形モデルは、ＳＶＤの一般化である高次特異値分解（ＨＯＳＶＤ）により例示的な画像のテンソルから推定することができる（Tucker著「３次元行列に対する因子分析への拡張（The extension to factor analysis to three-dimensional matrices）」（Contributions to mathematical psychology, Gulliksen et al., Eds, Holt, Rinehard & Winston, NY, pp. 109-127, 1964）、Lathauwer等著「多重線形特異値分解（A multilinear singular value decomposition）」（SIAM J. Matrix Analysis and Applications 21, 4, pp. 1253-1278, 1994）、およびLathauwer著「多重線形代数に基づく信号処理（Signal Processing based on Multilinear Algebra）」（Ph.D. Thesis, Katholieke Universiteit Leuven, Belgium, 2000））。
【発明の開示】
【発明が解決しようとする課題】
【００１７】
個性および表情の良好な制御は顔のアニメーションにおいて多発する問題である。多重線形解析は、異種の変化の原因をモデル化する自然な方法を提供する。しかし、こうしたモデルの構築および展開にはいくつかの問題が立ちはだかる。
【課題を解決するための手段】
【００１８】
本発明は、モデルを変化させる２つ以上の制御パラメータセットを含む顔のアニメーションのための可変多重線形モデルを提供する。好ましい一実施形態において、１つのパラメータセットは個性を制御し、別のセットは表情を制御する。２セットしかない場合、そのモデルは双線形である。
【００１９】
パラメータは、手動設定するか、またはビデオにより制御することができる。線形モデルと異なり、表情を保ったまま個性を調整することも、個性を保ったまま表情を調整することもできる。これにより、或るキャラクターから別のキャラクターにパフォーマンスを移植するようなアニメーションの作業や、キャラクターの個性すなわち外見を変更するような制作後の作業が大幅に単純化される。
【００２０】
本発明は、多重線形モデルの使用に伴う２つの問題、すなわち、全ての表情における全ての属性、例えば個性の完全なデカルト積を用いずに説得力のあるモデルを構築すること、および、モーションキャプチャや手作業によるキーフレーミングを用いずにモデルを制御することに対処する。
【００２１】
本発明は、不完全データから詳細なモデルを推定することを可能にする。また、ビデオから個性および表情パラメータを抽出し、パフォーマンスアニメーション、ビデオリライト、俳優の入れ替え、および関連形態のビデオ修正において用いることができる。ソースおよびターゲットの俳優は、推定データになくても、詳細な測定に利用できなくてもよい。
【発明の効果】
【００２２】
本発明は、顔スキャンの不完全なサンプルから極めて詳細な顔モデルを推定することを可能にする。このモデルは双線形または多重線形ＨＯＳＶＤであるため、可分性という重要な特性を有する。個性および表情は個別に操作することができる。したがって、各個性に固有の様式で微笑んでも、微笑みは常に微笑みとなる。本発明は、モデルをビデオに結び付け、俳優の個性、表情、および姿勢を復元する方法、ならびにその俳優の顔の表情主導のテクスチャ関数を示すことにより実用的なアニメーションツールを提供する。
【００２３】
本発明による方法は、ビデオ中の個性、パフォーマンス、および顔テクスチャの編集を大幅に単純化し、パフォーマンスアニメーション（操り人形（puppetry））や俳優の入れ替えといったビデオリライト用途を可能にする。また、モデルは、ビデオにより制御することができる合成俳優の豊富なソースを提供する。
【００２４】
好ましい実施形態では、３テンソルデータセット、すなわち頂点×個性×表情を用いるが、本方法はｎテンソルに一般化することができる。例えば、非常に不完全な頂点×個性×表情×年齢の４テンソルのＨＯＳＶＤを求めて、俳優の見かけの年齢を制御できるモデルを制作することが可能である。
【００２５】
補完（imputation）を用いて、対象俳優の小さな部分集合のみを２つ以上の年齢で走査すればよい。あとはディレクターの裁量で加齢するか、または若返らせることができる。
【発明を実施するための最良の形態】
【００２６】
システムおよび方法の概要
顔の多重線形モデルの構築
図１は、メモリに記憶されているデータ１０１に適用されて、本発明による可変多重線形モデル２０１を生成する高次ＳＶＤ（ＨＯＳＶＤ）１００を示す。入力データは、データテンソル１０２と、オプションで欠損要素のリスト１０３を含む。
【００２７】
図２は、多重線形モデル２０１をビデオ２１１および２２１に適用して新たなビデオ２９０を合成する方法２００を示す。モデル２０１は顔の幾何形状メッシュセット１０、オプションの画像１１および頂点１２から構築される。
【００２８】
データテンソル１０２は平坦化１１０されて、行列１１１が構築される（図４〜図６も参照のこと）。行列の列はベクトルである。図４に示すように、双線形顔モデルの場合、頂点１２は個人の外見によって、異なる個性（ｎｉ）を縦軸４０１、表情（ｎｅ）を横軸４０２、３次元メッシュの頂点（３ｎｖ）を奥行軸４０３に取ったテンソル１０２に編成される。メッシュの頂点については後述する。
【００２９】
必要であれば、行列１１１の要素を不完全ベクトル１２１と完全ベクトル１２２にグループ分け１２０する。不完全ベクトルが存在する場合、これらのベクトルを補完１２５し、リスト１０３に従って、欠損要素から完全ベクトルを生成することができる。
【００３０】
完全ベクトルにインクリメンタルＳＶＤを適用１３０して平坦化毎に直交基底１３１を生成する。この基底を用いて、不完全ベクトルの欠損部分を補完１２５し、次にそれを用いてインクリメンタルＳＶＤ１３０により基底を更新する。全てのベクトルを処理したら、全ての直交基底およびデータテンソル１０２にテンソル乗算（tensor multiplication）を適用１４０してコアテンソル（core tensor）１４１を構築する。このコアテンソルを変形（reshape）１５０して多重線形モデル２０１を形成することができる。
【００３１】
ビデオ中の顔の追跡
図５および図６に示すように、図４と一貫した表記を用いて、多重線形顔モデル２０１を平坦化し、各列ベクトルが１つのメッシュ頂点の基底を含むようにする。図２に示すように、この平坦化は、フローベースの追跡モジュール２１０および２２０に与えられる。各追跡モジュールは対応するビデオ２１１および２２１を処理する。図３は、追跡モジュールのさらなる詳細を示す。各追跡モジュールは、各ビデオに対して形状、動き、およびテクスチャデータ２３１および２３２をそれぞれ生成する。次にデータを編集、合成、およびレンダリング２３０して、顔が新たな表情もしくは新たな個性、またはその両方を呈する新たな合成ビデオ２９０を生成することができる。
【００３２】
図３に示すような本発明によるフローベースの追跡方法３００では、初期位置合わせ３０２後に、モデル２０１を用いてフローベースの追跡３１０をビデオ３０１に適用する。この追跡により、図２の形状、動き、およびテクスチャデータ２３１および２３２を構成する個性ベクトル３１１、表情パラメータ３１２、フレーム間対応３１３、およびアライメントテクスチャ３１４が生成される。
【００３３】
次に、これらのステップをより詳細に説明する。
【００３４】
高次ＳＶＤ
高次ＳＶＤ（ＨＯＳＶＤ）１００は、特異値分解を多重線形によりｎテンソル、すなわちｎ個の添字を有する多次元行列１１１に一般化したものである。
【００３５】
基本的に、従来のＳＶＤにより、テンソル１０２Ｔ∈Ｒｄ１×ｄ２×．．．×ｄｋ×．．．×ｄｎのｎ個の異なる「行列平坦化」のそれぞれについて直交基底Ｕｋ１３１を求める。平坦化によりテンソルは、列がテンソルＴ１０２の特定の軸に沿った要素の順序を保つ行列１１１に再配置される（図５および図６を参照のこと）。
【００３６】
行列−テンソル演算子
テンソル演算は、３つの演算子による行列操作に還元する（reduce）ことができる。クロネッカー積Ａ○×Ｂが、各スカラー要素Ａｉｊをスカラー行列積ＡｉｊＢに換える（○×は、数９に示すように、○の中に×があることを表す）。ベクトルの転置Ｍ（ｄ）が、ｄ個の要素からなる縦のグループをまとめて移動させることによって行列Ｍを転置する。ベクトル変形ｖｅｃｄＭは、行列Ｍをｄ行となるように変形する。ここで、ｖｅｃＭはベクトルを構築する（Magnus等著「行列微分法、ならびに統計学および計量経済学における応用（Matrix differential calculus with applications in statistics and econometrics）」（Wiley, 1999）、BrandおよびBothika著「３Ｄの非剛体追跡および形状復元のための柔軟なフロー（Flexible flow for 3D nonrigid tracking and shape recovery）」（Proc. CVPR 2001）、およびBrandによって２００１年２月２２日付で出願された米国特許出願０２００３８２０．４「非剛体３Ｄオブジェクトの形状、動き、屈曲およびテクスチャの、ビデオからの直接モデル化（Modeling Shapes, Motions, Flexions and Textures of Non-Rigid 3D Objects Directly from Video）」（参照により本明細書中に援用する））。
【００３７】
テンソルのＨＯＳＶＤ
ｋ番目の軸を保つ平坦化Ｔ（ｋ）は、行列−テンソル演算子により次のように表される。
【００３８】
【数１】
2006018828.tif 000003
【００３９】
ｋ番目の平坦化１１０の直交基底Ｕｋは、Ｔ（ｋ）の左特異ベクトルである。特異値行列のＨＯＳＶＤの一般化は、次のように求められるコアテンソルＳである。
【００４０】
【数２】
2006018828.tif 000004
【００４１】
ここでｋ番目のモード乗算×ｋが次式を満たす。
【００４２】
【数３】
2006018828.tif 000005
【００４３】
次に、テンソルＴ１０２をテンソル乗算によって次のように再構築することができる。
【００４４】
【数４】
2006018828.tif 000006
【００４５】
変形により、再構築テンソルが確実に正確な形式となるようにする。
【００４６】
従来の行列ＳＶＤ
【００４７】
【数５】
2006018828.tif 000007
【００４８】
は次のように書き表される。
【００４９】
【数６】
2006018828.tif 000008
【００５０】
これは、要素の観点からｎ次単項式の和として次のように書くこともできる。
【００５１】
【数７】
2006018828.tif 000009
【００５２】
直交基底Ｕｋを平坦化Ｔ（ｋ）の主特異ベクトルに切断した場合、コアテンソルＳ１４１はデータテンソルＴ１０２よりも小さくなり、｛Ｓ，Ｕ１，．．．，Ｕｎ｝は、データテンソルＴ１０２の切断された低ランクの多重線形近似である。これは薄い（thin）ＳＶＤと類似している。
【００５３】
ＳＶＤと同様に、正確な低ランク近似は、データの冗長性および一般化に対する有望な見込みを示唆する。ＳＶＤと異なり、Lathauwerは、ＨＯＳＶＤを単に切断するだけでは、モデルは通常準最適であるものの、必ずしも最適な低ランク多重線形モデルがもたらされる訳ではなく、基底Ｕｋは交互最小二乗法により容易に精緻化されて近似を改善することを示した。ＨＯＳＶＤはまた、テンソルを全ての軸で平坦化１１０しなくてもよいという点で従来のＳＶＤとは異なる。すなわち、軸の部分集合のみを平坦化して部分ＨＯＳＶＤを得ることができる。
【００５４】
双線形顔モデル
顔のモデル２０１は、詳細な３Ｄ顔メッシュの集合から推定される。各メッシュは、構造化された光スキャナによって得られる約Ｎ＝３０，０００個の頂点を有する。幾人か、例えば１５人の個人の顔をそれぞれ、広い表情空間にわたるいくつか、例えば１０通りの表情で走査する。明らかに、異なる顔、異なる外見すなわち個性、および異なる表情の数が多いほど良好な結果が得られる。走査を平滑化し、バイラテラルフィルタを用いてノイズを除去する（Jones等著「非反復性で特徴保存型のメッシュ平滑化（Noniterative, feature-preserving mesh smoothing）」（Proc. SIGGRAPH, pp. 943-949, 2003））。
【００５５】
頂上のメッシュは、３次元でアライメントし、以下のように密な対応にしたプロクラステスである。レーザスキャンの別個の大きなデータベースを平均することによって得られる高解像度の顔の平均を、対応アルゴリズムに対する変形においてそれぞれの走査した顔に合わせて変形する（Allen等著「人体形状空間（The space of human body shapes）」（Proc. SIGGRAPH 2003, pp. 587-594, 2003））。変形は、例えば約５０の手作業で選ばれた頂点の対応により初期化される。
【００５６】
頂点の位置は、３Ｎ×１５×１０の大きさの３次元データテンソル１０２に配置される（図４〜図６を参照のこと）。ここでは、１５の異なる個性および１０の異なる表情がある。テンソル１０２の部分ＨＯＳＶＤは、個性軸４０１および表情軸４０２に沿って因数分解（平坦化）を行い、表情基底がＣ∈Ｒ１５×Ｅ（Ｅ＝１１）、個性基底がＤ∈Ｒ１０×Ｉ（Ｉ＝８）、およびコアテンソルがＳ∈Ｒ３Ｎ×Ｅ×Ｉであり、Ｔ＝Ｓ×２Ｃ×３Ｄとなるランクを下げた多重線形モデルを得ることによって求められる。使用不能な走査および省略された走査は、データテンソル１０２中の欠損データとなる可能性がある。この問題は以下で解決される。
【００５７】
平坦化（因数分解）および再配置（図５および図６を参照のこと）の後、コアテンソル１４１は次のようになる。
【００５８】
【数８】
2006018828.tif 000010
【００５９】
ｊ番目の表情におけるｉ番目の人物（個性）の顔メッシュのＮ個の頂点位置は次のように、ｄｉ∈ＲＩをＤのｉ番目の行、ｃｊ∈ＲＥをＣのｊ番目の行、およびＩ３を３×３の単位行列として双線形で再構築される。
【００６０】
【数９】
2006018828.tif 000011
【００６１】
パラメータベクトルｃおよびｄは平滑的に変化させて、表情および個性間でそれぞれモーフィングを行うことができる。
【００６２】
本発明を用いれば、個性すなわち外見を制御パラメータに従って変化させて表情を一定に保つか、あるいは表情を制御パラメータに従って変化させて個性すなわち外見を一定に保つことによって新たな顔を合成することが可能である。
【００６３】
不完全データからのモデル推定
実際には、変化の完全なデカルト積がＨＯＳＶＤの推定に利用できない場合がある。例えば、一部の入力データが破損または欠損している場合や、大きなデータベースを開発する際に、全ての個性画像に対する全ての表情の画像の走査に一部の俳優を利用できない場合がある。これにより、以下で対処する不完全データの問題が生じる。
【００６４】
データが不完全である場合、ＨＯＳＶＤは過小決定される（under-determined）。すなわち、多数の等しく有効であるが異なる解がある。にもかかわらず、等価の切断ＨＯＳＶＤ問題は一部の設定において確立することができると考えられる。
【００６５】
この問題は、双線形の文脈または通常のＳＶＤにおいて対処されている（Tenenbaum等著「双線形モデルによる様式と内容の分離（Separating style and content with bilinear models）」（Neural Computation 12, pp. 1247-1283, 2000））。Tenenbaum等は、モデル空間における反復的な共役勾配探索を記載しているが、欠損要素を行平均または列平均で埋めたデータの直接ＳＶＤを上回る利点はわずかしか発見しておらず、計算が１桁分多くなるという犠牲を伴う。しかし、データが本当に低ランクであっても、平均値で埋めることによって非効率的な高ランクモデルを回復できることが知られている（Brand著「データマイニングと推薦のための高速のオンラインＳＶＤ修正（Fast online SVD revisions for data mining and recommending）」（Proceedings, SIAM International Conference on Data Mining, 2003）（参照により本明細書中に援用される））。
【００６６】
既知の要素から集めた統計量を用いて欠損要素を埋める原理は補完１２５と呼ばれる。本発明は、ＨＯＳＶＤに適した補完規則、および不完全データのＨＯＳＶＤを求める高速プロセスを提供する。重要な観測として、データが本当に低ランクのテンソル構造を有する場合、既知の要素が占める部分空間は欠損要素の可能な値を制約する。テンソルは、各平坦化に１つずつ関連する複数の部分空間を有するため、欠損要素は十分に制約される。テンソルの各平坦化は、ＳＶＤにより既知の要素から仮に推定される部分空間の分散を最大限に保つ。次に、各平坦化の不完全な列を「掃引」し、部分空間制約から欠損値を推定すること、および完全なものにした列ベクトルから部分空間を更新することを交互に行うことができる。
【００６７】
補完ＨＯＳＶＤ
通常の行列ＳＶＤにおける補完のために、データを、部分空間内またはほぼその内部にあるガウス分布からのサンプルとして考える。データが行平均を除去することによって中心化される（centered）場合、列空間の特異ベクトルＵおよび特異値Ｓが、以下の実験的なガウス密度の共分散を因数分解する。
【００６８】
【数１０】
2006018828.tif 000012
【００６９】
補完は、この密度に関する確率が最大となるようにベクトルを完全なものにする問題である。ベクトルｘが欠損要素のある列である場合、最も可能性の高い補完がマハラノビス距離を最小化する。
【００７０】
【数１１】
2006018828.tif 000013
【００７１】
ここで、εは、補完された値は任意の大きな値にならないという従来の考えを符号化するベクトルに対する従来の確率の分散である。
【００７２】
解決策は、次の線形方程式を最小二乗法で解く欠損要素の設定である。
【００７３】
【数１２】
2006018828.tif 000014
【００７４】
これにより、εが０に近づくにつれてBrand著「データマイニングと推薦のための高速のオンラインＳＶＤ修正（Fast online SVD revisions for data mining and recommending）」（Proceedings, SIAM International Conference on Data Mining, 2003）の厳しい部分空間補完規則が復元される。
【００７５】
「厳しい」ＳＶＤに基づく補完では、
【００７６】
【数１３】
2006018828.tif 000015
【００７７】
を設定することによって、補完されたベクトルが部分空間内にあるようにする。ここで、白丸および黒丸はそれぞれ、欠損要素および既知の要素に対応する行を選択したことを示し、Ｕは薄い。
【００７８】
補完ＳＶＤでは、全ての完全な列の仮のＳＶＤ  ＵＳＶＴを求め、仮の密度を用いて不完全な列ベクトルｘを完全なものにすること、および完全にしたものを用いてランク１の更新規則によりＵ、Ｓ、Ｖおよび密度を更新することを交互に行う。これは、補完の順序付けによって結果が決まる因果プロセスである。したがって、最初に最も不完全な列を掃引することによって、最初に最も制約された補完を行うことが有利である。近似誤差は、大偏差理論により確率を制限することができ、この方法は、データマイニング補完において優れた予測速度をもたらす。
【００７９】
ＨＯＳＶＤの一般化は、特異ベクトルＵｋおよび各平坦化Ｔ（ｋ）の値Ｓｋを中心に展開する。平坦化Ｔ（ｋ）はほぼ確実に中心化されないため、データはアフィン部分空間における正規分布としてみなされる。したがって、所望の直交基底Ｕｋは列−空間共分散の因子ではない。しかし、これは変換により関連付けられる。
【００８０】
最初に、中心Ｔ（ｋ）に対する行平均を推定および除去する。次に、その左特異ベクトルおよび値を上述のように補完ＳＶＤにより求める。直交基底Ｕｋの最終的な推定値は、ＳＶＤのランク１更新により得られる。このような更新は、Brand著「データマイニングと推薦のための高速のオンラインＳＶＤ修正（Fast online SVD revisions for data mining and recommending）」（Proceedings, SIAM International Conference on Data Mining, 2003）に記載されている。この更新により、平坦化から除去された平均が効果的に復元される。
【００８１】
補完ＨＯＳＶＤは、各平坦化Ｔ（ｉ）、Ｔ（ｊ）、Ｔ（ｋ）等の１列に欠損要素が現れるというさらなる複雑さを生じる。したがって、欠損要素はＵｉ、Ｕｊ、Ｕｋ等によって複合的に制約される。テンソルは多重線形モデルであるため、欠損要素はガウス積密度によって決まる。補完するには、対応する線形方程式を組み合わせることによってマハラノビス形式（forms）の和を同時に最小化しなければならない。例えば、データテンソルが、列｛ｘ１∈Ｔ（１），ｘ２∈Ｔ（２），．．．｝に現れる１つの欠損値を有する場合、その補完は次のようになる。
【００８２】
【数１４】
2006018828.tif 000016
【００８３】
ここで、Ｍ○（それぞれＭ●）はＭの列（複数可）を選択し、ｘの行は｛ｘ１，ｘ２，．．．｝の欠損（それぞれ既知の）値（複数可）に対応する。上記の式は、平坦化の１列で同時に発生するものであれば複数の欠損値を求めることができる。このような補完をグループ化する方法を決めるために、頂点が欠損要素を表すグラフを構築する。欠損要素がテンソルのインデックスを共有する場合、２つの頂点を結ぶ。例えば、ａ＝ｄまたはｂ＝ｅまたはｃ＝ｆである場合にのみＴａｂｃおよびＴｄｅｆを結ぶ。補完グループはこのグラフのつながった構成要素である。
【００８４】
原則的に、ＨＯＳＶＤは、全ての変形に少なくとも１つの標本（exemplar）が存在する限り、任意の低密度のｎテンソルについて補完されることができる。しかし、モデルの品質がテンソル次元ｎまたは疎レベルにどう依存するのかは正式には知られていない。場合によっては、９５％が空である行列から予測性の高い補完を得ることができることが分かっている。
【００８５】
平均して、補完の二乗平均平方根誤差は、個性または表情が同じ顔の可能な重み付きの組み合わせの二乗平均平方根誤差のほぼ１／２である。これは、Blanz等に記載されるように、誰の微笑みも固有であり、微笑みの平均からの逸脱は「わずか」でない証拠である。非常に小さなデータセットからそうした良好な補完が得られるという事実は、疎なデータから推定されるより大きなＨＯＳＶＤにとって良い兆候であり、ＨＯＳＶＤ補完はＳＶＤ補完よりも制約が高いという事実と一致する。
【００８６】
モデルをビデオに結び付ける
詳細な３Ｄ顔メッシュのＨＯＳＶＤを顔のアニメーションおよびビデオ／フィルムの後処理用のツールに利用するには、そのＨＯＳＶＤが、３Ｄ測定値または目的とする俳優が利用できない環境で使用可能でなければならない。明らかに、図２に示すようにモデルを画像シーケンスに直接結び付けることができれば、ＨＯＳＶＤモデルは広く有用になる。画像シーケンスにおける顔特徴の動きは、姿勢、個性、および表情の３重線形である。変形可能な表面を形成することができる顔の特徴としては、例えば目、目蓋、眉毛、額（front head）、頬、鼻、口、唇および顎がある。
【００８７】
図２は、これらのパラメータを画像シーケンスから抽出する方法を図示する。これは、別のキャラクターのアニメーションまたは元のビデオのリライトのサポートを行う（drive）のに必要な情報をすべて提供する。重要な関係は、画像平面上への顔メッシュ頂点の射影である。
【００８８】
個性すなわち外見ベクトルｄ∈ＲＩ、表情ベクトルｃ∈ＲＥ、平坦化されたＨＯＳＶＤコアテンソルＳ∈Ｒ３ＥＩ×Ｎ、および３Ｄ回転行列の最初の２行Ｒ∈Ｒ２×３が与えられると、弱透視カメラは、Ｎ個の画像位置における頂点を、画像空間における平行移動とともに次のように映す。
【００８９】
【数１５】
2006018828.tif 000017
【００９０】
弱透視は、全透視（full perspective）をスケーリングする効果を生じても歪める効果は生じない。より複雑な全透視の定式化もある。フィルム製作の慣習通り、カメラが顔から２メートル以上離れたところにある場合、弱透視トラッカは全透視トラッカに数値的に劣らない。
【００９１】
画像シーケンスから姿勢、個性（外見）、および表情パラメータを取り出すには（図３を参照のこと）、Ｆ＝ｆｒａｍｅ１−Ｐｆｒａｍｅ０として書き表される射影頂点の動きをオプティカルフローにより画素の輝度値の変化に関連付ける。本質的に、２つの画像中に観測される多数の小さなテクスチャパッチを最適に対応付ける、剛体の動きとモデルにより認められた（model-sanctioned）変形の組み合わせを解く。これは、BrandおよびBhotikaの方法を多重線形モデルに直接拡張する。
【００９２】
姿勢および表情の推定
ほとんどの現代のオプティカルフローの枠組みは、Ａｆ＝ｂの形式の式に還元される。ここで、Ａは空間画像勾配から導出される行列であり、ｂは時間画像勾配から導出されるベクトルであり、ｆは変位またはフローである。好ましい実施態様では、オプティカルフローの対称なＬｕｃａｓ−Ｋａｎａｄｅの定式化を用いて、多くの画像部位におけるＡおよびｂを求める。それらの結果が次の大きな行列方程式に組み合わされる。
【００９３】
【数１６】
2006018828.tif 000018
【００９４】
ここで、Ｘは対角線上に積み重ねた（stacked）Ａを含み、ｙは垂直に積み重ねたｂを含む。
【００９５】
式（１）の射影をフローの式（２）に代入し、目的とする任意のパラメータベクトルを残りの部分の関数として分離することができる。
【００９６】
すると、ビデオ中の対象を追跡することは、画像から勾配をサンプリングし、交互最小二乗法により所望のパラメータを解く問題となる。これは、ビデオに対して全ての姿勢、個性、および表情パラメータを最適化する、迅速に集束するニュートンの方法である。高速な集束は、多重解像度手法を用いることによって保証される空間および時間サンプリング窓に対する動きが小さいと仮定する。この方法は本質的に、各ビデオフレームを次のビデオフレームの基準テクスチャとして用いるが、それと同じくらい容易に、既知のテクスチャマップまたはテクスチャ関数が利用可能であればこれを利用することができる。
【００９７】
追跡は、モデルを１番目のフレームに手作業で重ねることによって初期化３０２されるが、Blanz等（上記を参照のこと）が記載している方法のような他の方法を用いることも可能である。
【００９８】
個性の推定
理想的な状況では、推定される個性ベクトルは迅速に集束し、画像シーケンス全体を通じて安定したままとなる。残念ながら、個人は、元のデータテンソルの範囲にない形状の変化を示す場合があり、トラッカは、必要であれば個性ベクトルを連続的に調節することによって、これらの変化に自在に対応することができる。したがって、シーケンス全体にわたって個性が一定であり続けるという制約が定式化される。
【００９９】
シーケンスを追跡して姿勢および表情パラメータを得てから、性能パラメータに関連して画像シーケンス全体に対するＨＯＳＶＤモデルの適合性を最適化する単一の個性ベクトルｄを最小二乗誤差法で解く。これは本質的には、式（１）から導出されて以下の式（system）をもたらす全てのフレームからの全ての個性の式の連結である。
【０１００】
【数１７】
2006018828.tif 000019
【０１０１】
ここで、ｃｉ、Ｒｉ、Ｐｉはそれぞれ表情ベクトル、射影回転、およびフレームｉ中のオブジェクトを中心とする追跡点位置であり、
【０１０２】
【数１８】
2006018828.tif 000020
【０１０３】
は表情に固有のモーフィング可能な個性基底である。新たな個性を見つけたら、それに向かって小さな１ステップ分進み、新たな個性を用いてシーケンスを再追跡し、集束するまで繰り返す。
【０１０４】
テクスチャ基底の推定
追跡により、全てのフレームの個性、姿勢、および表情パラメータ、ならびに半稠密な（semi-dense）フレーム間対応が与えられる。これらの対応を用いて、各フレームの顔テクスチャを標準的なテクスチャレイアウトにワーピングする。次に、線形回帰を用いて、テクスチャを表情パラメータに写像する。これにより、テクスチャを表情の関数として修正する俳優に特有のテクスチャ関数が得られる。例えば、このテクスチャ関数は、眉毛が上がると額の皺に影を付け、唇が引き伸ばされると唇の色を変える。
【０１０５】
テクスチャは、個性と表情の双線形関数としてモデル化することもできる。テクスチャデータは、形状ＨＯＳＶＤに組み込むか、あるいは別個のテクスチャテンソルＴｔｅｘｔｕｒｅに集めて、式Ｓｔｅｘｔｕｒｅ＝Ｔｔｅｘｔｕｒｅ×１ＣＴ×２ＤＴを用いて形状パラメータ上に双線形回帰させることができる。後者の方式は、皮膚の色の変化が主に形状の変化、例えば引き伸ばしおよび皺寄せの関数であるという直感に対応する。
【０１０６】
他の用途
本発明を人間の顔の動画化に関して説明してきたが、本発明は、人間以外の顔または任意の他の種類の柔軟で変形可能な表面または異なる形状および外見（テクスチャ）を有する多様体にも適用することができることを理解すべきである。さらに、補完ＨＯＳＶＤは、２つ以上の属性に従って変化するプロセスからサンプリングされる任意の種類のベクトルデータに適用することができる。
【０１０７】
本発明を好ましい実施形態の例として記載してきたが、本発明の精神および範囲内で様々な他の適応および修正を行うことができることが理解されるべきである。したがって、添付の特許請求の範囲の目的は、本発明の真の精神および範囲に入るそうした変形および修正をすべて網羅することである。
【図面の簡単な説明】
【０１０８】
【図１】本発明による、多重線形モデルを構築する方法のフロー図である。
【図２】本発明による、図１の多重線形モデルを顔データおよびビデオに適用して合成ビデオを生成する方法のフロー図である。
【図３】本発明によるフローベースの追跡方法のフロー図である。
【図４】本発明による個性および表情のテンソルデータ構造のブロック図である。
【図５】本発明によるテンソルの平坦化のブロック図である。
【図６】本発明によるテンソルの平坦化のブロック図である。
【図１】
2006018828.tif 000021
【図２】
2006018828.tif 000022
【図３】
2006018828.tif 000023
【図４】
2006018828.tif 000024
【図５】
2006018828.tif 000025
【図６】
2006018828.tif 000026
【外国語明細書】
2006018828.tif 000027
2006018828.tif 000028
2006018828.tif 000029
2006018828.tif 000030
2006018828.tif 000031
2006018828.tif 000032
2006018828.tif 000033
2006018828.tif 000034
2006018828.tif 000035
2006018828.tif 000036
2006018828.tif 000037
2006018828.tif 000038
2006018828.tif 000039
2006018828.tif 000040
2006018828.tif 000041
2006018828.tif 000042
2006018828.tif 000043
2006018828.tif 000044
2006018828.tif 000045
2006018828.tif 000046
2006018828.tif 000047
2006018828.tif 000048
2006018828.tif 000049
2006018828.tif 000050
2006018828.tif 000051
2006018828.tif 000052
2006018828.tif 000053
2006018828.tif 000054
2006018828.tif 000055
2006018828.tif 000056
2006018828.tif 000057
2006018828.tif 000058
2006018828.tif 000059