(57)【要約】【課題】自己オクルージョン、不明瞭動作、大きな末端モーションが発生するときでも、２次元ビデオシーケンスから３次元ヒューマンモーションを効率的かつ精密に追跡する。【解決手段】  オフライン学習段階では、３次元モーションキャプチャデータが取得され、学習されたモーションに基づき予測モデルが生成される。因子分析法の混合が局所的次元削減法として機能する。グローバル座標化された低次元空間内に形成された因子分析法のクラスタが、分布最頻値に基づく多重仮説追跡を実行することを可能とする。オンライン追跡段階では、３次元追跡は、衣服やマーカー等の特別な器材を必要とすることなく実行される。その代わりに、単眼ビデオシーケンスに基づく次元削減された状態においてモーションが追跡される。【選択図】図１
2009514111.tif 000002
【特許請求の範囲】
【請求項１】
３次元ヒューマンモーションを追跡する追跡方法であって、
前記追跡方法は、
各画像が、高次元空間を用いることによって表された第１のヒューマンモーションデータを有する２次元画像のシーケンスを受け付け、
オフライン学習段階から予測モデルを受け付け、
少なくとも一部が前記予測モデルに基づく低次元空間を用いることによって表された第２のヒューマンモーションデータを生成するために、前記第１のヒューマンモーションデータの次元を削減し、
少なくとも一部が前記第２のヒューマンモーションデータと前記２次元画像のシーケンスに基づく３次元追跡データを生成するステップ
を有する追跡方法。
【請求項２】
前記オフライン学習段階は、
３次元モーションデータを取得し、
前記３次元モーションデータを処理してポーズ情報を抽出し、
前記ポーズ情報を前記高次元空間から前記低次元空間へ双方向的に写像する、前記抽出されたポーズ情報に基づく次元削減モデルを学習し、
少なくとも一部が前記次元削減モデルに基づく予測モデルを生成するステップを含む
請求項１に記載の追跡方法。
【請求項３】
前記次元削減モデルを学習することには、
前記低次元空間においてクラスタを形成し、
前記クラスタを前記低次元空間においてガウス分布としてモデル化すること
を含む請求項２に記載の追跡方法。
【請求項４】
前記次元削減モデルを学習することは、
前記高次元空間を用いることによって表された第１のポーズ状態表示を局所的に近似する局所的非線形再構築加重を計算し、
前記第１のポーズ状態表示の次元を局所的に削減して、局所的に座標化された低次元空間を用いることによって表された第２のポーズ状態表示を形成するために因子分析法の混合を学習し、
前記局所的に座標化された低次元空間とグローバルに座標化された低次元空間の間を写像する列パラメータの１セットを決定し、
前記第２のポーズ状態表示と前記列パラメータに基づいてグローバルに座標化された低次元空間を用いることによって表された第３のポーズ状態表示を決定するステップを含む
請求項２に記載の追跡方法。
【請求項５】
前記次元削減モデルを学習することは、
ガウスプロセス潜在変数モデル（ＧＰＬＶＭ）アルゴリズムを適用することを含む
請求項２に記載の追跡方法。
【請求項６】
前記次元削減モデルを学習することは、
局所的線形座標化（ＬＬＣ）アルゴリズムを適用することを含む
請求項２に記載の追跡方法。
【請求項７】
前記予測モデルは、追跡対象の前記モーションのうち少なくとも１つのための学習された動的モデルにさらに基づく請求項２に記載の追跡方法。
【請求項８】
前記第１のヒューマンモーションデータは、関節角度ベクトルを含む
請求項１に記載の追跡方法。
【請求項９】
前記３次元追跡データを生成することは、
少なくとも一部が、前記予測モデルと前記画像のシーケンスにおける少なくとも１つの先行２次元画像に基づく、将来のタイムフレームにおける少なくとも１つの予測ポーズ状態を含む予測を生成し、
前記２次元画像のシーケンスから現在の２次元画像を受け付け、
少なくとも一部が前記現在の２次元画像に基づく前記予測を更新するステップを含む
請求項１に記載の追跡方法。
【請求項１０】
前記予測を更新することは、
前記現在の２次元画像と最もマッチする少なくとも１つの前記予測ポーズ状態の中から１つの最適なポーズ状態を選択することを含む
請求項９に記載の追跡方法。
【請求項１１】
前記３次元追跡データの生成には、
前記予測モデルと前記画像のシーケンス中の少なくとも１つの先行２次元画像に基づいて事前確率密度関数を生成し、
少なくとも１つの前記予測ポーズ状態と前記現在の２次元画像の間のマッチングコストに基づき尤度関数を生成し、
前記事前確率密度関数と前記尤度関数に基づき事後確率密度関数を生成すること
をさらに含む請求項９に記載の追跡方法。
【請求項１２】
前記第１のヒューマンモーションデータは、
少なくとも１つの自己オクルージョン、不明確なモーション又は大きな末端の動きを有するモーションを含む
請求項１に記載の追跡方法。
【請求項１３】
３次元ヒューマンモーションを追跡する追跡システムであって、
前記追跡システムは、
各画像が、高次元空間を用いることによって表された第１のヒューマンモーションデータを有する２次元画像のシーケンスを受け付ける画像受付手段と、
オフライン学習段階から予測モデルを受け付ける予測モデル受付手段と、
少なくとも一部が前記予測モデルに基づく低次元空間を用いることによって表された第２のヒューマンモーションデータを生成するために、前記第１のヒューマンモーションデータの次元を削減する次元削減手段と、
少なくとも一部が前記第２のヒューマンモーションデータと前記２次元画像のシーケンスに基づく３次元追跡データを生成する追跡手段と
を有する追跡システム。
【請求項１４】
前記オフライン学習段階は、
３次元モーションデータを取得する３次元取得手段と、
前記３次元モーションデータを処理してポーズ情報を抽出する処理手段と、
前記ポーズ情報を前記高次元空間から前記低次元空間へ双方向的に写像する、前記抽出されたポーズ情報に基づく次元削減モデルを学習するモデル学習手段と、
少なくとも一部が前記次元削減モデルに基づく予測モデルを生成する予測モデル生成手段と、
を有する請求項１３に記載の追跡方法。
【請求項１５】
前記次元削減モデルを学習するモデル学習手段は、
前記低次元空間においてクラスタを形成し、
前記クラスタを前記低次元空間においてガウス分布としてモデル化するクラスタスクリング手段を含む請求項１４に記載の追跡システム。
【請求項１６】
前記モデルを学習手段は、
前記高次元空間を用いることによって表された第１のポーズ状態表示を局所的に近似する局所的非線形再構築加重を計算する局所的近似手段と、
前記第１のポーズ状態表示の次元を局所的に削減して、局所的に座標化された低次元空間を用いることによって表された第２のポーズ状態表示を形成するために因子分析法の混合を学習する局所的次元削減手段と、
前記局所的に座標化された低次元空間とグローバルに座標化された低次元空間の間を写像する列パラメータの１セットを決定する列パラメータ決定手段と、
前記第２のポーズ状態表示と前記列パラメータに基づいてグローバルに座標化された低次元空間を用いることによって表された第３のポーズ状態表示を決定するグローバル座標化手段と、
を含む請求項１４に記載の追跡システム。
【請求項１７】
前記次元削減モデルを学習するモデル学習手段は、
ガウスプロセス潜在変数モデル（ＧＰＬＶＭ）アルゴリズムを適用するガウスプロセス潜在変数モデル手段を含む請求項１４に記載の追跡システム。
【請求項１８】
前記次元削減モデルを学習するモデル学習手段は、
局所的線形座標化（ＬＬＣ）アルゴリズムを適用する局所的線形座標化手段を含む請求項１４に記載の追跡方法。
【請求項１９】
前記予測モデルは、追跡対象の前記モーションのうち少なくとも１つのための学習された動的モデルにさらに基づく請求項１４に記載の追跡システム。
【請求項２０】
前記第１のヒューマンモーションデータは、関節角度ベクトルを含む
請求項１３に記載の追跡システム。
【請求項２１】
前記追跡手段は、
少なくとも一部が、前記予測モデルと前記画像のシーケンスにおける少なくとも１つの先行２次元画像に基づく、将来のタイムフレームにおける少なくとも１つの予測ポーズ状態を含む予測を生成する予測手段と、
前記２次元画像のシーケンスから現在の２次元画像を受け付ける現在２次元画像受け付け手段と、
少なくとも一部が前記現在の２次元画像に基づく前記予測を更新する予測更新手段と、
を有する請求項１３に記載の追跡システム。
【請求項２２】
前記予測更新手段は、
前記現在の２次元画像と最もマッチする少なくとも１つの予測ポーズ状態の中から１つの最適なポーズ状態を選択する選択手段を含む
請求項２１に記載の追跡システム。
【請求項２３】
前記追跡手段は、
前記予測モデルと前記画像のシーケンスにおける少なくとも１つの先行２次元画像に基づいて事前確率密度関数を生成する事前確率生成手段と、
少なくとも１つの前記予測ポーズ状態と前記現在の２次元画像の間のマッチングコストに基づき尤度関数を生成する尤度生成手段と、
前記事前確率密度関数と前記尤度関数に基づき事後確率密度関数を生成する事後確率生成手段と、
をさらに含む請求項２１に記載の追跡システム。
【請求項２４】
前記第１のヒューマンモーションデータは、
少なくとも１つの自己オクルージョン、不明確なモーション又は大きな末端の動きを有するモーションを含む
請求項１３に記載の追跡システム。
【請求項２５】
３次元ヒューマンモーションを追跡するためのコンピュータが実行可能なコードを記憶したコンピュータに読取り可能な媒体を含むコンピュータプログラム製品であって、
前記コンピュータが実行可能なコードは、
各画像が、高次元空間を用いることによって表された第１のヒューマンモーションデータを有する２次元画像のシーケンスを受け付け、
オフライン学習段階から予測モデルを受け付け、
少なくとも一部が前記予測モデルに基づく低次元空間を用いることによって表された第２のヒューマンモーションデータを生成するために、前記第１のヒューマンモーションデータの次元を削減し、
少なくとも一部が前記第２のヒューマンモーションデータと前記２次元画像のシーケンスに基づく３次元追跡データを生成するステップ
を実行するコンピュータプログラム製品。
【発明の詳細な説明】
【技術分野】
【０００１】
本出願は、“Monocular Tracking of 3D Human Motion with a Coordinated Mixture of Factor Analyzers”と題する米国特許仮出願第６０／７３１，３９９号、及び “Monocular Tracking of 3D Human Motion With a Coordinated Mixture of Factor Analyzer”と題する米国特許出願第１１／５５３，３８２号を基礎とする優先権を主張し、これらの出願はその全体がここに引用される。
【０００２】
本発明は、３次元ヒューマンモーションの追跡に関する。特に、本発明は単眼ビデオシーケンスの次元削減された空間中で、３次元人間関節動作を追跡するシステム及び方法に関する。
【背景技術】
【０００３】
人間関節動作の追跡は、ビデオ監視、ジェスチュア分析、ヒューマンコンピュータインタフェース、そしてコンピュータアニメーションを含む多くの適用において興味を持たれている。例えば、スポーツビデオゲームを創作する際、ゲームのキャラクターをリアルに動作させるためにアスリートの３次元動作を追跡することが望まれる。
生物医学の分野では、人間の関節の動作に関する問題を分析し解決する際に、３次元動作追跡は重要である。伝統的な３次元動作追跡においては、動作主体は特別なマーカーの付いたスーツを着て、複雑な３次元キャプチャシステムに録画される動作を実演する。
しかし、特別な設備や十分なスタジオ撮影時間を要することから、このような３次元モーションキャプチャシステムは高くつく。さらに、従来の３次元モーションキャプチャシステムは、相当な後処理作業を必要とし、この作業が、伝統的な３次元追跡方法をより高価で時間のかかるものにしている。
【０００４】
特別な衣服もマーカーも必要としない様々な追跡アルゴリズムが提案されてきている。多くのアルゴリズムが、２次元画像平面における身体動作を追跡する。それにより、複雑な３次元モデル又はカメラキャリブレーション情報に対するニーズは抑えられている。
しかし、多くの従来方法が可能なのは、２次元関節位置及び角度を推論することのみである。結果的に、多くの伝統的２次元方法は、物が物陰に隠れること（occlusion）を処理することが困難であり、精密な３次元情報が要求される場合には役に立たない。
【０００５】
２次元画像シーケンスに基づく３次元追跡アルゴリズムが提案されてきているものの、これは、相当な自由度を要求する詳細３次元関節モデルに頼っている。特に、粒子フィルタ法が追跡アプリケーションでは広く使われてきた。
しかし、ポーズ状態空間が高次元であるために、これらのアルゴリズムは従来より効率が悪かった。状態事後分布に十分近似するために必要となる粒子の数は、相当なメモリと処理能力が実装上要求されることを意味している。
【０００６】
メモリや処理能力の負担を軽減するために、削減された状態空間において粒子フィルタリング技術を開発するいくつかの試みが今までになされてきた。これらの努力は、おおまかにいって失敗に終わっており精密な追跡方法には至っていない。特に、提案されるアルゴリズムは、時間の経過とともに末端の肢の動きが発生する場合に失敗に帰する。
【発明の開示】
【発明が解決しようとする課題】
【０００７】
単眼ビデオシーケンスが所与である場合に、３次元関節ヒューマンモーションを追跡する効果的で精密なアルゴリズムが求められている。
【課題を解決するための手段】
【０００８】
本発明は、自己オクルージョン（self-occlusion）、不明瞭動作及び大きな末節動作が生じているときであっても、２次元ビデオシーケンスから３次元ヒューマンモーションを効率的かつ精密に追跡する方法を提供する。
オフライン学習段階においては、従来技術を用いる３次元モーションキャプチャデータが習得される。このとき、学習動作に基づいた予測モデルが生成される。オンライン段階においては、衣服やマーカーのような特別な器材なしで３次元追跡が実行される。代わりに、オフライン段階で生成された予測モデルに基づく単眼ビデオシーケンスから、３次元動作が追跡され得る。
【発明の効果】
【０００９】
従来の粒子フィルタリングに関連する高次元性の問題を克服するために、次元削減された状態において、動作が追跡される。関節の角度や位置が限定されていることに起因する多くの物理的制約によりヒューマンモーションは限定されている。これらの物理的制約を利用することによって、低次元潜在モデルが、高次元モーションキャプチャデータから引き出され得る。
確率的アルゴリズムが、オリジナルポーズの状態空間のサイズを縮小するための非線形次元削減を実行する。オフライン学習の間、複数の因子分析法の混合が学習される。各因子分析法が、ポーズ状態を局所的に近似する局所次元削減法として想定され得る。複数の局所因子分析法間の一致を実現する一式の線形混合関数を学習することによって複数の局所因子分析法間の全体的整合が完成される。
この公式化によって、オリジナルの身体ポーズ空間と低次元空間との間の容易な双方向写像が可能になる。
【００１０】
投影されたデータが、全体的に整合された低次元空間内のクラスタを形成する。このことにより、分布モデルに基づく多重仮説追跡アルゴリズムを引き出すことが可能になる。低次元空間において追跡することによって、粒子フィルタリングの速度は大きくなる。なぜならば、状態空間事後分布を適切に近似するために要する粒子数が有意に小さいからである。潜在空間内に形成された複数のクラスタを前提として、各クラスタ内で一時的な平滑さが実現される。
このように、本システムは、各クラスタの情報を時間の経過とともに増殖することにより、隣接時間ステップにおける人間の末節の大きな動きを正確に追跡することができる。
【００１１】
本明細書に記載される特徴や効果は限定されたものではなく、特に、図面、明細書及び特許請求の範囲を見た当業者には多くの追加的特徴や効果が明らかになるであろう。さらに、本明細書で使用される用語は、主として読みやすさや教育目的から選択されており、本発明の主旨を限定するために選択されているのではない。
【発明を実施するための最良の形態】
【００１２】
以降、本発明の好適な実施形態を、図面を参照しつつ説明する。同様の参照番号は同一の又は機能的に同様の要素を示している。また、各参照番号の最も左の数字は、その番号が最初に用いられた図の番号に対応している。
【００１３】
本明細書において、“ある実施形態”又は“１つの実施形態”と言う場合は、本発明の少なくとも１つの実施形態に、その実施形態に関連して記述される１つの特徴又は構造が含まれていることを意味する。本明細書のあちこちに“ある実施形態では”という語が出現しても、必ずしも同一の実施形態を指しているわけではない。
【００１４】
後記する詳細説明のいくつかの部分は、アルゴリズム用語や、コンピュータメモリ内のデータビット操作を示す象徴的な表現による。これらのアルゴリズム的な説明や表現は、情報処理分野の当業者が、自らの業績の要旨を、同分野の他の当業者に最も効率的に伝えるために用いる手段である。
アルゴリズムとは、ここでは、そして一般的にも、ある所望の結果に至る複数のステップ（命令）の首尾一貫したシーケンスのことを言う。
ステップとは、物理量に対する物理的操作を要求するステップのことである。通常それらの数値は、記憶され、転送され、合成され、比較されかつ操作され得る、電子的、磁気的又は光学的信号の形を取る。これらの信号のことを、ビット、値、要素、シンボル、文字、語又は番号等と呼ぶことが主として用語の共通化の理由から便宜である。
さらに、物理量に対する物理的操作を要求するステップの配列のうちいくつかのものは、一般性を失うことなく、モジュール又はコードデバイスと呼ぶことが便宜である。
【００１５】
しかし、このような用語の全ては適当な物理量と関連付けられており、これらの物理量に付された単なる便宜的なラベルに過ぎない。後記において特段の説明がない限り、明細書本文全体を通じて、“処理”、“コンピューティング”、“計算”、“決定”又は“表示”等の用語を用いた説明は、（電子的な）物理量としてのデータを、コンピュータシステムのメモリ、レジスタ又は他の情報ストレージのなかで操作しかつ変形するコンピュータシステムや同様の電子的コンピューティングデバイスの動作や処理のことを言う。
【００１６】
本発明のいくつかの側面は、アルゴリズムの形になったプロセスステップや命令を含む。本発明のプロセスステップや命令は、ソフトウエア、ファームウエア又はハードウエアによって実施され、ソフトウエアで実施される場合は、ダウンロードされることが可能であり、多様なオペレーティングシステムが用いる別のプラットフォームから操作されることも可能である。
【００１７】
本発明は、操作を実行する装置にも関する。この装置は、所与の目的を達成する専用装置であってもよいし、コンピュータに記憶されたコンピュータプログラムによって動作する汎用コンピュータであってもよい。
このようなコンピュータプログラムは、コンピュータが読取り可能な媒体に記憶され得る。その媒体とは、コンピュータシステムバスに接続可能な、フロッピーディスク、光ディスク、ＣＤ−ＲＯＭ、電磁光学的ディスク、ＲＯＭ、ＲＡＭ、ＥＰＲＯＭ、ＥＥＰＲＯＭ、電磁的又は光学的カード、ＡＳＩＣ又は電子的命令を記憶し得るあらゆる媒体を含むが、これらに限定されない。
さらに、本明細書で言うコンピュータは、単体のプロセッサを含んでもよいし、コンピュータ能力を増加させるために複数のプロセッサを用いた装置であってもよい。
【００１８】
ここでいうアルゴリズムやディスプレイは、もともと特定のコンピュータや他の装置に関係している訳ではない。ここで教示される内容に従って、プログラムとともに多様な一般目的システムが使用され得る。又は、必要とされる方法ステップを実行するためにさらに特化した装置を作成することも便宜である。これらのシステムのそれぞれについてどのような構成が必要となるかは、後記する明細書本文から明らかになる。
さらには、本発明は特定のプログラム言語を参照して記載されるものではない。本発明の教示を実装するために、多様なプログラム言語が使用され得る。後記において特定の言語に言及した場合、それは本発明の実施可能性及びベストモードを開示するためである。
【００１９】
さらに、本明細書で使用される言語は、主として読み易さ及び教育目的から選択されているのであって、本発明の主旨を限定するために選択されているのではない。従って、本発明の開示は、特許請求の範囲にて記述されている本発明の範囲を例示するものであるが限定するものではない。
【００２０】
図１は、本発明の一実施形態に係るコンピュータシステムである。コンピュータシステム１００は、入力装置１０２、主記憶装置１０４、中央制御装置１０６、出力装置１０８、及び画像処理装置１１０を有する。入力装置１０２は、ネットワーク１２０、データベース１３０及びビデオキャプチャユニット１４０と接続されている。出力装置１０８は、データベース１５０、ネットワーク１６０及びディスプレイ１７０と接続されている。
他の実施形態においては、入力装置は、ネットワーク１２０、データベース１３０及びビデオキャプチャユニット１４０のうちの１つ又は２つのみと接続されている。さらに他の実施形態においては、入力装置は、データをコンピュータシステムに入力する任意の装置と接続され得る。同様に、他の実施形態においては、出力装置は、データベース１５０、ネットワーク１６０、ディスプレイ１７０又は出力データを受け付け可能な他の装置のうちの１つ又は複数と接続されてもよい。他の実施形態においては、コンピュータシステムは、中央制御装置１０６、画像処理装置１１０又は他の専用処理装置のうちの１つ又は複数を有する。
【００２１】
図２は、本発明のある実施形態に係るブロック図である。本実施形態は、オフライン学習アルゴリズム２１０及びオフライン追跡アルゴリズム２２０を含んでいる。オフライン学習アルゴリズム２１０は、オンライン追跡アルゴリズム２２０によって使用される予測モデルを作成するために、３次元モーションキャプチャデータ２１２を用いる。オンライン追跡アルゴリズム２２０は、３次元追跡データ２２４を生成するために、２次元画像シーケンス２２２及び予測モデル２１５を用いる。
【００２２】
３次元モーションキャプチャデータ２１２は、オフライン段階の間、多様な従来技術により取得され得る。ある実施形態においては、動作主体が追跡可能なマーカーが付されたスーツを着て、ビデオカメラによって撮影される動作をする。
動作主体は、撮影され処理される一連の複数動作をしてもよい。さらに、３次元モーションキャプチャデータは、同様の動作をする複数の動作主体からも取得され得る。このことが、予測モデル２１５が引き出される元となる統計データを提供する。
【００２３】
図３（ａ）は、オフライン学習アルゴリズム２１０の一実施形態を要約した図である。
コンピュータシステム１００は、３次元モーションキャプチャデータ２１２を受け付ける（Ｓ３０２）。
ポーズ状態が、３次元モーションキャプチャデータから抽出される（Ｓ３０４）。このフィルタリングされていないポーズ状態は、高次元状態空間にあるので、メモリ容量を節約し処理効率を向上するために状態空間の次元を削減することが望ましい。
このポーズ状態の次元を高次元空間から低次元空間へ削減する時限削減モデルが学習される（Ｓ３０６）。選択的に、動的モデルが学習される（Ｓ３０８）。この動的モデルが学習されれば、予測モデル２１５をより効果的な追跡として最適化できる。
次元削減モデルに基づいて、及びある実施形態においては学習された動的モデルに基づいて仮説を生成する（Ｓ３１０）ことによって予測モデル２１５が形成される。
【００２４】
モーションキャプチャデータ２１２は、コンピュータシステム１００の入力装置１０２に対しインタフェースにより連結されているビデオキャプチャユニット１４０から受け付けられ得る。
他の実施形態においては、３次元モーションキャプチャデータは、データベース１３０から又はネットワーク１２０を通じて入力装置１０２によって受け付けられ得る。ポーズ状態を抽出する（Ｓ３０４）ために、３次元モーションキャプチャデータ２１２はコンピュータシステム１００によって処理されている。このポーズ状態は、動作中の動作主体の位置を完全に特定するデータを含む。本発明の好適なある実施形態では、抽出されたポーズ状態は関節角度のベクトルを含む。しかし、ポーズ状態は、そのポーズを完全に記述する任意のデータを含んでもよい。このデータは、関節、末節又は他の身体部分又は興味のある点の角度、位置、速度又は加速度を含み得る。
任意の数の従来技術が、未加工のモーションキャプチャデータ２１２からポーズ状態を抽出する（Ｓ３０４）ために使用されてもよい。
【００２５】
３次元モーションキャプチャデータ２１２は、例えば標準的なコンピュータプロセッサ１０６又は特殊な画像処理装置１１０によって処理される。さらに、ポーズ状態は、主記憶装置１０４によって記憶され又は出力装置１０８によって出力される。出力装置１０８は、ストレージとしての外部データベース１５０にインタフェースにより連結されており、又はネットワーク１６０又はディスプレイ１７０に対してデータを送信する。
【００２６】
次元削減モデルは抽出されたポーズ状態に基づいて学習される（Ｓ３０６）。次元削減モデルは、高次元モーションキャプチャデータから低次元潜在モデルを生成するために、ヒューマンモーションの物理的制約を利用する。
主成分分析（ＰＣＡ）及び以下を含む多くの次元削減アルゴリズムが知られており、局所的線形埋め込み（ＬＬＥ）は、“Roweis, et al.,Nonlinear Dimensionality Reduction by Locally Linear Embedding, Science 290,2000,2323-2326”に記載されている。
Isomapは、“Tenenbaum, et al.,A Global Geometric Framework for Nonlinear Dimensionality Reduction, Science 290,2000,2319-2323”に記載されている。
Laplacian Eigenmapsは、“Belkin, et al.,Laplacian Eigenmaps and Spectral Techniques for Embedding and Clustering, Advances in Natural Information Processing Systems(NIPS),2001,585-591”に記載されている。これらの文献はここにその全体が引用される。
これらの従来技術は、３次元ヒューマンモーションを固有の非線形動作として処理することはできるが、典型的には逆写像不能である。ある実施形態においては、回帰方法（例えばRadial Basis Function）が低次元空間から高次元空間への逆写像を学習するために用いられる。
【００２７】
ある好適な実施形態においては、逆写像可能な次元削減モデルが使用される。オリジナルのヒューマンポーズ空間に粒子を戻す逆写像は、オンライン追跡の間に回帰方法を用いずに画像測定を行う場合には、粒子の重み付けを再度行うことが可能になる。反転写像を提供する次元削減技術の例としては以下がある。
Chartingは、“Brand,Charting a Manifold,NIPS,2001,961-968”に記載されている。
局所的線形座標化(ＬＬＣ)は、“Teh,et al.,Automatic Alignment of Local Representation,NIPS,2002,841-848”に記載されている。
ガウスプロセス潜在変数モデル（ＧＰＬＶＭ）は、“Lawrence,Gaussian Process Models for Visualization of High Dimensional Data,NIPS,2003”に記載されている。これらの文献はここにその全体が引用される。
【００２８】
ある実施形態においては、次元削減モデルはＬＬＣアルゴリズムに基づいている。この実施形態では、グローバル座標系の中で非線形次元削減とクラスタリングを並行して実行するために確率アルゴリズムが用いられる。投影されたデータは、グローバル座標化された低次元空間内でクラスタを形成する。局所的次元削減として行動するそれぞれの因子分析法とともに、因子分析法の混合が学習される。代替的な実施形態においては、ＧＰＬＶＭアルゴリズム又は他の次元削減アルゴリズムが使用される。
【００２９】
因子分析法の混合（ＭＦＡ）において、ローカル座標系をグローバル座標化するモデルが当業者に知られている。例えば“Roweis,et al.Global Coordination of Local Linear Models,NIPS,2001,889-896”があり、ここにその全体が引用される。それぞれの因子分析法（ＦＡ）は、局所的次元削減手段と見なすことができる。
高次元データyとそのグローバル座標gの両方が、潜在変数であるsとzsの同じセットから生成される。ここで、各離散隠れ変数sとは、s番目のＦＡのことを言い、各連続隠れ変数zsとは、s番目のＦＡにおける低次元のローカル座標を示す。
2009514111.tif 000003
【００３０】
【数１】
2009514111.tif 000004
【００３１】
ここで、TLsとTGsは、変換行列である。μsとκsは、座標系間での均一な平行移動項である。
2009514111.tif 000005
【００３２】
【数２】
2009514111.tif 000006
【００３３】
zsが消去されると、この式は次の式（３）となる
【００３４】
【数３】
2009514111.tif 000007
【００３５】
データ点ynに条件付けられたグローバル座標gの推測値は次の式（４）及び式（５）のように書き直される。
【００３６】
【数４】
2009514111.tif 000008
【００３７】
式１が所与である場合、p(g|s, zs)とp(zs|s, yn)はガウス分布であり、p(g|yn,s)もガウス分布となる。p(s|yn) ∝ p(yn|s)p(s)が計算され重みとみなされるので、p(g|yn)は本質的にガウス分布の混合である。
【００３８】
ある実施形態においては、ローカルモデルの混合上の２段階学習アルゴリズムのレバレッジ効果は、前記したＴｅｈらが記述したように、点を大きなグループにして取り込んでいく。グローバル座標化においては、このアルゴリズムは、個別のデータ点というよりむしろグループとともに働く。２段階次元削減モデルが図４に図示されている。もとの空間の１つのデータ点であるyn４０２は、因子分析法Sによって特徴付けられる。最初に、y４０２と (s, zs)４０６の間のＭＦＡが、“Ghahramani,et al.,The EM Algorithm for Mixtures of Factor Analyzers,Technical Report CRG-TR-96-1,University of Tronto,1996”に記載された方法を用いて学習される。この文献はここにその全体が引用される。学習されたＭＦＡモデルが所与である場合、znsの組４０６は、データ点yn毎の、s番目のＦＡにおける予測ローカル座標である。rnsの組４０４は、尤度p(yn| s)を意味する。rn４０４のセットが、各局所的次元削減手段の責任範囲を与える一方、zn４０６は、局所的次元削減手段として機能する。重みが付けられた組み合わせun４０８は、rnとznから次式のように形成される。
【００３９】
【数５】
2009514111.tif 000009
このとき、式（１）及び式（２）から、gn４１２すなわちyn４０２の予測グローバル座標が次の式（６）のように定義される。
【００４０】
【数６】
2009514111.tif 000010
【００４１】
列パラメータL４１０は、重みを付された組み合わせun４０８から、式（６）によってグローバル座標化された潜在空間におけるグローバル座標gn４１２への写像がなされる。G = [g1, g2, . . . , gN]Tは、すべてのデータセット（座標化されたデータ点に対応するGの列）のグローバル座標とし、またU = [u1, u2, . . . , uN]Tとする。こうすることによって、G= ULと単純に記すことができる。Lを決定するために、gnを左右するトポロジー制約を組み込むコスト関数が最小化されなければならない。ある実施形態においては、前記の通りRoweisが“Nonlinear Dimensionality Reduction by Locally Linear Embedding”に記載しているように、そのコスト関数は、ＬＬＥに基づく。
【００４２】
図５は、列パラメータL及びグローバル座標Gを計算する次元削減モデルを学習する（Ｓ３０６）ための方法の１つの実施形態を示す。局所的線形構築加重が、まず計算される（Ｓ５０２）。次に、因子分析法の混合が局所的次元削減手段として学習される（Ｓ５０４）。局所的線形構築加重は、加重組み合わせ行列を形成する（Ｓ５０６）ために結合される。加重組み合わせ行列をグローバル座標系に写像するために、最適列パラメータが決定される（Ｓ５０８）。グローバル座標は、加重組み合わせ行列と列パラメータから決定される（Ｓ５１０）。
【００４３】
前記したように式（７）を用いて局所的線形再構築加重が計算される（Ｓ５０２）。
2009514111.tif 000011
【００４４】
【数７】
2009514111.tif 000012
【００４５】
ここで、学習データ点のセットは、Y = [y1, y2, . . . , yN]Tである。ここでYの各列は学習データ点に対応している。重みwnmは、ユニークであり、制約付最小２乗法によって求められ得る。これらの重みは、ynとその近隣データとの間の局所的線形関係を示している。
【００４６】
前記のように、行列Uは因子分析法の混合によって形成される（Ｓ５０６）。そして行列A及びBが、後記する式（８）〜（１０）から計算される。
【００４７】
この計算のために、次式（８）のコスト関数が定義される。
【００４８】
【数８】
2009514111.tif 000013
【００４９】
ここで、A = U(I-WT )(I-W)UTである。Gが、平行移動、回転及び拡大縮小に対して不変であることを保証するために、次式（９）及び（１０）の制約条件が定義される。
【００５０】
【数９】
2009514111.tif 000014
【００５１】
2009514111.tif 000015
コスト関数式（８）及び制約式（１０）の両方は、二次方程式であり、最適列パラメータLは、一般化された固有値問題を解くことによって決定される（Ｓ４０８）。d << Dを、そこからyが生成される基礎となる多様体の次元数とする。ある実施形態では、Dは典型的には５０前後であり得、dは典型的には３前後の値を有し得る。しかし、これらの値は、興味ある特異性問題に依存して変化し得る。Av = λBvから解かれるベクトルのうち、小さいほうから数えて２番目から(d+1)番目のベクトルが、Lの列を形成する。グローバル座標がG = ULから決定される（Ｓ５１０）。
【００５２】
前記した２段階の学習プロセスを通じて、図６に示されるように、グローバル座標化された潜在空間内にクラスタが入手される。各クラスタは、固有の平均ベクトル及び共分散行列を有する、潜在空間内のガウス分散としてモデル化される。各楕円体６０２は、潜在空間６００内のクラスタを示しており、クラスタの平均は質量中心６０４であり、共分散は楕円体６０２の軸である。このクラスタベースの表示法は、多重仮説追跡の直線的なアルゴリズムに行き着く。
【００５３】
図３を参照すると、これから追跡されるべき特定のモーションのために一つの動的モデルが選択的に学習される（Ｓ３０８）。この動的モデルは、個々の粒子が時間を通じてどのように移動するかを予測する。ある実施形態において、ある別の動的モデルが動作毎に学習され得る。動的モデルを学習する（Ｓ３０８）ことは、予測モデルを最適化し、興味ある特定のモーションについてのより精密な追跡及びより削減された計算を考慮に入れる。
しかし、連続的な追跡が、動的モデルを学習することなく可能でもある。従って、いくつかの実施形態では、このステップは省略される。ある実施形態では、学習された動的モデルに代わって、ランダム歩行モデルが使用される。このモデルは、より汎用的であり、任意のモーションを追跡するのに適用され得る。
【００５４】
修正された多重仮説追跡アルゴリズムを使用することによって、オンライン追跡アルゴリズム２２０は、３次元のポーズ状態を追跡する。このような技術の例は、“Isard,et al.,CONDENSATION:Conditional Density Propagation for Visual Tracking,International Journal of Computer Vision(IJCV),29,1998,5-28”、“Cham,et al.,A Multiple Hypothesis Approach to Figure Tracking,Proc.IEEE Conf.on Computer Vision and Pattern Recognition(CVPR),1999,239-245”、“Toyama, et al.,Probabilistic Tarcking in a Metric Space,Proc.IEEE International Conf.on Computer Vision(ICCV),2001,5057”、“Sidenbladh,et al.,Stochastic Tracking of 3D Human Figures Using 2D Image Motion Proc.European Conf. on Computer Vision(ECCV),2000,702-718”、“Siedenbladh,et al.,Learning Image Statistics for Bayesian Tracking,Proc.ICCV,2001,709-716”、“Elgammal,et al.,Inferring 3D Body Pose From Silhouettes Using Activity Manifold Learning,CVPR,2004,681-688”、“Grochow,et al.,Style-based Inverse Kinematics,ACM Computer Graphics(SIGGRAPH),2004,522-531”、“Safonova,et al.,Synthesized Physically Realistic Human Motion in Low Dimensional Behavior Specific Spaces, SIGGRAPH,2004,514-521”、“Sminchisescu,et al.,Generative Modeling for Continuous Non-linearly Embedded Visual Inference,Porc.IEEE International Conf. on Machine Learning,2004,140-147”、“Tian,et al.,Tracking Human Body Pose on a Learned Smooth Space,Technical Report 2005-029,Boston University,2005”及び“Urtasun,et al.,Priors for People Tracking from Small Training Sets,Proc.IEEE International Conf.on Computer Vision,2005,403-410”に記載されており、これらの文献はここにその全体が引用される。
【００５５】
この多重仮説追跡の最頻値は、組み込まれた空間において、時間の経過とともに増加する。３次元人間関節追跡への適用において、各時点の追跡状態ベクトルは、Xt = (Pt, gt)で表される。Ptは、骨盤（３次元ヒューマンモデルの運動学連鎖の起点である）の３次元位置であり、gtは潜在空間におけるその位置である。
一旦追跡状態が初期化されると、フィルタリングベースの追跡アルゴリズムは、その追跡状態を上回る時間展開確立分布を維持する。Ztを過去の画像観測集合(すなわち Zt = {z1, z2, . . . , zt})とする。Xtが与えられたとき、ztはZt-1から独立であると仮定すると、次式（１１）の標準方程式が適用になる。
【００５６】
【数１０】
2009514111.tif 000016
【００５７】
学習されたＬＬＣモデルとともに多重仮説追跡法（ＭＨＴ）は、３次元モーション追跡法を提供する。ＬＬＣが潜在空間においてグローバル座標での１ステップとしてクラスタ
を提供するように、ＭＨＴ（p(g|zs, s)はガウス分布に従う）の初期モードとしてクラスタの中心を使用することは当然である。
各クラスタで、潜在空間内の点がオリジナル空間内の他の各ポーズに相似のポーズを表す場合は、１つの単純な動的モデルがフィルタリングアルゴリズムの予測ステップで適用され得る。ある実施形態では、その方式は、潜在空間の１つの単純な定速度予測法を通過する。他の実施形態では、この動的モデルは使用されない。
【００５８】
図３（ｂ）は、オンライン追跡方法２２０の実施形態を要約している。次のタイムフレームにおけるポーズ状態が、予測モデル２１５に基づいて予測される（Ｓ３２２）。ある実施形態においては、この予測は、予測モデルに基づいて、最もありそうなポーズ状態の複数候補を生成する。予測されたタイムフレームに対応する２次元画像がビデオシーケンスから受け付けられる（Ｓ３２４）。
予測ポーズ状態が、２次元画像情報に基づいて更新される（Ｓ３２６）。ある実施形態においては、この更新は、ポーズ状態の複数の予測候補から、この２次元画像内のデータに最もマッチするポーズ状態を選択することを含む。タイムフレームが進み（Ｓ３２８）、２次元ビデオのフレーム毎にこの処理が繰り返される。
【００５９】
図７は、オンライン追跡段階２２０で実行される計算処理を要約している。事前確率密度関数が計算される（Ｓ７０２）。この関数は、予測モデル２１５及びすべての過去の画像観測に基づく。ある実施形態では、次のタイムフレームにおけるポーズ状態を予測する（Ｓ３２２）ために、事前確率密度関数の最頻値が、１つの単純な定速度予測法を通過する。式（１１）では、事前確率密度関数は、p(Xt | Zt-1)によって表される。
【００６０】
尤度関数が、２次元画像シーケンスからの２次元画像を（Ｓ３２４）で受け付けることに基づいて計算される（Ｓ７０４）。現在の予測及び入力ビデオフレーム毎に尤度を計算するために、現在のビデオフレームのシルエットが背景を削減することにより抽出される。予測モデルがこのとき画像上に投影され、投影されたモデルと画像シルエットとの間マッチングコスト面は、負の対数尤度に比例しているものとみなされる。ある実施形態では、投影されたモデルは、“Sigal,et al.,Tracking Loose-limbed People.,CVPR,2004,
421-428”に記載されているように一群の円筒形からなる。標本のマッチングコストを計算し、各尤度モードに関連付けられた局所的統計を計測することによって、予測されたポーズ状態が更新される（Ｓ３２６）。式（１１）では、尤度関数は、p(zt | Xt)によって表される。
【００６１】
式（１１）を通じて事後確率密度関数が計算される（Ｓ７０６）。ここで、事後確率密度関数は、p(Xt | Zt)によって表される。タイムフレームが進み（Ｓ７０８）、ビデオのタイムフレーム毎にこの計算が繰り返される。
【００６２】
ここで提案されるＭＨＴアルゴリズムは、従来技術とは、多くの点で異なる。例えば、本発明は、原則に基づいて候補を生成するために潜在空間を使用する。この点が、最頻値が経験的に選択され、分布は区分的ガウス分布であるとみなす従来技術とは対照をなす。提案されたアルゴリズムで、オフライン学習アルゴリズム（ＬＬＣ）がクラスタ（各クラスタは、潜在空間内のガウス分布によって描写される）を形成している間に、潜在空間から生成される標本が区分的ガウス分布から引き出される。潜在空間内でクラスタの統計値が所与の場合、時間の経過とともに増加する最頻値の選択は、直線的になる。
【００６３】
本発明の特定の実施形態や適用がここでは例示されているが、本発明は、ここで開示された詳細構成に限定されることはなく、特許請求の範囲に規定された本発明の主旨を逸脱することなく本発明の方法及び装置の配置、操作及び詳細に修正や変更を加えることが可能である。
【図面の簡単な説明】
【００６４】
【図１】本発明の方法を実行するためのコンピュータシステムの一例である。
【図２】本発明のある実施形態を示すブロック図である。
【図３】（ａ）は、３次元モーション追跡で使用される予測モデルを生成するためのオフライン学習アルゴリズムである。（ｂ）は、単眼ビデオシーケンス及びオフライン学習段階で生成された予測モデルが所与である場合に、３次元ヒューマンモーションを追跡するためのオンライン追跡アルゴリズムである。
【図４】本発明のある実施形態による次元削減アルゴリズムである。
【図５】次元削減モデルの学習プロセスを示すブロック図である。
【図６】次元削減アルゴリズムの結果として、低次元空間におけるクラスタスクリングを示した図である。
【図７】本発明のある実施形態によるオンライン追跡の間に実行される処理を示すフロー図である。
【図１】
2009514111.tif 000017
【図２】
2009514111.tif 000018
【図３】
2009514111.tif 000019
【図４】
2009514111.tif 000020
【図５】
2009514111.tif 000021
【図６】
2009514111.tif 000022
【図７】
2009514111.tif 000023
【国際調査報告】
2009514111.tif 000024