【手続補正書】
【提出日】平成21年7月14日(2009.7.14)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
被写体の３次元モーションを追跡する追跡方法であって、
前記追跡方法は、
２次元画像シーケンスを受け付け、
オフライン学習プロセスにおいて学習され、低次元ポーズ空間と前記低次元ポーズ空間よりも高い次元を有する高次元ポーズ空間との間における前記被写体のポーズ情報の写像を特定する予測モデルを受け付け、
前記低次元ポーズ空間において、前記予測モデルに基づいて前記被写体の予測ポーズ状態を生成し、
少なくとも部分的に、前記予測ポーズ状態及び前記２次元画像シーケンスに基づき、前記高次元ポーズ空間において前記モーションを追跡する３次元追跡データを生成するステップを含み、
前記オフライン学習プロセスは、
３次元モーションデータを取得し、
前記３次元モーションデータを処理して訓練ポーズ情報を抽出し、
前記訓練ポーズ情報を前記高次元ポーズ空間から前記低次元ポーズ空間へ双方向的に写像する、前記抽出された訓練ポーズ情報に基づく次元削減モデルを学習し、
少なくとも一部が前記次元削減モデルに基づく前記予測モデルを生成するステップを含むこと、
を特徴とする追跡方法。
【請求項２】
前記次元削減モデルを学習することには、
前記低次元ポーズ空間においてクラスタを形成し、
前記クラスタを前記低次元ポーズ空間においてガウス分布としてモデル化すること
を含む請求項１に記載の追跡方法。
【請求項３】
前記次元削減モデルを学習することは、
前記高次元空間を用いることによって表された第１のポーズ状態表示を局所的に近似する局所的非線形再構築加重を計算し、
前記第１のポーズ状態表示の次元を局所的に削減して、局所的に座標化された低次元空間を用いることによって表された第２のポーズ状態表示を形成するために因子分析法の混合を学習し、
前記局所的に座標化された低次元空間とグローバルに座標化された低次元空間の間を写像する列パラメータの１セットを決定し、
前記第２のポーズ状態表示と前記列パラメータに基づいてグローバルに座標化された低次元空間を用いることによって表された第３のポーズ状態表示を決定するステップを含む
請求項１に記載の追跡方法。
【請求項４】
前記次元削減モデルを学習することは、
ガウスプロセス潜在変数モデル（ＧＰＬＶＭ）アルゴリズムを適用することを含む
請求項１に記載の追跡方法。
【請求項５】
前記次元削減モデルを学習することは、
局所的線形座標化（ＬＬＣ）アルゴリズムを適用することを含む
請求項１に記載の追跡方法。
【請求項６】
前記予測モデルは、追跡対象である少なくとも１つのモーションのための学習された動的モデルにさらに基づく
請求項１に記載の追跡方法。
【請求項７】
前記訓練ポーズ情報は、関節角度ベクトルを含む
請求項１に記載の追跡方法。
【請求項８】
被写体の３次元モーションを追跡する追跡システムであって、
前記追跡システムは、
２次元画像シーケンスを受け付ける画像受付手段と、
オフライン学習プロセスにおいて学習され、低次元ポーズ空間と前記低次元ポーズ空間よりも高い次元を有する高次元ポーズ空間との間における前記被写体のポーズ情報の写像を特定する予測モデルを受け付けるモデル受付手段と、
前記低次元ポーズ空間において、前記予測モデルに基づいて前記被写体の予測ポーズ状態を生成するポーズ予測手段と、
少なくとも部分的に、前記予測ポーズ状態及び前記２次元画像シーケンスに基づき、前記高次元ポーズ空間において前記モーションを追跡する３次元追跡データを生成する追跡手段と、を含み、
前記オフライン学習手段は、
３次元モーションデータを取得する３次元取得手段と、
前記３次元モーションデータを処理して訓練ポーズ情報を抽出する処理手段と、
前記訓練ポーズ情報を前記高次元ポーズ空間から前記低次元ポーズ空間へ双方向的に写像する、前記抽出された訓練ポーズ情報に基づく次元削減モデルを学習するモデル学習手段と、
少なくとも一部が前記次元削減モデルに基づく前記予測モデルを生成する予測モデル生成手段と、を含むこと、
を特徴とする追跡システム。
【請求項９】
前記次元削減モデルを学習するモデル学習手段は、
前記低次元ポーズ空間においてクラスタを形成し、
前記クラスタを前記低次元ポーズ空間においてガウス分布としてモデル化するクラスタスクリング手段を含む請求項８に記載の追跡システム。
【請求項１０】
前記モデルを学習手段は、
前記高次元空間を用いることによって表された第１のポーズ状態表示を局所的に近似する局所的非線形再構築加重を計算する局所的近似手段と、
前記第１のポーズ状態表示の次元を局所的に削減して、局所的に座標化された低次元空間を用いることによって表された第２のポーズ状態表示を形成するために因子分析法の混合を学習する局所的次元削減手段と、
前記局所的に座標化された低次元空間とグローバルに座標化された低次元空間の間を写像する列パラメータの１セットを決定する列パラメータ決定手段と、
前記第２のポーズ状態表示と前記列パラメータに基づいてグローバルに座標化された低次元空間を用いることによって表された第３のポーズ状態表示を決定するグローバル座標化手段と、
を含む請求項８に記載の追跡システム。
【請求項１１】
前記次元削減モデルを学習するモデル学習手段は、
ガウスプロセス潜在変数モデル（ＧＰＬＶＭ）アルゴリズムを適用するガウスプロセス潜在変数モデル手段を含む請求項８に記載の追跡システム。
【請求項１２】
前記次元削減モデルを学習するモデル学習手段は、
局所的線形座標化（ＬＬＣ）アルゴリズムを適用する局所的線形座標化手段を含む請求項８に記載の追跡システム。
【請求項１３】
前記予測モデルは、追跡対象である少なくとも１つのモーションのための学習された動的モデルにさらに基づく請求項８に記載の追跡システム。
【請求項１４】
前記訓練ポーズ情報は、関節角度ベクトルを含む
請求項８に記載の追跡システム。
【請求項１５】
被写体の３次元モーションを追跡するためのコンピュータが実行可能なプログラムであって、
前記プログラムは、コンピュータに対し、
２次元画像シーケンスを受け付け、
オフライン学習プロセスにおいて学習され、低次元ポーズ空間と前記低次元ポーズ空間よりも高い次元を有する高次元ポーズ空間との間における前記被写体のポーズ情報の写像を特定する予測モデルを受け付け、
前記低次元ポーズ空間において、前記予測モデルに基づいて前記被写体の予測ポーズ状態を生成し、
少なくとも部分的に、前記予測ポーズ状態及び前記２次元画像シーケンスに基づき、前記高次元ポーズ空間において前記モーションを追跡する３次元追跡データを生成するステップを実行させ、
前記オフライン学習プロセスは、
３次元モーションデータを取得し、
前記３次元モーションデータを処理して訓練ポーズ情報を抽出し、
前記訓練ポーズ情報を前記高次元ポーズ空間から前記低次元ポーズ空間へ双方向的に写像する、前記抽出された訓練ポーズ情報に基づく次元削減モデルを学習し、
少なくとも一部が前記次元削減モデルに基づく前記予測モデルを生成するステップを含むこと、
を特徴とするプログラム。
【請求項１６】
被写体の３次元モーションを追跡する追跡方法であって、
前記追跡方法は、
２次元画像シーケンスを受け付け、
オフライン学習プロセスにおいて学習され、低次元ポーズ空間と前記低次元ポーズ空間よりも高い次元を有する高次元ポーズ空間との間における前記被写体のポーズ情報の写像を特定する予測モデルを受け付け、
前記低次元ポーズ空間において、前記予測モデルに基づいて前記被写体の予測ポーズ状態を生成し、
少なくとも部分的に、前記予測ポーズ状態及び前記２次元画像シーケンスに基づき、前記高次元ポーズ空間において前記モーションを追跡する３次元追跡データを生成するステップを含み、
前記３次元追跡データを生成することは、
前記予測モデル及び前記画像シーケンスにおける少なくとも１つの先行２次元画像に基づき事前確率密度関数を生成し、
前記予測ポーズ状態と現在の２次元画像との間をマッチングコストに基づき尤度関数を生成し、
前記事前確率密度関数及び前記尤度関数に基づき事後確率密度関数を生成することを含むこと、
を特徴とする追跡方法。
【請求項１７】
前記３次元追跡データを生成することは、
前記２次元画像シーケンスから１つの現在の２次元画像を受け付け、
少なくとも部分的に、前記現在の２次元画像に基づき前記予測ポーズ状態を更新することを含む
請求項１６に記載の追跡方法。
【請求項１８】
前記予測ポーズ状態を更新することは、
前記現在の２次元画像に最も合致する１つの最適ポーズ状態を選択することを含む
請求項１７に記載の追跡方法。
【請求項１９】
被写体の３次元モーションを追跡するためのコンピュータが実行可能なプログラムであって、
前記プログラムは、コンピュータに対し、
２次元画像シーケンスを受け付け、
オフライン学習プロセスにおいて学習され、低次元ポーズ空間と前記低次元ポーズ空間よりも高い次元を有する高次元ポーズ空間との間における前記被写体のポーズ情報の写像を特定する予測モデルを受け付け、
前記低次元ポーズ空間において、前記予測モデルに基づいて前記被写体の予測ポーズ状態を生成し、
少なくとも部分的に、前記予測ポーズ状態及び前記２次元画像シーケンスに基づき、前記高次元ポーズ空間において前記モーションを追跡する３次元追跡データを生成するステップを実行させ、
前記３次元追跡データを生成するステップは、
前記予測モデル及び前記画像シーケンスにおける少なくとも１つの先行２次元画像に基づき事前確率密度関数を生成し、
前記予測ポーズ状態と現在の２次元画像との間をマッチングコストに基づき尤度関数を生成し、
前記事前確率密度関数及び前記尤度関数に基づき事後確率密度関数を生成することを含むこと
を特徴とするプログラム。
【請求項２０】
前記３次元追跡データを生成するステップは、
前記２次元画像シーケンスから１つの現在の２次元画像を受け付け、
少なくとも部分的に、前記現在の２次元画像に基づき前記予測ポーズ状態を更新することを含む
請求項１９に記載のプログラム。
【請求項２１】
前記予測ポーズ状態を更新するステップは、
前記現在の２次元画像に最も合致する１つの最適ポーズ状態を選択することを含む
請求項２０に記載のプログラム。
【請求項２２】
３次元ヒューマンモーション追跡のための予測モデルを学習する学習方法であって、
前記学習方法は、
３次元モーションデータを取得し、
前記３次元モーションデータを処理してポーズ情報を抽出し、
前記ポーズ情報を前記高次元空間から前記低次元空間へ双方向的に写像する、前記抽出されたポーズ情報に基づく次元削減モデルを学習し、
少なくとも一部が前記次元削減モデルに基づく予測モデルを生成するステップを含む
ことを特徴とする学習方法。
【請求項２３】
前記次元削減モデルを学習することには、
前記低次元空間においてクラスタを形成し、
前記クラスタを前記低次元空間においてガウス分布としてモデル化すること
を含む
請求項２２に記載の学習方法。
【請求項２４】
前記次元削減モデルを学習することは、
局所的非線形再構築加重を計算して、前記高次元空間を用いることによって表された第１のポーズ状態表示を局所的に近似し、
因子分析法の混合を訓練して、前記第１のポーズ状態表示の次元を局所的に削減して、局所的に座標化された低次元空間を用いることによって表された第２のポーズ状態表示を形成し、
前記局所的に座標化された低次元空間とグローバルに座標化された低次元空間の間を写像する列パラメータの１セットを決定し、
前記第２のポーズ状態表示と前記列パラメータに基づいてグローバルに座標化された低次元空間を用いることによって表された第３のポーズ状態表示を決定することを含む
請求項２２に記載の学習方法。
【請求項２５】
３次元ヒューマンモーションの追跡のための予測モデルを学習する、コンピュータが実行可能なプログラムであって、
前記プログラムは、コンピュータに対し、
３次元モーションデータを取得し、
前記３次元モーションデータを処理して訓練ポーズ情報を抽出し、
前記訓練ポーズ情報を前記高次元ポーズ空間から前記低次元ポーズ空間へ双方向的に写像する、前記抽出された訓練ポーズ情報に基づく次元削減モデルを学習し、
少なくとも一部が前記次元削減モデルに基づく前記予測モデルを生成するステップを実行させること、
を特徴とするプログラム。
【請求項２６】
前記次元削減モデルを学習することには、
前記低次元空間においてクラスタを形成し、
前記クラスタを前記低次元空間においてガウス分布としてモデル化すること
を含む請求項２５に記載のプログラム。
【請求項２７】
前記次元削減モデルを学習することには、
局所的非線形再構築加重を計算して、前記高次元空間を用いることによって表された第１のポーズ状態表示を局所的に近似し、
因子分析法の混合を訓練して、前記第１のポーズ状態表示の次元を局所的に削減して、局所的に座標化された低次元空間を用いることによって表された第２のポーズ状態表示を形成し、
前記局所的に座標化された低次元空間とグローバルに座標化された低次元空間の間を写像する列パラメータの１セットを決定し、
前記第２のポーズ状態表示と前記列パラメータに基づいてグローバルに座標化された低次元ポーズ空間を用いることによって表された第３のポーズ状態表示を決定するステップを含む
請求項２５に記載のプログラム。