【手続補正書】
【提出日】平成21年10月23日(2009.10.23)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
人体モーションを認識し、追跡する方法であって、
前記方法は、
任意のモーションクラスに属し、高次元空間で表現されたポーズ状態のシーケンスを含んでいる少なくとも１つのモーションを有する人体モーションの表現を受信し、
判別モデルを受信し、
前記ポーズ状態のシーケンスを高次元空間から低次元空間に射影し、前記判別モデルを用いて、前記低次元空間において異なるモーションクラスに属するモーションどうしを判別し、
前記低次元空間に射影された第１のポーズ状態についてＰ個の最近傍点を決定し、このＰ個の最近傍点はＰ個の異なるモーションクラスに属し、
前記Ｐ個の異なるモーションクラスについてＰ個のポーズ予測を決定し、
前記人体モーションの表現の現在のフレームに最もフィットするポーズ予測を決定する
ことを含むことを特徴とする人体モーションの追跡方法。
【請求項２】
前記人体モーションの表現の現在のフレームに最もフィットするポーズ予測を決定することは、
前記判別モデルに基づいて前記高次元空間において少なくとも１つのポーズ予測を再構成し、
前記高次元空間で表された前記少なくとも１つのポーズ予測と、前記人体モーションの表現の現在のフレームとの最適なフィッティングを決定する
ことを含むことを特徴とする請求項１に記載の人体モーション追跡方法。
【請求項３】
前記最適なフィッティングの決定は、
四肢、胴体部および頭部に相当する形状の人体部位と関節との座標を含んだモデルを用いて前記現在のフレームを表わし、
前記人体モデルを用いて前記高次元空間における各ポーズ予測を表わし、
前記人体モデルに基づいて前記現在のフレームに最適にフィットする前記ポーズ予測を選択する
ことを含むことを特徴とする請求項２に記載の人体モーションの追跡方法。
【請求項４】
前記人体モデルは、色ヒストグラム、勾配配向ヒストグラムおよび色距離ヒストグラムの１つ以上を含んだ人体部位の記述子を含むことを特徴とする請求項３に記載の人体モーションの追跡方法。
【請求項５】
前記Ｐ個のポーズ予測を決定することは、
前記各最近傍点のモーションの種類を決定し、
前記モーションの種類に基づいて、学習ステージで学習したダイナミックモデルを前記各最近傍点に適用する
ことを含むことを特徴とする請求項１に記載の人体モーションの追跡方法。
【請求項６】
前記判別モデルは学習ステージで受信され、
前記学習ステージは、
モーションキャプチャ ソースから、第１のモーションクラスに属する第１のモーションと、前記第１のモーションクラスとは異なる第２のモーションクラスに属する第２のモーションとを含んだモーションキャプチャ データを受信し、
前記モーションキャプチャ データを処理して、前記第１のモーションを表す第１のポーズ状態のシーケンスと、前記第２のモーションを表す第２のポーズ状態のシーケンスとを抽出し、
前記第１のポーズ状態のシーケンスと前記第２のポーズ状態のシーケンスとを低次元空間に射影し、前記低次元空間における前記第１のモーションクラスと前記第２のモーションクラスとの判別を行う判別モデルを学習し、
クラスタ化アルゴリズムを用いて、前記低次元空間において時間的に連続するデータをモーション セグメントにクラスタ化し、
前記モーションセグメントごとにダイナミックモデルを学習して、前記低次元空間においてモーション予測を生成する
ことを含むことを特徴とする請求項１に記載の人体モーションの追跡方法。
【請求項７】
前記クラスタ化アルゴリズムにはk-meansクラスタ化アルゴリズムが含まれることを特徴とする請求項６に記載の人体モーションの追跡方法。
【請求項８】
前記判別モデルの学習には、LDEモデルを用いることが含まれることを特徴とする請求項６に記載の人体モーションの追跡方法。
【請求項９】
前記判別モデルの学習には、
同じモーションクラスに属するデータ点間の距離の合計を表す、クラス間のばらつきを算出し、
異なるモーションクラスに属するデータ点間の距離の合計を表す、クラス間の乖離性を算出し、
前記クラス間のばらつきを低減し、前記クラス間の乖離性を増加させるような射影行列を求め、
前記射影行列に基づいて前記モーションキャプチャ データを前記高次元空間から前記低次元空間に射影する
ことを含むことを特徴とする請求項６に記載の人体モーションの追跡方法。
【請求項１０】
前記ポーズ状態は、骨格の関節の座標のベクトルを含むことを特徴とする請求項１に記載の人体モーションの追跡方法。
【請求項１１】
前記少なくとも１つのモーションを、背景減算を行わずに追跡することを特徴とする請求項１に記載の人体モーションの追跡方法。
【請求項１２】
前記少なくとも１つのモーションの追跡は、前記少なくとも１つのモーションを三次元において追跡することを特徴とする請求項１に記載の人体モーションの追跡方法。
【請求項１３】
人体モーションを認識し、追跡するシステムであって
前記システムは、
任意のモーションクラスに属し、高次元空間で表わされたポーズ状態のシーケンスを含んだ少なくとも１つのモーションを有する人体モーションの表現を受信するモーション受信手段と、
判別モデルを受信する判別モデル受信手段と、
前記ポーズ状態のシーケンスを高次元空間から低次元空間に射影し、前記判別モデルを用いて、前記低次元空間において異なるモーションクラスに属するモーションどうしを判別する射影手段と、
前記低次元空間に射影された第１のポーズ状態についてＰ個の最近傍点を決定し、このＰ個の最近傍点はＰ個の異なるモーションクラスに属し、
前記Ｐ個の異なるモーションクラスについてＰ個のポーズ予測を決定し、
前記人体モーションの表現の現在のフレームに最もフィットするポーズ予測を決定する追跡手段と
を備えることを特徴とする人体モーション追跡システム。
【請求項１４】
前記追跡手段は、
前記判別モデルに基づいて少なくとも１つのポーズ予測を前記高次元空間において再構築する再構成手段と、
前記少なくとも１つのポーズ予測と、前記人体モーションの表現の現在のフレームとの最適なフィッティングを決定するフィッティング手段と
を備えることを特徴とする請求項１３に記載の人体モーション追跡システム。
【請求項１５】
前記最適なフィッティングを決定するフィッティング手段は、
四肢、胴体部および頭部に相当する形状の人体部位と関節との座標を含んだ人体モデルを用いて前記現在のフレームを表わす第１の人体モデル化手段と、
前記人体モデルを用いて前記高次元空間における各ポーズ予測を表わす第２の人体モデル化手段と、
前記人体モデルに基づいて、前記現在のフレームとの最適なフィッティングを有するポーズ予測を選択する選択手段と
を備えることを特徴とする請求項１４に記載の人体モーション追跡システム。
【請求項１６】
前記人体モデルは、色ヒストグラム、勾配配向ヒストグラムおよび色距離ヒストグラムの１つ以上を含んだ人体部位の記述子を含むことを特徴とする請求項１５に記載の人体モーション追跡システム。
【請求項１７】
前記追跡手段は、
前記各最近傍点のモーションの種類を決定するモーション種類決定手段と、
前記モーションの種類に基づいて、学習ステージで学習したダイナミックモデルを前記各最近傍点に適用するダイナミックモデル化手段と、
を備えることを特徴とする請求項１３に記載の人体モーション追跡システム。
【請求項１８】
前記モデル受信手段は前記判別モデルを学習ステージから受信し、
前記学習ステージは、
第１のモーションクラスに属する第１のモーションと、前記第１のモーションクラスとは異なる第２のモーションクラスに属する第２のモーションとを含んだモーションキャプチャ データを、モーションキャプチャ ソースから受信するモーションキャプチャ手段と、
前記モーションキャプチャ データを処理して、前記第１のモーションを表す第１のポーズ状態のシーケンスと、前記第２のモーションを表す第２のポーズ状態のシーケンスとを抽出する処理手段と、
前記第１のポーズ状態のシーケンスと前記第２のポーズ状態のシーケンスとを低次元空間に射影し、前記低次元空間における前記第１のモーションクラスと前記第２のモーションクラスとの判別を行う判別モデルを学習する判別モデル学習手段と、
クラスタ化アルゴリズムを用いて、時間的に連続するデータを前記低次元空間においてモーション セグメントにクラスタ化するクラスタ化手段と、
前記モーションセグメントごとにダイナミックモデルを学習して、モーション予測を前記低次元空間において生成するダイナミックモデル学習手段と
を備えることを特徴とする請求項１３に記載の人体モーション追跡システム。
【請求項１９】
前記クラスタ化アルゴリズムを用いる前記クラスタ化手段は、k-meansクラスタ化アルゴリズムを用いるk-meansクラスタ化手段を備えることを特徴とする請求項１８に記載の人体モーション追跡システム。
【請求項２０】
前記判別モデルを学習する前記判別モデル学習手段は、LDEモデル化を用いるLDEモデル化手段を備えることを特徴とする請求項１８に記載の人体モーション追跡システム。
【請求項２１】
前記判別モデルを学習する前記判別モデル学習手段は、
同じモーションクラスに属するデータ点間の距離の合計を表す、クラス間のばらつきを算出するクラス間ばらつき算出手段と、
異なるモーションクラスに属するデータ点間の距離の合計を表す、クラス間の乖離性を算出するクラス間乖離性算出手段と、
前記クラス間のばらつきを低減し、前記クラス間の乖離性を増加させるような射影行列を求める射影行列手段と、
前記射影行列に基づいて前記モーションキャプチャ データを前記高次元空間から前記低次元空間に射影するモーションキャプチャ 手段と
を備えることを特徴とする請求項１８に記載の人体モーション追跡システム。
【請求項２２】
前記ポーズ状態は、骨格の関節の座標のベクトルを含むことを特徴とする請求項１３に記載の人体モーション追跡システム。
【請求項２３】
前記追跡手段は、前記少なくとも１つのモーションを、背景減算を行わずに追跡することを特徴とする請求項１３に記載の人体モーション追跡システム。
【請求項２４】
前記追跡手段は、少なくとも１つのモーションを三次元において追跡することを特徴とする請求項１３に記載の人体モーション追跡システム。
【請求項２５】
人体モーションを認識し、追跡するコンピュータ実行可能な符号を記憶するコンピュータ読み取り可能な記憶媒体であって、
前記コンピュータ実行可能な符号は、
高次元空間で表わされたポーズ状態のシーケンスを含んだ、任意のモーションクラスに属する少なくとも１つのモーションを有する人体モーションの表現を受信し、
判別モデルを受信し、
前記ポーズ状態のシーケンスを前記高次元空間から前記低次元空間へ射影し、前記判別モデルを用いて、前記低次元空間において異なるモーションクラスに属するモーションどうしを判別し、
前記低次元空間に射影された第１のポーズ状態についてＰ個の最近傍点を決定し、このＰ個の最近傍点はＰ個の異なるモーションクラスに属し、
前記Ｐ個の異なるモーションクラスについてＰ個のポーズ予測を決定し、
前記人体モーションの表現の現在のフレームに最もフィットするポーズ予測を決定する
ことを含むことを特徴とするコンピュータ読み取り可能な記憶媒体。