【手続補正書】
【提出日】平成22年11月29日(2010.11.29)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
身体姿勢推定のための写像関数を決定するコンピュータを用いた方法であって、
前記コンピュータのプロセッサは、
移動する被写体の２次元訓練画像シーケンスと、前記移動する被写体の前記２次元訓練画像シーケンスに対応する３次元身体姿勢表現のシーケンスと、を受け取り、
前記２次元訓練画像シーケンス中の前記２次元訓練画像のそれぞれに対応する、前記２次元訓練画像シーケンス中の前記移動する被写体の外観を表現する外観パッチと、前記２次元訓練画像シーケンスの複数の画像フレーム間での前記被写体の動作を表現する動作パッチとのセットを決定し、
前記外観パッチ及び前記動作パッチから特徴を抽出し、
前記抽出された特徴に少なくとも部分的に基づく多次元ブースト回帰を、前記外観パッチ及び前記動作パッチに対して適用して、前記２次元訓練画像の外観パッチと動作パッチとのセットのそれぞれを、前記被写体の３次元身体姿勢表現に写像する前記写像関数を導出し、
前記多次元ブースト回帰を適用することは、
前記写像関数を初期値に初期化し、
前記被写体の姿勢と、前記２次元訓練画像シーケンスに対して前記写像関数を適用した結果との間の差を表現する擬残差を計算し、
前記計算された擬残差に基づいて、特徴のセットのうちの最適な特徴及び最適な閾値を決定し、
前記最適な特徴及び前記最適な閾値を使用して、学習子関数のパラメータを決定し、
前記学習子関数を前記写像関数と結合して、前記写像関数を更新することを含むこと、
を特徴とする方法。
【請求項２】
前記プロセッサは、
前記写像関数を記憶媒体に格納すること、
を特徴とする請求項１に記載の方法。
【請求項３】
前記外観パッチを決定することは、
前記２次元訓練画像シーケンスの画像フレーム内に前記被写体を発見し、
前記発見された被写体の境界を決める、前記画像フレームの部分を抽出すること、を含むこと、
を特徴とする請求項１に記載の方法。
【請求項４】
前記外観パッチを決定することは、
前記画像フレームの前記抽出された部分を、正規化パラメータに従って正規化することを含むこと、
を特徴とする請求項３に記載の方法。
【請求項５】
前記動作パッチを決定することは、
第１の画像フレームから抽出された第１の外観パッチと、第２の画像フレームから抽出された第２の外観パッチとの間の、画像値の差を計算することを含むこと、
を特徴とする請求項１に記載の方法。
【請求項６】
前記外観パッチ及び前記動作パッチから特徴を抽出することは、
特徴フィルタのセットを生成し、
前記特徴フィルタのセットから特徴フィルタのサブセットを無作為に選択し、
前記外観パッチ及び前記動作パッチに対して前記選択した特徴フィルタのサブセットを適用し、
前記特徴フィルタのサブセットの適用から結果として生じる特徴を出力すること、を含むこと、
を特徴とする請求項１に記載の方法。
【請求項７】
前記特徴フィルタのセットは、
複数の方位を有するHaarフィルタを含むこと、
を特徴とする請求項６に記載の方法。
【請求項８】
前記写像関数を初期値に初期化することは、
前記写像関数を前記姿勢の平均値を含む定数値に設定することを含むこと、
を特徴とする請求項１に記載の方法。
【請求項９】
前記学習子関数の前記パラメータを決定することは、
前記最適な特徴及び前記最適な閾値に基づいて、前記２次元訓練画像シーケンスから、画像の第１のセット及び画像の第２のセットを決定し、
前記画像の第１のセットに対応する第１の領域内で計算された残差の平均値を表現する第１のパラメータを決定し、
前記画像の第２のセットに対応する第２の領域内で計算された残差の平均値を表現する第２のパラメータを決定することを含むこと、
を特徴とする請求項１に記載の方法。
【請求項１０】
前記学習子関数を前記写像関数と結合することは、
学習率によって前記学習子関数をスケーリングし、
前記スケーリングされた学習子関数を前記写像関数に加えることを含むこと、
を特徴とする請求項１に記載の方法。
【請求項１１】
高速人間身体姿勢推定のためのコンピュータを用いた方法であって、
前記コンピュータのプロセッサは、
移動する被写体の２次元テスト画像シーケンスを受け取り、
前記２次元テスト画像シーケンス中の前記移動する被写体の外観を表現する外観パッチと、前記２次元テスト画像シーケンスの複数の画像フレーム間での前記被写体の動作を表現する動作パッチとのセットを前記２次元テスト画像シーケンスから決定し、
前記外観パッチ及び前記動作パッチに対して、学習された写像関数を適用して、前記２次元テスト画像の外観パッチと動作パッチとのセットのそれぞれを、前記２次元テスト画像シーケンス中の前記移動する被写体の３次元身体姿勢表現を含む多次元出力に対して写像し、
前記学習された写像関数は、
訓練画像シーケンスについて実行される多次元ブースト回帰から導出され、
前記多次元ブースト回帰は、
前記訓練画像シーケンスから抽出された特徴に少なくとも部分的に基づいており、
前記学習された学習関数は、
前記写像関数を初期値に初期化し、
前記被写体の姿勢と、前記訓練画像シーケンスに対して前記写像関数を適用した結果との間の差を表現する擬残差を計算し、
前記計算された擬残差に基づいて、特徴のセットのうちの最適な特徴及び最適な閾値を決定し、
前記最適な特徴及び前記最適な閾値を使用して、学習子関数のパラメータを決定し、
前記学習子関数を前記写像関数と結合して、前記写像関数を更新することによって導出され、
前記コンピュータのプロセッサは、
前記テスト画像表現を表現する前記外観パッチ及び前記動作パッチに対して前記学習された写像関数を適用した結果である身体姿勢推定を出力すること、
を特徴とする方法。
【請求項１２】
前記動作パッチを決定することは、
第１の画像フレームから抽出された第１の外観パッチと、第２の画像フレームから抽出された第２の外観パッチとの間の、画像値の差を計算することを含むこと、
を特徴とする請求項１１に記載の方法。
【請求項１３】
前記抽出された特徴は、
特徴フィルタのセットを生成するステップと、
前記特徴フィルタのセットから、特徴フィルタのサブセットを無作為に選択するステップと、
前記選択した特徴フィルタのサブセットを前記外観パッチ及び前記動作パッチに適用するステップと、
前記フィルタのサブセットを適用した結果である特徴を出力するステップと、を含む処理に従って導出されること、
を特徴とする請求項１１に記載の方法。
【請求項１４】
身体姿勢推定のための写像関数を決定するコンピュータを機能させるプログラムであって、
前記プログラムは、
前記コンピュータのプロセッサに対して、
移動する被写体の２次元訓練画像シーケンスと、前記移動する被写体の前記２次元訓練画像シーケンスに対応する３次元身体姿勢表現のシーケンスと、を受け取り、
前記２次元訓練画像シーケンス中の前記２次元訓練画像のそれぞれについて、前記２次元訓練画像シーケンス中の前記移動する被写体の外観を表現する外観パッチと、前記２次元訓練画像シーケンスの複数の画像フレーム間での前記被写体の動作を表現する動作パッチとのセットを決定し、
前記外観パッチ及び前記動作パッチから特徴を抽出し、
前記抽出された特徴に少なくとも部分的に基づく多次元ブースト回帰を、前記外観パッチ及び前記動作パッチに対して適用して、前記２次元訓練画像の外観パッチと動作パッチとのセットのそれぞれを、前記被写体の３次元身体姿勢表現に写像する前記写像関数を導出するステップを実行させ、
前記多次元ブースト回帰を適用することは、
前記写像関数を初期値に初期化し、
前記被写体の姿勢と、前記２次元訓練画像シーケンスに対して前記写像関数を適用した結果との間の差を表現する擬残差を計算し、
前記計算された擬残差に基づいて、特徴のセットのうちの最適な特徴及び最適な閾値を決定し、
前記最適な特徴及び前記最適な閾値を使用して、学習子関数のパラメータを決定し、
前記学習子関数を前記写像関数と結合して、前記写像関数を更新することを含むこと、
を特徴とするプログラム。
【請求項１５】
前記プログラムは、
前記コンピュータのプロセッサに対し、
前記写像関数を記憶媒体に格納するステップを実行させること、
を特徴とする請求項１４に記載のプログラム。
【請求項１６】
前記動作パッチを決定することは、
第１の画像フレームから抽出された第１の外観パッチと、第２の画像フレームから抽出された第２の外観パッチとの間の、画像値の差を計算することを含むこと、
を特徴とする請求項１４に記載のプログラム。
【請求項１７】
前記外観パッチ及び前記動作パッチから特徴を抽出することは、
特徴フィルタのセットを生成し、
前記特徴フィルタのセットから特徴フィルタのサブセットを無作為に選択し、
前記外観パッチ及び前記動作パッチに対して前記選択した特徴フィルタのサブセットを適用し、
前記特徴フィルタのサブセットの適用から結果として生じる特徴を出力することを含むこと、
を特徴とする請求項１４に記載のプログラム。
【請求項１８】
身体姿勢推定のための写像関数を決定するシステムであって、
前記システムは、
移動する被写体の２次元訓練画像シーケンスと、前記移動する被写体の前記２次元訓練画像シーケンスに対応する３次元身体姿勢表現のシーケンスと、を受け取る入力制御装置と、
プロセッサと、
前記プロセッサによって実行される訓練モジュールを格納するコンピュータ読取可能な記憶媒体と、
を有し、
前記訓練モジュールは、
前記２次元訓練画像シーケンス中の前記２次元訓練画像のそれぞれに対応する、前記２次元訓練画像シーケンス中の前記移動する被写体の外観を表現する外観パッチと、前記２次元訓練画像シーケンスの複数の画像フレーム間での前記被写体の動作を表現する動作パッチとのセットを決定し、
前記外観パッチ及び前記動作パッチから特徴を抽出し、
前記抽出された特徴に少なくとも部分的に基づく多次元ブースト回帰を、前記外観パッチ及び前記動作パッチに対して適用して、前記２次元訓練画像の外観パッチと動作パッチとのセットのそれぞれを、前記被写体の３次元身体姿勢表現に写像する前記写像関数を導出し、
前記写像関数を初期値に初期化し、
前記被写体の姿勢と、前記２次元訓練画像シーケンスに対して前記写像関数を適用した結果との間の差を表現する擬残差を計算し、
前記計算された擬残差に基づいて、特徴のセットのうちの最適な特徴及び最適な閾値を決定し、
前記最適な特徴及び前記最適な閾値を使用して、学習子関数のパラメータを決定し、
前記学習子関数を前記写像関数と結合して、前記写像関数を更新すること、
を特徴とするシステム。
【請求項１９】
前記動作パッチを決定することは、
第１の画像フレームから抽出された第１の外観パッチと、第２の画像フレームから抽出された第２の外観パッチとの間の、画像値の差を計算することを含むこと、
を特徴とする請求項１８に記載のシステム。
【請求項２０】
前記訓練モジュールは、
特徴フィルタのセットを生成し、
前記特徴フィルタのセットから特徴フィルタのサブセットを無作為に選択し、
前記外観パッチ及び前記動作パッチに対して前記選択した特徴フィルタのサブセットを適用し、
前記特徴フィルタのサブセットの適用から結果として生じる特徴を出力すること、
を特徴とする請求項１８に記載のシステム。