(57)【要約】【課題】人の姿勢推定に、より速い推論アプローチを提供する。【解決手段】  （ａ）複数の画像用の観察ベクトルデータおよび対応する姿勢ベクトルデータを含む訓練データを取得し、前記観察ベクトルデータは観察空間の画像を表し、前記姿勢ベクトルデータは姿勢空間の同一の画像を表し、（ｂ）訓練データに基づいて、前記観察空間から潜在空間へのマッピングのパラメータと、前記潜在空間から前記姿勢空間へのマッピングのパラメータと、前記潜在空間のパラメータと、を含むモデルを計算する。前記潜在空間は前記観察空間よりも低い次元を有し、前記潜在空間は前記姿勢空間よりも低い次元を有する。【選択図】図５
2009146405.tif 000002
【特許請求の範囲】
【請求項１】
コンピュータが、
（ａ）身体姿勢を含む複数の画像の観察空間での画像を表す観察ベクトルデータおよび姿勢空間で前記画像を表す姿勢ベクトルデータを含む訓練データを取得し、
（ｂ）前記訓練データに基づいて、前記観察空間から前記観察空間よりも低い次元を有するとともに前記姿勢空間よりも低い次元を有する潜在空間へのマッピングのパラメータと、前記潜在空間から前記姿勢空間へのマッピングのパラメータと、前記潜在空間のパラメータと、を含むモデルを計算し記憶し、
（ｃ）対応する姿勢ベクトルデータが未知であるさらなる画像に対応する観察ベクトルデータを取得し、
（ｄ）前記さらなる画像に対応する観察ベクトルデータを、前記モデルの観察空間から潜在空間へおよび潜在空間から姿勢空間へ前記さらなる観察データのマッピングを実行することによって、姿勢空間の点を決定し、
（ｅ）（ｄ）で決定された姿勢空間の前記点に基づいて、前記さらなる観察ベクトルデータに対応する姿勢を推定する、
身体姿勢推定方法。
【請求項２】
（ｂ）で計算される前記潜在空間のパラメータは、前記モデルに埋め込まれている前記潜在空間の点を含む、請求項１に記載の身体姿勢推定方法。
【請求項３】
（ｂ）で計算される前記潜在空間のパラメータは、前記訓練データに対応する前記潜在空間の点を含む、請求項１に記載の身体姿勢推定方法。
【請求項４】
（ｂ）は、
（ｂ．１）前記潜在空間の点の初期投射（ｉｎｉｔｉａｌ  ｐｒｏｊｅｃｔｉｏｎ）を得るために、前記訓練データの前記姿勢ベクトルデータに基づいて、主な構成要素の分析を実行し、
（ｂ．２）前記潜在空間のパラメータと、前記観察空間から潜在空間へのマッピングのパラメータと、前記潜在空間から姿勢空間へのマッピングのパラメータと、の最適化を実行する、
ことを含む、請求項１に記載の身体姿勢推定方法。
【請求項５】
（ｂ）は、
（ｂ．３）特定の基準が満たされるまで、（ｂ．２）を繰り返す、
ことを含む、請求項４に記載の身体姿勢推定方法。
【請求項６】
（ｄ）は、
（ｄ．１）前記さらなる観察ベクトルデータに基づいて、前記モデルを使用して前記観察空間から前記潜在空間へのマッピングを実行することによって、前記潜在空間の点を決定し、
（ｄ．２）前記潜在空間の前記点から前記姿勢空間へのマッピングを実行する前記モデルを使用することによって、前記姿勢空間の前記点を決定する、
ことを含む、請求項１に記載の身体姿勢推定方法。
【請求項７】
（ｄ．１）は、
（ｄ．１．ｉ）前記さらなる画像に対応する観察ベクトルデータおよび前記モデルに基づいて、潜在空間の条件付確率分布を計算し、
（ｄ．１．ｉｉ）（ｄ．１．ｉ）で計算された前記条件付確率分布の最大事後推定を決定する、
ことを含み、
（ｄ．２）は、（ｄ．１．ｉｉ）で決定された前記最大事後推定から姿勢空間へのマッピングを実行する前記モデルを使用することによって、姿勢空間の前記点を決定する、ことを含む、
請求項６に記載の身体姿勢推定方法。
【請求項８】
（ｄ．１）は、
（ｄ．１．ｉ）前記さらなる画像に対応する観察ベクトルデータおよび前記モデルに基づいて、潜在空間の条件付確率分布を計算し、
（ｄ．１．ｉｉ）前記計算された条件付確率分布から複数のサンプルを取得し、
（ｄ．１．ｉｉｉ）前記複数のサンプルのいずれがもっとも大きい事後確率を有するかを決定する、
ことを含み、
（ｄ．２）は、前記もっとも大きい事後確率を有するように（ｄ．１．ｉｉｉ）で決定された前記サンプルから姿勢空間へのマッピングを実行する前記モデルを使用することによって、姿勢空間の前記点を決定する、ことを含む、
請求項６に記載の方法。
【請求項９】
前記複数の画像は、ビデオの時間順序フレームのシーケンスを含み、該シーケンスの各々は、時間における点に関連し、
（ｂ）で、前記モデルを計算することは、
時間における点に関連した画像と、
時間における少なくとも１つの先行する点に関連した少なくとも１つの画像に対応する潜在空間の少なくとも１つの点と、
を考慮に入れる、
請求項１および請求項６〜請求項８のいずれか１項に記載の身体姿勢推定方法。
【請求項１０】
（ｂ）で、前記モデルを計算することは、
時間における点に関連した画像と、
時間におけるすぐ直前の点に関連する画像に対応する潜在空間の点と、
を考慮に入れる、
請求項９に記載の身体姿勢推定方法。
【請求項１１】
身体姿勢を含む複数の画像の観察空間での画像を表す観察ベクトルデータおよび姿勢空間で前記画像を表す姿勢ベクトルデータを含む訓練データを取得する入力手段と、
前記訓練データに基づいて、前記観察空間から前記観察空間よりも低い次元を有するとともに前記姿勢空間よりも低い次元を有する潜在空間へのマッピングのパラメータと、前記潜在空間から前記姿勢空間へのマッピングのパラメータと、前記潜在空間のパラメータと、を含むモデルを計算し記憶する少なくとも１つの処理手段と、
を備える人体姿勢推定システムであって、
対応する姿勢ベクトルデータが未知であるさらなる画像に対応する観察ベクトルデータを取得し、
前記さらなる画像に対応する観察ベクトルデータを、前記モデルの観察空間から潜在空間へおよび潜在空間から姿勢空間へ前記さらなる観察データのマッピングを実行することによって、姿勢空間の点を決定し、
決定された姿勢空間の前記点にもとづいて、前記さらなる観察ベクトルデータに対応する姿勢を推定する、
人体姿勢推定システム。
【請求項１２】
前記複数の画像は、ビデオの時間順序フレームのシーケンスを含み、該シーケンスの各々は、時間における点に関連し、
前記少なくとも１つの処理手段は、時間における点に関連した画像と、時間における少なくとも１つの先行する点に関連した少なくとも１つの画像に対応する潜在空間の少なくとも１つの点とを考慮に入れてモデルを計算する、
請求項１１に記載の人体姿勢推定システム。
【請求項１３】
複数の画像の観察空間での画像を表す観察ベクトルデータおよび姿勢空間で前記画像を表す姿勢ベクトルデータを含む訓練データを取得する機能と、
前記訓練データに基づいて、前記観察空間から前記観察空間よりも低い次元を有するとともに前記姿勢空間よりも低い次元を有する潜在空間へのマッピングのパラメータと、前記潜在空間から前記姿勢空間へのマッピングのパラメータと、前記潜在空間のパラメータと、を含むモデルを計算し記憶する機能と、
をコンピュータに実現させるためのプログラムであって、
対応する姿勢ベクトルデータが未知であるさらなる画像に対応する観察ベクトルデータを取得し、
前記さらなる画像に対応する観察ベクトルデータを、前記モデルの観察空間から潜在空間へおよび潜在空間から姿勢空間へ前記さらなる観察データのマッピングを実行することによって、姿勢空間の点を決定し、
決定された姿勢空間の前記点にもとづいて、前記さらなる観察ベクトルデータに対応する姿勢を推定する、
プログラム。
【請求項１４】
前記複数の画像は、ビデオの時間順序フレームのシーケンスを含み、該シーケンスの各々は、時間における点に関連し、
前記モデルを計算する機能は、時間における点に関連した画像と、時間における少なくとも１つの先行する点に関連した少なくとも１つの画像に対応する、潜在空間の少なくとも１つの点とを考慮に入れる、
請求項１３に記載のプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、コンピュータ支援人体姿勢推定に関する。詳細には、身体の姿勢を推定するシステム、方法、および、プログラムに関する。
【背景技術】
【０００２】
人体トラッキング（および、より一般的には、人間の姿勢推定）は、多くの用途を有し、視覚監視(visual surveillance)、人間とコンピュータとの相互作用（たとえば、ジェスチャー駆動（ｇｅｓｔｕｒｅ  ｄｒｉｖｅｎ）インタフェース）、および、自動チュータリング（ａｕｔｏｍａｔｅｄ  ｔｕｔｏｒｉｎｇ、たとえば、動きをどのように模倣するかを人に訓練する等）を含むが、それらに限定されない。人体トラッキング／人の姿勢推定の１つの問題は、任意の時間において、人体の関節角度を推定することである。図１Ａおよび図１Ｂから認識することができるように、関節のある人体は、少なくとも１０の身体パーツを含むと考えることができ、これによれば、全身の関節を表すためにおよそ３０のパラメータを必要とするかもしれない（左上腕は、図１Ａには見ることができないが、図１Ｂには現れている）。言い換えると、人間の姿勢を３０＋の次元空間で推定したいという欲求がある。これは、遮蔽、高次元サーチ空間および人間の形状および衣服による外観の高い変動性のため、コンピュータビジョンの分野におけるもっとも挑戦的な問題の１つである。
【０００３】
人の姿勢推定には、広い範囲のアプローチがある。これらのアルゴリズムは、広く２つのカテゴリーに分割することができる。すなわち、弁別的アプローチと、生成的アプローチとである。図２Ａを使用して、弁別的アプローチを例示する。これは、画像測定から姿勢を推論するために外観に基づいた連想モデルを知ることによって、姿勢を推定する。図２Ｂを使用して、生成的アプローチを例示する。これは、画像観察を最良に説明する姿勢を見出すことによって、姿勢を推定する。図２Ｂにおいて、異なるモデル２１２ａ，……，２１２ｎは、ｙの異なる値に対応する。生成的アプローチで所望されることは、Ｐ（ｘ｜ｙ）を最大限にするｙを見出すことであり、ｘは入力画像特徴である。
【０００４】
弁別的アプローチは、観察空間から姿勢空間へのマッピングを知ることを必要とする。ここで、観察は、人の画像を特徴づける特徴のセットである。そのようなマッピングは一般に性質が曖昧であり、したがって、マッピングのために複数の機能を必要とする。非特許文献１〜３は、人間の姿勢推定への弁別的アプローチを記載している。
【０００５】
他方、現在の姿勢を観察結果(observation)へマッピングすることは、コンピュータグラフィックでは、定義が明確な問題である。姿勢空間から観察空間へのマッピングを構築することによって、生成的アプローチが姿勢空間をサーチすることができ、たとえば、同様のモデルを使用して、現在の観察結果を最良に整合する姿勢を見出す。非特許文献４〜６は、人の姿勢推定への生成的アプローチを記載している。
【０００６】
弁別的アプローチは、生成的アプローチと比較すると、事実上、より速いが、生成的アプローチは、訓練姿勢データセットに関する制約が少ないため、より良好に一般化する傾向がある。しかし、生成的アプローチは、サーチが高次元部分空間にあるため、計算的に実行不可能である傾向がある。サーチまたは高次元空間の先行モデルを知ることは、実行不可能であるが、次元縮小法を使用して、高次元姿勢空間を低次元マニホールドへ埋め込むことができる。たとえば、ガウス過程潜在変数モデル（Ｇａｕｓｓｉａｎ  ｐｒｏｃｅｓｓ  ｌａｔｅｎｔ  ｖａｒｉａｂｌｅ  ｍｏｄｅｌｓ）（ＧＰＬＶＭ）は、生成的アプローチを提供し、姿勢構成空間（Ｙ）を低次元マニホールドとしてモデルにするために使用されており、最良な構成のサーチは、低次元潜在空間（Ｚ）で実行される。ＧＰＬＶＭは、非特許文献７において検討されており、これは、参照により本明細書に組み込まれる。
【０００７】
高レベルでのＧＰＬＶＭが図３Ａによって例示されており、潜在空間（Ｚ）から姿勢空間（Ｙ）への滑らかなマッピングを必要とし、したがって、姿勢空間では遠く離れている２つの点は潜在空間でも遠く離れて保つように試みる。しかし、ＧＰＬＶＭは、姿勢空間における局所距離を保存することができない。局所距離を保存することは、姿勢空間における２つの近い点を潜在空間における近い点として保つことを意味する。
【０００８】
ＧＰＬＶＭへの拡張は、バック制約ＧＰＬＶＭ（Ｂａｃｋ  Ｃｏｎｓｔｒａｉｎｅｄ  ＧＰＬＶＭ）（ＢＣ−ＧＰＬＶＭ）、または、バック制約を備えたＧＰ−ＬＶＭ（ＢＧＰＬＶＭ  ｗｉｔｈ  ｂａｃｋ  ｃｏｎｓｔｒａｉｎｔｓ）と称され、非特許文献８に記載されている。姿勢空間の点を潜在空間の点へ滑らかにマッピングすることを制約することによって、ＢＣ−ＧＰＬＶＭは、姿勢空間における局所距離を保存する。高レベルでのＢＣ−ＧＰＬＶＭは、図３Ｂによって例示されている。
【非特許文献１】アガーワル（Ａｇａｒｗａｌ）ら、「関連ベクトル回帰によるシルエットからの３次元人姿勢（３Ｄ  Ｈｕｍａｎ  Ｐｏｓｅ  ｆｒｏｍ  Ｓｉｌｈｏｕｅｔｔｅｓ  ｂｙ  Ｒｅｌｅｖａｎｃｅ  Ｖｅｃｔｏｒ  Ｒｅｇｒｅｓｓｉｏｎ）」、コンピュータビジョンおよびパターン認識（Ｃｏｍｐｕｔｅｒ  Ｖｉｓｉｏｎ  ａｎｄ  Ｐａｔｔｅｒｎ  Ｒｅｃｏｇｎｉｔｉｏｎ）（ＣＶＰＲ）２００４
【非特許文献２】シャクナロビッチ（Ｓｈａｋｈｎａｒｏｖｉｃｈ）ら、「パラメータセンシティブハッシングによる高速姿勢推定（Ｆａｓｔ  ｐｏｓｅ  ｅｓｔｉｍａｔｉｏｎ  ｗｉｔｈ  Ｐａｒａｍｅｔｅｒ  ｓｅｎｓｉｔｉｖｅ  ｈａｓｈｉｎｇ）」、ＩＥＥＥ  コンピュータビジョンに関する国際会議（ＩＥＥＥ  Ｉｎｔｅｒｎａｔｉｏｎａｌ  Ｃｏｎｆｅｒｅｎｃｅ  ｏｎ  Ｃｏｍｐｕｔｅｒ  Ｖｉｓｉｏｎ）（ＩＣＣＶ）２００３
【非特許文献３】スミンチセスク（Ｓｍｉｎｃｈｉｓｅｓｃｕ）ら、「３次元人運動推定用の弁別的密度伝播（Ｄｉｓｃｒｉｍｉｎａｔｉｖｅ  ｄｅｎｓｉｔｙ  ｐｒｏｐａｇａｔｉｏｎ  ｆｏｒ  ３ｄ  ｈｕｍａｎ  ｍｏｔｉｏｎ  ｅｓｔｉｍａｔｉｏｎ）」、ＣＶＰＲ２００５
【非特許文献４】シガル（Ｓｉｇａｌ）ら、「局所的測定大局的理由：遮蔽に敏感な関節のある姿勢推定（Ｍｅａｓｕｒｅ  Ｌｏｃａｌｌｙ  Ｒｅａｓｏｎ  Ｇｌｏｂａｌｌｙ：  Ｏｃｃｌｕｓｉｏｎ−ｓｅｎｓｉｔｉｖｅ  Ａｒｔｉｃｕｌａｔｅｄ  Ｐｏｓｅ  Ｅｓｔｉｍａｔｉｏｎ）」、ＣＶＰＲ２００６
【非特許文献５】グプタ（Ｇｕｐｔａ）ら、「自己遮蔽による効率的なマルチビュー姿勢推定用の制約統合（Ｃｏｎｓｔｒａｉｎｔ  ｉｎｔｅｇｒａｔｉｏｎ  ｆｏｒ  ｅｆｆｉｃｉｅｎｔ  ｍｕｌｔｉ−ｖｉｅｗ  ｐｏｓｅ  ｅｓｔｉｍａｔｉｏｎ  ｗｉｔｈ  ｓｅｌｆ−ｏｃｃｌｕｓｉｏｎｓ）」、ＰＡＭＩに関するＩＥＥＥトランザクション（ＩＥＥＥ  Ｔｒａｎｓａｃｔｉｏｎｓ  ｏｎ  ＰＡＭＩ）
【非特許文献６】シデンブラド（Ｓｉｄｅｎｂｌａｄｈ）ら、「２次元画像運動を使用する３次元における人の姿の確率論的トラッキング（Ｓｔｏｃｈａｓｔｉｃ  ｔｒａｃｋｉｎｇ  ｏｆ  ３ｄ  ｈｕｍａｎ  ｆｉｇｕｒｅｓ  ｕｓｉｎｇ  ２ｄ  ｉｍａｇｅ  ｍｏｔｉｏｎ）」、ＥＣＣＶ２０００６
【非特許文献７】ローレンス（Ｌａｗｒｅｎｃｅ）、「高次元データの視覚化用のガウス過程潜在変数モデル（Ｇａｕｓｓｉａｎ  Ｐｒｏｃｅｓｓ  Ｌａｔｅｎｔ  Ｖａｒｉａｂｌｅ  Ｍｏｄｅｌｓ  ｆｏｒ  Ｖｉｓｕａｌｉｓａｔｉｏｎ  ｏｆ  Ｈｉｇｈ  Ｄｉｍｅｎｓｉｏｎａｌ  Ｄａｔａ）」、神経情報処理システムに関する会議（Ｃｏｎｆｅｒｅｎｃｅ  ｏｎ  Ｎｅｕｒａｌ  Ｉｎｆｏｒｍａｔｉｏｎ  Ｐｒｏｃｅｓｓｉｎｇ  Ｓｙｓｔｅｍｓ）、ＮＩＰＳ２００４
【非特許文献８】ローレンス（Ｌａｗｒｅｎｃｅ）ら、「バック制約によるＧＰＬＶＭにおける局所距離保存（Ｌｏｃａｌ  Ｄｉｓｔａｎｃｅ  Ｐｒｅｓｅｒｖａｔｉｏｎ  ｉｎ  ｔｈｅ  ＧＰＬＶＭ  ｔｈｒｏｕｇｈ  Ｂａｃｋ  Ｃｏｎｓｔｒａｉｎｔｓ）」、ＩＣＭＬ２００６
【非特許文献９】ワング（Ｗａｎｇ）ら、「ガウス過程力学モデル（Ｇａｕｓｓｉａｎ  Ｐｒｏｃｅｓｓ  Ｄｙｎａｍｉｃａｌ  Ｍｏｄｅｌｓ）」、ＮＩＰＳ２００５
【非特許文献１０】ドイチャー（Ｄｅｕｔｓｃｈｅｒ）ら、「アニールされた粒子フィルタリングによる関節のある身体のモーションキャプチャ（Ａｒｔｉｃｕｌａｔｅｄ  ｂｏｄｙ  ｍｏｔｉｏｎ  ｃａｐｔｕｒｅ  ｂｙ  ａｎｎｅａｌｅｄ  ｐａｒｔｉｃｌｅ  ｆｉｌｔｅｒｉｎｇ）」、ＣＶＰＲ２０００
【非特許文献１１】ブラック（Ｂｌａｃｋ）ら、「視点依存表現を使用した関節のある物体の強い整合およびトラッキング（Ｒｏｂｕｓｔ  ｍａｔｃｈｉｎｇ  ａｎｄ  ｔｒａｃｋｉｎｇ  ｏｆ  ａｒｔｉｃｕｌａｔｅｄ  ｏｂｊｅｃｔｓ  ｕｓｉｎｇ  ａ  ｖｉｅｗ  ｂａｓｅｄ  ｒｅｐｒｅｓｅｎｔａｔｉｏｎ）」、ＩＪＣＶ、１９９８年
【非特許文献１２】テネンバウム（Ｔｅｎｅｎｂａｕｍ）、「非線形次元縮小のための広範囲な幾何学的フレームワーク（Ａ  ｇｌｏｂａｌ  ｇｅｏｍｅｔｒｉｃ  ｆｒａｍｅｗｏｒｋ  ｆｏｒ  ｎｏｎ−ｌｉｎｅａｒ  ｄｉｍｅｎｓｉｏｎａｌｉｔｙ  ｒｅｄｕｃｔｉｏｎ）」、Ｓｃｉｅｎｃｅ  ２０００
【非特許文献１３】ロウェイス（Ｒｏｗｅｉｓ）ら、「局所線形埋込みによる非線形次元縮小（Ｎｏｎｌｉｎｅａｒ  ｄｉｍｅｎｓｉｏｎａｌｉｔｙ  ｒｅｄｕｃｔｉｏｎ  ｂｙ  ｌｏｃａｌｌｙ  ｌｉｎｅａｒ  ｅｍｂｅｄｄｉｎｇ）」、Ｓｃｉｅｎｃｅ２０００
【非特許文献１４】ウルタスン（Ｕｒｔａｓｕｎ）ら、「小訓練セットからの人トラッキング用のプライア（Ｐｒｉｏｒｓ）（Ｐｒｉｏｒｓ  ｆｏｒ  ｐｅｏｐｌｅ  ｔｒａｃｋｉｎｇ  ｆｒｏｍ  ｓｍａｌｌ  ｔｒａｉｎｉｎｇ  ｓｅｔｓ）」、ＩＣＣＶ２００５
【非特許文献１５】ウルタスン（Ｕｒｔａｓｕｎ）ら、「ガウス過程力学モデルを備えた３次元人トラッキング（３Ｄ  Ｐｅｏｐｌｅ  Ｔｒａｃｋｉｎｇ  ｗｉｔｈ  Ｇａｕｓｓｉａｎ  Ｐｒｏｃｅｓｓ  Ｄｙｎａｍｉｃａｌ  Ｍｏｄｅｌｓ）」、ＣＶＰＲ２００６
【非特許文献１６】ホウ（Ｈｏｕ）ら、「ガウス過程潜在変数モデルを使用するリアルタイム身体トラッキング（Ｒｅａｌ−ｔｉｍｅ  Ｂｏｄｙ  Ｔｒａｃｋｉｎｇ  Ｕｓｉｎｇ  ａ  Ｇａｕｓｓｉａｎ  Ｐｒｏｃｅｓｓ  Ｌａｔｅｎｔ  Ｖａｒｉａｂｌｅ  Ｍｏｄｅｌ）」、ＩＣＣＶ２００７
【非特許文献１７】デューダ（Ｄｕｄａ）ら、「パターン分類（Ｐａｔｔｅｒｎ  Ｃｌａｓｓｉｆｉｃａｔｉｏｎ）」、ＩＳＢＮ  ０−４７１−０５６６９−３
【非特許文献１８】スリニヴァサン（Ｓｒｉｎｉｖａｓａｎ）、「重要度サンプリング（Ｉｍｐｏｒｔａｎｃｅ  Ｓａｍｐｌｉｎｇ）」、ニューヨーク、２００２年
【非特許文献１９】ジェイン（Ｊａｉｎ）、「デジタル画像処理の基礎（Ｆｕｎｄａｍｅｎｔａｌｓ  ｏｆ  Ｄｉｇｉｔａｌ  Ｉｍａｇｅ  Ｐｒｏｃｅｓｓｉｎｇ）」、プレンチスホール（Ｐｒｅｎｔｉｃｅ−Ｈａｌｌ）、１９８９年
【非特許文献２０】インターネット＜ＵＲＬ：ｈｔｔｐ：／／ｍｏｃａｐ．ｃｓ．ｃｍｕ．ｅｄｕ／＞
【発明の開示】
【発明が解決しようとする課題】
【０００９】
ＧＰＬＶＭおよびＢＣ−ＧＰＬＶＭは、両方とも、潜在空間を見出すときに姿勢空間を考慮するのみである。したがって、上述のＧＰＬＶＭおよびＢＣ−ＧＰＬＶＭの技術を改良し、ＧＰＬＶＭおよびＢＣ−ＧＰＬＶＭに比較して、人の姿勢推定に、より速い推論アプローチを提供することを目的とする。
【課題を解決するための手段】
【００１０】
本発明の実施形態は、一般に、身体姿勢推定に使用されるシステムおよびコンピュータ実施方法に関する。本発明のある実施形態にしたがって、訓練データが得られ、訓練データは、複数の画像用の観察ベクトルデータおよび対応する姿勢ベクトルデータを含む。観察ベクトルデータは、観察空間の画像を表す。姿勢ベクトルデータは、姿勢空間の同一の画像を表す。訓練データに基づいて、観察空間から潜在空間へのマッピングのパラメータと、潜在空間から姿勢空間へのマッピングのパラメータと、潜在空間のパラメータと、を含むモデルが計算される。潜在空間は、観察空間よりも低い次元を有し、潜在空間は、姿勢空間よりも低い次元を有する。一定の実施形態にしたがって、潜在空間のパラメータは、モデルに埋め込まれている潜在空間の点を含み、それは、訓練データに対応する。
【００１１】
特定の実施形態にしたがって、さらなる観察ベクトルデータが得られ、さらなる観察ベクトルデータは、対応する姿勢ベクトルデータが未知であるさらなる画像に対応する。さらなる観察ベクトルデータに基づいて、観察空間から潜在空間へおよび潜在空間から姿勢空間へさらなる観察データのマッピングを実行するモデルを使用することによって、姿勢空間の点が決定される。姿勢は、さらなる観察ベクトルデータに対応し、次いで、姿勢空間の決定された点に基づいて推定することができる。
【００１２】
観察ベクトルデータおよび対応する姿勢ベクトルデータが得られる複数の画像は、ビデオの時間順序フレームのシーケンスを含むことができ、その各々は、時間における点に関連する。そういう場合には、時間における点に関連した画像と、時間における１つ以上の先行する点（たとえば、時間におけるすぐ直前の点）に関連した１つ以上の画像に対応する潜在空間の１つ以上の点と、を考慮に入れて、モデルを計算することができる。さらに、そういう場合には、（対応する姿勢ベクトルデータが未知であるさらなる画像に対応するさらなる観察ベクトルデータのために）姿勢空間の点を決定するときには、姿勢空間の点は、さらなる観察ベクトルデータと、さらなる画像より前の時間における１つ以上の点に関連した１つ以上の画像に対応する潜在空間の１つ以上の点とに基づいて、再度、観察空間から潜在空間へおよび潜在空間から姿勢空間へのさらなる観察データのマッピングを実行するモデルを使用することによって、決定することができる。
【００１３】
本発明の第１の態様は身体姿勢推定方法であって、コンピュータが、（ａ）身体姿勢を含む複数の画像の観察空間での画像を表す観察ベクトルデータおよび姿勢空間で前記画像を表す姿勢ベクトルデータを含む訓練データを取得し、（ｂ）前記訓練データに基づいて、前記観察空間から前記観察空間よりも低い次元を有するとともに前記姿勢空間よりも低い次元を有する潜在空間へのマッピングのパラメータと、前記潜在空間から前記姿勢空間へのマッピングのパラメータと、前記潜在空間のパラメータと、を含むモデルを計算し記憶し、（ｃ）対応する姿勢ベクトルデータが未知であるさらなる画像に対応する観察ベクトルデータを取得し、（ｄ）前記さらなる画像に対応する観察ベクトルデータを、前記モデルの観察空間から潜在空間へおよび潜在空間から姿勢空間へ前記さらなる観察データのマッピングを実行することによって、姿勢空間の点を決定する、（ｅ）（ｄ）で決定された姿勢空間の前記点にもとづいて、前記さらなる観察ベクトルに対応する姿勢を推定する。
【００１４】
本発明の第２の態様は、第１の態様の身体姿勢推定方法であって、（ｂ）で計算される前記潜在空間のパラメータは、前記モデルに埋め込まれている前記潜在空間の点を含む。
【００１５】
本発明の第３の態様は、第１の態様の身体姿勢推定方法であって、（ｂ）で計算される前記潜在空間のパラメータは、前記訓練データに対応する前記潜在空間の点を含む。
【００１６】
本発明の第４の態様は、第１の態様の身体姿勢推定方法であって、（ｂ）は、（ｂ．１）前記潜在空間の点の初期投射（ｉｎｉｔｉａｌ  ｐｒｏｊｅｃｔｉｏｎ）を得るために、前記訓練データの前記姿勢ベクトルデータに基づいて、主な構成要素の分析を実行し、（ｂ．２）前記潜在空間のパラメータと、前記観察空間から潜在空間へのマッピングのパラメータと、前記潜在空間から姿勢空間へのマッピングのパラメータと、の最適化を実行する、ことを含む。
【００１７】
本発明の第５の態様は、第４の態様の身体姿勢推定方法であって、（ｂ）は、（ｂ．３）特定の基準が満たされるまで、（ｂ．２）を繰り返す、ことを含む。
【００１８】
第１の態様の身体姿勢推定方法において、（ｃ）対応する姿勢ベクトルデータが未知であるさらなる画像に対応する、さらなる観察ベクトルデータを取得し、（ｄ）前記さらなる観察ベクトルデータに基づいて、観察空間から潜在空間へおよび潜在空間から姿勢空間へ前記さらなる観察データのマッピングを実行する前記モデルを使用することによって、姿勢空間の点を決定する、ことをさらに含むようにしてもよい。
【００１９】
第１の態様の身体姿勢推定方法において、さらに、（ｅ）（ｄ）で決定された姿勢空間の前記点に基づいて、前記さらなる観察ベクトルデータに対応する姿勢を推定する、ことを含むようにしてもよい。
【００２０】
本発明の第６の態様は、第１の態様の身体姿勢推定方法であって、（ｄ）は、（ｄ．１）前記さらなる観察ベクトルデータに基づいて、前記モデルを使用して前記観察空間から前記潜在空間へのマッピングを実行することによって、前記潜在空間の点を決定し、（ｄ．２）前記潜在空間の前記点から前記姿勢空間へのマッピングを実行する前記モデルを使用することによって、前記姿勢空間の前記点を決定する、ことを含む。
【００２１】
本発明の第７の態様は、第６の態様の身体姿勢推定方法であって、（ｄ．１）は、（ｄ．１．ｉ）前記さらなる画像に対応する観察ベクトルデータおよび前記モデルに基づいて、潜在空間の条件付確率分布を計算し、（ｄ．１．ｉｉ）（ｄ．１．ｉ）で計算された前記条件付確率分布の最大事後推定を決定する、ことを含み、（ｄ．２）は、（ｄ．１．ｉｉ）で決定された前記最大事後推定から姿勢空間へのマッピングを実行する前記モデルを使用することによって、姿勢空間の前記点を決定する、ことを含む。
【００２２】
本発明の第８の態様は、第６の態様の身体姿勢推定方法であって、（ｄ．１）は、（ｄ．１．ｉ）前記さらなる画像に対応する観察ベクトルデータおよび前記モデルに基づいて、潜在空間の条件付確率分布を計算し、（ｄ．１．ｉｉ）前記計算された条件付確率分布から複数のサンプルを取得し、（ｄ．１．ｉｉｉ）前記複数のサンプルのいずれがもっとも大きい事後確率を有するかを決定する、ことを含み、（ｄ．２）は、前記もっとも大きい事後確率を有するように（ｄ．１．ｉｉｉ）で決定された前記サンプルから姿勢空間へのマッピングを実行する前記モデルを使用することによって、姿勢空間の前記点を決定する、ことを含む。
【００２３】
本発明の第９の態様は、第１および第６〜第８の態様のいずれかの身体姿勢推定方法であって、前記複数の画像は、ビデオの時間順序フレームのシーケンスを含み、該シーケンスの各々は、時間における点に関連し、（ｂ）で、前記モデルを計算することは、時間における点に関連した画像と、時間における少なくとも１つの先行する点に関連した少なくとも１つの画像に対応する潜在空間の少なくとも１つの点と、を考慮に入れる。
【００２４】
本発明の第１０の態様は、第９の態様の身体姿勢推定方法であって、（ｂ）で、前記モデルを計算することは、時間における点に関連した画像と、時間におけるすぐ直前の点に関連する画像に対応する潜在空間の点と、を考慮に入れる。
【００２５】
第９の態様の身体姿勢推定方法において、（ｃ）対応する姿勢ベクトルデータが未知であるさらなる画像に対応する、さらなる観察ベクトルデータを取得し、（ｄ）前記さらなる観察ベクトルデータおよび前記さらなる画像より前の時間における少なくとも１つの点に関連した少なくとも１つの画像に対応する、潜在空間の少なくとも１つの点に基づいて、観察空間から潜在空間へおよび潜在空間から姿勢空間へ前記さらなる観察データのマッピングを実行するモデルを使用することによって、姿勢空間の点を決定する、ことをさらに含むようにしてもよい。
【００２６】
第９の態様の身体姿勢推定方法において、さらに、（ｄ）は、（ｄ．１）前記さらなる観察ベクトルデータ、および前記さらなる画像より前の時間における少なくとも１つの点に関連した少なくとも１つの画像に対応する、潜在空間の前記少なくとも１つの点に基づいて、観察空間から潜在空間へのマッピングを実行する前記モデルを使用することによって、潜在空間の点を決定し、（ｄ．２）潜在空間から姿勢空間へのマッピングを実行するモデルを使用することによって、姿勢空間の前記点を決定する、ことを含むようにしてもよい。
【００２７】
第９の態様の身体姿勢推定方法において、さらに、（ｄ．１）は、（ｄ．１．ｉ）前記さらなる観察ベクトルデータ、前記さらなる画像より前の時間における少なくとも１つの点に関連した前記少なくとも１つの画像に対応する、潜在空間の前記少なくとも１つの点、および前記モデルに基づいて、潜在空間の条件付確率分布を計算し、（ｄ．１．ｉｉ）（ｄ．１．ｉ）で計算された前記条件付確率分布の最大事後推定を決定する、ことを含み、（ｄ．２）は、（ｄ．１．ｉｉ）で決定された前記最大事後推定から姿勢空間へのマッピングを実行する前記モデルを使用することによって、姿勢空間の前記点を決定することを含むようにしてもよい。
【００２８】
第９の態様の身体姿勢推定方法において、さらに、（ｄ．１）は、（ｄ．１．ｉ）前記さらなる観察ベクトルデータ、前記さらなる画像より前の時間における少なくとも１つの点に関連した前記少なくとも１つの画像に対応する、潜在空間の前記少なくとも１つの点、および前記モデルに基づいて、潜在空間の条件付確率分布を計算し、（ｄ．１．ｉｉ）前記計算された条件付確率分布から複数のサンプルを取得し、（ｄ．１．ｉｉｉ）前記複数のサンプルのいずれがもっとも大きい事後確率を有するかを決定する、ことを含み、（ｄ．２）は、もっとも大きい事後確率を有するように（ｄ．１．ｉｉｉ）で決定された前記サンプルから姿勢空間へのマッピングを実行する前記モデルを使用することによって、姿勢空間の前記点を決定することを含むようにしてもよい。
【００２９】
本発明の第１１の態様は人体姿勢推定システムであって、身体姿勢を含む複数の画像の観察空間での画像を表す観察ベクトルデータおよび姿勢空間で前記画像を表す姿勢ベクトルデータを含む訓練データを取得する入力手段と、前記訓練データに基づいて、前記観察空間から前記観察空間よりも低い次元を有するとともに前記姿勢空間よりも低い次元を有する潜在空間へのマッピングのパラメータと、前記潜在空間から前記姿勢空間へのマッピングのパラメータと、前記潜在空間のパラメータと、を含むモデルを計算し記憶する少なくとも１つの処理手段と、を備え、対応する姿勢ベクトルデータが未知であるさらなる画像に対応する観察ベクトルデータを取得し、前記さらなる画像に対応する観察ベクトルデータを、前記モデルの観察空間から潜在空間へおよび潜在空間から姿勢空間へ前記さらなる観察データのマッピングを実行することによって、姿勢空間の点を決定し、決定された姿勢空間の前記点にもとづいて、前記さらなる観察ベクトルデータに対応する姿勢を推定する。
【００３０】
第１１の態様の人体姿勢推定システムにおいて、前記入力手段は、対応する姿勢ベクトルデータが未知であるさらなる画像に対応するさらなる観察ベクトルデータを取得し、前記少なくとも１つの処理手段は、前記さらなる観察ベクトルデータに基づいて、観察空間から潜在空間へおよび潜在空間から姿勢空間へ、前記さらなる観察データのマッピングを実行するモデルを使用することによって、姿勢空間の点を決定し、姿勢空間の前記決定された点に基づいて、前記さらなる観察ベクトルデータに対応する姿勢を推定するようにしてもよい。
【００３１】
本発明の第１２の態様は、第１１の態様の人体姿勢推定システムであって、前記複数の画像は、ビデオの時間順序フレームのシーケンスを含み、該シーケンスの各々は、時間における点に関連し、前記少なくとも１つの処理手段は、時間における点に関連した画像と、時間における少なくとも１つの先行する点に関連した少なくとも１つの画像に対応する潜在空間の少なくとも１つの点とを考慮に入れてモデルを計算する。
【００３２】
本発明の第１３の態様は、身体姿勢を含む複数の画像の観察空間での画像を表す観察ベクトルデータおよび姿勢空間での前記画像を表す姿勢ベクトルデータを含む訓練データを取得する機能と、前記訓練データに基づいて、前記観察空間から前記観察空間よりも低い次元を有するとともに前記姿勢空間よりも低い次元を有する潜在空間へのマッピングのパラメータと、前記潜在空間から前記姿勢空間へのマッピングのパラメータと、前記潜在空間のパラメータと、を含むモデルを計算し記憶する機能と、をコンピュータに実現させるためのプログラムであって、対応する姿勢ベクトルデータが未知であるさらなる画像に対応する観察ベクトルデータを取得し、前記さらなる画像に対応する観察ベクトルデータを、前記モデルの観察空間から潜在空間へおよび潜在空間から姿勢空間へ前記さらなる観察データのマッピングを実行することによって、姿勢空間の点を決定し、決定された姿勢空間の前記点にもとづいて、前記さらなる観察ベクトルデータに対応する姿勢を推定する。
【００３３】
第１３の態様のプログラムにおいて、対応する姿勢ベクトルデータが未知であるさらなる画像に対応するさらなる観察ベクトルデータを取得する機能と、前記さらなる観察ベクトルデータに基づいて、観察空間から潜在空間へおよび潜在空間から姿勢空間へ前記さらなる観察データのマッピングを実行するモデルを使用することによって、姿勢空間の点を決定する機能と、姿勢空間の前記決定された点に基づいて、前記さらなる観察ベクトルデータに対応する姿勢を推定する機能と、をさらにコンピュータに実現させるようにしてもよい。
【００３４】
本発明の第１４の態様は、第１３の態様のプログラムであって、前記複数の画像は、ビデオの時間順序フレームのシーケンスを含み、該シーケンスの各々は、時間における点に関連し、前記モデルを計算する機能は、時間における点に関連した画像と、時間における少なくとも１つの先行する点に関連した少なくとも１つの画像に対応する、潜在空間の少なくとも１つの点とを考慮に入れる。
【発明の効果】
【００３５】
本発明によれば、人の姿勢推定により速い推論アプローチを提供することができる。
【発明を実施するための最良の形態】
【００３６】
以下の説明は、本発明の完全な説明であることを意図するものではなく、または、本発明の範囲を限定するものではない。本発明の代替および追加の特徴、態様および目的は、明細書、図面および特許請求の範囲を綿密に調べることから得ることができる。
【００３７】
本発明の好適な実施形態は、図面に基づいて詳細に説明される。
【００３８】
ＧＰＬＶＭおよびＢＣ−ＧＰＬＶＭは、上記に検討されたが、潜在空間を見出すときに姿勢空間を考慮するだけである。これらのアプローチは、潜在空間を構築するときに観察空間を考慮することができない。対照的に、本発明の特定の実施形態は、観察駆動ＧＰＬＶＭ（ＯＤ−ＧＰＬＶＭ）と称されるものに関連し、ＧＰＬＶＭで使用される潜在空間から姿勢空間へのマッピングとは別に、観察空間から潜在空間への追加マッピングを提供する。そのような追加マッピングは、利点を有し、そのいくつかが下記に検討される。
【００３９】
本発明の実施形態にしたがったＯＤ−ＧＰＬＶＭは、ハイブリッドアプローチである（すなわち、観察空間から潜在空間への弁別的マッピングを使用し、且つ、生成的ＧＰＬＶＭモデルを使用する）ため、ＯＤ−ＧＰＬＶＭは、ＧＰＬＶＭおよびＢＣ−ＧＰＬＶＭに比較して、より速い推論アプローチを提供する。さらに、本発明の実施形態にしたがったＯＤ−ＧＰＬＶＭは、可変フレームレートがあるときには、または、動力学が十分に信頼のおけるものではないときには、ＧＰＬＶＭおよびＢＣ−ＧＰＬＶＭに比較して、より良好な初期設定を提供する。これは、ＯＤ−ＧＰＬＶＭの初期設定が、人体動力学からの予想の代わりに、観察に基づくことができるからである。
【００４０】
ガウス過程力学モデル（Ｇａｕｓｓｉａｎ  Ｐｒｏｃｅｓｓ  Ｄｙｎａｍｉｃａｌ  Ｍｏｄｅｌｓ）（ＧＰＤＭ）が、非特許文献９の論文に検討されている。本発明の特定の実施形態は、ガウス過程力学モデル（ＧＰＤＭ）への拡張を提供し、潜在空間から潜在空間へのマッピングを有する代わりに、観察と潜在空間との組み合わせからのマッピングがある。そのようなマッピングは、トラッキングフレームワークへの自然な拡張を提供し、先行するフレーム潜在位置および現在の観察を使用して、現在のフレーム潜在位置を大ざっぱに推定することができる。
【００４１】
上述のように、人体姿勢推定への生成的アプローチは、高次元姿勢空間における最良の姿勢をサーチしようと試みる。そのようなサーチは、非線形最適化問題として定式化することができ、最良の姿勢推定を見出すために、勾配降下等のアプローチを使用することができる。しかし、勾配降下は、局所最小（ｌｏｃａｌ  ｍｉｎｉｍａ）に捕らわれる傾向がある。粒子フィルタリング等のアプローチを使用して、この問題を克服することができるが、粒子フィルタリングに基づいたアプローチは、一般に、姿勢空間等の高次元空間ではよくスケーリングすることができない。粒子フィルタリングは、たとえば、非特許文献１０において検討されている。
【００４２】
１つの代替は、主成分分析（ＰＣＡ）等の次元縮小法を使用することによって、姿勢空間の次元を減少することである。この代替は、たとえば、非特許文献１１において検討されている。人間の運動は、本質的に低数の次元を有するが、線形部分空間アプローチは、姿勢空間の基礎をなす非線形のため、不適切である。Ｉｓｏｍａｐおよび局所線形埋込み（Ｌｏｃａｌ  Ｌｉｎｅａｒ  Ｅｍｂｅｄｄｉｎｇ）等の非線形次元縮小アプローチが使用されてきたが、それらは、低次元部分空間から高次元姿勢空間へのマッピングを提供しないため、適切ではない。Ｉｓｏｍａｐは、たとえば、非特許文献１２において検討されている。局所線形埋込みは、たとえば、非特許文献１３において検討されている。
【００４３】
ローレンス（Ｌａｗｒｅｎｃｅ）は、低次元埋込みおよび低次元埋込みから高次元姿勢空間へのマッピングを同時に知るためのアプローチとして、ＧＰＬＶＭを提案した。非特許文献１４は、スケールド（Ｓｃａｌｅｄ）ＧＰＬＶＭと呼ばれるＧＰＬＶＭの拡張を使用して人体トラッキングのアプローチを提案した。ＧＰＤＭおよびＢＣ−ＧＰＬＶＭ等のＧＰＬＶＭの他の拡張もまた、人体トラッキングに使用されている。ＧＰＤＭは、非特許文献１５において検討されている。ＢＣ−ＧＰＬＶＭに基づいたトラッキングは、非特許文献１６において検討されている。
【００４４】
「技術的詳細」
図４は、本発明のある実施形態を要約する高レベルフローチャートである。図４において、ステップ４０２および４０４は、訓練プロセスに関連し、ステップ４０６および４０８は、推論プロセスに関連する。
【００４５】
図４を参照すると、ステップ４０２で、訓練データが得られ、訓練データは、複数の画像用の観察ベクトルデータおよび対応する姿勢ベクトルデータを含む。観察ベクトルデータは、観察空間の画像を表し、姿勢ベクトルデータは、姿勢空間の同一の画像を表す。そのような訓練データは、所望により生成されることができるか、または、既存の訓練データを使用することができる。たとえば、既存の訓練データは、カーネギーメロン大学（Ｃａｒｎｅｇｉｅ  Ｍｅｌｌｏｎ  Ｕｎｉｖｅｒｓｉｔｙ）等の大学から、または、そのような訓練データを公に利用可能にしている他のいずれかのソースから、インターネットを経由してダウンロードすることができる。別の例として、訓練データは、マーカー系モーションキャプチャシステムから画像データおよび姿勢データを同時にキャプチャすることによって、得ることができる。
【００４６】
図４を参照すると、ステップ４０４で、訓練データに基づいて、モデルが計算され、モデルは、観察空間から潜在空間へのマッピングのパラメータと、潜在空間から姿勢空間へのマッピングのパラメータと、潜在空間のパラメータとを含む。観察空間は、この用語が本明細書で使用されるように、単一画像の特徴部または複数画像（たとえば、ビデオの１つ以上のシーケンスのフレームである時間順序の画像）の特徴部を特徴づけるベクトルの状態空間である。観察空間および特徴空間という用語は、交換可能に使用される。姿勢空間は、この用語が本明細書で使用されるように、姿勢を特徴づけるベクトルの状態空間である。そのような姿勢空間ベクトルは、たとえば、関節角度および／または身体パーツの座標を指定することができる。潜在空間は、この用語が本明細書で使用されるように、観察空間よりも低次元の、且つ、姿勢空間よりも低次元の状態空間であり、これは、訓練データの基礎をなす潜在情報を表す。１つの例として、観察空間は、１００次元を有することができ、潜在空間は、２次元を有することができ、姿勢空間は、３４次元を有することができる。これは、単に例であり、限定を意味するものではない。特定の実施形態において、観察空間は、姿勢空間よりも多くの次元を有する。しかし、そうである必要はない。言い換えると、姿勢空間は観察空間と同一数の次元を有することが可能であり、または、観察空間よりも多い数の次元を有することが可能である。
【００４７】
ステップ４０４で計算されたモデルは、観察空間から潜在空間へのマッピングのパラメータと、潜在空間から姿勢空間へのマッピングのパラメータとを含む。対照的に、ＧＰＬＶＭおよびＢＣ−ＧＰＬＶＭでは（図３Ａおよび図３Ｂを参照して上記に検討された）、マッピングは、姿勢空間と潜在空間との間のみである。さらに、ステップ４０４で計算されたモデルはまた、潜在空間のパラメータを含み、これは、下記に検討される式から認識されるように、モデルに埋め込まれる潜在空間の点を含み、これは、訓練データに対応する。潜在空間のそのようなパラメータは、予め決定されておらず、むしろ、モデルの一部として計算される。
【００４８】
例示のために、Ｙ＝［ｙ1，…，ｙN］Tが訓練姿勢データセット（すなわち、複数の訓練画像用の姿勢ベクトルデータ）を表すとする。同様に、Ｘ＝［ｘ1，…，ｘN］Tが特徴空間の観察（すなわち、複数の訓練画像用の観察ベクトルデータ）を表すとする。さらに、Ｚ＝［ｚ1，…，ｚN］Tが潜在空間の対応する位置（点とも称される）を表すとする。ベクトルに関して、ｙiは、関節角度または関節の３次元位置に関して人の完全姿勢を規定するベクトル（発明者らの実験で使用されたデータでは、次元Ｄ＝３４）であり、ｚiは、ｙiに対応する低次元潜在点（発明者らの実験で使用されたデータでは、次元Ｑ＝２）であり、ｘは、特徴または観察点（発明者らの実験で使用されたデータでは、次元Ｆ＝１００）である。図３Ａおよび図３Ｂを参照すると、潜在空間（Ｚ）は、２次元を有するとして示され、姿勢空間（Ｙ）は、３４次元を有するとして示されている。図５を参照すると、観察空間（Ｘ）は、１００次元を有するとして示され、潜在空間（Ｚ）は、２次元を有するとして示され、姿勢空間（Ｙ）は、３４次元を有するとして示されている。
【００４９】
観察駆動ＧＰＬＶＭは、図５に高レベルで例示されるように、２つのマッピングを創出し、すなわち、一方は、観察空間（Ｘ）から低次元潜在空間（Ｚ）へ、他方は、低次元潜在空間（Ｚ）から姿勢空間（Ｙ）へ、である。ＧＰＬＶＭは、２つの考慮に基づいて潜在空間を推定する。すなわち、潜在空間は、姿勢空間をコンパクトに表さなければならない。潜在空間は、滑らかでなければならない。用語が本明細書に使用されるように、滑らか、とは、ドメイン（ｄｏｍａｉｎ）（潜在空間）の２つの「近い」点が、範囲（ｒａｎｇｅ）（姿勢空間）の２つの「近い」点へマッピングされることを意味する。本発明の特定の実施形態にしたがって、モデルは、観察空間および姿勢空間における局所距離を保存する。そのような保存は、２つの類似した観察に対応する潜在点を互いに対して近くに、したがって互いのサンプリング範囲内に、保ちがちである。これは、潜在空間および姿勢空間を観察空間から推論することを可能にする。
【００５０】
図４を参照すると、モデルがステップ４０４で計算された後に（すなわち、訓練されたモデルが生成された後に）、訓練されたモデルを使用して、人体姿勢推定を実行することができる。より具体的には、ステップ４０６でさらなる観察ベクトルデータが得られ、そこで、さらなる観察ベクトルデータは、対応する姿勢ベクトルデータが未知であるさらなる画像に対応する。次いで、ステップ４０８で、訓練されたモデルを使用して、観察空間から潜在空間へ、および、潜在空間から姿勢空間へ、のさらなる観察データのマッピングを実行し、それによって、さらなる観察ベクトルデータに基づいて姿勢空間における点を決定する。より具体的には、ステップ４０８は、さらなる観察ベクトルデータに基づいて、観察空間から潜在空間へのマッピングを実行するモデルを使用することによって、潜在空間における点を決定することを含むことができる。さらに、ステップ４０８は、潜在空間から姿勢空間へのマッピングを実行するモデルを使用することによって、姿勢空間における点を決定することを含むことができる。身体姿勢は、次いで、姿勢空間における点に基づいて、推定することができる。ステップ４０４〜４０８のさらなる詳細は、本発明の特定の実施形態にしたがって、以下に記載される。訓練ステップ４０２および４０４（モデルを計算するのに使用される）が実行された後に、姿勢推定または推論ステップ４０６および４０８を、後の時間のいずれかに実行することができることに注意されたい。言い換えると、モデルが得られると、姿勢推定または推論を個別に発生することができる。ステップ４０２および４０４が完了した後に、ステップ４０６および４０８は、ステップ４０２および４０４を繰り返す必要なく、複数回発生することができることにも注意されたい。
【００５１】
「訓練プロセス」
ステップ４０４におけるモデルの計算は、訓練プロセスとも称されるが、以下に、さらに詳細に記載される。姿勢および観察の訓練データセット（Ｙ、Ｘ）が与えられると、望ましいことは、モデルＭ＝｛｛Ｚi｝，Φ，Θ｝を計算することである。ただし、ΦおよびΘは、それぞれ、ＺからＹへ且つＸからＺへのそれぞれのマッピングのパラメータである。より具体的には、潜在空間から姿勢空間へのマッピングのパラメータは、ΦΞ（αΦ，γΦ，ωΦ，βΦ）であり、観察空間から潜在空間へのマッピングのパラメータは、ΘΞ（αΘ，γΘ，ωΘ，βΘ）である。Ｍ，Ｐ（Ｍ｜Ｙ，Ｘ）のポステリア（ｐｏｓｔｅｒｉｏｒ）は、ベイズ規則を使用して分解することができ、Ｙが、下記のようにＭが与えられたＸから独立していると想定する。
【数１】
2009146405.tif 000003
【００５２】
ガウス過程モデル下で、データ用の条件付密度は、多変量ガウスであり、下記のように書くことができる。
【数２】
2009146405.tif 000004
ただし、ＫZは核行列であり、核行列の要素は、ｋ（ｚi，ｚj）によって規定される。
【００５３】
核行列に基づいた放射基底関数（ＲＢＦ）を使用することができ、これは、下記によって与えられる。
【数３】
2009146405.tif 000005
ただし、δは、非特許文献７に検討されたように、クロネッカーのデルタ関数である。
【００５４】
同様に、Ｐ（Ｚ｜Ｘ，Θ）は、下記のように書くことができる。
【数４】
2009146405.tif 000006
ただし、ＫXは、Ｘの核行列である。
【００５５】
核行列ＫXの要素は、下記のように規定することができる。
【数５】
2009146405.tif 000007
【００５６】
パラメータに均一プライア（ｕｎｉｆｏｒｍ  ｐｒｉｏｒｓ）を想定すると（すなわち、Ｐ（Θ｜Ｘ）は均一である）、最適化されるべきログポステリア（ｌｏｇ−ｐｏｓｔｅｒｉｏｒ）は、式（２）および式（４）の積のログを取ることによって得ることができ、これは、結果として、式（６）になる。
【数６】
2009146405.tif 000008
【００５７】
式（６）は、たとえばスケールド共役勾配（ｓｃａｌｅｄ  ｃｏｎｊｕｇａｔｅ  ｇｒａｄｉｅｎｔ）等の非線形最適化ツール（ｎｏｎ−ｌｉｎｅａｒ  ｏｐｔｉｍｉｚｅｒ）を使用して、最適化することができ、それは、非特許文献１７において検討されている。最適化のパラメータは、Ｚ、ΦおよびΘである。最適化は、非特許文献７において実行された最適化に類似して、実行することができる。初期設定用に、主成分分析を使用してＺを得ることができる。次いで、反復アプローチを使用して、Ｚ、ΦおよびΘに対する最適化を実行することができ、そこで、パラメータは、勾配方程式を使用して、アップデートすることができる。下記式（６．５）は、式（６）の派生物であり、そのような勾配方程式の例である。
【数７】
2009146405.tif 000009
【００５８】
ｄＬＰ／ｄΦおよびｄＬＰ／ｄΘ用の勾配方程式を、同様に決定することができる。Ｚ、ΦおよびΘに対する最適化は、同時に実行することができる。１つの実施形態において、Ｚ、ΦおよびΘのいずれも固定されず、最適化は、３つの全てに対して実施される。あるいは、反復アプローチを使用して、Ｚ、ΦおよびΘの１つを、たとえば、主成分分析（ＰＣＡ）を使用して、当初得ることができ、別の１つを固定することができ、ログポステリアを、第３のものに対して最適化することができる。その後、Ｚ、ΦおよびΘの１つ（または２つ）を固定することができ、最適化は、固定されていないものに対して実行され、そこでは、最適化が実施されているパラメータは、固定されたパラメータに依存していない。最適化は、特定の基準が満たされるまで繰り返すことができる。満たされるべき基準は、たとえば、反復プロセスが一定回数実行されること、３タイプのパラメータの各々が、一定回数最適化されたこと、または、１つの反復から次の反復へ最適化のためパラメータの変化が、一定量未満で変わること、であってもよい。
【００５９】
「推論プロセス」
姿勢を推論するために、上述の訓練されたモデルＭとさらなる観察ベクトルデータ（さらなる画像に対応する）との両方を使用しなければならない。図４のステップ４０６および４０８の推論プロセスは、図６に示されるように、代替的に例示されることができる。フレーム（たとえば、画像）における姿勢を推論するために、６０２で例示されるように、まず特徴が抽出される。特徴は、シェイプコンテクストヒストグラム（ｓｈａｐｅ  ｃｏｎｔｅｘｔ  ｈｉｓｔｏｇｒａｍ）に基づくことができ、たとえば、非特許文献１において使用されたヒストグラムに類似したものである。これは、結果として、対応する姿勢ベクトルデータが未知である画像に対応する観察ベクトルデータになる。
【００６０】
特徴に基づいて、上記式（４）に記載された、弁別的マッピングを使用して、６０４で示されるように、提案分布（ｐｒｏｐｏｓａｌ  ｄｉｓｔｒｉｂｕｔｉｏｎ）Ｐ（Ｚ｜ｘ，Ｍ）を得ることができる。これらの提案分布を使用して、６０６で示されるように、潜在空間におけるサンプルを得ることができる。サンプルは、たとえば、重要度サンプリングを使用して得ることができる。例示的な重要度サンプリング手順が、非特許文献１８に記載されている。６０８で示されるように、サンプルは、次いで、たとえば、下記によって規定されるような事後確率（ｐｏｓｔｅｒｉｏｒ  ｐｒｏｂａｂｉｌｉｔｉｅｓ）に基づいて評価されることができる。
【数８】
2009146405.tif 000010
ただし、Ｉは観察された画像である。
【００６１】
式（７）において、第１の項は、画像尤度であり、すなわち、画像Ｉの確率である。これは、たとえば、距離変換アプローチを使用して計算することができる。例示的な距離変換アプローチは、非特許文献１９の第９章に記載されている。第２の項は、仮定された潜在空間ｚを前提として姿勢ｙの確率を表し、第３の項は、訓練されたモデルを前提としてｚの確率を表す。上記非特許文献７から、Ｐ（ｙ｜ｚ，Ｍ）は、Ｎ（ｙ，ｆ（ｚ），σ（ｚ））によって与えられることは公知であり、ただし、ｆ（ｚ）およびσ（ｚ）は、下記によって与えられる。
【数９】
2009146405.tif 000011
【００６２】
式（７）において、第３の項では、Ｐ（ｚ｜Ｍ）は、Ｐ（ｚ｜ｘ，Ｍ）によって概算することができる。これは、観察空間から潜在空間へ（ＸからＺへ）のマッピングを使用して計算することができる。
【００６３】
より一般的に述べると、潜在空間における点を決定するために、特徴ｘを備えた観察された画像Ｉ用の観察ベクトルデータに基づいて、潜在空間における条件付確率分布、Ｐ（ｚ｜ｘ，Ｍ）は、観察ベクトルデータおよび訓練されたモデルに基づいて計算することができる。事後確率Ｐ（ｙ，ｚ｜Ｉ，Ｍ）は、次いで、各ｚおよびそれに対応するｙについて計算することができ、姿勢空間における点は、最大事後推定（ｍａｘｉｍｕｍ  ａ  ｐｏｓｔｅｒｉｏｒ  ｅｓｔｉｍａｔｉｏｎ）から姿勢空間へのマッピングを実行するモデルを使用することによって、決定することができる。
【００６４】
あるいは、条件付確率分布の最大事後推定Ｐ（ｙ，ｚ｜ｘ，Ｍ）を決定するのではなく、コンピュータ計算された条件付確率分布から、たとえば、重要度サンプリングを使用して、サンプルを得ることもできる。次いで、どのサンプルがもっとも大きい事後確率を有するかに関して決定することができる。次いで、姿勢空間における点は、サンプル（もっとも大きい事後確率を有するように決定される）から姿勢空間へのマッピングを実行するモデルを使用することによって、決定することができる。
【００６５】
単一のＯＤ−ＧＰＬＶＭは、多くの異なる動き、たとえば、ゴルフのスイングまたは同時に蹴ることで、訓練することができる。しかし、観察空間から潜在空間および潜在空間から姿勢空間へのマッピングは曖昧であり得るため、観察空間から潜在空間への数マッピングを含み、且つ、現在の姿勢および環境等の状況的特徴（ｃｏｎｔｅｘｔｕａｌ  ｆｅａｔｕｒｅｓ）に基づいて、どのマッピングを使用するかを決定することがより良好であろう。
【００６６】
「トラッキングへの拡張」
ガウス過程力学モデル（ＧＰＤＭ）は、低次元潜在空間と、潜在空間から姿勢空間へのマッピングと、潜在空間における動力学モデルとを含む、潜在変数モデルである。観察駆動ＧＰＬＶＭは、本発明の特定の実施形態にしたがって、ＧＰＤＭへの自然の拡張を提供し、これは、観察駆動ＧＰＤＭ（ＯＤ−ＧＰＤＭ）と称されるものである。観察空間Ｘから潜在空間Ｚへのマッピングを有する代わりに、時間ｔでの潜在位置は、下記によって与えられる。
【数１０】
2009146405.tif 000012
【００６７】
そのようなマッピングを有することによって、現在の潜在位置は、現在の観察および１つ以上の先行するフレームの潜在位置を使用して、復帰することができる。言い換えると、モデルのマッピングを決定するときに且つ姿勢を推論するときに、時間における先行する点に関連した画像を使用することができる。新しい尤度関数、ＬＰ’（下記の式（６’）の）は、ＬＰ（上記の式（６）の）に類似するが、ＫX（上記の式（５）の）がＫXZによって置き換えられ、ＫXZの各要素（下記の数式（５’）の）は、下記によって与えられることを除く。
【数１１】
2009146405.tif 000013
【数１２】
2009146405.tif 000014
【００６８】
ＯＤ−ＧＰＤＭ用のトラッキングフレームワークにおける推論手順は、上記に説明された推論手順に類似する。提案分布は、現在の観察ｘtおよび１つ（またはそれ以上）の先行するフレーム潜在位置ｚt-1（…ｚt-i）を使用して得ることができる。この提案分布に基づいて、重要度サンプリングを使用して評価されるサンプルを得ることができる。サンプルは、下記によって与えられる事後確率を使用して評価することができる。
【数１３】
2009146405.tif 000015
【数１４】
2009146405.tif 000016
ただし、（＊）は、最大事後（ＭＡＰ）推定として規定することができる。
【数１５】
2009146405.tif 000017
【００６９】
式（８）において、最終項は、ｙtおよびｚtのいずれかの選択用の定数であり、定数項ｋで置き換えられている。
【００７０】
より一般的に述べると、複数の画像がビデオの時間順序フレームのシーケンスを含む場合（その各々は時間における点に関連する）、ステップ４０４で発生するモデルの計算は、モデルの計算が、時間における点に関連した画像、および、時間における先行する点に関連した画像に対応する潜在空間における点、たとえば、時間におけるすぐ直前の点に関連する画像に対応する潜在空間における点を考慮に入れるように、修正することができる。さらに、ステップ４０６および４０８で推論プロセスを実行するときには、時間における先行する点に関連した画像を使用することもまたできる。たとえば、ステップ４０８で、訓練されたモデルを使用して、さらなる観察ベクトルデータ（さらなる画像に対応する）、および、姿勢推定が実行されているさらなる画像の前の時間における点に関連した画像に対応する潜在空間における点に基づいて、姿勢空間における点を決定することができる。
【００７１】
「評価」
本発明の実施形態の発明者らは、上述のように、ＯＤ−ＧＰＬＶＭおよびＯＤ−ＧＰＤＭを実施し、歩行およびジャンピングジャック等の動きを備えたシーケンス用の実施形態をテストした。使用された訓練データは、カーネギーメロン大学（ＣＭＵ）のモーションキャプチャウェブサイトから得られた。本出願の出願日時点で、訓練データは、非特許文献２０で入手可能であった。代替の訓練データを使用することもできる。たとえば、訓練データは、モーションキャプチャプロセス、画像キャプチャプロセス、および、モーションエグザンプラー（ｍｏｔｉｏｎ  ｅｘｅｍｐｌａｒ）のラベリングを含む管理学習（ｓｕｐｅｒｖｉｓｅｄ  ｌｅａｒｎｉｎｇ）プロセスを使用して得ることができる。
【００７２】
図７は、ＧＰＬＶＭを使用するとき（ａ）、ＯＤ−ＧＰＬＶＭを使用するとき（ｂ）、且つ、ＯＤ−ＧＰＤＭを使用するとき（ｃ）、の６９フレームの歩行シーケンス用の訓練結果を示す。潜在空間の次元は２に設定された。シーケンスは、観察では類似して見えるが姿勢空間では異なる２つの歩行サイクルから構成される。上記データを使用してＧＰＬＶＭを訓練することによって、各歩行サイクルに対応する２つの折った部分（ｆｏｌｄ）がある（各折った部分は、サイクルによって、または、潜在空間の点のループによって表される）。しかし、ＯＤ−ＧＰＬＶＭを訓練するときには、２つのサイクルが互いに類似して見えるため、２つの折った部分は１つに折り畳まれる。これは、観察駆動サーチには有用な特性であるが、それは、２つの姿勢が類似して見える場合には、好ましくは互いのサンプリング範囲内になければならないからである。同一のデータセット用にＯＤ−ＧＰＤＭを訓練する際に、潜在空間が２つの折った部分を含むが、それらは、互いに対して非常に近く、したがって互いのサンプリング範囲内にあることを観察することができる。
【００７３】
訓練されたＯＤ−ＧＰＤＭはまた、歩いている人から構成される別個のビデオでテストされた。図８は、歩いている人用の訓練データに基づいてモデルが計算された潜在空間のトラッキング結果を示す。図８において、線によってつながれたドットが潜在空間におけるトラッキング結果を例示し、番号が付けられたドットが訓練データからのｚ（すなわち、訓練データセットからの潜在点）を例示する。図９は、トラッキングされた潜在位置を使用して潜在空間から姿勢空間へのマッピングを使用して、再構築されたスケルトンを示す。弁別的モジュールは、インテルペンティアム（登録商標）（Ｉｎｔｅｌ  Ｐｅｎｔｉｕｍ（登録商標））４、３．４ＧＨｚプロセッサを使用して走行するときに、７ｆｐｓまでのスピードでほぼリアルタイムであり得る。生成的モジュールのスピードは、重要度サンプリング手順を使用して生成されたサンプルの数に依存する。他のアプローチ、たとえば、非特許文献４に記載されたアプローチ、および、非特許文献５に記載されたアプローチは、Ｍａｔｌａｂを使用して、それぞれ、１フレーム当たりおよそ５分４５秒かかることに注意されたい。
【００７４】
発明者らはまた、ジャンピングジャックシーケンスを使用して、そのモデルを訓練したが、データセットはまた、カーネギーメロン大学の同一のモーションキャプチャウェブサイトから得られた。図１０は、同一のデータセットからの別のジャンピングジャックシーケンスに関するいくつかの結果を示す。
【００７５】
本発明の実施形態のＯＤ−ＧＰＬＶＭおよびＯＤ−ＧＰＤＭ、および、人体姿勢推定の問題に対するそれらの適用は、上記に記載されている。そのようなアプローチは、先行するアプローチに対して利点を有する。たとえば、これらのアプローチは、性質がハイブリッドであり、潜在空間を観察空間から直接推論可能にし、それによって、より速い推論アプローチを提供する。また、これらのアプローチは、観察を使用して、潜在空間における初期設定を得る。したがって、そのようなアプローチは、ビデオのフレームレートが可変であるか、または、動力学が、仮にあったとしても信頼のおける初期設定を提供するには十分に信頼のおけるものではない場合に、ＧＰＬＶＭおよびＧＰＤＭをしのぐ。さらに、すべてのマーカーレス（ｍａｒｋｅｒ−ｌｅｓｓ）姿勢推定方法およびシステムと同様に、本発明の実施形態は、関節のある人体のトラッキングおよび姿勢推定を実行するためにマーカーを信頼していない。また、観察空間における局所距離を保存することによって、最良の姿勢をサーチするコストを減少することができるが、それは、サーチが、観察空間における距離および勾配に基づくことができるからである。
【００７６】
本発明の技術は、上述の他の現代の技術に比較して、人の姿勢推定により速い推論アプローチを提供すると思われている。これは、ニアリアルタイム姿勢推定が望ましい適用を可能にする。さらに、本発明の技術は、先行する技術に比較して、サーチのためのより良好な初期設定を達成し、したがって、局所最小に捕らわれることが少ないと考えられる。初期設定は、上述のように、観察と人体動力学からのウィークプライア（ｗｅａｋ  ｐｒｉｏｒ）との組み合わせに基づくことができる。さらに、本発明の技術を使用するときには、姿勢がトラッキングされている対象は、特定の場所に特別なマーカーを着用する必要はなく、それによって、より広い範囲の可能な適用、たとえば、セキュリティの監視または高齢者モニタリングを可能にする。
【００７７】
本発明の実施形態は、従来の汎用コンピュータまたは専門コンピュータまたは本開示の教示にしたがってプログラムされたマイクロプロセッサを使用して、実施することができる。適切なソフトウェアコーディングは、ソフトウェア業界の当業者には明らかであるように、本開示の教示に基づいて、熟練プログラマーによって容易に準備することができる。
【００７８】
いくつかの実施形態において、本発明は、本発明のプロセスのいずれかを実行するためにコンピュータをプログラムするために使用することができる命令を記憶して有する記憶媒体であるコンピュータプログラム製品を含む。記憶媒体は、フロッピィディスク、光ディスク、ＤＶＤ、ＣＤ  ＲＯＭ、マイクロドライブおよび光磁気ディスクを含むいずれかのタイプのディスク、ＲＯＭ、ＲＡＭ、ＥＰＲＯＭ、ＥＥＰＲＯＭ、ＤＲＡＭ、ＶＲＡＭ、フラッシュメモリデバイス、磁気または光カード、ナノシステム（分子メモリＩＣを含む）、または、命令および／またはデータを記憶するのに適切ないずれかのタイプの媒体または装置を含むことができるが、それらに限定されない。
【００７９】
図１１は、本発明の実施形態にしたがったシステム１１００を示し、これは、入力モジュール（入力手段）１１１２、メモリ１１１４（記憶手段）、記憶装置１１１８、１つ以上のプロセッサ１１２２（処理手段）、および、出力モジュール（出力手段）１１２４を含むものとして示されている。代替の実施形態において、画像プロセッサ（画像処理手段）１１２０は、メインプロセッサ１１２２の一部でありえ、または、特定の画像フォーマットでキャプチャされたデジタル画像として状況を認識するための専用装置でありえる。同様に、メモリ１１１４は、独立型メモリ装置（たとえば、ランダムアクセスメモリ（ＲＡＭ）チップ、フラッシュメモリ等）でありえ、および／または、プロセッサ１１２２を備えたメモリオンチップ（たとえば、キャッシュメモリ）でありえる。記憶装置１１１８は、たとえば、ハードディスク、ＤＶＤ−Ｒ／ＲＷ、ＣＤ−Ｒ／ＲＷまたはＲＡＭでありえるが、それらに限定されない。コンピュータシステム１１１０は、独立型システム、たとえば、サーバ、パソコン等でありえ、または、大型システム、たとえば、視覚システムを有するセキュリティシステムの一部でありえる。
【００８０】
本発明の実施形態にしたがって、入力モジュール１１１２は、画像ソース、たとえば、データベース１１４０ａ、メモリ１１１４または記憶装置１１１８から、デジタル画像を受け取る。さらに、または、代替的に、入力モジュール１１１２は、画像形成装置１１３０、たとえば、デジタルカメラ１１３０ｂ、ビデオシステム１１３０ａ（たとえば、閉回路テレビ）、画像スキャナ等から直接デジタル画像を受け取ることができる。さらに、または、代替的に、入力モジュール１１１２は、ネットワークシステム、たとえば、別のデータベース、別の視覚システム、インターネットサーバ等から情報を受け取るインタフェースであり得る。ネットワークインタフェースは、ワイヤインタフェース（ｗｉｒｅｄ  ｉｎｔｅｒｆａｃｅ）、たとえば、ＵＳＢ、ＲＳ−２３２シリアルポート、イーサネット（登録商標）（Ｅｔｈｅｒｎｅｔ（登録商標））カード等であってもよいが、それらに限定されず、または、ワイヤレスインタフェースモジュール、たとえば、ワイヤレスプロトコル、たとえば、ブルートゥース（Ｂｌｕｅｔｏｏｔｈ）、ＷｉＦｉ、ＩＥＥＥ８０２．１１等を使用して通信するように構成されたワイヤレスデバイスであり得る。画像プロセッサ１１２０を使用して、入力モジュール１１１２を通して受け取ったデジタル画像を予め処理して、デジタル画像を、プロセッサ１１２２が作動する好適なフォーマットに転換することができる。
【００８１】
情報をメモリ１１１４に記憶し、プロセッサ１１２２によって処理することができる。プロセッサ１１２２は、実行するときに、上記に詳細に記載されたように、本発明にしたがった１つ以上の方法を実行する１セットの命令を加えることができる。メモリ１１１４は、たとえば、そのような方法を実施するための命令のモジュール１１１６を含むことができる。
【００８２】
プロセッサ１１２２は、出力モジュール（出力手段）１１２４を通して、外部の装置１１５０、たとえば、ネットワーク構成要素またはサーバ１１５０ａ、ディスプレイ装置１１５０ｂ、データベース１１５０ｃ等へ情報を出力することができる。入力モジュール１１１２と同様に、出力モジュール１１２４は、ワイヤ（有線接続）でもワイヤレス（無線接続）でもありえる。出力モジュール１１２４は、記憶ドライブインタフェース（たとえば、ハードドライブまたは光学ドライブのドライバ）、ネットワークインタフェース装置（たとえば、イーサネット（登録商標）インタフェースカード、ワイヤレスネットワークカード等）、または、ディスプレイドライバ（たとえば、グラフィックカード等）、または、決定された情報を出力するための他のいずれかのそのような装置でありえる。
【００８３】
下記表１は、本明細書に使用される記号およびその意味のリストを含む。
【表１】
2009146405.tif 000018
【００８４】
下記表２は、本明細書に使用される略語の多数およびその意味のリストを含む。
【表２】
2009146405.tif 000019
【００８５】
本発明の好適な実施形態の前述の記載は、例示および説明の目的のために設けられている。これは、網羅的であることを意図せず、または、本発明を開示された正確な形式に限定することを意図しない。多くの修正例および変形例が、関連分野の当業者には明らかである。上述の部品の数は例であり、限定する意図はない。したがって、他の部品を、上述のもの代わりにすることができる。
【００８６】
実施形態は、本発明の原理およびその実際の適用を最良に説明するために選ばれ且つ述べられ、それによって、他の当業者が、様々な実施形態の、且つ企図された特定の使用に適切である様々な修正例を備えた本発明を理解するのを可能にする。本発明の範囲は、特許請求の範囲およびその等価物によって規定されることが意図される。
【図面の簡単な説明】
【００８７】
【図１Ａ】姿勢推定目的用に、関節のある人体が、どのように、１０の身体パーツを含むとして考えることができるかを例示する図である。
【図１Ｂ】図１Ａの１０の身体パーツが、どのように、互いに関連するかを示す図である。
【図２Ａ】姿勢推定への弁別的アプローチを全体的に例示するために使用される図である。
【図２Ｂ】姿勢推定への生成的アプローチを全体的に例示するために使用される図である。
【図３Ａ】ガウス過程潜在変数モデル（ＧＰＬＶＭ）が、潜在空間（Ｚ）から姿勢空間（Ｙ）へのマッピングを必要とすることを全体的に例示するために使用される図である。
【図３Ｂ】姿勢推定へのバック制約ガウス過程潜在変数モデル（ＢＣ−ＧＰＬＶＭ）アプローチを全体的に例示するために使用される図である。
【図４】本発明の様々な実施形態を要約するために使用される高レベルフローチャートである。
【図５】本発明の特定の実施形態にしたがって、観察駆動ＧＰＬＶＭ（Ｏｂｓｅｒｖａｔｉｏｎ  Ｄｒｉｖｅｎ  ＧＰＬＶＭ）（ＯＤ−ＧＰＬＶＭ）が、どのように、２つのマッピング、すなわち、一方は、観察空間（Ｘ）から低次元潜在空間（Ｚ）へ、他方は、低次元潜在空間（Ｚ）から姿勢空間（Ｙ）へ、を創出するかを例示するために使用される図である。ＯＤ−ＧＰＬＶＭが潜在空間における点を計算することも例示する。
【図６】本発明の実施形態にしたがって、推論過程を例示するために使用される図である。
【図７】ＧＰＬＶＭを使用するとき（ａ）、本発明の実施形態にしたがってＯＤ−ＧＰＬＶＭを使用するとき（ｂ）、且つ、本発明の実施形態にしたがってＯＤ−ＧＰＤＭを使用するとき（ｃ）、の６９フレームの歩行シーケンス（ｗａｌｋｉｎｇ  ｓｅｑｕｅｎｃｅ）の訓練結果を例示する図である。
【図８】歩いている人に対応する訓練データに基づいてモデルが計算されたときに決定された潜在空間における点を示す図である。
【図９】図８のトラッキングされた潜在位置を使用して潜在空間から姿勢空間へのマッピングを使用して、再構築されたスケルトンを示す図である。
【図１０】ジャンピングジャックを行っている人に対応する訓練データに基づいてモデルが計算されたときに決定されたトラッキングされた潜在位置を使用して潜在空間から姿勢空間へのマッピングを使用して、再構築されたスケルトンを示す図である。
【図１１】本発明の実施形態にしたがったシステムの高レベルブロック図である。
【符号の説明】
【００８８】
１１００  コンピュータシステム
１１１２  入力モジュール（入力手段）
１１１４  メモリ（記憶手段）
１１１６  命令のモジュール
１１１８  記憶装置
１１２０  画像プロセッサ（画像処理手段）
１１２２  メインプロセッサ（処理手段）
１１２４  出力モジュール（処理手段）
１１３０  画像形成装置
１１４０ａ  データベース
【図４】
2009146405.tif 000020
【図６】
2009146405.tif 000021
【図１１】
2009146405.tif 000022
【図１Ａ】
2009146405.tif 000023
【図１Ｂ】
2009146405.tif 000024
【図２Ａ】
2009146405.tif 000025
【図２Ｂ】
2009146405.tif 000026
【図３Ａ】
2009146405.tif 000027
【図３Ｂ】
2009146405.tif 000028
【図５】
2009146405.tif 000029
【図７】
2009146405.tif 000030
【図８】
2009146405.tif 000031
【図９】
2009146405.tif 000032
【図１０】
2009146405.tif 000033