"単眼画像列中の複数のオブジェクトそれぞれの3次元ポーズを検出し追跡するための画像プロセッサ10において、前記3次元ポーズは前記オブジェクトの可動部分の3次元構成を示し、前記画像プロセッサは、1個の画像中の複数のオブジェクトそれぞれのポーズを推定するための、1個またはそれ以上の2次元ポーズ検出器44と、前記画像中の複数のオブジェクトそれぞれの視点を推定するための、2次元視点検出器46と、2次元ポーズ検出器および2次元視点検出器の出力を受信し、検出による2次元追跡に適用される、2次元追跡および視点推定演算部50と、および前記2次元追跡および視点推定演算部の出力から画像列における複数のオブジェクトの3次元ポーズを推定し且つ追跡するための、3次元ポーズ推定演算部60と、を備える、画像プロセッサ。請求項1に記載の画像プロセッサにおいて、さらに、2次元ポーズ検出器に供給するために複数のオブジェクトの部分を検出するための、1個またはそれ以上の部分ベース検出器42を備える、画像プロセッサ。請求項2に記載の画像プロセッサにおいて、前記1個またはそれ以上の部分ベース検出器は、前記オブジェクトの図形構造モデルを利用し、及び/または、前記1個またはそれ以上の部分ベース検出器は視点特定検出器である、画像プロセッサ。請求項2または3に記載の画像プロセッサにおいて、さらにSVM検出器を備え、前記1個またはそれ以上の部分ベース検出器の出力は前記SVM検出器に供給され、またはさらに分類器48を備え、前記1個またはそれ以上の部分ベース検出器の出力は前記分類器に供給される、画像プロセッサ。請求項1~4の何れか1項に記載の画像プロセッサにおいて、2次元追跡および視点推定演算部は、トラックレット抽出器52を備える、画像プロセッサ。請求項5に記載の画像プロセッサにおいて、さらに、前記トラックレット抽出器から得られた各トラックレットの視点の列を推定するための、視点推定器を備える、画像プロセッサ。請求項1~6の何れか1項に記載の画像プロセッサにおいて、前記3次元ポーズ推定演算部は2次元ポーズを3次元ポーズにリフトするために適用される、画像プロセッサ。単眼画像列中の複数のオブジェクトそれぞれの3次元ポーズを検出するために画像プロセッサを使用する方法において、3次元ポーズはオブジェクトの可動部分の3次元構成を表し、前記方法は、1個の画像中の複数のオブジェクトそれぞれの2次元ポーズを推定し104、前記画像中の複数のオブジェクトそれぞれの2次元視点を推定し105、検出による2次元追跡を、前記推定された2次元ポーズ検出器と推定された2次元視点に適用し109、さらに、前記検出による2次元追跡および視点推定の出力を用いて、前記複数のオブジェクトそれぞれの3次元ポーズを推定する110、各ステップを備える、方法。請求項8に記載の方法において、前記2次元ポーズの推定は前記画像中の複数のオブジェクトそれぞれの部分を検出することを含む、方法。請求項9に記載の方法において、前記複数のオブジェクトの部分を検出することは、前記複数のオブジェクトそれぞれの図形構造モデルを利用し、及び/又は、前記複数のオブジェクトの部分を検出することは、視点特定的である、方法。請求項9または10に記載の方法において、前記部分ベース検出ステップの後に分類ステップが続く、方法。請求項8~11の何れか1項に記載の方法において、前記2次元追跡および視点の推定は、前記画像からトラックレットを抽出するステップ108を含む、方法。請求項12に記載の方法において、さらに、各トラックレットの視点を推定するステップを含む、方法。請求項8~13の何れか1項に記載の方法において、前記3次元ポーズ推定は、2次元ポーズを3次元ポーズにリフトするステップ112を含む、方法。コンピュータ可読媒体上のプログラムであって、コンピュータによって実行された場合に前記コンピュータに請求項8~14の何れか1項に記載の方法を実行させる命令を有する、プログラム。本発明を、特定の実施形態に関して幾つかの図面を参照して説明するが、本発明はそれらに限定されるものではなく、特許請求の範囲によってのみ限定される。記載された図面は、概略的且つ非限定的である。例示目的のために、図面では、要素の大きさは誇張されており、正しい尺度で描かれていない。含むという用語は、本明細書および特許請求の範囲で使用される場合、それは他の要素やステップを排除するものではない。単数名詞に言及する時に不定冠詞または定冠詞が用いられる場合、他の何らかが特別に記載されていない限り、その名詞の複数形を含む。特許請求の範囲で使用される含むという用語は、その後に記載される意味に限定されると解釈するべきでなく、他の要素やステップを排除しない。従って、表現手段AとBを含むデバイスの範囲は、構成要素AおよびBのみからなるデバイスに限定されることはない。これは、本発明に関して、そのデバイスの関連構成要素がAおよびBのみであることを意味する。さらに、説明中および特許請求の範囲において、第1、第2、第3との用語は、類似の要素間を区別するために使用され、必ずしも順序または時間順を記述するためではない。そのように使用された用語は、適正な状況下で交換可能であること、および、此処に記載された発明の実施形態は、此処に記載され図示された順序以外での動作が可能であることを理解すべきである。また、明細書および特許請求の範囲における用語上部、下部、~上、~下等は、説明目的のために使用されおり、必ずしも相対的な位置を記述するためではない。そのように使用された用語は適切な状況下で交換可能であり、此処に記載された本発明の実施形態は、此処に記載されまたは図示された以外の配置において動作可能であることを理解すべきである。この明細書全体での一実施形態または実施形態への参照は、その実施形態に関係して記載されたある特性、構成または特徴が、少なくとも1個の本発明の実施形態に含まれていることを意味している。従って、この明細書全体の種々の場所での語句一実施形態においては、必ずしも全てが同じ実施形態を参照している必要はないが、そうであっても良い。さらに、その特性、構造または特徴は、当業者には明らかなように、一またはそれ以上の実施形態において、適切な方法で結合することが可能である。同様に、本発明の例示的な実施形態の説明において、本発明の様々な特徴は、開示を簡潔化し一またはそれ以上の種々の発明態様の理解を助ける目的で、往々にして、単一の実施形態、図またはその説明にまとめられていることを理解すべきである。しかしながら、この開示方法は、請求項に係る発明が、各請求項に記載されたものよりも多くの構成要件を必要とするという意図を反映するものと解釈するべきではない。むしろ、請求の範囲において表すように、発明の態様は、開示された単一の実施形態の全ての特徴より少ない。したがって、発明の詳細な説明に続く請求の範囲は、各請求項それ自身で本発明の個別の実施形態として、発明の詳細な説明に組み込まれる。さらに、此処に記載された幾つかの実施形態は、他の実施形態に含まれるその他の特徴ではない幾つかの特徴を含み、異なる実施形態の特徴の組み合わせは、本発明の範囲内であると意図され、当業者によって理解されるように異なる実施形態を形成する。例えば、以下の請求の範囲において、請求された実施形態の全ては如何なる組み合わせにおいても使用され得る。更に、実施形態の幾つかは、方法として、または、コンピュータシステムのプロセッサまたはその機能を実現する他の手段によって実行され得る方法の要素の組み合わせとして、此処に記載されている。このように、プロセッサは、この方法または方法の要素を実施するために必要な命令と共に、この方法または方法の要素を実行するための手段を形成する。さらに、装置の実施形態として此処に記載された要素は、本発明を実施するための要素によってなされる機能を実行するための手段の一例である。信号への言及は、あらゆる媒体における信号の任意の種類を包含することができ、従って、例えば、電気的、光学的または無線信号あるいはその他の信号を包含することができる。分析への言及は、材料に関する情報を導出するか、強化するために全ての方法で信号を処理することを包含することができる。プロセッサへの言及は、全ての形態の信号またはデータを処理するための任意の手段を包含することができ、そのため、例えば、パーソナルコンピュータ、マイクロプロセッサ、アナログ回路、特定用途向け集積回路、そのためのソフトウェアなどを包含することができる。此処で提供される説明では、多数の具体的な詳細が記載されている。しかしながら、本発明の実施形態は、これらの具体的詳細がなくても実施できることを理解すべきである。他の事例では、周知の方法、構造および技術を詳細に示していないが、これは、この説明の理解を曖昧にしないためである。3次元ポーズへの言及は、オブジェクトの可動部分の3次元構成を表し、身体の3次元位置および方向に限定されない。検出による追跡への言及は、汎用または、適合オブジェクト検出器またはそれに類似のものをどの様な方法においても使用する、追跡アルゴリズムを包含することを意図している。幾つかの例では、オブジェクト検出器は、アルゴリズムのためのエビデンスモデルのコンポーネントのいずれかであり得る。2次元ポーズから3次元ポーズへのリフトへの言及は、例えば画像の一部分である2次元データを3次元オブジェクトモデルに、全ての方法でフィッティングすることを包含するものと意図される。一事例の説明が、DAForsythOArikanLIkemotoJO’BrienandDRamananによる、ComputationalstudiesofhumanmotionPart1trackingandmotionsynthesis、FoundationsandTrendsinComputerGraphicsandVision177254July2006の要約およびセクション1.2に記載されている。本発明は、全てのフレームにイメージエビデンスε1Mを与えて、長さMのフレーム列、即ちビデオ画像、の全てのフレームmにおけるそれぞれの人物の3次元ポーズQmを推定するための、方法および装置を提供する。図9は、一実施形態に係る画像処理プロセッサ即ちプロセッサシステム10を示す。図10は、この実施形態または他の実施形態で実行されるステップを示す。画像プロセッサ即ちプロセッサシステム10は、例えば、図示するそれぞれの部分に専用の回路ブロックであるハードウエアを有する1個またはそれ以上の集積回路として実現することが可能であり、あるいは、例えば、サーバ内でのように、汎用プロセッサによって順次実行されるソフトウエアモジュールとして実現することが可能である。図示する部分は、例えば単一フレームを提供する単眼カメラである画像ソース装置5から入力された、画像または画像ストリーム例えば、リアルタイム又は非リアルタイムのビデオフレームなどを受信するための入力インターフェース20を含む。ビデオ列の画像やフレームを、多視点人物検出演算部40で処理する。多視点人物検出演算部40は、部分ベースの検出器42、ポーズ推定器44および多視点検出器46を用いて、画像中の人物を決定する。演算部40による操作の結果は、追跡および視点推定演算部50に送信される。この部分50は、以下に詳細に説明するように動作する、人物トラックレット抽出部52を有している。さらに、3次元ポーズ推定演算部60が、3次元ポーズを復元するために設けられている。画像プロセッサに対して、プロセッサのどの段階であっても、この図には示されていない他の部分がある。ビデオデータの適切な処理を、例えば、移動オブジェクト例えば車両またはその運転者に関連する、主要オブジェクトの認識および報告のために使用することができる。興味あるオブジェクトは、任意の適切なオブジェクト、例えば、道路、歩行者、車両、障害物、交通信号灯等であり得る。ビデオデータの処理をリアルタイムで行うことができ、または、格納されたビデオデータ上で行うことができる。したがって、本発明は、ナビゲーションシステムの強化のために使用することができる。あるいは、本発明の出力は、他のアルゴリズム、例えば歩行者検出アルゴリズムなどを訓練するために使用することができる。本発明の出力は、オブジェクト、例えば歩行者またはこれらのオブジェクトの動きを検知アするルゴリズムの精度を向上させるために、使用することができる。デバイス55は、本発明の出力に基づいて、解釈しまたは行動をとるために設けられる。例えば、本発明を使用して画像中の歩行者のポーズを検出することを、アラームまたは警告の他の形体を作動させるため、または、ブレーキ等をかけるために用いることができる。これは、例えば、車両制御システム、ドライバー補助システム、ロボットシステム、侵入者を検出するための監視システム等で使用することができる。本発明は、自動車に限定されることはない。図10は、図9または他の実施形態の画像処理装置の操作におけるステップを示しており、その詳細を以下に説明する。本発明に係る方法100は、最初に、エビデンスを与えることによって、ポーズパラメータ上でポステリア分布が定義される。ここで、Q1Mは、列全体にわたる3次元ポーズパラメータを表す。式1におけるポステリアが多くのローカルミニマ局所最適解を持つことを避けるため理由:3次元ポーズの推定は、単眼画像によるため高度に曖昧であるに、本発明は、3次元ポーズ復元における曖昧性を連続して低減するための三段階アプローチを提案している。観測尤度pε1MQ1Mを定義するためには、3次元ポーズパラメータQmによって与えられた、各フレームにおけるエビデンスの条件付き独立性が存在する。この尤度は、このようにして単一フレーム尤度に因数分解される。各フレーム内のエビデンスは、カメラに対する人物の2次元視点の推定および、2次元位置のポステリア分布および身体部分の向きによって表わされる。シングルフレームからこれらの信頼性を推定するために、ステップ102における第1段階40では、差分的部分検出器42に基づいて、部分ベース人物検出とステップ104の推定フレームワークを推進する。さらなる2次元画像エビデンスを蓄積するために、第2段階50では、2次元検出による追跡アプローチ109を用いて連続した少しのフレームから人物トラックレットを抽出することによって、ステップ108において人物トラックレットを抽出することにより、追跡と視点推定ステップ106を実行する。第1段階40の出力は、より強固な視点推定と同様により信頼性の高い人物の2次元検出を得るという視点において、精緻化される。次に第3段階60において、3次元ポーズを復元するために、以前の2つの段階40、50において蓄積された画像エビデンスを使用する。時間的事前知識PQ1Mが、階層的ガウス過程潜在変数モデルhGPLVM17として、3次元ポーズに亘ってモデル化される。これは、隠れマルコフモデルHMMと組み合わされ、一度に少数のフレームのみしかカバーしない人物トラックレットをより長い3次元人物追跡に拡張することを可能とする。この3次元モデルは、2次元身体モデルからボトムアップのエビデンスを生成するものと推定され、それによってハイブリッドの生成/差分アプローチを構成していることに、注意すべきである。本発明の実施形態において、人間のポーズ推定のための方法及び装置が提供され、これは、2次元の位置、ポーズおよび視点推定を、3次元運動事前知識を伴う3次元追跡のためのエビデンスモデルに結合し、そして、現実の街路環境において単眼画像から複数の人物の3次元ポーズを正確に推定することを可能とする。本発明の一態様は、3次元ポーズ推定を形成するブロック、例えば、複数部分ベースのモデルの組み合わせに基づいた歩行者検出手法である。複数部分ベースのモデルを組み合わせることで、大幅なパフォーマンスの向上につながり、検出における最先端レベルを向上させると共に、単眼画像における人物の視点の推定を可能とする。単一フレームにおける多視点人物検出は、画像プロセッサ演算部40およびステップ102において、本発明の一部分として実施される。2次元人物検出およびポーズ推定は、3次元ポーズ推定および追跡のためのモジュールの1つとして機能する。本発明は以下の利点の何れかを有することができる。12次元人物検出およびポーズ推定の使用は、3次元ポーズ推定および追跡のための強固な外観モデルを定義するために使用される。2可能な3次元ポーズの検索スペースは、推察2次元ポーズを利用することで減少させることができる。3人物を見ることができる視点は、2次元から3次元への本来的な不明確さを減少させるために、抽出することができる。本発明の一観点によれば、人物のようなオブジェクトを表現するために図形構造ピクトリアル構造を使用することができる。図形構造は、N個の異なる部分Lm={lm0,lm1,,lmN}の柔軟構成を含み、此処でmは列の現在のフレームを意味する。部分iの状態は、Imi={xmi;ymi;θmi;smi}によって与えられ、此処でxmiおよびymiはその画像位置、θmiは絶対方向、およびsmiは部分基準スケールを意味する。単一フレーム画像エビデンスDmによって与えられる2次元部分構造Lmのポステリア確率は、以下の式によって与えられる。身体構造pLmの事前知識は、ツリー構造を有し、身体部分間の運動学的依存性を表す。これは、ルート部分此処では胴体に対する単項と、運動学的チェーンに沿った対項に因数分解される。此処で、Kは、部分間の運動学的関係を示すエッジセットである。plm0は一定であると仮定され、そして対項は、隣接する部分間の関節の変形空間においてガウシアンであるとされている。尤度項は、個々の部分尤度の積に因数分解すると仮定されている。部分尤度を定義するために、[3]に開示されているように、強化部分検出器を使用することができ、この検出器は、AdaBoostb分類器[12]の短出力および高精度形状コンテクスト表現[5,18]を使用する。本発明の一実施形態では、数個の部分、例えば8個の身体部分で構成されるモデルが使用される。これらの部分は、左/右下部および上部脚、胴体、頭部、左/右上部および下部腕であるさらに、側面検出器は同様に、左/右足を、性能をより向上させるために用いることができる。複雑な現実世界のシーンにおける優れた性能はさておき、図形構造モデルは、モデルのツリー構造に基づいて推測が最適であり且つ効率的である、との利点を有している。合計積信念伝搬を、個々の身体部分の限界ポステリアを計算するために使用する。この限界ポステリアは、コンボルーションを使用することによって、効率的に計算することができる。多視点設定に対する検出器[3]の適切性を評価するために、1486画像のデータセットが訓練のために収集され、248個が検証のために、さらに248個がテストのために収集された。充分に多くの人物が全ての視点から可視であるように、これらは慎重に選択された。人物の境界ボックスに加えて、データセットにおいて全ての人物の視点に注釈が付けられる。これは、数個の均等に間隔をおいた、例えば8個の均等に間隔をおいた視点、それぞれが互いに45°離れた視点前/後、左/右および対角前/後左/右を仮定することによって行われる。図2は、訓練セットからの例示画像を示し、各視点に対して1個の例示画像を示している。予期され且つ図4aに示されているように、[3]に示す側面上で訓練された検出器は、我々の多視点データセット上で、控え目な性能レベルのみを示す。多視点訓練セットでモデルを再訓練することによって、かなりの性能向上が達成されるが、モノリシックで差分的HOGベースの検出器[30]または部分によるHOCベースの検出器[9]の性能レベルが得られる図4b参照。しかしながら、我々は人物の検出を必要とするのみならず、さらにそれらの2次元ポーズを推定する必要があるので、このようなモノリシックまたは粗い部分ベースの検出器は、このタスクに対しては適切ではない。この欠点に対処するために、本発明の一実施形態は、拡大多視点検出器40を提供し、これは、検出器46における視点検出と同様に部分44において2次元ポーズ推定を可能とする。例えば8個の視点特定検出器46は、視点注釈付きの多視点データを用いて訓練される。これらの視点特定検出器46は、それらの運動学的事前知識がそれぞれの視点に対して特定であるという利点のみならず、部分検出器がそれぞれの視点に対して調整されるという利点を有する。さらに、この検出器セットは、[3]のように追加的に足を含む2個の側面検出器性能を向上させると同様に、全ての視点に対して訓練された1個の汎用検出器によって、任意に増加させることができる。本発明の2つの実施形態は、検出器のこのバンクの出力を結合するための方法を提供する。1異なる検出器によって決定されるように、特定の画像位置にある人物のログポステリアを加算する。2線形SVMサポートベクタマシンを、平均/分散正規化ベクトル出力の11次元ベクトルを特徴として用いて、訓練する。SVMベクトルは248画像の検証セット上で訓練された。図4aは、視点特定検出器46の単純な加算的結合が、各個々の視点特定検出器からの検出性能よりも向上したことを示している。同様に、それは、[3]からのアプローチよりも性能が優れている。興味深いことに、SVMベースの検出器は、性能を向上させるばかりではなく、多視点人物検出[9,30]における最先端レベルを凌いでいる。図4bに示すように、検出器のバンクが[30]からのHoGベース検出器によって拡張された場合、その性能はより向上する。図4cの幾つかの検出事例は、視点特定検出器を結合することの利点を明示している。次のステップは、ステップ105で、視点検出器46を用いて人物の視点を推定することである。なぜなら、このような視点推定は、3次元ポーズにおける不明確性を大きく減少させることができるから。上記の視点特定検出器46のバンクが使用され、そして多くの、例えば8個の視点分類器48、線形SVMが、検証セットの検出器出力上で訓練される。2個の訓練および評価戦略が本発明の範囲内に含まれる。1SVM一視点からの訓練事例が陽性ポジティブの事例として使用され、その他は陰性ネガティブ事例として使用される。2SVM-adj此処では、視点が例えば隣接する3個の組にグループ化され、且つ個別の分類器48がこのような3個の組のそれぞれに対して訓練されている。ベースラインアプローチMaxとして、8個の視点特定検出器の出力上で最大値を取ることにより、ステップ105において視点が推定される。表1にその結果を示す。SVM実施形態は、視点の正確な認識が要求される場合、ベースラインよりも約11向上させるが、SVM-adj実施形態も良い結果を生じる。さらに、2個の隣接する視点は正しいものとして考えられ、SVMは70:0の平均性能を獲得し、SVM-adjは76:2の平均性能を獲得する。これは、SVM-adjが複数の視点に亘ってより優雅に低下することを示しており、これが、SVM-adjが好ましい実施形態である理由であって、以降に説明される。視点分類器48のスコアは互いに直接比較可能ではないので、分類器スコアが与えられた場合、正確なラベルのポステリアを計算することによって校正され、これによってスコアは単位間隔にマップされる。ポステリアは、ポジティブおよびネガティブ事例での分類器スコアの分布から、Bayesのルールを介して計算される。これらの分布はガウシアンであると推定され、且つ、それらのパラメータは、検証セット上の分類器スコアから推定される。図3は、人物が最初に右、そしてその後右後方視点から現れる40フレーム列に対して計算された、8個全ての分類器48の校正出力を示している。正確な視点は、列の殆どに対して最もありそうなものであり、そして推定における失敗は、往々にして隣接する視点に相当する。本発明の方法および装置は、2次元-3次元リフト時の不明確性を可能な限り減少させるために、第3の3次元追跡段階60に先立って、全ての利用可能な2次元画像エビデンスを累積することを目指している。以前のセクションにおいて記載されている人物検出器段階40が、身体部分の2次元位置および単一フレームからの人物の視点を推定することが可能である一方で、第2段階50は、ステップ109における検出による2次元追跡[2,31]によって、これらの推定を向上させることを目指している。2次元にすでに存在する時間的な一貫性時間的コヒーレンス性を十分に利用するために、ステップ108において、人物の短いトラックレットをトラックレット抽出機52を用いて抽出する。一方で、これは、各人物の2次元位置、スケールおよび視点推定の強固さを向上させる。なぜなら、それらは、トラックレット全体にわたって結合して推定されるためである。身体局在化の向上は次に、2次元ポーズ推定を支援する。一方、これは正気のデータ結合の実行を可能とする。これは、複数の人物を有する列に対して重要である。そこでは、匿名の単一フレーム仮説を特定の人物のトラックに関連付けることが可能である。第1段階40からおよびこの方法のステップ102から、Nm個の潜在的に重畳する境界ボックス仮説のセット、が列の各フレームmに対して獲得され、此処で各仮説hmi=fhxmi;hymi;hsmigは特定の画像位置およびスケールにおける境界ボックスに対応している。トラックレットセットを獲得するために、適切な追跡アルゴリズム、例えば、[2]の特にセクション3.3に紹介されているHMMベースの追跡手順、が使用され、この文献は参照によって組み込まれる。各フレームにおける人物仮説は状態として処理され、そしてビタビViterbi復号を適用することによって、位置、スケールおよび外観に一致する状態部分列が見出される。各状態に対する放出確率が検出スコアから導出される。状態hmiとhm_1:j間の遷移確率は、1次ガウシアン動力学および外観互換性を使用してモデル化される。此処で、Σpos=diagσx2、σy2、σs2およびdapphmi|hm1jは、各仮説の外接矩形に対して計算されたRGB色ヒストグラム間のユークリッド距離である。例えば、σx=σy=5、σs=0:1およびσapp=0:05である。トラックレットのそれぞれに対して、視点数列ω1N=ω1、、ωNが、例えば、単純なHMMおよびビタビ復号または類似のアルゴリズムを再度使用することによって、推定される。8個の離散視点が、状態と見なされ、視点分類が単項エビデンスと見なされ、そしてガウシアン遷移確率は、人物はゆっくり回転する傾向があることを反映させるために、類似の後続の視点を強化するものと仮定される。図5は、短い部分数列の例を示し、この数列では、抽出トラックレットを有する単一フレーム2次元検出器の検出結果間での比較が行われる。正確な2次元から3次元へのリフトを隠してしまうであろう背景におけるスプリアス偽陽性検出を、追跡がどの様にして取り除き、スケール推定における失敗を訂正するのかに注意すべきである。図5上のインデックス22の人物に対応するトラックレットに対するそれぞれの視点に対して、単一フレーム検出スコアが図3に示されている。単一フレームからの視点推定がかなり強固であっても、それは複数の時間フレーム4から30に対して正確な視点は右であり、フレーム31から40に対しては右後部であるにおいて失敗する可能性のあることに注意すべきである。トラックレットベースの視点推定は反対に、全40フレーム列に対して正確な視点を与える。最後に、図5に示すように、頻繁な全あるいは部分的オクル-ジョンを伴う現実的な列の場合であっても、トラックレットは同様にデータ連合を提供する。演算部60を使用する方法ステップ110において、先ず以前の段階において抽出された2次元トラックレットを採用することによって、3次元におけるポーズが推定され且つ追跡され、そしてステップ112で、各フレームで推定された2次元ポーズが3次元にリフトされる[25]参照が、ステップ112は好ましくは3次元事例セットの支援によって実行される[19,22]。事例の投影は、まず2次元身体部分ポステリアのもとで評価され、そして最も可能性の高い事例が、初期3次元ポーズとして選択される。この初期ポーズは、事例セット上の既知の時間的秩序を使用してトラックレットの全てのフレームに伝搬される。これは、3次元ポーズ推定に対して複数の初期値を与えること、即ち、トラックレットの各フレームに対して1個、に注意すべきである。このステップ112における2次元から3次元へのリフティング手順は、強固である。なぜなら、それは信頼性の高い2次元ポステリアおよび2次元トラックレットからの検出および視点推定に基づいているからである。これらの初期ポーズ列から開始して、実際のポーズ推定および追跡は、式1に定義されるポステリアを最大化することによって、ベイジアンフレームワークにおいて行われる。式1に対して、それらは強力な初期値として作用する。3次元ポーズは、Qm={qm,φm、hm}としてパラメータ化され、ここでqmは身体関節のパラメータを示し、φmは世界座標における身体の回転を示し、hm={hmx;hmy;hmscale}は、画像に投影された人物の位置およびスケールを示す。3次元ポーズは、P=10の柔軟関節を有する運動学的ツリーを使用して表現され、ここで各関節は自由度2を有している。図6aに構成例を示す。フレームmでのエビデンスは、εm={Dm、ωm}で与えられ、単一フレーム画像エビデンスDmとトラックレット全体から得られた2次元視点推定ωmとを含んでいる。2次元視点の条件付き独立性と画像エビデンスが3次元ポーズを与えると仮定すると、式2の単一フレーム尤度は以下の式に因数分解される。推定2次元視点mに基づいて、3次元視点ωの視点尤度は、y軸に沿った回転成分φmを中心とするガウシアンとしてモデル化される。3次元ポーズpDm|Qmの尤度は以下の2D身体モデルによって与えられる部分ポステリアの支援によって定義される。此処で、projnQmは、n番目の3次元身体部分の画像への投影を示す。このような3次元尤度は、通常、式5と同じように、個々の部分尤度の積として定義されるが、これは高度に多様なポステリアと困難な推定へと導く。その代わりに2次元ポステリアに依存することによって、その3次元モデルは、以前の段階からの十分な2次元画像エビデンスが存在する仮説に焦点を当てる。過度の3次元尤度計算を避けるために、各2次元部分ポステリアは、好ましくは、非パラメータ表現助変数表示を使用して表現される。特に、フレームm中の各身体部分nに対して、j個の場所が最も高いポステリア確率を有して見出される。この確率は、2次元の場所画像位置および方向に対応し、wjnmは、その場所のポステリア密度に対応する。2次元部分ポステリアは、ガウス核kを有する核密度推定として近似されると仮定する。式1における時間的事前知識は、2つの項の積として表現される。これは、画像位置およびスケールと同様に、3次元ポーズのパラメータ上の事前知識に相当する。人物の位置およびスケールph1Mの事前知識は、広いガウシアンとして取得され、そしてモデルは人物のスケールおよび画像中のその位置の両者についてスムーズに変化する。3次元ポーズq1Mのパラメータ上の事前知識は、階層的ガウシアンプロセス潜在変数モデルhGPLVM[17]または同様のものによってモデル化される。全フレームを通じたi番目のポーズパラメータの値のM次元ベクトルは、q1Miとして示される。hGPLVMにおいて、オリジナルの高次元ポーズのそれぞれの次元は、共通低次元潜在空間Z1M上で定義された独立ガウシアンプロセスとしてモデル化される。此処で、Pは我々のポーズ表現におけるパラメータ数であり、Kzは、共分散関数kzi,zjの出力によって定義される共通潜在空間Z1Mの要素の共分散マトリックスである。この共分散関数は、この場合、2乗指数関数が取られている。共通潜在空間Z1Mの値は、それ自身で時間T1Mの1次元入力を有するガウシアンプロセスの出力として扱われる。その実現には、例えば、d1=2次元の共通潜在空間を使用する。このようなガウシアンプロセスの階層性によって、オリジナルの入力空間の異なる次元とそれらの動力学との間の両方の相互関係を効率的にモデル化することが可能となる。hGPLVM事前知識は、2セットの補助変数Z1MとT1Mを必要とし、これらは事後推定を最大化する間に扱われる必要がある。本発明の一実施形態はZのみを最適化し、そしてTの値を固定したままとする。これは、Tの値がほぼ2次元トラックレットを使用して容易に推定できる歩行周期内の人物の状態に相当するので、可能である。最大化された3次元ポーズパラメータ上での全ポステリアは、以下の式によって与えられる。ポステリアは、スケーリングされた共役勾配を使用しそしてリフトされた3次元ポーズを使用する最適化を初期化することによって、最適化される。より長い列に対する3次元ポーズ推定のために、別のモデルを使用することができる。より長い列において3次元ポーズを推定するために、先ず、より長い列の短いM=10重畳サブ列において、3次元ポーズが推定される。それぞれのサブ列に対して、ポステリア多重時間が初期化され局所的に最適化されるので、フレームのそれぞれに対して3次元ポーズ仮説の大きなプールが残され、そこから、適切なアルゴリズム、例えば隠れマルコフモデルおよびビタビ複合を用いて、最適列を見出すことができる。3次元ポーズ仮説は、各フレームにおいて、式6によって与えられる放出確率を有する不連続状態として扱われ、hGPLVMを使用して状態間の遷移確率を定義する。上記のモデルは、2個の多様性のあるシナリオにおいて評価された。その結果は、本発明の方法が、地上での正しいポーズを得ることが可能な、標準のHumanEvaIIベンチマーク上で、単眼の人間ポーズ推定における最高水準を向上させていることが示された。さらに、本発明は、部分的および全オクル-ジョンを含む複数の人物を備える、2つの混雑し且つ複雑な街路列上で評価された。3次元ポーズ推定方法の性能を定量的に評価するために、HumanEvaIIデータセットを使用した。HumanEvaIIデータセット[23]は、同期された画像とモーションキャプチャデータを提供し、そして、2次元および3次元の人間ポーズ推定のための標準の評価ベンチマークである。このデータセット上で、背景サブトラクションを行わないがしかし外観と時間的情報の両者に依存している、単眼画像列におけるポーズを推定する方法に対して、比較がなされる。この実験のために、視点特定モデルが、HumanEvaIIデータセットからのサブジェクトS1、S2、S3の画像上で訓練された。より多くの訓練データを追加することによって、特に下および上腕部身体部分に対する、部分検出器の性能を向上させることができる。したがって、訓練データは、People[20]およびBuffy[10]データセットからの画像と共に拡張される。2次元から3次元リフトおよびポーズ列上での時間的力学をモデル化するために使用されるhGPLVMの事例セットは、HumanEvaIIデータセットのサブジェクトS3に対しての訓練データを使用することによって、得られた。限られた数の訓練データにも拘わらず、この事前知識は、HumanEvaIIデータセットと同様、現実の街路シーンにおいてポーズ推定を可能とする。表2は、公式オンライン評価ツールを用いて得られた、2次元および3次元接合位置における平均誤差を示している。両方の列に対して、その結果は[21]によって報告されているものよりも大きく向上した。その向上は、カメラC2で撮られた列に対して特に大きく、14.18ピクセルと比較して、10.72ピクセルの平均誤差が得られている。本発明の3次元ポーズ推定では、カメラC1およびC2に対して、107と101mmの平均誤差が得られる。図8は、100番目毎のフレームを可視化した、両方の列上で本発明の方法によって得られた数個の推定ポーズ事例を示している。本発明に係る方法の位置特定のより良い精度は、個別事例セットから選択するよりもむしろ、身体部分に与えられた3次元ポーズの連続した最適化に依存している。現実の街路設定に対して本発明を評価するために、典型的な歩行者エリアにおいて取られた200の連続するフレームを含む、新規なTUDStadtmitteデータセットが使用された。この列の200フレームに亘って、本発明の実施形態の2次元追跡アルゴリズムは、25の2次元人物追跡を獲得し、そのいずれも偽陽性検出を含んでいなかった。図7左側は、列全体を通して均一に配置された例示画像を示している。それぞれのトラックに対して、本発明の視点分類アルゴリズムのみを使用して人物の視点推定が行われる。人物の動きの方向は、その推定に統合される。3次元ポーズの推定は、奥行きにおいて相当の不明確性と困難な造影条件を有する視点を含む、様々な視点上で正確である。例えば、図7aの画像の右側の人物および図7hの画像の中央の人物に注意するべきである。運動事前知識モーションプライオアは、異なるセット、HumanEvaデータセット、上で訓練され、それにも拘わらず、それは街路設定に対して良く汎用化された。図7c、f、gに示すように、静かに立っている人物のポーズ推定も同様に正確であった。数個の不正確な推定ポーズは、図7aに示すような不正確なスケール推定、図7b、fに示す部分的オクルージョンあるいは視点推定における失敗例えば、図7hの最も右側の人物に基づいている。本発明は、さらに、移動カメラによって記録された列上で評価された。大きな背景雑音、低いフレーム速度および正面像近辺における多数の人物に原因して、この列は3次元ポーズ推定に対して大きな困難を提示する。推定3次元ポーズの幾つかの事例を、図7右側に示す。このような困難な条件下であっても、本発明は、多数のフレームに亘って人物、例えば図7i,jの最も右側の人物、のポーズを追跡し推定することができる。さらに、追跡および視点推定は、強い背景雑音の存在下であっても、例えば図7d,eにおけるもっとも右側の人物に対して、正確な結果を生成したことに注意すべきである。以下の参考文献は、参照によって組み込まれる。1AAgarwalandBTriggsRecovering3DhumanposefrommonocularimagesPAMI28445820062MAndrilukaSRothandBSchielePeopletrackingbydetectionandpeopledetectionbytrackingInCVPR083MAndrilukaSRothandBSchielePictorialstructuresrevisitedPeopledetectionandarticulatedposeestimationInCVPR094ABalanLSigalMBlackJDavisandHHausseckerDetailedhumanshapeandposefromimagesInCVPR075SBelongieJMalikandJPuzichaShapecontextAnewdescriptorforshapematchingandobjectrecognitionInNIPS006JDeutscherandIReidArticulatedbodymotioncapturebystochasticsearchIJCV61185205Feb20057MEichnerandVFerrariBetterappearancemodelsforpictorialstructuresInBMVC098PFFelzenszwalbandDPHuttenlocherPictorialstructuresforobjectrecognitionIJCV615579Jan20059PFFelzenszwalbDMcAllesterandDRamananAdiscriminativelytrainedmultiscaledeformablepartmodelInCVPR0810VFerrariMMarinandAZissermanProgressivesearchspacereductionforhumanposeestimationInCVPR0811AFossatiMDimitrijevicVLepetitandPFuaBridgingthegapbetweendetectionandtrackingfor3DmonocularvideobasedmotioncaptureInCVPR0712YFreundandRSchapireAdecisiontheoreticgeneralizationofonlinelearningandanapplicationtoboostingJofCompandSysSc55119139199713JGallBRosenhahnTBroxandHPSeidelOptimizationandfilteringforhumanmotioncaptureAmultilayerframeworkIJCV87Mar201014SGammeterAEssTJaeggliKSchindlerBLeibeandLGoolArticulatedmultibodytrackingunderegomotionInECCV0815NHaslerBRosenhahnTThormaehlenMWandandHPSeidelMarkerlessmotioncapturewithunsynchronizedmovingcamerasInCVPR0916CIonescuLBoandCSminchisescuStructuralSVMforvisuallocalizationandcontinuousstateestimationInICCV0917NDLawrenceandAJMooreHierarchicalGaussianprocesslatentvariablemodelsInICML0718KMikolajczykandCSchmidAperformanceevaluationoflocaldescriptorsPAMI2716151630200519GMoriandJMalikRecovering3DhumanbodyconfigurationsusingshapecontextsPAMI2810521062200620DRamananLearningtoparseimagesofarticulatedobjectsInNIPS0621GRogezJRihanSRamalingamCOrriteandPHTorrRandomizedtreesforhumanposedetectionInCVPR0822GShakhnarovichPAViolaandTDarrellFastposeestimationwithparametersensitivehashingInICCV0323LSigalandMBlackHumanEvaSynchronizedvideoandmotioncapturedatasetforevaluationofarticulatedhumanmotionTechnicalreportBrownUniversity200624LSigalandMJBlackMeasurelocallyreasongloballyOcclusionsensitivearticulatedposeestimationInCVPR0625LSigalandMJBlackPredicting3Dpeoplefrom2DpicturesInAMDO200626ZTuXChenALYuilleandSCZhuImageparsingUnifyingsegmentationdetectionandrecognitionIJCV63113140200527RUrtasunandTDarrellLocalprobabilisticregressionforactivityindependenthumanposeinferenceInICCV0928RUrtasunDJFleetandPFua3DpeopletrackingwithGaussianprocessdynamicalmodelsInCVPR0629MVondrakLSigalandOCJenkinsPhysicalsimulationforprobabilisticmotiontrackingInCVPR0830CWojekSWalkandBSchieleMulticueonboardpedestriandetectionInCVPR0931BWuandRNevatiaDetectionandtrackingofmultiplepartiallyoccludedhumansbyBayesiancombinationofedgeletbasedpartdetectorsIJCV75247266Nov2007"