(57)【特許請求の範囲】
【請求項１】
互いに関して動くことができる相互接続要素からなる物体の可変姿勢を含む一の画像シーケンスのリアルタイム利用可能なコンピュータ支援の分析方法であって、
前記画像シーケンスの複数フレームがコンピュータ処理可能に飛行時間（ＴＯＦ）カメラによって記録され、前記フレームは、前記シーケンスの各フレームに対する前記カメラのピクセル座標の関数として明暗及び距離データを有し、
前記方法は、
（ａ）前記物体をマッピングするフレームのピクセルを検出するステップと、
（ｂ）前記カメラに可視の前記物体の表面を表す仮想空間内の３次元（３Ｄ）点集合を、前記物体からの距離について取得されたデータを考慮に入れた物体マッピングピクセルの前記空間への計算機投影によって計算するステップと、
（ｃ）前記物体の複数要素の一選択を表す複数ノードと前記要素の相互接続を表す複数エッジとからなる前記物体のモデルを、前記フレームに対してコンピュータ生成された前記３Ｄ点集合にフィッティングするステップと、
（ｄ）前記点集合についてランダムにサンプリングされた所定数の点によって自己組織化マップを訓練する学習ルールを使用してすべてのノード位置を逐次更新するステップと、
（ｅ）前記シーケンスの各後続フレームに対してステップ（ａ）から（ｄ）を繰り返すステップであって、先行フレームのステップ（ｅ）の結果がステップ（ｃ）での前記フィッティングのプロセスを目的として使用されるステップと、
（ｆ）前記画像シーケンスの少なくとも代表フレームにおいて検出された、前記モデルの所定ノード位置からの変化姿勢を決定するステップと
を含む方法。
【請求項２】
前記物体がマッピングされるカメラピクセルは、前記ＴＯＦカメラの前記画像シーケンスの画像セグメント化によって決定される、請求項１に記載の方法。
【請求項３】
前記ＴＯＦカメラの明暗及び奥行きデータのための２つのしきい値が各フレームに対して決定され、かつ、カメラピクセルの隣接領域が特定され、
前記隣接領域の測定データは前記明暗のしきい値よりも大きく前記奥行きのしきい値よりも小さい、請求項２に記載の方法。
【請求項４】
前記明暗のデータがヒストグラムにプロットされて２つの累積点が特定され、
前記明暗のしきい値が前記累積点の間に存在するように選択される、請求項３に記載の方法。
【請求項５】
前記奥行きのデータがヒストグラムにプロットされて少なくとも２つの累積点が特定され、
前記奥行きのしきい値が最小奥行きの前記累積点と他の累積点との間に存在するように選択される、請求項３に記載の方法。
【請求項６】
前記モデルの前記ノード位置が逐次ステップで更新され、
各逐次ステップにおいて、前記３Ｄ点集合の所定数の点に対して一の点ｘがランダムにサンプリングされ、すべてのノードがｘに向けてシフトされ、
前記シフトの程度は、前記逐次ステップの前にｘから最小距離にあったノードに対して最大となる、請求項１から５のいずれか１項に記載の方法。
【請求項７】
前記すべてのノードのシフトの程度は、前記逐次ステップの数を減らすように設定される、請求項６に記載の方法。
【請求項８】
前記ランダムにサンプリングされた点ｘ又は前記逐次ステップの数が前記点集合内の点の総数の約１０％である、請求項６又は７に記載の方法。
【請求項９】
各逐次ステップの前に、前記サンプリングされた点ｘから最小距離にある第１ノードに対して、前記第１ノードに隣接し、かつ、前記ノードのシフトの間前記第１ノードからの距離が所定値を超えない第２ノードが選択される、請求項６から８のいずれか１項に記載の方法。
【請求項１０】
推定された前記姿勢は、コンピュータ支援システムを制御するためのユーザ入力として使用される、請求項２から９のいずれか１項に記載の方法。
【請求項１１】
前記コンピュータ支援システムは、医療又は産業分野の技術制御システムを表す、請求項１０に記載の方法。
【請求項１２】
前記コンピュータ支援システムは情報端末を表す、請求項１０に記載の方法。
【請求項１３】
前記コンピュータ支援システムは家庭用マルチメディアシステムを表す、請求項１０に記載の方法。
【請求項１４】
前記コンピュータ支援システムはコンピュータゲームを表す、請求項１０に記載の方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、互いに対して動くことができる相互接続要素からなる物体の可変姿勢を含む画像シーケンスのリアルタイム利用可能なコンピュータ支援の連続分析方法に関する。
【０００２】
本発明は詳しくは、当該画像シーケンスの間に動く生きている人の胴体及び手足の位置及び配向の推定、すなわち人体姿勢の推定、に関する。
【背景技術】
【０００３】
いくつかの科学論文において３次元（３Ｄ）での人体姿勢の推定が研究されている。これらの科学論文のいくつかは、従来型カメラにより取得された２Ｄデータから人の姿勢を再構築することに焦点を当てている。
【０００４】
非特許文献１では、当該姿勢が人体のシルエットの形状記述子から得られる。
【０００５】
非特許文献２の著者は、セグメント化された体の簡単な可視的特徴を当該体の一連の可能構成にマッピングし、所定の可視特徴に照らして最も可能性が高い構成によって当該姿勢を特定する。
【０００６】
非特許文献３でのさらなるアプローチは、人の姿勢の例示的画像の大きなデータベースを使用する。当該著者は、パラメータセンシティブなハッシュ関数を使用する。当該ハッシュ関数により、データベースにおいて所定の姿勢に最も類似する例示的姿勢がサーチされる。
【０００７】
２Ｄデータに基づく方法すべての大きな欠点は、姿勢をとる人のセグメント化を推定することが、特に複合的な背景を伴うシーンにおいて難しいことである。最後だからといって重要でないということではないが、これは処理パワーすなわち速度を犠牲とする。
【０００８】
２Ｄ画像の他の問題は、当該カメラに向けられた手足ではあるが２Ｄ投影における当該上半身の隠れた部分の検出にある。このような状況では、当該手足はもはやシルエットにおいて検出できず、検出に時間がかかる。
【０００９】
３Ｄデータに基づく姿勢の推定は例えば、非特許文献４に記載されている。ここでは、ｓｈａｐｅ−ｆｒｏｍ−ｓｉｌｈｏｕｅｔｔｅ法を使用した多数カメラ構成によって人の３Ｄ体積が取得される。続いて、当該体積の２Ｄ投影が仮想カメラによって計算され、この投影に対して当該人のスケルトンモデルが適合される。３Ｄ姿勢を推定するべく、当該スケルトンモデルはその後、当該２Ｄ投影を反転させることによって３Ｄ空間に再移行される。
【００１０】
Weik及びLiedtkeの当該方法の欠点は、均一な緑の背景の前に多数カメラを有する特別な装置内で３Ｄ体積の取得を行わなければならないことである。また、当該３Ｄ体積の計算は時間がかかる手法である。
【００１１】
３Ｄスケルトンモデルの計算を目的とするさらなるアプローチは、当該３次元空間内で直接体積データを間引くことである（非特許文献５）。そして、当該スケルトンモデルによって当該人の姿勢が推定される。
【００１２】
立体視に基づく姿勢の推定方法が非特許文献６に出版されている。当該著者は、人体の階層モデルを導入する。シルエット及び奥行き情報の双方が使用されて、データベースにおいてベストマッチする姿勢が見出される所定写真が得られる。
【００１３】
このアプローチの欠点は、長い処理時間を含む立体視手法にある。加えて、立体視が信頼できる奥行きデータを与えるのは、各シーンが十分な構造を有する場合のみである。
【００１４】
非特許文献７には自己組織化マップ（ＳＯＭ）による姿勢の推定が記載されている。
【００１５】
ＳＯＭはタスクを目的として訓練することができる特別なニューラルネットワークである。ここではＳＯＭが、剛性物体の可能な複数回転の３次元空間内への６４次元特徴空間のマップを学習するべく使用される。当該剛性物体の人工的に生成されたビューが訓練データとして使用される。当該物体の２Ｄカラー写真が、この方法のアプリケーションの基礎を形成する。当該カラー情報に基づいて、当該物体が画像内で特定されて切り取られる。続いて、当該画像内のコントラストの急激な差異（いわゆるエッジ）に応答するＳｏｂｅｌオペレータによって当該画像が処理されて、各領域に高いピクセル値が割り当てられる。対照的に、均一な色の領域にはゼロに近いピクセル値が割り当てられる。最後に、当該分解能を減じることによってこのエッジ画像から、６４個の値が特徴ベクトルに対応する８×８ピクセルが生成される。ＳＯＭは、その結果得られた特徴ベクトルを、３６０個の可能な配向の一つに３次元マッピングする。
【００１６】
Winkler et alの方法の欠点は、この方法が専ら剛性物体を取り扱うので人の姿勢の３Ｄ推定には使用できないという事実を含む。加えて、この方法は実質的に、Ｓｏｂｅｌオペレータによるエッジ情報の抽出に基づく。通常異なる衣服を着用して、変化する照明条件下、複合的な自然のシーンで写真に撮られる人の場合、エッジ情報に基づく一意的な表現が不可能であることが想定できる。
【００１７】
姿勢推定の他の代替案は飛行時間（ｔｉｍｅ−ｏｆ−ｆｌｉｇｈｔ（ＴＯＦ））カメラに基づく。３ＤのＴＯＦカメラは通常のカメラのような明暗画像を与えるだけでなく、加えて物体からの距離を計測することもできる。当該カメラは、正弦波状に変調された赤外光を放射する。各ピクセルにおいて、放射された光と物体から反射された光との位相差が計測される。この位相差から、当該光の飛行時間すなわち物点からカメラまでの距離を計算することができる。ＴＯＦカメラは奥行きエッジを与える。奥行きエッジは、好ましくは明暗画像（ＴＯＦの命名法では「振幅表現」と称することが多い）によって完全に登録される。したがって、画像処理の多くのアプリケーションにとって魅力的なセンサである。ＴＯＦカメラは、当該シーンの２．５次元画像しか生成しないが、これは高フレームレートであって追加の計算時間が不要である。
【００１８】
非特許文献８では、いくつかの解剖学的ランドマークが経時的に３次元でトレースされる。可動の人モデルの姿勢が、これらのランドマークの３次元位置から推定される。そして当該モデルは、当該ランドマークの方向のあいまいさを解消するべく、かつ、未検出ランドマークの位置の推定を生成するべく使用される。Zhu et alの方法は、とりわけ関節の最大曲げ角度及び人体の様々な部分の相互浸透回避のような基本条件をシミュレートする。当該モデルの複雑性にもかかわらず、当該方法は少なくとも毎秒１０フレームのフレームレートで動く。
【００１９】
しかしながら、従来型ビデオシーケンスは２５Ｈｚのフレームレートを有するので、適切なフレームレートでのリアルタイム利用可能な姿勢推定が望まれる。一般に、本発明の目的は、電子的に記録又は変換された後に機械解釈可能な画像情報（ピクセルのカラー値）を作ることにある。人の姿勢推定は、コンピュータ視覚の課題の一部であるが、基本的に２つの問題がある。（１）当該姿勢は、迅速に決定する必要があり、かつ、変化事象において迅速に更新する必要がある。ここで、ビデオレートは２５Ｈｚが望ましい。（２）姿勢決定対象の人は通常、理想的な環境にいるわけではなく、むしろ未知又は少なくともほぼ制御不能な背景の前にいる。
【００２０】
さらに、当該タスクの解決のための機器コストが大きすぎてはならない。通常のＰＣ及び比較的簡単なカメラ構成で十分な必要がある。
【００２１】
前景及び背景の分離問題を特に簡単な態様にて解決可能とするＴＯＦカメラが従来技術において周知である。ＴＯＦカメラは２．５次元画像（２次元プラス当該カメラからの距離）を生成する。当該カメラの視線に沿う他の物点により隠される物点は検出できない。物体からは、その前方可視表面のみが、３Ｄ物体の姿勢を推測するための当該３Ｄ空間内の点集合として利用可能である。
【００２２】
上述の非特許文献４では、ＴＯＦカメラを使用しないが、１６以上の電子カメラを使用する。人を当該人の異なる方向からのシルエットによって３次元モデル化するべく単色背景を必要とする。
【００２３】
非特許文献９では、任意背景に前の人を迅速に検出するべくＴＯＦカメラが使用される。しかしながら、「姿勢」の解釈はほとんど初歩的であって、例えば、「我々は、簡単ではあるが有効な自己発見的手法を使用して頭及び手を見出した。当該手の初期推定はシルエットの最も左のピクセル列の最も上のピクセルに対してであり、当該頭は最も背が高いピクセル列の最も上のピクセルに対してである。」と記載されている。
【００２４】
すなわち、体のどの部分であろうと当該画像内の最も右にあれば、当該機械はその部分を右手とみなすのである。実際、この極めて簡単な姿勢推定の使用では、人が例えばその手を動かして当該機械に指令を与える場合に、人が常に自分の右腕を体から明確に離して保持する必要がある。ここに記載のアプローチでは、体の前で腕を組むといったジェスチャを使用することができない。
【００２５】
最後に、非特許文献１０は、ＴＯＦカメラによって検出された点集合から人の手の姿勢を可能な限り迅速かつ正確に決定することを意図している。これは、手の解剖学的モデルを使用する。当該モデルは、当該手を表すものとして事前に隔離された点集合の一部にフィッティングされる。
【００２６】
この文献は、最適な可能フィッティング（コスト関数Ｋの最小化）を得るべく７つの自由度（３つの座標、３つの回転角、１つのスケーリングファクタ）を決定する。ここで、当該手のモデル自体は剛性であり、任意時刻で変わらない。例えば、回転は、当該手のモデルのすべてのノードに、当該モデルノードが互いにシフトすることなく同時に影響を与える。
【００２７】
そこに記載の方法は、３Ｄ空間内での人の、及び当該人の手のねじれの、良好な推定を与える。しかしながら、推定対象の人がその指を別個に動かすと、当該方法は、なんら問題なく機能するということがもはやなくなる。
【００２８】
本発明は、まさにこの点において従来技術を超えている。本発明はまた、人を表す点集合へのフィッティングが必要なモデルを使用する。しかしながら、当該（スケルトン）モデルは簡単であるのと同時にそれ自体柔軟性がある。Ｄ１のような点集合に関するシフト及びねじれだけではなく、当該モデルのノード位置自体が当該フィッティング手順の対象となる。この場合、スケルトンモデルのノードの隣接構造が当該フィッティングの間中維持される。これにより、当該モデルの特定ノードが、胴体、頭、及び腕をそれぞれ必然的に表す。驚くべき結果は、体の前の腕の動き、特に組んでいる腕、であっても明確かつリアルタイム（ビデオ周波数において）に検出することができるということである（本明細書の図４参照）。先行画像からのノード位置の連続的な更新によって、この複合的な動きが機械により検出可能となる。この場合、更新ルールは、自己組織化マップ（ＳＯＭ、すなわちニューラルネットワーク理論の標準アルゴリズムである。これは本願において詳細に説明される。）のルールに対応する。当該自己組織化マップは、ここで初めて、それ自体が剛性ではない物体の姿勢推定タスクに統合されて、その（予測不可能な）動きが機械による処理が可能なデータセットにマッピングされる。
【先行技術文献】
【非特許文献】
【００２９】
【非特許文献１】Agarwal A and Triggs B, Recovering 3D Human Pose from Monocular Images; IEEE Transactions on Pattern Analysis and Machine Intelligence, 28 (1) (2006) 44-58
【非特許文献２】Rosales R and Sclaroff S, Inferring Body Pose without Tracking Body Parts; Proceedings of Computer Vision and Pattern Recognition (2000) 721-727
【非特許文献３】Shakhnarovich G, Viola P and Darrell T, Fast Pose Estimation with Parameter-Sensitive Hashing, Proceedings of the International Conference on Computer Vision (2003) 750-757
【非特許文献４】Weik S and Liedtke C-E, Hierarchical 3D Pose Estimation for Articulated Human Body Models from a Sequence of Volume Data; Proc. of the International Workshop on Robot Vision (2001) 27-34
【非特許文献５】Palagyi K and Kuba A, A Parallel 3D 12-Subiteration Thinning Algorithm; Graphical Models and Image Processing, 61 (4) (1999), 199-221
【非特許文献６】Yang H-D and Lee S in Reconstructing 3D Human Body Pose from Stereo Image Sequences Using Hierarchical Human Body Model Learning; ICPR `06: Proceedings of the 18th International Conference on Pattern Recognition (2006) 1004-1007
【非特許文献７】Winkler S, Wunsch P und Hirzinger G in A Feature Map Approach to Real-Time 3D Object Pose Estimation from Single 2D Perspective Views; Mustererkennung 1997 (Proc. DAGM) (1997), 129-136
【非特許文献８】Zhu Y, Dariush B and Fujimura K, Controlled Human Pose Estimation from Depth Image Streams; CVPRW '08 IEEE Computer Society Conference on Computer Vision and Pattern Recognition Workshops (2008), 1-8
【非特許文献９】Haker M, Bohme M, Martinetz T and Barth E, Deicitc gestures with a time-of-flight camera; The 8th International Gesture Workshop, Feb. 25-27, 2009, at the ZiF (Center for Interdisciplinary Research) at the Bielefeld University, Germany
【非特許文献１０】Breuer P, Eckes C and Muller S, Hand Gesture Recognition with a Novel IR Time-of-Flight Range Camera - A Pilot Study; Proceedings of the Mirage 2007, Computer Vision /Computer Graphics Collaboration Techniques and Applications, Rocquencourt, France, March 28-30, 2007, pp 247-260
【発明の概要】
【発明が解決しようとする課題】
【００３０】
したがって、本発明の課題は、連続的な画像分析及び少なくとも毎秒２５フレームの姿勢計算が可能なＴＯＦカメラによって姿勢推定方法を与えることにある。
【課題を解決するための手段】
【００３１】
本課題は、独立項の特徴を有する方法によって解決される。独立項は有利な実施例に関連する。互いに関して可動な相互接続された複数要素からなる物体の可変姿勢画像シーケンスのリアルタイム利用可能なコンピュータ支援分析方法であって、当該画像シーケンスのフレームが、コンピュータによって処理されること並びに当該シーケンスの各フレームに対するカメラのピクセル座標の関数として明暗及び距離データを有することを目的として飛行時間（ＴＯＦ）カメラによって記録され、本方法は以下のステップを含む。すなわち、（ａ）当該物体をマッピングするフレームのピクセルを検出するステップと、（ｂ）当該カメラに可視の当該物体の表面を表す仮想空間内の３次元（３Ｄ）点集合を、当該物体からの距離について取得されたデータを考慮に入れた物体マッピングピクセルの当該空間への計算機投影によって計算するステップと、（ｃ）当該物体の複数要素の一選択を表す複数ノードと当該要素の相互接続を表す複数エッジとからなる当該物体のモデルを、当該フレームに対してコンピュータ生成された当該３Ｄ点集合にフィッティングするステップと、（ｄ）当該点集合についてランダムにサンプリングされた所定数の点によって自己組織化マップを訓練する学習ルールを使用してすべてのノード位置を逐次更新するステップと、（ｅ）当該シーケンスの各後続フレームに対してステップ（ａ）から（ｄ）を繰り返すステップであって、先行フレームのステップ（ｅ）の結果がステップ（ｃ）での当該フィッティングのプロセスを目的として使用されるステップと、最後に（ｆ）当該画像シーケンスの少なくとも代表フレームにおいて検出された、当該モデルの所定ノード位置からの変化姿勢を決定するステップとを含む。具体的には、本方法は、ＴＯＦカメラの使用と簡略化スケルトンモデルを推定対象の人の前側を表す３Ｄ点集合にフィッティングするプロセスとを組み合わせる。このフィッティングプロセスは、ＳＯＭのための学習アルゴリズムによって実装されるので、リアルタイム利用可能な態様で更新することができる。
【００３２】
ＴＯＦカメラによる高速画像セグメント化及び迅速計算可能なＳＯＭ更新ルールの利点によって、最小限のプログラミング及び計算費用のみがかかる２．０ＧＨｚのＰＣにおいて毎秒２５フレーム信頼性のある姿勢推定が可能となる。
【００３３】
有利には、当該物体がマッピングされるカメラピクセルが、当該ＴＯＦカメラの画像シーケンスの画像セグメント化によって決定される。また、さらに有利には、当該ＴＯＦカメラの明暗及び奥行きデータのための２つのしきい値が各フレームに対して決定され、かつ、カメラピクセルの隣接領域が特定される。当該隣接領域の測定データは明暗しきい値よりも大きく奥行きしきい値よりも小さい。そして、当該明暗データは有利には、ヒストグラムの形態で複数チャンネルにおいて評価される。これにより、２つの累積点が特定されて明暗しきい値が当該累積点間に存在するように設定される。
【００３４】
また、奥行きデータも、奥行きしきい値を使用して、当該奥行きしきい値が最も小さな奥行きの累積点と他の累積点との間に存在するように選択される。有利には、当該モデルのノード位置は次に、逐次ステップで更新される。各逐次ステップにおいて、３Ｄ点集合の所定数の点に対して一の点ｘがランダムにサンプリングされ、すべてのノードがｘに向けてシフトされる。当該シフトの度合いは、当該逐次ステップの前にｘから最小距離にあったノードに対して最大となる。これを目的として、すべてのノードのシフトの程度が、必要に応じて逐次ステップの数を減らすように決定される。そして、ランダムにサンプリングされた点ｘの数すなわち逐次ステップの数は例えば、当該点集合の中の全点数の１０％である。
【００３５】
さらに有利には、各逐次ステップの前に、サンプリングされた点ｘから最小距離にある第１ノードに対して、当該第１ノードに隣接し、かつ、当該ノードシフトの間当該第１ノードからの距離が所定値を超えない第２ノードが選択される。
【００３６】
図面を参照して本発明を詳しく記載する。
【図面の簡単な説明】
【００３７】
【図１】ＴＯＦカメラによって撮像された試験人の写真例を示す。上の画像は振幅データを示す。中央の画像は奥行きマップを示す。下の画像は得られたセグメント化画像を示す。
【図２】人体の単純モデルとして機能するグラフ構造を示す。エッジがＳＯＭの隣接を画定する。
【図３】カメラの前にいる人の可視表面スキャン点の集合点を示す。当該グラフ構造は、ＳＯＭ学習ルールによってデータに置き換えられる姿勢推定モデルを表す。
【図４】ビデオシーケンスからの一選択の複数フレームである。これは、一シーケンスの複数ジェスチャを示す。姿勢推定モデルが２Ｄ投影として各フレームに描かれる。頭及び上半身に属するモデルのエッジが白で描かれる一方、腕のエッジは黒で示される。
【発明を実施するための形態】
【００３８】
本発明に係る方法の第１ステップは、フレームの背景から人体を分離（セグメント化）することである。これを行うべく、奥行きマップ及び振幅表現の双方を利用した簡単なしきい法が使用される。ＴＯＦカメラによって記録された明暗値及び奥行き値がそれぞれヒストグラムに入力される。２つのフレームに対するしきい値は、以下で説明するように、各フレームに対するヒストグラムによって適応的に決定される。
【００３９】
振幅表現の場合（図１の上部参照）、ピクセル値は、ＴＯＦカメラのアクティブなＩＲ照明の当該シーンから当該カメラ内に戻る光強度に対応する。振幅表現は、奥行きマップの測定値の信頼性の一尺度としてみなすこともできる。当該測定の信号対ノイズ比に直接関連するからである。当該振幅の減衰は、カメラから物体までの距離の二乗に比例する。したがって、カメラに近い物体は通常、背景の物体よりも著しく明るく現れる。
【００４０】
背景を前景から分離する適応しきい値を見出すべく、これが、明暗値のヒストグラムが正確に２つの基本最大値を有するという仮定のもとで決定される。当該最大値付近では、明暗値の数のそれぞれがほぼガウス分布に従う。これらの条件のもとでは２頂分布が言及され、当該しきい値は、可能な限り良好に互いから当該２つの分布が分離されるように選択される。振幅表現単独に対するしきい値に基づいての正確なセグメント化は一般に難しい。異なる物体は赤外光に対する反射特性も異なるからである。
【００４１】
奥行きマップの場合（図１の中央部）、複数の物体がカメラの前に異なる距離で存在すると、奥行き値のヒストグラムにおいて２頂分布の仮定が破られる。したがって、当該物体が実際にカメラの前に異なる距離で存在する場合、当該ヒストグラムの各最大値が一の物体に対応するとの仮定がなされる。当該セグメント化に使用されるしきい値は、カメラに最も近い物体の最大値を残りの最大値から分離するものとして決定される。
【００４２】
最終的なセグメント化に対し、セグメント化された振幅表現がセグメント化された奥行きマップと組み合わせられると、それらのピクセルのみが、振幅表現及び奥行きマップの双方において前景に割り当てられていた前景ピクセルとみなされる。すなわち、それらのピクセルすべての交差が使用される。当該ピクセルは、２つのしきい値を超えるものの一つによって除外されることがない。
【００４３】
好ましくは、前景ピクセルの最大隣接セグメントが、それ自体公知の方法によってサーチされる。また、このセグメントのピクセルのみが最終的に前景に割り当てられる一方、他のすべてのピクセルは背景に属するとみなされる。かかるセグメント化の結果が例示的に図１の下部に示される。このプロセスステップは、他の物体又は人が推定対象の人の比較的すぐ後ろに存在する場合のセグメント化に有用である。対象の人が明らかに隔離され、かつ、この事実が既知であれば、隣接セグメントのサーチはスキップしてよい。
【００４４】
特定された前景ピクセルは、カメラの前にいる人の（前側の）可視表面のスキャン点を表すものとみなされる。
【００４５】
焦点距離及びピクセルサイズのようなカメラの本質的パラメータが既知なので、ＴＯＦカメラで計測された奥行き値によって画像化プロセスを反転することができる。これにより、各ピクセルに対して、当該ピクセルにマッピングされたシーン内の点の３Ｄ空間座標を決定することができる。ピクセル座標（ｘ，ｙ）及び関連奥行き値ｒを有するピクセルに対しては、以下の式によって関連３Ｄ空間点ｘが得られる。
【数１】
0005422735.tif 000002
【００４６】
ここで、（ｃｘ，ｃｙ）は、カメラの光軸が画像センサと交わる点のピクセル座標を表す。パラメータｓｘ及びｓｙはそれぞれ、当該ピクセルの高さ及び奥行きを表す。また、ｆは当該レンズの焦点距離である。オペレータ（〜，〜，〜）Ｔが線ベクトルを転置して、‖〜‖２がユークリッドノルムを記述する。
【００４７】
上記式がセグメント化画像のすべての前景ピクセルに適用されると、カメラの前にいる人の３次元形状を表す３Ｄ点集合が得られる。
【００４８】
このアプローチは２つの基本的な利点を有する。（ｉ）当該表現がスケールによって影響を受けない。３次元空間の人は、当該人のカメラからの距離にかかわらず常に同じサイズとなる。（ｉｉ）上半身の前でカメラに向かって延びて当該上半身の一部を隠す体の部分を、それにもかかわらず、奥行き値の変化に起因して容易に見つけることができる。しかしながら、この情報は標準カメラの２Ｄ投影において失われ、そこに複合的な問題を引き起こす。
【００４９】
本発明に係る方法の第２ステップでは、推定対象の人の前側を表す簡略化スケルトンモデルが３Ｄ点集合にフィッティングされる。この場合、当該スケルトンモデルは簡単なデザインを有するのが好ましく、姿勢推定に関連する人体の解剖学的条件のみを表す。
【００５０】
図２は、本明細書にて例示的に使用されるモデルを示す。当該モデルは、上半身、頭、及び腕に対する４４のノードからなるグラフによって記述される。この場合、当該体の解剖学的構造が、グラフのエッジによって記述される。例えば、腕が、エッジにより対で接続されたノード鎖によって表される一方、上半身は２次元格子によって記述される。当業者にとって明らかなことだが、当該スケルトンモデルの具体的な構成はフレームに応じて選択することができる。したがって、これが本発明を限定するものとみなしてはならない。例えば、当該モデルは、下端に対で接続された２つの他のノード鎖を追加することによって、なんら問題なく脚の表現に拡張することができる。
【００５１】
本発明によれば、スケルトンモデルはまた、自己組織化マップ（ＳＯＭ）とみなすことができ、これに応じた使用ができる。
【００５２】
基本的に、ＳＯＭは、ニューラルネットワークによって実装されるデータ点であるベクトルｘの、いわゆるコードブックベクトルｖへの割り当てを表す。これは、ベクトル量子化の場合のように、入力データを表す割り当てを二乗平均平方根誤差によって見つけることを目的とする。これを行うべく、ＳＯＭが適切な学習ルールによって訓練される。当該学習ルールは、当該誤差が最小となるようにコードブックベクトルを入力空間内でシフトさせる。
【００５３】
ベクトル量子化の拡張として、コードブックベクトルに対する隣接構造が当該ネットワークに与えられる。この隣接構造は、当該ネットワークが経験する各学習ステップにおいて実を結ぶ。訓練データ点であるベクトルｘがランダムにサンプリングされ、これに最も近くなるコードブックベクトルｖが決定される。ここで、コードブックベクトルｖ＊に対して学習ルールが適用される。これにより、このベクトルが、訓練データ点であるベクトルｘの方向にシフトされる。さらに、隣接構造にて画定されるベクトルｖ＊の隣接も、訓練データ点であるベクトルｘの方向にシフトされる。これにより、隣接構造ゆえに互いに近いコードブックベクトルが、当該ネットワークの訓練の後に入力空間においても空間的に近くなる。以下では、コードブックベクトルをノードと称する。
【００５４】
本発明に従って使用されるノード及び隣接構造を有するＳＯＭは、図２にも示される。ノードは点として示され、エッジは隣接を画定する。したがって、ノードはその隣接として、エッジによって直接接続されるすべてのノードを有する。
【００５５】
ＳＯＭは、事前に前景に割り当てられたピクセルにおいて、ビデオシーケンスの各セグメント化フレームに対して逐次学習ルールによって訓練される。シーケンスの第１フレームに対しては、図２からの姿勢がモデルの初期化としての役割を果たす。初期化の間、当該モデルが３Ｄ点集合の重心にシフトされる。当初、当該モデルのサイズが一旦、カメラ前の人のサイズに適応される。本発明に係る方法はスケールによって影響を受けないので、一旦正しく選択されれば、現行プロセスの間さらに適応させる必要がない。この場合、当該モデルの初期サイズの選択は特に重要なパラメータというわけではない。また、本方法は初期化の間、比較的大きな変化にセンシティブというわけではない。
【００５６】
当該シーケンスのすべての後続フレームの各訓練が、先行フレームにて学習されたモデルによって開始される。
【００５７】
当該モデルの新たなフレームへの各適応は、ＳＯＭの完全訓練を含む。すなわち当該モデルは、逐次的に毎回訓練データ点ごとに適用されるパターン・バイ・パターン（ｐａｔｔｅｒｎ−ｂｙ−ｐａｔｔｅｒｎ）学習ルールによって３Ｄ点集合の構造を学習する。この逐次法では、すべての訓練データのセットからデータ点がランダムサンプリングされて、当該モデルが以下の学習ルールによって適応される。
【数２】
0005422735.tif 000003
【００５８】
ここで、ベクトルｖ＊は、距離次元ｄ（ベクトルｘ，ベクトルｙ）に関して訓練データ点であるベクトルｘに最も近いノードを表す。距離次元としては、例えば、ユークリッド基準である
【数３】
0005422735.tif 000004
が使用される。ノードであるベクトルｖｎは、図２のモデルによって予め定められるとおり、ノードであるベクトルｖ＊の隣接を表す。値ε＊ｔ及びεｎｔはそれぞれ、次ノード及び隣接に対する学習率を表す。この場合、学習率ε＊ｔは、以下のように選択される。
【数４】
0005422735.tif 000005
【００５９】
ここで、ｔ∈｛０，．．．，ｔｍａｘ｝は、一フレームに対する現行学習ステップを記述し、ｔｍａｘは、このフレームにおいて実行される学習ステップの最大数を表す。初期学習率及び最終学習率は例示的にそれぞれ、値０．１及び０．０５に設定される。隣接に対する学習率はεｎｔ＝ε＊ｔ／２に設定される。
【００６０】
この学習ルールの使用は、当該手足、すなわちこの場合は腕、に関するモデルの隣接構造が維持されることを常に保証できるわけではない。以下の例は明確化を意図している。人の手は、当該人の上半身の前で互いに触れ合う。再び手が互いから離れると、例えば、当該モデルが、実際には右手に属するデータ点を表すべく左腕の最終ノードを使用するということが起こる。これによって、当該モデルの左腕の最終ノードが、双方の手がすでに動いて互いから離れているにもかかわらず、引き続き右手の点によって引き寄せられるという結果となる。左腕は、データ点が全く存在しない空間の一部を通って延びるように見える。
【００６１】
基本的に、ＳＯＭの学習ルールは経時的にこの問題を解決することができる。しかしながら、良好な実行時間を保証するべく、ほんのわずかな数の学習ステップのみがフレームごとに実行されると、一時的に当該姿勢の不良な推定が得られる。
【００６２】
この問題を回避するべく、上記ルールを簡単な方法で拡張することができる。これにより、記述されるシナリオにおける学習プロセスが迅速に成功する。この拡張は、隣接ノードが互いから所定距離よりも離れて動くことを防止する。これは、距離ｄ（ベクトルｖ＊，ベクトルｖｎａ）が所定しきい値φを超える場合に式（２）及び（３）からの実際の学習ルールに適用される以下のルールによって達成される。
【数５】
0005422735.tif 000006
【００６３】
ここで、ベクトルｖｎａは、アンカーと称されるノードであるベクトルｖ＊の確定隣接を表す。当該ルールは、ノードであるベクトルｖ＊とそのアンカーとの間の距離がφを決して超えないことを保証する。この場合、当該しきい値は、当該モデルのスケーリングに依存する。ノードのアンカーは、当該モデルのグラフ構造に関して当該モデルの上半身の中心に向かう方向の最短経路に存在する隣接ノードとして毎回画定される。すなわち、当該隣接ノードは、最小数のエッジによって上半身の中心に接続された隣接ノードである。
【００６４】
姿勢推定の例が図３に示される。本図は、図１の下部におけるセグメント化画像の前景ピクセルに対する点集合を示す。ここでは、データに適応されたモデルが点集合で描かれている。モデルが人の解剖を正確に反映していることがわかる。例えば、上半身が、２次元格子によって良好にカバーされ、いくつかの骨が頭に延び、及び、２つの１次元ノード鎖が腕に追従する。したがって、例えば手のような体の基本的部分の位置が、３Ｄモデルの対応ノードから直接得られる。
【００６５】
最後に、図４はビデオシーケンスのいくつかのジェスチャを示す。これらのフレームの各々は、セグメント化された振幅表現、及び、当該表現で描かれたモデルの２Ｄ投影を示す。本モデルは、上半身の前で腕が近接して組まれる異なる状況であっても、腕に追従することができる。本モデルはまた、頭の大部分がいくつかのフレームにおいて腕の後ろに隠れていても、頭の位置を信頼性をもって推定することができる。
【００６６】
本発明に係る方法の基本的利点は、各新フレームに対する本モデルの訓練が非常に迅速に完了するということである。カメラの前の人が非常に速い動きをする場合であっても、訓練中に使用しなければならないのは、３Ｄ点集合からのほんのわずかな量のデータのみであるということが、経験的に決定され得る。図３は、約６５００の前景ピクセルを含む。しかしながら、約ｔｍａｘ＝６５０のデータ点のみがランダムにサンプリングされて、パターン・バイ・パターン学習ルールによるＳＯＭ訓練に対してランダムな順序で使用される。したがって、本方法に係る計算費用はごくわずかであって、２．０ＧＨｚのＰＣにおいて毎秒２５フレームまでのフレームレートで姿勢を推定することができる。
【００６７】
基本的に、本発明に係る方法は、３次元で姿勢推定される任意種類の可動物体に拡張することができる。ＴＯＦカメラデータとＳＯＭの使用との組み合わせにより、ノード及び隣接構造を有するＳＯＭによって推定可能な物体要素にとって制限された動作機会が存在する場合、簡単かつ有効な実装が可能となる。これは、推定対象物体が、剛性の相互接続要素を有するとわかっている場合に特に当てはまる。同時に、当該相互接続要素は、互いに関して可動であるように設計される。人体は、本発明の意味において、かかる物体の一例にすぎない。
【００６８】
人の姿勢推定の場合、本方法によって人のジェスチャのリアルタイム利用可能な検出が可能となる。まず、本システムは、当該空間内において頭及び手の位置が既知であるから、指示ジェスチャを直接的に解釈することができる。これにより、指示対象方向を、頭から始まり手に沿ったビームを画定することによって特定することができる。このビームは直観的に指示の方向に対応する。指示対象物体の空間座標が追加的にわかる場合、指示対象領域を決定するべく当該座標が使用される。パワーポイント（登録商標）のスライドを使用するプレゼンテーションを例とすれば、レーザポインタが仮想レーザポインタに置き換えられる。すなわち、当該話者が指示する投影スライド上のスポットに赤い点が示される。
【００６９】
次に、本発明に係る方法は、可視の時空（ｒａｕｍ−ｚｅｉｔｌｉｃｈｅｎ）特徴に基づいての複合的ジェスチャの検出を目的とするシステムの開発に使用することができる。かかる時空特徴の評価には、システムの高度な処理パワーが必要である。両手のようないくつかのランドマークの位置が既知であれば、時空特徴の評価は両手が存在する領域のみに制限することができる。さらに、当該ランドマークの相対位置がわかっていれば、検出された複数の時空特徴を互いに関して、当該ジェスチャの方向を明確すなわち信頼性のあるものとする大きなコンテキスト（Ｋｏｎｔｅｘｔ）に置くことが可能となる。そして、このように構成される方法は、コンピュータ支援システムへの入力として使用できる複合的なジェスチャを検出することができる。かかるシステムは、医療及び産業分野の技術制御システム、情報端末、及び家庭用マルチメディアシステムからコンピュータゲームまで及ぶ。
【図１】
0005422735.tif 000007
【図２】
0005422735.tif 000008
【図３】
0005422735.tif 000009
【図４】
0005422735.tif 000010