(57)【特許請求の範囲】
【請求項１】
３次元シーンの深度画像を用いて、該シーン内のユーザ（２１０）の肢端に関連付けられる少なくとも１つの特徴を検出し、追跡する方法であって、前記方法は、
ａ）各深度画像（２００）内の少なくとも１つの対象領域（２１０）をセグメント化するステップと、
ｂ）前記セグメント化された深度画像内の前記ユーザ（２１０）の肢部に対応する少なくとも１つの対象物（２２０、２３０）を特定するステップと、
ｃ）各肢部（２２０、２３０）を経時的に追跡するステップと、
ｄ）各肢部（２２０、２３０）に関連付けられる肢端（２６０、２７０）を識別するステップと、
ｅ）識別された各肢端（２６０、２７０；４００；５００）を経時的に追跡するステップと、
ｆ）識別された各肢端（２６０、２７０；４００；５００）をその関連付けられる肢部（２２０、２３０）から分離するステップと、
ｇ）分離された各肢端（２６０、２７０；４００；５００）に関連するパラメータ（４１０、４２０、４３０、４４０、４５０）を求めるステップと、
ｈ）分離された各肢端（２６０、２７０；４００；５００）内の少なくとも１つの特徴（５１０、５２０、５３０、５４０、５５０、５６０）を識別するステップと、
ｉ）識別された各特徴（５１０、５２０、５３０、５４０、５５０，５６０）を経時的に追跡するステップとを含む、３次元シーンの深度画像を用いて、該シーン内のユーザ（２１０）の肢端に関連付けられる少なくとも１つの特徴を検出し、追跡する方法。
【請求項２】
前記ステップａ）は、前記深度画像（２００）内の各ピクセルの深度の関数であるように構成される少なくとも１つの構造化要素を利用することを含む、請求項１に記載の方法。
【請求項３】
前記ステップｃ）は、肢部（２２０、２３０）ごとに時間的関連性を特定することを含む、請求項１又は２に記載の方法。
【請求項４】
前記ステップｅ）は、肢部（２２０、２３０）ごとに評価された時間的関連性に基づいて、各肢端（２６０、２７０；４００；５００）を追跡することを含む、請求項３に記載の方法。
【請求項５】
前記ステップｄ）は、前記深度画像（２００）内の各肢部（２２０、２３０）の複数の点の加重平均を用いて、各肢端（２６０、２７０；４００；５００）を識別することを更に含む、請求項１から４までのいずれか一項に記載の方法。
【請求項６】
前記ステップｆ）は
ｆ１）前記ユーザの各肢部に関連付けられる各肢端（４００）の中心（４１０）を特定するステップと、
ｆ２）前記肢端の前記中心（４１０）からその境界（４５０）までの距離を求めるステップとを含む、請求項１から５までのいずれか一項に記載の方法。
【請求項７】
前記ステップｆ）は、切断プロセスを用いて、前記肢部（２２０、２３０）から前記肢端（２６０、２７０；４００；５００）を分離することを更に含み、前記切断プロセスは前記肢端（２６０、２７０；４００；５００）の前記特定された中心（４１０）を中心にして行われる、請求項６に記載の方法。
【請求項８】
前記ステップｆ）は、成長プロセスを用いて、前記肢部（２２０、２３０）から前記肢端（２６０、２７０；４００；５００）を分離することを更に含む、請求項６又は７に記載の方法。
【請求項９】
前記ステップｇ）は、前記肢端（４００；５００）に関連付けられる少なくとも１つのパラメータ（４１０、４２０、４３０、４４０、４５０）を求める前記ステップを含む、請求項６から８までのいずれか一項に記載の方法。
【請求項１０】
前記ステップｇ）は、前記肢端（４００；５００）に関連付けられる求められた各パラメータ（４１０、４２０、４３０、４４０、４５０）を用いて、前記肢端（４００；５００）に関連付けられる少なくとも１つの特徴（５１０、５２０、５３０、５４０、５５０、５６０）を識別するステップを更に含む、請求項９に記載の方法。
【請求項１１】
前記肢端（４００；５００）に関連付けられる前記少なくとも１つのパラメータは前記深度画像（２００）内の前記肢端の向きを含む、請求項９又は１０に記載の方法。
【請求項１２】
前記ステップｇ）は、求められた各パラメータ（４１０、４２０、４３０、４４０）を用いて、前記肢端（４００）の先端位置（４５０）を特定することを更に含む、請求項９から１１までのいずれか一項に記載の方法。
【請求項１３】
前記肢部は腕を含み、前記肢端は手（５００）を含み、前記肢端に関連付けられる各特徴は前記手（５００）の少なくとも１つの指（５１０、５２０、５３０、５４０、５５０、５６０）を含む、請求項９から１２までのいずれか一項に記載の方法。
【請求項１４】
前記ステップｈ）は、手輪郭内のシルエット指（５１０、５２０、５３０、５４０、５５０）及びポインティング指（５６０）を識別することを含む、請求項１３に記載の方法。
【請求項１５】
前記ステップｈ）は、前記識別されたシルエット指（５１０、５２０、５３０、５４０、５５０）及びポインティング指（５６０）を合体させて、固有の１組の指を形成することを含む、請求項１４に記載の方法。
【請求項１６】
少なくとも１つの手（４００；５００）によって行われるジェスチャを認識するためのジェスチャ認識方法であって、請求項１３から１５までのいずれか一項による、３次元シーンの深度画像を用いて該シーン内のユーザの肢端に関連付けられる少なくとも１つの特徴を検出し、追跡する前記方法を含む、ジェスチャ認識方法。
【請求項１７】
請求項１から１６までのいずれか一項による、３次元シーンの深度画像を用いて該シーン内のユーザ（２１０）の肢端に関連付けられる少なくとも１つの特徴を検出し、追跡する前記方法の前記すべてのステップを実行するためのコンピュータプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は３次元（３Ｄ：three dimensional）近接インタラクションにおける、又はそれに関連する改善に関し、より詳細には、限定はしないが、手及び／又は指に基づくジェスチャ・インタラクションを可能にする情報が特定されるように、深度検知撮像デバイスに近い距離においてユーザの手（両手）及び／又は手の主要部分を検出し、追跡することに関する。
【背景技術】
【０００２】
ジェスチャ及び動作認識を用いる人間とコンピュータとのインタラクティブシステム及び方法は、コンピュータビジョンの分野から既知の技術である。特定の撮像デバイスの視野内で実行されるときにユーザの３Ｄジェスチャ及び動作認識を可能にする、最新の測距カメラデバイスに基づくインタラクティブシステム、例えば、３Ｄ構造化光カメラも既知である。そのようなシステムでは、人間ユーザは通常、カメラから少なくとも１ｍの場所に立っており、ユーザの動作及び／又はジェスチャは派手である、すなわち、その解像度があらかじめ決まっており、限られている３Ｄカメラによって検出されるほど十分に大きい必要がある。例えば、通常の３Ｄカメラ解像度はクォーター・ビデオ・グラフィックス・アレイ（ＱＶＧＡ：quarter video graphics array）に準拠し、すなわち、３２０×２４０ピクセルであり、それゆえ、指のような小さな物体が３Ｄ撮像デバイスからあまりにも離れて位置するとき、検出可能な動作の精度、又はそれらの物体を検出する能力を制限する。そのようなシステムでは、一般的に、そのような距離においてユーザの手を、より詳細には、手の指を確実に検出し、追跡することはできない。より厳密には、現在の３Ｄ撮像デバイスの大部分が、カメラから１ｍ〜５ｍの範囲内のユーザの完全な骨格を追跡できるように構築される。更に、これらの３Ｄ撮像デバイスの大部分が、カメラセンサから０ｍ〜１．５ｍの範囲内での測定の実行を許さない技術仕様を有する。
【０００３】
しかしながら、その中に３Ｄ飛行時間（ＴｏＦ：time-of-flight）カメラを含む、幾つかの新たな技術が開発されるにつれて、カメラセンサから１ｍ未満、典型的には０．５ｍ未満の距離にあるユーザの手及び／又は指のような特徴を含む特徴をカメラセンサから種々の距離において検出し、追跡できるようになってきた。これは「近接インタラクション（close interaction）」と呼ばれ、デスクトップ環境において、又は自動車環境内のような他の環境において、手及び指に基づく非接触のインタラクションを可能にするように特に適応する。
【０００４】
皮膚色の検出を用いてピクセルごとにカラーチャネルを埋め込むことにより、画像内の人間の複数の部位の存在を検出することが知られている。そのような方法が、A. A. Argyros及びM.I. A. Lourakisによる「Real Time Tracking of Multiple Skin Colored Objects with a Possibly Moving Camera」（Proceedings of the European Conference on Computer Vision (ECCV '04), Springer-Verlag, vol. 3, pages 368 to 379, May 11 to 14, 2004, Prague, Czech Republic）と題する論文において記述されている。ここでは、ベイズ分類器に基づいて斑点が検出され、そのベイズ分類器は、小さなトレーニングデータセットでブートストラップされ、色測定が環境照明によって妨害される場合があるときに分類器が照明変化に対処できるようにする皮膚−色確率を含む。この検出方法は基本的に、近接インタラクション環境においてユーザの両手及び顔を検出できるようにし、画像内の斑点の位置について情報を与えることができるように、これらの検出された皮膚−色斑点の何らかの追跡能力と更に組み合わせることができる。その際、そのような情報を用いて、ジェスチャ認識システムへの入力を与えることができ、例えば、物理的に接触することなく、コンピュータのマウスを簡単なやり方で制御することができる。
【０００５】
別の開示では、ジェスチャ認識のための２Ｄ／３Ｄ画像の融合に基づく高速で、ロバストなセグメント化技法が、S.E. Ghobadi、O.E. Loepprich、K.Hartmann及びO. Loffeld による「Hand Segmentation using 2D/3D Images」（Proceedings of Image and Vision Computing New Zealand 2007, pages 64 to 69, Hamilton, New Zealand, December 2007）と題する論文において記述されている。フォトニックミキサデバイス（ＰＭＤ：photonic mixer device）センサのピクセルごとの距離情報とともに、強度画像を生成するために３Ｄ  ＴｏＦカメラが用いられる。強度及び距離データを融合して、Ｋ平均と期待値最大化技法との組み合わせに基づくセグメント化アルゴリズム（ＫＥＭ：K-Means mixed with expectation maximisation technique）への入力情報を与える。ＫＥＭは、Ｋ平均クラスタリング技法と、期待値最大化技法とを組み合わせて、Ｋ平均を用いる初期ステップにおいて、自然クラスタの中心が特定され、第２のステップにおいて、期待値最大化の柔軟な確率的割当てを用いて極大値を反復的に見つけ、それにより、見つけられたクラスタの位置及び境界を精緻化する。背景が均一である単純な環境において、且つセグメント化されることになる物体から十分な距離において、融合されたデータは、いかなる照明条件のシーンであっても、ユーザの体、顔、腕又は他の物体からユーザの手をリアルタイムに適切にセグメント化できるようにする。検討されている環境におけるその方法のロバスト性は、２Ｄ／３Ｄジェスチャ追跡及びジェスチャ認識における処理技法の最初のステップとして使用する要件を満たすと言われている。I. Oikonomidis、N. Kyriazis及びA.A. Argyrosによる「Tracking the Articulated Motion of Two Strongly Interacting Hands」（http://www.ics.forth.gr/~argyros/mypapers/2012 06 cvpr twohands.pdf）と題する論文では、粒子群最適化（ＰＳＯ：particle swarm optimisation）を用いて、ＲＧＢ−Ｄセンサ、すなわち、深度情報も与えるカラーセンサからの信号を処理する。その方法は、マーカレス目視観測を実行して、複雑で自由に互いに相互作用する両手の全関節を追跡する。記述される方法は、感覚情報を、既知のサイズ及び運動学の２つの合成及び対称３Ｄ手モデルの接合関節に直接起因すると考えることによって、２つの相互作用する手の完全な検出及び追跡を達成する。２つの手の所与の関節の場合に、ＲＧＢ−Ｄセンサであれば感知することになる信号の予測が、画像収集プロセスをシミュレートすることによって、例えば、特定のカメラシーン較正のための合成深度マップを生成することによって得られる。実際の入力に相当するデータを生成するパラメトリックプロセスを確立した後に、実際の入力に最も類似している深度マップを生成するパラメータを探索することによって追跡が実行される。追跡がオンラインで実行され、その場合、ステップごとに、且つ新たな入力ごとに、最適化ステップが実行され、ＰＳＯの変形形態を用いて、実際のＲＧＢ−Ｄ入力と、仮定された関節から生成されたシミュレーションによる深度マップとの間の相違が最小化され、最もスコアが高い仮定が現在の入力のための解を構成する。各最適化ステップにおいて利用される計算効率及び時間的連続性によってロバスト性(robustness)が達成されるように、相違指標は注意深く定式化される。
【０００６】
M.K. Bhuyanら「Fingertip Detection for Hand Pose Recognition」（International Journal on Computer Science and Engineering (ISCSE), Vol. 4, No. 3, March 2012）において、前腕及び手のセグメント化も記述されている。ここでは、指先検出及び指タイプ認識のための方法が提案され、その方法では、ベイズの規則に基づく皮膚色セグメント化を用いて、手領域において指先の場所が特定される。その後、ある重要な幾何学的特徴を観測することによって、セグメント化された手領域においてモルフォロジー演算が実行される。その後、指の動きの幾何学的特徴の最終的な確率的モデル化は、手話認識及びジェスチャアニメーションにおける指綴りのための有益な情報を与える状況において特に、指タイプ認識プロセスが著しくロバストにされるように実行される。
【０００７】
S. Malassiotis及びM.G. Strintzisによる「Real-time hand posture recognition using range data」（Image and Vision Computing, 26 (2008), pages 1027 to 1037）と題する論文では、アルファベットの手話において直面するような複雑な手姿勢を認識するために、腕セグメント化、手−前腕セグメント化、手姿勢推定及びジェスチャ分類が実行される方法が記述される。その方法によれば、３次元の手の幾何学的形状を利用して、手話姿勢及び／又はジェスチャを認識することによって、３次元画像データが取り込まれ、処理される。
【０００８】
ＷＯ−Ａ−０３／０７１４１０号は、ジェスチャ及び姿勢を用いて人が電子デバイスと相互作用できるようにするための別の方法を記述する。その方法は、その人の体の一部の複数の離散領域に対する位置情報を入手することを含む。その位置情報は、基準位置に対する、その体部分の各離散領域の深度値を含む。３Ｄセンサシステムを用いて、３Ｄシーンの深度画像が取り込まれ、そのシーンの背景から１つ又は複数の対象領域をセグメント化するように処理され、各対象領域は、そのジェスチャが検出されることになる手を含む。各ジェスチャが分類され、１組の異なる手のジェスチャと比較される。
【０００９】
論文において手検出及びモデル化が広く検討されているにもかかわらず、上記の文献はいずれも、いなかる色情報も用いることなく、そしていかなる手モデルも、若しくは関節を有する骨格表現も用いることなく、３Ｄ撮像センサからの深度マップを入力情報として用いて、撮像デバイスに近い距離において指、掌及び向きを含む、手の複数の部分及びそれらのパラメータを検出し、追跡することを提供しない。
【先行技術文献】
【特許文献】
【００１０】
【特許文献１】ＷＯ−Ａ−０３／０７１４１０号
【非特許文献】
【００１１】
【非特許文献１】A. A. Argyros及びM.I. A. Lourakis「Real Time Tracking of Multiple Skin Colored Objects with a Possibly Moving Camera」（Proceedings of the European Conference on Computer Vision (ECCV '04), Springer-Verlag, vol. 3, pages 368 to 379, May 11 to 14, 2004, Prague, Czech Republic）
【非特許文献２】S.E. Ghobadi、O.E. Loepprich、K.Hartmann及びO. Loffeld「Hand Segmentation using 2D/3D Images」（Proceedings of Image and Vision Computing New Zealand 2007, pages 64 to 69, Hamilton, New Zealand, December 2007）
【非特許文献３】I. Oikonomidis、N. Kyriazis及びA.A. Argyrosによる「Tracking the Articulated Motion of Two Strongly Interacting Hands」（http://www.ics.forth.gr/~argyros/mypapers/2012 06 cvpr twohands.pdf）
【非特許文献４】M.K. Bhuyanら「Fingertip Detection for Hand Pose Recognition」（International Journal on Computer Science and Engineering (ISCSE), Vol. 4, No. 3, March 2012）
【非特許文献５】S. Malassiotis及びM.G. Strintzis「Real-time hand posture recognition using range data」（Image and Vision Computing, 26 (2008), pages 1027 to 1037）
【非特許文献６】L. Guigues「Comparison of image segmentations using a hierarchical model for n-m regions matchings」（Proc. Of 2nd IAPR-TC15 Workshop on Graph-Based Representations, Haindorf, Austria 1999）
【非特許文献７】Y. Bulalov、S. Jambawalikar、P. Kumar及びS. Sethia「Hand recognition using geometric classifiers」（http://www.ams.sunysb.edu/〜saurabh/research/hand workshop.pdf）
【非特許文献８】A. Kirillov「Hands gesture recognition」（http:// www.codeproject com/Articles/26280/Hands-Gesture-Recognition, May 2008）
【非特許文献９】Thiago R. Trigo及びSergio Roberto M. Pellegrino「An Analysis of Features for Hand-Gesture Classification」（IWSSIP 2010, 17th international Conference on Systems, Signals and Image Processing）
【発明の概要】
【発明が解決しようとする課題】
【００１２】
それゆえ、本発明の目的は、十分な解像度を有する飛行時間（ＴｏＦ）カメラのような、３Ｄ検知デバイスの錐台によって画定されるような所定の体積において、ユーザの手、詳細には、手の指、指先、掌及びパラメータを検出し、位置を特定し、セグメント化するための方法を提供することである。
【００１３】
本発明の別の目的は、入力深度マップに当てはまるか、又は一致することになる任意のモデル又は骨格表現を用いることなく、ユーザの手、詳細には、手の指、指先、掌及びパラメータを検出し、位置を特定し、セグメント化するための方法を提供することである。
【００１４】
本発明の別の目的は、空間内の手姿勢にかかわらず、ユーザの手、詳細には、手の指、指先、掌及びパラメータを検出し、位置を特定し、セグメント化するための方法を提供することである。
【００１５】
本発明の更なる目的は、至近距離モード検出能力を有する３Ｄ検知デバイスによって与えられる入力情報を用いて、シーン内に立っている少なくとも１人のユーザの複数の手を検出し、位置を特定し、セグメント化するための方法を提供することである。
【００１６】
本発明の更に別の目的は、３Ｄ検知デバイスを用いる近接インタラクションのために手及び指のジェスチャ及び／又は姿勢を利用するヒューマン・マシン・インターフェースへの入力データを与えることである。
【００１７】
本発明の更なる目的は、コンピュータシステムに関連付けられる３Ｄ検知システムの錐台内で動作する手のみを用いて、コンピュータシステムを制御することである。
【課題を解決するための手段】
【００１８】
本発明の第１の態様によれば、３次元シーンの深度画像を用いてそのシーン内のユーザの肢端に関連付けられる少なくとも１つの特徴を検出し、追跡する方法が提供され、その方法は、
ａ）各深度画像内の少なくとも１つの対象領域をセグメント化するステップと、
ｂ）セグメント化された深度画像内のユーザの肢部に対応する少なくとも１つの対象物を特定するステップと、
ｃ）各肢部を経時的に追跡するステップと、
ｄ）各肢部に関連付けられる肢端を識別するステップと、
ｅ）識別された各肢端を経時的に追跡するステップと、
ｆ）識別された各肢端をその関連付けられる肢部から分離するステップと、
ｇ）分離された各肢端に関連するパラメータを特定するステップと、
ｈ）分離された各肢端内の少なくとも１つの特徴を識別するステップと、
ｅ）識別された各特徴を経時的に追跡するステップとを含む。
【００１９】
ステップａ）は、深度画像内の各ピクセルの深度の関数であるように構成される少なくとも１つの構造化要素を利用することを含むことができる。
【００２０】
ステップｃ）は肢部ごとの時間的関連性を特定することを含むことができる。この場合、ステップｅ）は、肢部ごとに評価された時間的関連性に基づいて各肢端を追跡することを含む。
【００２１】
一実施例では、ステップｄ）は、深度画像内の各肢部の点の加重平均を用いて、各肢端を識別することを更に含むことができる。
【００２２】
別の実施例では、ステップｆ）は、
ｆ１）ユーザの各肢部に関連付けられる各肢端の中心を特定するステップと、
ｆ２）肢端の中心から境界までの距離を求めるステップとを含むことができる。
【００２３】
更に、ステップｆ）は、切断プロセスを用いて、肢部から肢端を分離することを更に含むことができ、切断プロセスは肢端の特定された中心を中心にして行われる。
【００２４】
代替的には、又は更には、ステップｄ）は成長プロセスを用いて、肢部から肢端を分離することを更に含むことができる。
【００２５】
ステップｇ）は、肢端に関連付けられる少なくとも１つのパラメータを求めるステップを含むことができる。肢端に関連付けられるそのような特定された各パラメータを用いて、肢端に関連付けられる少なくとも１つ特徴を識別することができる。一実施例では、肢端に関連付けられる少なくとも１つパラメータは、深度画像内の肢端の向きを含むことができる。
【００２６】
一実施例では、ステップｇ）は、求められた各パラメータを用いて、肢端の先端位置を特定することを更に含むことができる。
【００２７】
一実施例では、肢部は腕を含み、肢端は手を含み、肢端に関連付けられる各特徴は手の少なくとも１つの指を含む。この場合、ステップｈ）は手輪郭内のシルエット指及びポインティング指を識別することを含む。別の実施例では、ステップｈ）は、各指先を識別することを含む。これは、識別されたシルエット指及びポインティング指を合体させて、固有の１組の指を形成することによって達成することができる。
【００２８】
本発明の別の態様によれば、少なくとも１つの手によって行われるジェスチャを認識するためのジェスチャ認識方法が提供され、その方法は、上記のようにシーンの深度画像を用いて３次元シーン内のユーザの肢端に関連付けられる少なくとも１つの特徴を検出し、追跡する方法を含む。
【００２９】
本発明の更なる態様によれば、上記のように３次元シーンの深度画像を用いて３次元シーン内のユーザの肢端に関連付けられる少なくとも１つの特徴を検出し、追跡する方法のステップを実行するためのコンピュータプログラムが提供される。
【００３０】
本発明を更に理解してもらうために、ここで、一例にすぎないが、添付の図面が参照される。
【図面の簡単な説明】
【００３１】
【図１】本発明による方法のステップを示す流れ図である。
【図２】至近距離モード測距カメラデバイスによって取り込まれた３Ｄシーンを表す深度マップ内の背景からの人間ユーザのセグメント化のグレースケール表現を示す図である。
【図３】本発明による、至近距離モード測距カメラデバイスによって取り込まれた３Ｄシーンを表す深度マップ内の肢部セグメント化のグレースケール表現を示す図である。
【図４】本発明による、肢部が合体するときのセグメント化された肢部の追跡ステップを示す図である。
【図５】本発明による、肢部が合体するときのセグメント化された肢部の追跡ステップを示す図である。
【図６】本発明による、肢部の肢端を「切断して」手を分離するステップを示す図である。
【図７】本発明による、肢部の肢端を「切断して」手を分離するステップを示す図である。
【図８】分離された手の中心を特定する際のステップを示す図である。
【図９】分離された手の中心を特定する際のステップを示す図である。
【図１０】本発明による、測距測定値の３Ｄ点群表現における手モデル化のステップを示す図である。
【図１１】本発明による、測距測定値の３Ｄ点群表現における手モデル化のステップを示す図である。
【図１２】本発明による、指検出及び追跡のステップを示す図である。
【図１３】本発明による、指検出及び追跡のステップを示す図である。
【図１４】本発明による、指検出及び追跡のステップを示す図である。
【発明を実施するための形態】
【００３２】
本発明は、特定の実施例に関して、特定の図面を参照しながら説明されることになるが、本発明はそれには限定されない。説明される図面は概略にすぎず、限定するものではない。図面では、要素のサイズのうちの幾つかが誇張される場合があり、例示のために、縮尺どおりに描かれてない場合がある。
【００３３】
本明細書において、「垂直」及び「水平」という用語は、図の特定の向きを指すために用いられ、これらの用語が、本明細書において説明される具体的な実施例への制限でないことは理解されよう。
【００３４】
本発明は、近接インタラクションの状況において人とコンピュータとのインタラクション（相互作用）を可能にするために、シーン内の少なくとも１人のユーザの少なくとも１つの手の少なくとも一部を検出し、追跡することを対象とする。その検出及び追跡は、更なるステップにおいて、手によって、又はこの手の一部によって、詳細にはこの手の指によって行われる静止姿勢及び動的ジェスチャを検出し、認識できるように、経時的にインタラクションを実行することになる手又は手の一部のそれぞれの位置を特定することを目的とする。深度関連情報を用いることによって、取り込まれた種々の画像にわたって、シーン内の複数の対象物を特定し、セグメント化することができる。深度関連情報は、近接インタラクション能力を有する、すなわち、１ｍ未満の距離、好ましくは０．５ｍ未満の距離を有するＴｏＦカメラを用いて得られる。カメラ又は撮像デバイスが、ユーザが立っている距離における指検出及び追跡に準拠している解像度を有するセンサを備える場合には、その方法は、ユーザがカメラ又は撮像デバイスから離れて、すなわち、カメラから１ｍより遠く離れて立っている状況において用いるのにも適している。
【００３５】
本明細書において用いられるときに、「姿勢」という用語は特定の時点における手を表す１組のキーポイントの配置を指している。本明細書において用いられるときに、「ジェスチャ」という用語は、手のキーポイントの配置の経時的変化を指している。更には、又は代替的には、「ジェスチャ」という用語は、キーポイントの不変配置の空間内位置の経時的変化を指す場合もある。
【００３６】
姿勢が経時的に変化しない場合には、すなわち、キーポイントの配置及びその空間内位置が変化しないままである場合には、その姿勢は静止姿勢と呼ばれる。キーポイントの配置が変化しないままであるが、その配置の空間内位置が経時的に変化する場合には、これは、静止姿勢を有するジェスチャと呼ぶことができる。キーポイントの配置が経時的に変化する場合には、これは異なる姿勢を有するジェスチャと呼ばれる。
【００３７】
本発明によれば、３Ｄ検知デバイスによって収集された深度画像のリアルタイムストリームに基づいて、ユーザの手、特に指及び掌を含む手の検出、追跡及びモデル化を提供する方法が記述される。詳細には、ＴｏＦ  ３Ｄカメラを用いて、３Ｄ点群又は深度マップの形をとる深度画像を与えることができる。更に、本発明の方法は、２つ以上の手を検出し、追跡し、モデル化するために用いることができ、本発明の好ましい実施例では、シーン内の対象物、すなわち、手を分離するためにスマートセグメント化方法を利用する。しかしながら、その方法は手には限定されず、その形が既知である他の肢端又は潜在的に相互作用する物体を追跡するために用いることができる。
【００３８】
図１は、本発明の方法におけるステップを示す流れ図１００を示す。最初のステップ、ステップ１０５は、上記のように、３Ｄ点群又は深度マップの形をとる場合がある深度画像を収集することである。次のステップ、ステップ１１０は、深度画像の残りからユーザの肢部をセグメント化することである。ステップ１１５において、セグメント化された肢部が追跡され、その後、ステップ１２０において、追跡された肢部の肢端が特定される。その後、ステップ１２５において、これらの肢部の肢端が追跡され、ステップ１３０において、それらの肢端のモデル化が実行される。モデル化後に、ステップ１３５において、手を認識するための認識プロセスが実行され、その後、ステップ１４０において、手の幾何学的モデル化が実行される。その後、ステップ１４５において、手の指が検出され、追跡され、ステップ１５０において、手の開きの更なる計算値を求めることができる。例えば、入力３Ｄ点群又は深度マップを取り込むために３Ｄ撮像システムを含むコンピュータシステムとのインタラクションを制御するために、ステップ１５０からの出力を用いることができる。ここで、そのプロセスの各ステップが以下に更に詳細に説明される。
【００３９】
ステップ１０５において、例えば、深度画像を直接与えるか、又は決められた座標系内で３Ｄ点群の形で深度画像を与える３Ｄ撮像システム又は他の測距測定カメラ又は撮像デバイスを用いて、任意の既知の技法によって深度画像を収集することができる。深度画像はステップ１１０における肢部セグメント化プロセスへの入力を形成する。
【００４０】
３Ｄ撮像システムは、既知の物理的パラメータ、例えば、焦点距離、視野、レンズ歪みなどを有するカメラ又は撮像センサを備える。これから、その深度値とともに、取り込まれた画像内の撮像システムの錐台内の物体に対応する２Ｄ点を、カメラ基準系内の３Ｄ座標に容易に変換することができる。これは、空間内の所与の位置における現実世界の座標を画像空間内の座標、例えば、深度マップ内のピクセル単位に変換できることを意味する。現実世界メトリックシステムにおいて与えられる、以下に更に詳述される形態学的開きプロセスにおいて用いられる浸食／膨張球体の半径が、ピクセルの深度がわかるときに、ピクセルごとに独立して深度画像内の半径に変換される。
【００４１】
ステップ１１０の肢部セグメント化プロセスでは、深度画像は入力を形成し、３Ｄ空間内の所定値又はしきい値より小さな寸法を有する物体に対応する、現在の深度画像の特定の領域が描かれる。最大寸法値は、人間の肢部及び頭部の幅より大きいが、人間の胸部の幅より小さいように設定される。これにより、肢部セグメント化プロセスによって、画像内に見える人間の肢部及び頭部を含むが、胴体も背景も含まないように、その領域を描くことができるようになる。
【００４２】
肢部セグメント化ステップは、基本的な画像フィルタリングアルゴリズム、例えば、形態学的開きプロセスと、その後の、深度マップ情報の使用を必要とする、本発明の実施態様に特に適応した領域成長及び合体方法との特定の適応形態を用いて実行することができる。実数値画像に関する形態学的開きプロセスは、所定のサイズの構造化要素を用いて、結果として「浸食された画像（eroded image）」を生成する、画像の浸食を計算することと、別の構造化要素を用いて、浸食された画像の膨張を計算することとを含む。
【００４３】
浸食は、全ての他の形態学的演算が基にする、形態学的画像処理の２つの基本的な演算のうちの１つである。２値モルフォロジー(morphology)の基本的着想は、簡単な所定の形状で画像をプローブし、この所定の形状が、処理されている画像内の形状にいかに合致するか、合致しないかを特定することである。この簡単な「プローブ(probe)」は、構造化要素と呼ばれ、それ自体は２値画像、すなわち、空間又はグリッド又はピクセルのサブセットである。
【００４４】
形態学的画像処理の基本演算のうちのもう１つは膨張である。ここで、２値画像へのその演算子の基本的効果は、前景ピクセル、例えば、通常、２Ｄ画像における白色ピクセル、又は深度マップ内の所定の距離より近いピクセルの領域の境界を徐々に拡大することであり、それにより、前景ピクセルのエリアのサイズが成長し、一方、それらの領域内の穴が小さくなる。膨張演算子は、入力として２つのデータ、すなわち、膨張することになる画像と、構造化要素として知られる（カーネルとしても知られる）１組、標準的には小さな１組の座標点とをとる。構造化要素は、入力画像への膨張の厳密な効果を決定する。
【００４５】
形態学的開きプロセスの使用は２つの利点を有し、すなわち、浸食ステップ及び膨張ステップに対して２つの異なる構造化要素を用いることができるという利点と、標準的な２Ｄ画像処理技法の場合のように画像全体に対して決まったサイズを用いる代わりに、構造化要素のサイズを、ピクセルが含む深度値に応じて画像内のピクセルごとに適応させることができるという利点とを有する。特定の有利な実施例では、構造化要素、例えば、半径ｒを有する球体のサイズは、各ピクセルの深度の関数、すなわち、カメラ又は３Ｄ撮像システムからのピクセルの距離の関数になるように構成され、それにより、その要素が、カメラ座標系に対応する点の現実世界３Ｄ位置に位置決めされた場合には、その要素は一定のサイズを有することになる。これは、「視点不変性」の開きを与える。これは、物体の視点の変化が開きのサイズに影響を及ぼさないことを意味する。
【００４６】
肢部セグメント化ステップ、すなわち、ステップ１１０の一部として、メートル単位の浸食半径ｒｅ及びメートル単位の膨張半径ｒｄのようなパラメータを形態学的開きプロセスの一部として決定することができる。更に、差しきい値ｔ及び深度の最大変化Δｄのようなパラメータが、肢部セグメント化ステップの一部として入力深度画像に適用される。これらのパラメータは肢部セグメント化ステップにおいて導出されるが、後続の処理ステップでは用いられない。
【００４７】
肢部セグメント化ステップ、すなわち、ステップ１１０からの出力は、浸食画像（浸食）、開き画像（膨張）、出力差画像（差）及び出力領域ラベル画像（接続領域のラベリング）から導出されるラベル画像を含む。
【００４８】
深度ｄを有する画像のピクセルごとに、ピクセルに対応する３Ｄ点を中心にした半径ｒｅの球体を画像空間内に射影することによって、ある球体から浸食画像が求められ、この円板上の画像の最大深度値が計算され、浸食された画像の対応するピクセルに割り当てられる。
【００４９】
浸食された画像のピクセルごとに、ピクセルに対応する３Ｄ点を中心にした半径ｒｄの球体を画像空間内に射影することによって得られた円板から出力開き画像が求められ、この円板上の浸食された画像の最大値が計算され、開き画像の対応するピクセルに割り当てられる。
【００５０】
深度画像のピクセルごとに、出力差画像が、その深度と開き画像内のその値との間の差として求められる。その出力差が差しきい値ｔより大きい場合には、ピクセルが「肢部」に属すると見なされる。
【００５１】
出力領域ラベル画像（接続領域ラベリング）は、深度値の絶対差が深度の最大変化Δｄより小さい場合には、画像の隣接するピクセルの各対を接続されているとして記録し、接続される各構成要素を、以前に特定された「接続」関係に応じて異なるようにラベルを付けることによって求められる。
【００５２】
その後、「肢部」セグメント化により決定された領域から擬似小領域を除去するために、小領域を、より大きな隣接する領域に合体させる。領域ラベル画像の残りのラベルのないゾーンを接続性に基づいてセグメント化することによって、「胴体」を分離できるようになる。その後、隣接する肢部と胴体との間の接続性を解析することによって、どの肢部がどの胴体に接続されるかに関して評価できるようになる。
【００５３】
図２は、近接インタラクションの状況における３Ｄシーン内の人間ユーザ２１０の画像２００を示す。図示されるように、ユーザ２１０は、一対の腕２２０、２３０と、頭部２４０と、胴体２５０とを有する。各腕２２０、２３０は、関連付けられる手２６０、２７０を有する。上記のような肢部セグメント化ステップ、すなわち、ステップ１１０後に、ユーザ２００の腕２２０、２３０は、その手２６０、２７０及び頭部２４０とともに、図３に示されるように分離することができる。胴体２５０は対象物ではなく、それゆえ、肢部セグメント化の出力の一部を形成しない。セグメント化された物体の中の対象物のソートは、そのシーン内の物体の統計学的モーメント分析に関連する深度測定値を用いて行うことができる。対象物を規定するための距離判定基準はカメラに近い物体を優先することができるので、例えば、カメラから離れた物体が大きすぎる場合には除去することができ、一方、カメラに近い同じ物体は保持されることになる。通常、近接インタラクションの状況において、よりカメラに近い１つ又は２つの物体だけを対象と見なすことができる。
【００５４】
ステップ１１０において肢部セグメント化を実行した後に、次のステップは、肢部追跡、すなわち、ステップ１１５（図１）を実行することである。このステップでは、追跡プロセスにおいて、現在の深度画像、すなわち、ｔにおける画像の「肢部」領域が、先行する深度画像、すなわち、ｔ−１における画像の「肢部」領域に関連付けられる。ｔ−１における画像内の肢部、及びｔにおける画像内の同じ肢部に対する照合スコアを計算することによって、対ごとの関連付けを行うことができる。照合スコアは、表面比、又は照合表面比とすることができる。好ましい実施例では、最新の動き推定アルゴリズムによって、現在のフレームに対して、先行するフレームの各領域のピクセルの位置を推定することができる。統計値、例えば、動きの平均又は中央値を用いて、領域レベルにおいて動きを補償することもできる。
【００５５】
動き推定は、１つの画像から別の画像への変換、例えば、画像取込み間の変換を記述する動きベクトルを求めるプロセスを指しており、Ｘ軸、Ｙ軸及びＺ軸における回転及び並進を近似するモデルによって表すことができる。動きベクトルは、ピクセルに基づく技法（直接法とも呼ばれる）、例えば、ブロック照合、位相相関及び／又は周波数領域法、並びにピクセル再帰アルゴリズムを用いて見つけることができる。ピクセルに基づく方法では、最小二乗誤差（ＭＳＥ：minimum squared error）、絶対差の和（ＳＡＤ：sum of absolute differences）、平均絶対差（ＭＡＤ：mean absolute difference）及び二乗誤差の和（ＳＳＥ：sum of squared errors）のうちの１つ又は複数とすることができる。間接法を使用することもでき、その場合、局所的エリア又は大域的エリアにわたって適用される統計関数、例えば、ランダム・サンプル・コンセンサス（ＲＡＮＳＡＣ：random sample consensus）を用いて特徴が照合される。
【００５６】
その際、保持される１組の関連性が「分離」（ｎ−１）関係又は「合体」（ｍ−１）関係のみをモデル化できるという制約を確認する、全ての取り得る関連性のサブセットが計算される。これは、グラフ最適化問題として、L. Guigues「Comparison of image segmentations using a hierarchical model for n-m regions matchings」（Proc. Of 2nd IAPR-TC15 Workshop on Graph-Based Representations, Haindorf, Austria 1999）において記述された。先行する画像及び現在の画像の各領域がグラフ内のノードに対応し、異なるフレーム、すなわち、先行するフレーム及び現在のフレームに属する各ノード対間にエッジが設定される、加重二部グラフが定義される。エッジは照合スコアによって重み付けされる。最大でも２の直径を有するこの関連性グラフの最大加重サブグラフを見つけることによって、最適な照合が得られる。２ステップ最適化手順が提案された。好ましい実施例では、貪欲最適化アルゴリズムを用いることができる。貪欲アルゴリズムは、大域的な最適解を見つけることを期待しながら各段階において局所的に最適な選択を行う、問題解決の発見的方法に従うアルゴリズムである。場合によっては、貪欲方策が最適解を生成する必要はないが、それでも、貪欲な発見的方法が、大域的な最適解に近い最適解を局所的に生成する場合がある。
【００５７】
貪欲最適化アルゴリズムを用いることによって、解がない状態から開始することができ、それらの関係をスコアが減少する順にソートすることができ、ソートされた関係を精査して、結果として新たな解が最大グラフ直径制約に違反しない関係を現在の解に含むことができる。同じ方法によって胴体を追跡することができ、その後、更なる処理に対して、追跡された胴体に接続される肢部間の関連性のみを考慮することができる。
【００５８】
ステップ１２０（図１）において、肢部の肢端、すなわち、この場合には手が検出され、追跡される。このステップにおいて、各肢部の特定の部分が肢部の好ましい肢端として識別される。好ましい実施例では、ステップ１１０（図１）においてセグメント化された肢部ごとに、肢部の３Ｄ点の加重平均を用いて、好ましい肢端が特定される。肢端は肢部の質量中心から離れた位置に位置すると判断されるので、肢部の各３Ｄ点に関連付けられる重みは、肢端から肢部の質量中心までの距離によって決まる場合がある。この距離は、３Ｄ空間内のユークリッド距離とすることができるか、又は肢部表面上の測地的距離とすることができる。
【００５９】
代替的には、肢部の各３Ｄ点に関連付けられる重みは、空間内の特定の方向において肢端が優先されることをモデル化し、「アンカー点」と呼ぶことができる、空間内の特定の点までの距離によって決まる場合がある。アンカー点は、カメラ位置のような何らかの絶対位置又は基準位置に、又は肢部質量中心に対する何らかの位置に位置するように選択することができる。例えば、カメラ位置にあるアンカーを用いる場合には、その方法によって優先的に選択される肢端はカメラに最も近いことになる。質量中心の上方且つ前方のアンカーを用いる場合には、その方法によって優先的に選択される肢端は、肢部中心に対して上方−前方肢端になるであろう。アンカー点は、先行するフレーム内の肢端の相対的な位置に関連することができる。フレーム内で特定された肢端が先行するフレーム内の肢端の位置によって決まるので、その際、その方法は追跡方法としての役割を果たす。これは、例えば、ひじが手よりもカメラ又は撮像デバイスの近くにあるように見えるときに、肢部の肢端が手からひじに移るのを防ぐ。その追跡方法は加重平均に基づくので、肢端の位置は、追跡されている肢部に対応する３Ｄ点の位置に対して連続している。それゆえ、その追跡プロセスからの出力は、入力データ、すなわち、入力深度画像内の雑音に対して安定しており、小さな摂動に耐える。
【００６０】
肢端を検出すると、それらの肢端は、肢部追跡ステップ（ステップ１２５）において肢部に対して評価された時間的関連性に基づいて追跡される。動き推定を更に用いて、肢部の肢端の追跡のロバスト性を改善することができる。肢部ごとに見つけられた新たな各肢端が、肢部関連性を通して、０、１、又は複数の先行する肢端のうちの１つに関連付けられる。先行するフレームにおいて識別される同じ肢端は、０、１又は複数の新たな肢端のうちの１つに関連付けることができる。肢部の時間的追跡は、１−ｍ個（分離）又はｎ−１個（合体）の関連性のみを保持し、ｎ−ｍ個の関連性を破棄する。
【００６１】
唯一の曖昧な事例は「分離(split)」事例及び「合体(merge)」事例であり、時間に関して特有の経路を有する肢端を時間的に追跡するために、多数の可能性から１つの特定の関連性が選択される必要がある。これが図４及び図５に示される。ここでは、ユーザの２本の腕２２０、２３０が頭部２４０の前方に示される。図４は、手２６０、２７０の近くで互いから離れている腕２２０、２３０を示しており、図５は、腕２２０の手２６０が腕２３０の手２７０と合体する状況を示す。図示されないが、分離事例は図５に示されるように開始し、腕２２０の手２６０が腕２３０の手２７０から分離されることは理解されよう。
【００６２】
「分離」事例の場合、（先行するフレーム内で検出された肢端を追跡する）新たなフレームにおける種々の可能性の中からの肢端の選択は、例えば、２Ｄ又は３Ｄにおける距離、重なりなどを用いて判断することができる。「合体」事例の場合、（現在のフレーム内で検出された肢端を追跡する）先行するフレームにおける種々の可能性の中からの肢端の選択は、例えば、距離若しくは重なりを用いることによって、又はその「エイジ(age)」パラメータ（検出してから経過した時間）若しくはこれまでに手として検出された肢端が優先されることなどの、先行するフレーム内の肢端に関連付けられる特定の判定基準を用いることによって行うことができる。
【００６３】
肢端の位置及び肢端の追跡が計算されると、肢端モデル化ステップ、すなわち、ステップ１３０において、特定の形態学的又は幾何学的特性を有する肢部の特定の点と一致するように、中心の位置が精緻化される。図６は、その関連付けられる手２６０、２７０と、その中心として利用される頭部２４０ととともに、腕２２０、２３０を示しており、図７は、頭部２４０に適用される中心３４０と、それぞれの腕２２０、２３０（図６）にある各手２６０、２７０に適用される中心３６０、３７０とを示す。好ましい実施例では、その形状の中心点の位置を適用される中心として選択することができ、その形状の中心点は肢部の輪郭から最も遠い点である。この点は、その点から肢部の輪郭までの距離を計算することによって、効率的に特定することができる。一改善例では、追跡方法を用いて、肢部の絶対中心点ではなく、肢端の先行する精緻化された位置に近い、距離関数の極大値である点と一致させることができる。更に、距離関数が密度と見なされる場合には、平均シフト推定のような、よりロバストなモード推定方法を用いることができる。その際、肢部の中心点を追跡するように特に設計された、位相シフトのような追跡方法を有する。
【００６４】
関連する肢端領域の点を構成することができる、セグメント化された肢部の点のサブセットが選択される。この選択は、「切断(cutting)」方法、「成長(growing)」方法のいずれかによって行うことができる。
【００６５】
「切断」方法では、肢端の精緻化された中心の周囲に画定される特定の領域の外部にある点が肢端領域から除外される。その特定の領域は、肢端の中心を中心にした球体、肢端中心と肢部中心との間に位置する平面によって画定される平面によって分離された半空間、すなわち３Ｄ空間の２つの部分のうちの１つ、又は肢端の中心、すなわち手の中心に対応する点と、肢部、すなわち、前腕の中心とを結ぶベクトルに対して直交する領域とすることができる。切断領域の幾何学的特性は、３Ｄカメラ座標において計算された、精緻化された肢端中心から肢部の輪郭までの最大距離のような、肢端に関する何らかの特性の連続学習機構から生じることができ、最大距離は、肢端が人の手である場合には掌の半径の推定値である。
【００６６】
「成長」方法では、肢端領域から除外されることなる、肢部の「確実な(secure)」１組の点が識別される。この１組の点は、肢端中心から最も遠い点を含むことができる。識別された１組の点は「シード(seed)」点を形成し、その後、シード点は、成長する点が上記の「切断」方法の場合と同じようにして画定することができる「確実な」包含ゾーンに入るまで成長する。
【００６７】
図８は、中心が適用されない場合のセグメント化された腕２２０、２３０を、手２６０、２７０及び頭部２４０とともに示しており、図９は、腕２２０、２３０（図８）から手２６０、２７０を分離する効果を示す。
【００６８】
ステップ１３５において、手認識プロセスが実行される。手の既知の特徴を識別するために、最新技術の方法、例えば、http://www.ams.sunysb.edu/〜saurabh/research/hand workshop.pdfにおいてインターネット上で公開されるY. Bulalov、S. Jambawalikar、P. Kumar及びS. Sethia「Hand recognition using geometric classifiers」及びhttp://www.codeproject com/Articles/26280/Hands-Gesture-Recognitionにおいて入手可能なA. Kirillov「Hands gesture recognition」（２００８年５月）の方法を用いることができる。このステップからの出力は、肢部追跡ステップ、すなわち、ステップ１１５にフィードバックすることができ、そのステップにおいて行われる任意の仮定に対する検証として用いることができる。
【００６９】
ステップ１４０において、手のモデル化が実行される。これは、少なくとも、手の向きを判断することと、手の先端位置を判断することとを含む。手の向きを得るために、上記のステップ１３５において求められたような手に対応する３Ｄ点に関して、主成分分析（ＰＣＡ：principal component analysis）が実行される。これは、共分散行列の固有システムを実効的に解く。手の特定された主軸に関する時間フィルタリングを実行するために、固有システムを解く前に、以下の式に従って、共分散行列の一次自己回帰時間平滑化を実行することができる。
Ｃｏｖ（ｔ）＝ＲａｗＣｏｖ（ｔ）＊α＋Ｃｏｖ（ｔ−１）＊（１−α）
【００７０】
ただし、ｃｏｖ（ｔ−１）及びｃｏｖ（ｔ）はそれぞれ時刻ｔ−１及びｔにおける滑らかな共分散行列であり、ＲａｗＣｏｖ（ｔ）は時刻ｔにおいて計算された生の共分散行列であり、αは平滑化のレベルを調整するパラメータである。
【００７１】
求められた第１の固有ベクトルは手の主方向又は主軸の推定値を与え、求められた第３の固有ベクトルは掌法線の推定値を与える。求められた第２の固有ベクトルは、求められた第１の固有ベクトル及び第３の固有ベクトルの両方に対して直交する。これらの固有ベクトルが図１０に示される。
【００７２】
図１０において、掌の中心に位置する中心点４１０とともに手４００が示される。これらの軸４２０、４３０、４４０は中心点４１０を中心に位置し、軸４３０は掌に対して垂直であり、軸４４０は手４００の主方向を示し、軸４２０は軸４３０及び４４０に対して直交する。これらの軸は上記の固有ベクトルに対応する。
【００７３】
手の向きを特定した後に、図１１に示されるように、最大手先位置４５０、すなわち、中心点４１０から最も遠い位置が特定される。手の主方向における手の３Ｄ点のヒストグラムが求められ、最も遠い点が平均される。通常、これらの最も遠い点は、例えば、ヒストグラムの９５％〜９９％の範囲内にあると判断することができる。その際、手先位置３５０は経時的に安定する。代替形態として、手の主方向だけの代わりに、先行する最大手先位置をそれだけで用いることができるか、又は軸４４０（図１０）によって示されるような手の主方向と合わせて用いることができる。
【００７４】
その後、手先の正確な判断を用いて、上記のステップ１３５においてＰＣＡ分析によって与えられた掌法線方向の推定値を補正することができ、そして特に、第３の固有ベクトルが明確に定義されない場合に、より良好な判断を与えることができる。これは、平面モデルを用いて十分に定義された向きを得るほど手が十分に平坦でない場合に、例えば、手が握りこぶしの形をとるときに、又は指がつまむような動作をする場合に対応する。平坦度情報は、システムの固有値によって与えられる。より厳密には、平坦度情報は、第２の固有値と第３の固有値との比によって示される。更なる情報が、手先から掌の中心までの距離によって測定することができ、掌の半径によって正規化される、手の延在範囲によって与えられる。その際、手の平坦度及び延在範囲によって決まる重みを用いて、掌法線方向の推定値を手先の方向と融合することによって、その推定値が精緻化される。
【００７５】
その後、ステップ１４５において、手の指が個々に検出され、追跡される。本明細書において用いられるときに、「指」という用語は親指も含む。最初に、図１２に示されるように、手５００において「シルエット」指５１０、５２０、５３０、５４０、５５０が検出される。「シルエット」指は、図示されるように、手の輪郭内で見ることができる指である。「ポインティング」指、すなわち、図１３における指５６０によって示されるように撮像デバイス又はカメラの方を指している指が検出される。検出された「シルエット」指及び「ポインティング」指を合体させて、固有の１組の指にし、シルエット構成及びポインティング構成の両方に検出された指が重複して数えられるのを回避する。この合体は、各「ポインティング」指が「シルエット」指と同じ指に対応するか否かをチェックすることによって達成される。これが当てはまる場合には、その指は破棄される。そのチェックは、２つの検出された指間の距離によることができ、最も信頼性の高い判定基準は測地的距離を用いる。その後、図１４に示されるように、固有の１組の指を追跡することができる。
【００７６】
「シルエット」指５１０、５２０、５３０、５４０、５５０の検出は、形態学的な骨格の肢端を用いることによって、又は手輪郭の曲率の最小値を求めることによって達成することができる。「シルエット」指の検出のための１つの方法は、Thiago R. Trigo及びSergio Roberto M. Pellegrino「An Analysis of Features for Hand-Gesture Classification」（IWSSIP 2010, 17th international Conference on Systems, Signals and Image Processing）において記述されている。ここでは、アスペクト比、真円度及び広がり度のような形状記述子が、丸み、堅さ、指の数、関係「距離−半径」のような他の特徴とともに用いられる。
【００７７】
ポインティング指５６０の検出は、滑らかな深度画像内の極小値を識別することによって達成することができる。指先の局所形状に対応する最小値のみを保持するために、所定の数の方向において、極小値の幾つかの１次元プロファイルが調べられる。これらの１次元プロファイルのそれぞれに対して種々の判定基準がチェックされる。ステップ１４５の追跡部分の場合、一致しない可能性を含む、先行するフレームの指５１０、５２０、５３０、５４０、５５０と現在のフレーム内の指５１０、５２０、５３０、５４０、５５０との間のマッピングが実行される。取り得るマッピングごとに、先行するフレーム内の指と現在のフレーム内の関連付けられる指との間の最適な剛体変換が計算される。最適な剛体変換、すなわち、３Ｄ並進及び回転が、最小二乗判定を用いて計算される。その変換の更に良好な判定は、指の基本位置と掌の位置との間のマッピングを含むことによって得ることができる。取り得る指関連性ごとに、現在のフレーム内の指から先行するフレーム内の剛性変換された指までの距離（手の変形を測定する）の加重和、剛性変換の並進及び回転のノルム(norm)（手の全体的な動きを測定する）、及び一致しない指の数（現れる指又は消える指に対する固定コスト）を含む、誤差値が計算される。最小誤差に導く関連性が保持される。
【００７８】
ステップ１５０における更なる手開きパラメータ計算のために、異なる測定値の結合を用いて、連続的な「開き(openness)」変数が計算される。これらの測定値は、指間の最大距離、指の掌との間の最大距離、又は手先と掌との間の最大距離とすることができる。結合は一次結合又は最大値とすることができる。その後、この連続的な「開き」変数は、最初に時間フィルタリングを実行して、雑音を除去し、その後、手が検出されてから観測された最大値で正規化することによって、ブール状態に、すなわち、手が開いている、又は手が閉じている、に２値化される。その後、ヒステリシスしきい値を適用して、望ましい２値状態を得ることができる。
【００７９】
図１を参照しながら説明されたステップを完了した後に、指追跡アプリケーションを利用するコンピュータシステムにおいて、それらの出力データ及びパラメータを用いて、ヒューマン／マシンインタラクションを実行し、詳細には、測距撮像デバイス及び処理手段を用いて、手及び指に基づく近接インタラクションを実行することができる。
【図１】
0005845365.tif 000002
【図２】
0005845365.tif 000003
【図３】
0005845365.tif 000004
【図４】
0005845365.tif 000005
【図５】
0005845365.tif 000006
【図６】
0005845365.tif 000007
【図７】
0005845365.tif 000008
【図８】
0005845365.tif 000009
【図９】
0005845365.tif 000010
【図１０】
0005845365.tif 000011
【図１１】
0005845365.tif 000012
【図１２】
0005845365.tif 000013
【図１３】
0005845365.tif 000014
【図１４】
0005845365.tif 000015