コンピューター実装システムにおいて、表示された物体の制御のためにユーザー行為を追跡する実行ソフトウェアにおいて、前記システムのユーザー行為を追跡する能力についてユーザーにフィードバックを供給する方法であって、キャプチャーシステムによって、キャプチャーエリアにおいてユーザーを検出するステップと、前記キャプチャーシステムによって生成されたデーターに基づいて、前記ユーザーの少なくとも1つの身体特徴を追跡するステップと、ユーザー追跡規準が満たされていないことに応答して、フィードバック応答を決定するステップと、フィードバックを前記ユーザーに出力するステップと、を含む、方法。請求項1記載の方法であって、更に、前記フィードバックが、ディスプレイ上の物体の少なくとも1つの動作を変化させるコンテキストフィードバックである、方法。請求項2記載の方法であって、更に、前記キャプチャーシステムが画像キャプチャーシステムであり、前記満たされていないユーザー追跡規準が、前記表示された物体を制御することができる前記ユーザーの身体部分が、前記画像キャプチャーシステムの視野の外側に少なくとも部分的に出ていることであり、前記ディスプレイ上における前記物体の少なくとも1つの動作が、前記ユーザーが前記身体部分を視野に向けて動かすことの動機付けを、前記実行ソフトウェアのコンテキストにおいて与え、請求項1記載の方法において、前記フィードバック応答が、前記ユーザーの年齢を含む前記ユーザーのプロファイルに基づいて決定される、方法。請求項1記載の方法において、前記表示される物体がアバターであり、前記ユーザーにフィードバック応答を出力するステップが、前記ユーザーを現すアバターの表示されている外観を変化させるステップを含む、方法。請求項1記載の方法において、前記ユーザーにフィードバック応答を出力するステップが、ユーザー追跡規準が満たされていないことを示す視覚インディケーターを前記ユーザーに表示するステップを含む、方法。請求項1記載の方法において、前記ユーザーにフィードバック応答を出力するステップが、ユーザー追跡規準が満たされていないことを示す音声インディケーターを前記ユーザーに出力するステップを含む、方法。請求項1記載の方法において、前記ユーザーにフィードバック応答を出力するステップが、更に、前記ユーザーの表示されているビューの視覚的特性を変化させるステップを含む、方法。請求項1記載の方法であって、更に、前記ユーザー追跡規準が、前記キャプチャーシステムの視野内における、前記表示された物体を制御することができる前記ユーザーの身体部分の位置、照明、コントラスト、および前記ユーザーの身体部分の障害、から成る一群の可視性要因に基づく、方法。請求項1記載の方法であって、更に、ユーザー追跡規準が、音量、および音声の区別可能性、の内の1つから成る音声要因である、区別可能性要因に基づく、方法。システムのユーザー行為を追跡する能力についてユーザーにフィードバックを供給するシステムであって、ユーザーの画像データーを取り込む画像キャプチャーシステムと、前記画像キャプチャーシステムに通信可能に結合され、前記画像データーおよび命令を格納するメモリーにアクセス可能な1つ以上のプロセッサーであって、前記1つ以上のプロセッサーが、前記画像データーにおいてユーザーの少なくとも1つの身体部分を検出する命令と、前記少なくとも1つの身体部分の動きを追跡する命令と、ユーザー追跡規準が満たされていないことに応答して、ユーザーに表示するフィードバックを決定する命令と、前記フィードバックを表示する命令と、を含む、1つ以上のプロセッサーと、前記1つ以上のプロセッサーに通信可能に結合され、前記フィードバックを前記ユーザーに表示するディスプレイと、を含む、システム。請求項11記載のシステムにおいて、命令を実行する前記1つ以上のプロセッサーが、更に、前記少なくとも1つの身体部分の少なくとも1つの動きを行う命令を表示し、前記少なくとも1つの身体部分の動きを追跡し、前記1つ以上の可視性要因に基づいて、ユーザー追跡規準が満たされていることに応答して、試験用キャプチャーエリアに対して、可視性要因に基づく追跡品質スコアを決定し、前記1つ以上の可視性要因に基づいて、ユーザー追跡規準が満たされていないことに応答して、前記ユーザー追跡規準を満たすために、前記画像データーに対する1つ以上の可視性要因をどのようにして改良できるか判断し、可視性要因を改良するために、前記キャプチャーエリアにおける少なくとも1つの変化を特定するフィードバックを前記ユーザーに表示する、ことによってキャプチャーエリアを選択するときにユーザーを補助する命令を実行することを含む、システム。請求項12記載のシステムにおいて、命令を実行する前記1つ以上のプロセッサーが、可視性要因の追跡規準に基づいて、複数の試験用キャプチャーエリアの各々について、追跡品質スコアを決定し、最良のスコアを有する前記試験用キャプチャーエリアを特定し、前記最良のスコアを有する試験用キャプチャーエリアの推薦を表示する、ことを含む命令を実行することを含む、システム。請求項12記載のシステムにおいて、前記1つ以上の可視性要因が、キャプチャーシステムの視野内における、前記ユーザーの少なくとも1つの身体部分の位置、照明、コントラスト、および前記ユーザーの少なくとも1つの身体部分の障害、の内1つ以上を含む、システム。請求項11記載のシステムにおいて、前記ディスプレイが、画面外のディスプレイデバイスである、システム。0002例えば、計算環境が、コントローラーまたはキーボードのような、設定された入力を有するとき、ユーザーは、コントローラーがポートに接続されていること、彼がキーまたはボタンを押していること、そしてシステムが応答していることを判定することができる。この計算環境に対する制御が、ユーザーのジェスチャーに移行すると、コントローラーとの場合とは異なり、キャプチャーエリアの視覚的特性または音響的特性あるいはユーザーの身体の動きのために、ジェスチャーの検出が妨げられたり、またはアプリケーションから、最適でない応答が生成される可能性がある。適正にジェスチャーを検出することができないと、実行中のアプリケーションと対話処理するときに、ユーザーを苛々させる可能性がある。例えば、このアプリケーションによって実行されているゲームにユーザーが参加すると、苛々させる虞れがある。0003コンピューターシステムにおける実行アプリケーションの制御のためのユーザー行為を追跡するために、この実行アプリケーションの能力についてのフィードバックをユーザーに供給する技術を紹介する。キャプチャーシステムが、キャプチャーエリアにおいてユーザーを検出する。ユーザー追跡規準が満たされていないことに応答して、フィードバックがユーザーに出力される。一部の例では、このフィードバックが音声インディケーターであることができる。他の例では、追跡規準を満たすためにユーザーが取るべき行動を推薦するために、視覚インディケーターがフィードバックとして供給される。実施形態の中には、実行アプリケーションのコンテキストの範囲内でフィードバックが供給される場合もある。一実施形態では、キャプチャーエリアを選択するときにユーザーを補助する技術を紹介する。加えて、実施形態の中には、フィードバック応答の選択を、規準にしたがって決定することができる場合もある。0004この摘要は、詳細な説明の章において以下で更に説明する概念から選択したものを簡略化した形態で紹介するために、設けられている。この摘要は、特許請求する主題の主要な特徴や必須の特徴を特定することを意図するのではなく、特許請求する主題の範囲を判断するときに補助として使用されることを意図するのでもない。0019コンピューターシステムにおいて実行アプリケーションの制御のために、ユーザー行為を追跡する実行アプリケーションの能力についてのフィードバックをユーザーに供給する技術を紹介する。ユーザーを追跡する能力に影響を及ぼす可能性がある区別可能性要因の一例は、表示物体を制御するユーザーの身体部分が画像キャプチャーシステムの視野から少なくとも部分的に出ているときである。他の要因には、照明効果のような周囲要因、ある種のタイプの障害物、ならびに音声例えば、音節または単語の大きさおよび区別可能性というような音声的要因が含まれる。0020実施形態の中には、本技術が、ユーザーに対して明示的な提案となるフィードバック応答を提示する場合もある。他の実施形態では、フィードバックは、実行アプリケーションのコンテキスト内で供給されることによって、分かり難くなるかまたは暗示的になる。例えば、ユーザーがキャプチャーシステムの視野の境界に近過ぎるとき、場面内において恐ろしい怪物のようなオブジェクトがその境界に近いディスプレイ側に現れる。ユーザーは、この怪物から逃げるために、視野の境界から離れて、視野の中心に向かって動く気にさせられる。0021フィードバック応答の選択を決定することができる要因の例については、以下で更に論ずる。0022図1Aは、ユーザーフィードバックを供給する技術の実施形態が動作することができる、ターゲット認識、分析、および追跡システム10の実施形態例を、ゲームをプレーするユーザー18と共に示す。この例では、ターゲット認識、分析、および追跡システム10は、人間の自然環境において、対象者に特殊な検知デバイスを取り付けることなく、人間を認識し、彼らを一意に識別し、三次元空間において彼らを追跡する。しかしながら、本技術は、ユーザーがセンサを着用するセンサベースシステムというような、他のユーザー追跡メカニズムにも適用可能である。0023この実施形態例によれば、ターゲットは、人間のターゲット例えば、ユーザー18、物体を持った人間のターゲット、2人以上の人間のターゲット等とすることができ、このターゲットを走査して、スケルトンモデル、メッシュ人間モデル、またはその任意の他の適した表現を生成することができる。このモデルを追跡すれば、ターゲットの物理的動きまたは運動がリアルタイムのユーザーインターフェースとして作用し、アプリケーションのパラメータを調節および/または制御するというようなことが可能になる。更に、このモデルをアプリケーションに対してモデルとして提示され、リアルタイムでアプリケーションに伝えることができる。例えば、ユーザーの動きを追跡し、電子ロールプレーイングゲームにおける画面上のキャラクターまたはアバターを動かすために、追跡したユーザーの動きを使用することができる。0024モデルがマルチポイントスケルトンモデルである一例では、ターゲット認識、分析、および追跡システム10は、人間の筋肉-骨格系の自然な力学および能力を理解することによって、効率的に人間およびその自然な動きを追跡する。また、システム例10は、複数の人間がその四肢および身体の自然な動きによって本システムと対話処理できるようにするために、個人を一意に認識する。0025ユーザーの動きを追跡して、アバターを動かすことができる。アバターとは、通例人であるユーザーを表す、コンピューター生成イメージとすることができる。アバターは、ユーザーが実際に見える様子を高度に表すユーザーのイメージを描写することができ、あるいはユーザーに対する類似度が変化するか全く変化しないキャラクター例えば、人間、架空の物体、動物、動く物体であってもよい。0026具体的には、図1Aは、ターゲット認識、分析、および追跡システム10の構成の実施形態例を、ボクシングゲームをプレーしているユーザー18と共に示す。この例では、コンピューター12において実行するソフトウェアが、通信可能に結合されているカメラシステム20およびオーディオビジュアルディスプレイユニット16の他のコンピューターシステムにおけるソフトウェアを制御するまたはこのソフトウェアと相互作用を行い、このオーディオビジュアルディスプレイユニット16が、取り込まれた画像データーに基づいてユーザー18の動きを追跡し、これらを分析し、ユーザーの動きが直接彼の関連のあるアバターの動作を直接リアルタイムで制御する命令を得る。つまり、この例では、ユーザー18は、彼の身体を動かして、ボクシングゲームにおいて、彼の対戦相手のアバター22に対して表示画面14上の彼のアバター24を制御することができる。0027オーディオビジュアルディスプレイシステム16は、高品位テレビジョンHDTVのような高度ディスプレイシステムとすることができる。他の実施形態では、ディスプレイは、解像度がそれよりも低いディスプレイであってもよく、その例には、テレビジョン、コンピューターモニター、または移動体デバイスのディスプレイが含まれる。オーディオビジュアルシステム16は、オーディオビジュアル信号を計算システム12から通信インターフェース例えば、S-ビデオケーブル、同軸ケーブル、HDMIケーブル、DVIケーブル、VGAケーブルを介して受信することができ、次いでこのオーディオビジュアル信号と関連のあるゲームまたはアプリケーションのビジュアルおよび/またはオーディオをユーザー18に出力することができる。0028ジェスチャーは動きまたは姿勢を含み、実行アプリケーションを制御するためのユーザー入力として作用する。ユーザーは、彼の身体を動かすことによって、ジェスチャーを行うことができる。例えば、ユーザーを画像データーに取り込むことができる。ユーザーのジェスチャーを識別し、アプリケーションに対する制御または実行すべき動作としての意味を求めて解析することができる。例えば、ユーザー18は図1Aのボクシングゲームにおいてジャブを出す。このゲームアプリケーションは、それをボクシングの試合において表し、それがアバター22と接触するか否か判断し、そうである場合、ユーザーの採点を増やす。ジェスチャーは、胴体の前で腕を組んだままにするというような静止姿勢であってもよく、または1つ以上の動きであってもよい。更に、ジェスチャーは、両手を一緒にたたくというような、1つよりも多い身体部分を含むのでもよい。0029例えば、ターゲット認識、分析、および追跡システム10は、キャプチャーエリア30においてユーザー18のパンチを認識し分析するために使用して、このパンチをジェスチャーとして、この場合、ゲーム空間において彼のプレーヤアバター24が行うパンチのゲーム制御として解釈することもできる。また、ユーザー18による他のジェスチャーも、軽く叩く、行ったり来たりする、あちこち動き回る、防御する、ジャブを出す、または種々の異なる力のパンチを出す制御するというように、他の制御または動作として解釈することができる。ユーザー18のパンチおよびジャブを追跡することによって、ボクシングゲームのソフトウェアアプリケーションは、彼のアバター24のスコアを判断し、どちらのアバター22または24がその試合に勝つか判断する。異なるアプリケーションであれば、異なるジェスチャーを認識し追跡する。例えば、野球ゲームにおけるユーザーによる投球を追跡して、それがストライクかまたはボールか判断する。0030他の実施形態例によれば、ジェスチャーベースシステム10は、更に、ゲームの世界の外側にあるオペレーティングシステムおよび/またはアプリケーション制御として、ターゲットの動きを解釈するために使用することもできる。例えば、オペレーティングシステムおよび/またはアプリケーションの事実上あらゆる制御可能な態様が、ユーザー18のようなターゲットの動きによって制御することもできる。0031カメラシステム20は、カメラシステム20の視野内にあるキャプチャーエリア30におけるユーザーの画像データーを取り込む。この例では、カメラシステム20の視野におけるキャプチャーエリア30は、台形30であり、ユーザーの視点からは、このキャプチャーエリアの上辺である短い方の線30f、底辺30b例えば、壁がこの線を形成することができる、ならびに左側辺30lおよび右側辺30rを有する。視野は、異なる幾何学的形状を有することができる。例えば、キャプチャーエリアの境界および障害物が、その幾何学的形状に影響を及ぼす可能性がある。例えば、ユーザーが体操を行っている場合であれば、視野が台形よりも円錐形になるように後ろの壁は遙か後方にするとよい。他の場合では、カメラのレンズの種類も視野に影響を及ぼす可能性がある。0032図1Aでは、ユーザーは以前の位置、即ち、前の位置18bにいることが示されており、この位置では、彼の身体の一部が左境界線301側でキャプチャーエリア30の外側に出ている。ユーザー18の位置は、キャプチャーエリア30およびカメラの視野の中心にもっと近い彼の現在の位置にある。以下で更に詳しく論ずるが、このアプリケーションのコンテキストにおけるフィードバックは、ユーザーに彼の右側に動くことを提案するため、またはそうする気にさせるために与えられた。他のアバター22の位置は、画面上で右側に動いており、したがってユーザー18は彼を殴るためには動く必要があった。他の例では、表示されている光景の視点が対戦相手のアバター22の左展望から右展望に変化したということもあり得る。右展望では、ユーザー18が位置18bに留まる場合、彼のアバターは彼の対戦相手のアバター22の視野を遮ることになる。この動作のために、彼の対戦相手のアバター22がもっと良く見えるように、ユーザー18が右に動く気になる。0033また、ユーザー追跡フィードバックを供給するために、1つ以上の画面外のディスプレイエレメントも使用することができる。図示されている例では、発光ダイオードLEDのようなディスプレイライト32が特定のユーザーを満足させることができる。例えば、追跡品質を示すために、異なる色を使用することができる。黄色は警告とすることができ、緑は満足とすることができ、赤は問題を示すことができる。他の例では、異なる照明パターンが追跡品質を示すことができる。例えば、各ライトに視野の境界を関連付けることができる。ライトエレメントがある色に変わった場合、その色は、ユーザーが境界に近過ぎるというフィードバックを含意することができる。0034図1Bは、追跡規準を満たすためにユーザーが取るべき行為を提案するためのユーザー追跡フィードバック応答の他の例を示す。ユーザーに追跡問題を知らせるために、アバターの外観変更を使用することができる。アバター24は、この例では強調されている。更に、矢印33の形態とした明示的なフィードバックが、視覚インディケーターの一例となっている。この例では、フィードバックは、アバター24と関連のあるユーザーに右に動くことを推薦する。これらの視覚インディケーターは、アプリケーション独立ユーザー追跡フィードバックの例である。何故なら、これらはアプリケーションのコンテキストには繋がれていないからである。0035アプリケーションのコンテキストは、そのアプリケーションの目的である動作を含む。例えば、メニューユーザーインターフェースアプリケーションでは、ファイルを開くまたは閉じることは、アプリケーションにとって前後関係で決まることである。ゲームの動作にしたがって動くアバターおよび場面のオブジェクトは、ゲームにとって前後関係で決まることである。ゲーミングアプリケーションにおいて前後関係で決まる動作の例には、パンチを打つ、障害物のような新たな敵または怪物の到来、いつボールが投げられたまたは捕球されたか、アバターまたはユーザーの視野が仮想環境にわたって動くときの場面における変化、またはゲーム動作のユーザーのビューの方向または視点の変化である。0036図1Cは、可視性要因のいくつかの例を示す。窓44から入ってくる日光45のために、周囲の照明がカメラシステム20にとって可視性の問題になる可能性がある。画像キャプチャーシステム20の光メータは、ユーザーが画像データーにおいて褪せてしまうことを示すことができる。あるいは、暗くなり過ぎる可能性がある。0037コーヒーテーブル15は、ユーザーの身体の一部を遮る可能性がある障害物の一例である。ボクシングゲームは、ユーザー18の足が部分的にコーヒーテーブルによって遮られることのために、ボクシングにおける摺り足shuffleジェスチャーを検出するのに困難を来す可能性がある。0038図1Dは、物体を保持しているユーザーが、ターゲット認識、分析、および追跡システム10と対話処理する他の実施形態を示す。このような実施形態では、電子ゲームのユーザー19は、例えば、画面上のボール68を打つというように、ユーザー19および物体21の動きを使用してゲームのパラメータを調節および/または制御するように、物体を保持していることがある。他の例では、ラケット21を保持しているユーザーの動きを追跡して、電子スポーツゲームにおいて画面上のラケットを制御するために利用することもできる。他の実施形態例では、物体を保持しているユーザーの動きを追跡して、電子戦争ゲームにおいて画面上の兵器を制御するために利用することもできる。また、1つ以上のグローブ、ボール、バット、クラブ、ギター、マイクロフォン、スティック、ペット、動物、ドラムなどというような、任意の他の物体も含むことができる。0039図1Dは、ユーザーにカメラシステム20の視野内におけるより良い位置に動くことの提案または動機付けを与えるために、アプリケーションのコンテキストにおいてフィードバックを使用する他の例を示す。位置19bにおけるユーザーは、カメラに対して左に動き過ぎたので、彼の右腕およびラケット21を含む彼の上半身が視野の左境界301の外側に出ている。直前に打ってきたボール68bは、画面の左上角に表示されていた。このゲームの実行アプリケーションは、次に打って来るボール68を、ディスプレイの中央に移して、ユーザー19が、キャプチャーエリア30を覆う視野の中心に動く気にさせる。ユーザー19は、彼の現在の位置19に示すように、既にそうしている。0040尚、図1Dは、ユーザーの描写が画面上にレンダリングされない代案を提示することは認められてしかるべきである。図1Dでは、ユーザーは一人称でテニスをプレーし、画面上にレンダリングされたボールを見て、そして、一例では、ボールを打つラケットの全てまたは一部を見ているかもしれないが、ユーザーのアバターは画面上にはレンダリングされず、あるいはユーザーの身体部分の一部のみがレンダリングされる。0041図1Eは、ユーザーが境界に近過ぎるときまたは境界の外側に出たときにユーザーに知らせることができる視覚インディケーターの一例を示す。特に非常に幼い子供のユーザーには、表示物体28l左境界問題および28r右境界問題は、視野の中心に向かって戻るようにユーザーに伝えるフィードバックとなることができる。同様の視覚インディケーターは、前後の境界にも同様に使用することができる。任意選択肢をあげると、各視覚インディケーターが現れるとき、またはある回数の境界違反の後に、音響を各視覚インディケーターに関連付けることができる。0042図1Fは、視覚インディケーターの他の例を示し、ユーザー19uがボーリングゲームをプレーしており、ユーザーの腕19-1が動いて視野外に出ている。画面上の描写28bでは、ユーザーの腕28Aが徐々に消えて、腕がカメラの視野の外側にあることをユーザーに示す。ユーザーまたはユーザーが関与しているエレメントの画面上の外観を変化させる他の代替案には、ユーザーの画面上の表現の全てまたは一部の色を変えること、ユーザーの描写の焦点を変えること例えば、画面上の表現をぼかすまたは徐々に消すが含まれる。0043図1Gに示す更に他の例では、警告グラフィック29が、ディスプレイ16の左上角に示されている。このグラフィックは、ユーザー34および視野35の表現を小さくして描写しており、ユーザーが動いて視野の外側に出たときに、常にまたは間欠的に現れることができる。0044ユーザー追跡フィードバックを供給するソフトウェアは、キャプチャーエリアの境界および異なるフィードバック応答が何を意味するかについて、ユーザーが感触を得るのを補助するために、ディスプレイ上においてユーザーのための訓練を設けることができる。ある種の音響によって、視野の中心にいること、または正しい可視性を有することを確認することができ、一方他の音響は、ユーザーが境界に近づき過ぎていること、または追跡品質を劣化させる障害物あるいは他の効果または品目があることを示す。0045一例では、追跡品質または追跡規準は、ユーザーの存在ならびにターゲット認識および追跡システムとの関与が確定されている間の所与の時間期間において、特定できなかったジェスチャーがどれだけあるかに基づくことができる。追跡品質または追跡規準は、存在および関与を検出することができるが、例えば、野球ゲームにおける腕のように、アプリケーションに対する画像データーにおいて主要な身体部分を認識することができない。追跡規準または品質に影響を及ぼす可視性要因の他に、アプリケーションの中には、単に身体部分である身体の特徴の動きだけではなく、音声のような身体特徴を拠り所にするものもあるので、区別可能性要因には、音声要因も該当する可能性がある。0046図2は、ユーザー追跡フィードバックを供給するシステム200の機能的コンピューター実装アーキテクチャーの例示的実施形態である。このようなアーキテクチャーシステムは、1つ以上のプロセッサーおよび/またはコンピューターハードウェアにおいて実行するソフトウェアによって、あるいはハードウェアまたはファームウェアとして動作することができる1つ以上の処理モジュールとして実現することができる。0047本技術は、その主旨や本質的な特性から逸脱せずに、他の特定の形態においても実現することができる。同様に、モジュール、ルーチン、特徴、属性、方法、および他の態様の特定の命名や分割は義務的ではなく、本技術またはその特徴を実現するメカニズムは、異なる名称、分割、および/またはフォーマットを有することもできる。更に、関連技術における当業者には明白であろうが、開示される実施形態のモジュール、ルーチン、特徴、属性、方法、および他の態様は、ソフトウェア、ハードウェア、ファームウェア、またはこれら3つの任意の組み合わせとして実現することができる。勿論、モジュールが一例であるコンポーネントがソフトウェアとして実現されるときはいつでも、そのコンポーネントは、単体のプログラムとして、もっと大きなプログラムの一部として、複数の別々のプログラムとして、静的または動的にリンクされたライブラリーとして、カーネルロード可能なモジュールとして、デバイスドライバとして、および/またはプログラミングの技術分野における当業者に現在知られているまたは今後知られることになるあらゆるそして任意の他の方法で実現される。例えば、一実施形態では、以下で論じられる追跡フィードバックソフトウェア213は、部分的にアプリケーション独立フィードバック応答を扱うためにアプリケーションプログラミングインターフェースAPIで実現し、部分的にコンテキストアプリケーションフィードバックを扱うために特定のアプリケーションのソフトウェアで実現することができる。0048ディスプレイビュー制御システム202は、動きモジュール204を含む。動きモジュール204は、着信画像データー205、および任意選択肢をあげると、オーディオデーター217のためにデーターバッファ223にアクセスする。図示されている実施形態例では、ディスプレイビュー制御システム202は、オーディオビジュアルデーターキャプチャーシステム20からローカルに動き追跡データー205を受ける。加えて、ディスプレイビュー制御システム202は、インターネット203または他のネットワークから離れて動き追跡データー205iを受信することもできる。ユーザーに関して、動き追跡データーは、画像データー自体、またはそのデーターをダウンサンプルしたバージョンを含むことができる。加えて、深度データー、ならびに画像および/または深度データーから導き出される種々の形態のデーターも、動き追跡データーに含めることができる。その例には、ユーザーの身体に対するモデル、そのモデルを参照する数学的原形における動きデーター、またはモデルの以前の状態との比較に使用するために導き出されるビットマスク画像がある。ディスプレイビュー制御システム202は、このデーターを分析して、ユーザーの動きを認識し、その動きを追跡してディスプレイ上のオブジェクト、例えば、ユーザーの画面上のアバターを動かす。アバターは、場面または表示オブジェクトの一種である。0049動きモジュール204は、通信可能にアバター表示制御モジュール209、オブジェクト制御モジュール211、追跡フィードバックソフトウェア213、ジェスチャー認識ソフトウェアおよびデーター206、オーディビジュアルデーターキャプチャーシステム20、およびインターネット203に結合されている。また、動きモジュール204は、ユーザー216u、アバター216a、およびディスプレイ216o上の物体またはユーザーによって保持されている物体の各々の少なくとも1つについてのモデルデーター216というような、メモリーに格納されているデーターストア220にもアクセスすることができる。モデルデーターは、キャプチャーエリアにおけるユーザー、あるいは場面またはディスプレイビューにおけるアバターまたは物体の動きモジュール204による動き検出のための基準として使用される。ユーザーの身体の動きがアバターの動きにマッピングされる例えば、ユーザーの画像取り込み、またはユーザーの身体に付けられたセンサに基づいてシステムでは、ユーザー216uを表すモデルデーターと、アバター216aを表すモデルデーターとがあることが可能である。アバターの体形が全く異なる場合、動きモジュール204は、2つのモデルの間でマッピングを実行する。例えば、少年のユーザー18は、彼のアバターボクサー24よりも背が低く、腕の長さがありそうもない。言い換えると、スケルトンモデルが使用された場合、これらはユーザーおよびアバターに対して同一でなくてもよい。しかしながら、実施形態の中には、アプリケーションが、同じモデルデーター216を使用して、ユーザーの身体の動きを分析し、更に対応するアバターの動きを命令する場合もある。一例では、身体モデルは、身体部分と、空間におけるそれらの位置および/または基準に対する回転角度とを表す1つ以上のデーター構造として実現することができる。モデルデーター216は、絶対位置に関する更新または位置および回転の変化で更新することができる。位置および回転の変化は、ベクトルおよび角度で表すとよい。0050また、動きモジュール204は、プロファイルデーター214にもアクセスすることができる。この例では、ユーザー214u、アバター214a、および物体214oについてのプロファイルがある。また、動きモジュール204は、アバター画像データー219および物体画像データー221を含むディスプレイデーター218にアクセスすることもできる。0051アバター表示制御モジュール209は、ジェスチャー認識ソフトウェア206によって認識されたジェスチャー、および動きモジュール204によって特定された他の該当する動きに基づいて、アバター画像データー219を更新する。一例では、動きまたは姿勢を表す画像データー219は、アバターについての動き追跡データーとすることができる。一例では、このような動き追跡データーをモーションキャプチャーファイルに格納することができ、動きモジュール204は、新たな動き追跡データー205が受けられる毎に、経時的にモーションキャプチャーファイルを更新する。0052オブジェクト制御モジュール211は、ユーザーの認識されたジェスチャーによって変化が生じたオブジェクトについての画像データー221を更新する。更に、アバター制御モジュール209およびオブジェクト制御モジュール211は、動作制御モジュール210からの命令に応答して、それらのそれぞれの画像データー219、221を更新する。動作制御モジュール210は、実行アプリケーションを監督する。例えば、ゲーム環境では、スコアを取り続け、アバターが新たなレベルのゲームプレーに移るに連れて新たな背景が必要になると判断し、場面において他の非ユーザー制御アバターまたはオブジェクトをどのように配置するか判断する。ゲーム以外の環境では、ユーザーが要求している動作は何か特定する。例えば、ユーザーのジェスチャーがファイルを開く要求である場合、ファイル自体にアクセスするか、またはファイルにアクセスしそれをディスプレイ16上に表示する命令をオブジェクト制御モジュール211に供給することができる。表示処理モジュール207は、表示を更新するために、表示データー218を組み合わせる。0053表示データー218は、場面またはビューのコンテキストを規定し、その場面またはビューにおける他のオブジェクトを定義する。例えば、表示データー218は、図1Aおよび図1Bではボクシングの試合というコンテキスト環境を規定しており、更にボクシングリングのロープおよび対戦相手のボクサーのアバター22の存在を含むオブジェクトの位置を規定している。この場面における他のボクサーアバター22の最後の動き、特徴、および身体部分は、アバタープロファイルデーターストア214において他のプロファイルとして格納することもできる。表示データー218に対する更新は、アバター表示制御モジュール209または動きモジュール204のような1つ以上のモジュールによって、インターネット203または離れたモジュールからの他のネットワークを介して受信することができる。0054アバター表示制御モジュール209およびオブジェクト制御モジュール211は、周期的にまたは動きモジュール204からのメッセージに応答して、それらのそれぞれのプロファイル1つまたは複数214への更新を読み、アバターまたはオブジェクトの動きまたは姿勢を表す画像データー219、221を処理する。画像データー219、221は、ローカルにディスプレイ16にレンダリングすることができ、またはインターネット203または他のネットワークを介して送信することができる。0055アバタープロファイルデーター214aの例は、髪、顔の特徴、肌の色、衣服、場面におけるアバターの位置、それと関連のある任意のプロップというような、アバターの特徴についての色画像データーとすることができる。0056ユーザーのプロファイル214uに格納することができる情報の例は、典型的な使用またはプレーモード、年齢、身長、体重情報、名前、障害、高スコア、あるいはシステムのユーザーまたは使用に関連のある任意の他の情報を含むことができる。0057フィードバック応答の選択に影響を及ぼす要因の例には、ユーザープロファイル情報を含むことができる。例えば、ユーザーの年齢または障害は、身体的または精神的のいずれでも、あるタイプのフィードバック応答を他のものよりも一層適したものにすることができる。例えば、5歳では、読むことができないかもしれないので、アプリケーションのコンテキストにおける巧妙なフィードバックが、画面上にある明示的なテキストよりも適している場合もある。プレーヤが難聴であるかもしれないので、音声応答は適していない。0058先に論じたように、一部の動きおよび姿勢、ジェスチャーは、娯楽用プログラムまたは他のアプリケーションのコンテキストにおいて特殊な意味を有し、ディスプレイビュー制御システム202は、これらを識別する命令を実行する。具体的には、動きモジュール204はジェスチャー認識ソフトウェア206およびデーターにアクセスし、モデルおよび動き追跡データーに基づいて、ジェスチャーを認識または識別する。0059ジェスチャー認識ソフトウェア206は、ジェスチャーフィルターを含むことができる。一例では、動きモジュール204は、例えば、身体部分インデックスのような、関連データーインデックスに基づいて、1つ以上のジェスチャーフィルター206を選択することができる。例えば、動き追跡データーセット更新がディスプレイビュー制御システム202によって受け入れられ、ある身体部分に対して動きの変化が示された場合、動きモジュール204は、これらのある種の身体部分と関連のあるジェスチャーフィルターをインデックス化する。0060ジェスチャーフィルター206は、動き追跡データー205に基づいて特定のジェスチャーが行われたか否か判断する規準を定めるパラメータデーターに基づいて命令を実行する。一実施形態では、各ジェスチャーフィルター206は、ジェスチャーライブラリーにおける特定のジェスチャーに対するライブラリーモジュールとリンクされている。ジェスチャーと関連付けられた各ライブラリーモジュールは、ジェスチャーに応答して処理を実行する実行可能命令を含む。この処理は、多くの場合、ジェスチャーに何らかの形態で反映するために、アバターの動きまたは画像を更新することを伴う。0061例えば、図1Aにおける十代の少年ユーザー18は、彼のアバター24のボクサーよりも体格が遙かに小さい。アバターとゲームをプレーする楽しさの一部は、アバターの方が実生活におけるユーザーよりも上手に事を行うことが多いということにある。図1Aにおいて、居間における少年18のパンチは、表示画面14上において彼のアバター24による遙かに強力なパンチに変換される。ボクシングゲームにおけるパンチについてのライブラリーモジュールは、ユーザーの踝が彼の肘から繰り出される速度の加速度から、これはゲームにおけるこのユーザー18の強力なパンチであると判断することができ、彼のアバター24のパンチは、ライブラリーパンチモジュールの命令によって、これをディスプレイ上に反映する。また、動作制御モジュール210にはジェスチャーが知らされ、それに応答する。例えば、ユーザー18のスコアを更新する。0062システムの中には、アバターがある種の身体部分または領域、例えば、手および腕に対して行うことができる動きまたは姿勢を一定数だけに限って、その組み合わせを与えつつ、他の身体部分または領域、例えば、脚部の直接追跡を可能にするとよい場合もある。0063アバターまたは他のディスプレイビューオブジェクトの表示を更新するためのユーザーの動きの追跡は、リアルタイムで行われ、ユーザーが実行アプリケーションとリアルタイムで対話処理できるようにする。リアルタイムの表示とは、ジェスチャーの仮想表現を指し、このディスプレイは、物理空間におけるジェスチャーの実行と同時にまたは殆ど同時に表示される。例えば、本システムがユーザーにオウム返しする表示を提供することができる表示更新レートは、20Hz以上のレートとするとよく、この場合、些細な処理の遅れは、最小限の表示の遅れにしかならず、またはユーザーには全く見えない。つまり、リアルタイムには、自動データー処理のために必要な時間だけ遅れているデーターの適時性に関する些細な遅れはいずれも含まれる。0064追跡フィードバックソフトウェア213は、追跡問題を特定するメッセージを動きモジュール204から受ける。追跡問題の一例は、ユーザーが動いて視野の外側に出たこと、または視野内にユーザーがいないことである。追跡問題の他の例には、身体部分に対するジェスチャーを判断することができないこと、あるいは動きまたは姿勢が任意の特定のジェスチャーに対応するしきい値確率が満たされないことがあげられる。追跡問題の他の例は、ユーザーの音響を検出するには、音声またはソング認識ソフトウェアに対する音響の大きさが十分でないことである。他の例では、ユーザーからの音響が区別不可能な音節を有しているので、単語を検出することができない。例えば、音楽娯楽アプリケーションでは、ユーザーの歌唱を識別または検出できないと、ユーザープレーヤが感じる苛々に重大な影響を及ぼす可能性がある。0065また、動きモジュール204は、オーディオビジュアルキャプチャーシステム20から受けたデーター、またはオーディオビジュアルキャプチャーシステム20からのメッセージにおけるデーターに基づいて、複数の区別可能性要因についてのフィードバックを供給することができる。区別可能性要因の一種は、前述のように音量および示差が十分でないというような、音声要因である。区別可能性要因の他の例に、可視性要因がある。可視性要因の一例は、アプリケーションを制御するユーザーまたは身体部分が、少なくとも部分的に視野から出ていることである。他の例には、取り込まれた画像においてユーザーが褪せる照明問題がある。他の例には障害物がある。可視性要因の他の例は、障害物である。これの例は、図1Cにおけるコーヒーテーブル15のような、視野自体の中にある家具とすることができる。視野の境界上、または視野自体の中に多くの品目があり過ぎると、区別可能性要因または可視性要因が生ずる可能性がある。障害物の他の例には、衣服、または他の品目と組み合わせた衣服がある。ポンチョは、腕の動きを検出するのを妨げる可能性がある。長いスカートは、ユーザーが歩行ジェスチャーまたは走行ジェスチャーを行う可能性があるゲームにおいて脚の動きを検出するのを妨げる可能性がある。黒い長椅子に対する黒いズボンは、コントラストの欠如により、可視性問題を生ずる可能性がある。キャプチャーシステム20は、ユーザーが黒い長椅子の近くにいるとき、脚の動きを区別することができない。衣服の色がコントラストの問題を生し、その結果区別可能性の問題に至る可能性がある。加えて、人々がユーザーに近過ぎて立っていることも、彼らの腕や脚が重なり合うので、区別可能性の問題が生ずる可能性がある。深度データーは、ユーザーを区別するのに役立つことができるが、画像キャプチャーシステム20の深度分解能に基づく問題になる可能性がある。0066追跡フィードバックソフトウェア213は、追跡問題を示すタイプのフィードバックを、ユーザーに供給するために選択することができる。例の中には、フィーバックが、アプリケーションの動作とは独立している視覚インディケーターまたは音声インディケーターによって、追跡品質を向上するように、ユーザーに命令を与える場合もある。例えば、明示的な矢印33が図1Bにおいて画面上に重なっている。また、視野30の中心を指し示しつつ、右に動けというテキストメッセージまたは音声メッセージを付随させることもできる。0067他のフィードバックは、もう少し暗示的で巧妙にすることができる。ディスプレイの視覚的特性を変化させることができる。例えば、フィードバックは、ユーザーが視野の境界からある距離の範囲内に入ると、ディスプレイビューの鮮明さを多少低下させることができる。例えば、それが徐々にぼけて行く。ユーザーが視野の中心に向かって動くと、場面の鮮明さが高まる。ユーザーは、鮮明さの変化に意識して気がつかなくてもよい。鮮明さの他に、場面またはビューの表示を変えるために変化させることができる他の視覚的特性の例には、色の刺激がある。他の例には、色自体がある。例えば、ユーザーが動いて視野の外側に出ると、ディスプレイ上の色が白黒になる。0068例の中には、追跡フィードバックソフトウェア213が、アプリケーションのコンテキストにおけるフィードバックが適していることを判断する場合もある。これらの例のいくつかについては、ユーザーが近づき過ぎている境界上の怪物、またはユーザーが動くべき方向に送られユーザーが打つボールというように、既に述べられている。他の例には、動く方向において撃つべき敵が含まれ、あるいは他のアバタープレーヤが入って来て、ユーザーにぶつかって中央に向かって後戻りさせたり、または他のキャラクターが視野に戻る方向に走る。他の例では、ある一定の方向に音響を流し、ユーザーがその方向から遠ざかるようにそれに向かって走る気にさせることができる。ユーザーが、システム20によって取り込まれた深度データーにおいて示されるように、画像キャプチャーシステム20から遠すぎる場合、ユーザーが前進して視野の中に入ることを誘うために、点滅する物体または他の注意喚起表示物体を用いることができる。ユーザーがカメラ20に近過ぎている場合、例えば、視野の前方境界30fとカメラとの間にいる場合、ユーザーに後戻りさせるために、画面をほぼ満たす表示物体を作ることができる。0069このコンテキストアプリケーションフィードバックでは、追跡フィードバックモジュール213は、コンテキストフィードバックの要求を動作制御ソフトウェアモジュール210に送る。動作制御モジュール210または追跡ソフトウェア213は、繰り返しをできるだけ避けるために、どのコンテキストフィードバック技法が使用されたか追跡することができる。コンテキストフィードバック要求は、取り組むべき区別可能性要因のタイプを含むことができる。更に、動作に対する提案も含むことができる。例えば、ユーザーが視野に戻る動きを促進するために物体を置くディスプレイ上のターゲットゾーンも含むことができる。他の場合では、動作制御モジュール210は、取るべき措置を決定することができる。0070追跡フィードバックソフトウェア213は、そのフィードバック応答の選択を、規準に基づくことができる。前述のように、このような規準の一例は、ユーザーの年齢である。3歳または4歳では、画面上のターゲットゾーンに品目をおいて、そのユーザーを移動させることは、この年齢の子供にとっては、余りに反復型であり過ぎるrepetitiveかもしれない。7歳では、特定のコンテキストフィードバック技法をもう少し変化させる必要があるかもしれない。0071アプリケーションの競合性も他の要因となり得る。他のユーザーに対抗してプレーするゲームでは、ユーザーの動きを煽るために撃つべくターゲットを表示ゾーン内に置くことは、不適切である可能性がある。しかしながら、視野の境界付近に爆発物を置くと、ターゲットの予測可能性を高めることなく、ユーザーを動かすことができる。0072アプリケーションの中には、ディスプレイ上においてそのアプリケーションによって表示される動作を邪魔するものを全く望まない場合がある。これらの場合、ディスプレイ16またはコンソール12は、画面外ディスプレイデバイスを含むことができる。例えば、コンソール12またはカメラ20上の発光ダイオードLED32をユーザーと関連付けて、ユーザーを追跡するアプリケーションの能力をカラーパレットによって示すことができる。例えば、緑色は正常を示す。黄色は追跡能力が劣化していることを警告しており、赤色は、追跡能力が容認できないレベルまで劣化したことを示す。コンソール12、ディスプレイ16、またはカメラ20上において、追跡能力の等級を示すバーグラフあるいは他の照明というような、他の画面外ディスプレイデバイスまたはビューも使用することができる。0073妥協案として、境界に近づき過ぎているユーザー、または追跡が追跡規準を満たしていないユーザーのアバター上に、小さいアイコンを出現させることができる。ユーザーは、望ましければ、このアイコンを選択することができる。他の例では、ユーザーまたは彼のアバターを示す小さな箱、ピクチャーインピクチャーを表示して、追跡問題、およびそれに取り組むための提案までも示すことができる。他の例では、ユーザーがポーズボタンを押した場合、このユーザーまたは彼のアバターを追跡問題メッセージと共に示す箱を表示することができる。0074他の例では、追跡フィードバックソフトウェア213は、アバターの外観変更要求を、アバター表示制御モジュール209に送ることができる。外観変更の例は、アバターの強調とすることができる。他の例には、アバターの外観をぼやけさせるというような視覚的特性を変化させること、あるいはカラーではなく全て黒、または全て白、または白黒にすることが含まれる。他の例では、アバターが徐々に消えて行くようにすることができる。特に、アプリケーションの開始前に訓練セッションが行われる場合、ユーザーには、彼のアバターの外観変更は、彼のジェスチャーに追跡問題があることを意味することを知らせることができる。視野の問題では、これは、競合動作を変更し過ぎることなく、効果的にすることができる。0075フィードバックは、オーディオまたはオーディオビジュアルとすることができる。例えば、アプリケーションの動作開始前の訓練セッションでは、特定の可視性要因がユーザーのジェスチャーの認識に影響を及ぼすことを、特定のアイコンが意味することをユーザーに知らせることができる。アイコンには特定の音響を伴わせることができるので、ユーザーは、例えば、外から中に動くことを知っているのは彼であることが分かる。0075ユーザーのジェスチャーを適正に検出することができないと、アプリケーションの実行に重大な影響を及ぼす可能性があるので、動作の一時中止は、恐らくはユーザーのアバターの外観変更と合わせられて、同様に選択されたフィードバック応答であることができる。他の例では、音響を止めることができる。0077実施形態の中には、追跡フィードバックソフトウェアが、特定のアプリケーションとは別個であることができる場合もある。例えば、追跡フィードバックソフトウェアは、APIを提供することができ、このAPIに対してアプリケーションがフィードバック応答の要求を送ることができる。これは、デフォルトのフィードバック応答を使用することを望むアプリケーション開発者には、便利なインターフェースであることができる。勿論、API以外の他の構造も使用することができる。アプリケーションソフトウェアは、追加のタイプのユーザー追跡フィードバック応答を、APIによって供給されたものに対して供給することができ、またはアプリケーション開発者がデフォルトメカニズムの代わりに使用することを好むものに対して供給することができる。他の実施形態では、アプリケーション内部で完全に、またはアプリケーションとは無関係なソフトウェアによって完全に追跡フィードバックソフトウェアを扱うことができる。本明細書において記載される技術は、特定のコードレベルの実施態様に限定されるのではない。画像キャプチャーシステム20は、人間のターゲットおよび人間以外のターゲットをキャプチャーエリア内で認識し対象に特殊な検知デバイスが取り付けられているまたは取り付けられていない、これらを一意に識別し、三次元空間においてこれらを追跡する。0078実施形態例によれば、画像キャプチャーシステム20は、深度画像を含む深度情報と共にビデオを取り込むように構成することができる。深度画像は、例えば、飛行時間、構造化光、立体画像などを含む任意の適した技法によって、深度値を含むことができる。図2に示されるように、実施形態例によれば、撮像カメラコンポーネント70は、IR発光コンポーネント72、三次元3Dカメラ74、およびキャプチャーエリアの深度画像を取り込むために用いることができるRGBカメラ76を含むことができる。例えば、飛行時間分析では、キャプチャーシステム20のIR発光コンポーネント72は、キャプチャーエリアに向けて赤外線光を放出することができ、次いでセンサを用いて、そのキャプチャーエリアの中にある1つ以上のターゲットおよび物体の表面からの後方散乱光を、例えば、3Dカメラ74および/またはRGBカメラ76を用いて検出することができる。実施形態の中には、パルス状赤外線光を用いて、発信光パルスと対応する入射光パルスとの間の時間を測定し、深度カメラシステム20からキャプチャーエリア内にあるターゲットまたは物体上における特定の場所までの物理的距離を判定するために用いることができるようにするとよい場合がある。加えて、他の実施形態例では、発信光波の位相を着信光波の位相と比較して、位相ずれを判定することもできる。次いで、位相ずれを用いて、キャプチャーシステムからターゲットまたは物体上の特定の場所までの物理的距離を判定することができる。0079他の実施形態例によれば、飛行時間分析を使用して、例えば、散乱光パルス撮像を含む種々の技法によって、経時的な光の反射ビームの強度を分析することによって、キャプチャーシステム20からターゲットまたは物体上の特定の場所までの物理的距離を間接的に判定することができる。0080他の一実施形態例では、キャプチャーシステム20は、構造化光を用いて深度情報を取り込むことができる。このような分析では、パターン光即ち、格子パターン、縞パターンのような既知のパターンとして表示される光を、例えば、IR発光コンポーネント72によって、キャプチャーエリアに向けて投射する。キャプチャーエリアにおいて1つ以上のターゲットまたは物体の表面に衝突したときに、パターンが、それに応答して、変形する可能性がある。このようなパターンの変形を、例えば、3Dカメラ74および/またはRGBカメラ76によって取り込むことができ、次いで分析して、深度カメラシステムからターゲットまたは物体上における特定の場所までの物理的距離を判定することができる。0081他の実施形態によれば、キャプチャーシステム20は、2つ以上の物理的に分離されたカメラを含むことができ、これらが異なる角度からのキャプチャーエリアを捕らえて、視覚的な立体像を得て、これを解明することによって深度情報を生成することができる。0082これらのエレメントによって得られる相乗効果の一例として、IR発光コンポーネント72および3-Dカメラ74がキャプチャーエリアの深度画像を供給するが、ある状況では、深度画像のみでは、人間のターゲットの位置または動きを識別するのに十分ではない可能性がある場合について考える。これらの状況では、RGBカメラ76が3-Dカメラからの情報を引き継ぎまたは補充して、人間のターゲットの動きまたは位置の一層完全な認識を可能にすることができる。例えば、RGBカメラは、とりわけ、1つ以上のターゲットと関連のある色を認識するために使用することができる。ユーザーが模様のあるシャツを着用しており、深度カメラがこのパターンを検出することができない場合、そのパターンを追跡し、ユーザーが行っている動きについての情報を提供するために、RGBカメラを使用することができる。他の例として、ユーザーが体を捻った場合、ユーザーのこの動きを判断するために1つ以上の他のセンサからの情報を補充するために、RGBカメラを使用することができる。更に他の例として、ユーザーが壁または第2ターゲットというような他の物体の隣にいる場合、2つの物体間で区別するためにRGBデーターを使用することができる。また、RGBカメラは、追加の情報を提供するために使用することができる、顔の認識、髪の色等のような、ユーザーの特徴を判定することもできるとよい。例えば、ユーザーが後ろを向いた場合、RGBカメラは髪の色および/または顔の特徴がないことを使用して、ユーザーがキャプチャーシステムに背を向けていると判断することができる。0083キャプチャーシステム20は、インタラクティブレートでデーターを取り込むことができ、データーの忠実性を高め、開示する技法が生の深度データーを処理し、場面における物体をディジタル化し、物体の表面および模様を抽出し、ディスプレイ16がその表示画面例えば、54上に場面のリアルタイム描画を供給できるように、これらの技法の内任意のものをリアルタイムで実行することを可能にする。0084図2のシステムの実施形態では、画像キャプチャーシステム20は、動き追跡データー205lおよび任意選択肢をあげると、オーディオデーター217を送るために、図3Aおよび図3Bにおけるコンピューターシステム例のような計算環境に、通信可能に結合されている。この通信結合は、例えば、USB接続、Firewire接続、イーサネット登録商標ケーブル接続等および/またはワイヤレス802.11b、g、a、またはn接続のようなワイヤレス接続というような、1つ以上の有線接続またはワイヤレス接続で実現することができる。0085更に、キャプチャーシステム20は、プロセッサー80によって実行することができる命令、およびフレームフォーマットで取り込むことができる画像データーを格納するためにメモリーコンポーネント82も含むことができる。メモリーコンポーネント82は、ランダムアクセスメモリーRAM、リードオンリーメモリーROM、キャッシュ、フラッシュメモリー、ハードディスク、または任意の他の適した記憶コンポーネントを含むことができる。一実施形態では、メモリーコンポーネント82は、図示されているように、画像取り込みコンポーネント70およびプロセッサー80と通信可能な90別個のコンポーネントであってもよい。他の実施形態によれば、メモリーコンポーネント82をプロセッサー80および/または画像キャプチャーコンポーネント70の中に統合してもよい。0086更に、キャプチャーシステム20は、撮像カメラコンポーネント70および画像データーを格納するメモリー82を制御するために、撮像カメラコンポーネント70に通信可能に結合90されているプロセッサー80も含む。プロセッサー80は、標準プロセッサー、特殊プロセッサー、マイクロプロセッサー等を含むことができ、プロファイルを格納し、深度画像データーを受け取り、そのデーターを指定フォーマットでメモリー82に格納し、深度画像に適したターゲットが含まれるかもしれないか否か判断し、適したターゲットをスケルトン表現または他のタイプのターゲットのモデルに変換する命令、または任意の他の適した命令を含むことができる命令を実行することができる。更に、この処理の一部は、1つ以上の通信可能に結合されている計算環境において他のプロセッサーによって実行することもできる。0087処理能力を画像キャプチャーシステム20に含ませることによって、ユーザーのマルチポイントスケルトンモデルのようなモデルを、リアルタイムで配信することが可能になる。一実施形態では、キャプチャーシステムの複数のコンポーネントの1つずつ別個のプロセッサーがあってもよく、または1つの中央プロセッサーがあってもよい。他の例として、中央プロセッサーと、少なくとも1つの他の関連プロセッサーがあってもよい。高コストの計算タスクがある場合、2つ以上のプロセッサーが任意の方法でこの処理タスクを分配することができる。これらのプロセッサー1つまたは複数は、前述のようなメモリーを含むことができ、このメモリーは1つ以上のユーザープロファイルを格納することができる。これらのプロファイルは、身体走査、典型的な使用モードまたはプレーモード、年齢、身長、体重情報、名前、アバター、高スコア、あるいはシステムのユーザーまたは使用に関連のある任意の他の情報を格納することができる。0088キャプチャーシステム20は、更に、ユーザーによって生成されたオーディオ信号を受けるために使用することができるマイクロフォン78も含むことができる。つまり、この実施形態では、画像キャプチャーシステム20は、オーディオビジュアルデーターキャプチャーシステムとなる。キャプチャーシステムにおけるマイクロフォン1つまたは複数は、本システムがターゲットの位置または動きの態様をより良く識別することを可能にするように、ターゲットについて追加の情報および補足情報を提供するために使用することができる。例えば、マイクロフォン1つまたは複数は、指向性マイクロフォン1つまたは複数、または指向性マイクロフォンのアレイを含むことができ、人間のターゲットの位置を更に識別するため、または2つのターゲット間で区別するために使用することができる。例えば、2人のユーザーが同様の形状または大きさであり、キャプチャーエリア内にいる場合、例えば、彼らの別々の音声を認識してこれらのユーザーを互いに区別することができるように、ユーザーについての情報を提供するためにマイクロフォンを使用することができる。他の例として、マイクロフォンは、ユーザーについてのユーザープロファイルに情報を提供するために、または音声-テキスト型実施形態において、使用することもでき、計算システムにおいてテキストを作るために少なくとも1つのマイクロフォンを使用するとよい。0089画像についての深度値を有する画素データーを、深度画像と呼ぶ。一実施形態によれば、この深度画像は、取り込まれた場面の二次元2-D画素エリアを含むことができ、2-D画素エリアにおける各画素は、例えば、カメラコンポーネント70の何らかの態様に関する基準点からの、取り込まれた場面における物体の、例えば、センチメートル、ミリメートル等の単位とした、長さまたは距離のような、関連する深度値を有する。例えば、画素に対する深度値は、Z層で表すことができる。Z層は、深度カメラ70からその見通し線に沿って延びるZ軸に対して垂直であるとよい。これらの深度値は、纏めて深度マップと呼ぶことができる。0090深度画像をより簡単に使用し、より少ない計算オーバーヘッドで素早く処理できるように、深度画像をより低い処理分解能にダウンサンプルするとよい。例えば、観察された深度画像の種々の領域を、背景領域と、ターゲットの画像が占める領域に分けることができる。背景領域は、画像から除去するか、または識別して、1つ以上の後続の処理ステップの間これらを無視できるようにすることができる。加えて、1つ以上の高分散および/またはノイズ深度値を除去する、および/または深度画像からスムージングすることができる。失われた深度情報および/または除去された深度情報の部分は、充填すること、および/または再現することができる。このようなバックフィリングは、最も近い近隣を平均化すること、フィルタリング、および/または任意の他の適した方法で行うことができる。スケルトンモデルのようなモデルを生成するために深度情報を使用できるように、他の適した処理を実行することもできる。0091図3Aは、図1Aから図1Eにおけるようなゲーミングコンソールにおいて使用することができる計算環境の実施形態の詳細な例を示し、この計算環境において、ユーザー追跡フィードバックを供給する1つ以上の実施形態が動作することができる。図3Aに示すように、マルチメディアコンソール12は、レベル1キャッシュ102、レベル2キャッシュ104、およびフラッシュROMリードオンリーメモリー106を有する中央処理ユニットCPU101を有する。レベル1キャッシュ102およびレベル2キャッシュ104は、一時的にデーターを格納し、こうしてメモリーアクセスサイクルの回数を減らすことによって、処理速度およびスループットを向上させる。CPU101は、1つよりも多いコア、したがって追加のレベル1およびレベル2キャッシュ102および104を有して設けることもできる。フラッシュROM106は、実行可能コードを格納することができる。実行可能コードは、マルチメディアコンソール12の電源をオンにしたときに、ブートプロセスの初期段階中にロードされる。0092グラフィクス処理ユニットGPU108およびビデオエンコーダー/ビデオコデックコーダー/デコーダー114は、高速および高分解能グラフィクス処理のためにビデオ処理パイプラインを形成する。データーは、バスを介して、GPU108からビデオエンコーダー/ビデオコデック114に伝達される。ビデオ処理パイプラインは、テレビジョンまたは他のディスプレイに送信するために、データーをA/Vオーディオ/ビデオポート140に出力する。メモリーコントローラー110がGPU108に接続されており、限定ではなく、RAMランダムアクセスメモリーのような、種々のタイプのメモリー112にプロセッサーがアクセスし易くなっている。0093マルチメディアコンソール12は、I/Oコントローラー120、システム管理コントローラー122、オーディオ処理ユニット123、ネットワークインターフェースコントローラー124、第1USBホストコントローラー126、第2USBコントローラー128、およびフロントパネルI/Oサブアセンブリ130を含む。これらは、モジュール118上に実装されている。USBコントローラー126および128は、周辺コントローラー1421~1422、ワイヤレスアダプター148、および外部メモリーデバイス146例えば、フラッシュメモリー、外部CD/DVDROMドライブ、リムーバブル媒体等のためのホストとしての役割を果たす。ネットワークインターフェース124および/またはワイヤレスアダプター148は、ネットワーク例えば、インターネット、ホームネットワーク等へのアクセスを与え、イーサネット登録商標カード、モデム、Bluetooth登録商標モジュール、ケーブルモデム等を含む広範囲の種々の有線またはワイヤレスアダプターコンポーネントの内任意のものでよい。0094システムメモリー143は、ブートプロセスの間にロードされるアプリケーションデーターを格納するために設けられている。メディアドライブ144が設けられており、DVD/CDドライブ、ハードドライブ、またはその他のリムーバブルメディアドライブを備えることができる。メディアドライブ144は、マルチメディアコンソール100の内部にあっても外部にあってもよい。アプリケーションデーターには、実行、再生等のためにマルチメディアコンソール12がメディアドライブを介してアクセスすることができる。メディアドライブ144は、シリアルATAバスまたはその他の高速接続例えば、IEEE1394のようなバスを介して、I/Oコントローラー120に接続されている。0095一実施形態では、ディスプレイビュー制御システム202のためのソフトウェアおよびデーターのコピーをメディアドライブ144に格納することができ、実行するときにシステムメモリー143にロードすることができる。0096システム管理コントローラー122は、メディアコンソール12が利用できることを確保することに関する種々のサービス機能を提供する。オーディオ処理ユニット123およびオーディオコデック132は、高忠実度およびステレオ処理を行う、対応のオーディオ処理パイプラインを形成する。オーディオデーターは、通信リンクを介して、オーディオ処理ユニット123とオーディオコデック132との間で伝達される。オーディオ処理パイプラインは、外部オーディオプレーヤまたはオーディオ処理能力を有するデバイスによる再生のために、データーをA/Vポート140に出力する。0097フロントパネルI/Oサブアセンブリ130は、電力ボタン150およびイジェクトボタン152の機能をサポートするだけでなく、マルチメディアコンソール12の外面上に露出する任意のLED発光ダイオードまたはその他のインディケーターもサポートする。システム電源モジュール136が、マルチメディアコンソール12のコンポーネントに電力を供給する。ファン138は、マルチメディアコンソール12内部にある回路を冷却する。0098CPU101、GPU108、メモリーコントローラー110、およびマルチメディアコンソール100内部にある種々のその他のコンポーネントは、1系統以上のバスを介して相互接続されている。これらのバスには、シリアルおよびパラレルバス、メモリーバス、周辺バス、および種々のバスアーキテクチャーの内任意のものを用いるプロセッサーバスまたはローカルバスが含まれる。一例として、このようなアーキテクチャーは、ペリフェラルコンポーネント相互接続PCIバス、PCIExpressバス等を含むことができる。0099マルチメディアコンソール12の電源をオンにすると、システムメモリー143からメモリー112および/またはキャッシュ102、104にアプリケーションデーターをロードし、CPU101において実行することができる。アプリケーションは、グラフィカルユーザーインターフェースを提示することができる。このグラフィカルユーザーインターフェースは、マルチメディアコンソール100において利用可能な異なるタイプのメディアにナビゲートするときに、一貫性のあるユーザー体験を提供する。動作において、アプリケーションおよび/またはメディアドライブ144内に収容されている他のメディアをメディアドライブ144から起動または再生して、マルチメディアコンソール12に追加の機能を設けることもできる。00100マルチメディアコンソール12は、単にシステムをテレビジョンまたはその他のディスプレイに接続することによって、単体システムとして動作させることができる。この単体モードでは、マルチメディアコンソール12は、一人以上のユーザーがシステムと対話処理を行い、ムービーを見ること、または音楽を聞くことを可能にする。しかしながら、ネットワークインターフェース124またはワイヤレスアダプター148によって利用可能となるブロードバンド接続機能を統合することにより、マルチメディアコンソール12を更に大きなネットワークコミュニティにおける関与個体として動作させることもできる。00101マルチメディアコンソール12の電源をオンにすると、マルチメディアコンソールのオペレーティングシステムによって、設定されている量のハードウェアリソースがシステムの使用のために確保される。これらのリソースは、メモリー例えば、16MB、CPUおよびGPUサイクル例えば、5、ネットワーキング帯域幅例えば、8kbs等の確保を含むことができる。これらのリソースは、システムのブート時に確保されるので、確保されたリソースは、アプリケーションの視点からは存在しない。00102特に、メモリーの確保は、起動カーネル、コンカレントシステムアプリケーション、およびドライバーを含めるのに十分大きいことが好ましい。確保されたCPU使用枠がシステムアプリケーションによって用いられない場合、アイドルのスレッドが任意の未使用サイクルを消費するように、CPUの確保は、一定であることが好ましい。00103GPUの確保に関して、GPU割り込みを用いることによって、システムアプリケーション例えば、ポップアップによって発生される軽量メッセージを表示して、ポップアップをオーバーレイにレンダリングするコードをスケジューリングする。オーバーレイに用いられるメモリー量は、オーバーレイのエリアサイズに依存し、オーバーレイは画面の解像度と共にスケーリングすることが好ましい。コンカレントシステムアプリケーションによってフルユーザーインターフェースが用いられる場合、アプリケーションの解像度とは独立した解像度を用いることが好ましい。周波数を変更しTVの同期を取り直す必要性をなくすように、この解像度を設定するためにスケーラーを用いるとよい。00104マルチメディアコンソール12がブートして、システムリソースが確保された後、コンカレントシステムアプリケーションが実行してシステム機能を提供する。システム機能は、前述の確保したシステムリソースの内部で実行する1組のシステムアプリケーションの中にカプセル化されている。オペレーティングシステムカーネルは、システムアプリケーションスレッドと、ゲーミングアプリケーションスレッドとの間でスレッドを識別する。一貫したシステムリソースビューをアプリケーションに提供するために、システムアプリケーションは、所定の時点および間隔でCPU101において実行するようにスケジューリングされていることが好ましい。このスケジューリングは、コンソールにおいて実行しているゲーミングアプリケーションに対するキャッシュ破壊を最少に抑えるためにある。00105コンカレントシステムアプリケーションがオーディオを必要とする場合、時間に敏感であるため、オーディオ処理を非同期にゲーミングアプリケーションにスケジューリングする。マルチメディアコンソールアプリケーションマネージャー以下で説明するは、システムアプリケーションがアクティブのとき、ゲーミングアプリケーションのオーディオレベル例えば、無音化、減衰を制御する。00106入力デバイス例えば、コントローラー1421および1422は、ゲーミングアプリケーションおよびシステムアプリケーションによって共有される。入力デバイスは、確保されるリソースではないが、システムアプリケーションとゲーミングアプリケーションとの間で切り換えられて、各々がデバイスのフォーカスを有するようにする。アプリケーションマネージャは、ゲーミングアプリケーションの知識を使用せずに入力ストリームの切換を制御し、ドライバーはフォーカススイッチに関する状態情報を維持する。画像キャプチャーシステム20は、コンソール12に対して例えば、そのカメラシステムに対して追加の入力デバイスを定めることができる。00107図3Bは、パーソナルコンピューターのような、計算環境の他の実施形態例を示す。図3Bを参照すると、本技術を実現するシステム例は、コンピューター310の形態とした汎用計算機を含む。コンピューター310のコンポーネントは、限定ではなく、処理ユニット320、システムメモリー330、およびシステムバス321を含むことができる。システムバス321は、システムメモリーを含む種々のシステムコンポーネントを処理ユニット320に結合する。システムバス321は、メモリーバスまたはメモリーコントローラー、周辺バス、および種々のバスアーキテクチャーの内任意のものを用いるローカルバスを含む、様々なタイプのバス構造の内任意のものとすることができる。一例として、そして限定ではなく、このようなアーキテクチャーは、業界標準アーキテクチャーISAバス、マイクロチャネルアーキテクチャーMCAバス、拡張ISAEISAバス、ビデオエレクトロニクス標準連盟VESAローカルバス、およびメザニンバスとしても知られている周辺素子相互接続PCIバスを含む。00108コンピューター310は、通例、種々のコンピューター読み取り可能媒体を含む。コンピューター読み取り可能媒体は、コンピューター310によってアクセス可能な任意の入手可能な媒体とすることができ、揮発性および不揮発性、リムーバブルおよび非リムーバブル双方の媒体を含む。一例として、そして限定ではなく、コンピューター読み取り可能媒体は、コンピューター記憶媒体および通信媒体を含むことができる。コンピューター記憶媒体は、コンピューター読み取り可能命令、データー構造、プログラムモジュール、またはその他のデーターというような情報の格納のために、任意の方法または技術で実現される、揮発性および不揮発性の双方、リムーバブル媒体および非リムーバブル媒体を含む。コンピューター記憶媒体は、限定ではなく、RAM、ROM、EEPROM、フラッシュメモリーまたはその他のメモリー技術、CD-ROM、ディジタルバーサタイルディスクDVDまたはその他の光ディスクストレージ、磁気カセット、磁気テープ、磁気ディスクストレージまたはその他の磁気記憶デバイス、あるいは所望の情報を格納するために用いることができしかもコンピューター310がアクセス可能なその他の任意の媒体を含む。通信媒体は、通例、コンピューター読み取り可能命令、データー構造、プログラムモジュール、またはその他のデーターを、搬送波またはその他の移送機構のような変調データー信号において具体化し、任意の情報配信媒体を含む。変調データー信号という用語は、その特性の1つ以上が、信号の中に情報をエンコードするようなやり方で設定または変更されている信号を意味する。一例として、そして限定ではなく、通信媒体は、有線ネットワークまたは直接有線接続というような有線媒体、ならびに音響、RF、赤外線、およびその他のワイヤレス媒体というようなワイヤレス媒体を含む。前述の内任意のものの組み合わせも、コンピューター読み取り可能媒体の範囲に含まれてしかるべきである。00109システムメモリー330は、リードオンリメモリーROM331およびランダムアクセスメモリーRAM332のような揮発性および/または不揮発性メモリーの形態をなすコンピューター記憶媒体を含む。基本入出力システム333BIOSは、起動中のように、コンピューター310内のエレメント間における情報転送を補助する基本的なルーチンを含み、通例ROM331内に格納されている。RAM332は、通例、処理ユニット320が直ちにアクセス可能であるデーターおよび/またはプログラムモジュール、あるいは現在処理ユニット320によって処理されているデーターおよび/またはプログラムモジュールを収容する。一例として、そして限定ではなく、図3は、オペレーティングシステム334、アプリケーションプログラム335、その他のプログラムモジュール336、およびプログラムデーター337を示す。00110また、コンピューター310は、その他のリムーバブル/非リムーバブル揮発性/不揮発性コンピューター記憶媒体も含むことができる。一例として示すに過ぎないが、図3Bは、非リムーバブル不揮発性磁気媒体からの読み取りおよびこれへの書き込みを行なうハードディスクドライブ340、リムーバブル不揮発性磁気ディスク312からの読み取りおよびこれへの書き込みを行なう磁気ディスクドライブ351、ならびにCDROMまたはその他の光媒体のようなリムーバブル不揮発性光ディスク356からの読み取りおよびこれへの書き込みを行なう光ディスクドライブ356を示す。本動作環境例において使用可能なその他のリムーバブル/非リムーバブル、揮発性/不揮発性コンピューター記憶媒体には、限定ではないが、磁気テープカセット、フラッシュメモリーカード、ディジタルバーサタイルディスク、ディジタルビデオテープ、ソリッドステートRAM、ソリッドステートROM等が含まれる。ハードディスクドライブ341は、通例、インターフェース340のような非リムーバブルメモリーインターフェースを介してシステムバス321に接続され、磁気ディスクドライブ351および光ディスクドライブ355は、通例、インターフェース350のようなリムーバブルメモリーインターフェースによって、システムバス321に接続されている。00111先に論じ図3Bに示すドライブおよびそれらと関連のあるコンピューター記憶媒体は、コンピューター読み取り可能命令、データー構造、プログラムモジュール、およびコンピューター310のその他のデーターを格納する。図3Bでは、例えば、ハードディスクドライブ341は、オペレーティングシステム344、アプリケーションプログラム345、その他のプログラムモジュール346、およびプログラムデーター347を格納するように示されている。尚、これらのコンポーネントは、オペレーティングシステム334、アプリケーションプログラム335、その他のプログラムモジュール336、およびプログラムデーター337と同じでも異なっていても可能であることを注記しておく。オペレーティングシステム344、アプリケーションプログラム345、その他のプログラムモジュール346、およびプログラムデーター347は、ここで、少なくともこれらが異なるコピーであることを示すために、異なる番号が与えられている。00112一実施形態では、ディスプレイビュー制御システム202のソフトウェアおよびデーターのコピーを、ハードドライブ238に格納されているまたは離れて格納されている例えば、248アプリケーションプログラム345およびプログラムデーター347に格納することができる。また、実行するときに、システムメモリー222におけるアプリケーションプログラム226およびプログラムデーター228としてコピーをロードすることもできる。00113ユーザーは、キーボード362のような入力デバイス、および一般にマウス、トラックボールまたはタッチパッドと呼ばれているポインティングデバイス361によって、コマンドおよび情報をコンピューター20に入力することができる。他の入力デバイス図示せずには、マイクロフォン、ジョイスティック、ゲームパッド、衛星ディッシュ、スキャナー等を含むことができる。これらおよびその他の入力デバイスは、多くの場合、ユーザー入力インターフェース360を介して、処理ユニット320に接続されている。ユーザー入力インターフェース360は、システムバスに結合されているが、パラレルポート、ゲームポート、またはユニバーサルシリアルバスUSBのようなその他のインターフェースおよびバス構造によって接続することも可能である。モニター391またはその他の形式のディスプレイデバイスも、ビデオインターフェース390のようなインターフェースを介して、システムバス321に接続されている。モニターに加えて、コンピューターは、スピーカー397およびプリンター396のような、その他の周辺出力装置も含むことができ、これらは出力周辺インターフェース390を介して接続することができる。00114コンピューター310は、リモートコンピューター380のような1つ以上のリモートコンピューターへの論理接続を用いて、ネットワーク環境において動作することも可能である。リモートコンピューター380は、パーソナルコンピューター、サーバー、ルータ、ネットワークPC、ピアデバイス、またはその他の共通ネットワークノードとすることができ、通例、コンピューター310に関して先に説明したエレメントの多くまたは全てを含むが、図3にはメモリー記憶装置381のみが示されている。図3に示す論理接続は、ローカルエリアネットワークLAN371およびワイドエリアネットワークWAN373を含むが、他のネットワークも含むことができる。このようなネットワーク環境は、事務所、企業規模のコンピューターネットワーク、イントラネットおよびインターネットにおいては、一般的である。00115LANネットワーク環境で用いる場合、コンピューター310は、ネットワークインターフェースまたはアダプター370を介してLAN371に接続される。WANネットワーク環境で用いる場合、コンピューター310は、通例、モデム372、またはインターネットのようなWAN373を介して通信を行うその他の手段を含む。モデム372は、内蔵でも外付けでもよく、ユーザー入力インターフェース310またはその他のしかるべきメカニズムを介してシステムバス321に接続することができる。ネットワーク接続環境では、コンピューター310に関して図示したプログラムモジュール、またはその一部は、離れたメモリー記憶装置に格納することもできる。一例として、そして限定ではなく、図3Bは、リモートアプリケーションプログラム385がメモリーデバイス381上に存在するものとして示している。尚、図示のネットワーク接続は一例であり、コンピューター間で通信リンクを作る他の手段も使用可能であることは認められよう。00116図4は、追跡フィードバックをユーザーに供給する1つ以上の実施形態が動作することができる、ネットワーク接続計算環境の実施形態例を示す。図4に示されるように、複数のコンソール400A~400Xまたは図3Aおよび図3Bに示されたような処理デバイスを、ネットワーク402に結合することができ、更に互いに通信すること、およびネットワーク402を介して、1つ以上のサーバー1つまたは複数406を有するネットワークゲーミングサービス404と通信することができる。サーバー1つまたは複数406は、コンソール400A~400Xから情報を受信することおよびコンソール400A~400Xに情報を送信することが可能な通信コンポーネントを含むことができ、コンソール400A~400Xにおいて実行しているアプリケーションが呼び出して利用することができるサービスの集合体を提供することもできる。00117コンソール400A~400Xは、ユーザーログインサービス408を呼び出すことができる。ユーザーログインサービス408は、コンソール400A~400Xにおいてユーザーを認証し特定するために使用される。ログインの間、ログインサービス408はゲーマータグユーザーと関連付けられている一意の識別子およびパスワードをユーザーから取得し、更にユーザーが使用しているコンソールを一意に識別するコンソール識別子、およびこのコンソールへのネットワークパスも取得する。ゲーマータグおよびパスワードは、これらをユーザーグローバルプロファイルデーターベース416と比較することによって認証される。グローバルユーザープロファイルデーターベース416は、ユーザーログインサービス408と同じサーバーに配置することができ、あるいは1つの異なるサーバーまたは異なるサーバーの集合体に分散することもできる。一旦認証されたなら、ユーザーログインサービス408はコンソール識別子およびネットワークパスをグローバルユーザープロファイルデーターベース416に格納し、メッセージおよび情報をコンソールに送ることができるようにする。00118一実施形態では、コンソール400A~400Xは、ゲーミングサービス410、共有サービス412、ユーザー共有データー428、および交換データーベース418を含むことができる。ゲーミングサービスは、ユーザーがオンラインインタラクティブゲームをプレーすること、コンソール間で合同ゲームプレーのためのゲーミング環境を作り共有すること、そしてオンライン市場、種々のゲームに跨がる集中達成追跡、および他の共有体験機能というような、他のサービスを提供することを可能にするのであるとよい。共有サービス412は、ユーザーが他のユーザーとゲームプレーエレメントを共有することを可能にする。例えば、コンソール400xにおけるユーザーが、ゲームにおいて使用するためのエレメントを作り、これらを他のユーザーと共有するまたはこれらを他のユーザーに販売することができる。加えて、ユーザーは、ゲームにおけるレースのムービーまたは種々の場面というような、ゲームプレー体験のエレメントを記録し、これらを他のユーザーと共有することもできる。共有または販売のためにユーザーによって提供される情報は、ユーザー共有データー428に格納することができる。00119グローバルユーザープロファイルデーターベース416は、ユーザーのアカウント情報、および各ユーザーが使用している個々のコンソールを一意に識別するコンソール識別子というような、コンソール400A~400Xにおけるユーザー全てについての情報を含むことができる。また、グローバルユーザープロファイルデーターベース416は、コンソール400A~400Xにおける全てのユーザーと関連のあるユーザー好み情報も含むことができる。また、グローバルユーザープロファイルデーターベース416は、ユーザーと関連のあるゲーム記録および友人リストのような、ユーザーに関する情報も含むことができる。00120追跡フィードバックソフトウェア414は、ゲーミングサービス404において提供することもできる。この追跡フィードバックソフトウェアは、追跡問題に対して、サーバーにアップロードされユーザー共有データー428に格納されているゲームプレーエレメントにおけるジェスチャーおよび動きで応答することができる。00121図4に示されているゲーミングシステムによれば、任意の数の処理デバイスをネットワーク接続して設けることができる。したがって、本明細書において紹介された技術は、1つ以上のサーバー406においてゲーミングサービス404と共に動作することができ、またはネットワーク接続環境において、デバイス400A~400xのような、個々の処理デバイスに設けることもできる。00122図5は、キャプチャーシステム20および計算環境12を使用して作ることができる人間のユーザー500のモデルを示す。ユーザーのスケルトンマッピング例500は、オーディオビジュアルデーターキャプチャーシステム20によって取り込まれた動き追跡データー205から生成されていてもよい。このモデルは、ジェスチャーなどを判定するために、ジェスチャーベースシステム10の1つ以上の態様によって使用することができる。このモデルは、関節および骨で構成することができる。これらの関節および骨を追跡することによって、ジェスチャーベースシステムは、ユーザーがどのジェスチャーを行っているのか判断することが可能になるとよい。これらのジェスチャーは、ジェスチャーベースシステムを制御するために使用することができる。この実施形態では、種々の関節および骨が識別されている。各手首502a、502b、各前腕504a、504b、各肘506a、506b、各二頭筋508a、508b、各肩510a、510b、各臀部512a、512b、各腿514a、514b、各膝516a、516b、各前肢518a、518b、各足520a、520b、頭部522、胴体524、脊椎の上端526および下端528、ならびにウェスト530である。追跡するポイントが多い程、鼻および目というような、顔の個々の容貌も識別するとよい。しかしながら、追跡するデーター変化が多い程、アバターの表示が遅くなる可能性がある。00123図6は、手602を振るまたは上げる、腕604でXを作る、またはハイファイブ606を行うというような、一連のジェスチャーを示す。図示されているこれら少数のジェスチャーには全く限定されないが、これらのジェスチャーは、他の任意のものと共に、ジェスチャーベースシステム10に対するコマンドであることができる。一実施形態では、ジェスチャーは普遍的であるとよい。これが意味するのは、ジェスチャーが特定のソフトウェアやハードウェアアプリケーションには限定されないということである。他の実施形態では、計算環境12において動作されているゲームまたは他のプログラムは、プログラム特定のジェスチャーを有するのであってもよい。例えば、ゲームの制御を他のプレーヤに引き継ぐための普遍的なジェスチャーは、握手にするとよいが、レスリングゲームのようなゲームが、ユーザーがハイファイブ524を行う場合に、制御の引き継ぎを行うプログラム特定ジェスチャーを有してもよい。00124図7および図8の方法の実施形態について、それぞれ、図2の機能的コンピューター実装アーキテクチャーの実施形態のコンテキストで論ずるが、限定ではなく例示を目的とする。00125図7は、ユーザーの動きを追跡するアプリケーションの能力についてユーザーにフィードバックを供給する方法の実施形態700のフローチャートである。キャプチャーシステムは、キャプチャーエリアにおいてユーザーを検出する702。動きモジュール204は、動き追跡データー2051、および、任意選択肢をあげると、オーディオデーター217を受けて、キャプチャーシステムによって生成されたデーターに基づいて、このユーザーの少なくとも1つの身体特徴を追跡する704。実行アプリケーションに対してユーザー追跡規準が満たされていないことに応答して、追跡フィードバックソフトウェア213は、フィードバック応答を決定し706、ユーザーへのフィードバックの出力を行わせる708。先に説明したように、フィードバックの出力は、視覚インディケーターを表示すること、音声インディケーターを供給すること、またはアプリケーションの動作のコンテキストの範囲における動作を与えることを含むことができる。00126図8は、キャプチャーエリアを選択するときにユーザーを補助する方法の実施形態800のフローチャートである。追跡フィードバックソフトウェア213は、ユーザーにカメラの視野を試験用キャプチャーエリアに向けることを命令する命令を表示し802、キャプチャーシステム20はこの試験用キャプチャーエリアの画像データーを取り込む804。一実施形態では、追跡フィードバックソフトウェア213は、ユーザーが彼自身を見ることができるように、試験用キャプチャーエリアの画像データーをディスプレイ上に表示することができる。追跡フィードバックソフトウェア213は、実行アプリケーションの動作を制御するために使用される少なくとも1つの身体部分を使用して、少なくとも1つのジェスチャーを行うことをユーザーに指示する命令を表示する806。動きモジュール204は、ジェスチャーを行う少なくとも1つの身体部分の動きを追跡する808。ソフトウェア213は、追跡規準が満たされているか否か判断する811。ユーザー追跡規準が満たされたことに応答して、追跡フィードバックソフトウェア213は、試験用キャプチャーエリアに対して追跡品質スコアを決定する812。00127動きモジュール204は、スコアまたは重み、あるいは試験用キャプチャーエリアについてある種の可視性要因の品質を表す何らかのを、追跡フィードバックソフトウェア213に供給することができ、追跡フィードバックソフトウェア213は、可視性要因に基づいて、それを追跡規準と比較する。一実施形態では、次に、重み付けアルゴリズムをこれらの要因に適用して、スコアを決定することができる。要因の例には、キャプチャーシステムの視野におけるジェスチャーに対するユーザーの身体部分の位置、キャプチャーエリアにおける照明、および身体部分の障害が含まれる。00128異なるキャプチャーエリアが格付けまたは採点され、最良のものが推薦される818。他の代替案では、画像キャプチャーシステム20がある範囲の角度回転させられて、室内における異なるビューを取り込み、最良の追跡能力を備えるものをキャプチャーエリアとして提案する。最良の追跡能力があるキャプチャーエリアは、ユーザーにそれを知らせるために表示処理モジュール207を介してディスプレイ16上に表示することができる。00129動きモジュール204は、ジェスチャーを、ユーザーが行っている動きと照合できない場合もあり、追跡フィードバックソフトウェア213にメッセージを送って、それを示すことができる。また、動きモジュール204は、ユーザー追跡規準が満たされないことに寄与している可視性要因を示すこともできる。例えば、可視性要因照明に対する代表的な品質値が、それが貧弱であることを示すことができる。00130ユーザー追跡規準が満たされていないことに応答して、追跡フィードバックソフトウェア213は、可視性要因の内1つ以上を追跡に対してどのようにして改良できるか判定し、ユーザーにフィードバックを出力して802、可視性要因を改良するために、キャプチャーエリアにおいて少なくとも1つの変化を特定する。このフィードバックは、視覚表示を介してまたは音声メッセージとして出力することができる。00131追跡フィードバックソフトウェア213は、試験用キャプチャーエリアに対する追跡品質スコアを決定する812。動きモジュール204は、試験用キャプチャーエリアに対してスコアまたは重み、またはある種の可視性要因の品質を現す何らかの値を、追跡フィードバックソフトウェア213に供給する。追跡フィードバックソフトウェア213は、重み付けアルゴリズムをこれらの要因に適用して、スコアを決定することができる。00132追跡フィードバックソフトウェア213は、試験すべき他の試験用キャプチャーエリアがあるか否か判定する814。例えば、他に試験用キャプチャーエリアがあるか否かに関するユーザー入力を、ディスプレイを介して要求する。他に試験用キャプチャーエリアがある場合、この試験用エリアについて、以上のステップが繰り返される。他に試験用エリアがない場合、追跡フィードバックソフトウェア213は、最良の可視性スコアを有する試験用キャプチャーエリアの推薦を表示する。例えば、最良のスコアを有する試験用キャプチャーエリアが、ディスプレイ上に表示される。他にキャプチャーエリアがある場合、ソフトウェア213は、カメラの視野を次のキャプチャーエリアに向け、以上のステップを繰り返す命令を表示する802。00133以上の詳細な説明は、例示および説明を目的として提示された。これは、網羅的であることも、開示された技術を開示された形態そのものに限定することを意図するのではない。以上の教示に照らして、多くの変更や変形が可能である。記載された実施形態は、本技術の原理およびその実用的な用途を最良に説明し、それによって当業者が本技術を種々の実施形態において、そして個々の考えられる使用に適するような種々の変更と共に、最良に利用することを可能にするために選択されたのである。更に、本明細書において用いられた文言は、主に読みやすさのためそして教育的な目的のために選択されたことは、注記してしかるべきであろう。00134主題は、構造的特徴および/または方法論的動作に特定の文言で記載されたが、添付されている特許請求の範囲において定められている主題は、必ずしも、前述した特定の特徴や動作には限定されないことは理解されてしかるべきである。逆に、先に記載した特定の特徴および動作は、特許請求の範囲を実現する形態例として、開示したまでである。