"未知の1組のユーザーA~Dから開始するマルチユーザーアプリケーションにおいて、ユーザーとユーザー音声との間における相関を識別する方法であって、a複数の時間期間にわたって、ビデオキャプチャーコンポーネントの視野内において撮影された複数の物体の画像A’~D’を受け取るステップと、b前記ステップaにおいて受け取った前記画像が一人以上のユーザーを含むか否か判定を行うステップと、c複数の時間期間において、マイクロフォンアレイのレンジ内で音を受け取るステップと、d前記ステップcにおいて受け取った音が1つ以上の人間の音声を含むか否か判定を行うステップと、e異なる画像において判定されたユーザーの位置の複数のサンプリング、および異なる時点における前記音声の決定された発生源位置に基づいて、前記ステップdにおいて識別した音声を、前記視野内にいる前記一人以上のユーザーA~Dの内一人のユーザーに相関付けるステップと、を含む、方法。請求項1記載の方法において、前記ステップeが、前記複数のサンプリングの内1つのサンプリングを、前記複数の画像の内の1つの画像の検査から前記一人以上のユーザーの位置を判定することによって形成し、音発生源定位技法を使用して前記音声の位置を判定することによって形成するステップを含む、方法。請求項1記載の方法において、前記ステップeが、前記音声と前記ユーザーとの間における関連付けの信頼レベルを得るために、前記複数のサンプリングの内第1サンプリングを実行するステップを含み、予め定められたしきい値よりも高い信頼レベルが、前記音声および前記ユーザーがメモリーにおいて互いに関連付けをもたらす、方法。請求項3記載の方法において、前記ステップeが、前記複数のサンプリングの内後続のサンプリングにおいて、前記音声が属する可能性があるユーザー数が減少した場合、前記後続のサンプリングにおいて前記信頼レベルを高くするステップを含む、方法。請求項4記載の方法であって、更に、前記複数のサンプリングにおいて前記音声が属する可能性がある他の全てのユーザーを排除したときに、前記音声を1人のユーザーに明確に相関付けるステップを含む、方法。請求項5記載の方法であって、更に、前記音声と前記ユーザーとの間における相関が、明確に互いに関連付けられた後に、前記複数のサンプリングにおいて追加のサンプリングを実行するステップを含む、方法。請求項3記載の方法であって、更に、前記追加のサンプリングにおいて、前記音声がどのユーザーに属するのかに関する曖昧さを除去することができない場合、または前記追加のサンプリングにおいて、前記音声が前記一人以上のユーザーの内第2ユーザーに属することを示す場合、前記相関を除去するステップを含む、方法。請求項1記載の方法において、前記ステップeが、前記音声とユーザーとの間における関連付けの採点された信頼レベルを導くために、前記複数のサンプリングの内第1サンプリングを実行するステップを含み、前記採点された信頼レベルが、i.前記音声発生源の推定位置が前記一人以上のユーザーにどれだけ近いか、ii.聞かれた音声の数、iii.前記一人以上のユーザーの、前記音声の推定発生源までの近接度、iv.前記音声の発生源が、前記画像の視野内の中心に位置すると推定されるか、または前記視野のエッジの方に近いと推定されるか、のファクターの内1つ以上を検査することによって得られる、方法。請求項1記載の方法において、前記ステップaにおいて受け取った画像が一人以上のユーザーを含むか否か判定を行う前記ステップbが、前記ユーザーの骨格関節の少なくとも一部の位置を測定するステップを含む、方法。請求項9記載の方法において、前記音声の決定された発生源位置に少なくとも部分的に基づいて、前記ステップdにおいて識別した音声をユーザーに相関付けるステップeが、到達時間差によって、音声の発生源位置を判定するステップを含む、方法。請求項1記載の方法であって、更に、前記ユーザーを他のユーザーから区別するために、前記ユーザーの体的特徴を検査し、前記音声を他の音声から区別するために、前記音声の音品質を検査するステップを含む、方法。マルチユーザーアプリケーションにおいて音声をユーザーA~Dに相関付けるシステムであって、撮像カメラコンポーネントであって、該撮像カメラコンポーネントの視野内にいる一人以上のユーザーA~Dの深度画像を供給することができる、撮像カメラコンポーネントと、マイクロフォンアレイであって、該マイクロフォンアレイのレンジ内において音を受け取ることができ、第1許容範囲内で音声の発生源を定位することができる、マイクロフォンアレイと、前記画像キャプチャーコンポーネントおよびマイクロフォンアレイ双方と通信可能な計算環境であって、前記計算環境が、前記視野内にいる異なるユーザー間で、第2許容範囲までで区別することができ、前記第1および第2許容範囲が、前記撮像カメラからのデーターおよび前記マイクロフォンアレイからのデーターの初期サンプリングの後、時々前記音声の前記一人以上のユーザーの内一人のユーザーへの相関を防止し、前記計算環境が、更に、前記撮像カメラからのデーターおよび前記マイクロフォンアレイからのデーターの追加サンプリングを実行し、前記追加サンプリングによって、前記音声の前記ユーザーとの相関を可能とし、または前記追加サンプリングが、前記音声が前記ユーザーに相関付けられる尤度を低下させる、計算環境と、を含む、システム。請求項12記載のシステムにおいて、前記計算環境が、前記初期および追加サンプリングを実行しながら、前記一人以上のユーザーが関与するゲーミングアプリケーションを実行する、システム。請求項12記載のシステムにおいて、前記計算環境が、前記一人以上のユーザーの関節位置を検出することによって、前記視野内において異なるユーザー間で区別する、方法。請求項14記載のシステムにおいて、前記マイクロフォンアレイが、2つのマイクロフォンを使用して、これら2つのマイクロフォンまでの前記音声の到達時間差によって、前記音声の発生源を定位する、システム。これら2つの技法は、従来組み合わせて使用されることはなかった。ユーザーの側では入念な設定を必要とすることなく、ユーザーの音声を体と自動的に一致させることができれば、興味が尽きないであろう。例えば、ある人の識別が、撮像技法のみまたはオーディオ技法のみを使用したのでは曖昧となるということが起こる場合もある。これは、特に、低価格の消費者用システムにおいて言えることである。このような音および視覚識別の相関は、ユーザーを明確に区別するのに役立つことに加えて、ゲームまたはアプリケーションにおけるユーザー体験を増すために使用することができる。0002本明細書において記載するのは、マルチユーザーアプリケーションにおいて音声をユーザーに相関付けるシステムおよび方法である。このシステムは、撮像カメラコンポーネントを含み、撮像カメラコンポーネントの視野内にいる1人以上のユーザーの深度画像を与えることができる。更に、このシステムは、マイクロフォンアレイを含み、このマイクロフォンアレイのレンジ内において音を受けることができる。このマイクロフォンアレイは、更に、第1許容範囲内で音声の発生源を突き止めることもできる。実施形態は、更に、計算環境も含む。この計算環境は、画像取り込みコンポーネントおよびマイクロフォンアレイの双方と通信することができ、視野内にいる異なるユーザー間で、第2許容範囲までで区別することができる。実施形態では、第1および第2許容範囲が、撮像カメラからのデーターおよびマイクロフォンアレイからのデーターの初期サンプリングの後、時々音声のユーザーに対する相関を妨げることもできる。しかしながら、この計算環境は、更に、撮像カメラからのデーターおよびマイクロフォンアレイからのデーターの追加のサンプリングも実行する。これら追加のサンプリングによって、音声とユーザーとの相関が可能になり、あるいはこの追加のサンプリングは、音声がユーザーに相関付けられる可能性を低下させる。0012本技術の実施形態について、これより、図1Aから図8Bまでを参照しながら説明する。これらの図は、概略的に、マルチユーザーゲームまたはマルチメディア設定において、ユーザーの音声のユーザーの体との相関に基づいて、人を自動的に識別するために、画像および音データーを経時的に追跡するシステムに関する。大まかに言うと、本システムは、視野において人のような物体を検知する1つ以上のカメラを含むキャプチャーデバイスと、人の声のような音を検知するマイクロフォンアレイとを含む。これらのカメラは、視野内にある物体が人であるか否か判断することができ、更に、例えば、骨格関節位置というような、識別された人の身体的特徴を判断することもできる。また、このカメラは、視野内にいる人々の互いに対する相対的位置、およびキャプチャーデバイスに対する相対的位置を判定することができる。マイクロフォンアレイは、聞こえたサウンドが音声か否か判断することができ、異なる音声間で区別することができる場合もある。また、これらのマイクロフォンは、検出された音声の、他の検出された音声に対する相対的位置、およびマイクロフォンに対する相対的位置も判定することもできるとよい。0013本撮像および音響システムが、所与の音声が視野内にいる所与のユーザーの体に属することを明確に判断することができるとき、その音声-体相関を格納する。しかしながら、本システムが、画像および音サンプリングの後、1つの明確な相関を確定できないということも起こる可能性がある。逆に、本システムが、サンプリングされた1つの音声が一人以上の候補ユーザーに属するかもしれないことを識別することもある。この場合、本システムは、種々のファクターを使用して、所定のしきい値信頼レベルTCLよりも高く、音声が体と関連付けられているか否か判断することができる。関連付けられているが明確でない場合、音声-体の関連付けを返し、今後のサンプリングにおいて使用するために格納することができる。今後のサンプリングは、この関連付けを補強するか、またはこの関連付けが曖昧なままであることを示す。後者の場合、この関連付けを除去してもよい。0014最初に図1Aから図2を参照すると、本技術を実現するハードウェアは、ターゲット認識、分析、および追跡システム10を含む。このシステム10は、ユーザーAからDまでのような、一人以上の人間ターゲットを認識、分析、および/または追跡するために使用することができる。ターゲット認識、分析、および追跡システム10の実施形態は、ゲーミングまたは他のアプリケーションを実行する計算環境12と、このゲーミングまたは他のアプリケーションから音および視覚表現を与えるオーディオビジュアルデバイス16を含む。更に、システム10は、1つ以上の深度知覚カメラを含むキャプチャーデバイス20と、2つ以上のマイクロフォンを含むマイクロフォンアレイとを含む。キャプチャーデバイス20は、計算環境12が、少なくとも部分的に、キャプチャーデバイス20から受け取った情報に基づいて、オーディオビジュアルデバイス16への出力を制御することができるように、計算環境12と通信する。これらのコンポーネントの各々については、以下で更に詳しく説明する。0015図1Aおよび図1Bに示すように、一実施形態例では、計算環境12において実行するアプリケーションプログラムは、マルチプレーヤゲームとすることができる。キャプチャーデバイス20から受け取った情報に基づいて、計算環境12は、オーディオビジュアルデバイス16を使用してプレーヤーアバターA’~D’のような、各ユーザーA~Dの視覚表現を与えることができる。ユーザーは、視野に入ったり出たりすることができる。例えば、図1AはユーザーA~Dを示し、図1BはユーザーA~Cを示す。アバターA’~D’の各々は、画面上において、それぞれのユーザーA~Dの動きを写像するように動くことができる。つまり、ユーザーは、図1Bにおいて、図1Aにおける彼らの位置に対して動き回っており、ユーザーDが視野から離れているので、ユーザーDのアバターは図1Bでは見ることができない。0016本技術にとって重大なことではないが、ユーザーA~Dはジェスチャーを行うことができ、計算環境12において実行しているソフトウェアエンジンがそのジェスチャーを認識して、そのユーザーのアバターが、ユーザーのジェスチャーを認識したときに、何らかの動作を実行するようにしている。4人のユーザーが図1Aおよび図1Bの例には示されているが、本技術は実施形態において4人よりも多いユーザーでも少ないユーザーでも動作できることは言うまでもない。更に、本技術は、ゲーミングのコンテキストにおいて音声を話者に相関付けることにも限定されず、逆に、人を彼らの音声の彼らの体との相関に基づいて識別することが望ましい広範囲の他の場合にも使用することができる。0017図2は、ターゲット認識、分析、および追跡システム10において使用することができるキャプチャーデバイス20の一実施形態例を示す。一実施形態例では、キャプチャーデバイス20は撮像カメラコンポーネント22を含むことができる。コンポーネント22は、例えば、飛行時間、構造化照明、立体画像等を含む任意の適した技法によって、視野内における三次元ビデオ画像を取り込むように構成されている。一実施形態によれば、撮像カメラコンポーネント22は、計算された深度情報をZレイヤー、または見通し線に沿って深度カメラから延びるZ軸に垂直とするとよいレイヤーに編成することができる。0018キャプチャーデバイス20の一部をなすことができるカメラに関する追加の詳細が、ジェスチャーツールGESTURETOOLと題する同時係属中の米国特許出願第12/474655号、および標準的ジェスチャーと題する同時係属中の米国特許出願第12/391150号に明記されている。これらの出願の各々は、ここで引用したことにより、その内容全体が本願にも含まれるものとする。しかしながら、一般には、図2に示すように、撮像カメラコンポーネント22は、取り込まれた場面の二次元2-D画素エリアを有する深度画像を取り込むことができる。この2-D画素エリアにおける各画素は、カメラからの取り込まれた場面における物体の、例えば、センチメートル、ミリメートル等を単位とする長さを表すことができる。撮像カメラコンポーネント22は、図1Aおよび図1Bにおいて光線R1およびR2によって表されている視野内にある物体を撮像することができる。0019図2に示すように、一実施形態によれば、撮像カメラコンポーネント22は、IR発光コンポーネント24、三次元3-Dカメラ26、およびRGBカメラ28を含むことができ、これらは、場面の深度画像を取り込むために使用することができる。例えば、飛行時間分析では、キャプチャーデバイス20のIR発光コンポーネント24は赤外線光を場面に放出することができ、次いでセンサ図示せずを使用して、場面にある1つ以上のターゲットおよび物体の表面からの後方散乱光を、例えば、3-Dカメラ26および/またはRGBカメラ28を使用して、検出することができる。0020他の実施形態によれば、キャプチャーデバイス20は、2つ以上の物理的に分離されたカメラを含むこともでき、これらが1つの場面を異なる角度から見て視覚的立体データーを得て、このデーターを分解して深度情報を生成することができる。いずれの実施形態においても、撮像カメラコンポーネント22は視野内における人々の互いに対する方位を判定することができ、視野における各人のキャプチャーデバイス20に対する角度を計算することができる。0021キャプチャーデバイス20は、例えば、3Dカメラ26および/またはRGBカメラ28によって取り込まれた深度情報および画像、ならびにキャプチャーデバイス20によって生成することができる骨格モデルを、計算環境12に、通信リンク36を介して供給することができる。キャプチャーデバイス20によって検出されたターゲットまたは物体が人間のターゲットに対応するか否か判断するために、種々の既知の技法が存在する。例えば、キャプチャーデバイス20は、人間のターゲットを含むかもしれないキャプチャーエリアの深度情報を取り込むことができる。次に、この深度画像は分析されて、深度画像が人間のターゲットおよび/または人間以外のターゲットを含むか否か判断することができる。この深度画像の一部を塗りつぶし、ターゲットが人間のターゲットであるか否か判断することができる。深度画像におけるターゲットの1つ以上が人間のターゲットを含む場合、この人間のターゲットを走査することができる。0022次いで、骨格マッピング技法を使用して、ユーザーの骨格、手の関節、手首、肘、膝、鼻、踝、肩、および骨盤が脊椎と交わるところを判定することができる。他の技法には、画像をその人の体モデル表現に変換し、この画像をその人のメッシュモデル表現に変換することが含まれる。次いで、骨格モデルを計算環境12に供給して、この計算環境がこの骨格モデルを追跡し、この骨格モデルと関連付けられているアバターをレンダリングできるようにする。0023更に、キャプチャーデバイス20は、2つ以上のマイクロフォン30を含むマイクロフォンアレイ32も含むことができる。このマイクロフォンのアレイは、少なくとも2つの機能を実行する。マイクロフォン30は、ユーザーA~Dの一人以上によって供給することができる音信号を受け取り、彼らのアバターA’~D’を制御し、他のゲームまたはシステムメトリックに影響を及ぼし、あるいは計算環境12によって実行することができる他のアプリケーションを制御することができる。マイクロフォンアレイ32の第2の機能は、以下で説明するように、ユーザーの識別を容易にすることである。0024以上で示した実施形態では、2つのマイクロフォン30があるが、他の実施形態では、マイクロフォンアレイは2つよりも多いマイクロフォンを有してもよいことは言うまでもない。垂直軸に沿った相対的位置を解明することが重要でなくてもよい実施形態では、これらのマイクロフォンを共通の垂直面に即ち、同じ高さで並べればよい。しかしながら、本技術は、異なる垂直線および水平線に沿って位置する2つから4つまたはそれ以上のカメラを使用してもよいことも言うまでもない。このような実施形態では、マイクロフォンアレイは、垂直面および水平面双方に沿って音定位技法を採用して、三次元空間における1つ以上の音声の位置を特定することができる。0025アレイの中にあるマイクロフォン30は、図に示すように、例えば、1フィート離して位置付けるというように、互いに近づけて位置付けてもよい。尚、他の実施形態では、マイクロフォンを互いに近接させて、または、更に離して、例えば、キャプチャーデバイス20が隣接する壁の角に置いてもよいことは言うまでもない。0026アレイの中にあるマイクロフォン30は、互いに同期させることができ、各々が変換器またはセンサを含むことができ、信号を受け取って電気信号に変換することができる。マイクロフォンによって拾い上げられたサウンドを区別して、これらのサウンドの1つ以上が人間の音声であるか否か判断する技法が知られている。マイクロフォン30は、ハイパスフィルタのような種々の既知のフィルタを含み、マイクロフォン30によって検出することができる低周波ノイズを減衰させることもできる。0027所与の許容範囲内で、アレイ32は知覚された音声の互いに対する方位も判定することができ、そして音定位技法を使用して、マイクロフォンアレイに対する各音声源の角度を計算することができる。種々の音定位技法が知られている。一実施形態では、到達時間差TDOA技法を採用することができる。この技法は、異なるマイクロフォン対間における1組のTDOAを判定するステップを有する。即ち、1組のマイクロフォン対における対毎に、その対の中にあるマイクロフォンの各々における音源信号の到達間の相対的時間差を判定する。例えば、音源の位置sを測定する2つのマイクロフォンiおよびjに対するTDOAは、次のように求めることができる。ここで、miは、i番目のマイクロフォンの位置であり、mjは、j番目のマイクロフォンの位置であり、cは光速である。0028TDOA技法は、更に、判定されたTDOAデーターおよびマイクロフォンアレイの幾何学的形状を使用して、音源の位置を推定する第2ステップを含む。この第2ステップは、種々の既知の方法によって実行することができ、例えば、最大尤度法、三角測量法、球交差法、および球補間法が含まれる。0029TDOA方法は、知覚された音声の発生源を突き止めるために採用することができる複数の既知の方法の中の1つである。他の方法には、操舵ビーム形成に基づく技法、および高分解能スペクトル推定に基づく技法が含まれる。音定位のためのマイクロフォンシステムに関する更なる詳細は、例えば、ビデオカメラ操舵用途用受動型音源定位方法および装置と題する米国特許第6,826,284号、およびHWangandPChuによる公開論文テレビ会議における自動カメラ定点システムのための音声源定位MunichGermanyApr1997pp187190において見いだすことができる。以上の特許および論文は、ここで引用したことにより、その内容全てが本願にも含まれるものとする。1つのマイクロフォンを使用して所与の許容範囲で音源定位を可能にする技法があるのであれば、マイクロフォンアレイ32は1つ以上のマイクロフォンを含めばよい。0030一実施形態例では、キャプチャーデバイス20は、更に、撮像カメラコンポーネント22およびマイクロフォンアレイ32と動作的に通信することができるプロセッサー33も含むことができる。プロセッサー33は、命令を実行することができる標準的なプロセッサー、特殊プロセッサー、マイクロプロセッサー等を含むことができる。これらの命令には、深度画像を受け取り、この深度画像に適したターゲットが含まれ得るか否か判定を行い、適したターゲットをそのターゲットの骨格表現またはモデルに変換する命令、または任意の他の適した命令を含むことができる。また、プロセッサー33は、音定位に関して先に説明した動作も実行することができる。0031キャプチャーデバイス20は、更に、メモリーコンポーネント34も含むことができる。メモリーコンポーネント34は、プロセッサー33によって実行することができる命令、3DカメラまたはRGBカメラによって取り込まれた画像または画像のフレーム、マイクロフォン30からのオーディオデーター、あるいは任意の他の適した情報等を格納することができる。一実施形態例によれば、メモリーコンポーネント34は、ランダムアクセスメモリーRAM、リードオンリーメモリーROM、キャッシュ、フラッシュメモリー、ハードディスク、または任意の他の適した記憶コンポーネントを含むことができる。図2に示すように、一実施形態では、メモリーコンポーネント34は、画像キャプチャーコンポーネント22、マイクロフォンアレイ32、およびプロセッサー33と通信することができる別個のコンポーネントであってもよい。他の実施形態によれば、メモリーコンポーネント34は、プロセッサー33および/またはマイクロフォンアレイ32に統合されてもよい。0032図2に示すように、キャプチャーデバイス20は、通信リンク36を介して、計算環境12と通信することができる。通信リンク36は、例えば、USB接続、Firewire接続、イーサネットケーブル接続などを含む有線接続、および/またはワイヤレス802.11b、g、a、またはn接続のようなワイヤレス接続とすることができる。一実施形態によれば、計算環境12は、クロックをキャプチャーデバイス202に供給することができる。このクロックは、例えば、通信リンク36を介して場面をいつ取り込むべきか判定するために使用することができる。キャプチャーデバイス20からの画像およびオーディオデーターも、通信リンク36を介して計算環境12に伝達することができる。0033図3Aは、ターゲット認識、分析、および追跡システムにおいて1つ以上のジェスチャーを解釈するために使用することができる計算環境の一実施形態例を示す。図1A~図2に関して先に説明した計算環境12のような計算環境は、ゲーミングコンソールのような、マルチメディアコンソール100とすることができる。図3Aに示すように、マルチメディアコンソール100は、レベル1キャッシュ102、レベル2キャッシュ104、およびフラッシュROM106を有する中央処理ユニットCPU101を有する。レベル1キャッシュ102およびレベル2キャッシュ104は、一時的にデーターを格納し、こうしてメモリーアクセスサイクルの回数を減らすことによって、処理速度およびスループットを向上させる。CPU101は、1つよりも多いコア、つまり、追加のレベル1およびレベル2キャッシュ102および104を有するように装備することもできる。フラッシュROM106は、実行可能コードを格納することができる。実行可能コードは、マルチメディアコンソール100の電源をオンにしたときに、ブートプロセスの初期段階中にロードされる。0034グラフィクス処理ユニットGPU108およびビデオエンコーダー/ビデオコデックコーダー/デコーダー114が、高速および高分解能グラフィクス処理のためにビデオ処理パイプラインを形成する。データーは、バスを通じて、グラフィクス処理ユニット108からビデオエンコーダー/ビデオコデック114に伝達される。ビデオ処理パイプラインは、テレビジョンまたは他のディスプレイに送信するために、データーをA/Vオーディオ/ビデオポート140に出力する。メモリーコントローラー110がGPU108に接続されており、限定ではなく、RAMランダムアクセスメモリーのような、種々のタイプのメモリー112にプロセッサーがアクセスし易くなっている。0035マルチメディアコンソール100は、I/Oコントローラー120、システム管理コントローラー122、オーディオ処理ユニット123、ネットワークインターフェースコントローラー124、第1USBホストコントローラー126、第2USBコントローラー128、およびフロントパネルI/Oサブアセンブリ130を含む。好ましくは、これらをモジュール118に実装する。USBコントローラー126および128は、周辺コントローラー1421~1422、ワイヤレスアダプター148、および外部メモリーデバイス146例えば、フラッシュメモリー、外部CD/DVDROMドライブ、リムーバブル媒体等のためのホストとしての役割を果たす。ネットワークインターフェース124および/またはワイヤレスアダプター148は、ネットワーク例えば、インターネット、ホームネットワーク等へのアクセスを与え、イーサネットカード、モデム、Bluetoothモジュール、ケーブルモデム等を含む広範囲の種々の有線またはワイヤレスアダプターコンポーネントの内任意のものとすることができる。0036システムメモリー143は、ブートプロセスの間にロードされるアプリケーションデーターを格納するために設けられている。メディアドライブ144が設けられており、DVD/CDドライブ、ハードドライブ、またはその他のリムーバブルメディアドライブ等を含むことができる。メディアドライブ144は、マルチメディアコンソール100の内部にあっても外部にあってもよい。アプリケーションデーターは、実行、再生等のためにマルチメディアコンソール100によってメディアドライブ144を通じてアクセスすることができる。メディアドライブ144は、シリアルATAバスまたはその他の高速接続例えば、IEEE1394のようなバスを通じて、I/Oコントローラー120に接続されている。0037システム管理コントローラー122は、マルチメディアコンソール100の利用可能性を確保することに関する種々のサービス機能を提供する。オーディオ処理ユニット123およびオーディオコデック132は、高忠実度およびステレオ処理を行う、対応のオーディオ処理パイプラインを形成する。オーディオデーターは、通信リンクを通じて、オーディオ処理ユニット123とオーディオコデック132との間で伝達される。オーディオ処理パイプラインは、外部オーディオプレーヤーまたはオーディオ処理能力を有するデバイスによる再生のために、データーをA/Vポート140に出力する。0038フロントパネルI/Oサブアセンブリ130は、電力ボタン150およびイジェクトボタン152の機能をサポートするだけでなく、マルチメディアコンソール100の外面上に露出する任意のLED発光ダイオードまたはその他のインディケーターもサポートする。システム電源モジュール136が、マルチメディアコンソール100のコンポーネントに電力を供給する。ファン138は、マルチメディアコンソール100の内部にある回路を冷却する。0039CPU101、GPU108、メモリーコントローラー110、およびマルチメディアコンソール100の内部にある種々のその他のコンポーネントは、1系統以上のバスを通じて相互接続されている。これらのバスには、シリアルバスおよびパラレルバス、メモリーバス、周辺バス、ならびに種々のバスアーキテクチャーの内任意のものを使用するプロセッサーバスまたはローカルバスが含まれる。一例として、このようなアーキテクチャーは、ペリフェラルコンポーネント相互接続PCIバス、PCI-Expressバス等を含むことができる。0040マルチメディアコンソール100の電源をオンにすると、システムメモリー143からメモリー112および/またはキャッシュ102、104にアプリケーションデーターをロードし、CPU101において実行することができる。アプリケーションは、グラフィカルユーザーインターフェースを提示することができる。このグラフィカルユーザーインターフェースは、マルチメディアコンソール100において利用可能な異なるタイプのメディアにナビゲートするときに、一貫性のあるユーザー体験を提供する。動作において、アプリケーションおよび/またはメディアドライブ144に含まれている他のメディアをメディアドライブ144から起動または再生して、マルチメディアコンソール100に追加の機能を設けることもできる。0041マルチメディアコンソール100は、単にシステムをテレビジョンまたはその他のディスプレイに接続することによって、スタンドアロンシステムとして動作させることができる。このスタンドアロンモードでは、マルチメディアコンソール100は、一人以上のユーザーがシステムと相互作用を行い、ムービーを見ること、または音楽を聞くことを可能にする。しかしながら、ネットワークインターフェース124またはワイヤレスアダプター148によって利用可能となるブロードバンド接続機能を統合することにより、更に大きなネットワークコミュニティにおける一関係要素としてマルチメディアコンソール100を動作させることもできる。0042マルチメディアコンソール100の電源をオンにすると、マルチメディアコンソールのオペレーティングシステムによって、設定されている量のハードウェアリソースがシステムの使用のために確保される。これらのリソースは、メモリー例えば、16MB、CPUおよびGPUサイクル例えば、5、ネットワーキング帯域幅例えば、8kbs等の確保を含むことができる。これらのリソースは、システムのブート時に確保されるので、確保されたリソースは、アプリケーションの視点からは存在しない。0043特に、メモリーの確保は、起動カーネル、コンカレントシステムアプリケーション、およびドライバーを含めるのに十分大きいことが好ましい。サーブされたCPUの使用がそのシステムアプリケーションによって使用されない場合、アイドル状態にあるスレッドが未使用サイクルの内任意のものを消費するように、CPUの確保を一定レベルに維持することが好ましい。0044GPUの確保に関して、GPU割り込みを使用することによって、システムアプリケーション例えば、ポップアップによって生成される軽量メッセージを表示して、ポップアップをオーバーレイにレンダリングするコードをスケジューリングする。オーバーレイに使用されるメモリー量は、オーバーレイのエリアサイズに依存し、オーバーレイは画面の解像度と共にスケーリングすることが好ましい。コンカレントシステムアプリケーションによって全ユーザーインターフェースが使用される場合、アプリケーションの解像度とは独立した解像度を使用することが好ましい。周波数を変更しTVの同期を取り直す必要性をなくすように、スケーラーを使用してこの解像度を設定するとよい。0045マルチメディアコンソール100がブートして、システムリソースが確保された後、コンカレントシステムアプリケーションが実行してシステム機能が設けられる。これらのシステム機能は、前述の確保したシステムリソースの内部で実行する1組のシステムアプリケーションの中にカプセル化されている。オペレーティングシステムカーネルは、システムアプリケーションスレッドと、ゲーミングアプリケーションスレッドとの間でスレッドを識別する。一貫したシステムリソースビューをアプリケーションに提供するために、システムアプリケーションは、所定の時点および間隔でCPU101において実行するようにスケジューリングされていることが好ましい。このスケジューリングは、コンソールにおいて実行しているゲーミングアプリケーションに対するキャッシュの分裂を最少に抑えるためにある。0046コンカレントシステムアプリケーションがオーディオを必要とする場合、時間に敏感であるため、オーディオ処理を非同期にゲーミングアプリケーションにスケジューリングする。マルチメディアコンソールアプリケーション管理部以下で説明するは、システムアプリケーションがアクティブのとき、ゲーミングアプリケーションのオーディオレベル例えば、無音化、減衰を制御する。0047入力デバイス例えば、コントローラー1421および1422は、ゲーミングアプリケーションおよびシステムアプリケーションによって共有される。入力デバイスは、確保されたリソースではないが、システムアプリケーションとゲーミングアプリケーションとの間で切り換えられて、各々がそのデバイスの重点を有するようにする。アプリケーション管理部は、好ましくは、ゲーミングアプリケーションの知識を使用せずに入力ストリームの切換を制御し、ドライバーは重点スイッチに関する状態情報を維持する。カメラ26、28およびキャプチャーデバイス20は、コンソール100のための追加の入力デバイスを定めることができる。0048図3Bは、ターゲット認識、分析、および追跡システムにおいて1つ以上のジェスチャーを解釈するために使用される、計算環境220の他の実施形態例を示すこの計算環境は、図1A~図2に示した計算環境12とすることができる。計算システム環境220は、適した計算環境の一例に過ぎず、本明細書において開示される主題の使用範囲または機能に関して、いかなる限定を示唆する意図もない。また、計算環境220が、当該動作環境例220において例示される任意の1つのコンポーネントまたはコンポーネントの組み合わせに関して、何らかの依存性または要件を有するように解釈すべきではない。実施形態によっては、図示する種々の計算エレメントが、本開示の特定の態様をインスタンス化するように構成されている回路を含むこともあり得る。例えば、本開示において使用される回路という用語は、ファームウェアまたはスイッチによって機能1つまたは複数を実行するように構成されている特殊ハードウェアコンポーネントを含むことができる。別の実施形態例では、回路という用語は、機能1つまたは複数を実行するために動作可能なロジックを具現化するソフトウェア命令によって構成される汎用処理ユニット、メモリー等を含むことができる。回路がハードウェアおよびソフトウェアの組み合わせを含む実施形態例では、実装者は、ロジックを具現化するソースコードを書くことができ、ソースコードを機械読み取り可能コードにコンパイルすることができ、この機械読み取り可能コードを汎用処理ユニットによって処理することができる。技術的現状では、ハードウェア、ソフトウェア、またはハードウェア/ソフトウェアの組み合わせの間には殆ど差がないというところまで発展していることを当業者は認めることができるので、特定の機能を実行するためにハードウェアまたはソフトウェアのどちらを選択するかということは、実装者に委ねられた設計選択事項である。更に具体的には、ソフトウェアプロセスを等価のハードウェア構造に変換することができ、更にハードウェア構造自体を等価のソフトウェアプロセスに変換することができることを、当業者は認めることができる。つまり、ハードウェアの実施態様およびソフトウェアの実施態様のどちらを選択するかということは、実装者に委ねられた設計選択事項の1つである。0049図3Bにおいて、計算環境220は、コンピューター241を含む。コンピューター241は、通例、種々のコンピューター読み取り可能媒体を含む。コンピューター読み取り可能媒体は、コンピューター241がアクセス可能な入手可能な媒体であればいずれでも可能であり、揮発性および不揮発性の双方、リムーバブル、および非リムーバブル媒体を含む。システムメモリー222は、リードオンリーメモリーROM223およびランダムアクセスメモリーRAM260のような揮発性および/または不揮発性メモリーの形態で、コンピューター記憶媒体を含む。基本入出力システム224BIOSは、起動中のように、コンピューター241内のエレメント間におけるデーター転送を補助する基本的なルーチンを含み、通例ROM223内に格納されている。RAM260は、通例、処理ユニット259が直ちにアクセス可能であるデーターおよび/またはプログラムモジュール、または現在これによって処理されているデーターおよび/またはプログラムモジュールを含む。一例として、そして限定ではなく、図3Bは、オペレーティングシステム225、アプリケーションプログラム226、その他のプログラムモジュール227、およびプログラムデーター228を示す。0050また、コンピューター241は、その他のリムーバブル/非リムーバブル揮発性/不揮発性コンピューター記憶媒体も含むことができる。一例にすぎないが、図3Bは、非リムーバブル不揮発性磁気媒体からの読み取りおよびこれへの書き込みを行なうハードディスクドライブ238、リムーバブル不揮発性磁気ディスク254からの読み取りおよびこれへの書き込みを行なう磁気ディスクドライブ239、ならびにCDROMまたはその他の光媒体のようなリムーバブル不揮発性光ディスク253からの読み取りおよびこれへの書き込みを行なう光ディスクドライブ240を示す。動作環境の一例において使用可能なその他のリムーバブル/非リムーバブル、揮発性/不揮発性コンピューター記憶媒体には、限定する訳ではないが、磁気テープカセット、フラッシュメモリーカード、ディジタルバーサタイルディスク、ディジタルビデオテープ、ソリッドステートRAM、ソリッドステートROM等が含まれる。ハードディスクドライブ238は、通例、インターフェース234のような非リムーバブルメモリーインターフェースを介してシステムバス221に接続され、磁気ディスクドライブ239および光ディスクドライブ240は、通例、インターフェース235のようなリムーバブルメモリーインターフェースによって、システムバス221に接続する。0051先に論じそして図3Bに示すドライブおよびそれらと関連のあるコンピューター記憶媒体は、コンピューター読み取り可能命令、データー構造、プログラムモジュール、およびコンピューター241のその他のデーターを格納する。図3Bでは、例えば、ハードディスクドライブ238は、オペレーティングシステム258、アプリケーションプログラム257、他のプログラムモジュール256、およびプログラムデーター255を格納するように示されている。尚、これらの構成要素は、オペレーティングシステム225、アプリケーションプログラム226、他のプログラムモジュール227、およびプログラムデーター228と同じでも異なっていても可能であることを注記しておく。オペレーティングシステム258、アプリケーションプログラム257、他のプログラムモジュール256、およびプログラムデーター255は、ここで、少なくともこれらが異なるコピーであることを示すために、異なる番号が付けられている。ユーザーは、キーボード251、および一般にマウス、トラックボールまたはタッチパッドと呼ばれているポインティングデバイス252のような入力デバイスによって、コマンドおよび情報をコンピューター241に入力することができる。他の入力デバイス図示せずには、マイクロフォン、ジョイスティック、ゲームパッド、衛星ディッシュ、スキャナー等を含むことができる。これらおよびその他の入力デバイスは、多くの場合、ユーザー入力インターフェース236を介して、処理ユニット259に接続されている。ユーザー入力インターフェース236は、システムバスに結合されているが、パラレルポート、ゲームポート、またはユニバーサルシリアルバスUSBによって接続することも可能である。カメラ26、28およびキャプチャーデバイス20は、コンソール100の追加入力デバイスを定めることができる。モニター242またはその他のタイプの表示装置も、ビデオインターフェース232のようなインターフェースを介して、システムバス221に接続されている。モニターに加えて、コンピューターは、スピーカー244およびプリンター243のような、その他の周辺出力装置も含むことができ、これらは出力周辺インターフェース233を通じて接続することができる。0052コンピューター241は、リモートコンピューター246のような1つ以上のリモートコンピューターへの論理接続を使用して、ネットワーク環境において動作することも可能である。リモートコンピューター246は、パーソナルコンピューター、サーバー、ルータ、ネットワークPC、ピアデバイス、またはその他の共通ネットワークノードとすることができ、通例、コンピューター241に関して先に説明したエレメントの多くまたは全てを含むが、図3Bにはメモリー記憶装置247のみを示す。図3Bに示す論理接続は、ローカルエリアネットワークLAN245およびワイドエリアネットワークWAN249を含むが、他のネットワークも含むことができる。このようなネットワーク環境は、事務所、企業規模のコンピューターネットワーク、イントラネットおよびインターネットにおいては一般的である。0053LANネットワーク環境で使用する場合、コンピューター241は、ネットワークインターフェースまたはアダプター237を介してLAN245に接続する。WANネットワーク環境で使用する場合、コンピューター241は、通例、モデム250、またはインターネットのようなWAN249を通じて通信を設定するその他の手段を含む。モデム250は、内蔵でも外付けでもよく、ユーザー入力インターフェース236またはその他の適切な機構を介してシステムバス221に接続することができる。ネットワーク環境では、コンピューター241に関係付けて図示したプログラムモジュール、またはその一部は、リモートメモリー記憶装置に格納することもできる。一例として、そして限定ではなく、図3Bは、リモートアプリケーションプログラム248がメモリーデバイス247に存在するものとして示している。尚、図示のネットワーク接続は一例であり、コンピューター間で通信リンクを設定する他の手段も使用可能であることは認められよう。0054ユーザーに関する知覚画像データーと知覚音声データーとの相関に基づいてユーザーを識別する方法について、これより図4から図8Bのフローチャートを参照しながら説明する。図4は、本技術の動作全体の上位フローチャートである。尚、本技術の動作は、キャプチャーデバイス20の中にあるプロセッサー33、計算環境12の中にあるプロセッサー101、259、または一緒に動作するこれら2つの組み合わせによって実行できることは言うまでもない。ステップ300において、本システムは、撮像カメラコンポーネント22の視野内にある例えば、ユーザーA~Dの内一人以上というような体を識別、または登録する。この動作は、フレーム毎に実行されるが、背景情報というような以前のフレームからの情報をキャッシュして、処理を速めることもできる。ステップ300の体登録に関する更なる詳細については、図5のフローチャートを参照して以下で説明する。0055ステップ302において、本システムは、マイクロフォンアレイ32のレンジ内で検出された音声を登録する。本システムが音声を特定の体と明確に関連付けることができる場合がある。例えば、マイクロフォンアレイ32は、画像キャプチャーデバイス20に関して特定の角度または角度範囲を含む許容範囲で、音声の発生源を定位することができるとよく、撮像カメラコンポーネント22は、その角度または角度範囲において一人のユーザーしかいないことを判定する。このような場合、本システムは、検出された人を検出された音声と明確に相関付けることができる。ステップ302および306に関する更なる詳細については、図6のフローチャートに関して、以下で明記する。0056一方、画像およびオーディオサンプリングの後、システムが1つの明確な相関を確定することができず、音声が属する可能性がある一人以上の候補ユーザーを識別するということも起こり得る。例えば、2人のユーザーの体の外観が非常に似ているため、本システムの画像認識技法を使用して区別することができないという場合がある。あるいはまたは代わりに、マイクロフォンアレイが、一人よりも多い人がいる視野におけるあるエリアから音声が来ることしか判定できない場合もある。これは、例えば、消費者等級のハードウェアを使用して画像およびオーディオデーターを取り組む場合に言えることである。0057この場合、本システムは種々のファクターを採用して、音声が所与のユーザーと関連があることの信頼レベルを示す信頼レベルスコアーを決めることができる。明確ではないが、これらのファクターから、しきい値信頼レベルよりも高いスコアーを得ることができる。得られた場合、このしきい値信頼レベルよりも高い音声-体の関連付けは、今後のサンプリングのために格納される。今後のサンプリングは、この関連付けを補強することができ、例えば、今後のサンプリングは、音声が属するかもしれない他のユーザーを排除する。あるいは、今後のサンプルが、この関連付けが曖昧なままであることを示すこともあり、その場合、この関連付けを除去してもよい。0058音声が体に相関付けられた後でも、本技術の実施形態は、音声-体相関の信頼レベルを繰り返し再評価し、再確認することができるステップ312。信頼レベルを評価し、明確にし、再確認するプロセスについては、以下で図8Aおよび図8Bのフローチャートに関して説明する。0059図5のフローチャートは、本システムがユーザーを他のユーザーから区別することを可能にすると思われる画像データーを得ることに基づいて、ユーザーを登録するステップを示す。本システムは、ユーザーを登録するための種々の規準を使用することができる。これらの規準は、異なるユーザーの複数の骨格基準点を分析することを含む。一旦ユーザーが識別されたなら、その情報は、例えば、メモリー34および/または計算環境12におけるメモリーに格納することができる。しかしながら、二人以上のユーザーの体の外観が互いに非常に似ているために、本システムが画像データーのみを使用したのでは区別できないということも起こり得る。以下で説明するように、このようなユーザーは、ある時間期間に亘る画像および音声データーのサンプリングを使用して、区別することができる。0060したがって、ステップ320において、本システムはビデオフレームを走査して、例えば、一人以上のユーザーA~Dのような、視野内にいる人間のユーザーを捜す。先に示したように、現行の技術は、人間の体を、視野内にあり得る他の物体から区別することを可能にする。ステップ322において、本システムは、視野内において体が発見されたか否か判定を行う。発見されていない場合、本システムは、ステップ326において、視野内に他に走査すべき物体があるか否か調べる。物体があると仮定すると、本システムはステップ320に戻り、走査して他の体を捜す。一方、ステップ322において体が発見された場合、本システムは、ステップ330において、その体が以前のフレームにもあったか否かチェックする。本システムは、この判定を行うときに、種々のファクターを見ることができ、骨格基準点または現フレームと直前のフレームとの間における体の他の身体的特徴の一致、および現フレームにおける体の位置が、所与のフレームレートで、直前のフレームにおいて検出された位置から動いた可能性があるか否かが含まれる。一旦、ステップ330において、発見された体が直前のフレームにもあったと判定されたなら、本システムはステップ320に戻って、走査して他の体を捜す。0061一方、ステップ330において、発見された体が直前のフレームでは発見されなかったと判定された場合、本システムは、ステップ334において、この発見された体が、既に登録されている体と一致するか否かチェックする。即ち、本システムは、現フレームにおける体を記述する情報を、以前に識別および登録された体に関する、メモリーからの情報と比較する。現フレームからの体が以前に登録されていない場合、本システムは、ステップ338において、体シグネチャー即ち、骨格的特徴および/または他の身体的特徴をメモリーに格納する。この体シグネチャーを格納した後、本システムは、ステップ344において、一致する体が識別されたという印を付け、次いでステップ320に戻り、走査して他の体を捜す。0062一方、ステップ334において、発見された体が既知の体と一致すると判定された場合、本システムは、ステップ340において、その発見された体が、1つのみの既知の体と一致するのか否かチェックする。即ち、発見された体は、以前に識別され格納されている体の骨格的特徴に十分近い骨格的特徴を有する場合がある。ステップ340において、本システムが、発見された体が1つの既知の体のみと一致すると判定した場合、ステップ344において、この発見された体に、既知の体と一致したという印を付け、本システムはステップ320に戻り、走査して他の体を捜す。そうではなく、ステップ340において、発見された体が1つよりも多い既知の体と一致すると判定された場合、ステップ346において、発見された体に、曖昧さが伴うという印を付け、次いで本システムはステップ320に戻り、フレームを走査して他の体を捜す。0063ステップ326において、フレームには他に走査すべき物体がないと本システムが判断した後、本システムは、ステップ350において、現フレームに対する体位置を更新し、ステップ354において全ての体一致を登録および格納する。また、ステップ354において、発見された体識別における曖昧さも格納する。0064先に示したように、音技術は、マイクロフォンアレイによって拾い上げることができる種々のサウンドおよび背景ノイズから、人間の声を選別し識別することができる。図5のフローチャートに関して先に説明した体のサーチおよび登録と同時に、これから図6に関して説明するように、本システムは、音声もサーチし登録する。音声を登録するために、本システムは、ある音声を他の音声と区別して識別するのに十分な種々の音素を含む、音素的に豊富なデーターを収集する。0065音声を登録するプロセスは、ステップ360から開始して、識別された音声を、見える体と相関付けることができるか否か判定を行う。ステップ360については、図7のフローチャートを参照して、以下で更に詳しく説明する。ステップ362において、本システムは、登録する音声の発生源位置を推定する。先に説明したように、種々の音発生源定位技法の内任意のものを、この目的のために使用することができる。実施形態は、低コストの消費者向けシステムでは、発生源位置±何らかの許容範囲レベルを返す音定位技法を採用してもよい。ステップ363において、本システムは、撮像カメラコンポーネント22の視野内にある発生源から、即ち、図1Aおよび図1Bに示した光線AおよびBの間から、音声が必ず来なければならないか否か判定を行う。そうでない場合、本システムは、ステップ364において、音声は見える体と相関付けられていないと判定する。0066一方、音声が視野内から来る場合、本システムは、ステップ366において、推定された音声の発生源において体があるか否か判定を行う。ない場合、本システムは、ステップ364において、音声が見える体と相関付けられていないと判断する。一方、推定された音声の発生源において体が検出された場合、本システムは、次にステップ368において、可能な音声の発生源の範囲内に1つよりも多い体があるか否かチェックする。ある場合、本システムは、ステップ364において、音声を1つの見える体と相関付けることができない。一方、本システムがステップ363、366、および368におけるチェック全てに通った場合、本システムはステップ370において音声を1つの見える体と明確に相関付けることができる。0067図6のフローチャートに戻って、本システムがステップ360において音声を見える体と相関付けることができない場合、ステップ372において、発声は登録の適格性がなく、実施形態では、本システムはこの発声を登録のために使用せず、それを特定の人と関連付けない。実施形態では、口頭命令またはコマンドの音声認識のために、この発声を本システムによってなおも使用することもできる。0068実施形態では、ステップ372において発声に登録の適格性がない場合、本システムは、ステップ373において、視野の中にいる一人以上のユーザーに、発話することおよび何らかの物理的行為を行うことを促すことができる。この物理的行為とは、例えば、視野内で、他のユーザーとは離れて立つことであってもよい。このように、音声データーを受け取ることに加えて、本システムは、話者を能動的に特定し、要求された行為を行った者として登録することができる。これらの物理的行為は、ゲームまたはアプリケーションメトリックの一部であっても、あるいはゲームまたはアプリケーションメトリックの外部であってもよい。他の実施形態では、ステップ373を省略することもできる。省略する場合、ユーザーは、登録による押し付けを殆ど体験しなくて済むが、登録の完了はユーザーの偶然の行為に委ねられることもある。0069一方、ステップ360において、音声が見える体と相関付けられていると判定された場合、本システムは、次にステップ374において、識別された見える体が、直前の登録発声から連続しているか否かチェックする。言い換えると、本システムがステップ360において音声を見える体と相関付けた場合、本システムは、ステップ374において、直前のフレームからのその体が、現フレームにおいてステップ360で識別された体の位置に連続的に移動した可能性があるか否かチェックする。ステップ374において、直前のフレームにおいて音声が関連付けられた体が、現フレームにおいて音声が関連付けられた体である可能性がないと判定された場合、本システムは以前の相関を正しくないものとして扱う。このような場合、本システムは、ステップ376において、この音声に対して、ステップ360において識別された体との新たな登録プロセスを開始する。次に、ステップ378において発声が登録に追加される。0070ステップ380において、本システムは登録が完了したか否かチェックする。即ち、本システムが所与の音声を他の音声から区別して、明確に識別することを可能にする程十分な音素データーが既に収集されたか否か、本システムがチェックする。収集されていない場合、発声は登録に十分ではないが、実施形態では、一旦必要となる多様な音素データーが収集されたなら今後の発声と共に使用して登録を確定するために、ステップ381においてこれを格納することができる。一方、本システムがステップ380において登録が完了したと判断した場合、本システムはステップ382において、登録した音声を保存し、ステップ384において、登録した音声を既知の体と関連付けて格納する。次いで、本システムは、既知の体と相関付けられた既知の音声を返す。0071実施形態では、ステップ380において登録が完了していない場合、本システムは、ステップ383において、視野の中にいる一人以上のユーザーに、発話するように促すことができる。本システムによるこの動作は、ゲームまたはアプリケーションメトリックの一部としてマスクすることができ、あるいはゲームまたはアプリケーションメトリックの外側にあってもよい。ステップ383が実行される場合、特定の登録されているユーザーに、ある種の音素が豊富な単語および/またはサウンドを発話するように促して、一旦発話されたならば、本システムが、後の発声のために、このユーザーの音声をこのユーザーの既知の体と共に登録できるようにしてもよい。ステップ383を省略してもよく、その場合、ステップ380において登録することができなかった場合、前述のように、未知の音声が返されることもある。0072図6に関して以上で説明したように、本技術の動作は、新たな音声を登録および格納し、更に、この音声を明確に既知の体と関連付けることができるか否か判定する。前述のように、本システムがある音声を聞いても、その音声を1つの体と明確に相関付けることができない場合も多いと考えられる。したがって、本技術は、音声-体相関を評価し、明確にし、そして再確認するステップを含む。これより、図8Aおよび図8Bのフローチャートに関して、このプロセスについて更に詳細に説明する。0073一般に、マイクロフォンアレイ32は、発声された音声を聞き取り、音声の発声を検出したときに、図8Aおよび図8Bに関して以下で説明するステップ386~432を実行する。1つよりも多い音声が同じ時間期間において検出される可能性もある。本システムは、マイクロフォンアレイ32が別々にそして個々に知覚することができる発声された音声毎に、図8Aおよび図8Bのステップを実行することができる。本システムは、フレーム毎に1回、所定数のフレーム毎に1回、図8Aおよび図8Bのステップ全てを実行して、音声-体相関を連続的に、ときの経過と共に評価し、明確にし、そして再確認することができる。0074ステップ386において、本システムは、発声が、登録されている音声であるか否かチェックする。そうでない場合、本システムは、図6に関して先に説明したように、ステップ360に進み、その音声を登録することを試み、それが視野内にある体と明確に関連付けられているか否か調べる。0075ステップ386において、音声が登録されていると判断された場合、本システムは、ステップ388において、その音声が既知の体と以前にも一致しているか否かチェックする。していない場合、本システムは、図8Bのステップ416に関して以下で説明するように、その音声と視野の中にある体との間に空間的一致があるか否か判定を行う。しかしながら、ステップ388において、その音声の既知の体との一致が以前にあったと判断された場合、本システムは、ステップ390において、その既知の体が視野の中で見ることができるか否かチェックする。見えない場合、本システムは、ステップ394において、発声された音声と、視野の中で見ることができる体との間に空間的一致があるか否かチェックする。本システムは、ステップ394を実行して、ステップ388において引き出された音声-体の関連付けが正しいか否かチェックする。即ち、ステップ394において、音声と見える体との間に一致があるが、ステップ390において、以前に識別された体が見えないと判定された場合、本システムは、以前の音声-体相関が正しくないかもしれず、曖昧さが存在するかもしれないと判断する。本システムは、この曖昧さを書き留め、以下で説明するステップ404に進む。例えば、図7において先に説明したように、音声の近似発生源を判定し、その近似発生源に体があるか否か確認することによって、ステップ394を実行することができる。0076ステップ390において、以前に音声と一致した体が見ることができないと判断され、ステップ394において、そのときに見ることができた体に対する音声の一致がないことが確認された場合、ステップ398における直前の関連付けが維持され、本システムは、既知の音声を既知の体と共に返す。一方、ステップ390において、その音声と以前に一致した体が見えると判定された場合、本システムは、次にステップ400において、その音声と既知の体との空間的一致が満足のいく一致であるか否か、即ち、空間的一致が明確であるか否かチェックする。ステップ400は、例えば、図7において先に説明したように、実行することができる。0077本システムは、所与の音声-体の関連付けが、複数の異なるサンプリングにおいて曖昧のままであるか否か追跡する。複数の異なるサンプリングにおいて音声-体の関連付けを検査した後、本システムが、排除のプロセスによって、その音声が実際にその体と関連付けられていることを明確に判定できない場合、本システムは、この関連付けを、維持するには曖昧過ぎるものとして扱うことができ、その関連付けを除去する。したがって、ステップ404において、本システムは、所与の音声-体の関連付けが何回曖昧であると見なされたのか記録する。ステップ406において、本システムは、ステップ404における記録が何らかの曖昧さしきい値を超えたか否か判定を行う。超えた場合、ステップ410において、以前に識別された関連付けが除去され、本システムは、既知の音声を、既知の体と関連付けずに、返す。ステップ406における記録が曖昧さしきい値を超えていない場合、本システムは、ステップ408において、この関連付けを維持し、既知の音声-体の関連付けを返す。実施形態では、曖昧さしきい値は、例えば、3および6の間にすることができる。このように、例えば、しきい値を5に設定し、本システムが、5回のサンプリングの後、所与の音声と体との間の関連付けの曖昧さを打ち消すことができない場合、本システムはこの関連付けを除去する。他の実施形態では、曖昧さしきい値は3よりも小さくても、そして6よりも大きくてもよい。0078以上で説明したのは、ステップ400において空間一致が曖昧であった場合に、システムが行うことである。しかしながら、ステップ400において、空間位置が明確であると判定された場合、本システムは、ステップ414において、音声と一致した体が、以前に曖昧であると見なされたことがあるか否か判定を行う。ある場合、本システムは、図8Bのステップ430を参照して以下で説明するように、関連付けを更新して曖昧さを除去する。一方、ステップ414において、格納されている音声-体の関連付けが曖昧ではなかったと判定された場合、本システムはステップ408においてこの関連付けを維持し、本システムは既知の音声を既知の体と共に返す。0079前述のように、ステップ390以降が実行されるのは、ステップ388において、音声が既知の体と以前から関連付けられていると判定された場合である。しかしながら、ステップ388において、登録されている音声が以前に既知の体と一致していないと判定された場合、本システムは図8Bのステップ416を実行する。ステップ416では、音声と視野の中にいる一人以上のユーザーとの間に関連付けが存在するか否か判定することを試みる。ステップ416において、音声が属するはずである一人のユーザーを明確に特定できるということも起こり得る。例えば、図7に関して先に説明したように、本システムは、音声が視野内から来ており、視野の中には一人の人しかいないと判定する場合もある。0080あるいは、明確ではないが、ステップ416において、音声と関連付けることができる一人以上のユーザーを識別することもある。この判定を行うために、本システムは、種々のファクターを採用し、採点された信頼レベルに達するように、これらを適用することができる。一般に、ファクターを考慮したときに、しきい値よりも高く音声を体と関連付けることができれば、その音声-体の関連付けは格納され、そして返される。実施形態では、スコアーに寄与することができるファクターは、以下の内1つ以上を含むことができる。00811つのファクターは、音声発生源の推定位置がどれくらい既知の体に近いかとすることができる。体が、音定位技法によって推定された正確な位置にある場合、このファクターは、体が音声の推定位置から離れている場合よりも高いスコアーを出すことになる。スコアーの一部をなす他のファクターは、視野の中にいくつの体があるかとすることができる。体が多い程、音声のこれらの体の内任意のものに対する相関において、信頼度が低くなる。逆に、視野の中にいる一人の人が、音声が以前に関連付けられた人である場合、その結果得られるスコアーは、この相関付けられた音声および体間における高い空間一致を示すことが多くなる。0082スコアーに寄与する他のファクターは、聞かれている音声の数である。このファクターはスコアーから減算するか、またはスコアーに加算することができる。例えば、ノイズが多くあり過ぎて、考慮しようとしている音声の発生源を精度高く決定することができない程に多くの音声がある場合、これは、その音声の識別された体への関連付けのスコアーを下げることにつながる。一方、考慮対象の音声に加えて聴取された音声が、以前に他のユーザーと関連付けられており、これらのユーザーが視野の中にいる場合、このファクターは、考慮対象の音声と以前に識別された体との間における関連付けを測定するスコアーに追加することができる。0083視野の中にいる人数に加えて、これらの人々の推定音声発生源までの近さも、スコアーに影響を及ぼす他のファクターとなる。二人以上の人が推定発生源の近くいる場合、これはスコアーを下げることにつながり、一方視野の中に複数の人がいるが、以前に一致した人だけが推定発生源の近くいる場合、これはスコアーを上げることにつながる。0084スコアーに寄与する他のファクターは、音声の発生源が視野内のエッジ付近ではなく、中心に来るように推定されているか否かである。音声が視野のエッジ付近にあると推定されたときには、この音声は、視野の中にいて以前に一致した人からである可能性や、視野の外側にいる人からである可能性がある。つまり、人と音声との間における空間一致が、視野の中心にあると推定されると、視野のエッジにある場合よりも高いスコアーが得られる。尚、音声と体との間に相関があるか否かを指示するスコアーに達するためには、追加のファクターも使用してよいことは、当業者には認められよう。0085異なる実施形態では、採点された信頼レベルに達するときに、前述のファクターの内1つ以上を使用することができる。前述のファクターの内1つ以上に加えて、またはその代わりに、他のファクターを使用することもできる。実施形態では、使用されるファクターに重み付けし、量子化して、特定の音声-体対に関して使用されるファクターを考慮するときに、数値スコアーが得られるようにすることができる。しきい値信頼レベルを任意に選択することができ、これよりも高いスコアーは、有意であり、音声と体との間の関連付けを格納するのに十分であると言われる。0086ステップ416において、明確な識別または信頼レベルのスコアーに達した後、本システムは、ステップ420において、作られた任意の関連付けに対する証拠スコアーを更新する。ステップ424において、本システムは、明確な一致、またはしきい値信頼レベルを超えるスコアーが得られる一致が発見されたか否かチェックする。発見されていない場合、本システムは、既知の音声に一致する既知の体は発見されなかったことを返す。一方、ステップ424において、1つ以上の体が、しきい値信頼レベルよりも高く音声に一致することが発見された場合、ステップ428において、これらの関連付けを記録し、本システムは、既知の音声が少なくとも1つの既知の体と関連付けられたことを返す。先に示したように、図8Aおよび図8Bのステップを次に複数のサンプリングにおいて繰り返して、どの体に音声が属する可能性があるかについて、排除のプロセスによって、関連付けが明確となるようにすることができ、あるいは複数回のサンプリングの後でも曖昧なままである場合、関連付けを除去することもできる。0087図8Aに関して先に説明したように、ステップ414において、格納されている体識別が曖昧でないと判定された場合、ステップ414に続いてステップ408を実行する。しかしながら、ステップ414において、格納されている体識別が曖昧であると判定された場合、本システムは、図8Bに示すように、ステップ430を実行する。即ち、ステップ388、390、および400において、音声が1つ以上の既知の体との関連付けを有すること、これら既知の体の内1つが見えること、そしてその既知の体との空間一致が明確であることを判定する。次いで、ステップ414において、メモリーを調べて、1つよりも多い体が、ストレージにおいて、その音声と関連付けられているか否か判定を行う。1つよりも多い体がある場合、証拠を更新して音声と体との間における明確な相関を示すことによって、ステップ430において、現行のサンプリングがその関連を明確にする。0088本システムが、音声がユーザーと明確に関連付けられたと判断した後であっても、本システムは、その関連付けにおいてエラーの可能性があれば、そのエラーにも対処する。即ち、同じ音声がメモリーにおける他のユーザーと明確に関連付けられていること、またはそのユーザーがメモリーにおける他の音声と明確に関連付けられていることも可能な場合がある。このため、ステップ432において、曖昧さが解消されたか否か判定を行う。解消されている場合、本システムは既知の音声を既知の体と共に返す。解消されていない場合、本システムは、既知の音声を返すが、関連のある既知の体を付けない。次いで、複数のサンプリングにおいて図8Aおよび図8Bのステップを繰り返して、再度、どの体に音声が属する可能性があるかについて、排除のプロセスによって、関連付けが明確となるようにすることができ、あるいは複数回のサンプリングの後でも曖昧なままである場合、関連付けを除去することもできる。0089以上で説明したシステムを使用すると、ゲーミング、マルチメディア、または他のマルチユーザーアプリケーションにおいて、音声を体と相関付けることができる。1回のサンプリングで音声を体に明確に関連付けることができるシステムも存在するかもしれないが、これらのシステムは、殆どのゲーミング、マルチメディア、または他の消費者ベースシステムでは実用可能でない高価な精密システムを必要とする。しかしながら、従来のシステムとは異なり、本システムは、使用される機器が1回のサンプリングでこのような相関を判定することができなくても、信頼性のある音声-体相関を行うことができる。更に、登録されているユーザーを使用して開始するシステムも知られている。即ち、1組のユーザーが、既知の登録されている体シグネチャーおよび/または既知の登録済み音声を有する。従来のシステムは、未知の体シグネチャーおよび未知の音声を有するユーザーを使用して開始して、音声-体相関を行うことができない。本技術は、このような相関を行うことを可能にする。0090以上、種々の図において示したような、好ましい態様と関連付けて本開示について説明したが、他の同様の態様も使用することができ、あるいは、本開示から逸脱することなく、その同じ機能を実行するために、変更や追加を、記載した態様に対して行うことができることも言うまでもない。したがって、本開示は、いずれの一態様にも限定されることはなく、逆に、添付した特許請求の範囲にしたがって、その広さおよび範囲が解釈されてしかるべきである。例えば、本明細書において記載した種々の手順は、ハードウェアまたはソフトウェア、あるいは双方の組み合わせで実現することができる。つまり、開示した実施形態の方法および装置、あるいはある種の態様またはその一部は、フロッピーディスケット、CD-ROM、ハードドライブ、または任意の他の装置読み取り可能記憶媒体というような、有形媒体に具体化されたプログラムコード即ち、命令の形態をなすことができる。このプログラムコードが、コンピューターのような装置にロードされこれによって実行されると、この装置が、開示された実施形態を実施するように構成された装置となる。本明細書において具体的に明示された特定の実施態様に加えて、ここに開示した明細書から、他の態様や実施態様も当業者には明白であろう。本明細書および例示した実施態様は、例としてのみ解釈されることを意図している。"