"最適画像をユーザーに提示する方法であって、物理的環境におけるユーザーの視野に基づいて、最適画像を作成するステップと、前記ユーザーの焦点領域を判定するために、前記視野に対する目の位置および動きを追跡するステップと、前記ユーザーの焦点領域において、前記最適画像の一部を前記ユーザーに光学的に結合するステップと、前記ユーザーについて次の目の動きを予測するステップと、前記次の目の位置における前記ユーザーの焦点領域において、前記最適画像を前記ユーザーに光学的に結合するステップと、を備えている、方法。請求項1記載の方法において、最適画像を作成する前記ステップが、前記ユーザーの視野を判定し、場面におけるユーザーの位置に基づいて最適画像を作成するステップを含む、方法。請求項1記載の方法において、前記最適画像の一部を提示する前記ステップが、前記視野に対する前記最適画像の一部を判定し、前記一部をユーザーの目の眼窩に結合するステップを含む、方法。請求項1記載の方法において、光学的に結合する前記ステップが、頭部装着ディスプレイ上において、前記焦点領域における前記目の位置に、前記画像の部分を位置付けるステップを含む、方法。請求項4記載の方法において、光学的に結合する前記ステップが、前記画像の投射を反射する機械制御ミラーを用いて、前記画像の部分を位置付けるステップを含む、方法。請求項4記載の方法において、光学的に結合する前記ステップが、ユーザーの各目の前に配置された発光ディスプレイを用いて、前記画像の部分を位置付けるステップを含む、方法。請求項1記載の方法において、光学的に結合する前記ステップが、前記環境における実世界物体を際立たせるステップを含む、方法。頭部装着ディスプレイデバイスであって、ユーザーの焦点領域に、最適画像の少なくとも一部を結合するディスプレイと、前記頭部装着ディスプレイデバイスについて配向情報を検知する慣性センサーと、ユーザーの目の位置を検出する目追跡センサーと、前記ディスプレイ、慣性センサー、および目追跡センサーと通信する少なくとも1つの演算装置と、を備えており、前記演算装置が、前記画像の一部が前記ユーザーの焦点領域に結合されるように、前記ディスプレイに対する前記ユーザーの現在の目の位置に、前記最適画像の最適部分を自動的に表示し、前記ユーザーの次の目の位置を判定し、前記画像の一部が、前記次の位置において前記ユーザーの焦点領域に結合されるように、前記ディスプレイに対する前記ユーザーの前記次の目の位置に、前記最適画像の他の最適部分を表示する、頭部装着ディスプレイ。請求項8記載の頭部装着ディスプレイにおいて、前記ディスプレイが、画像プロジェクターと、前記ユーザーが位置する場面において、前記ユーザーが物体を見ることができるように、前記ディスプレイと位置合わせされている導光光学エレメントと、を備えており、前記ディスプレイが、更に、機械制御エレメントに結合されたミラーを備えており、前記制御エレメントが、前記少なくとも1つの演算装置に応答して、前記画像の最適部分を位置付ける、頭部装着ディスプレイ。請求項8記載の頭部装着ディスプレイにおいて、前記少なくとも1つの演算装置が、ハブ計算デバイスと通信して、1つ以上の物体を特定する空間の三次元モデルを受け取り、前記少なくとも1つの演算装置が、ユーザーの視野を判定し、第1物体が前記視野の中にあるか否か判定し、前記ディプレイにおける前記第1物体の位置を判定し、前記場面におけるユーザーのサイズおよび向きに基づいて、前記最適画像のサイズおよび向きを調節する、頭部装着ディスプレイ。0031ニアアイディスプレイデバイスを用いたときのユーザーの体験を改良する技術を開示する。ユーザーは、頭部装着ディスプレイデバイスのようなニアアイディスプレイデバイスを介して場面を見る。ユーザーの視野は、ユーザーが見ている環境または空間であり、このユーザーの視野を判定する。この視野に関して用いるのに最適な画像をレンダリングする。視野におけるユーザーの目の位置を追跡することによって、ユーザーの焦点領域を判定する。最適画像の表示は、この画像の最適部分をユーザーの焦点領域、1つの場合では、ユーザーの眼窩に結合することによって行われ、表示に必要とされる処理およびエネルギーを低減する。ユーザーの目の位置を追跡し、次の目の位置を計算し、ユーザーの目の次の位置への動きと同時に、その次の位置に画像のその部分を位置付ける。0032画像の最適部分の位置付けは、多数の異なるディスプレイデバイスのいずれでも行われ、機械的に制御されるミラーおよび投射ディスプレイが含まれる。ユーザーの目の潜在的な次の位置を判定するために、予測アルゴリズムを用いる。0033図1は、ユーザーの意図に基づいて最適画像を生成するシステム10の一実施形態のコンポーネント例を示すブロック図である。システム10は、ワイヤ6を通じて演算装置4と通信するニアアイ頭部装着ディスプレイデバイス2のような、透視ディスプレイデバイスを含む。他の実施形態では、頭部装着ディスプレイデバイス2は、ワイヤレス通信によって演算装置4と通信する。図1のコンポーネントは透視ディスプレイデバイスを示すが、本技術と共に用いるのに適した他のデバイスの実施形態を、図3B~図3Dに示す。0034頭部装着ディスプレイデバイス2は、一実施形態ではめがねの形状であり、ユーザーがディスプレイを透視しこれによってユーザーの前方にある空間の実際の直接視を有することができるように、ユーザーの頭部に着用する。実際の直接視という用語の使用は、形成された物体の画像表現を見るのではなく、人間の目で直接実世界の物体を見る能力を指す。例えば、ガラスを通して室内を見ると、ユーザーはその部屋の実際の直接視を有することができ、一方テレビジョンにおいて部屋のビデオを見ることは、その部屋の実際の直接視ではない。頭部装着ディスプレイデバイス2のこれ以上の詳細については、以下で説明する。図1および図3A~図3Dに示すデバイスはめがねの形状となっているが、頭部装着ディスプレイデバイス2は、ゴーグルが付いたヘルメットというような、他の形態をなしてもよい。0035一実施形態では、演算装置4は、ユーザーの手首に着用され、頭部装着ディスプレイデバイス2を動作させるために用いられる計算パワーの多くを含む。演算装置4は、1つ以上のハブ計算システム12にワイヤレスで通信する例えば、WiFi、Bluetooth登録商標、赤外線、または他のワイヤレス通信手段。0036ハブ計算システム12は、コンピューター、ゲーミングシステムまたはコンソール等であってもよい。一実施形態例によれば、ハブ計算システム12は、このハブ計算システム12が、ゲーミングアプリケーション、ゲーム以外のアプリケーション等のようなアプリケーションを実行するために用いることができるように、ハードウェアコンポーネントおよび/またはソフトウェアコンポーネントを含むことができる。一実施形態では、ハブ計算システム12は、本明細書において記載するプロセスを実行するためにプロセッサー読み取り可能記憶デバイスに格納されている命令を実行することができる、標準的なプロセッサー、特殊プロセッサー、マイクロプロセッサー等のようなプロセッサーを含むことができる。0037種々の実施形態において、図2Aおよび図8~図15に関して本明細書において説明するプロセスは、全体的にまたは部分的に、ハブ計算デバイス12または演算装置4のいずれか、および/またはこれら2つの組み合わせによって実行する。0038更に、ハブ計算システム12は、キャプチャーデバイス20Aおよび20Bのような、1つ以上のキャプチャーデバイスも含む。他の実施形態では、2つよりも多いまたは少ないキャプチャーデバイスを用いることができる。一実施態様例では、キャプチャーデバイス20Aおよび20Bは、部屋の異なる部分を取り込むように、異なる方向に照準を向けられている。尚、2つのキャプチャーデバイスの視野が多少重複し、ハブ計算システム12が、これらのキャプチャーデバイスの視野が互いにどのように関係するのか把握できるようにすると有利であると考えられる。このように、複数のキャプチャーデバイスを用いて、部屋全体または他の空間を見ることができる。あるいは、動作中に1つのキャプチャーデバイスをパンニングすることができ、関連する空間全体が経時的にそのキャプチャーデバイスによって見ることができるような場合、1つのキャプチャーデバイスを用いることもできる。0039キャプチャーデバイス20Aおよび20Bは、例えば、1人以上のユーザーおよび周囲の空間を視覚的に監視するカメラとするとよく、周囲の空間の構造だけでなく、1人以上のユーザーによって行われるジェスチャーおよび/または動きも取り込み、分析し、そして追跡して、アプリケーションにおいて1つ以上の制御または動作を実行する、および/またはアバターまたは画面上のキャラクターを動画化することができるとよい。0040ハブ計算システム12は、ゲームまたはアプリケーションの映像部分を供給することができるテレビジョン、モニター、高品位テレビジョンHDTV等のようなオーディオビジュアルデバイス16に接続されていてもよい。例えば、ハブ計算システム12は、ゲームアプリケーション、ゲーム以外のアプリケーション等と関連するオーディオビジュアル信号を供給することができる、グラフィクスカードのようなビデオアダプター、および/またはサウンドカードのようなオーディオアダプターを含んでもよい。オーディオビジュアルデバイス16は、ハブ計算システム12からオーディオビジュアル信号を受け取ることができ、次いでこのオーディオビジュアル信号と関連するゲームまたはアプリケーションの映像部分および/またはオーディオを出力することができる。一実施形態によれば、オーディオビジュアルデバイス16は、例えば、S-Videoケーブル、同軸ケーブル、HDMI登録商標ケーブル、DVIケーブル、VGAケーブル、コンポーネントビデオケーブル、RCAケーブル等によって、ハブ計算システム12に接続されるとよい。一例では、オーディオビジュアルデバイス16は内部スピーカを含む。他の実施形態では、オーディオビジュアルデバイス16、別個のステレオ、またはハブ計算システム12を外部スピーカ22に接続する。0041ハブ計算デバイス10は、キャプチャーデバイス20Aおよび20Bと共に、人間または他のタイプのターゲットを認識、分析、および/または追跡するために用いることができる。例えば、キャプチャーデバイス20Aおよび20Bを用いて、頭部装着ディスプレイデバイス2を着用しているユーザーを追跡することができ、ユーザーのジェスチャーおよび/または動きを取り込んでアバターまたは画面上のキャラクターを動画化することができ、および/またはハブ計算システム12が実行しているアプリケーションに作用するために用いることができる制御として、ユーザーのジェスチャーおよび/または動きを解釈することもできる。0042開示する技術の一実施形態では、以下で詳細に論ずるように、システム10は、ユーザーの視野および焦点領域を判定することに基づいて、ユーザーに最適な画像を生成する。この最適画像は、例えば、物体の強調した外観、または視野上に人工的に重ね合わせた物体を含むことができ、ユーザーに改良した体験を提供する。最適画像は、ユーザーの目の位置および移動パターンに応じて、最適な部分図2Bに示すが、頭部装着ディスプレイデバイス2を介して、ユーザーに表示される。0043図2Aは、ディスプレイにおいて最適画像の一部を目に結合する方法の一実施形態を示す。図2Aのプロセスについて、図2B~図2Gと関係付けて説明する。0044ステップ30において、ユーザーの視野および焦点領域を判定する。先に注記したように、ユーザーの視野は、ユーザーの環境または場面、ユーザーの頭部の位置および向き、ならびにユーザーの目の位置の関数である。図2Fは、環境1100におけるユーザー1112を示す。ユーザー1112は、照明1106、テーブル1120、処理デバイス1116、キャプチャーデバイス20A、20B、ディスプレイ1110、および時計1118を含む多数の物体を視野内線1121によって規定するで見ている様子が示されている。また、ユーザーは床1108および壁1102を見るが、椅子1107は見ず、壁1104の一部だけを見る。環境1100は、座標系1150に関して定義することができ、ユーザーの頭部位置は、第2座標系1152に関して定義することができる。0045一実施形態では、ユーザーの視野内における焦点領域とは、焦点曲線に沿った固定点150における領域である。例えば、瞳間の収斂は、焦点曲線147上にある焦点、即ち、ホロプターまで三角測量するために用いることができ、ホロプターから、焦点領域およびパナムの融合エリアを計算することができる。パナムの融合エリア147とは、一方の網膜におけるいずれの点も他方の網膜上の1つの点と融合するような網膜のエリアであり、人間の目による両眼立体視に対する単一視のエリアを形成する。図2Eに示すように、各ユーザーの目は、中心窩を含む。これは、一般に眼窩としても知られており、網膜の黄斑領域の中心に位置する。眼窩は、鮮明な中心視野を担う眼窩視野とも呼ばれる。これは、読むため、テレビジョンまたは映画を見るため、運転するため、および視覚的詳細が最も重要であるいずれの活動のためにも必要となる。図2Eにおいて、眼窩は148および149で示されている。0046眼窩148、149に対して最適画像を向けるまたは結合すると、ユーザーは画像の最適部分に対する視野に確実に焦点を合わせることができる。加えて、眼窩に結合するために必要な画像の部分は比較的小さく、網膜上において直径約1mmの画像である。頭部装着ディスプレイ2によって比較的小さいエリア部分をレンダリングするため、頭部装着ディスプレイ2に対する電力要件が低下する。0047ステップ32において、判定した視野に対して、ユーザーに表示する最適画像を作成する。最適画像は、アプリケーションがその画像をレンダリングすることによって決定され、視野内の1つ以上の個々のオーバーレイ画像を含むか、または視野全体を覆う。0048図2Bは、画像がディスプレイ上に投射されていないときに、ユーザー1112が環境1100においてディスプレイデバイスを介して何を見るかを示す。図2Cは、図2Bにおける場面に投射することができる最適画像を示す。図2Cの例では、最適画像1200は、環境1100の場面を完全に遮っている。この例では、この場面は、男性1128、鳥のイメージ1126、およびトロフィー1127を描画する。一実施形態では、画像をレンダリングするアプリケーションは、場面におけるこれらのエレメントの外形および位置を決定しており、更にこのような物体が、照明1106、時計1118、およびディスプレイ1110というような実世界の物体を遮るか否か判断し終えている。0049ステップ34において、ユーザーの目の現在の位置を判定し、36において、この目の現在の位置において、ユーザーの焦点領域に、最適画像の最適部分を結合する。一例では、これを図2Dに示し、鳥のイメージ1126の画像が、際立って実世界環境1100上に重ね合わせて示されている。この鳥のイメージ1126は、画像のバランスに関して際立っている。一実施形態では、最適画像の他のエレメントこの場合、男性およびトロフィーはレンダリングされないか、または解像度を落としてレンダリングされる図示しない。更に他の態様では、この部屋の他の視覚的エレメントは、ユーザーの視野から遮られてもよい。0050ディスプレイデバイスの処理パワーを、ユーザーの中心視覚に結合される画像の最適部分をレンダリングすることのみに集中することによって、最適画像における他のエレメントをレンダリングしないで済ませるか、または、最適画像よりも低い正確度、したがって少ないリソースでレンダリングしてもよい。一実施形態では、最適画像は画像全体の内の断片である。正常な目の瞳は、直径が、明るい場合の1mmと暗い場合の7mmとの間であると考えられる。表示は、通常、直径3mmの光に最適化されている。瞳上における画像の一部に集中することによって、画像光をユーザーの焦点領域に直接変換することができ、画像を生成するために必要な光を大幅に減少させることができる。0051画像の一部を対象者の瞳上に集中するために、画像によって生成される光線に、方向および瞳上の目標点を与える。目の近傍からの光線の一部はその目の瞳に入るが、瞳に入らない光線は無駄になり、電力を消費し、他の望ましくない影響を及ぼす可能性もある。0052一般に、離れた地点からの光線は、目の近傍において全てほぼ平行となり、ほぼ共通の方向を共有すると考えることができる。理想的には、目の光学系がこれらの光線を、網膜上の眼窩領域において合焦させる。異なる方向からの平行な光線は、異なる点として見られる。0053目の瞳において画像を最適化するために、頭部装着ディスプレイは、画像からの光線が導かれる瞳における方向および入射点を変更する。対象者が自由空間において光学エレメントを介して見た場面の光学的歪みを補正しようとする場合、本技術における頭部装着ディスプレイの機構によって、画像表示の補正および誘導が行われる。0054本技術によれば、以下で説明する実施形態の位置付けシステム160および160aが、画像をユーザーに反射するマイクロディスプレイまたはミラーの方向的位置付けを行う手段を有する。この方向的位置付けは、ディスプレイまたはミラーに対する画像の位置付けと共に、目の位置に対して最適な位置および方向を規定する。これは、例えば、ディスプレイ153またはミラー166を三次元で傾けることによって行うことができ、画像は、ディスプレイまたはミラー上において、ミラーまたはディスプレイ上の適正な位置にレンダリングされる。0055尚、以下で明記することに加えて、表示画像の方向を最適化するためには、種々の他のタイプの機械式または電気機械式エレメントを設けてもよいことは認められよう。この方向的位置付けを、本技術の予測目追跡と併せることによって、システムにとって最適な処理が行われる。0056この画像の最適部分の結合を維持するために、ステップ38において、次にありそうなユーザーの目の動きを追跡し、ステップ40において、最適表示画像の他の最適部分を、240における次の位置において、ユーザーの焦点領域に結合する。視野が44において変化した場合、新たな視野を32において判定する。44において、視野が変化しない場合、38において、ユーザーの目が実際に予測した位置に移動したか否かについて判定を行い、本方法は、38において、潜在的な次の目移動位置を計算する。44における目の現在の位置の追跡、および38における次の位置の計算のループは、相応しい視覚体験を提供するために、1つ以上のマイクロプロセッサーまたは専用追跡回路によって、ユーザーの目の移動と同時に、最適画像の当該部分をこの移動の次の位置に持って行くために、ほぼ瞬時に行うことができる。0057尚、以上で述べた説明における次のおよび現在のという用語の使用は、画像の1つの部分に限定される必要はないことは認められてしかるべきである。例えば、図2Gを参照すると、ステップ36または40において現在の位置としてレンダリングされる各部分は、図2Aにおいて説明した各現在のおよび次の部分が2つの画像部分を含むことができるように、第1時点Tにおける画像の部分画像1126、およびユーザーの目が時点t2において位置すると予測される第2時点T2における画像の部分画像1135を含むとよい。0058更にまた、画像1200の代わりの部分を、ユーザーの目をその位置に引きつけるために、全体的にまたは部分的に最大解像度でレンダリングしてもよいことも認められてしかるべきである。例えば、ユーザーの目の動き、およびユーザーの注意をアプリケーションの所与のコンテキストに引きつけるために、アプリケーションがプレーヤー1128またはトロフィー1127をレンダリングすることを選択することもできる。0059更に、本技術は、オーバーレイ画像の使用を必要とせず、ユーザーの環境を参照することなく、画像のみをユーザーに表示するために用いることができるという利点があることも認められてしかるべきである。0060図3Aは、頭部装着ディスプレイデバイス2の一部の上面図を示し、弦102および鼻ブリッジ104を含むフレームの一部を含む。頭部装着ディスプレイデバイス2の右側だけが図示されている。鼻ブリッジ104の中には、以下で説明するように、音を記録しそのオーディオデーターを演算装置4に送信するマイクロフォン110が組み込まれている。頭部装着ディスプレイデバイス2の前方には、ビデオおよび静止画像を取り込むことができるビデオカメラ113に面する部屋がある。これらの画像は、以下で説明するように、演算装置4に送信される。0061頭部装着ディスプレイデバイス2のフレームの一部が、ディスプレイ1つ以上の光学エレメントを含むを包囲する。頭部装着ディスプレイデバイス2のコンポーネントを示すために、ディスプレイを包囲するフレームの一部は図示されていない。一実施形態では、このディスプレイは、導光光エレメント112、不透明フィルター114、透視レンズ116、および透視レンズ118を含む。一実施形態では、不透明フィルター114は、透視レンズ116の後ろにあってこれと整列されており、導光光学エレメント112は不透明フィルター114の後ろにあってこれと整列されており、透視レンズ118は、導光光学エレメント112の後ろにあってこれと整列されている。透視レンズ116および118は、めがねに用いられる標準的なレンズであり、いずれの処方に合わせてでも処方がない場合も含む作成することができる。一実施形態では、透視レンズ116および118は、可変処方レンズと置き換えることができる。実施形態の中には、頭部装着ディスプレイデバイス2が1つの透視レンズしか含まない場合、または透視レンズを含まない場合もある。他の代替案では、処方レンズは導光光学エレメント112の内側に入ることができる。不透明フィルター114は、自然光画素毎または均一にのいずれかを排除して、仮想形像のコントラストを強調する。導光光学エレメント112は、人工光を目まで伝える。不透明フィルター114および導光光学エレメント112のこれ以上の詳細については、以下で説明する。0062弦102には、またはその内側には、画像ソースが装着されており、一実施形態では仮想画像を投射するマイクロディスプレイアセンブリー120と、マイクロディスプレイ120からの画像を導光光学エレメント112に導く連ス122とを含む。一実施形態では、レンズ122は平行化レンズである。0063制御回路136は、頭部装着ディスプレイデバイス2の他のコンポーネントをサポートする種々の電子回路を設ける。制御回路136のこれ以上の詳細については、以下で図3に関して示すことにする。弦102の内側には、イヤホン130、慣性センサー132、および温度センサー138があり、またはこれらは弦102に取り付けられる。一実施形態では、慣性センサー132は、三軸磁力計132A、三軸ジャイロ132B、および三軸加速度計132C図5参照を含む。慣性センサーは、頭部装着ディスプレイデバイス2の位置、向き、急激な加速を検知するためにある。0064マイクロディスプレイ120は、レンズ122を通して画像を投射する。マイクロディスプレイ120を実現するために用いることができる、異なる画像生成技術がある。例えば、マイクロディスプレイ120は、透過型投射技術を用いて実現することができる。この場合、光源は、白色光によるバックライトを受ける、光学的にアクティブな材料によって変調される。これらの技術は、通常、強力なバックライトおよび高い光エネルギ密度を有するLCD型ディスプレイを用いて実現されている。また、マイクロディスプレイ120は、反射技術を用いて実現することもできる。この場合、外部光が反射され光学的にアクティブな材料によって変調される。技術に応じて、白色光源またはRGB光源のいずれかによって、照明を前方に発する。ディジタル光処理DLP、シリコン上液晶LCOS、およびQualcommincクアルコム社からのMirasol登録商標表示技術は全て、反射技術の例である。これらの技術は、殆どのエネルギーが変調構造から遠ざかるように反射されるので効率的であり、本明細書において記載するシステムにおいて用いることができる。加えて、マイクロディスプレイ120は、発光技術を用いて実現することもできる。この場合、ディスプレイによって光を生成する。例えば、MicrovisionIncマイクロビジョン社からのPicoP登録商標は、レーザー信号を、マイクロミラー制御によって、透過エレメントとして作用する小さな画面上に出すか、または直接目に向けて放つ例えば、レーザー。0065導光光学エレメント112は、マイクロディスプレイ120からの光を透過させて、頭部装着ディスプレイデバイス2を着用しているユーザーの目140に向かわせる。また、導光光学エレメント112は、矢印142によって示されるように、頭部装着ディスプレイデバイス2の前方からの光も、導光光学エレメント112を介して目140に向けて透過させることができ、これによってユーザーがマイクロディスプレイ120からの仮想画像を受け取ることに加えて、頭部装着ディスプレイデバイス2の前方にある空間の実際の直接視を有することを可能にする。つまり、導光光学エレメント112の壁は、透けて見える。導光光学エレメント112は、第1反射面124例えば、ミラーまたは他の表面を含む。マイクロディスプレイ120からの光は、レンズシステム122を通過して、反射面124に入射する。反射面124は、マイクロディスプレイ120からの入射光を反射して、導光光学エレメント112を構成する平面基板の内側に、内反射によって光が取り込まれるようにする。この基板の表面を数回反射した後、取り込まれた光波は、選択的反射面126のアレイに到達する。尚、図面が混みすぎるのを防止するために、5つの表面の内1つだけに126を付していることを注記しておく。反射面126は、基板の外側からこれらの反射面上に入射した光波を、ユーザーの目140に結合する。異なる光線が進行し異なる角度で基板の内側から反射すると、異なる光線が種々の反射面126に異なる角度で衝突する。したがって、異なる光線が、反射面の異なる1つ1つによって、基板から反射される。どの光線をどの表面126によって基板から反射させるかという選択は、表面126の適した角度を選択することによって管理される。導光光学エレメントについてのこれ以上の詳細は、米国特許出願公開2008/0285140、第12/214,366号において見いだすことができる。この出願は、Substrate-GuideOpticalDevice基板誘導光学デバイスと題し、2008年11月20日に公開された。この出願をここで引用したことにより、その内容全体が本願にも含まれるものとする。一実施形態では、各目がそれ自体の導光光学エレメント112を有する。頭部装着ディスプレイデバイスが2つの導光光学エレメントを有するとき、各目は、それ自体のマイクロディスプレイ120を有し、双方の目で同じ画像を表示すること、または2つの目で異なる画像を表示することができる。他の実施形態では、光を双方の目に反射させる1つの導光光学エレメントを設けることができる。0066不透明フィルター114は、導光光学エレメント112と整列されており、選択的に自然光が、均一にまたは画素毎に、導光光学エレメント112を通過するのを遮断する。一実施形態では、不透明フィルターは、透視LCDパネル、エレクトロクロミックフィルム、または不透明フィルターとして役割を果たすことができる同様のデバイスとすることができる。このような透視LCDパネルは、従来のLCDから基板、バックライト、およびディフューザーの種々の層を除去することによって得ることができる。LCDパネルは、光に液晶を通過させる1つ以上の光透過性LCDチップを含むことができる。このようなチップは、例えば、LCDプロジェクターにおいて使用されている。0067不透明フィルター114は、密集した画素の格子を含むことができ、各画素の光透過度は、最低透過度および最高透過度の間で個々に制御可能である。透過度の範囲は0~100が理想的であるが、これよりも限られた範囲でも容認可能である。一例として、偏光フィルターが2つしかないモノクロームLCDパネルでも、画素当たり約50から90の不透明度範囲をLCDの分解能まで与えるには十分である。最低の50において、レンズは多少着色した外観を有するが、許容可能である。100の透過度は、完全に透明なレンズを表す。アルファスケールを0~100まで定めることができ、0では光を通過させず、100では光を通過させる。アルファの値は、以下で説明する不透明フィルター制御回路224によって、画素毎に設定することができる。0068実世界物体の代用にz-バッファリングを行った後、レンダリングパイプラインからアルファ値のマスクを用いることができる。本システムは、拡張現実表示のために場面をレンダリングするとき、どの実世界物体がどの仮想物体の前にあるか注意を払う。仮想物体が実世界物体の前にある場合、仮想物体が遮るエリアを不透明にしなければならない。仮想物体が仮想的に実世界物体の後ろにある場合、ユーザーが実際の光のその対応するエリア1画素以上のサイズの実世界の物体だけを見るように、その画素に対するあらゆる色だけでなく不透明性もオフにする。遮蔽は、画素毎であるので、本システムは、仮想物体の一部が実世界の物体の前にある場合、仮想物体の一部が実世界の物体の後ろにある場合、そして仮想物体の一部が実世界の物体と同じ位置にある場合も扱うことができる。0から100まで不透明性を可変にすることができる低コスト、低パワーおよび軽量のディスプレイが、この使用には最も望ましい。更に、不透明フィルターは、カラーLCDによって、または有機LEDのような他のディスプレイによって、カラーでレンダリングし、広い視野を設けることができる。不透明フィルターについてのこれ以上の詳細は、OpacityFilterForSeeThroughMountedDisplay透過装着ディスプレイ用不透明フィルターと題し、2010年9月21日に出願された米国特許出願第12/887,426号において示されている。この出願をここで引用したことにより、その内容全体が本願にも含まれることとする。0069LCDのような不透明フィルターは、一般に、本明細書において記載するような透視レンズには用いられなかった。何故なら、このように目に近い距離では、焦点がはずれる可能性があるからである。しかしながら、場合によっては、この結果が望ましいこともあり得る。ユーザーは、焦点が合うように設計された、追加カラーを用いた通常のHMDディスプレイによって、生き生きとしたカラーグラフィクスによる仮想画像を見る。LCDパネルは、曖昧な黒い境界があらゆる仮想コンテンツを包囲するように、このディスプレイの後ろに配され、これを所望通りに不透明にする。本システムは、自然なぼけという欠点を変換して、アンチエリアシングおよび帯域幅削減という特徴を功利的に獲得する。これらは、低解像度で焦点がはずれた画像を用いることの当然の結果である。ディジタル的にサンプリングした画像には、効果的なスムージングがある。あらゆるディジタル画像にはエリアシングが生じ、サンプリングの離散的性質のために、自然なアナログおよび連続信号と比較すると、光の波長の周りで誤差が生ずる。スムージングが意味するのは、理想的なアナログ信号に視覚的に近づけることである。低解像度にしたことによって失われた情報は復元されないが、結果的に生ずる誤差はさほど目立たない。0070一実施形態では、ディスプレイおよび不透明フィルターを同時にレンダリングし、角度-オフセットの問題を補償するために空間におけるユーザーの正確な位置に合わせてディスプレイおよび不透明フィルターを較正する。視野の両端における正しい画像オフセットを計算するために、目追跡を採用することができる。実施形態の中には、不透明フィルターにおいて、不透明量の時間的または空間的衰退を用いることができる。同様に、仮想画像の時間的または空間的衰退も用いることができる。1つの手法では、不透明フィルターの不透明量の時間的衰退は、仮想画像の時間的衰退に対応する。他の手法では、不透明フィルターの不透明量の空間的衰退が、仮想画像の空間的衰退に対応する。00711つの手法では、特定したユーザーの目の位置の視界から、仮想画像の後ろに来る不透明フィルターの画素には、不透明性を増大して与える。このように、仮想画像の後ろに来る画素を暗くして、実世界場面の対応部分からの光が、ユーザーの目に達しないように遮断する。これによって、仮想画像が現実的となり、最大範囲の色および輝度を表すことが可能になる。更に、拡張現実エミッタによる電力消費が低減する。何故なら、仮想画像は低い輝度で供給されるからである。不透明フィルターがないと、仮想画像が区別でき透明にならないようにするためには、実世界場面の対応する部分よりも明るい十分高い輝度で、仮想画像を供給しなければならない。一般に、不透明フィルターの画素を暗くする際、仮想画像の閉じた周囲を辿る画素を、その周囲の内部にある画素と共に暗くする。この周囲の直ぐ外側にありこの周囲を包囲する画素も暗くなるように同じレベルの暗さ、または周囲の内部にある画素よりは暗くない、多少の重複が得られることが望ましいこともあり得る。周囲の直ぐ外側にあるこれらの重複する画素は、周囲の内側における暗さから周囲の外側における最大量の不透明までの衰退例えば、徐々に変わる不透明性の推移を規定することができる。0072また、頭部装着ディスプレイデバイス2は、ユーザーの目の位置を追跡するシステムも含む。以下で説明するが、このシステムは、ユーザーの視野を判定できるようにユーザーの位置および向きを追跡する。しかしながら、人間は、彼らの前にあるあらゆるものを認知する訳ではない。逆に、ユーザーの目は環境の内一部に向けられる。したがって、一実施形態では、本システムは、ユーザーの視野の測定の精度を高めるために、ユーザーの目の位置を追跡する技術を含む。例えば、頭部装着ディスプレイデバイス2は、目追跡アセンブリー134図3A参照を含む。目追跡アセンブリー134は、目追跡照明デバイス134Aをユーザーの目140に結合するために、導波路124Aに結合されている。マイクロディスプレイ153は、LCD、LED、またはOLEDというような、前述のディスプレイタイプであればいずれでも備えることができ、個々の活性化された画素エレメントのアレイによって規定される解像度を有する。その組み合わせは、ユーザーの眼窩に結合するのに適した最適画像の部分を生成するために用いられる。マイクロディスプレイ153は、ディスプレイの各角において結合されている複数の微小電気機械エレメント160aに結合し、ユーザーの目140に対してディスプレイを三次元で位置付けることができる。つまり、マイクロディスプレイ153は、ディスプレイの中心点を中心とする多数の回転軸ZおよびXと、ユーザーに目に対して垂直Vおよび水平H配位を有することができる。0078図3Bに示すように、最適画像の画像部分1126、この場合、鳥1126をレンダリングするディスプレイのエレメントのみを駆動して、ユーザーの目140の焦点領域が直接画像1126からの光に結合されるように、高解像度の画像を供給する。画像1126は、部分1126aによって取り囲まれ、画像1126、つまり、環境におけるユーザーの視野全体の最適画像の一部のみが図3Bにおいてレンダリングされることを例示する。0079図3cおよび図3dは、本技術の他の代替実施形態2bを示す。図3Dは、頭部装着ディスプレイデバイス2Dの上面図であり、図3Cは側面図である。図3Cおよび図3Dにおいて、頭部装着ディスプレイデバイス2cは、サポート構造162、微小電気機械式エレメント160、161、163および、図示しない第4微小電気機械式エレメント、およびミラー166を含む。1つ以上のマイクロディスプレイエレメント170が、ミラー166に隣接して位置付けられており、エレメント170は、図3Aに関して説明したディスプレイ120と同等であってもよい。ミラー166は、マイクロディスプレイエレメントからの放出をユーザーの目の焦点領域に誘導するために、微小機械式エレメント160、161、163によって、ディスプレイ構造162に対して移動させることができる。微小機械式エレメント160、161、163は、圧電エレメント、あるいはその他の機械的に制御されるエレメントまたは電気機械的に制御されるエレメントを備えるとよい。これらのエレメントを協同して用いると、ミラー166をサポート構造162に対して3本の移動軸に沿って位置付けることができる。マイクロディスプレイ153と同様に、微小電気機械式エレメント160~163は、ミラーの各角において結合され、ユーザーの目140に対してミラーを三次元で位置決めする。つまり、ミラー166は、ディスプレイの中心点を中心として多数の回転軸ZおよびX、ならびにユーザーに目に対する垂直Vおよび水平L配位を有する。尚、ミラー166の移動は、ユーザーの焦点領域内において画像の最適部分この場合、鳥のイメージ1126を位置決めするために、単独で用いることも、またはマイクロディスプレイエレメントの指向性出力と組み合わせて用いることもできることは、認められてしかるべきである。0080図3A~図3Dは、頭部装着ディスプレイデバイス2a~2cの半分のみを示す。頭部装着ディスプレイデバイス全体では、他の1組のレンズ、他の不透明フィルタ、他の導光光学エレメント、他のマイクロディスプレイ、他のレンズ、部屋に面するカメラ、目追跡アセンブリー、マイクロディスプレイ、イヤホン、および温度センサーが含まれる該当する場合。0081図4Aは、頭部装着ディスプレイデバイス2a~’2cの種々のコンポーネントを示すブロック図である。尚、時4Aに示すコンポーネントの一部は、図3A~図3Dに示した各実施形態において、なくてもよいことは、図3A~図3Dを参照すると理解されよう。図4Bは、演算装置4の種々のコンポーネントを説明するブロック図である。頭部装着ディスプレイデバイス2は、そのコンポーネントが図4Aに示されており、ユーザーに最適画像を表示するために用いられる。加えて、図4Aの頭部装着ディスプレイデバイスのコンポーネントは、種々の状態を追跡する多くのセンサーを含む。頭部装着ディスプレイデバイス2a~2cは、仮想画像についての命令を演算装置4から受け、逆にセンサー情報を演算装置4に提供する。演算装置4は、そのコンポーネントが図4Bに示されており、頭部装着ディスプレイ2から、そしてハブ計算デバイス12図1参照からもセンサー情報を受け取る。この情報に基づいて、演算装置4は、仮想画像をどこにそしていつユーザーに供給すべきか判断し、それに応じて命令を図4Aの頭部装着ディスプレイデバイスに送る。0082尚、図4Aのコンポーネントの一部例えば、後部境対面カメラ113、目追跡カメラ134B、マイクロディスプレイ120、不透明フィルター114、目追跡照明134A、イヤホン130、および温度センサー138は、これらのデバイスが各々2つずつあり、1つが頭部装着ディスプレイデバイス2の左側、そして1つが右側にあることを示すために、影を付けてinshadow図示されていることを注記しておく。図4Aは、電力管理回路202と通信する制御回路200を示す。制御回路200は、プロセッサー210、メモリー214例えば、D-RAMと通信可能なメモリーコントローラー212、カメラインターフェース216、カメラバッファー218、ディスプレイドライバー220、ディスプレイフォーマッター222、タイミングジェネレーター226、ディスプレイ出力インターフェース228、およびディスプレイ入力インターフェース230を含む。一実施形態では、制御回路220のコンポーネントは全て、互いに、専用線または1つ以上のバスを介して通信する。他の実施形態では、制御回路200のコンポーネントは全て、プロセッサー210と通信する。カメラインターフェース216は、2つの部屋対面カメラ113にインターフェースを設け、部屋対面カメラから受け取った画像をカメラバッファー218に格納する。ディスプレイドライバー220は、マイクロディスプレイ120を駆動する。ディスプレイフォーマッター222は、マイクロディスプレイ120上に表示されている仮想画像についての情報を、不透明フィルター114を制御する不透明制御回路224に提供する。タイミングジェネレーター226は、システムにタイミングデーターを供給するために用いられる。ディスプレイ出力インターフェース228は、部屋対面カメラ113から演算装置4に画像を供給するためのバッファーである。ディスプレイ入力230は、マイクロディスプレイ120に表示しようとする仮想画像のような画像を受け取るためのバッファーである。ディスプレイ出力228およびディスプレイ入力230は、演算装置4に対するインターフェースである帯域インターフェース232と通信する。また、ディスプレイドライバー220は、図3Cおよび図3Dの先の実施形態にしたがって合焦画像を表示するために、ミラー166を位置付けるようにミラーコントローラ162を駆動することもできる。0083電力管理回路202は、電圧レギュレーター234、目追跡照明ドライバー236、オーディオDACおよび増幅器238、マイクロフォンプリアンプおよびオーディオADC240、温度センサーインターフェース242、ならびにクロックジェネレーター244を含む。電圧レギュレーター234は、演算装置4から帯域インターフェース232を介して電力を受け、その電力を頭部装着ディスプレイデバイス2の他のコンポーネントに供給する。目追跡照明ドライバー236は、前述のように、IR光源を目追跡照明134Aのために設ける。オーディオDACおよび増幅器238は、オーディオ情報をイヤホン130から受け取る。マイクロフォンプリアンプおよびオーディオADC240は、マイクロフォン110に対するインターフェースを設ける。温度センサーインターフェース242は、温度センサー138に対するインターフェースである。また、電力管理ユニット202は、電力を供給し、三軸磁力計132A、三軸ジャイロ132B、および三軸加速度計132Cからは逆にデーターを受け取る。0084図4Bは、演算装置4の種々のコンポーネントを説明するブロック図である。図4Bは、電力管理回路306と通信する制御回路304を示す。制御回路304は、中央演算装置CPU320、グラフィクス処理ユニットGPU322、キャッシュ324、RAM326、メモリー330例えば、D-RAMと通信するメモリー制御部328、フラッシュメモリー334または他のタイプの不揮発性ストレージと通信するフラッシュメモリーコントローラー332、帯域インターフェース302および帯域インターフェース232を介して頭部装着ディスプレイデバイス2と通信するディスプレイ出力バッファー326、帯域インターフェース302および帯域インターフェース232を介して頭部装着ディスプレイデバイス2と通信するディスプレイ入力バッファー338、マイクロフォンに接続するために外部マイクロフォンコネクター342と通信可能なマイクロフォンインターフェース340、ワイヤレス通信デバイス346に接続するためのPCIエクスプレスインターフェース、ならびにUSBポート1つまたは複数348を含む。一実施形態では、ワイヤレス通信コンポーネント346は、Wi-Fi対応通信デバイス、BlueTooth登録商標通信デバイス、赤外線通信デバイス等を含むことができる。USBポートは、演算装置4をハブ計算デバイス12にドッキングして、データーまたはソフトウェアを演算装置4にロードするため、および演算装置4を充電するために用いることができる。一実施形態では、CPU320およびGPU322は、どこに、いつ、そしてどのように仮想画像をユーザーの視野に挿入すべきか判断するための主要な機械である。これ以上の詳細は、以下で示す。0085電力管理回路306は、クロックジェネレーター360、アナログ/ディジタル変換器362、バッテリー充電器364、電圧レギュレーター366、頭部装着ディスプレイ電源376、および温度センサー374演算装置4の手首バンド上に配置されていると通信可能な温度センサーインターフェース372を含む。アナログ/ディジタル変換器362が、AC供給電力を受け、本システムのためにDC供給電力を発電するために、充電ジャック370に接続されている。電圧レギュレーター366は、本システムに電力を供給するために、バッテリー368と通信する。バッテリー充電器364は、充電ジャック370から受電すると、バッテリー368を充電する電圧レギュレーター366を介してために用いられる。HMD電力インターフェース376は、電力を頭部装着ディスプレイデバイス2に供給する。0086前述のシステムは、仮想画像が実世界物体の映像と置き換わるように、ユーザーの視野内に仮想画像を挿入するように構成される。あるいは、仮想画像は、実世界物体の画像を置き換えることなく、挿入することもできる。種々の実施形態において、置き換えられる物体または画像が挿入されようとしている環境に基づいて、しかるべき向き、サイズ、および形状に一致するように、仮想画像を調節する。加えて、仮想画像は、反射および影を含むように調節することができる。一実施形態では、頭部装着ディスプレイデバイス12、演算装置4、およびハブ計算デバイス12は、一緒に動作する。これは、これらのデバイスの各々が、どこに、いつ、そしてどのように仮想画像を挿入すべきか判断するためのデーターを得るために用いられるセンサーの一部を含むからである。一実施形態では、どこに、いつ、そしてどのように仮想画像を挿入すべきか判断する計算は、ハブ計算デバイス12が実行する。他の実施形態では、これらの計算は演算装置4によって実行される。他の実施形態では、これらの計算の一部はハブ計算デバイス12によって実行するが、他の計算は演算装置4によって実行する。他の実施形態では、これらの計算は頭部装着ディスプレイデバイス12によって実行することができる。0087一実施形態例では、ハブ計算デバイス12は、ユーザーが存在する環境のモデルを作成し、その環境内において動いている種々の物体を追跡する。代替実施形態では、環境において関心のある物体およびユーザーを、他の手段によって判定する。加えて、ハブ計算デバイス12は、頭部装着ディスプレイデバイス2の位置および向きを追跡することによって、頭部装着ディスプレイデバイス2の視野を追跡する。モデルおよび追跡情報を、ハブ計算デバイス12から演算装置4に供給する。頭部装着ディスプレイデバイス2によって得られたセンサー情報を、演算装置4に送信する。すると、演算装置4は、頭部装着ディスプレイデバイス2からそれが受け取った追加のセンサー情報を用いて、ユーザーの視野を厳密に定め、どのように、どこに、そしていつ仮想画像を挿入すべきかについての命令を頭部装着ディスプレイデバイス2に供給する。0088図5は、ハブ計算システム12の一実施形態例を、キャプチャーデバイスと共に示す。一実施形態では、キャプチャーデバイス20Aおよび20Bは同じ構造であり、したがって、図5はキャプチャーデバイス20Aのみを示す。一実施形態例によれば、キャプチャーデバイス20Aは、深度値を含むこともできる深度画像を含む深度情報によって、いずれかの適した技法によってビデオを取り込むように構成するとよい。適した技法には、例えば、飛行時間、構造化光、ステレオ撮像等が含まれる。一実施形態によれば、キャプチャーデバイス20Aは、深度情報をZレイヤーに編成することができる。即ち、深度カメラからその見通し線に沿って延びるZ軸に対して垂直であるとよいレイヤーに編成することができる。0089図5に示すように、キャプチャーデバイス20Aはカメラコンポーネント423を含むことができる。一実施形態例によれば、カメラコンポーネント423は、場面の深度画像を取り込むことができる深度カメラであってもよく、またはこの深度カメラを含むのでもよい。深度画像は、取り込まれた場面の二次元2-D画素エリアを含むことができ、この2-D画素エリアにおける各画素は、カメラからの取り込まれた場面における物体の距離というような深度値を、例えば、センチメートル、ミリメートル等を単位として表すことができる。0090カメラコンポーネント23は、赤外線IR発光コンポーネント425、三次元3Dカメラ426、および場面の深度画像を取り込むために用いることができるRGB視覚画像カメラ428を含むことができる。例えば、飛行時間分析では、キャプチャーデバイス20AのIR発光コンポーネント425は、キャプチャーエリアに向けて赤外線光を出すことができ、次いでセンサー実施形態の中には、図示されていないセンサーを含む場合もあるを用いて、その場面内にある1つ以上のターゲットおよび物体の表面からの後方散乱光を、例えば、3Dカメラ426および/またはRGBカメラ428を用いて検出することができる。実施形態の中には、パルス状赤外線光を用いて、発射光パルスと対応する入射光パルスとの間の時間を測定し、キャプチャーデバイス20Aから場面内にあるターゲットまたは物体上における特定の場所までの物理的距離を判定するために用いられるようにするとよい場合がある。加えて、他の実施形態例では、発射光波の位相を着信光波の位相と比較して、位相ずれを判定することもできる。次いで、この位相ずれを用いて、キャプチャーデバイスからターゲットまたは物体上の特定の場所までの物理的距離を判定することができる。0091他の一実施形態例によれば、飛行時間分析を用いて、例えば、散乱光パルス撮像を含む種々の技法によって、経時的な光の反射ビームの強度を分析することによって、キャプチャーデバイス20Aからターゲットまたは物体上の特定の位置までの物理的距離を間接的に判定することができる。0092他の一実施形態例では、キャプチャーデバイス20Aは、構造化光を用いて深度情報を取り込むことができる。このような分析では、パターン光即ち、格子パターン、縞パターン、または異なるパターンのような既知のパターンとして表示される光を、例えば、IR発光コンポーネント424によって、場面に向けて投射する。場面において1つ以上のターゲットまたは物体の表面に衝突したときに、それに応答して、パターンが変形すると考えられる。このようなパターンの変形を、例えば、3Dカメラ426および/またはRGBカメラ428および/または他のセンサーによって取り込むことができ、次いで分析して、キャプチャーデバイスからターゲットまたは物体上における特定の位置までの物理的距離を判定することができる。実施態様の中には、IR発光コンポーネント425をカメラ425および426から変位させて、カメラ425および426からの距離を判定するために三角測量法を用いることができるようにしたものもある。実施態様の中には、キャプチャーデバイス20Aが、IR光を検知するために専用のIRセンサー、またはIRフィルターを有するセンサーを含む場合もある。0093他の実施形態によれば、キャプチャーデバイス20Aは、2つ以上の物理的に分離されたカメラを含むことができ、これらが異なる角度から場面を捕らえて、視覚的な立体データーを得て、これを解明することによって深度情報を生成することができる。他のタイプの深度画像センサーも、深度画像を形成するために用いることができる。0094更に、キャプチャーデバイス20Aは、マイクロフォン430も含むことができる。マイクロフォン430は、音を受けて電気信号に変換することができる変換器またはセンサーを含む。マイクロフォン430は、オーディオ信号を受け取るために用いることもできる。オーディオ信号は、ハブ計算デバイス12によって供給することもできる。0095一実施形態例では、キャプチャーデバイス20Aは、更に、撮像カメラコンポーネント423と通信することができるプロセッサー432も含むことができる。プロセッサー432は、標準的なプロセッサー、特殊プロセッサー、マイクロプロセッサー等を含むことができ、例えば、深度画像を受け取る命令、しかるべきデーターフォーマット例えば、フレームを生成する命令、およびデーターをハブ計算デバイス12に送信する命令を含む命令を実行することができる。0096キャプチャーデバイス20Aは、更に、プロセッサー432が実行する命令、3-Dカメラおよび/またはRGBカメラによって取り込まれた画像または画像のフレーム、あるいは他の適した情報、画像等であればいずれでも格納することができるメモリー434も含むことができる。一実施形態例によれば、メモリー434は、ランダムアクセスメモリーRAM、リードオンリーメモリーROM、キャッシュ、フラッシュメモリー、ハードディスク、または他の適した記憶コンポーネントであればいずれでも含むことができる。図5に示すように、一実施形態では、メモリー434は、画像キャプチャーコンポーネント423およびプロセッサー432と通信する別個のコンポーネントであってもよい。他の実施形態によれば、メモリー434をプロセッサー432および/または画像キャプチャーコンポーネント422に統合してもよい。0097キャプチャーデバイス20Aおよび20Bは、通信リンク436を介して、ハブ計算デバイス12と通信することができる。通信リンク436は、例えば、USB接続、Firewire接続、イーサネット登録商標ケーブル接続等を含む有線接続、および/またはワイヤレス802.1b、g、a、またはn接続というようなワイヤレス接続とすることができる。一実施形態によれば、ハブ計算デバイス12は、クロックをキャプチャーデバイス20Aに供給することができる。このクロックは、例えば、通信リンク436を介して場面を取り込むときを決定するために用いることができる。加えて、キャプチャーデバイス20Aは、例えば、3-Dカメラ426および/またはRGBカメラ428によって取り込まれた深度情報ならびに視覚例えば、RGB画像をハブ計算デバイス12に、通信リンク436を介して供給する。一実施形態では、深度画像および視覚画像は、毎秒30フレームで送られる。しかしながら、他のフレームレートも用いることができる。次いで、ハブ計算デバイス12はモデルを作成し、このモデル、深度情報、および取り込まれた画像を用いて、例えば、ゲームまたはワードプロセッサーのようなアプリケーションを制御すること、および/またはアバターまたは画面上のキャラクターを動画化することができる。0098ハブ計算システム12は、深度画像処理および骨格追跡モジュール450を含む。このモジュール450は、深度画像を用いて、キャプチャーデバイス20Aの深度カメラ機能によって検出可能な1人以上の人を追跡する。深度画像処理および骨格追跡モジュール450は、追跡情報をアプリケーション452に提供する。アプリケーション452は、ビデオゲーム、生産性アプリケーション、通信アプリケーション、または他のソフトウェアアプリケーション等とすることができる。また、オーディオデーターおよびビジュアル画像データーも、アプリケーション452および深度画像処理および骨格追跡モジュール450に供給する。アプリケーション452は、追跡情報、オーディオデーター、およびビジュアル画像データーを認識エンジン454に供給する。他の実施形態では、認識エンジン454は、追跡情報を直接深度画像処理および骨格追跡モジュール450から受け取り、オーディオデーターおよびビジュアル画像データーを直接キャプチャーデバイス20Aおよび20Bから受け取る。0099認識エンジン454は、フィルター460、462、464、...、466の集合体と関連付けられている。各フィルターは、キャプチャーデバイス20Aまたは20Bによって検出可能なあらゆる人あるいは物体によって行うことができるジェスチャー、行為、または状態に関する情報を含む。例えば、キャプチャーデバイス20Aからのデーターは、フィルター460、462、464、...、466によって処理して、ユーザーまたはユーザーのグループが1つ以上のジェスチャーまたは他の行為を行ったときを特定することができる。これらのジェスチャーには、アプリケーション452の種々の制御、物体、または条件と関連付けることもできる。つまり、ハブ計算デバイス12は、これらのフィルターと共に認識エンジン454を用いて、物体人を含むの動きを解釈し追跡することができる。00100キャプチャーデバイス20Aおよび20Bは、RGB画像あるいは他のフォーマットまたは色空間における視覚画像および深度画像を、ハブ計算デバイス12に供給する。深度画像は、複数の被観察画素とすることもでき、各被観察画素は観察画素値を有する。例えば、深度画像は、取り込まれた場面の二次元2-D画素エリアを含むことができ、この2-D画素エリアにおける各画素は、取り込まれた場面における物体のキャプチャーデバイスからの距離というような、深度値を有することができる。ハブ計算デバイス12は、RGB画像および深度画像を用いて、ユーザーまたは物体の動きを追跡する。例えば、本システムは、深度画像を用いて人の骨格を追跡する。深度画像を用いて人の骨格を追跡するために用いることができる方法は、数多くある。深度画像を用いて骨格を追跡するのに適した一例が、2009年10月21日に出願されたCraigetalの米国特許出願第12/603,437号、PoseTrackingPipeline姿勢追跡パイプラインに示されている以後、’437出願と呼ぶ。この出願をここで引用したことにより、その内容全体が本願にも含まれるものとする。’437出願のプロセスは、深度画像を取り込み、データーをダウンサンプリングするステップと、高分散ノイズデーターを除去および/またはスムージングするステップと、背景を特定および除去するステップと、前景画素の各々を身体の異なる部分に指定するステップを含む。これらのステップに基づいて、本システムは、モデルをこのデーターに当てはめ、骨格を形成する。この骨格は、1組の関節と、これらの関節間にある接続とを含む。他の追跡方法を用いることもできる。また、適した追跡技術が以下の4件の米国特許出願にも開示されている。その全てをここで引用することにより、その内容全体が本願にも含まれるものとする。2009年5月29日に出願された米国特許出願第12/475,308号、DeviceforIdentifyingandTrackingMultipleHumansOverTime複数の人間を経時的に特定および追跡するデバイス、2010年1月29日に出願された米国特許出願第12/696,282号、VisualBasedIdentityTracking外見に基づく識別追跡、2009年12月18日に出願された米国特許第12/641,788号、MotionDetectionUsingDepthImages深度画像を用いた動き検出、および2009年10月7日に出願された米国特許第12/575,388号、HumanTrackingSystem人間追跡システム。00101認識エンジン454は、ジェスチャーまたは行為を判定するために複数のフィルター460、462、464、...、466を含む。フィルターは、ジェスチャー、行為、または状態を定義する情報を、そのジェスチャー、行為、または状態についてのパラメーター、またはメタデーターと共に含む。例えば、投げる動作は、一方の手が身体の背後から身体の前方を通過する動きを含み、その動きが深度カメラによって取り込まれると、ユーザーの一方の手が身体の背後から身体の前方を通過する動きを表す情報を含むジェスチャーとして実現することができる。次いで、このジェスチャーに対してパラメーターを設定することができる。ジェスチャーが投げる動作である場合、パラメーターは、手が達しなければならない閾値速度、手が移動する距離ユーザー全体のサイズに対して絶対的、または相対的のいずれか、および認識エンジンによる、ジェスチャーが行われたことの信頼度格付けとするとよい。ジェスチャーに対するこれらのパラメーターは、アプリケーション間、1つのアプリケーションのコンテキスト間、または1つのアプリケーションの1つのコンテキスト内においてときの経過に連れて様々に変化するのであってもよい。00102フィルターは、モジュール状または相互交換可能であるとよい。一実施形態では、フィルターは、複数の入力これらの入力の各々はある型を有すると、複数の出力これらの出力の各々はある型を有するとを有する。認識エンジンのアーキテクチャーの他の態様を全く変更することなく、第1のフィルターを、この第1のフィルターと同じ数および同じ型の入力と出力とを有する第の2フィルターと交換することができる。例えば、入力として骨格データーを取り込み、そのフィルターと関連するジェスチャーが行われている確実度と、操縦角度とを出力する駆動用第1フィルターがあってもよい。おそらくは第2駆動フィルターの方が効率的であり必要な処理リソースが少なくて済むために、この第1駆動フィルターを第2駆動フィルターと交換したい場合、第2フィルターが同じ入力および出力、即ち、骨格データー型である1つの入力と、確実度型および角度型である2つの出力を有する限り、単に第1フィルターを第2フィルターと交換することによって、そうすることができる。00103フィルターがパラメーターを有する必要はない。例えば、ユーザーの身長を戻すユーザー身長フィルターが、調整することができるパラメーターを全く考慮しなくてもよい。代わりのユーザー身長フィルターが、ユーザーの身長を判定するときに、ユーザーの靴、髪形、帽子、および姿勢を考慮に入れるべきか否かというような、調整可能なパラメーターを有してもよい。00104フィルターへの入力は、関節において合体する骨によって形成される角度のような、ユーザーの関節位置についての関節データー、場面からのRGBカラーデーター、およびユーザーの態様の変化率というような事項を含むことができる。フィルターからの出力は、所与のジェスチャーが行われる確実度、ジェスチャーの動きが行われる速度、およびジェスチャーの動きが行われた時刻というような事項を含むことができる。00105認識エンジン454は、前述のフィルターに機能を設ける基本認識エンジンを有することができる。一実施形態では、認識エンジン454が実装する機能は、認識されたジェスチャーおよび他の入力を追跡する経時的入力アーカイブ、隠れマルコフモデルの実装モデル化されるシステムは、未知のパラメーターを有するマルコフプロセスであると仮定する。このプロセスでは、現在の状態が、今後の状態を判定するために必要なあらゆる過去の状態情報をカプセル化するので、この目的のために他の過去の状態情報を維持しなくてもよく、隠れているパラメーターを、観察可能なデーターから判定する、およびジェスチャー認識の特定の場合を解決するために必要とされる他の機能を含む。00106フィルター460、462、464、...、466は、認識エンジン454の上にロードされ実装され、認識エンジン454によって全てのフィルター460、462、464、...、466に提供されるサービスを利用することができる。一実施形態では、認識エンジン454は、いずれかのフィルター460、462、464、...、466の要件を満たすか否か判断するためにデーターを受け取る。入力の解析というような、これらの提供されるサービスは、各フィルター460、462、464、...、466によってではなく、認識エンジン454によって1回提供されるので、このようなサービスは、ある時間期間に1回だけ処理されればよいのであって、その期間においてフィルター毎に1回ずつ処理されるのではない。したがって、ジェスチャーを判定するために用いられる処理が少なくなる。00107アプリケーション452は、認識エンジン454に設けられたフィルター460、462、464、...、466を用いることができ、またはそれ自体のフィルターを設けることもできる。このフィルターは、認識エンジン454に差し込まれる。一実施形態では、全てのフィルターは、この差し込み特性を可能にするために、共通のインターフェースを有する。更に、全てのフィルターはパラメーターを利用することができるので、以下の1つのジェスチャーツールを用いて、フィルターシステム全体のデバッグおよび調整を行うことができる。00108認識エンジン454についてのこれ以上の情報は、2009年4月13日に出願された米国特許出願第12/422,661号、GestureRecognizerSystemArchitectureジェスチャー認識システムのアーキテクチャーにおいて見いだすことができる。この特許出願をここで引用したことにより、その内容全体が本願にも含まれるものとする。ジェスチャー認識についてのこれ以上の情報は、2009年2月23日に出願された米国特許出願第12/391,150号、StandardGestures標準的ジェスチャー、および2009年5月29日に出願された米国特許第12/474,655号、GestureToolジェスチャーツールにおいて見いだすことができる。これら双方の特許出願をここで引用したことにより、それらの内容全体が本願にも含まれるものとする。00109一実施形態では、計算システム12は、ハブ計算システム12と相互作用する1人以上のユーザーに関するユーザー特定情報を含むユーザープロファイルデーターベース470を含む。一例では、ユーザー特定情報は、ユーザーの表現した好み、ユーザーの友人のリスト、ユーザーが好む活動、ユーザーの備忘録のリスト、ユーザーのソーシャルグループ、ユーザーの現在地、ユーザーの環境ならびにユーザーの写真、画像、および記録ビデオというような、その他のユーザー作成コンテンツにおける物体と相互作用したユーザーの過去の意図というような、ユーザーに関する情報を含む。一実施形態では、ユーザー特定情報は、ユーザーのソーシャルネットワーキングサイト、住所録、電子メールデーター、インスタントメッセージングデーター、ユーザープロファイル、またはインターネット上の他のソースというような、1つ以上のデーターソースから得ることができる。1つの手法では、そして以下で詳細に論ずるように、ユーザー特定情報は、ユーザーの環境において1つ以上の物体と相互作用するユーザーの意図を自動的に判定するために利用される。00110図6は、ハブ計算デバイス12を実現するために用いることができる計算システムの一実施形態例を示す。図6に示すように、マルチメディアコンソール500は、中央演算装置CPU501を有する。CPU501は、レベル1L1キャッシュ502、レベル2L2キャッシュ504、およびフラッシュROMリードオンリーメモリー506を有する。レベル1キャッシュ502およびレベル2キャッシュ504は、一時的にデーターを格納し、したがってメモリーアクセスサイクル回数を減らすことによって、処理速度およびスループットを向上させる。CPU501は、1つよりも多いコア、つまり追加のレベル1およびレベル2キャッシュ502および504を有するものが、設けられてもよい。フラッシュROM506は、実行可能コードを格納することができる。実行可能コードは、マルチメディアコンソール500に最初に電力を投入するときのブートプロセスの初期フェーズの間にロードされる。00111グラフィクス処理ユニットGPU508およびビデオエンコーダー/ビデオコデックコーダー/デコーダー514は、高速および高分解能グラフィクス処理のためのビデオ処理パイプラインを形成する。データーは、グラフィクス処理ユニット508からビデオエンコーダー/ビデオコデック514に、バスを通じて搬送される。ビデオ処理パイプラインが、テレビジョンまたはその他の表示装置への送信のために、データーをA/Vオーディオ/ビデオポート540に出力する。メモリーコントローラー510がGPU508に接続されており、限定ではないが、RAMランダムアクセスメモリーのような、種々の形式のメモリー512にプロセッサーがアクセスし易くする。00112マルチメディアコンソール500は、I/Oコントローラー520、システム管理コントローラー522、オーディオ処理ユニット523、ネットワークインターフェースコントローラー524、第1USBホストコントローラー526、第2USBコントローラー528、およびフロントパネルI/Oサブアセンブリー530を含む。これらは、モジュール518上に実装することが好ましい。USBコントローラー526および528は、ペリフェラルコントローラー5421~5422、ワイヤレスアダプター548、および外部メモリーユニット546例えば、フラッシュメモリー、外部CD/DVDROMドライブ、リムーバブルメディア等のホストとしての役割を果たす。ネットワークインターフェース524および/またはワイヤレスアダプター548は、ネットワーク例えば、インターネット、ホームネットワーク等へのアクセスを与え、イーサネット登録商標カード、モデム、Bluetooth登録商標モジュール、ケーブルモデム等を含む、多種多様の様々な有線またはワイヤレスアダプターコンポーネントの内いずれでもよい。00113システムメモリー543は、ブートプロセスの間にロードされるアプリケーションデーターを格納するために設けられている。メディアドライブ544が設けられており、DVD/CDドライブ、ブルーレイドライブ、ハードディスクドライブ、またはその他のリムーバブルメディアドライブ等を含むことができる。メディアドライブ144は、マルチメディアコンソール500の内部でも外部でもよい。マルチメディアコンソール500による実行、再生等のために、マルチメディアコンソール500はアプリケーションデーター544にアクセスすることができる。メディアドライブ544は、シリアルATAバスまたはその他の高速接続例えば、IEEE1394のようなバスを通じて、I/Oコントローラー520に接続されている。00114システム管理コントローラー522は、マルチメディアコンソール500の利用可能性を確保することに関する種々のサービス機能を提供する。オーディオ処理ユニット523およびオーディオコデック532は、高信頼度およびステレオオーディオ処理を備えた、対応するオーディオ処理パイプラインを形成する。通信リンクが、オーディオ処理ユニット523とオーディオコデック526との間において、オーディオデーターを伝達することができる。オーディオ処理パイプラインは、外部オーディオユーザーまたはオーディオ能力を有するデバイスによる再生のために、A/Vポート540にデーターを出力する。00115フロントパネルI/Oサブアセンブリー530は、電力ボタン550およびイジェクトボタン552の機能をサポートし、更にマルチメディアコンソール500の外面上に露出するあらゆるLED発光ダイオードまたはその他のインディケーターの機能もサポートする。システム電源モジュール536は、電力をマルチメディアコンソール100のコンポーネントに供給する。ファン538は、マルチメディアコンソール500内部にある回路を冷却する。00116CPU501、GPU508、メモリーコントローラー510、およびマルチメディアコンソール500内部にある種々の他のコンポーネントは、1つ以上のバスによって相互接続されている。これらのバスには、シリアルおよびパラレルバス、メモリーバス、ペリフェラルバス、ならびに種々のバスアーキテクチャーの内いずれかを用いたプロセッサーバスまたはローカルバスが含まれる。一例として、このようなアーキテクチャーは、周辺コンポーネント相互接続PCIバス、PCI-Expressバス等を含むことができる。00117マルチメディアコンソール500に電源を投入すると、アプリケーションデーターをシステムメモリー543からメモリー512および/またはキャッシュ502、504にロードすることができ、CPU501において実行することができる。アプリケーションは、マルチメディアコンソール500において利用可能な異なるメディアタイプにナビゲートするときに、一貫性のあるユーザー体験を提供するグラフィカルユーザーインターフェースを提示することができる。動作において、アプリケーションおよび/またはメディアドライブ544内に含まれているその他のメディアをメディアドライブから起動または再生して、追加の機能をマルチメディアコンソール500に提供することもできる。00118マルチメディアコンソール500は、単に単体システムをテレビジョンまたはその他のディスプレイに接続することによって、その単体システムとして動作させることができる。この単体モードでは、マルチメディアコンソール500は、1人以上のユーザーがシステムと相互作用すること、ムービーを見ること、音楽を聞くこと等を可能にする。しかしながら、ネットワークインターフェース524またはワイヤレスアダプター548を通じて利用可能なブロードバンド接続の統合により、マルチメディアコンソール500は、更に、それよりも大きなネットワーク共同体における参加者として動作することができる。加えて、マルチメディアコンソール500は、演算装置4とワイヤレスアダプター548を介して通信することができる。00119マルチメディアコンソール500の電源をオンにすると、マルチメディアコンソールのオペレーティングシステムによって、設定されている量のハードウェアリソースがシステムの使用のために確保される。これらのリソースは、メモリー、CPUおよびGPUサイクル、ネットワーキング帯域幅等の確保を含むことができる。これらのリソースは、システムのブート時に確保されるので、確保されたリソースは、アプリケーションの視点からは存在しない。特に、メモリーの確保は、起動カーネル、コンカレントシステムアプリケーション、およびドライバーを含めるのに十分大きいことが好ましい。確保されたCPUの使用がそのシステムアプリケーションによって用いられない場合、アイドル状態にあるスレッドが未使用サイクルの内いずれかを消費するように、CPUの確保を一定に維持することが好ましい。00120GPUの確保に関して、GPU割り込みを用いることによって、システムアプリケーション例えば、ポップアップによって生成される軽量メッセージを表示して、ポップアップをオーバーレイにレンダリングするコードをスケジューリングする。オーバーレイに必要とされるメモリー量は、オーバーレイのエリアサイズに依存し、オーバーレイは画面の解像度と共にスケーリングすることが好ましい。コンカレントシステムアプリケーションによってユーザーインターフェース全体が用いられる場合、アプリケーションの解像度とは独立した解像度を用いることが好ましい。周波数を変更しTVの同期を取り直す必要性をなくすように、スケーラーを用いてこの解像度を設定するとよい。00121マルチメディアコンソール500がブートして、システムリソースが確保された後、コンカレントシステムアプリケーションが実行してシステム機能を提供する。これらのシステム機能は、前述の確保したシステムリソースの内部で実行する1組のシステムアプリケーション内にカプセル化されている。オペレーティングシステムカーネルは、システムアプリケーションスレッドと、ゲーミングアプリケーションスレッドとの間でスレッドを識別する。一貫したシステムリソースビューをアプリケーションに提供するために、システムアプリケーションは、所定の時点および間隔でCPU501において実行するようにスケジューリングされていることが好ましい。このスケジューリングは、コンソールにおいて実行しているゲーミングアプリケーションに対するキャッシュの分裂を最少に抑えるためにある。00122コンカレントシステムアプリケーションがオーディオを必要とする場合、時間に敏感であるため、オーディオ処理を非同期にゲーミングアプリケーションにスケジューリングする。マルチメディアコンソールアプリケーション管理部以下で説明するは、システムアプリケーションがアクティブのとき、ゲーミングアプリケーションのオーディオレベル例えば、無音化、減衰を制御する。00123任意選択肢の入力デバイス例えば、コントローラー5421および5422は、ゲーミングアプリケーションおよびシステムアプリケーションによって共有される。入力デバイスは、確保されたリソースではないが、システムアプリケーションとゲーミングアプリケーションとの間で切り換えられて、各々がそのデバイスのフォーカスを有するようにする。アプリケーション管理部は、好ましくは、ゲーミングアプリケーションの知識を知ることなく、入力ストリームの切換を制御し、ドライバーがフォーカススイッチに関する状態情報を維持する。キャプチャーデバイス20Aおよび20Bは、コンソール500のための追加の入力デバイスを、USBコントローラー526または他のインターフェースを介して、定めることができる。他の実施形態では、ハブ計算システム12は、他のハードウェアアーキテクチャーを用いて実現することができる。ハードウェアアーキテクチャーが1つである必要はない。00124図1は、1つのハブ計算デバイス12ハブと呼ぶと通信する1つの頭部装着ディスプレイデバイス2および演算装置4纏めて移動体ディスプレイデバイスと呼ぶを示す。他の実施形態では、複数の移動体ディスプレイデバイスが1つのハブと通信することができる。これらの移動体ディスプレイデバイスの各々は、前述のように、ワイヤレス通信を用いてハブと通信する。このような実施形態では、移動体ディスプレイデバイスの全てに有用である情報の多くが、ハブにおいて計算および格納され、移動体ディスプレイデバイスの各々に送られることが考えられる。例えば、ハブは環境のモデルを生成し、ハブと通信する移動体ディスプレイデバイスの全てにこのモデルを供給する。加えて、ハブは、移動体ディスプレイデバイスの位置および向きを追跡し、更に部屋内において動いている物体の位置および向きを追跡し、その情報を移動体ディスプレイデバイスの各々に転送することができる。00125他の実施形態では、システムが多数のハブを含むことができ、各ハブが1つ以上の移動体ディスプレイデバイスを含む。これらのハブは、互いに直接またはインターネットまたは他のネットワークを介して通信することができる。例えば、図7はハブ560、562、および564を示す。ハブ560は、直接ハブ562と通信する。ハブ560は、ハブ564とインターネットを介して通信する。ハブ560は、移動体ディスプレイデバイス570、572、...、574と通信する。ハブ562は、移動体ディスプレイデバイス578、580、...、582と通信する。ハブ564は、移動体ディスプレイデバイス584、586、...、588と通信する。先に論じたように、移動体ディスプレイデバイスの各々は、それらそれぞれのハブと、ワイヤレス通信を介して通信する。これらのハブが共通の環境にある場合、これらのハブの各々は環境のモデルの一部を設けることができ、または1つのハブが他のハブのためにモデルを作成することができる。これらのハブの各々は、動いている物体の一部を追跡し、その情報を他のハブと共有する。一方、他のハブは、しかるべき移動体ディスプレイデバイスとこの情報を共有する。移動体ディスプレイデバイスについてのセンサー情報が、それらそれぞれのハブに提供され、次いで他のハブに分配され、最終的に他の移動体ディスプレイデバイスに分配される。つまり、ハブ間で共有される情報は、骨格追跡、モデルについての情報、アプリケーションの種々の状態、およびその他の追跡を含むことができる。ハブおよびそれらそれぞれの移動体ディスプレイデバイス間で伝えられる情報には、動いている物体の追跡情報、世界モデルについての状態および物理的更新、幾何学的形状および表面模様の情報、ビデオおよびオーディオ、ならびに本明細書において記載される動作を実行するために用いられる他の情報が含まれる。00126図8は、頭部装着ディスプレイデバイスのユーザーに提示する可視化情報の表示を最適化するプロセスの一実施形態を説明する。図8は、先の図2Aにおけるステップ32を実行する一実施形態を示す。00127ステップ600において、システム10を構成する。例えば、アプリケーション図5のアプリケーション452が、場面の三次元モデルにおける指定位置に最適画像を挿入することを示すように、本システムを構成することができる。他の例では、ハブ計算システム12上で実行するアプリケーションが、ビデオゲームまたは他のプロセスの一部として拡張コンテンツ特定の仮想画像または仮想物体というようなを場面内に挿入するように指示する。00128ステップ602において、本システムは、頭部装着ディスプレイデバイス2を配置する空間の立体モデルを作成する。一実施形態では、例えば、ハブ計算デバイス12は、1つ以上の深度カメラからの深度画像を用いて、頭部装着ディスプレイデバイス2を配置する環境または場面の三次元モデルを作成する。ステップ604において、このモデルを1つ以上の物体に区分する。例えば、ハブ計算デバイス12が部屋の三次元モデルを作成する場合、この部屋はその内部に多数の物体を有することがありそうに思われる。部屋の中にある可能性がある物体の例には、人、椅子、テーブル、ソファ等が含まれる。ステップ604は、別個の物体を互いから区別することを含む。ステップ606において、本システムはこれらの物体を特定する。例えば、ハブ計算デバイス12は、1つの特定の物体がテーブルであり、他の物体が椅子であることを特定することができる。00129尚、一実施形態では、立体モデルを作成し物体を特定することは、本技術で用いてもよいが、ステップ602~608は、代替実施形態では、省略してもよいことは認められてしかるべきである。代替実施形態では、最適画像の生成は、環境1100を参照せずに行うこともでき、周囲の環境を参照せずに用いるためのオーバーレイ画像を供給することを含むのでもよい。即ち、本技術は、オーバーレイ画像の使用を必要とせず、ユーザーの環境を参照せずに、画像のみをユーザーに表示するために用いることができるという利点がある。00130図8のステップ608において、本システムは、ユーザー空間のモデルに基づいて、ユーザーの視野を判定する。一実施形態では、ステップ608は、図2Aのステップ32と同等である。即ち、本システムは、ユーザーが見ている環境または空間を判定する。一実施形態では、ステップ608は、ハブ計算デバイス12、演算装置4、および/または頭部装着ディスプレイデバイス2を用いて実行することができる。一実施態様例では、ハブ計算デバイス12がユーザーおよび頭部装着ディスプレイデバイス2を追跡して、頭部装着ディスプレイデバイス2の位置および向きについて暫定的な判定を行う。頭部装着ディスプレイデバイス2上にあるセンサーを用いて、判定した向きを厳密に定める。例えば、先に説明した慣性センサー34は、頭部装着ディスプレイデバイス2の向きを厳密に定めるために用いることができる。加えて、以下で説明する目追跡プロセスも、最初に判定した視野の内、特にユーザーが見ているところ、あるいは視野においてユーザーの焦点領域または深度焦点として把握したところに対応する一部を特定するために用いることができる。これ以上の詳細については、図11~図13に関して以下で説明する。00131ステップ610において、演算装置4において実行するソフトウェアというような本システムは、ユーザーの視野内においてユーザーの現焦点領域を判定する。一実施形態では、ステップ610は、図2Aのステップ34と同等である。図12および図13において以下で更に論ずるが、目毎に目追跡カメラ134によって取り込まれたデーターに基づく目追跡処理によって、ユーザーの現在の焦点領域を規定することができる。例えば、瞳間の収斂は、ユーザーの顔の位置を示すデーターと共に、焦点曲線、即ち、ホロプター上の焦点距離まで三角測量するために用いることができる。焦点領域、即ち、パナムの融合エリアは、この焦点から計算することができる。パナムの融合エリアとは、人間の目によって用いられる両眼立体視に対する単一視のエリアである。00132ステップ612において、ソフトウェアの制御の下で、演算装置4は、単独でまたはハブ計算デバイス12と協同して、最適画像を生成する。この最適画像は、三次元モデル、検出された視野内の物体、およびユーザーの視野に基づく。00133最適画像は、この最適画像の生成を制御するアプリケーションに応じて、多くの形態をなすことができる。更に、画像という用語は、動きの画像、つまり、表示されている1つまたは複数の物体の動きを表示する画像を含む場合もあることは、言うまでもない。00134次いで、頭部装着ディスプレイデバイス2のユーザーは、頭部装着ディスプレイデバイス2に表示された最適画像に基づいて、ハブ計算デバイス12または他の計算デバイス上で実行しているアプリケーションと相互作用を行う。図8の処理ステップ608~612は、ユーザーが彼または彼女の頭部を動かすに連れてユーザーの視野および焦点領域を更新し、新たな視野からの新たな最適画像を判定し、ユーザーの意図に基づいて最適画像をユーザーに表示するように、本システムの動作中に連続して実行することができる。ステップ604~612の各々については、以下で詳細に説明する。00135図9は、ユーザーの空間のモデルを作成するプロセスの一実施形態を説明する。例えば、図9のプロセスは、図8のステップ602の一実施態様例である。ステップ620において、ハブ計算デバイス12は頭部装着ディスプレイデバイス2が存在する空間の、図1に示したもののような、多数の視線に対する1つ以上の深度画像を受け取る。例えば、ハブ計算デバイス12は、多数の深度カメラから深度画像を得ることができ、あるいはカメラを異なる方向に向けることによって、またはモデルを構築する空間の全視野を可能にするレンズを有する深度カメラを用いることによって、同じカメラから複数の深度画像を得ることができる。ステップ622において、種々の深度画像からの深度データーを共通座標系に基づいて組み合わせる。例えば、このシステムが深度画像を多数のカメラから受け取る場合、本システムは2つの画像を相関付けて共通の座標系を有する例えば、画像を並べる。ステップ624において、深度データーを用いて、空間の立体記述を作成する。00136図10は、空間のモデルを物体に区分するプロセスの一実施形態を説明するフローチャートである。例えば、図10のプロセスは、図8のステップ604の一実現例である。図10のステップ626において、本システムは、先に論じたように、1つ以上の深度画像を1つ以上の深度カメラから受け取る。あるいは、本システムは、既に受け取っている1つ以上の深度画像にアクセスすることもできる。ステップ628において、本システムは、1つ以上の仮想画像を前述したカメラから受け取る。あるいは、本システムは、既に受け取られている1つ以上の仮想画像にアクセスすることもできる。ステップ630において、ハブ計算システム12は、深度画像および/または視覚画像に基づいて1人以上の人を検出する。例えば、本システムは1つ以上の骨格を認識する。ステップ632において、ハブ計算デバイス12は、深度画像および/または視覚画像に基づいてモデル内で縁端を検出する。ステップ634において、ハブ計算デバイス12は、検出した縁端を用いて、別個の物体を互いから識別する。例えば、縁端が物体間の境界であると仮定する。ステップ636において、モデルのどの部分が異なる物体と関連付けられているかを示すために、図9のプロセスを用いて作成したモデルを更新する。00137図11は、図8のステップ608の一実施態様例である、ユーザーの視野を判定するプロセス、更に図8のステップ610の一実施態様例である、ユーザーの焦点領域を判定するプロセスの一実施形態を説明するフローチャートである。図11のプロセスは、ハブ計算デバイス12からの情報および先に説明した目追跡技術を拠り所とすることができる。図12は、図12のプロセスにおいて用いられる追跡情報を提供するためにハブ計算システムによって実行するプロセスの一実施形態を説明するフローチャートである。あるいは、図12のプロセスは、図4Aのプロセッサー210によって実行してもよい。図13は、目を追跡するプロセスの一実施形態を説明するフローチャートであり、この結果は図12のプロセスによって用いられる。00138ハブ計算システムを利用する場合、図12のステップ686において、ハブ計算デバイス12はユーザーの位置を追跡する。例えば、ハブ計算デバイス12は、1つ以上の深度画像および1つ以上の視覚画像を用いてユーザーを追跡する例えば、骨格追跡を用いる。1つ以上の深度画像および1つ以上の視覚画像は、ステップ688において頭部装着ディスプレイデバイス2の位置、および頭部装着ディスプレイデバイス2の向きを判定するために用いることができる。ステップ690において、ユーザーおよび頭部装着ディスプレイデバイス2の位置ならびに向きを、ハブ計算デバイス12から演算装置4に送信する。ステップ692において、演算装置4においてこの位置および配向情報を受け取る。図12の処理ステップは、ユーザーを連続的に追跡するように、本システムの動作中継続して実行することができる。00139図13は、環境においてユーザーの目の位置を追跡する一実施形態を説明するフローチャートである。ステップ662において、目に照明を当てる。例えば、目追跡照明134Aからの赤外線光を用いて、目に照明を当てることができる。ステップ664において、1つ以上の目追跡カメラ134Bを用いて目からの反射を検出する。ステップ665において、頭部装着ディスプレイデバイス2から演算装置4に反射データーを送る。ステップ668において、演算装置4は、先に論じたように、反射データーに基づいて目の位置を判定する。00140図11は、ユーザーの視野を判定するプロセス例えば、図8のステップ608およびユーザーの焦点領域を判定するプロセス例えば、図8のステップ610の一実施形態を説明するフローチャートである。ステップ670において、演算装置4は、ハブから受け取った最新の位置および配向情報にアクセスする。図12のプロセスは、ステップ814からステップ810への矢印によって示されるように、連続的に実行することができ、したがって、演算装置4は周期的に更新された位置および配向情報を、ハブ計算デバイス12から受け取る。しかしながら、演算装置4は、ハブ計算デバイス12から更新情報を受け取るよりも高い頻度で仮想画像を描画する必要がある。したがって、演算装置4は、ローカルに例えば、頭部装着ディスプレイデバイス2から検知された情報を拠り所として、ハブ計算デバイス12からのサンプルの間に、向きに対する更新を行う必要がある。加えて、処理レイテンシーのために、仮想画像を素早くレンダリングしなければならないこともある。00141あるいは、ステップ670は、いずれの数の手段によって実行してもよい。加速度計、磁力計、およびジャイロスコープを含む、頭部装着ディスプレイ内に埋め込まれているセンサー技術、または他のセンサー技術を用いて、環境におけるユーザーの位置および向きを特定することもできる。ステップ672において、演算装置4は、三軸ジャイロ132Bからのデーターにアクセスする。ステップ674において、演算装置4は三軸加速度132Cからのデーターにアクセスする。ステップ676において、演算装置4は三軸磁力計132Aからのデーターにアクセスする。ステップ678において、演算装置4は、ジャイロ、加速度計、および磁力計からのデーターによって、ハブ計算デバイス12からの位置および配向データーの精度を高めるまたは、言い換えると、更新する。ステップ680において、演算装置4は、頭部装着ディスプレイデバイスの位置および向きに基づいて、潜在的な視点を判定する。頭部装着ディスプレイの位置は、いかなる数の技法を用いてでも判定され、目位置追跡と共に、ユーザーの視野を判定するために用いられる。尚、実施態様の中には、ユーザーの環境の三次元モデルを必要としない場合もあることを注記しておく。多数の頭部追跡技法のいずれでも、用いることができる。頭部装着ディスプレイから入手できるセンサーがあるとすると、慣性検知は加速度計からの慣性測定値を用い、ジャイロスコープを用いることもできる。しかしながら、他の技法を用いてもよい。このような技法には、飛行時間、空間走査、機械的連係、位相差検知、および/または直接場検知が含まれる。このような場合、頭部装着ディスプレイには、追加のハードウェアが必要となることもある。00142ステップ682において、演算装置4は最新の目位置情報にアクセスする。ステップ684において、演算装置4は、ユーザーによって見られているモデルの部分を、潜在的な視野の一部として目の位置に基づいて判定する。例えば、ユーザーが壁に向かっていることもあり、したがって、頭部装着ディスプレイの視点は、壁に沿ったいずれかの場所を含むこともあり得る。しかしながら、ユーザーの目が右に向けられている場合、ステップ684では、ユーザーの視野は壁の右側部分のみであると結論付ける。ステップ684の終了時には、演算装置4は頭部装着ディスプレイ2を介したユーザーの視点を判定し終えている。次いで、演算装置4は、その視野内において、不透明フィルターを用いて仮想画像を挿入し光を遮断する位置を特定することができる。図12の処理ステップは、ユーザーが彼または彼女の頭を動かすに連れてユーザーの視野および焦点領域が連続的に更新されるように、本システムの動作中に連続的に実行することができる。00143図14は、最適画像の一部をユーザーの焦点領域に結合するプロセスを説明するフローチャートである。一実施形態では、図14は、図2Aのステップ236および図2Aのステップ240の一実施態様である。00144ステップ1402において、検出したユーザーの視野に基づく画像を、読み出す。この画像は、先のステップ612においてレンダリングしたものである。レンダリングは、ハブ計算システム、あるいは図4Aおよび図4Bの処理コンポーネント200または304のいずれかによってそれぞれ行うことができる。一実施形態では、画像を処理するためにハブ計算デバイス12を用いると、頭部装着ディスプレイ2以外の計算リソースな効率的な使用に役立ち、図4Aおよび図4Bのコンポーネントというような処理コンポーネントが頭部装着ディスプレイのディスプレイエレメントおよび/または微小機械式エレメントを一層アクティブに駆動することが可能になる。1404において、予測した目の位置図15および図16にしたがって計算するを受け取り、1405において、ユーザーの焦点領域に結合するために利用可能な、選択した数の潜在的な高解像度部分を減らす。一実施形態では、ステップ1406においてハブ計算デバイスが処理を実行する場合、1405において、多数の潜在的な部分を選択し、バッファに移動させ、頭部装着ディスプレイ2におけるレンダリングエリアに最も近い、演算装置において利用可能なメモリ位置の内1つ以上に入れる。一実施形態では、このようなエレメントは、演算装置4のメモリ330に設けることができる。他の実施形態では、これらの部分を頭部装着ディスプレイ2のメモリ224に供給してもよい。1408において、現在の目の位置および視野内における1つ以上の次の可能な目の位置においてレンダリングすることができる潜在的な最適セクションを、更に減らす。この場合も、最適部分はハブ計算システムによって計算し、例えば、ハブ計算システムからメモリ330へというように、処理チャネルの下流にバッファするか、またはステップ1410において、演算装置において処理し、メモリ224にバッファしてもよい。1412において、ステップ236または240にしたがって、視聴者の焦点領域に対して最適化された位置において、ディスプレイ上の位置にレンダリングする。00145図15は、目の位置の追跡、既知の目のデーター、ならびに既知の頭部の位置および配向データーに基づいて、次のユーザーの目の位置ならびに頭部の位置および向きを判定するプロセスを示すフローチャートである。先に注記したように、目位置データーは、目追跡カメラ134Bによって取り込むことができる。1502において、ユーザーの目の動きを取り込み、1504において、頭部装着ディスプレイセンサーおよびキャプチャーデバイス20A、20Bから入手可能なユーザーの頭部の位置、向き、および動き情報と共にデーターを収集する。目位置データーは、頭部の位置および向きに対する目の位置を含み、頭部は、部屋または環境に対する位置である。1506において、時間Tn毎に、時点Tn1におけるユーザーの目位置予測を、1508において行う。1510および1512において、時点Tn1に対する代わりの予測を計算することもできる。目のデーターに対してユーザーの目の位置を予測する方法を、図16に示す。また、時間Tn毎に、ユーザーの次の頭部の向きおよび位置の予測を、1507において行う。1510および1512において、頭部の向きおよび位置の追加の予測を行うこともできる。1515において、予測した目の位置の内1つを、図2Aに関する画像の使用にしたがって、次の位置の選択し、1513において、予測した頭部の位置の内1つを選択する。1516において、これらの位置をステップ240において用いて、画像のどの部分を次の位置にレンダリングするか決定し、ユーザーの目および頭部の動きが続くのにしたがって、本方法は1518において繰り返す。00146図16は、可能な目の位置を予測するプロセスを示すフローチャートである。1630において、ユーザーの目についての複数のデーター位置をバッファし、1632において。一旦十分な量のデーターを得てバッファしたなら、予測モデリングフィルタを用いて、ユーザーの目が時点Tn1、Tn2等において所与の位置にある可能性を計算する。一実施形態では、カルマンフィルタを用い、値を予測し、予測した値の不確実性を推定し、予測値および測定値の加重平均を計算することによって、目位置測定値の真の値の推定値を計算する。最も大きな重みは、不確実性が最も小さい値に与えられる。あるいは、マルコフモデルを用いる。マルコフモデルは、時間の経過と共に変化するランダム変数によって、システムの状態を判定する。このコンテキストでは、マルコフ特性は、この変数についての分布が、直前の状態の分布のみに依存することを示唆する。頭部の位置および向きを予測するためには、同様の方法を使用してもよい。001471634において、いずれの数の連続予測でも行って出力することができる。尚、ユーザーの頭部の座標枠組みに対する目の位置の予測には、いずれの数の予測アルゴリムでも利用できることは認められてしかるべきである。以上で参照した方法は、多数の適した実施形態の内の2つに過ぎない。00148以上、構造的特徴および/または方法論的動作に特定な文言で主題について説明したが、添付した特許請求の範囲において定義されている主題は、以上で説明した特定の特徴や動作には必ずしも限定されないことは理解されてしかるべきである。逆に、以上で説明した特定の特徴および動作は、特許請求の範囲を実現する形態例として開示されたまでである。本発明の範囲は、添付する特許請求の範囲によって定義されることを意図している。"