"仮想物体の可変焦点を与える拡張現実ディスプレイを生成する方法であって、ニアアイディスプレイデバイスを使用して、拡張現実表示画像内において、1つ以上の実物体と1つ以上の仮想物体とを含む場面を見ているユーザーの三次元視野を判定するステップと、前記ユーザーの視野内において1つ以上の仮想物体の三次元位置を特定するステップと、前記視野内において前記ユーザーの三次元現焦点領域を判定するステップと、前記1つ以上の仮想物体の内どれが前記ユーザーの前記現焦点領域内にあるか特定するステップと、前記ニアアイディスプレイデバイスのマイクロディスプレイアセンブリーの前記焦点領域を調節することによって、前記拡張表示画像内において、前記ユーザーの前記現焦点領域に前記1つ以上の仮想物体を置くステップと、少なくとも1つの仮想物体を含む画像を表示するステップと、を含む、方法。請求項1記載の方法であって、更に、少なくとも1つの人為的被写体深度技法を、前記ユーザーの視野内にあるが、前記ユーザーの前記現焦点領域の外側にある仮想物体に、前記現焦点領域からの距離の関数として適用するステップを含む、方法。請求項1記載の方法において、前記ニアアイディスプレイデバイスのマイクロディスプレイアセンブリーの前記焦点領域を調節することによって、前記拡張表示画像内において、前記ユーザーの前記現焦点領域に前記1つ以上の仮想物体を置くステップが、前記マイクロディスプレイアセンブリーの光路内で変位を調節するステップを含む、方法。請求項3記載の方法において、前記マイクロディスプレイアセンブリーが、反射エレメントへの前記光路内において整列されている少なくとも1つの光学エレメントとマイクロディスプレイユニットとを含み、前記マイクロディスプレイアセンブリーの光路内で変位を調節するステップが、更に、前記少なくとも1つの光学エレメントの前節点と、前記少なくとも1つの仮想物体の目標位置との間で、変位値S1を判定するステップであって、前記少なくとも1つの光学エレメントが、マイクロディスプレイと反射エレメントとの間の光路内に配置されている、ステップと、前記反射エレメントと、前記少なくとも1つの光学エレメントの後接点との間で、式1/S11/S2=1/fに基づいて、前記少なくとも1つのレンズの焦点距離fについて、変位値S2を判定するステップと、前記判定した変位値S1およびS2を生成するために、前記少なくとも1つの光学エレメントを動かすステップと、を含む、方法。仮想物体の可変焦点を与える拡張現実システムであって、透視ディスプレイユニットを含み、この透視ディスプレイユニットが、前記透視ディスプレイユニットの表示のために画像を生成するマイクロディスプレイアセンブリーであって、反射エレメントと、少なくとも1つの光学エレメントと、マイクロディスプレイユニットと、可変仮想焦点調節器とを含み、前記少なくとも1つの光学エレメントと前記マイクロディスプレイユニットが、前記反射エレメントと光路内において整列されており、前記可変仮想調節器が、1つ以上の仮想物体をユーザーの現焦点領域内に置くために、前記マイクロディスプレイアセンブリーの焦点領域を変化させる、マイクロディスプレイアセンブリーと、前記マイクロディスプレイアセンブリーに通信可能に結合されているプロセッサーを含む制御回路であって、前記可変仮想調節器を制御するためにドライバーを含み、前記プロセッサーが、ソフトウェアの制御の下で、現ユーザー焦点領域内に少なくとも1つの仮想物体を含むように、前記マイクロディスプレイユニットに命令する、制御回路と、少なくとも1つの目の位置に向けられた三次元仮想画像を投射するために前記マイクロディスプレイアセンブリーに光学的に結合されたディスプレイと、を含む、拡張現実システム。請求項5記載の拡張現実システムであって、更に、前記マイクロディスプレイアセンブリーの少なくとも1つのエレメントを支持するアーマチャーであって、前記可変仮想調節器の制御の下にある、アーマチャーを含む、拡張現実システム。請求項5記載の拡張現実システムにおいて、前記制御回路が、更に、前記可変仮想調節器を制御する前記ドライバーにレートを供給するタイミングジェネレーターを含み、前記可変仮想調節器が、前記マイクロディスプレイアセンブリーの前記光路内における変位の範囲にわたって、前記レートで掃引し、前記変位の範囲が、焦点領域の範囲に対応し、前記焦点領域の範囲が、前記現ユーザー焦点領域を含み、前記プロセッサーが、ソフトウェアの制御の下で、前記調節器が前記焦点領域に対する変位にあるときに、特定された任意の仮想物体を含む画像を、前記範囲の前記焦点領域の内1つに配置されるように生成するように、前記マイクロディスプレイユニットに命令する、拡張現実システム。請求項5記載の拡張現実システムにおいて、前記制御回路が、更に、前記可変仮想調節器を制御する前記ドライバーにレートを供給するタイミングジェネレーターを含み、前記可変仮想調節器が、前記光路内で前記少なくとも1つの光学エレメントの焦点距離を変化させるために、前記マイクロディスプレイアセンブリーの前記光路内の前記少なくとも1つの光学エレメントの偏光値の範囲にわたって、前記レートで掃引し、前記偏光値の範囲が、焦点領域の範囲に対応し、前記焦点領域の範囲が、前記現ユーザー焦点領域を含み、前記プロセッサーが、ソフトウェアの制御の下で、前記調節器が前記焦点領域に対する偏光にあるときに、特定された任意の仮想物体を含む画像を、前記範囲の前記焦点領域の内1つに配置されるように生成するように、前記マイクロディスプレイユニットに命令する、拡張現実システム。請求項5記載の拡張現実システムにおいて、前記制御回路が、更に、前記可変仮想調節器を制御する前記ドライバーにレートを供給するタイミングジェネレーターを含み、前記光路内の前記少なくとも1つの光学エレメントが流体レンズを含み、前記可変仮想調節器が、前記少なくとも1つの流体レンズの焦点距離を変化させるために、前記マイクロディスプレイアセンブリーの光路内で前記少なくとも1つの流体レンズの曲率半径値の範囲にわたって、前記レートで掃引し、前記曲率半径値の範囲が、焦点領域の範囲に対応し、前記焦点領域の範囲が、前記現ユーザー焦点領域を含み、前記プロセッサーが、ソフトウェアの制御の下で、前記調節器が前記焦点領域に対する曲率半径にあるときに、特定された任意の仮想物体を含む画像を、前記範囲の前記焦点領域の内1つに配置されるように生成するように、前記マイクロディスプレイユニットに命令する、拡張現実システム。請求項7記載の拡張現実システムにおいて、前記マイクロディスプレイが、前記変位の範囲によって生成された異なる画像の合焦部分を含む複合画像を生成し、前記ディスプレイが、前記少なくとも1つの目の位置に前記複合画像を投射する、拡張現実システム。しかしながら、仮想物体が固定距離にあり、ユーザーの位置が変化すると、仮想物体は、ユーザーがその仮想物体を自然の視野で見る場合のようには、ユーザーに対して焦点が合ったりぼやけたりする動きはしない。0002本技術は、混合実現または拡張実現ディスプレイに可変焦点を達成するための実施形態を提供する。ユーザーは、透過ディスプレイデバイスによって場面を見る。この場面は、ユーザーが彼または彼女の目で、ディスプレイデバイスの透明なレンズ即ち透過レンズを介して直接見る物理環境において、1つ以上の実物体を含む。1つ以上の仮想物体が、ディスプレイデバイスによって、ユーザーの目の位置の少なくとも一方に投射される。こうして、実場面の表示が仮想物体によって拡張される。0003一実施形態では、本技術は、ディスプレイデバイスによって投射される仮想物体の焦点距離を可変にするための装備を有する。ユーザーに対して三次元視野を決定し、ユーザーの視野内にある1つ以上の仮想物体の三次元位置も決定する。視野内において、ユーザーの現在の三次元焦点領域が決定される。ユーザーの現在の焦点領域内にある1つ以上の仮想物体が、それらの位置に基づいて特定される。0004ディスプレイにおいてユーザーの現在の焦点領域に仮想物体を表示するために、仮想物体が現在の焦点領域における画像の領域に動かされる。一実施形態では、これを行うには、透過ディスプレイデバイスのマイクロディスプレイアセンブリーの焦点領域を変化させる。マイクロディスプレイアセンブリーは、反射エレメント、少なくとも1つの光学エレメント、および光路に沿って整列されたマイクロディスプレイユニットというようなエレメント、および可変仮想焦点調節器を含むことができる。マイクロディスプレイユニットは表示用画像を生成し、この画像の光は、光路に沿って少なくとも1つの光学エレメント、例えば、平行化レンズを通過して、反射エレメントまで進む。0005一実施形態では、調節器が、マイクロディスプレイアセンブリーの少なくとも2つのエレメント間にある光路に沿った変位を変化させて、画像における仮想物体の焦点領域を変化させる。他の実施形態では、光学エレメントの焦点距離を調節して、所望の焦点領域を得ることもできる。例えば、少なくとも1つの複屈折レンズの偏光を変化させてもよく、あるいは流体レンズまたは液体レンズの曲率半径を調節してもよい。0006一実施形態では、ユーザー焦点領域の外側であるがユーザー視野の内側にある仮想物体に、ユーザー焦点領域からの距離の関数として人工焦点深度技法を適用することができる。0007また、本技術は、可変仮想焦点調節器を含むマイクロディスプレイアセンブリーを含む透過ディスプレイユニットを含み、仮想物体の可変焦点に備えた、拡張現実システムも提供する。制御回路は、可変仮想焦点調節器を制御するドライバーを含む。一実施形態では、本システムは、更に、可変仮想焦点調節器がマイクロディスプレイアセンブリーを異なる焦点領域にわたって掃引するタイミングを制御するために、制御回路にタイミングジェネレーターも含む。殆どの実施形態では、掃引のレートは、人間の時間的画像融合によって、異なる焦点領域において生成された画像が同時に存在するかの如く見えるように、十分速く設定される。異なる焦点領域において生成された画像の表示を見ているユーザーは、仮想物体が物理環境における実物体であるかのように、仮想物体に自然に焦点が合い、そして焦点が外れていく様子を見る。0008また、本技術は、拡張現実ディスプレイにおいて異なる焦点領域に仮想物体を生成する方法も提供する。透過ディスプレイデバイスを使用して、実物体および仮想物体を含む場面を見ているユーザーに対して、三次元視野が決定される。ユーザーの視野内にある1つ以上の仮想物体に対して、三次元焦点領域が特定される。マイクロディスプレイアセンブリーは、複数の焦点領域にわたって掃引するために調節される。焦点領域は、ユーザーが現在見ている焦点領域、および仮想物体を含む領域を含むように選択されるとよい。焦点領域毎に画像が生成される。0009一例では、これらの画像の各々が、人間の時間的画像融合によって人間の目には同時に画像が存在するかの如く見えるように、十分に速いレートでユーザーに表示することができる。他の例では、異なる焦点領域において生成された仮想画像の合焦部分の複合画像が表示される。0010この摘要は、詳細な説明の章において以下で更に説明する概念から選択したものを簡略化された形式で紹介するために、設けられている。この摘要は、特許請求する主題の主要な特徴や必須の特徴を特定することを意図するのではなく、特許請求する主題の範囲を決定するときに補助として使用されることを意図するのでもない。0037本技術は、混合現実または拡張現実ディスプレイのために可変焦点を得る実施形態を提供する。一実施形態では、システムは、拡張現実のためのニアアイディスプレイとして、透過ディスプレイデバイスと、この透過ディスプレイデバイスと通信可能な処理ユニットとを含む。以下で論ずる実施形態では、透過ディスプレイは、1組のめがね内にあるが、他のHMDフォーマットおよびニアアイディスプレイホルダーも使用することができる。0038ユーザーの自然な視界が、透過ディスプレイによって見られる場面において実物体を実際にそして直接見るために使用される。ソフトウェア、例えば、ゲーミングアプリケーションを実行するコンテキストに基づいて、本システムは仮想画像をディスプレイ上に投射することができ、これらの仮想画像は、頭部装着ディスプレイデバイスを装着している人によって見つつ、この人はディスプレイを介して現実世界の物体も見ることができる。00391つ以上のセンサーが、ユーザーが見る物理環境をスキャンするために使用され、こうしてスキャンされた環境の三次元モデルを築くことができるデーターを提供する。このモデルは実物体に区分され、そして以下で説明するように、仮想物体画像の位置によって拡張される。0040加えて、種々のセンサーが、仮想画像をどこに投射すべきか決定するために、ユーザーの頭の位置および向き、ならびに目の位置を検出するために使用される。本システムは、自動的に、ユーザーがどこを見ているのか追跡するので、本システムは、透過ディスプレイデバイスの表示によって、ユーザーの視野を解明することができる。ユーザーを追跡するには、深度カメラ、および深度センサー、画像センサー、慣性センサー、眼位センサー等を含む種々のセンサーの内任意のものを使用することができる。ユーザーの視野の他に、本システムは、視野の中のどの位置にユーザーの焦点が合わされているか、またはユーザーが見ているか判断する。これを、多くの場合、ユーザー焦点領域と呼ぶ。0041実施形態では、ユーザー焦点領域は、パナムの融合エリアとして知られているボリュームであり、このエリアでは、人間の目は物体を単一視で見る。人間は、双眼視または立体視を有する。各目は異なる視点から画像を生成する。このパナムの融合エリアという小さなボリュームのみにおいて、人間は単一視で物体を見る。これは、一般に、物体が焦点が合っていると言われるときに意味することである。このエリアの外側では、物体はぼやけて見えるか、または二重画像として現れる可能性がある。パナムの融合エリアの中央内に、ユーザーの目の焦点を含むホロプターがある。ユーザーの焦点が空間内の一点において合っているとき、この点を以後焦点と呼ぶが、この焦点は湾曲線上に位置する。空間におけるこの湾曲線上にある物体は、眼窩において目の網膜上に来る。この湾曲線は、ときとして水平ホロプターと呼ばれることもある。また、垂直ホロプターもあり、これはその湾曲線を通過する線であって、その曲線上の焦点よりも上では目から離れるように傾き、そしてその曲線上の焦点よりも下では目に向かって傾く。ホロプターという用語は、以後使用する場合、その垂直成分および水平成分の双方を指すものとする。0042一旦システムがユーザーの視野およびユーザーの焦点領域を把握したなら、システムは、透過ディスプレイデバイスの表示によってどこに1つ以上の仮想物体画像を投射すべきか解明することができる。投射される表示において選択された焦点領域の位置に仮想物体の表示を生成するには、透過ディスプレイデバイスのマイクロディスプレイアセンブリーにおける光路長を調節することによって行えばよい。0043左および右のマイクロディスプレイ上に置かれた画像をずらすことによって、視差が発生する。仮想物体に対して視差量を設定することによって、その仮想距離は、左目ディスプレイによって生成された仮想物体までの見通し線が、右目ディスプレイに対する対応する見通し線と交差する距離によって暗示される。従来のディスプレイは、この視差暗示距離を設定することができる。視差とは無関係に、ディスプレイから出る波頭の曲率によって暗示される距離がある。この曲率半径は、単に、物体上の一点までの距離である。近隣の物体は強く湾曲した波頭を有する。何故なら、それによって曲率半径が小さくなるからである。離れている物体は、遙かに平坦な波頭を有する。何故なら、曲率半径が対応して大きくなるからである。非常に離れた物体の極限において、波頭は平面になる。従来の頭部装着ディスプレイは、固定の波頭曲率を有する。何故なら、これらは、場面の内容に基づいて可変にすることができる光学エレメントを有していないからである。0044ユーザーの位置が仮想物体の現在地から更に遠い位置に変化する場合、左および右マイクロディスプレイ上にしかるべき画像を置くことによって、仮想物体に対する視差およびスケールを変化させることができる。ユーザーの新しい位置に対して、ホロプター、およびパナムの融合エリアを定めることができる。従来のディスプレイは、仮想物体をパナムの融合エリアに持っていくように、波頭の曲率半径を調節することができない。以下で説明する技術は、波頭曲率を、スケールおよび視差によって設定される他のキューとも符合し、仮想物体をパナムの融合エリアに持っていく距離に設定することができる。このようにして、画像は自然で現実的に現れる。同じ議論は、ユーザーが一定の位置に居続ける場合にも該当し、仮想物体は、場面における自然物体に対して一層近づくようにまたは遠ざかるように動くことになる。0045マイクロディスプレイアセンブリーは、光処理エレメントおよび可変焦点調節器を含む。光処理エレメントの例をいくつかあげると、マイクロディスプレイユニット、1つ以上の光学エレメント、例えば、レンズシステムのレンズ、および反射エレメント、例えば、反射面または部分的反射面がある。マイクロディスプレイユニットは、光源を含み、仮想物体の画像を生成する。マイクロディスプレイユニットは、光学的に1つ以上の光学エレメントおよび反射エレメントと整列されている。光学的整列は、光軸または1つ以上の光軸を含む光路に沿っているとよい。画像光は、1つ以上の光学エレメントによって平行化され、反射エレメントに導かれるのであってよい。部分的反射エレメントからの反射光は、一実施形態では、ユーザーの目の位置に導かれるのであってよい。表面は部分的に反射するので、自然場面からの光にそれを通過させ、見えるようにすることもできる。他の実施形態では、反射エレメントによって反射されたマイクロディスプレイユニットからの光は、他の光学エレメントに進み、この光学エレメントは、ユーザーが見るために画像を投射し、更に自然光も見られることを可能にする。可変焦点調節器は、マイクロディスプレイアセンブリーの光路内にある1つ以上の光処理エレメント間における変位、またはマイクロディスプレイアセンブリーにおけるエレメントの光学倍率を変化させる。レンズの光学倍率は、その焦点距離の逆数、例えば、1/焦点距離と定められているので、一方が変化すると他方に影響を及ぼす。この変化の結果、マイクロディスプレイアセンブリーによって生成された画像に対して、焦点が合っている視野の領域が、変化した変位または光学倍率によって変化することになる。以下で実施形態について論ずるが、マイクロディスプレイアセンブリーは各目に設けることができる。マイクロディスプレイアセンブリーの各々は、そのそれぞれの目の視界に対して処理を実行する。0046一例では、人為的なぼけのような人為的被写体深度技法が、視野内および焦点領域の外側にある任意の仮想物体に、焦点領域からのその距離に比例して適用される。他の実施形態では、調節器が、焦点領域の範囲に対応する焦点距離の範囲にわたって、あるレートまたは頻度で掃引しつつ、それぞれの焦点領域内において仮想物体を表示する。このレートまたは頻度は、ディスプレイデバイスのフレームレート以上とするとよい。一実施形態では、異なる焦点領域において生成された仮想物体画像は、階層画像として表示され、これらの画像が同時に現れるが如く見えるように、ディスプレイのレートを十分に速くする。他の実施形態では、異なる焦点領域において生成された画像の合焦部分の複合画像が表示される。ユーザーが彼または彼女の現在の焦点を他の焦点領域に変化させると、異なる焦点領域にある仮想物体は、自然光において見るときのように、焦点が合いそして外れていく。0047次いで、仮想画像のサイズおよび向きを決め、このサイズ/向きを決めた画像を透過ディスプレイ上にレンダリングすることによって、画像がレンダリングされる。0048図1は、仮想物体の可変焦点を与えるシステム10の一実施形態のコンポーネント例を示すブロック図である。システム10は、頭部装着ディスプレイデバイス2のような、ワイヤ6によって処理ユニット4と通信可能な透過ディスプレイデバイスを含む。他の実施形態では、頭部装着ディスプレイデバイス2は処理ユニット4とワイヤレス通信によって通信する。頭部装着ディスプレイデバイス2は、一実施形態では、めがねの形状となっており、フレーム115が本システムのエレメントを保持するためのサポート、および電気接続のための導線を備えており、ユーザーの頭部に装着され、ユーザーがディスプレイを透視しこれによってユーザーの前方にある空間の実際の直接視を有することができるようになっている。実際の直接視という用語の使用は、作られた物体の画像表現を見るのではなく、人間の目で直接実世界の物体を見る能力を指す。例えば、ガラスを通して室内を見ると、ユーザーはその部屋の実際の直接視を有することができ、一方テレビジョンにおいて部屋のビデオを見ることは、その部屋の実際の直接視ではない。頭部装着ディスプレイデバイス2のこれ以上の詳細については、以下で説明する。0049一実施形態では、処理ユニット4は、ユーザーの手首に着用され、頭部装着ディスプレイデバイス2を動作させるために使用される計算パワーの多くを含む。処理ユニット4は、1つ以上のハブ計算システム12にワイヤレスで通信する例えば、WiFi、Bluetooth登録商標、赤外線、または他のワイヤレス通信手段。0050ハブ計算システム12は、コンピューター、ゲーミングシステムまたはコンソール等であってもよい。一実施形態例によれば、ハブ計算システム12は、このハブ計算システム12が、ゲーミングアプリケーション、ゲーム以外のアプリケーション等のようなアプリケーションを実行するために使用できるように、ハードウェアコンポーネントおよび/またはソフトウェアコンポーネントを含むことができる。一実施形態では、ハブ計算システム12は、本明細書において記載するプロセスを実行するためにプロセッサー読み取り可能記憶デバイスに格納されている命令を実行することができる、標準的なプロセッサー、特殊プロセッサー、マイクロプロセッサー等のようなプロセッサーを含むことができる。0051更に、ハブ計算システム12は、キャプチャーデバイス20Aおよび20Bのような、1つ以上のキャプチャーデバイスも含む。他の実施形態では、2つよりも多いまたは少ないキャプチャーデバイスを使用することができる。一実施態様例では、キャプチャーデバイス20Aおよび20Bは、部屋の異なる部分を取り込むように、異なる方向に照準を向けられる。尚、2つのキャプチャーデバイスの視野が多少重複し、ハブ計算システム12が、これらのキャプチャーデバイスの視野が互いにどのように関係するのか把握できるようにすると有利であると考えられる。このように、複数のキャプチャーデバイスを使用して、部屋全体または他の空間を見ることができる。あるいは、1つのキャプチャーデバイスを動作中にパンニングすることができる場合、関連する空間全体が経時的にそのキャプチャーデバイスによって見られるように、このキャプチャーデバイスを使用することができる。0052キャプチャーデバイス20Aおよび20Bは、例えば、1人以上のユーザーおよび周囲の空間を視覚的に監視するカメラとするとよく、1人以上のユーザーによって行われるジェスチャーおよび/または動き、更には周囲の空間の構造を取り込み、分析し、追跡して、アプリケーションにおいて1つ以上の制御または動作を実行する、および/またはアバターまたは画面上のキャラクターを動画化することができるとよい。0053ハブ計算システム12は、ゲームまたはアプリケーションの映像部分を供給することができるテレビジョン、モニター、高品位テレビジョンHDTV等のようなオーディオビジュアルデバイス16に接続されていてもよい。例えば、ハブ計算システム12は、ゲームアプリケーション、ゲーム以外のアプリケーション等と関連するオーディオビジュアル信号を供給することができる、グラフィクスカードのようなビデオアダプター、および/またはサウンドカードのようなオーディオアダプターを含んでもよい。オーディオビジュアルデバイス16は、ハブ計算システム12からオーディオビジュアル信号を受けることができ、次いでこのオーディオビジュアル信号と関連するゲームまたはアプリケーションの映像部分および/またはオーディオを出力することができる。一実施形態によれば、オーディオビジュアルデバイス16は、ハブ計算システム12に、例えば、S-Videoケーブル、同軸ケーブル、HDMI登録商標ケーブル、DVIケーブル、VGAケーブル、コンポーネントビデオケーブル、RCAケーブルなどによって接続されるとよい。一例では、オーディオビジュアルデバイス16は内部スピーカを含む。他の実施形態では、オーディオビジュアルデバイス16、別のステレオ、またはハブ計算システム12が外部スピーカ22に接続される。0054ハブ計算デバイス10は、キャプチャーデバイス20Aおよび20Bと共に、人間または他のタイプのターゲットを認識、分析、および/または追跡するために使用することができる。例えば、キャプチャーデバイス20Aおよび20Bを使用して、頭部装着ディスプレイデバイス2を着用しているユーザーを追跡することができ、ユーザーのジェスチャーおよび/または動きを取り込んでアバターまたは画面上のキャラクターを動画化することができ、および/またはハブ計算システム12が実行しているアプリケーションに影響を及ぼすために使用することができる制御として、ユーザーのジェスチャーおよび/または動きを解釈することもできる。0055図2Aは、頭部装着ディスプレイデバイス2の一部の上面図を示し、テンプル102および鼻ブリッジ104を含むフレームの一部を含む。頭部装着ディスプレイデバイス2の右側だけが図示されている。鼻ブリッジ104内には、以下で説明するように、音を記録しそのオーディオデーターを処理ユニット4に送るマイクロフォン110が組み込まれている。頭部装着ディスプレイデバイス2の前方には、ビデオカメラ113に面する物理環境がある。ビデオカメラ113は、ビデオおよび静止画像を取り込むことができる。これらの画像は、以下で説明するように、処理ユニット4に送られる。0056頭部装着ディスプレイデバイス2のフレーム115の一部が、ディスプレイを包囲する1つ以上の光学エレメントを含む。頭部装着ディスプレイデバイス2のコンポーネントを示すために、ディスプレイを包囲するフレーム115の一部は図示されていない。ディスプレイは、導光光エレメント112、不透明フィルター114、透過レンズ116、および透過レンズ118を含む。一実施形態では、不透明フィルター114は、透過レンズ116の後ろにあってこれと整列されており、導光光学エレメント112は不透明フィルター114の後ろにあってこれと整列されており、透過レンズ118は、導光光学エレメント112の後ろにあってこれと整列されている。透過レンズ116および118は、めがねに使用される標準的なレンズであり、任意の処方に合わせて処方がない場合も含む作ることができる。一実施形態では、透過レンズ116および118は、可変処方レンズと置き換えることができる。実施形態の中には、頭部装着ディスプレイデバイス2が1つの透過レンズしか含まない、または透過レンズを含まない場合もある。他の代替案では、処方レンズは導光光学エレメント112の内側に進むことができる。不透明フィルター114は、自然光画素毎または均一のいずれかを排除して、仮想形像のコントラストを強調する。導光光学エレメント112は、人工光を目まで伝える。不透明フィルター114および導光光学エレメント112のこれ以上の詳細については、以下で説明する。0057テンプル102には、またはその内側には、画像ソースが装着されている。1つ以上の実施形態では、この画像ソースは、1つ以上の光学エレメント、例えば、レンズシステム122を通して画像を反射エレメント上に投射するマイクロディスプレイ120を含む。反射エレメントは、この実施形態では、画像を導光光学エレメント112に導く反射面124である。マイクロディスプレイ120を実現するために使用することができる、異なる画像生成技術がある。例えば、マイクロディスプレイ120は、透過型投射技術を使用して実現することができる。この場合、光源は、白色光によるバックライトを受ける、光学的にアクティブな材料によって変調される。これらの技術は、通常、強力なバックライトおよび高い光エネルギ密度を有するLCD型ディスプレイを使用して実現される。また、マイクロディスプレイ120は、反射技術を使用して実現することもできる。この場合、外部光が反射され光学的にアクティブな材料によって変調される。技術に依存して、白色光源またはRGB光源のいずれかによって、照明が前方に照らされる。ディジタル光処理DLP、シリコン上液晶LCOS、およびQualcommincクアルコム社からのMirasol登録商標表示技術は全て、反射技術の例である。これらの技術は、殆どのエネルギーが変調構造から遠ざかるように反射され、本明細書において記載するシステムにおいて使用することができるので、効率的である。加えて、マイクロディスプレイ120は、発光技術を使用して実現することもできる。この場合、光はディスプレイによって生成される。例えば、MicrovisionIncマイクロビジョン社からのPicoP登録商標は、レーザ信号を、マイクロミラー制御によって、透過エレメントとして作用する小さな画面上に出すか、または直接目に向けて送る例えば、レーザ。0058図示した実施形態では、マイクロディスプレイ120は、マイクロディスプレイアセンブリー173の一部である。マイクロディスプレイアセンブリー173は、画像を透過ディスプレイに伝える光処理エレメントを含む。この例におけるマイクロディスプレイアセンブリーは、マイクロディスプレイ120、レンズシステム122内で具体化される1つ以上の光学エレメント、および反射面124を含む。レンズシステム122は、1つのレンズまたは複数のレンズを含んでもよい。レンズシステム122、マイクロディスプレイユニット120、および反射面124例えば、ミラーまたは他の表面は、光路において整列されており、この例では、光軸133に沿って整列されている。画像光は、レンズシステム122によって平行化され、反射面124に導かれるのであってよい。0059更に、マイクロディスプレイアセンブリー173は、可変仮想焦点調節器135も含む。可変仮想焦点調節器135は、レンズシステム122とマイクロディスプレイユニット120との間の変位、あるいはレンズシステム122と反射面124との間の変位、あるいは双方を光路133に沿って制御する。マイクロディスプレイアセンブリーの光処理エレメント間における異なる変位は、仮想物体を投射することができるユーザーの三次元視野における異なる焦点領域に対応する。この例では、変位変化は、アーマチャー137内部で導かれる。アーマチャー137は、この例では、レンズシステム122およびマイクロディスプレイ120のような、少なくとも1つの光処理エレメントを支持する。アーマチャー137は、エレメントの物理的動きの間光路133に沿った整列を安定させて、選択された変位または選択された光学パワーを得るのに役立つ。変位の範囲は、通例、数ミリメートルmm程度である。一例では、この範囲は1~2mmである。0060一例では、調節器135が、圧電モータのような、アクチュエーターであってもよい。アクチュエーターのための他の技術を使用してもよく、このような技術の例をいくつか挙げると、コイルと永久磁石によって形成されたボイスコイル、磁気歪みエレメント、および電気歪みエレメントがある。0061導光光学エレメント112は、マイクロディスプレイ120からの光を透過させて、頭部装着ディスプレイデバイス2を着用しているユーザーの目140に向かわせる。また、導光光学エレメント112は、矢印142によって示されるように、頭部装着ディスプレイデバイス2の前方からの光も、導光光学エレメント112を介して目140に向けて透過させることができ、これによってユーザーがマイクロディスプレイ120からの仮想画像を受けることに加えて、頭部装着ディスプレイデバイス2の前方にある空間の実際の直接視を有することを可能にする。つまり、導光光学エレメント112の壁は、透けて見える。導光光学エレメント112は、第1反射面124を含む。マイクロディスプレイ120からの光は、レンズシステム122を通過して、反射面124に入射する。反射面124は、マイクロディスプレイ120からの入射光を反射して、導光光学エレメント112を含む平面基板の内側に、内反射によって光が取り込まれるようにする。この基板の表面を数回反射した後、取り込まれた光波は、選択的反射面126のアレイに到達する。尚、図面が混みすぎるのを防止するために、5つの表面の内1つだけに126を付していることを注記しておく。反射面126は、基板の外側からこれらの反射面上に入射した光波を、ユーザーの目140に結合する。異なる光線が進行し異なる角度で基板の内側から反射すると、異なる光線が種々の反射面126に異なる角度で衝突する。したがって、異なる光線が、反射面の異なる1つ1つによって、基板から反射される。どの光線をどの表面126によって基板から反射させるかという選択は、表面126の適した角度を選択することによって管理される。導光光学エレメントのこれ以上の詳細については、米国特許出願公開2008/0285140、第12/214,366号において見いだすことができる。この出願は、SubstrateGuideOpticalDevice基板誘導光学デバイスと題し、2008年11月20日に公開された。この出願をここで引用したことにより、その内容全体が本願にも含まれるものとする。一実施形態では、各目がそれ自体の導光光学エレメント112を有する。頭部装着ディスプレイデバイスが2つの導光光学エレメントを有するとき、各目は、それ自体のマイクロディスプレイ120を有し、双方の目で同じ画像を表示すること、または2つの目で異なる画像を表示することができる。他の実施形態では、光を双方の目に反射させる1つの導光光学エレメントを設けることができる。0062不透明フィルター114は、導光光学エレメント112と整列されており、選択的に自然光が、均一にまたは画素毎に、導光光学エレメント112を通過するのを遮断する。一実施形態では、不透明フィルターは、透視LCDパネル、エレクトロクロミックフィルム、または不透明フィルターとして役割を果たすことができる同様のデバイスとすることができる。このような透視LCDパネルは、従来のLCDから基板、バックライト、およびディフューザーの種々の層を除去することによって得ることができる。LCDパネルは、光に液晶を通過させる1つ以上の光透過LCDチップを含むことができる。このようなチップは、例えば、LCDプロジェクターにおいて使用されている。0063不透明フィルター114は、密集した画素の格子を含むことができ、各画素の光透過度は、最低透過度および最高透過度の間で個々に制御可能である。透過度の範囲は0~100が理想的であるが、これよりも限られた範囲でも容認可能である。一例として、偏光フィルターが2つしかないモノクロームLCDパネルは、画素当たり約50から90の不透明度範囲をLCDの分解能まで与えるには十分である。最低の50において、レンズは多少着色した外観を有するが、許容可能である。100の透過度は、完全に透明なレンズを表す。アルファスケールを0~100まで定めることができ、0では光を通過させず、100では光を通過させる。アルファの値は、以下で説明する不透明フィルター制御回路224によって、画素毎に設定することができる。0064不透明フィルターについてのこれ以上の詳細は、OpacityFilterForSeeThroughMountedDisplay透過装着ディスプレイ用不透明フィルターと題し、2010年9月21日に出願された米国特許出願第12/887,426号、およびFusingVirtualContentIntoRealContent仮想コンテンツの実コンテンツへの融合と題し2010年10月15日に出願された米国特許出願第12/905,952号において示されている。これらの発明者は、JasonFlaks、AviBarZev、JeffreyMargolis、ChrisMiles、AlexKipman、AndrewFuller、およびBobCroccoであり、双方の出願をここで引用したことにより、これらの内容全体が本願にも含まれることとする。0065また、頭部装着ディスプレイデバイス2は、ユーザーの目の位置を追跡するシステムも含む。以下で説明するが、このシステムは、ユーザーの視野を判定できるようにユーザーの位置および向きを追跡する。しかしながら、人間は、彼らの前にあるあらゆるものを認知する訳ではない。逆に、ユーザーの目は環境の内部分集合に向けられる。したがって、一実施形態では、本システムは、ユーザーの視野の測定をリファインするために、ユーザーの目の位置を追跡する技術を含む。例えば、頭部装着ディスプレイデバイス2は、目追跡アセンブリー134図2A参照を含む。目追跡アセンブリー134は、目追跡照明デバイス134A、および目追跡カメラ134B図4参照を含む。一実施形態では、目追跡照明源134Aは、1つ以上の赤外線IR発光器を含み、IR光を目に向けて放出する。目追跡カメラ134Bは、反射したIR光を検知する1つ以上のカメラを含む。0066瞳の位置は、角膜の反射を検出する既知の撮像技法によって特定することができる。例えば、2008年7月22日にOphiretalに発行されたHeadMountedEyeTrackingandDisplaySystem頭部装着目追跡および表示システムと題する米国特許第7,401,920号を参照のこと。この特許をここで引用したことにより、その内容全体が本願にも含まれるものとする。このような技法は、追跡カメラに対する目の中心の位置を突き止めることができる。一般に、目の追跡には、目の画像を得て、コンピューター映像技法を使用して眼窩内部にある瞳の位置を判定する必要がある。一実施形態では、1つの目の位置を追跡すれば十分である。なぜなら、目は通常一緒に動くからである。しかしながら、各目を別々に追跡することも可能である。0067一実施形態では、本システムは、矩形配列とした4つの赤外線IRLEDおよび4つのIR光検出器を使用し、頭部装着ディスプレイデバイス2のレンズの角毎に1つずつのIRLEDおよびIR光検出器がある。LEDからの光は目で反射する。4つのIR光検出器の各々において検出された赤外線光量によって、瞳の方向を判定する。即ち、目における白および黒の量から、その特定の光検出器に対して目から反射する光の量を判定する。こうして、光検出器は、目における白または黒の量を測定する。4つのサンプルから、本システムは目の方向を判定することができる。0068他の代替案は、先に論じたように、4つの赤外線LEDを使用するが、頭部装着ディスプレイデバイス2のレンズの側には1つの赤外線撮像デバイスしか使用しない。この撮像デバイスは、小型のミラーおよび/またはレンズ魚眼を使用し、この撮像デバイスがめがねのフレームから見ることができる目の75までを撮像することができるようにしている。次いで、この撮像デバイスは、先に論じたのと全く同じように、画像を検知し、コンピューター映像を使用して画像を発見する。つまり、図2Aは1つのIR発光器を有する1つのアセンブリーを示すが、図2Aの構造は、4つのIR送信機および/または4つのIRセンサーを有するように調節することができる。4つよりも多いまたは少ないIR送信機および/またはIRセンサーを使用することもできる。0069目の方向を追跡する他の実施形態では、電荷追跡に基づく。この概念は、網膜が測定可能な正の電荷を保持し、角膜は負の電荷を有するという観察に基づく。目が動き回る間に電位を検出するために、ユーザーの耳にセンサーを装着しイヤホン130の近く、目が何をしているのかリアルタイムで効果的に読み出すことができる。目を追跡するための他の実施形態を使用することもできる。0070制御回路136は、頭部装着ディスプレイデバイス2の他のコンポーネントをサポートする種々の電子回路を設ける。制御回路136のこれ以上の詳細については、以下で図4に関して示すことにする。テンプル102の内側に、またはテンプル102に取り付けられたイヤホン130、慣性センサー132、および温度センサー138がある。一実施形態では、慣性センサー132は、三軸磁力計132A、三軸ジャイロ132B、および三軸加速度計132C図4参照を含む。慣性センサーは、頭部装着ディスプレイデバイス2の位置、向き、急激な加速を検知するためである。0071図2Aは、頭部装着ディスプレイデバイス2の半分のみを示す。頭部装着ディスプレイデバイス全体では、もう1組の透視レンズ、他の不透明フィルター、他の導光光学エレメント、他のマイクロディスプレイ120、他のレンズシステム122、部屋に面するカメラ113、目追跡アセンブリー134、イヤホン130、および温度センサー138を含む。0072図2は、頭部装着ディスプレイユニットの他の実施形態の一部の上面図である。フレーム115は、その中に支持されている光学エレメントの配列を露出させるために、点線で示されている。この実施形態では、反射エレメント124aからの光は、部分的反射エレメント124bに導かれる。部分的反射エレメント124bは、光路133に沿って進行する仮想画像を、自然または実際の直接視142と組み合わせる。自然視142は、不透明フィルター114による影響を受けることがある。この視野の組み合わせは、ユーザーの目140に導かれるのであって、導光光学エレメント112のような他の光学エレメントに導かれるのではない。この実施形態では、フレーム115は、光処理エレメント122および120を含むマイクロディスプレイアセンブリー173、可変焦点調節器135、およびアーマチャー137というような、本システムのエレメントのサポートとして便利なめがねフレームを設ける。この例では、各目に対する目追跡カメラ134r、134lはブリッジ104上に位置付けられている。他の実施形態では、めがねフレーム以外の他のサポート構造を使用することができる。このような構造の一例に、バイザーがある。0073前述のように、マイクロディスプレイアセンブリー173の光処理エレメントの構成から、仮想物体が画像において現れる焦点距離または焦点領域が求められる。この構成を変更すると、仮想物体画像の焦点領域が変化する。光処理エレメントによって決定される焦点領域は、式1/S11/S2=1/fに基づいて決定および変更することができる。記号fは、マイクロディスプレイアセンブリー173におけるレンズシステム122のような、レンズの焦点距離を表す。レンズシステム122は、前節点および後節点を有する。光線がいずれかの節点に向けて、光軸に対して所与の角度で導かれると、光線は他方の節点から光軸に対して等価な角度で現れる。一例では、レンズシステム122の後節点は、それ自体と図2Aにおける反射エレメント124または図2Bにおける反射エレメント124aとの間にある。後節点から反射エレメント124、124aまでの距離をS2で示すことができる。前節点は、レンズシステム122と、ユーザーの物理空間の三次元モデルにおいてマイクロディスプレイ120によって生成された仮想画像の目標位置との間にある。モデルの作成についてのこれ以上の詳細は、以下の図10~図12の論述を参照のこと。前節点から仮想画像の目標位置までの距離はS1で示すことができる。0074レンズの焦点距離が固定されている場合、仮想物体を異なる深度で合焦するためには、S1およびS2を変化させる。例えば、初期位置において、S1を無限遠に設定し、S2をレンズシステム122の焦点距離に等しく設定するとよい。レンズシステム122の焦点距離が10mmであると仮定して、仮想物体を約1フィートまたは30cmユーザーの視野内に置く例について考える。この場合、S1は約30cm即ち300mmであり、fは10mmであり、S2は現焦点距離、10mmの初期位置にあり、レンズシステム122の後節点が反射エレメント124、124aから10mmのところにあることを意味する。1/3001/S2=1/10に基づいて、レンズ122と反射エレメント124、124aとの間における新たな距離または新たな変位を決定する。ここで、全ての単位はmmである。その結果、S2は約10.3mmとなる。0075一例では、処理ユニット4は、S1およびS2について変位値を計算することができ、焦点距離fを固定のままにして、制御回路136に、駆動信号を可変調節器ドライバー237に送らせて、例えば、可変仮想焦点調節器135にレンズシステム122を光路133に沿って移動させることができる。例の中には、調節器135がアーマチャー137内部で1つ以上の光学エレメント122を動かすことができる場合もある。他の例では、アーマチャーが、光処理エレメントの周囲のエリアにおいて溝または空間を有し、光処理エレメントを動かすことなく、エレメント、例えば、マイクロディスプレイ120上を摺動できるようにすることもできる。アーマチャー内に、1つ以上の光学エレメント122のような他のエレメントを取り付けて、これらが、移動するアーマチャー237と共に摺動するまたは動くようにする。他の実施形態では、マイクロディスプレイユニット120または反射エレメント124、124a、あるいは双方を、レンズシステム122の代わりに、またはこれに加えて、動かしてもよい。0076他の実施形態では、レンズシステム122における少なくとも1つのレンズの焦点距離を、代わりに変化させるか、または光路133に沿った変位の変化と共に変化させるのでもよい。マイクロディスプレイアセンブリーの様々な実施形態を、図3Aから図3Dに示す。示されている具体的なレンズの数は、単なる例に過ぎない。同じ原理で動作する他の数または構成のレンズを使用してもよい。0077図3Aは、ニアアイディスプレイのマイクロディスプレイアセンブリーの一部として使用するための回転レンズシステムの一例である。レンズ122aから122dまでの各々は、異なる焦点距離を有し、可変仮想焦点調節器135によって回転可能なディスクサポート160内に支持されている。処理ユニット4は、焦点領域を決定し、その焦点領域を得るために、焦点距離レンズから1つを選択する。図3に関して示すように、制御回路136の可変調節器ドライバー237は、少なくとも1つの制御信号を可変仮想焦点調節器135に送り、選択されたレンズがアセンブリーの光路133内に整列するように、ディスクを回転させる。0078図3B1および図3B2は、HongwenetalTunablefocusliquidlenscontrolledusingaservomotorサーボモータを使用して制御する、焦点調節可能な流体レンズOPTICSEXPRESS4September2006Vol14No18pp80318036に示されるような異なる曲率半径を呈する流体レンズの例である。流体レンズは、マイクロディスプレイアセンブリーの一部として使用することができる。このレンズの焦点距離は、曲率半径を変化させることによって、変化させることができる。曲率半径Rと焦点距離fとの間の関係は、f=R/nliquid-1によって示される。レンズの液体または流体の屈折率は、nliquidである。0079この実施形態は、可撓性の外部メンブレーン152、一例ではラバーメンブレーンをその一部として有するまたは繋がれている環状密封リングのような、サポート137を含む。外部メンブレーン153は、液体156のリザーバーと接触している。レンズメンブレーン150が、液体レンズセル158の上に載っているか、またはその可撓性側面を形成する。液体レンズセル158は、液体をリザーバー156から受け、液体をリザーバー156に放出することができる。この引用している例では、可撓性レンズメンブレーンは、ポリジメティルシロキサンPDMSエラストマーメンブレーンのような、伸縮性メンブレーンである。液体セルの後ろにあるガラス板154が、サポートを設ける。可変仮想焦点調節器135は、図3B2に示すような、可撓性外部メンブレーン152に対抗して押し込み、図3B1におけるように、メンブレーン152を解放して、リザーバー156内にある体積の水が液体レンズ158に入ったり出たりさせることにより、液体の体積変化によって可撓性メンブレーン150をへこませ、そして伸縮性メンブレーン150を弛緩させるように制御される。液体体積の変化が、レンズメンブレーン150の曲率半径の変化を起こし、したがって液体レンズ158の焦点距離の変化を起こす。曲率半径と体積変化ΔVとの間の関係は、次のように表すことができる。ここで、r0はレンズアパーチャーの半径である。0080図3Cは、ニアアイディスプレイのマイクロディスプレイアセンブリーの一部として使用する複屈折レンズシステムの一例である。複屈折材料は、異方性であり、即ち、方向に依存する。例示的な構造として、光を光線と記述すると、複屈折レンズは、光を通常光線と異常光線とに分解する。1つの異方性軸または光軸について、異なる屈折率、したがって異なる焦点距離が、異なる偏光に対して、つまり、1つは軸に対して平行な偏光、もう1つは軸に対して垂直な偏光に対して、存在することができる。図3Cの例では、レンズ122aおよび122bは複屈折材料で作られたレンズであり、矢印で示すように異なる偏光を有する。この2つのレンズの例では、4つの異なる屈折率または焦点距離を選択のために予め決めることができる。異なる焦点距離には各々、処理ユニット4による選択のために、異なる焦点領域と関連付けることができる。偏光の組み合わせは、図3Cに示すように、レンズ122aおよび122bの垂直偏光、図3Cに示すものとは逆の垂直偏光、一方向に同じ偏光を有する2枚のレンズ、そして他方の偏光方向に同じ偏光を有する2枚のレンズとすることができる。一実施形態では、可変仮想焦点調節器は、電圧を各レンズに印加して、選択された偏光を実施することができる。他の実施形態では、物理的な応力を加えて、レンズの偏光を変化させることもできる。0081図3Dは、マイクロディスプレイアセンブリーの一部として使用する挿入可能レンズシステムの一例である。この実施形態では、複数のレンズ122の各々は、アーマチャー137に取り付けられているそれぞれのアーム123に取り付けられている。各アーム123は、その1つ以上の光学エレメント122、例えば、レンズまたはレンズシステム122を、可変仮想焦点調節器135の制御下で、マイクロディスプレイアセンブリーの光路133においてある変位の位置に動かす。例えば、予め設定されている焦点領域に対する所定の変位が使用されている場合、各レンズ122は、その近隣からある距離、例えば、0.1ミリメートルmmだけ離れて設定することができる。また、均一でない間隔や、調節可能な変位も使用することができる。0082レンズの焦点距離を調節する以上の例の各々において、光路133に沿った変位を行うこともできる。0083再度、前述のように、マイクロディスプレイアセンブリーの各々は、仮想画像がユーザーの焦点領域、例えば、パナムの融合エリア、人間の単一視のエリアに現れるように、そのそれぞれの目の視野に対する処理を実行する。0084図4は、頭部装着ディスプレイデバイス2の種々のコンポーネントを示すブロック図である。図5は、処理ユニット4の種々のコンポーネントを説明するブロック図である。頭部装着ディスプレイデバイス12は、そのコンポーネントが図4に示されており、ユーザーの実世界視野と焦点が合う仮想画像を供給するために使用される。加えて、図4の頭部装着ディスプレイデバイスのコンポーネントは、種々の状態を追跡する多くのセンサーを含む。頭部装着ディスプレイデバイスは、仮想画像についての命令を処理ユニット4から受け、逆にセンサー情報を処理ユニット4に提供する。処理ユニット4は、そのコンポーネントが図5に示されており、頭部装着ディスプレイ3から、そしてハブ計算デバイス12図1参照からもセンサー情報を受ける。この情報に基づいて、処理ユニット4は、焦点が合った仮想画像をどこにそしていつユーザーに供給すべきか判断し、それに応じて命令を図4の頭部装着ディスプレイデバイスに送る。0085尚、図4のコンポーネントの一部例えば、物理環境対面カメラ113、目追跡カメラ134B、可変仮想焦点調節器135、マイクロディスプレイ120、不透明フィルター114、目追跡照明134A、イヤホン130、および温度センサー138は、これらのデバイスが各々2つずつあり、1つが頭部装着ディスプレイデバイス2の左側、そして1つが右側にあることを示すために、陰を付けてinshadow図示されていることを注記しておく。図4は、電力管理回路202と通信可能な制御回路200を示す。制御回路200は、プロセッサー210、メモリー214例えば、D-RAMと通信可能なメモリーコントローラー212、カメラインターフェース216、カメラバッファー218、ディスプレイドライバー220、ディスプレイフォーマッター222、タイミングジェネレーター226、ディスプレイ出力インターフェース228、およびディスプレイ入力インターフェース230を含む。一実施形態では、制御回路220のコンポーネントは全て、互いに、専用線または1つ以上のバスを介して通信可能になっている。他の実施形態では、制御回路200のコンポーネントは全て、プロセッサー210と通信可能になっている。カメラインターフェース216は、2つの物理環境対面カメラ113に対するインターフェースを設け、物理環境直面カメラから受けた画像をカメラバッファー218に格納する。ディスプレイドライバー220は、マイクロディスプレイ120を駆動する。ディスプレイフォーマッター222は、マイクロディスプレイ120上に表示されている可動画像についての情報を、不透明フィルター114を制御する不透明制御回路224に提供する。タイミングジェネレーター226は、システムにタイミングデーターを供給するために使用される。ディスプレイ出力228は、物理環境対面カメラ113から処理ユニット4に画像を供給するためのバッファーである。ディスプレイ入力230は、マイクロディスプレイ120に表示しようとする仮想画像のような画像を受けるためのバッファーである。ディスプレイ出力228およびディスプレイ入力230は、処理ユニット4に対するインターフェースである帯域インターフェース232と通信する。0086電力管理回路202は、電圧レギュレーター234、目追跡照明ドライバー236、可変調節器ドライバー237、オーディオDACおよび増幅器238、マイクロフォンプリアンプおよびオーディオADC240、温度センサーインターフェース242、ならびにクロックジェネレーター244を含む。電圧レギュレーター234は電力を処理ユニット4から帯域インターフェース232を介して受け、その電力を頭部装着ディスプレイデバイス2の他のコンポーネントに供給する。目追跡照明ドライバー236は、前述のように、IR光源を目追跡照明134Aのために設ける。可変調節器ドライバー237は、制御信号、例えば、駆動電流または駆動電圧を調節器135に供給し、マイクロディスプレイアセンブリーの1つ以上のエレメントを動かして、焦点領域に対する変位を行う。この変位は、処理ユニット4またはハブコンピューター12あるいは双方において実行するソフトウェアによって計算される。ある範囲の変位にわたって、したがって焦点領域の範囲にわたって掃引する実施形態では、可変調節器ドライバー237は、タイミング信号をタイミングジェネレーター226から、または代わりにクロックジェネレーター244から受け、プログラミングされたレートまたは頻度で動作する。オーディオDACおよび増幅器238は、オーディオ情報をイヤホン130から受ける。マイクロフォンプリアンプおよびオーディオADC240は、マイクロフォン110に対するインターフェースを設ける。温度センサーインターフェース242は、温度センサー138に対するインターフェースである。また、電力管理ユニット202は、電力を供給し、三軸磁力計132A、三軸ジャイロ132B、および三軸加速度計132Cからは逆にデーターを受ける。0087図5は、処理ユニット4の種々のコンポーネントを説明するブロック図である。図5は、電力管理回路306と通信可能な制御回路304を示す。制御回路304は、中央処理ユニット320、グラフィクス処理ユニット322、キャッシュ324、RAM326、メモリー330例えば、D-RAMと通信可能なメモリー制御328、フラッシュメモリー334または他のタイプの不揮発性ストレージと通信可能なフラッシュメモリーコントローラー332、帯域インターフェース302および帯域インターフェース232を介して頭部装着ディスプレイデバイス2と通信可能なディスプレイ出力バッファー326、帯域インターフェース302および帯域インターフェース232を介して頭部装着ディスプレイデバイス2と通信可能なディスプレイ入力バッファー338、マイクロフォンに接続するために外部マイクロフォンコネクター342と通信可能なマイクロフォンインターフェース340、ワイヤレス通信デバイス346に接続するためのPCIエクスプレスインターフェース、ならびにUSBポート1つまたは複数348を含む。一実施形態では、ワイヤレス通信コンポーネント346は、Wi-Fi対応通信デバイス、Bluetooth登録商標通信デバイス、赤外線通信デバイス等を含むことができる。USBポートは、処理ユニット4をハブ計算デバイス12にドッキングして、データーまたはソフトウェアを処理ユニット4および充電処理ユニットにロードするために使用することができる。一実施形態では、CPU320およびGPU322は、どこに、いつ、そしてどのように仮想画像をユーザーの視野に挿入すべきか判断するための主要な機械である。これ以上の詳細は、以下で示す。0088電力管理回路306は、クロックジェネレーター360、アナログ/ディジタル変換器362、バッテリー充電器364、電圧レギュレーター366、頭部装着ディスプレイ電源376、および温度センサー374処理ユニット4の手首バンド上に配置されていると通信可能な温度センサーインターフェース372を含む。交流/直流変換器362が、AC供給電力を受け、本システムのためにDC供給電力を発電するために、充電ジャック370に接続されている。電圧レギュレーター366は、本システムに電力を供給するために、バッテリー368と通信可能になっている。バッテリー充電器364は、充電ジャック370から電気を受けたときに、バッテリー368を充電する電圧レギュレーター366を介してために使用される。HMD電力インターフェース376は、電力を頭部装着ディスプレイデバイス2に供給する。0089前述のシステムは、仮想画像がユーザーにとって自然に焦点が合うまたは焦点が外れるように、ユーザーの視野内に仮想画像を挿入するように構成される。種々の実施形態において、仮想画像は、画像が挿入されようとしている環境に基づいて、しかるべき向き、サイズ、および形状に一致するように調節される。一実施形態では、頭部装着ディスプレイデバイス2、処理ユニット4、およびハブ計算デバイス12は、一緒に動作する。これは、これらのデバイスの各々が、どこに、いつ、そしてどのように仮想画像を挿入すべきか判断するためのデーターを得るために使用されるセンサーの部分集合を含むからである。一実施形態では、どこに、いつ、そしてどのように仮想画像を挿入すべきか判断する計算は、ハブ計算デバイス12によって実行される。他の実施形態では、これらの計算は処理ユニット4によって実行される。他の実施形態では、これらの計算の一部はハブ計算デバイス12によって実行されるが、他の計算は処理ユニット4によって実行される。他の実施形態では、これらの計算は頭部装着ディスプレイデバイス2によって実行することができる。0090一実施形態例では、ハブ計算デバイス12は、ユーザーが入っている環境のモデルを作り、その環境内において動いている種々の物体を追跡する。加えて、ハブ計算デバイス12は、頭部装着ディスプレイデバイス2の位置および向きを追跡することによって、頭部装着ディスプレイデバイス2の視野を追跡する。モデルおよび追跡情報は、ハブ計算デバイス12から処理ユニット4に供給される。頭部装着ディスプレイデバイス2によって得られたセンサー情報は、処理ユニット4に送られる。すると、処理ユニット4は、頭部装着ディスプレイデバイス2からそれが受けた追加のセンサー情報を使用して、ユーザーの視野をリファインし、どのように、どこに、そしていつ仮想画像を挿入すべきかについての命令を頭部装着ディスプレイデバイス2に供給する。0091図6は、ハブ計算システム12の一実施形態例を、キャプチャーデバイスと共に示す。一実施形態では、キャプチャーデバイス20Aおよび20Bは同じ構造であり、したがって、図6はキャプチャーデバイス20Aのみを示す。0092一実施形態例では、キャプチャーデバイス20Aは、深度値を含むこともできる深度画像を含む深度情報によって、任意の適した技法によってビデオを取り込むように構成するとよい。任意の適した技法には、例えば、飛行時間、構造化光、ステレオ撮像などが含まれる。一実施形態によれば、キャプチャーデバイス20Aは、深度情報をZレイヤー即ち、深度カメラからその見通し線に沿って延びるZ軸に対して垂直であるとよいレイヤーに編成することができる。0093図6に示すように、キャプチャーデバイス20Aはカメラコンポーネント423を含むことができる。一実施形態例によれば、カメラコンポーネント423は、場面の深度画像を取り込むことができる深度カメラであってもよく、またはこの深度カメラを含むのでもよい。深度画像は、取り込まれた場面の二次元2-D画素エリアを含むことができ、この2-D画素エリアにおける各画素は、カメラからの取り込まれた場面における物体の距離というような深度値を、例えば、センチメートル、ミリメートル等を単位として表すことができる。0094カメラコンポーネント23は、IR発光コンポーネント425、三次元3Dカメラ426、および場面の深度画像を取り込むために用いることができるRGBカメラ428を含むことができる。例えば、飛行時間分析では、キャプチャーデバイス20AのIR発光コンポーネント425は、キャプチャーエリアに向けて赤外線光を出すことができ、次いでセンサー実施形態の中には、図示されていないセンサーを含む場合もあるを使用して、その場面内にある1つ以上のターゲットおよび物体の表面からの後方散乱光を、例えば、3Dカメラ426および/またはRGBカメラ428を用いて検出することができる。実施形態の中には、パルス状赤外線光を用いて、発信光パルスと対応する入射光パルスとの間の時間を測定し、キャプチャーデバイス20Aから場面内にあるターゲットまたは物体上における特定の場所までの物理的距離を判定するために使用することができるようにするとよい場合がある。加えて、他の実施形態例では、発信光波の位相を着信光波の位相と比較して、位相ずれを判定することもできる。次いで、この位相ずれを用いて、キャプチャーデバイスからターゲットまたは物体上の特定の場所までの物理的距離を判定することができる。0095他の一実施形態例によれば、飛行時間分析を使用して、例えば、散乱光パルス撮像を含む種々の技法によって、経時的な光の反射ビームの強度を分析することによって、キャプチャーデバイス20Aからターゲットまたは物体上の特定の場所までの物理的距離を間接的に判定することができる。0096他の一実施形態例では、キャプチャーデバイス20Aは、構造化光を用いて深度情報を取り込むことができる。このような分析では、パターン光即ち、格子パターン、縞パターン、または異なるパターンのような既知のパターンとして表示される光を、例えば、IR発光コンポーネント424によって、場面に向けて投射する。場面において1つ以上のターゲットまたは物体の表面に衝突したときに、パターンが、それに応答して、変形すると考えられる。このようなパターンの変形を、例えば、3Dカメラ426および/またはRGBカメラ428および/または他のセンサーによって取り込むことができ、次いで分析して、キャプチャーデバイスからターゲットまたは物体上における特定の場所までの物理的距離を判定することができる。実施態様の中には、IR発光コンポーネント425がカメラ425および426から変位されて、カメラ425および426からの距離を判定するために三角測量法を使用できるようにしたものもある。実施態様の中には、キャプチャーデバイス20Aが、IR光を検知するために専用のIRセンサー、またはIRフィルターを有するセンサーを含む場合もある。0097他の実施形態によれば、キャプチャーデバイス20Aは、2つ以上の物理的に分離されたカメラを含むことができ、これらが異なる角度から場面を捕らえて、視覚的な立体データーを得て、これを解明することによって深度情報を生成することができる。他のタイプの深度画像センサーも、深度画像を作るために使用することができる。0098更に、キャプチャーデバイス20Aは、マイクロフォン430も含むことができる。マイクロフォン430は、音を受けて電気信号に変換することができる変換器またはセンサーを含む。マイクロフォン430は、オーディオ信号を受けるために使用することもできる。オーディオ信号は、ハブ計算デバイス12によって供給するのでもよい。0099一実施形態例では、キャプチャーデバイス20Aは、更に、撮像カメラコンポーネント423と通信可能であるとよいプロセッサー432も含むことができる。プロセッサー432は、標準的なプロセッサー、特殊プロセッサー、マイクロプロセッサー等を含むことができ、例えば、深度画像を受ける命令、しかるべきデーターフォーマット例えば、フレームを生成する命令、およびデーターをハブ計算デバイス12に送る命令を含む命令を実行することができる。00100キャプチャーデバイス20Aは、更に、プロセッサー432によって実行される命令、3-Dカメラおよび/またはRGBカメラによって取り込まれた画像または画像のフレーム、あるいは他の任意の適した情報、画像等を格納することができるメモリー434も含むことができる。一実施形態例によれば、メモリー434は、ランダムアクセスメモリーRAM、リードオンリーメモリーROM、キャッシュ、フラッシュメモリー、ハードディスク、または任意の他の適した記憶コンポーネントを含むことができる。図6に示すように、一実施形態では、メモリー434は、画像キャプチャーコンポーネント423およびプロセッサー432と通信可能な別個のコンポーネントであってもよい。他の実施形態によれば、メモリー434をプロセッサー432および/または画像キャプチャーコンポーネント422に統合してもよい。00101キャプチャーデバイス20Aおよび20Bは、通信リンク436を介して、ハブ計算デバイス12と通信することができる。通信リンク436は、例えば、USB接続、Firewire接続、イーサネット登録商標ケーブル接続等を含む有線接続、および/またはワイヤレス802.1b、g、a、またはn接続というようなワイヤレス接続とすることができる。一実施形態によれば、ハブ計算デバイス12は、クロックをキャプチャーデバイス20Aに供給することができる。このクロックは、例えば、通信リンク436を介して場面を取り込むときを決定するために使用することができる。加えて、キャプチャーデバイス20Aは、深度情報、ならびに、例えば、3-Dカメラ426および/またはRGBカメラ428によって取り込まれた視覚例えば、RGB画像をハブ計算デバイス12に、通信リンク436を介して供給する。一実施形態では、深度画像および視覚画像は、毎秒30フレームで送られる。しかしながら、他のフレームレートも使用することができる。ハブ計算デバイス12は、次に、モデルを作り、このモデル、深度情報、および取り込まれた画像を使用して、例えば、ゲームまたはワードプロセッサーのようなアプリケーションを制御すること、および/またはアバターまたは画面上のキャラクターを動画化することができる。00102ハブ計算システム12は、深度画像処理および骨格追跡モジュール450を含む。このモジュール450は、深度画像を使用して、キャプチャーデバイス20Aの深度カメラ機能によって検出可能な1人以上の人を追跡する。深度画像処理および骨格追跡モジュール450は、追跡情報をアプリケーション452に提供する。アプリケーション452は、ビデオゲーム、生産性アプリケーション、通信アプリケーション、または他のソフトウェアアプリケーション等とすることができる。また、オーディオデーターおよびビジュアル画像データーも、アプリケーション452および深度画像処理および骨格追跡モジュール450に供給される。アプリケーション452は、追跡情報、オーディオデーター、およびビジュアル画像データーを認識エンジン454に供給する。他の実施形態では、認識エンジン454は、追跡情報を直接深度画像処理および骨格追跡モジュール450から受け、オーディオデーターおよびビジュアル画像データーを直接キャプチャーデバイス20Aおよび20Bから受ける。00103認識エンジン454は、フィルター460、462、464、...、466の集合体と関連付けられている。各フィルターは、キャプチャーデバイス20Aまたは20Bによって検出可能な任意の人あるいは物体によって行うことができるジェスチャー、行為、または状態に関する情報を含む。例えば、キャプチャーデバイス20Aからのデーターは、フィルター460、462、464、...、466によって処理して、ユーザーまたはユーザーのグループが1つ以上のジェスチャーまたは他の行為を行ったときを特定することができる。これらのジェスチャーには、アプリケーション452の種々の制御、物体、または条件と関連付けることもできる。つまり、ハブ計算デバイス12は、これらのフィルターと共に認識エンジン454を使用して、物体人を含むの動きを解釈し追跡することができる。00104キャプチャーデバイス20Aおよび20Bは、RGB画像あるいは他のフォーマットまたは色空間における視覚画像および深度画像を、ハブ計算デバイス12に供給する。深度画像は、複数の被観察画素とすることもでき、各被観察画素は観察画素値を有する。例えば、深度画像は、取り込まれた場面の二次元2-D画素エリアを含むことができ、この2-D画素エリアにおける各画素は、取り込まれた場面における物体のキャプチャーデバイスからの距離というような、深度値を有することができる。ハブ計算デバイス12は、RGB画像および深度画像を使用して、ユーザーまたは物体の動きを追跡する。例えば、本システムは、深度画像を使用して人のサポートを追跡する。深度画像を使用して人の骨格を追跡するために使用することができる方法は、数多くある。深度画像を使用して骨格を追跡するのに適した一例が、2009年10月21日に出願されたCraigetalの米国特許出願第12/603,437号、PoseTrackingPipeline姿勢追跡パイプラインに示されている以後、’437出願と呼ぶ。この出願をここで引用したことにより、その内容全体が本願にも含まれるものとする。’437出願のプロセスは、深度画像を取り込み、データーをダウンサンプリングするステップと、高分散ノイズデーターを除去および/またはスムージングするステップと、背景を特定および除去するステップと、前景画素の各々を身体の異なる部分に指定するステップを含む。これらのステップに基づいて、本システムは、モデルをこのデーターに当てはめ、骨格を作る。この骨格は、1組の関節と、これらの関節間にある接続とを含む。他の追跡方法を使用することもできる。また、適した追跡技術が以下の4件の米国特許出願にも開示されている。その全てをここで引用することにより、その内容全体が本願にも含まれるものとする。2009年5月29日に出願された米国特許出願第12/475,308号、DeviceforIdentifyingandTrackingMultipleHumansOverTime複数の人間を経時的に特定および追跡するデバイス、2010年1月29日に出願された米国特許出願第12/696,282号、VisualBasedIdentityTracking外見に基づく識別追跡、2009年12月18日に出願された米国特許第12/641,788号、MotionDetectionUsingDepthImages深度画像を使用する動き検出、および2009年10月7日に出願された米国特許第12/575,388号、HumanTrackingSystem人間追跡システム。00105認識エンジン454は、ジェスチャーまたは行為を判定するために複数のフィルター460、462、464、...、466を含む。フィルターは、ジェスチャー、行為、または状態を定める情報を、そのジェスチャー、行為、または状態についてのパラメーター、またはメタデーターと共に含む。例えば、投げる動作は、一方の手が身体の背後から身体の前方を通過する動きを含み、その動きが深度カメラによって取り込まれると、ユーザーの一方の手が身体の背後から身体の前方を通過する動きを表す情報を含むジェスチャーとして実現することができる。次いで、このジェスチャーに対してパラメーターを設定することができる。ジェスチャーが投げる動作である場合、パラメーターは、手が達しなければならないしきい値速度、手が移動する距離ユーザー全体のサイズに対して絶対的、または相対的のいずれか、および認識エンジンによる、ジェスチャーが行われたことの信頼度格付けとするとよい。ジェスチャーに対するこれらのパラメーターは、アプリケーション間、1つのアプリケーションのコンテキスト間、または1つのアプリケーションの1つのコンテキスト内において、経時的に様々に変化するのであってもよい。00106フィルターは、モジュール状または相互交換可能であるとよい。一実施形態では、フィルターは、複数の入力これらの入力の各々は型を有すると、複数の出力これらの出力の各々は型を有するとを有する。認識エンジンのアーキテクチャーの他の態様を全く変更することなく、第1のフィルターを、この第1のフィルターと同じ数および同じタイプの入力と出力とを有する第の2フィルターと交換することができる。例えば、入力として骨格データーを取り込み、そのフィルターと関連するジェスチャーが行われている確実度と、操縦角度とを出力する駆動用第1フィルターがあってもよい。おそらくは第2駆動フィルターの方が効率的であり必要な処理リソースが少なくて済むために、この第1駆動フィルターを第2駆動フィルターと交換したい場合、第2フィルターが同じ入力および出力、即ち、骨格データー型である1つの入力と、確実度型および角度型である2つの出力を有する限り、単に第1フィルターを第2フィルターと交換することによって、そうすることができる。00107フィルターがパラメーターを有する必要はない。例えば、ユーザーの身長を戻すユーザー身長フィルターが、調整することができるパラメーターを全く考慮しなくてもよい。代わりのユーザー身長フィルターが、ユーザーの身長を判定するときに、ユーザーの靴、髪形、帽子、および姿勢を考慮に入れるべきか否かというような、調整可能なパラメーターを有してもよい。00108フィルターへの入力は、関節において合体する骨によって形成される角度のような、ユーザーの関節位置についての関節データー、シーンからのRGBカラーデーター、およびユーザーの態様の変化率、というような事項を含むことができる。フィルターからの出力は、所与のジェスチャーが行われる確実度、ジェスチャーの動きが行われる速度、およびジェスチャーの動きが行われた時刻というような事項を含むことができる。00109認識エンジン454は、前述のフィルターに機能を設ける基本認識エンジンを有することができる。一実施形態では、認識エンジン454が実装する機能は、認識されたジェスチャーおよび他の入力を追跡する経時的入力アーカイブ、隠れマルコフモデルの実装モデル化されるシステムは、未知のパラメーターを有するマルコフプロセスであると仮定される。このプロセスでは、現在の状態が、今後の状態を判定するために必要な任意の過去の状態情報をカプセル化するので、この目的のために他の過去の状態情報を維持しなくてもよく、隠れているパラメーターは、観察可能なデーターから判定される、およびジェスチャー認識の特定の場合を解決するために必要とされる他の機能を含む。00110フィルター460、462、464、...、466は、認識エンジン454の上にロードされ実装され、認識エンジン454によって全てのフィルター460、462、464、...、466に提供されるサービスを利用することができる。一実施形態では、認識エンジン454は、任意のフィルター460、462、464、...、466の要件を満たすか否か判断するためにデーターを受ける。入力の解析というような、これらの提供されるサービスは、各フィルター460、462、464、...、466によってではなく、認識エンジン454によって1回提供されるので、このようなサービスは、ある時間期間に1回だけ処理されればよいのであって、その期間においてフィルター毎に1回ずつ処理されるのではない。したがって、ジェスチャーを判定するために使用される処理が少なくなる。00111アプリケーション452は、認識エンジン454に設けられたフィルター460、462、464、...、466を使用することができ、またはそれ自体のフィルターを設けることもできる。このフィルターは、認識エンジン454に差し込まれる。一実施形態では、全てのフィルターは、この差し込み特性を可能にするために、共通のインターフェースを有する。更に、全てのフィルターはパラメーターを利用することができるので、以下の1つのジェスチャーツールを使用して、フィルターシステム全体のデバッグおよび調整を行うことができる。00112認識エンジン454についてのこれ以上の情報は、2009年4月13日に出願された米国特許出願第12/422,661号、GestureRecognizerSystemArchitectureジェスチャー認識システムのアーキテクチャーにおいて見いだすことができる。この特許出願をここで引用したことにより、その内容全体が本願にも含まれるものとする。ジェスチャー認識についてのこれ以上の情報は、2009年2月23日に出願された米国特許出願第12/391,150号、StandardGestures標準的ジェスチャー、および2009年5月29日に出願された米国特許第12/474,655号、GestureToolジェスチャーツールにおいて見いだすことができる。これら双方の特許出願をここで引用したことにより、それらの内容全体が本願にも含まれるものとする。00113図7は、ハブ計算デバイス12を実現するために使用することができる計算システムの一実施形態例を示す。図7に示すように、マルチメディアコンソール500は、中央処理ユニットCPU501を有する。CPU501は、レベル1L1キャッシュ502、レベル2L2キャッシュ504、およびフラッシュROMリードオンリーメモリー506を有する。レベル1キャッシュ502およびレベル2キャッシュ504は、一時的にデーターを格納し、したがってメモリーアクセスサイクル回数を減らすことによって、処理速度およびスループットを向上させる。CPU501は、1つよりも多いコア、つまり追加のレベル1およびレベル2キャッシュ502および504を有するものが、設けられてもよい。フラッシュROM506は、実行可能コードを格納することができる。実行可能コードは、マルチメディアコンソール500に最初に電力を投入するときのブートプロセスの初期フェーズの間にロードされる。00114グラフィクス処理ユニットGPU508およびビデオエンコーダー/ビデオコデックコーダー/デコーダー514は、高速および高分解能グラフィクス処理のためのビデオ処理パイプラインを形成する。データーは、グラフィクス処理ユニット508からビデオエンコーダー/ビデオコデック514に、バスを通じて伝達される。ビデオ処理パイプラインが、テレビジョンまたはその他の表示装置への送信のために、データーをA/Vオーディオ/ビデオポート540に出力する。メモリーコントローラー510がGPU508に接続されており、限定ではないが、RAMランダムアクセスメモリーのような、種々の形式のメモリー512にプロセッサーがアクセスし易くする。00115プロセッサー500は、I/Oコントローラー520、システム管理コントローラー522、オーディオ処理ユニット523、ネットワークインターフェースコントローラー524、第1USBホストコントローラー526、第2USBコントローラー528、およびフロントパネルI/Oサブアセンブリー530を含む。これらは、モジュール518に実装することが好ましい。USBコントローラー526および528は、ペリフェラルコントローラー5421~5422、ワイヤレスアダプター548、および外部メモリーユニット546例えば、フラッシュメモリー、外部CD/DVDROMドライブ、リムーバブルメディア等のホストとしての役割を果たす。ネットワークインターフェース524および/またはワイヤレスアダプター548は、ネットワーク例えば、インターネット、ホームネットワーク等へのアクセスを与え、イーサネット登録商標カード、モデム、Bluetooth登録商標モジュール、ケーブルモデム等を含む、多種多様の様々な有線またはワイヤレスアダプターコンポーネントの内任意のものでよい。00116システムメモリー543は、ブートプロセスの間にロードされるアプリケーションデーターを格納するために設けられている。メディアドライブ544が設けられており、DVD/CDドライブ、ブルーレイドライブ、ハードディスクドライブ、またはその他のリムーバブルメディアドライブ等を含むことができる。メディアドライブ144は、マルチメディアコンソール500の内部でも外部でもよい。マルチメディアコンソール500による実行、プレーバック等のために、マルチメディアコンソール500はアプリケーションデーター544にアクセスすることができる。メディアドライブ544は、シリアルATAバスまたはその他の高速接続例えば、IEEE1394のようなバスを通じて、I/Oコントローラー520に接続されている。00117システム管理コントローラー522は、マルチメディアコンソール500の利用可能性を確保することに関する種々のサービス機能を提供する。オーディオ処理ユニット523およびオーディオコデック532は、高信頼度およびステレオオーディオ処理を備えた、対応するオーディオ処理パイプラインを形成する。通信リンクが、オーディオ処理ユニット523とオーディオコデック526との間において、オーディオデーターを伝達することができる。オーディオ処理パイプラインは、外部オーディオユーザーまたはオーディオ能力を有するデバイスによる再生のために、A/Vポート540にデーターを出力する。00118フロントパネルI/Oサブアセンブリー530は、電力ボタン550およびイジェクトボタン552の機能をサポートし、更にマルチメディアコンソール500の外面上に露出する任意のLED発光ダイオードまたはその他のインディケーターの機能もサポートする。システム電源モジュール536は、電力をマルチメディアコンソール100のコンポーネントに供給する。ファン538は、マルチメディアコンソール500内部にある回路を冷却する。00119CPU501、GPU508、メモリーコントローラー510、およびマルチメディアコンソール500内部にある種々の他のコンポーネントは、1つ以上のバスによって相互接続されている。これらのバスには、シリアルおよびパラレルバス、メモリーバス、ペリフェラルバス、ならびに種々のバスアーキテクチャーの内任意のものを用いたプロセッサーバスまたはローカルバスが含まれる。一例として、このようなアーキテクチャーは、周辺コンポーネント相互接続PCIバス、PCIExpressバス等を含むことができる。00120マルチメディアコンソール500に電源を投入すると、アプリケーションデーターをシステムメモリー543からメモリー512および/またはキャッシュ502、504にロードすることができ、CPU501において実行することができる。アプリケーションは、マルチメディアコンソール500において利用可能な異なるメディアタイプにナビゲートするときに、一貫性のあるユーザー体験を提供するグラフィカルユーザーインターフェースを提示することができる。動作において、アプリケーションおよび/またはメディアドライブ544内に含まれているその他のメディアをメディアドライブから起動または再生して、追加の機能をマルチメディアコンソール500に提供することもできる。00121マルチメディアコンソール500は、単に単体システムをテレビジョンまたはその他のディスプレイに接続することによって、その単体システムとして動作させることができる。この単体モードでは、マルチメディアコンソール500は、1人以上のユーザーがシステムと対話処理すること、ムービーを見ること、音楽を聞くこと等を可能にする。しかしながら、ネットワークインターフェース524またはワイヤレスアダプター548を通じて利用可能なブロードバンド接続の統合により、マルチメディアコンソール500は、更に、それよりも大きなネットワーク共同体における参加者として動作することができる。加えて、マルチメディアコンソール500は、処理ユニット4とワイヤレスアダプター548を介して通信することができる。00122マルチメディアコンソール500の電源をオンにすると、マルチメディアコンソールのオペレーティングシステムによって、設定されている量のハードウェアリソースがシステムの使用のために確保される。これらのリソースは、メモリー、CPUおよびGPUサイクル、ネットワーキング帯域幅等の確保を含むことができる。これらのリソースは、システムのブート時に確保されるので、確保されたリソースは、アプリケーションの視点からは存在しない。特に、メモリーの確保は、起動カーネル、コンカレントシステムアプリケーション、およびドライバーを含めるのに十分大きいことが好ましい。確保されたCPUの使用がそのシステムアプリケーションによって使用されない場合、アイドル状態にあるスレッドが未使用サイクルの内任意のものを消費するように、CPUの確保を一定に維持することが好ましい。00123GPUの確保に関して、GPU割り込みを使用することによって、システムアプリケーション例えば、ポップアップによって生成される軽量メッセージを表示して、ポップアップをオーバーレイにレンダリングするコードをスケジューリングする。オーバーレイに必要とされるメモリー量は、オーバーレイのエリアサイズに依存し、オーバーレイは画面の解像度と共にスケーリングすることが好ましい。コンカレントシステムアプリケーションによってユーザーインターフェース全体が用いられる場合、アプリケーションの解像度とは独立した解像度を使用することが好ましい。周波数を変更しTVの同期を取り直す必要性をなくすように、スケーラーを使用してこの解像度を設定するとよい。00124マルチメディアコンソール500がブートして、システムリソースが確保された後、コンカレントシステムアプリケーションが実行してシステム機能を提供する。これらのシステム機能は、前述の確保したシステムリソースの内部で実行する1組のシステムアプリケーション内にカプセル化されている。オペレーティングシステムカーネルは、システムアプリケーションスレッドと、ゲーミングアプリケーションスレッドとの間でスレッドを識別する。一貫したシステムリソースビューをアプリケーションに提供するために、システムアプリケーションは、所定の時点および間隔でCPU501において実行するようにスケジューリングされていることが好ましい。このスケジューリングは、コンソールにおいて実行しているゲーミングアプリケーションに対するキャッシュの分裂を最少に抑えるためにある。00125コンカレントシステムアプリケーションがオーディオを必要とする場合、時間に敏感であるため、オーディオ処理を非同期にゲーミングアプリケーションにスケジューリングする。マルチメディアコンソールアプリケーション管理部以下で説明するは、システムアプリケーションがアクティブのとき、ゲーミングアプリケーションのオーディオレベル例えば、無音化、減衰を制御する。00126オプションの入力デバイス例えば、コントローラー5421および5422は、ゲーミングアプリケーションおよびシステムアプリケーションによって共有される。入力デバイスは、確保されたリソースではないが、システムアプリケーションとゲーミングアプリケーションとの間で切り換えられて、各々がそのデバイスのフォーカスを有するようにする。アプリケーション管理部は、好ましくは、ゲーミングアプリケーションの知識を知ることなく、入力ストリームの切換を制御し、ドライバーがフォーカススイッチに関する状態情報を維持する。キャプチャーデバイス20Aおよび20Bは、コンソール500のための追加の入力デバイスを、USBコントローラー526または他のインターフェースを介して、定めることができる。他の実施形態では、ハブ計算システム12は、他のハードウェアアーキテクチャーを使用して実現することができる。ハードウェアアーキテクチャーが1つである必要はない。00127図4、図5、図6、および図7に示したコンピューターシステム例は、コンピューター読み取り可能記憶媒体の例を含む。このような媒体は、揮発性および不揮発性媒体、リムーバブルおよび非リムーバブル媒体を含み、コンピューター読み取り可能命令、データー構造、プログラムモジュール、または他のデーターというような情報の任意の記憶方法または技術で実現される。コンピューター記憶媒体は、RAM、ROM、EEPROM、フラッシュメモリーまたは他のメモリー技術、CD-ROM、ディジタルバーサタイルディスクDVDまたは他の光ディスクストレージ、メモリースティックまたはカード、磁気カセット、磁気テープ、磁気ディスク記憶デバイスまたはその他の磁気記憶デバイス、あるいは所望の情報を格納するために使用することができ、コンピューターによってアクセスすることができる任意の他の媒体が含まれるが、これらに限定されるのではない。図におけるコンピューター読み取り可能記憶媒体のいくつかの例には、図4のメモリー214、図5のフラッシュメモリー334、メモリー330、RAM326、およびキャッシュ324、図6のメモリー434、ならびにROM506、キャッシュ502、504、メモリー512、システムメモリー543、メモリーユニット546、およびメディアドライブ544を含む。00128図1は、1つのハブ計算デバイス12ハブと呼ぶと通信可能な1つの頭部装着ディスプレイデバイス2および処理ユニット4纏めて移動体ディスプレイデバイスと呼ぶを示す。他の実施形態では、複数の移動体ディスプレイデバイスを1つのハブと通信可能にすることができる。これらの移動体ディスプレイデバイスの各々は、前述のように、ワイヤレス通信を使用してハブと通信する。このような実施形態では、移動体ディスプレイデバイスの全てに有用である情報の多くが、ハブにおいて計算および格納され、移動体ディスプレイデバイスの各々に送られることが考えられる。例えば、ハブは環境のモデルを生成し、ハブと通信可能な移動体ディスプレイデバイスの全てにこのモデルを供給する。加えて、ハブは、移動体ディスプレイデバイスの位置および向きを追跡し、更に部屋内において動いている物体の位置および向きを追跡し、その情報を移動体ディスプレイデバイスの各々に伝えることができる。00129他の実施形態では、ユーザーに対して焦点が合うように仮想コンテンツの焦点を可変にすることができるマルチユーザーシステムが、複数のハブを含むことができ、各ハブが1つ以上の移動体ディスプレイデバイスを含む。これらのハブは、互いに直接またはインターネットまたは他のネットワークを介して通信することができる。例えば、図8はハブ560、562、および564を示す。ハブ560は、直接ハブ562と通信する。ハブ560は、ハブ564とインターネットを介して通信する。ハブ560は、移動体ディスプレイデバイス570、572、...、574と通信する。ハブ562は、移動体ディスプレイデバイス578、580、...、582と通信する。ハブ564は、移動体ディスプレイデバイス584、586、...、588と通信する。先に論じたように、移動体ディスプレイデバイスの各々は、それらそれぞれのハブと、ワイヤレス通信を介して通信する。これらのハブが共通の環境にある場合、これらのハブの各々は環境のモデルの一部を設けることができ、または1つのハブが他のハブのためにモデルを作ることができる。これらのハブの各々は、動いている物体の部分集合を追跡し、その情報を他のハブと共有する。一方、他のハブは、しかるべき移動体ディスプレイデバイスとこの情報を共有する。移動体ディスプレイデバイスについてのセンサー情報が、それらそれぞれのハブに提供され、次いで他のハブに共有され、最終的に他の移動体ディスプレイデバイスに共有される。つまり、ハブ間で共有される情報は、骨格追跡、モデルについての情報、アプリケーションの種々の状態、およびその他の追跡を含むことができる。ハブおよびそれらそれぞれの移動体ディスプレイデバイス間で伝えられる情報には、動いている物体の追跡情報、世界モデルについての状態および物理的更新、幾何学的形状および表面模様の情報、ビデオおよびオーディオ、ならびに本明細書において記載される動作を実行するために使用される他の情報が含まれる。00130図9は、仮想物体がユーザーによって見られるときにこの仮想物体に焦点を合わせて表示するプロセスの一実施形態を説明するフローチャートである。このプロセスは、以上で論じたコンポーネントによって実行される。ステップ602において、本システムが構成される。例えば、アプリケーション例えば、図6のアプリケーション452が、特定の仮想画像仮想物体を表すを、指定された位置において場面の三次元モデルに挿入すべきことを示すように、本システムを構成することができる。空の部屋に仮想物体を詰め込んで、この空の部屋を仮想現実にする例について考える。他の例では、ハブ計算システム12において実行するアプリケーションが、特定の仮想画像仮想物体を表すが、ビデオゲームまたは他のプロセスの一部として、場面に挿入されようとしていることを示す。00131ステップ604において、本システムは頭部装着ディスプレイデバイス2が配置される空間の立体モデルを作る。一実施形態では、例えば、ハブ計算デバイス12は1つ以上の深度カメラからの深度画像を使用して、頭部装着ディスプレイデバイス2が配置される環境または空間の三次元モデルを作る。ステップ606において、そのモデルが1つ以上の物体に区分される。例えば、ハブ計算デバイス12が部屋の三次元モデルを作る場合、この部屋は複数の物体をその内部に有する可能性が高い。部屋内の可能性がある物体の例には、人、椅子、テーブル、ソファー等が含まれる。ステップ606は、互いに別々の物体を判定することを含む。ステップ608において、本システムはこれらの物体を特定する。例えば、ハブ計算デバイス12は、ある特定の物体がテーブルであり、他の物体が椅子であることを特定するのでもよい。ステップ610において、本システムは、ユーザーによって見られるときに焦点が合うように仮想物体を表示する。この仮想物体は、透視レンズ、例えば、116、118sを介して実際にそして直接見られる実物体であるかのように、焦点が合って現れる。即ち、本システムは、ユーザーが頭部装着ディスプレイデバイス2を介して見ている間、ユーザーが見ている焦点深度において、ユーザーの視野内に仮想画像を表示する。このようにして、仮想画像は、ディスプレイデバイスのその実世界位置に現れ、そのディスプレイを介して、物理環境の少なくとも一部の実際の直接目視を可能にする。この仮想物体は、静止物体または移動している物体とすることができる。ステップ612において、頭部装着ディスプレイデバイス2のユーザーは、頭部装着ディスプレイデバイス2に表示されている仮想物体に基づいて、ハブ計算デバイス12または他の計算デバイスにおいて実行しているアプリケーションと対話処理を行う。ステップ604から610の各々については、以下で更に詳しく説明する。00132図10は、空間の三次元モデルを作るプロセスの一実施形態を説明するフローチャートである。例えば、図10のプロセスは、図9のステップの一実施態様例である。ステップ640において、ハブ計算デバイス12は頭部装着ディスプレイデバイス2がある空間の複数の視線に対する1つ以上の深度画像を受ける。例えば、ハブ計算デバイス12は、複数の深度カメラから深度画像を得ることができ、あるいはカメラを異なる方向に向けることによって、またはモデルが構築される空間の全視野を可能にするレンズを有する深度カメラを使用することによって、同じカメラから複数の深度画像を得ることができる。ステップ642において、種々の深度画像からの深度データーが共通座標系に基づいて組み合わせられる。例えば、このシステムが深度画像を複数のカメラから受ける場合、本システムは2つの画像を相関付けて共通の座標系を有する例えば、画像を並べる。ステップ644において、深度データーを使用して、空間の立体記述が作られる。ステップ646において、本システムは、部屋の中で動いている人というような、動いている物体を検出し追跡する。人の追跡についてのこれ以上の詳細は、先に説明した。ステップ648において、動いている物体の追跡に基づいて、空間の立体記述が更新される。ステップ646および648は、動いている物体を考慮に入れることによってモデルが連続的に更新されるように、本システムの動作の間連続的に実行することができる。他の実施形態では、モデルは静止物体についての情報のみを含み、移動物体は別々に追跡される。図11は、空間のモデルを物体に区分するプロセスの一実施形態を説明するフローチャートである。例えば、図11のプロセスは、図9のステップ606の一実施態様例である。図11のステップ680において、本システムは、先に論じたように、1つ以上の深度画像を1つ以上の深度カメラから受ける。あるいは、本システムは、既に受けている1つ以上の深度画像にアクセスすることもできる。ステップ682において、本システムは、1つ以上の仮想画像を、前述したカメラから受ける。あるいは、本システムは、既に受けられている1つ以上の仮想画像にアクセスすることもできる。ステップ684において、ハブ計算システムは、深度画像および/または視覚画像に基づいて1人以上の人を検出する。例えば、本システムは1つ以上の骨格を認識する。ステップ686において、ハブ計算デバイスは、深度画像および/または視覚画像に基づいてモデル内でエッジを検出する。ステップ688において、ハブ計算デバイスは、検出したエッジを使用して、別個の物体を互いから識別する。例えば、エッジが物体間の境界であると捉えられる。ステップ690において、図10のプロセスを使用して作られたモデルが、モデルのどの部分が異なる物体と関連付けられているかを示すために、更新される。00133図12は、物体を特定するプロセスの一実施形態を説明するフローチャートである。例えば、図12のプロセスは、図9のステップ608の一実施態様例である。ステップ710において、ハブ計算デバイス12は、特定された人をユーザー識別と照合する。例えば、本システムは、物体の検出された画像と照合することができる仮想画像を有するユーザープロファイルを有することができる。あるいは、ユーザープロファイルが、深度画像または視覚的画像に基づいて照合することができる人の特徴を記述することができる。他の実施形態では、ユーザーが本システムにログインするのでもよく、ハブ計算デバイス12がログインプロセスを使用して個々のユーザーを特定し、本明細書において記載する対話処理の間にわたってユーザーを追跡することができる。ステップ712において、ハブ計算デバイス12は形状のデーターベースにアクセスする。ステップ714において、ハブ計算デバイスは、モデル内の物体をデーターベースにおける同じ数の形状と照合する。ステップ716において、一致しない形状が強調され、ユーザーに表示される例えば、モニター16を使用する。ステップ718において、ハブ計算デバイス12は、強調された形状の各々または部分集合を特定するユーザー入力を受ける。例えば、ユーザーはキーボード、マウス、音声入力、または他のタイプの入力を使用して、特定されなかった形状の各々が何であるのか示すことができる。ステップ720において、ステップ718におけるユーザー入力に基づいて、形状のデーターベースが更新される。ステップ722において、ステップ604において作られそしてステップ606において更新された環境のモデルが、更に、物体の各々についてのメタデーターを追加することによって更新される。メタデーターは物体を特定する。例えば、メタデーターは、特定の物体が、丸く輝くテーブル、氏名不詳の男性、緑色の革製ソファー等であることを示すこともできる。00134図13は、透視ディスプレイを見ているユーザーによって見られるときに、焦点が合うように仮想物体を表示するプロセスの一実施形態を説明するフローチャートである。例えば、図13のプロセスは、図9のステップ610の一実施態様例である。図13のステップ950において、本システムはユーザーの視野を判定する。即ち、本システムは、環境または空間のどの部分をユーザーが見ているのか判定する。一実施形態では、ハブ計算デバイス12、処理ユニット4、および頭部装着ディスプレイデバイス2を使用する協調的作業である。一実施態様例では、ハブ計算デバイス12がユーザーおよび頭部装着ディスプレイデバイス2を追跡し、頭部装着ディスプレイデバイス2の位置および向きの暫定的判断を与える。頭部装着ディスプレイデバイス2上にあるセンサーが、判定された向きをリファインするために使用される。例えば、前述の慣性センサー34は、頭部装着ディスプレイデバイス2の向きをリファインするために使用することができる。加えて、前述の目追跡プロセスは、最初に判定した視野の部分集合を特定するために使用することができる。この部分集合は、ユーザーが特に見ているところに対応し、ユーザー焦点領域または視野における深度焦点としても知られている。これ以上の詳細は、図14、図15、および図16に関して以下で説明する。00135仮想物体のタイプおよびユーザーの視野内におけるそれらの位置は、デフォルトのパラメーター、ユーザー入力、または双方の組み合わせに基づいて、アプリケーション452によって決定される。例えば、ユーザーが、部屋内のコーヒーテーブルという実世界物体を選択し、アプリケーション452を実行して、巨礫の如く見えるようにすることができる。仮想巨礫の目標位置が、三次元モデル内のコーヒーテーブルの位置に関係付けられる。他の例では、仮想いるかが部屋中を泳ぐように、ユーザーによって選択されるのでもよい。このいるかの部屋中における仮想的な動きは、いるかオブジェクトの軌道によって実現することができ、各表示フレームにおいているかに対する目標位置が更新される。ユーザーが巨礫を見つめていても、いるかは総じてユーザーの焦点領域および視野に入ったり出たりする可能性が高い。ユーザーが彼または彼女の目あるいは頭を動かすと、ユーザーの視野および現在の焦点領域も、これらの動きと共に更新していく。1つ以上の仮想物体が、ユーザーの焦点領域およびユーザーの視野内に、いずれの所与の時点においても配置されてもよい。00136先のステップ950において視野を判定した後、本システムは、ステップ952において、ユーザーの現在の視野内に仮想物体のいずれかの目標位置があるか否か判断する。ハブ計算デバイス12または処理ユニット4のような1つ以上のコンピューターシステムにおいて実行するソフトウェアが、視野内の目標の位置を特定する。一実施形態では、ハブ計算デバイス12がモデルを処理ユニット4に供給する。ステップ952の一部として、処理ユニット4は、環境のモデルならびにユーザーの位置および向きの知識を使用して、任意の仮想物体の目標位置がユーザーの視野内にあるか否か判断する。00137ユーザーの現在の視野内に仮想物体がない場合、ステップ966における処理は、ステップ950におけるユーザーの視野の判定および更新に戻る。00138ユーザーの視野内に目標位置を有する少なくとも1つの仮想物体がある場合、次にステップ954において、処理ユニット4において実行するソフトウェアのようなシステムは、ユーザーの視野内におけるユーザーの現在の焦点領域を判定する。図15および図16において以下で更に論ずるが、各目に対する追跡カメラ134によって取り込まれたデーターに基づく目追跡処理が、ユーザーの現在の焦点領域を与えることができる。例えば、瞳間の収斂は、ユーザーの顔の位置を示すデーターと共に、焦点曲線、ホロプター上の焦点距離まで三角測量するために使用することができる。焦点領域、パナムの融合エリアは、この焦点から計算することができる。パナムの融合エリアは、人間の目によって使用される両眼立体視に対する単一視のエリアである。00139ステップ956において、ハブ計算デバイス12、処理ユニット4、または双方において実行するソフトウェアが、ユーザーの視野内における仮想物体の内どれが、現在のユーザーの焦点領域内にあるか、モデルにおける仮想物体の目標位置に基づいて特定する。00140ステップ958において、処理ユニット4は、ユーザーの視野内に挿入する画像に対する仮想物体をスケーリングし、向きを決める。仮想画像のスケーリングおよび向きの決定は、視野内の目標の位置、およびモデルに基づく仮想物体の既知の形状に基づく。00141ステップ960において、処理ユニット4、制御回路136、または双方は、マイクロディスプレイアセンブリーの焦点領域を変化させることによって、現在のユーザーの焦点領域内に、特定された各仮想物体を置く処理を共有する。ステップ962において、人為的被写体深度技法が、目標位置がユーザーの視野内でユーザーの現在の焦点領域の外側にある仮想物体に、現在の焦点領域からの距離の関数として適用される。人為的被写体深度技法の一例は、人為的ぼけ技法である。00142人為的ぼけは、被写体深度シェーダーまたは他のガウスぼかしフィルターを適用し、焦点領域からの距離を関数として、焦点が外れている物体をシミュレートすることによって得ることができる。この技法は、全体的にまたは部分的に、ハブコンピューター12、処理ユニット4、または双方において実行するソフトウェアによって実行することができる。説明を容易にするために、処理ユニット4を参照する。仮想物体の目標位置の一部として、画像内の物体の焦点距離が処理ユニット4によって深度値から決定される。また、処理ユニット4は、導光光学エレメント112を密封するもののようなディスプレイエレメント112におけるどの画素が、画像内の仮想物体にマッピングするか判断する。焦点距離に基づいて、ガウス関数によって画像を畳み込み、画像の焦点または固定点から離れた画素に適用される変換程、大きなぼけ効果を受けるようにすることによって、少なくとも二次元をカバーするように、1つ以上の加重ガウスぼかしフィルターが適用される。一例では、ガウスぼかしフィルターは、高周波情報を除去するローパスフィルターとして動作する。00143ステップ964において、ユーザーの視野内に仮想物体を含む仮想画像が表示される。一例では、ユーザーの視野内に仮想物体を含む仮想画像のマイクロディスプレイ120における表示のための命令を、処理ユニット4が制御回路136のディスプレイドライバー220に送る。次いで、レンズシステム122は、マイクロディスプレイ120から受けた仮想画像を、反射面124上に、そしてユーザーの目に向けて、または導光光学エレメント112内に、ユーザーが見るために投射する。一実施態様では、ユーザーが頭部装着ディスプレイデバイス内を透視しているディスプレイ例えば、導光光学エレメント112が、画素に分割される。ステップ964は、どの画素が目標位置に対応するか判断することを含むことができ、これらの画素がステップ964において仮想画像を表示する。不透明フィルター114が、非現実的な視覚効果を防止するために使用されるとよい。例えば、不透明フィルター114は、背景仮想物体が前景仮想物体を透過して見られないように、導光光学エレメント112内の画素への光を変更することができる。処理はステップ950に戻り、再度このリアルタイムディスプレイシステムにおけるユーザーの視野を判定する。図13の処理ステップは、ユーザーが彼または彼女の頭を動かすに連れてユーザーの視野およびユーザーの焦点領域が更新されるように、そして、仮想物体が、それに応じて自然に動いてユーザーに対する焦点に合ったり外れたりするように、本システムの動作中連続して実行することができる。00144図16は、ユーザーの視野を判定するプロセスの一実施形態を説明するフローチャートであり、図13のステップ950の一実施態様例である。図16は、前述したハブ計算デバイス12および目追跡技術からの情報を拠り所とする。図14は、図16のプロセスにおいて使用される追跡情報を提供するためにハブ計算システムによって実行されるプロセスの一実施形態を説明するフローチャートである。図15は、目を追跡するプロセスの一実施形態を説明するフローチャートであり、その結果が、図16のプロセスによって使用される。00145図14のステップ810において、ハブ計算デバイス12はユーザーの位置を追跡する。例えば、計算デバイス12は1つ以上の深度画像および1つ以上の視覚画像を使用して、ユーザーを追跡する例えば、骨格追跡を使用する。1つ以上の深度画像および1つ以上の視覚画像は、頭部装着ディスプレイデバイス2の位置、および頭部装着ディスプレイデバイス2の向きをステップ812において判定するために使用することができる。ステップ814において、ユーザーならびに頭部装着ディスプレイデバイス2の位置および向きが、ハブ計算デバイス12から処理ユニット4に送られる。ステップ816において、この位置および方位情報が、処理ユニット4において受け取られる。図14の処理ステップは、ユーザーが連続的に追跡されるように、本システムの動作中連続的に実行することができる。00146図15は、前述の技術を使用して目を追跡する一実施形態を説明するフローチャートである。ステップ860において、目に照明を当てる。例えば、目追跡照明144Aからの赤外線光を使用して、目に照明を当てることができる。ステップ862において、目からの反射が、1つ以上の目追跡カメラ134Bを使用して検出される。ステップ864において、反射データーが頭部装着ディスプレイデバイス2から処理ユニット4に送られる。ステップ866において、処理ユニット4は、先に論じたように、反射データーに基づいて目の位置を判定する。ステップ868において、処理ユニット4は、反射データーに基づいて、ユーザーの目が見ている焦点深度位置または焦点領域も判定する。図15の処理ステップは、ユーザーの目が連続的に追跡されて現在のユーザー焦点領域を追跡するためのデーターを提供するように、本システムの動作中連続的に実行することができる。00147図16は、視野を判定するプロセスの一実施形態を説明するフローチャートである例えば、図13のステップ950。ステップ902において、処理ユニット4は、ハブから受けた最新の位置および向き情報にアクセスする。図14のプロセスは、ステップ814からステップ810への矢印によって示されるように、連続的に実行することができ、したがって、処理ユニット4は周期的に更新された位置および向き情報を、ハブ計算デバイス12から受ける。しかしながら、処理ユニット4は、ハブ計算デバイス12から更新情報を受けるよりも高い頻度で仮想画像を描画する必要がある。したがって、処理ユニット4は、ローカルに例えば、頭部装着ディスプレイデバイス2から検知された情報を拠り所として、ハブ計算デバイス12からのサンプルの間に、向きに対する更新を与える必要がある。ステップ904において、処理ユニット4は、三軸ジャイロ132Bからのデーターにアクセスする。ステップ906において、処理ユニット4は三軸加速度132Cからのデーターにアクセスする。ステップ908において、処理ユニット4は三軸磁力計132Aからのデーターにアクセスする。ステップ910において、処理ユニット4は、ハブ計算デバイス12からの位置および向きデーターを、ジャイロ、加速度計、および磁力計からのデーターによって、リファインするまたは、言い換えると、更新する。ステップ912において、処理ユニット4は、頭部装着ディスプレイデバイスの位置および向きに基づいて、可能な視野を判定する。00148ステップ914において、処理ユニット4は最新の眼位情報にアクセスする。ステップ916において、処理ユニット4は、ユーザーによって見られているモデルの部分を、可能な視野の部分集合として、眼位に基づいて判定する。例えば、ユーザーが壁に向かっていることもあり、したがって、頭部装着ディスプレイの視野は、壁に沿ったいずれかの場所を含む可能性がある。しかしながら、ユーザーの目が右に向けられている場合、ステップ916では、ユーザーの視野は壁の右側部分のみであると結論付ける。ステップ916の終了時には、処理ユニット4はユーザーの視野を頭部装着ディスプレイ2によって判定し終えている。処理ユニット4は、視野内の仮想物体の目標位置を特定することができる。ステップ918において、処理ユニット4は、眼位に基づくモデルの部分によって、現在のユーザーの焦点領域を判定する。処理ユニット4は、現在のユーザーの焦点領域内にある仮想物体のモデル内で目標位置を特定することができる。図16の処理ステップは、ユーザーが彼または彼女の頭を動かすに連れてユーザーの視野および焦点領域が連続的に更新されるように、そして仮想物体が、それに応じて自然に動いてユーザーに対する焦点に合ったり外れたりするように、本システムの動作中に連続的に実行することができる。00149図17Aは、マイクロディスプレイアセンブリーの少なくとも1つのレンズを変位させることによって、マイクロディスプレイアセンブリーの焦点領域を変化させるプロセスの一実施形態を説明するフローチャートである。この実施形態は、ステップ13におけるステップ960を実現するために使用することができる。例示的なコンテキストについて、図2Aおよび図2Bに関して先に説明したようなマイクロディスプレイアセンブリーを参照する。このマイクロディスプレイアセンブリーは、光路133においてレンズシステム122と整列されているマイクロディスプレイユニット120を含む。レンズシステム122は、マイクロディスプレイユニット120から反射エレメント124または反射エレメント124a、124bへの画像光を平行化し、そしてユーザーの目または他の光学エレメント112に入射させる。また、マイクロディスプレイアセンブリーは、選択されたまたは決定された焦点領域を得るために光処理エレメントの1つを物理的に動かすために、可変仮想焦点調節器135も含む。00150図3A~図3Dの論述の前に、マイクロディスプレイアセンブリーの変位および焦点距離は、以下の式、1/S11/S2=1/fによって関係付けられる。ステップ980において、処理ユニット4は、レンズシステム122の前節点と仮想物体の目標位置との間で変異値S1を判定する。加えて、ステップ982において、処理ユニット4は、反射エレメント124、124aとレンズシステムの後節点との間で、レンズシステムfの焦点距離に対して、上の式に基づいて変異値S2を判定する。処理ユニット4は、ステップ984において、制御回路136のプロセッサーに、可変調節器ドライバー237に少なくとも1つの駆動信号を可変仮想焦点調節器134に印加させて、レンズシステムの内少なくとも1つのレンズを物理的に動かし、判定した変位値S1およびS2を生成する。図2Aおよび図2Bに示したマイクロディスプレイアセンブリーの他に、他の実施態様には、図3Dの挿入可能なレンズシステム例を使用するマイクロディスプレイアセンブリーがある。その動きは、レンズが定位置にある場合には、アーム123を解放する動きであり、そして決定された変位にある場合には、光路133内にレンズをロックするために、レンズのアーム123を動かす動きである。00151図17Bは、マイクロディスプレイアセンブリーの少なくとも1つのレンズの偏光を変化させることによって、このマイクロディスプレイアセンブリーの焦点領域を変化させるプロセスの一実施形態を説明するフローチャートである。この実施形態は、図13におけるステップ960を実現するために使用することができ、図3Cに示したようなマイクロディスプレイアセンブリーの実施形態と共に使用するのに適している。この実施形態では、レンズシステムは、マイクロディスプレイ120と反射エレメント124図2A、124a図2Bとの間の光路内に少なくとも1つの複屈折レンズを含む。ステップ986において、処理ユニット4は、仮想物体の目標位置および式1/S11/S2=1/fに基づいて、S1に対する変位値を選択する。ステップ988において、可変調節器ドライバー237は、可変焦点調節器135に少なくとも1つの複屈折レンズの偏光を変化させて、この複屈折レンズの焦点距離fを変化させ、選択したS1を生成するために、少なくとも1つの駆動信号を印加する。各複屈折レンズは、2つの変更軸に対応する2つの離散焦点距離を有するので、2つのこのようなレンズの組み合わせによって、4つの離散焦点距離の選択が与えられる。つまり、ソフトウェアの制御の下で、処理ユニット4または制御回路136のプロセッサー210は、fの値に近似する最も近い利用可能な焦点距離を選択する。追加される複屈折レンズ毎に、離散焦点距離の数は2倍になる。00152図17Cは、マイクロディスプレイアセンブリーの少なくとも1つの流体レンズの曲率半径を変化させることによって、マイクロディスプレイアセンブリーの焦点領域を変化させるプロセスの一実施形態を説明するフローチャートである。この実施形態は、図13におけるステップ960を実現するために使用することができ、図3B1および図3B2に示したような、そのレンズシステム122において少なくとも1つの液体レンズを採用するマイクロディスプレイアセンブリーの実施形態と共に使用するのに適している。ステップ990において、処理ユニット4は、仮想物体の目標位置および式1/S11/S2=1/fに基づいて、S1に対する変位値を選択する。ステップ992において、可変調節器ドライバー237は、可変焦点調節器135に流体レンズの流体において体積変化を生じさせ、その曲率半径の変化を生じさせてその焦点距離fを変化させて、選択したS1値を生成するために、少なくとも1つの駆動信号を印加する。00153図13の実施形態において先に述べたように、ユーザーの視野内にあるがユーザーの焦点領域内にない仮想物体に対して、人工ぼけ技法を適用することもできる。他の実施形態では、異なる焦点領域において一連の画像を生成することもできる。複数の焦点の範囲または焦点領域にわたって動かし、各焦点領域において画像を表示することによって、異なる焦点領域画像のレイヤーで構成された画像をユーザーに見させることができる。ユーザーが彼または彼女の焦点を再調節するとき、ユーザーはこれらの領域の内1つに静定し、これらの領域の残りにおける仮想物体は自然にぼける。焦点領域の範囲にわたる掃引は、所定のレートまたは頻度で行うことができる。これは、人間の時間的画像融合がこれら全てを一度に現れさせるように、十分に速く行われる。人為的ぼけのような人為的被写体深度技法の必要性は減少するが、レンダリング負荷はかなり増大する場合がある。00154焦点領域の範囲にわたる動きは、一実施形態では、マイクロディスプレイアセンブリーの光処理エレメント間の変位を変化させることによって、またはアセンブリーにおける光処理エレメントの光パワーをある速度のレートで変化させることによって実現することができる。速度のレートは、少なくとも毎秒30フレームのフレームレートfps位にするとよいが、実施形態の中には、60、120、または180Hzというような、それよりも高い速度のレートにすることができる場合もある。光路に沿って高い速度のレートでレンズを変位させると、異なる焦点領域において画像が供給される。このレンズは、ときとして、振動レンズまたは発振レンズと呼ばれている。場合によっては、レンズシステム122または画像ソース120ではなく、画像領域、例えば、反射面124、124aが動かされるが、原理は同じである。00155図18Aは、図9におけるステップ610を実現するために使用することができる拡張現実ディスプレイにおける異なる焦点領域において仮想物体画像を生成するプロセスの一実施形態を説明するフローチャートである。図18Aのステップ1002において、ハブ計算デバイス12または処理ユニット4、あるいは双方は、ソフトウェアの制御の下で、図13のステップ950におけるようにユーザーの視野を判定し、ステップ1004において、ステップ952におけるようにユーザーの現在の視野内に仮想物体の目標位置があるか否か判定を行う。ステップ966と同様、ユーザーの現在の視野内に仮想物体がない場合、ステップ1006における処理は、ステップ1002におけるユーザーの視野の判定および更新に戻る。00156ステップ958におけるように、処理ユニット4は、ステップ1012において、ユーザーの視野に挿入される画像に対して、仮想物体のスケーリングを行い、向きを決める。この仮想物体のスケーリングおよび向きの決定は、視野における目標の位置、およびモデルに基づく仮想物体の既知の形状に基づく。00157ステップ1016において、掃引レート期間が、タイミングジェネレーター226または制御回路のクロックジェネレーター244によって開始される。ステップ1018において、掃引期間中に前述の範囲における複数の焦点領域を通過するために、カウンターが初期化される。場合によっては、焦点領域が予め決められている。掃引期間の時間刻み毎に、マイクロディスプレイアセンブリーのエレメントの焦点領域が調節され、ステップ1022において焦点領域毎にその掃引時間または時間刻みで画像がユーザーに表示される。ステップ1024において、カウンターを進めることによって次の焦点領域が選択され、範囲掃引が完了したことをカウンターが示すまで、ステップ1020から1024までの処理が繰り返される。掃引期間はステップ1028において終了する。他の例では、表示のためのフレームの終点で、掃引範囲にわたる掃引を中断することもでき、新たな掃引が次のフレームで開始する。00158一実施形態では、レンダリング負荷は、焦点領域の内部分集合をレンダリングし、ユーザーの焦点領域の追跡を使用して、レンダリングのための焦点領域の選択を最適化することによって、低減することができる。他の例では、目追跡データーは、ユーザーが見ている焦点位置の深度を判定するためには、十分な正確度を提供しない。推論ロジックによって、ユーザーが焦点を合わせている物体を推論することもできる。一旦ある物体が注目物体として選択されたなら、現在の場面の三次元モデルまたはマッピングを、注目物体までの距離を判定するために使用することができる。00159図18Bは、図9におけるステップ610を実現するために使用することができる拡張現実ディスプレイを見ているユーザーによって見られるときに、焦点が合うように仮想物体を表示するプロセスの他の実施形態を示す。図18Bは、拡張現実ディスプレイにおける異なる焦点領域において仮想物体画像を生成するプロセスの一実施形態を説明するフローチャートである。図18Bのステップ1002において、ハブ計算デバイス12または処理ユニット4、あるいは双方は、ソフトウェアの制御の下で、図13のステップ950におけるように、ユーザーの視野を判定し、1004において、ステップ952におけるように、ユーザーの現在の視野内に任意の仮想物体の目標位置があるか否か判定を行う。ステップ966と同様、ユーザーの現在の視野内に仮想物体がない場合、ステップ1006における処理は、ステップ1002におけるユーザーの視野の判定および更新に戻る。00160ユーザーの視野内に目標位置を有する少なくとも1つの仮想物体がある場合、ステップ954におけるようにステップ1008において、処理ユニット4において実行するソフトウェアのような本システムは、ユーザーの視野内におけるユーザーの現在の焦点領域を判定し、ステップ956におけるように、ハブコンピューターシステム12、処理ユニット4、または双方において実行するソフトウェアは、ステップ1010において、ユーザーの視野内における仮想物体の内どれが、現在のユーザーの焦点領域内にあるか、モデルにおける仮想物体の目標位置に基づいて判定する。ステップ958におけるように、処理ユニット4は、ステップ1012において、ユーザーの視野に挿入する画像に対する仮想物体をスケーリングし、向きを決める。この仮想画像のスケーリングおよび向きの決定は、視野内における目標の位置、およびモデルに基づく仮想物体の既知の形状に基づく。00161ステップ1014において、処理ユニット4は、現在のユーザー焦点領域を含む、ある範囲の焦点領域を選択する。処理ユニット4は、実行アプリケーション、例えば、452のコンテキストというような、判断基準に基づいて、この焦点領域の範囲を選択することができる。アプリケーションは、仮想物体の選択を、所定の動きの軌道と、それらの出現をトリガーするイベントと共に使用することができる。物体の動きによって物体のモデルが更新される毎に、処理ユニット4は、図10の論述のように、これらの更新を受ける。更新の間に、処理ユニット4はユーザーの頭の位置および向きについてのセンサーデーターを使用して、どの仮想物体に彼または彼女がその時点において焦点を合わせている可能性が高いか判断することができる。処理ユニット4は、場面の三次元モデルに基づいて、仮想物体の軌道が進む複数の焦点領域を選択することができる。したがって、判断基準の一例は、仮想物体が位置する各焦点領域を含むことである。加えて、焦点領域は、動く仮想物体の軌道が所定の時間枠内にある領域が選択されてもよい。所定の時間枠は、一例では、仮想物体の正確な位置を示すモデルデーターの次の更新までとするとよい。00162焦点領域の範囲にわたって掃引する開始焦点領域は、ユーザーの目から、ユーザーの視野において無限遠に最も近いものとするとよい。他の開始位置も使用してもよいが、無限遠において開始すると、不透明フィルター114の適用を簡素化することができる。ステップ1016において、掃引レート期間が、タイミングジェネレーター226または制御回路のクロックジェネレーター244によって開始される。ステップ1018において、掃引期間中に前述の範囲における複数の焦点領域を通過するために、カウンターが初期化される。場合によっては、焦点領域が予め決められている。掃引期間の時間刻み毎に、マイクロディスプレイアセンブリーのエレメントの焦点領域が調節され、ステップ1022において焦点領域毎にその掃引時間または時間刻みで画像がユーザーに表示される。ステップ1024において、カウンターを進めることによって次の焦点領域が選択され、範囲掃引が完了したことをカウンターが示すまで、ステップ1020から1024までの処理が繰り返される。掃引期間はステップ1028において終了する。他の例では、表示のためのフレームの終点で、掃引範囲にわたる掃引を中断することもでき、新たな掃引が次のフレームで開始する。00163図19Aおよび図19Bは、拡張現実ディスプレイにおいて多焦点仮想物体を表示する、異なる方法の例を模式的に示す。図19Aでは、4つの画像1050a~1050dの例が、マイクロディスプレイアセンブリーの光路133内の異なる変位において生成された異なる焦点領域において生成され、全ての画像が、導光光学エレメント112における表示のために送られる。図19Bでは、処理ユニット4が、その焦点または画像領域において焦点が合っている各画像のセクションまたは部分を、ディスプレイ112における表示にために、複合画像1055に含ませる。一例では、焦点が合っている各画像のセクションおよび部分は、仮想物体が生成された時点で画像内に位置する部分とすることができる。00164以上、構造的特徴および/または方法論的動作に特定な文言で主題について説明したが、添付した特許請求の範囲に定められている主題は、以上で説明した特定の特徴や動作には必ずしも限定されないことは理解されてしかるべきである。逆に、以上で説明した特定の特徴および動作は、特許請求の範囲を実現する形態例として開示されたまでである。"