(57)【要約】  電子デバイスにタッチ・インターフェースを設けるシステムおよび方法を開示する。タッチ・インターフェースは、いずれの表面でも可能である。一例として、テーブルの上面をタッチ感応インターフェースとして使用することができる。一実施形態では、本システムは、表面のタッチ領域を判定し、このタッチ領域を、入力が供給される電子デバイスのディスプレイに相関付ける。本システムは、３Ｄカメラを有することができる。この３Ｄカメラは、ユーザー入力を可能にするために、ユーザーの手のタッチ領域に対する相対位置を識別する。尚、ユーザーの手はディスプレイを遮らないことを注記しておく。本システムは、ユーザーが表示画面上のエレメントと相互作用するために、ユーザーの手の表現をディスプレイ上にレンダリングすることができる。【選択図】図１Ａ
2015515688.tif 000002
【特許請求の範囲】
【請求項１】
３Ｄ画像データーに基づいて、表面に対する物体の三次元（３Ｄ）位置を判定するステップと、
前記表面に対する前記物体の３Ｄ位置に基づいて、電子デバイスに関連するディスプレイ上にユーザー入力エレメントをレンダリングするステップと、
前記表面に対する前記物体の３Ｄ位置に基づいて、前記電子デバイスに対するユーザー入力を受けるステップと、
を含む、方法。
【請求項２】
請求項１記載の方法において、前記ユーザー入力エレメントをレンダリングするステップが、
ユーザーの手の表現を通して画像が見えるように、前記ユーザーの手の透過表現を前記ディスプレイ上で前記画像に重ねて表示して、するステップを含む、方法。
【請求項３】
請求項１記載の方法において、３Ｄ画像データーに基づいて表面に対して物体の３Ｄ位置を判定するステップが、
前記物体が前記表面にタッチしているか、またはほぼタッチしているか否か判定するステップを含む、方法。
【請求項４】
請求項３記載の方法において、前記ユーザー入力が、前記ディスプレイ上に提示されたエレメントに関連する選択である、方法。
【請求項５】
請求項４記載の方法において、前記ユーザー入力エレメントをレンダリングするステップが、
前記表面をタッチしているまたはほぼタッチしているユーザーの手の部分を表すために、前記ユーザー入力エレメントの一部を強調表示するステップを含む、方法。
【請求項６】
請求項１記載の方法において、３Ｄ画像データーに基づいて、表面に対する物体の３Ｄ位置を判定するステップが、
前記物体が前記表面の上方においてホバリング・ゾーン内でホバリングしているか否か判定するステップを含む、方法。
【請求項７】
請求項６記載の方法において、前記ユーザー入力が、前記ディスプレイ上のエレメントに関連するホバリング・イベントであり、前記エレメントの上方において前記ユーザー入力エレメントがホバリングしている、方法。
【請求項８】
請求項７記載の方法において、前記ユーザー入力エレメントをレンダリングするステップが、
前記表面の上方における前記ホバリング・ゾーン内にユーザーの手があることを表現するために、前記ディスプレイ上において前記ユーザー入力エレメントを強調表示するステップを含む、方法。
【請求項９】
３Ｄカメラと、
ディスプレイと、
前記３Ｄカメラおよび前記ディスプレイに結合された処理ロジックと、
を含み、前記処理ロジックが、
前記３Ｄカメラからの画像データーに基づいて表面の位置を判定し、
前記３Ｄカメラからの画像データーに基づいて、前記表面に対するユーザーの手の３Ｄ位置を判定し、
前記表面に対する前記ユーザーの手の３Ｄ位置に基づいて、前記ディスプレイ上に前記ユーザーの手の透過表現をレンダリングし、
前記表面に対する前記ユーザーの手の３Ｄ位置に基づいて、ユーザー入力を受ける、
ように構成される、装置。
【請求項１０】
請求項９記載の装置において、前記処理ロジックが、
前記表面上においてタッチ領域を判定し、
前記タッチ領域内の一部を前記ディスプレイ上の位置に相関付ける、
ように構成される、装置。
【発明の詳細な説明】
【背景技術】
【０００１】
[0001]  過去において、計算デバイスは、キーボードおよびマウスを入力デバイスとして使用していた。このような入力デバイスは確かに動作するが、ユーザーはキーパッドを学習するかまたはマウス動作を学習する必要がある。また、このような入力デバイスは、多くのユーザーが使用したくなる程直観的ではない。
【０００２】
[0002]  更に最近になって、一部のコンピューター・デバイスが、ユーザー入力を可能にするタッチ感応表示画面を設けるようになった。これらのインターフェースは、以前のインターフェースよりも直観的であると考えられる。しかしながら、通例、これらはユーザーの手が表示画面を遮るという欠点がある。また、タッチ感応スクリーンは、表示画面がユーザーに近い携帯用デバイスまたは他のデバイスにとって最も実用的である。しかしながら、デスクトップ・コンピューターのように、デバイスは、通例、表示画面がユーザーからある距離だけ離れている。ユーザー入力を供給するためにこのような表示画面に手を伸ばしてタッチすることは、ユーザーにとって非実用的である可能性がある。
【発明の概要】
【０００３】
[0003]  本明細書において開示するのは、ディスプレイに関連する電子デバイスへのタッチ・ユーザー入力を可能にするシステムおよび方法である。タッチ・インターフェースは、いずれの表面でも可能である。一例として、テーブルの表面をタッチ感応インターフェースとして使用することができる。本システムは、ユーザー入力を考慮するために、ユーザーの手のタッチ・インターフェースに対する相対的な位置を識別する３Ｄカメラを有することもできる。つまり、ユーザーの手はディスプレイを遮らない。また、本システムは、ユーザーの手がタッチ・インターフェースの上方でホバリングしているか否か判断することもできる。したがって、本システムは、ユーザー入力の１タイプとして、ホバリング・イベントに対応する。
【０００４】
[0004]  一実施形態は、ディスプレイに関連する電子デバイスへのユーザー入力を可能にする方法を含む。この方法は、三次元（３Ｄ）画像データーに基づいて物体の表面に対する３Ｄ位置を判定するステップを含む。更に、この方法は、物体の表面に対する３Ｄ位置に基づいて、ユーザー入力エレメントをディスプレイ上にレンダリングするステップも含む。更に、この方法は、物体の表面に対する３Ｄ位置に基づいて、電子デバイスのためのユーザー入力を受けるステップも含む。
【０００５】
[0005]  一実施形態は、３Ｄカメラと、ディスプレイと、この３Ｄカメラおよびディスプレイに結合された処理ロジックとを含む装置を含む。処理ロジックは、３Ｄカメラからの画像データーに基づいて表面の位置を判定するように、そして３Ｄカメラからの画像データーに基づいてユーザーの手の表面に対する３Ｄ位置を判定するように構成される。処理ロジックは、表面に対するユーザーの手の３Ｄ位置に基づいて、ユーザーの手の透過表現をディスプレイ上にレンダリングする。更に、処理ロジックは、表面に対するユーザーの手の３Ｄ位置に基づいて、ユーザー入力を受ける。
【０００６】
[0006]  一実施形態は、ディスプレイに関連する電子デバイスに対するユーザー入力を可能にする方法を含む。この方法は、３Ｄ画像データーに基づいて表面の位置を判定するステップを含む。この表面は、ディスプレイ・デバイスの表面でも、電子デバイスの表面でもない。この表面上におけるタッチ領域を判定する。この表面上のタッチ領域に対するユーザーの手の３Ｄ位置を、３Ｄ画像データーに基づいて判定する。タッチ領域内の位置を、電子デバイスに関連するディスプレイ上の位置に相関付ける。タッチ領域に対するユーザーの手の３Ｄ位置に基づいて、ユーザーの手の表現をディスプレイ上にレンダリングする。タッチ領域に対するユーザーの手の３Ｄ位置に基づいて、電子デバイスに対するユーザー入力を受ける。
【０００７】
[0007]  この摘要は、詳細な説明において以下で更に説明する概念から選択したものを、簡略化した形態で紹介するために設けられている。この摘要は、特許請求する主題の主要な特徴や必須の特徴を特定することを意図するのではなく、特許請求する主題の範囲を判断するときに補助として使用されることを意図するのでもない。更に、特許請求する主題は、本開示のいずれかの部分に特筆するいずれかの欠点を解決する実施態様に限定されるのではなく、全ての欠点を解決する実施態様に限定されるのでもない。
【図面の簡単な説明】
【０００８】
【図１Ａ】図１Ａは、タッチ領域によって入力を使用することを可能にするシステムの一実施形態を示す。
【図１Ｂ】図１Ｂは、ユーザーの手の１つがテーブルのタッチ領域上方にあるときに、システムが表示するものの一実施形態を示す。
【図１Ｃ】図１Ｃは、ディスプレイを除いたユーザー入力エレメントの一実施形態を示す。
【図１Ｄ】図１Ｄは、テーブルの表面にタッチするかまたはテーブルの表面上方でホバリングすることによって、ＨＭＤを装着したユーザーが入力を供給することを可能にするシステムを示す。
【図１Ｅ】図１Ｅは、ニアアイ頭部装着ディスプレイ・デバイスとして、透視型ディスプレイ・デバイス(see-through display device)を示す。
【図１Ｆ】図１Ｆは、深度カメラが一体化された表示画面の表面にタッチするかまたはこの表面上方でホバリングすることによって、ユーザーが入力を供給することを可能にするシステムを示す。
【図２】図２は、電子デバイスに対するユーザー入力を可能にするために使用することができるキャプチャー・デバイスおよび計算システムを含むシステムの一実施形態を示す。
【図３】図３は、３Ｄ画像データーに基づいて、ディスプレイに関連する電子デバイスに対するユーザー入力を受けるプロセスの一実施形態のフローチャートである。
【図４Ａ】図４Ａは、タッチ領域に対するユーザーの手の位置を判定するプロセスの一実施形態のフローチャートである。
【図４Ｂ】図４Ｂは、ユーザーの手をタッチ領域にマッピングすることを示すための図である。
【図５Ａ】図５Ａは、タッチ領域を判定するプロセスの一実施形態のフローチャートである。
【図５Ｂ】図５Ｂは、タッチ領域に対する平面方程式(plane equations)の一実施形態の詳細を示す。
【図５Ｃ】図５Ｃは、タッチ領域を定めるプロセスの一実施形態のフローチャートである。
【図５Ｄ】図５Ｄは、タッチ領域を判定する一実施形態の詳細を示す。
【図６Ａ】図６Ａは、ユーザーの手、およびタッチ領域に対する手の相対的な位置を識別するプロセスの一実施形態のフローチャートである。
【図６Ｂ】図６Ｂは、深度画像をバケット(bucket)に置くことによって形成される距離マップの一例を示す。
【図６Ｃ】図６Ｃは、手と腕の一部のポイント・クラウド・モデル(point cloud model)を示す。
【図６Ｄ】図６Ｄは、指先を追跡するプロセスの一実施形態のフローチャートを示す。
【図７】図７は、ユーザー入力エレメントおよび影(shadow)をレンダリングするプロセスの一実施形態のフローチャートである。
【図８Ａ】図８Ａは、ハードウェアおよびソフトウェア・コンポーネントのための支持体を設ける混合現実ディスプレイ・デバイス(mixed reality display device)のめがねの実施形態におけるめがねの弦(eyeglass temple)の側面図である。
【図８Ｂ】図８Ｂは、ハードウェアおよびソフトウェア・コンポーネントのための支持体を設け、更にマイクロ・ディスプレイ・アセンブリの三次元調節を行う混合現実ディスプレイ・デバイスの一実施形態におけるめがねの弦の側面図である。
【図９Ａ】図９Ａは、凝視検出エレメントの構成(arrangement)を含む、透視型ニアアイ混合現実デバイスの可動表示光学システムの一実施形態の上面図である。
【図９Ｂ】図９Ｂは、凝視検出エレメントの構成を含む、透視型ニアアイ混合現実デバイスの可動表示光学システムの他の実施形態の上面図である。
【図９Ｃ】図９Ｃは、凝視検出エレメントの構成を含む、透視型ニアアイ混合現実デバイスの可動表示光学システムの第３の実施形態の上面図である。
【図９Ｄ】図９Ｄは、凝視検出エレメントの構成を含む、透視型ニアアイ混合現実デバイスの可動表示光学システムの第４の実施形態の上面図である。
【図１０Ａ】図１０Ａは、１つ以上の実施形態と共に使用することができる、透視型ニアアイ混合現実ディスプレイ・ユニットのハードウェアおよびソフトウェア・コンポーネントの一実施形態のブロック図である。
【図１０Ｂ】図１０Ｂは、透視型ニアアイ混合現実ディスプレイ・ユニットに関連する処理ユニットのハードウェアおよびソフトウェア・コンポーネントの一実施形態のブロック図である。
【図１１Ａ】図１１Ａは、計算システムを実現するために使用することができるマルチメディア・コンソール（またはゲーミング・コンソール）を含む計算環境の一例を示す。
【図１１Ｂ】図１１Ｂは、計算システムを実現するために使用することができる計算環境の他の例を示す。
【発明を実施するための形態】
【０００９】
[0037]  これより、総合的に電子デバイス用タッチ・インターフェースに関する本技術の実施形態について説明する。タッチ・インターフェースは、任意の表面を含むことができる。一例として、テーブルの上面をタッチ感応インターフェースとして使用することができる。一実施形態では、本システムは表面のタッチ領域を判定し、入力が供給される対象の電子デバイスのディスプレイに、そのタッチ領域を相関付ける。本システムは、ユーザー入力を可能にするタッチ領域に対するユーザーの手の相対的な位置を識別する３Ｄカメラを有することができる。尚、ユーザーの手はディスプレイを遮らないことを注記しておく。本システムは、ユーザーが表示画面上のエレメントと対話処理するために、ディスプレイ上にユーザーの手の表現をレンダリングすることができる。
【００１０】
[0038]  広範囲にわたる種々のユーザー入力機能が可能であり、以下のものを含むが、これらに限定されるのではない。ユーザーは、ディスプレイ上でエレメントを選択するために、表面（またはタッチ領域）にタッチすることができる。ユーザーは、表面を横切って彼らの指を動かして、ディスプレイ上でエレメントをドラッグすることができる。ユーザーは、表面上で彼らの指を狭めて(pinch together)縮小すること、または彼らの指を広げて拡大することができる。尚、一実施形態のシステムは、３Ｄ画像データーに基づいて、左手を右手と区別すること、および１本の指を他の指と区別することができることを注記しておく。したがって、この情報は、どの指または手がディスプレイと接触しているか通知することができない従来のタッチ感応ディスプレイで可能なユーザー入力よりも複雑なユーザー入力に使用することができる。
【００１１】
[0039]  他の可能な入力に「ホバリング・イベント」(hover event)がある。電子デバイスに対するインターフェースのコンテキストでは、ホバリングするとは、興味を示すがコミットしないことを意味する。従来のユーザー・インターフェースでは、ユーザーが、マウスを「クリックする」ことなく、カーソルをあるエレメント（ハイパーリンク等）の情報に位置付けることもあり得る。つまり、ユーザーは選択もコミットもしない。しかしながら、ユーザーはそのエレメントに対する興味を示している。一実施形態では、ユーザーは、彼らの手をタッチ領域の上方におけるある範囲の距離以内（例えば、ホバリング・ゾーン）に保持することによって、ホバリング・イベントを生じさせる。ホバリング・ゾーンは、例えば、タッチ領域よりも上に１ｃｍから１０ｃｍの範囲にするとよい。つまり、ユーザーの興味がホバリング・イベントをトリガーすることができる。また、ホバリング・イベントを「フォーカス・イベント」(focus event)と呼ぶこともできる。
【００１２】
[0040]  一例として、ディスプレイはデスクトップ・コンピューター・システムと関連付けられる。タッチ領域は、コンピューター・キーボードの直ぐ右側または左側にすることができる。あるいは、ユーザーは、タッチ領域がキーボードが通常存在する場所となるように、キーボードを脇に寄せて設定することもできる。
【００１３】
[0041]  図１Ａは、タッチ領域によってユーザー入力を可能にするシステムの一実施形態を示す。図１Ａは、ユーザーの前にディスプレイ９６があるテーブル９の前に座っているユーザーを示す。ユーザーは、彼または彼女の手をテーブル９上に伸ばしている。ディスプレイ９６の上にはキャプチャー・デバイス２０がある。キャプチャー・デバイス２０は、テーブル９に対するユーザーの手の位置を判定することができる３Ｄカメラを含むことができる。計算システム１２は、通信可能にディスプレイ９６およびキャプチャー・デバイス２０に結合されればよい。一例として、計算システム１２がデスクトップ・コンピューター・システムのタワー部(tower portion)であることもできるが、他の可能性も存在する。計算システム１２、キャプチャー・デバイス２０、およびディスプレイ９６を纏めて「システム」と呼んでもよい。このシステムは、タッチ感応ユーザー入力を計算システム１２に供給するためにテーブル９を使用することを可能にする。
【００１４】
[0042]  一実施形態では、キャプチャー・デバイス２０は平行光ビームを放出する。平行光の例には、赤外線（ＩＲ）およびレーザーが含まれるが、これらに限定されるのではない。キャプチャー・デバイス２０からの光が視野内にある物体８に反射して、キャプチャー・デバイス２０によって検出される。視野は、大まかに線１２ａ、１２ｂによって示される。この例では、物体８はユーザーの両手および両腕を含む。また、光はテーブル９からも反射して、キャプチャー・デバイス２０に戻る。したがって、テーブル９に対するユーザーの手の位置を判定することができる。この例では、人は彼らの手を使用して入力を入力する。しかしながら、一実施形態では、本システムは、入力を可能にするためにユーザーの手以外の物体を追跡する。一例として、ユーザーが、ペンまたは鉛筆をタッチ領域１１の上方またはタッチ領域１１上で動かすことによって、入力を発生することもできる。
【００１５】
[0043]  一実施形態では、キャプチャー・デバイス２０は、１つのＲＧＢカメラを使用して、３Ｄ画像データーを収集する。一実施形態では、ＲＧＢカメラはモーション・ステレオ(motion stereo)を使用して深度を判定する。モーション・ステレオを使用して深度を判定するには、異なる時刻にキャプチャーされた２つのＲＧＢ画像を比較することを含めばよい。１つのＲＧＢカメラを使用して深度を判定するときに補助するために、場面理解のような儀容が使用されてもよい。
【００１６】
[0044]  タッチ領域１１が、テーブル９上に破線で図示されている。タッチ領域１１は、テーブル９の一部であり、ディスプレイ９６に関連する電子デバイスに対してタッチ感応入力を供給するためにユーザーが使用することができる。また、ユーザーは、テーブル９にタッチすることなく、タッチ領域１１の上方でホバリングして、ホバリング入力を供給することもできる。一実施形態では、本システムは、タッチ領域１１として使用されるのに適したテーブル９の部分を判定する。一実施形態では、本システムは、テーブル９のどの部分がタッチ領域１１として使用されるか、ユーザーに指定させる。１つよりも多いタッチ領域１１があることも可能である。例えば、右手用のタッチ領域と、左手用の別のタッチ領域があることも可能である。尚、タッチ領域１１は何らセンサーや特殊な特性を有する必要がないことを注記しておく。つまり、テーブル９は特別の方法で製造される必要は全くない。テーブル９以外の表面も、タッチ領域１１に使用することができる。
【００１７】
[0045]  論述のために、テーブル９の表面がｘ−ｙ平面であると見なすとよい。一実施形態では、本システムは、テーブル９（またはタッチ領域１１）に対するユーザーの手の（ｘ、ｙ、ｚ）座標を判定する。一実施形態では、タッチ領域のｘ−ｙ座標が、ディスプレイ９６に対するｘ−６座標系に相関付けられる。一実施形態では、ｚ−軸はテーブル９の表面から離れる方向の距離に対応する。他の座標系を使用してもよい。例えば、キャプチャー・デバイス２０の視点から座標を表現するのでもよい。これについては以下で論ずる。
【００１８】
[0046]  図１Ｂは、ユーザーの手の１つがテーブル９のタッチ領域の上方にあるときに本システムが表示するものの一実施形態を示す。この例では、ユーザーの手の透過表現１８が、表示画面９６上の種々のエレメント２３に重なって表示される。ここでは、表現１８を「ユーザー入力エレメント」１８と呼ぶとよいであろう。透過性であるので、ユーザー入力エレメント１８の後ろまたは下にあるエレメント２３をはっきりと見ることができる。ユーザー入力エレメント１８は、人の手に似ている必要はない。また、手がレンダリングされるとき、それは形状に関して必ずしもユーザーの手の正確な表現ではないことも注記しておく。
【００１９】
[0047]  ユーザーがユーザー入力を直観的に制御するのを助けるために、種々のレンダリング効果を使用することができる。一実施形態では、ユーザーがテーブル９の上方でホバリングしているときには、ユーザー入力エレメント１８が何らかの特殊なやり方でレンダリングされる。例えば、ホバリングを示すために、ある色を使用することもできる。一例として、ユーザー入力エレメント１８は、ホバリングを示すために、透明な青にすることができる。一実施形態では、テーブル９上のタッチ領域１１に近い接触ゾーン(contact zone)内に指があるとき、その指がディスプレイ９６上で強調表示(highlight)される。これは、指先のエッジに沿った強調表示１５によって図示される。強調表示１５は、発光する指先のエッジ、または任意の他の効果を示すことができる。
【００２０】
[0048]  他の効果は、ユーザーに彼らの手がタッチ領域１１からどの位離れているかという感覚を与えるために、影２１ａ、２１ｂを示すことである。例えば、２つの擬似光源に基づいて２つの影２１ａ、２１ｂがレンダリングされる場合、影２１ａ、２１ｂが互いに重なる(merge)程表面に近づいて見える。２つの影２１ａ、２１ｂの重複領域(merger region)２７が図示される。また、ユーザー入力エレメント１８の下に影がレンダリングされてもよいが、このような影は図１Ｂには示されていない。
【００２１】
[0049]  ユーザーに彼らの手がタッチ領域１１からどの位離れているかという感覚を与えるために、他の効果を使用することもできる。一実施形態では、ユーザー入力エレメント１８は、少なくともある程度、その下にレンダリングされるものを歪ませる。歪みの量は、一実施形態では、手がタッチ領域１１から動かされて遠ざかる程増大する。例えば、「Ｓｔｏｒｅ」という単語がいくらか歪んで見える。一実施形態では、ユーザーが彼らの手をタッチ領域１１に近づくように動かすと、歪みが少なくなる。尚、ある程度の歪みがあっても、ユーザー入力エレメント１８は、半透明になったりまたは不透明になるのではなく、透過性であり続けると考えることができる。
【００２２】
[0050]  図１Ｃは、ディスプレイ９６を除いたユーザー入力エレメント１８の一実施形態を示す。ユーザー入力エレメント１８は、エッジ１５、１７によって囲まれた透過性の内部１３を有する。エッジの一部はタッチ点１４を表す。この例では、指および親指の内いくつかの先端がタッチ点１５となる。タッチ点１５は、他のエッジとは異なるやり方でレンダリングされるので、ユーザーはこれらが接触ゾーン内のどこにあるか見ることができる。尚、接触ゾーンはタッチ領域１１に対して比較的近い距離以内にあるとよいことを注記しておく。したがって、タッチ点１５は、実際にタッチ領域１１と物理的に接触する部分には必ずしも対応しない。
【００２３】
[0051]  尚、ユーザーがユーザー入力オブジェクト１８のエッジを明確に見やすくするために、接触点ではないエッジ１７は、内部透明部分１３とは異なるレンダリングが行われるとよいことを注記しておく。例えば、エッジ１７が目立ちやすくするために、エッジ１７が透過領域１３よりもいくらか明るく、または代わりに暗くレンダリングされるのでもよい。エッジ１７が目立ちやすくするために、エッジ１７に他の効果を使用してもよい。
【００２４】
[0052]  ディスプレイ９６は、他のタイプの電子デバイスと関連付けることもできる。他の例は、「頭部装着ディスプレイ」または「ヘッドアップ・ディスプレイ」と呼ぶことができるものである。図１Ｄは、ＨＭＤ２を装着したユーザーが、テーブル９の表面をタッチすることによってまたはその上方でホバリングすることによって入力を供給することを可能にするシステムを示す。一実施形態では、ＨＭＤ２は３Ｄカメラを有する。この３Ｄカメラは、テーブル９上のタッチ領域１１に対するユーザーの手の位置を判定することができる。しかしながら、異なるカメラ・システムを使用することもできる。つまり、ＨＭＤは、３Ｄカメラ・システムを有する必要はない。
【００２５】
[0053]  ＨＭＤ２ディスプレイは、ユーザーの手がディスプレイ９６上のエレメントに対してどこに位置するかユーザーに示すために、図１Ｂに示した画像と同様の画像をレンダリングすることができる。一実施形態では、ＨＭＤ２は、テーブル９または壁のような何らかの表面が表示面として作用していることがユーザーに見えるように、画像をレンダリングする。尚、テーブル９が使用される場合、ユーザーの手が画像と干渉しないように、タッチ領域１１とは異なるテーブル９の領域に画像が現れるように見えることを注記しておく。しかしながら、画像が大まかにタッチ領域１１と一致するように表示画像を提示するという選択肢もある。
【００２６】
[0054]  図１Ｅは、ワイヤ６を通じて処理ユニット４と通信するニアアイ、頭部装着ディスプレイ（ＨＭＤ）デバイス２のような、透視型ディスプレイ・デバイスを示す。他の実施形態では、頭部装着ディスプレイ・デバイス２は、ワイヤレス通信によって処理ユニット４と通信する。処理ユニット４は種々の実施形態をなすことができる。実施形態では、処理ユニット４が別個のユニットであり、ユーザーの身体、例えば、図示の例ではウェストに装着されるのでもよく、ニアアイ・ディスプレイ・デバイス２を動作させるために使用される計算パワーの多くを含む。処理ユニット４は、１つ以上の計算システム１２、ホット・スポット、セルラ・データー・ネットワーク等にワイヤレスで（例えば、ＷｉＦｉ、Bluetooth（登録商標）、赤外線、または他のワイヤレス通信手段）通信することもできる。他の実施形態では、処理ユニット４の機能性が、ＨＭＤ２のソフトウェアおよびハードウェア・コンポーネントに統合されてもよい。また、処理ユニットを「処理ロジック」と呼ぶこともできる。処理ロジックは、ハードウェアおよび／またはソフトウェアのあらゆる組み合わせを含むことができる。例えば、処理ロジックは、特定用途集積回路（ＡＳＩＣ）を含むこともできる。処理ロジックは、プロセッサー実行可能命令が格納されたコンピューター読み取り可能記憶デバイスと、これらの命令を実行するプロセッサーとを含むことができる。
【００２７】
[0055]  頭部装着ディスプレイ・デバイス２は、一実施形態では、めがねのフレーム１１５の形状をしており、ユーザーの頭部に装着されるので、ユーザーは、各目で、この例では表示光学系９６として具体化されたディスプレイを通して見ることができ、これによってユーザーの前方にある空間の実際の直視野を有することができる。「実際の直視野」という用語の使用は、物体の作られた画像表現を見るのではなく、人間の目によって直接実世界の物体を見ることができることに言及する。例えば、ガラス(glass)を通して部屋を見ると、ユーザーはこの部屋の実際の直視野を得ることができるが、テレビジョン上で部屋のビデオを見ても、この部屋の直視野にはならない。ソフトウェア、例えば、ゲーミング・アプリケーションを実行するコンテキストに基づいて、本システムは、仮想画像と呼ばれることもある仮想物体の画像を、ディスプレイ上に投射することができ、これらの画像は、透視型ディスプレイ・デバイスを着用した人によって見ることができ、しかもこの人はディスプレイを通して実世界の物体も見ている。
【００２８】
[0056]  フレーム１１５は、本システムのエレメントを適所に保持するための支持体(support)となり、更に電気接続のための線渠にもなる。この実施形態では、フレーム１１５は、以下で更に論ずる本システムのエレメントのための支持体として、便利なめがねフレームを備える。他の実施形態では、他の支持構造を使用することができる。このような構造の一例に、バイザー、帽子、ヘルメット、またはゴーグルがある。フレーム１１５は、ユーザーの耳の各々の上に載せる弦、即ち、サイド・アームを含む。弦１０２は、右側の弦の一実施形態を表し、ＨＤＭ２の制御回路１３６を含む。フレームの鼻当て(nose bridge)１０４は、キャプチャー・デバイス２０を含むことができ、キャプチャー・デバイス２０は、３Ｄ撮像を使用してその視野内において物体を検出することができる。
【００２９】
[0057]  図１Ｆは、画面６７の内部または背後にある深度カメラ・システムを使用するタッチ・インターフェースを設けるシステムの一実施形態を示す。ユーザーは、テーブル９の前に座っており、画面６７と対話処理している。画面６７は、その背後に、または画面に内蔵された深度カメラ・システムを有する。深度カメラ・システムは、３Ｄ画像データーをキャプチャーすることができる。深度カメラ・システムは、光源６８と、１つ以上の（恐らくは多くの）光検出器とを含むことができる。一例として、光源は赤外線（ＩＲ）であってもよい。一実施形態では、画面６７の各画素が光検出器として役割を果たす。しかしながら、光検出器が画素の一部である必要はない。画素はＬＣＤ画面の一部であることができるが、他の技術を使用してもよい。一実施形態では、光源６８からの光は画面６７を通過して進行し、ユーザー８から反射する。反射光は、画面６７内または画面６７の背後にある１つ以上の光検出器によって取り込まれる。こうして、画面６７に対するユーザーの低の位置を判定することができる。尚、これは、ｘ−、ｙ−、およびｚ−位置を含めばよいことを注記しておく。
【００３０】
[0058]  また、画面６７は、ディスプレイとしての使用も可能であるとよい。しかしながら、画面６７は、タッチ・インタラクティブ・システムを使用するときは、ディスプレイとして使用される必要はない。むしろ、ユーザー８によって装着されるＨＭＤ２が、図１Ｄの例と同様に、ディスプレイとして使用されるとよい。このように、本システムは、画面６７の内部または背後にある深度カメラ・システムを使用して、画面６７に対するユーザーの手の位置を判定する。本システムは、ＨＭＤ２（または他の何らかのディスプレイ）にユーザーの手の表現を表示する。例えば、ＨＭＤ２は、図１Ｂにおける画像のような、画像を示すことができる。尚、ユーザーは、対話処理するとき、必ずしもテーブル９を見下ろすのではないことを注記しておく。例えば、ＨＭＤ２内に提示される画像が壁上の表示画面になるように現れるのであれば、ユーザーは壁を見ているのでもよい。つまり、図１Ｆに示す実施形態と図１Ｄの実施形態との間の相違は、深度カメラ・システムの位置である。図１Ｆの実施形態では、ＨＭＤ２は深度カメラを有する必要はない。
【００３１】
[0059]  図２は、システム１０の一実施形態を示す。システム１０は、キャプチャー・デバイス２０と、電子デバイスへのユーザー入力を可能にするために使用することができる計算システム１２を含む。この電子デバイスは、計算システム１２を含むことができるが、これでなくてもよい。一実施形態では、キャプチャー・デバイス２０は、３Ｄ画像データーをキャプチャーするように構成された深度カメラ（または深度検知カメラ）であり、３Ｄ画像データーは、深度情報と共に静止画像およびビデオを含む。深度情報は、深度値がある深度マップを含むことができる。深度カメラは、飛行時間、構造化光、ステレオ画像等を含むがこれらに限定されない種々の技法を使用することができる。一実施形態では、キャプチャー・デバイス２０は深度検知撮像センサーを含む。
【００３２】
[0060]  深度マップは、キャプチャーされた場面の二次元（２−Ｄ）画素エリアを含むことができ、２−Ｄ画素エリアにおける各画素は、カメラからキャプチャーされた場面における物体までの、例えば、センチメートル、ミリメートル等を単位とする距離というような、深度値を表すことができる。画像カメラ・コンポーネント３２は、焦点距離、主要点、レンズ歪みパラメーター等というような、カメラの本質的なパラメーターの推定値を得るように予め較正されるとよい。カメラの較正技法については、Z. Zhang, "A Flexible New Technique for Camera Calibration"（カメラ較正のための柔軟な新たな技法） IEEE Transactions on Pattern Analysis and Machine Intelligence, 22(11): 1330-1334, 2000において論じられている。この文献をここで引用したことにより、その内容が本願にも含まれるものとする。
【００３３】
[0061]  図２に示すように、キャプチャー・デバイス２０は、ＩＲ発光コンポーネント３４、三次元（３−Ｄ）カメラ３６、およびキャプチャー・エリアの深度マップをキャプチャーするために使用することができるＲＧＢカメラ３８を含むことができる。例えば、飛行時間分析では、キャプチャー・デバイス２０のＩＲ発光コンポーネント３４が、赤外線光をキャプチャー・エリアに放出することができ、次いで、例えば、３−Ｄカメラ３６および／またはＲＧＢカメラ３８を使用して、キャプチャー・エリア内にある１つ以上のターゲットおよび物体の表面からの後方散乱光を、センサーを使用して検出することができる。実施形態では、キャプチャー・デバイス２０がＩＲＣＭＯＳ撮像センサーを含んでもよい。実施形態では、パルス状赤外線光が使用され、発信光パルスと対応する入射光パルスとの間の時間を測定し、キャプチャー・デバイス２０からキャプチャー・エリア内にあるターゲットまたは物体上における特定の場所までの物理的距離を判定するために使用されてもよい。加えて、発信光波の位相を着信光波の位相と比較して、位相ずれを判定するのでもよい。次いで、この位相ずれを使用して、キャプチャー・デバイスからターゲットまたは物体上の特定の場所までの物理的距離を判定することができる。
【００３４】
[0062]  一実施形態では、飛行時間分析を使用して、例えば、散乱光パルス撮像(shuttered light pulse imaging)を含む種々の技法によって、経時的な光の反射ビームの強度を分析することによって、キャプチャー・デバイス２０からターゲットまたは物体上の特定の場所までの物理的距離を間接的に判定することができる。
【００３５】
[0063]  他の例では、キャプチャー・デバイス２０が、構造化光を使用して深度情報をキャプチャーすることもできる。このような分析では、パターン光（即ち、格子パターンまたは縞模様パターンのような既知のパターンとして表示される光）を、例えば、ＩＲ発光コンポーネント３４によって、キャプチャー・エリアに向けて投射する。キャプチャー・エリアにおいて１つ以上のターゲット（または物体）の表面に衝突したときに、パターンが、それに応答して、変形すると考えられる。このようなパターンの変形を、例えば、３Ｄカメラ３６および／またはＲＧＢカメラ３８によってキャプチャーし、分析して、キャプチャー・デバイスからターゲットまたは物体上における特定の場所までの物理的距離を判定することができる。
【００３６】
[0064]  実施形態では、２つ以上の異なるカメラが統合キャプチャー・デバイスに組み込まれてもよい。例えば、深度カメラおよびビデオ・カメラ（例えば、ＲＧＢビデオ・カメラ）が共通のキャプチャー・デバイスに組み込まれてもよい。実施形態では、２つ以上の別個のキャプチャー・デバイスを協働するように使用することもできる。例えば、深度カメラおよび別個のビデオ・カメラを使用するのでもよい。ビデオ・カメラが使用されると、ターゲット追跡データー、ターゲット追跡の誤差補正用確認データー、画像キャプチャー、身体部分認識、指（または他の小さい身体部分(feature)）の高精度追跡、光検知、および／または他の機能を設けるために使用することができる。
【００３７】
[0065]  一実施形態では、キャプチャー・デバイス２０は、２つ以上の物理的に分離されたカメラを含むこともでき、これらのカメラは、異なる角度からキャプチャー・エリアを捕らえて、視覚的ステレオ・データーを得ることができ、この視覚的ステレオ・データーを解明して深度情報を生成することができる。また、複数の検出器を使用して画像を取り込み、視差計算を実行することによって深度を判定することもできる。検出器は、白黒、赤外線、ＲＧＢ、または他のいずれのタイプの検出器でもよい。他のタイプの深度撮像センサーも、深度画像を形成するために使用することができる。
【００３８】
[0066]  図２に示すように、キャプチャー・デバイス２０はマイクロフォン４０を含むことができる。マイクロフォン４０は、音を受けて電気信号に変換する変換器またはセンサーを含むことができる。一実施形態では、マイクロフォン４０は、ターゲット検出および追跡システム１０におけるキャプチャー・デバイス２０と計算システム１２との間のフィードバックを減らす(reduce)ために使用することができる。加えて、マイクロフォン４０は、ユーザー入力をコンピューター・システム１２に供給するために同様にユーザーによって供給することができるオーディオ信号を受けるために使用することもできる。例えば、ユーザーがタッチ・インターフェースを使用して何らかのコマンドを入力した後、システム１２が、オーディオ入力を供給することによってコマンドを検証するようにユーザーを促すのでもよい。
【００３９】
[0067]  キャプチャー・デバイス２０は、撮像カメラ・コンポーネント２２と通信するロジック４２を含むことができる。ロジック４２は、命令を実行することができる、標準プロセッサー、特殊プロセッサー、マイクロプロセッサー等を含むことができる。また、ロジック４２は、ＡＳＩＣ、電子回路、論理ゲート等のようなハードウェアも含むことができる。ロジック４２がプロセッサーである場合、プロセッサー４２は、深度マップを判定する命令、および手のようなターゲットが深度マップ内にあるか否か判定する命令を含む命令を実行することができる。尚、計算システム１２が、タッチ・インターフェースによってユーザー入力を可能にする１つ以上のステップを実行するために別個のプロセッサーを有してもよいことを注記しておく。実施形態では、深度カメラにおけるロジック４２は、深度画像の初期処理を実行し、コンピューター・システム１２におけるプロセッサーは、それよりも高いレベルの機能を実行する。尚、キャプチャー・デバイス２０におけるロジックとコンピューター・システム１２におけるプロセッサーとの間における作業(labor)の分割は、任意のやり方で分割されればよいことを注記しておく。
【００４０】
[0068]  図２に示すように、キャプチャー・デバイス２０は、プロセッサー４２によって実行することができる命令、３−ＤカメラまたはＲＧＢカメラによってキャプチャーされた画像または画像のフレーム、ユーザー・プロファイルまたは他のあらゆる適した情報、画像等を格納することができるメモリー・コンポーネント４４を含むことができる。一例では、メモリー・コンポーネント４４は、ランダム・アクセス・メモリー（ＲＡＭ）、リード・オンリー・メモリー（ＲＯＭ）、キャッシュ、フラッシュ・メモリー、ハード・ディスク、または他のあらゆる適した記憶コンポーネントを含むこともできる。メモリー・コンポーネント４４は、コンピューター記憶媒体またはコンピューター記憶デバイスと呼ぶこともできる。図２に示すように、メモリー・コンポーネント４４は、画像キャプチャー・コンポーネント３４およびプロセッサー４２と通信する別個のコンポーネントであってもよい。他の実施形態では、メモリー・コンポーネント４４がプロセッサー４２および／または画像キャプチャー・コンポーネント３４に統合されてもよい。一実施形態では、図２に示すキャプチャー・デバイス２０のコンポーネント３４、３６、３８、４０、４２、および４４の一部または全部が、１つの筐体内に収容される。
【００４１】
[0069]  図２に示すように、キャプチャー・デバイス２０は、通信リンク４６を通じて計算システム１２と通信することができる。通信リンク４６は、例えば、ＵＳＢ接続、FireWire接続、イーサネット(登録商標)・ケーブル接続等を含む有線接続、および／またはワイヤレス８０２．１１ｂ、ｇ、ａ、またはｎ接続というようなワイヤレス接続とすることができる。計算システム１２は、クロックをキャプチャー・デバイス２０に供給することができ、このクロックは、例えば、通信リンク４６を通じて場面をいつキャプチャーするか決定するときに使用することができる。
【００４２】
[0070]  一実施形態では、キャプチャー・デバイス２０は、例えば、３Ｄカメラ３６および／またはＲＧＢカメラ３８によってキャプチャーされた画像を計算システム１２に通信リンク４６を介して供給することができる。次いで、計算システム１２は、深度情報およびキャプチャーされた画像を使用して、例えば、仮想画面を作成し、ユーザー・インターフェースを適合させ、そしてゲームまたはワード・プロセッサーというようなアプリケーションを制御することができる。
【００４３】
[0071]  図２に示すように、計算システム１２は、ＵＩコマンド・ライブラリー１９２、構造データー１９８、ユーザー入力エンジン１９０、深度マップ処理およびオブジェクト報告モジュール１９４、ならびにオペレーティング・システム１９６を含む。深度マップ処理およびオブジェクト報告モジュール１９４は、深度マップを使用して、ユーザーまたは他の物体のような、物体の動き(motion)を追跡する。物体の追跡を補助するために、深度マップ処理およびオブジェクト報告モジュール１９４は、ＵＩコマンド１９０、構造データー１９８、およびユーザー入力エンジン１９０を使用する。実施形態では、深度マップ処理およびオブジェクト報告モジュール１９４が、物体を識別するために、クラシファイア(classifier)１９５およびフィーチャー・ライブラリー(feature library)１９９を使用する場合もある。
【００４４】
[0072]  一例では、構造データー１９８は、追跡されるかもしれない物体についての構造情報を含む。例えば、ユーザーの動きを理解し身体部分を認識するのを助けるために、人の骨格モデルが格納されるのでもよい。一実施形態では、ユーザーの手および指が認識されるのでもよい。骨格モデルは、右手を左手から区別することを可能にし、更に１本の指を他の指から区別することも可能にすることもある。他の例では、プロップ(prop)のような不動物体についての構造的情報も格納すると、これらの物体を認識するのに役立ち、動きを理解するのに役立つことができる。一例として、ペンおよび鉛筆のようなユーザー入力のために使用することもあり得るプロップを認識することもできる。
【００４５】
[0073]  一例では、ＵＩコマンド・ライブラリー１９２は、ユーザー入力コマンドの集合体を含むことができる。これらのコマンドは、どの手／指がその動き(motion)を行っているかだけでなく、ユーザーの種々の動き(motion)にも関与することができる。つまり、ＵＩコマンド・ライブラリー１９２は、一実施形態では、特定の身体部分をコマンドにリンクする(link)のに役立つ情報を有する。例えば、ＵＩコマンド・ライブラリー１９２は、キャプチャー・デバイス２０によって骨格モデルの形態でキャプチャーされたデーター、およびそれに伴う動き(movement)を、ＵＩコマンド・ライブラリー１９２におけるフィルターと比較して、いつユーザー（骨格モデルによって表される）が１つ以上のコマンドを実行したか特定することができる。これらのコマンドは、アプリケーションの種々の制御と関連付けられてもよい。
【００４６】
[0074]  図３は、３Ｄ画像データーに基づいて、ディスプレイ９６に関連する電子デバイスへのユーザー入力を受けるプロセス３００の一実施形態のフローチャートである。電子デバイスの例には、デスクトップ・コンピューター・システムおよびＨＭＤ２が含まれる。プロセス３００は、一例として、テーブル９に接触することによってまたはテーブル９の上方でホバリングすることによって、ユーザーに入力を供給されるために使用することもできる。プロセス３００は、デスクトップ・コンピューター、ＨＭＤ２、または他の電子デバイスを含むことができる計算システム１２によって実行することができる。
【００４７】
[0075]  ステップ３０２において、表面に対する物体の３Ｄ位置を判定する。この物体は、ユーザーの手であってもよい。多くの場合、表面は水平面であろうが、必須ではない。いずれの表面でも使用することができる。例えば、表面が垂直面、または任意の対角面であることもできる。更に、表面が平面である必要もない。例えば、表面に波打ちがあっても可能である。表面は、半球というような、他の何らかの幾何学的形状を有することもできる。
【００４８】
[0076]  ステップ３０２は、タッチ領域へのユーザーの手の投射を判定することを含むのでもよい。例えば、タッチ領域１１は、ｘ−ｙ平面内に定められればよく、タッチ領域１１に対するユーザーの手のｘ−ｙ位置を判定する。また、ステップ３０２は、ユーザーの手がタッチ領域１１からどの位離れているか判定することも含んでもよい。例えば、本システムは、タッチ領域１１の面からユーザーの手がどの位離れているか判定する。タッチ領域１１が水平面である場合、本システムは、手がタッチ領域１１の上にどの位離れているか判定する。注記したように、タッチ領域１１は水平面である必要はない。つまり、タッチ領域１１からの距離は、垂直距離、または他のいずれの方位でも可能である。一実施形態では、少なくとも１つの平面がタッチ領域１１に対して定められ、この平面からの距離は、この平面に対して垂直な線によって決定される。一実施形態では、タッチ領域１１は、キャプチャー・デバイス２０からの深度画像の画素と関連付けられる。この場合、平面方程式(plane equation)をこれらの画素の各々について定めることができる。このように、タッチ領域１１を多くの平面と関連付けることもできる。
【００４９】
[0077]  ステップ３０４において、ユーザーの手の３Ｄ位置に基づいて、ユーザー入力エレメント１８を、電子デバイスに関連するディスプレイ９６上にレンダリングする。これは、ディスプレイ９６の該当するｘ−ｙ位置において、ユーザーの手の透過表現をレンダリングすることを含むのでもよい。また、タッチ領域１１を有する表面からのユーザーの手までの距離を使用して、ユーザーが接触ゾーンにいるのか、ホバリング・ゾーンにいるのか、またはもっと離れているのか判断することもできる。この情報は、ユーザーが接触ゾーンにいるのか、ホバリング・ゾーンにいるのか、またはもっと離れているのか図示するようなやり方で、ユーザー入力エレメント１８をレンダリングするために使用することもできる。
【００５０】
[0078]  ステップ３０６において、タッチ領域１１に対するユーザーの手の３Ｄ位置に基づいて、電子デバイスに対するユーザー入力を受ける。ユーザーが、タッチ領域１１を有する表面にタッチしているかまたは殆どタッチしている場合、この入力はディスプレイ９６上におけるあるエレメントの選択であるかもしれない。ユーザーが表面から多少離れてホバリングしている場合、その入力はホバリング・イベントまたはフォーカス・イベントのためであるかもしれない。ホバリング・イベントの一例は、ディスプレイ９６上のあるエレメントについて追加情報を提示することである。例えば、ユーザーがディスプレイ９６上の電話番号の上方でホバリングしている場合、このホバリング・イベントが行われたなら、その番号をダイアルする、逆引き参照を実行する、その人に電子メールを送る（電子メール・アドレスが分かっている場合）等を含む、選択肢のメニューを提示するためである可能性がある。
【００５１】
[0079]  図４Ａは、タッチ流域１１に対するユーザーの手の位置を判定するプロセス４００の一実施形態のフローチャートである。プロセス４００は、ステップ３０２の一実施形態である。ステップ４０２において、タッチ領域１１を判定する。一実施形態では、ステップ４０２は、図４の他のステップの前に実行することができる較正期間中に実行される。例えば、背景を判定するときに、ステップ４０２を使用してもよい。一実施形態では、いくらか連続的にタッチ領域１１を判定する。つまり、キャプチャー・デバイス２０が押しのけられた(jostle)場合、タッチ領域１１の位置を定めるデーターに対してしかるべき調節を行い、ユーザーに対して実際のタッチ領域１１を適所に維持しつつ、この押しのけを補償することができる。
【００５２】
[0080]  ステップ４０４において、ユーザーの手を識別する。一実施形態では、ステップ４０４は、較正期間が終了した後に実行される。つまり、ステップ４０４は、ステップ４０２とは異なる１組の画像データーを使用することができる。しかしながら、一実施形態では、ステップ４０２および４０４は、同じ１組の画像データーを使用して実行される。注記したように、タッチ領域１１はいくらか連続的に判定されてもよく、この場合、タッチ領域を判定するため、および手を識別するために同じ画像データーを使用することができる。
【００５３】
[0081]  ステップ４０６において、タッチ領域１１に対するユーザーの手の位置を判定する。ステップ４０６は、ユーザーの手が接触ゾーン内にあるのか、ホバリング・ゾーン内にあるのか、または更に遠くにあるのか判定することを含むとよい。また、ステップ４０６は、タッチ領域１１の平面のどの部分に手が投射するか判定することを含むとよい。
【００５４】
[0082]  図４Ｂは、プロセス４００のステップ４０６の間に実行することができる、ユーザーの手のタッチ領域１１に対するマッピングを示す図である。ユーザーの手８が、タッチ領域１１の上に描かれている。論述のために、タッチ領域１１はｘ−ｙ平面内にあり、ｚ−軸はこの平面に対して垂直であるとする。尚、タッチ領域１１内の全ての点が同じ平面内にある必要はないことを注記しておく。図４Ｂは、接触ゾーン４５を示す。接触ゾーン４５は、タッチ領域１１のｘ−ｙ平面から遠ざかるようにｚ−方向に広がる。ホバリング・ゾーン４７は、接触ゾーン４５の外側の領域に広がり、タッチ領域１１から遠ざかるようにｚ−軸に沿って広がる。尚、手８がホバリング・ゾーン４７の外側にあっても（例えば、ｚ−軸に沿って更に離れても）、手８はキャプチャー・システム２０によって検出できることに変わりはないことを注記しておく。また、図４Ｂは、タッチ領域１１のｘ−ｙ面上へのユーザーの手８の投射も示す。
【００５５】
[0083]  図４Ａおよび図４Ｂ、ならびに本明細書において論じられる他の例は、ユーザーの手が識別されタッチ領域１１にマッピングされる例に言及するが、他の物体もユーザー入力のために使用してもよいことは言うまでもない。また、物体が特定のタイプの物体であるとして疑いなく識別される必要はないことも注記しておく。例えば、物体が手であると識別される必要はない。しかしながら、実施形態では、物体認識が使用される場合もある。
【００５６】
[0084]  図５Ａは、タッチ領域１１を判定するプロセス５００の一実施形態のフローチャートである。プロセス５００は、ステップ４０２の一実施形態の詳細を示す。プロセス５００では、ユーザーの手を識別する前における較正期間中に、タッチ領域１１を判定することができる。ステップ５０２において、３Ｄ画像をキャプチャーする。この３Ｄ画像は、深度画素のアレイを含むことができる。論述のために、このアレイを（ｕ，ｖ）アレイと呼ぶことにする。つまり、各深度画素は、一実施形態では、（ｕ，ｖ）座標と関連付けられる。一実施形態では、各画素は深度値を有する。この時点では、深度値は、カメラからの距離に関するのでよい。つまり、これらの深度値はテーブル９からの距離ではないことを注記しておく。
【００５７】
[0085]  ステップ５０４において、３Ｄ画像に基づいて表面の平面を判定する。一実施形態では、最初に深度値を分析して、表面であると思われる画素を探す。同様の深度値を有する近隣画素のグループは１つの目印である。可能な表面が１つよりも多い場合、表面サイズ、傾斜、およびキャプチャー・デバイス２０からの距離というような要素を使用すればよい。
【００５８】
[0086]  一実施形態では、平面方程式を深度画像内の画素毎に決定する。所与の画素に対する平面方程式は、近隣画素に対する深度値を分析することによって決定することができる。画素毎に、その３Ｄ位置およびその位置からの法線に基づいて、平面方程式を定めることができる。法線は、前述した近隣画素の位置の分析によって判定すればよい。つまり、ステップ５０４は、一実施形態では、３Ｄ画像における画素毎に平面方程式を決定することを含む。３Ｄ画像における各画素には一意の（ｕ，ｖ）座標を関連付けることができるので、ステップ５０４では種々の（ｕ，ｖ）座標に対して平面方程式を決定する。
【００５９】
[0087]  図５Ｂは、平面方程式を決定する一実施形態の詳細を示す。ステップ５０２において論じたように、深度画像を生成するために深度カメラ２０を使用する。図５Ｂに示す（ｘ，ｙ，ｚ）座標系は、タッチ領域１１が定められるｘ−ｙ平面についてである。つまり、深度カメラ２０によって生成される深度画像は、通例、異なる座標系を有することを注記しておく。また、（ｘ，ｙ，ｚ）座標系を参照するのは、論述を容易にするためであることも注記しておく。タッチ領域１１は、１つよりも多い平面によって定められてもよい。
【００６０】
[0088]  先に注記したように、深度画像の画素は、（ｕ，ｖ）座標および深度値に関して定めることができる。つまり、深度値における各画素には、何らかの座標系に関して、３Ｄ位置を割り当てることができる（必ずしも図５Ｂにおけるｘ，ｙ，ｚ系とは限らない）。画素５０１の内、その３Ｄ位置がタッチ領域１１上に来るいくつかが、タッチ領域１１の平面内におけるドットとして表される。図を曖昧にしないように、数個の画素５０１のみを図示する。法線５０２が深度画素５０２の１つから引かれる。所与の画素に対する法線５０２は、その画素５０１およびその近隣のいくつかによって定められる平面に対して垂直な線である。画素５０１およびその近隣間の外積を使用して、法線５０２を決定することができる。つまり、深度画素５０１についての平面方程式は、その深度画素の３Ｄ座標および法線５０２として定めることができる。
【００６１】
[0089]  ステップ５０６において、タッチ領域１１を判定する。タッチ領域１１は、ディスプレイ９６とほぼ同じ形状を有する、クアッド形状領域(quad shaped region)として定めることができる。クアッドは、ディスプレイ９６よりも大きいサイズ、小さいサイズ、または同じサイズであることができる。尚、タッチ領域１１がディスプレイ９６と同じ形状である必要はない。また、先に注記したように、２つの別個のタッチ領域１１がある場合もある。各領域は、表示画面９６全体を制御するために使用することができる。あるいは、各タッチ領域１１がディスプレイ９６の別個の部分を制御することもできる。
【００６２】
[0090]  図５Ｂにおいて、このｘ−ｙ座標を、ディスプレイ９６に関連するｘ−ｙ座標系に相関付けることもできる。ディスプレイ９６のｘ−ｙ座標系を解像度（例えば、１２８０×８００、１２８０×９６０、１２８０×７２０、１０２４×７６８等）に相関付けることもできる。解像度のようなディスプレイ・パラメーターは調節可能であると考えられるので、タッチ領域１１とディスプレイ９６との間のマッピングは、ディスプレイ・パラメーターの変化に応答して変化してもよい。
【００６３】
[0091]  一実施形態では、較正期間中にタッチ領域１１を判定するのではなく、タッチ領域１１をいくらか連続的に判定する。図５Ｃは、任意の時点においてタッチ領域１１を定めるプロセス５２０の一実施形態のフローチャートである。プロセス５２０は、ステップ４０２の一実施形態である。タッチ領域１１は、新しい３Ｄ画像フレーム毎に、または他の何らかの頻度で判定することができる。ステップ５２２において、３Ｄ画像フレームにアクセスする。この３Ｄ画像に対して深度クラウド・モデルを生成することができる。深度クラウド・モデルについては、以下で更に詳しく論ずる。端的に言うと、深度クラウド・モデルは、深度画像における画素毎に３Ｄ座標を判定することによって形成することができる。
【００６４】
[0092]  ステップ５２４において、３Ｄ画像における３つのランダム点について平面方程式を決定する。この平面方程式は、３つの点の位置に基づいて外積を求めることによって決定することができる。これらの３つの点が、テーブル９の実際の表面上にあることにはならない場合もあるので、この平面方程式が必ずしも最後に使用されるとは限らない。
【００６５】
[0093]  ステップ５２６において、この平面方程式をバケットに入れる。互いに一致する（または少なくとも一致に近い）平面を表す平面方程式を同じバケットに入れてもよい。所望の点全てを分析するまで、ステップ５２４および５２６を３つのランダム点の他の１組に対して繰り返す（ステップ５２７）。テーブル９の平面は、かなり素早く判定することができる。尚、ユーザーが彼らの手をテーブル９の上方に持ってきても、この技法はテーブル９の平面を発見できることを注記しておく。このように、テーブル９に対するユーザーの手の位置を判定するためにも、画像データーを使用できることを注記しておく。
【００６６】
[0094]  ステップ５２８において、タッチ領域１１を定める。一実施形態では、バケットの内１つに入れられることになった３つのランダム点のグループ全てが、タッチ領域１１を有する平面上にあると判定する。このバケットは、一実施形態では、これらの点の殆どを有するものとして識別することができる。
【００６７】
[0095]  図５Ｄは、３つのランダム点のグループに基づいて、タッチ領域１１を判定する一実施形態の一例を示す。２組の３つのランダム点が、各組に対する法線５０２と共に示されている。プロセス５２０の間、多数の組の３つのランダム点が、ほぼ同じ平面に該当するはずである。そうでない組は、最終的に破棄される。タッチ領域１１は、判定した平面内にある何らかのクアッドとして定めることができる。
【００６８】
[0096]  図６Ａは、ユーザーの手、およびタッチ領域１１に対するこの手の相対的位置を識別するプロセス６００の一実施形態のフローチャートである。プロセス６００は、図４Ａからのステップ４０４および４０６の一実施形態である。
【００６９】
[0097]  ステップ６０２において、キャプチャー・デバイス２０によって画像データーをキャプチャーする。一実施形態では、タッチ領域１１が識別された後にプロセス６００を実行する。つまり、プロセス６００の間に使用される画像データーは、タッチ領域１１を判定するために使用される画像データーの後に収集することができる。また、タッチ領域１１が判定されているので、この領域（およびテーブルのような表面の他の部分）を背景として分類することもできる。一実施形態では、タッチ領域１１およびユーザーの手を判定するために、同じ画像データーを使用する。プロセス５００は、ステップ６０２の前に、タッチ領域１１を識別するために使用することができる。一実施形態では、タッチ領域１１を識別するために使用する同じ画像データーを、プロセス６０において使用する。プロセス５２０は、プロセス６００において使用されたのと同じ画像データーを使用して、タッチ領域１１を識別するために使用することができる。
【００７０】
[0098]  ステップ６０４において、表面（例えば、テーブル９）からの距離に基づいて、深度画像における深度画素を異なるバケットに入れる。一実施形態では、背景画素、タッチ画素、およびホバリング画素のためのバケットがある。背景画素は、表面上にあると考えられる全ての画素であってよい。タッチ画素は、全てが実際に表面上にあるのではなく、表面から一定の距離以内にあればよい。例えば、タッチ画素は、表面上ではなく、表面から約５ｍｍ以内にあるものとしてもよい。ホバリング画素は、タッチ画素よりも表面から離れているが、なおも何らかの既定範囲内にあるものでよい。例えば、ホバリング画素は、表面から５ｍｍよりも離れているが、６ｃｍ未満にあるものとしてもよい。
【００７１】
[0099]  本明細書において注記したように、深度画像における各画素には、一実施形態では、一意の（ｕ，ｖ）座標と関連付けられる。深度画像からの各深度画素は、当該（ｕ，ｖ）座標に対して既に決定された平面方程式を参照することによって処理することができる。この平面方程式および深度画素からの距離に基づいて、平面を判定することができる。このように、実際には、各深度画素には、表面までの距離が割り当てられる。
【００７２】
[00100]  図６Ｂは、深度画素をバケットに入れることによって形成される距離マップの一例６７０を示す。距離マップ６７０における各画素は、背景バケット６７２、接触バケット６７４、またはホバリング・バケット６７６のいずれかに入れられる。ユーザーの左手は、殆どホバリング・ゾーン４７内にある。したがって、左手の深度画素は、殆どホバリング・バケット６７６に入れられる。ユーザーの右手の多くはホバリング・ゾーン４７内にある。しかしながら、指先のいくつかは接触ゾーン４５内にある。したがって、右手の深度画素の多くはホバリング・バケット６７２に入れられる。しかしながら、一部は接触バケット６７４に入れられる。表面上のいずれかの場所にも、接触ゾーン４５内にあると判定される画素のいくつかのランダムなグループがあり、このため、これらは少なくとも当面は接触バケット６７４に入れられる。深度画像における画素の殆どは、図６Ｂの例では、背景バケット６７２に入れられる。
【００７３】
[00101]  図６Ａのステップ６０６において、３Ｄ画像データーにおいて候補「ブロブ」(blob)を検出する。「ブロブ」とは、その位置および深度値に基づいて、同じ物体の一部であると思われる画素のグループと定めることができる。一実施形態では、第１背景画素を識別する。つまり、ステップ６０６では、前景にある画素だけを分析すればよい（前景は、背景よりも深度カメラに近いあらゆるものとすればよい）。一実施形態では、ステップ６０６において、一連の塗りつぶし(flood fill)を実行する。
【００７４】
[00102]  多数の候補ブロブを識別した後、続くステップにおいて各ブロブを順番に処理することができる。ステップ６０８は、他にも処理するブロブがあるか否か判定するための検査である。ステップ６１０において、現在の候補ブロブを篩にかけて、それが腕、手、指等のような関心のある物体か否か判断する。例えば、ブロブが大きすぎるまたは小さすぎる場合、それを拒否すればよい。ブロブが大きすぎる場合、これは無効フレームを示すかもしれず、その場合このフレームを破棄すればよい。小さすぎるブロブは、ランダム・ノイズを示すかもしれず、これらは無視すればよい。ブロブに余りに多くの孔があって対象にならない場合、拒否すればよい。ブロブを拒否した場合（ステップ６１２）、処理は次にステップ６０８に戻る。
【００７５】
[00103]  ブロブが拒否されない場合、それを他のステップにおいて処理する。一実施形態では、手を含むと判定されたブロブを処理する（ステップ６１２参照）。しかしながら、他の判断基準を使用することもできる。篩にかけることが身体部分のためである必要はない。１つの代案として、ユーザーがユーザー入力を供給するために何らかの物体を使用してもよい。ペン、鉛筆等のような、任意の物体を使用することができる。
【００７６】
[00104]  一実施形態では、更に分析すべきブロブに、ポイント・クラウド・モデル(point cloud model)を形成する(develop)。しかしながら、もっと早い時期にポイント・クラウド・モデルを決定できることを注記しておく。ポイント・クラウド・モデルは、深度画像内にある各深度画素に３Ｄ空間における座標を割り当てる３Ｄモデルとすることができる。ポイント・クラウドは、深度画像における深度画素毎に１つの点を有することができるが、これは絶対に必要なことではない。一実施形態では、ポイント・クラウドにおける各点は立体画素(volumetric pixel)即ちボクセルである。論述を容易にするために、ポイント・クラウドにおける各ボクセルが、深度画像において対応する深度画素を有すると仮定する。しかしながら、この１対１の対応は必須ではないことを注記しておく。
【００７７】
[00105]  図６Ｃは、腕の手および一部のポイント・クラウド・モデル６０５を示す。ポイント・クラウド・モデル６０５は、（ａ，ｂ，ｃ）座標系内部に描かれる。つまり、座標系のａ-軸、ｂ−軸、およびｃ−軸が描かれる。実施形態では、この座標系における軸の内２本が、深度画像のｕ-軸およびｖ−軸に対応するものもある。しかしながら、この対応は必要なことではない。グローバル座標系における第３軸に沿った位置は、深度マップにおける深度画素に対する深度値に基づいて決定することができる。尚、ポイント・クラウド・モデル６０５が他のやり方で生成されてもよいことを注記しておく。
【００７８】
[00106]  図６Ａのステップ６１４において、本システムは、ユーザーの手の少なくとも一部が接触ゾーン４５内部にあると判定する。一実施形態では、本システムは、ブロブの一部が接触ゾーン４５内部にあるか否か判定することができる。一実施形態では、本システムは複数の指先を追跡して、１つの指先が接触ゾーン４５内にあるか否か判定する。更なる詳細については、以下で論ずる。
【００７９】
[00107]  手の一部が接触ゾーン４５内部にある場合、一実施形態では、ステップ６１６においてタッチ・イベントを生成する。ステップ６１６は、指先が接触していること、またはエレメントを選択していることをユーザーに示すように、指先をレンダリングすることを含めばよい。また、ステップ６１６は、電子デバイスへの入力として選択を受けることを含むこともできる。更なる詳細については、以下で論ずる。ステップ６１４または６１６の後に、処理はステップ６１８に進む。
【００８０】
[00108]  ステップ６１８において、手がホバリング・ゾーン４７内部にあるか否か判定を行う。ホバリング・ゾーン４７は、タッチ領域１１の表面から一定の距離以内にあると定められるとよい。手がホバリング・ゾーン４７内部にある場合、一実施形態では、ステップ６２０においてホバリング・イベントを生成する。ステップ６２０は、手がホバリング・ゾーン内にあることをユーザーに示すように、ホバリング・ゾーン内にある手の部分をレンダリングすることを含めばよい。また、ホバリング・イベントは、電子デバイスに対するユーザー入力であってもよい。先に注記したように、ホバリングするユーザーは、ディスプレイ上のあるエレメントに対する興味またはフォーカスがあるが、コミットではないことを示すことができる。更なる詳細については、以下で論ずる。ステップ６１８または６２０の後、処理はステップ６２２に進む。
【００８１】
[00109]  手が接触ゾーン４５にもホバリング・ゾーン４７にも入っていない場合、ステップ６２２において、手が接触ゾーンおよびホバリング・ゾーンの外側にあることを注意する。ユーザーの手が接触ゾーン４５およびホバリング・ゾーン４７の外側にあってもその位置を示し、ディスプレイ９６上にフィードバックを提示することができるように、この情報を注記する。次いで、プロセス６００はステップ６０８に戻り、他にも処理すべきブロブがあるか否か判定することができる。
【００８２】
[00110]  図６Ｄは、指先を追跡するプロセス６８０の一実施形態のフローチャートを示す。指先の追跡は、接触ゾーン４５内部にブロブがあると判定したときに実行することができる。プロセス６８０は、プロセス６００のステップ６１４において、手の一部が接触ゾーン４５内にあると判定されたときに実行することができる。ステップ６８２において、タッチ領域１１とタッチしている手の部分を検出する。一実施形態では、ステップ６８２において、タッチ・ブロブを検出する。一実施形態では、接触ゾーン４５内にある指先ブロブを識別するために、一連の塗りつぶしを実行する。これらの塗りつぶしは、一実施形態では、手／腕ブロブの一部であると識別された画素のみに作用する。これによって、ユーザーの手に関連しないランダム画素が誤ってタッチ点であると識別されることを防ぐ。再度図６Ｂを参照すると、距離マップ６７０において接触ゾーン・バケット６７４に入れられ、手の一部である画素のみが、タッチ点であると識別される。
【００８３】
[00111]  一実施形態では、これらのタッチ・ブロブの各々が、特定の指および手であると識別される。例えば、所与のタッチ・ブロブが、右人差し指の一部であると識別されるのでもよい。この情報は、後に、どの指および／または手が使用されているかに左右される入力をユーザーに入力させるために使用することができる。しかしながら、特定の指／手の識別は他のいずれの時点において実行してもよいことを注記しておく。
【００８４】
[00112]  ブロブが接触ゾーン４５内部にあるか否か判定するとき、処理はボクセル毎に進むことができる。つまり、ステップ６８２では、ポイント・クラウド６０５において、ブロブを表す点が接触ゾーン４５内部にあるか否か判定することができる。
【００８５】
[00113]  一実施形態では、ステップ６８２は一度に１つの画像フレームを分析する。ステップ６８２は、新たな画像フレーム毎に繰り返すことができる。ステップ６８４において、指先ブロブを経時的に追跡する。つまり、ステップ６８４は、多くの異なる画像フレームを処理する。ステップ６８４は、指先ブロブを１フレームずつ照合することを含むのでもよい。尚、前述のように、指先ブロブ毎に特定の手／指を識別することは必須ではないことを注記しておく。一実施形態では、エネルギー最小化を使用して、指先ブロブを現在のフレームから１つ以上前のフレームに照合する。
【００８６】
[00114]  ステップ６８６において、指先ブロブの追跡に基づいて、ユーザー入力を判定する。一実施形態では、１つ以上の指先のタッチ領域１１におけるｘ−ｙ座標を経時的に追跡する。一実施形態では、タッチ領域１１において動いている指先の数が、ユーザー入力のタイプを決定する。例えば、１本の指が動いている場合、ユーザーがディスプレイ９６上においてあるエレメントを動かしたいことを示すのでもよい。２本の指が同時に動かされている場合、これは、ユーザーが拡大(zoom in)または縮小(zoom out)したいことを示すのでもよい。あるタイプのズーミングは、レンダリングされているもののサイズを変更するためにある。例えば、ユーザーがマップを拡大または縮小することを望むこともある。他のタイプのズーミングは、ディレクトリーにおけるもっと高いレベルまたは低いレベルに移動させるためにある。例えば、ユーザーが彼らの指を広げて、次のディレクトリーにあるファイルまたは他の情報を見たいことを示すこともできる。他の例として、彼らの指を離れるように動かすことは、フォルダーを開いてその内容を明示することを伝えるために使用することができる。指を一緒に動かすと、フォルダーを閉じること、またはユーザーが階層において１レベル上げる（または戻る）ことを望むことを示すことができる。
【００８７】
[00115]  一実施形態では、ユーザー入力は、どの手および／または指を彼らが使用しているかによって異なる。尚、従来のタッチ・インターフェースとは異なり、実施形態のタッチ・インターフェースは、どの手および指をユーザーが使用しているか判定することもできる。例えば、ユーザーは（いずれかの手の）親指および指を互いに狭める場合もあり、更に一方の手の指を他方の手の指に向けて狭める場合もある。従来のタッチ・インターフェースでは、これらのアクションを区別できないものもある。しかしながら、一実施形態では、異なるユーザー入力が、これら２つの異なるユーザー・アクションに割り当てられる。どの手および／または指が使用されているかに左右されるユーザー入力に備える(provide for)ために、多くの他の可能性が存在する。
【００８８】
[00116]  １つのタイプのユーザー入力は、ディスプレイ９６上に提示されたエレメントの選択である。この選択は、ユーザーが単にそのエレメントにタッチすることによって示すことができる。これが選択であると見なされるためにはユーザーがどの位の間そのエレメントにタッチしなければならないか定めるパラメーターも可能である。また、この選択は、ユーザーが１回以上タップすることによって示すこともできる。例えば、ユーザーはあるエレメントを選択するためには、単にそれをタップだけで可能である。あるいは、この選択は二重タップによって示すこともできる。多くの他のタイプの入力も使用することができる。
【００８９】
[00117]  尚、図６Ｄは、指先ブロブが追跡される例について説明したことを注記しておく。しかしながら、他の物体を追跡することもできる。注記したように、タッチ入力を供給するために身体部分を使用することは必須ではない。例えば、ユーザーが、ペンのような物体を使用して、タッチ領域１１と対話処理するのでもよい。この例では、接触ゾーン内にあるペンの部分を経時的に追跡して、ユーザー入力を判定することができる。
【００９０】
[00118]  図７は、ユーザー入力エレメント１８および影２１をレンダリングするプロセス７００の一実施形態のフローチャートである。ステップ７０２において、手のポイント・クラウド・モデル６０５にアクセスする。一実施形態では、ポイント・クラウド・モデル６０５における各画素の深度値に基づいて、更に他のレンダリング・ステップによって図１Ｃの例のような画像を生成することができるように、各画素を処理する。図１Ｃの例において論じたように、ユーザー入力エレメント１８は、透過性の内部１３、およびエッジ１５、１７を有することができる。エッジの一部は、これがタッチ点１５であることをユーザーに示すために、強調表示することができる。
【００９１】
[00119]  ステップ７０４において、ユーザー入力エレメント１８をレンダリングするためにデーターを生成する。ステップ７０４は、１つ以上のブレンディング(blending)、陰影付け(shading)、および他のグラフィクス処理ステップを含むことができる。一実施形態では、ポイント・クラウド・モデル６０５における各画素は、円または球として表され、その直径が当該画素のタッチ領域１１からの距離に依存する。一実施形態では、円がタッチ領域１１から遠ざかる程、円の直径は大きくなる。手がタッチ領域１１から離れる程円を大きくすることにより、一実施形態では、下地の画像が一層ぼける結果となる。これによって、ユーザーがタッチ領域１１と対話処理することから増々離れていくことの視覚的合図をユーザーに供給する。
【００９２】
[00120]  一実施形態では、ステップ７０４の処理は、円が合体される(blend)ように、合体動作を実行する。これによって、内側部分１３およびエッジ１５、１７が異なる明るさレベルを有する中間画像を生成する。つまり、透過性の内部１３を容易に識別して、どの領域が、歪みのような、内側部分１３に関連する種々の効果を有するか判定することができる。また、タッチ・エッジ１５を強調表示としてレンダリングするためのデーターを生成することができるように、タッチ・エッジ１５を容易に識別することができる。一実施形態では、中間画像をシェーダー(shader)に入力する。
【００９３】
[00121]  ステップ７０６において、ユーザー入力エレメント１８に対する影２１ａ、２１ｂを生成する。一実施形態では、２つの擬似光源に基づいてこれらの影を定める。これらの擬似光源は、タッチ領域１１におけるユーザーの手の影を表すためのデーターを生成するために使用することができる。一例として、擬似光源は、タッチ領域１１に対して約４５度の角度にあるとよい。先に注記したように、ポイント・クラウド・モデル６０５における各画素は、円または同様のオブジェクトとして表すことができる。一実施形態では、光源は、これらの円を通過して、タッチ領域１１の平面上に投射され、影２１ａ、２１ｂのデーターを生成する。
【００９４】
[00122]  ステップ７０８において、ユーザー入力エレメント１８および影２１ａ、２１ｂを、ディスプレイ９６上の該当する位置にレンダリングする。尚、ステップ７０８が、タッチ領域１１のｘ−ｙ座標系をディスプレイ９６のｘ−ｙ座標に相関付けることを含んでもよいことを注記しておく。ディスプレイ９６のｘ−ｙ座標は、ディスプレイの解像度（例えば、１２８０×６００等）に基づいて定義することができる。入力物体１８および影２１ａ、２１ｂの双方のレンダリングは、これらの物体を表すデーターを、ディスプレイ９６上にレンダリングされているものは何でも表すデーターと混ぜることを含むのでもよい。
【００９５】
[00123]  注記したように、ディスプレイ９６はＨＭＤ２と関連付けられてもよい。以下に、ＨＭＤ２の更なる詳細を示す。図８Ａは、透視型混合実現ディスプレイ・デバイスのめがねの実施形態におけるフレーム１１５のめがねの弦(eyeglass temple)１０２の側面図である。フレーム１１５の前面には、ビデオおよび静止画像をキャプチャーすることができるビデオ・カメラ１１３に面する物理環境がある。特に、実施形態では、物理環境対面カメラ１１３が、可視光カメラ即ちＲＧＢカメラだけでなく、深度カメラでもよい。例えば、深度カメラは、ＩＲ照明伝搬器(IR illuminator transmitter)およびホット・ミラーのような高温反射面(hot reflecting surface)を可視光撮像センサー(visible image sensor)の前に含むことができる。可視光撮像センサーは、可視光を通過させ、照明器を透過する波長範囲内の反射ＩＲ放射光線または所定の波長を中心とする反射ＩＲ放射光線を、ＣＣＤまたは他のタイプの深度センサーに導く。他のタイプの可視光カメラ（ＲＧＢカメラ）および深度カメラを使用することもできる。深度カメラについてのこれ以上の情報は、２０１０年６月１１日に出願された米国公開特許出願第２０１１／０３０７２６０号において見出すことができる。この特許出願をここで引用したことにより、その内容全体が本願にも含まれるものとする。これらのセンサーからのデーターは、制御回路１３６のプロセッサー２１０または処理ユニット４、５、あるいは双方に送ることができる。ユニット４、５がこのデーターを処理するのでもよいが、ユニット４、５が、処理のために、ネットワークまたはハブ計算システム１２を介してコンピューター・システムにデーターを送ることもできる。この処理は、画像セグメント化およびエッジ検出技法によって物体を識別し、深度をユーザーの実世界視野内にある物体にマッピングする。加えて、物理環境対面カメラ１１３は、周囲光を測定する測光計も含むことができる。
【００９６】
[00124]  制御回路１３６は、頭部装着ディスプレイ・デバイス１５０の他のコンポーネントをサポートする種々の電子回路を設ける。制御回路１３６のこれ以上の詳細については、図１０Ａに関して以下で示す。弦１０２の内部にある、または弦１０２に装着されるのは、イヤホン１３０、慣性センサー１３２、ＧＰＳ送受信機１４４、および温度センサー１３８である。一実施形態では、慣性センサー１３２は、三軸磁力計１３２Ａ、三軸ジャイロ１３２Ｂ、および三軸加速度計１３２Ｃ（図１０Ｃ参照）を含む。慣性センサーは、頭部装着ディスプレイ・デバイス２の位置、向き、および突然の加速を検知するためにある。これらの動きから、頭の位置を判定することもできる。
【００９７】
[00125]  ディスプレイ・デバイス２は、１つ以上の仮想物体を含む１つ以上の画像を生成することができる画像生成ユニットを備える。実施形態では、マイクロディスプレイを画像生成ユニットとして使用できる場合がある。この例におけるマイクロディスプレイ・アセンブリー１７３は、光学処理エレメント、および可変焦点調節器１３５を含む。光学処理エレメントの一例は、マイクロディスプレイ・ユニット１２０である。他の例には、レンズ系１２２の１つ以上のレンズというような１つ以上の光学エレメント、ならびに図９Ａおよび図９Ｂにおける表面１２４ａ、および１２４ｂまたは図９Ｃおよび図９Ｄにおける表面１２４のような１つ以上の反射エレメントが含まれる。レンズ系１２２は、１枚のレンズを含んでもよく、または複数のレンズを含んでもよい。
【００９８】
[00126]  マイクロディスプレイ・ユニット１２０は、弦１０２に装着されるかまたはその内側に装着され、画像源を含み、仮想物体の画像を生成する。マイクロディスプレイ・ユニット１２０は、以下の図に示すように、レンズ系１２２、ならびに反射面１２４または反射面１２４ａおよび１２４ｂと光学的に整列される。光学的な整列は、光軸１３３、または１つ以上の光軸を含む光路１３３に沿っていればよい。マイクロディスプレイ・ユニット１２０は、レンズ系１２２を通して仮想物体の画像を投射する。レンズ系１２２は、画像光を反射エレメント１２４上に導くことができ、反射エレメント１２４は、この光を、図９Ｃおよび図９Ｄにおけるような導光光学エレメント１１２に導くか、または反射面１２４ａ（例えば、ミラーまたは他の表面）に導く。反射面１２４ａは、仮想画像の光を部分的反射エレメント１２４ｂに導き、部分的反射エレメント１２４ｂは、図９Ａ〜図９Ｄにおけるように、経路１３３に沿った仮想画像視野(virtual image view)を、光軸１４２に沿った自然な即ち実際の直視野(direct view)と組み合わせる。この視野の組み合わせが、ユーザーの目に導かれる。
【００９９】
[00127]  可変焦点調節器１３５は、マイクロディスプレイ・アセンブリーの光路内にある１つ以上の光学処理エレメント間における変位(displacement)、またはマイクロディスプレイ・アセンブリーにおけるエレメントの光学倍率(optical power)を変化させる。レンズの光学倍率は、その焦点距離の逆数、例えば、１／焦点距離と定められているので、一方が変化すると他方に影響を及ぼす。この焦点距離の変化の結果、マイクロディスプレイ・アセンブリー１７３によって生成された画像に対して焦点が合う視野の領域、例えば、ある距離における領域が変化することになる。
【０１００】
[00128]  変位変化を起こすマイクロディスプレイ・アセンブリー１７３の一例では、この変位変化は、アーマチャー１３７内部で導かれる。アーマチャー１３７は、この例では、レンズ系１２２およびマイクロディスプレイ１２０のような、少なくとも１つの光学処理エレメントを支持する。アーマチャー１３７は、エレメントの物理的移動の間光路１３３に沿った整列を安定させて、選択された変位または選択された光学パワーを得るのに役立つ。例の中には、調節器１３５がアーマチャー１３７内部でレンズ系１２２におけるレンズのような１つ以上の光学エレメントを移動させるとよい場合もある。他の例では、このアーマチャーは、光学処理エレメントの周囲のエリアに溝または空間を有し、光学処理エレメントを移動させることなく、エレメント、例えば、マイクロディスプレイ１２０を超えて滑るようにすることができる。レンズ系１２２のようなアーマチャー内にある他のエレメントは、レンズ系１２２またはその中のレンズが、移動するアーマチャー１３７と共に摺動または移動するように取り付けられる。変位の範囲は、通例、数ミリメートル（ｍｍ）程度である。一例では、この範囲は１〜２ｍｍである。他の例では、アーマチャー１３７は、変位以外の他の物理パラメーターの調節を伴う焦点調節技法のために、レンズ系１２２に支持体を設けることができる。このようなパラメーターの一例に、偏光(polarization)がある。
【０１０１】
[00129]  マイクロディスプレイ・アセンブリーの焦点距離を調節することについてのこれ以上の情報は、"Automatic Variable Virtual Focus for Augmented Reality Display"（拡張現実ディスプレイのための自動可変仮想焦点）と題し２０１０年１１月８日に出願された米国特許出願第１２／９４１，８２５号を参照のこと。この出願の発明者は、Avi Bar-ZeevおよびJohn Lewisであり、この出願をここで引用したことによりその内容が本願にも含まれるものとする。
【０１０２】
[00130]  一例では、調節器１３５が圧電モーターのようなアクチュエーターであってもよい。また、アクチュエーターのための他の技術を使用してもよく、このような技術の例をいくつか挙げると、コイルと永久磁石によって形成されたボイス・コイル、磁気歪みエレメント、および電気歪みエレメントがある。
【０１０３】
[00131]  マイクロディスプレイ１２０を実現するために使用することができる複数の異なる画像生成技術がある。例えば、マイクロディスプレイ１２０は、透過型投射技術(trans missive projection technology)を使用して実現することができる。この場合、光源は、白色光によるバックライトを受ける、光学活性物質によって変調される。これらの技術は、通常、強力なバックライトおよび高い光エネルギー密度を有するＬＣＤ型ディスプレイを使用して実現される。また、マイクロディスプレイ１２０は、反射技術を使用して実現することもできる。この場合、外部光が反射され光学活性物質によって変調される。技術に応じて、白色光源またはＲＧＢ光源のいずれかによって照明が前方に照らされる。ディジタル光学処理（ＤＬＰ）、シリコン上液晶（ＬＣＯＳ）、およびQualcomm, inc.（クアルコム社）からのMirasol（登録商標）表示技術は全て反射技術の例である。これらの技術は、殆どのエネルギーが変調構造(modulated structure)から遠ざかるように反射されるので効率的であり、本明細書において記載するシステムにおいて使用することができる。加えて、マイクロディスプレイ１２０は、発光技術(emissive technology)を使用して実現することもできる。この場合、光はディスプレイによって生成される。例えば、Microvision, Inc.（マイクロビジョン社）からのＰｉｃｏＰ（登録商標）は、レーザー信号を、マイクロ・ミラー制御(steering)によって、透過性エレメントとして作用する小さな画面上に出すか、または直接目に向けて送る（例えば、レーザー）。
【０１０４】
[00132]  前述のように、マイクロディスプレイ・アセンブリー１７３の光学処理エレメントの構成から、仮想物体が画像において現れる焦点距離または焦点領域が求められる。この構成を変化させると、仮想物体画像の焦点領域が変化する。光学処理エレメントによって決定される焦点領域は、式１／Ｓ１＋１／Ｓ２＝１／ｆに基づいて決定し、そして変化させることができる。
【０１０５】
[00133]  記号ｆは、マイクロディスプレイ・アセンブリー１７３におけるレンズ系１２２のような、レンズの焦点距離を表す。レンズ系１２２は、前節点(front nodal point)および後節点(rear nodal point)を有する。光線がいずれかの節点に向けて、光軸に対して所与の角度で導かれると、この光線は他方の節点から光軸に対して同等の角度で現れる。一例では、レンズ系１２２の後節点は、それ自体とマイクロディスプレイ１２０との間にある。後節点からマイクロディスプレイ１２０までの距離をＳ２で示すことができる。前節点は、通例、レンズ系１２２の数ｍｍ以内にある。目標位置は、三次元物理空間においてマイクロディスプレイ１２０によって生成される仮想画像の位置である。前節点から仮想画像の目標位置までの距離はＳ１で示すことができる。画像は、レンズのマイクロディスプレイ１２０と同じ側に現れる仮想画像になるので、符号の慣例によりＳ１は負の値を有することになる。
【０１０６】
[00134]  レンズの焦点距離が固定されている場合、仮想物体を異なる深度で合焦するためには、Ｓ１およびＳ２を変化させる。例えば、初期位置において、Ｓ１を無限遠に設定し、Ｓ２をレンズ系１２２の焦点距離に等しく設定するとよい。レンズ系１２２の焦点距離が１０ｍｍであると仮定して、仮想物体をユーザーの視野内約１フィートまたは３００ｍｍに置く例について考える。この場合、Ｓ１は約−３００ｍｍであり、ｆは１０ｍｍであり、Ｓ２は現焦点距離である１０ｍｍの初期位置にあり、レンズ系１２２の後節点がマイクロディスプレイ１２０から１０ｍｍのところにあることを意味する。１／（−３００）＋１／Ｓ２＝１／１０に基づいて、レンズ１２２とマイクロディスプレイ１２０との間における新たな距離または新たな変位を決定する。ここで、全ての単位はｍｍである。その結果、Ｓ２は約９．６７ｍｍとなる。
【０１０７】
[00135]  一例では、制御回路における１つ以上のプロセッサー、処理ユニット４、５、または双方が、Ｓ１およびＳ２について変位値を計算することができ、焦点距離ｆを固定のままにして、制御回路１３６に駆動信号を可変調節器ドライバー２３７（図１０Ａ参照）に送らせて、例えば、可変仮想焦点調節器１３５にレンズ系１２２を光路１３３に沿って移動させることができる。他の実施形態では、レンズ系１２２を移動させる代わりにまたはそれに加えて、マイクロディスプレイ・ユニット１２０を移動させてもよい。他の実施形態では、光路１３３に沿った変位変化の代わりにまたはこれと共に、レンズ系１２２における少なくとも１つのレンズの焦点距離を変更してもよい。
【０１０８】
[00136]  図８Ｂは、混合現実ディスプレイ・デバイスの他の実施形態において、ハードウェアおよびソフトウェア・コンポーネントの支持、ならびにマイクロディスプレイ・アセンブリーの三次元調節を行う、めがねの弦の側面図である。先に図８Ａにおいて示した番号の一部は、図面における煩雑さを回避するために削除した。表示光学系１４が３つの次元のいずれにでも移動させられる実施形態では、反射面１２４によって表される光学エレメント、およびマイクロディスプレイ・アセンブリー１７３の他のエレメント、例えば、１２０、１２２も、仮想画像の光の表示光学系に対する光路１３３を維持するために、移動させることができる。この例におけるＸＹＺメカニズムは、モーター・ブロック２０３によって代表される１つ以上のモーターおよび軸２０５によって構成され、制御回路１３６のプロセッサー２１０の制御の下で（図１０Ａ参照）、マイクロディスプレイ・アセンブリー１７３のエレメントの移動を制御する。使用することができるモーターの例に、圧電モーターがある。図示する例では、１つのモーターがアーマチャー１３７に取り付けられ、可変焦点調節器１３５も移動させて、他の代表的なモーター２０３が反射エレメント１２４の移動を制御する。
【０１０９】
[00137]  図９Ａは、凝視検出エレメントの構成を含む透視型ニアアイ混合現実デバイス２の可動表示光学系１４の一実施形態の上面図である。ニアアイ・ディスプレイ・デバイス２のフレーム１１５の一部は、表示光学系１４を包囲し、図示のように、マイクロディスプレイ１２０およびそれに付帯するエレメントを含むマイクロディスプレイ・アセンブリー１７３の一実施形態のエレメントに対する支持体を設ける。ディスプレイ・システム１４の右目システム、この場合１４ｒのコンポーネントを示すために、表示光学系を取り囲むフレーム１１５の最上位部分は描かれていない。加えて、この図では、表示調節メカニズム２０３の動作に傾注するために、ブリッジ１０４におけるマイクロフォン１１０も示されていない。図４Ｃの例におけると同様、この実施形態における表示光学系１４は、内側フレーム１１７ｒを移動させることによって移動させられる。この例では、内側フレーム１１７ｒはマイクロディスプレイ・アセンブリー１７３も包囲する。この実施形態では、表示調節メカニズムは三軸モーター２０３として具体化されている。三軸モーター２０３は、三（３）軸の移動を示す記号１４４によって示されるように、３つの次元のいずれにでも表示光学系１４を並進させるために、その軸２０５を内側フレーム１１７ｒに取り付ける。この実施形態では、表示光学系１４はマイクロディスプレイ・アセンブリー１７３を含む。
【０１１０】
[00138]  この実施形態における表示光学系１４は、光軸１４２を有し、ユーザーが実世界を実際に直接見ることを可能にする透視レンズ１１８を含む。この例では、透視レンズ１１８は、めがねに使用される標準的なレンズであり、任意の処方(prescription)に合わせて（処方がない場合も含む）作ることができる。他の実施形態では、透視レンズ１１８を可変処方レンズと置き換えることができる。実施形態では、透視型ニアアイ・ディスプレイ・デバイス２が追加のレンズを含む場合もある。
【０１１１】
[00139]  更に、表示光学系１４は、反射面１２４ａおよび１２４ｂも備えている。この実施形態では、マイクロディスプレイ１２０からの光は、レンズ１１８に埋め込まれた部分的反射エレメント１２４ａによって、光路１３３に沿って、レンズ１１８に埋め込まれた部分反射エレメント１２４ｂに向けて導かれる。部分反射エレメント１２４ｂは、光路１３３に沿って進む仮想物体画像を、光軸１４２に沿った自然な即ち実際の直視野と組み合わせて、光軸において、即ち、最も明確な光景(view)が得られる最も平行化された光が来る位置において、組み合わせられた光景がユーザーの目、この例では右目に向けて導かれるようにする。
【０１１２】
[00140]  光センサーの検出エリア１３９ｒは、表示光学系１４ｒの一部でもある。光学エレメント１２５は、光軸１４２に沿ってユーザーの目から受光された反射光を取り込むことによって、検出エリア１３９ｒを具体化し、取り込んだ光を、この例では、内側フレーム１１７ｒ内部にあるレンズ１１８内に配置されているセンサー１３４ｒに導く。図示のように、この配列では、センサー１３４ｒの検出エリア１３９が、その中心をディスプレイ光学系１４の中心と整列させることができる。例えば、センサー１３４ｒが撮像センサーである場合、センサー１３４ｒは検出エリア１３９を取り込むので、撮像センサーにおいてキャプチャーされた画像は、光軸を中心として位置付けられる。何故なら、検出エリア１３９は。一例では、センサー１３４ｒは可視光カメラまたはＲＧＢ／ＩＲカメラの組み合わせであり、光学エレメント１２５は、ユーザーの目から反射した可視光を反射する光学エレメント、例えば、部分反射ミラーを含む。
【０１１３】
[00141]  他の実施形態では、センサー１３４ｒはＩＲカメラのようなＩＲ感応デバイスであり、エレメント１２５は可視光を通過させＩＲ放射光線をセンサー１３４ｒに向けて反射する高温反射面を含む。ＩＲカメラは、グリント(glints)だけでなく、瞳を含むユーザーの目の赤外線または近赤外線画像もキャプチャーすることができる。
【０１１４】
[00142]  他の実施形態では、ＩＲセンサー・デバイス１３４ｒは位置感応デバイス（ＰＳＤ）である。これは、光学位置センサーと呼ばれることもある。センサーの表面上で検出された光の位置が特定される。ＰＳＤは、グリントに対するＩＲ照明器の波長範囲またはＩＲ照明器の所定の波長の前後に感応するものを選択することができる。この位置感応デバイスの波長範囲内の光、または所定の波長を中心とした光が、デバイスのセンサー即ち光感応部において検出されると、検出器の表面上における位置を識別する電気信号が生成される。実施形態では、ＰＳＤの表面が画素のような複数の離散センサーに分割される場合があり、これらの離散センサーから、光の位置を判定することができる。他の例では、ＰＳＤ等方性センサー（ＰSD isotropic sensor）を使用してもよく、この場合、表面上における局所抵抗の変化を使用して、ＰＳＤ上の光スポットの位置を特定することができる。また、ＰＳＤの他の実施形態を使用してもよい。所定のシーケンスで照明器１５３を動作させることによって、ＰＳＤ上におけるグリントの反射位置を識別し、したがって角膜面上におけるそれらの位置に逆に関係付けることができる。
【０１１５】
[00143]  図９Ａ〜図６Ｄにおける導光エレメント、この場合、反射エレメント１２５、１２４、１２４ａ、および１２４ｂの描画は、それらの機能を表す。これらのエレメントは、いずれの数の形態でもなすことができ、カメラ・センサーまたはユーザーの目というようなその意図する宛先に光を導くために、１つ以上の配列とした１つ以上の光学コンポーネントで実現することができる。図示のように、この配列によって、センサーの検出エリア１３９はその中心を表示光学系１４の中心と整列させることが可能になる。撮像センサー１３４ｒは、検出エリア１３９を取り込むので、撮像センサーにおいてキャプチャーされた画像は、光軸を中心として位置付けられる。何故なら、検出エリア１３９は。
【０１１６】
[00144]  ユーザーが真っ直ぐ前を見ており、検出エリア１３９または撮像センサー１３４ｒが事実上ディスプレイの光軸を中心として整列されるときに、ユーザーの瞳の中心がユーザーの目を取り込んだ画像において中心に位置すると、表示光学系１４ｒは瞳と整列されることになる。双方の表示光学系１４がそれらのそれぞれの瞳と整列されるとき、光学的中心間の距離はユーザーの瞳間距離と一致する、即ち、整列されることになる。図９Ａの例では、３つの次元において、瞳間距離を表示光学系１４と整列させる(align)ことができる。
【０１１７】
[00145]  一実施形態では、センサー１３４によってキャプチャーされたデーターが、瞳が光軸と整列されていないことを示す場合、処理ユニット４、５または制御回路１３６あるいは双方における１つ以上のプロセッサーは、瞳の画像がどのくらい光軸１４２から離れているか判定するために、距離または長さの測定単位を画像の画素または他の離散単位あるいは面積に相関付けるマッピング判断基準を使用する。判定された距離に基づいて、１つ以上のプロセッサーは、光軸１４２を瞳と整列させるためにはどのくらいの距離そしてどの方向に表示光学系１４を移動させるべきかについて調節値を決定する。制御信号は、１つ以上の表示調節メカニズム・ドライバー２４５によって、１つ以上の表示調節メカニズム２０３を構成するコンポーネント、例えば、モーター２０３の各々に印加される。この例におけるモーターの場合、これらのモーターは、制御信号によって示された少なくとも１つの方向に内側フレーム１１７ｒを移動させるために、それらの軸２０５を動かす。内側フレーム１１７ｒの弦側には、フレーム１１５の可撓性セクション２１５ａ、２１５ｂがあり、これらの可撓性セクションは、一端において内側フレーム１１７ｒに取り付けられており、表示光学系１４がそれぞれの瞳に関して幅、高さ、または奥行き変化に対する３つの方向のいずかに移動すると、フレーム１１５の弦の内部にある溝２１７ａおよび２１７ｂ内を摺動して、内側フレーム１１７をフレーム１１５に固定する。
【０１１８】
[00146]  センサーに加えて、表示光学系１４は他の凝視検出エレメントも含む。この実施形態では、レンズ１１８の両側においてフレーム１１７ｒに取り付けられているのは、少なくとも２つであるがそれ以上でもよい赤外線（ＩＲ）照明デバイス１５３である。赤外線照明デバイス１５３は、特定の波長範囲内または所定の波長を中心とする狭い赤外線光ビームをユーザーの目に向けて出射し、各々ユーザーの角膜の表面上にそれぞれのグリントを生成する。他の実施形態では、照明器およびいずれのフォトダイオードも、レンズ上の、例えば、角またはエッジにあってもよい。この実施形態では、少なくとも２つの赤外線（ＩＲ）照明デバイス１５３に加えて、ＩＲ光検出器１５２がある。各光検出器１５２は、その対応するＩＲ照明器１５３の特定の波長範囲内のＩＲ放射光線にレンズ１１８を通して感応し、それぞれのグリントを検出するように位置付けられる。図４Ａ〜図４Ｃに示すように、この照明器および光検出器は、バリア１５４によって分離されているので、照明器１５３からの入射ＩＲ光は、光検出器１５２において受光される反射ＩＲ光と干渉しない。センサー１３４がＩＲセンサーである場合、光検出器１５２は必要でないこともあり、または追加のグリント・データー・キャプチャー源であってもよい。可視光カメラを使用する場合、光検出器１５２はグリントからの光を取り込み、グリント強度値を生成する。
【０１１９】
[00147]  図９Ａ〜図９Ｄにおいて、凝視検出エレメント、例えば、検出エリア１３９、ならびに照明器１５３および光検出器１５２の位置は、表示光学系１４の光軸に関して固定される。これらのエレメントは、表示光学系１４ｒと共に、したがってその光軸と共に、内側フレーム上で移動することができるが、光軸１４２に対するこれらの空間関係は変化しない。
【０１２０】
[0148]  図９Ｂは、凝視検出エレメントの構成を含む透視型ニアアイ混合現実デバイスの可動表示光学系の他の実施形態の上面図である。この実施形態では、光センサー１３４ｒは、ＲＧＢカメラと呼ばれることもある可視光カメラとして具体化することができ、あるいはＩＲカメラまたは可視光およびＩＲ範囲双方における光を処理することができるカメラ、例えば、深度カメラとして具体化することもできる。この例では、撮像センサー１３４ｒが検出エリア１３９ｒとなる。このカメラの撮像センサー１３４は、表示光学系の光軸１４２上に垂直に配置される。例の中には、このカメラをフレーム１１５上において透視レンズ１１８の上または下に配置するか、あるいはレンズ１１８に埋め込むことができる場合もある。実施形態の中には、照明器１５３がカメラのために光を供給する場合もあり、更に他の実施形態では、カメラが周囲光(ambient lighting)またはそれ自体の光源からの光によって画像をキャプチャーする場合もある。キャプチャーされた画像データーは、瞳の光軸との整列を判定するために使用することができる。凝視検出エレメントの幾何学的形状に基づいて、画像データー、グリント・データーまたは双方に基づく凝視判定技法を使用することができる。
【０１２１】
[00149]  この例では、ブリッジ１０４内にあるモーター２０３が、方向記号１４５によって示すように、ユーザーの目に関して水平方向に表示光学系１４ｒを移動させる。システム１４が移動させられると、可撓性フレーム部分２１５ａおよび２１５ｂは溝２１７ａおよび２１７ｂ内を摺動する。この例では、マイクロディスプレイ・アセンブリー１７３の実施形態の反射エレメント１２４ａは静止(stationery)する。ＩＰＤは通例１回判定されて格納されるので、マイクロディスプレイ１２０と反射エレメント１２４ａとの間において行うことができる焦点距離の調節はいずれも、マイクロディスプレイ・アセンブリーによって、例えば、アーマチャー１３７内にあるマイクロディスプレイ・エレメントの調節によって行うことができる。
【０１２２】
[00150]  図９Ｃは、凝視検出エレメントの構成を含む透視型ニアアイ混合現実ディスプレイ・デバイスの可動表示光学系の第３の実施形態の上面図である。表示光学系１４は、ＩＲ照明器１５３および光検出器１５２を含む凝視検出エレメント、ならびに光軸１４２の下または上においてフレーム１１５またはレンズ１１８上に配置された光センサー１３４ｒも同様の構成を有する。この例では、表示光学系１４は、仮想画像をユーザーの目に導くための反射エレメントとして導光光学エレメント１１２を含み、追加の透視レンズ１１６と透視レンズ１１８との間に配置されている。反射エレメント１２４が導光光学エレメントの内部にありエレメント１１２と共に移動するので、マイクロディスプレイ・アセンブリー１７３の一実施形態は、この例では、弦１０２の上において、表示光学系１４のための表示調節メカニズム２０３に取り付けられる。表示調節メカニズム２０３は、１組の三軸モーター２０３および軸２０５として具体化され、マイクロディスプレイ・アセンブリーを移動させるために少なくとも１つを含む。ブリッジ１０４上にある１つ以上のモーター２０３は、三軸移動１４５を行う表示調節メカニズム２０３の他のコンポーネントを代表する。他の実施形態では、これらのモーターは、それらの取り付けられた軸２０５を介して水平方向にデバイスを移動させるためだけに動作するのでもよい。また、マイクロディスプレイ・アセンブリー１７３用のモーター２０３は、マイクロディスプレイ１２０から出射する光と反射エレメント１２４との間における整列を維持するために、水平方向にもそれを移動させる。制御回路（図１０Ａ参照）のプロセッサー２１０はこれらの移動を調整する。
【０１２３】
[00151]  導光光学エレメント１１２は、マイクロディスプレイ１２０からの光を、頭部装着ディスプレイ・デバイス１５０を着用しているユーザーの目に伝える。また、導光光学エレメント１１２は、頭部装着ディスプレイ・デバイス２の前方からの光を透過させ、導光光学エレメント１１２を通ってユーザーの目まで到達させることによって、ユーザーが、マイクロディスプレイ１２０からの仮想画像を受けることに加えて、頭部装着ディスプレイ・デバイス１５０の前方にある空間の実際の直視野も有することを可能にする。このため、導光光学エレメント１１２の壁は透視型になっている。導光光学エレメント１１２は、第１反射面１２４（例えば、ミラーまたはその他の表面）を含む。マイクロディスプレイ１２０からの光は、レンズ１２２を通過し、反射面１２４に入射する。反射面１２４は、内部反射によって、導光光学エレメント１１２を構成する平面基板の内側で光が捕獲されるように、マイクロディスプレイ１２０からの入射光を反射する。
【０１２４】
[00152]  この基板の表面から数回反射した後、取り込まれた光波は、選択的反射面１２６のアレイに到達する。尚、図面が混み過ぎるのを防止するために、５つの表面の内１つだけに１２６を付することを注記しておく。反射面１２６は、基板の外側からこれらの反射面上に入射した光波を、ユーザーの目に結合する。導光光学エレメントのこれ以上の詳細は、２００８年１１月２０日に公開された米国特許出願公開第２００８／０２８５１４０、出願番号第１２／２１４，３６６号、"Substrate-Guided Optical Devices"（基板導光光学デバイス）において見出すことができる。この特許出願をここで引用したことにより、その内容全体が本願にも含まれるものとする。一実施形態では、各目がそれ自体の導光光学エレメント１１２を有する。
【０１２５】
[00153]  図９Ｄは、凝視検出エレメントの構成を含む透視型ニアアイ混合現実ディスプレイ・デバイスの可動表示光学系の第４の実施形態の上面図である。この実施形態は、導光光学エレメント１１２を含む図９Ｃの実施形態に類似する。しかしながら、光検出器はＩＲ光検出器１５２だけであるので、この実施形態は、以下の例において論ずるように、グリント検出を頼りにするのは凝視検出のためだけである。
【０１２６】
[00154]  図９Ａ〜図９Ｄの実施形態では、凝視検出エレメント、例えば、検出エリア１３９、照明器１５３、および光検出器１５２の位置は、互いに対して固定される。これらの例では、これらは表示光学系１４の光軸に関しても固定される。
【０１２７】
[00155]  以上の実施形態では、示された具体的なレンズの数は単なる例に過ぎない。他の数または構成のレンズであっても、同じ原理で動作するのであれば、使用することができる。加えて、以上の例では、透視型ニアアイ・ディスプレイ２の右側だけが示された。ニアアイ混合現実ディスプレイ・デバイス全体であれば、例として、他の１組のレンズ１１６および／または１１８、図９Ｃおよび図９Ｄの実施形態の他の導光光学エレメント１１２、他のマイクロディスプレイ１２０、他のレンズ系１２２、恐らくは(likely)他の環境対面カメラ１１３、図９Ａ〜図９Ｃまでの実施形態の他の視線追跡カメラ１３４、イヤホン１３０、ならびに温度センサー１３８を含む。
【０１２８】
[00156]  図１０Ａは、１つ以上の実施形態と共に使用することができる透視型ニアアイ混合現実ディスプレイ・ユニット２のハードウェアおよびソフトウェア・コンポーネントの一実施形態のブロック図である。図１０Ｂは、処理ユニット４、５の種々のコンポーネントを記述するブロック図である。この実施形態ではニアアイ・ディスプレイ・デバイス２は、仮想画像についての命令を処理ユニット４、５から受け、逆にセンサー情報を処理ユニット４、５に提供する。処理ユニット４、５内において具体化することができるソフトウェアおよびハードウェア・コンポーネントは、図１０Ｂにおいて図示され、ディスプレイ・デバイス２からセンサー情報(sensory information)を受け、更にハブ計算デバイス１２（図１Ａ参照）からもセンサー情報を受けることができる。この情報に基づいて、処理ユニット４、５は、仮想画像をどこにそしていつユーザーに供給すべきか判断し、それに応じて命令をディスプレイ・デバイス２の制御回路１３６に送る。
【０１２９】
[00157]  尚、図１０Ａのコンポーネントの一部（例えば、物理環境対面カメラ１１３、アイ・カメラ１３４、可変仮想焦点調節器１３５、光検出器インターフェース１３９、マイクロディスプレイ１２０、照明デバイス１５３または照明器、イヤホン１３０、温度センサー１３８、表示調節メカニズム２０３）は、これらのデバイスが各々２つずつあり、１つが頭部装着ディスプレイ・デバイス１５０の左側、そして１つが右側にあることを示すために、陰に隠れて（in shadow)図示されることを注記しておく。図１０Ａは、電力管理回路２０２と通信可能な制御回路２００を示す。制御回路２００は、プロセッサー２１０、メモリー２１４（例えば、Ｄ−ＲＡＭ）と通信可能なメモリー・コントローラー２１２、カメラ・インターフェース２１６、カメラ・バッファー２１８、ディスプレイ・ドライバー２２０、ディスプレイ・フォーマッター２２２、タイミング発生器２２６、ディスプレイ出力インターフェース２２８、およびディスプレイ入力インターフェース２３０を含む。一実施形態では、制御回路２２０のコンポーネントは全て、１つ以上のバスの専用線を通じて互いに通信可能である。他の実施形態では、制御回路２００のコンポーネントの各々はプロセッサー２１０と通信可能である。
【０１３０】
[00158]  カメラ・インターフェース２１６は、２つの物理環境対面カメラ１１３および各アイ・カメラ１３４のためのインターフェースを設け、カメラ１１３、１３４から受けたそれぞれの画像をカメラ・バッファー２１８に格納する。ディスプレイ・ドライバー２２０は、マイクロディスプレイ１２０を駆動する。ディスプレイ・フォーマッター２２２は、マイクロディスプレイ１２０上に表示される仮想画像についての情報を、拡張現実システムのために処理を実行する１つ以上のコンピューター・システム、例えば、４、５、１２、２１０の１つ以上のプロセッサーに提供することができる。タイミング発生器２２６は、システムにタイミング・データーを供給するために使用される。ディスプレイ出力２２８は、物理環境対面カメラ１１３およびアイ・カメラ１３４から処理ユニット４、５に画像を供給するためのバッファーである。ディスプレイ入力２３０は、マイクロディスプレイ１２０に表示しようとする仮想画像のような画像を受けるためのバッファーである。ディスプレイ出力２２８およびディスプレイ入力２３０は、処理ユニット４、５に対するインターフェースである帯域インターフェース２３２と通信する。
【０１３１】
[00159]  電力管理回路２０２は、電圧レギュレーター２３４、視線追跡照明ドライバー２３６、可変調節器ドライバー２３７、光検出器インターフェース２３９、オーディオＤＡＣおよび増幅器２３８、マイクロフォン・プリアンプおよびオーディオＡＤＣ２４０、温度センサー・インターフェース２４２、表示調節メカニズム・ドライバー（１つまたは複数）２４５、ならびにクロック発振器２４４を含む。電圧レギュレーター２３４は電力を処理ユニット４、５から帯域インターフェース２３２を介して受け、その電力を頭部装着ディスプレイ・デバイス２の他のコンポーネントに供給する。照明ドライバー２３６は、例えば、駆動電流または電圧によって、所定の周波数を中心にまたは波長範囲内で動作するように、照明デバイス１５３を制御する。オーディオＤＡＣおよび増幅器２３８は、オーディオ情報をイヤホン１３０から受ける。マイクロフォン・プリアンプおよびオーディオＡＤＣ２４０は、マイクロフォン１１０のためのインターフェースを設ける。温度センサー・インターフェース２４２は、温度センサー１３８のためのインターフェースである。１つ以上の表示調節ドライバー２４５は、各表示調節メカニズム２０３を構成する１つ以上のモーターまたは他のデバイスに、３つの方向の内少なくとも１つにおける移動の調節量を表す制御信号を供給する。また、電力管理ユニット２０２は、三軸磁力計１３２Ａ、三軸ジャイロ１３２Ｂ、および三軸加速度計１３２Ｃに電力を供給し、三軸磁力計１３２Ａ、三軸ジャイロ１３２Ｂ、および三軸加速度計１３２Ｃからは逆にデーターを受ける。また、電力管理ユニット２０２は、ＧＰＳ送受信機１４４にも電力を供給し、逆にデーターをＧＰＳ送受信機１４４から受信し、データーをＧＰＳ送受信機１４４に送る。
【０１３２】
[00160]  可変調節器ドライバー２３７は、制御信号、例えば、駆動電流または駆動電圧を調節器１３５に供給し、マイクロディスプレイ・アセンブリーの１つ以上のエレメントを移動させて、焦点領域に対する変位を行う。この変位は、制御回路１３のプロセッサー２１０、あるいは処理ユニット４、５またはハブ・コンピューター１２あるいは双方において実行するソフトウェアによって計算される。ある範囲の変位にわたって、したがって焦点領域の範囲にわたって掃引する実施形態では、可変調節器ドライバー２３７は、タイミング信号をタイミング発生器２２６から受け、または代わりにクロック発振器２４４から受け、プログラミングされたレートまたは頻度で動作する。
【０１３３】
[00161]  光検出器インターフェース２３９は、各光検出器からの電圧または電流読み取り値に必要とされるあらゆるアナログ／ディジタル変換を実行し、メモリー・コントローラー２１２によってこの読み取り値をプロセッサー読み取り可能なフォーマットでメモリーに格納し、温度および波長精度というような、光検出器１５２の動作パラメーターを監視する。
【０１３４】
[00162]  図１０Ｂは、透視型ニアアイ、混合現実ディスプレイ・ユニットに関連する処理ユニット４のハードウェアおよびソフトウェア・コンポーネントの一実施形態のブロック図である。移動体デバイス５は、ハードウェアおよびソフトウェア・コンポーネントのこの実施形態も含み、または同様の機能を実行する同様のコンポーネントを含むこともできる。図１０Ｂは、電力管理回路３０７と通信可能な制御回路３０４を示す。制御回路３０５は、中央処理ユニット（ＣＰＵ）３２０、グラフィクス処理ユニット（ＧＰＵ）３２２、キャッシュ３２４、ＲＡＭ３２６、メモリー３３０（例えば、Ｄ−ＲＡＭ）と通信可能なメモリー制御部３２８、フラッシュ・メモリー３３４（または他のタイプの不揮発性ストレージ）と通信可能なフラッシュ・メモリー・コントローラー３３２、帯域インターフェース３０３および帯域インターフェース２３２を介して透視型ニアアイ・ディスプレイ・デバイス２と通信可能なディスプレイ出力バッファー３３６、帯域インターフェース３０３および帯域インターフェース２３２を介して透視型ニアアイ・ディスプレイ・デバイス２と通信可能なディスプレイ入力バッファー３３８、マイクロフォンに接続するために外部マイクロフォン・コネクター３４２と通信可能なマイクロフォン・インターフェース３４０、ワイヤレス通信デバイス３４６に接続するためのＰＣＩエクスプレス・インターフェース、ならびにＵＳＢポート（１つまたは複数）３４８を含む。
【０１３５】
[00163]  一実施形態では、ワイヤレス通信コンポーネント３４６は、Ｗｉ−Ｆｉ対応通信デバイス、Bluetooth（登録商標）通信デバイス、赤外線通信デバイス等を含むことができる。ＵＳＢポートは、処理ユニット４、５をハブ計算デバイス１２にドッキングして、データーまたはソフトウェアを処理ユニット４、５および充電処理ユニット４、５にロードするために使用することができる。一実施形態では、ＣＰＵ３２０およびＧＰＵ３２２は、どこに、いつ、そしてどのように画像をユーザーの視野に挿入すべきか判断するための主要な機械(workhorse)である。
【０１３６】
[00164]  電力管理回路３０７は、クロック発振器３６０、アナログ／ディジタル変換器３６２、バッテリー充電器３６４、電圧レギュレーター３６６、透視型ニアアイ・ディスプレイ電源３７６、および温度センサー３７４（処理ユニット４の手首バンド上に配置される）と通信可能な温度センサー・インターフェース３７２を含む。交流／直流変換器３６２は、ＡＣ供給電力を受け、本システムにＤＣ供給電力を発電するために、充電用ジャック３７０に接続されている。電圧レギュレーター３６６は、本システムに電力を供給するために、バッテリー３６８と通信する。バッテリー充電器３６４は、充電用ジャック３７０から受電したときに、バッテリー３６８を充電する（電圧レギュレーター３６６を介して）ために使用される。デバイス電力インターフェース３７６は、電力をディスプレイ・デバイス２に供給する。
【０１３７】
[00165]  図１１Ａは、計算システム１２を実現するために使用することができるマルチメディア・コンソール（またはゲーミング・コンソール）９００を含む計算環境の一例を示す。キャプチャー・デバイス２０は、計算システム１２に結合されてもよい。図１１Ａに示すように、マルチメディア・コンソール９００は、レベル１キャッシュ９０２、レベル２キャッシュ９０４、およびフラッシュＲＯＭ（リード・オンリー・メモリー）９０６を有する中央処理ユニット（ＣＰＵ）９０１を有する。レベル１キャッシュ９０２およびレベル２キャッシュ９０４は、一時的にデーターを格納し、こうしてメモリー・アクセス・サイクルの回数を減らすことによって、処理速度およびスループットを向上させる。ＣＰＵ９０１は、１つよりも多いコア、つまり、追加のレベル１およびレベル２キャッシュ９０２および９０４を有するものを設けてもよい。フラッシュＲＯＭ９０６は、実行可能コードを格納することができる。実行可能コードは、マルチメディア・コンソール９００に電源を入れたときのブート・プロセスの初期段階の間にロードされる。
【０１３８】
[00166]  グラフィクス処理ユニット（ＧＰＵ）９０８およびビデオ・エンコーダー／ビデオ・コデック（コーダ／デコーダ）９１４は、高速および高解像度グラフィクス処理のためのビデオ処理パイプラインを形成する。データーは、グラフィクス処理ユニット９０８からビデオ・エンコーダー／ビデオ・コデック９１４にバスを通じて搬送される。このビデオ処理パイプラインは、テレビジョンまたは他のディスプレイへの送信のためにデーターをＡ／Ｖ（オーディオ／ビデオ）ポート９４０に出力する。メモリー・コントローラー９１０は、限定ではないが、ＲＡＭ（ランダム・アクセス・メモリー）のような種々のタイプのメモリー９１２へのプロセッサー・アクセスを容易にするために、ＧＰＵ９０８に接続される。
【０１３９】
[00167]  マルチメディア・コンソール９００は、Ｉ／Ｏコントローラー９２０、システム管理コントローラー９２２、オーディオ処理ユニット９２３、ネットワーク・インターフェース・コントローラー９２４、第１ＵＳＢホスト・コントローラー９２６、第２ＵＳＢコントローラー９２８、およびフロント・パネルＩ／Ｏサブアセンブリ９３０を含む。これらは、好ましくは、モジュール９１８上に実装される。ＵＳＢコントローラー９２６および９２８は、周辺コントローラー９４２（１）〜９４２（２）、ワイヤレス・アダプター９４８、および外部メモリー・デバイス９４６（例えば、フラッシュ・メモリー、外部ＣＤ／ＤＶＤ  ＲＯＭドライブ、リムーバブル媒体等）のためのホストとしての役割を果たす。ネットワーク・インターフェース９２４および／またはワイヤレス・アダプター９４８は、ネットワーク（例えば、インターネット、家庭内ネットワーク等）へのアクセスを与え、イーサネット（登録商標）・カード、モデム、Bluetooth（登録商標）モジュール、ケーブル・モデム等を含む広範囲にわたる種々の有線またはワイヤレス・アダプター・コンポーネントの内いずれでもよい。
【０１４０】
[00168]  システム・メモリー９４３は、ブート・プロセスの間にロードされるアプリケーション・データーを格納するために設けられる。メディア・ドライブ９４４が設けられ、ＤＶＤ／ＣＤドライブ、ハード・ドライブ、またはその他のリムーバブル・メディア・ドライブ等を含むことができる。メディア・ドライブ９４４は、マルチメディア・コンソール９００の内部にあっても外部にあってもよい。アプリケーション・データーには、マルチメディア・コンソール９００が実行、再生等のために、メディア・ドライブ９４４を介してアクセスすることができる。メディア・ドライブ９４４は、シリアルＡＴＡバスまたはその他の高速接続（例えば、IEEE1394）のようなバスを介して、Ｉ／Ｏコントローラー９２０に接続される。
【０１４１】
[00169]  システム管理コントローラー９２２は、マルチメディア・コンソール９００の利用可能性を確保することに関する種々のサービス機能を提供する。オーディオ処理ユニット９２３およびオーディオ・コデック９３２は、高忠実度およびステレオ処理を行う、対応のオーディオ処理パイプラインを形成する。オーディオ・データーは、通信リンクを介して、オーディオ処理ユニット９２３とオーディオ・コデック９３２との間で搬送される。オーディオ処理パイプラインは、外部オーディオ・プレーヤーまたはオーディオ処理能力を有するデバイスによる再生のために、データーをＡ／Ｖポート９４０に出力する。
【０１４２】
[00170]  フロント・パネルＩ／Ｏサブアセンブリ９３０は、電力ボタン９５０およびイジェクト・ボタン９５２の機能をサポートするだけでなく、あらゆるＬＥＤ（発光ダイオード）またはマルチメディア・コンソール９００の外面上に表出されるその他のインディケーターもサポートする。システム電源モジュール９３６は、マルチメディア・コンソール９００のコンポーネントに電力を供給する。ファン９３８は、マルチメディア・コンソール９００内部にある回路を冷却する。
【０１４３】
[00171]  ＣＰＵ９０１、ＧＰＵ９０８、メモリー・コントローラー９１０、およびマルチメディア・コンソール９００内部にある種々のその他のコンポーネントは、１系統以上のバスを介して相互接続される。これらのバスには、シリアルおよびパラレル・バス、メモリー・バス、周辺バス、ならびに種々のバス・アーキテクチャーの内いずれかを使用するプロセッサー・バスまたはローカル・バスが含まれる。一例として、このようなアーキテクチャーは、ペリフェラル・コンポーネント相互接続（ＰＣＩ）バス、PCI-Expressバス等を含むことができる。
【０１４４】
[00172]  マルチメディア・コンソール９００に電源を入れると、システム・メモリー９４３からメモリー９１２および／またはキャッシュ９０２、９０４にアプリケーション・データーがロードされ、ＣＰＵ９０１において実行することができる。アプリケーションは、グラフィカル・ユーザー・インターフェースを提示することができる。このグラフィカル・ユーザー・インターフェースは、マルチメディア・コンソール９００において利用可能な異なるタイプのメディアにナビゲートするときに、一貫性のあるユーザー体験を提供する。動作において、アプリケーションおよび／またはメディア・ドライブ９４４内に収容される他のメディアをメディア・ドライブ９４４から起動または再生して、マルチメディア・コンソール９００に追加の機能を設けることもできる。
【０１４５】
[00173]  マルチメディア・コンソール９００は、単にシステムをテレビジョンまたはその他のディスプレイに接続することによって、単体システムとして動作させることができる。この単体モードでは、マルチメディア・コンソール９００は、１人以上のユーザーがシステムと対話処理を行い、ムービーを見ること、または音楽を聞くことを可能にする。しかしながら、ネットワーク・インターフェース９２４またはワイヤレス・アダプター９４８によって利用可能となるブロードバンド接続機能を統合することにより、マルチメディア・コンソール９００を更に大きなネットワーク・コミュニティにおける関与個体(participant)として動作させることもできる。
【０１４６】
[00174]  マルチメディア・コンソール９００に電源を入れると、マルチメディア・コンソールのオペレーティング・システムによって、設定された量のハードウェア・リソースがシステムの使用のために確保される。これらのリソースは、メモリー（例えば、９６ＭＢ）、ＣＰＵおよびＧＰＵサイクル（例えば、５％）、ネットワーク接続帯域幅（例えば、８ｋｂｓ）等の確保を含むことができる。これらのリソースは、システムのブート時に確保されるので、確保されたリソースは、アプリケーションの視点からは存在しない。
【０１４７】
[00175]  特に、メモリーの確保は、起動カーネル、コンカレント・システム・アプリケーション、およびドライバーを収容できる程に十分大きいことが好ましい。確保されたＣＰＵ使用枠(usage)がシステム・アプリケーションによって使用されない場合、アイドルのスレッドがいずれかの未使用サイクルを消費するように、ＣＰＵの確保は一定であることが好ましい。
【０１４８】
[00176]  ＧＰＵの確保に関して、ＧＰＵ割り込みを使用してポップアップをオーバーレイにレンダリングするコードをスケジューリングすることによって、システム・アプリケーション（例えば、ポップアップ）が生成する軽量メッセージ(lightweight message)を表示する。オーバーレイに使用されるメモリー量は、オーバーレイのエリア・サイズによって異なり、オーバーレイは画面の解像度に合わせて倍率調整する(scale)ことが好ましい。コンカレント・システム・アプリケーションによって完全ユーザー・インターフェースが使用される場合、アプリケーションの解像度とは独立した解像度を使用することが好ましい。周波数を変更してＴＶの同期を取り直す必要性をなくすように、この解像度を設定するためにスケーラー(scaler)を使用してもよい。
【０１４９】
[00177]  マルチメディア・コンソール９００がブートして、システム・リソースが確保された後、コンカレント・システム・アプリケーションが実行してシステム機能を提供する。システム機能は、前述の確保したシステム・リソースの内部で実行する１組のシステム・アプリケーションの中にカプセル化される。オペレーティング・システム・カーネルは、システム・アプリケーション・スレッドと、ゲーミング・アプリケーション・スレッドとの間でスレッドを識別する。一貫したシステム・リソース・ビューをアプリケーションに提供するために、システム・アプリケーションは、所定の時点および間隔でＣＰＵ９０１において実行するようにスケジューリングされることが好ましい。このスケジューリングは、コンソール上で実行しているゲーミング・アプリケーションに対するキャッシュ破壊(disruption)を最少に抑えるためにある。
【０１５０】
[00178]  コンカレント・システム・アプリケーションがオーディオを必要とする場合、時間に敏感であるため、ゲーミング・アプリケーションには非同期にオーディオ処理をスケジューリングする。マルチメディア・コンソール・アプリケーション・マネージャー（以下で説明する）は、システム・アプリケーションがアクティブのとき、ゲーミング・アプリケーションのオーディオ・レベル（例えば、無音化、減衰）を制御する。
【０１５１】
[00179]  入力デバイス（例えば、コントローラー９４２（１）および９４２（２））は、ゲーミング・アプリケーションおよびシステム・アプリケーションによって共有される。入力デバイスは、確保されるリソースではないが、各々がデバイスのフォーカスを有するように、システム・アプリケーションとゲーミング・アプリケーションとの間で切り換えられる。アプリケーション・マネージャーは、ゲーミング・アプリケーションの知識を使用せずに入力ストリームの切換を制御し、ドライバーはフォーカス・スイッチ(focus switches)に関する状態情報を維持する。実施形態では、図２のキャプチャー・デバイス２０がマルチメディア・コンソール９００に対する追加の入力デバイスであってもよい。
【０１５２】
[00180]  図１１Ｂは、計算システム１２を実現するために使用することができる計算環境の他の例を示す。キャプチャー・デバイス２０は、この計算環境に結合されてもよい。図１１Ｂの計算環境は、適した計算環境の一例に過ぎず、現在開示される主題の使用範囲または機能性に関して、いかなる限定を示唆する意図もない。また、図２の計算環境１２が、図１１Ｂの動作環境例において例示されるいずれの１つのコンポーネントまたはコンポーネントの組み合わせに関しても依存性または要件を有するように解釈しては決してならない。実施形態によっては、図示する種々の計算エレメントが、本開示の特定の態様をインスタンス化するように構成される回路を含むこともあり得る。例えば、本開示において使用される回路(circuitry)という用語は、ファームウェアまたはスイッチによって機能（１つまたは複数）を実行するように構成される特殊ハードウェア・コンポーネントを含むことができる。別の例では、回路という用語は、機能（１つまたは複数）を実行するために動作可能なロジックを具体化するソフトウェア命令によって構成される汎用処理ユニット、メモリー等を含むことができる。回路がハードウェアおよびソフトウェアの組み合わせを含む実施形態例では、実装者(implementer)は、ロジックを具体化するソース・コードを書くことができ、ソース・コードを機械読み取り可能コードにコンパイルすることができ、この機械読み取り可能コードを汎用処理ユニットによって処理することができる。
【０１５３】
[00181]  図１１Ｂにおいて、計算システム１１２０は、コンピューター１１４１を含む。コンピューター１１４１は、通例、種々のコンピューター読み取り可能媒体を含む。コンピューター読み取り可能媒体（またはプロセッサー読み取り可能記憶デバイス）は、コンピューター１１４１がアクセス可能な入手可能な媒体であればいずれでも可能であり、揮発性および不揮発性の双方、リムーバブル、および非リムーバブル媒体を含む。一例として、そして限定ではなく、コンピューター読み取り可能媒体は、コンピューター記憶媒体を含むこともできる。コンピューター記憶媒体は、揮発性および不揮発性双方の、リムーバブルおよび非リムーバブル媒体を含み、これらはコンピューター読み取り可能命令、データー構造、プログラム・モジュール、または他のデーターというような情報の記憶のための任意の方法または技術で実現される。コンピューター記憶媒体は、ＲＡＭ、ＲＯＭ、ＥＥＰＲＯＭ、フラッシュ・メモリーまたは他のメモリー技術、ＣＤ−ＲＯＭ、ディジタル・バーサタイル・ディスク（ＤＶＤ）または他の光ディスク・ストレージ、磁気カセット、磁気テープ、磁気ディスク・ストレージまたは他の磁気記憶デバイス、あるいは、所望の情報を格納するために使用することができその上コンピューターによってアクセスすることができる他のあらゆる記憶媒体を含むが、これらに限定されるのではない。
【０１５４】
[00182]  また、コンピューター１１４１は、その他のリムーバブル／非リムーバブル揮発性／不揮発性コンピューター記憶媒体も含むことができる。一例にすぎないが、図１１Ｂは、非リムーバブル不揮発性磁気媒体からの読み取りおよびこれへの書き込みを行なうハード・ディスク・ドライブ１１３８、リムーバブル不揮発性磁気ディスク１１５４からの読み取りおよびこれへの書き込みを行なう磁気ディスク・ドライブ１１３９、ならびにＣＤ  ＲＯＭまたはその他の光媒体のようなリムーバブル不揮発性光ディスク１１５３からの読み取りおよびこれへの書き込みを行なう光ディスク・ドライブ１１４０を示す。この動作環境の一例において使用可能なその他のリムーバブル／非リムーバブル、揮発性／不揮発性コンピューター記憶媒体には、限定する訳ではないが、磁気テープ・カセット、フラッシュ・メモリー・カード、ディジタル・バーサタイル・ディスク、ディジタル・ビデオ・テープ、ソリッド・ステートＲＡＭ、ソリッド・ステートＲＯＭ等が含まれる。ハード・ディスク・ドライブ１１３８は、通例、インターフェース１１３４のような非リムーバブル・メモリー・インターフェースを介してシステム・バス１１２１に接続され、磁気ディスク・ドライブ１１３９および光ディスク・ドライブ１１４０は、通例、インターフェース１１３５のようなリムーバブル・メモリー・インターフェースによって、システム・バス１１２１に接続する。
【０１５５】
[00183]  基本入出力システム１１２４（ＢＩＯＳ）は、起動中のように、コンピューター１１４１内のエレメント間におけるデーター転送を補助する基本的なルーチンを含み、通例ＲＯＭ１１２３内に格納される。ＲＡＭ１１６０は、通例、処理ユニット１１５９が直ちにアクセス可能であるデーターおよび／またはプログラム・モジュール、または現在これによって処理されるデーターおよび／またはプログラム・モジュールを収容する。一例として、そして限定ではなく、図１１Ｂは、オペレーティング・システム１１２５、アプリケーション・プログラム１１２６、その他のプログラム・モジュール１１２７、およびプログラム・データー１１２８を示す。
【０１５６】
[00184]  以上で論じて更に図１０に示すドライブおよびそれらと関連のあるコンピューター記憶媒体は、コンピューター読み取り可能命令、データー構造、プログラム・モジュール、およびコンピューター１１４１のその他のデーターを格納する。図１１Ｂでは、例えば、ハード・ディスク・ドライブ１１３８は、オペレーティング・システム１１５８、アプリケーション・プログラム１１５７、他のプログラム・モジュール１１５６、およびプログラム・データー１１５５を格納するように示されている。尚、これらの構成要素は、オペレーティング・システム１１２５、アプリケーション・プログラム１１２６、他のプログラム・モジュール１１２７、およびプログラム・データー１１２８と同じでも異なっていても可能であることを注記しておく。オペレーティング・システム１１５８、アプリケーション・プログラム１１５７、他のプログラム・モジュール１１５６、およびプログラム・データー１１５５は、ここで、少なくともこれらが異なるコピーであることを示すために、異なる番号が与えられている。ユーザーは、キーボード１１５１、および一般にマウス、トラックボールまたはタッチ・パッドと呼ばれているポインティング・デバイス１１５２のような入力デバイスによって、コマンドおよび情報をコンピューター１１４１に入力することができる。他の入力デバイス（図示せず）には、マイクロフォン、ジョイスティック、ゲーム・パッド、衛星ディッシュ、スキャナー等を含むことができる。これらおよびその他の入力デバイスは、多くの場合、ユーザー入力インターフェース１１３６を介して、処理ユニット１１５９に接続される。ユーザー入力インターフェース１１３６は、システム・バスに結合されるが、パラレル・ポート、ゲーム・ポート、またはユニバーサル・シリアル・バス（ＵＳＢ）というような他のインターフェースおよびバス構造によって接続されてもよい。カメラ３４、４６およびキャプチャー・デバイス２０は、コンピューター１１４１の追加入力デバイスを定めることができる。モニター１１４２またはその他のタイプのディスプレイ・デバイスも、ビデオ・インターフェース１１３２のようなインターフェースを介して、システム・バス１１２１に接続される。モニターに加えて、コンピューターは、スピーカー１１４４およびプリンター１１４３のような、その他の周辺出力装置も含むことができ、これらは出力周辺インターフェース１１３３を介して接続することができる。
【０１５７】
[00185]  コンピューター１１４１は、リモート・コンピューター１１４６のような１つ以上のリモート・コンピューターへの論理接続を使用して、ネットワーク環境において動作することも可能である。リモート・コンピューター１１４６は、パーソナル・コンピューター、サーバー、ルーター、ネットワークＰＣ、ピア・デバイス、またはその他の共通ネットワーク・ノードとすることができ、通例、コンピューター１１４１に関して先に説明したエレメントの多くまたは全てを含むが、図１１Ｂにはメモリー記憶装置１１４７のみを示す。これらの論理接続は、ローカル・エリア・ネットワーク（ＬＡＮ）１１４５およびワイド・エリア・ネットワーク（ＷＡＮ）１１４９を含むが、他のネットワークも含むことができる。このようなネットワーク環境は、事務所、企業規模のコンピューター・ネットワーク、イントラネットおよびインターネットにおいては一般的である。
【０１５８】
[00186]  ＬＡＮネットワーク環境で使用する場合、コンピューター１１４１は、ネットワーク・インターフェースまたはアダプター１１３７を介してＬＡＮ１１４５に接続する。ＷＡＮネットワーク環境で使用する場合、コンピューター１１４１は、通例、モデム１１５０、またはインターネットのようなＷＡＮ１１４９を通じて通信を設定するその他の手段を含む。モデム１１５０は、内蔵でも外付けでもよく、ユーザー入力インターフェース１１３６またはその他のしかるべき機構を介してシステム・バス１１２１に接続することができる。ネットワーク環境では、コンピューター１１４１に関係付けて図示したプログラム・モジュール、またはその一部は、リモート・メモリー記憶装置に格納することもできる。一例として、そして限定ではなく、図１１Ｂは、リモート・アプリケーション・プログラム１１４８がメモリー・デバイス１１４７に存在するものとして示している。尚、図示のネットワーク接続は一例であり、コンピューター間で通信リンクを設定する他の手段も使用可能であることは認められよう。
【０１５９】
[00187]  開示した技術は、多数の他の汎用または特殊目的計算システム環境または構成とでも動作する。本技術と共に使用するのに適している周知の計算システム、環境、および／または構成の例には、パーソナル・コンピューター、サーバー・コンピューター、ハンドヘルドまたはラップトップ・デバイス、マルチプロセッサー・システム、マイクロプロセッサー・ベース・システム、セット・トップ・ボックス、プログラマブル消費者用電子機器、ネットワークＰＣ、ミニコンピューター、メインフレーム・コンピューター、以上のシステムまたはデバイスの内いずれを含む分散型計算環境等も含まれる。
【０１６０】
[00188]  開示した技術は、コンピューターによって実行される、プログラム・モジュールのような、コンピューター実行可能命令という一般的なコンテキストで説明することができる。一般に、本明細書において記載されるようなソフトウェアおよびプログラム・モジュールは、ルーチン、プログラム、オブジェクト、コンポーネント、データー構造、および他のタイプの構造等を含み、特定のタスクを実行するか、または特定の抽象データー・タイプを実現する。ハードウェアまたはハードウェアおよびソフトウェアの組み合わせを、本明細書において説明したように、ソフトウェア・モジュールの代わりに使用してもよい。
【０１６１】
[00189]  また、開示した技術は、分散型計算環境において実施することもでき、この場合、タスクは、通信ネットワークを通じてリンクされる遠隔処理デバイスによって実行される。分散型計算環境では、プログラム・モジュールは、メモリー記憶デバイスを含むローカルおよびリモート双方のコンピューター記憶媒体に配置されてもよい。
【０１６２】
[00190]  以上の本発明のシステムの詳細な説明は、例示および説明の目的に限って提示されたのである。これが、網羅的であることも、開示された形態そのものに本発明のシステムを限定することも意図していない。以上の教示に照らすと、多くの変更や変形が可能である。説明した実施形態は、本発明のシステムの原理およびその実用的用途について最良に説明することによって、当業者が本発明のシステムを種々の実施形態において、そして考えられる個々の使用に適するような種々の変更と共に最良に利用することを可能にするために選択されたのである。本発明のシステムの範囲は、添付される特許請求の範囲によって定められるものとする。
【図１Ｂ】
2015515688.tif 000003
【図１Ｃ】
2015515688.tif 000004
【図１Ｄ】
2015515688.tif 000005
【図１Ｅ】
2015515688.tif 000006
【図１Ｆ】
2015515688.tif 000007
【図２】
2015515688.tif 000008
【図３】
2015515688.tif 000009
【図４Ａ】
2015515688.tif 000010
【図４Ｂ】
2015515688.tif 000011
【図５Ａ】
2015515688.tif 000012
【図５Ｂ】
2015515688.tif 000013
【図５Ｃ】
2015515688.tif 000014
【図５Ｄ】
2015515688.tif 000015
【図６Ａ】
2015515688.tif 000016
【図６Ｂ】
2015515688.tif 000017
【図６Ｃ】
2015515688.tif 000018
【図６Ｄ】
2015515688.tif 000019
【図７】
2015515688.tif 000020
【図８Ａ】
2015515688.tif 000021
【図８Ｂ】
2015515688.tif 000022
【図９Ａ】
2015515688.tif 000023
【図９Ｂ】
2015515688.tif 000024
【図９Ｃ】
2015515688.tif 000025
【図９Ｄ】
2015515688.tif 000026
【図１０Ａ】
2015515688.tif 000027
【図１０Ｂ】
2015515688.tif 000028
【図１１Ａ】
2015515688.tif 000029
【図１１Ｂ】
2015515688.tif 000030
【図１Ａ】
2015515688.tif 000031
【国際調査報告】
2015515688.tif 000032
2015515688.tif 000033
2015515688.tif 000034