(57)【要約】【課題】撮像技術を備えた透視型頭部装着ディスプレイの性能を最適化することを可能にする。【解決手段】透視型頭部装着ディスプレイ、およびユーザー・プロファイルを自動的に参照することによってこのディスプレイの性能を最適化するようにディスプレイを動作させる。虹彩スキャンおよびユーザーの認識を実行することによってユーザーの識別を判定し、ユーザー・プロファイル情報を引き出し、透視型頭部装着ディスプレイによるユーザー体験を改良するためにユーザー・プロファイル情報を用いることが可能になる。ユーザー・プロファイルは、拡張現実画像を透視型頭部装着ディスプレイに供給するサービスに関するユーザー選好、および透視型頭部装着ディスプレイにおいてディスプレイ・エレメントの位置を最適化する表示調節情報を収容することができる。【選択図】図２
2014534655.tif 000002
【特許請求の範囲】
【請求項１】
透視型頭部装着ディスプレイ・デバイスの制御方法であって、
透視型ニアアイ混合現実ディスプレイによって、ユーザーの少なくとも１つの目の画像を作成するステップであって、前記ディスプレイが、目毎に、表示光学系を含み、虹彩画像を供給するために前記目の画像データーを生成する少なくとも１つのセンサーを含む、ステップと、
前記少なくとも１つの目の虹彩の前記画像においてパターンを判定するステップと、
前記ユーザーを識別するために、前記パターンに基づいて、ユーザー選好を収容するユーザー・プロファイル情報を前記ユーザーと関連付けるステップと、
前記ユーザー・プロファイルにおけるユーザー選好に基づいて、前記表示光学系において拡張現実画像をユーザーに供給するために、前記透視型ニアアイ混合現実ディスプレイを動作させるステップと、
を含む、方法。
【請求項２】
請求項１記載の方法において、パターンを判定するステップが、前記虹彩画像において瞳を検出し、前記虹彩画像において前記虹彩の周囲に虹彩円環を検出するステップと、前記虹彩画像からノイズを除去するステップと、少なくも１つのユーザーの虹彩を用いてパターンを生成するステップとを含む、方法。
【請求項３】
請求項１記載の方法において、前記ユーザー・プロファイルが、ＩＰＤ調節データーを収容し、前記動作させるステップが、ユーザーの各目を前記表示光学系におけるディスプレイ・デバイスと位置合わせさせるために、前記表示光学系を操作するステップを含む、方法。
【請求項４】
請求項３記載の方法において、前記ＩＰＤ調節データーが、前記表示光学系を三次元において位置決めするためのデーターを含む、方法。
【請求項５】
請求項１記載の方法であって、更に、
ユーザーに対するユーザー・プロファイルが存在するか否か判定し、ユーザー・プロファイルが存在しない場合、ユーザー・プロファイルを生成するステップを含み、ユーザー・プロファイルを生成する前記ステップが、
取り込まれたデーターにおいて識別される瞳位置と、それぞれの光軸位置との間における水平方向および垂直方向の瞳位置差を判定するステップと、
前記瞳位置差に基づいて、少なくとも１つの表示調節メカニズムに対して少なくとも１つの調節値を自動的に決定するステップと、
前記調節値を前記ユーザー・プロファイルに格納するステップと、
を含む、方法。
【請求項６】
透視型ニアアイ混合現実ディスプレイを含むシステムであって、
目毎に表示光学系を含む透視型ニアアイ混合現実ディスプレイであって、各表示光学系が光軸を有し、それぞれの目によって透視されるように位置付けられており、各表示光学系の１つ以上の光学エレメントを支持するためのそれぞれの可動支持構造を含む、透視型ニアアイ混合現実ディスプレイと、
前記表示光学系がＩＰＤを測定するためにある距離および方向に画像を表示する間に、前記表示光学系が、前記それぞれの目から取り込んだ反射光の目データーを生成する少なくとも１つのセンサーを含み、
前記ユーザーの少なくとも１つの目の画像データーの評価に基づいてユーザー識別を判定し、ユーザーの虹彩に基づく虹彩認識パターンを、ユーザー・プロファイルに関連付けられたユーザー虹彩認識パターンのデーターベースと比較し、前記ユーザー識別と格納されているユーザー・プロファイルとの間に一致が存在するか否か判断するようにプロセッサーに命令するコードを含むプロセッサーと、
１つ以上の位置調節値にしたがって少なくとも１つの可動支持構造を移動させるために前記それぞれの可動支持構造に接続された少なくとも１つの表示調節メカニズムと、
を含む、システム。
【請求項７】
請求項６記載のシステムにおいて、当該システムが、更に、
前記ユーザー・プロファイルから、前記可動支持構造に対する前記少なくとも１つ以上の位置調節値を引き出し、
前記表示光学系の前記１つ以上のエレメントにしたがって、前記少なくとも１つの可動支持構造を、前記ユーザーに対して瞳間距離を定める所定の特性に合わせて移動させる、
ことを前記プロセッサーに命令するコードを含む、システム。
【請求項８】
請求項７記載のシステムにおいて、前記少なくとも１つの位置調節値が、前記表示光学系を三次元で位置付けするためのデーターを含む、システム。
【請求項９】
請求項７記載のシステムにおいて、当該システムが、更に、ユーザー・プロファイルがユーザーに対して存在するか否か判定し、ユーザー・プロファイルが存在しない場合、ユーザー・プロファイルを生成することを、前記プロセッサーに命令するコードを含む、システム。
【請求項１０】
請求項７記載のシステムにおいて、当該システムが、更に、取り込まれたデーターにおいて識別される瞳位置とそれぞれの目の光軸位置との間における水平方向および垂直方向の瞳位置差を判定し、
前記瞳位置差に基づいて少なくとも１つの表示調節メカニズムに対して前記少なくとも１つの調節値を自動的に決定し、前記調節値を前記ユーザー・プロファイルに格納する、
ことを前記プロセッサーに命令するコードを含む、システム。
【請求項１１】
請求項７記載のシステムにおいて、前記ユーザー・プロファイルが、拡張現実サービスのユーザー選好、ユーザーのＩＰＤ調節データー、拡張現実情報フィルターの内１つ以上を含む、システム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、ユーザー体験を改良するためにユーザー・プロファイル情報を用いることが可能な透視型頭部装着ディスプレイに関する。
【従来技術】
【０００２】
頭部装着ディスプレイおよび双眼鏡は、ユーザーの２つの目に対して場面を見るための光学システムが１つずつある双眼目視システム(binocular viewing system)の例である。拡張現実（ＡＲ）は、実世界環境の知覚（または、実世界環境を表すデーター）が、コンピューター生成仮想データーによって拡張または変更される、拡張実世界環境を提供することに関する。例えば、実世界環境を表すデーターを、カメラまたはマイクロフォンというような知覚入力デバイスを用いてリアル・タイムで取り込み、仮想画像および仮想音響を含む、コンピューター生成仮想データーによって拡張することができる。また、仮想データーは、実世界環境内にある実世界物体に関連付けられたテキスト記述というような、実世界環境に関する情報も含むことができる。ＡＲ環境は、ビデオ・ゲーム、地図作成、ナビゲーション、および移動体デバイスのアプリケーションというような、多数のアプリケーションを改良する(enhance)ために用いることもできる。
【０００３】
ＡＲ環境の中には、実物体（即ち、特定の実世界環境内に存在する物体）と仮想物体（即ち、特定の実世界環境内に存在しない物体）との間において、リアル・タイム相互作用の知覚を可能にするものがある。頭部装着ディスプレイを適正に位置合わせする(align)と、ＡＲシステムがディスプレイを用いてディスプレイのＡＲ環境内に仮想物体を現実的に統合する機能(ability)が高められる。
【発明の概要】
【発明が解決しようとする課題】
【０００４】
本発明の課題は、自動的にユーザー・プロファイルを参照することによって、撮像技術を備えた透視型頭部装着ディスプレイの性能を最適化することを可能にする技術を提供することである。
【課題を解決するための手段】
【０００５】
虹彩スキャンおよびユーザー認識を実行することによってユーザーの識別(identity)を判定し、ユーザー・プロファイル情報を引き出して、透視型頭部装着ディスプレイによるユーザー体験を改良するために、このユーザー・プロファイル情報を用いることが可能になる。ユーザー・プロファイルは、拡張現実画像を透視型頭部装着ディスプレイに供給するサービスに関するユーザー選好、および透視型頭部装着ディスプレイにおける表示エレメントの位置を最適化する表示調節情報を収容することができる。
【０００６】
一態様において、透視型頭部装着ディスプレイを制御する方法は、透視型ニアアイ混合現実ディスプレイ(see-through, near-eye, mixed reality display)によって、ユーザーの少なくとも１つの目を撮像するためにイマジェリー(imagery)を設けるステップを含む。このディスプレイは、目毎に光学システムを含む。この光学システムは、目の画像データーを生成する少なくとも１つのセンサーとディスプレイとを含む。本方法は、少なくとも１つの目の虹彩の画像におけるパターンを判定し、このパターンに基づいてユーザー・プロファイル情報をユーザーと関連付けて、ユーザーを識別する。次いで、ユーザー・プロファイルにおけるユーザー選好に基づいて、表示光学系において拡張現実画像をユーザーに供給するためにデバイスを動作させる。
【０００７】
この摘要は、詳細な説明において以下で更に詳しく説明する概念から選択したものを簡素化した形態で紹介するために設けられている。この摘要は、特許請求する主題の主要な特徴や必須な特徴を特定することを意図するのではなく、特許請求する主題の範囲を判定するときに補助として用いられることを意図するのでもない。
【図面の簡単な説明】
【０００８】
【図１Ａ】図１Ａは、透視型ＨＭＤを着用したユーザーが見る視野の一実施形態である。
【図１Ｂ】図１Ｂは、透視型、混合現実ディスプレイ・デバイスの他の実施形態のコンポーネント例を図示するブロック図である。
【図２】図２は、本発明による方法を示すフローチャートである。
【図３Ａ】図３Ａは、虹彩スキャン手順を示すフローチャートである。
【図３Ｂ】図３Ｂは、目の虹彩の画像を示す。
【図３Ｃ】図３Ｃは、虹彩スキャン認識プロセスを示すフローチャートである。
【図４】図４は、ユーザー・プロファイルを作成するプロセスを示すフローチャートである。
【図５Ａ】図５Ａは、虹彩スキャンに基づいてユーザー構成を設定し、ユーザー・プロファイル設定によってデバイスを動作させる方法を示すフローチャートである。
【図５Ｂ】図５Ｂは、ユーザーの虹彩間距離に対してユーザー・デバイス選好設定を判定する方法を示すフローチャートである。
【図６Ａ】図６Ａは、取り込んだデーターに基づいてユーザーのＩＰＤを自動的に判定する方法のフローチャートである。
【図６Ｂ】図６Ｂは、画像フォーマットにおける目毎に虹彩の画像データーに基づいて、透視型ニアアイ混合現実ディスプレイ・デバイスをユーザーのＩＰＤと位置合わせする方法を示す。
【図６Ｃ】図６Ｃは、少なくとも１つの調節値を決定するプロセスのフローチャートである。
【図７Ａ】図７Ａは、ＩＰＤが調節可能な透視型混合現実ディスプレイ・デバイスの一実施形態のコンポーネント例を示すブロック図である。
【図７Ｂ】図７Ｂは、ＩＰＤが調節可能な透視型混合現実ディスプレイ・デバイスの一実施形態のコンポーネント例を示すブロック図である。
【図８Ａ】図８Ａは、凝視検出エレメントを含む可動表示光学系を有するめがねとして具体化された、透視型頭部装着ディスプレイの一構成例を示す。
【図８Ｂ】図８Ｂは、凝視検出エレメントを含む可動表示光学系を有するめがねとして具体化された、透視型頭部装着ディスプレイの他の構成例を示す。
【図８Ｃ】図８Ｃは、凝視検出エレメントを含む可動表示光学系を有するめがねとして具体化された、透視型頭部装着ディスプレイの更に他の構成例を示す。
【図９Ａ】図９Ａは、混合現実ディスプレイ・デバイスの一実施形態において、ハードウェアおよびソフトウェア・コンポーネントを支持するめがねの弦の側面図である。
【図９Ｂ】図９Ｂは、混合現実ディスプレイ・デバイスの一実施形態において、ハードウェアおよびソフトウェア・コンポーネントの支持、ならびにマイクロディスプレイ・アセンブリーの三次元調節を行う、めがねの弦の側面図である。
【図１０Ａ】図１０Ａは、凝視検出エレメントの構成を含む透視型ニアアイ混合現実デバイスの可動表示光学系の一実施形態の上面図である。
【図１０Ｂ】図１０Ｂは、凝視検出エレメントの構成を含む透視型ニアアイ混合現実デバイスの可動表示光学系の他の実施形態の上面図である。
【図１０Ｃ】図１０Ｃは、凝視検出エレメントの構成を含む透視型ニアアイ混合現実デバイスの可動表示光学系の第３の実施形態の上面図である。
【図１０Ｄ】図１０Ｄは、凝視検出エレメントの構成を含む透視型ニアアイ混合現実デバイスの可動表示光学系の第４の実施形態の上面図である。
【図１１】図１１は、１つ以上の実施形態と共に用いることができる透視型ニアアイ・ディスプレイ・ユニットのハードウェアおよびソフトウェア・コンポーネントの一実施形態のブロック図である。
【図１２】図１２は、透視型ニアアイ混合現実ディスプレイ・ユニットに関連付けられた処理ユニットのハードウェアおよびソフトウェア・コンポーネントの一実施形態のブロック図である。
【図１３】図１３は、本技術の実施形態において動作することができる移動体デバイスの一例のブロック図である。
【図１４】図１４は、ハブ計算システムを実現するために使用することができる計算システムの一実施形態のブロック図である。
【発明を実施するための形態】
【０００９】
カメラ技術が利用される透視型頭部装着ディスプレイを利用する技術を開示する。カメラ技術を透視型頭部装着ディスプレイ上で利用することによって、虹彩スキャンおよびユーザー認識を実行して、ユーザー・プロファイル情報を引き出し、透視型頭部装着ディスプレイによるユーザー体験を向上させる。ユーザー・プロファイルは、拡張現実画像を透視型頭部装着ディスプレイに供給するサービスに関するユーザー選好、および透視型頭部装着ディスプレイにおける表示エレメントの位置を最適化する表示調節情報を収容することができる。
【００１０】
図１Ａは、透視型頭部装着デバイス１５０を着用したユーザーが見る視野の一実施形態を示す。透視型頭部装着ディスプレイ１５０は、図１Ｂ、図７Ａ、および図７Ｂに関して図示および説明する。ユーザーは、この視野において、実物体および仮想物体の双方を見ることができる。実物体は、椅子１６、ならびにハブ計算システム１０およびディスプレイを含むことができる。仮想物体は、仮想怪物１７を含むことができる。ＨＭＤの透視レンズを介して知覚される実世界環境上に、仮想怪物１７が表示されるとまたは重ね合わせられると、ユーザーは、仮想怪物１７が実世界環境内に存在することを知覚することができる。
【００１１】
この環境は、２つの頭部装着ディスプレイ・デバイス１５０（１）および１５０（２）を含む。ハブ計算システム１０は、計算環境１２、１つ以上のキャプチャー・デバイス２１、およびディスプレイ１１を含むことができ、これらは全て互いに通信可能である。計算環境１２は、１つ以上のプロセッサーを含むことができる。キャプチャー・デバイス２１は、色検知カメラまたは深度検知カメラを含むことができる。このカメラは、特定の環境内において、人および１つ以上の他の物体を含む１つ以上のターゲットを視覚的に監視するために用いることができる。一例では、キャプチャー・デバイス２１は、ＲＧＢカメラまたは深度カメラを備えることができ、計算環境１２はセット・トップ・ボックスまたはゲーミング・コンソールを備えることができる。ハブ計算システム１０は、多数の頭部装着ディスプレイをサポートすることができる。
【００１２】
図１Ａに示すように、ユーザー２８は、透視型頭部装着ディスプレイ１８  １５０（１）を着用し、ユーザー２９は、透視型頭部装着ディスプレイ１９  １５０（２）を着用する。透視型頭部装着ディスプレイ１５０（１）および１５０（２）は、それぞれの移動体デバイスを通じて表示される視野内に仮想物体が存在することが知覚されるように、ハブ計算システム１０を含む、本明細書において記載されるような多数の処理デバイスのいずれからでも、仮想データーを受けることができる。例えば、透視型頭部装着ディスプレイ（１）を通してユーザー２８によって見られる場合、仮想物体は仮想怪物１７の背中（図示せず）として表示される。透視型頭部装着ディスプレイ１５０（１）を通してユーザー２９によって見られる場合、仮想物体は、椅子１６の背の上に現れる仮想怪物１７の正面として表示される。
【００１３】
図１Ｂは、透視型頭部装着ディスプレイ１５０および本技術を実現するシステムのブロック図を示す。頭部装着ディスプレイ・デバイス１５０は、処理ユニット（ディスプレイ・プロセッサー）２０に結合される。処理ユニット２０は、本明細書において開示する処理デバイスのいずれでも備えることができ、処理ユニット４、移動体デバイス５、または以下で論ずるハブ計算システム１２を含むがこれらに限定されるのではない。ディスプレイ・プロセッサー２０は、ネットワーク・インターフェース２５、プロセッサー２６、およびメモリー２７を含むことができ、メモリー２７は、１つ以上のアプリケーション３０を含み、ユーザー・プロファイル・データー２８０を格納する。アプリケーション３０は、ディスプレイ・プロセッサーのメモリー２７内に存在することができ、透視型頭部装着デバイスの表示において重ね合わされる情報をユーザーに提供することができる。ディスプレイ・プロセッサーは、以下で説明するように、多数の種々の手段のいずれを介してでも、頭部装着ディスプレイ・デバイス１５０に結合される。処理ユニット２０は、ネットワーク・インターフェース２５を用いて、インターネットのようなネットワーク８０と相互作用して、頭部装着ディスプレイ・デバイス１５０を、例えば、表示アプリケーション３０のためのデーターを供給する拡張現実サービス９０に結合する。
【００１４】
拡張現実サービス９０は、１つ以上のサーバー９２を設けることができる。サーバー９２は、画像データー、代わりの情報表示アプリケーション３５、表示アプリケーション３０によって使用されるユーザー位置付けサービス(user positioning service)３４を提供する。これらの補足的な情報提供元は、それ自体で補足イベント・データーを作成および供給することができ、または第３者のイベント・データー供給元からユーザーの透視型頭部装着ディスプレイにイベント・データーを送信するサービスを提供することができる。多数の補足情報提供元および第３者のイベント・データー供給元を、本技術と共に利用することができる。
【００１５】
プロセッサー２６は、アプリケーション３０および本明細書において説明する他のサービスを実現するためにプログラム命令を実行することができる。処理ユニット２０は、本明細書において説明する処理デバイスの例の内いずれでも備えることができる。
【００１６】
図１Ｂに示すのは、ユーザー・プロファイル２８０の一例である。図１Ｂに示されるように、ユーザー・プロファイル２８０は、ディスプレイ・デバイス１５０に関連付けられた処理ユニット２０に格納することができ、または拡張現実サービス９０によって格納されてもよい。プロファイル２８０は、拡張現実サービス９０によって提供されるサービスの内いずれについても、ログイン情報、サービス選好情報、情報フィルター情報、ユーザー・デバイスの物理的設定、およびユーザー・デバイスの動作設定を含むことができる。
【００１７】
拡張現実サービス９０は、透視型頭部装着ディスプレイ・デバイス１５０を利用する多数のサービスの内いずれでも提供することができる。このようなサービスの例には、イベントに基づく、リアル・タイム情報サービス（例えば、EVENT AUGMENTATION  WITH REAL-TIME INFORMATION（リアル・タイム情報によるイベント拡張）と題する米国特許出願第１３／１１２，９１９号に記載されているような情報サービス）、ライフ・レーダー追跡サービス(life radar tracking service)（例えば、CONTEXTUAL BASED INFORMATION AGGREGATION SYSTEM（コンテキストに基づく情報集計システム）と題する米国特許出願第１２／８１８，１０６号に記載されているようなサービス）、およびライフ・ストリーミング・サービス(life streaming service)（例えば、LIFE STREAMING（ライフ・ストリーミング）と題する米国特許出願第１３／０３１，０３３号に記載されているようなサービス）が含まれる。これらの全ては、ここで引用したことによって、本明細書にも具体的に含まれるものとする。サービス毎に、ユーザーのセキュリティおよびプライバシーを保護するため、そしてサービスに対してユーザーを識別するために、ログイン情報をユーザーに要求することもできる。サービス選好情報は、ユーザーが指定したサービス実施選好の内、提供されるサービスに対して特定的なものを含むことができる。情報フィルター情報は、ユーザーが透視型頭部装着ディスプレイに表示することを望む情報のタイプに対する制限を含むことができる。デバイス物理的設定は、仮想物体をユーザーに適正に表示するために、透視型頭部装着ディスプレイ・デバイスをユーザーの凝視に対して相対的に適正に位置合わせさせるために、以下で更に説明する、位置付け情報を含むことができる。デバイス動作設定は、明るさ、コントラスト、およびデバイスを着用したときにユーザーが好む他の設定を含むことができる。
【００１８】
各ユーザー・プロファイルは、以上で述べたタイプの情報の全てまたは部分集合を含むことができる。ユーザー・プロファイルは、処理ユニット２０に格納することもでき、その場合、例えば、限定された数の定期的なユーザーが常にデバイス１５０を使用する。プロファイル２８０は、サービス９０にアクセスするかもしれないあらゆる潜在的な透視型頭部装着ディスプレイ１５０に対してユーザーを特定するために、サービス９０に格納することもでき、ユーザーが、サービス９０にアクセスすることができるいずれのデバイス１５０とも対話処理して、種々の異なるデバイスにわたって同じユーザー体験を得ることが可能になる。
【００１９】
本技術によれば、透視型頭部装着ディスプレイ１５０のシステムは、ユーザー識別をユーザー・プロファイルと共に格納することを可能にするので、透視型頭部装着ディスプレイ１５０を着用することによって、ユーザーの識別を自動的に判定することができ、ユーザーのプロファイルを引き出し、このユーザー・プロファイルにしたがってユーザー体験を調節することができる。種々の例を以下で引用する。一態様では、１つ以上の拡張現実サービスと対話処理することについてのユーザー選好情報に、自動的にアクセスする。他の態様では、ユーザーの個々の物理的デバイス調節が自動的に行われる。
【００２０】
ユーザー識別情報３７は、処理ユニット２０に格納すること、拡張現実アプリケーション・サービス９０に格納すること、または双方が可能である。ユーザー識別は、本明細書において開示する透視型頭部装着ディスプレイ１５０の目取り込み技術を用いて実行され、ユーザーの虹彩スキャンを行って、ユーザーが透視型頭部装着ディスプレイ１５０を着用したときにユーザーの識別(identity)を確定する。一態様では、本システムは、ユーザー識別を用いて、透視型頭部装着ディスプレイおよび拡張現実サービスを、格納されているユーザー選好に合わせて自動的に調節することができる。一態様では、ユーザー・プロファイルを用いて、透視型頭部装着ディスプレイ１５０の表示エレメントの瞳間距離を自動的に調節することができる。瞳間距離（ＩＰＤ）は、通例、ユーザーの瞳の間における水平距離を指す。本技術は、ＩＰＤが垂直方向、即ち高さ方向の寸法を含んでもよいと規定する。更に、表示光学系からそれぞれの目までの深度距離も同様にＩＰＤデーターの中に格納することもできる。この深度距離は、ユーザーの目に関するディスプレイ・デバイスの移動を検出し、ＩＰＤ位置合わせチェック(IPD alignment check)を誘起するために監視することができる。一実施形態では、ユーザー・プロファイル・データー２８０は、ディスプレイ・プロセッサー２０のようなローカル・デバイスのみに格納される。あるいは、プロファイル・データーのローカル・デバイス格納と組み合わせて、識別およびプロファイル情報２８０を、代わりの現実サービス(alternative reality service)９０に格納してもよい。一実施形態では、サービスは提供されず、全ての情報はローカルに格納される。
【００２１】
ユーザー・プロファイル情報は、ＩＰＤデーター集合を含むことができる。格納されるＩＰＤデーター集合は、少なくとも、ＩＰＤ位置合わせチェックを開始するディスプレイ・デバイスに対する初期設定として用いることができる。実施形態の中には、１つ以上のプロセッサーがＩＰＤデーター集合における各光軸の位置を格納することができる場合もある。ユーザー毎のＩＰＤは、非対称であってもよい。初期位置からの表示光学系毎の表示調節メカニズムの調節値は、ＩＰＤデーター集合の中に保存することができる。表示調節メカニズムの初期位置は、固定フレーム部に関して固定位置を有することもできる。加えて、ブリッジ上のポイントに対する固定位置および調節値に基づいて、それぞれの瞳のユーザーの鼻に対する位置ベクトルを目毎に推定することもできる。各目に対するこれら２つの位置ベクトルが、少なくとも水平距離成分を規定し、垂直距離成分も含むことができる。１つ以上の方向における瞳間距離ＩＰＤを、これらの距離成分から導き出すことができる。加えて、ＩＰＤデーター集合は、角膜曲率半径(corneal radius)、光軸からの目視軸のずれ等を推定するというような、視線追跡に用いられるあらゆる個人的較正の結果も含み、ユーザーが１回よりも多くこれを行わなければならないことを回避することができる。
【００２２】
透視型頭部装着ディスプレイは、ユーザーの目の各々によって透視されるように位置付けられた光軸を有する表示光学系を含む。最も近いディスプレイ・デバイスは、各表示光学系の光軸がそれぞれの瞳と位置合わせされるときに、ユーザーのＩＰＤと位置合わせさせられる。光軸に沿って目から反射した光を受光するように位置付けられた検出エリアを有する少なくとも１つのセンサーを有することによって、所定距離および方向において仮想物体の表示の間にＩＰＤを測定するために光軸を通って取り込まれた反射光のデーターから、各表示光学系の光軸とそれぞれの瞳との位置合わせを判定することができる。仮想物体は、画像においてリンゴまたは友人のような実在の品目として現れることができる。このリンゴまたは友人は実際には実世界視野には存在しないが、このリンゴまたは友人は、三次元空間の前方において、実際に前方にある実世界品目上に着座しているように現れることができるというだけのことである。各瞳が光軸と判断基準の範囲内で位置合わせされていない場合、それぞれの表示光学系は、位置合わせが判断基準を満たすまで調節される。判断基準の一例は、例えば、１ｍｍである。凝視の検出、ＩＰＤ、および自動調節が可能な透視型頭部装着ディスプレイの例が、以下の出願において開示されている。
【００２３】
発明者がJohn R. Lewis、Yichen Wei、Robert L. Crocco、Benjamin I. Vaught、Alex Aben-Athar Kipman、およびKathryn Stone Perezであり、GAZE DETECTION IN A NEAR-EYE DISPLAY（ニアアイ・ディスプレイにおける凝視検出）と題し、本願と同じ譲受人に譲渡され、２０１１年８月３０日に出願された同時係属中の米国特許出願第１３／２２１，７３９号（弁理士整理番号第０１４６６号）。
【００２４】
発明者がJohn R. Lewis、Kathryn Stone Perez、Robert L. Crocco、およびAlex Aben-Athar Kipmanであり、ADJUSTMENT OF A MIXED REALITY DISPLAY FOR INTER-PUPILLARY DISTANCE ALIGNMENT（瞳間距離の位置合わせのための混合現実ディスプレイの調節）と題し、本願と同じ譲受人に譲渡され、２０１１年８月３０日に出願された同時係属中の米国特許出願第１３／２２１，７０７号（弁理士整理番号第０１４６７号）。
【００２５】
発明者がJohn R. Lewis、Yichen Wei、Robert L. Crocco、Benjamin I. Vaught、Kathryn Stone Perez、およびAlex Aben-Athar Kipmanであり、ALIGNING INTER-PUPILLARY DISTANCE IN A NEAR-EYE DISPLAY SYSTEM（ニアアイ・ディスプレイ・システムにおける瞳間距離の位置合わせ）と題し、本願と同じ譲受人に譲渡され、２０１１年８月３０日に出願された同時係属中の米国特許出願第１３／２２１，６６２号（弁理士整理番号第０１４６９号）。
【００２６】
以下で説明する実施形態では、各表示光学系は、支持構造内に配置される。支持構造は、表示調節メカニズムによって位置を調節することができる。多くの例において、この調節はプロセッサーの制御下で自動的に行われる。例えば、１つよりも多い方向の調節は、表示光学系を垂直方向、水平方向、または深度方向に移動させることができるモーターの集合体によって行うことができる。他の実施形態では、表示調節メカニズムは、表示される命令または可聴命令にしたがって表示光学系を位置付けるためにユーザーが作動させる機械式表示調節メカニズムである。以下で例示する例では、各作動が、表示光学系を特定の方向に移動させるべき距離の測定値に対応するように、機械式表示調節メカニズムの制御が較正される。
【００２７】
ユーザー識別情報３７は１つ以上のプライバシー関連法に該当する情報およびプライバシーの懸念が生ずる情報を含むこともあるので、虹彩情報を暗号化されたフォーマットで格納するような作業をするとよい。例えば、ユーザー識別データーの各スキャンを、ユーザーのプロファイル情報２８０に関連つけられた暗号化ハッシュとして格納し、虹彩スキャンの画像データーを破棄するとよい。これによって、ユーザーの実際の虹彩データーは格納されないことが保証されるが、プロファイル情報は、後続のスキャンの間に引き出すことができる。
【００２８】
図２は、本技術にしたがってユーザーを識別するプロセスを示すフローチャートである。ステップ２０２において、本プロセスは、多数の種々の手段のいずれかによって開始される。ユーザーは、透視型頭部装着ディスプレイを着用することができ、本プロセスは自動的に開始することができ、ＳＴＨＭＤが虹彩の画像を検出すると直ちに、または本プロセスを開始するための物理的ボタンをクリックするというように、ユーザーが入力方法を選択したときに、本プロセスが開始することができる。ステップ２０４において、ユーザーの虹彩スキャンを行う。虹彩スキャン手順については、以下で論ずる。
【００２９】
ステップ２０６において、虹彩スキャンの結果をユーザー・プロファイル・データー・ストアと比較して、スキャンされた虹彩パターンと、ユーザー・プロファイルに関連付けて格納されている虹彩パターンとの間に一致が存在するか否か判断する。一実施形態では、ステップ２０６における比較は、ディスプレイ・プロセッサー・メモリー２７にローカルに格納されているプロファイル・データーに対して行うことができる。プロファイル情報がローカル処理デバイスにおいて発見されない場合、サービス９０において識別およびプロファイル情報をチェックする。一実施形態では、サービスが提供されず、全ての情報がローカルに格納される。ステップ２０８においてプロファイルが発見された場合、ユーザー・プロファイル構成設定を用いて、ユーザー・プロファイルに基づいて透視型頭部装着ディスプレイを構成する。ステップ２０８においてプロファイルが発見されない場合、ステップ２１２においてプロファイルを作成し、ステップ２１４において格納することができる。格納は、プロファイルを処理ユニット２０において格納すること、または拡張現実サービス・プロバイダー９０に格納することを含むのでもよい。尚、ユーザー・プロファイルの作成および格納は、ユーザーにとって任意であってもよいことを注記しておく。即ち、ユーザーは、拡張現実サービス９０を使用するために、ユーザー・プロファイルを格納する必要はない。
【００３０】
図３Ａは、ユーザーの識別を確定するためにユーザーの目をスキャンするプロセス２０４を示すフローチャートである。任意にステップ３０２において、透視型頭部装着ディスプレイのカメラ（１つまたは複数）が虹彩の明確な映像(view)を表示することができるように、ユーザーに彼らの目を一定の位置に位置付け、彼らの目を大きく開くように命令してもよい（画面上の表示、またはオーディオ信号のような他の手段によって）。ステップ３０４において、ユーザーの目の１つ以上の画像を、透視型頭部装着ディスプレイのカメラを用いて形成する。ステップ３０６において、虹彩認識処理を実行する。方法の一例を図３Ａに示す。ステップ３０８において、パターン判定アルゴリズムを用いて、システムによって要求される精度で、ユーザーの虹彩におけるパターンを判定する。一実施形態では、システムが少数のユーザー間で区別できるように、基本パターンが検出される。代替実施形態では、もっと大人数のユーザー間で更に区別するために、更に詳細な精度レベルが利用される。ステップ３１０において、パターンをユーザー・プロファイルと照合するために、パターンをパターン照合エンジンに出力する。
【００３１】
図３Ｂは、ユーザーの虹彩の図である。虹彩スキャン処理は、個人の目の画像のパターン認識技法を使用する。本技術では、以下で論ずる虹彩認識、カメラ・システム、および透視型頭部装着ディスプレイの照明源の実施形態では、虹彩の画像を作成する。これらの画像は、ユーザーを識別するために、虹彩のパターン化表現に変換することができる。可視光または赤外線撮像技法を使用することができる。
【００３２】
図３Ｃは、虹彩認識プロセスを示すフローチャートである。ステップ３８０において、画像改良処理を行う。本明細書において論ずる透視型頭部装着ディスプレイにおける画像キャプチャー・デバイスは、ユーザーの目（１つまたは複数）の画像を捕らえることができる。次いで、この画像を処理して、コントラストを高め、ノイズを低減し、認識には必要でない要素を画像から除去することができる。ステップ３８２において、虹彩領域を分離する。一般に、虹彩システムの定位方法は、画像強度の第１導関数を利用して、虹彩の縁に対応するエッジの位置を示す。一般に、多数の虹彩認識アルゴリズムの内いずれを利用しても、目の写真において、近似的に同心円状になる虹彩および瞳の外周を識別することができる。一般に、瞳を形成する虹彩の内周は、瞳の境界が本質的に円形のエッジであるという事実を利用することによって判定することができる。瞳は全体的に暗く、一方虹彩の方が明るく、色素形性が異なる。瞳の境界を検出する方法は、円に沿って合計するときに、明るさをチェックして急激で突然の変化を求める。一実施形態では、瞳内にある楕円の周回積分を計算し、軸の長さを増すために、この楕円の軸方向における積分導関数(integral derivative)を計算する。同じ方法は、瞼の境界を検出するために用いることもできる。
【００３３】
次いで、虹彩のみを覆う１組の画素を、２つの虹彩画像間において統計的に有意な比較のために必須である情報を保存するパターンに変換する。識別（１対多数のテンプレート照合）または検証（１対１のテンプレート照合）によって認証するために、虹彩を撮像することによって作成されたテンプレートを、データーベースに格納されている値テンプレートと比較する。
【００３４】
ステップ３８４において、１つ以上のアルゴリズムを用いて一致パターンを計算する。パターン照合は、新たに捕らえた虹彩パターンを、候補データー・ベース・エントリと空間的に位置合わせさせ、それらの示差的なパターンを明白にする位置合わせ虹彩パターンの表現を選択し、候補表現とデーターベース表現との間における一致度(goodness)を評価し、一致の成功を決定することを含む。目のような顔の表情を発見および追跡する多くの代替方法が存在する。種々の虹彩認識技法が、米国特許第６，６４１，３４９号、および米国特許第５，２９１，５６０号、ならびにDaugmanのHow Iris Recognition Works（虹彩認識の進め方）,(IEEE TRANSACTIONS ON CIRCUITS AND SYSTEMS FOR VIDEO TECHNOLOGY, VOL. 14, NO.1, JANUARY 2004)に記載されている。これらの各々は、ここで引用したことにより、その全体が具体的に本明細書にも含まれるものとする。
【００３５】
図４は、ユーザー・プロファイル２８０の作成および更新を示すフローチャートである。尚、ユーザー・プロファイルの作成は、サービス・プロバイダーが構成を可能にすることを望むパラメータであればいくつでも格納できるようにするとよいことは言うまでもない。図４に示すステップの各々は、別々にそして非同期に実行してユーザー・プロファイルを作成することもできる。即ち、各ステップは、作成するためまたは既存のユーザー・プロファイルに追加するために実行することもできる。ステップ４０２において、ユーザーが拡張現実サービスの１つ以上についてサービス選好を指定し終えている場合、このユーザー・サービス選好を格納することができる。例えば、ユーザーが同時係属中の出願第（ＭＳＦＴ１４２５）号に開示されているようイベント・ベースの情報システムの透視型頭部装着ディスプレイのための情報フィードに加入する場合、ユーザーはこのサービスのフィードにおいて提示される情報のタイプを限定することを望むこともある。サービスに関するユーザー選好は、ステップ４０２において、ユーザーのユーザー・プロファイル２８０に格納される。ステップ４０４において、ユーザーが、多数のサービスの内１つにユーザーがログインすることを可能にする証明書を提供すると、このログイン証明書をユーザー・プロファイル２８０と共に格納し、ユーザー識別の判定に基づいて自動的に引き出すことができる。ステップ４０６において、拡張現実サービス・プロバイダー９０によって提供される情報に対してユーザーによって指定された情報フィルターをユーザー・プロファイル２８０に格納する。情報フィルターは、透視型頭部装着ディスプレイにおいてユーザーに提示することができる情報の量およびタイプを限定する。情報フィルターは、情報がユーザーに提供されるときに、ユーザーによって定めることもできる。例えば、特定のタイプの情報が拡張現実サービスによって表示されるとき、ユーザーは、そのタイプの情報は今後サービスによって表示されないように指示することができる。ある種の情報は、交通警報(traffic alert)または特定の製品に関する広告を含む場合もある。一旦そのタイプの情報を表示させないという指示がユーザーによって出されたなら、フィルターが作成され、プロファイル２８０がこのフィルターを格納することができる。
【００３６】
ステップ４０８において、デバイス設定選好を設定することができる。先に注記したように、本システムはユーザー識別を用いて、自動的に透視型頭部装着ディスプレイおよび拡張現実サービスを、格納されているユーザー選好に合わせて調節することができる。一態様では、ユーザー・プロファイルは、透視型頭部装着ディスプレイ１５０の表示エレメントの瞳間距離を自動的に調節するために用いることができる。透視型頭部装着ディスプレイは、ＩＰＤの自動調節に対応し、表示光学系からそれぞれの目までの、垂直および／または水平寸法、および／または深度距離を含むことができる。
【００３７】
図５Ａは、符号２１０におけるユーザー・プロファイルに基づいて構成を設定する方法を示すフローチャートであり、この構成は、１人以上のユーザーの瞳間距離（ＩＰＤ）との位置合わせのために、透視型ニアアイ混合現実ディスプレイ・デバイスを調節し、そしてその後２１４においてデバイスを動作させるためである。ステップ５４２において、ディスプレイが、ユーザー・プロファイルにおいて定められているユーザーＩＰＤと位置合わせされているか否かに関して、初期判断を行う。ステップ５４２において、制御回路１３６の１つ以上のプロセッサー、例えば、プロセッサー、処理装置、ハブ計算システム、またはこれらの組み合わせが、自動的に、透視型ニアアイ混合現実ディスプレイ・デバイスがユーザーのＩＰＤと位置合わせされているか否か、位置合わせ判断基準にしたがって、判断する。透視型ニアアイ混合現実ディスプレイ・デバイスがユーザーのＩＰＤと位置合わせされていると判断された場合、本方法はステップ５４６に進み、位置合わせの変化を監視する。
【００３８】
ディスプレイが位置合わせされていない場合、ステップ５４４において、識別されたユーザーのユーザー・プロファイルからＩＰＤを選択する。
ディスプレイ・デバイス２（図７Ａ、図７Ｂ）は、目毎に表示光学系を有し、実施形態の中には、１つ以上のプロセッサーが、ＩＰＤを、位置合わせ判断基準を満たす位置における表示光学系の光軸間の距離として格納する場合もある。実施形態の中には、１つ以上のプロセッサーが、各光軸の位置をユーザー・プロファイルにおけるＩＰＤデーター集合の中に格納する場合もある。ユーザーのＩＰＤは、例えば、ユーザーの鼻に関して非対称であることもある。例えば、左目が右目よりも少し鼻に近いこともある。一例では、初期位置からの表示光学系毎の表示調節メカニズムの調節値を、ユーザー・プロファイルにおけるＩＰＤデーター集合の中に保存することができる。表示調節メカニズムの初期位置は、静止フレーム部分、例えば、ブリッジ１０４上の点に関して固定位置を有するとよい。この静止フレーム部分に関する固定位置、そして１つ以上の移動方向に対する調節値に基づいて、固定フレーム部分に関する各光軸の位置を、表示光学系毎の瞳整列位置(pupil alignment position)として格納することができる。加えて、静止フレーム部分がブリッジ上の点である場合、このブリッジ上の点に対する固定位置および調節値に基づいて、それぞれの瞳のユーザーの鼻への位置ベクトルを、目毎に推定することができる。各目についての２つの位置ベクトルは、少なくとも水平距離成分を規定し、垂直距離成分も含むことができる。１つ以上の方向における瞳間距離ＩＰＤは、これらの距離成分から導き出すことができる。
【００３９】
ステップ５４５において、少なくとも１つの表示光学系に対する位置合わせ判断基準を満たすために、少なくとも１つの表示調節メカニズムに対して決定されたＩＰＤデーター集合から１つ以上の調節値を引き出す。ステップ５４６において、処理ユニット（ディスプレー・プロセッサー）２０が、図８Ａ〜図８Ｃに関して論ずるメカニズム８０３のような表示調節メカニズムに、ステップ５４６において選択されたＩＰＤとの位置合わせのために、目毎に表示光学系８１４を自動的に調節させる。あるいは、透視型頭部装着ディスプレイに対する調節を手作業で行うように、ユーザーに命令することもできる。
【００４０】
ステップ５４７において、サービス選好というような追加のユーザー選好、サービスに対するログイン情報、および情報フィルターをユーザー・プロファイルから引き出す。
ステップ５４８において、ユーザー選好にしたがって、デバイスを動作させる。ステップ５４８において、処理ユニット２０によって変化が検出され、選択されたＩＰＤとの位置合わせがもはや位置合わせ判断基準を満たしていないことを示すことがあり得る。これによって、ステップ５５０において、位置合わせ判断基準を満たすために表示光学系の内少なくとも１つを自動的に再調節するように、プロセッサーをトリガーする。位置合わせ判断基準は、数ミリメートル、例えば、３mmの距離としてもよい。ユーザーの焦点を追跡するために連続的に行われる凝視判定方法が、この変化を検出することもできる。
【００４１】
図５Ｂは、方法４０８の一実施形態を示すフローチャートである。方法４０８は、ユーザー設定に対してユーザー・プロファイル・エントリを作成する。すると、透視型ニアアイ混合現実ディスプレイの１人以上のユーザーに対してデバイス２１４を動作させるときに、調節可能なＩＰＤ位置合わせを自動的に規定することができる。ステップ５１８において、処理ユニット２０は、各目からの反射光について取り込んだデーターに基づいて、ユーザーのＩＰＤを自動的に判定し、そしてステップ５２０において、ＩＰＤデーターをユーザーに関連付けて、ユーザー・プロファイルに格納する。ステップ５４６において、透視型頭部装着ディスプレイは、判定したＩＰＤに基づいて、ディスプレイの目毎の表示光学系を自動的に調節する。ステップ５１９において、ＩＰＤおよびユーザーの特有の特性に対して、１つ以上の調節値を決定する。ＩＰＤデーターおよび調節は、人間の頭蓋骨の制限(confines)のために、成人に対しては固定されているのが一般的であるので、ＩＰＤデーターは、ステップ５２０において、１回決定し格納すればよい。一旦ステップ５４６においてディスプレイを調節したなら、本方法は、ＩＰＤデーター集合およびユーザー選好を格納するステップ４１０を完了し、図２の方法はステップ２１４および２１６を完了する。
【００４２】
ＩＰＤを判定し格納するための種々の方法が、同時係属中の特許出願第１４６７号に開示されている。代替実施形態では、ユーザー・プロファイルが近ＩＰＤおよび遠ＩＰＤを格納する場合、処理ユニット２０は、凝視データーに基づいて凝視点の距離を判定し、この凝視点の距離に基づいて、近ＩＰＤまたは遠ＩＰＤのいずれかをＩＰＤとして選択する。
【００４３】
図６Ａ〜図６Ｃは、透視型ニアアイ混合現実ディスプレイをＩＰＤと位置合わせさせる方法を示す。
図６Ａは、透視型ニアアイ混合現実ディスプレイをＩＰＤと位置合わせする方法の実施形態６００のフローチャートである。ステップ６０２から６０６は、透視型ニアアイ混合現実ディスプレイ・デバイスがユーザーのＩＰＤと位置合わせされているか否か、位置合わせ判断基準にしたがって自動的に判断するステップ５４２の一例を更に詳しく示す。ステップ６０７および６０８は、ステップ５４８におけるように、デバイスをユーザーＩＰＤと位置合わせさせるためにディスプレイ・デバイスを調節する一例の更に詳細なステップを示す。図３Ｃについて論じたように、この調節は、プロセッサーによって自動的に行うことができ、または機械的調節のためにユーザーに電子的に命令を供給することもできる。
【００４４】
図６Ａおよび図８Ａ〜図１０Ｄにおいて以下で開示する実施形態を参照すると、ステップ６０２において、制御回路のプロセッサー２１０、処理ユニットにおけるプロセッサー、移動体デバイス、またはハブ計算システムというような、透視型ニアアイ混合現実システムの１つ以上のプロセッサーが、単独でまたは組み合わせで、ＩＰＤを判定するために、ある距離および方向においてユーザー視野内で物体を識別する。遠ＩＰＤにとって、この距離は事実上無限遠、例えば、５フィートよりも長く、方向は、各表示光学系の光軸に関して真向かいである。言い換えると、各瞳が各光軸と位置合わせされると、ユーザーは真っ直ぐ前を見ていることになるような距離および方向になる。ステップ６０３において、１つ以上のプロセッサーは、ユーザーの焦点を物体に引きつける処理を実行する。一例では、１つ以上のプロセッサーは、識別された実物体を見るようにユーザーに要求する命令を電子的に供給する。場合によっては、ユーザーに単に前方を見るように頼めばよいこともある。
【００４５】
ステップ６０４において、それぞれの表示光学系の凝視検出エレメントの構成におけるセンサー１３４ｒまたは光検出器１５２あるいは双方というような少なくとも１つのセンサーが、物体の観察期間中に目毎のデーターを取り込む。一例では、取り込まれるデーターは、ＩＲ画像データー、および各目から反射してＩＲカメラによって取り込まれるグリントであってもよい。他の例では、少なくとも１つのセンサーは、位置感応検出器のようなＩＲセンサーである。また、少なくとも１つのセンサーはＩＲ光検出器であってもよい。例の中には、少なくとも１つのセンサーが可視光カメラであってもよい場合もある。
【００４６】
ステップ６０６において、１つ以上のプロセッサーは、取り込んだデーター、および凝視検出エレメントの構成に基づいて、各瞳がそれぞれの表示光学系の光軸と位置合わせされているか否か、位置合わせ判断基準にしたがって判断する。位置合わせ判断基準は、光軸からの距離、例えば、２ミリメートル（ｍｍ）としてもよい。位置合わせされている場合（Ｙｅｓ）、ディスプレイ・デバイス２は各瞳、したがって、ＩＰＤと位置合わせされていることになり、ステップ６０９において、１つ以上のプロセッサーは各光軸の位置をＩＰＤデーター集合に格納する。
【００４７】
位置合わせ判断基準が満たされない場合（Ｎｏ）、次にステップ６０７において、１つ以上のプロセッサーは、少なくとも１つの表示光学系に対して位置合わせ判断基準を満たすために、少なくとも１つの表示調節メカニズムに対して１つ以上の調節値を自動的に決定する。「自動的に決定する」とは、ユーザーが機械的操作を経て調節値を特定することなく、１つ以上のプロセッサーが値を決定することを意味する。多くの実施形態では、格納されているデバイス構成データーに基づいて、支持構造の固定点に関する光軸の現在の位置が追跡される。ステップ６０８において、プロセッサーは、１つ以上の調節値に基づいて、少なくとも１つのそれぞれの表示光学系の調節を行わせる。自動調節では、１つ以上のプロセッサーは、少なくとも１つの表示調節メカニズム２０３を１つ以上の表示調節メカニズム・ドライバー２４５によって制御して、１つ以上の調節値に基づいて、少なくとも１つのそれぞれの表示光学系を移動させる。機械的調節手法では、プロセッサーは、機械的コントローラーによって１つ以上の調節値を少なくとも１つの表示調節メカニズムに適用するために、ユーザーに電子的に命令を供給する。本方法実施形態のステップは、所定の回数、または位置合わせ判断基準が満たされるまで、繰り返すことができる。
【００４８】
図６Ｂは、画像フォーマットとした目毎の瞳の画像データーに基づいて、透視型ニアアイ混合現実ディスプレイ・デバイスをユーザーのＩＰＤと位置合わせさせる実施態様例の方法実施形態６１０のフローチャートである。画像フォーマットは、例えば、画像センサーのサイズおよび形状によって設定されるような、所定のサイズおよび形状を有する。画像フォーマットの一例に、画像フレームがある。このフォーマットは、画像データー内における位置を追跡するために、座標系を規定し、例えば、中心を原点とする。画像センサー、例えば、ＩＲカメラまたは望ましければ可視光カメラの検出エリアが、表示光学系1４の光軸１４２を中心とするとき、画像フォーマットとした画像データーは、光軸１４２を中心とする。瞳の中心が画像の中心から離れている量が、瞳が十分に光軸と位置合わせしているか否か判断する基準となる。
【００４９】
ステップ６１２において、ＩＰＤを判定するために、ある距離および方向におけるユーザー視野において実物体を識別し、ステップ６１３において、１つ以上のプロセッサーが、この実物体にユーザーの焦点を引きつける処理を実行する。ステップ６１４において、それぞれの表示光学系の光軸と位置合わせされている少なくとも１つのセンサーによって、実物体の観察期間中に、各目の画像データーを画像フォーマットで取り込む。それぞれの光軸に関するそれぞれの瞳位置を、ステップ６１５において、画像データーから判定する。強度値に閾値を設定することによって、画像データーにおける瞳エリアを識別することができる。瞳のサイズおよび形状を近似するために、楕円当てはめアルゴリズムを適用することができ、結果的に得られた楕円の中心を、瞳の中心として選択することができる。理想的には、瞳の中心が表示光学系の光軸と位置合わせされる。ステップ６１６において、１つ以上のプロセッサーは、位置合わせ判断基準にしたがって、画像フォーマット、例えば、画像フレームにおける瞳位置に基づいて、各瞳がそれぞれの光軸と位置合わせされているか否か判断する。検出エリア１３９が光軸１４２を中心とする場合、１つ以上のプロセッサーは、位置合わせ判断基準にしたがって、瞳位置が画像フォーマット、例えば、画像フレームにおける中心に位置付けられているか否か判断する。瞳位置は、光軸に関して、目毎に水平および垂直方向に決定することができる。
【００５０】
位置合わせ判断基準が満たされる場合（Ｙｅｓ）、１つ以上のプロセッサーは、ステップ６０９において、各光軸の位置をＩＰＤデーター集合に格納する。満たされない場合（Ｎｏ）、ステップ６１７において、１つ以上のプロセッサーは、位置合わせ判断基準を満たさない表示光学系毎に、少なくとも１つのセンサーのマッピング判断基準に基づいて、それぞれの表示調節メカニズムに対して少なくとも１つの調節値を決定する。ステップ６１８において、１つ以上のプロセッサーはそれぞれの表示調節メカニズムを制御して、少なくとも１つの調節値に基づいて、それぞれの表示光学系を移動させる。本方法実施形態のステップは、所定の回数、または位置合わせ判断基準が満たされるまで、繰り返すことができる。
【００５１】
図６Ｃは、少なくとも１つの調節値を決定するステップ６１７を実現するために用いることができる方法実施形態のフローチャートである。ステップ６４２において、少なくとも１つのセンサーに対するマッピング判断基準に基づいて、１つ以上のプロセッサーは水平瞳位置差ベクトルを決定する。調節が行われる方向毎に、画素／距離マッピング判断基準を用いることができる。このマッピング判断基準は、画像センサーの検出エリアの形状によっては、垂直方向と水平方向で異なる場合もある。ステップ６４４において、少なくとも１つのセンサーに対するマッピング判断基準に基づいて、垂直瞳位置差ベクトルも決定する。ステップ６４６において、１つ以上のプロセッサーは、水平瞳位置差ベクトルを水平調節値に相関付け、そしてステップ６４８において、垂直瞳位置差ベクトルを垂直調節値に相関付ける。
【００５２】
水平ＩＰＤは２５から３０ｍｍの間の範囲を有すると考えられるので、表示調節メカニズムは、いずれの方向においても表示光学系を移動させる距離の範囲が制限されることがある。深度調節が、水平方向または垂直方向における範囲外の調節値を、範囲内に入れるのに役立つことができる。任意のステップ６５１および６５３を実行することもできる。１つ以上のプロセッサーは、任意のステップ６５１において、水平または垂直調節値のいずれかが範囲外に出ているか否か判断する。出ていない場合（Ｎｏ）、２次元平面における移動によって、表示光学系の位置合わせを遂行することができ、ステップ６１８を実行することができる。少なくとも１つの調節値が範囲外に出ている場合（Ｙｅｓ）、１つ以上のプロセッサーは、任意のステップ６５３において、あらゆる範囲外水平または垂直調節値を範囲制限に近づけるまたはその中に収めるために深度調節値を決定し、ステップ６１８を実行して、表示光学系を調節することができる。
【００５３】
代表的な例(illustrative example)として、光軸が右側に１２ｍｍ寄っており、表示調節メカニズムが表示光学系を左に６ｍｍしか移動させることができない場合、表示光学系と瞳との間の深度を増すことによって、光軸の位置に対して真っ直ぐ前を見たときの瞳からの角度が広がるので、深度の増加と左への６ｍｍの調節との組み合わせにより、位置合わせ判断基準による瞳との位置合わせに光軸を近づける。垂直方向の調節も必要となる場合もあり、または深度調節値を修正することもあるので、垂直次元(vertical dimension)における深度変化の効果も考慮に入れるとよい。
【００５４】
図６Ｂおよび図６Ｃの実施形態は、グリントが互いに幾何学的関係を有し、センサーが画素のような離散センサーの表面を有するときには、各目からのグリント・データーにも適用することができる。例えば、照明器によって目に対して生成されるグリントは、照明器の位置によって、目に対するそれぞれの表示光学系の光軸と位置合わせされる箱型または他の幾何学的形状を形成する。センサーがグリントを検出する位置感応検出器（ＰＳＤ）である場合、センサー上の位置、および固定照明器から生成されるグリントについて検出される強度値を用いて、瞳の位置をマッピングする。ＩＲカメラまたは可視光カメラからの画像データーでも、瞳位置判定に対して更に高い精度が得られるが、グリント・データー手法の方が処理するデーターが少なくて済み、したがって計算集約的でない。
【００５５】
他の実施形態では、凝視データーに基づいて透視型ニアアイ混合現実ディスプレイをＩＰＤと位置合わせさせる実施態様を採用することもできる。このような実施形態では、１つ以上のプロセッサーが、表示光学系に対する凝視検出エレメントの構成に基づいて、各目に対して実物体までの基準凝視ベクトルを判定する。この基準凝視ベクトルは、それぞれの表示光学系の光軸を通過する。凝視判定方法の実施形態は、出願番号第１４６７号において論じられている。
【００５６】
以上で述べた方法は、グリント・データーを用いて凝視を判定するときに用いることができる。一実施形態では、グリント反射は、遙かに多い目の画像データー集合を処理するのではなく、グリントについて検出された強度値の数個のデーター点に基づいて、凝視を推定することができる。めがねフレーム１１５またはニアアイ・ディスプレイ・デバイスの他の支持構造上における照明器１５３の位置は、１つ以上のセンサーによって検出されるグリントの位置がセンサー検出エリアにおいて固定されるように、固定されるとよい。
【００５７】
図７Ａは、透視型混合現実ディスプレイ・デバイスが動作することができるシステム環境において、ＩＰＤが調節可能な透視型混合現実ディスプレイ・デバイスの一実施形態のコンポーネント例を示すブロック図である。システム１０は、ニアアイ頭部装着ディスプレイ・デバイス１５０として、ワイヤ６によって処理ユニット４と通信可能な透視型ディスプレイ・デバイスを含む。他の実施形態では、頭部装着ディスプレイ・デバイス１５０は、ワイヤレス通信によって処理ユニット４と通信する。頭部装着ディスプレイ・デバイス１５０は、一実施形態ではめがねのフレーム１１５の形状であり、本例では目毎の表示光学系１４として具体化されたディスプレイをユーザーが透視することができるように、ユーザーの頭部に着用され、これによってユーザーの前方にある空間の実際の直視野(direct view)を得ることができる。
【００５８】
「実際の直視野」という用語の使用は、作成された物体の画像表現を見るのではなく、人間の目によって直接実世界物体を見ることができることを指す。例えば、ガラスを通して部屋を見ると、ユーザーはこの部屋の実際の直視野を得ることができ、一方テレビジョン上で部屋のビデオを見ても、この部屋の直視野にはならない。ソフトウェア、例えば、ゲーミング・アプリケーションを実行するコンテキストに基づいて、本システムは、仮想画像と呼ばれることもある仮想物体の画像を、ディスプレイ上に投射することができ、これらの画像は、透視型ディスプレイ・デバイスを着用した人によって見ることができ、しかもこの人はディスプレイを通して実世界の物体も見ている。
【００５９】
フレーム１１５は、本システムのエレメントを適所に保持するための支持体となり、更に電気接続のための線渠にもなる。この実施形態では、フレーム１１５は、以下で更に論ずる本システムのエレメントのための支持体として、便利なめがねフレームになっている。他の実施形態では、他の支持構造を使用することができる。このような構造の一例に、バイザーまたはゴーグルがある。フレーム１１５は、ユーザーの耳の各々の上に載せる弦、即ち、サイド・アームを含む。弦１０２は、右側の弦の一実施形態を表し、ディスプレイ・デバイス１５０の制御回路１３６を含む。フレームの鼻当て１０４は、音響を記録しオーディオ・データーを処理ユニット４に送信するためのマイクロフォン１１０を含む。
【００６０】
一実施形態では、処理ユニット４は、ユーザーの手首に着用され、透視型頭部装着ディスプレイ１５０を動作させるために用いられる計算パワーの多くを含む。処理ユニット４は、ワイヤレスで（例えば、Wi-Fi、Bluetooth、赤外線、または他のワイヤレス通信手段）１つ以上のハブ計算システム１０（１２）に通信することができる。
【００６１】
ハブ計算システム１０は、コンピューター、ゲーミング・システムまたはコンソール等とすることができる。一実施形態例によれば、ハブ計算システム１０がゲーミング・アプリケーション、ゲーミング以外のアプリケーション等というようなアプリケーションを実行するために使用できるように、ハードウェア・コンポーネントおよび／またはソフトウェア・コンポーネントを含むことができる。一実施形態では、ハブ計算システム１０は、標準化されたプロセッサー、特殊プロセッサー、マイクロプロセッサー等というようなプロセッサーを含むことができ、本明細書において説明するプロセスを実行するために、プロセッサー読み取り可能記憶デバイスに格納された命令を実行することができる。
【００６２】
更に、ハブ計算システム１０は、キャプチャー・デバイス２１Ａおよび２１Ｂのような、１つ以上のキャプチャー・デバイスも含む。他の実施形態では、部屋またはユーザーの他の物理環境を取り込むために、２つよりも多いまたは少ないキャプチャー・デバイスを使用することができる。
【００６３】
キャプチャー・デバイス２１Ａおよび２１Ｂは、例えば、１人以上のユーザーによって行われるジェスチャーおよび／または動き、更には周囲の空間の構造を取り込み、分析し、追跡して、アプリケーションにおいて１つ以上の制御または動作を実行する、および／またはアバターまたは画面上のキャラクターを動画化することができるように、１人以上のユーザーおよび周囲の空間を視覚的に監視するカメラとすることができる。アプリケーションは、ハブ計算システム１０、ディスプレイ・デバイス１５０、以下で論ずるような移動体デバイス５、またはこれらの組み合わせにおいて実行していればよい。
【００６４】
ハブ計算システム１０は、ゲームまたはアプリケーションの映像部分を供給することができるテレビジョン、モニター、高品位テレビジョン（ＨＤＴＶ）等のようなオーディオ・ビジュアル・デバイス１１に接続されていてもよい。例えば、ハブ計算システム１０は、ゲーム・アプリケーション、ゲーム以外のアプリケーション等と関連付けられたオーディオ・ビジュアル信号を供給することができる、グラフィクス・カードのようなビデオ・アダプター、および／またはサウンド・カードのようなオーディオ・アダプターを含んでもよい。オーディオ・ビジュアル・デバイス１１は、ハブ計算システム１０からオーディオ・ビジュアル信号を受け取ることができ、次いでこのオーディオ・ビジュアル信号と関連付けられたゲームまたはアプリケーションの映像部分および／またはオーディオを出力することができる。一実施形態によれば、オーディオ・ビジュアル・デバイス１１は、ハブ計算システム１０に、例えば、Ｓ−Ｖｉｄｅｏケーブル、同軸ケーブル、ＨＤＭＩ（登録商標）ケーブル、ＤＶＩケーブル、ＶＧＡケーブル、コンポーネント・ビデオ・ケーブル、ＲＣＡケーブル等によって接続されるのでもよい。一例では、オーディオ・ビジュアル・デバイス１１は内部スピーカーを含む。他の実施形態では、オーディオ・ビジュアル・デバイス１１、別個のステレオ、またはハブ計算システム１０が外部スピーカー２２に接続される。
【００６５】
図７Ｂは、ＩＰＤが調節可能な透視型混合現実ディスプレイ・デバイスの他の実施形態のコンポーネント例を示すブロック図である。この実施形態では、透視型頭部装着ディスプレイ１５０は、処理ユニット４の一実施形態例として、移動体（モバイル）デバイス５と通信する。この図示した例では、移動体デバイス５は、ワイヤ６を通じて通信するが、他の例では通信はワイヤレスであってもよい。
【００６６】
更に、ハブ計算システム１０におけるように、ゲーミング・アプリケーションおよびゲーミング以外のアプリケーションは、移動体デバイス５のプロセッサーにおいて実行することができ、ユーザーの動作が移動体デバイス５を制御するか、またはユーザーの動作が、移動体デバイス５のディスプレイ７上に表示することができるアバターを動かす。また、移動体デバイス５は、インターネットまたは他の通信ネットワークを通じて有線通信媒体またはワイヤレス通信媒体を介して、ハブ計算システム１０のような他の計算デバイスと通信するためのネットワーク・インターフェースも設ける。例えば、ユーザーは、オンライン・ゲーミング・セッションに、他の移動体デバイスのユーザーおよびハブ計算システム１０のようなもっと強力なシステム上でプレーしているユーザーと共に参加することができる。このような移動体デバイス５のハードウェアおよびソフトウェア・コンポーネントの例は、図２０において説明するような、スマートフォンまたはタブレット計算デバイスにおいて具体化することもできる。移動体デバイス５の他の例には、ラップトップまたはノートブック・コンピューター、およびネットブック・コンピューターがある。
【００６７】
図８Ａは、凝視検出エレメントを含む可動表示光学系を有するめがねとして具体化された、透視型頭部装着ディスプレイの一構成例を示す。目毎のレンズのように見えるものは、目毎の表示光学系１４、例えば、１４ｒおよび１４ｌである。表示光学系は、透視レンズ、例えば、図７Ａ、図７Ｂ、図９Ａ〜図９Ｂ、および図１０Ａ、図１０Ｂにおける１１６、１１８を、通常の１対のめがねにおけると同様に含むが、仮想コンテンツを、レンズ１１６、１１８を通して見られる実際の直接実世界視野と継ぎ目なく融合するための光学エレメント（例えば、ミラー、フィルター）も内蔵する。表示光学系１４の光軸は、透視レンズ１１６、１１８のほぼ中心を通り、光はほぼ平行化されて、歪みのない映像を供給する。例えば、アイケア(eye care)の専門家が通常の１対のめがねをユーザーの顔に合わせるとき、各瞳がそれぞれのレンズの中心または光軸と位置合わせされ、ほぼ平行化された光がユーザーの目に到達して明確な映像、即ち歪みのない映像が得られる位置で、めがねがユーザーの鼻の上に載ることが目標となる。
【００６８】
図８Ａの例では、少なくとも１つのセンサーの検出エリア１３９ｒ、１３９ｌが、それぞれの表示光学系１４ｒ、１４ｌの光軸と位置合わせされているので、検出エリア１３９ｒ、１３９ｌの中心が、光軸にそった光を捕らえている。表示光学系１４がユーザーの瞳と位置合わせされると、それぞれのセンサー１３４の各検出エリア１３９がユーザーの瞳と位置合わせされる。検出エリア１３９の反射光は、１つ以上の光学エレメントを通して、カメラの実画像センサー１３４に転送される。
【００６９】
一例では、一般にＲＧＢカメラとも呼ばれる可視光カメラがセンサーであってもよく、光学エレメントまたは光誘導エレメントの一例は、部分的に透過性で部分的に反射性の可視光反射ミラーである。例の中には、カメラが小型である、例えば、２ｍｍ（ミリメートル）×２ｍｍであるとよい場合もある。他の例では、少なくとも１つのセンサー１３４はＩＲカメラまたは位置感応検出器（ＰＳＤ）であり、この検出器にＩＲ放射光線を導くとよい。例えば、高温反射面(hot reflecting surface)は可視光を透過させるが、ＩＲ放射光線を反射させることができる。例の中には、センサー１３４がＲＧＢおよびＩＲカメラの組み合わせであってもよく、光誘導エレメントが可視光反射または拡散エレメントおよびＩＲ放射光線反射または拡散エレメントを含むとよい場合もある。
【００７０】
図８Ａの例では、４組の照明器１５３があり、これらは光検出器１５２と対をなしバリア１５４によって分離されて、照明器１５３によって生成される入射光と光検出器１５２において受光される反射光との間における干渉を回避する。図面における不要な混乱を避けるために、参照符号は、代表的な対に関して示されている。各照明器は、所定の波長で狭い光ビームを生成する赤外線（ＩＲ）照明器とすることができる。光検出器の各々は、所定の波長において光を取り込むように選択することができる。また、赤外線は近赤外線も含むことができる。
【００７１】
以下で説明するように、凝視ベクトルを判定する一部として角膜中心を計算する実施形態では、２つのグリント、したがって、２つの照明器で十分である。しかしながら、他の実施形態では、瞳の位置にしたがって凝視ベクトルを判定するときに、追加のグリントを使用する場合もある。グリントおよび目のデーターを繰り返し、例えば、毎秒３０フレーム以上で取り込むに連れて、１つのグリントについてのデーターが、瞼またはまつげによって遮断されることがあるが、他の照明器によって生成されるグリントによってデーターを収集することができる。
【００７２】
図８Ａにおいて、各表示光学系１４ならびにカメラ１３４のような各目に面する凝視検出エレメントの配置およびその検出エリア１３９、光学位置合わせエレメント（この図には示されていない。以下の図６Ａ〜図６Ｄ参照）、照明器１５３、および光検出器１５２は、可動内部フレーム部分１１７ｌ、１１７ｒ上に配置されている。この例では、表示調節メカニズムは、軸２０５を有する１つ以上のモーター２０３を備え、軸２０５は物体を３つの次元の内少なくとも１つに押すまたは引くためにこの物体に取り付けられる。この例では、物体は内部フレーム部分１１７であり、この内部フレーム部分１１７は、モーター２０３によって駆動される軸２０５の誘導および動力の下で、フレーム１１５内部において左から右に、またはその逆に摺動する。他の実施形態では、１つのモーター２０３が双方の内部フレームを駆動するのでもよい。図９Ａおよび図９Ｂを参照して論ずると、ディスプレイ・デバイス１５０の制御回路１３６のプロセッサーは、モーター２０３によって軸２０５の異なる方向における調節を制御するために、フレーム１１５内部にある電気接続を介して１つ以上のモーター２０３に接続することができる。更に、モーター２０３は、フレーム１１５の電気接続を介して電源にもアクセスする。
【００７３】
図８Ｂは、凝視検出エレメントを含む可動表示光学系を有するめがねとして具体化された、透視型頭部装着ディスプレイの他の構成例を示す。この実施形態では、各表示光学系１４が別個のフレーム部分１１５l、１１５ｒ、例えば、別個のめがねフレーム型セクションの中に封入されており、このめがねフレーム型セクションは、モーター２０３によって個々に移動可能になっている。実施形態の中には、いずれの方向における移動範囲も、１０ミリメートル未満である場合がある。実施形態の中には、製品に対して提供されるフレーム・サイズの範囲によっては、移動範囲が６ミリメートル未満である場合もある。水平方向について、各フレームを数ミリメートル左または右に移動させても、例えば、めがねの弦１０２の間の幅には重大な影響はない。めがねの弦は、表示光学系１４をユーザーの頭部に取り付ける。
【００７４】
図８Ｃは、凝視検出エレメントを含む可動表示光学系を有するめがねとして具体化された、透視型頭部装着ディスプレイの更に他の構成例を示す。この例では、センサー１３４ｒ、１３４ｌ自体が、そのそれぞれの表示光学系１４ｒ、１４ｌの中心において、光軸と一直線状になっている、即ち、位置合わせされているが、システム１４の下においてフレーム１１５上に配置されている。加えて、実施形態の中には、カメラ１３４が深度カメラであるか、または深度カメラを含むとよい場合もある。この例では、２組の照明器１５３および光検出器１５２がある。
【００７５】
瞳間距離は、水平方向におけるユーザーの瞳の間の距離を記述することができるが、垂直方向の差も判定することができる。加えて、目とディスプレイ・デバイス１５０との間で表示光学系を深度方向に移動させると、光軸をユーザーの瞳と位置合わせさせるのを補助することもできる。ユーザーは、実際に頭蓋骨内において彼らの眼球の深さが異なる場合もある。また、頭部に関してディスプレイ・デバイスを深度方向に移動させると、表示光学系１４の光軸とそのそれぞれの瞳との間に位置合わせのずれを生ずることもある。
【００７６】
この例では、モーターは各表示光学系１４を３つの次元で移動させるためのＸＹＺメカニズムの一例を形成する。この例におけるモーター２０３は、外側フレーム１１５上に配置されており、その軸２０５はそれぞれの内側フレーム部分１１７の上面および底面に取り付けられている。モーター２０３の動作は、プロセッサー２１０の制御回路１３６によって、それらの軸の動きに合わせて同期が取られている。加えて、これは混合現実デバイスであるので、仮想物体の画像またはそれぞれの表示光学系１４における表示のための仮想画像を生成する各マイクロディスプレイ・アセンブリー１７３は、表示光学系との光学的位置合わせを維持するためにも、モーターおよび軸によって移動させられる。マイクロディスプレイ・アセンブリー１７３の例については、以下で更に説明する。この例では、モーター２０３は、三軸モーターであり、即ち、３つの次元においてその軸を移動させることができる。例えば、十字線ガイドの中心に沿って、１つの軸方向に軸を前進および後退させることができ、更に十字線ガイドの垂直開口内の同じ平面において２つの直交方向の各々に軸が移動することができる。
【００７７】
図９Ａは、透視型混合現実ディスプレイ・デバイスの一実施形態において、ハードウェアおよびソフトウェア・コンポーネントを支持するフレーム１１５のめがねの弦１０２の側面図である。フレーム１１５の前面には、ビデオおよび静止画像を取り込むことができるビデオ・カメラ１１３に面する物理環境がある。特に、ディスプレイ・デバイス１５０がハブ計算システム１２のキャプチャー・デバイス２１ａおよび２１ｂのような深度カメラと共に動作していない環境では、物理環境に面するカメラ１１３は可視光感応カメラであるだけでなく深度カメラでもある。例えば、深度カメラは、ＩＲ照明伝搬器(IR illuminator transmitter)およびホット・ミラーのような高温反射面(hot reflecting surface)を可視光撮像センサー(visible image sensor)の前に含むことができる。可視光画像センサーは、可視光を通過させ、照明器を透過する波長範囲内の反射ＩＲ放射光線をＣＣＤまたは他のタイプの深度センサーに導く。これらのセンサーからのデーターは、制御回路１３６のプロセッサー２１０、または処理ユニット６，５、あるいは双方に送ることができる。ユニット６、５がこのデーターを処理するのでもよいが、ユニット６、５は、処理のために、ネットワークまたはハブ計算システム１２を介してコンピューター・システムに送ることもできる。この処理は、画像セグメント化およびエッジ検出技法によって物体を識別し、深度をユーザーの実世界視野内にある物体にマッピングする。加えて、物理環境に面するカメラ１１３は、周囲光を測定する測光計も含むことができる。
【００７８】
制御回路１３６は、頭部装着ディスプレイ・デバイス１５０の他のコンポーネントをサポートする種々の電子回路を設ける。制御回路１３６のこれ以上の詳細については、図７に関して以下で示す。弦１０２の内部にある、または弦１０２に装着されるのは、イヤホン１３０、慣性センサー１３２、ＧＰＳ送受信機１４４、および温度センサー１３８である。一実施形態では、慣性センサー１３２は、三軸磁力計１３２Ａ、三軸ジャイロ１３２Ｂ、および三軸加速度計１３２Ｃ（図７参照）を含む。慣性センサーは、頭部装着ディスプレイ・デバイス１５０の位置、向き、および突然の加速を検知するためにある。これらの動きから、頭の位置を判定することもできる。
【００７９】
ディスプレイ・デバイス１５０は、１つ以上の仮想物体の画像を生成することができるタイプのディスプレイ・エレメントを設ける。実施形態の中には、マイクロディスプレイをディスプレイ・エレメントとして使用できる場合がある。この例におけるマイクロディスプレイ・アセンブリー１７３は、光処理エレメント、および可変焦点調節器１３５を備えている。光処理エレメントの一例は、マイクロディスプレイ・ユニット１２０である。他の例には、レンズ系１２２の１つ以上のレンズというような１つ以上の光学エレメント、ならびに図１０Ａ〜図１０Ｄにおける表面１２４、１２４ａ、および１２４ｂのような１つ以上の反射エレメントが含まれる。レンズ系１２２は、１枚のレンズまたは複数のレンズを含むこともできる。
【００８０】
マイクロディスプレイ・ユニット１２０は、弦１０２に装着されるかまたはその内側にあり、画像源を含み、仮想物体の画像を生成する。マイクロディスプレイ・ユニット１２０は、以下の図に示すように、レンズ系１２２、ならびに反射面１２４または反射面１２４ａおよび１２４ｂと光学的に位置合わせされる。光学的な位置合わせは、光軸１３３、または１つ以上の光軸を含む光路１３３に沿っていればよい。マイクロディスプレイ・ユニット１２０は、仮想物体の画像を、レンズ系１２２を通して投射する。レンズ系１２２は、画像光を反射エレメント１２４上に導くことができ、反射エレメント１２４は、この光を、図６Ｃおよび図６Ｄにおけるような導光光学エレメント１１２に導くか、あるいは部分的反射エレメント１２４ｂまたは反射面１２４ａ（例えば、ミラーまたは他の表面）に導く。反射面１２４ａは、仮想画像の光を部分的反射エレメント１２４ｂに導き、部分的反射エレメント１２４ｂは、図６Ａ〜図６Ｄにおけるように、経路１３３に沿った仮想画像視野を、光軸１４２に沿った自然なまたは実際の直視野と組み合わせる。これらの視野の組み合わせが、ユーザーの目に導かれる。
【００８１】
可変焦点調節器１３５は、マイクロディスプレイ・アセンブリーの光路内にある１つ以上の光処理エレメント間における変位、またはマイクロディスプレイ・アセンブリーにおけるエレメントの光学倍率(optical power)を変化させる。レンズの光学倍率は、その焦点距離の逆数、例えば、１／焦点距離と定められているので、一方が変化すると他方に影響を及ぼす。この変化の結果、マイクロディスプレイ・アセンブリー１７３によって生成された画像に対して焦点が合っている視野の領域、例えば、ある距離における領域が変化することになる。
【００８２】
変位変化を起こすマイクロディスプレイ・アセンブリー１７３の一例では、この変位変化は、アーマチャー１３７内部で導かれる。アーマチャー１３７は、この例では、レンズ系１２２およびマイクロディスプレイ・ユニット１２０のような、少なくとも１つの光処理エレメントを支持する。アーマチャー１３７は、エレメントの物理的移動の間、光路１３３に沿った位置合わせを安定させて、選択された変位または選択された光学パワーを得るのに役立つ。例の中には、調節器１３５がアーマチャー１３７の内部でレンズ系１２２におけるレンズのような１つ以上の光学エレメントを移動させるとよい場合もある。他の例では、このアーマチャーは、光処理エレメントの周囲のエリアに溝または空間を有し、光学処理エレメントを移動させることなく、エレメント、例えば、マイクロディスプレイ・ユニット１２０を超えて滑るようにすることができる。レンズ系１２２のようなアーマチャー内にある他のエレメントは、このシステムまたはその中のレンズが、移動するアーマチャー１３７と共に摺動または移動するように取り付けられる。変位の範囲は、通例、数ミリメートル（ｍｍ）程度である。一例では、この範囲は１〜２ｍｍである。他の例では、アーマチャー１３７は、変位以外の他の物理パラメータの調節を伴う焦点調節技法のために、レンズ系１２２に対する支持体を設けることができる。
【００８３】
一例では、調節器１３５は、圧電モーターのようなアクチュエーターであってもよい。アクチュエーターのための他の技術を使用してもよく、このような技術の例をいくつか挙げると、コイルと永久磁石によって形成されたボイス・コイル、磁気歪みエレメント、および電気歪みエレメントがある。
【００８４】
マイクロディスプレイ・ユニット１２０を実現するためには、複数の異なる画像生成技術を使用することができる。例えば、マイクロディスプレイ・ユニット１２０は、透過型投射技術を使用して実現することができる。この場合、光源は、白色光によるバックライトを受ける、光学活性物質によって変調される。これらの技術は、通常、強力なバックライトおよび高い光エネルギー密度を有するＬＣＤ型ディスプレイを使用して実現される。また、マイクロディスプレイ・ユニット１２０は、反射技術を使用して実現することもできる。この場合、外部光が反射され光学活性物質によって変調される。技術に応じて、白色光源またはＲＧＢ光源のいずれかによって照明が前方に照らされる。ディジタル光処理（ＤＬＰ）、シリコン上液晶（ＬＣＯＳ）、およびQualcomm, inc.（クアルコム社）からのMirasol（登録商標）表示技術は全て反射技術の例である。これらの技術は、殆どのエネルギーが変調構造(modulated structure)から遠ざかるように反射されるので効率的であり、本明細書において記載するシステムにおいて使用することができる。加えて、マイクロディスプレイ・ユニット１２０は、発光技術を使用して実現することもできる。この場合、光はディスプレイによって生成される。例えば、Microvision, Inc.（マイクロビジョン社）からのＰｉｃｏＰ（登録商標）は、レーザー信号を、マイクロ・ミラー制御によって、透過エレメントとして作用する小さな画面上に出すか、または直接目に向けて送る（例えば、レーザー）。
【００８５】
前述のように、マイクロディスプレイ・アセンブリー１７３の光処理エレメントの構成から、仮想物体が画像において現れる焦点距離または焦点領域が求められる。この構成を変更すると、仮想物体画像の焦点領域が変化する。光処理エレメントによって決定される焦点領域は、式１／Ｓ１＋１／Ｓ２＝１／ｆに基づいて決定および変更することができる。
【００８６】
記号ｆは、マイクロディスプレイ・アセンブリー１７３におけるレンズ系１２２のような、レンズの焦点距離を表す。レンズ系１２２は、前節点(front nodal point)および後節点(rear nodal point)を有する。光線がいずれかの節点に向けて、光軸に対して所与の角度で導かれると、この光線は他方の節点から光軸に対して同等の角度で現れる。一例では、レンズ系１２２の後節点は、それ自体とマイクロディスプレイ・ユニット１２０との間にある。後節点からマイクロディスプレイ・ユニット１２０までの距離をＳ２で示すことができる。前節点は、通例、レンズ系１２２の数ｍｍ以内にある。目標位置は、ユーザーの物理空間の三次元モデルにおいてマイクロディスプレイ・ユニット１２０によって生成される仮想画像の位置である。前節点から仮想画像の目標位置までの距離はＳ１で示すことができる。画像は、レンズのマイクロディスプレイ・ユニット１２０と同じ側に現れる仮想画像になるので、符号の慣例によりＳ１は負の値を有することになる。
【００８７】
レンズの焦点距離が固定されている場合、仮想物体を異なる深度で合焦するためには、Ｓ１およびＳ２を変化させる。例えば、初期位置において、Ｓ１を無限遠に設定し、Ｓ２をレンズ系１２２の焦点距離に等しく設定するとよい。レンズ系１２２の焦点距離が１０ｍｍであると仮定して、仮想物体をユーザーの視野内約１フィートまたは３０ｃｍに置く例について考える。この場合、Ｓ１は約−３００ｍｍであり、ｆは１０ｍｍであり、Ｓ２は現焦点距離である１０ｍｍの初期位置にあり、レンズ系１２２の後節点がマイクロディスプレイ・ユニット１２０から１０ｍｍのところにあることを意味する。１／（−３００）＋１／Ｓ２＝１／１０に基づいて、レンズ１２２とマイクロディスプレイ・ユニット１２０との間における新たな距離または新たな変位を決定する。ここで、全ての単位はｍｍである。その結果、Ｓ２は約９．６７ｍｍとなる。
【００８８】
一例では、処理ユニット４は、Ｓ１およびＳ２について変位値を計算することができ、焦点距離ｆを固定のままにして、制御回路１３６に、駆動信号を可変調節器ドライバー２３７（図６参照）に送らせて、例えば、可変仮想焦点調節器１３５にレンズ系１２２を光路１３３に沿って移動させることができる。他の実施形態では、レンズ系１２２を移動させる代わりにまたはそれに加えて、マイクロディスプレイ・ユニット１２０を移動させてもよい。他の実施形態では、光路１３３に沿った変位変化の代わりにまたはこれと共に、レンズ系１２２における少なくとも１つのレンズの焦点距離を変更してもよい。
【００８９】
図９Ｂは、混合現実ディスプレイ・デバイスの他の実施形態において、ハードウェアおよびソフトウェア・コンポーネントの支持、ならびにマイクロディスプレイ・アセンブリーの三次元調節を行う、めがねの弦の側面図である。先に図５Ａにおいて示した番号の一部は、図面における煩雑さを回避するために、削除されている。表示光学系１４が３つの次元のいずれにでも移動させられる実施形態では、反射面１２４によって表される光学エレメント、およびマイクロディスプレイ・アセンブリー１７３の他のエレメント、例えば、１２０、１２２も、仮想画像の光の表示光学系に対する光路１３３を維持するために、移動させることができる。この例におけるＸＹＺメカニズムは、モーター・ブロック２０３によって代表される１つ以上のモーターおよび軸２０５によって構成され、制御回路１３６のプロセッサー２１０の制御の下で、マイクロディスプレイ・アセンブリー１７３のエレメントの移動を制御する。使用することができるモーターの例に、圧電モーターがある。図示する例では、１つのモーターがアーマチャー１３７に取り付けられ、可変焦点調節器１３５も移動させて、他の代表的なモーター２０３が反射エレメント１２４の移動を制御する。
【００９０】
図１０Ａは、凝視検出エレメントの構成を含む透視型ニアアイ混合現実デバイス２の可動表示光学系１４の一実施形態の上面図である。透視型頭部装着ディスプレイ１５０のフレーム１１５の一部は、表示光学系１４を包囲し、図示のように、マイクロディスプレイ・ユニット１２０およびそれに付帯するエレメントを含むマイクロディスプレイ・アセンブリー１７３の一実施形態のエレメントに対する支持体を設ける。ディスプレイ・システム１４、この場合は、右目システムのコンポーネントについて示すために、表示光学系を取り囲むフレーム１１５の最上位部分は描かれていない。加えて、この図では、表示調節メカニズム２０３の動作に傾注するために、ブリッジ１０４におけるマイクロフォン１１０も示されていない。図６Ｃの例におけると同様、この実施形態における表示光学系１４は、内側フレーム１１７ｒを移動させることによって移動させられる。この例では、内側フレーム１１７ｒはマイクロディスプレイ・アセンブリー１７３も包囲する。この実施形態では、表示調節メカニズムは三軸モーター２０３として具体化されている。三軸モーター２０３は、三（３）軸の移動を示す記号１４４によって示されるように、３つの次元のいずれにでも表示光学系１４を並進させるために、その軸２０５を内側フレーム１１７ｒに取り付ける。この実施形態では、表示光学系１４はマイクロディスプレイ・アセンブリー１７３を含む。
【００９１】
この実施形態における表示光学系１４は、光軸１４２を有し、ユーザーが実世界を実際に直接見ることを可能にする透視レンズ１１８を含む。この例では、透視レンズ１１８は、めがねに使用される標準的なレンズであり、いかなる処方に合わせて（処方がない場合も含む）作ることもできる。他の実施形態では、透視レンズ１１８を可変処方レンズと置き換えることができる。実施形態の中には、透視型頭部装着ディスプレイ１５０が追加のレンズを含む場合もある。
【００９２】
更に、表示光学系１４は、代表的な部分的反射面１２４ｂも備えている。この実施形態では、マイクロディスプレイ１２０からの光は、レンズ１１８に埋め込まれた部分的反射エレメント１２４ｂによって、光路１３３に沿って導かれ、光路１３３に沿って進む仮想画像を、光軸１４２に沿った自然なまたは実際の直視野と組み合わせ、最も明確な光景が得られるように最も平行化された光が来る位置の光軸において、組み合わせられた光景がユーザーの目に向けて導かれるようにする。
【００９３】
光センサーの検出エリア１３９ｒは、表示光学系１４ｒの一部でもある。光学エレメント１２５は、光軸１４２に沿ってユーザーの目から受光された反射光を取り込むことによって、検出エリア１３９ｒを具体化し、取り込んだ光を、この例では、内側フレーム１１７ｒ内部にあるレンズ１１８内に配置されているセンサー１３４ｒに導く。一例では、センサー１３４ｒは可視光カメラまたはＲＧＢ／ＩＲカメラの組み合わせであり、光学エレメント１２５は、ユーザーの目から反射した可視光を反射する光学エレメント、例えば、部分的反射ミラーを含む。他の実施形態では、センサー１３４ｒは、ＩＲカメラのようなＩＲ感応デバイスであり、エレメント１２５は、可視光を通過させＩＲ放射光線をセンサー１３４ｒに向けて反射する高温反射面を含む。ＩＲセンサーの他の例には、位置感応デバイス（ＰＳＤ）がある。
【００９４】
図１０Ａ〜図１０Ｄにおける反射エレメント１２５、１２４、１２４ａ、および１２４ｂの描画は、それらの機能を表す。これらの表面は多数の形態の内いずれでもなすことができ、カメラ・センサーまたはユーザーの目というようなその意図する宛先に光を導くために、１つ以上の配列とした１つ以上の光学コンポーネントで実現することができる。図示のように、この配列によって、センサーの検出エリア１３９はその中心を表示光学系１４の中心と位置合わせさせることが可能になる。画像センサー１３４ｒは、検出エリア１３９を取り込むので、画像センサーにおいて取り込まれる画像は、光軸を中心として位置付けられる。
【００９５】
ユーザーが真っ直ぐ前を見ており、検出エリア１３９または画像センサー１３４ｒが事実上ディスプレイの光軸を中心として位置付けられるときにユーザーの瞳の中心がユーザーの目を取り込んだ画像において中心に位置するとき、表示光学系１４ｒは、瞳と位置を合わされる。双方の表示光学系１４がそれらのそれぞれの瞳と位置合わせされるとき、光学的中心間の距離は、ユーザーの瞳間距離と一致する、即ち、位置合わせされる。図６Ａの例では、３つの次元において、瞳間距離を表示光学系１４と位置合わせすることができる。
【００９６】
一実施形態では、センサー１３４によって取り込まれたデーターが、瞳が光軸と位置合わせされていないことを示す場合、処理ユニット２０または制御回路１３６あるいは双方における１つ以上のプロセッサーは、瞳の画像がどのくらい光軸１４２から離れているか判定するために、距離または長さの測定単位を画像の画素または他の離散単位あるいは面積に相関付けるマッピング値を用いる。判定された距離に基づいて、１つ以上のプロセッサーは、光軸１４２を瞳と位置合わせさせるためにはどのくらいの距離そしてどの方向に表示光学系１４を移動させるべきかについて調節値を決定する。制御信号は、１つ以上の表示調節メカニズム・ドライバー２４５によって、１つ以上の表示調節メカニズム２０３を構成するコンポーネント、例えば、モーター２０３の各々に印加される。この例におけるモーターの場合、これらのモーターは、制御信号によって示された少なくとも１つの方向に内側フレーム１１７ｒを移動させるために、それらの軸２０５を動かす。内側フレーム１１７ｒの弦側には、フレーム１１５の可撓性セクションがあり、これらの可撓性セクションは、一端において内側フレーム１１７ｒに取り付けられており、表示光学系１４がそれぞれの瞳に関して幅、高さ、または奥行き変化に対する３つの方向のいずかに移動すると、フレーム１１５の弦の内部にある溝２１７ａおよび２１７ｂ内を摺動して、内側フレーム１１７をフレーム１１５に固定する。
【００９７】
センサーに加えて、表示光学系１４は他の凝視検出エレメントも含む。この実施形態では、レンズ１１８の両側においてフレーム１１７ｒに取り付けられているのは、少なくとも２つであるがそれ以上でもよい赤外線（ＩＲ）照明デバイス１５３である。赤外線照明デバイス１５３は、特定の波長範囲内の狭い赤外線光ビームをユーザーの目に向けて出射し、各々ユーザーの角膜の表面上にそれぞれのグリントを生成する。他の実施形態では、照明器およびいずれのフォトダイオードも、レンズ上の、例えば、角またはエッジにあってもよい。この実施形態では、少なくとも２つの赤外線（ＩＲ）照明デバイス１５３に加えて、ＩＲ光検出器１５２がある。各光検出器１５２は、その対応するＩＲ照明器１５３の特定の波長範囲内のＩＲ放射光線にレンズ１１８を介して感応し、それぞれのグリントを検出するように位置付けられる。図６Ａ〜図４Ｃに示すように、この照明器および光検出器は、バリア１５４によって分離されているので、照明器１５３からの入射ＩＲ光は、光検出器１５２によって受光される反射ＩＲ光と干渉しない。センサーがＩＲセンサーである場合、光検出器１５２は必要でないこともあり、または追加のキャプチャー源であってもよい。可視光カメラを用いる場合、光検出器１５２はグリントからの光を取り込み、グリント強度値を生成する。
【００９８】
実施形態の中には、センサー１３４ｒがグリントだけでなく、瞳を含むユーザーの目の赤外線または近赤外線画像も取り込むＩＲカメラであるとよい場合もある。他の実施形態では、センサー・デバイス１３４ｒは、位置感応デバイス（ＰＳＤ）である。これは、光学位置センサーと呼ばれることもある。センサーの表面上で検出された光の位置が識別される。ＰＳＤは、グリントに対するＩＲ照明器の波長範囲に感応するものを選択することができる。この位置感応デバイスの波長範囲内の光が、デバイスのセンサー、即ち光感応部において検出されると、検出器の表面上における位置を識別する電気信号が生成される。実施形態の中には、ＰＳＤの表面が画素のような複数の離散センサーに分割されている場合があり、これらの離散センサーから、光の位置を判定することができる。他の例では、ＰＳＤ等方性センサー（ＰSD isotropic sensor）を用いることもでき、この場合、表面上における局所抵抗の変化を用いて、ＰＳＤ上の光スポットの位置を特定することができる。ＰＳＤの他の実施形態を用いてもよい。所定のシーケンスで照明器１５３を動作させることによって、ＰＳＤ上におけるグリントの反射位置を識別し、したがって角膜面上におけるそれらの位置に逆に関係付けることができる。
【００９９】
図１０Ａ〜図１０Ｄにおいて、凝視検出エレメント、例えば、検出エリア１３９、ならびに照明器１５３および光検出器１５２の位置は、表示光学系１４の光軸に関して固定される。これらのエレメントは、表示光学系１４ｒと共に、したがってその光軸と共に、内側フレーム上で移動することができるが、これらの光軸１４２に対する空間関係は変化しない。
【０１００】
図１０Ｂは、凝視検出エレメントの構成を含む透視型ニアアイ混合現実デバイスの可動表示光学系の他の実施形態の上面図である。この実施形態では、光センサー１３４ｒは、ＲＧＢカメラと呼ばれることもある可視光カメラとして具体化することができ、あるいはＩＲカメラまたは可視光およびＩＲ範囲双方における光を処理することができるカメラ、例えば、深度カメラとして具体化することもできる。この例では、画像センサー１３４ｒが検出エリア１３９ｒとなる。このカメラの画像センサー１３４は、表示光学系の光軸１４２上に垂直に配置される。例の中には、このカメラをフレーム１１５上に、透視レンズ１１８の上または下に配置するか、あるいはレンズ１１８に埋め込むことができる場合もある。実施形態の中には、照明器１５３がカメラのために光を供給する場合もあり、更に他の実施形態では、カメラが周囲光によって画像を取り込む場合もある。取り込まれた画像データーは、瞳の光軸との位置合わせを判定するために用いることができる。凝視検出エレメントの幾何学的形状に基づいて、画像データー、グリント・データーまたは双方に基づく凝視判定技法を用いることができる。
【０１０１】
この例では、ブリッジ１０４内にあるモーター２０３が、方向記号１４４によって示すように、ユーザーの目に関して水平方向に表示光学系１４ｒを移動させる。可撓性フレーム部分２１５ａおよび２１５ｂは、システム１４が移動させられると、溝２１７ａおよび２１７ｂ内を摺動する。この例では、マイクロディスプレイ・アセンブリー１７３の実施形態の反射エレメント１２４ａは静止する。ＩＰＤは通例１回判定されて格納されるので、マイクロディスプレイ１２０と反射エレメント１２４ａとの間において行うことができる焦点距離の調節はいずれも、マイクロディスプレイ・アセンブリーによって、例えば、アーマチャー１３７内にあるマイクロディスプレイ・エレメントの調節によって行うことができる。
【０１０２】
図１０Ｃは、凝視検出エレメントの構成を含む透視型ニアアイ混合現実ディスプレイ・デバイスの可動表示光学系の第３の実施形態の上面図である。表示光学系１４は、ＩＲ照明器１５３および光検出器１５２を含む凝視検出エレメント、ならびに光軸１４２の下または上においてフレーム１１５またはレンズ１１８上に配置された光センサー１３４ｒも同様の構成を有する。この例では、表示光学系１４は、仮想画像をユーザーの目に導くための反射エレメントとして導光光学エレメント１１２を含み、追加の透視レンズ１１６と透視レンズ１１８との間に配置されている。反射エレメント１２４が導光光学エレメントの内部にありエレメント１１２と共に移動するので、マイクロディスプレイ・アセンブリー１７３の一実施形態は、この例では、弦１０２の上において、表示光学系１４のための表示調節メカニズム２０３に取り付けられる。表示調節メカニズム２０３は、１組の三軸モーター２０３および軸２０５として具体化され、マイクロディスプレイ・アセンブリーを移動させるために少なくとも１つを含む。ブリッジ１０４上にある１つ以上のモーター２０３は、三軸移動１４４を与える表示調節メカニズム２０３の他のコンポーネントを代表する。他の実施形態では、これらのモーターは、それらの取り付けられた軸２０５を介して水平方向にデバイスを移動させるためだけに動作するのでもよい。また、マイクロディスプレイ・アセンブリー１７３用のモーターは、マイクロディスプレイ１２０から出射する光と反射エレメント１２４との間における位置合わせを維持するために、水平方向にもそれを移動させる。制御回路（図７参照）のプロセッサー２１０はこれらの移動を調整する。
【０１０３】
導光光学エレメント１１２は、マイクロディスプレイ・ユニット１２０からの光を、頭部装着ディスプレイ・デバイス１５０を着用しているユーザーの目に伝える。また、導光光学エレメント１１２は、頭部装着ディスプレイ・デバイス１５０の前方からの光を透過させ、導光光学エレメント１１２を通ってユーザーの目まで到達させることによって、ユーザーが、マイクロディスプレイ・ユニット１２０からの仮想画像を受けることに加えて、頭部装着ディスプレイ・デバイス１５０の前方にある空間の実際の直視野も有することを可能にする。このため、導光光学エレメント１１２の壁は透視型になっている。導光光学エレメント１１２は、第１反射面１２４（例えば、ミラーまたはその他の表面）を含む。マイクロディスプレイ・ユニット１２０からの光は、レンズ１２２を通過し、反射面１２４に入射する。反射面１２４は、内部反射によって、導光光学エレメント１１２を構成する平面基板の内側で光が捕獲されるように、マイクロディスプレイ・ユニット１２０からの入射光を反射する。
【０１０４】
この基板の表面を数回反射した後、取り込まれた光波は、選択的反射面１２６のアレイに到達する。尚、図面が混み過ぎるのを防止するために、５つの表面の内１つだけに符号１２６を付していることを注記しておく。反射面１２６は、基板の外側からこれらの反射面上に入射した光波を、ユーザーの目に結合する。異なる光線が進行し異なる角度で基板の内側から反射すると、異なる光線が種々の反射面１２６に異なる角度で衝突する。したがって、異なる光線が、反射面の異なる１つ１つによって、基板から反射される。どの光線をどの表面１２６によって基板から反射させるかという選択は、表面１２６の適した角度を選択することによって管理される。導光光学エレメントのこれ以上の詳細については、米国特許出願公開２００８／０２８５１４０、第１２／２１４，３６６号において見いだすことができる。この出願は、"Substrate-Guided Optical Device"（基板誘導光学デバイス）と題し、２００８年１１月２０日に公開された。この出願をここで引用したことにより、その内容全体が本願にも含まれるものとする。一実施形態では、各目がそれ自体の導光光学エレメント１１２を有する。頭部装着ディスプレイ・デバイスが２つの導光光学エレメントを有するとき、各目はそれ自体のマイクロディスプレイ・ユニット１２０を有し、双方の目に同じ画像を表示すること、または２つの目に異なる画像を表示することができる。他の実施形態では、１つの導光光学エレメントが、光を双方の目に反射させることができる。
【０１０５】
図１０Ｄは、凝視検出エレメントの構成を含む透視型ニアアイ混合現実ディスプレイ・デバイスの可動表示光学系の第４の実施形態の上面図である。この実施形態は、導光光学エレメント１１２を含む図６Ｃの実施形態に類似する。しかしながら、光検出器はＩＲ光検出器１５２だけであるので、この実施形態は、以下の例において論ずるように、グリント検出を頼りにするのは凝視検出のためだけである。
【０１０６】
これまでの実施形態では、示された具体的なレンズの数は単なる例に過ぎない。他の数または構成のレンズであっても、同じ原理で動作するのであれば、使用することができる。加えて、これまでの実施形態では、透視型ニアアイ・ディスプレイ２の右側だけが示されていた。ニアアイ混合現実ディスプレイ・デバイス全体であれば、例として、他の１組のレンズ１１６および／または１１８、図６Ｃおよび図６Ｄの実施形態のための他の導光光学エレメント１１２、他のマイクロディスプレイ１２０、他のレンズ系１２２、同様に他の部屋に面するカメラ１１３、図６Ａ〜図６Ｄまでの実施形態のための他の視線追跡カメラ１３４、イヤホン１３０、および温度センサー１３８を含む。
【０１０７】
図１１は、１つ以上の実施形態と共に用いることができる透視型ニアアイ・ディスプレイ・ユニット２のハードウェアおよびソフトウェア・コンポーネントの一実施形態のブロック図である。図１２は、処理ユニット２０の種々のコンポーネントを記述するブロック図である。この実施形態では、透視型頭部装着ディスプレイ１５０は、仮想画像についての命令を処理ユニット２０から受け、逆にセンサー情報を処理ユニット２０に提供する。処理ユニット２０内において具体化することができるソフトウェアおよびハードウェア・コンポーネントは、ディスプレイ・デバイス１５０からセンサー情報を受け、ハブ計算デバイス１２からもセンサー情報を受けることができる。この情報に基づいて、処理ユニット２０は、焦点が合った仮想画像をどこにそしていつユーザーに供給すべきか判断し、それに応じて命令をディスプレイ・デバイス１５０の制御回路１３６に送る。
【０１０８】
尚、図１１のコンポーネントの一部（例えば、物理環境対面カメラ１１３、アイ・カメラ１３４、可変仮想焦点調節器１３５、光検出器インターフェース１３９、マイクロディスプレイ・ユニット１２０、照明デバイス１５３または照明器、イヤホン１３０、温度センサー１３８、表示調節メカニズム２０３）は、これらのデバイスが各々２つずつあり、１つが頭部装着ディスプレイ・デバイス１５０の左側、そして１つが右側にあることを示すために、陰を付けて（in shadow)図示されていることを注記しておく。図６は、電力管理回路２０２と通信可能な制御回路２００を示す。制御回路２００は、プロセッサー２１０、メモリー２１４（例えば、Ｄ−ＲＡＭ）と通信可能なメモリー・コントローラー２１２、カメラ・インターフェース２１６、カメラ・バッファー２１８、ディスプレイ・ドライバー２２０、ディスプレイ・フォーマッター２２２、タイミング発生器２２６、ディスプレイ出力インターフェース２２８、およびディスプレイ入力インターフェース２３０を含む。一実施形態では、制御回路２００のコンポーネントは全て、互いに、１つ以上のバスの専用線を通じて通信可能になっている。他の実施形態では、制御回路２００のコンポーネントの各々は、プロセッサー２１０と通信可能になっている。
【０１０９】
カメラ・インターフェース２１６は、２つの物理環境対面カメラ１１３および各アイ・カメラ１３４に対するインターフェースを設け、カメラ１１３、１３４から受けたそれぞれの画像をカメラ・バッファー２１８に格納する。ディスプレイ・ドライバー２２０は、マイクロディスプレイ・ユニット１２０を駆動する。ディスプレイ・フォーマッター２２２は、マイクロディスプレイ・ユニット１２０上に表示される仮想画像についての情報を、拡張現実システムのために勝利を実行する１つ以上のコンピューター・システム、例えば、２０、１２、２１０の１つ以上のプロセッサーに提供することができる。タイミング発生器２２６は、システムにタイミング・データーを供給するために使用される。ディスプレイ出力２２８は、物理環境対面カメラ１１３およびアイ・カメラ１３４から処理ユニット４に画像を供給するためのバッファーである。ディスプレイ入力２３０は、マイクロディスプレイ・ユニット１２０に表示しようとする仮想画像のような画像を受けるためのバッファーである。ディスプレイ出力２２８およびディスプレイ入力２３０は、処理ユニット４に対するインターフェースである帯域インターフェース２３２と通信する。
【０１１０】
電力管理回路２０２は、電圧レギュレーター２３４、視線追跡照明ドライバー２３６、可変調節器ドライバー２３７、光検出器インターフェース２３９、オーディオＤＡＣおよび増幅器２３８、マイクロフォン・プリアンプおよびオーディオＡＤＣ２４０、温度センサー・インターフェース２４２、表示調節メカニズム・ドライバー（１つまたは複数）２４５、ならびにクロック発振器２４４を含む。電圧レギュレーター２３４は電力を処理ユニット４から帯域インターフェース２３２を介して受け、その電力を頭部装着ディスプレイ・デバイス１５０の他のコンポーネントに供給する。照明ドライバー２３６は、前述のように、ＩＲ光源を照明デバイス１５３のために設ける。オーディオＤＡＣおよび増幅器２３８は、オーディオ情報をイヤホン１３０から受ける。マイクロフォン・プリアンプおよびオーディオＡＤＣ２４０は、マイクロフォン１１０に対するインターフェースを設ける。温度センサー・インターフェース２４２は、温度センサー１３８に対するインターフェースである。１つ以上の表示調節ドライバー２４５は、各表示調節メカニズム２０３を構成する１つ以上のモーターまたは他のデバイスに、３つの方向の内少なくとも１つにおける移動の調節量を表す制御信号を供給する。また、電力管理ユニット２０２は、電力を供給し、三軸磁力計１３２Ａ、三軸ジャイロ１３２Ｂ、および三軸加速度計１３２Ｃからは逆にデーターを受ける。
【０１１１】
可変調節器ドライバー２３７は、制御信号、例えば、駆動電流または駆動電圧を調節器１３５に供給し、マイクロディスプレイ・アセンブリーの１つ以上のエレメントを移動させて、焦点領域に対する変位を行う。この変位は、処理ユニット４またはハブ計算システム１２あるいは双方において実行するソフトウェアによって計算される。ある範囲の変位にわたって、したがって焦点領域の範囲にわたって掃引する実施形態では、可変調節器ドライバー２３７は、タイミング信号をタイミング発生器２２６から、または代わりにクロック発振器２４４から受け、プログラミングされたレートまたは頻度で動作する。
【０１１２】
光検出器インターフェース２３９は、各光検出器からの電圧または電流読み取り値に必要とされるあらゆるアナログ／ディジタル変換を実行し、メモリー・コントローラー２１２によってこの読み取り値をプロセッサー読み取り可能なフォーマットでメモリーに格納し、温度および波長精度というような、光検出器１５２の動作パラメータを監視する。
【０１１３】
図１２は、透視型ニアアイ・ディスプレイ・ユニットに関連付けられた処理ユニット４のハードウェアおよびソフトウェア・コンポーネントの一実施形態のブロック図である。移動体デバイス５は、ハードウェアおよびソフトウェア・コンポーネントのこの実施形態も含み、または同様の機能を実行する同様のコンポーネントを含むこともできる。図１２は、電力管理回路３０６と通信可能な制御回路３０４を示す。制御回路３０４は、中央処理ユニット（ＣＰＵ）３２０、グラフィクス処理ユニット（ＧＰＵ）３２２、キャッシュ３２４、ＲＡＭ３２６、メモリー３３０（例えば、Ｄ−ＲＡＭ）と通信可能なメモリー・コントローラー３２８、フラッシュ・メモリー３３４（または他のタイプの不揮発性ストレージ）と通信可能なフラッシュ・メモリー・コントローラー３３２、帯域インターフェース３０２および帯域インターフェース２３２を介して透視型頭部装着ディスプレイ・デバイス１５０と通信可能なディスプレイ出力バッファー３２６、帯域インターフェース３０２および帯域インターフェース２３２を介して透視型頭部装着ディスプレイ・デバイス１５０と通信可能なディスプレイ入力バッファー３３８、マイクロフォンに接続するために外部マイクロフォン・コネクター３４２と通信可能なマイクロフォン・インターフェース３４０、ワイヤレス通信デバイス３４６に接続するためのＰＣＩエクスプレス・インターフェース、ならびにＵＳＢポート（１つまたは複数）３４８を含む。
【０１１４】
一実施形態では、ワイヤレス通信コンポーネント３４６は、Ｗｉ−Ｆｉ対応通信デバイス、Bluetooth（登録商標）通信デバイス、赤外線通信デバイス等を含むことができる。ＵＳＢポートは、処理ユニット４をハブ計算システム１２にドッキングして、データーまたはソフトウェアを処理ユニット２０および充電処理ユニット(charge processing unit)４にロードするために使用することができる。一実施形態では、ＣＰＵ３２０およびＧＰＵ３２２は、どこに、いつ、そしてどのように仮想画像をユーザーの視野に挿入すべきか判断するための主要な機械(workhorse)である。
【０１１５】
電力管理回路３０６は、クロック発振器３６０、アナログ／ディジタル変換器（ＡＤＣ）３６２、バッテリー充電器３６４、電圧レギュレーター３６６、デバイス（透視型頭部装着ディスプレイ）電源３７６、および温度センサー３７４（処理ユニット４の手首バンド上に配置される）と通信可能な温度センサー・インターフェース３７２を含む。アナログ／ディジタル（交流／直流）変換器３６２が、ＡＣ供給電力を受け、本システムのためにＤＣ供給電力を発電するために、充電用ジャック３７０に接続されている。電圧レギュレーター３６６は、本システムに電力を供給するために、バッテリー３６８と通信可能になっている。バッテリー充電器３６４は、充電用ジャック３７０から受電したときに、バッテリー３６８を充電する（電圧レギュレーター３６６を介して）ために使用される。デバイス電源（電力インターフェース）３７６は、電力をディスプレイ・デバイス１５０に供給する。
【０１１６】
以上の図は、以下の図において論じられる、ＩＰＤを判定する異なる方法に対して基準を規定する表示光学系について、エレメントの幾何学的形状の例を示す。本方法の実施形態は、例示的なコンテキストに対する以上のシステムのエレメントおよび構造に言及するのでよい。しかしながら、本方法の実施形態は、以上で説明したもの以外のシステムまたは構造的実施形態においても動作することができる。
【０１１７】
図１３は、本技術の実施形態において動作することができる移動体デバイスの一例のブロック図である。典型的な移動体電話機の電子回路例が図示されている。電話機（移動体デバイス）９００は、１つ以上のマイクロプロセッサー９１２、およびメモリー１０１０（例えば、ＲＯＭのような不揮発性メモリーおよびＲＡＭのような揮発性メモリー）を含む。メモリー１０１０は、プロセッサー読み取り可能コードを格納する。プロセッサー読み取り可能コードは、本明細書において説明した機能を実現するために、制御プロセッサー９１２の１つ以上のプロセッサーによって実行される。
【０１１８】
移動体デバイス９００は、例えば、プロセッサー９１２、アプリケーションを含むメモリー１０１０、および不揮発性ストレージ１０４０を含むことができる。プロセッサー９１２は、通信を実現することができ、更に、本明細書において論じた相互作用アプリケーションを含むいかなる数のアプリケーションでも実現することができる。メモリー１０１０は、不揮発性および揮発性メモリーを含む、種々のタイプのメモリー記憶媒体のいずれでも可能である。デバイス・オペレーティング・システムは、移動体デバイス９００の異なる動作を扱い、発呼および着呼、テキスト・メッセージ送信、音声メールのチェック等というような動作のためのユーザー・インターフェースを内蔵することもできる。アプリケーション１０３０は、写真および／またはビデオ用のカメラ・アプリケーション、アドレス帳、カレンダー・アプリケーション、メディア・プレーヤー、インターネット・ブラウザー、ゲーム、他のマルチメディア・アプリケーション、アラーム・アプリケーション、他のサード・パーティ製アプリケーション、本明細書において論じられる相互作用アプリケーション等のような、あらゆるプログラムの集合体でも可能である。メモリー１０１０における不揮発性記憶コンポーネント１０４０は、ウェブ・キャッシュ、音楽、写真、連絡先データー、スケジューリング・データー、およびその他のファイルというようなデーターを収容する。
【０１１９】
また、プロセッサー９１２は、ＲＦ送信器／受信器９０６、赤外線送信器／受信器９０８、Wi-FiまたはBluetooth（登録商標）のようなあらゆる追加の通信チャネル１０６０、および加速度計のような移動／方位センサー９１４とも通信し、一方ＲＦ送信器／受信器９０６はアンテナ９０２に結合される。加速度計は、移動体デバイス内に組み込まれており、ユーザーにジェスチャーによってコマンドを入力させるインテリジェント・ユーザー・インターフェース、ＧＰＳ衛星との連絡が途絶した後にデバイスの移動および方向を計算する室内ＧＳＰ機能というようなアプリケーションを可能にし、更に、電話機が回転させられたときにデバイスの向きを検出し表示を縦向きから横向きに自動的に変更することを可能にする。加速度計は、例えば、微小電気機械システム（ＭＥＭＳ）によって提供することができる。ＭＥＭＳは、半導体チップ上に構築される小さな機械的デバイス（マイクロメートル単位の寸法）であり、加速方向および方位、振動、ならびに衝撃を検知することができる。更に、プロセッサー９１２は、リンガー(ringer)／バイブレーター９１６、ユーザー・インターフェース・キーパッド／スクリーン、生物計量センサー・システム９１８、スピーカー１０２０、マイクロフォン９２２、カメラ９２４、光センサー９２６、および温度センサー９２８とも通信する。
【０１２０】
プロセッサー９１２は、ワイヤレス信号の送信および受信を制御する。送信モードの間、プロセッサー９１２は、マイクロフォン９２２からの音声信号、または他のデーター信号をＲＦ送器／受信器９０６に供給する。ＲＦ送器／受信器９０６は、アンテナ９０２を介した通信のために、この信号をリモート局（例えば、固定局、運営会社(operator)、他のセルラ・フォン等）に送信する。リンガー／バイブレーター９１６は、着信呼、テキスト・メッセージ、カレンダー・リマインダー、アラーム・クロック・リマインダー、またはその他の通知をユーザーに知らせるために用いられる。受信モードの間、ＲＦ送器／受信器９０６は、音声またはその他のデーター信号をリモート局からアンテナ９０２を介して受信する。受信された音声信号は、スピーカー１０２０に供給され、一方他の受信されたデーター信号もしかるべく処理される。
【０１２１】
加えて、移動体デバイス９００をＡＣアダプターまたは給電ドッキング・ステーション(powered docking station)のような外部電源に接続するために、物理コネクター９８８も用いることができる。また、物理コネクター９８８は、計算デバイスへのデーター接続として使用することもできる。このデーター接続は、移動体デバイスのデーターを他のデバイスにおける計算データーと同期させるというような動作に対処する。
【０１２２】
ＧＰＳ受信機９６５は、衛星ベースの無線ナビゲーションを利用してユーザー・アプリケーションの位置を中継し、これを有効にすると、このようなサービスが得られる。
図示したコンピューター・システム例は、コンピューター読み取り可能記憶媒体の例を含む。コンピューター読み取り可能記憶媒体は、プロセッサー読み取り可能記憶媒体でもある。このような媒体は、揮発性および不揮発性、リムーバブルおよび非リムーバブル媒体を含み、コンピューター読み取り可能命令、データー構造、プログラム・モジュール、またはその他のデーターというような情報の格納のためのいずれかの方法または技術で実現することができる。コンピューター記憶媒体は、ＲＡＭ、ＲＯＭ、ＥＥＰＲＯＭ、キャッシュ、フラッシュ・メモリーまたは他のメモリー技術、ＣＤ−ＲＯＭ、ディジタル・バーサタイル・ディスク（ＤＶＤ）または他の光ディスク・ストレージ、メモリー・スティックまたはカード、磁気カセット、磁気テープ、メディア・ドライブ、ハード・ディスク、磁気ディスク・ストレージまたは他の磁気記憶デバイス、あるいは所望の情報を格納するために用いることができコンピューターによってアクセスすることができる他のあらゆる媒体を含むが、これらに限定されるのではない。
【０１２３】
図１４は、パーソナル・コンピューターのような、適した計算システム環境の一例を示す。
図１４を参照すると、本技術を実現するシステム例は、コンピューター７１０の形態とした汎用計算デバイスを含む。コンピューター７１０のコンポーネントは、処理ユニット７２０、システム・メモリー７３０、およびシステム・バス７２１を含むことができるが、これらに限定されるのではない。システム・バス７２１は、システム・メモリーを含む種々のシステム・コンポーネントを処理ユニット７２０に結合する。システム・バス７２１は、メモリー・バスまたはメモリー・コントローラー、周辺バス、および種々のバス・アーキテクチャーの内いずれかを用いるローカル・バスを含む、様々なタイプのバス構造の内いずれでもよい。一例として、そして限定ではなく、このようなアーキテクチャーは、業界標準アーキテクチャー（ＩＳＡ）バス、マイクロ・チャネル・アーキテクチャー（ＭＣＡ）バス、拡張ＩＳＡ（ＥＩＳＡ）バス、ビデオ・エレクトロニクス標準連盟（ＶＥＳＡ）ローカル・バス、そしてメザニン・バス(Mezzanine bus)としても知られている周辺素子相互接続（ＰＣＩ）バスを含む。
【０１２４】
コンピューター７１０は、通例、種々のコンピューター読み取り可能媒体を含む。コンピューター読み取り可能媒体は、コンピューター７１０によってアクセスすることができるあらゆる入手可能な媒体とすることができ、揮発性および不揮発性双方の媒体、リムーバブルおよび非リムーバブル媒体を含む。一例として、そして限定ではなく、コンピューター読み取り可能媒体は、コンピューター記憶媒体および通信媒体を含むことができる。コンピューター記憶媒体は、揮発性および不揮発性媒体、リムーバブルおよび非リムーバブル媒体を含み、コンピューター読み取り可能命令、データー構造、プログラム・モジュール、または他のデーターというようないずれかの情報記憶方法または技術で実現される。コンピューター記憶媒体には、ＲＡＭ、ＲＯＭ、ＥＥＰＲＯＭ、フラッシュ・メモリーまたは他のメモリー技術、ＣＤ−ＲＯＭ、ディジタル・バーサタイル・ディスク（ＤＶＤ）または他の光ストレージ、磁気カセット、磁気テープ、磁気ディスク記憶デバイスまたはその他の磁気記憶デバイス、あるいは所望の情報を格納するために用いることができ、コンピューター７１０によってアクセスすることができる他のあらゆる媒体が含まれる。通信媒体は、通例、コンピューター読み取り可能命令、データー構造、プログラム・モジュール、またはその他のデーターを、搬送波のような変調データー信号または他の伝達メカニズムにおいて具体化し、あらゆる情報配信媒体を含む。「変調データー信号」という用語は、信号内に情報をエンコードするようなやり方で、その特性の内１つ以上が設定または変更されている信号を意味する。一例として、そして限定ではなく、通信媒体は、有線ネットワークまたは直接有線接続のような有線媒体と、音響、ＲＦ、赤外線、またはその他のワイヤレス媒体のようなワイヤレス媒体とを含む。以上のいずれの組み合わせも、コンピューター読み取り可能記憶媒体の範囲に含まれてしかるべきである。
【０１２５】
システム・メモリー７３０は、リード・オンリ・メモリー（ＲＯＭ）７３１およびランダム・アクセス・メモリー（ＲＡＭ）７３２のような揮発性および／または不揮発性メモリーの形態をなすコンピューター記憶媒体を含む。基本入出力システム７３３（ＢＩＯＳ）は、起動中のように、コンピューター７１０内のエレメント間における情報転送を補助する基本的なルーチンを含み、通例ＲＯＭ７３１内に格納されている。ＲＡＭ７３２は、通例、処理ユニット７２０が直ちにアクセス可能であるデーターおよび／またはプログラム・モジュール、および／または処理ユニット７２０によって現在処理されているデーターおよび／またはプログラム・モジュールを含む。一例として、そして限定ではなく、図１４は、オペレーティング・システム７３４、アプリケーション・プログラム７３５、その他のプログラム・モジュール７３６、およびプログラム・データー７３７を示す。
【０１２６】
また、コンピューター７１０は、その他のリムーバブル／非リムーバブル揮発性／不揮発性コンピューター記憶媒体も含むことができる。一例として示すに過ぎないが、図１４は、非リムーバブル不揮発性磁気媒体からの読み取りおよびこれへの書き込みを行なうハード・ディスク・ドライブ７４１、リムーバブル不揮発性磁気ディスク７５２からの読み取りおよびこれへの書き込みを行なう磁気ディスク・ドライブ７５１、ならびにＣＤ  ＲＯＭまたはその他の光媒体のようなリムーバブル不揮発性光ディスク７５６からの読み取りおよびこれへの書き込みを行なう光ディスク・ドライブ７５５を示す。本動作環境例において使用可能なその他のリムーバブル／非リムーバブル、揮発性／不揮発性コンピューター記憶媒体には、磁気テープ・カセット、フラッシュ・メモリー・カード、ディジタル・バーサタイル・ディスク、ディジタル・ビデオ・テープ、ソリッド・ステートＲＡＭ、ソリッド・ステートＲＯＭ等が含まれるが、これらに限定されるのではない。ハード・ディスク・ドライブ７４１は、インターフェース７４０のような非リムーバブル・メモリー・インターフェースを介してシステム・バス７２１に接続することができ、磁気ディスク・ドライブ７５１および光ディスク・ドライブ７５５は、通例、インターフェース７５０のようなリムーバブル・メモリー・インターフェースによって、システム・バス７２１に接続することができる。
【０１２７】
先に論じ、図１４に示すドライブおよびそれらに付帯するコンピューター記憶媒体は、コンピューター読み取り可能命令、データー構造、プログラム・モジュール、およびコンピューター７１０のその他のデーターを格納する。図１４では、例えば、ハード・ディスク・ドライブ７４１は、オペレーティング・システム７４４、アプリケーション・プログラム７４５、その他のプログラム・モジュール７４６、およびプログラム・データー７４７を格納するように示されている。尚、これらの構成要素は、オペレーティング・システム７３４、アプリケーション・プログラム７３５、その他のプログラム・モジュール７３６、およびプログラム・データー７３７と同じでも異なっていても可能であることを注記しておく。オペレーティング・システム７４４、アプリケーション・プログラム７４５、その他のプログラム・モジュール７４６、およびプログラム・データー７４７は、ここでは、少なくともこれらが異なるコピーであることを示すために、異なる番号が与えられている。ユーザーは、キーボード７６２のような入力デバイス、および一般にマウス、トラックボールまたはタッチ・パッドと呼ばれるポインティング・デバイス７６１によって、コマンドおよび情報をコンピューター２０に入力することができる。他の入力デバイス（図示せず）には、マイクロフォン、ジョイスティック、ゲーム・パッド、衛星ディッシュ、スキャナー等を含むことができる。これらおよびその他の入力デバイスは、多くの場合、ユーザー入力インターフェース７６０を介して、処理ユニット７２０に接続されている。ユーザー入力インターフェース７６０は、システム・バスに結合されているが、パラレル・ポート、ゲーム・ポート、またはユニバーサル・シリアル・バス（ＵＳＢ）のようなその他のインターフェースおよびバス構造によって接続されてもよい。また、モニター７９１またはその他の形式のディスプレイ・デバイスも、ビデオ・インターフェース７９０のようなインターフェースを介して、システム・バス７２１に接続されている。モニターに加えて、コンピューターは、スピーカー７９７およびプリンター７９６のような、その他の周辺出力装置も含むことができ、これらは出力周辺インターフェース７９５を介して接続することができる。
【０１２８】
コンピューター７１０は、リモート・コンピューター７８０のような１つ以上のリモート・コンピューターへの論理接続を用いて、ネットワーク接続環境において動作することもできる。リモート・コンピューター７８０は、パーソナル・コンピューター、サーバー、ルーター、ネットワークＰＣ、ピア・デバイス、またはその他の共通ネットワーク・ノードとすることができ、通例、コンピューター７１０に関して先に説明したエレメントの多くまたは全てを含むが、図１４にはメモリー装置７８１のみを示す。図１４に示す論理接続は、ローカル・エリア・ネットワーク（ＬＡＮ）７７１およびワイド・エリア・ネットワーク（ＷＡＮ）７７３、ならびに他のネットワークも含むことができる。このようなネットワーク環境は、事務所、企業規模のコンピューター・ネットワーク、イントラネットおよびインターネットにおいては、極一般的である。
【０１２９】
ＬＡＮネットワーク接続環境で用いる場合、コンピューター７１０は、ネットワーク・インターフェースまたはアダプター７７０を介してＬＡＮ７７１に接続される。ＷＡＮネットワーク接続環境で用いる場合、コンピューター７１０は、通例、モデム７７２、またはインターネットのようなＷＡＮ７７３を通じて通信を確立するその他の手段を含む。モデム７７２は、内蔵型でも外付けでもよく、ユーザー入力インターフェース７６０またはその他のしかるべきメカニズムを介してシステム・バス７２１に接続することができる。ネットワーク接続環境では、コンピューター７１０に関して図示したプログラム・モジュール、またはその一部は、リモート・メモリー装置に格納することもできる。一例として、そして限定ではなく、図１４は、リモート・アプリケーション・プログラム７８５がメモリー・デバイス７８１に存在するものとして示している。尚、図示のネットワーク接続は一例であり、コンピューター間で通信リンクを確立する他の手段も使用可能であることは認められよう。
【０１３０】
計算システム環境７００は、適した計算環境の一例に過ぎず、本技術の使用範囲や機能に関して何の限定も示唆することを意図していない。また、計算環境７００が、動作環境例７００において図示したコンポーネントのいずれに関しても、またその組み合わせに関しても、依存性や要件を有するように解釈してはならない。
【０１３１】
本技術は、多数の他の汎用または特殊目的計算システム環境または構成とでも動作する。本技術と共に用いるのに適していると考えられる周知の計算システム、環境、および／または構成の例には、パーソナル・コンピューター、サーバー・コンピューター、ハンドヘルドまたはラップトップ・デバイス、マルチプロセッサー・システム、マイクロプロセッサー・ベース・システム、セット・トップ・ボックス、プログラマブル消費者用電子機器、ネットワークＰＣ、ミニコンピューター、メインフレーム・コンピューター、以上のシステムまたはデバイスの内いずれをも含む分散型計算環境等が含まれる。
【０１３２】
本技術は、コンピューターによって実行される、プログラム・モジュールのような、コンピューター実行可能命令という一般的なコンテキストで説明することができる。一般に、プログラム・モジュールはルーチン、プログラム、オブジェクト、コンポーネント、データー構造等を含み、特定のタスクを実行するか、または特定の抽象データー・タイプを実現する。また、本技術は、分散型計算環境においても実施することができ、この場合、通信ネットワークを通じてリンクされるリモート処理デバイスによってタスクが実行される。分散型計算環境では、プログラム・モジュールは、メモリー記憶デバイスを含むローカルおよびリモート双方のコンピューター記憶媒体に配置することができる。
【０１３３】
以上、構造的特徴および／または方法論的動作に特定的な文言で主題について説明したが、特許請求の範囲において定められる主題は、以上で説明した具体的な特徴や動作には必ずしも限定されないことは言うまでもない。逆に、以上で説明した具体的な特徴および動作は、特許請求の範囲を実現する形態例として開示したまでである。
【図１Ａ】
2014534655.tif 000003
【図１Ｂ】
2014534655.tif 000004
【図２】
2014534655.tif 000005
【図３Ａ】
2014534655.tif 000006
【図３Ｂ】
2014534655.tif 000007
【図３Ｃ】
2014534655.tif 000008
【図４】
2014534655.tif 000009
【図５Ａ】
2014534655.tif 000010
【図５Ｂ】
2014534655.tif 000011
【図６Ａ】
2014534655.tif 000012
【図６Ｂ】
2014534655.tif 000013
【図６Ｃ】
2014534655.tif 000014
【図７Ａ】
2014534655.tif 000015
【図７Ｂ】
2014534655.tif 000016
【図８Ａ】
2014534655.tif 000017
【図８Ｂ】
2014534655.tif 000018
【図８Ｃ】
2014534655.tif 000019
【図９Ａ】
2014534655.tif 000020
【図９Ｂ】
2014534655.tif 000021
【図１０Ａ】
2014534655.tif 000022
【図１０Ｂ】
2014534655.tif 000023
【図１０Ｃ】
2014534655.tif 000024
【図１０Ｄ】
2014534655.tif 000025
【図１１】
2014534655.tif 000026
【図１２】
2014534655.tif 000027
【図１３】
2014534655.tif 000028
【図１４】
2014534655.tif 000029
【国際調査報告】
2014534655.tif 000030
2014534655.tif 000031