(57)【要約】  シースルー型表示装置は、シースルー型ヘッドマウントディスプレイと、装置の視野における可聴および視覚データを検出するディスプレイ上のセンサとを含む。プロセッサは、ディスプレイと協力して、行動ベース実物体マッピングシステムを用いて本デバイスの着用者に情報を提供する。装置に対する少なくとも大域領域および自己中心行動領域が確立され、実物体は、その物体により占有されるそれぞれの領域にマッピングされた行動を割り当てられる。物体に割り当てられた行動は、装置で与えるべきフィードバックの種類を評価する基礎として行動を用いて着用者にサービスを提供するアプリケーションにより使用可能である。
2016512626.tif 000002
【特許請求の範囲】
【請求項１】
シースルー型表示装置であって、
シースルー型ヘッドマウントディスプレイと、
前記ディスプレイと協力して前記装置の視野内の可聴および視覚データを検出する複数のセンサと、
ディスプレイおよび前記センサと通信する１つまたは複数の処理デバイスであって、自動的に、
前記装置に対する複数の行動領域を確立し、
前記装置に近接する少なくとも１つの実物体を決定し、前記少なくとも１つの実物体は前記複数の行動領域の１つと関連付けられ、
前記関連付けに基づいて１つまたは複数の行動に前記実物体を割り当て、
前記１つまたは複数の行動および前記物体を、前記装置に対するフィードバックアプリケーションへ提供する、
１つまたは複数の処理デバイスと
を備える、シースルー型表示装置。
【請求項２】
前記１つまたは複数の処理デバイスが、少なくとも大域行動領域と自己中心行動領域とを確立する、請求項１に記載の装置。
【請求項３】
前記１つまたは複数の処理デバイスが、前記複数のセンサからの入力データに基づいて、前記自己中心行動領域を決定する、請求項２に記載の装置。
【請求項４】
前記大域行動領域が、実物体に対する地理的位置データにマッピングされた実物体データを含む、請求項２に記載の装置。
【請求項５】
各行動が、前記装置の着用者に対する実物体に関する相互作用規則を備える、請求項１に記載の装置。
【請求項６】
各行動領域が、前記行動領域に関連付けられた１つまたは複数の一意の行動を含む、請求項１に記載の装置。
【請求項７】
前記１つまたは複数の処理デバイスが、前記アプリケーションからの命令に基づいて、前記ディスプレイに前記フィードバックを描画する、請求項１に記載の装置。
【請求項８】
処理デバイスに対する複数の実物体を定義するコンピュータで実施される方法であって、前記処理デバイスはディスプレイを含み、方法は、
大域行動領域に対する複数の行動を定義することと、
自己中心行動領域に対する複数の行動を定義することと、
大域行動領域および自己中心行動領域において複数の実物体を識別することと、
前記大域行動領域に対する前記複数の行動のうちの１つまたは複数を、前記大域行動領域において識別された各実物体に割り当てることと、
前記処理デバイスの位置に近接する実物体を決定することと、
前記自己中心行動領域に対する前記複数の行動のうちの１つまたは複数を、前記自己中心行動領域に存在すると決定された各実物体に割り当てることと、
前記行動および前記実物体をフィードバックアプリケーションに提供することと
を備える、方法。
【請求項９】
前記大域行動領域における前記実物体を識別するデータ定義が、実物体に対する地理的位置データである、請求項８に記載の方法。
【請求項１０】
前記自己中心領域が、実物体との相互作用行動を含む、請求項９に記載の方法。
【発明の詳細な説明】
【背景技術】
【０００１】
[0001]  複合現実（Mixed reality）は、ディスプレイにおいて仮想画像を実世界の物理環境と混合させる技術である。複合現実のためのシステムは、たとえば、シースルー型ヘッドマウントディスプレイ、または内蔵カメラ付きのスマートフォンを含んでもよい。そのようなシステムは通常、１つまたは複数のアプリケーションの制御下でその画像を提供する処理ユニットを含む。
【０００２】
[0002]  行動に基づく分析は、ロボット工学の分野で、制御システムの動作をプログラミングするためのフレームワークとして利用されている。行動ロボット工学におけるいくつかの行動モデルは、物体に対する階層化された規則セットを用い、衝突回避のような基層行動が最も基本的である。行動（behavior）は、動作主体またはロボットの視点から注目され、要素的な行動を使用して、高度な制御システムが構築される。
【０００３】
[0003]  行動ベースのシステムにおいて、ロボットコントローラは、行動と呼ばれるモジュールの集合体として組織化され、行動は、センサおよび／または他の行動から入力を受信し、入力を処理し、アクチュエータおよび／または他の行動へ出力を送信する、各行動は一般的に、たとえば障害物を回避するまたはゴール位置へ戻るなどの、いくつかの独立した機能を果たす。コントローラ内の全ての行動は、並列して実行され、同時に入力を受信し出力を生成する。
【発明の概要】
【０００４】
[0004]  シースルー型ヘッドマウントディスプレイデバイスにおける行動ベース視覚システムを提供するための技術を記載する。シースルー型表示装置は、シースルー型ヘッドマウントディスプレイと、装置の視野における可聴および視覚データを検出するディスプレイ上のセンサとを含む。プロセッサは、ディスプレイと協力して、行動ベース実物体マッピングシステムを用いて本デバイスの着用者に情報を提供する。装置に対する少なくとも大域行動領域および自己中心行動領域が確立され、実物体は、その物体により占有されるそれぞれの領域にマッピングされた行動を割り当てられる。物体に割り当てられた行動は、装置で与えるべきフィードバックの種類を評価する基礎として行動を用いて着用者にサービスを提供するアプリケーションにより使用可能である。
【０００５】
[0005]  この概要は、詳細な説明において以下でさらに説明する概念から選択したものを簡略化した形式で紹介するために設けられている。この概要は、特許請求する主題の主要な特徴または必須の特徴を特定することを意図するのではなく、特許請求する主題の範囲を決定する際の補助として用いられることを意図するのでもない。
【図面の簡単な説明】
【０００６】
【図１Ａ】[0006]ＩＰＤが調整可能なシースルー型複合現実ディスプレイデバイスの、本デバイスが動作可能なシステム環境における、一実施形態の例示のコンポーネントを示すブロック図である。
【図１Ｂ】[0007]ＩＰＤが調整可能なシースルー型複合現実ディスプレイデバイスの他の実施形態の例示のコンポーネントを示すブロック図である。
【図２Ａ】[0008]遠ＩＰＤを位置合わせするための距離および方向における注視点へ伸びる注視ベクトルの例を示す上面図である。
【図２Ｂ】[0009]近ＩＰＤを位置合わせするための距離および方向における注視点へ伸びる注視ベクトルの例を示す上面図である。
【図３】[0010]ハードウェアおよびソフトウェアコンポーネントを支援を行う複合現実ディスプレイデバイスの、めがねの実施形態におけるめがねの弦（temple）の側面図である。
【図４】[0011]ハードウェアおよびソフトウェアコンポーネントの支援、ならびにマイクロディスプレイアセンブリの３次元調節を行う、複合現実ディスプレイデバイスの一実施形態におけるめがねの弦の側面図である。
【図５Ａ】[0012]シースルー型ニアアイ（near-eye）複合現実デバイスの可動表示光学系１４の一実施形態の上面図である。
【図５Ｂ】[0013]注視検出素子の構成を含むシースルー型ニアアイ複合現実デバイスの可動表示光学系の他の実施形態の上面図である。
【図５Ｃ】[0014]注視検出素子の構成を含むシースルー型ニアアイ複合現実デバイスの可動表示光学系の第３の実施形態の上面図である。
【図５Ｄ】[0015]注視検出素子の構成を含むシースルー型ニアアイ複合現実デバイスの可動表示光学系の第４の実施形態の上面図である。
【図６Ａ】[0016]シースルー型ヘッドマウントディスプレイデバイスに関連付けられた処理ユニットのハードウェアおよびソフトウェアコンポーネントの一実施形態のブロック図である。
【図６Ｂ】[0017]処理ユニット４の様々なコンポーネントを示すブロック図である。
【図７】[0018]ユーザのタッチ領域、自己中心領域および大域領域の図である。
【図８】[0019]行動ベース視覚システムと支援用計算サービスとを有する処理環境を含むシステムの機能コンポーネントの図である。
【図９】[0020]行動ベース視覚システムを提供するための処理を示すフローチャートである。
【図１０】[0021]行動ベース視覚システムにおけるユーザ警告アプリケーションを示すフローチャートである。
【図１１】[0022]行動ベース視覚システムにおけるユーザ警告アプリケーションにより提供されるユーザインターフェースの図である。
【図１２】[0023]行動ベース視覚システムにおけるユーザナビゲーションアプリケーションを示すフローチャートである。
【図１３】[0024]行動ベース視覚システムにおけるユーザナビゲーションアプリケーションにより提供されるユーザインターフェースの図である。
【図１４】[0025]第１の例示の処理デバイスのブロック図である。
【図１５】[0026]他の例示の処理デバイスのブロック図である。
【発明を実施するための形態】
【０００７】
[0027]  本明細書で説明される技術は、着用者に行動ベース視覚システムを提供するものであって、そのシステムが実物体を１つまたは複数のユーザ領域または大域領域に関して評価することができる、シースルー型ヘッドマウントディスプレイデバイスを含む。行動は、着用者の実物体との相互作用の、コアレベルの行動的動作である。物体は１つまたは複数の領域にマッピング可能であり、地理的な場所に関する位置またはデバイスシーンマッピングにより識別可能である。行動がマッピングされた物体は、システムアプリケーションにより使用されて、着用者に環境的フィードバックを与えることができる。
【０００８】
[0028]  行動ベースシステムは、実物体の定義に基づいてクライアントにサービスを提供するための様々な種類のアプリケーションをアプリケーション開発者が作成することを可能にするフレームワークを提供する。本技術は、ユーザにフィードバックを提供可能な様々な種類の視覚システムで実現され得るが、本開示では、シースルー型複合現実ディスプレイデバイスでの使用に関して論じられる。
【０００９】
[0029]  図１〜図６は、本システムを実現するのに適した例示のシースルー型複合現実ディスプレイデバイスを示す。
【００１０】
[0030]  図１Ａは、シースルー型複合現実ディスプレイデバイスの、本デバイスが動作可能なシステム環境における、一実施形態の例示のコンポーネントを示すブロック図である。一実施形態では、本技術はシースルー型ニアアイディスプレイデバイスを実現する。他の実施形態では、異なる種類のシースルー型ディスプレイデバイスが用いられてもよい。システム１０は、シースルー型ディスプレイデバイスを、ワイヤ６を介して処理ユニット４と通信するニアアイヘッドマウントディスプレイデバイス２として含む。他の実施形態では、ヘッドマウントディスプレイデバイス２は、無線通信を介して処理ユニット４と通信する。処理ユニット４は、様々な実施形態をなすことができる。一部の実施形態では、処理ユニット４は、着用者の体、たとえば示された例では手首に、またはポケット内に着用可能な分離したユニットであり、ニアアイディスプレイデバイス２を動作させるために用いられる計算能力の多くを備える。処理ユニット４は、１つまたは複数の計算システム、ホットスポット、セルラーデータネットワークなどと、無線（たとえば、WiFi、Bluetooth、赤外線、または他の無線通信手段）で通信可能である。他の実施形態では、処理ユニット４の機能は、ディスプレイデバイス２のソフトウェアおよびハードウェアコンポーネントに統合されてもよい。
【００１１】
[0031]  シースルー型ヘッドマウントディスプレイデバイス２は、一実施形態ではフレーム１１５内のめがねの形状であり、着用者の頭部に着用され、着用者が、本例では目毎の表示光学系１４として具現化されたディスプレイを透かして見ることで、着用者の前方にある空間の実際の直接視野（actual direct view）を得ることができるようにする。「実際の直接視野」という用語の使用は、作成された物体の画像表現を見るのではなく、人間の目で直接的に実世界の物体を見ることができることを指す。たとえば、めがねを通して部屋で見ると、着用者は部屋の実際の直接視野を得ることができるが、テレビ上の部屋のビデオを見ることは、部屋の実際の直接視野ではない。ゲームアプリケーションなどのソフトウェアを実行する状況のもとで、本システムは、仮想画像またはホログラムと呼ばれることもある仮想物体の画像をディスプレイ上に投影可能であり、それらの画像はシースルー型ディスプレイデバイスを着用している人物が見ることができ、その人物はディスプレイを通して実世界の物体もまた見ている。
【００１２】
[0032]  フレーム１１５は、本システムの要素を適所に保持するための支持体となり、電気接続用の導管（conduit）にもなる。この実施形態では、フレーム１１５は、以下さらに論ずる本システムの要素の支持体として、便利なめがねフレームとなる。他の実施形態では、他の支持構造が使用可能である。そのような構造の例には、バイザー、帽子、ヘルメットまたはゴーグルがある。フレーム１１５は、着用者の耳の各々に載せるための弦すなわちサイドアームを含む。弦１０２は、右側の弦の一実施形態を表し、ディスプレイデバイス２に対する制御回路１３６を含む。フレームのノーズブリッジ１０４は、音を記録し音声データを処理ユニット４へ送信するためのマイクロフォン１１０を含む。
【００１３】
[0033]  図１Ｂは、シースルー型複合現実ディスプレイデバイスの他の実施形態の例示のコンポーネントを示すブロック図である。一部の実施形態では、処理ユニット４は、分離ユニットであり、着用者の体、たとえば手首に着用することができ、またはモバイルデバイス（たとえばスマートフォン）のような分離デバイスであってもよい。処理ユニット４は、有線または無線（たとえば、WiFi、Bluetooth、赤外線、RFID伝送、無線ユニバーサルシリアルバス（USB）、セルラー、3G、4Gまたは他の無線通信手段）により、通信ネットワーク５０を越えて１つまたは複数の計算システム１２と、近くにあろうが遠隔地にあろうが、通信可能である。他の実施形態では、処理ユニット４の機能は、ディスプレイデバイス２のソフトウェアおよびハードウェアコンポーネントに統合されてもよい。
【００１４】
[0034]  １つまたは複数の遠隔のネットワークアクセス可能な計算システム１２が、処理能力および遠隔データアクセスのために利用されてもよい。計算システム１２のハードウェアコンポーネントの例が、図１６に示される。アプリケーションが計算システム１２上で実行可能であり、そのアプリケーションは、シースルー型拡張現実ディスプレイシステム１０の１つまたは複数のプロセッサ上で動作するアプリケーションと相互作用するか、またはそれに対して処理を行う。たとえば、３Ｄマッピングアプリケーションが、１つまたは複数の計算システム１２および着用者のディスプレイシステム１０上で実行可能である。
【００１５】
[0035]  加えて、一部の実施形態では、同じ環境内または互いに通信する他のシースルー型ヘッドマウントディスプレイシステム１０上で実行するアプリケーションは、たとえば物体識別および実物体に対するオクルージョン量（occlusion volume）のようなオクルージョンデータなどのデータ更新を、デバイス間のピアツーピア構成で、または１つまたは複数のネットワークアクセス可能な計算システムで実行する物体管理サービスへ、リアルタイムで共有する。
【００１６】
[0036]  一部の例における共有されるデータは、デバイス２へアクセス可能な１つまたは複数の参照座標系に関して参照されてもよい。他の例では、あるヘッドマウントディスプレイ（HMD）デバイスは、画像データまたは画像データから得られるデータ、送信ＨＭＤに対する位置データ、たとえば相対位置を与えるＧＰＳまたはＩＲデータ、および方位データを含む、他のＨＭＤデバイスからのデータを受信してもよい。ＨＭＤ間で共有されるデータの例には、その前方対面カメラ１１３により撮像された画像データおよび深度データを含む深度マップデータ、物体識別データ、および深度マップにおける実物体に対するオクルージョン量がある。実物体は、未識別のままであるか、あるいは、ＨＭＤデバイスまたは支援用計算システム、たとえば１２または他のディスプレイシステム１０上で実行するソフトウェアにより認識され得る。
【００１７】
[0037]  環境の一例は、着用者が位置する実際の場所の３６０度の可視部分である。着用者は、彼の視野である、彼の環境のサブセットを見ることができる。たとえば、部屋は環境である。人物は、家の中にいてもよく、キッチンで冷蔵庫の一番上の棚を見ていてもよい。冷蔵庫の一番上の棚は彼の表示視野内にあり、キッチンは彼の環境であるが、彼の上階の寝室は、壁および天井が上階の寝室の彼の視野を遮断するので、彼の現在の環境の一部ではない。もちろん、彼が移動すれば、彼の環境は変化する。環境のいくつかの他の例は、球技場、街路の場所、店舗の一区域、コーヒーショップの顧客区域などでもよい。場所は複数の環境を含むことができ、たとえば、家は場所であり得る。着用者および彼の友人は、家中で行われるゲームをするために、彼らのディスプレイデバイスシステムを着用することができる。各プレーヤーは家を動き回るので、彼の環境は変化する。同様に、数個の街区の外周が場所であってもよく、異なる交差点は、異なる交差道路が視野に入るときに見える異なる環境を提供する。一部の例では、場所は、場所追跡センサまたはデータの精度に応じて、環境であってもよい。
【００１８】
[0038]  図２Ａは、遠瞳孔間距離（IPD:inter-pupillary distance）を位置合わせするための距離および方向における注視点へ伸びる注視ベクトルの例を示す上面図である。図２Ａは、着用者の目が実質的に無限遠、たとえば５フィートより遠くに焦点が合う注視点において交差する注視ベクトルの例、言い換えると、着用者が真っ直ぐ前を見ているときの注視ベクトルの例を示す。眼球１６０ｌ、１６０ｒのモデルは、グルストランド模型眼モデル（Gullstrand schematic eye model）に基づいて目毎に示されている。目毎に、眼球１６０は、回転の中心１６６を有する球としてモデル化され、また、同様に球としてモデル化され中心１６４を有する角膜１６８を含む。角膜は眼球と共に回転し、眼球の回転の中心１６６は、固定点として扱うことができる。角膜は、虹彩１７０を、その中心にある瞳孔１６２と共に覆う。この例では、それぞれの角膜の表面１７２上には、グリント（glint）１７４および１７６がある。
【００１９】
[0039]  図２Ａの例示の実施形態では、センサ検出領域１３９（１３９ｌおよび１３９ｒ）は、めがねフレーム１１５内の各表示光学系１４の光軸と位置合わせされる。検出領域と関連付けられたセンサは、この例では、フレーム１１５の左側にある照明器１５３ａおよび１５３ｂによりそれぞれ生成されるグリント１７４ｌおよび１７６ｌを表す画像データと、照明器１５３ｃおよび１５３ｄによりそれぞれ生成されるグリント１７４ｒおよび１７６ｒを表すデータとを撮像可能なカメラである。めがねフレーム１１５内の表示光学系１４ｌおよび１４ｒを通して、着用者の視野は、実物体１９０、１９２および１９４、ならびに仮想物体１８２、１８４、および１８６の双方を含む。
【００２０】
[0040]  回転の中心１６６から角膜中心１６４を通って瞳孔１６２へ形成される軸１７８は、眼の光軸である。注視ベクトル１８０は、視線または視軸と呼ばれることもあり、窩（fovea）から瞳孔１６２の中心を通って伸びる。窩は、網膜内に位置する約１．２度の小領域である。計算される光軸および視軸の間の角度オフセットは、水平および垂直成分を有する。水平成分は光軸から５度までであり、垂直成分は２〜３度である。多数の実施形態において、光軸は決定され、着用者の較正により小さな補正が決定されて、注視ベクトルとして選択される視軸が得られる。
【００２１】
[0041]  各着用者に対して、仮想物体は、異なる水平および垂直位置にある多数の所定の位置の各々において、ディスプレイデバイスにより表示可能である。光軸は、各位置に物体を表示している間に目毎に計算可能であり、光線は、その位置から着用者の目に伸びるものとしてモデル化される。水平および垂直成分を有する注視オフセット角度は、どのように光軸が、モデル化された光線と位置合わせするために移動されるべきかに基づいて、決定可能である。これらの異なる位置から、水平または垂直成分を有する平均注視オフセット角度を、各計算された光軸に適用すべき小さな補正として選択することができる。一部の実施形態では、水平成分は、注視オフセット角度補正のために用いられる。
【００２２】
[0042]  注視ベクトル１８０ｌおよび１８０ｒは、眼球から視野内へ、記号１８１ｌおよび１８１ｒにより示される実質的に無限遠にある注視点へ伸びるにつれて互いに接近するので、完全に平行なわけではない。各表示光学系１４において、注視ベクトル１８０は、センサ検出領域１３９の中心に位置する光軸と交差するように見える。この構成では、これらの光軸は、瞳孔間距離（IPD）と位置合わせされる。着用者が真っ直ぐ前を見ているとき、測定されるＩＰＤは、遠ＩＰＤとも呼ばれる。
【００２３】
[0043]  ある距離におけるＩＰＤを位置合わせするために着用者が注目する物体を識別する場合、その物体は、各表示光学系の各光軸に沿った方向に位置合わせされ得る。最初は、光軸と着用者の瞳孔との間の位置合わせは未知である。遠ＩＰＤに対して、その方向は、光軸を通って真っ直ぐであり得る。近ＩＰＤを位置合わせする場合、識別された物体は光軸を通る方向にあり得るが、近距離における目の輻輳が原因で、その方向は、これらの表示光学系の光軸間で中心に位置し得るが、真っ直ぐではない。
【００２４】
[0044]  図２Ｂは、近ＩＰＤを位置合わせするための距離および方向における注視点へ伸びる注視ベクトルの例を示す上面図である。この例では、左目の角膜１６８ｌは、右すなわち着用者の鼻に向かって回転しており、右目の角膜１６８ｒは、左すなわち着用者の鼻に向かって回転している。両方の瞳孔は、さらに非常に近い距離、たとえば着用者の前方２フィートにある実物体１９４を注視している。各々の目からの注視ベクトル１８０ｌおよび１８０ｒは、実物体１９４が位置するパナムの融合領域（Panum's fusional region）１９５に進入する。パナムの融合領域は、人間の視覚のような両眼視システムにおける単一視の領域である。注視ベクトル１８０ｌおよび１８０ｒの交点は、着用者が実物体１９４を見ていることを示す。そのような距離において、眼球は内側に回転するので、瞳孔間の距離は、近ＩＰＤへ減少する。近ＩＰＤは通常、遠ＩＰＤより約４ｍｍ短い。近ＩＰＤ距離基準、たとえば４フィート未満にある注視点を用いて、表示光学系１４のＩＰＤ位置合わせを、近ＩＰＤのそれに切り替えるまたは調整することができる。近ＩＰＤのために、各表示光学系１４は、着用者の鼻に向かって移動されてもよく、その結果、光軸および検出領域１３９は、検出領域１３９ｌｎおよび１３９ｒｎにより表されるように、鼻に向かって数ミリメートル移動する。
【００２５】
[0045]  着用者のＩＰＤを自動的に決定し、ＳＴＨＭＤを自動的に調整して最適な着用者の視野を得るためのＩＰＤを設定する技術は、Ｇａｚｅ  Ｄｅｔｅｃｔｉｏｎ  Ｉｎ  Ａ  Ｓｅｅ−Ｔｈｒｏｕｇｈ、Ｎｅａｒ−Ｅｙｅ、Ｍｉｘｅｄ  Ｒｅａｌｉｔｙ  Ｄｉｓｐｌａｙと題した同時係属中の米国特許出願第１３／２２１，７３９号と、Ａｄｊｕｓｔｍｅｎｔ  Ｏｆ  Ａ  Ｍｉｘｅｄ  Ｒｅａｌｉｔｙ  Ｄｉｓｐｌａｙ  Ｆｏｒ  Ｉｎｔｅｒ−Ｐｕｐｉｌｌａｒｙ  Ｄｉｓｔａｎｃｅ  Ａｌｉｇｎｍｅｎｔと題した米国特許出願第１３／２２１，７０７号と、Ａｌｉｇｎｉｎｇ  Ｉｎｔｅｒ−Ｐｕｐｉｌｌａｒｙ  Ｄｉｓｔａｎｃｅ  Ｉｎ  Ａ  Ｎｅａｒ−Ｅｙｅ  Ｄｉｓｐｌａｙ  Ｓｙｓｔｅｍと題した米国特許出願第１３／２２１，６６２号とにおいて論じられている。
【００２６】
[0046]  図３は、注視検出素子を含む可動表示光学系を有するめがねとして具体化されたシースルー型ニアアイ複合現実ディスプレイデバイスの例示の構成を示す。各々の目に対するレンズのように見えるものは、各々の目に対する表示光学系１４、たとえば１４ｒおよび１４ｌを表す。表示光学系は、シースルーレンズ、たとえば図５Ａ〜図５ｂの１１８および１１６を、通常のめがねの場合のように含み、仮想コンテンツを、レンズ１１８、１１６を通して見られる実際の直接的な実世界の視野とシームレスに融合させるための光学素子（たとえばミラー、フィルタ）もまた含む。表示光学系１４の光軸は、シースルーレンズ１１８、１１６のほぼ中心に位置し、その中で光はほぼ平行化されて歪みのない視野を与える。たとえば、アイケア（eye care）の専門家は、通常のめがねを着用者の顔に合わせるとき、目標は、各瞳孔がそれぞれのレンズの中心または光軸と位置合わせされて、ほぼ平行化された光が着用者の目に到達して鮮明または歪みのない視野が得られる位置で、めがねが着用者の鼻の上に載ることである。
【００２７】
[0047]  例示のディスプレイデバイス２において、少なくとも１つのセンサの検出領域は、それぞれの表示光学系の光軸と位置合わせされ、検出領域の中心が光軸に沿って光を取り込むようにする。表示光学系が着用者の瞳孔と位置合わせされる場合、それぞれのセンサの各検出領域は、着用者の瞳孔と位置合わせされる。検出領域の反射光は、１つまたは複数の光学素子を通して、この例では破線によりフレーム１１５の内部にあるように図示されたカメラの実際のイメージセンサに転送される。
【００２８】
[0048]  一例では、可視光カメラ（一般にRGBカメラとも呼ばれる）が、そのセンサであってもよい。光学素子または導光素子の一例は、部分的に透過性で部分的に反射性である可視光反射ミラーである。可視光カメラは、着用者の目の瞳孔の画像データを提供し、ＩＲ光検出器１５２は、スペクトラムのＩＲ部分での反射であるグリントを取り込む。可視光カメラが用いられる場合、仮想画像の反射は、カメラにより取り込まれた目データに現れることがある。画像フィルタリング技術が、必要に応じて、仮想画像の反射を除去するために用いられてもよい。ＩＲカメラは、目における仮想画像の反射に感応しない。
【００２９】
[0049]  他の例では、少なくとも１つのセンサは、ＩＲカメラまたは位置感応検出器（PSD:position sensitive detector）であり、それに向かってＩＲ放射が導かれ得る。たとえば、高温反射面は、可視光を透過させるが、ＩＲ放射を反射することができる。目で反射したＩＲ放射は、照明器、他のＩＲ照明器（図示せず）の入射する放射からのものであるか、または目で反射した環境のＩＲ放射からのものであることがある。一部の例では、センサは、ＲＧＢおよびＩＲカメラの組合せでもよく、導光素子は、可視光反射または転向素子と、ＩＲ放射反射または転向素子とを含んでもよい。一部の例では、カメラは小型、たとえば２ミリメートル（mm）×２ｍｍでもよい。
【００３０】
[0050]  様々な種類の注視検出システムが、本システムでの使用に適している。注視ベクトルを判定する一部として角膜中心を計算する一部の実施形態では、２つのグリント、したがって２つの照明器で十分である。しかしながら、他の実施形態は、瞳孔位置、したがって注視ベクトルを判定する際に追加のグリントを用いることがある。グリントを表す目のデータをたとえば３０フレーム毎秒以上で繰返し取り込む際に、１つのグリントのデータを、瞼または睫毛までもが遮断することがあるが、他の照明器により生成されるグリントによりデータを収集することができる。
【００３１】
[0051]  図３は、シースルー型複合現実ディスプレイデバイスのめがねの実施形態におけるフレーム１１５のめがねの弦１０２の側面図である。フレーム１１５の前面にあるのは、ビデオおよび静止画を撮像可能な物理環境対面ビデオカメラ１１３である。特に一部の実施形態では、物理環境対面カメラ１１３は、深度カメラならびに可視光またはＲＧＢカメラでもよい。たとえば深度カメラは、ＩＲ照明器送信器と、可視画像センサの前のホットミラーのような高温反射面とを含んでもよく、高温反射面は、可視光を通過させ、照明器により送信された波長範囲内または所定の波長程度である反射ＩＲ放射を、ＣＣＤまたは他の種類の深度センサへ導く。他の種類の可視光カメラ（RGBカメラ）および深度カメラも使用可能である。深度カメラに関するより多くの情報は、２０１０年６月１１日に出願された、米国特許出願第１２／８１３，６７５号において見つけることができる。センサからのデータは、制御回路１３６のプロセッサ２１０、または処理ユニット４あるいは両方に送信することができ、これらがデータを処理してもよいが、処理ユニット４が、処理のために、ネットワーク越しの計算システムまたは二次的な計算システムにデータを送信することもできる。この処理は、画像セグメント化およびエッジ検出技術により物体を識別し、着用者の実世界の視野における物体に深度をマッピングする。加えて、物理環境対面カメラ１１３は、環境光を測定するための測光計を含んでもよい。
【００３２】
[0052]  制御回路１３６は、ヘッドマウントディスプレイデバイス２の他のコンポーネントを支援する様々な電子回路を設けている。制御回路１３６のさらなる詳細は、図６Ａおよび図６Ｂに関して、以下で提供する。弦１０２の内部にある、または弦１０２に搭載されるのは、イヤホン（またはスピーカー）１３０、慣性センサ１３２、ＧＰＳ送受信器１４４、および温度センサ１３８である。一実施形態では、慣性センサ１３２は、３軸磁力計１３２Ａ、３軸ジャイロ１３２Ｂ、および３軸加速度計１３２Ｃを含む（図６Ａ参照）。慣性センサは、ヘッドマウントディスプレイデバイス２の位置、向き、および突然の加速を感知するためのものである。これらの動きから、頭部の位置が決定することもできる。
【００３３】
[0053]  ディスプレイデバイス２は、１つまたは複数の仮想物体を含む１つまたは複数の画像を生成可能な画像生成ユニットを設けている。一部の実施形態では、マイクロディスプレイが画像生成ユニットとして使用可能である。この例におけるマイクロディスプレイアセンブリ１７３は、光処理素子および可変焦点調節器１３５を備える。光処理素子の一例は、マイクロディスプレイ１２０である。他の例には、レンズ系１２２の１つまたは複数のレンズのような１つまたは複数の光学素子、ならびに、図５Ａおよび図５Ｂの反射素子１２４ａおよび１２４ｂまたは図５Ｃおよび図５Ｄの１２４のような１つまたは複数の反射素子が含まれる。レンズ系１２２は、単一のレンズまたは複数のレンズを備えてもよい。
【００３４】
[0054]  マイクロディスプレイ１２０は、弦１０２に搭載されるかまたはその内側にあり、画像源を含み、仮想物体の画像を生成する。マイクロディスプレイ１２０は、レンズ系１２２および反射素子１２４または以下の図面に示される反射素子１２４ａおよび１２４ｂと光学的に位置合わせされる。光学的な位置合わせは、１つまたは複数の光軸を含む光路１３３に沿っていてもよい。マイクロディスプレイ１２０は、仮想物体の画像を、その画像光を誘導可能なレンズ系１２２を通して、反射素子１２４へ投射し、反射素子１２４は図５Ｃおよび図５Ｄのように光を導光光学素子１１２内へ導き、または反射素子１２４ａ（たとえばミラーまたは他の表面）へ投射し、反射素子１２４ａは仮想画像の光を部分反射素子１２４ｂへ導き、部分反射素子１２４ｂは、図５Ａ〜図５Ｄのように、経路１３３に沿った仮想画像視野を光軸１４２に沿った自然なまたは実際の直接視野と組み合わせる。視野の組合せは、着用者の目に導かれる。
【００３５】
[0055]  可変焦点調節器１３５は、マイクロディスプレイアセンブリの光路内の１つまたは複数の光処理素子の間の変位、またはマイクロディスプレイアセンブリ内の素子の屈折力（optical power）を変化させる。レンズの屈折力は、その焦点距離の逆数、たとえば１／焦点距離として定義されるので、一方の変化が他方に影響する。焦点距離が変化すると、マイクロディスプレイアセンブリ１７３により生成された画像に対して合焦している、特定の距離における領域などの、視野の領域が変化することになる。
【００３６】
[0056]  変位の変化をもたらすマイクロディスプレイアセンブリ１７３の一例では、この変位の変化は、この例ではレンズ系１２２およびマイクロディスプレイ１２０のような少なくとも１つの光処理素子を支持するアーマチャ（armature）１３７内で導かれる。アーマチャ１３７は、素子の物理的な移動中の光路１３３に沿った位置合わせを安定させて、選択された変位または屈折力を実現するのに役立つ。一部の例では、調節器１３５は、レンズ系１２２内のレンズのような１つまたは複数の光学素子をアーマチャ１３７内で移動させることができる。他の例では、アーマチャは、光処理素子の周囲の領域内に溝または空間を有して、光処理素子を移動させることなくマイクロディスプレイ１２０などの素子を越えてスライドするようにしてもよい。レンズ系１２２のようなアーマチャ内の他の素子は、系１２２またはその中のレンズが、移動するアーマチャ１３７と共にスライドまたは移動するように取り付けられる。変位の範囲は、通常は、数ミリメートル（mm）程度である。一例では、この範囲は１〜２ｍｍである。他の例では、アーマチャ１３７は、変位以外の他の物理パラメータの調整を伴う焦点調整技術のために、レンズ系１２２を支持してもよい。そのようなパラメータの一例は、偏光である。
【００３７】
[0057]  一例では、調節器１３５は、圧電モータのようなアクチュエータでもよい。アクチュエータのための他の技術を用いてもよく、そのような技術の例の中には、コイルおよび永久磁石からなるボイスコイル、磁歪素子、および電歪素子がある。
【００３８】
[0058]  マイクロディスプレイ１２０を実現するために使用可能な、異なる画像生成技術が存在する。たとえば、マイクロディスプレイ１２０は、光源が白色光によりバックライトを受ける光学活性物質により変調される、透過型投射技術を用いて実現可能である。これらの技術は、通常、強力なバックライトおよび高い光エネルギー密度を有するＬＣＤ型ディスプレイを用いて実現される。マイクロディスプレイ１２０はまた、外光が反射され光学活性物質により変調される反射技術を用いて、実現可能である。照明は、技術に応じて、白色源またはＲＧＢ源のいずれかにより前方に照らされる。デジタル光処理（DLP:Digital light processing）、シリコン上液晶（LCOS:liquid crystal on silicon）、およびクアルコム社のＭｉｒａｓｏｌ（登録商標）表示技術は全て反射技術の例であり、これらの反射技術は、ほとんどのエネルギーが変調構造から反射されるので効率的であり、本明細書に記載するシステムにおいて使用可能である。加えて、マイクロディスプレイ１２０は、光がディスプレイにより生成される発光技術を用いて実装可能である。たとえば、マイクロビジョン社のＰｉｃｏＰ（商標）エンジンは、レーザ信号を、マイクロミラー操作によって、透過素子として作用する微小スクリーン上に放射するか、または直接目にビームを当てる（たとえばレーザ）。
【００３９】
[0059]  図４は、ハードウェアおよびソフトウェアコンポーネントの支援、ならびにマイクロディスプレイアセンブリの３次元調節を行う、複合現実ディスプレイデバイスの他の実施形態におけるめがねの弦の側面図である。図５Ａで上述した番号の一部は、図面における煩雑さを回避するために削除されている。表示光学系１４が３次元のいずれにでも移動される実施形態では、反射素子１２４により表される光学素子、およびマイクロディスプレイアセンブリ１７３のその他の素子、たとえば１２０、１２２も、表示光学系への仮想画像の光の光路１３３を維持するために、移動可能である。制御回路１３６（図６Ａ参照）のプロセッサ２１０の制御下にある表示調節機構２０３により表される１つまたは複数のモータおよび軸２０５から構成されるこの例におけるＸＹＺ伝送機構は、マイクロディスプレイアセンブリ１７３の素子の移動を制御する。使用可能なモータの例には、圧電モータがある。示した例では、１つのモータがアーマチャ１３７に取り付けられ、可変焦点調節器１３５も移動させ、他の表示調節機構２０３は、反射素子１２４の移動を制御する。
【００４０】
[0060]  図５Ａは、注視検出素子の構成を含む、シースルー型ニアアイ複合現実デバイス２の可動表示光学系１４の一実施形態の上面図である。ニアアイディスプレイデバイス２のフレーム１１５の一部は、表示光学系１４を取り囲み、マイクロディスプレイ１２０および図示したその付属素子を含むマイクロディスプレイアセンブリ１７３の一実施形態の素子を支持する。表示系１４のコンポーネント、この場合は右目の系の表示光学系１４ｒを示すために、表示光学系を取り囲むフレーム１１５の上部は描かれていない。加えて、表示調節機構２０３の動作に着目するために、ブリッジ１０４内のマイクロフォン１１０もこの図では示されていない。図５Ａの例のように、この実施形態における表示光学系１４は、内側フレーム１１７ｒを動かすことにより移動され、内側フレーム１１７ｒはこの例ではマイクロディスプレイアセンブリ１７３も包囲する。表示調節機構２０３は、この実施形態では３軸モータとして設けられて具体化され、３軸モータは、自身の軸２０５を内側フレーム１１７ｒに取り付けて、この実施形態ではマイクロディスプレイアセンブリ１７３を含む表示光学系１４を、３軸の移動を示す記号１４５により示されるように３次元のいずれにでも平行移動させる。
【００４１】
[0061]  この実施形態における表示光学系１４は光軸１４２を有し、着用者の実世界の実際の直接視野を可能にするシースルーレンズ１１８を含む。この例では、シースルーレンズ１１８は、めがねに用いられる標準的なレンズであり、任意の処方（処方なしを含む）に対して作成可能である。他の例では、シースルーレンズ１１８は、可変処方レンズと置き換え可能である。一部の実施形態では、シースルー型ニアアイディスプレイデバイス２は、追加のレンズを含むこともある。
【００４２】
[0062]  表示光学系１４は、反射する反射素子１２４ａおよび１２４ｂをさらに備える。この実施形態では、マイクロディスプレイ１２０からの光は、光路１３３に沿って反射素子１２４ａを介してレンズ１１８に組み込まれた部分反射素子１２４ｂへ導かれ、部分反射素子１２４ｂは、光路１３３に沿って進む仮想物体画像視野を、光軸１４２に沿った自然または実際の直接視野と組み合わせて、組み合わされた視野が、光軸、すなわち最も鮮明な視野が得られる最も平行化された光を有する位置において、着用者の目、この例では右目に導かれるようにする。
【００４３】
[0063]  光センサの検出領域もまた、表示光学系１４ｒの一部である。光学素子１２５は、光軸１４２に沿って受光された着用者の目からの反射光を取り込むことで、検出領域を具体化し、この例では内側フレーム１１７ｒの内部にあるレンズ１１８内に位置するセンサ１３４ｒへ取り込まれた光を導く。図示のように、この構成により、センサ１３４ｒの検出領域１３９は、その中心を表示光学系１４の中心と位置合わせさせることができる。たとえば、センサ１３４ｒがイメージセンサの場合、センサ１３４ｒは検出領域１３９を撮像し、その結果イメージセンサで撮像された画像は光軸を中心とし、それは検出領域１３９がそうであるためである。一例では、センサ１３４ｒは可視光カメラまたはＲＧＢ／ＩＲカメラの組合せであり、光学素子１２５は、着用者の目から反射した可視光を反射する光学素子、たとえば部分反射ミラーを含む。
【００４４】
[0064]  他の実施形態では、センサ１３４ｒはＩＲカメラのようなＩＲ感応デバイスであり、素子１２５は、可視光を通過させＩＲ放射をセンサ１３４ｒに反射する高温反射面を含む。ＩＲカメラは、グリントだけでなく、瞳孔を含む着用者の目の赤外線または近赤外線画像もまた撮像可能である。
【００４５】
[0065]  他の実施形態では、ＩＲセンサ１３４ｒは、光学位置センサと呼ばれることもある、位置感応デバイス（PSD）である。導光素子、この例では、図５Ａ〜図５Ｄの反射素子１２５、１２４、１２４ａおよび１２４ｂの描画は、それらの機能を表す。これらの素子は、任意の数の形態をなすことができ、カメラセンサまたは着用者の目のようなその意図する目的地へ光を導くための１つまたは複数の構成で、１つまたは複数の光学素子を用いて実現することができる。
【００４６】
[0066]  先の図２Ａおよび２Ｂおよび以下の図面で論じるように、着用者が真っ直ぐを見ており、検出領域１３９またはイメージセンサ１３４ｒが実質的にディスプレイの光軸に中心があるときに着用者の瞳孔の中心が着用者の目の撮像画像において中心に位置する場合に、表示光学系１４ｒは瞳孔と位置合わせされる。双方の表示光学系１４がそれぞれの瞳孔と位置合わせされる場合、光学的中心の間の距離は、着用者の瞳孔間距離と一致する、すなわち位置合わせされる。図５Ａの例では、瞳孔間距離は、表示光学系１４と３次元で位置合わせ可能である。
【００４７】
[0067]  一実施形態では、センサ１３４により取り込まれたデータが、瞳孔が光軸と位置合わせされていないことを示す場合、処理ユニット４または制御回路１３６あるいは両方における１つまたは複数のプロセッサは、瞳孔の中心が光軸１４２からどれだけ離れているかを判定するために、距離または長さの測定単位を画像の画素または他の離散単位あるいは領域に関連付けるマッピング基準を用いる。判定された距離に基づいて、１つまたは複数のプロセッサは、光軸１４２を瞳孔と位置合わせするためにはどのくらいの距離およびどの方向に表示光学系１４ｒが移動されるべきかについての調整値を決定する。制御信号は、１つまたは複数の表示調節機構ドライバ２４５により、１つまたは複数の表示調節機構２０３を構成するコンポーネントの各々、たとえば表示調節機構２０３に適用される。この例におけるモータの場合、モータは軸２０５を動かして、内側フレーム１１７ｒを制御信号により示される少なくとも１つの方向に動かす。内側フレーム１１７ｒの弦側には、フレーム１１５の柔軟部分２１５ａ、２１５ｂがあり、それらは内側フレーム１１７ｒに一端で取り付けられ、表示光学系１４が、それぞれの瞳孔に関して幅、高さまたは奥行きの変更のために３つの方向のいずれかに移動するときに、弦フレーム１１５の内部の溝２１７ａおよび２１７ｂ内でスライドして、内側フレーム１１７をフレーム１１５に対して固定する。
【００４８】
[0068]  センサに加えて、表示光学系１４は、他の注視検出素子を含む。この実施形態では、レンズ１１８の側面においてフレーム１１７ｒに取り付けられているのは、少なくとも２つであるがそれより多くてもよい赤外線（IR）照明器１５３であり、赤外線照明器１５３は、特定の波長範囲内または所定の波長程度である狭赤外光ビームを着用者の目に導いて、各々、それぞれの角膜の表面上にそれぞれのグリントを生成する。他の実施形態では、照明器および任意のフォトダイオードは、レンズ上に、たとえば角または端にあってもよい。この実施形態では、少なくとも２つの赤外線（IR）照明器１５３に加えて、ＩＲ光検出器１５２がある。各光検出器１５２は、レンズ１１８の向こう側のその対応するＩＲ照明器１５３の特定の波長範囲内のＩＲ放射に感応し、それぞれのグリントを検出するように位置付けられる。センサ１３４がＩＲセンサである場合、光検出器１５２は必要でないことがあり、または追加のグリントデータ取り込み源であってもよい。可視光カメラの場合、光検出器１５２はグリントからの光を取り込み、グリント強度値を生成する。
【００４９】
[0069]  図５Ａ〜図５Ｄにおいて、これらの注視検出素子、たとえば検出領域１３９および照明器１５３ならびに光検出器１５２などの位置は、表示光学系１４の光軸に対して固定されている。これらの素子は、表示光学系１４ｒと共に、したがってその光軸と共に内側フレーム上で移動可能であるが、光軸１４２に対するそれらの空間的な関係は変化しない。
【００５０】
[0070]  図５Ｂは、注視検出素子の構成を含むシースルー型ニアアイ複合現実デバイスの可動表示光学系の他の実施形態の上面図である。この実施形態では、光センサ１３４ｒは、ＲＧＢカメラと呼ばれることもある可視光カメラとして具体化可能であり、または、ＩＲカメラ、もしくは可視範囲およびＩＲ範囲の両方における光を処理可能なカメラ、たとえば深度カメラとして具体化可能である。この例では、イメージセンサ１３４ｒは、検出領域１３９ｒである。このカメラのイメージセンサ１３４は、表示光学系の光軸１４２上に垂直に配置される。一部の例では、このカメラは、フレーム１１５上に、シースルーレンズ１１８の上または下に配置してもよく、またはレンズ１１８に組み込んでもよい。一部の実施形態では、照明器１５３はカメラのために光を供給し、他の実施形態では、カメラは、環境光または自身の光源からの光を用いて画像を撮像する。撮像された画像データを用いて、瞳孔と光軸の位置合わせを決定してもよい。画像データ、グリントデータ、またはその両方に基づく注視決定技術は、これらの注視検出素子の配置に基づいて用いられてもよい。
【００５１】
[0071]  この例では、ブリッジ１０４内の表示調節機構２０３は、方向記号１４５により示されるように、着用者の目に対して水平方向に表示光学系１４ｒを移動させる。柔軟フレーム部分２１５ａおよび２１５ｂは、系１４が移動すると、溝２１７ａおよび２１７ｂ内でスライドする。この例では、マイクロディスプレイアセンブリ１７３の実施形態の反射素子１２４ａは静止している。ＩＰＤは通常一度決定されて保存されるので、実施可能なマイクロディスプレイ１２０および反射素子１２４ａ間の焦点距離の任意の調整は、マイクロディスプレイアセンブリによって、たとえばアーマチャ１３７内のマイクロディスプレイ素子の調整によって遂行され得る。
【００５２】
[0072]  図５Ｃは、注視検出素子の構成を含むシースルー型ニアアイ複合現実デバイスの可動表示光学系の第３の実施形態の上面図である。表示光学系１４は、ＩＲ照明器１５３および光検出器１５２、ならびにフレーム１１５またはレンズ１１８上に光軸１４２の下または上に配置された光センサ１３４ｒを含む、注視検出素子の類似の構成を有する。この例では、表示光学系１４は、画像を着用者の目へ導くための反射素子である導光光学素子１１２を含み、追加のシースルーレンズ１１６およびシースルーレンズ１１８の間に配置される。反射素子１２４は導光光学素子内にありこの素子１１２と共に移動するので、マイクロディスプレイアセンブリ１７３の一実施形態は、弦１０２上で、この例では、表示光学系１４のための表示調節機構２０３に取り付けられ、表示調節機構２０３は、軸２０５を有する３軸機構２０３の組として具体化され、マイクロディスプレイアセンブリを移動させるために少なくとも１つを含む。ブリッジ１０４上の１つまたは複数の表示調節機構２０３は、３軸の移動を与える表示調節機構２０３のその他のコンポーネントの代理となる。他の実施形態では、表示調節機構は、デバイスを、取り付けられた軸２０５を介して水平方向に移動させるように動作してもよい。マイクロディスプレイアセンブリ１７３のための機構２０３はまた、マイクロディスプレイ１２０から出力される光と反射素子１２４との間の位置合わせを維持するために、水平にそれを移動させる。制御回路（図６Ａ参照）のプロセッサ２１０は、それらの移動を協調させる。
【００５３】
[0073]  導光光学素子１１２は、マイクロディスプレイ１２０から、ヘッドマウントディスプレイデバイス２を着用している着用者の目へ光を伝送する。導光光学素子１１２はまた、ヘッドマウントディスプレイデバイス２の前方からの光を、導光光学素子１１２を通って着用者の目へ透過させることで、着用者が、マイクロディスプレイ１２０から仮想画像を受けることに加えて、ヘッドマウントディスプレイデバイス２の前方の空間の実際の直接視野を有することが可能となる。したがって、導光光学素子１１２の壁はシースルーである。導光光学素子１１２は、第１の反射素子１２４（たとえばミラーまたは他の表面）を含む。マイクロディスプレイ１２０からの光はレンズ系１２２を通過し、反射素子１２４に入射する。反射素子１２４は、マイクロディスプレイ１２０からの入射光を反射し、導光光学素子１１２を備える平面基盤の内側で内部反射により光が捕獲されるようにする。
【００５４】
[0074]  基盤の表面での数回の反射の後、捕獲された光波は、選択的反射面１２６の列に達する。図面の過剰混雑を防ぐために、５つの面の１つのみに符号１２６を付していることに注意されたい。反射面１２６は、基盤の外側からこれらの反射面に入射する光波を、着用者の目に結合する。一実施形態では、各々の目は、自身の導光光学素子１１２を有する。
【００５５】
[0075]  図５Ｄは、注視検出素子の構成を含むシースルー型ニアアイ複合現実デバイスの可動表示光学系の第４の実施形態の上面図である。この実施形態は、導光光学素子１１２を含む図５Ｃの実施形態と類似している。しかしながら、光検出器がＩＲ光検出器１５２のみであるので、この実施形態は、以下の例で論じるように、注視検出のためにグリント検出にのみ依存する。
【００５６】
[0076]  図５Ａ〜図５Ｄの実施形態において、これらの注視検出素子、たとえば検出領域１３９および照明器１５３ならびに光検出器１５２の位置は、互いに固定されている。これらの例において、それらはまた、表示光学系１４の光軸に対して固定されている。
【００５７】
[0077]  上記の実施形態では、示されたレンズの具体的な数は単なる例にすぎない。同じ原理で動作する、他の数および構成のレンズも用いることができる。加えて、上記の例では、シースルー型ニアアイディスプレイデバイス２の右側のみが示された。完全なニアアイ複合現実ディスプレイデバイスは、例として、もう一組のレンズ１１６および／または１１８、図５Ｃおよび５Ｄの実施形態のためのもう１つの導光光学素子１１２、もう１つのマイクロディスプレイ１２０、もう１つのレンズ系１２２、同様にもう１つの環境対面カメラ１１３、もう１つのアイトラッキングセンサ１３４、イヤホン１３０、および温度センサ１３８を含む。
【００５８】
[0078]  図６Ａは、１つまたは複数の実施形態と共に使用可能な、シースルー型ニアアイ複合現実ディスプレイユニット２のハードウェアおよびソフトウェアコンポーネントの一実施形態のブロック図である。図６Ｂは、処理ユニット４の様々なコンポーネントを示すブロック図である。この実施形態では、ニアアイディスプレイデバイス２は、処理ユニット４から仮想画像に関する命令を受信し、逆にセンサ情報を処理ユニット４に提供する。処理ユニット４において具体化可能なソフトウェアおよびハードウェアコンポーネントは、図６Ｂに描かれており、センサ情報をディスプレイデバイス２（図１Ａ参照）から受信する。その情報に基づいて、処理ユニット４は、どこでいつ仮想画像を着用者に提供すべきかを決定し、それに従って命令をディスプレイデバイス２の制御回路１３６に送信する。
【００５９】
[0079]  図６Ａのコンポーネントの一部（たとえば、物理環境対面カメラ１１３、アイセンサ１３４、可変仮想焦点調節器１３５、検出領域１３９、マイクロディスプレイ１２０、照明器１５３、イヤホン１３０、温度センサ１３８、表示調節機構２０３）は影付きで示されて、これらのデバイスの各々は少なくとも２つずつ存在し、ヘッドマウントディスプレイデバイス２の左側に少なくとも１つ、右側に少なくとも１つ存在することを示す。図６Ａは、電力管理ユニット２０２と通信可能な制御回路２００を示す。制御回路２００は、プロセッサ２１０、メモリ２１４（たとえばD-RAM）と通信可能なメモリコントローラ２１２、カメラインターフェース２１６、カメラバッファ２１８、ディスプレイドライバ２２０、ディスプレイフォーマッタ２２２、タイミング発生器２２６、ディスプレイ出力２２８、およびディスプレイ入力インターフェース２３０を含む。一実施形態では、ドライバ２２０のコンポーネントの全ては、１つまたは複数のバスの専用線を介して互いに通信可能である。他の実施形態では、制御回路２００のコンポーネントの各々は、プロセッサ２１０と通信する。
【００６０】
[0080]  カメラインターフェース２１６は、２つの物理環境対面カメラ１１３および各アイセンサ１３４へのインターフェースとなり、カメラ１１３、センサ１３４から受信されたそれぞれの画像をカメラバッファ２１８に格納する。ディスプレイドライバ２２０は、マイクロディスプレイ１２０を駆動する。ディスプレイフォーマッタ２２２は、マイクロディスプレイ１２０に表示されている仮想画像についての情報を、拡張現実システムのための処理を行う１つまたは複数の計算システム、たとえば４、２１０の１つまたは複数のプロセッサに提供することができる。タイミング発生器２２６は、システムにタイミングデータを提供するために用いられる。ディスプレイ出力２２８は、物理環境対面カメラ１１３およびアイセンサ１３４から処理ユニット４へ画像を提供するためのバッファである。ディスプレイ入力２３０は、マイクロディスプレイ１２０に表示される仮想画像のような画像を受信するためのバッファである。ディスプレイ出力２２８およびディスプレイ入力２３０は、処理ユニット４に対するインターフェースであるバンドインターフェース２３２と通信する。
【００６１】
[0081]  電源管理ユニット２０２は、電圧レギュレータ２３４、アイトラッキング照明ドライバ２３６、可変調節器ドライバ２３７、光検出器インターフェース２３９、音声ＤＡＣおよびアンプ２３８、マイクロフォンプリアンプおよび音声ＡＤＣ２４０、温度センサインターフェース２４２、表示調節機構ドライバ２４５およびクロック発生器２４４を含む。電圧レギュレータ２３４は、処理ユニット４からバンドインターフェース２３２を介して電力を受信し、その電力をヘッドマウントディスプレイデバイス２のその他のコンポーネントへ供給する。照明ドライバ２３６は、たとえば駆動電流または電圧により、照明器１５３を、所定の波長程度または波長範囲内で動作するように制御する。音声ＤＡＣおよびアンプ２３８は、音声情報をイヤホン１３０から受信する。マイクロフォンプリアンプおよび音声ＡＤＣ２４０は、マイクロフォン１１０に対するインターフェースを提供する。温度センサインターフェース２４２は、温度センサ１３８に対するインターフェースである。１つまたは複数の表示調節ドライバ２４５は、各表示調節機構２０３を構成する１つまたは複数のモータもしくは他のデバイスに、３つの方向の少なくとも１つにおける移動の調整量を表す制御信号を供給する。電源管理ユニット２０２はまた、電力を供給し、３軸磁力計１３２Ａ、３軸ジャイロ１３２Ｂ、および３軸加速度計１３２Ｃから、逆にデータを受信する。電源管理ユニット２０２はまた、電力を供給し、逆にデータを受信し、データをＧＰＳ送受信器１４４に送信する。一実施形態では、心拍センサなどを含む生体センサ１４０が設けられてもよい。
【００６２】
[0082]  可変調節器ドライバ２３７は、制御信号、たとえば駆動電流または駆動電圧を調節器１３５に提供して、マイクロディスプレイアセンブリ１７３の１つまたは複数の素子を移動させて、制御回路１３のプロセッサ２１０、または処理ユニット４、または両方で実行するソフトウェアにより計算される焦点領域に対する変位を実現する。変位の範囲、したがって焦点領域の範囲にわたって掃引する実施形態では、可変調節器ドライバ２３７は、タイミング信号をタイミング発生器２２６または代わりにクロック発生器２４４から受信して、プログラムされた速度または周波数で動作する。
【００６３】
[0083]  光検出器インターフェース２３９は、各光検出器からの電圧または電流測定値のために必要な任意のアナログ／デジタル変換を行い、測定値をプロセッサ可読フォーマットでメモリ内にメモリコントーラ２１２によって格納し、温度および波長精度のような光検出器１５２の動作パラメータを監視する。
【００６４】
[0084]  図６Ｂは、シースルー型ニアアイ複合現実ディスプレイユニットに関連付けられた処理ユニット４のハードウェアおよびソフトウェアコンポーネントの一実施形態のブロック図である。処理ユニット４は、ハードウェアおよびソフトウェアコンポーネントのこの実施形態、ならびに類似の機能を実行する類似のコンポーネントを含んでもよい。図６Ｂは、電源管理回路３０６と通信可能な制御回路３０４を示す。制御回路３０４は、中央処理装置（CPU）３２０、グラフィック処理装置（GPU）３２２、キャッシュ３２４、ＲＡＭ３２６、メモリ３３０（たとえばD-RAM）と通信可能なメモリコントロール３２８、フラッシュメモリ３３５（または他種の不揮発性ストレージ）と通信可能なフラッシュメモリコントローラ３２２、バンドインターフェース３０２およびバンドインターフェース２３２を介してシースルー型ニアアイディスプレイデバイス２と通信可能なディスプレイ出力バッファ３３６、バンドインターフェース３０２およびバンドインターフェース２３２を介してニアアイディスプレイデバイス２と通信可能なディスプレイ入力バッファ３３８、マイクロフォンへ接続するための外部マイクロフォンコネクタ３４２と通信可能なマイクロフォンインターフェース３４０、無線通信コンポーネント３４６と接続するためのＰＣＩエクスプレスインターフェース、およびＵＳＢポート３４８を含む。
【００６５】
[0085]  一実施形態では、無線通信コンポーネント３４６は、Ｗｉ−Ｆｉ対応通信デバイス、Ｂｌｕｅｔｏｏｔｈ通信デバイス、赤外線通信デバイスなどを含むことができる。データまたはソフトウェアを処理ユニット４にロードし、ならびに処理ユニット４を充電するために、ＵＳＢポートを用いて、処理ユニット４を二次計算デバイスにドッキングすることが可能である。一実施形態では、ＣＰＵ３２０およびＧＰＵ３２２は、どこでいつどのように画像を着用者の視野に挿入すべきかを決定するために大きく貢献する。
【００６６】
[0086]  電源管理回路３０６は、クロック発生器３６０、アナログ／デジタル変換器３６２、バッテリー充電器３６４、電圧レギュレータ３６６、シースルー型ニアアイディスプレイ電源インターフェース３７６、（処理ユニット４のリストバンド上に配置された）温度センサ３７４と通信可能な温度センサインターフェース３７２を含む。デジタル変換器３６２への交流電流は、ＡＣ供給を受信し本システムのためのＤＣ供給を生成するために充電ジャック３７０へ接続される。電圧レギュレータ３６６は、本システムへ電力を供給するために、バッテリー３６８と通信する。バッテリー充電器３６４は、充電ジャック３７０から電力を受信したときに、（電圧レギュレータ３６６を介して）バッテリー３６８を充電するために用いられる。デバイス電力インターフェース３７６は、電力をディスプレイデバイス２へ供給する。
【００６７】
[0087]  上述したシステムを用いて、仮想画像を着用者の視野に追加して、仮想画像が着用者が見ている実画像と混合されるようにすることが可能である。一例では、仮想画像は、元のシーンの一部に見えるように追加される。仮想画像を追加する例は、２０１１年５月２０日に出願された米国特許出願第１３／１１２，９１９号「Ｅｖｅｎｔ  Ａｕｇｍｅｎｔａｔｉｏｎ  Ｗｉｔｈ  Ｒｅａｌ−Ｔｉｍｅ  Ｉｎｆｏｒｍａｔｉｏｎ」、および２０１０年１０月１５日に出願された米国特許出願第１２／９０５，９５２号「Ｆｕｓｉｎｇ  Ｖｉｒｔｕａｌ  Ｃｏｎｔｅｎｔ  Ｉｎｔｏ  Ｒｅａｌ  Ｃｏｎｔｅｎｔ」で見つけることができる。
【００６８】
[0088]  ディスプレイデバイスにより描画された仮想物体が着用者の視野で実物体と相互作用する複合現実環境を提供するために、物体中心追跡システムを実現する。物体中心追跡システムは、実世界物体の各実例（instance）と描画される仮想物体とに対するデータ定義を用いる。これにより、各処理ユニット４および計算システム１２は、全てのデバイスにわたって一貫した方法で、実物体および仮想物体の両方を理解し処理することでき、各描画デバイスは、計算を行って、視野内の物体間の正しい相互作用を描画することができる。
【００６９】
[0089]  物体中心追跡システムは、各実物体に対するデータ定義を含む。実物体に対するデータは、物体の形状、外観、および／またはデバイス上のセンサによる物体の検出を可能にする他の情報、の定義を含んでもよい。データ定義は、物体に対する地理的位置を含んでもよい。
【００７０】
[0090]  実物体に対するデータ定義は、どのようにデバイス２の着用者が実物体と相互作用するかを定義する規則を含む、行動定義または行動プリミティブ（behavioral primitive）を含んでもよい。行動は要素的であり、アプリケーションが必要に応じてデータ定義を処理して、サービスを着用者に提供することが可能になる。
【００７１】
[0091]  図７は、ユーザ７００に対する異なる行動領域を示す。第一に、自己中心領域７２０は、ユーザが物理的に触れることができるものの範囲内にある。自己中心領域７２０は、ユーザがユーザの感覚を用いて知覚できるあらゆるものである。自己中心領域はユーザの体を囲み、一般的にはユーザに近接する。大域領域７３０は、大域空間に登録された全ての物体を包含し、自己中心領域を包含してもよい。本明細書で論じるように、領域７２０および７３０の一方における各物理物体は、その物体に対して定義された特定のユーザ行動に関連付けられる。領域内の各物体に対する行動定義は、視覚システムにアクセスするアプリケーションにより利用されて、視覚システムを着用しているユーザに様々な種類のフィードバックおよび便宜を提供することができる。本開示では、視覚システムは、複合現実の描画が可能なシースルー型ヘッドマウントディスプレイシステムである。他の領域定義が与えられてもよい。タッチ領域７１０は、ユーザが物理的に届く範囲内の全ての物体を包含することができ、視界領域７１５は、ユーザの視界内の物体を包含することができる。
【００７２】
[0092]  これらの行動領域は、自己中心、大域および他の空間を、各領域における実物体の行動に関連する異なる種類の情報を含む区分領域にマッピングする。このマッピングの結果を用いて、位置および興味のある場所への近接などの追加情報、車との衝突または路面の予期せぬ段差の回避などの差し迫った危険への警告を、デバイス２の着用者に提供することができる。
【００７３】
[0093]  各領域内の実物体は、大域領域では全地球測位情報（global positioning information）から、および自己中心領域ではシーンマッピングから決定され、物体にマッピングされた行動プリミティブ（コア行動）は、デバイス２の着用者に着用者の環境に関する情報を提供するためのアプリケーションにより実行される処理の構築ブロックとして使用可能である。
【００７４】
[0094]  行動は、各領域に関連付けられる。相互作用行動は通常、大域領域に関連付けられない。相互作用行動は通常、着用者の自己中心領域に関連する。たとえば、ユーザの頭上の届かない領域は、ユーザの自己中心領域の外側であり、任意の行動を、物体とのユーザ相互作用を含まないものに制約する。
【００７５】
[0095]  図７は３つの異なる領域を示すが、任意の数のユーザ中心領域または大域領域が、本技術において用いられてもよい。各領域は、物体定義に割り当てられた異なる種類の行動プリミティブを有してもよい。たとえば、「タッチ」行動プリミティブは、大域領域ではおそらく関連がない。
【００７６】
[0096]  図８は、ローカル処理ユニット４と、追加の計算サービス８７５をローカル処理ユニット４に提供する遠隔のネットワーク接続された処理環境とを含む、本技術を実現するのに適した処理環境の機能コンポーネントを示す。図８は、シースルー型ヘッドマウント複合現実ディスプレイにおいて感情検出システムを提供するためのソフトウェアの観点からの本システムのブロック図である。図８は、１つまたは複数の個人用ＡＶ装置と通信して計算サービス８７５を提供する１つまたは複数の遠隔計算システムと協力して個人用計算装置により実現可能な、またはこれらの組合せにより実現可能な計算環境をソフトウェアの観点から示す。ネットワーク接続により、利用可能な計算サービス８７５を活用することが可能になる。
【００７７】
[0097]  上記で論じたように、各デバイス２は、付属の処理デバイス４と通信可能である。他の取り込みデバイス２０を用いて、実物体データを計算サービス８７５に提供してもよい。デバイス２０は、たとえば、２次元撮像装置または３次元撮像装置を備えてもよい。他のユーザシステム４４は、処理ユニット４およびディスプレイデバイス２を含んでもよく、全てネットワーク５０を介して計算サービス８７５と通信を行う。
【００７８】
[0098]  図８の実施形態に示されるように、処理ユニット４のソフトウェアコンポーネントは、オペレーティングシステム８０２、アイトラッキングエンジン８０４、ユーザインターフェース８０５、画像および音声処理エンジン８２０、フィードバックアプリケーション８５０、およびユーザプロファイルデータ８６８を備える。
【００７９】
[0099]  オペレーティングシステム８０２は下層構造を提供して、処理ユニット４内のハードウェア要素が、図８に示される機能コンポーネントのより上位のレベルの機能と相互作用することが可能になる。
【００８０】
[00100]  アイトラッキングエンジン８０４は、デバイス２に対する目の運動に関する着用者の注視を追跡する。アイトラッキングエンジン８０４は、人の位置および目の運動に基づいて注視方向または注視点を特定でき、コマンドまたは要求を決定できる。
【００８１】
[00101]  ユーザインターフェース８０５は、ユーザがアプリケーションおよび本システムの他の態様を操作することを可能とし、視覚および可聴フィードバックを着用者に提供する。
【００８２】
[00102]  画像および音声処理エンジン８２０は、本デバイスから利用可能である１つまたは複数の撮像デバイスから受信した、画像データ（たとえばビデオまたは画像）、深度および音声データを処理する。画像および深度情報は、着用者が自身の体を動かしたときにキャプチャされた、外界対面センサからのものでもよい。
【００８３】
[00103]  ジェスチャ認識エンジン８０３は、制御を示す、着用者により行われる動作を識別でき、ユーザの視野内の実世界物体を識別できる。一実施形態では、ジェスチャ認識８０３は、ジェスチャフィルタの集合体を含み、各々は、骨格モデルの少なくとも一部により行うことができるジェスチャに関する情報を含む。ジェスチャ認識エンジン８０３は、骨格モデルと、それに関連付けられた動作とを比較し、それらの動作は、着用者が１つまたは複数のジェスチャを行った場合に識別すべき、ジェスチャライブラリ内のジェスチャフィルタに加えられた撮像画像から得られるものである。ジェスチャを用いて、デバイス２および処理ユニット４の様々な態様を制御することができる。画像および音声処理エンジン８２０は、所与の場所で利用可能であり得る１つまたは複数の撮像デバイスから受信した画像データ、深度および音声データを処理する。
【００８４】
[00104]  複合現実ディスプレイデバイス２の着用者の視野の３Ｄマッピングは、表示視野に対する撮像画像データおよび深度データに基づいて、シーンマッピングエンジン８０８により決定可能である。深度マップは、撮像画像データおよび深度データを表すことができる。視野依存座標系を表示視野のマッピングに用いることができ、それは、仮想物体間の衝突が着用者にどのように見えるかが、着用者の視点に依存するためである。視野依存座標系の一例は、Ｚ軸すなわち深度軸がシースルー型ディスプレイデバイス２の前面から直角にすなわち法線として伸びる、Ｘ、Ｙ、Ｚ座標系である。一部の例では、深度マップの画像および深度データは、表示視野において提示され、ディスプレイデバイス２の前面のカメラ１１３から受信される。表示視野内の物体は、遠隔で、または環境データのセットを用いて決定されてもよく、そのデータは、シーンマッピングエンジン８０８を用いて、または計算サービス８７５から、以前のマッピングに基づいて以前に提供されたものである。
【００８５】
[00105]  視覚描画エンジン８２８は、視覚要素を着用者のディスプレイに描画し、視覚要素は、３次元ホログラフィック仮想物体の実例、２次元画像、色、およびディスプレイデバイス２のディスプレイ内の他の情報を含むことができる。視覚描画エンジン８２８は、アプリケーション８５０と共に動作して、ディスプレイにアプリケーション特有の要素を描画し、ユーザインターフェース８０５に要素を描画する。
【００８６】
[00106]  音声認識および解釈（rendering）エンジン８６２は、マイクロフォン１１０のような音声入力からの入力を解釈し、イヤホンまたはスピーカー１３０への出力を生成する。
【００８７】
[00107]  コアセンサ入力処理８２５は、データ操作の基本セットを、デバイス２からのセンサ入力データに対して行う。このコア操作は、動き推定処理、深度差異（depth disparity）判定、および色変更処理を含んでもよい。デバイス２からの各種のセンサ入力、すなわち視覚、音声、深度、位置、向きは、コアセンサ入力処理８２５により処理可能である。センサ入力処理８２５の出力および／または物体認識エンジン８０６の出力は、アプリケーション８５０の目的を達成するために、物体に割り当てられたプリミティブ行動（primitive behavior）と共に、アプリケーション８５０により使用可能である。
【００８８】
[00108]  物体認識エンジン８０６は、センサデータを、実世界物体の物理的特徴を表す物体データと比較することで、デバイス２からのセンサデータを認識された実物体に変換する。そして、物体認識エンジン８０６は、自己中心またはタッチ中心空間（または他の空間）において、物体データを特徴および行動データにマッピングできる。あるいは、実物体データは、計算サービス８７５から物体分析サービス８７０により提供されてもよい。物体分析サービス８７０は、位置特定サービス、パターン認識および物体行動ライブラリ８７３を含む。
【００８９】
[00109]  実物体データ８５２は、実世界物体に対する物体データと、行動領域にマッピングされた関連行動とを含む。実物体データは、たとえば、自己中心領域マップ８５２ａおよび大域領域マップ８５２ｂを含む。実物体データは、センサデータが視覚および深度データを用いて物体を識別することを可能にする情報と、物体に対する位置情報と、１つまたは複数の関連する行動プリミティブとを含んでもよい。行動プリミティブは、着用者に関する物体の行動を反映する要素である。行動の例には、「危険」、「回避」、「タッチ」、「見る」などが含まれる。任意のＮ個の行動が本システムに含まれてもよく、任意の数の行動が１つの物体に関連付けられてもよい。
【００９０】
[00110]  実物体は、自己中心マップまたは世界領域マップにマッピング可能である。自己中心マップは、デバイス２の着用者に関する物体を定義し、大域領域マップは、世界の基準地点に対する物体データを定義する。シーンマッピングエンジン８０８および物体認識エンジン８０６を用いて、デバイス２は、着用者を取り囲む世界における物理構造および物体を決定でき、これにより自己中心空間をマッピングする。各マップは、ユーザに関する世界における実物体の行動を定義する異なる種類の行動プリミティブを含む。この計算の結果はアプリケーション８５０により用いられて、位置および興味のある場所への近接などの追加情報、車との衝突または路面の予期せぬ段差の回避などの差し迫った危険への警告を着用者に提供することができる。
【００９１】
[00111]  アプリケーション８５０は、行動ベースのデータを用いてサービスをデバイス２の着用者に提供するように設計された多数のアプリケーションのいずれでもよい。アプリケーション８５０は、アプリケーション処理８５８、およびデータ分析エンジン８５４を含む。アプリケーション処理８５８は、アプリケーションの機能を実現する１つまたは複数の処理を含む。たとえば、視覚警告アプリケーションは、デバイスにより検出された危険を着用者に警告するように設計されてもよい。視覚警告アプリケーション処理は、物体データおよびコアセンサ処理を分析し、警告がデバイス２の着用者に発行されるべきかを判定し、視覚および／または音声レンダリングを用いて警告を提供する。ナビゲーションアプリケーションは、目的地への最も有効な経路を着用者に示すように設計されてもよい。ショッピングアプリケーションは、ユーザが欲しいまたは必要とする品目に、ユーザの注意を引きつけるように設計されてもよい。これらの機能の各々は、アプリケーション処理８５８により、実物体データ８５２およびデータ分析エンジンと協力して提供される。
【００９２】
[00112]  データ分析エンジン８５４は、コアセンサ入力および物体データのアプリケーション特有の処理を提供する。アプリケーション処理８５８は、判定を行うために、デバイスセンサからの特定の種類の入力を用いてもよい。警告アプリケーションは、たとえば、何らかの警告がデバイスディスプレイの領域においてユーザに対して提供されるべきであることを示すものとして、１つまたは複数の空間における深度データの急激な変化を用いてもよい。
【００９３】
[00113]  計算サービス８７５は、追加のリソースを提供して、アプリケーション８５０がその機能を完遂できるようにする。サービス８７５に、オペレーティングシステム８９０、画像および音声処理エンジン８９２、追加アプリケーション８５０−２、物体分析サービス８７０、物体属性データセット８９４、および位置インデックス化データ８９６を含ませる。計算サービス８７５は、１つまたは複数の処理デバイス、たとえば本明細書に記載された様々な実施形態のそれらにおいて実装可能である。
【００９４】
[00114]  画像および音声処理エンジン８９２は、処理ユニット４からの入力データを処理するための追加の計算能力を提供でき、ジェスチャ認識コンポーネント、シーンマッピングエンジン、およびコアセンサ入力処理などの要素を含んでもよい。
【００９５】
[00115]  アプリケーション８５０−２は、行動ベースの物体を利用してサービスをユーザに提供する様々なアプリケーションを含むことができる。アプリケーション８５０−２は、計算サービス８７５からサービスを提供してもよく、または実行のために処理ユニット４へダウンロードされてもよい。
【００９６】
[00116]  物体分析サービス８７０は、大域空間または自己中心空間内の実物体に対する追加の物体データを提供できる。位置特定サービス８７１は、様々な大域的に所在する位置の物体に関する、適合する位置インデックス化データ８９６を、処理ユニット４へ提供可能にする。パターン認識８７２は、処理ユニット４からの生の入力データを、サービス８７５に提供し処理ユニット４へ返すことを可能にする追加の処理能力を提供する。物体行動ライブラリ８７３は、物体属性データセット８９４内の物体属性を、行動空間のいずれかにおける既知の、発見されたまたは検出された物体に対する行動プリミティブにマッチングさせる。
【００９７】
[00117]  図９は、本明細書に記載した技術によるアプリケーションに行動ベース物体データを提供するための方法を示すフローチャートである。図９の方法は、処理デバイス４、計算サービス８７５、またはそれらの組合せにより実施されてもよい。工程１００２において、デバイス２の着用者に対して位置が決定される。位置は、ＧＰＳデータ、地形マッピング、または、地理的位置参照無線アクセスポイントを用いるような他の地理的位置推定技術を含む任意の数の様々な手段により決定されてもよい。工程１００４において、ユーザ位置に少し離れて近接する大域空間内の実物体が決定され、行動がそれらの物体に関連付けられる。ユーザの位置が分かると、ユーザに近接する物体の決定が、処理ユニット４に利用可能となり得る。ユーザに近接する大域空間内の物体の決定は、任意の数の技術により行われてもよい。着用者の位置に対する距離を用いて、どの物体が着用者に関係し得るかを決定してもよい。ユーザに近接する大域空間内の物体のサブセットの全ては、計算サービスにより位置インデックス化データ８９６を参照して提供されてもよい。世界空間における実物体は、物体データ８５２または位置インデックスデータ８９６に格納できる。世界空間における実物体は一般的に、大域空間に対して固定され、位置座標により参照可能な物体を含む。そのような物体は、たとえば、道路、建物、地理的特徴、およびデバイス２の着用者にとって興味があり得る他の実物体を含み得る。
【００９８】
[00118]  工程１００６において、ユーザの向きおよび注視は、デバイス２に対して上記で説明された技術を用いて決定される。ユーザの向きおよび注視が決定されると、１００８において、ユーザに近接する自己中心空間内の実物体を決定することができ、行動をそれらの物体と関連付けることができる。自己中心空間内の物体は、デバイス２からの入力データを物体の既知の特徴と比較するシーンマッピングエンジンにより決定される。たとえば、テーブルおよびドアは、パラメータ（２次元画像マップまたは３次元深度マップなど）を有し、パラメータはシーンマッピングエンジンにより識別可能である。実物体が識別されると、行動を既知の物体に関連付けることができる。工程１０１０において、大域空間データおよび自己中心空間データの両方に対する実物体データは、アプリケーション８５０などのアプリケーションへ、各物体に対する行動プリミティブと共に提供される。１０１２においてユーザが自身の向きおよび注視を移動させたとき、１０１６において大域および自己中心物体決定および行動の関連付けが更新される。工程１０１４は、各新しい位置および各新しい注視／向きに対して、工程１００２から１００８と等価であると見なすことができる。１０１６において、アプリケーションは物体データおよび行動プリミティブを受信し、１０１８においてアプリケーションは、特定のアプリケーションの目的に応じて、物体および行動プリミティブを処理することができる。続いてアプリケーションは、１０２０において、その目的に従って、フィードバックおよび実物体に関するデータをユーザに提供することができる。２つの異なる種類のアプリケーションが、以下の図面に示される。
【００９９】
[00119]  図１０は、ユーザ警告アプリケーションのアプリケーション処理を表すフローチャートである。ユーザ警告アプリケーションは、ユーザの近くの物体に関わる危険な状況をユーザに警告するように設計されたアプリケーションでもよい。そのような危険な状況の１つが、図１１に例示される。図１１において、デバイス２を着用しているユーザ１１００は、接近する車１２１０が走行している街路１２００を横断しようとする。ユーザ自身が、車が自分に向かって走行していることに気づくか否かに関わらず、デバイス２は危険な状況が存在し得ることを認識し、ユーザに警告することができる。認識は、コアデータ入力すなわち入力データの変化の通知に、単独で、または街路１２００がユーザの近くに存在するという世界領域の知識を併用して、基づくことができる。
【０１００】
[00120]  図１０に戻ると、工程１１１２において着用者の各位置に対して、および工程１１１４においてその位置の近くの各大域物体に対して、工程１１１５において着用者がその大域物体に近接するかについての判定が行われる。着用者が物体に近接するかどうかは、着用者および物体に対して特定された全地球測位位置（global positioning location）により計算して、着用者が物体から指定距離内に存在するかを評価することで、決定可能である。ユーザが大域物体に近接する場合、ユーザが物体を回避すべきであることを示す１つまたは複数の行動プリミティブが存在するか否かが判定される。図１０において、工程１１１８では、行動プリミティブは「回避」行動として示されるが、任意の定義された行動が１１１６での評価において用いられてもよい。その行動が存在する場合、工程１１１８においてその物体はアプリケーションユーザインターフェースに従って強調表示される。インターフェースの位置および警告が提示される方法は大きく変化し得るが、車がユーザ１１００の視野内で強調表示される一例が図１１に示されている。
【０１０１】
[00121]  自己中心データは、図１０において順々に図示したが、工程１１２０〜１１３０において同時に監視されてもよい。工程１１２０において、コアデータならびに位置、向きおよび注視データが取得される。最初に、１１２２において、本方法は、ユーザにＵＩ内の警告を提供することを正当化し得るコアデータの任意の急激な変化に注意を向ける。たとえば、着用者の視野の領域内の入力深度データの急激な変化が生じた場合、アプリケーションはこの領域を強調表示して、ユーザの注意をそれに引きつけてもよい。１１２４において、画像データは、識別可能物体に対して分析される。１１２６において、ユーザが近接する自己中心空間内の各物体に対して、１１２８において、その物体に対する、ユーザがそれを回避すべきであることを示す行動プリミティブが存在する場合、その物体は１１３０において回避ユーザインターフェース内で強調表示され得る。図１１に示した例では、車はおそらく大域物体ではないが、車が着用者に接近したときに、工程１１２２または工程１１２８のいずれかにより識別する方がよい。しかしながら、街路はおそらく大域物体であるので、「注意」に関するそれに関連付けられた行動をおそらく有する。
【０１０２】
[00122]  図１２は、ナビゲーションアプリケーションのための例示のアプリケーション処理を示す。１３１２において、ユーザの位置が決定され、１３１４において、ユーザの目的地が決定される。１３１５において各位置に対して、その位置に近接する全ての大域物体に関する判定が行われ、それらの大域物体の行動プリミティブを考慮した初期経路誘導が決定される。たとえば、街路は、そこが「通過可能」であることを示すプリミティブを有することがあり、建物は「回避」行動プリミティブを有することがある。
【０１０３】
[00123]  １３１８において、ユーザが動いたとき、着用者の各位置に対して、また１３１９において、その位置における各大域物体に対して、１３２０および１３２２において、ユーザが大域物体に近接するか否か、大域物体に関連付けられたプリミティブ行動により、目的地と現在地との間のユーザの経路が調整されるか否かについて、判定を行う。そうである場合、１３２４において上記の物体の各々の周辺の最も近い経路が決定され、１３２６において回避すべき物体周辺の経路が接続される。次いで１３２８において、経路誘導がユーザインターフェース内に提供される。１３３０において、本方法は次の位置へループする。
【０１０４】
[00124]  同様に、１３３２において自己中心物体に対して（１３１８において各位置に対して）、ユーザが動いた場合に、１３３２においてコア入力データおよび識別された自己中心物体がアプリケーションにより取得される。識別された各自己中心物体に対して、１３３４において、その物体に関連付けられたプリミティブ行動が、ユーザの経路の変更を要するかについて判定される。もしそうであれば、１３３６において経路は変更され、物体に関するナビゲーションのためにテストされる。新しい経路が決定されると、その経路は、着用者の位置に対する物体の変化に適応するように変更され、１３４０においてユーザインターフェース内に提供される経路誘導の変更が与えられる。
【０１０５】
[00125]  図１３は、経路誘導の結果としてユーザの前に出現し得るユーザインターフェースを示す。図１３において、ユーザ１４２０は、矢印１３００により示される椅子１４１６およびテーブル１４１８の周辺の経路を提示される。椅子１４１６およびテーブル１４１８の行動定義は、ユーザがそれらを避けるべきであることを示し、ドア１４３０の行動定義は、ユーザが自身の次の目的地への途中にあるそのドアを通過できることを示す。椅子、テーブルおよびドアはおそらく自己中心物体であるが、同じ指示および行動プリミティブは、大域中心物体に対して提供されてもよい。
【０１０６】
[00126]  図１４は、（たとえば処理ユニット４などの）本明細書に記載された技術の実施形態において動作可能な例示のモバイルデバイスのブロック図である。典型的な携帯電話の例示の電子回路が図示されている。デバイス２０００は、１つまたは複数のマイクロプロセッサ２０１２と、本明細書に記載された機能を実施するために制御プロセッサ２０１２の１つまたは複数のプロセッサにより実行されるプロセッサ可読コードを格納するメモリ２０１０（たとえば、ROMなどの不揮発性メモリおよびRAMなどの揮発性メモリ）とを含む。
【０１０７】
[00127]  モバイルデバイス２０００は、たとえば、プロセッサ２０１２、アプリケーションを含むメモリ２０５０、および不揮発性ストレージを含んでもよい。プロセッサ２０１２は、通信を実現でき、本明細書で論じた相互作用アプリケーションを含む、任意の数のアプリケーションも実現できる。メモリ２０５０は、不揮発性および揮発性メモリを含む、任意の種類のメモリ記憶媒体タイプでもよい。デバイスオペレーティングシステムは、モバイルデバイス２０００の異なる動作を扱い、発呼および着呼、テキストメッセージング、ボイスメール確認などの動作のための着用者インターフェースを含んでもよい。アプリケーション２０３０は、写真および／またはビデオのためのカメラアプリケーション、アドレス帳、カレンダーアプリケーション、メディアプレーヤー、インターネットブラウザ、ゲーム、他のマルチメディアアプリケーション、アラームアプリケーション、他のサードパーティアプリケーション、本明細書で論じた相互作用アプリケーションなどのようなプログラムの任意の組合せでもよい。メモリ２０１０内の不揮発性ストレージコンポーネント２０４０は、ウェブキャッシュ、音楽、写真、連絡先データ、スケジューリングデータ、その他のファイルのようなデータを含む。
【０１０８】
[00128]  プロセッサ２０１２はまた、アンテナ２００２と接続されるＲＦ送信／受信回路２００６、赤外線送信器／受信器２００８、Ｗｉ−ＦｉまたはＢｌｕｅｔｏｏｔｈのような任意の追加の通信チャネル２０６０、および加速度計のような移動／方位センサ２０１４と通信する。加速度計はモバイルデバイスに組み込まれて、着用者にジェスチャでコマンドを入力させるインテリジェント着用者インターフェース、ＧＰＳ衛星と連絡が途絶えた後のデバイスの移動および方向を計算する室内機能のようなアプリケーションを可能にし、デバイスの向きを検出し電話が回転されたときにディスプレイを縦向きから横向きに自動的に変更する。加速度計は、たとえば、半導体チップ上に構築された（マイクロメートルの寸法の）微小な機械デバイスである微小電気機械システム（MEMS）により提供可能である。加速方向、および方位、振動ならびに衝撃を感知できる。プロセッサ２０１２はさらに、リンガ／バイブレータ２０１６、着用者インターフェースキーパッド／スクリーン、生体センサシステム２０１８、スピーカー２０２０、マイクロフォン２０２２、カメラ２０２４、光センサ２０２６、および温度センサ２０２８と通信する。
【０１０９】
[00129]  プロセッサ２０１２は、無線信号の送信および受信を制御する。送信モードの間、プロセッサ２０１２は、マイクロフォン２０２２からの音声信号、または他のデータ信号を、ＲＦ送信／受信回路２００６に提供する。送信／受信回路２００６は、信号を遠隔局（たとえば、固定局、事業者、他の携帯電話など）へ、アンテナ２００２を介した通信のために送信する。リンガ／バイブレータ２０１６は、着呼、テキストメッセージ、カレンダーリマインダ、アラームクロックリマインダ、または他の通知を、着用者へ知らせるために用いられる。受信モードの間、送信／受信回路２００６は、音声または他のデータ信号を、遠隔局からアンテナ２００２を介して受信する。受信した音声信号は、スピーカー２０２０に供給され、他の受信したデータ信号はまた、適切に処理される。
【０１１０】
[00130]  加えて、物理コネクタ２０８８は、モバイルデバイス２０００をＡＣアダプタまたは給電ドッキングステーションのような外部電源に接続するために使用可能である。物理コネクタ２０８８はまた、計算デバイスへのデータ接続としても使用可能である。データ接続は、モバイルデバイスデータを他のデバイス上の計算データと同期させることなどの動作を可能にする。
【０１１１】
[00131]  着用者アプリケーションの位置を中継するために衛星ベースの無線ナビゲーションを利用するＧＰＳ送受信器２０６５は、そのようなサービスのために有効化される。
【０１１２】
[00132]  図１５は、ネットワークアクセス可能な計算システムまたは付属の処理モジュールを実現するために使用可能な計算システムの一実施形態のブロック図である。図２１は、図１２に示された計算環境のソフトウェアコンポーネントの少なくとも一部を提供できる１つまたは複数のネットワークアクセス可能な計算システム１２または処理ユニット４を実現するために使用可能な計算システムの一実施形態のブロック図である。図１６を参照すると、例示のシステムは、計算デバイス、たとえば計算デバイス２１００を含む。その最も基本的な構成では、計算デバイス２１００は通常、１つまたは複数の中央処理装置（CPU）および１つまたは複数のグラフィック処理装置（GPU）を含む、１つまたは複数の処理ユニット２１０２を含む。計算デバイス２１００はまた、メモリ２１０４を含む。正確な構成および計算デバイスの種類に応じて、メモリ２１０４は、揮発性メモリ２１０５（たとえばRAM）、不揮発性メモリ２１０７（たとえばROM、フラッシュメモリなど）、またはその２つの何らかの組合せを含んでもよい。この最も基本的な構成は、図２１に破線２１０６で示される。加えて、デバイス２１００はまた、追加の特徴／機能を有してもよい。たとえば、デバイス２１００はまた、磁気的または光学的ディスクまたはテープをこれらに限定されることなく含む、追加のストレージ（リムーバブルおよび／または非リムーバブル）を含んでもよい。そのような追加のストレージは、図１６において、リムーバブルストレージ２１０８および非リムーバブルストレージ２１１０により示される。
【０１１３】
[00133]  デバイス２１００はまた、このデバイスを他のデバイスと通信可能にする１つまたは複数のネットワークインターフェースおよび送受信器などの通信接続手段２１１２を含んでもよい。デバイス２１００はまた、入力デバイス２１１４、たとえばキーボード、マウス、ペン、音声入力デバイス、タッチ入力デバイスなどを有してもよい。出力デバイス２１１６、たとえばディスプレイ、スピーカー、プリンタなどもまた、含まれてもよい。これらのデバイスの全ては、当技術分野においてよく知られており、本明細書で詳細に論じない。
【０１１４】
[00134]  図示した例示の計算システムは、コンピュータ可読記憶装置の例を含む。コンピュータ可読記憶装置は、プロセッサ可読記憶装置でもある。そのような装置は、たとえばコンピュータ可読命令、データ構造、プログラムモジュールまたはその他のデータなどの情報を格納するための任意の方法または技術で実現された揮発性および不揮発性、リムーバブルおよび非リムーバブル記憶装置を含んでもよい。プロセッサまたはコンピュータ可読記憶装置のいくつかの例は、ＲＡＭ、ＲＯＭ、ＥＥＰＲＯＭ、キャッシュ、フラッシュメモリまたはその他のメモリ技術、ＣＤ−ＲＯＭ、デジタル多用途ディスク（DVD）またはその他の光ディスクストレージ、メモリースティックまたはカード、磁気カセット、磁気テープ、メディアドライブ、ハードディスク、磁気ディスクストレージまたはその他の磁気記憶装置、あるいは所望の情報を格納するために使用可能でありコンピュータによりアクセス可能である任意のその他の装置である。
【０１１５】
[00135]  構造的特徴および／または方法論的動作に特有の文言で主題について説明したが、添付の特許請求の範囲で定義される主題が、上述した具体的な特徴または動作に必ずしも限定されないことは理解されたい。逆に、上述した具体的な特徴および動作は、特許請求の範囲を実現する例示の形態として開示したまでである。
【図１Ａ】
2016512626.tif 000003
【図１Ｂ】
2016512626.tif 000004
【図２Ａ】
2016512626.tif 000005
【図２Ｂ】
2016512626.tif 000006
【図３】
2016512626.tif 000007
【図４】
2016512626.tif 000008
【図５Ａ】
2016512626.tif 000009
【図５Ｂ】
2016512626.tif 000010
【図５Ｃ】
2016512626.tif 000011
【図５Ｄ】
2016512626.tif 000012
【図６Ａ】
2016512626.tif 000013
【図６Ｂ】
2016512626.tif 000014
【図７】
2016512626.tif 000015
【図８】
2016512626.tif 000016
【図９】
2016512626.tif 000017
【図１０】
2016512626.tif 000018
【図１１】
2016512626.tif 000019
【図１２】
2016512626.tif 000020
【図１３】
2016512626.tif 000021
【図１４】
2016512626.tif 000022
【図１５】
2016512626.tif 000023
【手続補正書】
【提出日】平成26年12月19日(2014.12.19)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
シースルー型表示装置であって、
仮想物体を描画して複合現実環境を提供するように構成されるシースルー型ヘッドマウントディスプレイと、
前記ディスプレイと協力して前記装置の視野内の少なくとも視覚データを検出する複数のセンサと、
ディスプレイおよび前記センサと通信する１つまたは複数の処理デバイスであって、自動的に、
前記表示装置の着用者の位置を決定し、
前記装置に対する複数の行動領域を確立し、
位置インデックスデータを用いて前記装置の前記着用者の位置に近接する少なくとも１つの実物体を決定し、前記少なくとも１つの実物体は前記複数の行動領域の１つと関連付けられ、
前記関連付けに基づいて１つまたは複数の行動に前記実物体を割り当て、
前記センサからの視覚データを用いて、前記装置の前記着用者の位置に近接する他の実物体を決定し、
前記他の実物体を前記複数の行動領域の他の１つと関連付け、
前記複数の行動領域の前記他の１つとの前記関連付けに基づいて、１つまたは複数の行動に前記他の実物体を割り当て、
前記実物体および前記仮想物体の各々に対して、
前記１つまたは複数の行動を含む物体中心データ定義を、前記装置に対する物体中心追跡システムのフィードバックアプリケーションへ提供し、前記物体中心追跡システムは、実世界物体の各実例と前記ディスプレイにより描画される仮想物体とに対する一貫したデータ定義を使用し、データ定義は、物体の形状、外観、実物体の場合に前記センサによる前記物体の検出を可能にする情報、および前記物体に割り当てられた行動の定義を含む、
１つまたは複数の処理デバイスと
を備える、シースルー型表示装置。
【請求項２】
前記１つまたは複数の処理デバイスが、少なくとも大域行動領域と自己中心行動領域とを確立する、請求項１に記載の装置。
【請求項３】
前記１つまたは複数の処理デバイスが、前記複数のセンサからの入力データに基づいて、前記自己中心行動領域を決定する、請求項２に記載の装置。
【請求項４】
前記大域行動領域が、実物体に対する地理的位置データにマッピングされた実物体データを含む、請求項２に記載の装置。
【請求項５】
各行動が、前記装置の着用者に対する実物体に関する相互作用規則を備える、請求項１に記載の装置。
【請求項６】
各行動領域が、前記行動領域に関連付けられた１つまたは複数の一意の行動を含む、請求項１に記載の装置。
【請求項７】
前記１つまたは複数の処理デバイスが、前記フィードバックアプリケーションからの命令に基づいて、前記ディスプレイを更新する、請求項１に記載の装置。
【請求項８】
仮想物体を描画して複合現実環境を提供するように構成されるシースルー型表示装置におけるコンピュータで実施される方法であって、
ディスプレイと協力する複数のセンサから視覚センサデータを受信することと、
前記表示装置の着用者の位置を決定することと、
前記装置の前記着用者の位置と地理的位置インデックスデータとを用いて大域行動領域において、および前記視覚センサデータを用いて自己中心行動領域において、複数の実物体を識別することと、
前記大域行動領域に対する第１の複数の行動のうちの１つまたは複数を、前記大域行動領域において識別された各実物体に割り当てることと、
前記自己中心行動領域に対する第２の複数の行動のうちの１つまたは複数を、前記自己中心行動領域に存在すると決定された各実物体に割り当てることと、
前記行動を含む物体中心データ定義を物体中心追跡システムのフィードバックアプリケーションに提供することであって、前記物体中心追跡システムは、前記実世界物体の各実例と前記ディスプレイにより描画された仮想物体とに対するデータ定義を使用し、データ定義は、物体の形状、外観、実物体の場合に前記センサによる前記物体の検出を可能にする情報、および前記物体に割り当てられた行動の一貫した定義を含む、提供することと
を備える、方法。
【請求項９】
前記データ定義が、実物体を識別する、請求項８に記載の方法。
【請求項１０】
前記第２の複数の行動が、実物体との相互作用行動を含む、請求項８に記載の方法。
【国際調査報告】
2016512626.tif 000024
2016512626.tif 000025
2016512626.tif 000026