(57)【要約】  仮想イメージが、拡張現実視野をＨＭＤ装着者に提供するために、ヘッドマウントディスプレイ（ＨＭＤ）内に表示するために配置される。センサーデータが、ＨＭＤに設けられたオンボードセンサーから収集され得る。加えて、他の日が、外部ソースから収集され得る。収集されたセンサーデータおよび他のデータに基づいて、ＨＭＤ装着者の身体および周囲の環境に対するＨＭＤ装着者の頭部の位置および回転が決定され得る。ＨＭＤ装着者の頭部の位置を解決した後、ＨＭＤ装着者の全視野（ＴＦＯＶ）は、領域に分類され得る。次に、仮想イメージをＨＭＤ装着者の身体および周囲の環境に対して配置するために、仮想イメージは、分類されたＴＦＯＶ領域内に配置され得る。
2014526157.tif 000002
【特許請求の範囲】
【請求項１】
１つまたは複数のコンピューティングデバイスによって使用されると、前記１つまたは複数のコンピューティングデバイスに方法を実行させるコンピューター使用可能命令を記憶する１つまたは複数のコンピューター記憶媒体であって、前記方法が、
１つまたは複数のヘッドマウントディスプレイ（ＨＭＤ）オンボードセンサーからセンサーデータを受信するステップと、
前記センサーデータを使用して、ＨＭＤ装着者の身体および前記ＨＭＤ装着者の周囲の環境(environment)に対する前記ＨＭＤ装着者の頭部の位置および回転を決定するステップと、
１つまたは複数の予め決められた規則(rules)、ならびに前記ＨＭＤ装着者の身体および前記ＨＭＤの周囲の環境に対する(relative to)前記ＨＭＤ装着者の頭部の位置(position)および回転に基づいて、前記ＨＭＤ装着者の全視野（ＴＦＯＶ:total field of view）内の２つ以上の領域(regions)を分類する(classifying)ステップと、
前記ＨＭＤ装着者のＴＦＯＶ内の前記２つ以上の領域を分類するステップに基づいて、前記ＨＭＤによって表示されることになる仮想イメージを配置する(locating)ステップと
を含む、１つまたは複数のコンピューター記憶媒体。
【請求項２】
前記方法が、
前記ＨＭＤの外部の１つまたは複数のソースから他のデータを受信するステップと、
前記センサーデータと併せて(in conjunction with)前記他のデータを使用して、前記ＨＭＤ装着者の身体および前記ＨＭＤ装着者の周囲の環境に対する前記ＨＭＤ装着者の頭部の位置および回転を決定するステップと
をさらに含む、請求項１に記載の１つまたは複数のコンピューター記憶媒体。
【請求項３】
前記２つ以上の領域が、前記ＨＭＤ装着者のＴＦＯＶ内で動的に変化する、請求項１に記載の１つまたは複数のコンピューター記憶媒体。
【請求項４】
前記２つ以上の領域が、一次(primary)領域および１つまたは複数の非一次(non-primary)領域を含み、前記仮想イメージを配置するステップが、前記一次領域の遮蔽(occluding)を低減するように前記仮想イメージを配置するステップを含む、請求項１に記載の１つまたは複数のコンピューター記憶媒体。
【請求項５】
前記ＨＭＤ装着者のＴＦＯＶ内の前記２つ以上の領域を分類するステップが、前記ＨＭＤ装着者の身体に対して前記領域の少なくとも１つを分類するステップを含み、前記ＨＭＤによって表示されることになる仮想現実イメージを配置するステップが、前記ＨＭＤ装着者の身体に対して前記領域の前記少なくとも１つを分類するステップに基づいて、ＨＭＤ装着者の身体に対して前記仮想現実イメージの少なくとも１つを配置するステップを含む、請求項１に記載の１つまたは複数のコンピューター記憶媒体。
【請求項６】
前記方法が、
前記ＨＭＤ装着者の視野（ＦＯＶ）を決定するステップと、
前記ＦＯＶを、前記ＨＭＤ装着者のＴＦＯＶの前記２つ以上の領域と比較するステップと、
前記ＨＭＤ装着者のＴＦＯＶの前記２つ以上の領域に対する前記ＦＯＶの位置に基づいて、表示する仮想物体のサブセットを決定するステップと、
前記ＨＭＤの表示構成要素を介して、仮想物体の前記サブセットを表示するステップと
をさらに含む、請求項１に記載の１つまたは複数のコンピューター記憶媒体。
【請求項７】
前記方法が、前記２つ以上の領域からの第１の領域内に配置されたインタラクティブ仮想イメージとのユーザーの相互作用(interaction)を識別するステップであって、前記第１の領域が、前記ＨＭＤ装着者の現在の視野(field of view)の外部にある、ステップと、前記インタラクティブ仮想イメージとの前記ユーザーの相互作用に応じて動作を実行するステップとをさらに含む、請求項１に記載の１つまたは複数のコンピューター記憶媒体。
【請求項８】
ヘッドマウントディスプレイ（ＨＭＤ）であって、
１つまたは複数のオンボードセンサーと、
前記１つまたは複数のオンボードセンサーからのセンサーデータに基づいて、ＨＭＤ装着者の身体に対する前記ＨＭＤ装着者の頭部の位置および回転を決定し、前記ＨＭＤ装着者の身体に対する前記ＨＭＤ装着者の頭部の前記位置および回転に基づいて、前記ＨＭＤ装着者のＴＦＯＶの２つ以上の領域を分類し、１つまたは複数の仮想物体を前記２つ以上の領域内に配置するように構成された１つまたは複数のプロセッサーと、
前記ＨＭＤ装着者に拡張視野を提供するために、前記１つまたは複数の仮想物体の少なくとも１つを表示するように構成された１つまたは複数の表示構成要素と
を備える、ＨＭＤ。
【請求項９】
ワイヤレス通信構成要素をさらに備え、前記ワイヤレス通信構成要素が、前記ＨＭＤの外部の１つまたは複数のソースから他のデータを受信するように構成され、前記１つまたは複数のプロセッサーが、前記ＨＭＤの外部の前記１つまたは複数のソースからの前記他のデータに基づいて、前記ＨＭＤ装着者の身体に対するＨＭＤ装着者の頭部の前記位置および回転を決定するようにさらに構成されている、請求項８に記載のＨＭＤ。
【請求項１０】
ヘッドマウントディスプレイ（ＨＭＤ）装着者の全視野（ＴＦＯＶ）の領域を分類するための方法であって、
前記ＨＭＤのオンボードの１つまたは複数のセンサーからセンサーデータを受信するステップと、
前記ＨＭＤの外部の１つまたは複数のソースから他のデータを受信するステップと、
前記センサーデータおよび他のデータに基づいて、前記ＨＭＤ装着者の身体および周囲の環境に対する前記ＨＭＤ装着者のＴＦＯＶの領域を分類するステップと
を含む、方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本願発明の一実施例は、例えば、ヘッドマウントディスプレイの全視野の分類に関する。
【背景技術】
【０００２】
[0001]シースルーヘッドマウントディスプレイ（ＨＭＤ）は、装着者が見るものを仮想物体で拡張する機能を提供する。すなわち、ＨＭＤは、拡張現実視野を提供するために、現実世界のＨＭＤ装着者の視野を、仮想イメージで拡張する。しかしながら、これらの仮想イメージは、容易に気が散り、押し付けがましくなる可能性があり、注意を現実世界から引き離し、ＨＭＤ装着者の通常の（拡張されない）視野を遮蔽する。これは、特に、モバイル、野外、および活動中のシナリオを考慮する場合、特に、「常時オン」のウェアラブル表示装置の用途で、課題を示す可能性がある。
【発明の概要】
【発明が解決しようとする課題】
【０００３】
本願発明の一実施例は、例えば、ヘッドマウントディスプレイの全視野の分類に関する。
【課題を解決するための手段】
【０００４】
[0002]この概要は、「発明を実施するための形態」でさらに後述される選択された概念を簡略化した形態で紹介するために提供される。この概要は、特許請求された主題の主要な特徴または本質的な特徴を特定することを意図するものではなく、特許請求された主題の範囲を決定する際に補助として使用されることを意図するものでもない。
【０００５】
[0003]本発明の実施形態は、拡張現実視野をＨＭＤ装着者に提供するために、ヘッドマウントディスプレイ（ＨＭＤ）内に仮想イメージを配置することに関する。センサーデータが、ＨＭＤに設けられたオンボードセンサーから収集され得る。加えて、他のデータが、外部ソースから収集され得る。収集されたセンサーデータおよび他のデータに基づいて、ＨＭＤ装着者の身体および周囲の環境に対するＨＭＤ装着者の頭部の位置および回転が決定され得る。ＨＭＤ装着者の頭部の位置を解決した後、ＨＭＤ装着者の全視野（ＴＦＯＶ）は、領域に分類され得る。次に、仮想イメージをＨＭＤ装着者の身体および周囲の環境に対して配置するために、仮想イメージは、分類されたＴＦＯＶ領域内に配置され得る。
【０００６】
[0004]本発明は、添付図面を参照して、以下に詳細に説明される。
【図面の簡単な説明】
【０００７】
【図１】[0005]本発明の実施形態を実施する際に使用するのに適した例示的なコンピューティング環境のブロック図である。
【図２】[0006]本発明の実施形態による、ＴＦＯＶの領域を分類し、仮想物体を領域内に配置するための例示的なシステムのブロック図である。
【図３】[0007]図３Ａは、本発明の実施形態による、一次領域、二次領域、および三次領域に分類されたＨＭＤ装着者のＴＦＯＶの側面図である。
【０００８】
図３Ｂは、本発明の実施形態による、一次領域、二次領域、および三次領域に分類されたＨＭＤ装着者のＴＦＯＶの正面図である。
【図４】[0008]本発明の実施形態による、ＨＭＤ装着者のＴＦＯＶの固定された領域を示す図である。
【図５】[0009]本発明の実施形態による、ＨＭＤ装着者のＴＦＯＶの動的な領域を示す図である。
【図６】[0010]本発明の実施形態による、仮想物体が一次領域、二次領域、および三次領域に配置されたＨＭＤ装着者の視野を示す図である。
【図７】[0011]本発明の実施形態による、ＨＭＤ装着者のＴＦＯＶの領域を分類するための方法を示す流れ図である。
【図８】[0012]本発明の実施形態による、ＨＭＤを使用して仮想物体を表示するための方法を示す流れ図である。
【発明を実施するための形態】
【０００９】
[0013]本発明の主題は、法的要件を満たすために、本明細書に具体的に説明される。しかしながら、説明自体は、本発明の範囲を限定することを目的としない。むしろ、本発明者らは、特許請求される主題は、他の現在のまたは将来の技術と組み合わせて、この文書に記載されているものと同様の異なるステップまたはステップの組合せを含むように、他の方法で実施されてもよいと考えている。さらに、「ステップ」および／または「ブロック」という用語は、本明細書では、用いられる方法の異なる要素を暗示するために使用され得るが、これらの用語は、個々のステップの順序が明示的に記載されている場合を除き、本明細書に開示された様々なステップ間のどのような特定の順序を意味するものとしても解釈されるべきではない。
【００１０】
[0014]本発明の実施形態は、ＨＭＤ装着者に拡張現実視野を提供するために、ＨＭＤ装着者の全視野（ＴＦＯＶ）に対するＨＭＤの表示内の仮想イメージの自動的で連続的な配置および置換を対象とする。本明細書で使用される「ＴＦＯＶ」は、人間の頭部の回転および平行移動の完全な範囲を占める。これは、人間が所与の瞬間に見るものの範囲を占める人間の視野（ＦＯＶ）とは対照的である。
【００１１】
[0015]本発明の実施形態によれば、センサーデータが、ＨＭＤに設けられた任意の数のオンボードセンサーから収集される。加えて、他のデータが、ＨＭＤの外部のソースから収集され得る。センサーデータおよび他のデータは、ＨＭＤ装着者の物理的な頭部が、ＨＭＤ装着者の物理的な身体と、ＨＭＤ装着者の周囲の物理的な環境とに関係するように、ＨＭＤ装着者の物理的な頭部を追跡および解釈するために使用され得る。ＨＭＤ装着者の物理的な頭部を、ＨＭＤ装着者の身体および周囲の環境に対して追跡することによって、ＨＭＤ装着者のＴＦＯＶは、様々な領域に分類され得る。これらの領域は、ＨＭＤ装着者および周囲の環境に対して定義され得る。いくつかの実施形態では、領域は、一次領域、および１つまたは複数の非一次領域を含むことができる。仮想イメージは、分類された領域に従って、ＴＦＯＶ内に配置され得る。したがって、本発明の実施形態は、ＨＭＤ装着者の身体および周囲の環境に対してＨＭＤ装着者の頭部を認識し、このような知識を、ＨＭＤ装着者の身体および周囲の環境に対して仮想イメージを配置するために使用することができるシステムを提供する。いくつかの実施形態では、一次領域の視覚的な遮蔽を低減することによって、仮想イメージが、危険でない方法で提示されるように、仮想物体は、概して、一次領域から離れて配置されてもよく、邪魔にならない領域に配置されてもよい。仮想物体は、文脈を提供する（例えば、情報を、関連性が低い、重要でないなどとして分類する）ために、一次領域から離れて配置されてもよい。
【００１２】
[0016]したがって、一態様では、本発明の実施形態は、１つまたは複数のコンピューティングデバイスによって使用されると、１つまたは複数のコンピューティングデバイスに方法を実行させるコンピューター使用可能命令を記憶する１つまたは複数のコンピューター記憶媒体を対象とする。方法は、１つまたは複数のＨＭＤオンボードセンサーからセンサーデータを受信するステップを含む。方法は、センサーデータを使用して、ＨＭＤ装着者の身体およびＨＭＤ装着者の周囲の環境に対するＨＭＤ装着者の頭部の位置および回転を決定するステップも含む。方法は、さらに、１つまたは複数の予め決められた規則、ならびにＨＭＤ装着者の身体およびＨＭＤ装着者の周囲の環境に対するＨＭＤ装着者の頭部の位置および回転に基づいて、ＨＭＤ装着者のＴＦＯＶ内の２つ以上の領域を分類するステップを含む。方法は、さらにまた、ＨＭＤ装着者のＴＦＯＶ内の２つ以上の領域を分類するステップに基づいて、ＨＭＤによって表示されることになる仮想イメージを配置するステップを含む。
【００１３】
[0017]別の実施形態では、本発明の態様は、ＨＭＤを対象とする。ＨＭＤは、１つまたは複数のオンボードセンサーを含む。ＨＭＤは、また、１つまたは複数のオンボードセンサーからのセンサーデータに基づいて、ＨＭＤ装着者の身体に対するＨＭＤ装着者の頭部の位置および回転を決定し、ＨＭＤ装着者の身体に対するＨＭＤ装着者の頭部の位置および回転に基づいて、ＨＭＤ装着者のＴＦＯＶの２つ以上の領域を分類し、１つまたは複数の仮想物体を２つ以上の領域内に配置するように構成された１つまたは複数のプロセッサーを含む。ＨＭＤは、さらに、ＨＭＤ装着者に拡張視野を提供するために、１つまたは複数の仮想物体の少なくとも１つを表示するように構成された１つまたは複数の表示構成要素を含む。
【００１４】
[0018]さらなる実施形態は、ＨＭＤ装着者のＴＦＯＶの領域を分類するための方法を対象とする。方法は、ＨＭＤのオンボードの１つまたは複数のセンサーからセンサーデータを受信するステップと、ＨＭＤの外部の１つまたは複数のセンサーから他のデータを受信するステップと、センサーデータおよび他のデータに基づいて、ＨＭＤ装着者の身体および周囲の環境に対するＨＭＤ装着者のＴＦＯＶの領域を分類するステップとを連続的に含む。
【００１５】
[0019]本発明の実施形態の概要を簡単に説明しており、本発明の実施形態が実施され得る例示的な動作環境が、本発明の様々な態様に関する概括的な文脈を提供するために、以下に説明される。最初に図１を特に参照し、本発明の実施形態を実施するための例示的な動作環境が、コンピューティングデバイス１００として全体的に示され、指定される。コンピューティングデバイス１００は、適切なコンピューティング環境の一例にすぎず、本発明の使用または機能の範囲について何ら限定を示唆するものではない。また、コンピューティングデバイス１００は、示された構成要素のいずれか１つまたは組合せに関するどのような依存性または要件を有するものとしても解釈されるべきではない。
【００１６】
[0020]本発明は、パーソナルデータシスタント、または他のハンドヘルドデバイスなど、コンピューターまたは他のマシンによって実行される、プログラムモジュールなどのコンピューター実行可能命令を含む、コンピューターコードまたはマシン使用可能命令の概括的な文脈で説明され得る。概して、ルーチン、プログラム、オブジェクト、構成要素、データ構造などを含むプログラムモジュールは、特定のタスクを実行する、または特定の抽象データ型を実装するコードを指す。本発明は、ハンドヘルドデバイス、民生用電子機器、汎用コンピューター、より専門的なコンピューティングデバイスなどを含む、様々なシステム構成で実施され得る。本発明は、通信ネットワークを介してリンクされた遠隔処理デバイスによってタスクが実行される分散コンピューティング環境で実施されてもよい。
【００１７】
[0021]図１を参照し、コンピューティングデバイス１００は、以下のデバイスを直接または間接的に結合するバス１１０と、メモリ１１２と、１つまたは複数のプロセッサー１１４と、１つまたは複数のプレゼンテーション構成要素１１６と、入力／出力（Ｉ／Ｏ）ポート１１８と、入力／出力構成要素１２０と、例示的な電源１２２とを含む。バス１１０は、（アドレスバス、データバス、またはそれらの組合せなど）１つまたは複数のバスとすることができるものを表す。図１の様々なブロックは、明瞭にするために線で示されているが、実際には、様々な構成要素を描写することは、それほど明確ではなく、比喩的には、線は、より正確には、グレイで曖昧であろう。例えば、表示装置などのプレゼンテーション構成要素を、Ｉ／Ｏ構成要素であると考えることができる。また、プロセッサーは、メモリを有する。発明者らは、それが技術の本質であると認識し、図１の図が、本発明の１つまたは複数の実施形態に関連して使用され得る例示的なコンピューティングデバイスの単なる例示にすぎないことを繰り返し述べたい。例えば、「ワークステーション」、「サーバー」、「ラップトップ」、「ハンドヘルドデバイス」としてのこのようなカテゴリー間の区別は、これらのすべてが、図１、および「コンピューティングデバイス」への参照の範囲内であるため、行われない。
【００１８】
[0022]コンピューティングデバイス１００は、典型的には、様々なコンピューター可読媒体を含む。コンピューター可読媒体は、コンピューティングデバイス１００によってアクセスされ得る任意の利用可能な媒体であってもよく、揮発性および不揮発性媒体、リムーバブルおよび非リムーバブル媒体の両方を含む。例として、限定ではなく、コンピューター可読媒体は、コンピューター記憶媒体および通信媒体を含むことができる。コンピューター記憶媒体は、コンピューター可読命令、データ構造、プログラムモジュール、または他のデータなどの情報の記憶のための任意の方法または技術で実現される、揮発性および不揮発性、リムーバブルおよび非リムーバブル媒体の両方を含む。コンピューター記憶媒体は、ＲＡＭ、ＲＯＭ、ＥＥＰＲＯＭ、フラッシュメモリ、もしくは他のメモリ技術、ＣＤ−ＲＯＭ、デジタル多用途ディスク（ＤＶＤ）、もしくは他の光ディスク記憶装置、磁気カセット、磁気テープ、磁気ディスク記憶装置、もしくは他の磁気記憶装置、または所望の情報を格納するために使用され得る、コンピューティングデバイス１００によってアクセスされ得る任意の他の媒体を含むが、これらに限定されない。通信媒体は、典型的には、コンピューター可読命令、データ構造、プログラムモジュール、または他のデータを、搬送波もしくは他の伝送機構などの変調データ信号内で具体化し、任意の情報配信媒体を含む。「変調データ信号」という用語は、信号内に情報を符号化するような方法で設定または変更された１つまたは複数のその特徴を有する信号を意味する。例として、限定ではなく、通信媒体は、ワイヤードネットワークまたは直接配線接続などのワイヤード媒体、ならびに音響、ＲＦ、赤外線、および他のワイヤレス媒体などのワイヤレス媒体を含む。上記のいずれの組合せも、コンピューター可読媒体の範囲内に含まれるべきである。
【００１９】
[0023]メモリ１１２は、揮発性および／または不揮発性メモリの形態のコンピューター記憶媒体を含む。メモリは、リムーバブル、非リムーバブル、またはそれらの組合せであってもよい。例示的なハードウェアデバイスは、固体メモリ、ハードドライブ、光ディスクドライブなどを含む。コンピューティングデバイス１００は、メモリ１１２またはＩ／Ｏ構成要素１２０などの様々な実体からデータを読み出す１つまたは複数のプロセッサーを含む。プレゼンテーション構成要素（複数可）１１６は、データ表示をユーザーまたは他のデバイスに示す。例示的なプレゼンテーション構成要素は、表示装置、スピーカー、印刷構成要素、振動構成要素などを含む。
【００２０】
[0024]Ｉ／Ｏポート１１８は、コンピューティングデバイス１００が、Ｉ／Ｏ構成要素１２０を含む他のデバイスに論理的に結合されることを可能にし、Ｉ／Ｏ構成要素１２０のいくつかは、組み込まれていてもよい。例示的な構成要素は、マイクロフォン、ジョイスティック、ゲームパッド、サテライトディッシュ、スキャナー、プリンター、ワイヤレス装置などを含む。
【００２１】
[0025]ここで図２を参照し、本発明の実施形態による、ＨＭＤ装着者のＴＦＯＶを分類し、分類された領域内に仮想物体を配置するためのシステム２００を示すブロック図が提供される。本明細書に記載のこの配置および他の配置は、例としてのみ記載されることを理解すべきである。他の配置および要素（例えば、マシン、インターフェース、機能、順序、および機能のグループ化など）が、示されたものに加えて、またはその代わりに使用可能であり、いくつかの要素は、完全に省略されてもよい。さらに、本明細書に記載の要素の多くは、個別のまたは分散された構成要素として、または他の構成要素と組み合わせて、任意の適切な組合せおよび位置で実装可能な機能的実体である。１つまたは複数の実体によって実行されるものとして本明細書に記載された様々な機能は、ハードウェア、ファームウェア、および／またはソフトウェアによって実行され得る。例えば、様々な機能は、メモリに記憶された命令を実行するプロセッサーによって実行され得る。
【００２２】
[0026]図２に示すように、システム２００は、ＨＭＤ２０２を含む。図示されていないが、ＨＭＤ２０２は、例えば、メモリ、プロセッサー、コンピューター可読媒体、入力／出力構成要素、および電源を含む、概括的なコンピューティングデバイス１００に関して図１を参照して上述されたものなどの構成要素を含むことができる。ＨＭＤ２０２は、例えば、眼鏡、ゴーグル、またはヘルメットを含む、多数の異なるフォームファクターのいずれかで提供され得る。
【００２３】
[0027]ＨＭＤ２０２は、概して、装着者の現実世界の視野をコンピューターで生成された仮想イメージで拡張することによって、装着者に現実世界の拡張視野を提供することができる。装着者に拡張視野を提供するために、ＨＭＤ２０２は、装着者が現実世界を見ることを依然として可能にしながら、コンピューターで生成された仮想イメージを表示する表示構成要素２０４を含むことができる。いくつかの実施形態では、これは、ヘッドアップディスプレイ（ＨＵＤ）技術を含むことができ、ＨＵＤ技術は、仮想イメージを提供するために、例えば、任意の種類の投影またはマイクロディスプレイ技術を使用することができる。装着者が現実世界を見ていながら、画像が装着者の網膜に直接投影される網膜ディスプレイなどの他の技術が用いられてもよい。
【００２４】
[0028]ＨＭＤ２０２は、ワイヤレス通信構成要素２０６を含むこともでき、ワイヤレス通信構成要素２０６は、ＨＭＤ２０２が、コンパニオンデバイス（例えば、スマートフォン）、サーバー装置、または他のネットワーク構成要素と通信することを可能にするために、ワイヤレス通信機能を提供する。例えば、本発明のいくつかの実施形態は、ＨＭＤ装着者のＴＦＯＶの領域を分類し、仮想物体をこれらの領域内に配置する際に、クラウドベースのサービスにＨＭＤ２０２を援助させることによって実施され得る。いくつかの実施形態では、ＨＭＤ２０２は、サーバー装置と直接通信するように構成されてもよく、他の実施形態では、ＨＭＤ２０２は、ＨＭＤ装着者の手元にあるコンパニオンデバイス（例えば、スマートフォンまたは他のデバイス）を介してサーバー装置と通信することができる。
【００２５】
[0029]ＨＭＤ２０２は、位置および他のセンサーデータを提供する多数のオンボードセンサー２０８を含むこともできる。様々な異なる種類のオンボードセンサー２０８のいずれも、本発明の様々な実施形態によるＨＭＤ２０２に含まれてもよい。概して、システムが、ＨＭＤ装着者の身体および周囲の環境に対するＨＭＤ装着者の頭部の位置および回転、目の位置、または他の有用な状況情報を決定することを可能にする任意のセンサーが使用され得る。例のみとして、限定ではなく、オンボードセンサー２０８は、ＧＰＳセンサー、慣性測定ユニット（ＩＭＵ）センサー、深度センサー、カメラ、目追跡センサー、マイクロフォン、生体計測センサー、および他の種類のセンサーを含むことができる。
【００２６】
[0030]ＨＭＤ２０２上のＩＭＵは、慣性加速度を測定することができ、加速度計、ジャイロスコープ、磁力計、および他のデバイスの機能を組み込むことができる。一実施形態では、慣性加速度のＩＭＵ測定は、６自由度を有する。ＩＭＵからのデータは、空間内の絶対位置を推定するために他のデータと共に使用され得る相対運動および回転情報を提供することができる。追加のデータは、ＧＰＳセンサーからの情報を含むことができ、ＧＰＳセンサーからの情報は、マクロレベルでの位置情報を提供するために使用され得る。いくつかの実施形態では、ＨＭＤ２０２は、補助ＧＰＳ（Ａ−ＧＰＳ）を使用することができる。
【００２７】
[0031]深度センサーおよびカメラは、ＨＭＤ装着者の周囲の環境に関するデータを収集するために、ＨＭＤ２０２上で使用され得る。深度センサーは、概して、物体までの距離を決定するセンサーを含むことができる。いくつかの実施では、深度センサーは、送信源から放出され、物体から反射されたＩＲ光を取り込む赤外線センサーを含むことができる。距離データは、飛行時間法、三角測量、または他の既知の原理を使用して決定され得る。カメラは、ＩＲもしくは可視スペクトル、白黒、または赤緑青（ＲＧＢ）カメラであってもよい。いくつかの実施形態では、２つの異なるカメラからの画像間の視差が、人間の２つの目が奥行知覚を提供するのと同様に奥行きを測定するために使用され得る。
【００２８】
[0032]ＨＭＤ２０２は、１つまたは複数の目追跡センサーを含むこともでき、目追跡センサーは、典型的には、ユーザーの視線の方向を決定するために、目の瞳孔もしくは他の部分、または目の周囲の領域の動きを追跡する。これは、例えば、ＨＭＤ装着者の目に向けられたＩＲまたはＲＧＢカメラを使用して達成され得る。ＨＭＤ装着者の声、および周囲の環境の音を含む音声情報を収集するために、マイクロフォンが設けられてもよい。ＨＭＤ装着者に関する生体情報を収集するために、生体計測センサーが使用され得る。
【００２９】
[0033]オンボードセンサー２０８からのセンサーデータは、処理するための仮想イメージングシステム２１０に提供され得る。本発明のいくつかの実施形態では、仮想イメージングシステム２１０は、ＨＭＤ２０２に設けることができる。他の実施形態では、仮想イメージングシステム２１０は、サーバー装置または他のネットワーク構成要素など、ＨＭＤ２０２の外部のデバイスによって提供され得る。さらに他の実施形態では、仮想イメージングシステム２１０は、複数のデバイス（例えば、ＨＭＤ２０２および外部デバイス）にわたって分散され得る。任意のおよびすべてのこのような変形形態は、本発明の実施形態の範囲内にあると考えられる。
【００３０】
[0034]仮想イメージングシステム２１０は、頭部位置構成要素２１２を含み、頭部位置構成要素２１２は、オンボードセンサー２０８からセンサーデータを受信し、ＨＭＤ装着者の周囲の環境およびＨＭＤ装着者の身体に対するＨＭＤ装着者の頭部の位置および回転を決定するように動作可能である。例のみとして、限定ではなく、頭部位置構成要素２１２は、マッピングされた周囲の環境に対するＨＭＤ装着者の頭部のリアルタイム位置を提供するために、例えば、カメラデータおよび／または深度センサーデータを使用する同時位置およびマッピング（ＳＬＡＭ）などの技術を使用することができる。ＩＭＵデータは、カメラまたは深度センサーが利用不可能であっても、相対回転および位置情報を提供することもできる。ＨＭＤ装着者の身体の領域（例えば、手、腕、胴、脚、足など）は、センサーデータを使用して識別されてもよい。例えば、カメラデータおよび／または深度センサーデータは、ＨＭＤ装着者が自分自身を見ているときに得ることができる。このように、ＨＭＤ装着者の身体に対するＨＭＤ装着者の頭部の位置および回転は、有用な程度の精度に推定され得る。これは、少し例を挙げれば、ＨＭＤ装着者が立っているか、座っているか、胴体に対して真っ直ぐ前を見ているかなどの情報を含むことができる。
【００３１】
[0035]頭部位置構成要素２１２は、ＨＭＤ２１２の外部のセンサーおよび他のソース２２０からデータを受信することもできる。例のみとして、限定ではなく、他のソース２２０は、外部カメラ、外部深度センサー（例えば、ＫＩＮＥＣＴ（登録商標）センサー）、他のＨＭＤ、モバイルデバイス、およびＨＭＤから遠隔に記憶された履歴センサーデータを含むことができる。概して、ＨＭＤ装着者の身体および周囲の環境に対するＨＭＤ装着者の頭部の位置および回転をシステムが決定することを可能にする情報の任意の外部ソースが使用され得る。
【００３２】
[0036]様々なオンボードセンサー２０８および外部ソース２２０からのデータは、概して、冗長性および精密化を提供することができる。しかしながら、すべてのセンサーが必要ではないことを理解すべきである。本明細書に示されたセンサー、ならびに他のセンサーおよび情報のソースの任意の組合せが、本発明の実施形態の範囲内で使用され得る。
【００３３】
[0037]頭部位置構成要素２１２が、ＨＭＤ装着者の身体および周囲の環境に対するＨＭＤ装着者の頭部の位置および回転を解決した後、ＴＦＯＶ分類構成要素２１４は、ＨＭＤ装着者のＴＦＯＶの領域を分類する。本発明の実施形態によれば、ＴＦＯＶ分類構成要素２１４は、様々な規則に従ってＨＭＤ装着者のＴＦＯＶの領域を識別する。規則は、ユーザー定義またはシステム定義可能である。加えて、規則は、不変であってもよく、ＨＭＤ装着者の現在の状況および環境に関する異なる入力に基づいて動的であってもよく、またはＨＭＤ装着者が現在なにを行っているのかに基づいて、ＨＭＤ装着者のための最高の体験を提供するために、ＨＭＤ装着者によって変更可能であってもよい。
【００３４】
[0038]本発明のいくつかの実施形態では、領域は、一次領域、および任意の数の追加の非一次領域を含むことができる。一次領域は、ＨＭＤ装着者のＦＯＶ内の一次区域に対応し得る。概して、これは、仮想物体によって遮蔽されるべきではない区域に対応する。非一次領域は、仮想物体によって遮蔽され得る区域に対応する。
【００３５】
[0039]例として、図３Ａおよび図３Ｂは、それぞれ、ＨＭＤ装着者３０４に関するＴＦＯＶ３０２の側面図および正面図を示す。図３Ａおよび図３Ｂに示すように、ＴＦＯＶ３０２は、一次領域３０６、二次領域３０８、および三次領域３１０に分類されている。図３Ａおよび図３Ｂに示す分類は、例としてのみ与えられ、ＴＦＯＶは、概して、任意の数の領域に分類されてもよい。領域は、対称的または非対称的であってもよい。加えて、領域は、垂直方向に、水平方向に、またはそれらの任意の順列に分割されてもよい。いくつかの実施形態では、領域は、ＨＭＤ装着者の身体または身体の部分に関連して分類されてもよい。例えば、領域は、身体の領域の左上、身体の領域の右上、身体の左下の領域、身体の右下の領域を含むことができる。
【００３６】
[0040]ＴＦＯＶの領域の分類は、固定されてもよく、または動的に変化してもよい。例示として、動的領域と対比した固定された領域の例が、図４および図５に提供される。まず、図４は、固定された領域の例を示す。図４に示すように、ＨＭＤ装着者が、見上げ、見下ろして自分の頭部を動かすとき、領域は、固定されたままである。対照的に、図５は、動的領域の例を示す。図５に示すように、ＨＭＤ装着者が、自分の頭部を上下に動かすと、領域は、ＨＭＤ装着者の頭部の動きと共に移動する。
【００３７】
[0041]ＴＦＯＶ領域は、領域のサイズを自動的に調整する（すなわち、拡張または縮小する）、ＴＦＯＶ内で領域をシフトする、またはＴＦＯＶに対して新しい領域を完全に再分類することによって、動的に変化することができる。領域は、イベントによってトリガーされる規則、環境条件、身体の配置および移動、ならびに追加のセンサー情報に基づいて、自動的に変化することができる。例えば、ＨＭＤ装着者が座っている場合、ＨＭＤ装着者が静止しており、ＨＭＤ装着者のＦＯＶの多くを遮蔽することがより安全であるため、一次領域は、比較的小さくてもよい。しかしながら、ＨＭＤ装着者が立って、歩き始める場合、ＨＭＤ装着者のより少ないＦＯＶが仮想イメージによって遮蔽されるように、一次領域は、拡張可能である。ＨＭＤ装着者が走り始める、または車を運転し始める場合、一次領域は、さらに拡大することさえできる。再分類する領域の例として、ＨＭＤ装着者の目が、ＴＦＯＶの二次領域を見ており、手が、ＴＦＯＶの二次領域内に移動しているとする。これは、ＨＭＤ装着者が、その空間内でいくつかのタスクを実行していることを示している可能性がある。これらの入力の結果として、ＴＦＯＶは、領域が現在一次領域となるように、再分類され得る。他の環境条件も、領域の分類に影響を及ぼし得る。例えば、生体計測入力が、ＨＭＤ装着者が緊張している、または怖がっていることを示す可能性がある。これに応答して、一次領域は、拡張可能である。
【００３８】
[0042]本発明のいくつかの実施形態によれば、固定された領域または動的な領域のどちらが任意の所与の時点で使用されるのかを制御する規則を使用することによって、固定された領域および動的に変化する領域の組合せが、経時的に使用されてもよい。特に、いくつかの状況は、固定された領域の使用を指示する可能性があり、他の状況は、動的な領域の使用を指示する可能性がある。例えば、領域は、最初に、所与の期間中、固定されてもよい。特定の入力が受信されると、規則は、次に、領域を動的に変化させることを指示することができる。特定の例として、ＨＭＤ装着者が座っている場合、ＨＭＤ装着者が座り続けている間、領域は、固定された状態のままとすることができる。しかしながら、ＨＭＤ装着者が一旦立ち上がると、規則は、ユーザーが空間内を動き回るにつれて、領域を動的に変化させるようにトリガーされ得る。したがって、領域分類は、環境的に適用可能であり得る。
【００３９】
[0043]ＴＦＯＶの領域を分類した後、仮想物体配置構成要素２１６は、分類に従って仮想物体を様々な領域内に配置することができる。概して、仮想物体は、定義された規則に従って、領域内に配置されてもよい。規則は、ユーザー定義またはシステム定義可能である。加えて、規則は、不変であってもよく、ＨＭＤ装着者の現在の状況および環境に関する異なる入力に基づいて動的であってもよく、またはＨＭＤ装着者が現在なにを行っているのかに基づいて、ＨＭＤ装着者のための最高の体験を提供するために、ＨＭＤ装着者によって変更可能であってもよい。いくつかの実施形態では、これは、一次領域を遮蔽することを防止するために、大部分の仮想物体を、ＴＦＯＶの非一次領域内に配置することを含んでよい。いくつかの例では、通知のみ、あまり邪魔でない仮想物体、またはより重要であると考えられる仮想物体が、一次領域に配置されてもよい。
【００４０】
[0044]例示として、図６は、本発明の実施形態による、ＨＭＤ装着者に提供される視野を提供する。図６に示すように、ＨＭＤ装着者は、現在、別の人間６０２を見ている。ＨＭＤ装着者のＦＯＶは、ＴＦＯＶの一次領域６０４、二次領域６０６、および三次領域６０８をカバーする。説明の目的のための破線および領域ラベルが図６に設けられ、これらは、ＨＭＤ装着者に対して表示されないことが留意されるべきである。代わりに、仮想物体６１０のみが表示されることになる。図６に示すように、より小さい通知仮想物体６１０のみが、一次領域６０４内に表示され、より大きく、より邪魔な仮想物体６１０が、二次領域６０６および三次領域６０８内に表示される。結果として、一次領域６０４は、概して、仮想物体によって遮蔽されない。
【００４１】
[0045]本発明の様々な実施形態では、ＴＦＯＶ内のコンテンツの位置を管理するために、許可セットが使用され得る。これは、特定のコンテンツを特定の領域内に配置する、または配置しないことを指示する、アプリケーションまたは状況にまたがる普遍的な規則を含むことができる。状態に基づいてＴＦＯＶの許可を変更することもできる（例えば、ユーザーが運転しているときの仮想物体の配置に関する規則は、ユーザーが居間にいるときの仮想物体の配置に関する規則と異なっていてもよい）。システムによって実行されているアプリケーションの分類に基づいて変化する許可セットが存在してもよい。これらの全体的／状態／アプリケーションに基づく許可の間の相互作用は、コンテンツ、およびＴＦＯＶ内に表示されるコンテンツの位置を駆動する。
【００４２】
[0046]領域がＨＭＤ装着者の身体に対して分類される実施形態では、仮想物体は、これらの仮想物体をＨＭＤ装着者の身体に対して配置するために、領域内に配置されてもよい。例えば、領域が、足領域として、ＨＭＤ装着者の足の周囲に分類されてもよく、特定の仮想物体が、仮想物体をＨＭＤ装着者の足の近くに配置するために、その領域内に配置されてもよい。別の例として、ＨＭＤ装着者の胴体の周囲の領域が、胴体領域として分類されてもよく、仮想デスクトップが、ＨＭＤ装着者がアクセスすることを望む可能性がある情報を含むように、その領域内に配置されてもよい。このように、ＨＭＤ装着者は、ＨＭＤ装着者の胴体の周囲の仮想デスクトップを見下ろすことによって、情報を見ることができる。
【００４３】
[0047]いくつかの例では、仮想物体は、インタラクティブではない静的な物体を含むことができる。例えば、仮想物体は、単に、ＨＭＤ装着者が見るための情報またはグラフィックを表示することができる。他の例では、仮想物体は、ユーザーインターフェース（ＵＩ）物体であってもよく、ＨＭＤ装着者は、ジェスチャー、音声コマンド、および／または他の形態の入力を使用して、ＵＩ物体と相互作用することができる。
【００４４】
[0048]ＴＦＯＶは、ＨＭＤ装着者のＦＯＶを越えて延在するため、任意の所与の時点では、ＴＦＯＶ内のすべての仮想物体の一部のみが、ＨＭＤ装着者によって見られることができる。したがって、仮想イメージ表示構成要素２１８は、ＴＦＯＶ内のＨＭＤ装着者の現在のＦＯＶを決定し、ＨＭＤ装着者のＦＯＶ内の適切な位置に仮想物体を表示させるように動作可能であってもよい。例えば、仮想物体が、ＨＭＤ装着者の足の近くのＴＦＯＶ領域に配置される場合、ＨＭＤ装着者が見上げている場合、仮想物体は、表示されないことになる。しかしながら、ＨＭＤ装着者が見下ろしていた場合、仮想イメージ表示構成要素２１８は、ＨＭＤ装着者のＦＯＶが足領域上にあることを決定することになり、仮想物体を適切な位置に表示させることになる。いくつかの実施形態では、ＨＭＤ装着者のＦＯＶの範囲は、単に、ＨＭＤ２０２の表示構成要素２０４の表示区域の範囲に対応すると考えられてもよいことが留意されるべきである。
【００４５】
[0049]いくつかの実施形態では、ＨＭＤのＦＯＶは、ＨＭＤ装着者のＦＯＶを越えて延在してもよい。例えば、深度センサー、カメラ、および他のオンボードＨＭＤセンサー、ならびに外部センサーは、ＨＭＤ装着者のＦＯＶの外部のデータを取り入れることができる可能性がある。このように、ＨＭＤのＦＯＶは、様々なセンサーがカバーし、ＨＭＤ装着者のＦＯＶをかなり越えて延在することができる範囲によって画定され得る。いくつかの実施形態は、仮想物体がＨＭＤのＦＯＶ内に配置される限り、ＨＭＤ装着者のＦＯＶの外側にあるためＨＭＤ装着者に現在表示されない仮想物体とＨＭＤ装着者が相互作用することを可能にすることによって、ＨＭＤのＦＯＶを利用することができる。例えば、インタラクティブな仮想物体が、ＨＭＤ装着者の右腰に隣接する領域内に隣接して配置されるとする。ＨＭＤ装着者は、ＨＭＤ装着者が他の場所を見ており、仮想物体がＨＭＤ装着者に対して表示されない場合であっても、ＨＭＤが、ＨＭＤ装着者の仮想物体との相互作用を取り込むことができるように、仮想物体が配置されるＨＭＤ装着者の右腰に隣接する領域が、ＨＭＤのＦＯＶ内に配置される限り、仮想物体と相互作用することができる。
【００４６】
[0050]ここで図７を参照し、本発明の実施形態による、ＨＭＤ装着者のＴＦＯＶの領域を分類するための方法７００を示す流れ図が提供される。方法７００は、例えば、ＨＭＤ、ＨＭＤの外部の装置、またはそれらの組合せによって実行されてもよい。ブロック７０２に示すように、ＨＭＤに設けられたオンボードセンサーからのデータが受信される。前述のように、オンボードセンサーは、無制限に、ＧＰＳセンサー、慣性測定ユニット（ＩＭＵ）センサー、深度センサー、カメラ、目追跡センサー、マイクロフォン、生体計測入力、および他のセンサーを含むことができる。加えて、データは、ブロック７０４に示すように、ＨＭＤの外部のソースから受信されてもよい。例のみとして、限定ではなく、これは、外部カメラ、外部深度センサー、他のＨＭＤ、モバイルデバイス、およびＨＭＤから遠隔に記憶された履歴センサーデータを含むことができる。
【００４７】
[0051]ブロック７０６に示すように、オンボードセンサーからのセンサーデータ、および外部ソースからの他のデータに基づいて、ＨＭＤ装着者の頭部の位置および回転が、ＨＭＤ装着者の身体および周囲の環境に対して決定される。ブロック７０８に示すように、その情報を使用して、ＨＭＤ装着者のＴＦＯＶが、２つ以上の領域に分類される。本発明の実施形態によれば、ＴＦＯＶは、ユーザー定義またはシステム定義可能な不変または動的な規則に従って分類される。ブロック７１０に示すように、仮想物体が、ＴＦＯＶの領域内に配置される。様々な仮想物体を領域内に配置するための多数の規則が定義可能である。これらの規則も、ユーザー定義またはシステム定義可能であり、不変または動的であってもよい。いくつかの実施形態では、システムは、様々な仮想物体を配置するための場所を決定するときに、アクセスされているアプリケーションを考慮することができる。ブロック７０２および７０４に戻ることによって表されるように、ＴＦＯＶの領域を分類するプロセスは、繰り返されてもよい。いくつかの実施形態では、１つまたは複数の規則が、ＴＦＯＶの領域を再分類することをトリガーしてもよく、他の実施形態では、ＴＦＯＶは、連続的に再分類されてもよい。
【００４８】
[0052]図８に移り、本発明の実施形態による、ＨＭＤを使用して仮想物体を表示するための方法８００を示す流れ図が提供される。ブロック８０２に示すように、ＨＭＤ装着者のＦＯＶが、最初に決定される。いくつかの実施形態では、ＨＭＤ装着者のＦＯＶの範囲は、単に、ＨＭＤの表示構成要素によって提供される表示区域の範囲に対応し得る。ブロック８０４に示すように、ＨＭＤ装着者のＦＯＶは、例えば、図７を参照して上述した方法７００を使用して決定されたＴＦＯＶの領域と比較される。比較は、ＴＦＯＶの領域に対するＨＭＤ装着者のＦＯＶの位置を識別する。
【００４９】
[0053]表示する仮想物体は、ブロック８０６で、ＴＦＯＶ領域、およびＴＦＯＶ領域内の仮想物体の位置に対する、ＨＭＤ装着者のＦＯＶの位置に基づいて決定される。いくつかの実施形態では、一組の許可が、この時点で、例えば、現在のユーザーの状態、または関与している特定のアプリケーション（複数可）に基づいて、仮想物体の使用を管理するために使用され得る。識別された仮想物体は、次に、ブロック８０８に示すように、ＨＭＤの表示構成要素を使用して、適切な位置に表示される。
【００５０】
[0054]理解され得るように、本発明の実施形態は、センサー入力および規則に基づいてＨＭＤ装着者のＴＦＯＶの領域を分類し、分類された領域内に仮想物体を配置することを提供する。本発明は、すべての点で限定ではなく例示であることが意図される特定の実施形態に関連して説明されている。代わりの実施形態が、その範囲から逸脱することなく、本発明が属する技術の当業者には、明らかになるであろう。
【００５１】
[0055]以上のことから、本発明は、明白なシステムおよび方法に固有の他の利点と共に、すべての上述した目標および目的を達成するのに十分に適しているものであることがわかるであろう。特定の特徴および部分的組合せは、有用であり、他の特徴および部分的組合せを参照することなく用いられてもよいことが理解されるであろう。これは、特許請求の範囲によって意図され、特許請求の範囲内である。
【図１】
2014526157.tif 000003
【図２】
2014526157.tif 000004
【図３】
2014526157.tif 000005
【図４】
2014526157.tif 000006
【図５】
2014526157.tif 000007
【図６】
2014526157.tif 000008
【図７】
2014526157.tif 000009
【図８】
2014526157.tif 000010
【国際調査報告】
2014526157.tif 000011
2014526157.tif 000012