(57)【要約】  ヘッドマウントディスプレイ装置におけるディスプレイ上の複数の領域のユーザインターフェイスを生成することを含む、仮想現実体験を生成するシステムおよび方法が記載される。ヘッドマウントディスプレイ装置のハウジングは、１つ以上のパススルーカメラ装置を含んでよい。システムおよび方法は、１つ以上のパススルーカメラ装置から画像コンテンツを取得し、および複数の仮想オブジェクトを、ユーザインターフェイスにおける複数の領域のうちの第１領域に表示することを含んでよく、第１領域は、ヘッドマウントディスプレイ装置におけるディスプレイの視界を実質的に占める。ヘッドマウントディスプレイ装置を操作しているユーザの頭部位置の変更を検出することに応じて、システムおよび方法は、更新された画像コンテンツの表示を、ユーザインターフェイスの第２領域において、開始してよい。
2019510321.tif 000002
【特許請求の範囲】
【請求項１】
方法であって、
ヘッドマウントディスプレイ装置におけるディスプレイ上に、複数の領域を有するユーザインターフェイスを生成することを含む仮想現実体験を生成する工程であって、前記ヘッドマウントディスプレイ装置は、１つ以上のパススルーカメラ装置を収容する、工程と、
前記１つ以上のパススルーカメラ装置から画像コンテンツを取得する工程と、
複数の仮想オブジェクトを、前記ユーザインターフェイスにおける前記複数の領域のうちの第１領域において、表示のために提供する工程であって、前記第１領域は、前記ヘッドマウントディスプレイ装置における前記ディスプレイの視界を実質的に占める、工程と、
前記ヘッドマウントディスプレイ装置を操作しているユーザの頭部位置の変更を検出することに応じて、更新された画像コンテンツの表示を、前記ユーザインターフェイスにおける前記複数の領域のうちの第２領域において、開始する工程であって、前記第２領域は、前記第１領域において表示されるコンテンツに合成されており、前記更新された画像コンテンツは、前記１つ以上のパススルーカメラ装置によって取得されるリアルタイム画像フィードに関連付けられている、工程と、を備え、
前記更新された画像コンテンツは、前記頭部位置の前記変更に関連する視野角に対応するために、ユーザインターフェイス内の場所に配置される方法。
【請求項２】
前記ユーザの前記頭部位置の追加の変更を検出することに応じて、前記ユーザインターフェイスの前記第２領域を、ビューから除去する、除去工程をさらに備える請求項１に記載の方法。
【請求項３】
前記除去工程は、前記ヘッドマウントディスプレイ装置を操作している前記ユーザのビューから前記第２領域が除去されるまで、前記画像コンテンツに関連する複数の画素を、不透明から透明にフェーディングする工程を含む請求項２に記載の方法。
【請求項４】
前記第２領域を表示することは、前記ユーザの視線の変更を検出することに基づいている請求項１に記載の方法。
【請求項５】
前記更新された画像コンテンツは、前記第１領域に合成される、前記複数の領域のうちの前記第２領域および第３領域を含み、前記第１領域は、前記複数の仮想オブジェクト周囲の風景を含み、前記第３領域は、前記１つ以上のパススルーカメラのレンズの前で動きを検知することに応じて、前記第１領域に合成される請求項１に記載の方法。
【請求項６】
前記ユーザの頭部位置の追加の変更を検出することは、下方に向けられた視線を検出することと、該視線を検出することに応じて、第３領域を前記ユーザインターフェイスに表示することと、を含み、前記第３領域は、前記第１領域内かつ前記視線の方向に表示され、および前記ヘッドマウントディスプレイ装置を操作している前記ユーザの身体の複数の画像を含み、前記画像は、前記１つ以上のパススルーカメラから開始され、および前記下方に向けられた視線に関連する視点からの、前記ユーザの前記身体のリアルタイム動画フィードとして描かれる請求項１に記載の方法。
【請求項７】
前記更新された画像コンテンツは、前記ユーザに関連付けられた１つ以上の眼位置によって修正され、前記ヘッドマウントディスプレイ装置に関連付けられたディスプレイの大きさに基づいて調整される、前記第１領域において表示される前記コンテンツに合成される動画を含み、修正され調整された前記コンテンツの投影が、前記ヘッドマウントディスプレイ装置の前記ディスプレイにおいて開始される、請求項１に記載の方法。
【請求項８】
前記ヘッドマウントディスプレイ装置を操作している前記ユーザから閾値距離内にある、前記画像コンテンツにおける複数の物理オブジェクトを検出する工程と、
センサを使用して、前記ユーザが前記複数の物理オブジェクトのうちの１つ以上の物理オブジェクトに近接していることを検出することに応じて、前記パススルーカメラおよび前記１つ以上の物理オブジェクトに関連するカメラフィードの表示を、前記１つ以上の物理オブジェクトが事前定義された近接閾値内にある間、前記ユーザインターフェイスの１つ以上の領域において開始する工程であって、開始された前記表示は、前記第１領域に組み込まれた１つ以上の領域における前記１つ以上の物理オブジェクトを含む、工程と、をさらに備える請求項１に記載の方法。
【請求項９】
前記複数の物理オブジェクトのうちの１つ以上の物理オブジェクトは、前記ヘッドマウントディスプレイ装置を操作している前記ユーザに接近中の別のユーザを含む請求項８に記載の方法。
【請求項１０】
第１領域は、仮想コンテンツを含み、前記第２領域は、第１領域に混合された動画コンテンツを含む請求項１に記載の方法。
【請求項１１】
前記第１領域は、第１ステンシル形状に設定可能であり、前記第２領域は、前記第１ステンシル形状に相補的である第２ステンシル形状に設定可能であって、前記第２ステンシル形状は、検出される物理オブジェクトの形状にしたがって選択される請求項１に記載の方法。
【請求項１２】
前記第２領域の表示は、前記ユーザにより行われる手のモーションによってトリガされ、および前記第１領域上にオーバーレイとして配置されるブラシストロークの形状である請求項１に記載の方法。
【請求項１３】
システムであって、
複数のパススルーカメラと、
ヘッドマウントディスプレイ装置と、を備え、
前記ヘッドマウントディスプレイ装置は、
複数のセンサと、
前記ヘッドマウントディスプレイ装置に関連する設定可能なユーザインターフェイスと、
前記複数のパススルーカメラから取得される画像コンテンツの複数のテクスチャをバインドし、および前記複数のテクスチャを表示する前記ユーザインターフェイス内の場所を判定するようプログラムされたグラフィックス処理装置と、を含む、システム。
【請求項１４】
前記システムは、前記複数のパススルーカメラから取得される画像コンテンツを表示し、および前記ヘッドマウントディスプレイ装置上に表示される仮想コンテンツ内に前記画像コンテンツを合成するよう動作可能なハードウェア合成レイヤをさらに含み、前記表示は、前記ヘッドマウントディスプレイ装置を操作しているユーザによって選択される、形成されたステンシルによって、前記ユーザインターフェイス上の場所に構成される請求項１３に記載のシステム。
【請求項１５】
前記システムは、前記ヘッドマウントディスプレイ装置を操作しているユーザの頭部位置の変更を検出し、更新された画像コンテンツの表示を、前記ユーザインターフェイスの第１領域において開始するようプログラムされ、前記第１領域は、第２領域において表示されるコンテンツに合成され、前記更新された画像は、前記複数のパススルーカメラのうちの１つ以上によって取得されるリアルタイム画像フィードに関連するコンテンツである請求項１３に記載のシステム。
【請求項１６】
方法であって、
仮想現実ユーザインターフェイスを生成するツールを、プロセッサに提供する工程であって、前記ツールは、前記プロセッサが、
仮想現実ユーザインターフェイスにおいて選択可能な複数の領域と、
複数のパススルーカメラから取得される画像コンテンツを、前記複数の領域のうちの１つ以上内で提供する複数のオーバーレイと、
前記複数のオーバーレイおよび前記複数の領域の表示挙動を定義するよう構成された、複数の選択可能なステンシルであって、前記表示挙動は、１つ以上の検出されるイベントに応じて実行される、ステンシルと、を提供するようにプログラムされる、工程と、
選択可能な前記複数の領域からの第１領域、選択可能な前記複数の領域からの第２領域、前記複数のオーバーレイからの１つ以上のオーバーレイ、および前記複数の選択可能なステンシルからのステンシル、の選択を受信する工程と、
前記第１領域および前記第２領域を含む表示を生成する工程であって、前記第２領域は、選択された前記ステンシルにしたがい、および前記１つ以上のオーバーレイの定義された前記表示挙動に対応して形成されかつ大きさが決定された、前記１つ以上のオーバーレイを含む、工程と、を備える方法。
【請求項１７】
前記オーバーレイの定義された前記表示挙動は、接近中の物理オブジェクトを検出することに応じて、前記画像コンテンツを提供することを含む請求項１６に記載の方法。
【請求項１８】
前記ステンシルにしたがって前記第１領域、前記第２領域、および前記１つ以上のオーバーレイを表示するためのコンフィギュレーションデータを受信する工程と、
前記第１領域および前記第２領域を含む表示を生成する工程であって、前記第２領域は、前記ステンシル、前記コンフィギュレーションデータにしたがい、および前記１つ以上のオーバーレイに対して定義された前記表示挙動に対応して形成された、前記１つ以上のオーバーレイを含む、工程と、をさらに備える請求項１６に記載の方法。
【請求項１９】
前記複数の選択可能なステンシルは、前記第１または前記第２領域上に形成されるオーバーレイ画像としてペイント可能な、複数のブラシストロークを含む請求項１６に記載の方法。
【請求項２０】
前記仮想現実ユーザインターフェイスにおける前記複数の領域は、事前に選択されたステンシル形状に基づき、前記ユーザインターフェイスにおいて表示される仮想コンテンツに混合され、および画像コンテンツ中にクロスフェードされるように、設定可能である請求項１６に記載の方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本願は、コンピュータシステム用グラフィカルユーザインターフェイスおよび、特に、仮想現実（ＶＲ）で用いるＶＲ表示および関連するアプリケーションに関する。
【背景技術】
【０００２】
ヘッドマウントディスプレイ（ＨＭＤ）装置は、ＨＭＤ装置内のディスプレイ上に表示されるコンテンツを視聴し、それと対話するために、ユーザによって、例えば、該ユーザの頭部に装着され得るモバイル電子装置の一種である。ＨＭＤ装置は、音響および視覚コンテンツを含んでよい。視覚コンテンツは、ＨＭＤ装置においてアクセス、アップロード、ストリーミング、または別の方法で取得および提供されてよい。
【図面の簡単な説明】
【０００３】
【図１】仮想現実環境と対話をするユーザの一例の図。
【図２】仮想現実（ＶＲ）環境を実装する例示的な仮想現実システムのブロック図。
【図３】ＨＭＤ装置を装着しながら移動をするユーザの例示的な視界を説明する図。
【図４】ＨＭＤ装置における仮想コンテンツおよびパススルーカメラコンテンツの一例を説明する図。
【図５Ａ】ＨＭＤ装置におけるパススルーコンテンツを使用して物理世界のコンテンツおよび仮想コンテンツの一例を説明する図。
【図５Ｂ】ＨＭＤ装置におけるパススルーコンテンツを使用して物理世界のコンテンツおよび仮想コンテンツの一例を説明する図。
【図６】ＨＭＤ装置においてユーザインターフェイス要素を提供する処理のフローチャート。
【図７】ＨＭＤ装置においてユーザインターフェイス要素を生成する処理のフローチャート。
【図８】本明細書に記載される技術を実装するために使用され得るコンピュータ装置およびモバイルコンピュータ装置の一例を示す図。
【発明を実施するための形態】
【０００４】
一つの一般的な態様では、コンピュータにより実行される方法は、複数の領域を有するユーザインターフェイスを生成することを含む仮想現実体験を生成する工程を含む。ユーザインターフェイスは、１つ以上のパススルーカメラ装置を収容するヘッドマウントディスプレイ装置におけるディスプレイ上でよい。方法は、１つ以上のパススルーカメラ装置から画像コンテンツを取得する工程と、複数の仮想オブジェクトを、ユーザインターフェイスにおける複数の領域のうちの第１領域において、表示する工程を含んでよい。第１領域は、ヘッドマウントディスプレイ装置におけるディスプレイの視界を実質的に占めてよい。方法は、ヘッドマウントディスプレイ装置を操作しているユーザの頭部位置の変更を検出することに応じて、更新された画像コンテンツの表示を、ユーザインターフェイスにおける複数の領域のうちの第２領域において、開始する工程を含んでよい。第２領域は、第１領域において表示されるコンテンツに合成されてよい。いくつかの実装では、第２領域を表示することは、ユーザの視線の変更を検出することに基づいてよい。
【０００５】
例示的な実装は、１つまたは複数の以下の特徴を含んでよい。更新された画像コンテンツは、１つ以上のパススルーカメラ装置によって取得されるリアルタイム画像フィードに関連付けられ、および頭部位置の変更に対応した方向でキャプチャされてよい。いくつかの実装では、更新された画像コンテンツは、第１領域に合成される、複数の領域のうちの第２領域および第３領域を含み、第１領域は、複数の物理オブジェクト周囲の風景を含む。いくつかの実装では、第３領域は、１つ以上のパススルーカメラのレンズの前で動きを検知することに応じて、第１領域に合成されてよい。いくつかの実装では、更新された画像コンテンツは、第１領域において表示されるコンテンツに合成され、ユーザに関連付けられた１つ以上の眼位置によって修正され、ヘッドマウントディスプレイ装置に関連付けられたディスプレイの大きさに基づいて調整され、および該ヘッドマウントディスプレイ装置のディスプレイに投影される、動画を含んでよい。
【０００６】
いくつかの実装では、第１領域は、仮想コンテンツを含み、第２領域は、第１領域に混合された動画コンテンツを含む。いくつかの実装では、第１領域は、第１ステンシル形状に設定可能であり、第２領域は、第１ステンシル形状に相補的である第２ステンシル形状に設定可能である。いくつかの実装では、第２領域の表示は、ユーザにより行われる手のモーションによってトリガされ、および第１領域上にオーバーレイとして配置されるブラシストロークの形状である。
【０００７】
いくつかの実装では、方法は、ユーザの頭部位置に関する追加の変更を検出し、それに応じて、ユーザインターフェイスの第２領域を表示から除去することを含んでよい。第２領域を表示から除去することは、ヘッドマウントディスプレイ装置を操作しているユーザにとって第２領域が見分けられなくなり、ビューから除去されるまで、画像コンテンツに関連する複数の画素を、不透明から透明にフェーディングすることを含んでよい。
【０００８】
いくつかの実装では、ユーザの頭部位置の追加の変更を検出することは、下方に向けられた視線を検出し、およびそれに応じて、第３領域をユーザインターフェイスに表示することを含み、第３領域は、第１領域内かつ視線の方向に表示され、およびヘッドマウントディスプレイ装置を操作しているユーザの身体の複数の画像を含む。画像は、１つ以上のパススルーカメラから開始され、および下方に向けられた視線に関連する視点からの、ユーザの身体のリアルタイム動画フィードとして描かれてよい。
【０００９】
いくつかの実装では、方法は、ヘッドマウントディスプレイ装置を操作しているユーザから閾値距離内にある、画像コンテンツにおける複数の物理オブジェクトを検出する工程を含んでよい。センサを使用して、ユーザが物理オブジェクトのうちの１つ以上に近接していることを検出することに応じて、方法は、パススルーカメラおよび１つ以上の物理オブジェクトに関連するカメラフィードの表示を、１つ以上の物理オブジェクトが事前定義された近接閾値内にある間、ユーザインターフェイスの１つ以上の領域において開始する工程であって、開始された表示は、第１領域に組み込まれた１つ以上の領域における１つ以上の物理オブジェクトを含む、工程と、を含んでよい。いくつかの実装では、物理オブジェクトのうちの１つ以上は、ヘッドマウントディスプレイ装置を操作しているユーザに接近中の別のユーザを含む。
【００１０】
第２の一般的な態様では、システムは、複数のパススルーカメラおよびヘッドマウントディスプレイ装置を含むものとして記載される。ヘッドマウントディスプレイ装置は、複数のセンサと、ヘッドマウントディスプレイ装置に関連する設定可能なユーザインターフェイスと、グラフィックス処理装置とを含んでよい。グラフィックス処理装置は、複数のパススルーカメラから取得される画像コンテンツの複数のテクスチャをバインドし、および複数のテクスチャを表示するユーザインターフェイス内の場所を判定するようプログラムされてよい。
【００１１】
例示的な実装は、１つまたは複数の以下の特徴を含んでよい。いくつかの実装では、システムは、複数のパススルーカメラから取得される画像コンテンツを表示し、およびヘッドマウントディスプレイ装置上に表示される仮想コンテンツ内に画像コンテンツを合成するよう動作可能なハードウェア合成レイヤをさらに含む。ヘッドマウントディスプレイ装置を操作しているユーザによって選択される、形成されたステンシルによって、表示は、ユーザインターフェイス上の場所に構成されてよい。
【００１２】
いくつかの実装では、システムは、ヘッドマウントディスプレイ装置を操作しているユーザの頭部位置の変更を検出し、更新された画像コンテンツの表示を、ユーザインターフェイスの第１領域において開始するようプログラムされる。第１領域は、第２領域において表示されるコンテンツに合成されてよい。更新された画像は、複数のパススルーカメラのうちの１つ以上によって取得されるリアルタイム画像フィードに関連するコンテンツでよい。
【００１３】
第３の一般的な態様では、コンピュータにより実行される方法は、仮想現実ユーザインターフェイスを生成するツールを、プロセッサに提供する工程を含む。ツールは、プロセッサが、仮想現実ユーザインターフェイスにおいて複数の選択可能な領域と、複数のパススルーカメラから取得される画像コンテンツを、複数の領域のうちの１つ以上内で提供する複数のオーバーレイと、複数のオーバーレイおよび複数の領域の表示挙動を定義するよう構成された、複数の選択可能なステンシルと、を提供するようにプログラムされてよい。表示挙動は、１つ以上の検出されるイベントに応じて実行されてよい。
【００１４】
方法はまた、複数の選択可能な領域からの第１領域、複数の選択可能な領域からの第２領域、複数のオーバーレイからの１つ以上のオーバーレイ、および複数の選択可能なステンシルからのステンシル、の選択を受信する工程を含む。方法はまた、第１領域および第２領域を含む表示を生成する工程であって、第２領域は、ステンシルにしたがい、および１つ以上のオーバーレイの定義された表示挙動に対応して形成された、１つ以上のオーバーレイを含む、工程を含む。
【００１５】
例示的な実装は、１つまたは複数の以下の特徴を含んでよい。いくつかの実装では、オーバーレイの定義された表示挙動は、接近中の物理オブジェクトを検出することに応じて、画像コンテンツを提供することを含む。
【００１６】
いくつかの実装では、方法は、ステンシルにしたがって第１領域、第２領域、および１つ以上のオーバーレイを表示するためのコンフィギュレーションデータを受信する工程と、第１領域および第２領域を含む表示を生成する工程とを含む。第２領域は、ステンシル、コンフィギュレーションデータにしたがい、および１つ以上のオーバーレイに対して定義された表示挙動に対応して形成された、１つ以上のオーバーレイを含んでよい。
【００１７】
いくつかの実装では、複数の選択可能なステンシルは、第１または第２領域上に形成されるオーバーレイ画像としてペイント可能な、複数のブラシストロークを含む。いくつかの実装では、仮想現実ユーザインターフェイスにおける複数の領域は、事前に選択されたステンシル形状に基づき、ユーザインターフェイスにおいて表示される仮想コンテンツに混合され、および画像コンテンツ中にクロスフェードされるように、設定可能である。
【００１８】
本態様の他の実施形態は、各々が方法の動作を実行するよう構成された、対応するコンピュータシステム、装置、および１つまたは複数のコンピュータ記憶装置に記録されたコンピュータプログラムを含む。
【００１９】
１つまたは複数の実装の詳細は、添付の図面および下記の記載に説明される。他の特徴は記載および図面、ならびに特許請求の範囲から明らかとなる。
様々な図における同様の参照符号は同様の要素を示す。
【００２０】
仮想現実（ＶＲ）システムおよび／または拡張現実（ＡＲ）システムは、ユーザによって体験される没入型の仮想世界環境を生成するためにユーザによって装着される、例えば、ヘッドマウントディスプレイ（ＨＭＤ）装置、ＶＲヘッドセット、もしくは類似の装置または装置の組み合わせを含んでよい。没入型の仮想世界環境は、ユーザにとっての没入型の仮想世界体験を向上させるための画像、効果、および／または対話型要素等を生成する様々な異なる光学部品を含み得るＨＭＤ装置を介して、ユーザにより視聴および体験されてよい。
【００２１】
そのような光学部品は、ＨＭＤ装置に関連するディスプレイに搭載（または内蔵）されるパススルーカメラを含んでよい。パススルーカメラによってキャプチャされる画像コンテンツは、複数のグラフィカルユーザインターフェイス（ＧＵＩ）構成を提供するよう構成されたＨＭＤ装置のディスプレイにおける仮想コンテンツに組み合わされてよい。ＧＵＩ構成は、いくつかの例を挙げると、ユーザに対して提供されるビューにおけるパススルーエリアまたは仮想コンテンツエリアの位置、パススルーコンテンツと仮想コンテンツとの比率、ＨＭＤ装置内で提供される任意のコンテンツのフェーディングまたは透明性の比率、および／もしくは仮想コンテンツ、パススルーコンテンツ、またはその両者に関連する形状または大きさを参照してよい。
【００２２】
一般に、本明細書に記載されるシステムおよび方法は、例えば、不完全に配置されたまたは悪いタイミングで配置されたパススルーコンテンツによって、表示されるコンテンツに対するユーザの眼の視野が妨げられたり、制限されたりすることのない実質的にシームレスな視覚体験を提供し得る。むしろ、本明細書に記載されるシステムおよび方法は、パススルーコンテンツを使用して、ユーザにとっての没入型の仮想体験を向上しうる。例えば、より妨げの少ない方法、形状、および／または位置でパススルーコンテンツエリアおよび表示を提供することで、ユーザにとっての仮想体験を豊かにし得る。従って、物理世界についての情報は、ユーザが仮想環境に留まっている間に、画像または音声の形式でユーザに対して選択的に提供されてよい。例えば、パススルーカメラのうちの１つまたは複数からのコンテンツは、選択的なパススルー領域に提供されてよい。そのような領域は、動き、音、ジェスチャ、事前設定されたイベント、ユーザ移動の変更等を含むがこれに限定されない特定のトリガに遭遇した場合に、パススルーコンテンツを提供するよう構成されてよい。
【００２３】
本明細書に記載されるシステムおよび方法は、ユーザの周囲の物理世界（すなわち、現実世界）、ユーザに関連づけられた位置および／または注視、ならびにユーザによって装着されたＨＭＤ装置内で提供される仮想コンテンツに関するコンテキストに関する情報を含む、ユーザコンテキストに関する情報を取得および使用してよい。そのような情報は、パススルーコンテンツエリアにおいて現実世界（すなわち、物理世界）の画像および／または動画コンテンツを提供する場合に、ユーザから没入型の仮想体験を損なうことなく、ＶＲディレクタまたはＶＲコンテンツクリエータが、仮想コンテンツを判定されたユーザコンテンツに利用可能に適合することを可能にし得る。ＨＭＤ装置において提供されるコンテンツは、仮想コンテンツ、拡張現実コンテンツ、直接的なカメラフィードのコンテンツ、パススルーカメラフィードのコンテンツ、または他の視覚、音響、対話型コンテンツの任意の組み合わせでよい。コンテンツは、そのまま配置され、表示用に変形され、埋め込まれ、マージされ、積み重ねられ、分割され、再レンダリングされ、または、没入型の仮想体験を中断することなくユーザに対して適切に提供されるよう、別の方法で操作されてよい。
【００２４】
図１における例示的な実装を参照すると、ユーザ１０２は、ＶＲヘッドセット／ＨＭＤ装置１０４を装着していることが示される。装置１０４はディスプレイ１０６において画像を提供している。ディスプレイ１０６は、表示領域１０８における仮想コンテンツと、表示領域１１０、１１２、および１１４等のパススルー表示領域（例えばエリア）における様々なパススルーコンテンツとを含む。表示領域１０８は、ＨＭＤ装置１０４のディスプレイに関連する１つまたは複数のＧＵＩ内の表示領域またはビュー領域を参照してよい。表示領域１０８用の仮想コンテンツは、画像、動画、コンピュータグラフィック、または他のメディアから生成されてよい。本開示において提示されたディスプレイ内に、複数の表示領域が描かれているが、任意の数の表示領域が、本明細書に記載される仮想現実ディスプレイ内に、構成および描かれてよい。
【００２５】
いくつかの実装では、システム１００によって設定可能な１つまたは複数の表示領域は、ユーザの頭部、注視、位置、または場所の変更に基づいて再配置されてよい。一例では、ユーザの頭部、注視、位置、および／または場所の変更は、ＨＭＤ装置２０４のセンサ２１５を使用して検出されてよい。いくつかの実装では、変更はカメラ２０２を使用して検出されてよい。さらに他の例では、ユーザの頭部、注視、位置、および／または場所の変更は、センシングシステム２１６、装置２１０のセンサ、および／またはＶＲ空間用トラッキングシステム（図示せず）を使用して検出されてよい。
【００２６】
一例では、ユーザがＶＲ空間においてタイプ入力をしながらキーボードにアクセスする場合、ユーザは、キーを見るためにそのキーボードを見つめてよい。ユーザが上方を見ると、新たな視野角に対応するために、キーボードはやや上方にシフトしてよい。このシフトは、センサ２１５、センシングシステム２１６、カメラ２０２、装置２１０のセンサ、および／または別のトラッキングシステムのうちの任意または全てによって検出される頭部の変更、に基づいて実行されてよい。同様に、ユーザが、キーボードから向きを１８０度変えた場合、システム１００は、ユーザはキーボードを見ることに関して、おそらくもう興味がないと判定してよく、ビューからその領域をキーボードと共に除去してよい。
【００２７】
図示されるように、表示領域１１０は、ＨＭＤ装置１０４に関連する第１カメラ（図示せず）からキャプチャされたコンテンツを含む。第１カメラからキャプチャされたコンテンツは、ＨＭＤ装置１０４においてユーザに提供するべくキャプチャおよび構成されたパススルーコンテンツを含んでよい。表示領域１１０は、ユーザが、物理世界の特定のオブジェクトに向かって、またはそこから離れるように移動するにつれて、コンテンツの外観またはフェーディングを示してよい点線と共に示される。この例においては、ユーザは、ドアに向かって移動してよく、したがって、パススルーカメラは、そのドアおよび周囲のコンテンツをキャプチャしてよい。そのようなコンテンツは、ユーザが出入り口に近づいており、特定の地域を離れ得ることを示すために、表示領域１１０においてユーザに対して表示されてよい。いくつかの実装では、そのような表示領域１１０は、ユーザが部屋または地域を離れつつあるという安全性の指標を提供するために表示されてよい。
【００２８】
表示領域１１２は、ＨＭＤ装置１０４に関連する第２カメラ（図示せず）からキャプチャされたコンテンツを含む。表示領域１１４は、ＨＭＤ装置１０４に関連する第３カメラ（図示せず）からキャプチャされたコンテンツを含む。いくつかの実装では、パススルーフィード（例えば連続画像）は、単一のカメラから単一の表示エリアにおいて提供されてよい。他の実装では、３つより多いカメラが、１つまたは複数の表示エリアを提供するよう構成されてよい。さらに他の実装では、単一のカメラは、表示エリア１０８の全域においてパススルーコンテンツを提供することを含めて、パススルーコンテンツを、ディスプレイ１０６内の複数の表示エリアに提供してよい。いくつかの実装では、パススルーコンテンツは、ディスプレイ１０６において構成された仮想コンテンツ表示エリアの外の表示エリアで表示されてよい。例えば、パススルーコンテンツは、ディスプレイ１０６において仮想コンテンツの上、下、または横に表示されてよい。
【００２９】
パススルーコンテンツは、例えば、描かれたパススルーコンテンツに対する侵入感をより少なくするため、領域１０８における仮想コンテンツの周囲の表示領域に描かれてよい。例えば、本明細書に記載されるシステムおよび方法は、ディスプレイ内で特定の時間および／または場所にコンテンツを提供するＧＵＩ効果を使用して、パススルーコンテンツを提供し得る。また、ディスプレイ内でそのようなキーとなる時間および／または場所を検出するためにセンサを使用してこれを行い得る。例えば、パススルーコンテンツが構成されたおよび／または利用可能である領域をユーザが注視していることを、本明細書に記載されるシステムが検出した場合に、コンテンツが提供されてよい。例えば、領域がパススルーコンテンツを提供するよう定義された場合、および／または定義された領域が、その領域付近で起こるモーションによってトリガされた場合、パススルーコンテンツが利用可能になってよい。いくつかの実装では、画像をキャプチャするために使用されるパススルーカメラは、物理世界のコンテンツを登録または評価し、登録識別情報および／または場所情報を使用して、直接的な表示によって、または物理世界に関するデータの通信を介して、情報をＨＭＤ装置に提供してよい。
【００３０】
特定のパススルーカメラの周囲の環境におけるオブジェクトを検出するために、複数の技術が使用されてよい。例えば、深度センサと共に構成されたＨＭＤ装置は、物理世界におけるユーザとオブジェクトとの距離を判定するために使用されてよい。深度センサは、環境のモデルを生成するために使用されてよく、該モデルは、ユーザとモデル化されたオブジェクトとの距離を判定するために使用され得る。他のモデル化および／またはトラッキング／検出機構も可能である。
【００３１】
いくつかの実装では、モデルは、部屋における他のオブジェクトまたはユーザに関する情報を含んでよい。例えば、システム２００は、ユーザがＨＭＤ装置２０４を使い始める時点での部屋におけるユーザを検出してよい。検出とその後のモデル化は、顔認識技術、Ｂｌｕｅｔｏｏｔｈ（登録商標）信号、または他の共存する技術に基づいてよい。そのようなモデルは、例えば、新たなユーザが部屋に入り、ＨＭＤ装置ユーザが仮想現実セッションを開始した場合の時間閾値の後で、１つまたは複数の通信がＨＭＤ装置２０４のディスプレイに受信され得る場合に更新されてよい。一例では、物理的な部屋内で検出された１人または複数のユーザを識別および／または告知するために、視覚または音響の通知がＨＭＤ装置２０４のユーザに提供されてよい。通知は、物理的な部屋に入ってきた新たなユーザの氏名または他の識別基準を含んでよい。別の例では、または新たなユーザの告知または通知と同時に、新規情報または新たなユーザを描くカメラパススルー像またはコンテンツが、受信およびクロッピングされてよく、および／または別の方法で、ディスプレイ内の空間の特定領域（例えば領域４０６、４０４、４０８等）に提供されてよい。いくつかの実装では、提供されるパススルーコンテンツは、仮想環境にいるというユーザの感覚を維持するため、部分的に透明でもよい。いくつかの実装では、システム２００が新たなユーザは話していないことを検出した場合、新たなユーザは紹介されるのみであり、または別の方法で、ＨＭＤ装置２０４を装着しているユーザに新たなユーザを紹介する。
【００３２】
動作において、本明細書に記載されるシステムおよび方法は、例えば、ユーザの周囲の環境の画像をキャプチャするために外向きに配置された、ＨＭＤ装置１０４上のカメラを採用してよい。そのようなカメラによりキャプチャされる画像は、物理世界のコンテンツの画像を含んでよい。キャプチャされる画像は、パススルー方法で仮想環境に埋め込まれるか、別の方法で組み合わされてよい。特に、本明細書に記載されるシステムおよび方法は、ＨＭＤ装置のディスプレイ上に描かれるユーザインターフェイス内で選択的に分割されたビューにおいて、パススルーコンテンツを適切に提供してよい。
【００３３】
図１に示されるように、表示領域１１２を分割する例は、ユーザ視線の下の机に載る物理キーボードをキャプチャした動画（すなわち、カメラフィード）を描く画像コンテンツをＧＵＩにはめ込むために、細長いまたは薄いユーザインターフェイスを表示１０８の上部付近で適合させることを含んでよい。ここで、キーボード画像／動画１１６を含む画像コンテンツは、ユーザ１０２が物理キーボードの場所に関連する位置に向かって見下ろすことに応じて、ディスプレイ１０６上の表示領域１１２に表示されてよい。ユーザが表示領域１１２から目をそらすと、システムおよび方法は、表示領域１１２をディスプレイ１０６上のビューから除去し、表示領域１１２において示されるコンテンツの代わりに、仮想コンテンツの表示を開始してよい。
【００３４】
いくつかの実装では、表示エリアは、物理世界において物理オブジェクトが配置されている場所にコンテンツを描いてよい。つまり、ＨＭＤ装置１０４は、物理オブジェクトの実際の配置に対応するＨＭＤ装置１０４のディスプレイ上の場所に対して、動画フィードまたは画像を描くよう構成されてよい。例えば、キーボード１１６は、あたかもユーザがユーザの前の机の上に配置された物理キーボードを直接的に見下ろしているように、表示１０８内のＧＵＩの場所（表示エリア）に示されてよい。加えて、パススルー画像は、リアルタイムでキャプチャおよび表示されてよいため、ユーザは、キーボード１１６を使用する間、キーボード１１６の方向に映像をキャプチャするパススルーカメラのビュー内にユーザが自分の手を配置するにつれて、自身の手の画像／動画を視聴可能でよい。
【００３５】
一般に、複数のセンサ（図示せず）は、ＨＭＤ装置１０４と共に構成されてよい。センサは、ユーザに関連する視線方向を検出し、視線内および視線方向におけるオブジェクト、人（またはカメラによってキャプチャされた他のコンテンツ）の画像を描いてよい。いくつかの実装では、表示エリアは、接近中のユーザまたはオブジェクトを検出した場合に、カメラフィードからの画像コンテンツを表示するよう構成されてよい。例えば、表示領域１１４は、ユーザ１０２に接近中の２人のユーザの動画パススルーコンテンツを描く。この種の表示トリガは、視線、近接センサ、または他のセンシング技術を採用して、ユーザの周囲の環境変化を判定してよい。
【００３６】
いくつかの実装では、ユーザは、ＨＭＤ装置を装着しつつ着席位置にあって、かつディスプレイ上の仮想コンテンツを体験してよい。１つまたは複数のパススルーカメラが、ユーザの周囲のコンテンツを撮影してよい。ＨＭＤ装置内で、ユーザは上方を注視して、ユーザ周囲の物理世界／環境において何が起きているかのビューを提供し得るＶＲ表示エリアの上部にある半円形を見てよい。ビューは、ＶＲ表示エリアまたはわずかにＶＲ表示エリア外にある、ユーザインターフェイスにあってよい。ビューは、あたかもユーザが掩蔽壕（ｂｕｎｋｅｒ）に座って周囲の環境（例えば部屋）を仮想環境内に埋め込まれた細長い像として眺めているように描かれてよい。そのようなビューにより、仮想コンテンツを視聴しながら、ユーザが接近中のユーザ、動き、またはユーザ周囲の静止したオブジェクトを見ることが可能になる。ユーザは、関心がある場合に物理世界環境を見るために、自身の焦点を調整（例えば、視線または頭部の動きを変更）してよい。これによって、ＨＭＤ装置を外すことによって仮想世界から離脱する必要なく、物理世界のオブジェクト、同僚、コンピュータスクリーン、モバイル装置等と対話および見る利点がユーザに与えることが可能になってよい。
【００３７】
１つの限定されない例では、ＨＭＤ装置を介して仮想世界に参加している間に、ユーザがラップトップコンピュータに電子メールを受信した場合、ユーザは見上げまたは見下ろしてよく、見下ろした場合にキーボードが与えられてよく、また、見上げた場合に自身のラップトップコンピュータのビューが与えられてよい。これにより、ユーザは、ラップトップコンピュータまたはキーボードを仮想環境に接続する必要なく、電子メール作業を完了するための情報を提供し得るパススルー画像を使用して、電子メールの作成および送信を行うことが可能になる。ユーザは、物理世界におけるユーザの周囲のアクティビティに参加するため、単に自身の視線を変更することを選択すればよい。
【００３８】
別の限定されない例では、ＨＭＤ装置に取り付けられた前向きのカメラを使用して、ユーザの周囲のコンテンツの画像を提供するために、ＨＭＤ装置ディスプレイの下部の球状エリア（例えば、下部３分の１、４分の１、８分の１等）が使用されてよい。該エリアは、例えば、マウスおよびキーボードを使用する、生産性アプリケーションを使用するよう構成されてよい。ディスプレイの底部がパススルーカメラからのライブ動画のパススルーコンテンツを含んでよく、キーボードまたはマウスに関するユーザ行動を描いてよい一方で、上部のエリア（例えば、上部３分の２、４分の３、８分の７等）は、生産性アプリケーションで占められてよい。したがって、上記のように、ユーザは、指の位置が合っていることを確認するため、またはキーボードの隣にあるマウスを見つけるため、キーボードを見下ろしてよい。同様に、ユーザは、見下ろして仮想現実における自身の身体を見るために、ディスプレイの下部エリアを使用してよい。これは、ユーザが仮想現実ヘッドセット／ＨＭＤ装置を装着しながら見下ろす場合に、自身の身体が見えることを期待しつつも実際には見えないという、典型的なＶＲシステムで起こりうる方向感覚の喪失を緩和し得る。
【００３９】
さらに別の限定されない例では、第１のユーザが、第１のユーザの隣に座る第２のユーザと映画を視聴している場合、左、右、または後ろのビューのリアルタイムビューを提供するために、パススルーカメラ映像がウィンドウに提供されてよい。これは、例えば、第１のユーザが映画を視聴している間に第２のユーザの方を向いた場合に、第１のユーザが第２のユーザと交流することを可能にし得る。第１のユーザは、第２のユーザの物理的場所の方を向いた場合、第２のユーザのリアルタイム動画フィードを見得る。
【００４０】
別の限定されない例では、ユーザは、ポップコーンを食する間、ＨＭＤ装置を使用し、ＶＲ環境において映画を視聴してよい。ユーザは、ポップコーンの方を一瞥してよく、それに応じて、ＨＭＤ装置は、ユーザインターフェイスをディスプレイの下部に表示し、ユーザの膝上にあるポップコーンおよび／またはユーザがポップコーンを摘まむために手を伸ばす映像を示してよい。ユーザが自身の視線方向を映画に戻す変更をした場合、ＨＭＤ装置１０４は視線の変更を検出し、ポップコーンおよび／または手のパススルー映像をユーザインターフェイスから除去してよい。いくつかの実装では、パススルーユーザインターフェイスの提供は、ユーザの頭部、眼、身体、または場所の変更を検出することに基づいてよい。追加の例は以下に詳細に記載される。
【００４１】
図２は、３Ｄ仮想現実（ＶＲ）環境を実装する例示的な仮想現実システム２００のブロック図である。例示的なシステム２００において、１つまたは複数のカメラ２０２はＨＭＤ装置２０４に搭載されてよい。カメラ２０２は、画像および仮想コンテンツを、ネットワーク２０６を通じてキャプチャおよび提供してよく、またはこれに代えて、画像および仮想コンテンツを、ネットワーク２０６等のネットワークを通じて、分析、処理、および、ＨＭＤ装置２０４へ再分配をする画像処理システム２０８に提供してよい。いくつかの実装では、カメラ２０２は、キャプチャされた画像をＨＭＤ装置２０４に直接的にフィードしてよい。例えば、ＨＭＤ装置２０４を装着するユーザの周囲の環境の静止画像または動画をキャプチャするために搭載されたパススルーカメラとして動作するよう、カメラ２０２が構成される場合、パススルーカメラによってキャプチャされたコンテンツは、ＨＭＤ装置２０４に直接的に送信および表示されるか、またはシステム２０８によって処理され、ＨＭＤ装置２０４上に表示されてよい。
【００４２】
システム２００のいくつかの実装では、モバイル装置２１０は、カメラ２０２のうちの１つ以上として機能してよい。例えば、モバイル装置２１０は、ユーザ周囲の画像をキャプチャするよう構成されてよく、またＨＭＤ装置２０４内に設置されてよい。この例では、モバイル装置２１０内に搭載されたオンボードかつ外向きのカメラは、パススルーコンテンツの表示用に指定された複数の表示エリアに表示するコンテンツをキャプチャするために使用されてよい。
【００４３】
いくつかの実装では、画像コンテンツは、モバイル装置２１０によってキャプチャされ、カメラ２０２によってキャプチャされる複数の画像と組み合わされてよい。そのような画像は、他のコンテンツ（例えば、仮想コンテンツ）と組み合わされ、仮想コンテンツを提供するＨＭＤ装置におけるエリアから起こる仮想体験を損なわないよう審美的な方法でユーザに提供されてよい。例えば、モバイル装置２１０および／またはカメラ２０２からキャプチャされた画像は、オーバーレイで、またはＨＭＤ装置にアクセスするユーザに情報を提供するのに邪魔にならない方法で、表示の一部として提供されてよい。情報は、ＨＭＤ装置２０４に関連するカメラのビュー内で接近中のオブジェクト、動物、人々、または他の動いているまたは動いていないオブジェクト（生物または無生物）に関する画像または情報を含んでよいがこれに限定されない。情報は、埋め込まれた、オーバーレイされた、またはキャプチャされた画像コンテンツと別の方法で組み合わされた拡張および／または仮想コンテンツを付加的に含んでよい。例えば、キャプチャされた画像コンテンツは、合成、変更、接合、修正、または別の方法で処理または組み合わされて、ＨＭＤ装置２０４にアクセスするユーザに画像効果を提供してよい。
【００４４】
本明細書で使用されるように、画像コンテンツの合成は、別個のソースからの視覚コンテンツ（例えば、仮想オブジェクト、動画映像、キャプチャされた画像、および／または風景）を、表示のための１つ以上のビューに組み合わせることを含む。合成は、コンテンツが同一のシーンの部分から生じているという錯覚を生成するために使用されてよい。いくつかの実装では、合成された画像コンテンツは、仮想のシーンとユーザによって見られる（またはパススルーカメラによって撮影される）物理世界のシーンとの組み合わせである。合成されたコンテンツは、本明細書に記載されるシステムによって取得または生成されてよい。いくつかの実装では、画像コンテンツの合成は、画像中の選択された部分を、追加の画像からの他のコンテンツと置き換えることを含む。
【００４５】
ＨＭＤ装置２０４は、図１に斜視図で示される。ＨＭＤ装置２０４は、フレームに対し、例えば、回転可能に接続されたおよび／または着脱可能に取り付けられたハウジングを含んでよい。ヘッドフォンに搭載された、例えば、スピーカを含む音響出力装置（図示せず）もまた、フレームに接続されてよい。いくつかの実装では、ＨＭＤ装置２０４は、ＨＭＤ装置２０４の動作を可能にするための１つまたは複数のプロセッサおよび様々な制御システム装置を含む、様々なセンサおよび制御システム２１８を含むセンシングシステム２１６含んでよい、いくつかの実装では、ＨＭＤ装置２０４は、ＨＭＤ装置２０４外部の現実世界の環境において静止画および動画をキャプチャするためのカメラ２０２を含んでよい。
【００４６】
カメラ２０２は、ＶＲ環境においてコンテンツをレンダリングするための画像データを収集可能な、キャプチャ装置および／または処理装置として使用するために構成されてよい。カメラ２０２は、本明細書において特定の機能が記載されるブロック図に示されているが、カメラ２０２は、ＶＲヘッドセット／ＨＭＤ装置内に収容またはそれに取り付けられる実装の任意の形式を取ってよい。一般に、カメラ２０２は、通信モジュール２１４を介して２１４画像処理システム２０８と通信を行ってよい。通信は、画像コンテンツ、仮想コンテンツ、またはそれらの任意の組み合わせの送信を含んでよい。通信はまた、メタデータ、レイアウトデータ、ルールに基づく表示データ、または他のユーザもしくはＶＲディレクタが開始するデータ等の追加データを含んでよい。いくつかの実装では、通信モジュール２１４は、画像、命令、および／または他のカメラ関連のコンテンツをアップロードおよびダウンロードするために用いられてよい。通信は、有線または無線で行われてよく、私的ネットワークまたは公衆ネットワークを介してよい。
【００４７】
一般に、カメラ２０２は、静止画および／または動画（すなわち、特定のフレームレートで連続する画像フレーム）をキャプチャ可能な任意の種類のカメラであってよい。カメラは、フレームレート、画像解像度（例えば、画像毎の画素）、色または強度分解能（例えば、画素毎の強度データのビット数）、レンズの焦点距離、被写界深度等に関して変動し得る。本明細書で使用されるように、「カメラ」という用語は、オブジェクトの画像、オブジェクトにより投じられる影の画像、光の画像、闇、またはデジタルデータの形式で画像を表し得る画像周囲もしくは画像内の他の残りをキャプチャ可能な、任意の装置（または装置の組み合わせ）を指してよい。図面は１つまたは複数のカメラを使用して描かれているが、異なる数のカメラ、センサ、またはその組み合わせを使用して他の実装が実現可能である。
【００４８】
ＨＭＤ装置２０４は、仮想現実ヘッドセット、グラス、１つもしくは複数のアイピース、または仮想現実コンテンツを提供および表示可能な他のウェアラブル装置もしくは装置の組み合わせを表してよい。ＨＭＤ装置２０４は、複数のセンサ、カメラ、およびパススルーカメラ２０２から取得される画像コンテンツのテクスチャをバインドするようプログラムされたグラフィックス処理装置を含むがこれに限定されないプロセッサを含んでよい。そのようなテクスチャは、特定の三次元オブジェクトの任意の平面上にテクスチャとして配置されるビットマップを回転およびリサイズすることが可能なＧＰＵにおける構成要素を表すテクスチャ・マッピング・ユニット（ＴＭＵ）を参照してよい。ＧＰＵは、ＴＭＵを使用し、そのようなテクスチャのアドレス指定およびフィルタリングを行ってよい。これは、画素および頂点のシェーダユニットと共同で実行される。特に、ＴＭＵはテクスチャ動作を画素に適用してよい。ＧＰＵはまた、そのようなテクスチャを表示するユーザインターフェイス内の場所を判定するよう構成されてよい。一般に、テクスチャのバインディングとは、ＶＲオブジェクト／ターゲットに対する画像テクスチャのバインディングを指してよい。
【００４９】
いくつかの実装では、ＨＭＤ装置２０４は、装置２０４のディスプレイに関連する設定可能なユーザインターフェイスを含んでよい。いくつかの実装では、ＨＭＤ装置２０４（またはシステム２００における他のシステム）はまた、パススルーカメラから取得される画像コンテンツを表示するよう動作可能なハードウェア合成レイヤを含む。ハードウェア合成レイヤは、ＨＭＤ装置２０４上に表示される仮想コンテンツ内に画像コンテンツを合成してよい。例えば、ＨＭＤ装置２０４を操作するユーザによって選択される、形成されたステンシルによって、表示は、ＨＭＤ装置２０４のディスプレイのユーザインターフェイス上の場所に構成されてよい。
【００５０】
動作において、ＨＭＤ装置２０４は、受信されたおよび／または処理された画像をユーザに対して再生し得るＶＲアプリケーション（図示せず）を実行してよい。いくつかの実装では、ＶＲアプリケーションは、図２に示されるコンピューティング装置２０８、２１０、または２１２のうちの１つまたは複数のものによってホストされてよい。一例では、ＨＭＤ装置２０４は、カメラ２０２またはモバイル装置２１０によってキャプチャされるシーンの動画再生を提供してよい。例えば、ＨＭＤ装置２０４は、接近中のオブジェクトまたはユーザの部分を描く、パススルーコンテンツを提供するよう構成されてよい。いくつかの実装では、ＨＭＤ装置２０４は、ＨＭＤ装置２０４に関連するディスプレイの複数のビューエリアにおいてパススルーコンテンツを提供するよう構成されてよい。
【００５１】
カメラ２０２のうちの任意のもの、またはシステムＨＭＤ２０４（または通信可能に接続された装置）に対して外部に搭載された他のカメラを使用して、特定の画像をキャプチャした場合、画像処理システム２０８は、画像コンテンツおよび仮想コンテンツの後処理または前処理を行い、そのようなコンテンツの組み合わせを、ネットワーク２０６を介して、例えば、ＨＭＤ装置２０４における表示のために提供してよい。いくつかの実装では、動画コンテンツの部分または部分的な画像コンテンツは、ＶＲアプリケーションにおける事前定義されたソフトウェア設定、ディレクタ設定、ユーザ設定、または他のＨＭＤ装置２０４に関連する設定規則に基づき、ＨＭＤ装置２０４における表示のために提供されてよい。
【００５２】
動作において、カメラ２０２は、画像処理システム２０８に提供され得る画像コンテンツをキャプチャするよう構成される。画像処理システム２０８は、複数の計算を実行し、画像を処理してよい。画像処理システム２０８はまた、処理した画像をレンダリングし、例えば、ネットワーク２０６を通じて、モバイル装置２１０に提供してよい。いくつかの実装では、画像処理システム２０８はまた、処理した画像を、レンダリング、記憶、またはさらなる処理のために、モバイル装置２１０および／またはコンピューティング装置２１２に提供してよい。いくつかの実装では、カメラキャプチャ、場所情報をトリガさせるため、および／またはＨＭＤ装置２１０内で画像コンテンツの表示をトリガさせるために、複数のセンサ２１５が提供されてよい。
【００５３】
画像処理システム２０８は、センシングシステム２１６、制御システム２１８、ユーザインターフェイスモジュール２２０、および画像効果モジュール２２２を含む。センシングシステム２１６は、例えば、光センサ、音響センサ、画像センサ、距離／近接センサ、例えば、加速度計およびジャイロスコープ、および／または他のセンサを含む慣性測定装置（ＩＭＵ）、および／またはセンサの異なる組み合わせを含む複数の異なる種類のセンサを含んでよい。いくつかの実装では、光センサ、画像センサ、および音響センサは、ＨＭＤ装置２０４のカメラ２０２等の、例えば、カメラ等の１つの構成要素に含まれてよい。一般に、ＨＭＤ装置２０４は、センシングシステム２１６に接続された複数の画像センサ（図示せず）を含む。いくつかの実装では、画像センサは、プリント回路基板（ＰＣＢ）上に配置される。いくつかの実装では、画像センサは、カメラ２０２のうちの１つまたは複数内に配置される。
【００５４】
いくつかの実装では、システム２００は、ＨＭＤ装置２０４を操作するユーザの頭部位置の変更を検出するようプログラムされてよい。システム２００は、ＨＭＤ装置２０４のディスプレイに関連するユーザインターフェイスの第１領域において、更新された画像コンテンツの表示を開始してよい。第１領域は、ディスプレイの第２領域において表示されるコンテンツに合成されてよい（すなわち、設定可能なユーザインターフェイス）。更新された画像は、パススルーカメラのうちの１つ以上によって取得されるリアルタイム画像フィードに関連するコンテンツを含んでよい。
【００５５】
制御システム２１８は、例えば、電力／一時停止制御装置、音響および動画制御装置、光学制御装置、パススルーディスプレイ制御装置、および／または他のそのような装置、および／または装置の異なる組み合わせを含む、複数の異なる種類の装置を含んでよい。いくつかの実装では、制御システム２１８は、ユーザからまたはＨＭＤ上のセンサから入力を受信し、１つまたは複数の更新ユーザインターフェイスを提供する。例えば、制御システム２１８は、ユーザに関連する視線の更新を受信し、更新された視線に基づき、１つまたは複数の表示エリアにおいて、パススルーコンテンツの表示をトリガしてよい。
【００５６】
ユーザインターフェイスモジュール２２０は、ＨＭＤ装置２０４に関連するディスプレイ内に複数の設定可能なユーザインターフェイスを提供するため、ユーザまたはＶＲディレクタによって使用されてよい。つまり、ユーザインターフェイスモジュール２２０は、仮想現実インターフェイスを生成するツールを提供してよい。ツールは、仮想現実ユーザインターフェイスにおける複数の領域、複数のパススルーカメラから取得される画像コンテンツを複数の領域のうちの１つ以上の領域内で提供する複数のオーバーレイ、および、検出されるイベントに従って、複数のオーバーレイおよび複数の領域の表示挙動を定義するよう構成された、複数の選択可能なステンシルを含んでよい。
【００５７】
ステンシルは、ＨＭＤ装置のディスプレイに描かれている、パススルーコンテンツと仮想コンテンツとの間に境界を設けるよう構成されてよい。境界は、可視的または偽装されてよいが、一般にはパススルーコンテンツを仮想コンテンツに埋め込む働きをしてよい。ステンシルは、一般に、表示領域内でオブジェクト（仮想または物理）が提示および／または描かれ得る位置を定義するために使用されてよい。ステンシルは、ＨＭＤ装置のディスプレイ内で画像コンテンツを表示する境界を定義するために、任意の形状を取るか空間を占めてよい。
【００５８】
画像効果モジュール２２２は、接近中の物理オブジェクトを検出することに応じて画像コンテンツを提供することを含む、特定のオーバーレイの表示挙動を定義するために使用されてよい。画像効果モジュール２２２は、本明細書の全体に記載されるように、ＶＲディレクタまたはユーザが選択したステンシルに従って、１つまたは複数のオーバーレイを表示することを含む、ディスプレイ内に複数の領域を表示するためのコンフィギュレーションデータを追加的に受信してよい。
【００５９】
例示的なシステム２００においては、装置２０８、２１０、および２１２は、ラップトップコンピュータ、デスクトップコンピュータ、モバイルコンピューティング装置、またはゲーム機であってよい。いくつかの実装では、装置２０８、２１０、および２１２は、ＨＭＤ装置２０４内に配列（例えば、配置／位置決め）され得るモバイルコンピューティング装置でよい。モバイル装置２１０は、例えば、ＨＭＤ装置２０４用のスクリーンとして使用され得るディスプレイ装置を含んでよい。装置２０８、２１０、および２１２は、ＶＲアプリケーションを実行するハードウェアおよび／またはソフトウェアを含んでよい。加えて、装置２０８、２１０、および２１２は、これらの装置が、ＨＭＤ装置２０４に対する配置の範囲の前またはその内に保持された場合に、ＨＭＤ装置２０４の３Ｄ運動を認識、監視、および追跡し得るハードウェアおよび／またはソフトウェアを含んでよい。いくつかの実装では、装置２０８、２１０、および２１２は、追加コンテンツを、ネットワーク２０６を通じてＨＭＤ装置２０４に提供してよい。いくつかの実装では、装置２０２、２０４、２０８、２１０、および２１２は、ネットワーク２０６を通じたペアリングまたは接続で、それぞれのうちの１つまたは複数と接続して／インターフェイスをとってよい。接続は有線または無線で行われてよい。ネットワーク２０６は、公衆通信ネットワークまたは私的通信ネットワークであってよい。
【００６０】
コンピューティング装置２１０および２１２は、ユーザにより装着されるＨＭＤ装置（例えば、装置２０４）と通信を行ってよい。特に、モバイル装置２１０は、センシングシステム２１６および制御システム２１８と通信する１つまたは複数のプロセッサと、ならびに例えば、装置２１０等と直接的または間接的に接続またはペアリングされ、装置２１０および装置２１２またはＨＭＤ装置２０４等の別の外部装置、間の通信を提供する、制御システム２１８のモジュールおよび通信モジュール２１４によってアクセス可能なメモリとを含んでよい。
【００６１】
システム２００は、電子記憶装置を含んでよい。電子記憶装置は、情報を電子的に記憶する非一時的な記憶媒体を含んでよい。電子記憶装置は、キャプチャされた画像、取得された画像、前処理された画像、後処理された画像等を記憶するよう構成されてよい。開示されるカメラを含んだ装置の任意のものによりキャプチャされた画像は、１つまたは複数の動画ストリーミングとして処理および記憶されてよい、または個別のフレームとして記憶されてよい。
【００６２】
図３は、ＨＭＤ装置を装着しながら移動をするユーザの例示的な視界３００を説明する図である。本例では、ユーザは、部屋３０４において１つの場所から他の場所に移動する場合に、位置３０２Ａおよび位置３０２Ｂに表される。ＶＲシステムでは、ユーザは、システムが収容および運用される所定の物理的な空間を、物理的に移動してよい。本例では、所定の物理的な空間が部屋３０４である。しかしながら、部屋３０４は、ユーザが出入り口、廊下、または他の物理的空間を通じて移動する場合、拡張または他のエリアに移動してよい。一例では、システム２００は、物理的空間におけるユーザ動作を追跡し、および物理世界におけるユーザの移動にしたがって仮想世界を移動させてよい。よって、この位置トラッキングは、物理世界におけるユーザ移動を追跡し、仮想世界における高い臨場感を生成するため、その移動を仮想世界に変換してよい。
【００６３】
いくつかの実装では、空間におけるこの種のモーショントラッキングは、例えば、空間に配置され、ユーザが没入する仮想現実を生成する基地局と通信するカメラ等のトラッキング装置によって達成されてよい。この基地局は、例えば、スタンドアローンのコンピューティング装置、またはユーザによって装着されるＨＭＤ装置に含まれるコンピューティング装置であってよい。図３に示される例示的な実装では、例えば、カメラ等のトラッキング装置（図示せず）は、物理、現実世界空間に配置され、部屋３０４のできるだけ広い部分を視界に捉えるために向けられてよい。
【００６４】
部屋３０４にアクセスするユーザは、ディスプレイ３０６上のコンテンツを体験（例えば、見る）し得る。ディスプレイ３０６は、仮想コンテンツを見るためにユーザが装着しているＨＭＤ装置上の表示を表してよい。ディスプレイ３０６は、複数の表示領域を含み、その各々は、ユーザインターフェイスコンテンツおよび像を提供し得る。メイン表示領域３０８は、映画、ゲーム、ソフトウェア、または視聴可能なコンテンツ等の仮想コンテンツを提供するよう構成されてよい。加えて、複数のパススルー領域は、デフォルトでまたは領域をトリガさせた場合に提供されてよい。例えば、パススルー表示領域３１０、３１２、３１４、および／または３１６は、常時または１つまたは複数の所定の条件をトリガさせた場合に提供されてよい。いくつかの実装では、表示領域３１０、３１２、３１４、および／または３１６のうちのいくつかまたは全てが、パススルーコンテンツを表示するよう構成された事前定義されたパススルー領域であってよい。一般に、仮想現実のユーザ、仮想現実ディレクタ、および／またはソフトウェアデベロッパの任意の組み合わせによって、そのような領域が構成および定義されてよい。つまり、領域は、メーカによって定義またはエンドユーザによって定義されてよい。
【００６５】
ディスプレイ３０６は、複数のユーザインターフェイス（例えば、表示領域、パススルー表示領域等）を含んでよく、そのうちの任意のものが、ＨＭＤ装置のディスプレイ３０６にアクセスするユーザ周囲の環境でキャプチャされているコンテンツと同様に仮想コンテンツの像を提供するために更新され得る。したがって、ディスプレイ３０６においてユーザに対して生成および表示され得るユーザインターフェイスコンテンツは、例えば、ユーザが特定のコンテンツの方を向くまでのユーザの視界の外のコンテンツを含んでよい。一例では、ユーザは、不明のキーボード記号を入力するよう求めるスクリーンに直面するまで、自身のモニタを見てよい。この時、ユーザは自身のキーボードを見るために下を向いてよい。したがって、ディスプレイ３０６は、ユーザの実際のキーボードの画像および／または動画を、領域３１６（ここではディスプレイ３０６の底部に影の部分として描かれる）等のパススルー表示領域に表示することによって、視線または（頭部位置もしくは傾斜）の変更に応じてよい。
【００６６】
パススルー表示領域３１０は、点線模様で示されており、図３に示されるように、コンテンツは現在のところ描かれていない。ドア３１８Ｂ（ドア３１８Ａに対応）は、パススルー表示領域３１０内に示されている。ここで、物理的なドアは、パススルー表示領域３１０内に常時表示されてよい。他のオブジェクトまたはコンテンツもまた、パススルー表示領域に描かれてよい。例えば、ドア３１８Ａを通じて人物が部屋３０４に入ってくる場合、ドア３１８Ｂは、ドア３１８Ａを通じて歩くユーザに加えて、領域３１０に示されてよい。これは、リアルタイムで描かれ、領域３１０に示されているコンテンツは、フェードインもしくはフェードアウト、または事前定義された規則にしたがって別の方法で表示されてよい。いくつかの実装では、例えば、部屋３０４においてＨＭＤ装置にアクセスするユーザが位置３０２Ｂにいない場合、パススルー表示領域３１０においてドアは描かれなくてよい。ユーザが位置３０２Ａにいる場合、コンテンツは、領域３１０に描かれなくてよく、例えば、領域３１０付近で追加の行動が起こるまで、またはユーザが領域３１０の方を向くもしくは一瞥するまで、継続して非表示もしくは表示の考慮がされなくてよい。
【００６７】
パススルー領域内における表示の異なる態様は構成されてよい。例えば、ＶＲディレクタまたはユーザインターフェイスデザイナは、仮想コンテンツのメイン表示エリア内または周囲に表示領域を配置してよい。いくつかの実装では、ＨＭＤ装置のユーザは、どのエリアおよび／または形状がパススルーコンテンツを受信するよう指定されるかを選択してよい。
【００６８】
一般に、表示領域は、パススルーコンテンツを表示するよう生成され得る複数の形状および大きさでよい。例えば、ユーザは、自身がパススルーコンテンツを見ることを望む表示エリアを描くかまたはペイントしてよい。そのような表示の一例は、パススルーコンテンツを受信する、ブラシストロークの大きさのパススルー領域がユーザによってペイントされた領域３１４である。他の形状も当然に可能である。パススルーコンテンツを提供する、いくつかの例示的な形状のエリアは、円、楕円、大きいまたは小さいブラシストローク形状、正方形、長方形、線、ユーザ定義の形状等を含むがこれに限定されない。
【００６９】
図３に示されるように、パススルー領域３１４は、ディスプレイ３０６におけるコンテンツを画いているＨＭＤ装置を装着しているユーザ３０２Ａ／Ｂに接近中のユーザ３２０を描く。ここで、ユーザ３２０は、ユーザ３０２Ａ／Ｂに接近中であるように表れ、したがって、領域３１４は、パススルーカメラフィードを使用してユーザ３２０を表示する。領域３１４は、特定の形状として、また利用可能なパススルーコンテンツを検出した場合に、特定の方法で動作するようユーザによって選択されてよい。例えば、領域３１４は、ユーザ３０２Ａ／Ｂの前方かつ右側から動きを検出した場合に、オーバーレイとして表示されるよう構成されてよい。
【００７０】
いくつかの実装では、パススルー領域は、混合したビューを使用して提供されてよい。混合したビューは、ＶＲコンテンツ中に曲げ入れられ得る表示領域の輪郭を描くために、１つまたは複数のステンシルを使用することを含んでよい。一般に、ステンシルは、仮想コンテンツ内でパススルーコンテンツを表し得る、形状または他のインサート可能な部分（例えば、１つまたは複数の画素）を表してよい。ステンシル形状は、円、正方形、長方形、星型、三角形、楕円、多角形、線、ユーザに選択された単一もしくは複数の画素、ブラシストローク形状（例えば、ユーザ定義）、または、ＨＭＤ装置に関連するディスプレイと同じ大きさもしくはそれより小さい、他の定義可能な部分もしくは形状を含んでよいがこれに限定されない。
【００７１】
ステンシル内の各画素は、混合したコンテンツ、重ねたコンテンツ、または一方の種類のコンテンツの不透明もしくは透明の部分を別の方法で提供するため、仮想コンテンツ、パススルーコンテンツ、または両方の組み合わせでペイントされるよう構成されてよい。１つの限定されない例では、ステンシルは、２５パーセントの物理世界（例えば、パススルーコンテンツ）および７５パーセントの仮想コンテンツを提供するよう、ユーザ、ＶＲディレクタ、またはデザイナによって定義されてよい。これは、仮想コンテンツ上で透明に見えるパススルーコンテンツになってよい。同様に、仮想コンテンツが１００パーセントで構成される場合、パススルーコンテンツは、表示およびインサートされず、仮想コンテンツがパススルー領域に示される。
【００７２】
いくつかの実装では、パススルー領域は、ユーザの特定の面に接続または結び付けられてよい。例えば、１つまたは複数のパススルーエリアは、ログイン証明または他の識別因子を通じて、ユーザに関連付けられてよい。いくつかの実装では、パススルー領域は、ユーザの場所に結び付けられてよく、したがって、ユーザが見上げ、見越し、または見下ろして、垂れ下がっているパススルー領域におけるコンテンツを視聴し得る形で、ユーザまたはユーザのＨＭＤ装置からぶら下がって現れるよう位置づけられてよい。別の例では、パススルー領域は、ユーザが見ている場所にかかわらずディスプレイ上の同じエリアに提供される形で、ユーザに結び付けられてよい。例えば、領域３１６は、ユーザに関連する足の下向きのビューを提供する専用の空間であってよい。そのような領域は、仮想現実コンテンツを体験している間にユーザが何かにつまずかないよう確実にし得る。
【００７３】
動作において、ユーザが３０２Ａから３０２Ｂへ移動する場合、トラッキング装置またはカメラ（図示せず）は、ユーザの位置を追跡してよく、および／またはユーザ周囲のオブジェクトの移動を追跡してよい。トラッキングは、ディスプレイ３０６内で複数のパススルー領域３１０、３１２、３１４、３１６、または記号のない他の領域内にコンテンツを表示するために使用されてよい。
【００７４】
図４は、ＨＭＤ装置における例示的な仮想コンテンツおよびパススルーカメラコンテンツを説明する。ここで、ユーザは、ＨＭＤ装置２０４等のＨＭＤ装置にアクセスし、コンテンツ領域４０２においてまた仮想シーンを視聴してよい。複数のパススルー領域は、複数の時間または同時に表示されてよい。示されるように、パススルー領域４０４、４０６、および４０８が示される。ここで、例えば、ユーザが見上げた場合、例示的な領域４０４がユーザに示されてよい。上向きに一瞥することで、仮想システム（すなわち、ＨＭＤ装置２０４）に対して、ユーザが物理世界のコンテンツを視聴することを望んでいることを示してよい。領域４０４は、ユーザに対して、自身の事前設定されたパススルー領域４０４において、物理世界における窓４１０の上部が視聴可能であることを示す。窓４１０の画像をキャプチャしたカメラは、追加の動画映像および周囲エリアの有効範囲を有し得るが、領域４０４が特定の大きさに構成されているため、そのようなコンテンツの部分を単に表示している。同様に、ＨＭＤ装置を装着しているユーザ周囲の物理世界内でユーザ４１２が検出された場合、パススルー領域のうちの１つは、ユーザ４１２によって見られているコンテンツを表示してよい。これは、物理世界内でユーザ４１２が立っている場所に基づいてよい、またはＨＭＤ装置ユーザが見ていると判定された特定の方向に基づいてよい。別の例では、ユーザは、仮想コンテンツにアクセスしながら、自身の周囲の物理的な部屋のパススルーエリアを見ることを望み得る。そのようなビューは、領域４０２内に提供されてよい。この例では、パススルーコンテンツは、壁および椅子４１４を領域４０８において示す。
【００７５】
図５Ａは、木５０４等の物理世界のコンテンツを描く、キッチン窓５０２の部分図における物理世界のコンテンツ５００の一例を説明する。木５０４は、窓５０２から視聴可能な、現実世界の庭の部分の画像または動画である。一般に、コンテンツ５００は、ユーザがＨＭＤ装置を装着することなく自身のキッチンの一部において見得るものを表す。例えば、物理世界のコンテンツを視聴する間、ユーザは、引出し、引出しの取手、窓枠、キャビネット、織物等を含む詳細を見てよい。加えて、ユーザは、窓５０２の外を眺めて、物理コンテンツ（例えば、木５０４）またはキッチン窓５０２外の他のオブジェクトを見てよい。
【００７６】
ＨＭＤ装置をユーザの頭部に乗せた場合、仮想コンテンツの他に同じコンテンツの追加のビューが、ＨＭＤ装置のディスプレイにおいてユーザに提供されてよい。図５Ｂは、ユーザが装着したＨＭＤ装置におけるに仮想コンテンツの他に、コンテンツ５１０およびパススルー画像からの物理コンテンツ５１６の一例を説明する。この例では、ＨＭＤ装置２０４を装着するユーザが、例えば、物理世界（すなわち、図５Ａにおけるキッチン窓５０２の画像または動画に対応する）からの窓５１４を描くカットイン領域５１２（例えば、ポータル）を設定している。カットイン窓５１２は、物理的な窓５０２外で視聴可能なコンテンツに対応するＨＭＤ装置２０４のディスプレイにおいて、ストリーミングまたは別の方法で提供された実際の物理コンテンツの像を受信するよう構成されている。つまり、ユーザが仮想現実体験に没入している間、ユーザは、自身の物理的なキッチン（図５Ａに示される）にいて、ＨＭＤ装置２０４における仮想コンテンツを体験してよく、また、キッチン窓５０２（自身の仮想ビューに、カットイン５１２中の窓５１４として表される）の外を眺めて、実際の物理世界のコンテンツを、物理コンテンツが物理世界において存在する正確な場所および配置で視聴してよい。そのようなコンテンツ（および、窓５０２から視聴可能な任意の他の物理世界のコンテンツ）は、例えば、ＨＭＤ装置２０４に取り付けられたパススルーカメラによってキャプチャされ、また、検出された移動、検出された状況、事前設定された規則、および／または他のディレクタもしくはユーザが設定可能な表示オプションに基づいて、ユーザに対して提供されるよう構成されてよい。
【００７７】
追加コンテンツは、ＶＲ体験の間、ユーザに提供されてよい。例えば、図５Ｂは、ユーザのキッチンの物理世界に存在する、壁５１８の部分およびキャビネット５２０を示す。これらのビューは、仮想コンテンツを体験しているユーザの周りに物理オブジェクトが存在していることを示すために、透明、半透明、明るい輪郭、または別の視覚的方法で表されてよい。そのようなコンテンツは、例えば、検出されたオブジェクト、事前設定されたスキャン、およびユーザ周囲の環境のモデルに基づいて提供されてよい。
【００７８】
この例では、システム２００は、物理的な部屋（例えば、キッチン５００）をスキャンし、その部屋のモデル（例えば、キッチン５１０）を生成するよう構成されてよい。ユーザおよび／または仮想コンテンツクリエータは、このモデルに基づき部屋の特定の領域をカットインするための、カッティングツールを提供されてよい。カットイン領域（例えば、５１２）は、該カットイン領域に対してユーザの視線を向けた場合に、ユーザが常時、カットイン領域を通じてパススルーコンテンツを見得るよう、仮想世界において仮想コンテンツと共に提示されてよい。例えば、ユーザがオフィスで窓の外を眺めることを楽しむ場合、ユーザは窓用の空間（例えば、領域５１４）を切り取るためにカッティングツールを使用してよい。窓は、ユーザがＨＭＤ装置を装着する間、仮想世界において提供されてよく、またユーザが望む期間、表示されてよい。したがって、窓の外で起こることは何でもパススルーカメラによって記録され、またカットイン領域においてユーザに対して提供される。仮想部屋が物理空間にマッピングされ得るため、このことが可能である。ユーザは、独特な方法で、仮想世界から物理世界を覗くことが可能である。このような切取りは、物理空間に入ってくるユーザの顔認識に関して、それらのユーザが、ＨＭＤ装置のユーザが選択したエリアにおいて、該ユーザに対して提供されるよう、動的に切り取られたポータルに対して使用されてもよい。
【００７９】
別の例では、ユーザは、ＶＲ体験の間、部屋で椅子に着席してよい。物理的な出入り口は、そのような部屋においてユーザの後ろに存在してよく、ユーザは、ドアのカットインエリアを設定してよい。カットインエリアは、発生する行動、オブジェクト、または変更のカメラ映像を、出入り口の開口部内でキャプチャするよう構成されてよい。ＶＲコンテンツは、物理的な出入り口の正確な場所にドアを配置するよう構成されてよい。別のユーザが出入り口を通り抜けるまたは近くを歩き、かつＶＲ体験に参加しているユーザの名前を口頭で呼ぶ場合、該ユーザは、自身の椅子を物理的な出入り口に向かって旋回し、ＶＲ体験に参加しているユーザに話すのを待っているその別のユーザのカメラ映像を提供されてよい。
【００８０】
図６は、装置２０４等のＨＭＤ装置においてユーザインターフェイス要素を提供する処理６００のフローチャートである。図６に示されるように、ブロック６０２で、システム２００は、装置２０４のディスプレイ内でユーザインターフェイスを生成することにより、ＨＭＤ装置２０４にアクセスするユーザへの仮想現実体験を生成してよい。ユーザインターフェイスは、複数の領域を有することを含んでよく、および複数の形状で定義されてよい。そのような領域の形状および大きさは、ユーザ、仮想コンテンツディレクタ、またはコンテンツプログラマによって選択および定義されるか、または事前定義されてよい。
【００８１】
ＨＭＤ装置２０４は、ＨＭＤ装置２０４にアクセスおよび使用するユーザ周囲の物理環境において起こるコンテンツを記録可能である、複数のパススルーカメラ装置を収容、含有するか、または一般に該パススルーカメラ装置と配置されてよい。ブロック６０４において、システム２００は、１つ以上のパススルーカメラ装置から画像コンテンツを取得してよい。例えば、システム２００は、動画または画像フィードを、ＨＭＤ装置２０４に取り付けられたパススルーカメラ２０４のうちのいずれか１つから取得してよい。そのようなコンテンツは、例えば、ユーザ、ＶＲディレクタ、またはプログラマによって定義されたユーザインターフェイス内で、１つまたは複数のパススルー領域における表示のために構成されてよい。
【００８２】
ブロック６０６で、システム２００は、ユーザインターフェイスの第１領域において複数の仮想オブジェクトを表示してよい。第１領域は、ＨＭＤ装置２０４におけるディスプレイおよび該装置２０４を操作するユーザに関連する視界を実質的に占めてよい。ＨＭＤ装置２０４を操作しているユーザの頭部位置の変更を検出することに応じて、ブロック６０８で、システム２００は、ユーザインターフェイスの第２領域において、更新された画像コンテンツの表示を開始してよい。例えば、第２領域は、ユーザの視線の変更を検出することに基づいて表示されてよい。第２領域は、第１領域において表示されるコンテンツに合成されてよい。更新された画像コンテンツは、パススルーカメラのうちの１つ以上によって取得されるリアルタイム画像フィードに関連付けられてよい。更新された画像コンテンツは、ユーザに関連付けられた頭部位置の変更に対応した方向でキャプチャされる画像に関連してよい。いくつかの実装では、更新された画像コンテンツは、第１領域において表示されるコンテンツに合成され、ユーザに関連付けられた１つ以上の眼位置によって修正され、ヘッドマウントディスプレイ装置に関連付けられたディスプレイの大きさに基づいて調整され、および該ヘッドマウントディスプレイ装置のディスプレイに投影される、動画を含んでよい。
【００８３】
いくつかの実装では、更新された画像コンテンツは、第１領域に合成される第２領域および第３領域を含む。１つの限定されない例では、第１領域は、複数の仮想オブジェクト周囲の風景を含んでよく、第３領域は、１つ以上のパススルーカメラのレンズの前で動きを検出することに応じて、第１領域に合成されてよい。
【００８４】
いくつかの実装では、ユーザの頭部位置の変更を検出することは、下方に向けられた視線を検出することを含んでよい。そのような検出に応じて、システム２００は、第３領域をユーザインターフェイスに表示してよい。第３領域は、第１領域内かつ視線の方向に表示されてよく、また例えば、ヘッドマウントディスプレイ装置を操作しているユーザの身体の複数の画像を含んでよい。画像は、１つ以上のパススルーカメラから生成されてよく、また、下方に向けられた視線に関連する視点からの、ユーザの身体のリアルタイム動画フィードとして描かれてよい。
【００８５】
いくつかの実装では、処理６００は、特定のコンテンツを表示からいつ除去するか、または除去するかどうかの判定することを含んでよい。例えば、処理６００は、ユーザの頭部位置に関する追加の変更を検出することに応じて、ユーザインターフェイスの第２領域を表示から除去することを含んでよい。第２領域を表示から除去することは、ヘッドマウントディスプレイ装置を操作しているユーザにとって第２領域が見分けられなくなる（例えば、ビューから除去される）まで、画像コンテンツに関連する複数の画素を、不透明から透明にフェーディングすることを含んでよいがこれに限定されない。他の画像効果も可能である。
【００８６】
いくつかの実装では、処理６００は、例えばＨＭＤ装置２０４を操作しているユーザから閾値距離内にある、特定の画像コンテンツにおける複数の物理オブジェクトを検出することを含んでよい。検出は、複数の例としては、センサ、測定値、計算値、または画像分析を使用することを含んでよい。物理オブジェクトのうちの１つ以上に対してユーザは事前定義された近接閾値内であることを検出することに応じて、処理６００は、１つまたは複数のパススルーカメラおよび物理オブジェクトのうちの１つ以上に関連するカメラフィードの表示を開始することを含んでよい。カメラフィードは、１つ以上の物理オブジェクトが事前定義された近接閾値内である間、ユーザインターフェイスの１つ以上の領域において表示されてよい。開始された表示は、ユーザインターフェイスの第１領域に組み込まれた、１つ以上の追加領域における１つ以上のオブジェクトを含んでよい。一例では、物理オブジェクトのうちの１つ以上は、ＨＭＤ装置２０４を操作しているユーザに接近中の別のユーザを含む。
【００８７】
いくつかの実装では、上記の第１領域は、第２領域がパススルーカメラからの動画コンテンツを含む一方、仮想コンテンツを含んでよい。動画コンテンツは、システム２００規則またはユーザ選択によって、第１領域に混合されてよい。一般に、第１領域は、第１ステンシル形状に設定可能でよく、第２領域は、第１ステンシル形状に相補的である第２ステンシル形状に設定可能でよい。第２領域の表示は、ユーザにより行われる手のモーションによってトリガされてよく、および第１領域上にオーバーレイとして配置されるブラシストロークの形状で、描かれまたは提供されてよい。
【００８８】
図７は、システム２００における装置２０４等のＨＭＤ装置においてユーザインターフェイス要素を生成する処理７００のフローチャートである。図７に示されるように、ブロック７０２で、システム２００は、本明細書に記載される１つまたは複数の機能を実行するため、ユーザインターフェイスモジュール２２０を採用してよい。例えば、ユーザまたは仮想コンテンツのディレクタは、ユーザインターフェイスモジュール２２０にアクセスして、複数の設定可能なユーザインターフェイスをＨＭＤ装置２０４に関連するディスプレイ内で有効にしてよい。つまり、ユーザインターフェイスモジュール２２０は、仮想現実インターフェイスを生成するツールを提供してよい。ツールは、仮想現実ユーザインターフェイスにおける複数の領域、複数のパススルーカメラから取得される画像コンテンツを複数の領域のうちの１つ以上の領域内で提供する複数のオーバーレイ、および、検出されるイベントに従って、複数のオーバーレイおよび複数の領域の表示挙動を定義するよう構成された、複数の選択可能なステンシルを含んでよい。
【００８９】
複数の選択可能なステンシルは、第１または第２領域上に形成されるオーバーレイ画像としてペイント可能な、複数のブラシストロークを含んでよい。例えば、ディスプレイ上で左から右へ、ブラシストローク上にペイントされた画像は、ユーザインターフェイス内の別の領域上のカットインまたは透明な窓として提供されてよい。ユーザは、例えば、ＨＭＤ装置２０４のディスプレイにおけるユーザインターフェイス上にブラシストロークを描くために、ペイントブラシ形状のカーソルツール（または場所がトラッキングされた自身の手）を使用してよい。いくつかの実装では、仮想現実ユーザインターフェイスにおける複数の領域のうちの１つまたは複数のものは、事前に選択されたステンシル形状に基づき、ユーザインターフェイスにおいて表示される仮想コンテンツに混合され、および画像コンテンツ中にクロスフェードされるように設定可能である。ブラシストロークは、事前に選択されたステンシル形状の一例である。
【００９０】
いくつかの実装では、ツールは、ユーザが任意の形状および表示エリアを事前設定可能なカットイン機能を提供してよい。そのようなツールは、ユーザが物理世界のコンテンツを表示するのに邪魔ではないと感じる方法で、エリアを描くまたはエリアをスケープ（ｓｃａｐｅ）するために使用されてよい。例えば、あるユーザは、自身のディスプレイの上部を横切る細長部を、邪魔ではないと感じ、自身が仮想世界にいる間、パススルーコンテンツの閲覧のため、そのようなディスプレイを設定してよい。別のユーザは、パススルーコンテンツを自身のメインの仮想ビュー外で閲覧することを望み、特定のジェスチャ、または動きが行われた場合にのみ、そのようなコンテンツを閲覧してよい。例えば、ユーザは、トラッキングされた自身の手のジェスチャで、自分が特定のパターンをスワイプする場合、パススルーコンテンツを緊急時に閲覧することを望み得る。他のトリガも当然に可能である。
【００９１】
システム２００の動作の間のある時点で、ユーザまたはＶＲディレクタは、ツールを使用して選択肢を提供してよい。システム２００は、ブロック７０４で、第１領域、第２領域、１つ以上のオーバーレイ、およびステンシルの選択を受信してよい。例えば、ユーザは、第１領域４０２（図４）、第２領域４０６、第２領域４０６における画像コンテンツ表示が第１領域４０２上で２５パーセントの透明性で表示されるような、約２５％の透明性を示すオーバーレイを選択してよい。ユーザはまた、第１領域または第２領域に対するステンシルを選択してよい。例えば、ユーザは、領域４０６に対する長方形のステンシルを選択してよい。他の形状および大きさも可能である。
【００９２】
複数の選択可能な領域からの第１領域と、複数の選択可能な領域からの第２領域と、複数のオーバーレイからのオーバーレイと、複数の選択可能なステンシルからのステンシルと、の選択を受信した場合、処理７００は、ブロック７０６で、第１領域および第２領域を含み、またその第２領域はステンシルにしたがって形成された１つ以上のオーバーレイを含む、表示を生成することを含んでよい。加えて、第２領域は、特定のユーザ移動、またはシステムイベントに応じるように事前設定されてよい。したがって、第２領域は、選択されたオーバーレイの事前定義された表示挙動に対応してよい。いくつかの実装では、オーバーレイの定義または事前定義された表示挙動は、接近中の物理オブジェクトまたはユーザを検出することに応じて、画像コンテンツを提供することを含んでよい。
【００９３】
１つの限定されない例では、処理７００は、ステンシルにしたがって第１領域、第２領域、および１つ以上のオーバーレイを表示するためのコンフィギュレーションデータを受信することを含んでよい。そのようなコンフィギュレーションデータは、タイミングデータ、場所データ、ユーザインターフェイス配列データ、メタデータ、および特定の画像データに関連してよい。システム２００は、そのようなコンフィギュレーションデータを受信してよく、また第１領域および第２領域を含む表示を生成してよい。第２領域は、ステンシル、コンフィギュレーションデータにしたがい、および１つ以上のオーバーレイの定義された表示挙動に対応して形成された、１つ以上のオーバーレイを含む。
【００９４】
図８は、コンピュータ装置８００およびモバイルコンピュータ装置８５０の一例を示し、これらの装置は、本明細書に記載される技法とともに使用することができる。コンピューティング装置８００は、プロセッサ８０２と、メモリ８０４と、記憶装置８０６と、メモリ８０４および高速拡張ポート８１０に接続している高速インターフェイス８０８と、低速バス８１４および記憶装置８０６に接続している低速インターフェイス８１２とを含む。構成要素８０２、８０４、８０６、８０８、８１０、および８１２の各々は、様々なバスを使用して相互接続され、適宜に、共通のマザーボード上に、または他の方法で取り付けることができる。プロセッサ８０２は、高速インターフェイス８０８に結合されたディスプレイ８１６等の、外部の入出力装置上に、ＧＵＩに関するグラフィカル情報を表示するための、メモリ８０４または記憶装置８０６に記憶された命令を含む、コンピューティング装置８００内の実行の命令を処理することができる。他の実装では、複数のプロセッサおよび／または複数のバスは、適宜に、複数のメモリおよびメモリの種類とともに使用することができる。加えて、複数のコンピューティング装置８００を（例えば、サーババンク、ブレードサーバのグループ、またはマルチプロセッサシステムとして）、必要な動作の一部分を提供する各装置と接続してもよい。
【００９５】
メモリ８０４は、コンピューティング装置８００内の情報を記憶する。１つの実装では、メモリ８０４は、揮発性メモリユニットまたはユニットである。別の実装では、メモリ８０４は、不揮発性メモリユニットまたはユニットである。また、メモリ８０４は、磁気または光学ディスク等の別の形態のコンピュータ可読媒体でもよい。
【００９６】
記憶装置８０６は、コンピューティング装置８００に大容量ストレージを提供することができる。１つの実装では、記憶装置８０６は、コンピュータ可読媒体（例えば、フロッピー（登録商標）ディスク装置、ハードディスク装置、光学ディスク装置、またはテープ装置）、フラッシュメモリもしくは他の同様の固体メモリ装置、またはストレージエリアネットワークもしくは他の構成の装置を含む装置のアレイであり得、またはそれらを含むことができる。コンピュータプログラム製品は、情報担体中に有形で実施され得る。また、コンピュータプログラム製品は、上述したもののように、実行時に、１つまたは複数のメソッドを実行する命令を含むことができる。情報担体は、メモリ８０４、記憶装置８０６、またはプロセッサ８０２上のメモリ等の、コンピュータ可読媒体または機械可読媒体である。
【００９７】
高速コントローラ８０８は、コンピューティング装置８００に対する帯域幅を大量に使用する（ｂａｎｄｗｉｄｔｈ−ｉｎｔｅｎｓｉｖｅ）操作を管理し、低速コントローラ８１２はより低い帯域幅を大量に使用する（ｌｏｗｅｒ  ｂａｎｄｗｉｄｔｈ−ｉｎｔｅｎｓｉｖｅ）操作を管理する。機能のそのような割り当ては、例示的なものにすぎない。１つの実装では、高速コントローラ８０８は、（例えば、グラフィックスプロセッサまたはアクセラレータを介して）メモリ８０４、ディスプレイ８１６に、および、様々な拡張カード（図示せず）を受け付けることができる高速拡張ポート８１０に結合される。この実装では、低速コントローラ８１２は、記憶装置８０６と低速拡張ポート８１４とに結合されている。低速拡張ポートには、様々な通信ポート（例えば、ＵＳＢ、Ｂｌｕｅｔｏｏｔｈ（登録商標）、イーサネット（登録商標）、ワイヤレスイーサネット）が含まれるが、これは、例えば、キーボード、ポインティング装置、スキャナ、またはスイッチもしくはルータなどのネットワーク装置等、１つまたは複数の入出力装置に、例えばネットワークアダプタを介して、結合することができる。
【００９８】
コンピューティング装置８００は、図示のように、複数の異なる形態で実装することができる。例えば、コンピューティング装置８００は、標準的なサーバ８２０として、またはそのようなサーバのグループにおいて複数台、実装することができる。加えて、コンピューティング装置８００は、ラックサーバシステム８２４の一部として実装することもできる。さらに、コンピューティング装置８００は、ラップトップコンピュータ８２２等のパーソナルコンピュータに実装することができる。あるいは、コンピューティング装置８００の構成要素は、装置８５０等のモバイル装置（図示せず）の他の構成要素と組み合わせてもよい。このような装置の各々は、コンピューティング装置８００、８５０のうちの１つまたは複数を含んでよく、互いに通信する複数のコンピューティング装置８００、８５０によりシステム全体が構成されてよい。
【００９９】
コンピューティング装置８５０は、他の構成要素のうち、プロセッサ８５２と、メモリ８６４と、ディスプレイ８５４等の入出力装置と、通信インターフェイス８６６と、トランシーバ８６８とを含む。また、装置８５０は、追加のストレージを提供するために、マイクロドライブまたは他の装置等の記憶装置を備えてもよい。構成要素８５０、８５２、８６４、８５４、８６６、および８６８の各々は、様々なバスを使用して相互接続され、構成要素のうちのいくつかは、適宜に、共通のマザーボード上に、または他の方法で取り付けることができる。
【０１００】
プロセッサ８５２は、メモリ８６４に記憶された命令を含む、コンピューティング装置８５０内の命令を実行することができる。プロセッサは、別個の複数のアナログプロセッサとデジタルプロセッサを含むチップのチップセットとして実装することができる。プロセッサは、例えば、ユーザインターフェイス、装置８５０によって実行されるアプリケーション、および装置８５０による無線通信の制御等、装置８５０の他の構成要素の調整を行うことができる。
【０１０１】
プロセッサ８５２は、ディスプレイ８５４に結合された制御インターフェイス８５８およびディスプレイインターフェイス８５６を介して、ユーザと通信をすることができる。ディスプレイ８５４は、例えば、ＴＦＴ  ＬＣＤディスプレイ（薄膜トランジスタ液晶ディスプレイ）もしくはＯＬＥＤ（有機発光ダイオード）ディスプレイ、または他の適切なディスプレイ技術であり得る。ディスプレイインターフェイス８５６は、グラフィカル情報および他の情報をユーザに提示するようにディスプレイ８５４を駆動するための適切な回路を備えることができる。制御インターフェイス８５８は、ユーザからコマンドを受信し、プロセッサ８５２へのサブミッションのためにそれらを変換することができる。加えて、プロセッサ８５２と通信をする外部インターフェイス８６２が提供されてもよく、それにより、装置８５０の他の装置との近距離通信が可能になる。外部インターフェイス８６２は、例えば、いくつかの実装では有線通信を、または他の実装では無線通信を行うことができ、また、複数のインターフェイスを使用してもよい。
【０１０２】
メモリ８６４は、コンピューティング装置８５０内の情報を記憶する。メモリ８６４は、１つまたは複数のコンピュータ可読媒体、１つまたは複数の揮発性メモリユニット、または１つまたは複数の不揮発性メモリユニットとして実装することができる。また、拡張メモリ８８４が提供され、例えば、ＳＩＭＭ（シングルインラインメモリモジュール）カードインターフェイスを含むことができる拡張インターフェイス８８２を介して装置８５０に接続され得る。このような拡張メモリ８８４は、装置８５０に追加のストレージスペースを提供することができ、または装置８５０にアプリケーションもしくは他の情報を記憶することができる。具体的には、拡張メモリ８８４は、上述の処理を実行または補足するための命令を含むことができ、安全な情報も含むことができる。したがって、例えば、装置８５０のセキュリティモジュールとして、拡張メモリ８８４を提供することができ、装置８５０の安全な使用を可能にする命令を用いて、拡張メモリ８８４をプログラムすることができる。加えて、ハッカー行為が不可能な様式でＳＩＭＭカード上に識別情報を配置する等、ＳＩＭＭカードを介して、安全なアプリケーションを追加の情報と共に提供することができる。
【０１０３】
メモリは、後述のように、例えば、フラッシュメモリおよび／またはＮＶＲＡＭメモリを含むことができる。１つの実装では、コンピュータプログラム製品は情報担体中に有形で実施される。コンピュータプログラム製品は、上述したもののように、実行時に、１つまたは複数の方法を実行する命令を含む。情報担体は、メモリ８６４、拡張メモリ８８４、または例えばトランシーバ８６８もしくは外部インターフェイス８６２を通じて受信され得るプロセッサ８５２上のメモリ等の、コンピュータ可読媒体または機械可読媒体である。
【０１０４】
装置８５０は、必要に応じて、デジタル信号処理回路を含むことができる通信インターフェイス８６６を介して、無線で通信することができる。通信インターフェイス８６６は、とりわけ、ＧＳＭ（登録商標）音声通話、ＳＭＳメッセージング、ＥＭＳメッセージングもしくはＭＭＳメッセージング、ＣＤＭＡ、ＴＤＭＡ、ＰＤＣ、ＷＣＤＭＡ（登録商標）、ＣＤＭＡ２０００、またはＧＰＲＳ等の、様々なモードまたはプロトコルに基づく通信を行うことができる。このような通信は、例えば、無線周波数トランシーバ８６８を介して行うことができる。加えて、短距離通信は、Ｂｌｕｅｔｏｏｔｈ（登録商標）、Ｗｉ−Ｆｉ（登録商標）、または他のそのようなトランシーバ（図示せず）等を使用して行うことができる。加えて、ＧＰＳ（全地球測位システム）受信器モジュール８８０は、追加のナビゲーション関連ワイヤレスデータおよびロケーション関連ワイヤレスデータを、装置８５０に提供することができ、これらの情報は、装置８５０上で実行されるアプリケーションによって必要に応じて使用可能である。
【０１０５】
また、装置８５０は、音声コーデック８６０を使用して可聴通信することができる。音声コーデック８６０は、話された情報をユーザから受信して、それを使用可能なデジタル情報に変換することができる。音声コーデック８６０は同様に、例えば装置８５０のハンドセット中のスピーカ等を介して、ユーザが聞き取れる可聴音を発生することができる。このような音声は、音声電話通話からの音声を含み、記録された音声（例えば、ボイスメッセージ、音楽ファイル等）を含むことができ、さらに、装置８５０上で動作するアプリケーションによって発生された音声を含むことができる。
【０１０６】
コンピューティング装置８５０は、図示のように、複数の異なる形態で実装することができる。例えば、コンピューティング装置８５０は、セルラ電話８８０として実装することができる。コンピューティング装置８５０は、スマートフォン８８２、携帯情報端末、または他の同様のモバイル装置の一部として実装してもよい。
【０１０７】
本明細書に記載したシステムおよび技法の種々の実装は、デジタル電子回路、集積回路、専用に設計されたＡＳＩＣ（特定用途向け集積回路）、コンピュータハードウェア、ファームウェア、ソフトウェア、および／またはその組合せにおいて実現することが可能である。これらの様々な実装は、ストレージシステム、１つ以上の入力装置、および１つ以上の出力装置とデータおよび命令を送受信するように結合された、専用または汎用とすることができる１つ以上のプログラマブルプロセッサを含むプログラマブルシステム上で実行可能および／または解釈可能な１つまたは複数のコンピュータプログラムにおける実装を含むことが可能である。
【０１０８】
これらのコンピュータプログラム（プログラム、ソフトウェア、ソフトウェアアプリケーション、またはコードとしても知られる）は、プログラマブルプロセッサに対する機械語命令を含み、高レベル手続き言語および／もしくはオブジェクト指向プログラミング言語で、ならびに／またはアセンブリ／機械言語で実装することが可能である。本明細書で使用されるように、用語「機械可読媒体」「コンピュータ可読媒体」は、機械語命令を機械可読信号として受け取る機械可読媒体を含む、機械語命令および／またはデータをプログラマブルプロセッサに提供するために使用される任意のコンピュータプログラム製品、装置、および／または装置（例えば、磁気ディスク、光ディスク、メモリ、プログラマブルロジックデバイス（ＰＬＤ））を指す。用語「機械可読信号」は、機械語命令および／またはデータをプログラマブルプロセッサに提供するために使用される任意の信号を指す。
【０１０９】
ユーザとの対話を行うために、本明細書に記載したシステムおよび技法は、情報をユーザに表示するための表示装置（例えば、ＣＲＴ（陰極線管）モニタまたはＬＣＤ（液晶ディスプレイ）モニタ）と、ユーザがそれによりコンピュータに入力することが可能なキーボードおよびポインティング装置（例えば、マウスまたはトラックボール）とを有するコンピュータ上で実装することが可能である。ユーザとの対話を行うために、他の種類の装置も同様に使用することが可能であり、例えば、ユーザに提供されるフィードバックは、感覚的なフィードバック（例えば、視覚フィードバック、聴覚フィードバック、または触覚フィードバック）の任意の形態とすることができ、ユーザからの入力は、音響入力、音声入力、または触覚入力を含む任意の形態で受信することが可能である。
【０１１０】
本明細書に記載したシステムおよび技法は、（例えば、データサーバとして）バックエンドコンポーネントを含むか、ミドルウェアコンポーネント（例えば、アプリケーションサーバ）を含むか、フロントエンドコンポーネント（例えば、ユーザが、本明細書に記載したシステムおよび技法の実装とそれを介して対話できるグラフィカルユーザインターフェイスまたはウェブブラウザを有するクライアントコンピュータ）を含む、コンピューティングシステム、あるいはこのようなバックエンドコンポーネント、ミドルウェアコンポーネント、またはフロントエンドコンポーネントの任意の組合せで実装することが可能である。このシステムの構成要素は、デジタルデータ通信（例えば、通信ネットワーク）の任意の形態または媒体により相互接続することが可能である。通信ネットワークの例としては、ローカルエリアネットワーク（「ＬＡＮ」）、ワイドエリアネットワーク（「ＷＡＮ」）、およびインターネットが挙げられる。
【０１１１】
コンピューティングシステムは、クライアントおよびサーバを含むことが可能である。クライアントおよびサーバは、一般に互いに別個であり、典型的には通信ネットワークを通じて対話する。クライアントとサーバの関係は、各コンピュータで動作しており、かつ互いにクライアント‐サーバ関係を有するコンピュータプログラムによって生じる。
【０１１２】
いくつかの実装では、図８に描かれたコンピューティング装置は、仮想現実（ＶＲヘッドセット／ＨＭＤ装置８９０）とインターフェイスをとるセンサを含んでよい。例えば、図８に描かれたコンピューティング装置８５０または他のコンピューティング装置に含まれる１つまたは複数のセンサは、入力をＶＲヘッドセット８９０に提供するか、または一般に、入力をＶＲ空間に提供してよい。センサは、タッチスクリーン、加速度計、ジャイロスコープ、圧力センサ、バイオメトリックセンサ、気温センサ、湿度センサ、および環境光センサを含んでよいがこれに限定されない。コンピューティング装置８５０は、センサを使用して、後にＶＲ空間に対して入力として使用され得る、ＶＲ空間におけるコンピューティング装置の絶対位置および／または検出される回転を判定してよい。例えば、コンピューティング装置８５０は、コントローラ、レーザポインタ、キーボード、武器等の仮想オブジェクトとしてＶＲ空間に組み込まれてよい。ＶＲ空間に組み込まれた場合に、ユーザによってコンピューティング装置／仮想オブジェクトを位置づけることで、ユーザは、コンピューティング装置を位置づけて、ＶＲ空間においてある方法で仮想オブジェクトを視聴することが可能になってよい。例えば、仮想オブジェクトがレーザポインタを表す場合、ユーザは、あたかもそれが実際のレーザポインタであるかのようにコンピューティング装置を操作してよい。ユーザは、コンピューティング装置を左右、上下、円等に動かし、またレーザポインタを使用するのと同様にその装置を使用してよい。
【０１１３】
いくつかの実装では、コンピューティング装置８５０に含まれる、または接続される１つまたは複数の入力装置は、ＶＲ空間に対する入力として使用されてよい。入力装置は、タッチスクリーン、キーボード、１つまたは複数のボタン、トラックパッド、タッチパッド、ポインティング装置、マウス、トラックボール、ジョイスティック、カメラ、マイクロフォン、入力機能を有するイヤフォンまたはイヤーバッド、ゲームコントローラ、または他の接続可能な入力装置を含んでよいがこれに限定されない。コンピューティング装置８５０がＶＲ空間に組み込まれる場合にコンピューティング装置に含まれる入力装置と対話するユーザは、ＶＲ空間において特定の動作を起こしてよい。
【０１１４】
いくつかの実装では、コンピューティング装置８５０のタッチスクリーンは、ＶＲ空間におけるタッチパッドとしてレンダリングされてよい。ユーザは、コンピューティング装置８５０のタッチスクリーンと対話してよい。対話は、例えばＶＲヘッドセット８９０中で、ＶＲ空間においてレンダリングされたタッチパッド上の動きとしてレンダリングされる。レンダリングされた動きは、ＶＲ空間のオブジェクトを制御してよい。
【０１１５】
いくつかの実装では、コンピューティング装置８５０に含まれる１つまたは複数の出力装置が、ＶＲヘッドセット８９０のユーザに対して、ＶＲ空間において出力および／またはフィードバックを提供してよい。出力およびフィードバックは視覚的、触覚的（ｔａｃｔｉｃａｌ）、または音響的でよい。出力および／またはフィードバックは、振動、１つまたは複数のライトまたはストロボの点灯および消灯または点滅および／またはフラッシュ、アラームを鳴らすこと、チャイムの再生、歌の再生、ならびにオーディオファイルの再生を含んでよいがこれに限定されない。出力装置は、振動モータ、振動コイル、圧電装置、静電装置、ライト、発光ダイオード（ＬＥＤ）、ストロボ、およびスピーカを含んでよいがこれに限定されない。
【０１１６】
いくつかの実装では、コンピューティング装置８５０は、コンピュータ生成された３Ｄ環境における別のオブジェクトとして現れてよい。ユーザによるコンピューティング装置８５０との対話（例えば、タッチスクリーンの回転、揺さぶり、接触、タッチスクリーン上での指のスワイプ）は、ＶＲ空間におけるオブジェクトとの対話として解釈されてよい。ＶＲ空間におけるレーザポインタの例では、コンピューティング装置８５０は、コンピュータ生成された３Ｄ環境における仮想レーザポインタとして現れる。ユーザがコンピューティング装置８５０を操作すると、ＶＲ空間にいるユーザは、レーザポインタの動きを見る。ユーザは、コンピューティング装置８５０またはＶＲヘッドセット８９０上のＶＲ空間において、コンピューティング装置８５０との対話からフィードバックを受け取る。
【０１１７】
いくつかの実装では、コンピューティング装置８５０は、タッチスクリーンを含んでよい。例えば、ユーザは、ＶＲ空間において起きることによってタッチスクリーン上で起きることを模倣し得る特定の方法で、そのタッチスクリーンと対話してよい、例えば、ユーザは、ピンチングモーションを使用して、タッチスクリーンに表示されるコンテンツをズームしてよい。タッチスクリーン上でのこのピンチングモーションは、ＶＲ空間に提供される情報をズームさせてよい。別の例では、コンピューティング装置は、コンピュータ生成された３Ｄ環境における仮想本としてレンダリングされてよい。ＶＲ空間では、本のページはＶＲ空間に表示されてよく、ユーザの指をタッチスクリーン上でスワイプすることは、仮想本のページをめくる／繰ることとして解釈されてよい。各ページがめくられ／繰られると、ページコンテンツの変更を見ることに加えて、ユーザには、本のページをめくる音等の音響フィードバックが提供されてよい。
【０１１８】
いくつかの実装では、コンピューティング装置に加えた１つまたは複数の入力装置（例えば、マウス、キーボード）は、コンピュータ生成された３Ｄ環境においてレンダリングされてよい。レンダリングされた入力装置（例えば、レンダリングされたマウス、レンダリングされたキーボード）は、ＶＲ空間においてレンダリングされたものとして使用され、ＶＲ空間におけるオブジェクトを制御してよい。
【０１１９】
コンピューティング装置８００は、ラップトップコンピュータ、デスクトップコンピュータ、ワークステーション、パーソナルデジタルアシスタント、サーバ、ブレードサーバ、メインフレーム、および他の適切なコンピュータ等のデジタルコンピュータの様々な形態を表すよう意図されている。コンピューティング装置８５０は、パーソナルデジタルアシスタント、セルラ電話、スマートフォン、および他の類似のコンピューティング装置等のモバイル装置の様々な形態を表すよう意図されている。本明細書に示されるコンピュータ、その接続および関係、ならびにその機能は、例示的であることのみが意図されており、本書において記載および／または主張されている発明の実装を限定する意図はされていない。
【０１２０】
複数の実施形態が記載された。それでもなお、本明細書の範囲及び精神を逸脱することなく、様々な変形例がなされてよいことが理解されるであろう。
加えて、図に記載された論理の流れは、望ましい結果を得るために、示された特定の順序や順番を必要としない。加えて、他の工程が提供されてよく、または工程は記載された流れから省略されてよい。また、他の構成要素は、記載されたシステムに追加されるか省略されてよい。したがって、他の実施形態は、以下の特許請求の範囲内である。
【０１２１】
さらなる実装は以下の例に要約される。
例１：方法であって、ヘッドマウントディスプレイ装置におけるディスプレイ上に、複数の領域を有するユーザインターフェイスを生成することを含む仮想現実体験を生成する工程であって、ヘッドマウントディスプレイ装置は、１つ以上のパススルーカメラ装置を収容する、工程と、１つ以上のパススルーカメラ装置から画像コンテンツを取得する工程と、複数の仮想オブジェクトを、ユーザインターフェイスにおける複数の領域のうちの第１領域において、表示する工程であって、第１領域は、ヘッドマウントディスプレイ装置におけるディスプレイの視界を実質的に占める、工程と、ヘッドマウントディスプレイ装置を操作しているユーザの頭部位置の変更を検出することに応じて、更新された画像コンテンツの表示を、ユーザインターフェイスにおける複数の領域のうちの第２領域において、開始する工程であって、第２領域は、第１領域において表示されるコンテンツに合成されており、更新された画像コンテンツは、１つ以上のパススルーカメラ装置によって取得されるリアルタイム画像フィードに関連付けられている、工程と、を備える方法。
【０１２２】
例２：ユーザの頭部位置の追加の変更を検出することに応じて、ユーザインターフェイスの第２領域を、ビューから除去する、除去工程をさらに備える請求項１に記載の方法。
例３：除去工程は、ヘッドマウントディスプレイ装置を操作しているユーザのビューから第２領域が除去されるまで、画像コンテンツに関連する複数の画素を、不透明から透明にフェーディングする工程を含む請求項２に記載の方法。
【０１２３】
例４：第２領域を表示することは、ユーザの視線の変更を検出することに基づいている例１乃至３のいずれか一項に記載の方法。
例５：更新された画像コンテンツは、第１領域に合成される、複数の領域のうちの第２領域および第３領域を含み、第１領域は、複数の仮想オブジェクト周囲の風景を含み、第３領域は、１つ以上のパススルーカメラのレンズの前で動きを検知することに応じて、第１領域に合成される例１乃至４のいずれか一項に記載の方法。
【０１２４】
例６：ユーザの頭部位置の追加の変更を検出することは、下方に向けられた視線を検出し、およびそれに応じて、第３領域をユーザインターフェイスに表示することを含み、第３領域は、第１領域内かつ視線の方向に表示され、およびヘッドマウントディスプレイ装置を操作しているユーザの身体の複数の画像を含み、画像は、１つ以上のパススルーカメラから開始され、および下方に向けられた視線に関連する視点からの、ユーザの身体のリアルタイム動画フィードとして描かれる例１乃至５のいずれか一項に記載の方法。
【０１２５】
例７：更新された画像コンテンツは、第１領域において表示されるコンテンツに合成され、ユーザに関連付けられた１つ以上の眼位置によって修正され、ヘッドマウントディスプレイ装置に関連付けられたディスプレイの大きさに基づいて調整され、およびヘッドマウントディスプレイ装置のディスプレイにおいて投影される、動画を含む例１乃至６のいずれか一項に記載の方法。
【０１２６】
例８：ヘッドマウントディスプレイ装置を操作しているユーザから閾値距離内にある、画像コンテンツにおける複数の物理オブジェクトを検出する工程と、センサを使用して、ユーザが物理オブジェクトのうちの１つ以上に近接していることを検出することに応じて、パススルーカメラおよび１つ以上の物理オブジェクトに関連するカメラフィードの表示を、１つ以上の物理オブジェクトが事前定義された近接閾値内にある間、ユーザインターフェイスの１つ以上の領域において開始する工程であって、開始された表示は、第１領域に組み込まれた１つ以上の領域における１つ以上のオブジェクトを含む、工程と、をさらに備える例１乃至７のいずれか一項に記載の方法。
【０１２７】
例９：物理オブジェクトのうちの１つ以上は、ヘッドマウントディスプレイ装置を操作しているユーザに接近中の別のユーザを含む、例１乃至８のいずれか一項に記載の方法。
例１０：第１領域は、仮想コンテンツを含み、第２領域は、第１領域に混合された動画コンテンツを含む、例１乃至９のいずれか一項に記載の方法。
【０１２８】
例１１：第１領域は、第１ステンシル形状に設定可能であり、第２領域は、第１ステンシル形状に相補的である第２ステンシル形状に設定可能である例１乃至１０のいずれか一項に記載の方法。
【０１２９】
例１２：第２領域の表示は、ユーザにより行われる手のモーションによってトリガされ、および第１領域上にオーバーレイとして配置されるブラシストロークの形状である例１乃至１１のいずれか一項に記載の方法。
【０１３０】
例１３：システムであって、複数のパススルーカメラと、ヘッドマウントディスプレイ装置と、を備え、ヘッドマウントディスプレイ装置は、複数のセンサと、ヘッドマウントディスプレイ装置に関連する設定可能なユーザインターフェイスと、複数のパススルーカメラから取得される画像コンテンツの複数のテクスチャをバインドし、および複数のテクスチャを表示するユーザインターフェイス内の場所を判定するようプログラムされたグラフィックス処理装置と、を含む、システム。
【０１３１】
例１４：システムは、複数のパススルーカメラから取得される画像コンテンツを表示し、およびヘッドマウントディスプレイ装置上に表示される仮想コンテンツ内に画像コンテンツを合成するよう動作可能なハードウェア合成レイヤをさらに含むものであって、ヘッドマウントディスプレイ装置を操作しているユーザによって選択される、形成されたステンシルによって、表示は、ユーザインターフェイス上の場所に構成される、例１３に記載のシステム。
【０１３２】
例１５：システムは、ヘッドマウントディスプレイ装置を操作しているユーザの頭部位置の変更を検出し、更新された画像コンテンツの表示を、ユーザインターフェイスの第１領域において開始するようプログラムされるものであって、第１領域は、第２領域において表示されるコンテンツに合成され、更新された画像は、複数のパススルーカメラのうちの１つ以上によって取得されるリアルタイム画像フィードに関連するコンテンツである例１３または１４に記載のシステム。
【０１３３】
例１６：方法であって、仮想現実ユーザインターフェイスを生成するツールを、プロセッサに提供する工程であって、ツールは、プロセッサが、仮想現実ユーザインターフェイスにおいて複数の選択可能な領域と、複数のパススルーカメラから取得される画像コンテンツを、複数の領域のうちの１つ以上内で提供する複数のオーバーレイと、複数のオーバーレイおよび複数の領域の表示挙動を定義するよう構成された、複数の選択可能なステンシルであって、表示挙動は、１つ以上の検出されるイベントに応じて実行される、ステンシルと、を提供するようにプログラムされる、工程と、複数の選択可能な領域からの第１領域、複数の選択可能な領域からの第２領域、複数のオーバーレイからの１つ以上のオーバーレイ、および複数の選択可能なステンシルからのステンシル、の選択を受信する工程と、第１領域および第２領域を含む表示を生成する工程であって、第２領域は、ステンシルにしたがい、および１つ以上のオーバーレイの定義された表示挙動に対応して形成された、１つ以上のオーバーレイを含む、工程と、を備える方法。
【０１３４】
例１７：オーバーレイの定義された表示挙動は、接近中の物理オブジェクトを検出することに応じて、画像コンテンツを提供することを含む、例１６に記載の方法。
例１８：ステンシルにしたがって第１領域、第２領域、および１つ以上のオーバーレイを表示するためのコンフィギュレーションデータを受信する工程と、第１領域および第２領域を含む表示を生成する工程であって、第２領域は、ステンシル、コンフィギュレーションデータにしたがい、および１つ以上のオーバーレイに対して定義された表示挙動に対応して形成された、１つ以上のオーバーレイを含む、工程と、をさらに備える例１６または１７に記載の方法。
【０１３５】
例１９：複数の選択可能なステンシルは、第１または第２領域上に形成されるオーバーレイ画像としてペイント可能な、複数のブラシストロークを含む例１６乃至１８のいずれか一項に記載の方法。
【０１３６】
例２０：仮想現実ユーザインターフェイスにおける複数の領域は、事前に選択されたステンシル形状に基づき、ユーザインターフェイスにおいて表示される仮想コンテンツに混合され、および画像コンテンツ中にクロスフェードされるように、設定可能である例１６乃至１９のいずれか一項に記載の方法。
【図１】
2019510321.tif 000003
【図２】
2019510321.tif 000004
【図３】
2019510321.tif 000005
【図４】
2019510321.tif 000006
【図５Ａ】
2019510321.tif 000007
【図５Ｂ】
2019510321.tif 000008
【図６】
2019510321.tif 000009
【図７】
2019510321.tif 000010
【図８】
2019510321.tif 000011
【国際調査報告】
2019510321.tif 000012
2019510321.tif 000013
2019510321.tif 000014