(57)【要約】物理的環境のテクスチャ共有型世界モデルを提示することに関する実施形態を開示する。一実施形態は、物理的環境の地理的配置のクラウドソースの構造データアイテムを受け取ることを含む。構造データアイテムを一緒にまとめて、３Ｄ空間共有型世界モデルを生成する。地理的配置のクラウドソースのテクスチャデータアイテムも受信され、このテクスチャデータアイテムはタイムスタンプ付きの画像又はビデオを含む。時間フィルタパラメータのユーザ入力を使用して、テクスチャデータアイテムを時間的にフィルタする。時間的にフィルタされたテクスチャデータアイテムが３Ｄ空間共有型世界モデルの表面に適用されて、物理的環境のテクスチャ共有型世界モデルを生成する。テクスチャ共有型世界モデルはその後、ディスプレイデバイスによる表示用に提供される。
2016510465.tif 000002
【特許請求の範囲】
【請求項１】
物理的環境のテクスチャ共有型世界モデルを提示するための複合現実感経験共有システムであって、前記テクスチャ共有型世界モデルは、前記物理的環境において地理的に配置される複数のクラウドソースの構造データアイテムと、前記物理的環境において地理的に配置される複数のクラウドソースのテクスチャデータアイテムとを含み、当該複合現実感経験共有システムは、
コンピューティングデバイスのプロセッサによって実行される複合現実感経験共有プログラムを備え、該複合現実感経験共有プログラムは、
深度情報を含む前記複数のクラウドソースの構造データアイテムを受け取り、
前記複数のクラウドソースの構造データアイテムを一緒にまとめて、前記物理的環境の３Ｄ空間共有型世界モデルを生成し、
各テクスチャデータアイテムがタイムスタンプ付きの画像又はビデオを含む、前記複数のクラウドソースのテクスチャデータアイテムを、複数のソースから受け取り、
時間フィルタパラメータのユーザ入力を受け取り、
前記複数のクラウドソースのテクスチャデータアイテムを前記時間フィルタパラメータによりフィルタして、クラウドソースのテクスチャデータアイテムの時間的にフィルタされたサブグループを生成し、
前記物理的環境の前記３Ｄ空間共有型世界モデルの表面に、前記クラウドソースのテクスチャデータアイテムの前記時間的にフィルタされたサブグループを適用して、前記物理的環境の前記テクスチャ共有型世界モデルを生成し、
前記物理的環境の前記テクスチャ共有型世界モデルを、ディスプレイデバイスによる表示のためにディスプレイプログラムに提供する
ように構成される、複合現実感経験共有システム。
【請求項２】
前記時間フィルタパラメータは、現在の時間よりも前の、以前の日付の時間に対応する、
請求項１に記載の複合現実感経験共有システム。
【請求項３】
前記複合現実感経験共有プログラムは、
前記複数のクラウドソースの構造データアイテムを前記時間フィルタパラメータによりフィルタして、クラウドソースの構造データアイテムの時間的にフィルタされたサブグループを生成し、
前記クラウドソースの構造データアイテムの前記時間的にフィルタされたサブグループを一緒にまとめて、前記物理的環境の３Ｄ空間共有型世界モデルを生成する
ように更に構成される、請求項２に記載の複合現実感経験共有システム。
【請求項４】
前記複合現実感経験共有プログラムは、
１つ以上の優先度ファクタに従って、前記複数のクラウドソースのテクスチャデータアイテムに優先順位を付ける
ように更に構成される、請求項１に記載の複合現実感経験共有システム。
【請求項５】
前記優先度ファクタは、忠実性と、時期と、ソースの信頼性と前記クラウドソースのテクスチャデータアイテムのソースの社会的近接性とからなるグループから選択される、
請求項４に記載の複合現実感経験共有システム。
【請求項６】
ディスプレイデバイスを介して物理的環境のテクスチャ共有型世界モデルを提示する方法であって、
前記物理的環境において地理的に配置され、かつ深度情報を含む、複数のクラウドソースの構造データアイテムを受け取るステップと、
前記複数のクラウドソースの構造データアイテムを一緒にまとめて、前記物理的環境の３Ｄ空間共有型世界モデルを生成するステップと、
前記物理的環境において地理的に配置される複数のクラウドソースのテクスチャデータアイテムを複数のソースから受け取るステップであって、該テクスチャデータアイテムの各々がタイムスタンプ付きの画像又はビデオを含む、ステップと、
時間フィルタパラメータのユーザ入力を受け取るステップと、
前記複数のクラウドソースのテクスチャデータアイテムを前記時間フィルタパラメータによりフィルタして、クラウドソースのテクスチャデータアイテムの時間的にフィルタされたサブグループを生成するステップと、
前記物理的環境の前記３Ｄ空間共有型世界モデルの表面に、前記クラウドソースのテクスチャデータアイテムの前記時間的にフィルタされたサブグループを適用して、前記物理的環境の前記テクスチャ共有型世界モデルを生成するステップと、
前記物理的環境の前記テクスチャ共有型世界モデルを、前記ディスプレイデバイスによる表示のためにディスプレイプログラムに提供するステップと、
を含む、方法。
【請求項７】
前記複数のクラウドソースのテクスチャデータアイテムを、少なくとも前記ディスプレイデバイスのユーザ及び第三者ソースから受け取るステップ、
を更に含む、請求項６に記載の方法。
【請求項８】
前記複数のクラウドソースのテクスチャデータアイテムの各々は、前記複数のクラウドソースの構造データアイテムの１つ以上を照らす光と、前記物理的環境におけるオブジェクトの画像と、前記物理的環境におけるオブジェクトのビデオと、前記物理的環境のオーディオとからなるグループから選択される、
請求項６に記載の方法。
【請求項９】
前記複数のクラウドソースのテクスチャデータアイテムは、少なくとも１つのホログラムと、該ホログラムを説明するメタデータとを含み、当該方法は、
前記物理的環境の前記テクスチャ共有型世界モデル内において前記ホログラムを配置するステップ、
を更に含む、請求項６に記載の方法。
【請求項１０】
前記複数のクラウドソースの構造データアイテムに、忠実性と、時期と、ソースの信頼性と、前記クラウドソース・データアイテムのソースの社会的近接性とのうちの１つ以上に従って優先順位を付けるステップ、
を更に含む、請求項６に記載の方法。
【発明の詳細な説明】
【背景技術】
【０００１】
ヘッドマウント型ディスプレイデバイスのような複合現実感（mixed  reality）又は拡張現実ディスプレイシステムは、様々な実世界の環境及び状況において使用され得る。そのようなデバイスは、画像、深度情報、オーディオ等といったデータを周辺環境から収集するための様々なセンサを含み得る。複合現実感デバイスのユーザは、様々な経験に関与している間にデータを収集することにより、その様々な経験をキャプチャすることができる。
【０００２】
人は、現在の経験を見ること及び／又は複合現実感デバイスの複数のユーザによってキャプチャされる１つ以上の経験を追体験することを望むことがある。同様に、そのようなデバイスの１以上のユーザは、第三者と経験を共有したいことがある。残念なことに、豊富な複合現実感経験を都合よく共有することにつながるやり方で複数の複合現実感デバイスからのデータを結合及び管理する能力は、これまでは限られていた。
【発明の概要】
【０００３】
ディスプレイデバイスによる表示のために物理的環境のテクスチャ共有型世界モデル（textured  shared  world  model）を提示することに関する様々な実施形態を、本明細書において開示する。例えば開示される一実施形態は、ディスプレイデバイスを介して物理的環境のテクスチャ共有型世界モデルを提示する方法を提供する。この方法は、物理的環境に地理的に配置（geo-located）され、かつ深度情報を含む、クラウドソース（crowd-sourced）の構造データアイテムを受け取ることを含む。クラウドソースの構造データアイテムが一緒にまとめられて、物理的環境の３Ｄ空間共有型世界モデル（3D  spatial  shared  world  model）を生成する。
【０００４】
物理的環境に地理的に配置されるクラウドソースのテクスチャデータアイテムも、複数のソースから受け取られる。テクスチャデータアイテムのそれぞれは、タイムスタンプが付けられた画像又はタイムスタンプが付けられたビデオを含む。時間フィルタパラメータのユーザ入力を受け取り、これを使用してクラウドソースのテクスチャデータアイテムをフィルタし、テクスチャデータアイテムの時間的にフィルタされたサブグループを生成する。クラウドソースのテクスチャデータアイテムの時間的にフィルタされたサブグループが、物理的環境の３Ｄ空間共有型世界モデルの表面（surface）に適用されて、物理的環境のテクスチャ共有型世界モデルを生成する。物理的環境のテクスチャ共有型世界モデルはその後、ディスプレイデバイスによる表示用に提供される。
【０００５】
この「発明の概要」における記載は、以下で「発明を実施するための形態」において更に説明される概念の選択を簡略化した形で紹介するために提供される。この「発明の概要」における記載は、特許請求に係る主題の主要な特徴又は本質的特徴を特定するようには意図されておらず、また特許請求に係る主題の範囲を限定するのに使用されるようにも意図されていない。さらに、特許請求に係る主題は、本開示のいずれかの部分で示される欠点のいずれか又は全てを解決する実装に限定されない。
【図面の簡単な説明】
【０００６】
【図１】本開示の実施形態による、複合現実感経験共有システムの概略図である。
【図２】本開示の実施形態による、例示のヘッドマウント型ディスプレイデバイスを示す図である。
【図３】グラフィカルユーザインタフェース内に提示される時間フィルタセレクタの概略図である。
【図４Ａ】ヘッドマウント型ディスプレイデバイスを装着しているユーザが位置する、ホテルのロビーとバーの概略図である。
【図４Ｂ】以前の日時における図４Ａのホテルのロビーとバーの概略図である。
【図５Ａ】本開示の実施形態による、物理的環境のテクスチャ共有型世界モデルを提示する方法のフローチャートである。
【図５Ｂ】本開示の実施形態による、物理的環境のテクスチャ共有型世界モデルを提示する方法のフローチャートである。
【図６】コンピューティングシステムの実施形態の簡略化された概略図である。
【発明を実施するための形態】
【０００７】
図１は、複合現実感経験共有システム１０の一実施形態の概略図を示す。複合現実感経験共有システム１０は、コンピューティングデバイス２２の大容量ストレージ１８に格納され得る複合現実感経験共有プログラム１４を含む。複合現実感経験共有プログラム１４は、メモリ２４にロードされ、コンピューティングデバイス２２のプロセッサ２６によって実行されて、以下でより詳細に説明される方法及び処理の１つ又は複数を実行し得る。
【０００８】
コンピューティングデバイス２２は、ネットワークコンピュータ；ホームエンターテイメントコンピュータ；デスクトップコンピューティングデバイス；スマートフォンやラップトップ、ノートブック若しくはタブレットコンピュータといったモバイルコンピューティングデバイス；又は他の適切なタイプのコンピューティングデバイスの形をとってよい。コンピューティングデバイス２２のコンポーネント及び演算態様に関する追加の詳細は、図６に関連して以下でより詳細に説明する。
【０００９】
以下でより詳細に説明されるように、複合現実感経験共有プログラム１４は、複数のソースから、地理的配置（geo-located）の構造データアイテム２８及び地理的配置のテクスチャデータアイテム３０を備えるクラウドソースデータを受け取ることがある。図１に示されるように、一例において、そのようなクラウドソースデータは、物理的環境３２と、データキャプチャデバイスによってキャプチャされるその物理的環境の態様とに関連し得る。地理的配置の構造データアイテム２８には、これらに限られないが、物理的環境３２内の構造、オブジェクト及び対応する表面に関連する深度情報が含まれ得る。地理的配置のテクスチャデータアイテム３０には、これらに限られないが、光、静止画像及びビデオ画像、及び地理的配置の構造データアイテム２８内に現れる表面に適用され得る他のデータアイテムが含まれ得る。地理的配置のテクスチャデータアイテム３０は、物理的環境から記録されるオーディオ並びに物理的環境内で地理的に配置されるホログラム及び他の仮想画像のような、物理的環境３２に関連する他のデータアイテムも含んでよい。
【００１０】
クラウドソースの地理的配置の構造データアイテム２８及び地理的配置のテクスチャデータアイテム３０は、複数のキャプチャデバイスによってキャプチャされ、これらのデバイスから１つ以上のネットワーク接続（図示せず）を介して受け取られてよい。キャプチャデバイスのうちの１つ又は複数は、画像をユーザ５４の眼に届けるヘッドマウント型ディスプレイ（ＨＭＤ）デバイス３４の形をとってよい。この例では、ＨＭＤデバイス３４は、ディスプレイプログラム３８が格納されるコンピューティングデバイス３６を含む。ディスプレイプログラム３８は、複合現実感環境を作成するようにディスプレイシステム４０を介した表示のために仮想環境を生成し得る。仮想環境は、２次元（２Ｄ）の仮想オブジェクト及び３次元（３Ｄ）のホログラフィックオブジェクトといった、１つ以上の仮想画像を含んでよい。コンピューティングデバイス３６のコンポーネント及び演算態様に関する追加の詳細は、図６に関連して以下でより詳細に説明される。
【００１１】
ここで、図２も参照すると、透明なディスプレイ２０２を有する１対のウェアラブル・グラスの形のＨＭＤデバイス２００の一例が提供されている。他の例では、ＨＭＤデバイス２００は、透明、半透明又は不透明のディスプレイがビューアの一方又は双方の眼の前で支持される、他の適切な形をとってよいことが認識されよう。また、図１に示されるＨＭＤデバイス３４は、以下でより詳細に説明されるようなＨＭＤデバイス２００、あるいは任意の他の適切なＨＭＤデバイスの形であってよいことも認識されよう。加えて、様々なフォームファクタを有する、多くの他のタイプ及び構成のキャプチャデバイスが本開示の範囲内で使用されてもよい。そのようなキャプチャデバイスには、これらに限られないが、デジタルスチールカメラ、デジタルビデオカメラ、深度カメラ、スマートフォン、タブレットコンピュータ及び他の適切なキャプチャデバイス及び前述のキャプチャデバイスの組み合わせが含まれ得る。
【００１２】
図１及び図２を参照すると、この例において、ＨＭＤデバイス３４は、画像をユーザの眼に届けることを可能にするディスプレイシステム４０及び透明なディスプレイ２０２を含む。透明なディスプレイ２０２は、この透明なディスプレイを通じてこの物理的環境を見ているユーザ５４に対して、物理的環境３２の外観を視覚的に補強するように構成され得る。例えば物理的環境３２の外観は、複合現実感環境を作成するよう透明なディスプレイ２０２を介して提示されるグラフィカルコンテンツ（例えばそれぞれの色と明るさを各々が有する１つ以上のピクセル）により補強され得る。
【００１３】
透明なディスプレイ２０２は、ユーザ５４が、仮想的オブジェクト表現を表示している１つ以上の部分的に透明なピクセルを通して、物理的環境３２内の物理的な実世界のオブジェクトを見るのを可能にするようにも構成され得る。一例において、透明なディスプレイ２０２は、（例えばシースルーの有機発光ダイオード（ＯＬＥＤ）ディスプレイのような）レンズ２０４内に配置される、画像生成要素を含み得る。別の例として、透明なディスプレイ２０２は、レンズ２０４のエッジ上にある光モジュレータを含んでもよい。この例では、レンズ２０４は、光モジュレータからの光をユーザ５４の眼に届けるための光ガイドとして機能し得る。そのような光ガイドは、ユーザ５４が物理的環境３２内の物理的オブジェクトを見ることを可能にしつつも、ユーザ５４が見ている物理的環境３２内に配置される３Ｄホログラフィック画像にそのユーザが気付くようにすることができる。
【００１４】
上記のように、ＨＭＤデバイス３４は、物理的環境３２からのデータをキャプチャするための様々なセンサ、コンポーネント及び関連するシステムも含む。例えばＨＭＤデバイス３４は、光センサのような、少なくとも１つの外側に面したセンサ２１２を用いる光センサシステム４２を含む。外側に面したセンサ２１２は、ジェスチャベースの入力や、ユーザ又は人若しくは物理的オブジェクトにより視野内で行われる他の動きといった、その視野内の動きを検出し得る。外側に面したセンサ２１２は、物理的環境３２から及びその環境内の物理的オブジェクトからの２次元の画像情報と深度情報もキャプチャすることができる。例えば外側に面したセンサ２１２は、深度カメラ、可視光カメラ、赤外光カメラ及び／又は位置追跡カメラを含み得る。以下でより詳細に検討されるように、そのような画像情報は、地理的配置のテクスチャデータアイテム３０’の形で、複合現実感経験共有プログラム１４に伝達され得る。上記深度情報も、地理的配置の構造データアイテム２８’の形で、複合現実感経験共有プログラム１４に伝達され得る。
【００１５】
ＨＭＤデバイス３４は、深度情報を感知して生成するための１つ以上の深度カメラを含む。一例において、各深度カメラは立体映像システムの左右のカメラを含んでよい。これらの深度カメラの１つ又は複数からの時間分解された画像は、相互に対して及び／又は可視スペクトルカメラのような別の光センサから画像に対して登録されてよく、これらの画像が結合され、深度分解されたビデオの形の深度情報が得られることになる。
【００１６】
他の例において、構造化された光深度カメラは、構造化された赤外線照明を投影し、この照明が投影されたシーンから反射された照明を画像化するように構成され得る。シーンの深度マップは、画像化されたシーンの様々な領域内の隣接する特徴の間の空間（spacing）に基づいて構築され得る。更に他の例では、深度カメラは、パルス化された赤外線照明をシーン上に投影して、そのシーンから反射される照明を検出するように構成される、飛行時間型（ＴＯＦ：time-of-flight）深度カメラの形をとってもよい。本開示の範囲内で任意の他の適切な深度カメラを使用してもよいことが認識されよう。
【００１７】
ＨＭＤデバイス３４は、１つ以上の動きセンサ２２４を用いて、ＨＭＤデバイスの位置追跡及び／又は方向感知を可能にする位置センサシステム４４も含み得る。例えば位置センサシステム４４を使用して、ユーザの頭部の頭部姿勢方向を決定してもよい。一例において、位置センサシステム４４は、６軸又は６つの自由度の位置センサシステムとして構成される慣性測定装置を備え得る。この例示の位置センサシステムは、例えば３つの加速度計と３つのジャイロスコープを含み、３つの直交軸（例えばｘ、ｙ、ｚ）に沿った３次元空間内におけるＨＭＤデバイス３４の位置の変化と、３つの直交軸を中心とするＨＭＤデバイスの向きの変化（例えばロール、ピッチ、ヨー）を指示又は測定してもよい。
【００１８】
位置センサシステム４４は、ＧＰＳや他のグローバルナビゲーションシステムのような、他の適切な位置決定技術もサポートし得る。さらに、位置センサシステムの具体的な例を説明してきたが、他の適切な位置センサシステムを使用してもよいことが認識されよう。
【００１９】
一部の例において、動きセンサ２２４は、ユーザ５４が首及び頭部のジェスチャにより、更には身体のジェスチャによりＨＭＤデバイス３４と対話できるよう、ユーザ入力デバイスとして用いられてもよい。ＨＭＤデバイス３４は、周辺環境からのオーディオをキャプチャする１つ以上のマイクロフォン２２０を含む、マイクロフォンシステム４６を含み得る。他の例では、ＨＭＤデバイス３４上の１つ以上のスピーカ２２８を介して、オーディオをユーザに提示してもよい。
【００２０】
ＨＭＤデバイス３４は、図６に関連して以下でより詳細に検討されるように、ＨＭＤデバイスの様々なセンサ及びシステムと通信する論理サブシステム及びストレージサブシステムを有するプロセッサ２３０も含んでもよい。一例において、ストレージサブシステムは、センサからの信号入力を受け取り、これらの信号を（未処理又は処理済みの形で）コンピューティングデバイス３６に転送するか、透明なディスプレイ２０２を介して画像をユーザに提示するよう、論理サブシステムによって実行可能な命令を含み得る。
【００２１】
上記のように、ＨＭＤデバイス３４によりキャプチャされる画像情報及び深度情報は、地理的配置の構造データアイテム２８’及び地理的配置のテクスチャデータアイテム３０’の形で複合現実感経験共有プログラム１４に提供され得る。一例として及び以下でより詳細に説明されるように、複合現実感経験共有プログラム１４は、そのような入力を、物理的環境３２に関連する他の入力であって、図１に示される第２のソース４８のような他のソースから受け取った他の入力と一緒にまとめる。第２のソース４８は、本明細書で説明されるＨＭＤデバイス３４の形のＨＭＤデバイスを備えてもよく、任意の他の形のＨＭＤデバイス又は任意の他の適切なキャプチャデバイスを備えてもよいことが認識されよう。
【００２２】
ＨＭＤデバイス３４及び関連するセンサ、並びに上述され、図１及び図２に例示される他のコンポーネントは例として提供されていることも認識されよう。任意の他の適切なセンサ、コンポーネント及び／又はセンサとコンポーネントの組み合わせが用いられてもよいので、これらの例は、いずれかの手法に限定するように意図されていない。したがって、ＨＭＤデバイス３４は、本開示の範囲から逸脱することなく、追加及び／又は代替のセンサ、カメラ、マイクロフォン、入力デバイス、出力デバイス等を含んでもよいことが理解されよう。さらに、ＨＭＤデバイス３４の及びその様々なセンサとサブコンポーネントの物理的構成は、本開示の範囲から逸脱することなく、様々な異なる形をとってもよい。
【００２３】
図１を再び参照すると、第２のソース４８はまた、物理的環境３２に関連する地理的配置の構造データアイテム２８’’及び地理的配置のテクスチャデータアイテム３０’’を、複合現実感経験共有プログラム１４に提供してもよい。そのような地理的配置の構造データアイテム２８’’及び地理的配置のテクスチャデータアイテム３０’’は、物理的環境３２に対するＨＭＤデバイス３４の位置と概ね同じ位置にあるか異なる位置にある可能性がある、物理的環境３２に対するある位置から、第２のソース４８によって受け取られるデータを反映する。以下でより詳細に説明されるように、地理的配置の構造データアイテム２８’’及び地理的配置のテクスチャデータアイテム３０’’は、地理的配置の構造データアイテム２８’及び地理的配置のテクスチャデータアイテム３０’がHMDデバイス３４によってキャプチャされた時と同じ時又は異なる時に第２のソース４８によってキャプチャされたデータを反映してもよい。他の例では、追加のソースが、物理的環境３２に関連する追加の地理的配置の構造データアイテム及び／又は地理的配置のテクスチャデータアイテムを、複合現実感経験共有プログラム１４に提供し得ることも認識されよう。
【００２４】
複合現実感経験共有プログラム１４は、２８で示されるように、複数のソースから受け取られ、かつ深度情報５６を含むクラウドソースの地理的配置の構造データアイテムを一緒にまとめて、物理的環境３２の３Ｄ空間共有型世界モデル５５を生成する。この手法では、複合現実感経験共有プログラム１４は、３Ｄ空間共有型世界モデル５５を生成するのに、一部の例では同じ物理的環境３２の異なるビューポイントを反映し得る複数のソースからの地理的配置の構造データアイテムを用いてよい。複合現実感経験共有プログラム１４は、次いで、３Ｄ空間共有型世界モデル５５の表面にクラウドソースの地理的配置のテクスチャデータアイテム３０を適用して、物理的環境３２のテクスチャ共有型世界モデル６６を作成する。
【００２５】
複合現実感経験共有プログラム１４は、ディスプレイデバイス７０のようなディスプレイデバイスを介して画像を生成するディスプレイプログラム６８も含み得る。複合現実感経験共有プログラム１４は、ディスプレイプログラム６８を用いて、物理的環境３２のテクスチャ共有型世界モデル６６を、ディスプレイデバイスのユーザ７２への提示のために、ネットワーク５０経由でディスプレイデバイス７０に提供してよい。
【００２６】
一例において、ディスプレイデバイス７０は、ディスプレイプログラムを介して２次元（２Ｄ）及び／又は３次元（３Ｄ）画像を表示するモニタであってよい。そのようなモニタは、テレビション、デスクトップディスプレイ、ハンドヘルドディスプレイ又は他のポータブルディスプレイの形をとってよい。他の例では、ディスプレイデバイス７０は、ユーザ７２によって装着されるＨＭＤデバイスの形をとってもよい。ディスプレイデバイス７０として任意の適切なディスプレイデバイスが使用されてよく、これは本開示の範囲内であることが認識されよう。また、ネットワーク５０は、ローカルエリアネットワーク（ＬＡＮ）、ワイドエリアネットワーク（ＷＡＮ）、有線ネットワーク、無線ネットワーク、パーソナルエリアネットワーク又はこれらの組み合わせの形をとってよく、インターネットを含み得ることも認識されよう。
【００２７】
上記のように、一部の例では、地理的配置の構造データアイテム２８’’及び地理的配置のテクスチャデータアイテム３０’’は、地理的配置の構造データアイテム２８’及び地理的配置のテクスチャデータアイテム３０’がＨＭＤデバイス３４によってキャプチャされる時とは異なる時に、第２のソース４８によってキャプチャされてもよい。複合現実感経験共有プログラム１４が、受信するデータアイテムを時間的に編成するのを可能にするために、ＨＭＤデバイス３４及び第２のソース４８は、地理的配置の構造データアイテム及び地理的配置のテクスチャデータアイテムがキャプチャされた日時を反映してキャプチャするように、これらの構造データアイテム及びテクスチャデータアイテムにタイムスタンプを付けてよい。図１に示されるように、一例では、クラウドソースの地理的配置のテクスチャデータアイテム３０は、タイムスタンプ付きの画像５８とタイムスタンプ付きのビデオ６０を含む。
【００２８】
複合現実感経験共有プログラム１４は、マスタクロック６２を含んでもよく、マスタクロック６２は、複合現実感経験共有プログラム１４により受け取られるタイムスタンプ付きの地理的配置の構造データアイテム２８とタイムスタンプ付きの地理的配置のテクスチャデータアイテム３０を、時間的に同期させ得る。他の例では、マスタクロック６２は、プログラムによって受け取られる、タイムスタンプのない地理的配置の構造データアイテム２８と地理的配置のテクスチャデータアイテム３０にタイムスタンプを付けてもよい。
【００２９】
有利には、以下でより詳細に説明されるように、この手法では、複合現実感経験共有プログラム１４は、時間内の特定の瞬間（moment）又は期間に対応する物理的環境のテクスチャ共有型世界モデル６６を作成し得る。そのような瞬間又は期間は概ねライブ又は現在であってよく、あるいは以前の日時にさかのぼってもよい。例えば一部の例において、複合現実感経験共有プログラム１４は、クラウドソースの地理的配置のテクスチャデータアイテム３０を、ディスプレイデバイス７０のユーザ７２から受け取った時間フィルタパラメータによってフィルタしてよい。
【００３０】
次に図３も参照すると、一例において、時間フィルタセレクタ７４は、ディスプレイデバイス７０によって表示されるグラフィカルユーザインタフェース３００を介してユーザ７２に提示され得る。この例では、時間フィルタセレクタ７４は、日付スライダ３０４及び時間スライダ３０８を含む。日付スライダ３０４及び時間スライダ３０８を使用して、ユーザ７２は、該ユーザが物理的環境のテクスチャ共有型世界モデルを経験したいと思う、現在の日時又は遡った以前の日時を表す時間フィルタパラメータ７６を選択してよい。時間フィルタセレクタ７４は、様々な他の手法で、音声認識や他のナチュラルユーザインタフェースのような様々な他の入力インタフェースを用いて提示及び／又は実装されてもよいことが認識されよう。
【００３１】
ディスプレイデバイス７０は、ユーザ７２によって選択される時間フィルタパラメータ７６を備えるユーザ入力７８を、複合現実感経験共有プログラム１４へネットワーク５０経由で提供してよい。複合現実感経験共有プログラム１４は、次いで、地理的配置のクラウドソースのテクスチャデータアイテム３０を、時間フィルタパラメータ７６に従ってフィルタし、クラウドソースの地理的配置のテクスチャデータアイテムの時間的にフィルタされたサブグループ６４を生成し得る。一部の例において、複合現実感経験共有プログラム１４は、地理的配置のクラウドソースの構造データアイテム２８を、時間フィルタパラメータ７６に従ってフィルタして、クラウドソースの地理的配置の構造データアイテムの時間的にフィルタされたサブグループ８０を生成し得る。
【００３２】
ここで、図１、図４Ａ、図４Ｂ及び図５を参照して、本開示の複合現実感経験共有システム１０の例示の使用事例を説明することにする。一例では、図１及び図４Ａを参照すると、ディスプレイデバイス７０のユーザ７２が、カルフォルニア州のいずれかの町のメインストリート１０００にあるホテルＡ内に位置するホテルのバー４０２を訪れることを検討していることがある。ユーザ７２は、バー４０２に仮想的に訪問して、そのバー内の現在の活動のレベルを見たい可能性がある。したがって、ユーザ７２は、ディスプレイデバイス７０に、バー４０２の現在のテクスチャ共有型世界モデルを表示するよう要求を入力し得る。
【００３３】
ユーザ７２は、音声認識によりホテルのバー４０２の名前と住所をディスプレイデバイス７０に提供するなどして、任意の適切な入力デバイス又は手段を使用してこの要求を入力してよい。加えて、ユーザは、該ユーザがバー４０２内の現在の活動を見るよう望むことを指定するために、時間フィルタセレクタ７４及び日付スライダ３０４を使用して、複合現実感経験共有プログラム１４に提供される時間フィルタパラメータとして、「現在」を指定してよい。
【００３４】
図４Ａを参照すると、現在、常連客のアレックス４０６が、ホテルのバー４０２に座っており、ラウンジの歌手４１０のパフォーマンスを楽しんでいる。常連客のアレックス４０６は、ＨＭＤデバイス３４を装着しており、このＨＭＤデバイス３４は、常連客のアレックスが１時間前に到着してから、深度情報を含む構造データアイテムと、ホテルのバー４０２及び近接するホテルのロビー４１４からのテクスチャデータアイテムとをキャプチャしている。常連客のブルース４１８は現在ホテルのロビー４１４１に座っている。常連客のブルース４１８もＨＭＤデバイス４２２を装着しており、このＨＭＤデバイス４２２は、深度情報を含む構造データアイテムと、ホテルのロビー４１４及びバー４０２からのテクスチャデータアイテムをキャプチャしている。常連客のブルース４１８も、ロビー４１４のブルースがいる位置からラウンジの歌手４１０を見ることができる。
【００３５】
複合現実感経験共有プログラム１４は、以前に受信され、常連客のアレックスのＨＭＤデバイス３４及び常連客のブルースのＨＭＤデバイス４２２から現在受信されている、バー４０２に関連する地理的配置の構造データアイテムを一緒にまとめる。構造データアイテムからの位置、深度、頭部姿勢及び他の情報を使用して、複合現実感経験共有プログラム１４は、アレックスのＨＭＤデバイス３４とブルースのＨＭＤデバイス４２２からの地理的配置の構造データアイテムの合成である、バー４０２の３Ｄ空間共有型世界モデルを生成する。
【００３６】
複合現実感経験共有プログラム１４は、常連客のアレックス４０６、常連客のブルース４１８及び／又はバーを訪れたキャプチャデバイスを持っている他の人によるバー４０２への以前の訪問から、バー４０２に関連する追加の地理的配置の構造データアイテムを以前に受け取っていることがあることも認識されよう。そのような以前に受け取った地理的配置のタイムスタンプ付きの構造データアイテムは、メモリ２４内に格納され、複合現実感経験共有プログラム１４によって、バー４０２のより包括的及び／又は高い忠実性の３Ｄ空間共有型世界モデルを生成するのに使用されてもよい。
【００３７】
複合現実感経験共有プログラム１４はまた、バー４０２に関連する地理的配置のテクスチャデータアイテムも、常連客のアレックスのＨＭＤデバイス３４及び常連客のブルースのＨＭＤデバイス４２２から受け取る。地理的配置のテクスチャデータアイテムの一例は、地理的配置の構造データアイテムのうちの１つ又は複数を照らしている光の画像を含む。例えばそのような光の画像には、ラウンジの歌手４１０がパフォーマンスをしているステージ４２４又はバー４０２のフロア４２０を照らしている光が含まれ得る。地理的配置のテクスチャデータアイテムの別の例は、バー４０２内のオブジェクトの画像を含む。例えばそのようなオブジェクトの画像は、バー４０２の壁４３８に掛かっている絵４３４の画像を含み得る。地理的配置のテクスチャデータアイテムの別の例は、バー４０２内のオブジェクトのビデオを含む。例えばそのようなビデオは、パフォーマンスをしているラウンジの歌手４１０のビデオを含み得る。地理的配置のタイムスタンプ付きのテクスチャデータアイテムの別の例は、バー４０２のオーディオを含む。例えばバーのオーディオは、歌っているラウンジの歌手４１０のオーディオを含み得る。地理的配置のテクスチャデータアイテムの多くの他の例が受け取られることもあることが認識されよう。
【００３８】
加えて、複合現実感経験共有プログラム１４は、バー４０２に関連する追加の地理的テクスチャデータアイテムを、常連客のアレックス４０６、常連客のブルース４１８によるバー４０２への以前の訪問から、かつ／又はそのバーを訪れたキャプチャデバイスを持っている他の人から、以前に受け取っていることもある。そのような以前に受け取った地理的配置のタイムスタンプ付きのテクスチャデータアイテムも、メモリ２４内に格納されてよい。
【００３９】
現在の例では、複合現実感経験共有プログラム１４は、「現在」という時間フィルタパラメータを使用して、バー４０２に関連する、地理的配置のクラウドソースのタイムスタンプ付きのテクスチャデータアイテムをフィルタリングしており、これにより、テクスチャデータアイテムのうち、時間内の現在の瞬間に対応する「現在」というサブグループを生成している。複合現実感経験共有プログラム１４は次いで、バー４０２の３Ｄ空間共有型世界モデルの表面に、テクスチャデータアイテムの「現在」というサブグループを適用して、バーのテクスチャ共有型世界モデルを生成する。例えばステージ４２４の表面を照らしているスポットライト４４２からの光の画像を、３Ｄ空間共有型世界モデル内のステージ面に適用してもよい。別の例では、ラウンジの歌手４１０のビデオを適用して、ステージ４２４の表面上にラウンジの歌手を配置してもよい。テクスチャ共有型世界モデルは、バー４０２の単一の画像、一連の画像及び／又はビデオを備えてもよいことが認識されよう。
【００４０】
別の例において、ユーザ７２は、ホテルのバー４０２における以前の日時に対応する、遡った日付の時間フィルタパラメータを選択してもよい。次に図４Ｂを参照すると、この図は、２０１０年の３月４日の午後７時のように、以前の時間におけるホテルのバー４０２’及びホテルのロビー４１４’を図示している。この例では、地理的配置のクラウドソースのテクスチャデータアイテムは、２０１０年３月４日の午後７時というタイムスタンプを有するイメージ及びビデオを備えるサブグループを生成するようフィルタされる。
【００４１】
図４Ｂに示されるように、この日時には、常連客のブルース４１８は、ホテルのバー４０２’に座っていて、ステージ４２４上に地理的に配置されたホログラフィックウィザード４５０を見ている。スポットライト４４２はターンオフされており、イス４５４が、図４Ａに示される現在の時間における位置と比べて異なる位置にある。したがって、この例では、ユーザ７２に提示されるバー４０２’のテクスチャ共有型世界モデルは、２０１０年の３月４日の午後７時に常連客のブルース４１８のＨＭＤデバイス４２２によってキャプチャされた地理的配置のクラウドソースのテクスチャデータアイテムを備える。
【００４２】
この例では、地理的配置のクラウドソースの構造データアイテムも、２０１０年３月４日の午後７時というタイムスタンプを有する構造データアイテムを備えるサブグループを生成するように、時間的にフィルタされ得る。
【００４３】
代替的に表現すると、サブグループは、２０１０年３月４日の午後７時に存在していたように、バー４０２’の構造及び表面を含む。したがって、ユーザ７２に提示されるバー４０２’のテクスチャ共有型世界モデルは、２０１０年３月４日の午後７時に常連客のブルース４１８のＨＭＤデバイス４２２によってキャプチャされた地理的配置のクラウドソースの構造データアイテムを含み得る。加えて、一部の例では、２０１０年３月４日の午後７時の前に常連客のブルース４１８のＨＭＤデバイス４２２により、そして２０１０年３月４日の午後７時の前に他のキャプチャデバイスによりキャプチャされた、バー４０２’の地理的配置のクラウドソースの構造データアイテムを一緒にまとめて、バー４０２’のテクスチャ共有型世界モデルを生成するよう使用されてもよい。
【００４４】
別の例では、複合現実感経験共有プログラム１４は、１つ以上の優先度ファクタ８２に従って、複数の地理的配置のクラウドソースのテクスチャデータアイテム３０に優先順位を付けるように更に構成される。優先度ファクタ８２は、これらに限られないが、クラウドソースのテクスチャデータアイテム３０の忠実性、クラウドソースのテクスチャデータアイテムの時期（古さ）（age）、ソースの信頼性及びクラウドソースのテクスチャデータアイテムの社会的近接性を含み得る。
【００４５】
例えばユーザ７２は、ラウンジの歌手４１０のビデオを各々が含む、２つ以上の地理的配置のクラウドソースのテクスチャデータアイテム３０を受け取ることがある。アスペクト比や幾何学的歪み、露出の正確性（exposure  accuracy）といったビデオ画像の品質パラメータが、テクスチャデータアイテム３０のそれぞれについて決定され得る。テクスチャデータアイテム３０は、次いで、最も高い画像品質から最も低い画像品質まで優先順位を付けられてよい。一例において、所定の画像品質の閾値が用いられてよく、この場合、所定の画像品質よりも良い画像品質を有するビデオを含む地理的配置のクラウドソースのテクスチャデータアイテム３０のみが、テクスチャ共有型世界モデル６６において複合現実感経験共有システム１０によって用いられる。忠実性の優先度ファクタは、これらに限られないが、静止画像、オーディオ、ホログラム等を含め、他のタイプの地理的配置のクラウドソースのテクスチャデータアイテム３０とともに用いられてもよいことが認識されよう。
【００４６】
別の例では、ユーザ７２は、異なる時間にキャプチャされたラウンジの歌手４１０のビデオを各々が含む、２つ以上の地理的配置のクラウドソースのテクスチャデータアイテム３０を受け取ることがある。テクスチャデータアイテム３０は、次いで、キャプチャ日付の時期によって、最も新しいものから最も古いものまで優先順位を付けられてよい。一例において、所定の時期閾値が用いられてよく、この場合、所定の時期閾値と同じ又はその後のキャプチャ日付を有するビデオを含む地理的配置のクラウドソースのテクスチャデータアイテム３０のみが、テクスチャ共有型世界モデル６６において複合現実感経験共有システム１０によって用いられる。時期の優先度ファクタは、これらに限られないが、静止画像、オーディオ、ホログラム等を含め、他のタイプの地理的配置のクラウドソースのテクスチャデータアイテム３０とともに用いられてもよいことが認識されよう。
【００４７】
別の例では、ユーザ７２は、異なるソースから受け取ったホログラムを各々が含む、２つ以上の地理的配置のクラウドソースのテクスチャデータアイテム３０を受け取ることがある。テクスチャデータアイテム３０は、次いで、受け取った各ホログラムのソースの信頼性により、優先順位を付けられてよい。一例において、所定の信頼性の閾値が用いられてよく、この場合、所定の信頼性の閾値を超えるソースから受け取ったホログラムのみが、テクスチャ共有型世界モデル６６において複合現実感経験共有システム１０によって用いられる。ソースの信頼性は、例えばそのソースが１つ以上の証明機関（certification  agency）によって証明されているかどうかに基づくものであってよく、あるいは１つ以上の他の適切なファクタに基づくものであってもよい。信頼性の優先度ファクタは、これらに限られないが、静止画像、オーディオ、ホログラム等を含め、他のタイプの地理的配置のクラウドソースのテクスチャデータアイテム３０とともに用いられてもよいことが認識されよう。
【００４８】
別の例では、ユーザ７２は、異なるソースから受け取ったオーディオを各々が含む、２つ以上の地理的配置のクラウドソースのテクスチャデータアイテム３０を受け取ることがある。テクスチャデータアイテム３０は、次いで、受け取った各オーディオファイルのソースの、ユーザ７２に対する社会的近接性により、優先順位を付けられてよい。一例において、所定の社会的近接性の閾値が用いられてよく、この場合、所定の社会的近接性の閾値を超えるソースから受け取ったオーディオファイルのみが、テクスチャ共有型世界モデル６６において複合現実感経験共有システム１０によって用いられる。ソースの社会的近接性は、例えばそのソースが、ユーザ７２の１つ以上のソーシャルグラフ上に存在するかどうかに基づくものであってよい。社会的近接性の優先度ファクタは、これらに限られないが、静止画像、オーディオ、ホログラム等を含め、他のタイプの地理的配置のクラウドソースのテクスチャデータアイテム３０とともに用いられてもよいことが認識されよう。
【００４９】
別の例において、複合現実感経験共有プログラム１４は、１つ以上の優先度ファクタ８２に従って、複数の地理的配置のクラウドソースの構造データアイテム２８に優先順位を付けるように更に構成される。優先度ファクタ８２は、これらに限られないが、クラウドソースの構造データアイテム２８の忠実性、クラウドソースの構造データアイテムの時期、ソースの信頼性、クラウドソースの構造データアイテムの社会的近接性を含み得る。２つ以上の地理的配置のクラウドソースのテクスチャデータアイテム３０の優先順位を付けることに関して上記で提示した例は、２つ以上の地理的配置のクラウドソースの構造データアイテム２８の優先順位を付ける例にも同様に当てはまる。
【００５０】
上記のように、一部の例において、複数のクラウドソースのテクスチャデータアイテム３０は、1つ以上のホログラムと、該ホログラムを説明するメタデータとを含み得る。複合現実感経験共有プログラム１４は、物理的環境のテクスチャ共有型世界モデル６６内において、そのホログラムを配置する（locate）ように更に構成され得る。再び図４Ｂを参照すると、一例において、ホログラフィックウィザード４５０がステージ４２４上に地理的に配置される。ホログラフィックウィザード４５０を説明するメタデータは、複合現実感経験共有プログラム１４に、このウィザードのソース、作成日及び／又は他の説明的情報を通知し得る。
【００５１】
図５Ａ及び図５Ｂは、本開示の実施形態に従って、複合現実感環境を提示する方法５００のフローチャートを図示する。方法５００の以下の説明は、上述され、図１Ａ〜図４に図示される複合現実感経験共有システム１０のソフトウェア及びハードウェアコンポーネントとの関連で提供される。方法５００は、他の適切なハードウェア及びソフトウェアコンポーネントを用いる他のコンテキストにおいて実施されてもよいことが認識されよう。
【００５２】
図５Ａを参照すると、５０４において、方法５００は、物理的環境に地理的に配置され、かつ深度情報を含む、複数のクラウドソースの構造データアイテムを受け取ることを含む。５０８において、方法５００は、１つ以上の優先度ファクタに従って、複数のクラウドソースの構造データアイテムに優先順位を付けることを含む。５１２において、優先度ファクタが、クラウドソースの構造データアイテムの忠実性、クラウドソースの構造データアイテムの時期、ソースの信頼性及びクラウドソースの構造データアイテムのソースの社会的近接性から選択され得る。
【００５３】
５１６において、方法５００は、複数のソースから、物理的環境において地理的に配置される複数のクラウドソースのテクスチャデータアイテムを受け取ることを含み、このテクスチャデータアイテムのそれぞれは、タイムスタンプが付けられた画像又はビデオを備える。５２０において、方法５００は、少なくともディスプレイデバイスのユーザ及び第三者ソースから、複数のクラウドソースのテクスチャデータアイテムを受け取ることを含む。５２４において、複数のクラウドソースのテクスチャデータアイテムの各々が、クラウドソースの構造データアイテムのうちの１つ又は複数を照らしている光、物理的環境内のオブジェクトの画像、物理的環境内のオブジェクトのビデオ及び物理的環境のオーディオから選択され得る。
【００５４】
５２８において、方法５００は、１つ以上の優先度ファクタに従って、複数のクラウドソースのテクスチャデータアイテムに優先順位を付けることを含む。５３２において、優先度ファクタが、忠実性、時期、ソースの信頼性及びクラウドソースのテクスチャデータアイテムのソースの社会的近接性から選択され得る。次に図５Ｂを参照すると、５３６において、方法５００は、時間フィルタパラメータのユーザ入力を受け取ることを含む。５４０において、時間フィルタパラメータは、現在の時間よりも前の、遡った日付の時間に対応する。５４４において、方法５００は、複数のクラウドソースのテクスチャデータアイテムを時間フィルタパラメータによってフィルタして、クラウドソースのテクスチャデータアイテムの時間的にフィルタされたサブグループを生成する。
【００５５】
５４８において、方法は、複数のクラウドソースの構造データアイテムを一緒にまとめて、物理的環境の３Ｄ空間共有型世界モデルを生成することを含む。５５２において、方法５００は、複数のクラウドソースの構造データアイテムを時間フィルタパラメータによってフィルタして、クラウドソースの構造データアイテムの時間的にフィルタされたサブグループを生成することも含み得る。この例では、５５６において、方法５００は、クラウドソースの構造データアイテムの時間的にフィルタされたサブグループを一緒にまとめて、物理的環境の３Ｄ空間共有型世界モデルを生成することを含む。
【００５６】
５６０において、方法５００は、物理的環境の３Ｄ空間共有型世界モデルの表面に、クラウドソースのテクスチャデータアイテムの時間的にフィルタされたサブグループを適用して、物理的環境のテクスチャ共有型世界モデルを生成することを含む。５６４において、複数のクラウドソースのテクスチャデータアイテムが、少なくとも１つのホログラムと、該ホログラムを説明するメタデータとを備える場合、方法５００は、物理的環境のテクスチャ共有型世界モデル内にホログラムを配置することを含む。５６８において、方法５００は、物理的環境のテクスチャ共有型世界モデルを、ディスプレイデバイスによる表示のために、ディスプレイプログラムに提供することを含む。
【００５７】
方法５００は、例として提供されており、限定するように意図されていないことを認識されたい。したがって、方法５００は、図５Ａ及び図５Ｂに図示されるステップに対して追加の及び／又は代替のステップを含み得ることが理解されよう。さらに、方法５００は、任意の適切な順序で実行されてもよいことが理解されよう。またさらに、本開示の範囲から逸脱することなく、１つ以上のステップを方法５００から省略してもよいことが理解されよう。
【００５８】
有利には、複合現実感経験共有システム１０及び関連する方法５００の上述の実施形態は、複合現実感デバイスの複数のユーザによりキャプチャされる経験を共有するための便利なプラットフォームを提供することができる。複数のユーザからのデータは、時間的及び優先度ファクタに基づいて選択的に結合及び／又はフィルタされ得る。遡った時間からの物理的環境の経験を反映するテクスチャ共有型世界モデルも作成され、提供され得る。
【００５９】
図６は、上述の方法及び処理のうちの１つ又は複数を実行し得るコンピューティングシステム６００の非限定的な実施形態を概略的に示す。コンピューティングデバイス２２及び３６は、コンピューティングシステム６００の形をとってよい。コンピューティングシステム６００は簡略化された形で示されている。本開示の範囲から逸脱することなく、実質的に任意のコンピュータアーキテクチャを使用してよいことが理解されよう。異なる実施形態において、コンピューティングシステム６００は、メインフレームコンピュータ、サーバコンピュータ、デスクトップコンピュータ、ラップトップコンピュータ、タブレットコンピュータ、ホームエンターテイメントコンピュータ、ネットワークコンピューティングデバイス、モバイルコンピューティングデバイス、モバイル通信デバイス、ゲームデバイス等の形をとってよい。
【００６０】
図６に示されるように、コンピューティングシステム６００は、論理サブシステム６０４及びストレージサブシステム６０８を含む。コンピューティングシステム６００は、任意選択により、ディスプレイサブシステム６１２、通信サブシステム６１６、センササブシステム６２０、入力サブシステム６２２及び／又は図６に図示されていない他のサブシステムとコンポーネントを含んでよい。コンピューティングシステム６００は、コンピュータ読取可能媒体も含んでよく、コンピュータ読取可能媒体は、コンピュータ読取可能記憶媒体とコンピュータ読取可能通信媒体を含む。コンピューティングシステム６００は、任意選択により、例えばキーボード、マウス、ゲームコントローラ及び／又はタッチ画面といった他ユーザ入力デバイスも含んでよい。さらに、一部の実施形態では、本明細書で説明される方法及び処理を、コンピュータアプリケーション、コンピュータサービス、コンピュータＡＰＩ、コンピュータライブラリ及び／又は１つ以上のコンピュータを含むコンピューティングシステム内の他のコンピュータプログラム製品として実装してもよい。
【００６１】
論理サブシステム６０４は、１つ以上の命令を実行するよう構成される１つ以上の物理デバイスを含んでよい。例えば論理サブシステム６０４は、１つ以上のアプリケーション、サービス、プログラム、ルーチン、ライブラリ、オブジェクト、コンポーネント、データ構造又は他の論理構造体の一部である、１つ以上の命令を実行するよう構成され得る。そのような命令は、タスクを実行し、データタイプを実装し、１つ以上のデバイスの状態を変換し、あるいは他の方法で所望の結果に到達するように実装され得る。
【００６２】
論理サブシステム６０４は、ソフトウェア命令を実行するように構成される１つ以上のプロセッサを含んでよい。あるいはまた、論理サブシステムは、ハードウェア又はファームウェア命令を実行するように構成される１つ以上のハードウェア又はファームウェア論理マシンを含み得る。論理サブシステムのプロセッサは、シングルコアであってもマルチコアであってもよく、その上で実行されるプログラムは、並行処理又は分散処理用に構成され得る。論理サブシステムは、任意選択により、リモートに配置され得るか及び／又は協調処理のために構成され得る、２つ以上のデバイスにわたって分散される個別のコンポーネントを含んでもよい。論理サブシステムの１つ以上の態様が仮想化されて、クラウドコンピューティング構成で構成される、リモートからアクセス可能なネットワーク化されたコンピューティングデバイスにより実行されてもよい。
【００６３】
ストレージサブシステム６０８は、本明細書で説明される方法及び処理を実施するよう論理サブシステム６０４によって実行可能な、データ及び／又は命令を保持するように構成される１つ以上の物理的な持続的デバイスを含み得る。そのような方法及び処理が実施されると、ストレージサブシステム６０８の状態は（例えば異なるデータを保持するよう）変化し得る。
【００６４】
ストレージサブシステム６０８は、取外し可能媒体及び／又は組込みデバイスを含み得る。ストレージサブシステム６０８は、特に、光メモリデバイス（例えばＣＤ、ＤＶＤ、ＨＤ−ＤＶＤ、Ｂｌｕ−Ｒａｙ（登録商標）ディスプ等）、半導体メモリデバイス（例えばＲＡＭ、ＥＰＲＯＭ、ＥＥＰＲＯＭ等）及び／又は磁気メモリデバイス（例えばハードディスクドライブ、フロッピー（登録商標）ディスクドライブ、テープドライブ、ＭＲＡＭ等）を含み得る。ストレージサブシステム６０８は、次の特性のうちの１つ以上、すなわち：揮発性、不揮発性、動的、静的、読取／書込、読取専用、ランダムアクセス、逐次アクセス、位置アドレス可能、ファイルアドレス可能及びコンテンツアドレス可能、という特性のうちの１つ以上を有するデバイスを含み得る。
【００６５】
一部の実施形態において、論理サブシステム６０４及びストレージサブシステム６０８の態様は、本明細書で説明される機能が少なくとも部分的に成立し得る、１つ以上の共通のコンピューティングデバイスに統合されてよい。そのようなハードウェア論理コンポーネントには、例えばフィールドプログラマブルゲートアレイ（ＦＰＧＡ）、特定プログラム及び特定用途向け集積回路（ＰＡＳＩＣ／ＡＳＩＣ）、特定プログラム及び特定用途向け規格品（ＰＳＳＰ／ＡＳＳＰ）、システムオンチップ（ＳＯＣ）システム及び結合プログラマブル論理デバイス（ＣＰＬＤ）が含まれ得る。
【００６６】
図６はまた、ストレージサブシステム６０８の態様を、取外し可能なコンピュータ読取可能記憶媒体６２４の形で示しており、この取外し可能なコンピュータ読取可能記憶媒体６２４は、本明細書で説明される方法及び処理を実施するのに実行可能なデータ及び／又は命令を格納するのに使用され得る。取外し可能なコンピュータ読取可能記憶媒体６２４は、特にＣＤ、ＤＶＤ、ＨＤ−ＤＶＤ、Ｂｌｕ−Ｒａｙ（登録商標）ディスク、ＥＥＰＲＯＭ及び／又はフロッピー（登録商標）ディスクの形をとることができる。
【００６７】
ストレージサブシステム６０８は、１つ以上の物理的な持続的デバイスを含むことが認識されよう。対照的に、一部の実施形態において、本明細書で説明される命令の態様は、少なくともある有限期間の間物理的デバイスによって保持されない純粋な信号（例えば電磁気信号、光信号等）によって、一時的に伝播されてもよい。さらに、本開示に関するデータ及び／又は他の形の情報は、純粋な信号によりコンピュータ読取可能通信媒体を介して伝搬されてもよい。
【００６８】
含まれるとき、ディスプレイサブシステム６１２を使用して、ストレージサブシステム６０８によって保持されるデータの視覚的表現を提示してもよい。上述の方法及び処理が、ストレージサブシステム６０８によって保持されるデータを変更し、したがってストレージサブシステムの状態を変換すると、ディスプレイサブシステム６１２の状態も同様に、その基礎となるデータの変化を視覚的に表すよう変換され得る。ディスプレイサブシステム６１２は、実質的に任意のタイプの技術を用いる１つ以上のディスプレイデバイスを含み得る。そのようなディスプレイデバイスは、共有の筐体内で、論理サブシステム６０４及び／又はストレージサブシステム６０８と組み合わされよく、あるいはそのようなディスプレイデバイスは、周辺ディスプレイデバイスであってもよい。ディスプレイサブシステム６１２は、例えばＨＭＤデバイス３４のディスプレイシステム４０を含み得る。
【００６９】
含まれるとき、通信サブシステム６１６は、コンピューティングシステム６００を、１つ以上のネットワーク及び／又は１つ以上の他のコンピューティングデバイスと通信可能に結合するよう構成され得る。通信サブシステム６１６は、１つ以上の異なる通信プロトコルと互換性のある有線及び／又は無線の通信デバイスを含み得る。非限定的な例として、通信サブシステム６１６は、無線電話ネットワーク、無線ローカルエリアネットワーク、有線ローカルエリアネットワーク、無線ワイドエリアネットワーク、有線ワイドエリアネットワーク等を介した通信用に構成され得る。一部の実施形態において、通信サブシステムは、コンピューティングシステム６００が、インターネットのようなネットワークを介して、他のデバイスへ／からメッセージを送信／受信することを可能にし得る。
【００７０】
センササブシステム６２０は、上述のような異なる物理的な事象（例えば可視光、赤外光、音響、加速、方向、位置等）を感知するよう構成される１つ以上のセンサを含み得る。センササブシステム６２０は、例えばセンサデータを論理サブシステム６０４に提供するよう構成され得る。そのようなデータには、例えば画像情報、オーディオ情報、周辺光情報、深度情報、位置情報、動き情報、ユーザ位置情報、アイトラッキング情報及び／又は本明細書で説明される方法及び処理を実行するのに使用され得る任意の他の適切なセンサデータが含まれ得る。
【００７１】
含まれるとき、入力サブシステム６２２は、ゲームコントローラ、ジェスチャ入力検出デバイス、音声認識装置、慣性計測装置、キーボード、マウス又はタッチスクリーンといった、１つ以上のセンサ又はユーザ入力デバイスを備えるか、これとインタフェースし得る。一部の実施形態において、入力サブシステム６２２は、選択されたナチュラルユーザインプット（ＮＵＩ）の構成部品を備えるか、これとインタフェースし得る。そのような構成部品は、一体型であっても周辺装置であってもよく、入力アクションの変換及び／又は処理は、オンボード又はオフボードで処理され得る。例示のＮＵＩ構成部品には、スピーチ音声及び／又は音声認識のためのマイクロフォン；マシンビジョン及び／又はジェスチャ認識のための赤外線、色、立体及び／又は深度カメラ；動き検出及び／又は意図認識のためのヘッドトラッカ、アイトラッカ、加速度計及び／又はジャイロスコープ；並びに脳活性を評価するための電場感知構成部品が含まれ得る。
【００７２】
「プログラム」という用語は、１つ以上の特定の機能を実行するのに実装される、複合現実感経験共有システム１０の態様を説明するのに使用され得る。一部の場合において、そのようなプログラムは、ストレージサブシステム６０８によって保持される命令を実行する論理サブシステム６０４を介してインスタンス化され得る。異なるプログラムが、同じアプリケーション、サービス、コードブロック、オブジェクト、ライブラリ、ルーチン、ＡＰＩ、関数等からインスタンス化されてよいことが理解されよう。同様に、同じプログラムが、異なるアプリケーション、サービス、コードブロック、オブジェクト、ルーチン、ＡＰＩ、関数等からインスタンス化されてもよい。「プログラム」という用語は、実行可能ファイル、データファイル、ライブラリ、ドライバ、スクリプト、データベースレコード等の個々又はグループを包含するように意図される。
【００７３】
本明細書で説明される構成及び／又はアプローチは例示的な性質であり、様々な変形が可能であるので、これらの具体的な実施形態又は実施例は、限定的意味に解釈されるべきでないことが理解されよう。本明細書で説明される具体的なルーチン又は方法は、任意の数の処理ストラテジの１つ又は複数を表し得る。したがって、例示される様々な動作は、例示される順序で実行しても、他の順序で実行しても、並列に実行してもよく、一部の場合には省略されてもよい。同様に、上述の処理の順序を変更してもよい。
【００７４】
本開示の主題は、様々な処理、システム及び構成並びに本明細書で説明される他の特徴、機能、動作及び／又は特性の新規で非自明な組み合わせ及び副次的組み合わせ、並びにそのいずれか及び全ての均等物を含む。
【図１】
2016510465.tif 000003
【図２】
2016510465.tif 000004
【図３】
2016510465.tif 000005
【図４Ａ】
2016510465.tif 000006
【図４Ｂ】
2016510465.tif 000007
【図５Ａ】
2016510465.tif 000008
【図５Ｂ】
2016510465.tif 000009
【図６】
2016510465.tif 000010
【国際調査報告】
2016510465.tif 000011
2016510465.tif 000012
2016510465.tif 000013
2016510465.tif 000014
2016510465.tif 000015
2016510465.tif 000016