(57)【要約】ウェアラブルディスプレイデバイスが、物理的または仮想表面に対するコンテンツの表示を変化させるためのトリガイベントを検出すると、仮想コンテンツの表示を調節するための、システムおよび方法。本方法は、第１の表面に対するコンテンツを表示するステップと、駆動される運動またはコンテンツのうちの１つである、トリガを検出するステップと、ユーザの視野内のユーザ中心仮想表面に対してコンテンツの表示を調節するステップとを含む。
2021527247.tif 000002
【特許請求の範囲】
【請求項１】
方法であって、
ウェアラブルディスプレイデバイスを使用して、世界中心モードにおいて、仮想コンテンツをユーザに表示することと、
前記仮想コンテンツの表示を調節するためのトリガを検出することと、
前記トリガの検出に応答して、前記ウェアラブルディスプレイデバイスを使用して、ユーザ中心モードにおいて、前記仮想コンテンツをユーザに表示することと
を含む、方法。
【請求項２】
前記トリガは、前記ユーザの視野の移動を含む、請求項１に記載の方法。
【請求項３】
前記視野の移動は、前記仮想コンテンツの表示のための好適な表面が前記視野内になくなるような前記視野の移動を含む、請求項２に記載の方法。
【請求項４】
前記視野の移動は、前記視野の平行移動または回転を含む、請求項２に記載の方法。
【請求項５】
前記視野の移動は、閾値を超える前記視野の平行移動または回転を含む、請求項４に記載の方法。
【請求項６】
前記閾値は、所定の時間量内の前記視野の所定の量の平行移動または回転である、請求項５に記載の方法。
【請求項７】
前記閾値は、所定の時間量にわたる前記視野の所定の量の連続平行移動または回転である、請求項５に記載の方法。
【請求項８】
前記閾値は、所定の時間量内の前記視野の所定の数の平行移動または回転最大値の発生である、請求項５に記載の方法。
【請求項９】
前記トリガは、インターフェースオブジェクトのユーザ選択を含む、請求項１に記載の方法。
【請求項１０】
前記トリガは、前記仮想コンテンツのタイプの検出を含む、請求項１に記載の方法。
【請求項１１】
前記仮想コンテンツの前記タイプの検出は、前記タイプの前記仮想コンテンツの表示または差し迫った表示の検出を含む、請求項１０に記載の方法。
【請求項１２】
前記ウェアラブルディスプレイデバイスを使用して、前記世界中心モードおよび前記ユーザ中心モードにおいて、前記仮想コンテンツをユーザに表示することの間の前記仮想コンテンツの範囲を変化させることをさらに含む、請求項１に記載の方法。
【請求項１３】
前記変化後の前記仮想コンテンツのサイズは、前記ユーザの視野のサイズに関連する、請求項１２に記載の方法。
【請求項１４】
前記ウェアラブルディスプレイデバイスを使用して、前記ユーザ中心モードにおいて、前記仮想コンテンツをユーザに表示することは、前記ユーザの視野の中心に隣接して前記仮想コンテンツを表示することを含む、請求項１に記載の方法。
【請求項１５】
前記ウェアラブルディスプレイデバイスを使用して、前記ユーザ中心モードにおいて、前記仮想コンテンツをユーザに表示することは、中心からずらして前記ユーザの視野内に前記仮想コンテンツを表示することを含む、請求項１に記載の方法。
【請求項１６】
方法であって、
ウェアラブルディスプレイデバイスを使用して、ユーザ中心モードにおいて、仮想コンテンツをユーザに表示することと、
前記仮想コンテンツの表示を調節するためのトリガを検出することと、
前記トリガの検出に応答して、前記ウェアラブルディスプレイデバイスを使用して、世界中心モードにおいて、前記仮想コンテンツをユーザに表示することと
を含む、方法。
【請求項１７】
前記トリガは、所定の時間量にわたる前記ユーザの視野内の表面の持続存在の検出を含む、請求項１６に記載の方法。
【請求項１８】
前記トリガは、インターフェースオブジェクトのユーザ選択を含む、請求項１６に記載の方法。
【請求項１９】
前記トリガは、前記仮想コンテンツの前記タイプの検出を含む、請求項１６に記載の方法。
【請求項２０】
前記仮想コンテンツの前記タイプの検出は、前記タイプの前記仮想コンテンツの表示または差し迫った表示の検出を含む、請求項１９に記載の方法。
【請求項２１】
前記ウェアラブルディスプレイデバイスを使用して、前記ユーザ中心モードおよび前記世界中心モードにおいて、前記仮想コンテンツをユーザに表示することの間の前記仮想コンテンツのサイズを変化させることをさらに含む、請求項１６に記載の方法。
【請求項２２】
方法であって、
ウェアラブルディスプレイデバイスを使用して、ユーザの第１の視野内の第１の位置において、仮想コンテンツをユーザに表示することと、
第２の視野をもたらす前記ユーザの姿勢の変化を検出することと、
前記ユーザの姿勢の変化の検出に応答して、前記ウェアラブルディスプレイデバイスを使用して、前記ユーザの第２の視野内の第２の位置において、前記仮想コンテンツをユーザに表示することと
を含む、方法。
【請求項２３】
前記第１の位置は、前記第１の視野内の第１の表面に対応し、前記第２の位置は、前記第２の視野内の第２の表面に対応する、請求項２２に記載の方法。
【請求項２４】
前記第１の位置から前記第２の位置に移動する前記仮想コンテンツのアニメーションを表示することをさらに含む、請求項２２に記載の方法。
【請求項２５】
前記アニメーションは、前記ユーザの姿勢の変化の速度のパーセンテージに等しいアニメーション速度において、前記仮想コンテンツを前記第１の位置から前記第２の位置に移動させる、請求項２４に記載の方法。
【請求項２６】
前記アニメーション速度は、９０％、７０％、５０％、および１０％から成る群から選択される、請求項２５に記載の方法。
【請求項２７】
前記アニメーション速度は、前記ユーザの姿勢の変化の速度に基づいて決定される、請求項２５に記載の方法。
【請求項２８】
前記アニメーション速度は、前記ユーザの姿勢の変化の速度が閾値にあるかまたはそれを下回るとき、第１の値であり、前記アニメーション速度は、前記ユーザの姿勢の変化の速度が前記閾値を上回るとき、第２の値である、請求項２７に記載の方法。
【請求項２９】
前記ユーザの姿勢の変化の速度は、回転変化の速度である、請求項２５に記載の方法。
【請求項３０】
前記アニメーションは、前記ユーザの光学軸に直交する平面外に傾斜するように現れるように、前記仮想オブジェクトの配向を変化させることを含む、請求項２４に記載の方法。
【請求項３１】
前記仮想オブジェクトの配向を変化させることは、最初に、前記仮想オブジェクトの前縁を前記ユーザから離れるように傾斜させ、次いで、前記仮想オブジェクトの後縁を前記ユーザから離れるように傾斜させることを含む、請求項３０に記載の方法。
【請求項３２】
前記第１の視野に対する前記第１の位置は、前記第２の視野に対する前記第２の位置に実質的に類似する、請求項２２に記載の方法。
【請求項３３】
前記第１の視野に対する前記第１の位置は、前記第２の視野に対する前記第２の位置と異なる、請求項２２に記載の方法。
【請求項３４】
方法であって、
第１の表面に対してコンテンツをウェアラブルユーザディスプレイデバイスに表示することと、
ユーザウェアラブルディスプレイデバイスへの前記コンテンツの表示を調節するためのトリガを検出することと、
前記コンテンツの表示をユーザ中心仮想表面に調節することと
を含む、方法。
【請求項３５】
前記トリガを検出することは、前記ウェアラブルディスプレイデバイスの運動を検出することを含む、請求項３４に記載の方法。
【請求項３６】
前記運動を検出することは、閾値持続時間内の平行移動または回転のうちの１つを検出することを含む、請求項３５に記載の方法。
【請求項３７】
前記トリガを検出することは、通知を前記コンテンツから受信することを含む、請求項３４に記載の方法。
【請求項３８】
前記コンテンツの表示を調節することは、前記コンテンツの少なくとも１つの属性を前記ウェアラブルディスプレイデバイスのパラメータに調節することを含む、請求項３４に記載の方法。
【請求項３９】
前記コンテンツの表示を調節することは、前記ユーザ中心仮想表面を前記ウェアラブルディスプレイデバイスの視野内の固定位置に位置付けることを含む、請求項３４に記載の方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本開示は、コンテンツを空間的３Ｄ環境内に表示するためのシステムおよび方法に関する。
【背景技術】
【０００２】
コンテンツを視認するための典型的方法は、コンテンツをディスプレイデバイスのディスプレイ画面（例えば、コンピュータ、スマートフォン、タブレット等のモニタ）上に表示するであろう、アプリケーションを開くことである。ユーザは、アプリケーションをナビゲートし、コンテンツを視認するであろう。通常、ユーザが、ディスプレイのディスプレイ画面を見ているとき、コンテンツがアプリケーション内およびディスプレイデバイスのディスプレイ画面上に表示される方法に関して、固定フォーマットが存在する。
【０００３】
仮想現実（ＶＲ）、拡張現実（ＡＲ）、および／または複合現実（ＭＲ）システム（以降、集合的に、「複合現実」システムと称される）を用いる場合、アプリケーションは、コンテンツを空間的３次元（３Ｄ）環境内に表示するであろう。コンテンツをディスプレイ画面上に表示するための従来のアプローチは、空間的３Ｄ環境において使用されるとき、あまり良好に作用しない。１つの理由は、従来のアプローチを用いる場合、ディスプレイデバイスのディスプレイ面積が、コンテンツが表示されるディスプレイ画面の画面面積に限定された２Ｄ媒体であるためである。その結果、従来のアプローチは、コンテンツをディスプレイ画面の画面面積内に編成および表示する方法のみを把握するように構成される。対照的に、空間的３Ｄ環境は、ディスプレイ画面の画面面積の厳密な限局に限定されない。したがって、従来のアプローチは、従来のアプローチが、必ずしも、コンテンツを表示するための空間的３Ｄ環境を利用する機能性または能力を有しているわけではないため、空間的３Ｄ環境において使用されるとき、準最適に性能を発揮し得る。
【０００４】
したがって、コンテンツを空間的３Ｄ環境内に表示するための改良されたアプローチの必要性が存在する。
【０００５】
背景の節において議論される主題は、単に、背景の節におけるその記述の結果として、従来技術と仮定されるべきではない。同様に、背景の節において記述された、または背景の節の主題と関連付けられた問題および問題の原因の理解は、従来技術において以前に認識されていると仮定されるべきではない。背景の節における主題は、単に、それ自体もまた開示であり得る、異なるアプローチを表し得る。
【発明の概要】
【課題を解決するための手段】
【０００６】
本開示の実施形態は、情報を空間的に編成された３Ｄ環境内に表示するための改良されたシステムおよび方法を提供する。本方法は、世界中心モードおよびユーザ中心モードのうちの一方において、仮想コンテンツを表示するステップと、仮想コンテンツの表示を調節するためのトリガを検出するステップと、世界中心モードおよびユーザ中心モードの他方において、仮想コンテンツを表示するステップとを含む。本開示の付加的実施形態は、ユーザの姿勢の変化に応答して表示される仮想オブジェクトの位置を変化させるための改良されたシステムおよび方法を提供する。
【０００７】
一実施形態では、本方法は、ウェアラブルディスプレイデバイスを使用して、世界中心モードにおいて、仮想コンテンツをユーザに表示するステップを含む。本方法はまた、仮想コンテンツの表示を調節するためのトリガを検出するステップを含む。本方法はさらに、トリガの検出に応答して、ウェアラブルディスプレイデバイスを使用して、ユーザ中心モードにおいて、仮想コンテンツをユーザに表示するステップを含む。
【０００８】
１つ以上の実施形態では、トリガは、ユーザの視野の移動を含む。視野の移動は、仮想コンテンツの表示のための好適な表面が視野内になくなるような視野の移動を含んでもよい。視野の移動は、視野の平行移動または回転を含んでもよい。視野の移動は、閾値を超える視野の平行移動または回転を含んでもよい。閾値は、所定の時間量内の視野の所定の量の平行移動または回転であってもよい。閾値は、所定の時間量にわたる視野の所定の量の連続平行移動または回転であってもよい。閾値は、所定の時間量内の視野の所定の数の平行移動または回転最大値の発生であってもよい。
【０００９】
１つ以上の実施形態では、トリガは、インターフェースオブジェクトのユーザ選択を含む。トリガは、あるタイプの仮想コンテンツの検出を含んでもよい。そのタイプの仮想コンテンツの検出は、そのタイプの仮想コンテンツの表示または差し迫った表示の検出を含んでもよい。本方法はまた、ウェアラブルディスプレイデバイスを使用して、世界中心モードおよびユーザ中心モードにおいて、仮想コンテンツをユーザに表示するステップ間に仮想コンテンツのサイズを変化させるステップを含んでもよい。変化後の仮想コンテンツのサイズは、ユーザの視野の範囲に関連してもよい。ウェアラブルディスプレイデバイスを使用して、ユーザ中心モードにおいて、仮想コンテンツをユーザに表示するステップは、ユーザの視野内の中心に隣接して、または中心からずらして、仮想コンテンツを表示するステップを含んでもよい。
【００１０】
別の実施形態では、方法は、ウェアラブルディスプレイデバイスを使用して、ユーザ中心モードにおいて、仮想コンテンツをユーザに表示するステップを含む。本方法はまた、仮想コンテンツの表示を調節するためのトリガを検出するステップを含む。本方法はさらに、トリガの検出に応答して、ウェアラブルディスプレイデバイスを使用して、世界中心モードにおいて、仮想コンテンツをユーザに表示するステップを含む。
【００１１】
１つ以上の実施形態では、トリガは、所定の時間量にわたるユーザの視野内の表面の持続存在の検出を含む。トリガは、インターフェースオブジェクトのユーザ選択を含んでもよい。トリガは、あるタイプの仮想コンテンツの検出を含んでもよい。そのタイプの仮想コンテンツの検出は、そのタイプの仮想コンテンツの表示または差し迫った表示の検出を含んでもよい。本方法はまた、ウェアラブルディスプレイデバイスを使用して、ユーザ中心モードおよび世界中心モードにおいて、仮想コンテンツをユーザに表示するステップ間の仮想コンテンツのサイズを変化させるステップを含んでもよい。
【００１２】
さらに別の実施形態では、方法は、ウェアラブルディスプレイデバイスを使用して、ユーザの第１の視野内の第１の位置に、仮想コンテンツをユーザに表示するステップを含む。本方法はまた、第２の視野をもたらすユーザの姿勢の変化を検出するステップを含む。本方法はさらに、ユーザの姿勢の変化の検出に応答して、ウェアラブルディスプレイデバイスを使用して、ユーザの第２の視野内の第２の位置に、仮想コンテンツをユーザに表示するステップを含む。
【００１３】
１つ以上の実施形態では、第１の位置は、第１の視野内の第１の表面に対応し、第２の位置は、第２の視野内の第２の表面に対応する。本方法はまた、第１の位置から第２の位置に移動する、仮想コンテンツのアニメーションを表示するステップを含んでもよい。アニメーションは、ユーザの姿勢の変化の速度のあるパーセンテージに等しいアニメーション速度において、仮想コンテンツを第１の位置から第２の位置に移動させてもよい。アニメーション速度は、９０％、７０％、５０％、および１０％から成る群から選択されてもよい。アニメーション速度は、ユーザの姿勢の変化の速度に基づいて決定されてもよい。アニメーション速度は、ユーザの姿勢の変化の速度が閾値にある、またはそれを下回るとき、第１の値であって、ユーザの姿勢の変化の速度が閾値を上回るとき、第２の値であってもよい。ユーザの姿勢の変化の速度は、回転変化の速度であってもよい。
【００１４】
１つ以上の実施形態では、アニメーションは、ユーザの光学軸に直交する平面外に傾斜するように現れるように、仮想オブジェクトの配向を変化させるステップを含む。仮想オブジェクトの配向を変化させるステップは、最初に、仮想オブジェクトの前縁をユーザから離れるように傾斜させ、次いで、仮想オブジェクトの後縁をユーザから離れるように傾斜させるステップを含んでもよい。第１の視野に対する第１の位置は、第２の視野に対する第２の位置に実質的に類似してもよい。第１の視野に対する第１の位置は、第２の視野に対する第２の位置と異なってもよい。
【００１５】
さらに別の実施形態では、方法は、第１の表面に対してコンテンツをウェアラブルユーザディスプレイデバイスに表示するステップを含む。本方法はまた、ユーザウェアラブルディスプレイデバイスへのコンテンツの表示を調節するためのトリガを検出するステップを含む。本方法はさらに、コンテンツの表示をユーザ中心仮想表面に調節するステップを含む。
【００１６】
１つ以上の実施形態では、トリガを検出するステップは、ウェアラブルディスプレイデバイスの運動を検出するステップを含む。運動を検出するステップは、閾値持続時間内の平行移動または回転のうちの１つを検出するステップを含んでもよい。トリガを検出するステップは、通知をコンテンツから受信するステップを含んでもよい。コンテンツの表示を調節するステップは、コンテンツの少なくとも１つの属性をウェアラブルディスプレイデバイスのパラメータに調節するステップを含んでもよい。コンテンツの表示を調節するステップは、ユーザ中心仮想表面をウェアラブルディスプレイデバイスの視野内の固定位置に位置付けるステップを含んでもよい。
【００１７】
一実施形態では、方法は、コンテンツを受信するステップを含む。本方法はまた、コンテンツ内の１つ以上の要素を識別するステップを含む。本方法はさらに、１つ以上の表面を決定するステップを含む。さらに、本方法は、１つ以上の要素を１つ以上の表面にマッチングさせるステップを含む。加えて、本方法は、１つ以上の要素を仮想コンテンツとして１つ以上の表面上に表示するステップを含む。
【００１８】
１つ以上の実施形態では、コンテンツは、プル配信コンテンツまたはプッシュ配信コンテンツのうちの少なくとも１つを含む。１つ以上の要素を識別するステップは、１つ以上の要素毎に、１つ以上の属性を決定するステップを含んでもよい。１つ以上の属性は、優先順位属性、配向属性、アスペクト比属性、寸法属性、面積属性、相対的視認位置属性、色属性、コントラスト属性、位置タイプ属性、マージン属性、コンテンツのタイプ属性、焦点属性、可読性インデックス属性、または設置するための表面のタイプ属性のうちの少なくとも１つを含む。１つ以上の要素毎に、１つ以上の属性を決定するステップは、コンテンツ内の明示的インジケーションに基づく。
【００１９】
１つ以上の実施形態では、１つ以上の要素毎に、１つ以上の属性を決定するステップは、コンテンツ内の１つ以上の要素の場所に基づく。本方法はさらに、１つ以上の要素を１つ以上の論理構造の中に記憶するステップを含む。１つ以上の論理構造は、順序付けられたアレイ、階層テーブル、ツリー構造、または論理グラフ構造のうちの少なくとも１つを含む。１つ以上の表面は、物理的表面または仮想表面のうちの少なくとも１つを含む。１つ以上の表面を決定するステップは、環境を解析し、１つ以上の表面のうちの少なくとも１つを決定するステップを含む。
【００２０】
１つ以上の実施形態では、１つ以上の表面を決定するステップは、未加工センサデータを受信するステップと、未加工センサデータを簡略化し、簡略化されたデータを生産するステップと、簡略化されたデータに基づいて、１つ以上の仮想表面を作成するステップとを含む。１つ以上の表面は、１つ以上の仮想表面を含む。未加工センサデータを簡略化するステップは、未加工センサデータをフィルタリングし、フィルタリングされたデータを生産するステップと、フィルタリングされたデータを点群点別に１つ以上のグループの中にグループ化するステップとを含む。簡略化されたデータは、１つ以上のグループを含む。１つ以上の仮想表面を作成するステップは、１つ以上のグループのそれぞれを順に処理し、１つ以上の実世界表面を決定するステップと、１つ以上の実世界表面に基づいて、１つ以上の仮想表面を作成するステップとを含む。
【００２１】
１つ以上の実施形態では、１つ以上の表面を決定するステップは、１つ以上の表面毎に、１つ以上の属性を決定するステップを含む。１つ以上の属性は、優先順位属性、配向属性、アスペクト比属性、寸法属性、面積属性、相対的視認位置属性、色属性、コントラスト属性、位置タイプ属性、マージン属性、コンテンツのタイプ属性、焦点属性、可読性インデックス属性、または設置するための表面のタイプ属性のうちの少なくとも１つを含む。本方法はまた、１つ以上の表面を１つ以上の論理構造の中に記憶するステップを含む。１つ以上の要素を１つ以上の表面にマッチングさせるステップは、１つ以上の要素を優先順位化するステップと、１つ以上の要素の要素毎に、要素の１つ以上の属性と１つ以上の表面のそれぞれの１つ以上の属性を比較するステップと、要素の１つ以上の属性および１つ以上の表面のそれぞれの１つ以上の属性に基づいて、マッチングスコアを計算するステップと、最高マッチングスコアを有する最良マッチング表面を識別するステップとを含む。加えて、１つ以上の要素毎に、要素と最良マッチング表面との間の関連付けを記憶するステップを含む。
【００２２】
１つ以上の実施形態では、１つの要素は、１つ以上の表面にマッチングされる。さらに、１つ以上の表面の各表面をユーザに表示するステップを含む。加えて、表示される１つ以上の表面からの勝利表面を示すユーザ選択を受信するステップを含む。さらに、ユーザ選択から、勝利表面の表面属性をユーザ選好データ構造内に保存するステップを含む。コンテンツは、コンテンツプロバイダからデータストリーミングされる。１つ以上の要素は、複合現実デバイスを通して、ユーザに表示される。
【００２３】
１つ以上の実施形態では、本方法はさらに、少なくとも部分的に、ユーザの変化した視野に基づいて、１つ以上の要素を表示するための１つ以上の付加的表面オプションを表示するステップを含む。１つ以上の付加的表面オプションの表示は、少なくとも部分的に、変化した視野に対応する時間閾値に基づく。１つ以上の付加的表面オプションの表示は、少なくとも部分的に、頭部姿勢変化閾値に基づく。
【００２４】
１つ以上の実施形態では、本方法はまた、１つ以上の要素の表示をマッチングされていた１つ以上の表面上にオーバーライドするステップを含む。１つ以上の要素の表示を１つ以上の表面上にオーバーライドするステップは、少なくとも部分的に、履歴上頻繁に使用された表面に基づく。本方法はさらに、少なくとも部分的に、ユーザが異なる表面に移動されることになる１つ以上の表面に表示される特定の要素を選択することに基づいて、１つ以上の表面上に表示される１つ以上の要素を異なる表面に移動させるステップを含む。異なる表面に移動される特定の要素は、ユーザによって少なくとも視認可能である。
【００２５】
１つ以上の実施形態では、本方法は、加えて、第１の視野から第２の視野へのユーザの視野の変化に応答して、１つ以上の要素の表示を新しい表面上にゆっくりと移動させ、第２の視野へのユーザの視野変化に追従させるステップを含む。１つ以上の要素は、コンテンツをユーザの第２の視野の真正面に移動させることのユーザから受信された確認に応じてのみ、ユーザの第２の視野の真正面に移動し得る。本方法は、少なくとも部分的に、ユーザが第１の場所から第２の場所に移動することに基づいて、第１の場所における１つ以上の表面上への１つ以上の要素の表示を一時停止し、第２の場所における１つ以上の他の表面上への１つ以上の要素の表示を再開するステップを含む。１つ以上の要素の表示を一時停止するステップは、少なくとも部分的に、ユーザが第１の場所から第２の場所に移動中である、または移動したことの決定に基づいて、自動で行われる。１つ以上の要素の表示の再開は、少なくとも部分的に、１つ以上の他の表面の識別および第２の場所における１つ以上の要素とのマッチングに基づいて、自動で行われる。
【００２６】
１つ以上の実施形態では、１つ以上の表面を決定するステップは、１つ以上の要素を表示するために、１つ以上の仮想オブジェクトを識別するステップを含む。１つ以上の仮想オブジェクトを識別するステップは、少なくとも部分的に、好適な表面の欠如を示す、１つ以上のセンサから受信されたデータに基づく。１つ以上の要素の要素は、ＴＶチャンネルである。ユーザは、ユーザに表示される１つ以上のアイテムまたはサービスを購入することによって表示される１つ以上の要素の要素と相互作用する。
【００２７】
１つ以上の実施形態では、本方法はまた、第１の場所から第２の場所への環境の変化を検出するステップと、第２の場所における１つ以上の付加的表面を決定するステップと、第１の場所に現在表示されている１つ以上の要素を１つ以上の付加的表面にマッチングさせるステップと、１つ以上の要素を仮想コンテンツとして第２の場所における１つ以上の付加的表面上に表示するステップとを含む。１つ以上の付加的表面の決定は、環境の変化が時間的閾値を超えた後に開始される。ユーザは、第１の場所に表示されているアクティブコンテンツを一時停止し、アクティブコンテンツを第２の場所において表示されるように再開し、アクティブコンテンツは、ユーザが第１の場所におけるアクティブコンテンツを一時停止した場所と同一相互作用点において再開する。
【００２８】
１つ以上の実施形態では、本方法はまた、ユーザが第１の場所を離れるにつれて、第１の場所に表示されたコンテンツと関連付けられた場所からユーザに送達されている空間化オーディオをユーザの頭部の中心に指向されるオーディオ仮想スピーカに遷移させるステップと、ユーザの頭部の中心に指向されるオーディオ仮想スピーカから１つ以上の要素を第２の場所に表示する１つ以上の付加的表面からユーザに送達される空間化オーディオに遷移させるステップとを含む。
【００２９】
別の実施形態では、コンテンツを複合現実システムのユーザにプッシュ配信するための方法は、１つ以上の利用可能な表面をユーザの環境から受信するステップを含む。本方法はまた、１つの利用可能な表面の寸法にマッチングさせる１つ以上のコンテンツを１つ以上の利用可能な表面から識別するステップを含む。本方法はさらに、１つ以上のコンテンツの１つ以上の制約と１つの利用可能な表面の１つ以上の表面制約を比較することに基づいて、スコアを計算するステップを含む。さらに、本方法は、コンテンツを最高スコアを有する１つ以上のコンテンツから選択するステップを含む。さらに、本方法は、選択されたコンテンツと１つの利用可能な表面の１対１マッチングを記憶するステップを含む。さらに、利用可能な表面上において、ユーザに、選択されたコンテンツを表示するステップを含む。
【００３０】
１つ以上の実施形態では、ユーザの環境は、ユーザの個人宅である。ユーザの環境からの１つ以上の利用可能な表面は、ユーザの焦点ビュー面積の周辺である。１つ以上のコンテンツは、広告である。広告は、特定の環境に位置するユーザの具体的グループに標的化される。１つ以上のコンテンツは、アプリケーションからの通知である。アプリケーションは、ソーシャルメディアアプリケーションである。１つ以上のコンテンツの１つ以上の制約の制約のうちの１つは、配向である。選択されたコンテンツは、３Ｄコンテンツである。
【００３１】
別の実施形態では、拡張現実（ＡＲ）ディスプレイシステムは、１つ以上のセンサと、外向きに面したカメラを備える、１つ以上のカメラとを含む、頭部搭載型システムを含む。本システムはまた、プログラムコード命令のセットを実行するためのプロセッサを含む。さらに、本システムは、プログラムコード命令のセットを保持するためのメモリであって、プログラムコード命令のセットは、コンテンツを受信するステップを実施するためのプログラムコードを備える、メモリを含む。プログラムコードはまた、コンテンツ内の１つ以上の要素を識別するステップを実施する。さらに、プログラムコードはまた、１つ以上の表面を決定するステップを実施する。加えて、プログラムコードはまた、１つ以上の要素を１つ以上の表面にマッチングさせるステップを実施する。さらに、プログラムコードはまた、１つ以上の要素を仮想コンテンツとして１つ以上の表面上に表示するステップを実施する。
【００３２】
１つ以上の実施形態では、コンテンツは、プル配信コンテンツまたはプッシュ配信コンテンツのうちの少なくとも１つを含む。１つ以上の要素を識別するステップは、コンテンツを解析し、１つ以上の要素を識別するステップを含む。１つ以上の要素を識別するステップは、１つ以上の要素毎に、１つ以上の属性を決定するステップを含む。加えて、プログラムコードはまた、１つ以上の要素を１つ以上の論理構造の中に記憶するステップを実施する。１つ以上の表面は、物理的表面または仮想表面のうちの少なくとも１つを含む。１つ以上の表面を決定するステップは、環境を解析し、１つ以上の表面のうちの少なくとも１つを決定するステップを含む。
【００３３】
１つ以上の実施形態では、１つ以上の表面を決定するステップは、未加工センサデータを受信するステップと、未加工センサデータを簡略化し、簡略化されたデータを生産するステップと、簡略化されたデータに基づいて、１つ以上の仮想表面を作成するステップとを含み、１つ以上の表面は、１つ以上の仮想表面を含む。１つ以上の表面を決定するステップは、１つ以上の表面毎に、１つ以上の属性を決定するステップを含む。加えて、プログラムコードはまた、１つ以上の表面を１つ以上の論理構造の中に記憶するステップを実施する。
【００３４】
１つ以上の実施形態では、１つ以上の要素を１つ以上の表面にマッチングさせるステップは、１つ以上の要素を優先順位化するステップと、１つ以上の要素の要素毎に、要素の１つ以上の属性と１つ以上の表面のそれぞれの１つ以上の属性を比較するステップと、要素の１つ以上の属性および１つ以上の表面のそれぞれの１つ以上の属性に基づいて、マッチングスコアを計算するステップと、最高マッチングスコアを有する最良マッチング表面を識別するステップとを含む。１つの要素は、１つ以上の表面にマッチングされる。コンテンツは、コンテンツプロバイダからデータストリーミングされる。
【００３５】
１つ以上の実施形態では、プログラムコードはまた、少なくとも部分的に、ユーザの変化した視野に基づいて、１つ以上の要素を表示するための１つ以上の表面オプションを表示するステップを実施する。プログラムコードはまた、１つ以上の要素の表示をマッチングされていた１つ以上の表面上にオーバーライドするステップを実施する。プログラムコードはまた、少なくとも部分的に、ユーザが異なる表面に移動されることになる１つ以上の表面に表示される特定の要素を選択することに基づいて、１つ以上の表面上に表示される１つ以上の要素を異なる表面に移動させるステップを実施する。プログラムコードはまた、第１の視野から第２の視野へのユーザの視野の変化に応答して、１つ以上の要素の表示を新しい表面上にゆっくりと移動させ、第２の視野へのユーザの視野の変化に追従させるステップを実施する。
【００３６】
１つ以上の実施形態では、プログラムコードはまた、少なくとも部分的に、ユーザが第１の場所から第２の場所に移動することに基づいて、第１の場所における１つ以上の表面上への１つ以上の要素の表示を一時停止し、第２の場所における１つ以上の他の表面上への１つ以上の要素の表示を再開するステップを実施する。１つ以上の表面を決定するステップは、１つ以上の要素を表示するために、１つ以上の仮想オブジェクトを識別するステップを含む。１つ以上の要素の要素は、ＴＶチャンネルである。
【００３７】
１つ以上の実施形態では、ユーザは、ユーザに表示される１つ以上のアイテムまたはサービスを購入することによって表示される１つ以上の要素の要素と相互作用する。プログラムコードはまた、第１の場所から第２の場所への環境の変化を検出するステップと、第２の場所における１つ以上の付加的表面を決定するステップと、第１の場所に現在表示されている１つ以上の要素を１つ以上の付加的表面にマッチングさせるステップと、１つ以上の要素を仮想コンテンツとして第２の場所における１つ以上の付加的表面上に表示するステップとを実施する。
【００３８】
別の実施形態では、拡張現実（ＡＲ）ディスプレイシステムは、１つ以上のセンサと、外向きに面したカメラを備える、１つ以上のカメラとを含む、頭部搭載型システムを含む。本システムはまた、プログラムコード命令のセットを実行するためのプロセッサを含む。本システムはさらに、プログラムコード命令のセットを保持するためのメモリであって、プログラムコード命令のセットは、１つ以上の利用可能な表面をユーザの環境から受信するステップを実施するためのプログラムコードを備える、メモリを含む。プログラムコードはまた、１つの利用可能な表面の寸法にマッチングさせる１つ以上のコンテンツを１つ以上の利用可能な表面から識別するステップを実施する。プログラムコードはさらに、１つ以上のコンテンツの１つ以上の制約と１つの利用可能な表面の１つ以上の表面制約を比較することに基づいて、スコアを計算するステップを実施する。プログラムコードは、加えて、コンテンツを最高スコアを有する１つ以上のコンテンツから選択するステップを実施する。さらに、プログラムコードは、選択されたコンテンツと１つの利用可能な表面の１対１マッチングを記憶するステップを実施する。プログラムコードはまた、利用可能な表面上において、ユーザに、選択されたコンテンツを表示するステップを実施する。
【００３９】
１つ以上の実施形態では、ユーザの環境は、ユーザの個人宅である。ユーザの環境からの１つ以上の利用可能な表面は、ユーザの焦点ビュー面積の周辺である。１つ以上のコンテンツは、広告である。１つ以上のコンテンツは、アプリケーションからの通知である。１つ以上のコンテンツの１つ以上の制約の制約のうちの１つは、配向である。選択されたコンテンツは、３Ｄコンテンツである。
【００４０】
別の実施形態では、２Ｄコンテンツを分解するためのコンピュータ実装方法は、コンテンツ内の１つ以上の要素を識別するステップを含む。本方法はまた、１つ以上の周囲表面を識別するステップを含む。本方法はさらに、１つ以上の要素を１つ以上の周囲表面にマッピングするステップを含む。さらに、本方法は、１つ以上の要素を仮想コンテンツとして１つ以上の表面上に表示するステップを含む。
【００４１】
１つ以上の実施形態では、コンテンツは、ウェブページである。１つ以上の要素の要素は、ビデオである。１つ以上の周囲表面は、物理的環境内の物理的表面または物理的環境内に物理的に位置しない仮想オブジェクトを含む。仮想オブジェクトは、マルチスタック仮想オブジェクトである。識別された１つ以上の要素の第１の結果のセットおよび識別された１つ以上の周囲表面の第２の結果のセットは、記憶デバイス内のデータベーステーブル内に記憶される。記憶デバイスは、ローカル記憶デバイスである。データベーステーブルは、表面ＩＤ、幅寸法、高さ寸法、配向記述、および基準フレームに対する位置を含む、識別された１つ以上の周囲表面の結果を記憶する。
【００４２】
１つ以上の実施形態では、コンテンツ内の１つ以上の要素を識別するステップは、属性を要素の場所に対応するタグから識別するステップと、ヒントを１つ以上の要素に関するタグから抽出するステップと、１つ以上の要素を記憶するステップとを含む。１つ以上の周囲表面を識別するステップは、ユーザの現在の周囲表面を識別するステップと、ユーザの姿勢を決定するステップと、周囲表面の寸法を識別するステップと、１つ以上の周囲表面を記憶するステップとを含む。１つ以上の要素を１つ以上の周囲表面にマッピングするステップは、マッピングのために、候補周囲表面を識別するための事前に定義されたルールをルックアップするステップと、１つ以上の要素毎に、最良適合表面を選定するステップとを含む。１つ以上の周囲表面上への１つ以上の要素の表示は、拡張現実デバイスによって実施される。
【００４３】
本明細書に説明および図示される個々の実施形態はそれぞれ、他のいくつかの実施形態のいずれかのコンポーネントおよび特徴から容易に分離される、またはそれと組み合わせられ得る、離散コンポーネントおよび特徴を有する。
【００４４】
本開示の特徴、目的、および利点のさらなる詳細は、詳細な説明、図面、および請求項において、下記に説明される。前述の一般的説明および以下の詳細な説明は両方とも、例示的かつ説明的であって、本開示の範囲に関する限定であると意図されるものではない。
【図面の簡単な説明】
【００４５】
図面は、本開示の種々の実施形態の設計および有用性を図示する。図は、縮尺通りに描かれておらず、類似構造または特徴の要素は、図全体を通して、同様の参照番号によって表されることに留意されたい。本開示の種々の実施形態の前述および他の利点および目的を取得するための方法をより深く理解するために、上記で簡単に説明された本開示のより詳細な説明が、添付の図面に図示される、その具体的実施形態を参照することによって与えられるであろう。これらの図面は、本開示の典型的実施形態のみを描写し、したがって、その範囲の限定と見なされるものではないという理解の下、本開示は、添付の図面の使用を通して、付加的具体性および詳細を伴って、説明および解説されるであろう。
【００４６】
【図１Ａ】図１Ａ−１Ｂは、いくつかの実施形態による、コンテンツのコンテンツ要素を空間的３次元（３Ｄ）環境にマッチングさせる、例示的システムおよびコンピュータ実装方法を図示する。
【図１Ｂ】図１Ａ−１Ｂは、いくつかの実施形態による、コンテンツのコンテンツ要素を空間的３次元（３Ｄ）環境にマッチングさせる、例示的システムおよびコンピュータ実装方法を図示する。
【００４７】
【図２Ａ】図２Ａ−２Ｅは、いくつかの実施形態による、コンテンツ要素を空間的３次元（３Ｄ）環境内の表面にマッチングさせるための実施例を図示する。
【図２Ｂ】図２Ａ−２Ｅは、いくつかの実施形態による、コンテンツ要素を空間的３次元（３Ｄ）環境内の表面にマッチングさせるための実施例を図示する。
【図２Ｃ】図２Ａ−２Ｅは、いくつかの実施形態による、コンテンツ要素を空間的３次元（３Ｄ）環境内の表面にマッチングさせるための実施例を図示する。
【図２Ｄ】図２Ａ−２Ｅは、いくつかの実施形態による、コンテンツ要素を空間的３次元（３Ｄ）環境内の表面にマッチングさせるための実施例を図示する。
【図２Ｅ】図２Ａ−２Ｅは、いくつかの実施形態による、コンテンツ要素を空間的３次元（３Ｄ）環境内の表面にマッチングさせるための実施例を図示する。
【００４８】
【図３Ａ】図３Ａ−３Ｂは、いくつかの実施形態による、光および色条件に調節されたウェブコンテンツの実施例を図示する。
【図３Ｂ】図３Ａ−３Ｂは、いくつかの実施形態による、光および色条件に調節されたウェブコンテンツの実施例を図示する。
【００４９】
【図４】図４は、いくつかの実施形態による、コンテンツ要素を３Ｄ環境内に表示されることになる表面に整合させるための方法を図示する、フロー図である。
【００５０】
【図５】図５は、いくつかの実施形態による、コンテンツ内の要素を識別するための方法を図示する、フロー図である。
【００５１】
【図６】図６は、いくつかの実施形態による、表面をユーザの環境から決定するための方法を図示する、フロー図である。
【００５２】
【図７Ａ】図７Ａ−７Ｂは、いくつかの実施形態による、コンテンツからの要素を表面にマッチングさせるための種々の方法を図示する、フロー図である。
【図７Ｂ】図７Ａ−７Ｂは、いくつかの実施形態による、コンテンツからの要素を表面にマッチングさせるための種々の方法を図示する、フロー図である。
【００５３】
【図７Ｃ】図７Ｃは、いくつかの実施形態による、コンテンツをコンテンツがディスプレイ表面内に続いて表示される作業面積に移動させるユーザの実施例を図示する。
【００５４】
【図８】図８は、いくつかの実施形態による、マッチングスコア方法論を図示する。
【００５５】
【図９】図９は、いくつかの実施形態による、世界場所コンテキストのＡＰＩ提供場所特有コンテキストの実施例を図示する。
【００５６】
【図１０】図１０は、いくつかの実施形態による、コンテンツをＶＲ／ＡＲシステムのユーザにプッシュ配信するための方法を図示する、フロー図である。
【００５７】
【図１１】図１１は、いくつかの実施形態による、コンテンツ要素を表面にマッチング／表示するための拡張現実環境を図示する。
【００５８】
【図１２】図１２は、いくつかの実施形態による、コンテンツ要素を表面にマッチング／表示するための拡張現実環境を図示する。
【００５９】
【図１３】図１３Ａ−１３Ｂは、いくつかの実施形態による、例示的両面ウェブページを図示する。
【００６０】
【図１４Ａ】図１４Ａ−１４Ｂは、いくつかの実施形態による、コンテンツからのコンテンツ要素を記憶するための異なる構造の実施例を示す。
【図１４Ｂ】図１４Ａ−１４Ｂは、いくつかの実施形態による、コンテンツからのコンテンツ要素を記憶するための異なる構造の実施例を示す。
【００６１】
【図１５】図１５は、いくつかの実施形態による、ユーザのローカル環境から識別される表面のインベントリを記憶するためのテーブルの実施例を示す。
【００６２】
【図１６】図１６は、いくつかの実施形態による、ウェブリンクのための例示的３Ｄプレビューを示す。
【００６３】
【図１７】図１７は、いくつかの実施形態による、ウェブページの中にエッチングされる３Ｄボリュームを有するウェブページの実施例を示す。
【００６４】
【図１８】図１８は、いくつかの実施形態による、表面へのコンテンツ要素のマッチング／マッピングを記憶するためのテーブルの実施例を示す。
【００６５】
【図１９】図１９は、いくつかの実施形態による、表面にマッチングされたコンテンツ要素を含む、環境の実施例を示す。
【００６６】
【図２０Ａ】図２０Ａ−２０Ｏは、いくつかの実施形態による、コンテンツ要素のための動的環境マッチングプロトコルの実施例を図示する。
【図２０Ｂ】図２０Ａ−２０Ｏは、いくつかの実施形態による、コンテンツ要素のための動的環境マッチングプロトコルの実施例を図示する。
【図２０Ｃ】図２０Ａ−２０Ｏは、いくつかの実施形態による、コンテンツ要素のための動的環境マッチングプロトコルの実施例を図示する。
【図２０Ｄ】図２０Ａ−２０Ｏは、いくつかの実施形態による、コンテンツ要素のための動的環境マッチングプロトコルの実施例を図示する。
【図２０Ｅ】図２０Ａ−２０Ｏは、いくつかの実施形態による、コンテンツ要素のための動的環境マッチングプロトコルの実施例を図示する。
【図２０Ｆ】図２０Ａ−２０Ｏは、いくつかの実施形態による、コンテンツ要素のための動的環境マッチングプロトコルの実施例を図示する。
【図２０Ｇ】図２０Ａ−２０Ｏは、いくつかの実施形態による、コンテンツ要素のための動的環境マッチングプロトコルの実施例を図示する。
【図２０Ｈ】図２０Ａ−２０Ｏは、いくつかの実施形態による、コンテンツ要素のための動的環境マッチングプロトコルの実施例を図示する。
【図２０Ｉ】図２０Ａ−２０Ｏは、いくつかの実施形態による、コンテンツ要素のための動的環境マッチングプロトコルの実施例を図示する。
【図２０Ｊ】図２０Ａ−２０Ｏは、いくつかの実施形態による、コンテンツ要素のための動的環境マッチングプロトコルの実施例を図示する。
【図２０Ｋ】図２０Ａ−２０Ｏは、いくつかの実施形態による、コンテンツ要素のための動的環境マッチングプロトコルの実施例を図示する。
【図２０Ｌ】図２０Ａ−２０Ｏは、いくつかの実施形態による、コンテンツ要素のための動的環境マッチングプロトコルの実施例を図示する。
【図２０Ｍ】図２０Ａ−２０Ｏは、いくつかの実施形態による、コンテンツ要素のための動的環境マッチングプロトコルの実施例を図示する。
【図２０Ｎ】図２０Ａ−２０Ｏは、いくつかの実施形態による、コンテンツ要素のための動的環境マッチングプロトコルの実施例を図示する。
【図２０Ｎ−１】図２０Ａ−２０Ｏは、いくつかの実施形態による、コンテンツ要素のための動的環境マッチングプロトコルの実施例を図示する。
【図２０Ｎ−２】図２０Ａ−２０Ｏは、いくつかの実施形態による、コンテンツ要素のための動的環境マッチングプロトコルの実施例を図示する。
【図２０Ｏ】図２０Ａ−２０Ｏは、いくつかの実施形態による、コンテンツ要素のための動的環境マッチングプロトコルの実施例を図示する。
【００６７】
【図２１】図２１は、いくつかの実施形態による、環境変化の間のオーディオ遷移を図示する。
【００６８】
【図２２】図２２は、本開示の実施形態を実装するために好適な例証的コンピューティングシステムのブロック図である。
【００６９】
【図２３】図２３は、表面間で遷移するコンテンツをユーザに表示するための方法を図示する、フロー図である。
【発明を実施するための形態】
【００７０】
種々の実施形態が、ここで、当業者が本開示を実践することを可能にするように本開示の例証的実施例として提供される、図面を参照して、詳細に説明されるであろう。留意すべきこととして、下記の図および実施例は、本開示の範囲を限定することを意味するものではない。本開示のある要素が、公知のコンポーネント（または方法またはプロセス）を使用して、部分的または完全に実装され得る場合、本開示の理解のために必要である、そのような公知のコンポーネント（または方法またはプロセス）のその部分のみが、説明され、そのような公知のコンポーネント（または方法またはプロセス）の他の部分の詳細な説明は、本開示を曖昧にしないように省略されるであろう。さらに、種々の実施形態は、例証として本明細書に参照されるコンポーネントの現在および将来的に公知の均等物を包含する。
【００７１】
本開示の実施形態は、コンテンツまたはコンテンツ要素を空間的に編成された３Ｄ環境内に表示する。例えば、コンテンツまたはコンテンツ要素は、プッシュ配信コンテンツ、プル配信コンテンツ、ファーストパーティコンテンツ、およびサードパーティコンテンツを含み得る。プッシュ配信コンテンツは、サーバ（例えば、コンテンツデザイナ）がクライアント（例えば、ユーザ）に送信する、コンテンツであって、初期要求は、サーバから生じる。プッシュ配信コンテンツの実施例は、（ａ）株価通知、ニュースフィード等の種々のアプリケーションからの通知、（ｂ）例えば、ソーシャルメディアアプリケーション、電子メール更新、および同等物からの更新および通知等の優先されるコンテンツ、および／または（ｃ）広範な標的グループおよび／または具体的標的グループおよび同等物を標的とする広告を含み得る。プル配信コンテンツは、クライアント（例えば、ユーザ）がサーバ（例えば、コンテンツデザイナ）から要求する、コンテンツであって、初期要求は、クライアントから生じる。プル配信コンテンツの実施例は、（ａ）ユーザが、例えば、ブラウザを使用することによって要求される、ウェブページ、（ｂ）ユーザが、例えば、ビデオおよび／またはオーディオストリーミングアプリケーション等のデータストリーミングアプリケーションを使用することによって要求される、コンテンツプロバイダからのストリーミングデータ、および／または（ｃ）ユーザが要求／アクセス／クエリし得る、任意のデジタルフォーマッティングを含み得る。ファーストパーティコンテンツは、クライアントが所有／使用する任意のデバイス（例えば、携帯電話、タブレット、カメラ、頭部搭載型ディスプレイデバイス、および同等物等のクライアントデバイス）上でクライアント（例えば、ユーザ）によって生成される、コンテンツである。ファーストパーティコンテンツの実施例は、写真、ビデオ、および同等物を含む。サードパーティコンテンツは、クライアントではないパーティ（例えば、テレビネットワーク、映画ストリーミングサービスプロバイダ、ユーザ以外の他者によって作成されたウェブページ、および／またはユーザによって生成されていない任意のデータ）によって生成される、コンテンツである。サードパーティコンテンツの実施例は、ユーザ以外の他者によって生成されたウェブページ、１つ以上のソースから受信されたデータ／オーディオ／ビデオストリームおよび関連付けられたコンテンツ、ユーザ以外の他者によって生成された任意のデータ、および同等物を含み得る。
【００７２】
コンテンツは、頭部搭載型システム上のウェブページおよび／またはアプリケーション、モバイルデバイス（例えば、携帯電話）、タブレット、テレビ、サーバ、および同等物から生じ得る。いくつかの実施形態では、コンテンツは、ラップトップコンピュータ、デスクトップコンピュータ、コンテンツへのリンクを伴う、電子メールアプリケーション、コンテンツへの参照またはリンクを含む、電子メッセージ、および同等物等の別のアプリケーションまたはデバイスから受信されてもよい。以下の詳細な説明は、コンテンツとして、ウェブページの実施例を含む。しかしながら、コンテンツは、任意のコンテンツであってもよく、本明細書に開示される原理が、適用されるであろう。
（ブロック図）
【００７３】
図１Ａは、いくつかの実施形態による、コンテンツのコンテンツ要素を空間的３次元（３Ｄ）環境にマッチングさせる例示的システムおよびコンピュータ実装方法を図示する。システム１００は、コンテンツ構造化プロセス１２０と、環境構造化プロセス１６０と、合成プロセス１４０とを含む。システム１００またはその一部は、頭部搭載型ディスプレイデバイス等のデバイス上に実装されてもよい。
【００７４】
コンテンツ構造化プロセス１２０は、コンテンツ１１０を読み取り、コンテンツ１１０を論理構造の中に編成／記憶し、コンテンツ１１０をアクセス可能にし、コンテンツ要素をコンテンツ１１０からプログラム上より抽出しやすくする、プロセスである。コンテンツ構造化プロセス１２０は、解析器１１５を含む。解析器１１５は、コンテンツ１１０を受信する。例えば、解析器１１５は、コンテンツ１１０をエンティティ（例えば、コンテンツ設計者）から受信する。エンティティは、例えば、アプリケーションであってもよい。エンティティは、システム１００の外部にあってもよい。コンテンツ１１０は、例えば、上記に説明されるように、プッシュ配信コンテンツ、プル配信コンテンツ、ファーストパーティコンテンツ、および／またはサードパーティコンテンツであってもよい。外部ウェブサーバは、コンテンツ１１０が要求されると、コンテンツ１１０をサービス提供してもよい。解析器１１５は、コンテンツ１１０を解析し、コンテンツ１１０のコンテンツ要素を識別する。解析器１１５は、コンテンツ１１０をインベントリ化するために、コンテンツ要素を識別し、続いて、コンテンツのテーブル等の論理構造内に編成および記憶してもよい。コンテンツのテーブルは、例えば、ドキュメントツリーまたはグラフ等のツリー構造および／または関係データベーステーブル等のデータベーステーブルであってもよい。
【００７５】
解析器１１５は、コンテンツ要素毎に、属性を識別／決定および記憶してもよい。コンテンツ要素のそれぞれの属性は、コンテンツ１１０のコンテンツ設計者によって明示的に示されてもよい、または、例えば、コンテンツ１１０内のコンテンツ要素の場所に基づいて、解析器１１５によって決定または推測されてもよい。例えば、コンテンツ要素のそれぞれの属性は、相互に対するコンテンツ１１０内のコンテンツ要素の場所に基づいて、解析器１１５によって決定または推測されてもよい。コンテンツ要素の属性は、下記にさらに詳細に説明される。解析器１１５は、全てのコンテンツ要素のリストとともに、コンテンツ１１０から解析される個別の属性を生成してもよい。コンテンツ要素を解析および記憶後、解析器１１５は、関連付けられた優先順位（例えば、最高から最低）に基づいて、コンテンツ要素を順序付けてもよい。
【００７６】
コンテンツ要素を論理構造内に編成および記憶することのいくつかの利点は、いったんコンテンツ要素が、論理構造の中に編成および記憶されると、システム１００は、コンテンツ要素にクエリし、それを操作し得ることである。例えば、ノードを有するツリー構造として表される、階層／論理構造では、ノードが削除される場合、削除されたノード下の全てのものも、同様に削除され得る。同様に、ノードが移動される場合、ノード下の全てのものも、それとともに移動し得る。
【００７７】
環境構造化プロセス１６０は、環境関連データを解析し、表面を識別する、プロセスである。環境構造化プロセス１６０は、センサ１６２と、コンピュータビジョン処理ユニット（ＣＶＰＵ）１６４と、知覚フレームワーク１６６と、環境解析器１６８とを含んでもよい。センサ１６２は、処理するために、実世界表面に関する未加工データ（例えば、環境からのオブジェクトおよび構造の点群）をＣＶＰＵ１６４に提供する。センサ１６２の実施例は、全地球測位システム（ＧＰＳ）、無線信号センサ（ＷｉＦｉ、Ｂｌｕｅｔｏｏｔｈ（登録商標）等）、カメラ、深度センサ、加速度計三回対称軸および角速度センサ三回対称軸を含む、慣性測定ユニット（ＩＭＵ）、磁力計、レーダ、気圧計、高度計、加速度計、露光計、ジャイロスコープ、および／または同等物を含んでもよい。
【００７８】
ＣＶＰＵ１６４は、未加工データを簡略化またはフィルタリングする。いくつかの実施形態では、ＣＶＰＵ１６４は、雑音を未加工データからフィルタリング除去し、簡略化された未加工データを生産してもよい。いくつかの実施形態では、ＣＶＰＵ１６４は、未加工データおよび／または簡略化された未加工データから、使用され得ない、および／または現在の環境走査タスクに関連し得ないデータをフィルタリング除去し、フィルタリングされたデータを生産してもよい。ＣＶＰＵ１６４は、残りのデータをグループ点群点の中に距離および平面性によって改変し、下流における表面の抽出／識別／決定をより容易にしてもよい。ＣＶＰＵ１６４は、さらなる処理のために、処理された環境データを知覚フレームワーク１６６に提供する。
【００７９】
知覚フレームワーク１６６は、グループ点群点をＣＶＰＵ１６４から受信し、環境データを環境解析器１６８のために準備する。知覚フレームワーク１６６は、構造／表面／平面（例えば、表面のリスト）を作成／決定し、例えば、外部データベース、ローカルデータベース、専用ローカル記憶装置、ローカルメモリ、および同等物等の１つ以上のデータ記憶装置に取り込む。例えば、知覚フレームワーク１６６は、ＣＶＰＵ１６４から受信された全てのグループ化された点群点を順に処理し、実世界表面に対応する仮想構造／表面／平面を作成／決定する。仮想平面は、仮想的に構築された長方形（例えば、レンダリングパイプライン内で２つの三角形に分割される）を作成する、４つの頂点（グループ化された点群点からピックアップされる）であってもよい。知覚フレームワーク１６６によって作成／決定された構造／表面／平面は、環境データと称される。実世界表面にわたってレンダリングおよび重畳されると、仮想表面は、実質的にその対応する１つ以上の実世界表面にわたって置かれる。いくつかの実施形態では、仮想表面は、完全にその対応する１つ以上の実世界表面にわたって置かれる。知覚フレームワーク２８６は、仮想表面と対応する実世界表面の１対１または１対多のマッチング／マッピングを維持してもよい。１対１または１対多のマッチング／マッピングは、クエリするために使用されてもよい。知覚フレームワーク２８６は、環境が変化すると、１対１または１対多のマッチング／マッピングを更新してもよい。
【００８０】
環境解析器１６８は、知覚フレームワーク１６６からの環境データを解析し、環境内の表面を決定する。環境解析器１６８は、オブジェクト認識を使用して、知覚フレームワーク１６６から受信された環境データに基づいて、オブジェクトを識別してもよい。オブジェクト認識に関するさらなる詳細は、「ＰＬＡＮＡＲ  ＷＡＶＥＧＵＩＤＥ  ＡＰＰＡＲＡＴＵＳ  ＷＩＴＨ  ＤＩＦＦＲＡＣＴＩＯＮ  ＥＬＥＭＥＮＴ（Ｓ）  ＡＮＤ  ＳＹＳＴＥＭ  ＥＭＰＬＯＹＩＮＧ  ＳＡＭＥ」と題された米国特許第９，６７１，５６６号および「ＵＳＩＮＧ  ＯＢＪＥＣＴ  ＲＥＣＯＧＮＩＺＥＲＳ  ＩＮ  ＡＮ  ＡＵＧＭＥＮＴＥＤ  ＯＲ  ＶＩＲＵＴＡＬ  ＲＥＡＬＩＴＹ  ＳＹＳＴＥＭ」と題された米国特許第９，７６１，０５５号に説明される。環境解析器１６８は、表面をインベントリ化するための表面のテーブル等の論理構造内に表面を編成および記憶してもよい。表面のテーブルは、例えば、順序付けられたアレイ、階層テーブル、ツリー構造、論理グラフ構造、および／または同等物であってもよい。一実施例では、順序付けられたアレイは、良好な適合表面が決定されるまで、線形に反復されてもよい。一実施例では、具体的パラメータ（例えば、最大表面積）によって順序付けられたツリー構造に関して、最良適合表面は、ツリー内の各表面が要求される面積より小さいまたはより大きいかどうかを持続的に比較することによって決定されてもよい。一実施例では、論理グラフデータ構造では、最良適合表面は、関連隣接性パラメータ（例えば、視認者からの距離）に基づいて検索されてもよい、または具体的表面要求に関する迅速検索を伴うテーブルを有する。
【００８１】
上記に説明されるデータ構造は、環境解析器１６８がランタイム時に決定された表面に対応するデータを記憶し（必要とされる場合、環境変化に基づいて、データを更新し）、表面マッチングを処理し、任意の他のアルゴリズムを起動させる、場所であり得る。一実施形態では、環境解析器１６８に関して上記に説明されるデータ構造は、データがより持続的に記憶される場所ではなくてもよい。データは、データを受信および処理するとき、ランタイムメモリＲＡＭ、外部データベース、ローカルデータベース、および同等物であり得る、知覚フレームワーク１６６によってより持続的に記憶されてもよい。表面を処理する前に、環境解析器１６８は、表面データを持続的記憶装置から受信し、論理データ構造にそれらから取り込み、次いで、マッチングアルゴリズムを論理データ構造上で起動してもよい。
【００８２】
環境解析器１６８は、表面毎に、属性を決定および記憶してもよい。表面のそれぞれの属性は、解析器１１５からのコンテンツのテーブル内のコンテンツ要素の属性に対して有意義であり得る。表面の属性は、下記にさらに詳細に説明される。環境解析器１６８は、全ての表面のリストとともに、環境から解析される個別の属性を生成してもよい。表面を解析および記憶後、環境解析器１６８は、関連付けられた優先順位（例えば、最高から最低）に基づいて、表面を順序付けてもよい。表面の関連付けられた優先順位は、環境解析器１６８が、表面データを持続的記憶装置から受信し、論理データ構造にそれらから取り込むときに確立されてもよい。例えば、論理データ構造が、バイナリ検索ツリーを含む場合、記憶装置からの表面（通常の列挙されるリストで受信される）毎に、環境解析器１６８は、最初に、優先順位を計算し（例えば、表面の１つ以上の属性に基づいて）、次いで、表面を論理データ構造の中のその適切な場所に挿入してもよい。環境解析器１６８は、点群を通して解析し、点の近接度／空間内の関係に基づいて、表面および／または平面を抽出してもよい。例えば、環境解析器１６８は、水平および垂直平面を抽出し、サイズを平面に関連付けてもよい。
【００８３】
コンテンツ構造化プロセス１２０は、コンテンツ１１０を通して解析し、コンテンツ要素を論理構造の中に編成する。環境構造化プロセス１６０は、センサ１６２からのデータを通して解析し、環境からの表面を論理構造の中に編成する。コンテンツ要素を含む論理構造および表面を含む論理構造が、マッチングおよび操作のために使用される。コンテンツ要素を含む論理構造は、表面を含む論理構造と（タイプが）異なり得る。
【００８４】
合成プロセス１４０は、解析器１１５（例えば、論理構造内に記憶されるコンテンツ要素のテーブル）からのコンテンツ要素と環境解析器１６８（例えば、論理構造内に記憶される表面のテーブル）からの環境からの表面をマッチングさせ、どのコンテンツ要素がどの環境の表面上にレンダリング／マッピング／表示されるべきかを決定する、プロセスである。いくつかの実施形態では、図１Ａに図示されるように、合成プロセス１４０は、マッチングモジュール１４２と、レンダリングモジュール１４６と、随意の仮想オブジェクト作成モジュール１４４とを含んでもよい。いくつかの実施形態では、図１Ｂに図示されるように、合成プロセス１４０はさらに、表示モジュール１４８と、受信モジュール１５０とを含んでもよい。
【００８５】
マッチングモジュール１４２は、論理構造内に記憶されるコンテンツ要素を論理構造内に記憶される表面にペアリング／マッチングさせる。マッチングは、コンテンツ要素と表面（例えば、１つのコンテンツ要素と１つの表面、１つのコンテンツ要素と２つ以上の表面、２つ以上のコンテンツ要素と１つの表面等）の１対１または１対多のマッチングであってもよい。いくつかの実施形態では、マッチングモジュール１４２は、コンテンツ要素を表面の一部にペアリング／マッチングさせてもよい。いくつかの実施形態では、マッチングモジュール１４２は、１つ以上のコンテンツ要素を１つの表面にペアリング／マッチングさせてもよい。マッチングモジュール１４２は、コンテンツ要素の属性と表面の属性を比較する。マッチングモジュール１４２は、類似および／または対向属性を共有するコンテンツ要素および表面に基づいて、コンテンツ要素を表面にマッチングさせる。論理構造内に記憶されるコンテンツ要素のそのような編成されたインフラストラクチャおよび論理構造内に記憶される表面を有することは、マッチングルール、ポリシ、および制約が、容易に作成、更新、および実装され、マッチングモジュール１４２によって実施されるマッチングプロセスをサポートおよび改良することを可能にする。
【００８６】
マッチングモジュール１４２は、ユーザ選好、システム選好、および／またはパス可能選好等の１つ以上の選好データ構造にアクセスしてもよく、１つ以上の選好データ構造をマッチングプロセスにおいて使用してもよい。ユーザ選好は、例えば、過去のアクションに基づく集約選好に基づく、モデルであってもよく、特定のコンテンツ要素タイプに特有であってもよい。システム選好は、１つのコンテンツ要素に関して、上位２つ以上の表面を含んでもよく、ユーザは、その２つ以上の表面を通してナビゲートし、好ましい表面を選択する能力を有し得る。上位２つ以上の表面は、ユーザ選好および／またはパス可能選好に基づいてもよい。パス可能選好は、クラウドデータベースから読み出されてもよく、パス可能選好は、例えば、他のユーザ、類似ユーザ、全てのユーザ、類似環境、コンテンツ要素タイプ、および／または同等物のグループ化に基づく、モデルであってもよい。パス可能選好データベースは、消費者データ（例えば、集約消費者データ、消費者試験データ等）を事前に取り込まれ、大規模データセット（例えば、ユーザのデータセット）が蓄積される前でさえ、合理的マッチングを提供し得る。
【００８７】
マッチングモジュール１４２は、少なくとも部分的に、コンテンツベクトル（例えば、配向属性）、頭部姿勢ベクトル（例えば、表面ではない、ＶＲ／ＡＲデバイスの属性）、および１つ以上の表面の面法線ベクトルに基づいて、１つのコンテンツ要素を１つ以上の表面にマッチングさせる。コンテンツベクトル、頭部姿勢ベクトル、および面法線ベクトルは、下記に詳細に説明される。
【００８８】
マッチングモジュール１４２は、コンテンツ要素と表面（例えば、１つのコンテンツ要素と１つの表面、１つのコンテンツ要素と２つ以上の表面、２つ以上のコンテンツ要素と１つの表面等）の少なくとも１対１または１対多のマッチング／マッピングを有する、マッチング結果を生成する。結果は、さらなる処理のために、キャッシュメモリまたは持続的記憶装置内に記憶されてもよい。結果は、マッチングをインベントリ化するために、テーブル内に編成および記憶されてもよい。
【００８９】
いくつかの実施形態では、マッチングモジュール１４２は、マッチング結果を生成してもよく、１つのコンテンツ要素は、コンテンツ要素が複数の表面のうちの任意の１つ上にレンダリングおよび表示され得るように、複数の表面にマッチング／マッピングされてもよい。例えば、コンテンツ要素は、５つの表面にマッチング／マッピングされてもよい。ユーザは、次いで、５つの表面からある表面をコンテンツ要素が次いで表示されるべき好ましい表面として選択してもよい。いくつかの実施形態では、マッチングモジュール１４２は、マッチング結果を生成してもよく、１つのコンテンツ要素は、複数の表面の上位３つにマッチング／マッピングされてもよい。
【００９０】
いくつかの実施形態では、ユーザが、好ましい表面を選定または選択すると、ユーザによって行われる選択は、システム１００が表面に対するコンテンツ要素のより正確かつ精密な推奨を行い得るように、ユーザ選好を更新してもよい。
【００９１】
マッチングモジュール１４２が、全てのコンテンツ要素を少なくとも１つの表面にマッチングさせる、またはコンテンツ要素を破棄する（例えば、他の表面へのマッピングのために、または好適なマッチングを見出さない）場合、合成プロセス１４０は、レンダリングモジュール１４６に進んでもよい。いくつかの実施形態では、マッチング表面を有していないコンテンツ要素に関して、マッチングモジュール１４２は、コンテンツ要素と仮想表面のためのマッチング／マッピングを作成してもよい。いくつかの実施形態では、マッチングモジュール１４２は、マッチング表面を有していないコンテンツ要素を閉じてもよい。
【００９２】
随意の仮想オブジェクト作成モジュール１４４は、仮想平面表面等のコンテンツ要素を表示するための仮想オブジェクトを作成してもよい。マッチングモジュール１４２のマッチングプロセスの間、仮想表面は、あるコンテンツ要素を表示するための随意の表面であり得ることが決定され得る。本決定は、環境解析器１６８によって決定されたテクスチャ属性、占有属性、および／または他の表面の属性および／または解析器１１５によって決定されたコンテンツ要素の属性に基づいてもよい。表面のテクスチャ属性および占有属性は、下記に詳細に説明される。例えば、マッチングモジュール１４２は、テクスチャ属性および／または占有属性が潜在的表面に関する不適格属性であり得ることを決定し得る。マッチングモジュール１４２は、少なくとも、テクスチャ属性および／または占有属性に基づいて、コンテンツ要素が、代替として、代わりに、仮想表面上に表示され得ることを決定し得る。仮想表面の位置は、１つ以上の（実）表面の位置に対するものであってもよい。例えば、仮想表面の位置は、１つ以上の（実）表面の位置から離れたある距離にあってもよい。いくつかの実施形態では、マッチングモジュール１４２は、好適な（実）表面が存在しないことを決定し得る、またはセンサ１６２は、任意の表面を全く検出しない場合があり、したがって、仮想オブジェクト作成モジュール１４４は、コンテンツ要素を表示するための仮想表面を作成してもよい。
【００９３】
いくつかの実施形態では、コンテンツ要素を表示するための仮想オブジェクトを作成するステップは、センサ１６２の特定のセンサまたは複数のセンサから受信されたデータまたは特定のセンサまたは複数のセンサからのセンサ入力の欠如に基づいてもよい。センサ１６２（カメラまたは深度センサ等）の環境中心センサから受信されたデータは、ユーザの現在の物理的環境に基づいて、好適な表面の欠如を示し得る、またはそのようなセンサは、表面の存在を全く判別することができない場合がある（例えば、高度に吸収性の表面は、深度センサの品質に応じて、表面識別を困難にし得る、またはコネクティビティの欠如が、表面情報を提供し得るある共有可能マップへのアクセスを阻ませる）。
【００９４】
いくつかの実施形態では、環境解析器１６８が、ある時間フレーム内にデータをセンサ１６２または知覚フレームワーク１６６から受信しない場合、環境解析器１６８は、好適な表面が存在しないことを受動的に決定し得る。いくつかの実施形態では、センサ１６２は、環境中心センサが表面を決定することができないことを能動的に確認し得、そのような決定を環境解析器１６８またはレンダリングモジュール１４６にパスし得る。いくつかの実施形態では、環境構造化１６０が、環境解析器１６８による受動的決定またはセンサ１６２による能動的確認のいずれかによって、合成プロセス１４０に提供するための表面を有していない場合、合成プロセス１４０は、仮想表面を作成する、または記憶モジュール１５２から等の記憶または登録された表面にアクセスしてもよい。いくつかの実施形態では、環境解析器１６８は、デバイス独自のセンサ１６２からの入力を伴わずに、ホットスポットまたはサードパーティ知覚フレームワークまたは記憶モジュール等から、表面データを直接受信してもよい。
【００９５】
いくつかの実施形態では、ＧＰＳ等のあるセンサは、ユーザが、例えば、開放空間の公園または浜辺等のコンテンツ要素を表示するための好適な表面を有していない場所に存在することを決定し得る、またはデータを提供する唯一のセンサが、マッピング情報を提供せず、代わりに、配向情報を提供するもの（磁力計等）である。いくつかの実施形態では、あるタイプのディスプレイコンテンツ要素は、ユーザの物理的環境内で利用可能ではない場合がある、または検出不可能である、表示表面のタイプを要求し得る。例えば、ユーザは、ユーザのホテルの部屋からある場所まで歩いて行くべき方向を表示する、マップを視認することを所望し得る。ユーザがその場所までナビゲートするにつれて、ユーザが道筋マップのビューを維持するために、ＡＲシステムは、センサ１６２から受信されたデータ（または受信されないこと）に基づいて、ユーザがホテル内のユーザの部屋の開始位置から道筋マップ上の目的地場所まで道筋マップを持続的に視認することを可能にするであろう、環境解析器１６８によって利用可能または検出可能な適正な表面が存在し得ないため、道筋マップを表示するために、仮想表面または画面等の仮想オブジェクトを作成することを検討する必要があり得る。例えば、ユーザは、ネットワークコネクティビティが限定または遮断され得る、エレベータに乗り込む、ホテルから出る、コンテンツ要素を表示するための利用可能な表面が存在し得ない、または雑音が多すぎてセンサが所望の表面を正確に検出することができない、公園等の開放面積を歩行する必要があり得る。本実施例では、表示されるべきコンテンツと、ネットワークコネクティビティの欠如または好適な表示表面の欠如（例えば、ユーザの現在の場所のＧＰＳデータに基づいて）を含み得る、潜在的問題とに基づいて、ＡＲシステムは、環境解析器１６８がセンサ１６２から受信された情報を使用して好適な表示表面を見出すことに依拠することとは対照的に、コンテンツ要素を表示するために仮想オブジェクトを作成することが最良であり得ると決定してもよい。いくつかの実施形態では、コンテンツ要素を表示するために作成される仮想オブジェクトは、プリズムであってもよい。プリズムに関するさらなる詳細は、２０１７年１２月２２日に出願され、「ＭＥＴＨＯＤＳ  ＡＮＤ  ＳＹＳＴＥＭ  ＦＯＲ  ＭＡＮＡＧＩＮＧ  ＡＮＤ  ＤＩＳＰＬＡＹＩＮＧ  ＶＩＲＴＵＡＬ  ＣＯＮＴＥＮＴ  ＩＮ  Ａ  ＭＩＸＥＤ  ＲＥＡＬＩＴＹ  ＳＹＳＴＥＭ」と題された共同所有の米国仮特許出願第６２／６１０，１０１号に説明される。当業者は、コンテンツ要素を（実）表面上に表示することとは対照的に、コンテンツ要素を表示するための仮想表面を作成することがより有益であり得るときのより多くの実施例を理解し得る。
【００９６】
レンダリングモジュール１４６は、コンテンツ要素をそのマッチングされた表面にレンダリングする。マッチングされた表面は、実表面および／または仮想表面を含んでもよい。いくつかの実施形態では、マッチングは、コンテンツ要素と表面との間で行われるが、マッチングは、完璧なマッチングではなくてもよい。例えば、コンテンツ要素は、１０００×５００の２Ｄ面積を要求し得る。しかしながら、最良マッチング表面は、９００×４５０の寸法を有し得る。一実施例では、レンダリングモジュール１４６は、１０００×５００コンテンツ要素をレンダリングし、９００×４５０表面に最良適合させてもよく、これは、例えば、アスペクト比を一定に保ちながらのコンテンツ要素のスケーリングを含んでもよい。別の実施例では、レンダリングモジュール１４６は、１０００×５００コンテンツ要素をクロッピングし、９００×４５０表面内に適合させてもよい。
【００９７】
いくつかの実施形態では、システム１００を実装するデバイスは、移動し得る。例えば、システム１００を実装するデバイスは、第１の部屋から第２の部屋に移動し得る。
【００９８】
いくつかの実施形態では、第１の部屋内の表面（実および／または仮想）にマッチングされたコンテンツ要素は、第１の部屋内の表面にマッチングされたままであってもよい。例えば、システム１００を実装するデバイスは、第１の部屋から第２の部屋に移動し得、第１の部屋内の表面にマッチングされるコンテンツ要素は、第２の部屋内の表面にマッチングされず、したがって、その上にレンダリングされないであろう。デバイスが、次いで、第２の部屋から第１の部屋に移動することになる場合、第１の部屋内の表面にマッチングされたコンテンツ要素は、第１の部屋内の対応する表面にレンダリング／その上に表示されるであろう。いくつかの実施形態では、コンテンツは、第１の部屋内のレンダリングを継続するであろうが、デバイスの視野外となるであろうため、表示されないが、オーディオ再生または再生の時間等のある特徴は、デバイスがマッチングされたコンテンツを視野内に有する状態に戻ったとき、レンダリングがシームレスに再開するであろうように（ユーザが映画を従来のＴＶ上で再生している状態で部屋を離れた場合と同様の効果）、動作を継続するであろう。
【００９９】
いくつかの実施形態では、第１の部屋内の表面にマッチングされたコンテンツ要素は、第２の部屋内の表面にマッチングされてもよい。例えば、システム１００を実装するデバイスは、第１の部屋から第２の部屋に移動し得、デバイスが第２の部屋内に存在した後、環境構造化プロセス１６０および合成プロセス１４０が、生じ／起動／実行し得、コンテンツ要素は、第２の部屋内の表面（実および／または仮想）にマッチングされてもよい。
【０１００】
いくつかの実施形態では、第１の部屋内の表面にマッチングされたいくつかのコンテンツ要素は、第１の部屋内に留まってもよい一方、第１の部屋内の表面にマッチングされた他のコンテンツ要素は、第２の部屋に移動してもよい。例えば、第１の部屋内の表面にマッチングされた第１のセットのコンテンツ要素は、第１の部屋内の表面にマッチングされたまままであってもよい一方、第１の部屋内の表面にマッチングされた第２のセットのコンテンツ要素は、システム１００を実装するデバイスとともに、第２の部屋に移動してもよい。第２のセットのコンテンツ要素は、デバイスが第１の部屋から第２の部屋に進むにつれて、デバイスとともに移動してもよい。コンテンツ要素が第１のセットまたは第２のセット内にあるかどうかは、コンテンツ要素の属性、コンテンツ要素がマッチングされる第１の部屋内の１つ以上の表面の属性、ユーザ選好、システム選好、および／またはパス可能世界選好に基づいて決定されてもよい。これらの種々のシナリオの基礎となるものは、マッチングおよびレンダリングが排他的であり得ることである。すなわち、コンテンツは、表面にマッチングされてもよいが、レンダリングされない。これは、ユーザデバイスが表面に常にマッチングさせる必要はなく、選択的レンダリングがマッチングされた表面における視認コンテンツの再開時の待ち時間を短縮させ得るため、コンピューティングサイクルおよびパワーを節約し得る。
【０１０１】
図１Ｂは、いくつかの実施形態による、コンテンツのコンテンツ要素を空間的３Ｄ環境にマッチングさせる例示的システムおよびコンピュータ実装方法を図示する。システム１０５は、図１Ａと同様に、コンテンツ構造化プロセス１２０と、環境構造化プロセス１６０と、合成プロセス１４０とを含む。図１Ｂの合成プロセス１４０は、表示モジュール１４８および受信モジュール１５０を含む、付加的モジュールを含む。
【０１０２】
上記に述べられたように、マッチングモジュール１４２は、マッチング結果を生成してもよく、１つのコンテンツ要素は、コンテンツ要素が複数の表面のうちの任意の１つ上にレンダリングおよび表示され得るように、複数の表面にマッチング／マッピングされてもよい。表示モジュール１４８は、コンテンツ要素、またはコンテンツ要素の輪郭、またはコンテンツ要素の低減された分解能バージョン（本明細書ではそれぞれ、「候補ビュー」と称される）を、複数の表面上または単一表面の複数の部分内に表示する。いくつかの実施形態では、複数の表面ディスプレイは、ユーザに一度に単一候補ビューのみが見え、付加的候補ビューオプションを通して１つずつサイクリングまたはスクロールさせ得るように、連続的である。いくつかの実施形態では、全ての候補ビューが、同時に表示され、ユーザは、単一候補ビューを選択する（音声コマンド、ハードウェアインターフェースへの入力、眼追跡等によって）。受信モジュール１５０は、複数の表面の表面上の１つの候補ビューの選択をユーザから受信する。選択された候補ビューは、好ましい表面と称され得る。好ましい表面は、将来的マッチングが、受信モジュール１５０からマッチングモジュール１４２への情報フロー１５６または記憶モジュール１５２からマッチングモデル１４２への情報フロー１５４によって示されるように、コンテンツ要素を表面にマッチングさせるとき、そのような選好から利点を享受し得るように、ユーザ選好またはパス可能選好として記憶モジュール１５２内に保存されてもよい。情報フロー１５６は、数回の反復後、いくつかの実施形態によると、ユーザ選好がシステムおよび／またはパス可能選好より優先し始め得るような反復プロセスであってもよい。比較として、情報フロー１５４は、その瞬間のユーザ、または同一環境に進入する、またはコンテンツをその中に表示することを所望する、他のユーザに、常時、マッチング優先順位を与えられるであろうように、固定出力であってもよい。システムおよび／またはパス可能選好は、ユーザ選好に優先し得るが、より多くの情報フロー１５６が、図１Ａのシステム１００または図１Ｂの１０５のユーザの使用にわたって継続するにつれて、ユーザ選好は、自然学習プロセスアルゴリズムを通して、システムによって優先され始め得る。したがって、いくつかの実施形態では、コンテンツ要素は、そうでなければマッチングモジュール１４２にコンテンツ要素を他の場所に設置させるであろう、他の表面または環境入力の可用性にかかわらず、好ましい表面上にレンダリング／表示するであろう。同様に、情報フロー１５４は、その環境内に一度も存在したことがなく、第１のユーザが有する好ましい表面への反復情報フロー１５６を構築していない、第２のユーザのために、好ましい表面とのレンダリング／表示マッチングを規定してもよい。
【０１０３】
有利なこととして、センサデータおよび仮想モデルが、概して、短期コンピュータメモリ内に記憶されるにつれて、好ましい表面を記憶する、持続的記憶モジュールは、コンテンツ設置セッション間にデバイスシャットダウンが存在した場合、合成プロセス１４０を通してより迅速にサイクリングし得る。例えば、センサ１６２が、第１のセッションにおいて、コンテンツをマッチングさせるために、深度情報を収集し、環境構造化１６０を通して、仮想メッシュ再構成を作成し、システムシャットダウンがその環境データを記憶するランダムアクセスメモリを空にする場合、システムは、次のマッチングセッションのために、再開時に、環境構造化パイプラインを繰り返す必要があるであろう。しかしながら、コンピューティングリソースが、記憶モジュール１５２によって保存されているため、環境構造化プロセス１６０の完全反復を伴わずに、マッチング１４２が、好ましい表面情報で更新される。
【０１０４】
いくつかの実施形態では、コンテンツ要素は、一度に上位３つの表面全ての上に表示されてもよい。ユーザは、次いで、ある表面を上位３つの表面から好ましい表面として選択してもよい。いくつかの実施形態では、コンテンツ要素は、コンテンツ要素が２つの他の表面上にも表示され得ることのユーザへのインジケーションとともに、一度に上位３つの表面の１つのみの上に表示されてもよい。ユーザは、次いで、他の表面オプションを通してナビゲートしてもよく、各表面オプションがユーザによってアクティブ化されるにつれて、コンテンツ要素は、アクティブ化された表面上に表示されてもよい。ユーザは、次いで、ある表面を表面オプションから好ましい表面として選択してもよい。
【０１０５】
図２Ａ−２Ｅは、ユーザの物理的環境１１０５内の３つの可能性として考えられる場所にマッチングされる、コンテンツ要素（例えば、コンピュータ、スマートフォン、タブレット、テレビ、ウェブブラウザ、画面等のモニタ）を描写する。図２Ａは、視認場所提案２１４によって示されるように、コンテンツ要素が３つの可能性として考えられる場所にマッチング／マッピングされている様子を示す。視認場所提案２１４内の左手側上に表示される３つの白色ドットは、３つのディスプレイ場所が存在し得ることを示す。「ｘ」を伴う第４の白色ドットは、視認場所提案２１４を閉じ、ユーザが「ｘ」を選定するとき、選択／ハイライトされたディスプレイ場所に基づいて、好ましいディスプレイ場所の選択を示すための閉じるボタンであり得る。ディスプレイ場所２１２ａは、左手側上の３つの白色ドットのハイライトされた第１の白色ドットによって示されるように、コンテンツ要素を表示するための第１のオプションである。図２Ｂは、ディスプレイ場所２１２ｂが、左手側上の３つの白色ドットのハイライトされた第２の白色ドットによって示されるように、コンテンツ要素を表示するための第２のオプションである、同一ユーザ環境１１０５を示す。図２Ｃは、ディスプレイ場所２１２ｃが、左手側上の３つの白色ドットのハイライトされた第３の白色ドットによって示されるように、コンテンツ要素を表示するための第３のオプションである、同一ユーザ環境１１０５を示す。当業者は、ユーザが選定するための表示オプションを示すための他のアプローチも存在し得、図２Ａ−２Ｃに図示される実施例が、単に、一実施例であることを理解し得る。例えば、別のアプローチは、一度に全ての表示オプションを表示し、ユーザに、ＶＲ／ＡＲデバイスを使用して（例えば、コントローラ、視線等を介して）、好ましいオプションを選択させることであってもよい。
【０１０６】
ＡＲシステムは、仮想コンテンツが投影し得る、ある視野を有し、そのような視野が、典型的には、ヒトの全視野の潜在性未満であることを理解されたい。ヒトは、概して、１１０〜１２０度の自然視野を有することができ、いくつかの実施形態では、ＡＲシステム２２４の表示視野は、図２Ｄに描写されるように、本潜在性未満であって、表面候補２１２ｃが、ユーザの自然視野内にあるが、デバイスの視野外であり得ることを意味する（例えば、システムは、コンテンツをその表面上にレンダリングすることが可能であるが、実際には、コンテンツを表示しないであろう）。いくつかの実施形態では、視野属性（属性は、下記にさらに説明される）が、表面に割り当てられ、表面がデバイスの表示野のために表示されるコンテンツをサポートすることが可能であるかどうかを示す。いくつかの実施形態では、ディスプレイの視野外の表面は、上記に説明されるように、オプションを表示するためにユーザに提示されない。
【０１０７】
いくつかの実施形態では、デフォルト位置２１２が、図２Ｅに描写されるように、仮想表面として、事前に規定された距離（デバイスのディスプレイシステムのある焦点距離仕様等）におけるユーザの真正面にある。ユーザは、次いで、デフォルト位置２１２を、頭部姿勢またはジェスチャまたはセンサ１６２によって測定された他の入力手段等によって、環境内の所望の位置（例えば、記憶装置２８５からの登録された場所または合成プロセス１４０からのマッチングされた表面のいずれか）に調節してもよい。いくつかの実施形態では、デフォルト位置は、ユーザが環境を通して移動するにつれて、デフォルト位置２１２がユーザの視野（本実施形態では、ディスプレイの表示野と同一である）と実質的に同一部分内に留まるように、ユーザに対して固定されたままであってもよい。
【０１０８】
図２Ｅはまた、実施例として、仮想ＴＶと関連付けられた３つのＴＶアプリケーションプレビュー（例えば、ＴＶＡｐｐ１、ＴＶＡｐｐ２、ＴＶＡｐｐ３）を有する、仮想テレビ（ＴＶ）をデフォルト位置２１２に図示する。３つのＴＶアプリケーションは、異なるＴＶチャンネル／ＴＶコンテンツプロバイダに対応する、異なるＴＶチャンネルまたは異なるＴＶアプリケーションに対応してもよい。ユーザは、仮想ＴＶの下方に示される個別のＴＶアプリケーション／チャンネルを選択することによって、ＴＶ再生のための単一チャンネルを抽出してもよい。ユーザは、（ａ）トーテムを用いて、チャンネルを標的化し、（ｂ）トーテム上のトリガを押下し、チャンネルを選択し、トリガをある時間周期（例えば、約１秒）にわたって保持し、（ｃ）トーテムを移動させ、抽出されたＴＶチャンネルを表示するための環境内の所望の場所を識別し、（ｄ）トーテム上のトリガを押下し、抽出されたＴＶチャンネルを環境内の所望の場所に設置することによって、ＴＶのためのチャンネルを抽出してもよい。仮想コンテンツを選択するステップはさらに、２０１５年１０月２０日に優先権を主張し、「ＳＥＬＥＣＴＩＮＧ  ＶＩＲＴＵＡＬ  ＯＢＪＥＣＴＳ  ＩＮ  Ａ  ＴＨＲＥＥ−ＤＩＭＥＮＳＩＯＮＡＬ  ＳＰＡＣＥ」と題された、米国特許出願第１５／２９６，８６９号に説明される。
【０１０９】
所望の場所は、ＴＶチャンネルを表示するために好適な表面または本開示の教示に従って識別された他の表面であってもよい。いくつかの実施形態では、新しいプリズムが、新しいプリズム内にロードおよび表示される選択されたチャンネルコンテンツとともに、所望の場所に作成されてもよい。トーテムに関するさらなる詳細は、「ＰＬＡＮＡＲ  ＷＡＶＥＧＵＩＤＥ  ＡＰＰＡＲＡＴＵＳ  ＷＩＴＨ  ＤＩＦＦＲＡＣＴＩＯＮ  ＥＬＥＭＥＮＴ（Ｓ）  ＡＮＤ  ＳＹＳＴＥＭ  ＥＭＰＬＯＹＩＮＧ  ＳＡＭＥ」と題された米国特許第９，６７１，５６６号に説明される。いくつかの実施形態では、３つのＴＶアプリケーションは、チャンネルコンテンツの動的または静的描写を表示することによって、個別のチャンネル上で再生されている内容を見るための小開口である、「チャンネルプレビュー」であってもよい。いくつかの実施形態では、（ｃ）トーテムを移動させ、抽出されたＴＶチャンネルを表示するための環境内の所望の場所を識別する間、映像が、ユーザに示されてもよい。映像は、例えば、チャンネルを例証する単一画像、チャンネルのプレビューを例証する１つ以上の画像、チャンネルの現在のコンテンツを例証するビデオストリーム、および同等物であってもよい。ビデオストリームは、例えば、低分解能または高分解能であってもよく、利用可能なリソースおよび／または帯域幅の関数として、（分解能、フレームレート等が）変動してもよい。
【０１１０】
図２Ａ−２Ｅは、コンテンツ（例えば、仮想コンテンツとしての要素）をユーザ（例えば、特定の頭部姿勢に基づく）のオリジナル視野内に表示するための異なる表示オプションを図示する。いくつかの実施形態では、ユーザの視野は、変化し得る（例えば、ユーザがその頭部をある視野から別の視野に移動させる）。変化した視野の結果、コンテンツを表示するための付加的表面オプションが、少なくとも部分的に、ユーザの視野の変化（例えば、頭部姿勢の変化）に基づいて、ユーザに利用可能になってもよい。コンテンツを表示するための付加的表面オプションはまた、少なくとも部分的に、ユーザのオリジナル視野内で元々利用可能ではないが、ユーザの視野の変化に基づいて、現時点でユーザに可視である、他の表面に基づいて、利用可能になってもよい。したがって、図２Ａ−２Ｄの視認場所オプション２１４はまた、コンテンツを表示するための付加的オプションを描写してもよい。例えば、図２Ａ−２Ｄは、３つの表示オプションを描写する。ユーザの視野が変化するにつれて、より多くの表示オプションは、利用可能になってもよく、これは、付加的表示オプションを示すためのより多くのドットを表示する視認場所オプション２１４をもたらし得る。同様に、新しい視野が、より少ない表面オプションを有する場合、視認場所オプション２１４は、コンテンツが新しい視野に表示されるために利用可能ないくつかの表示オプションを示すために、３つ未満のドットを表示してもよい。したがって、ユーザの変化した視野に基づいて、コンテンツを表示するための１つ以上の付加的表面オプションが、選択のためにユーザに表示されてもよく、変化した視野は、ユーザの頭部姿勢の変化に対応する。
【０１１１】
いくつかの実施形態では、ユーザは、第１の視野を有し得る。第１の視野は、コンテンツを表示するための表面オプションを生成するために使用され得る。例えば、第１の視野内の３つの表面オプションが、コンテンツ要素を表示するために利用可能であり得る。ユーザは、次いで、その視野を第１の視野から第２の視野に変化させ得る。第２の視野は、次いで、コンテンツを表示するために付加的表面オプションを生成するために使用され得る。例えば、第２の視野内の２つの表面オプションが、コンテンツ要素を表示するために利用可能であり得る。第１の視野内の表面と第２の視野内の表面との間には、合計５つの表面オプションが存在し得る。５つの表面オプションは、ユーザに、視認場所提案として表示されてもよい。ユーザが、第２の視野内を見ており、第１の視野内の視認場所提案を選択する場合、ユーザは、ユーザに選択された表面オプション／視認場所を視認するために第１の視野に戻るように示される方向にナビゲートすべきであることを示す、第１の視野の方向におけるインジケーション（例えば、矢印、光彩等）を受信し得る。
【０１１２】
いくつかの実施形態では、ユーザは、第１の視野内の第１の表面上に表示されるコンテンツを視認し得る。第１の視野は、関連付けられた第１の頭部姿勢を有し得る。ユーザが、その視野を第１の視野から第２の視野に変化させる場合、ある時間周期後、システムは、ユーザに、コンテンツの表示場所を第１の視野内の第１の表面から第２の視野内の１つ以上の表面オプションに変化させるためのオプションを提供してもよい。第２の視野は、関連付けられた第２の頭部姿勢を有し得る。いくつかの実施形態では、システムは、いったんユーザの視野が、第１の視野から第２の視野に、したがって、第１の頭部姿勢から第２の頭部姿勢に変化され、第１の頭部姿勢および第２の頭部姿勢が、頭部姿勢変化閾値を上回る位置の変化を有すると、ユーザに、コンテンツを移動させるためのオプションを直ちに提供してもよい。いくつかの実施形態では、ユーザが、第２の視野、したがって、第２の頭部姿勢の状態のままである時間閾値（例えば、５秒）が、システムがユーザにコンテンツの表示場所を変化させるためのオプションを提供するかどうかを決定してもよい。いくつかの実施形態では、コンテンツの表示場所を変化させるためのオプションを提供することからシステムをトリガするための視野の変化は、対応する頭部姿勢変化閾値未満（例えば、第１の視野、したがって、第１の頭部姿勢の方向に対して任意の方向に９０度未満）等の若干の変化であってもよい。いくつかの実施形態では、頭部姿勢の変化は、システムがユーザにコンテンツの表示場所を変化させるためのオプションを提供する前に、頭部姿勢変化閾値を上回ってもよい（例えば、任意の方向に９０度を上回る）。したがって、変化した視野に基づく、コンテンツを表示するための１つ以上の付加的表面オプションは、少なくとも部分的に、変化した視野に対応する時間閾値に基づいて表示されてもよい。いくつかの実施形態では、ユーザの変化した視野に基づいて、コンテンツを表示するための１つ以上の付加的表面オプションは、少なくとも部分的に、頭部姿勢変化閾値に基づいて表示されてもよい。
【０１１３】
いくつかの実施形態では、システムは、コンテンツを視認するユーザが第１の頭部姿勢を有する、１つ以上の第１の表面上に、コンテンツをレンダリング／表示してもよい。コンテンツを視認するユーザは、その頭部姿勢を第１の頭部姿勢から第２の頭部姿勢に変化させ得る。頭部姿勢の変化に応答して、システムは、コンテンツを視認するユーザが第２の頭部姿勢を有する、１つ以上の第２の表面上に、コンテンツをレンダリング／表示してもよい。いくつかの実施形態では、システムは、ユーザに、コンテンツのレンダリング／表示場所を１つ以上の第１の表面から１つ以上の第２の表面に変化させるためのオプションを提供してもよい。いくつかの実施形態では、システムは、いったんユーザの頭部姿勢が、第１の頭部姿勢から第２の頭部姿勢に変化すると、ユーザに、コンテンツを移動させるためのオプションを直ちに提供してもよい。いくつかの実施形態では、システムは、頭部姿勢変化が対応する頭部姿勢変化閾値（例えば、９０度）を上回る場合、ユーザに、コンテンツのレンダリング／表示場所を変化させるためのオプションを提供してもよい。いくつかの実施形態では、システムは、頭部姿勢変化が閾値時間周期（例えば、５秒）にわたって維持される場合、ユーザに、コンテンツのレンダリング／表示場所を変化させるためのオプションを提供してもよい。いくつかの実施形態では、コンテンツのレンダリング／表示場所を変化させるためのオプションを提供するようにシステムをトリガするための頭部姿勢の変化は、対応する頭部姿勢変化閾値未満（例えば、９０度未満）等の若干の変化であってもよい。
（属性）
一般的属性
【０１１４】
上記に述べられたように、解析器１１５は、コンテンツ要素毎に、属性を識別／決定および記憶してもよく、環境解析器１６８は、表面毎に、属性を決定および記憶してもよい。コンテンツ要素の属性は、コンテンツ１１０のコンテンツ設計者によって明示的に示されてもよい、または解析器１１５によって決定または別様に推測されてもよい。表面の属性は、環境解析器１６８によって決定されてもよい。
【０１１５】
コンテンツ要素および表面の両方が有し得る属性は、例えば、配向、アスペクト比、寸法、面積（例えば、サイズ）、相対的視認位置、色、コントラスト、可読性インデックス、および／または時間を含む。これらの属性に関するさらなる詳細が、下記に提供される。当業者は、コンテンツ要素および表面が付加的属性を有してもよいことを理解し得る。
【０１１６】
コンテンツ要素および表面に関して、配向属性は、配向を示す。配向値は、垂直、水平、および／または具体的角度（例えば、水平に関して０度、垂直に関して９０度、または角度付けられた配向に関して０〜９０度の間の任意の場所）を含んでもよい。具体的角度配向属性は、度またはラジアン単位で規定／決定されてもよい、またはｘ−軸またはｙ−軸に対して規定／決定されてもよい。いくつかの実施形態では、傾斜された表面は、例えば、ある傾角角度で流動するコンテンツの水流を表示し、異なる芸術的作品を示すために定義されてもよい。いくつかの実施形態では、コンテンツ要素に関して、アプリケーションのナビゲーションバーが、水平配向であるが、特定の角度において傾斜されるように定義されてもよい。
【０１１７】
コンテンツ要素および表面に関して、アスペクト比属性は、アスペクト比を示す。アスペクト比属性は、例えば、４：３または１６：９比率として規定されてもよい。コンテンツ要素は、コンテンツ要素のアスペクト比属性および対応する１つ以上の表面に基づいて、スケーリングされてもよい。いくつかの実施形態では、システムは、他のコンテンツ要素の属性（例えば、寸法および／または面積）に基づいて、コンテンツ要素（例えば、ビデオ）のアスペクト比を決定し、決定されたアスペクト比に基づいて、コンテンツ要素をスケーリングしてもよい。いくつかの実施形態では、システムは、他の表面の属性に基づいて、表面のアスペクト比を決定してもよい。
【０１１８】
アスペクト比属性内には、コンテンツ要素のコンテンツ設計者がコンテンツ要素が維持または変化されるための特定のアスペクト比を推奨するために使用し得る、特定のプロパティが存在し得る。一実施例では、本特定のプロパティが、「維持」または類似キーワードまたは語句に設定される場合、コンテンツ要素のアスペクト比は、維持される（すなわち、変化されない）であろう。一実施例では、本特定の属性が、例えば、「自由」または類似キーワードまたは語句に設定される場合、コンテンツ要素のアスペクト比は、変化され（例えば、スケーリングまたはその他）、例えば、コンテンツ要素がマッチングされる１つ以上の表面のアスペクト比にマッチングさせてもよい。アスペクト比属性のデフォルト値は、コンテンツ要素のオリジナルアスペクト比を維持するためのものであってもよく、アスペクト比属性のデフォルト値は、コンテンツ設計者がコンテンツ要素のアスペクト比属性のためのある他の値またはキーワードを指定する場合、および／またはシステムがアスペクト比属性がコンテンツ要素を１つ以上の表面により良好にマッチングさせるように上書きされるべきであることを決定する場合、上書きされてもよい。
【０１１９】
コンテンツ要素および表面に関して、寸法属性は、寸法を示す。コンテンツ要素の寸法属性は、ピクセル（例えば、８００ピクセル×６００ピクセル）の関数として、コンテンツ要素の寸法を示してもよい。表面の寸法属性は、メートル（例えば、０．８メートル×０．６メートル）または任意の他の測定単位の関数として、表面の寸法を示してもよい。表面の寸法属性は、表面の測定可能範囲を示してもよく、測定可能範囲は、長さ、範疇、深度、および／または高さを含んでもよい。コンテンツ要素に関して、寸法属性は、コンテンツ要素を表示するための表面のある形状および外部サイズを提案するように、コンテンツ設計者によって規定されてもよい。
【０１２０】
コンテンツ要素および表面に関して、面積属性は、面積またはサイズを示す。コンテンツ要素の面積属性は、ピクセル（例えば、４８０，０００平方ピクセル）の関数として、コンテンツ要素の面積を示してもよい。表面の面積属性は、メートル（例えば、４８平方メートル）または任意の他の測定単位の関数として、表面の面積を示してもよい。表面に関して、面積は、ユーザによって知覚される知覚面積であってもよい、または絶対面積であってもよい。知覚面積は、コンテンツ要素がユーザのより近くに表示されるとき、コンテンツ要素は、より小さいサイズであるように知覚され、コンテンツ要素がユーザからより遠くに離れているとき、コンテンツ要素は、依然として、同一の特定のサイズであるようにユーザによって知覚されるように、適宜、拡大され、コンテンツ要素がユーザのより近くに来るとき、その逆も同様であり得るように、ユーザからの表示されるコンテンツ要素の角度および距離とともに増加される絶対面積によって定義されてもよい。絶対面積は、環境内の表示されるコンテンツ要素からの距離にかかわらず、単に、例えば、平方メートルによって定義されてもよい。
【０１２１】
コンテンツ要素および表面に関して、相対的視認位置属性は、ユーザの頭部姿勢ベクトルに対する位置に関する。頭部姿勢ベクトルは、ユーザによって装着される頭部搭載型デバイスの位置および配向の組み合わせであってもよい。位置は、環境および／またはユーザ感知システムから受信された情報を使用して実世界座標系内で追跡される、ユーザの頭部上に装着されているデバイスの固定点であってもよい。ユーザの頭部姿勢ベクトルの配向成分は、頭部搭載型デバイスにローカルの３次元デバイス座標系と３次元実世界座標系との間の関係によって定義されてもよい。デバイス座標系は、３つの直交方向、すなわち、デバイスを通したユーザの前方の通視線に近似する、前向きに面した視認方向、デバイスの直立方向、およびデバイスの右方向によって定義されてもよい。他の基準方向はまた、選定されてもよい。環境および／またはユーザ感知システム内のセンサによって取得される情報は、実世界座標系に対するローカル座標系の配向を決定するために使用されてもよい。
【０１２２】
デバイス座標系をさらに例証するために、ユーザが、デバイスを装着しており、上下逆に吊架されている場合、そのユーザおよびデバイスに関する直立方向は、実際には、地面に向かって向いている方向（例えば、重力の下向き方向）である。しかしながら、ユーザの視点から、デバイスの相対的直立方向は、依然として、ユーザの直立方向と整合する。例えば、ユーザが、上下逆に吊架されている間、典型的上／下左／右方式で本を読んでいる場合、ユーザは、正常に立っており、上下逆に吊架されていない、他者によって、実世界座標系からは、本を上下逆に保持しているように見られるであろうが、ユーザの視点に近似する、ローカルデバイス座標系に対しては、本は、直立に配向されている。
【０１２３】
コンテンツ要素に関して、相対的視認位置属性は、コンテンツ要素が頭部姿勢ベクトルに対して表示されるべき位置を示し得る。表面に関して、相対的視認位置属性は、ユーザの頭部姿勢ベクトルに対する環境内の表面の位置を示し得る。前向きに面した視認方向ベクトル等の頭部姿勢ベクトルの成分ベクトルもまた、表面の相対的視認位置属性を決定するための、および／またはコンテンツ要素に関する相対的視認位置属性を決定するための基準として使用されてもよいことを理解されたい。例えば、コンテンツ設計者は、検索バー等のコンテンツ要素が、常時、ユーザの頭部姿勢ベクトルに対してユーザの左または右に最大３０度であるべきであって、ユーザが左または右に３０度を上回って移動する場合、検索バーが、依然として、ユーザの頭部姿勢ベクトルの左または右に３０度以内であるように、調節されるべきであることを示してもよい。いくつかの実施形態では、コンテンツは、瞬間的に調節される。いくつかの実施形態では、コンテンツは、いったん時間閾値が満たされると調節される。例えば、ユーザが、左または右に３０度を上回って移動すると、検索バーは、５秒の時間閾値が経過した後に調節されるべきである。
【０１２４】
相対的視認角度が、ユーザの頭部姿勢ベクトルに対してある角度または角度範囲を維持するように規定されてもよい。例えば、ビデオ等のコンテンツ要素は、ビデオがユーザの前向きに面した視認ベクトルに略直交する表面上に表示されるべきであることを示す、相対的視認位置属性を有し得る。ユーザが、壁等の表面の正面に立っており、真正面を見ている場合、ユーザの前向きに面した視認ベクトルに対する壁の相対的視認位置属性は、コンテンツ要素の相対的視認位置属性要件を満たし得る。しかしながら、ユーザが床を見下ろしている場合、壁の相対的視認位置属性は、変化し、床の相対的視認位置属性は、コンテンツ要素の相対的視認位置属性要件をより良好に満たす。そのようなシナリオでは、コンテンツ要素は、壁ではなく、床上に投影されるように移動されてもよい。いくつかの実施形態では、相対的視認位置属性は、ユーザからの深度または距離であってもよい。いくつかの実施形態では、相対的視認位置属性は、ユーザの現在の視認位置に対する相対的位置であってもよい。
【０１２５】
コンテンツ要素および表面に関して、色属性は、色を示す。コンテンツ要素に関して、色属性は、１つ以上の色、色が変化され得るかどうか、不透明度、および同等物を示してもよい。表面に関して、色属性は、１つ以上の色、色勾配、および同等物を示してもよい。色属性は、可読性および／またはコンテンツ要素の知覚／コンテンツ要素が表面上で知覚されるであろう方法と関連付けられてもよい。いくつかの実施形態では、コンテンツ設計者は、コンテンツ要素の色を、例えば、白色または明色として定義してもよい。いくつかの実施形態では、コンテンツ設計者は、システムがコンテンツ要素（例えば、企業のロゴ）の色を変化させることを所望しない場合がある。これらの実施形態では、システムは、コンテンツ要素が表示される１つ以上の表面の背景を変化させ、可読性のために必要なコントラストを作成してもよい。
【０１２６】
コンテンツ要素および表面に関して、コントラスト属性は、コントラストを示す。コンテンツ要素に関して、コントラスト属性は、現在のコントラスト、コントラストが変化され得るかどうか、コントラストが変化され得る方法に関する方向、および同等物を示してもよい。表面に関して、コントラスト属性は、現在のコントラストを示してもよい。コントラスト選好属性は、可読性および／またはコンテンツ要素の知覚／コンテンツ要素が表面上で知覚されるであろう方法と関連付けられてもよい。いくつかの実施形態では、コンテンツ設計者は、コンテンツ要素が表面の背景に対して高コントラストを伴って表示されることを所望する場合がある。例えば、コンテンツ要素のあるバージョンは、コンピュータ、スマートフォン、タブレット等のモニタ上で、黒色背景上の白色テキストとして、ウェブページ内に提示されてもよい。白色壁が、同様に白色であるテキストコンテンツ要素を表示するようにマッチングされてもよい。いくつかの実施形態では、システムは、テキストコンテンツ要素をより暗い色（例えば、黒色）に変化させ、コントラストを提供し、コントラスト属性を満たしてもよい。
【０１２７】
いくつかの実施形態では、システムは、表面の背景色を変化させ、色および／またはコントラストを提供し、コンテンツ要素を変化させずに、色および／またはコントラスト属性を満たしてもよい。システムは、仮想表面を（実）表面の場所に作成することによって、（実）表面の背景色を変化させてもよく、仮想表面の色は、所望される背景色である。例えば、ロゴの色が変化されるべきではない場合、システムは、表面の背景色を変化させ、色コントラストを提供し、ロゴを保存しながら、色および／またはコントラスト選好属性を満たすことによって、適正なコントラストを提供してもよい。
【０１２８】
コンテンツ要素および表面に関して、可読性インデックス属性は、可読性メトリックを示してもよい。コンテンツ要素に関して、可読性インデックス属性は、コンテンツ要素に関して維持されるべき可読性メトリックを示す。コンテンツ要素に関して、システムは、可読性インデックス属性を使用して、他の属性に関する優先順位を決定してもよい。例えば、システムは、可読性インデックスがコンテンツ要素に関して「高」である場合、これらの属性に関する優先順位を「高」に設定してもよい。いくつかの実施例では、コンテンツ要素が、合焦されており、適正なコントラストが存在する場合でも、システムは、可読性インデックス属性に基づいて、コンテンツ要素をスケーリングし、可読性メトリックが維持されることを確実にしてもよい。いくつかの実施形態では、特定のコンテンツ要素に関する高可読性インデックス属性値は、特定のコンテンツ要素の優先順位が「高」に設定される場合、他のコンテンツ要素に関する他の明示的属性を率先または優先させてもよい。表面に関して、可読性インデックス属性は、表面上に表示される場合、テキストを含むコンテンツ要素がユーザによって知覚されるであろう方法を示し得る。
【０１２９】
テキスト視認性は、純粋なＶＲ環境にとって、解決が困難な問題である。本問題は、実世界色、明度、照明、反映、および他の能力が、ＡＲデバイスによってレンダリングされたテキストを読み取るユーザ能力に直接影響を及ぼすため、ＡＲ環境内では、さらにより複雑になる。例えば、ウェブブラウザによってレンダリングされたウェブコンテンツは、主に、テキスト駆動され得る。実施例として、ＪａｖａＳｃｒｉｐｔ（登録商標）  ＡＰＩ（例えば、現在のＷ３Ｃ  Ｃａｍｅｒａ  ＡＰＩの新しい拡張子を介して）のセットは、コンテンツ設計者に、現在の世界パレットおよびフォントおよび背景色のためのコントラスト代替パレットを提供し得る。ＪａｖａＳｃｒｉｐｔ（登録商標）  ＡＰＩのセットは、コンテンツ設計者が、実単語配色に従って、ウェブコンテンツ配色を調節し、コンテンツコントラストおよびテキスト視認性（例えば、可読性）を改良するための一意の能力を提供し得る。コンテンツ設計者は、ウェブコンテンツに関するより良好な視認性を提供するようにフォント色を設定することによって、本情報を使用し得る。これらのＡＰＩは、本情報をリアルタイムで追跡するために使用されてもよく、したがって、ウェブページは、環境の光変化に対して、適宜、そのコントラストおよび配色を調節してもよい。例えば、図３Ａは、ウェブコンテンツ３１３が、少なくとも、ウェブコンテンツ３１３のテキストが明配色で表示され、暗い実世界環境に対して読みやすくなるように調節することによって、暗い実世界環境の光および色条件に対して調節される様子を図示する。図３Ａに図示されるように、ウェブコンテンツ３１３内のテキストは、明色を有し、ウェブコンテンツ３１３内の背景は、暗色を有する。図３Ｂは、ウェブコンテンツ３１５が、少なくとも、ウェブコンテンツ３１５のテキストが暗配色で表示され、明るい実世界環境に対して読みやすくなるように調節することによって、明るい実世界環境の光および色条件に対して調節される様子を図示する。図３Ｂに図示されるように、ウェブコンテンツ３１５内のテキストは、暗色を有し、ウェブコンテンツ３１３内の背景は、明色を有する。当業者は、例えば、ウェブコンテンツ３１３（例えば、より暗い背景およびより明るいテキスト）またはウェブコンテンツ３１５（例えば、より明るい背景およびより暗いテキスト）の背景色等の他の要因もまた、テキストが、より少なくとも部分的に、実世界環境の光および色条件に基づいて、読みやすくなり得るように、色のコントラストを提供するために、調節されてもよいことを理解し得る。いくつかの実施形態では、ユーザが、属性解析器またはコンテンツ設計者とは対照的に、あまりに多くのコントラストまたは知覚されるアーチファクトを生産し得る、テキストの表示のための純白背景を回避する等、好ましい外観に基づいて、背景色を選択する、または背景色を調節してもよい。例えば、ユーザ入力に応答して、ＪａｖａＳｃｒｉｐｔ（登録商標）  ＡＰＩが、コンテンツの背景色を調節してもよく、コンテンツのテキスト色またはユーザの視野内の他のコンテンツの配色等の種々の関連付けられた特徴が、次いで、適宜、調節されてもよい。
【０１３０】
コンテンツ要素に関して、時間属性は、コンテンツ要素が表示されるべき時間を示す。時間属性は、短（例えば、５秒未満）、中（例えば、５秒〜３０秒）、長（例えば、３０秒を上回る）であってもよい。いくつかの実施形態では、時間属性は、無限であってもよい。時間属性が、無限である場合、コンテンツ要素は、閉じられ、および／または他の別のコンテンツ要素がロードされるまで、留まり得る。いくつかの実施形態では、時間属性は、入力の関数であってもよい。一実施例では、コンテンツ要素が、記事である場合、時間属性は、ユーザが記事の最後に到達したことを示す入力の関数であって、閾値時間周期にわたってそこに留まってもよい。一実施例では、コンテンツ要素が、ビデオである場合、時間属性は、ユーザがビデオの最後に到達したことを示す、入力の関数であってもよい。
【０１３１】
表面に関して、時間属性は、表面が利用可能となるであろう時間を示す。時間属性は、短（例えば、５秒未満）、中（例えば、５秒〜３０秒）、長（例えば、３０秒を上回る）であってもよい。いくつかの実施形態では、時間属性は、無限であってもよい。いくつかの実施形態では、時間属性は、例えば、センサ１６２からのセンサ入力の関数であってもよい。センサ１６２、例えば、ＩＭＵ、加速度計、ジャイロスコープ、および同等物からのセンサ入力が、デバイスの視野に対する表面の可用性を予測するために使用されてもよい。一実施例では、ユーザが、歩行している場合、ユーザの近傍の表面は、短時間属性を有し得、ユーザから少し離れた表面は、中時間属性を有し得、距離が離れた表面は、長時間属性を有し得る。一実施例では、ユーザが、長椅子上でじっと座ったままである場合、ユーザの正面の壁は、閾値を上回るデータの変化がセンサ１６２から受信されるまで、無限時間属性を有し得、その後、ユーザの正面の壁の時間属性は、無限から別の値に変化してもよい。
（コンテンツ要素属性）
【０１３２】
コンテンツ要素は、例えば、優先順位、表面のタイプ、位置タイプ、マージン、コンテンツのタイプ、および／または焦点属性等のコンテンツ要素に特有の属性を有してもよい。これらの属性に関するさらなる詳細が、下記に提供される。当業者は、コンテンツ要素が付加的属性を有してもよいことを理解し得る。
【０１３３】
優先順位属性は、コンテンツ要素（例えば、ビデオ、写真、またはテキスト）に関する優先順位値を示す。優先順位値は、高、中、または低優先順位、例えば、０〜１００に及ぶ数値、および／または要求または要求されないインジケータを含んでもよい。いくつかの実施形態では、優先順位値は、コンテンツ要素自体に関して規定されてもよい。いくつかの実施形態では、優先順位値は、具体的属性に関して規定されてもよい。例えば、コンテンツ要素に関する可読性インデックス属性は、高に設定され、コンテンツ設計者が強調をコンテンツ要素の可読性上に設置していることを示してもよい。
【０１３４】
表面のタイプ属性または「表面タイプ」属性は、コンテンツ要素がマッチングされるべき表面のタイプを示す。表面タイプ属性は、あるコンテンツ要素が、ある場所内および／またはある表面上に設置されるべきかどうか等の意味論に基づいてもよい。いくつかの実施例では、コンテンツ設計者は、特定のコンテンツ要素を窓または絵画にわたって表示しないように提案してもよい。いくつかの実施例では、コンテンツ設計者は、常時、特定のコンテンツ要素をユーザの実質的に正面の最大垂直表面上に表示することを提案してもよい。
【０１３５】
位置タイプ属性は、コンテンツ要素の位置を示す。位置タイプ属性は、動的または固定されてもよい。動的位置タイプは、例えば、コンテンツ要素が、ユーザの手が移動すると、コンテンツ要素がユーザの手とともに動的に移動するように、ユーザの手に添着されると仮定してもよい。固定位置タイプは、例えば、コンテンツ要素が、表面、環境内の具体的位置、またはユーザの身体または頭部／視認位置に対する仮想世界に対して固定されると仮定し、その実施例は、以下により詳細に説明される。
【０１３６】
用語「固定」にはまた、（ａ）世界固定、（ｂ）オブジェクト／表面固定、（ｃ）身体固定、および（ｄ）頭部固定等の異なるレベルが存在し得る。（ａ）世界固定に関して、コンテンツ要素は、世界に対して固定される。例えば、ユーザが世界内で動き回る場合、コンテンツ要素は、移動せず、世界に対する場所に固定されたままである。（ｂ）オブジェクト／表面固定に関して、コンテンツ要素は、オブジェクトまたは表面が移動される場合、コンテンツ要素がオブジェクトまたは表面とともに移動するように、オブジェクトまたは表面に固定される。例えば、コンテンツ要素は、ユーザが保持しているメモ帳に固定されてもよい。この場合、コンテンツは、メモ帳の表面に固定されたオブジェクトであって、適宜、メモ帳とともに移動する。（ｃ）身体固定に関して、コンテンツ要素は、ユーザの身体に対して固定される。ユーザが、その身体を移動させる場合、コンテンツ要素は、ユーザとともに移動し、ユーザの身体に対して固定位置を維持する。（ｄ）頭部固定に関して、コンテンツ要素は、ユーザの頭部または姿勢に対して固定される。ユーザが、その頭部を回転させる場合、コンテンツ要素は、ユーザの頭部移動に対して移動するであろう。また、ユーザが歩行する場合、コンテンツ要素もまた、ユーザの頭部に対して移動するであろう。
【０１３７】
マージン（またはパディング）属性は、コンテンツ要素の周囲のマージンを示す。マージン属性は、他のコンテンツ要素に対するコンテンツ要素の場所を説明する、レイアウト属性である。例えば、マージン属性は、コンテンツ要素境界から別のコンテンツ要素の最近傍許容可能境界までの距離を表す。いくつかの実施形態では、距離は、ｘ，ｙ，ｚ座標ベースのマージンであって、コンテンツ要素境界の頂点または他の指定される場所から測定されてもよい。いくつかの実施形態では、距離は、極座標ベースのマージンであって、コンテンツ要素の中心またはコンテンツ要素の頂点等の他の指定される場所から測定されてもよい。いくつかの実施形態では、マージン属性は、コンテンツ要素からコンテンツ要素の内側の実際のコンテンツまでの距離を定義する。いくつかの実施形態では、分解されるコンテンツ要素等に関して、マージン属性は、マージンがコンテンツ要素とマッチングされた表面との間のオフセットとしての役割を果たすように、分解されるコンテンツ要素がマッチングされる表面の境界に対して維持されるべきマージンの量を表す。いくつかの実施形態では、マージン属性は、コンテンツ要素自体から抽出されてもよい。
【０１３８】
コンテンツのタイプ属性または「コンテンツタイプ」属性は、コンテンツ要素に関するタイプを示す。コンテンツタイプは、対応するメディアへの参照および／またはリンクを含んでもよい。例えば、コンテンツタイプ属性は、コンテンツ要素を画像、ビデオ、音楽ファイル、テキストファイル、ビデオ画像、３Ｄ画像、３Ｄモデル、コンテナコンテンツ（例えば、コンテナ内にラッピングされ得る、任意のコンテンツ）、広告、および／またはコンテンツ設計者定義レンダリングキャンバス（例えば、２Ｄキャンバスまたは３Ｄキャンバス）として規定してもよい。コンテンツ設計者定義レンダリングキャンバスは、例えば、ゲーム、レンダリング、マップ、データ可視化、および同等物を含んでもよい。広告コンテンツタイプは、ユーザが、特定のコンテンツ要素またはその近傍に合焦するとき、ユーザに提示されるべき音または広告を定義する、属性を含んでもよい。広告は、（ａ）鳴音等の聴覚的、（ｂ）ビデオ／画像／テキスト等の視覚的、および／または（ｃ）ユーザのコントローラまたはヘッドセットおよび同等物における振動等の触覚的インジケータであってもよい。
【０１３９】
焦点属性は、コンテンツ要素が合焦されるべきどうかを示す。いくつかの実施形態では、焦点は、ユーザおよびコンテンツ要素が表示される表面からの距離の関数であってもよい。コンテンツ要素に関する焦点属性が、常時、合焦されるように設定される場合、システムは、ユーザがコンテンツ要素からどんなに遠く離れても、コンテンツ要素を合焦されたままに保つ。コンテンツ要素に関する焦点属性が、規定されない場合、システムは、ユーザがコンテンツ要素からある距離にあるとき、コンテンツを合焦外にしてもよい。これは、例えば、寸法属性、面積属性、相対的視認位置属性、および同等物等の他のコンテンツ要素の属性に依存し得る。
（表面属性）
【０１４０】
表面は、例えば、表面輪郭、テクスチャ、および／または占有属性等の表面に特有の属性を有してもよい。これらの属性に関するさらなる詳細が、下記に提供される。当業者は、表面が付加的属性を有してもよいことを理解し得る。
【０１４１】
いくつかの実施形態では、環境解析器１６８は、１つおよび／または全ての表面に関する面法線ベクトル、配向ベクトル、および／または直立ベクトル等の表面輪郭属性（および関連付けられた属性）を決定してもよい。３Ｄの場合、点Ｐにおける表面に対する面法線、または単に、法線は、点Ｐにおける表面に対する接線平面と垂直なベクトルである。用語「法線」はまた、形容詞、すなわち、平面に対して法線の線、力に対する法線成分、法線ベクトル、および同等物として使用されてもよい。
【０１４２】
上記に議論される、ユーザおよび頭部姿勢ベクトルの少なくとも１つの成分を囲繞する環境表面の面法線ベクトルは、表面のある属性（例えば、サイズ、テクスチャ、アスペクト比等）が、あるコンテンツ要素（例えば、ビデオ、３次元モデル、テキスト等）を表示するために理想的であり得るが、そのような表面が、ユーザの頭部姿勢ベクトルの少なくとも１つの成分ベクトルによって近似されるにつれて、ユーザの通視線に対して対応する面法線の不良位置付けを有し得るため、マッチングモジュール１４２にとって重要であり得る。面法線ベクトルとユーザの頭部姿勢ベクトルを比較することによって、そうでなければ表示されるコンテンツにとって適切であり得る表面は、不適格にされる、またはフィルタリングされてもよい。
【０１４３】
例えば、表面の面法線ベクトルは、ユーザの頭部姿勢ベクトルと実質的に同一方向にあり得る。これは、ユーザおよび表面が、相互に向かってではなく、同一方向に面していることを意味する。例えば、ユーザの前方方向が、北に面する場合、北に向いている法線ベクトルを有する表面がユーザの背面に面するか、またはユーザが表面の背面に面しているかのいずれかである。ユーザが、表面がユーザに背を向けているため、表面を見ることができない場合、その特定の表面は、そうでなければ提示され得るその表面に関する有益な属性値であるにもかかわらず、コンテンツを表示するための最適表面ではなくなるであろう。
【０１４４】
ユーザの前向きに面した視認方向に近似する、デバイスの前向きに面した視認ベクトルと、面法線ベクトルとの間の比較は、数値を提供してもよい。例えば、ドット積関数が、２つのベクトルを比較し、２つのベクトル間の相対的角度を説明する数値関係を決定するために使用されてもよい。そのような計算は、１〜−１の数をもたらし得、より負の値は、ユーザが表面上に設置された仮想コンテンツを快適に見ることが可能であろうように、表面がユーザの前向きに面した視認方向に直交するように近接するため、視認のためにより好ましい相対的角度に対応する。したがって、識別された面法線ベクトルに基づいて、良好な表面選択のための特性は、コンテンツがユーザの前向きに面した視認ベクトルに向かって面する表面上に表示されるべきであるように、ユーザの頭部姿勢ベクトルまたはその成分に対するものであってもよい。制約が、頭部姿勢ベクトル成分と面法線成分との間の容認可能関係上に課されてもよいことを理解されたい。例えば、ユーザの前向きに面した視認ベクトルとの負のドット積をもたらす全ての表面は、コンテンツ表示のために検討され得るように選択されてもよい。コンテンツに応じて、容認可能範囲に影響を及ぼす、コンテンツプロバイダまたはアルゴリズムまたはユーザ選好が、考慮されてもよい。ビデオがユーザの前方方向に対して略法線に表示される必要がある、インスタンスでは、より小さいドット積出力の範囲が、可能にされ得る。当業者は、多くの設計オプションが、他の表面属性、ユーザ選好、コンテンツ属性、および同等物に応じて可能性として考えられることを理解されるであろう。
【０１４５】
いくつかの実施形態では、表面は、サイズおよび場所および頭部姿勢視点から、優れた適合であり得るが、表面は、表面がテクスチャ属性および／または占有属性等の属性を含み得るため、選択のための良好なオプションではない場合がある。テクスチャ属性は、提示するための清潔かつクリアな表面の単純外観を提示のために理想的ではない雑然とした表面に変化させ得る、材料および／または設計を含み得る。例えば、煉瓦壁は、コンテンツを表示するために理想的な大規模な開けた面積を有し得る。しかしながら、煉瓦壁内の赤色の積層された煉瓦のため、システムは、煉瓦壁を、直接その上にコンテンツを表示するために望ましくないと見なし得る。これは、表面のテクスチャが、煉瓦とモルタルとの間としての粗度変動およびコンテンツとのより強いコントラスト複雑性を誘発し得る非中立赤色を有するためである。別の望ましくないテクスチャ実施例は、背景設計パターンおよび色だけではなく、表面粗度変動を作成する吹き出しまたは非均一アプリケーション等の不完全性に関する壁紙設計を有する、表面を含み得る。いくつかの実施形態では、壁紙設計は、コンテンツを壁紙上に直接表示することがコンテンツを好ましいビューに表示することになり得ない、非常に多くのパターンおよび／または色を含み得る。占有属性は、付加的コンテンツを表面が占有されていることを示す値を有する特定の表面に表示することが、新しいコンテンツが占有しているコンテンツにわたって表示されない、またはその逆である結果をもたらし得るように、表面が別のコンテンツによって現在占有されていることを示し得る。いくつかの実施形態では、占有属性は、表面を占有する小実世界欠陥またはオブジェクトの存在に留意させる。そのような占有する実世界オブジェクトは、センサ群１６２内の深度センサにとって判別不能であるが、センサ１６２内のカメラによって顕著であり得る、無視可能である表面積のアイテム（亀裂または釘等）を含み得る。他の占有する実世界オブジェクトは、その上に配置される表面に伴って低テクスチャ変動を有する、壁から吊架されている写真またはポスターを含み得、いくつかのセンサ１６２によって表面と異なると区別されない場合があるが、１６２のカメラは、認識し得、占有属性は、適宜、表面を更新し、表面が「空キャンバス」であるというシステムによる決定を除外する。
【０１４６】
いくつかの実施形態では、コンテンツは、その相対的位置が（実）表面に関連する、仮想表面上に表示されてもよい。例えば、表面を示すテクスチャ属性が、単純／清潔ではなく、および／または占有属性が、表面が占有されていることを示す場合、コンテンツは、例えば、マージン属性公差内の（実）表面の正面の仮想表面上に表示されてもよい。いくつかの実施形態では、コンテンツ要素に関するマージン属性は、テクスチャ属性および／または表面の占有属性の関数である。
（フロー）
コンテンツ要素と表面のマッチング（概要）
【０１４７】
図４は、いくつかの実施形態による、コンテンツ要素を表面にマッチングさせるための方法を図示する、フロー図である。本方法は、４１０において、コンテンツを受信するステップと、４２０において、コンテンツ内のコンテンツ要素を識別するステップと、４３０において、表面を決定するステップと、４４０において、コンテンツ要素を表面内にマッチングさせるステップと、４５０において、コンテンツ要素を仮想コンテンツとしてマッチングされた表面上にレンダリングするステップとを含む。解析器１１５は、コンテンツ１１０を受信する４１０。解析器１１５は、コンテンツ１１０内のコンテンツ要素を識別する４２０。解析器１１５は、コンテンツ要素毎に、属性を識別／決定および記憶してもよい。環境解析器１６８は、環境内の表面を決定する４３０。環境解析器１６８は、表面毎に、属性を決定および記憶してもよい。いくつかの実施形態では、環境解析器１６８は、環境内の表面を持続的に決定する４３０。いくつかの実施形態では、環境解析器１６８は、解析器１１５がコンテンツ１１０を受信し４１０、および／またはコンテンツ１１０内のコンテンツ要素を識別する４２０につれて、環境内の表面を決定する４３０。マッチングモジュール１４２は、コンテンツ要素の属性および表面の属性に基づいて、コンテンツ要素を表面にマッチングさせる４４０。レンダリングモジュール１４６は、コンテンツ要素をそのマッチングされた表面にレンダリングする４５０。記憶モジュール１５２は、将来におけるコンテンツ要素をその表面上に設置するためのユーザ指定等による将来的使用のために、表面を登録する。いくつかの実施形態では、記憶モジュール１５２は、知覚フレームワーク１６６内にあってもよい。
（コンテンツ内のコンテンツ要素の識別）
【０１４８】
図５は、いくつかの実施形態による、コンテンツ内のコンテンツ要素を識別するための方法を図示する、フロー図である。図５は、いくつかの実施形態による、図４の４２０におけるコンテンツ内の要素を識別するステップを開示する詳細なフローである。本方法は、図４の４２０におけるコンテンツ内の要素を識別するステップと同様に、５１０において、コンテンツ内のコンテンツ要素を識別するステップを含む。本方法は、属性を識別／決定する次のステップ５２０に進む。例えば、属性は、コンテンツの場所に関するタグから識別／決定されてもよい。例えば、コンテンツ設計者は、コンテンツを設計および構成しながら、属性（上記に説明される）を使用してコンテンツ要素を表示する場所および方法を定義してもよい。属性は、相互に対する特定の場所におけるコンテンツ要素の場所に関連してもよい。いくつかの実施形態では、属性を識別／決定するステップ５２０は、属性を推測するステップを含んでもよい。例えば、コンテンツ要素のそれぞれの属性は、相互に対するコンテンツ内のコンテンツ要素の場所に基づいて、決定または推測されてもよい。ヒント／タグを各コンテンツ要素から抽出するステップが、５３０において実施される。ヒントまたはタグは、コンテンツのコンテンツ設計者によって提供される、フォーマッティングヒントまたはフォーマッティングタグであってもよい。コンテンツ要素に関する代替表示形態をルックアップ／検索するステップが、５４０において実施される。あるフォーマッティングルールが、特定の視認デバイス上に表示されるコンテンツ要素に関して規定されてもよい。例えば、あるフォーマッティングルールは、ウェブページ上の画像に関して規定されてもよい。システムは、代替表示形態にアクセスしてもよい。識別されたコンテンツ要素を記憶するステップが、５５０において実施される。本方法は、コンテンツ要素を表面にマッチングさせるために合成プロセス１４０において使用されるために、識別された要素を非一過性記憶媒体の中に記憶してもよい。いくつかの実施形態では、コンテンツ要素は、一過性記憶媒体内に記憶されてもよい。
（環境内の表面の決定）
【０１４９】
図６は、いくつかの実施形態による、ユーザの環境から表面を決定するための方法を図示する、フロー図である。図６は、図４の４３０における表面を決定するステップを開示する例示的詳細なフローである。図６は、６１０において、表面を決定するステップから開始する。６１０において表面を決定するステップは、環境の深度情報をセンサ１６２の深度センサから収集するステップと、再構成および／または表面分析を実施するステップとを含んでもよい。いくつかの実施形態では、センサ１６２は、点のマップを提供し、システム１００は、点間の一連の接続される頂点を再構成し、環境を表す仮想メッシュを作成する。いくつかの実施形態では、平面抽出または分析が、実施され、共通表面または表面の内容（例えば、壁、天井等）の解釈を示す、メッシュプロパティを決定する。本方法は、６２０において、ユーザの姿勢を決定する次のステップに進み、これは、頭部姿勢ベクトルをセンサ１６２から決定するステップを含んでもよい。いくつかの実施形態では、センサ１６２は、慣性測定ユニット（ＩＭＵ）データを収集し、ユーザ上のデバイスの回転を決定する。いくつかの実施形態では、センサ１６２は、カメラ画像を収集し、実世界に対するユーザ上のデバイスの位置を決定する。いくつかの実施形態では、頭部姿勢ベクトルが、ＩＭＵおよびカメラ画像データの一方または両方から導出される。６２０においてユーザの姿勢を決定するステップは、ユーザの姿勢が表面に関連するユーザに関する視点を提供するであろうため、表面を識別するための重要なステップである。６３０において、本方法は、表面の属性を決定する。各表面は、対応する属性とタグ付けおよびカテゴリ化される。本情報は、コンテンツ要素および表面をマッチングさせるときに使用されるであろう。いくつかの実施形態では、図１からのセンサ１６２は、処理するために、未加工データをＣＶＰＵ１６４に提供し、ＣＶＰＵ１６４は、環境解析器１６８のためのデータを準備するために、処理されたデータを知覚フレームワーク１６６に提供する。環境解析器１６８は、知覚フレームワーク１６６からの環境データを解析し、環境内の表面および対応する属性を決定する。６４０において、本方法は、抽出された要素を特定の表面にマッチング／マッピングするために、合成プロセス／マッチング／マッピングルーチンによって使用されるように、表面のインベントリを非一過性記憶媒体の中に記憶する。非一過性記憶媒体は、データ記憶デバイスを含んでもよい。決定された表面は、下記に説明される図１５に開示されるテーブル等の特定のテーブル内に記憶されてもよい。いくつかの実施形態では、識別された表面は、一過性記憶媒体内に記憶されてもよい。いくつかの実施形態では、６４０における記憶するステップは、コンテンツ要素の将来的マッチングのために、表面を好ましい表面として指定するステップを含む。
（コンテンツ要素と表面のマッチング）（詳細）
【０１５０】
図７Ａ−７Ｂは、コンテンツ要素を表面にマッチングさせるための種々の方法を図示する、フロー図である。
【０１５１】
図７Ａは、いくつかの実施形態による、コンテンツ要素を表面にマッチングさせるための方法を図示する、フロー図を描写する。図７Ａは、図４の４４０におけるコンテンツ要素を表面にマッチングさせるステップを開示する詳細なフローである。
【０１５２】
７１０において、本方法は、識別されたコンテンツ要素がコンテンツ設計者によって提供されるヒントを含有するどうかを決定する。コンテンツ設計者は、コンテンツ要素を最良に表示するための場所に関するヒントを提供してもよい。
【０１５３】
いくつかの実施形態では、これは、３Ｄ環境が利用可能である場合、既存のタグ要素（例えば、ＨＴＭＬタグ要素）を使用して、コンテンツ要素が表示され得る方法をさらに定義することによって遂行されてもよい。別の実施例として、コンテンツ設計者は、３Ｄ画像が、２Ｄ画像の代わりに、特定のコンテンツ要素のためのリソースとして利用可能であることを述べる、ヒントを提供してもよい。例えば、２Ｄ画像の場合、コンテンツ設計者は、基本タグを提供して、コンテンツ要素のためのリソースを識別することに加え、他の頻繁に使用されないタグを提供し、２Ｄ画像に対応する３Ｄ画像を含む、リソースを識別し、加えて、３Ｄ画像が使用される場合、それをユーザのビューの正面に顕著に表示するためのヒントを提供してもよい。いくつかの実施形態では、コンテンツ設計者は、コンテンツをレンダリングするディスプレイデバイスが３Ｄ画像を活用するための３Ｄ表示機能性を有し得ない場合、単に、本付加的「ヒント」を２Ｄ画像のためのリソースに提供してもよい。
【０１５４】
７２０において、本方法は、コンテンツ設計者によって提供されるヒントを使用すべきか、またはコンテンツ要素を表面にマッチング／マッピングするための事前に定義されたルールのセットを使用すべきであるかどうかを決定する。いくつかの実施形態では、特定のコンテンツ要素に関して、コンテンツ設計者によって提供されるヒントが存在しない場合、本システムおよび方法は、事前に定義されたルールのセットを使用して、特定のコンテンツ要素を表面にマッチング／マッピングするための最良方法を決定してもよい。いくつかの実施形態では、コンテンツ設計者によって提供されるコンテンツ要素に関するヒントが存在し得るときでも、本システムおよび方法は、コンテンツ要素を表面にマッチング／マッピングするための事前に定義されたルールのセットを使用することが最良であり得ることを決定してもよい。例えば、コンテンツプロバイダが、ビデオコンテンツを水平表面上に表示するためのヒントを提供するが、システムが、ビデオコンテンツを垂直表面上に表示するための事前に定義されたルールに関して設定されている場合、事前に定義されたルールが、ヒントをオーバーライドしてもよい。いくつかの実施形態では、本システムおよび方法は、コンテンツ設計者によって提供されるヒントが十分であって、したがって、ヒントを使用して、コンテンツ要素を表面にマッチング／マッピングすることを決定してもよい。最終的には、コンテンツ要素を表面にマッチング／マッピングするために、コンテンツ設計者によって提供されるヒントを使用すべきか、または事前に定義されたルールを使用すべきであるかどうかを決定することは、システムの最終決定による。
【０１５５】
７３０において、システムが、コンテンツ設計者によって提供されるヒントを利用する場合、本システムおよび方法は、ヒントを分析し、少なくとも部分的に、ヒントに基づいて、特定のコンテンツ要素を表示するために使用され得る、識別された周囲表面を含む、論理構造を検索する。
【０１５６】
７４０において、本システムおよび方法は、最良適合アルゴリズムを起動し、提供されるヒントに基づいて、特定のコンテンツ要素に関する最良適合表面を選定する。最良適合アルゴリズムは、例えば、直接ビューを提案する特定のコンテンツ要素に関するヒントを得て、ユーザの現在の視野に対する正面および中心である表面を識別しようとしてもよい。
【０１５７】
７５０において、本システムおよび方法は、コンテンツ要素と表面のマッチングを有する、マッチング結果を記憶する。テーブルが、コンテンツ要素をそのそれぞれのマッチング／マッピングされた表面上に表示するためにディスプレイアルゴリズムによって使用されるように非一過性記憶媒体内に記憶されてもよい。
【０１５８】
図７Ｂは、いくつかの実施形態による、コンテンツ要素からの要素を表面にマッチング／マッピングするための方法を図示する、フロー図を描写する。図７Ｂは、図１の種々の要素を参照して図４のステップ４４０に開示されるように、論理構造内に記憶されるコンテンツ要素と論理構造内に記憶される表面のマッチング／マッピングを図示する、フローである。
【０１５９】
７１５において、図１からのコンテンツ構造化プロセス１２０から生じる論理構造内に記憶されるコンテンツ要素は、関連付けられた優先順位に基づいて順序付けられる。いくつかの実施形態では、コンテンツ設計者は、コンテンツ要素毎に、優先順位属性を定義してもよい。コンテンツ設計者が、コンテンツ要素毎に優先順位を設定し、あるコンテンツ要素が環境内で顕著に表示されることを確実にすることは、有益であり得る。いくつかの実施形態では、コンテンツ構造化プロセス１２０は、例えば、コンテンツ設計者がコンテンツ要素に関する優先順位を定義していない場合、コンテンツ要素に関する優先順位を決定してもよい。いくつかの実施形態では、システムは、いずれのコンテンツ要素も開発者提供優先順位属性を有していない場合、表面配向のドット積関係をデフォルト優先順位属性にするであろう。
【０１６０】
７２５において、コンテンツ要素の属性が、表面の属性と比較され、コンテンツ要素にマッチングする表面が存在するかどうかを識別し、最良マッチング表面を決定する。例えば、最高関連付け優先順位（例えば、図１４Ａに関して下記にさらに詳細に説明されるように、「主」または親要素ＩＤ）を伴うコンテンツ要素から開始し、システムは、コンテンツ要素の属性と表面の属性を比較し、最良マッチング表面を識別し、次いで、第２の最高関連付け優先順位を伴うコンテンツ要素等に進み、したがって、コンテンツ要素を含む論理構造を順次トラバースしてもよい。
【０１６１】
７３５において、マッチングスコアが、コンテンツ要素の属性が対応する最良マッチング表面の属性にマッチングする程度に基づいて計算される。当業者は、多くの異なるスコア化アルゴリズムおよびモデルがマッチングスコアを計算するために使用されてもよいことを理解し得る。例えば、いくつかの実施形態では、スコアは、コンテンツ要素の属性値と表面の属性値の単純総和である。図８は、種々のマッチングスコア方法論を図示する。
【０１６２】
図８は、下記の図１４Ａ−１４Ｂにさらに詳細に説明される論理構造内にあり得るような属性を伴う、３つの仮説上のコンテンツ要素および３つの仮説上の表面を描写する。要素Ａは、テクスチャまたは色より重く表面選択に関してドット積配向表面関係に関する選好を有し得、要素Ｂは、平滑テクスチャに関する選好を有し得るが、マルチカラーコンテンツであって、コントラスト制約を殆ど有しておらず、色を優先化せず、要素Ｃは、仮想絵画であってもよく、他の属性より高い色属性に関する選好を有し得る。当業者は、コンテンツ要素構造内の値が、コンテンツ自体を反映させ得る（例えば、要素Ｃは、色に高い加重をかける）、または所望の表面属性を反映させ得る（例えば、要素Ｂは、レンダリングするためにより平滑な表面を好む）ことを理解されるであろう。さらに、数値として描写されるが、色視野内の明示的色または部屋内／ユーザに対する精密なサイズまたは位置等の他の属性値も、当然ながら、可能性として考えられる。
【０１６３】
７４５において、最高マッチングスコアを有する表面が、識別される。図８に図示される総和実施例に戻ると、要素Ａは、表面ＡおよびＣに関して最高スコアであって、要素Ｂは、表面Ｂに関して最高スコアであって、要素Ｃは、表面Ｃに関して最高スコアである。そのような例証的実施例では、システムは、要素Ａを表面Ａに、要素Ｂを表面Ｂに、要素Ｃを表面Ｃにレンダリングしてもよい。要素Ａは、表面ＡおよびＣに関して等しくスコア化されるが、表面Ｃに関する要素Ｃの最高スコアは、要素Ａの表面Ａへの割当をプロンプトする。言い換えると、システムは、マッチングスコアの２回目の総和を反復し、コンテンツ要素および最高集約マッチングスコアを生産する表面の組み合わせを決定する。図８におけるドット積に関するサンプル数は、客観的測定ではなく、属性値を反映させることに留意されたい。例えば、−１ドット積結果は、好ましい数学的関係であるが、負の数を方程式の中に導入することを回避するために、表面属性は、表面属性に関して、−１ドット積関係を正の１としてスコア化する。
【０１６４】
いくつかの実施形態では、７４５における最高スコアの識別は、表面リストが評価されるにつれて、最高マッチングスコアを有する表面をマーキングし、以前にマーキングされた表面をマーキングしないことによって、または最高マッチングスコアおよび最高マッチングスコアを有する表面へのリンクを追跡することによって、または表面にマッチングされる全てのコンテンツ要素の最高マッチングスコアを追跡することによってのいずれかによって行われる。一実施形態では、いったん十分なマッチングスコアを伴う表面が識別されると、表面リストから除去され、したがって、さらなる処理から除外されてもよい。一実施形態では、いったん最高マッチングスコアを有する表面が識別されると、コンテンツ要素にマッチングされていることのインジケーションとともに、表面リスト内に留まってもよい。本実施形態では、いくつかの表面は、単一コンテンツ要素とマッチングされてもよく、それぞれに関するマッチングスコアが、記憶されてもよい。
【０１６５】
いくつかの実施形態では、周囲表面リストからの各表面が評価されるにつれて、マッチングスコアが、１つずつ計算され、マッチングが、決定され（例えば、コンテンツ要素の列挙された属性の８０％以上のものが、マッチングを構成する表面によってサポートされる）、該当する場合、個別の表面を最良マッチングとしてマーキングし、次の表面に継続し、次の表面が、より良好なマッチングである場合、それを最良マッチングとしてマーキングする。いったん全ての表面がコンテンツ要素に関して評価されると、表面は、依然として、その表面を前提として最良マッチングである、最良マッチングとしてマーキングされたままである。いくつかの実施形態では、最高マッチングスコアは、良好なマッチングとして適格であるために、所定の閾値を上回る必要があり得る。例えば、最良マッチング表面が、わずか４０％マッチングであることが決定され（サポートされる属性の数または標的マッチングスコアのパーセントのいずれかによって）、良好なマッチングとして適格であるための閾値が、７５％を上回る場合、ユーザの環境からの表面に依拠することとは対照的に、コンテンツ要素を表示するための仮想オブジェクトを作成することが最良であり得る。これは、特に、ユーザの環境が、例えば、浜辺、海洋、および空以外の識別不可能表面を伴わない、浜辺であるときに当てはまり得る。当業者は、本プロセスのために定義され得る、多くの異なるマッチング／マッピングアルゴリズムが存在し、これが、単に、多くの異なるタイプのアルゴリズムの一実施例にすぎないことを理解し得る。
【０１６６】
７５０において、マッチング／マッピング結果が、上記に開示されるように記憶される。一実施形態では、表面が、７４５において、表面リストから除去される場合、記憶されるマッチングは、最終と見なされ得る。一実施形態では、表面が、７４５において、表面リスト内に留まり、いくつかの表面が、単一コンテンツ要素にマッチングされる場合、アルゴリズムが、衝突コンテンツ要素および表面上で起動され、衝突を取り除き、１対多のマッチングまたは多対１のマッチングの代わりに、１対１のマッチングを有するようにしてもよい。高優先順位コンテンツ要素が、表面にマッチングされない場合、高優先順位コンテンツ要素は、仮想表面にマッチング／マッピングされてもよい。低優先順位コンテンツ要素が、表面にマッチングされない場合、レンダリングモジュール１４６は、低優先順位コンテンツ要素をレンダリングしないことを選定してもよい。マッチング結果は、下記に説明される図１８に開示されるテーブル等の特定のテーブル内に記憶されてもよい。
【０１６７】
図７Ａに戻って参照すると、７６０において、所定のルールを使用することが進めるべき方法であると決定されたと仮定すると、本方法は、コンテンツ要素と表面のマッチングルールを含有するデータベースにクエリし、特定のコンテンツ要素に関して、コンテンツ要素をマッチングさせるために考慮されるべき表面のタイプを決定する。７７０において、事前に定義されたルールのセットが、最良適合アルゴリズムを起動し、１つ以上の表面を、コンテンツ要素に関する最良適合である、利用可能な候補表面から選定してもよい。少なくとも部分的に、最良適合アルゴリズムに基づいて、候補表面の全てのうち、特定のものが、その属性がコンテンツ要素の属性と最良にマッチングする、表面であるため、コンテンツ要素が特定の表面にマッチング／マッピングされるべきことが決定される。いったんコンテンツ要素および表面のマッチングが、７５０において、決定されると、本方法は、コンテンツ要素と表面に関するマッチング結果を、上記に説明されるように、非一過性記憶媒体内のテーブル内に記憶する。
【０１６８】
いくつかの実施形態では、ユーザは、マッチングされた表面をオーバーライドしてもよい。例えば、ユーザは、表面が、マッチングアルゴリズムによって、コンテンツに関する最適表面であると決定されるときでも、コンテンツを表示するための表面をオーバーライドすべき場所を選定してもよい。いくつかの実施形態では、ユーザは、ある表面をシステムによって提供される１つ以上の表面オプションから選択してもよく、１つ以上の表面オプションは、準最適表面である、表面を含んでもよい。システムは、ユーザに、１つ以上の表示表面オプションを提示してもよく、表示表面オプションは、ユーザの物理的環境内の物理的表面、ユーザの物理的環境内のコンテンツを表示するための仮想表面、および／または仮想画面を含んでもよい。いくつかの実施形態では、記憶された画面（例えば、仮想画面）は、ユーザによって、コンテンツを表示するために選択されてもよい。例えば、ユーザが現在位置する特定の物理的環境に関して、ユーザは、あるコンテンツのタイプ（例えば、ビデオ）をあるタイプの表面（例えば、デフォルト画面サイズを有する記憶された画面、ユーザからの場所等）上に表示するための選好を有し得る。記憶された画面は、履歴上頻繁に使用された表面であってもよい、または記憶された画面は、あるコンテンツのタイプを表示するためにユーザのプロファイルまたは選好設定内で識別された記憶された画面であってもよい。したがって、１つ以上の要素の表示を１つ以上の表面上にオーバーライドするステップは、少なくとも部分的に、履歴上頻繁に使用された表面および／または記憶された画面に基づいてもよい。
【０１６９】
図７Ｃは、ユーザがコンテンツ７８０を第１の表面からユーザに利用可能な任意の表面上に移動させることが可能であり得る、実施例を図示する。例えば、ユーザは、コンテンツ７８０を第１の表面から第２の表面（すなわち、垂直壁７９５）上に移動させることが可能であり得る。垂直壁７９５は、作業面積７８４を有してもよい。垂直壁７９５の作業面積７８４は、例えば、環境解析器１６８によって決定されてもよい。作業面積７８４は、コンテンツ７８０が、例えば、他のコンテンツ／オブジェクトによって妨げられずに表示され得る、表示表面７８２を有してもよい。表示表面７８２は、例えば、環境解析器１６８によって決定されてもよい。図７Ｃに図示される実施例では、作業面積７８４は、写真フレームおよびランプを含み、これは、表示表面７８２によって図示されるように、作業面積７８４の表示表面を作業面積７８４全体より小さくさせ得る。垂直壁７９５へのコンテンツの移動（例えば、移動７８６ａ−７８６ｃ）は、表示表面７８２の中心、作業面積７８４の中、および／または垂直壁７９５へのコンテンツ７８０の完璧な設置である必要がない場合がある。代わりに、コンテンツは、コンテンツを垂直壁に移動させるためのユーザのジェスチャに基づいて、垂直壁７９５の周辺作業空間の少なくとも一部（例えば、作業面積７８４および／または表示表面７８２）内に移動されてもよい。コンテンツ７８０が、垂直壁７９５、作業面積７８４、および／またはコンテンツ７８０の表示表面７８２内に入る限り、システムは、コンテンツ７８０を表示表面７８２内に表示するであろう。
【０１７０】
いくつかの実施形態では、周辺作業空間は、標的表示表面（例えば、表示表面７８２）を封入する、抽象的境界である。いくつかの実施形態では、ユーザのジェスチャは、少なくとも一部が表示表面７８２の周辺作業空間内にあるように、コンテンツ７８０を第１の表面において選択し、コンテンツ７８０を移動させるためのトーテム／コントローラ７９０による選択であってもよい。コンテンツ７８０は、次いで、表示表面７８２の輪郭および配向を整合させてもよい。仮想コンテンツを選択するステップはさらに、２０１５年１０月２０日に優先権を主張し、「ＳＥＬＥＣＴＩＮＧ  ＶＩＲＴＵＡＬ  ＯＢＪＥＣＴＳ  ＩＮ  Ａ  ＴＨＲＥＥ−ＤＩＭＥＮＳＩＯＮＡＬ  ＳＰＡＣＥ」と題された、米国特許出願第１５／２９６，８６９号に説明され、コンテンツを選択された表面に整合させるステップはさらに、２０１６年８月１１日に優先権を主張し、「ＡＵＴＯＭＡＴＩＣ  ＰＬＡＣＥＭＥＮＴ  ＯＦ  Ａ  ＶＩＲＴＵＡＬ  ＯＢＪＥＣＴ  ＩＮ  Ａ  ＴＨＲＥＥ−ＤＩＭＥＮＳＩＯＮＡＬ  ＳＰＡＣＥ」と題された、米国特許出願第１５／６７３，１３５号に説明される。
【０１７１】
いくつかの実施形態では、ユーザのジェスチャは、（ａ）第１の表面からのコンテンツの選択、（ｂ）第１の表面から第２の表面へのコンテンツの移動、および（ｃ）第２の表面におけるコンテンツの設置のインジケーションを含み得る、手のジェスチャであってもよい。いくつかの実施形態では、第１の表面から第２の表面へのコンテンツの移動は、第２の表面の具体的部分に対するものである。いくつかの実施形態では、コンテンツは、第２の表面に設置されると、第２の表面に適合／それを充填する（例えば、適合、充填するようにスケーリングされる等）。いくつかの実施形態では、第２の表面に設置されたコンテンツは、第１の表面にあったときのサイズを維持する。これらの実施形態では、第２の表面は、第１の表面より大きくてもよく、および／または第２の表面は、コンテンツを表示するために必要とされるサイズより大きくてもよい。ＡＲシステムは、コンテンツをユーザがコンテンツを表示するように示した第２の表面またはその近傍の位置に表示してもよい。言い換えると、第１の表面から第２の表面へのコンテンツの移動は、システムがコンテンツを第２の表面の作業可能空間全体の中に完璧に設置することを要求しなくてもよい。コンテンツは、少なくとも、ユーザによって少なくとも視認可能である第２の表面の第１の周辺面積に終着することのみ必要とし得る。
（環境駆動コンテンツ）
【０１７２】
これまで開示されたものは、環境内のコンテンツ要素を表示すべき場所のコンテンツ駆動であった。言い換えると、ユーザは、ユーザの環境の中に表示されるための種々のコンテンツ（例えば、ウェブページからのプル配信コンテンツ）を選択し得る。しかしながら、いくつかの実施形態では、環境が、少なくとも部分的に、ユーザの環境および／または環境内の表面に基づいて、ユーザに表示されるコンテンツを駆動し得る。例えば、表面のリストが、常に、センサ１６２からのデータに基づいて、環境解析器１６８によって評価されている。表面のリストは、ユーザが、ある環境から別の環境に移動する、または環境内を動き回るにつれて、常に、環境解析器１６８によって評価されているため、ユーザがコンテンツを検索する、またはその上で選択する必要なく、ユーザの環境の中にプッシュ配信（例えば、プッシュ配信コンテンツ）され得、ウェブページから生じ得ない、あるコンテンツのタイプを表示するために適している場合がある、新しい／付加的表面が、利用可能になり得る。例えば、あるタイプのプッシュ配信コンテンツは、（ａ）株価通知、ニュースフィード等の種々のアプリケーションからの通知、（ｂ）例えば、ソーシャルメディアアプリケーション、電子メール更新、および同等物からの更新および通知等の優先順位化されたコンテンツ、および／または（ｃ）広標的グループおよび／または具体的標的グループおよび同等物を標的化する広告を含んでもよい。これらのタイプのプッシュ配信コンテンツはそれぞれ、広告をその最も効果的形態で表示するために、例えば、サイズ、寸法、配向、および同等物等の関連付けられた属性を有してもよい。環境に応じて、ある表面は、これらの環境駆動コンテンツ（例えば、プッシュ配信コンテンツ）が表示される機会を提示し得る。いくつかの実施形態では、プル配信コンテンツは、最初に、環境内の表面にマッチング／マッピングされてもよく、プッシュ配信コンテンツは、そこにマッチング／マッピングされたプル配信コンテンツを有していない、環境内の任意の表面にマッチング／マッピングされてもよい。
【０１７３】
プッシュ配信コンテンツタイプの実施例として広告を挙げ、種々の寸法および配向を有する多くの表面が存在し得る環境内に、ユーザが存在するシナリオを検討する。ある広告は、ある寸法および配向を有する表面上および特定の場所（例えば、自宅、仕事場、野球場、食料品店、および同等物等の地理的場所、および環境内のある物理的アイテム／製品の正面等のアイテム場所）において最良に表示され得る。これらの状況では、システムは、プッシュ配信コンテンツのデータベースを通して検索し、環境の表面と最良にマッチングされ得るプッシュ配信コンテンツを決定してもよい。マッチングが、見出される場合、コンテンツは、特定の場所におけるマッチングされた表面上に表示されてもよい。いくつかの実施形態では、システムは、表面のリストを広告サーバに提供し、これは、内蔵論理を使用して、プッシュ配信コンテンツを決定する。
【０１７４】
表示されるためのオンライン広告のために利用可能な空間を有する、ウェブページウィンドウ上の部分を決定するために、ユーザが視認するウェブページのレイアウトに依拠する、従来のオンライン広告と異なり、本開示は、環境内の表面を識別し、例えば、広告等のあるプッシュ配信コンテンツのための候補表面を決定する、環境解析器１６８を含む。
【０１７５】
いくつかの実施形態では、ユーザは、あるタイプのプッシュ配信コンテンツが表示され得る時間および場所に関して、選好属性を規定してもよい。例えば、ユーザは、ある人々または団体からの高優先順位コンテンツをユーザの正面の表面上に顕著に表示させる一方、広告等の他のタイプのプッシュ配信コンテンツをユーザの一次焦点ビュー面積に対してより小さい表面周辺上に表示させる、選好属性を示してもよく、ユーザの一次焦点ビュー面積は、ユーザの一次焦点ビュー面積の側方にある、周辺ビューとは対照的に、ユーザが視認している方向に向かって略前方のビューの面積である。いくつかの実施形態では、ユーザが選択する、高優先順位コンテンツ要素（例えば、プッシュ配信コンテンツとは対照的に、プル配信コンテンツ）は、ユーザの環境内（例えば、ユーザの焦点視認面積内）の最も顕著な表面上に表示される一方、ユーザの焦点視認面積の周辺の他の非マッチング／非マッピング表面は、プッシュ配信コンテンツのために利用可能であってもよい。
【０１７６】
いくつかの実施形態では、世界場所コンテキストＡＰＩが、場所アウェアコンテンツを作成するために、コンテンツ設計者／ウェブ開発者／広告主に提供されてもよい。世界場所コンテキストＡＰＩは、ユーザが現在存在する特定の場所に特有のローカルコンテキストを説明する能力のセットを提供し得る。世界場所コンテキストＡＰＩは、具体的種類の部屋（例えば、居間、ジム、オフィス、台所）、種々の場所からユーザによって実行される具体的クエリ（例えば、ユーザは、居間から映画、ジムから音楽、台所からレシピ等を検索する傾向にある）、および種々の場所でユーザによって使用される具体的サービスおよびアプリケーション（例えば、メールクライアントは、オフィスから使用され、Ｎｅｔｆｌｉｘは、居間から使用される）の識別を含み得る、場所コンテキスト情報を提供してもよい。コンテンツ設計者は、世界場所コンテキストに対するあるアクションをコンテンツ要素の属性として関連付けてもよい。
【０１７７】
コンテンツプロバイダは、場所特有のコンテンツを提供するために、本情報とともに、検索履歴、オブジェクト認識装置、およびアプリケーションデータを使用してもよい。例えば、ユーザが、台所において検索を起動する場合、広告および検索結果は、検索エンジンが、ユーザがユーザの台所から検索を起動していることを把握するであろうため、主に、食物関連となるであろう。世界場所コンテキストＡＰＩによって提供される情報は、部屋または場所毎の正確な情報を提供し得、これは、地理的場所より正確にし、ジオフェンシングよりコンテキストアウェアにする。図９は、世界場所コンテキストＡＰＩが場所特有のコンテキストを提供するために使用され得る方法の実施例である。実施例として、ユーザの台所９０５は、ユーザの現在の物理的場所内のある表面上に表示される、場所特有のコンテンツ９１５ａ、９１５ｂ、および／または９１５ｃを含み得る。コンテンツ９１５ａは、特定の食事に関するレシピであってもよく、コンテンツ９１５ｂは、食事の広告であってもよく、および／または９１５ｃは、台所内で用意するための食事の提案であってもよい。
【０１７８】
図１０は、コンテンツをＶＲ／ＡＲシステムのユーザにプッシュ配信するための方法１０００の実施例である。１０１０において、１つ以上の表面およびその属性が、決定される。１つ以上の表面が、環境構造化プロセス１６０から決定され得、環境解析器１６８は、環境データを解析し、環境内の表面を決定し、表面を論理構造内に編成および記憶する。ユーザの環境は、ユーザの個人宅、住居内の具体的部屋、ユーザの仕事場所、および同等物等の表面に関する場所属性を担持し得る。１つ以上の表面は、ユーザの焦点ビュー面積の周辺にあってもよい。いくつかの実施形態では、１つ以上の表面は、ユーザが通知されることを所望し得るプッシュ配信コンテンツ（例えば、当局エンティティからの緊急通知、ホワイトリスト化されたアプリケーション／通知等）に応じて、ユーザの焦点ビュー面積内にあってもよい。表面の次元は、２Ｄおよび／または３Ｄ次元であってもよい。
【０１７９】
１０２０において、１つ以上の表面にマッチングする、１つ以上のコンテンツ要素が、受信される。いくつかの実施形態では、コンテンツ要素または単一コンテンツ要素を受信するステップは、少なくとも１つの表面属性に基づく。例えば、「台所」の場所属性は、食物アイテムに対応するコンテンツ要素がプッシュ配信されるようにプロンプトしてもよい。別の実施例では、ユーザは、第１のコンテンツ要素を第１の表面上で鑑賞している場合があり、そのコンテンツ要素は、ある表面属性を伴う表面が利用可能である場合のみ、第２の表面上に表示するであろう、子コンテンツ要素を有する。
【０１８０】
１０３０において、マッチングスコアが、コンテンツ要素の属性が表面の属性にマッチングする程度に基づいて計算される。いくつかの実施形態では、スコア化は、１〜１００のスケールに基づいてもよく、１００のスコアは、最高スコアであって、１のスコアは、最低スコアである。当業者は、多くの異なるスコア化アルゴリズムおよびモデルがマッチングスコアを計算するために使用されてもよいことを理解し得る。いくつかの実施形態では、コンテンツ要素が、通知を含む場合、属性に基づいて計算されるマッチングスコアは、特定の表面とのマッチングとは対照的に、通知される必要があるコンテンツ要素の優先順位を示してもよい。例えば、コンテンツ要素が、ソーシャルメディアアプリケーションからの通知であるとき、スコアは、ソーシャルメディアコンテンツの属性および表面の属性に基づくマッチングスコアとは対照的に、ユーザのソーシャルメディアアカウント内でユーザによって定義された通知の優先順位レベルに基づいてもよい。
【０１８１】
いくつかの実施形態では、ユーザが、その環境内で比較的に定常であるとき、表面のリストは、あまり変化し得ない。しかしながら、ユーザが運動中であるとき、表面のリストは、ユーザが進行する速度に応じて、非常に急速に変化し得る。動的状況では、ユーザがコンテンツを完全に視認することが可能であるために十分に長く定常ではあり得ないことが決定される場合、低マッチングスコアが、計算され得る。ユーザがコンテンツ全体を視認する十分な時間を有するかどうかの本決定は、コンテンツ設計者によって定義された属性であってもよい。
【０１８２】
１０４０において、最高マッチングスコアを有するコンテンツ要素が、選択される。ユーザに表示される可能性が高いであろう競合コンテンツ要素（例えば、広告）が存在するとき、競合コンテンツを通してソートし、好ましいコンテンツ要素をピックアップするための要件が存在し得る。ここでは、好ましいコンテンツ要素を選択するための実施例として、１つのオプションは、競合をコンテンツ要素の属性が表面の属性にマッチングする程度に基づかせることである。別の実施例として、勝者は、少なくとも部分的に、コンテンツ要素プロバイダがプッシュ配信コンテンツを表示するために支払を所望し得る金額に基づいて、選択されてもよい。いくつかの実施形態では、好ましいコンテンツ要素は、コンテンツタイプ（例えば、３Ｄコンテンツまたはソーシャルメディアコンタクトからの通知）に基づいて、選択されてもよい。
【０１８３】
１０５０において、好ましいコンテンツと対応する表面のマッチング／マッピングは、キャッシュメモリまたは持続的メモリ内に記憶されてもよい。マッチングの記憶は、ユーザが運動中であって、環境が変化する状況では、ユーザが戻る際、ユーザの環境のある履歴を維持可能であることが重要であり得るため、重要であり得る。マッチング／マッピングは、図１８に開示されるテーブル等のテーブル内に記憶されてもよい。１０６０において、コンテンツは、対応する表面上にレンダリングされる。マッチングは、コンテンツ要素と表面の１対１または１対多のマッチング／マッピングであってもよい。
【０１８４】
開示されたものは、環境内に表示するためにコンテンツを分解するための本システムおよび方法である。加えて、本システムおよび方法はまた、コンテンツを仮想現実または拡張現実システムのユーザの表面にプッシュ配信してもよい。
【実施例】
【０１８５】
ウェブページ
図１１を参照すると、環境１１００は、本明細書に説明されるプロセス（例えば、ユーザの物理的環境１１０５内の表面上に表示されるようにウェブページ内のコンテンツからのコンテンツ要素をマッチングさせる）を実装するための物理的環境およびシステムを表す。環境１１００の代表的物理的環境およびシステムは、ユーザ１１０８によって頭部搭載型システム１１６０を通して視認されるようなユーザの物理的環境１１０５を含む。環境１１００の代表的システムはさらに、ネットワーク１１２０に動作可能に結合されるウェブブラウザ１１１０を介して、コンテンツ（例えば、ウェブページ）にアクセスするステップを含む。いくつかの実施形態では、コンテンツへのアクセスは、ビデオストリーミングアプリケーション等のアプリケーション（図示せず）を介してもよく、ビデオストリームは、アクセスされているコンテンツであってもよい。いくつかの実施形態では、ビデオストリーミングアプリケーションは、スポーツ組織であってもよく、ストリーミングされているコンテンツは、実際のライブ試合、概要、まとめ／ハイライト、ボックススコア、実況、チーム統計、プレーヤ統計、関連ビデオ、ニュースフィード、製品情報、および同等物であってもよい。
【０１８６】
ネットワーク１１２０は、インターネット、内部ネットワーク、プライベートクラウドネットワーク、パブリッククラウドネットワーク等であってもよい。ウェブブラウザ１１１０はまた、ネットワーク１１２０を介して、プロセッサ１１７０に動作可能に結合される。プロセッサ１１７０は、頭部搭載型システム１１６０と別個の隔離されたコンポーネントとして示されるが、代替実施形態では、プロセッサ１１７０は、頭部搭載型システム１１６０の１つ以上のコンポーネントと統合されてもよい、および／または、例えば、ネットワーク１１２０等の環境１１００内の他のシステムコンポーネントの中に統合され、コンピューティングネットワーク１１２５および記憶デバイス１１３０にアクセスしてもよい。プロセッサ１１７０は、頭部搭載型システム１１６０、ローカル記憶デバイス１１４０、ウェブブラウザ１１１０、コンピューティングネットワーク１１２５、および記憶デバイス１１３０から受信されたビデオ、オーディオ、およびコンテンツ等の情報を受信および処理するためのソフトウェア１１５０とともに構成されてもよい。ソフトウェア１１５０は、ネットワーク１１２０を介して、コンピューティングネットワーク１１２５および記憶デバイス１１３０と通信してもよい。ソフトウェア１１５０は、プロセッサ１１７０上にインストールされてもよい、または別の実施形態では、ソフトウェアの特徴および機能性は、プロセッサ１１７０の中に統合されてもよい。プロセッサ１１７０はまた、ユーザ１１０８の近傍の外部記憶デバイス上に遠隔で記憶される情報に依拠せず、迅速アクセスのために、プロセッサ１１７０によって使用される情報を記憶するために、ローカル記憶デバイス１１４０とともに構成されてもよい。他の実施形態では、プロセッサ１１７０は、頭部搭載型システム１１６０と統合されてもよい。
【０１８７】
ユーザの物理的環境１１０５は、ユーザが動き回り、ユーザの物理的環境１１０５を頭部搭載型システム１１６０を通して視認するにつれたユーザ１１０８の物理的周囲である。例えば、図１を参照すると、ユーザの物理的環境１１０５は、２つの壁（例えば、主壁１１８０および側壁１１８４であって、主壁および側壁は、ユーザのビューに対する）と、テーブル１１８８とを伴う、部屋を示す。主壁１１８０上には、黒色実線によって描写される、長方形表面１１８２が存在し、あるコンテンツを投影するための候補表面であり得る、物理的境界を伴う物理的表面を示す（例えば、壁または窓から吊架される、またはそこに取り付けられる、絵画等）。側壁１１８４上には、黒色実線によって描写される、第２の長方形表面１１８６が存在し、物理的境界を伴う物理的表面を示す（例えば、壁または窓から吊架される、またはそこに取り付けられる、絵画等）。テーブル１１８８上には、異なるオブジェクトが存在し得る。１）あるコンテンツが記憶および表示され得る、仮想Ｒｏｌｏｄｅｘ１１９０、２）あるコンテンツを投影するための物理的境界を伴う物理的表面を表す、黒色実線によって描写される、水平表面１１９２、および３）例えば、あるコンテンツが記憶および表示され得る、スタックされた仮想新聞を表す、黒色点線によって描写される、仮想正方形表面１１９４の複数のスタック。当業者は、上記に説明される物理的境界が、それらがすでに表面を離散視認セクションに分割しており、それ自体が表面属性であり得るため、コンテンツ要素を設置するために有用であるが、適格表面を認識するために必要ではないことを理解するであろう。
【０１８８】
ウェブブラウザ１１１０はまた、インターネットからまたはイントラネット／プライベートネットワーク内のブログページを表示してもよい。加えて、ウェブブラウザ１１１０はまた、デジタルコンテンツを表示する、任意の技術であってもよい。デジタルコンテンツは、例えば、ウェブページ、ブログ、デジタル写真、ビデオ、ニュース記事、ニュースレター、または音楽を含んでもよい。コンテンツは、ネットワーク１１２０を介してユーザ１１０８によってアクセス可能である、記憶デバイス１１３０内に記憶されてもよい。いくつかの実施形態では、コンテンツはまた、ストリーミングコンテンツ、例えば、ライブビデオフィードまたはライブオーディオフィードであってもよい。記憶デバイス１１３０は、例えば、データベース、ファイルシステム、持続的メモリデバイス、フラッシュドライブ、キャッシュ等を含んでもよい。いくつかの実施形態では、コンテンツ（例えば、ウェブページ）を含有するウェブブラウザ１１１０は、コンピューティングネットワーク１１２５を介して表示される。
【０１８９】
コンピューティングネットワーク１１２５は、記憶デバイス１１３０にアクセスし、ウェブページをウェブブラウザ１１１０上に表示するために、コンテンツを読み出し、記憶する。いくつかの実施形態では、ローカル記憶デバイス１１４０は、ユーザ１１０８に関心があるコンテンツを提供してもよい。ローカル記憶デバイス１１４０は、例えば、フラッシュドライブ、キャッシュ、ハードドライブ、データベース、ファイルシステム等を含んでもよい。ローカル記憶デバイス１１４０内に記憶される情報は、最近アクセスされたコンテンツまたは３Ｄ空間内に最近表示されたコンテンツを含んでもよい。ローカル記憶デバイス１１４０は、コンテンツを３Ｄ空間環境（例えば、ユーザの物理的環境１１０５内の３Ｄ表面）上に表示するためのコンテンツを分解することに役立てるために、あるコンテンツをソフトウェア１１５０にローカルで提供することによって、環境１１００のシステムに対する性能の改良を可能にする。
【０１９０】
ソフトウェア１１５０は、非一過性コンピュータ可読媒体内に記憶されるソフトウェアプログラムを含み、ユーザの物理的環境１１０５内に表示されるためのコンテンツを分解する機能を実施する。ソフトウェア１１５０は、プロセッサ１１７０上で起動してもよく、プロセッサ１１７０は、ユーザ１１０８にローカルで取り付けられてもよい、またはいくつかの他の実施形態では、ソフトウェア１１５０およびプロセッサ１１７０は、頭部搭載型システム１１６０内に含まれてもよい。いくつかの実施形態では、ソフトウェア１１５０の特徴および機能の一部は、ユーザ１１０８から遠隔のコンピューティングネットワーク１１２５上で記憶および実行されてもよい。例えば、いくつかの実施形態では、コンテンツを分解するステップは、コンピューティングネットワーク１１２５上で生じてもよく、分解の結果は、記憶デバイス１１３０内に記憶されてもよく、分解されたコンテンツを提示するためのユーザのローカル環境の表面のインベントリ化は、プロセッサ１１７０内で生じてもよく、表面のインベントリおよびマッチング／マッピングは、ローカル記憶デバイス１１４０内に記憶される。一実施形態では、コンテンツを分解し、ローカル表面をインベントリ化し、コンテンツの要素をローカル表面にマッチング／マッピングし、コンテンツの要素を表示するプロセスは全て、プロセッサ１１７０およびソフトウェア１１５０内でローカルで生じてもよい。
【０１９１】
頭部搭載型システム１１６０は、ユーザインターフェースと、ユーザ感知システムと、環境感知システムと、プロセッサと（全て示されない）を含む、仮想現実（ＶＲ）または拡張現実（ＡＲ）頭部搭載型システム（例えば、複合現実デバイス）であってもよい。頭部搭載型システム１１６０は、ユーザ１１０８に、デジタル世界と相互作用し、それを体験するためのインターフェースを提示する。そのような相互作用は、ユーザおよびデジタル世界、環境１１００とインターフェースをとる１人以上の他のユーザ、およびデジタルおよび物理的世界内のオブジェクトを伴ってもよい。
【０１９２】
ユーザインターフェースは、コンテンツを受信するステップと、ユーザインターフェースを通したユーザ入力によって、コンテンツ内の要素を選択するステップとを含んでもよい。ユーザインターフェースは、触知インターフェースデバイス、キーボード、マウス、ジョイスティック、運動捕捉コントローラ、光学追跡デバイス、およびオーディオ入力デバイスのうちの少なくとも１つまたはその組み合わせであってもよい。触知インターフェースデバイスは、ヒトが身体感覚および移動を通してコンピュータと相互作用することを可能にする、デバイスである。触知とは、アクションを実施するための触覚的フィードバックまたは他の身体感覚を包含する、またはコンピューティングデバイス上で処理する、あるタイプのヒト−コンピュータ相互作用技術を指す。
【０１９３】
ユーザ感知システムは、頭部搭載型システム１１６０を装着しているユーザ１１０８に関連するある特徴、特性、または情報を検出するように動作可能である、１つ以上のセンサ１１６２を含んでもよい。例えば、いくつかの実施形態では、センサ１１６２は、例えば、以下、すなわち、縮瞳／散瞳、各瞳孔の角度測定／位置付け、球形度、眼形状（眼形状が経時的に変化するにつれた）、および他の解剖学的データのうちの１つ以上のもの等のユーザ１１０８のリアルタイム光学特性／測定を検出することが可能なカメラまたは光学検出／走査回路を含んでもよい。本データは、ユーザの視認体験を向上させるために頭部搭載型システム１１６０によって使用され得る、情報（例えば、ユーザの視覚的集光点）を提供する、またはそれを計算するために使用されてもよい。
【０１９４】
環境感知システムは、データをユーザの物理的環境１１０５から取得するための１つ以上のセンサ１１６４を含んでもよい。センサ１１６４によって検出されたオブジェクトまたは情報は、頭部搭載型システム１１６０への入力として提供されてもよい。いくつかの実施形態では、本入力は、仮想世界とのユーザ相互作用を表してもよい。例えば、机（例えば、テーブル１１８８）上の仮想キーボードを視認するユーザ（例えば、ユーザ１１０８）は、ユーザが仮想キーボード上でタイプしているかのように、その指を用いてジェスチャしてもよい。指移動の運動は、センサ１１６４によって捕捉され、頭部搭載型システム１１６０に入力として提供されてもよく、入力は、仮想世界を変化させる、または新しい仮想オブジェクトを作成するために使用されてもよい。
【０１９５】
センサ１１６４は、例えば、持続的および／または断続的に投影された赤外線構造化光を通して場面情報を解釈するために、例えば、略外向きに面したカメラまたはスキャナを含んでもよい。環境感知システムは、静的オブジェクト、動的オブジェクト、人々、ジェスチャ、および種々の照明、大気、および音響条件を含む、ローカル環境を検出および登録することによって、ユーザ１１０８の周囲のユーザの物理的環境１１０５の１つ以上の要素をマッチング／マッピングするために使用されてもよい。したがって、いくつかの実施形態では、環境感知システムは、ローカルコンピューティングシステム（例えば、プロセッサ１１７０）に内蔵され、センサ１１６４によって検出された１つ以上のオブジェクトまたは情報をデジタル的に再構成するように動作可能である、画像ベースの３Ｄ再構成ソフトウェアを含んでもよい。
【０１９６】
一例示的実施形態では、環境感知システムは、以下、すなわち、運動捕捉データ（ジェスチャ認識を含む）、深度感知、顔認識、オブジェクト認識、一意のオブジェクト特徴認識、音声／オーディオ認識および処理、音響源位置特定、雑音低減、赤外線または類似レーザ投影、およびモノクロおよび／またはカラーＣＭＯＳセンサ（または他の類似センサ）、視野センサ、および種々の他の光学向上センサのうちの１つ以上のものを提供する。環境感知システムは、上記に議論されるもの以外の他のコンポーネントを含んでもよいことを理解されたい。
【０１９７】
上記に述べられたように、プロセッサ１１７０は、いくつかの実施形態では、頭部搭載型システム１１６０の他のコンポーネントと統合される、環境１１００のシステムの他のコンポーネントと統合されてもよい、または図１に示されるように、隔離されたデバイス（ウェアラブルまたはユーザ１１０８から分離する）であってもよい。プロセッサ１１７０は、物理的有線接続を通して、または、例えば、モバイルネットワーク接続（セルラー電話およびデータネットワークを含む）、Ｗｉ−Ｆｉ、Ｂｌｕｅｔｏｏｔｈ（登録商標）、または任意の他の無線接続プロトコル等の無線接続を通して、頭部搭載型システム１１６０の種々のコンポーネントに接続されてもよい。プロセッサ１１７０は、メモリモジュール、統合および／または付加的グラフィック処理ユニット、無線および／または有線インターネットコネクティビティ、およびソース（例えば、コンピューティングネットワーク１１２５および頭部搭載型システム１１６０からのユーザ感知システムおよび環境感知システム）からのデータを画像およびオーディオデータに変換することが可能なコーデックおよび／またはファームウェアを含んでもよく、画像／ビデオおよびオーディオは、ユーザインターフェース（図示せず）を介して、ユーザ１１０８に提示されてもよい。
【０１９８】
プロセッサ１１７０は、頭部搭載型システム１１６０の種々のコンポーネントのためのデータ処理および頭部搭載型システム１１６０とウェブブラウザ１１１０およびコンピューティングネットワーク１１２５によって表示またはアクセスされるウェブページからのコンテンツとの間のデータ交換をハンドリングする。例えば、プロセッサ１１７０は、ユーザ１１０８とコンピューティングネットワーク１１２５との間のデータストリーミングをバッファおよび処理し、それによって、平滑、連続、かつ高忠実性のユーザ体験を可能にするために使用されてもよい。
【０１９９】
ウェブページからのコンテンツをコンテンツ要素に分解し、３Ｄ環境内の表面上に表示されるように要素をマッチング／マッピングするステップは、知的および論理的様式で遂行されてもよい。例えば、コンテンツ解析器１１５は、ドキュメントオブジェクトモデル（ＤＯＭ）解析器であって、コンテンツの要素が、アクセス可能であって、プログラム上操作／抽出しやすくなるように、入力（例えば、全体ＨＴＭＬページ）を受信し、入力内の種々のコンテンツ要素を分解し、分解されたコンテンツ要素を論理構造内に記憶してもよい。所定のルールのセットが、例えば、ウェブページ内で識別されたあるタイプの要素／コンテンツを設置すべき場所を推奨、提案、または規定するために利用可能であってもよい。例えば、コンテンツ要素のあるタイプは、１つ以上の要素を記憶および表示するために扱いやすい物理的または仮想オブジェクト表面にマッチング／マッピングされる必要があり得る、１つ以上のコンテンツ要素を有し得る一方、他のタイプのコンテンツ要素は、ウェブページ内の主ビデオまたは主記事等の単一オブジェクトであってもよく、その場合、単一オブジェクトは、単一オブジェクトをユーザに表示するために最も意味をなす表面にマッチング／マッピングされてもよい。いくつかの実施形態では、単一オブジェクトは、単一コンテンツオブジェクトがユーザの環境内の表面（例えば、仮想表面または物理的表面）上に表示され得るようなビデオアプリケーションからストリーミングされるビデオであってもよい。
【０２００】
図１２の環境１２００は、ウェブブラウザ１１１０およびユーザの物理的環境１１０５によって表示またはアクセスされるコンテンツ（例えば、ウェブページ）を描写する。矢印頭部を伴う点線は、ユーザの物理的環境１１０５にマッチング／マッピングされ、その上に表示される、コンテンツ（例えば、ウェブページ）からの要素（例えば、特定のタイプのコンテンツ）を描写する。コンテンツからのある要素は、ウェブ設計者ヒントまたは事前に定義されたブラウザルールのいずれかに基づいて、ユーザの物理的環境１１０５内のある物理的または仮想オブジェクトにマッチング／マッピングされる。
【０２０１】
実施例として、ウェブブラウザ１１１０によってアクセスまたは表示されるコンテンツは、複数のタブを有するウェブページであってもよく、現在のアクティブタブ１２６０が、表示され、二次タブ１２５０は、現在のところ、ウェブブラウザ１１１０上での表示に応じて選択されるまで、隠蔽される。アクティブタブ１２６０内に表示されるものは、典型的には、ウェブページである。本特定の実施例では、アクティブタブ１２６０は、主ビデオ１２２０と、ユーザコメント１２３０と、提案されるビデオ１２４０とを含む、ＹＯＵＴＵＢＥ（登録商標）ページを表示する。本例示的図１２に描写されるように、主ビデオ１２２０は、垂直表面１１８２上に表示されるようにマッチング／マッピングされてもよく、ユーザコメント１２３０は、水平表面１１９２上に表示されるようにマッチング／マッピングされてもよく、提案されるビデオ１２４０は、垂直表面１１８２と異なる垂直表面１１８６上に表示されるようにマッチング／マッピングされてもよい。加えて、二次タブ１２５０は、仮想Ｒｏｌｏｄｅｘ１１９０上またはそのものとして、および／またはマルチスタック仮想オブジェクト１１９４上に表示されるようにマッチング／マッピングされてもよい。いくつかの実施形態では、二次タブ１２５０内の具体的コンテンツは、マルチスタック仮想オブジェクト１１９４内に記憶されてもよい。他の実施形態では、二次タブ１２５０内に常駐するコンテンツ全体が、マルチスタック仮想オブジェクト１１９４上に記憶および／または表示されてもよい。同様に、仮想Ｒｏｌｏｄｅｘ１１９０は、二次タブ１２５０からの具体的コンテンツを含有してもよい、または仮想Ｒｏｌｏｄｅｘ１１９０は、二次タブ１２５０内に常駐するコンテンツ全体を含有してもよい。
【０２０２】
いくつかの実施形態では、ウェブブラウザ１１１０のコンテンツ要素（例えば、二次タブ１２５０内のウェブページのコンテンツ要素）は、ユーザの物理的環境１１０５内の両面平面ウィンドウ仮想オブジェクト（図示せず）上に表示されてもよい。例えば、平面ウィンドウ仮想オブジェクトの第１の側（例えば、正面側）上に表示されるものは、ウェブページの一次コンテンツであってもよく、平面ウィンドウ仮想オブジェクトの第２の側（例えば、背面側）上に表示されるものは、一次コンテンツに関連する、余剰コンテンツ等の付加的情報であってもよい。実施例として、小売店ウェブページ（例えば、ＢＥＳＴＢＵＹ）が、第１の側上に表示されてもよく、クーポンおよびディスカウントのセットが、第２の側上に表示されてもよい。ディスカウント情報は、第２の側に関する更新であって、ユーザは、第１の側上でブラウジングしている対象の現在のコンテキストを反映させてもよい（例えば、第２の側では、ラップトップまたは家電のみがディスカウントされる）。
【０２０３】
いくつかのウェブページは、ウェブブラウザ１１１０内で視認されるとき、複数ページに及び得る。ウェブブラウザ１１１０内で視認されるとき、そのようなウェブページは、ウェブブラウザ１１１０内をスクロールすることによって、またはウェブブラウザ１１１０内の複数のページをナビゲートすることによって、視認され得る。ウェブブラウザ１１１０からのそのようなウェブページをユーザの物理的環境１１０５にマッチング／マッピングするとき、そのようなウェブページは、両面ウェブページとしてマッチング／マッピングされてもよい。図１３Ａ−１３Ｂは、いくつかの実施形態による、例示的両面ウェブページを図示する。図１３Ａは、スムージードリンクを示す一方、図１３Ｂは、原材料およびスムージーを作るための指示を含む、スムージードリンクの例示的背面側／第２の側を図示する。いくつかの実施形態では、主壁１１８０の正面側は、両面ウェブページの第１の側を含んでもよく、主壁１１８０の背面側は、両面ウェブページの第２の側を含んでもよい。本実施例では、ユーザ１１０８は、両面ウェブページの両側を見るために、主壁１１８０の周囲を歩き回る必要があるであろう。いくつかの実施形態では、主壁１１８０の正面側は、両面ウェブページの両側を含んでもよい。本実施例では、ユーザ１１０８は、ユーザ入力を介して、両面ウェブページの２つの側間をトグルしてもよい。両面ウェブページは、ユーザ入力に応答して、第１の側から第２の側にフリップされるように現れてもよい。両面ウェブページは、ウェブブラウザ１１１０内で視認されるとき、複数のページに及ぶ、ウェブページから生成されるように説明されるが、両面ウェブページは、任意のウェブページまたはその一部または複数部分から生成されてもよい。ＶＲおよび／またはＡＲシステムは、既存のコンテンツ（例えば、二次タブ１２５０またはウェブページ）の中に追加され、レンダリングモジュールがコンテンツを両面２Ｄブラウザ平面ウィンドウ仮想オブジェクト上にレンダリングするために利用可能にし得る、使用が容易なＨＴＭＬプロパティのセットを提供してもよい。実施例は、両面平面ウィンドウ仮想オブジェクトを説明するが、仮想オブジェクトは、任意の数の側（Ｎ個の面）を有してもよい。実施例は、コンテンツを両面平面ウィンドウ仮想オブジェクト上に表示するステップを説明するが、コンテンツ要素は、実オブジェクトの複数の表面（例えば、ドアの正面側およびドアの背面側）上にあってもよい。
【０２０４】
垂直表面１１８２は、窓ガラスまたは写真フレーム等の部屋（ユーザの物理的環境１１０５として描写される）の主壁１１８０上にすでにあり得る、任意のタイプの構造であってもよい。いくつかの実施形態では、垂直表面１１８２は、頭部搭載型システム１１６０が、ユーザ１１０８が主ビデオ１２２０を視認するために適切な垂直表面１１８２のフレームの最適サイズを決定する、開けた壁であってもよい。垂直表面１１８２のサイズの本決定は、少なくとも部分的に、主壁１１８０からのユーザ１１０８の距離、主ビデオ１２２０のサイズおよび寸法、主ビデオ１２２０の品質、被覆されていない壁空間の量、および／または主壁１１８０を見ているときのユーザの姿勢に基づいてもよい。例えば、主ビデオ１２２０の品質が、高精細である場合、垂直表面１１８２のサイズは、主ビデオ１２２０の品質が垂直表面１１８２によって悪影響を及ぼされないであろうため、より大きくてもよい。しかしながら、主ビデオ１２２０のビデオ品質が、不良品質である場合、大垂直表面１１８２を有することは、ビデオ品質を大幅に損なわせ得、その場合、本開示の方法およびシステムは、ピクシレーションからの不良ビデオ品質を最小限にするために、より小さくなるように垂直表面１１８２内に表示されるコンテンツをリサイズする／その表示方法を再定義してもよい。
【０２０５】
垂直表面１１８６は、垂直表面１１８２のように、ユーザの物理的環境１１０５内の隣接する壁（例えば、側壁１１８４）上の垂直表面である。いくつかの実施形態では、ユーザ１１０８の配向に基づいて、側壁１１８４および垂直表面１１８６は、勾配上に傾けられた表面であるように現れてもよい。勾配上に傾けられた表面は、垂直および水平表面に加え、あるタイプの表面の配向であってもよい。ＹＯＵＴＵＢＥ（登録商標）ウェブページからの提案されるビデオ１２４０は、側壁１１８４上の垂直表面１１８６上に設置され、ユーザ１１０８が、単に、その頭部を、本実施例では、若干右に移動させることによって、提案されるビデオを視認可能となることを可能にする。
【０２０６】
仮想Ｒｏｌｏｄｅｘ１１９０は、頭部搭載型システム１１６０によって作成され、ユーザ１１０８に表示される、仮想オブジェクトである。仮想Ｒｏｌｏｄｅｘ１１９０は、ユーザ１１０８が仮想ページのセットを通して双方向にサイクリングするための能力を有してもよい。仮想Ｒｏｌｏｄｅｘ１１９０は、ウェブページ全体を含有してもよい、または個々の記事またはビデオまたはオーディオを含有してもよい。本実施例に示されるように、仮想Ｒｏｌｏｄｅｘ１１９０は、二次タブ１２５０からのコンテンツの一部を含有してもよい、またはいくつかの実施形態では、仮想Ｒｏｌｏｄｅｘ１１９０は、二次タブ１２５０のページ全体を含有してもよい。ユーザ１１０８は、単に、仮想Ｒｏｌｏｄｅｘ１１９０内の特定のタブ上に合焦することによって、仮想Ｒｏｌｏｄｅｘ１１９０内のコンテンツを通して双方向にサイクリングさせてもよく、頭部搭載型システム１１６０内の１つ以上のセンサ（例えば、センサ１１６２）は、ユーザ１１０８の眼焦点を検出し、適宜、仮想Ｒｏｌｏｄｅｘ１１９０内のタブを通してサイクリングさせ、ユーザ１１０８のために関連情報を取得するであろう。いくつかの実施形態では、ユーザ１１０８は、仮想Ｒｏｌｏｄｅｘ１１９０からの関連情報を選定し、頭部搭載型システム１１６０に、関連情報を利用可能な周囲表面またはユーザ１１０８に近接近する仮想ディスプレイ（図示せず）等のさらに別の仮想オブジェクトのいずれか上に表示するように命令してもよい。
【０２０７】
マルチスタック仮想オブジェクト１１９４は、仮想Ｒｏｌｏｄｅｘ１１９０と同様に、ユーザ１１０８が、ブックマークした、将来的視認のために保存した、またはオープン（すなわち、非アクティブ）タブを有する、１つ以上のタブからのコンテンツ全体または種々のウェブページまたはタブからの特定のコンテンツに及ぶ、コンテンツを含有してもよい。マルチスタック仮想オブジェクト１１９４はまた、新聞の実世界スタックに類似する。マルチスタック仮想オブジェクト１１９４内の各スタックは、特定の新聞記事、ページ、雑誌の号、レシピ等に関連してもよい。当業者は、コンテンツソースからのコンテンツ要素またはコンテンツを設置するための表面を提供する本同一目的を遂行するために、複数のタイプの仮想オブジェクトが存在し得ることを理解し得る。
【０２０８】
当業者は、ウェブブラウザ１１１０によってアクセスまたは表示されるコンテンツが、単なるウェブページ以上であってもよいことを理解し得る。いくつかの実施形態では、コンテンツは、写真アルバムからの写真、映画からのビデオ、ＴＶ番組、ＹＯＵＴＵＢＥ（登録商標）ビデオ、双方向フォーム等であってもよい。さらに他の実施形態では、コンテンツは、電子ブックまたは本を表示する任意の電子手段であってもよい。最後に、他の実施形態では、コンテンツが、概して、情報が現在提示されている方法によるため、コンテンツは、まだ説明されていない他のタイプのコンテンツであってもよい。電子デバイスが、コンテンツを消費し得る場合、コンテンツは、頭部搭載型システム１１６０によって使用され、コンテンツを分解し、３Ｄ設定（例えば、ＡＲ）内に表示することができる。
【０２０９】
いくつかの実施形態では、アクセスされたコンテンツをマッチング／マッピングするステップは、コンテンツ（例えば、ブラウザからの）を抽出するステップと、それを表面上に掲載するステップとを含んでもよく（コンテンツがもはやブラウザ内になく、表面上にのみあるように）、いくつかの実施形態では、マッチング／マッピングするステップは、コンテンツ（例えば、ブラウザからの）を複製するステップと、それを表面上に掲載するステップとを含むことができる（コンテンツがブラウザ内および表面上の両方にあるように）。
【０２１０】
コンテンツを分解するステップは、インターネットおよびコンピュータ関連技術の領域内に存在する、技術的問題である。ウェブページ等のデジタルコンテンツは、ＨＴＭＬ等のあるタイプのプログラミング言語を使用して構成され、コンピュータプロセッサおよび技術的コンポーネントに、ウェブページ内の要素をユーザのための画面上に表示する場所および方法を命令する。上記に議論されるように、ウェブ設計者は、典型的には、２Ｄキャンバス（例えば、画面）の限界内で作業し、要素（例えば、コンテンツ）を２Ｄキャンバス内に設置および表示する。ＨＴＭＬタグは、ＨＴＭＬドキュメントまたはＨＴＭＬドキュメント内の一部がフォーマッティングされる方法を決定するために使用される。いくつかの実施形態では、（抽出または複製された）コンテンツは、ＨＴＭＬタグ参照を維持することができ、いくつかの実施形態では、ＨＴＭＬタグ参照は、再定義されてもよい。
【０２１１】
本実施例に関して図４を簡単に参照すると、４１０においてコンテンツを受信するステップは、頭部搭載型システム１１６０の使用を伴い、デジタルコンテンツを検索してもよい。４１０においてコンテンツを受信するステップはまた、ネットワーク１１２０に接続されるサーバ（例えば、記憶デバイス１１３０）上のデジタルコンテンツにアクセスするステップを含んでもよい。４１０においてコンテンツを受信するステップは、ユーザ１１０８に関心があるウェブページに関して、インターネットをブラウジングするステップを含んでもよい。いくつかの実施形態では、４１０においてコンテンツを受信するステップは、コンテンツをインターネット上で検索するために、ユーザ１１０８によって与えられる音声アクティブ化コマンドを含んでもよい。例えば、ユーザ１１０８は、デバイス（例えば、頭部搭載型システム１１６０）と相互作用してもよく、ユーザ１１０８は、ビデオを検索するためのコマンドを発し、次いで、ビデオの名称およびビデオの簡単な説明を述べることによって、特定のビデオを検索するようにデバイスに求めることによって、特定のビデオをインターネット上で検索する。デバイスは、次いで、インターネットを検索し、ビデオを２Ｄブラウザ上に引き出し、デバイスの２Ｄブラウザ上に表示されるにつれて、ユーザ１１０８がビデオを見ることを可能にしてもよい。ユーザ１１０８は、次いで、ビデオが、ユーザ１１０８が空間的３Ｄ環境内で視認することを所望するであろうビデオであることを確認してもよい。
【０２１２】
いったんコンテンツが、受信されると、本方法は、４２０においてコンテンツ内のコンテンツ要素を識別し、ユーザ１１０８に表示するためにコンテンツ内のコンテンツ要素をインベントリ化する。コンテンツ内のコンテンツ要素は、例えば、ウェブページ上に投稿されたビデオ、記事、およびニュースレター、ソーシャルメディアウェブサイト上のコメントおよび投稿、ブログ投稿、種々のウェブサイト上に投稿された写真、オーディオブック等を含んでもよい。コンテンツ（例えば、ウェブページ）内のこれらの要素は、コンテンツに関するスクリプト内のＨＴＭＬタグによって判別可能であってもよく、さらに、特定の要素が設置される場所、ある場合には、要素が表示されるべき時間および方法を定義するためにコンテンツ設計者によって提供される属性を有する、ＨＴＭＬタグまたはＨＴＭＬ様タグを備えてもよい。いくつかの実施形態では、本開示の方法およびシステムは、これらのＨＴＭＬタグおよび属性をコンテンツ設計者によって提供されるヒントおよび提案として利用し、４４０におけるマッチング／マッピングプロセスを補助し、要素を３Ｄ設定内で表示すべき場所および方法を決定するであろう。例えば、下記は、コンテンツ設計者（例えば、ウェブページ開発者）によって提供される例示的ＨＴＭＬウェブページコードである。
コンテンツ設計者によって提供される例示的ＨＴＭＬウェブページコード
【化１−１】
2021527247.tif 000003
【化１−２】
2021527247.tif 000004
【０２１３】
コンテンツ設計者によって提供される例示的ＨＴＭＬウェブページコードは、主ビデオをウェブページ上に表示すべき方法に関する選好および推奨（または提案）されるビデオを表示すべき方法に関する選好を含む。選好は、１つ以上の属性としてタグ内で伝達されてもよい。コンテンツ要素に関する例示的属性は、上記および下記に説明される。属性は、上記に説明されるように、決定または推測されてもよい。特に、本ＨＴＭＬウェブページコードは、「スタイル」のタグを使用して、主ビデオを表示する方法を規定し、「垂直」のタイプ値を使用して、ビデオを表示するための垂直表面を指定する。加えて、「スタイル」タグ内では、コンテンツ設計者によって提供される付加的ヒントが、ウェブページ（例えば、主ビデオ）内のどのＨＴＭＬ要素／コンテンツがどの潜在的表面積にマッチング／マッピングされるべきかを優先順位化するために使用するためのマッチングアルゴリズムのための「優先順位」選好属性を含んでもよい。例示的ＨＴＭＬウェブページコードでは、優先順位は、垂直平面レイアウトを有するビデオに関して、１００の値に設定され、本実施例では、より高い優先順位値は、より高い優先順位を示す。加えて、本実施例では、選好属性が、コンテンツ設計者によって、「水平」のタイプ値を有するスタック内の提案されるビデオをスタックレイアウト内に設置するように示され、スタックされたオブジェクト（例えば、この場合、別の提案されるビデオに関連して提案されるビデオ）間の距離は、２０ｃｍであるべきである。
【０２１４】
いくつかの実施形態では、例えば、＜ｍｌ−ｃｏｎｔａｉｎｅｒ＞等のタグは、解析器（例えば、解析器１１５）が、タグ内で規定された属性を解釈し、コンテンツ要素が３Ｄ空間環境内に表示されるべき場所および方法を決定することが可能であり得るように、コンテンツ設計者がコンテンツ要素が環境（例えば、３Ｄ空間環境）内に表示されるべき場所および方法に関する具体的選好属性（例えば、ヒント）を提供することを可能にし得る。具体的選好属性は、コンテンツ要素に関する表示選好を定義するための１つ以上の属性を含んでもよい。属性は、上記に説明される属性のいずれかを含んでもよい。
【０２１５】
当業者は、コンテンツ設計者によって定義されたこれらの提案、ヒント、および／または属性が、例えば、コンテンツ要素を３Ｄ空間環境内に表示するための類似プロパティを示し得る、＜ｍｌ−ｃｏｎｔａｉｎｅｒ＞等のタグ内に定義されてもよいことを理解し得る。加えて、当業者はまた、コンテンツ設計者が任意の組み合わせにおいて属性を規定してもよいことを理解し得る。本明細書に開示される実施形態は、解析器（例えば、解析器１１５）、またはウェブページのコンテンツを分析し、コンテンツ要素をコンテンツ内に最良に表示するための方法および場所を決定するための他の類似技術の使用によって、所望の表示結果を解釈してもよい。
【０２１６】
本実施例に関して図５を簡単に参照すると、５１０においてコンテンツ内の要素を識別するステップは、図４の４２０においてコンテンツ内の要素を識別するステップに類似してもよい。本方法は、５２０において、属性をコンテンツの場所に関するタグから識別するための次のステップに進む。上記に議論されるように、コンテンツ設計者は、ウェブページを設計および構成する際、ウェブページ内のコンテンツ要素と各コンテンツ要素を表示すべき場所および方法を定義するためのＨＴＭＬタグを関連付けてもよい。これらのＨＴＭＬタグはまた、ウェブページの特定の部分上のコンテンツ要素の場所に関する属性を含んでもよい。頭部搭載型システム１１６０が、システムの他のコンポーネントを検出し、それと協調し、特定の要素が表示され得る場所に関する入力として使用するであろうものは、これらのＨＴＭＬタグおよびその属性である。いくつかの実施形態では、例えば、＜ｍｌ−ｃｏｎｔａｉｎｅｒ＞等のタグは、３Ｄ空間環境内のコンテンツ要素の表示選好属性を提案するためにコンテンツ設計者によって規定された属性を含んでもよく、タグは、コンテンツ要素と関連付けられる。
【０２１７】
ヒントまたはタグを各要素から抽出するステップは、５３０において実施される。ヒントまたはタグは、典型的には、ウェブページのコンテンツ設計者によって提供される、フォーマッティングヒントまたはフォーマッティングタグである。上記に議論されるように、コンテンツ設計者は、例えば、「ウェブページ開発者によって提供される例示的ＨＴＭＬウェブページコード」に示されるように、ＨＴＭＬタグの形態で命令またはヒントを提供し、ウェブブラウザ１１１０に、コンテンツ要素をページまたは画面の特定の部分に表示するように命令してもよい。いくつかの実施形態では、コンテンツ設計者は、付加的ＨＴＭＬタグ属性を使用して、付加的フォーマッティングルールを定義してもよい。例えば、ユーザが、具体的色（例えば、赤色）に関して低減された感度を有する場合、赤色を表示せず、代わりに、別の色を使用する、または垂直表面上に表示される選好を有するビデオが、垂直表面上に表示されることができない場合、代替として、ビデオを別の（物理的）表面上に表示する、または仮想表面を作成し、ビデオを仮想表面上に表示する。下記は、ＨＴＭＬページを通して解析し、ヒント／タグをＨＴＭＬページ内の各要素から抽出するためにブラウザ内に実装される例示的ＨＴＭＬページ解析器である。
ブラウザ内に実装される例示的ＨＴＭＬページ解析器
【化２−１】
2021527247.tif 000005
【化２−２】
2021527247.tif 000006
【化２−３】
2021527247.tif 000007
【０２１８】
例示的ＨＴＭＬページ解析器は、特定のコンテンツ要素に関する表示選好属性を提供するために使用されるＨＴＭＬタグを含有するＨＴＭＬページが解析および識別および／または抽出／複製され得る方法を示す。例示的ＨＴＭＬページ解析器に開示されるように、コンテンツ要素は、開示されるサンプルコードを使用して解析されることができる。種々の要素名および値を使用したあるＨＴＭＬタグが、ＨＴＭＬページ解析器によって識別／抽出され（例えば、ＭＬ．ｌａｙｏｕｔ、ＭＬ．ｃｏｎｔａｉｎｅｒ等）、特定の要素が３Ｄ環境内でユーザに表示されるべき方法を決定してもよい（例えば、コンテンツ要素を特定の表面にマッチングさせることによって）。
【０２１９】
コンテンツ要素のための代替表示形態をルックアップ／検索するステップは、５４０において実施される。あるフォーマッティングルールが、特定の視認デバイス上に表示されるコンテンツ要素に関して規定されてもよい。例えば、あるフォーマッティングルールは、ウェブページ上の画像に関して規定されてもよい。システムは、代替表示形態にアクセスしてもよい。例えば、ウェブブラウザ１１１０が、画像の３Ｄバージョン（またはより一般的には、３Ｄアセットまたは３Ｄメディア）を表示することが可能である場合、ウェブページ設計者は、付加的タグを設置する、または特定のタグのある属性を定義し、ウェブブラウザ１１１０が、画像が画像の代替バージョン（例えば、画像の３Ｄバージョン）を有し得ることを認識することを可能にしてもよい。ウェブブラウザ１１１０は、次いで、３Ｄ対応ブラウザに表示されるための画像の代替バージョン（例えば、画像の３Ｄバージョン）にアクセスしてもよい。
【０２２０】
いくつかの実施形態では、ウェブページ内の３Ｄ画像は、３Ｄ環境内の表面上に表示されるためにウェブページから抽出可能ではない、またはコピーされない場合がある。これらの実施形態では、３Ｄ画像は、３Ｄ画像が、回転、光輝等するように現れる、ユーザの３Ｄ環境内に表示されてもよく、ユーザは、３Ｄ画像と相互作用するが、３Ｄ画像を含むウェブページ内でのみ相互作用し得る。これらの実施形態では、３Ｄ画像が、ウェブページから抽出またはコピーされなかったため、３Ｄ画像の表示は、ウェブページ内に表示される。この場合、ウェブページ全体が、抽出され、ユーザの３Ｄ環境内に表示され、例えば、３Ｄ画像等のウェブページ内のいくつかのコンテンツ要素は、ウェブページから抽出またはコピーされないが、ウェブページの残りに対して３Ｄで現れ得、ウェブページ内で相互作用可能であり得る。
【０２２１】
いくつかの実施形態では、ウェブページ内の３Ｄ画像は、ウェブページからコピーされるが、抽出されない場合がある。これらの実施形態では、３Ｄ画像は、３Ｄ画像が回転、光輝等するように現れる、ユーザの３Ｄ環境内に表示されてもよく、ユーザは、３Ｄ画像を含むウェブページ内のみだけではなく、また、３Ｄ画像のコピーを含むウェブページ外の３Ｄ環境内でも、３Ｄ画像と相互作用し得る。ウェブページは、３Ｄ画像と同じように現れ、ウェブページ外には、３Ｄ画像のコピーが存在する。
【０２２２】
いくつかの実施形態では、ウェブページ内の３Ｄ画像は、ウェブページから抽出され得る。これらの実施形態では、３Ｄ画像は、３Ｄ画像が回転、光輝等するように現れる、ユーザの３Ｄ環境内に表示されてもよく、ユーザは、３Ｄ画像がウェブページから抽出されるにつれて、３Ｄ画像と相互作用するが、ウェブページ外のみで相互作用し得る。３Ｄ画像が、ウェブページから抽出されたため、３Ｄ画像は、３Ｄ環境のみに、ウェブページを伴わずに表示される。これらの実施形態では、ウェブページは、３Ｄ画像がウェブページから抽出された後、再構成されてもよい。例えば、抽出されることに先立って３Ｄ画像が存在したウェブページ内のブランクセクションを含む、ウェブページのあるバージョンが、ユーザに提示されてもよい。
【０２２３】
前述の実施形態および実施例は、ウェブページ内の３Ｄ画像に関して説明されるが、当業者は、説明が任意のコンテンツ要素にも同様に適用され得ることを理解し得る。
【０２２４】
識別されたコンテンツ要素を記憶するステップは、５５０において実施される。本方法は、合成プロセス１４０において使用され、コンテンツ要素を表面にマッチングさせるために、識別された要素を非一過性記憶媒体の中に記憶してもよい。非一過性記憶媒体は、記憶デバイス１１３０またはローカル記憶デバイス１１４０等のデータ記憶デバイスを含んでもよい。コンテンツ要素は、下記に説明される図１４Ａに開示されるテーブル等の特定のテーブル内に記憶されてもよい。いくつかの実施形態では、コンテンツ要素は、例えば、下記に説明される図１４Ｂに開示されるようなツリー構造として表される、階層構造内に記憶されてもよい。いくつかの実施形態では、コンテンツ要素は、一過性記憶媒体内に記憶されてもよい。
【０２２５】
図１４Ａ−１４Ｂは、いくつかの実施形態による、コンテンツから分解されたコンテンツ要素を記憶するための異なる構造の実施例を示す。図１４Ａでは、要素テーブル１４００は、図５の５１０におけるコンテンツ内のコンテンツ要素を識別するステップの結果をデータベース内に記憶し得る、例示的テーブルである。要素テーブル１４００は、例えば、要素識別（ＩＤ）１４１０と、コンテンツ要素に関する選好属性インジケータ１４２０（例えば、優先順位属性、配向属性、位置タイプ属性、コンテンツタイプ属性、表面タイプ属性、および同等物、またはいくつかのそれらの組み合わせ）と、特定のコンテンツ要素が親コンテンツ要素内に含まれる場合の親要素ＩＤ１４３０、コンテンツ要素が子コンテンツ要素を含有し得る場合の子コンテンツ要素ＩＤ１４４０と、コンテンツ要素を表示するために使用される表面または仮想オブジェクトにコンテンツ要素の複数のバージョンを表示することと互換性を持たせる必要性を保証し得る、複数の実施形態をコンテンツ要素が含有するかどうかを示すための複数エンティティインジケータ１４５０とを含む、コンテンツ内の１つ以上のコンテンツ要素についての情報を含む。親コンテンツ要素は、サブコンテンツ要素（例えば、子コンテンツ要素）を含有し得る、コンテンツ内のコンテンツ要素／オブジェクトである。例えば、１２２０（例えば、主ビデオ１２２０）の値を有する要素ＩＤは、１２６０（例えば、アクティブタブ１２６０）の親要素ＩＤ値を有し、これは、主ビデオ１２２０がアクティブタブ１２６０の子コンテンツ要素であることを示す。または換言すると、主ビデオ１２２０は、アクティブタブ１２６０内に含まれる。同一実施例を継続すると、主ビデオ１２２０は、子要素ＩＤ１２３０（例えば、ユーザコメント１２３０）を有し、これは、ユーザコメント１２３０が主ビデオ１２２０と関連付けられることを示す。当業者は、要素テーブル１４００が関係データベースまたは任意のタイプのデータベース内のテーブルであってもよいことを理解し得る。加えて、要素テーブル１４００は、図５の５１０におけるコンテンツ内のコンテンツ要素を識別するステップの結果を含有する、コンピュータメモリ（例えば、キャッシュ）内のアレイであってもよい。
【０２２６】
要素テーブル１４００内の行１４６０の各行は、ウェブページ内からのコンテンツ要素に対応する。要素ＩＤ１４１０は、コンテンツ要素（例えば、要素ＩＤ）毎に一意の識別子を含有する、列である。いくつかの実施形態では、コンテンツ要素の一意性は、要素ＩＤ１４１０列およびテーブル内の別の列（例えば、コンテンツ設計者によって識別される１つを上回る選好属性が存在する場合、選好属性１４２０列）の組み合わせとして定義されてもよい。選好属性１４２０は、その値が、少なくとも部分的に、コンテンツ設計者によってその中に定義され、図５の５３０におけるヒントまたはタグを各コンテンツ要素から抽出するステップに開示されるように、本システムおよび方法によって識別される、タグおよび属性に基づいて決定され得る、列である。他の実施形態では、選好属性１４２０列は、少なくとも部分的に、所定のルールに基づいて決定され、あるコンテンツのタイプ要素が環境内で表示されるべき場所を規定してもよい。これらの所定のルールは、コンテンツ要素を環境内に最良に設置すべき場所を決定するための提案を本システムおよび方法に提供し得る。
【０２２７】
親要素ＩＤ１４３０は、現在の行内の本特定のコンテンツ要素がその中に表示される、またはそれに関連する、親コンテンツ要素の要素ＩＤを含有する、列である。特定のコンテンツ要素は、内蔵される、ページの別のコンテンツ要素内に設置される、またはウェブページ上の別のコンテンツ要素に関連してもよい。例えば、本実施形態では、要素ＩＤ１４１０列の第１のエントリは、図１２の主ビデオ１２２０に対応する要素ＩＤ１２２０の値を記憶する。主ビデオ１２２０に対応する選好属性１４２０列内の値は、タグおよび／または属性に基づいて決定され、図示されるように、本コンテンツ要素がユーザの物理的環境１１０５の「主」場所に設置されるべきであるということである。ユーザ１１０８の現在の場所に応じて、その主場所は、ユーザ１１０８が現在見ている居間内の壁または台所内のコンロの上のフードであってもよい、または広開放空間内に存在する場合、主ビデオ１２２０が投影され得る、ユーザ１１０８の通視線の正面に投影される、仮想オブジェクトであってもよい。コンテンツ要素がユーザ１１０８に表示される方法に関するさらなる情報は、詳細な説明の他の場所に開示されるであろう。本実施例を継続すると、親要素ＩＤ１４３０列は、図１２のアクティブタブ１２６０に対応する要素ＩＤ１２６０の値を記憶する。したがって、主ビデオ１２２０は、アクティブタブ１２６０の子である。
【０２２８】
子要素ＩＤ１４４０は、現在の行内の本特定のコンテンツ要素が表示されている、またはそれに関連する、子コンテンツ要素の要素ＩＤを含有する、列である。ウェブページ内の特定のコンテンツ要素は、内蔵される、別のコンテンツ要素内に設置される、または別のコンテンツ要素に関連してもよい。本実施例を継続すると、子要素ＩＤ１４４０列は、図１２のユーザコメント１２３０に対応する要素ＩＤ１２３０の値を記憶する。
【０２２９】
多重エンティティインジケータ１４５０は、要素を表示するために使用される表面または仮想オブジェクトにコンテンツ要素の複数のバージョンを表示することと互換性を持たせる必要性を保証し得る、多重エンティティをコンテンツ要素が含有するかどうかを示す、列である（例えば、コンテンツ要素は、ユーザコメント１２３０であってもよく、主ビデオ１２２０に関して、利用可能な１つを上回るコメントが存在してもよい）。本実施例を継続すると、多重エンティティインジケータ１４５０列は、「Ｎ」の値を記憶し、主ビデオ１２２０が複数の主ビデオをアクティブタブ１２６０内に有していない、またはそれに対応していない（例えば、主ビデオ１２２０の複数のバージョンが「存在しない」）ことを示す。
【０２３０】
本実施例を継続すると、要素ＩＤ１４１０列の第２のエントリは、図１２のユーザコメント１２３０に対応する要素ＩＤ１２３０の値を記憶する。ユーザコメント１２３０に対応する選好属性１４２０列内の値は、「水平」の選好を示し、ユーザコメント１２３０がユーザの物理的環境１１０５内のいずれかの場所の水平表面上に設置されるべきであることを示す。上記に議論されるように、水平表面は、ユーザの物理的環境１１０５内の利用可能な水平表面に基づいて決定されるであろう。いくつかの実施形態では、ユーザの物理的環境１１０５は、水平表面を有していない場合があり、その場合、本開示の本システムおよび方法は、水平表面を伴う仮想オブジェクトを識別／作成し、ユーザコメント１２３０を表示してもよい。本実施例を継続すると、親要素ＩＤ１４３０列は、図１２の主ビデオ１２２０に対応する値要素ＩＤ１２２０を記憶し、多重エンティティインジケータ１４５０列は、「Ｙ」の値を記憶し、ユーザコメント１２３０が１つを上回る値（例えば、１つを上回るユーザコメント）を含有し得ることを示す。
【０２３１】
要素テーブル１４００内の残りの行は、ユーザ１１０８に関心のある残りのコンテンツ要素に関する情報を含有する。当業者は、５１０におけるコンテンツ内のコンテンツ要素を識別するステップの結果を記憶することが、いったん本分析がコンテンツ上で実施されると、別のユーザが同一コンテンツに関心がある場合のコンテンツの将来的分析のための本システムおよび方法によって留保され得るため、コンピュータ自体の機能を改良することを理解し得る。本特定のコンテンツを分解するための本システムおよび方法は、以前にすでに完了されているため、回避されてもよい。
【０２３２】
いくつかの実施形態では、要素テーブル１４００は、記憶デバイス１１３０内に記憶されてもよい。他の実施形態では、要素テーブル１４００は、最近視認されたコンテンツへの迅速アクセスのために、または最近視認されたコンテンツへの可能性として考えられる再訪問のために、ローカル記憶デバイス１１４０内に記憶されてもよい。さらに他の実施形態では、要素テーブル１４００は、ユーザ１１０８から遠隔に位置する記憶デバイス１１３０およびユーザ１１０８にローカルで位置するローカル記憶デバイス１１４０の両方に記憶されてもよい。
【０２３３】
図１４Ｂでは、ツリー構造１４０５は、図５の５１０におけるコンテンツ内の要素を識別するステップの結果をデータベースの中に記憶するために使用され得る、例示的論理構造である。コンテンツ要素をツリー構造内に記憶することは、種々のコンテンツが相互に階層関係を有するとき、有利であり得る。ツリー構造１４０５は、親ノード−ウェブページ主タブノード１４１５と、第１の子ノード−主ビデオノード１４２５と、第２の子ノード−提案されるビデオノード１４４５とを含む。第１の子ノード−主ビデオノード１４２５は、子ノード−ユーザコメントノード１４３５を含む。ユーザコメントノード１４３５は、ウェブページ主タブノード１４１５の孫である。実施例として、図１２を参照すると、ウェブページ主タブノード１４１５は、ウェブページ主タブ１２６０であってもよく、主ビデオノード１４２５は、主ビデオ１２２０であってもよく、ユーザコメントノード１４３５は、ユーザコメント１２３０であってもよく、提案されるビデオノード１４４５は、提案されるビデオ１２４０であってもよい。ここでは、コンテンツ要素のツリー構造編成は、種々のコンテンツ要素間の階層関係を示す。コンテンツ要素を論理構造のツリー構造タイプ内に編成および記憶することが有利であり得る。例えば、主ビデオ１２２０が、特定の表面上に表示されている場合、システムが、ユーザコメント１２３０が主ビデオ１２２０の子コンテンツであることを把握することが有用であり得、ユーザがユーザコメント１２３０と主ビデオ１２２０との間の関係を容易に見て理解し得るように、ユーザコメント１２３０を主ビデオ１２２０に比較的に近接して表示し、および／またはユーザコメント１２３０を主ビデオ１２２０の近傍の表面上に表示することが有益であり得る。いくつかの実施形態では、ユーザが主ビデオ１２２０を隠すまたは閉じることを決定する場合、ユーザコメント１２３０を隠すまたは閉じることが可能であることが有益であり得る。いくつかの実施形態では、ユーザが主ビデオ１２２０を異なる表面に移動させることを決定する場合、ユーザコメント１２３０を別の表面に移動させることが可能であることが有益であり得る。システムは、親ノード−主ビデオノード１４２５および子ノード−ユーザコメントノード１４３５の両方を同時に移動させることによって、ユーザが主ビデオ１２２０を移動させるとき、ユーザコメント１２３０を移動させてもよい。
【０２３４】
図４に戻ると、本方法は、４３０において、表面を決定するステップを継続する。ユーザ１１０８は、ユーザの物理的環境１１０５を頭部搭載型システム１１６０を通して視認し、頭部搭載型システム１１６０が、壁、テーブル、絵画、窓枠、コンロ、冷蔵庫、ＴＶ等の周囲表面を捕捉および識別することを可能にしてもよい。頭部搭載型システム１１６０は、頭部搭載型システム１１６０上のセンサおよびカメラのため、または任意の他のタイプの類似デバイスを用いて、ユーザの物理的環境１１０５内の実オブジェクトを認知する。いくつかの実施形態では、頭部搭載型システム１１６０は、ユーザの物理的環境１１０５内で観察される実オブジェクトを記憶デバイス１１３０またはローカル記憶デバイス１１４０内に記憶される仮想オブジェクトとマッチングさせ、そのような仮想オブジェクトとともに利用可能な表面を識別してもよい。実オブジェクトは、ユーザの物理的環境１１０５内で識別されたオブジェクトである。仮想オブジェクトは、ユーザの物理的環境内に物理的に存在しないが、仮想オブジェクトがユーザの物理的環境内に存在するかのように現れるようにユーザに表示され得る、オブジェクトである。例えば、頭部搭載型システム１１６０は、ユーザの物理的環境１１０５内でテーブルの画像を検出してもよい。テーブル画像は、記憶デバイス１１３０またはローカル記憶デバイス１１４０における比較およびマッチングのために、３Ｄ点群オブジェクトに低減されてもよい。（例えば、テーブルの）実オブジェクトおよび３Ｄ点群オブジェクトのマッチングが、検出される場合、本システムおよび方法は、テーブルを表す３Ｄ点群オブジェクトが水平表面を有するように定義されるため、テーブルを水平表面を有すると識別するであろう。
【０２３５】
いくつかの実施形態では、仮想オブジェクトは、抽出されたオブジェクトであってもよく、抽出されたオブジェクトは、ユーザの物理的環境１１０５内で識別されたが、物理的オブジェクト自体上で行われることが可能ではないであろう、付加的処理および関連付けが、抽出されたオブジェクトに対して行われ得るように（例えば、物理的オブジェクトの色を変化させ、物理的オブジェクトの特定の特徴をハイライトするため等）、物理的オブジェクトの場所内の仮想オブジェクトとしてユーザに表示される、物理的オブジェクトであってもよい。加えて、抽出されたオブジェクトは、コンテンツ（例えば、ブラウザからのウェブページ）から抽出され、ユーザ１１０８に表示される、仮想オブジェクトであってもよい。例えば、ユーザ１１０８は、ユーザの物理的環境１１０５内で表示されるために、ウェブページ上に表示される長椅子等のオブジェクトを選定してもよい。システムは、選定されたオブジェクト（例えば、長椅子）を認識し、抽出されたオブジェクト（例えば、長椅子）がユーザの物理的環境１１０５内に物理的に存在するかのように、抽出されたオブジェクト（例えば、長椅子）をユーザ１１０８に表示してもよい。加えて、仮想オブジェクトはまた、ユーザの物理的環境１１０５内に物理的に存在しないが、コンテンツを表示する視点から、あるコンテンツをユーザに提示するための理想的表示表面であり得る、コンテンツを表示するための表面（例えば、あるコンテンツを視認するためにユーザに近接近する透明ディスプレイ画面）を有する、オブジェクトを含んでもよい。
【０２３６】
図６を簡単に参照すると、本方法は、６１０において、表面を決定するステップから開始する。本方法は、６２０において、ユーザの姿勢を決定する次のステップに進み、これは、頭部姿勢ベクトルを決定するステップを含んでもよい。６２０においてユーザの姿勢を決定するステップは、ユーザの姿勢がユーザの物理的環境１１０５内のオブジェクトに関連して、ユーザ１１０８のための視点を提供するであろうため、ユーザの現在の周囲を識別するために重要なステップである。例えば、図１１に戻って参照すると、ユーザ１１０８は、頭部搭載型システム１１６０を使用して、ユーザの物理的環境１１０５を観察している。６２０においてユーザの姿勢（すなわち、頭部姿勢ベクトルおよび／または世界に対する原点位置情報）を決定するステップは、頭部搭載型システム１１６０が、例えば、（１）地面に関連してユーザ１１０８が存在する高さ、（２）ユーザ１１０８が、部屋を動き回り、その画像を捕捉するために、その頭部を回転させる必要がある、角度、および（３）ユーザ１１０８と、テーブル１１８８、主壁１１８０、および側壁１１８４との間の距離を理解することに役立つであろう。加えて、ユーザ１１０８の姿勢もまた、垂直表面１１８２および１８６とともに、ユーザの物理的環境１１０５内の他の表面を観察するとき、頭部搭載型システム１１６０の角度を決定する際に有用である。
【０２３７】
６３０において、本方法は、表面の属性を決定する。ユーザの物理的環境１１０５内の各表面は、対応する属性とタグ付けおよびカテゴリ化される。いくつかの実施形態では、ユーザの物理的環境１１０５内の各表面はまた、対応する寸法および／または配向属性とタグ付けおよびカテゴリ化される。本情報は、少なくとも部分的に、表面の寸法属性、表面の配向属性、ユーザ１１０８が特定の表面から離れている距離、およびコンテンツ要素に関して表示される必要がある情報のタイプに基づいて、コンテンツ要素を表面にマッチングさせる際に有用であろう。例えば、ビデオは、小寸法を伴って離れた壁上に表示される場合、記事のテキストサイズが小さすぎてユーザが見ることができない、豊富な情報を含有し得る、ブログまたは記事より離れて示されることができる。いくつかの実施形態では、図１Ｂからのセンサ１６２は、処理するために、未加工データをＣＶＰＵ１６４に提供し、ＣＶＰＵ１６４は、環境解析器１６８のためのデータを準備するために、処理されたデータを知覚フレームワーク１６６に提供する。環境解析器１６８は、知覚フレームワーク１６６からの環境データを解析し、環境内の表面を決定する。
【０２３８】
６４０において、本方法は、抽出された要素を特定の表面にマッチング／マッピングするために合成プロセス／マッチング／マッピングルーチンによって使用されるために、表面のインベントリを非一過性記憶媒体の中に記憶する。非一過性記憶媒体は、記憶デバイス１１３０またはローカル記憶デバイス１１４０等のデータ記憶デバイスを含んでもよい。識別された表面は、下記に説明される図１５に開示されるテーブル等の特定のテーブル内に記憶されてもよい。いくつかの実施形態では、識別された表面は、一過性記憶媒体内に記憶されてもよい。
【０２３９】
図１５は、いくつかの実施形態による、ユーザのローカル環境から識別された表面のインベントリを記憶する、テーブルの実施例を示す。表面テーブル１５００は、周囲表面および属性プロセスを識別するステップの結果をデータベース内に記憶し得る、例示的テーブルである。表面テーブル１５００は、例えば、表面ＩＤ１５１０と、幅１５２０と、高さ１５３０と、配向１５４０と、実または仮想インジケータ１５５０と、多重性１５６０と、位置１５７０と、ユーザ１５８０に対するドット積相対的表面配向とを含む、データ列を有する、ユーザの物理的環境１１０５内の表面についての情報を含む。表面テーブル１５００は、各表面の他の属性を表す、付加的列を有してもよい。当業者は、表面テーブル１５００が関係データベースまたは任意のタイプのデータベース内のテーブルであってもよいことを理解し得る。加えて、表面テーブル１５００は、図４の４３０において表面を決定するステップの結果を記憶する、コンピュータメモリ（例えば、キャッシュ）内のアレイであってもよい。
【０２４０】
表面テーブル１５００内の行１５９０の各行は、ユーザの物理的環境１１０５からの表面またはユーザの物理的環境１１０５内でユーザ１１０８に表示され得る仮想表面に対応してもよい。表面ＩＤ１５１０は、一意の識別子を含有し、特定の表面（例えば、表面ＩＤ）を一意に識別する、列である。特定の表面の寸法は、幅１５２０および高さ１５３０列内に記憶される。
【０２４１】
配向１５４０は、ユーザ１１０８に対する表面の配向（例えば、垂直、水平等）を示す、列である。実／仮想１５５０は、特定の表面が、頭部搭載型システム１１６０を使用してユーザ１１０８によって知覚されるようなユーザの物理的環境１１０５内の実表面／オブジェクト上に位置するかどうか、または特定の表面が、頭部搭載型システム１１６０によって生成され、ユーザの物理的環境１１０５内で表示されるであろう、仮想表面／オブジェクト上に位置するかどうかを示す、列である。頭部搭載型システム１１６０は、ユーザの物理的環境１１０５が、十分な表面を含有しない、マッチングスコア分析に基づいて十分に適切な表面を含有し得ない、または頭部搭載型システム１１６０が、ユーザ１１０８が表示することを所望するコンテンツの量を表示するために十分な表面を検出し得ない状況のために、仮想表面／オブジェクトを生成する必要があり得る。これらの実施形態では、頭部搭載型システム１１６０は、表示のために識別されたあるタイプの要素を表示するために適切な表面寸法を有し得る、既存の仮想オブジェクトのデータベースから検索してもよい。データベースは、記憶デバイス１１３０またはローカル記憶デバイス１１４０からのものであってもよい。いくつかの実施形態では、仮想表面は、ユーザの実質的に正面に作成される、またはユーザの実世界の一次視野をオクルードしないように、頭部搭載型システム１１６０の前方ベクトルからオフセットされる。
【０２４２】
多重性１５６０は、表面／オブジェクトが要素の複数のバージョンを表示することと互換性があるかどうかを示す、列である（例えば、要素は、図１２の二次タブ１２５０であってもよく、特定のウェブブラウザ１１１０に関して、１つを上回る二次（すなわち、非アクティブ）タブ（例えば、タブあたり１つのウェブページ）が存在してもよい。多重性１５６０列が、図１２の仮想Ｒｏｌｏｄｅｘ１１９０に対応する１１９０の値を記憶する表面ＩＤ列の第４のエントリおよび図１２のマルチスタック仮想オブジェクト１１９４に対応する１１９４の値を記憶する表面ＩＤ列の第５のエントリの場合のように、「多重性」の値を有する場合、本システムおよび方法は、非アクティブタブの場合のように、要素の複数のバージョンを有し得る要素が存在する場合、これらが、複数のバージョンに適応し得る表面のタイプであることを把握するであろう。
【０２４３】
位置１５７０は、基準または参照点のフレームに対する物理的表面の位置を示す、列である。物理的表面の位置は、図１５における位置１５７０の列ヘッダに示されるように、表面の中心であると事前決定されてもよい。他の実施形態では、位置は、表面の別の参照点（例えば、表面の正面、背面、上面、または底面）であると事前決定されてもよい。位置情報は、基準または参照点のあるフレームに対する物理的表面の中心からのベクトルおよび／または位置情報として表され得る。表面テーブル１５００内の位置を表すために、いくつかの方法が存在し得る。例えば、表面テーブル１５００内の表面ＩＤ１１９４に関する位置の値は、ベクトル情報および基準フレーム情報（例えば、添字「フレーム」）を例証するように要約において表される。ｘ，ｙ，ｚは、各空間寸法内の３Ｄ座標であって、フレームは、３Ｄ座標が対する基準フレームを示す。
【０２４４】
例えば、表面ＩＤ１１８６は、表面１１８６の中心の位置が実世界原点に対して（１．３、２．３、１．３）であることを示す。別の実施例として、表面ＩＤ１１９２は、表面１１９２の中心の位置がユーザ基準フレームに対して（ｘ，ｙ，ｚ）であることを示し、表面ＩＤ１１９０は、表面１１９０の中心の位置が別の表面１１８２に対して（ｘ，ｙ，ｚ）であることを示す。基準フレームは、現在使用されている基準フレームを明確にするために重要である。基準フレームとしての実世界原点の場合、これは、概して、静的基準フレームである。しかしながら、基準フレームがユーザ基準フレームである、他の実施形態では、ユーザは、基準フレームを移動させ得、その場合、平面（またはベクトル情報）は、ユーザが移動する場合、ユーザに伴って移動および変化され得、ユーザ基準フレームが、基準フレームとして使用される。いくつかの実施形態では、表面毎の基準フレームは、同一（例えば、ユーザ基準フレーム）であってもよい。他の実施形態では、表面テーブル１５００内に記憶される表面に関する基準フレームは、表面（例えば、ユーザ基準フレーム、世界基準フレーム、部屋内の別の表面またはオブジェクト等）に応じて、異なってもよい。
【０２４５】
本実施例では、表面テーブル１５００内に記憶される値は、図１２のユーザの物理的環境１１０５内で識別された物理的表面（例えば、垂直表面１１８２および１１８６および水平表面１１９２）および仮想表面（例えば、仮想Ｒｏｌｏｄｅｘ１１９０およびマルチスタック仮想オブジェクト１１９４）を含有する。例えば、本実施形態では、表面ＩＤ１５１０列の第１のエントリは、図１２の垂直表面１１８２に対応する表面ＩＤ１１８２の値を記憶する。幅１５２０列内の幅値および高さ１５３０列内の高さ値は、垂直表面１１８２の幅および高さに対応し、それぞれ、垂直表面１１８２が４８インチ（Ｗ）×３６インチ（Ｈ）の寸法を有することを示す。同様に、配向１５４０列内の配向値は、垂直表面１１８２が「垂直」の配向を有することを示す。加えて、実／仮想１５５０列内の実／仮想値は、垂直表面１１８２が「Ｒ」（例えば、実）表面であることを示す。多重性１５６０列内の多重性値は、垂直表面１１８２が「単一」（例えば、単一コンテンツのみを保持することができる）ことを示す。最後に、１５７０列内の位置は、（２．５、２．３、１．２）ｕｓｅｒのベクトル情報を用いて、ユーザ１１０８に対する垂直表面１１８２の位置を示す。
【０２４６】
表面テーブル１５００内の残りの行は、ユーザの物理的環境１１０５内の残りの表面に関する情報を含有する。当業者は、図４の４３０において表面を決定するステップの結果を記憶することが、いったん本分析が周囲表面上で実施されると、別のユーザまたは同一ユーザ１１０８が同一物理的環境１１０５内に存在するが、異なるコンテンツに関心がある場合のユーザの周囲表面の将来的分析のために、頭部搭載型システム１１６０によって留保され得るため、コンピュータ自体の機能を改良することを理解し得る。４３０において表面を決定するための処理ステップは、これらの処理ステップが以前にすでに完了されているため、回避されてもよい。唯一の差異として、少なくとも部分的に、異なるコンテンツを伴う要素を識別する要素テーブル１４００に基づいて、利用可能な付加的または異なる仮想オブジェクトを識別するステップを含んでもよい。
【０２４７】
いくつかの実施形態では、表面テーブル１５００は、記憶デバイス１１３０内に記憶される。他の実施形態では、表面テーブル１５００は、最近視認されたコンテンツへの迅速アクセスのために、または最近視認されたコンテンツへの可能性として考えられる再訪問のために、ユーザ１１０８のローカル記憶デバイス１１４０内に記憶される。さらに他の実施形態では、表面テーブル１５００は、ユーザ１１０８から遠隔に位置する記憶デバイス１１３０およびユーザ１１０８のローカルに位置するローカル記憶デバイス１１４０の両方に記憶されてもよい。
【０２４８】
図４に戻ると、本方法は、４４０において、４２０においてコンテンツ内のコンテンツ要素を識別するステップから識別されたコンテンツ要素および４３０において表面を決定するステップから決定された表面の組み合わせを使用して、いくつかの実施形態では、付加的表面としての仮想オブジェクトを使用して、コンテンツ要素を表面にマッチングさせるステップを継続する。コンテンツ要素を表面にマッチングさせるステップは、複数の要因を伴ってもよく、そのうちのいくつかは、上記に議論される例示的ＨＴＭＬページ解析器等のＨＴＭＬページ解析器を使用することによって、コンテンツ設計者によって定義されたＨＴＭＬタグ要素を介してコンテンツ設計者によって提供されるヒントを分析するステップを含んでもよい。他の要因は、ＡＲブラウザ、ＡＲインターフェース、および／またはクラウド記憶装置によって提供されるようなあるコンテンツにマッチング／マッピングすべき方法および場所の事前に定義されたルールのセットから選択するステップを含んでもよい。
【０２４９】
図７Ａを簡単に参照すると、これは、いくつかの実施形態による、コンテンツ要素を表面にマッチングさせるための方法を図示する、フロー図を描写する。７１０において、本方法は、識別されたコンテンツ要素がコンテンツ設計者によって提供されるヒントを含有するかどうかを決定する。コンテンツ設計者は、コンテンツ要素を最良に表示するための場所に関するヒントを提供してもよい。例えば、図１２の主ビデオ１２２０は、アクティブタブ１２６０内のウェブページ上に表示されるビデオであってもよい。コンテンツ設計者は、ヒントを提供し、主ビデオ１２２０がユーザ１１０８の直接ビュー内の平坦垂直表面上に最良に表示されることを示してもよい。
【０２５０】
いくつかの実施形態では、ウェブリンクに関する３Ｄプレビューは、新しいＨＴＭＬタグおよびウェブページに関連付けられたプロパティのセットとして表され得る。図１６は、いくつかの実施形態による、ウェブリンクに関する例示的３Ｄプレビューを示す。コンテンツ設計者は、新しいＨＴＭＬプロパティを使用して、レンダリングされるための関連付けられた３Ｄプレビューを有するウェブリンクを規定してもよい。随意に、コンテンツ設計者／ウェブ開発者は、３Ｄウェブプレビューをレンダリングするために使用されるための３Ｄモデルを規定してもよい。コンテンツ設計者／ウェブ開発者が、ウェブプレビューをレンダリングするために使用されるための３Ｄモデルを規定する場合、ウェブコンテンツ画像は、３Ｄモデルに対するテクスチャとして使用されてもよい。ウェブページは、受信されてもよい。あるリンクタグに関して規定されたプレビュープロパティが存在する場合、第１のレベルのウェブページ（例えば、第１のページ上に直接リンクされる、ウェブページ）が、読み出されてもよく、プレビュープロパティに基づいて、３Ｄプレビューが、生成され、コンテンツ設計者によって規定された３Ｄモデルまたはデフォルト３Ｄモデル（例えば、球体１６１０ａ）上にロードされてもよい。３Ｄプレビューは、ウェブリンクに関して説明されるが、３Ｄプレビューは、他のコンテンツタイプのために使用されてもよく、それ自体の解析およびマッチングされた属性プロファイルに従って、初期コンテンツから別個に現れてもよい。当業者は、コンテンツ設計者が、特定のコンテンツ要素が本明細書に開示されたもの以外の３Ｄ環境内に設置されるべき場所に関するヒントを提供し得る、多くの他の方法が存在し、これらが、コンテンツ設計者が、ウェブページのコンテンツのあるまたは全てのコンテンツ要素を表示するためのヒントを提供し得る、異なる方法のいくつかの実施例であることを理解し得る。
【０２５１】
別の実施形態では、タグ規格（例えば、ＨＴＭＬタグ規格）は、新しいタグ（例えば、ＨＴＭＬタグ）または上記に議論されるコンテンツ設計者によって提供される例示的ウェブページ内等にヒントを提供するための類似マークアップ言語の作成を含んでもよい。タグ規格が、これらのタイプの付加的タグを含む場合、本方法およびシステムのある実施形態は、これらのタグを活用し、さらに、識別されたコンテンツ要素と識別された表面のマッチング／マッピングを提供するであろう。
【０２５２】
例えば、ウェブコンポーネントのセットが、コンテンツ設計者／ウェブ開発者が、ウェブページの要素を作成するために使用するための新しいＨＴＭＬタグとしてエクスポーズされてもよく、これは、２Ｄウェブページから突出する３Ｄボリュームまたは２Ｄウェブページの中にエッチングされる３Ｄボリュームとして現れるであろう。図１７は、ウェブページ（例えば、１７１０）の中にエッチングされる３Ｄボリュームを有する、ウェブページの実施例を示す。これらの３Ｄボリュームは、ウェブ制御（例えば、ボタン、ハンドル、ジョイスティック）を含んでもよく、これは、ウェブページ上に設置され、ユーザが、ウェブ制御を操作し、ウェブページ内に表示されるコンテンツを操作することを可能にするであろう、またはウェブコンポーネント自体に関連する付加的コンテンツのビューであってもよい。当業者は、コンテンツ要素が３Ｄ環境内に最良に表示されるべき方法に関するヒントをさらに提供するために修正または採用され得る、ＨＴＭＬ以外の多くの他の言語が存在し、新しいＨＴＭＬタグ規格が、単に、そのような目標を達成するための１つの方法であることを理解し得る。
【０２５３】
７２０において、本方法は、コンテンツ設計者によって提供されるヒントを使用すべきか、またはコンテンツ要素を表面にマッチング／マッピングするための事前に定義されたルールのセットを使用すべきであるかどうかを決定する。７３０において、コンテンツ設計者によって提供されるヒントを使用することが進めるべき方法であると決定される場合、本システムおよび方法は、ヒントを分析し、少なくとも部分的に、ヒント（例えば、図１５の表面テーブル１５００にクエリする）に基づいて特定のコンテンツ要素を表示するために使用され得る識別された周囲表面を含む、論理構造を検索する。
【０２５４】
７４０において、本システムおよび方法は、最良適合アルゴリズムを起動し、提供されるヒントに基づいて、特定のコンテンツ要素に関する最良適合表面を選定する。最良適合アルゴリズム、例えば、特定のコンテンツ要素に関するヒントを得て、環境内のユーザ１１０８に対する正面および中心である表面を識別することを試み得る。例えば、図１２の主ビデオ１２２０は、主ビデオ１２２０が、アクティブタブ１２６０内の図１４Ａの要素テーブル１４００の選好属性１４２０列内の「主」の選好値を有し、垂直表面１１８２が、ユーザ１１０８の直接ビュー内の表面であって、主ビデオ１２２０を表示するための最適サイズ寸法を有するため、垂直表面１１８２にマッチング／マッピングされる。
【０２５５】
７５０において、本システムおよび方法は、コンテンツ要素と表面のマッチングを有する、マッチング結果を記憶する。テーブルは、ディスプレイアルゴリズムによって使用され、コンテンツ要素をそのそれぞれのマッチング／マッピングされた表面上に表示するために、非一過性記憶媒体内に記憶されてもよい。非一過性記憶媒体は、記憶デバイス１１３０またはローカル記憶デバイス１１４０等のデータ記憶デバイスを含んでもよい。マッチング結果は、下記の図１８に開示されるテーブル等の特定のテーブル内に記憶されてもよい。
【０２５６】
図１８は、いくつかの実施形態による、コンテンツ要素と表面のマッチングを記憶するためのテーブルの実施例を示す。マッチング／マッピングテーブル１８００は、コンテンツ要素と表面をマッチングさせるプロセスの結果をデータベースの中に記憶する、例示的テーブルである。マッチング／マッピングテーブル１８００は、例えば、コンテンツ要素（例えば、要素ＩＤ）およびコンテンツ要素がマッチング／マッピングされた表面（例えば、表面ＩＤ）についての情報を含む。当業者は、マッチング／マッピングテーブル１８００が、関係データベースまたは任意のタイプのデータベースまたは記憶媒体内に記憶されるテーブルであってもよいことを理解し得る。加えて、マッチング／マッピングテーブル１８００は、図４の４４０においてコンテンツ要素を表面にマッチングさせるステップの結果を含有する、コンピュータメモリ（例えば、キャッシュ）内のアレイであってもよい。
【０２５７】
マッチング／マッピングテーブル１８００の各行は、ユーザの物理的環境１１０５内の１つ以上の表面またはユーザ１１０８に表示される仮想表面／オブジェクトのいずれかにマッチングされるコンテンツ要素に対応し、仮想表面／オブジェクトは、ユーザの物理的環境１１０５内の表面／オブジェクトであるように現れる。例えば、本実施形態では、要素ＩＤ列の第１のエントリは、主ビデオ１２２０に対応する要素ＩＤ１２２０の値を記憶する。主ビデオ１２２０に対応する表面ＩＤ列内の表面ＩＤ値は、垂直表面１１８２に対応する１１８２である。このように、主ビデオ１２２０は、垂直表面１１８２にマッチング／マッピングされる。同様に、ユーザコメント１２３０は、水平表面１１９２にマッチング／マッピングされ、提案されるビデオ１２４０は、垂直表面１１８６にマッチング／マッピングされ、二次タブ１２５０は、仮想Ｒｏｌｏｄｅｘ１１９０にマッチング／マッピングされる。マッチング／マッピングテーブル１８００内の要素ＩＤは、図１４Ａの要素テーブル１４００内に記憶される要素ＩＤに関連付けられてもよい。マッチング／マッピングテーブル１８００内の表面ＩＤは、図１５の表面テーブル１５００内に記憶される表面ＩＤに関連付けられてもよい。
【０２５８】
図７Ａに戻ると、７６０において、所定のルールを使用することが進めるべき方法であると決定されたと仮定すると、本方法は、コンテンツ要素と表面のマッチング／マッピングルールを含有するデータベースにクエリし、ウェブページ内の特定のコンテンツ要素に関して、コンテンツ要素をマッチング／マッピングするために検討されるべき表面のタイプを決定する。例えば、図１２からの主ビデオ１２２０に関して返されるルールは、主ビデオ１２２０が垂直表面にマッチング／マッピングされるべきであることを示し得、したがって、表面テーブル１５００を検索後、複数の候補表面が、明らかにされる（例えば、垂直表面１１８２および１１８６および仮想Ｒｏｌｏｄｅｘ１１９０）。７７０において、事前に定義されたルールのセットは、最良適合アルゴリズムを起動し、利用可能な候補表面から、これは、本主ビデオ１２２０のための最良適合である、表面を選定し得る。少なくとも部分的に、最良適合アルゴリズムに基づいて、候補表面の全てのうち、垂直表面１１８２が、ユーザ１１０８の直接通視線内にある表面であって、垂直表面１１８２が、ビデオを表示するために最良寸法を有するため、主ビデオ１２２０が垂直表面１１８２にマッチング／マッピングされるべきであると決定される。いったん１つ以上の要素のマッチング／マッピングが、７５０において決定されると、本方法は、上記に説明されるように、要素と表面テーブルのマッチング／マッピング内のコンテンツ要素に関するマッチング／マッピング結果を非一過性記憶媒体内に記憶する。
【０２５９】
図４に戻ると、本方法は、４５０において、コンテンツ要素を仮想コンテンツとしてマッチングされた表面上にレンダリングするステップを継続する。頭部搭載型システム１１６０は、情報を表示するためのミニプロジェクタ（図示せず）等の１つ以上のディスプレイデバイスを頭部搭載型システム１１６０内に含んでもよい。１つ以上の要素は、４４０においてマッチングされたような個別のマッチングされた表面上に表示される。頭部搭載型システム１１６０を使用して、ユーザ１１０８は、個別のマッチング／マッピングされた表面上のコンテンツを見るであろう。当業者は、コンテンツ要素が、種々の表面（物理的または仮想）上に物理的に取り付けられるように現れるように表示されるが、現実には、コンテンツ要素は、実際に、ユーザ１１０８によって知覚されるような物理的表面上に投影され、仮想オブジェクトの場合、仮想オブジェクトは、仮想オブジェクトの個別の表面上に取り付けられるように現れるように表示されることを理解し得る。当業者は、ユーザ１１０８が、その頭部を方向転換させる、または上下を見るとき、頭部搭載型システム１１６０内のディスプレイデバイスが、コンテンツ要素をその個別の表面に添着されたまま保ち続け、さらに、コンテンツが、マッチング／マッピングされた表面に添着されているという知覚をユーザ１１０８に提供し得ることを理解し得る。他の実施形態では、ユーザ１１０８は、ユーザ１１０８の頭部、手、眼、または音声によって行われる運動によって、ユーザの物理的環境１１０５のコンテンツを変化させ得る。
（アプリケーション）
【０２６０】
図１９は、いくつかの実施形態による、表面にマッチングされたコンテンツ要素を含む、環境１９００の実施例を示す。
【０２６１】
本実施例に関して図４を簡単に参照すると、解析器１１５が、コンテンツ１１０をアプリケーションから受信する４１０。解析器１１５は、コンテンツ１１０内のコンテンツ要素を識別する４２０。本実施例では、解析器１１５は、ビデオパネル１９０２、ハイライトパネル１９０４、リプレー１９０６、グラフィック統計１９０８、テキスト統計１９１０、およびソーシャルメディアニュースフィード１９１２を識別する。
【０２６２】
環境解析器１６８は、環境内の表面を決定する４３０。本実施例では、環境解析器１６８は、第１の垂直表面１９３２、第２の垂直表面１９３４、第１のオットマンの上部１９３６、第２のオットマンの上部１９３８、および第２のオットマンの正面１９４０を決定する。環境解析器１６８は、環境内の付加的表面を決定してもよい。しかしながら、本実施例では、付加的表面は、標識されない。いくつかの実施形態では、環境解析器１６８は、環境内の表面を持続的に決定する４３０。いくつかの実施形態では、環境解析器１６８は、解析器１１５がコンテンツ１１０を受信し４１０、および／またはコンテンツ１１０内のコンテンツ要素を識別する４２０につれて環境内の表面を決定する４３０。
【０２６３】
マッチングモジュール１４２は、コンテンツ要素の属性および表面の属性に基づいて、コンテンツ要素を表面にマッチングさせる４４０。本実施例では、マッチングモジュール１４２は、ビデオパネル１９０２を第１の垂直表面１９３２に、ハイライトパネル１９０４を第２の垂直表面１９３４に、リプレイ１９０６を第１のオットマンの上部１９３６に、グラフィック統計１９０８を第２のオットマンの上部１９３８に、テキスト統計１９１０を第２のオットマンの正面１９４０にマッチングさせる。
【０２６４】
随意の仮想オブジェクト作成モジュール１４４は、コンテンツ要素を表示するための仮想オブジェクトを作成してもよい。マッチングモジュール１４２のマッチングプロセスの間、仮想表面は、あるコンテンツ要素を表示するための随意の表面であってもよいことが決定され得る。本実施例では、随意の仮想オブジェクト作成モジュール１４４は、仮想表面１９４２を作成する。ソーシャルメディアニュースフィード１９１２は、仮想表面１９４２にマッチングされる。レンダリングモジュール１４６は、コンテンツ要素をそのマッチングされた表面にレンダリングする４５０。結果として生じる図１９は、アプリケーションを起動している頭部搭載型ディスプレイデバイスのユーザが、レンダリングモジュール１４６をコンテンツ要素をそのマッチングされた表面にレンダリング４５０後に見るであろう内容を図示する。
（動的環境）
【０２６５】
いくつかの実施形態では、環境１９００は、動的である。すなわち、環境自体が、変化しており、オブジェクトが、ユーザの視野内外に移動し、新しい表面を作成するか、またはユーザが、新しい環境に移動しながら、以前にマッチングされた表面がもはや前の合成プロセス１４０の結果下で適格ではないようなコンテンツ要素を受信するかのいずれかである。例えば、図１９におけるように、環境１９００内でバスケットボールの試合を観賞する間、ユーザは、台所に歩いて行き得る。
【０２６６】
図２０Ａ−２０Ｅは、ユーザ移動の関数としての環境の変化を描写するが、当業者は、以下の技法が静的ユーザを中心として変化する環境にも適用されることを理解するであろう。図２０Ａでは、ユーザは、本開示全体を通して説明されるような合成プロセス１４０後、コンテンツの空間化ディスプレイを鑑賞している。図２０Ｂは、ユーザがその中に没入され、付加的表面がユーザに有効になり得る、より大きい環境を図示する。
【０２６７】
ユーザが、図２０Ｃに描写されるように、１つの部屋から別の部屋に移動するにつれて、最初に図２０Ａにおいて表示のためにレンダリングされたコンテンツがもはや合成プロセス１４０のマッチングを満たさないことが容易に明白である。いくつかの実施形態では、センサ１６２は、システムにユーザの環境の変化をプロンプトする。環境の変化は、深度センサデータの変化（図２０Ｃの左側上の部屋が、コンテンツが表示のために最初にレンダリングされた図２０Ｃの右の部屋と異なる新しい仮想メッシュ構造を生産する）、頭部姿勢データの変化（ＩＭＵが、現在の環境に関する閾値を超える運動変化を生産する、または頭部搭載型システム上のカメラが、ユーザの視野内で新しいオブジェクトの捕捉を開始する）であってもよい。いくつかの実施形態では、環境の変化は、新しい合成プロセス１４０を開始し、以前にマッチングされ、および／または現在レンダリングおよび表示しているコンテンツ要素に関する新しい表面を見出す。いくつかの実施形態では、時間的閾値を超える環境の変化が、新しい合成プロセス１４０を開始し、以前にマッチングされ、および／または現在レンダリングおよび表示しているコンテンツ要素に関する新しい表面を見出す。時間的閾値は、環境データへのわずかな中断に関する無駄なコンピューティングサイクルを排除する（単に、頭部を方向転換させ、別のユーザと話す、またはユーザがすぐに戻ってくるような環境からの短時間の退出等）。
【０２６８】
いくつかの実施形態では、ユーザが、ある環境から別の環境に遷移するにつれて、センサ１６２または環境構造化プロセス１６０は、概して、好適な表面を見出すことができない、またはユーザによる選択または合成プロセス１４０および／または環境構造化プロセス１６０による決定に応じて、アクティブコンテンツ（図２０Ｄに描写されるような２００２等）は、中心部分における、または中心からずれた、仮想表面上等、ユーザの視野内の仮想表面上への表示に戻り得る。言い換えると、コンテンツは、もはや世界中心ではなくなり得るが、ユーザ中心となり、ユーザの視野に対して固定され得る。いくつかの実施形態では、アクティブコンテンツは、中心位置における、または中心からずれた、仮想表面上等、ユーザの視野内の仮想表面上から開始し得る。言い換えると、コンテンツは、ユーザ中心である状態として開始し、ユーザの視野に対して固定され得る。いくつかの実施形態では、コンテンツは、仮想表面上に留まり、したがって、ユーザ中心のままであり得る。いくつかの実施形態では、コンテンツは、仮想表面上にある状態から好適な表面上にある状態に遷移し、したがって、ユーザ中心から世界中心に遷移し得る。
【０２６９】
いくつかの実施形態では、そのような仮想表面上に表示するためのトリガが、センサ１６２が、所与の持続時間内にある限界（例えば、閾値）を超える平行移動または回転移動を検出するときに生じる。平行移動または回転移動に対する限界は、相互に対するものであり得る、すなわち、振幅または程度における変動にかかわらず、持続時間内に持続的平行移動または回転運動が存在する。いくつかの実施形態では、限界は、ある数の最大値が持続時間内で検出される（言い換えると、ユーザが、持続的ではない場合でも、十分な数の周期的運動を持続時間内に行っている）場合、満たされ得る。いくつかの実施形態では、限界は、コンテンツが世界中心からユーザ中心に戻るであろうとき、コンテンツのタイプが決定付けるように、コンテンツ駆動であり得る。例えば、コンテンツは、コンテンツ内のあるイベントが生じる、または生じようとしているとき、ユーザ中心に戻り、ユーザがその上に合焦することを確実にするであろう、遷移属性を含み得る。
【０２７０】
固定された視点および調節された視認表面を促進するために、アクティブコンテンツ２００２の寸法または面積属性（すなわち、サイズ）が、断続ユーザ中心表示の周期の間、調節される。コンテンツ２００２のサイズ属性が、最初に、解析され、表面にマッチングされ、ユーザ遷移が、好適な表面を不要にする場合、ユーザデバイスの視野の限界等のウェアラブルユーザデバイスのパラメータは、新しい「作業表面」または仮想表面サイズ限界となり、コンテンツの寸法または面積属性は、一時的に、ユーザデバイスの視野の関数に置換または調節される（例えば、寸法属性は、コンテンツの軸が、ユーザデバイスの視野の軸にマッチングする、その倍数である、またはその分数であるように、アップまたはダウンスケーリングされる）。いくつかの実施形態では、コンテンツのユーザ中心表示は、ユーザの瞳孔から測定されるような６０度の扇形内で中心に位置するか、または周辺領域に対してオフセットされるかのいずれか等、ユーザの視野内に固定される。
【０２７１】
いくつかの実施形態では、そのような仮想表面上に表示するためのトリガが、エンティティ（例えば、コンテンツ設計者）が、コンテンツ１１０を提供するときに生じる。エンティティは、例えば、アプリケーションであってもよい。エンティティは、コンテンツ１１０が、仮想表面上に表示される、したがって、ユーザ中心であるべきであることを示し得る。いくつかの実施形態では、エンティティは、コンテンツ１１０が、仮想表面上にのみ表示される、したがって、ユーザ中心のみであるべきであることを示し得る。いくつかの実施形態では、エンティティは、コンテンツ１１０が、最初に、仮想表面上に表示されるべきであって、次いで、そのような表面が、例えば、ある時間周期後に決定され、したがって、ユーザ中心である状態から世界中心である状態に遷移する場合、環境内の好適な表面上に表示され得ることを示し得る。これは、例えば、ある時間周期後、ユーザ中心から世界中心に変化するように設定される、遷移属性によって示され得る。
【０２７２】
いくつかの実施形態では、ユーザが、図２０Ｄの部屋２０１２に進入するにつれて、合成プロセス１４０は、部屋２０１４にマッチングされていたアクティブコンテンツ２００２と新しい表面をマッチングさせる。いくつかの実施形態では、アクティブコンテンツ２００２は、現時点で、部屋２０１２および２０１４の両方において、アクティブコンテンツであるが、部屋２０１２のみに表示される（図２０Ｄにおける部屋２０１４内のアクティブコンテンツ２００２の出現は、アクティブコンテンツ２００２が依然としてレンダリングされているが、ユーザに表示されないことを描写する）。
【０２７３】
このように、ユーザは、部屋２０１２と２０１４との間で歩行し得るが、合成プロセス１４０は、マッチングプロトコルを継続的に繰り返す必要はない。いくつかの実施形態では、部屋２０１４内のアクティブコンテンツ２００２は、ユーザが部屋２０１２に位置する間、アイドルまたはスリープ状態に設定され、同様に、ユーザが部屋２０１４に戻る場合、部屋２０１２内のアクティブコンテンツは、アイドルまたはスリープ状態にされる。故に、ユーザは、動的にその環境を変化させるにつれて、コンテンツの消費を自動的に継続し得る。
【０２７４】
いくつかの実施形態では、ユーザは、部屋２０１４内でアクティブコンテンツ２００２を一時停止し、部屋２０１２に進入し、部屋２０１４内で一時停止した場所と同一相互作用点において、同一コンテンツを再開してもよい。故に、ユーザは、動的にその環境を変化させるにつれて、コンテンツの消費を自動的に再開し得る。
【０２７５】
アイドルまたはスリープ状態は、コンテンツ要素が実施する出力の程度において特徴付けられ得る。アクティブコンテンツは、コンテンツのフレームがそのマッチングされた表面に関して継続して更新する、オーディオ出力がマッチングされた表面場所と関連付けられた仮想スピーカを継続する等のように、レンダリングされたコンテンツ要素の完全容量を有し得る。アイドルまたはスリープ状態は、本機能性のうちのいくつかを低減させ得る。いくつかの実施形態では、アイドルまたはスリープ状態のオーディオ出力は、音量を低減させる、またはミュート状態に入る。いくつかの実施形態では、レンダリングサイクルは、より少ないフレームが生成されるように減速される。そのようなより低速のフレームレートは、コンピューティングパワーを全体的に節約するが、アイドルまたはスリープ状態がアクティブ状態に戻る（ユーザがアイドルまたはスリープ状態コンテンツ要素が動作していた部屋に戻る等）場合、コンテンツ要素消費を再開する際、わずかな待ち時間を導入し得る。
【０２７６】
図２０Ｅは、単にアイドルまたはスリープ状態に変化せず、異なる環境内でコンテンツ要素をレンダリングすることの停止を描写する。図２０Ｅでは、部屋２０１４内のアクティブコンテンツは、中止している。いくつかの実施形態では、レンダリングの中止のためのトリガは、ビデオストリームのチャンネルをバスケットボールの試合から映画に変化させる等、コンテンツ要素を１つから別のソースに変化させることである。いくつかの実施形態では、アクティブコンテンツは、いったんセンサ１６２が新しい環境を検出し、新しい合成プロセス１４０が開始すると、レンダリングを直ちに中止する。
【０２７７】
いくつかの実施形態では、第１の場所における第１の表面上にレンダリングおよび表示されるコンテンツは、例えば、少なくとも部分的に、第１の場所から第２の場所へのユーザの移動に基づいて、一時停止され、次いで、続いて、第２の場所における第２の表面上で再開されてもよい。例えば、第１の場所（例えば、居間）における第１の表面上に表示されるコンテンツを鑑賞しているユーザが、第１の場所から第２の場所（例えば、台所）に物理的に移動し得る。第１の場所における第１の表面上のコンテンツのレンダリングおよび／または表示は、ユーザが第１の場所から第２の場所に物理的に移動したことの決定に応じて（例えば、センサ１６２に基づいて）、一時停止されてもよい。いったんユーザが第２の場所の中に移動すると、ＡＲシステムのセンサ（例えば、センサ１６２）は、ユーザが新しい環境／場所の中に移動したことを検出し得、環境解析器１６８は、第２の場所における新しい表面を識別することを開始してもよく、次いで、コンテンツを第２の場所における第２の表面上で表示することを再開してもよい。いくつかの実施形態では、コンテンツは、ユーザが第１の場所から第２の場所に移動する間、第１の場所における第１の表面上にレンダリングされ続けてもよい。いったんユーザが、例えば、閾値時間周期（例えば、３０秒）にわたって、第２の場所に存在すると、コンテンツは、第１の場所における第１の表面上にレンダリングされることを停止してもよく、第２の場所における第２の表面上にレンダリングされてもよい。いくつかの実施形態では、コンテンツは、第１の場所における第１の表面および第２の場所における第２の表面の両方上にレンダリングされてもよい。
【０２７８】
いくつかの実施形態では、第１の場所における第１の表面でのコンテンツのレンダリングおよび／または表示を一時停止するステップは、ユーザが第１の場所から第２の場所に物理的に移動したことに応答して、自動で行われてもよい。ユーザの物理的移動の検出は、コンテンツの自動一時停止をトリガしてもよく、ユーザの物理的移動のトリガは、少なくとも部分的に、閾値を超える慣性測定ユニット（ＩＭＵ）、またはユーザが、例えば、第１の場所と関連付けられ得る所定の面積外に移動した、または移動中であることの位置インジケーション（例えば、ＧＰＳ）に基づいてもよい。コンテンツは、いったん第２の表面が、例えば、環境解析器１６８によって識別され、コンテンツにマッチングされると、第２の場所における第２の表面上にレンダリングおよび／または表示することを自動で再開してもよい。いくつかの実施形態では、コンテンツは、少なくとも部分的に、ユーザによる第２の表面の選択に基づいて、第２の表面上でレンダリングおよび／または表示を再開してもよい。いくつかの実施形態では、環境解析器１６８は、特定の時間フレーム内で（例えば、１０秒毎に）リフレッシュし、ユーザの視野内の表面が変化した、および／またはユーザの物理的場所が変化したかどうかを決定してもよい。ユーザが新しい場所に移動した（例えば、ユーザが第１の場所から第２の場所に移動した）ことが決定される場合、環境解析器１６８は、第２の表面上でコンテンツのレンダリングおよび／または表示を再開するために、第２の場所内の新しい表面を識別することを開始してもよい。いくつかの実施形態では、第１の表面上にレンダリングおよび／または表示されるコンテンツは、単に、ユーザが視野を変化させることがあるため（例えば、ユーザが、第１の場所における別の人物を一時的に見て、例えば、会話を有する）、自動的に直ちに一時停止され得ない。いくつかの実施形態では、コンテンツのレンダリングおよび／または表示は、ユーザの変化した視野が閾値を超える場合、自動的に一時停止されてもよい。例えば、ユーザが、閾値を超える時間周期にわたって、頭部姿勢、したがって、対応する視野を変化させる場合、コンテンツの表示は、自動的に一時停止されてもよい。いくつかの実施形態では、コンテンツは、ユーザが第１の場所から離れたことに応答して、コンテンツを第１の場所における第１の表面上でレンダリングおよび／または表示することを自動で一時停止してもよく、コンテンツは、ユーザが第１の場所に物理的に（再）進入することに応答して、第１の場所における第１の表面上でのレンダリングおよび／または表示を自動で再開してもよい。
【０２７９】
いくつかの実施形態では、ユーザおよび／またはユーザの頭部搭載型デバイスの視野が、変化するにつれて、特定の表面上のコンテンツは、ユーザの視野の変化にゆっくりと追従してもよい。例えば、コンテンツは、ユーザの直接視野内にあってもよい。ユーザが視野を変化させる場合、コンテンツは、位置を変化させ、視野変化に追従してもよい。いくつかの実施形態では、コンテンツは、変化した視野の直接視野内の表面上に直ちに表示されなくてもよい。代わりに、視野の変化に対するコンテンツの変化に若干の待ち時間が存在し得、コンテンツ場所の変化は、視野の変化にゆっくりと追従するように現れてもよい。
【０２８０】
図２０Ｆ−２０Ｉは、特定の表面上に表示されるコンテンツがコンテンツを現在鑑賞しているユーザの視野の変化にゆっくりと追従し得る実施例を図示する。図２０Ｆでは、ユーザ１１０８は、部屋内の長椅子上に着座した位置に存在し、コンテンツの空間化ディスプレイを鑑賞しており、着座位置は、例えば、主壁１１８０に向かって面したユーザおよび／またはユーザの頭部搭載型デバイスの第１の頭部姿勢を有する。図２０Ｆに図示されるように、コンテンツの空間化ディスプレイは、第１の頭部姿勢を介して、主壁１１８０の第１の場所（例えば、長方形表面１１８２）に表示される。図２０Ｇは、ユーザ１１０８が、長椅子上の位置を着座位置から臥位位置に変化させる様子を図示し、臥位位置は、例えば、主壁１１８０の代わりに、側壁１１８４に向かって面した第２の頭部姿勢を有する。長方形表面１１８２上に表示されるコンテンツは、時間閾値および／または頭部姿勢変化閾値が満たされる／超えるまで、長方形表面１１８２においてレンダリング／表示を継続してもよい。図２０Ｈは、コンテンツがゆっくりとユーザに追従し得る様子を図示し、移動は、単一更新とは対照的に、側壁１１８５に向かって面した第２の頭部姿勢に対応する新しい場所にわずかずつの離散インクリメント位置を伴い、例えば、ユーザ１１０８が着座位置から臥位位置に変化した後のある時点後（例えば、ある時間閾値後）、第１の表示オプション／表面２０２０において表示するように現れる。第１の表示オプション／表面２０２０は、ユーザ１１０８の直接視野内で利用可能な最適表面が存在しないため、第２の頭部姿勢に対応する視野内の仮想ディスプレイ画面／表面であってもよい。図２０Ｉは、コンテンツがまた、側壁１１８４の長方形表面１１８６において、第２の表示オプション／表面に表示され得る様子を図示する。上記に開示されるように、いくつかの実施形態では、ユーザ１１０８は、ユーザ１１０８の視野の変化に基づいて、コンテンツを表示するための表示オプション（例えば、第１の表示オプション２０２０または第２の長方形表面１１８６）を選定するための表示オプションを提供されてもよい。
【０２８１】
いくつかの実施形態では、例えば、ユーザは、第１の視野内のユーザの真正面に表示されるコンテンツを鑑賞し得る。ユーザは、その頭部を９０度左に方向転換させ、第２の視野を約３０秒にわたって維持し得る。第１の視野内のユーザの真正面に表示されたコンテンツは、１回目として、第１の視野に対して第２の視野に向かって３０度移動させ、ある時間閾値（例えば、５秒）が経過後、ユーザにゆっくりと追従することによって、第２の視野へとユーザにゆっくりと追従してもよい。ＡＲシステムは、２回目として、コンテンツがここで第２の視野から３０度のみ背後に表示され得るように、コンテンツをさらに３０度移動させ、第２の視野へとユーザに追従してもよい。
【０２８２】
図２０Ｊ−２０Ｎは、いくつかの実施形態による、ユーザおよび／またはユーザのデバイスの第１の視野から第２の視野へとユーザにゆっくりと追従する、コンテンツを図示する。図２０Ｊは、表面（例えば、仮想表面または物理的環境内の実際の表面）上に表示されるコンテンツ２０３４を視認するユーザ２０３０の上面図を図示する。コンテンツ２０３４全体が、ユーザ２０３０の真正面に表示され、ユーザおよび／またはユーザのデバイスの第１の頭部姿勢位置におけるユーザ２０３０および／またはデバイスの第１の視野２０３８内に完全にあるように、ユーザ２０３０は、コンテンツ２０３４を視認する。図２０Ｋは、実施例として、図２０Ｊに図示される第１の頭部姿勢位置に対して約４５度右（例えば、時計回り方向）に回転する、ユーザ２０３０の上面図を図示する。コンテンツ２０３４の一部（例えば、破線によって描写されるように）は、もはやユーザ２０３０および／またはデバイスの視野内にない一方、コンテンツ２０３４の一部（例えば、実線によって描写されるように）は、依然として、ユーザ２０３０にレンダリング／表示されている。
【０２８３】
図２０Ｌは、図２０Ｊに図示される第１の頭部姿勢位置に対する右（例えば、時計回り方向）への第２の頭部姿勢位置の９０度における回転の完了時のユーザ２０３０の上面図を図示する。コンテンツ２０３４は、コンテンツ２０３４が完全にユーザ２０３０および／またはデバイスの視野２０３８外にあるため、もはやユーザ２０３０に可視ではない（例えば、コンテンツ２０３４の周囲の破線によって描写されるように）。コンテンツ２０３４もまた、ゆっくりと移動したことに留意されたい。ゆっくりとした移動は、コンテンツ２０３４が、図２０Ｊ／２０Ｋに図示されるそのオリジナル位置から移動し、第２の頭部姿勢位置に追いつき得る時間およびその量に関して、待ち時間と相関する。
【０２８４】
図２０Ｍは、コンテンツ２０３４の一部が第２の頭部姿勢位置におけるユーザ２０３０および／またはデバイスの視野２０３８内にあるように（例えば、コンテンツ２０３４の一部を包含する実線によって描写されるように）、コンテンツ２０３４がゆっくりと移動し、新しい位置に表示される様子を図示する。図２０Ｎは、コンテンツ２０３４が、そのゆっくりとした移動を完了し、ユーザの第２の頭部姿勢位置に完全に追い付いた様子を図示する。コンテンツ２０３４は、コンテンツ２０３４全体を包含する実線によって示されるように、完全にユーザ２０３０および／またはデバイスの視野２０３８内にある。当業者は、ユーザが、視野を第１の視野からコンテンツがもはや視認可能ではない第２の視野に変化させたが、ユーザが、コンテンツが直接第２の視野内に表示されることを所望しない場合があることを理解し得る。代わりに、ユーザは、例えば、システムが、ユーザに、ユーザが、コンテンツがユーザの第２の視野に対してユーザの真正面に表示されることを所望するかどうかを選定するようにプロンプトするまで、ユーザの真正面に表示されずに、コンテンツを第２の視野（例えば、新しい視野）へとユーザにゆっくりと追従させる、またはユーザがユーザに視認可能に周辺に表示されるコンテンツと関わるまで、単に、コンテンツをユーザに視認可能に周辺に表示させたままにすることを所望し得る。言い換えると、いくつかの実施形態では、コンテンツ／要素を１つ以上の表面上に表示するステップは、第１の視野から第２の視野へのユーザの視野の変化に応答して移動されてもよく、コンテンツ／要素は、第１の視野から第２の視野へのユーザの視野の変化にゆっくりと追従する。さらに、いくつかの実施形態では、コンテンツは、コンテンツを第２の視野の真正面に移動させるためのユーザから受信された確認に応じてのみ、第２の視野の真正面に移動してもよい。
【０２８５】
いくつかの実施形態では、ユーザの頭部姿勢位置の変化に続く、コンテンツ２０３４等のコンテンツの速度は、頭部姿勢速度の９０％である。いくつかの実施形態では、追従速度は、５０％も低くなる。追従速度を規定する際に考慮すべき要因は、所与の時間周期内の変化の量を含み得る。例えば、ユーザが、頭部姿勢を前後に迅速に変化させている場合、追従速度は、同様に前後にやみくもにバウンスしないように、頭部姿勢速度の１０％であり得る。いくつかの実施形態では、回転速度は、追従速度を決定付ける。生理学的限界は、あるサッカード速度（眼が移動する速度）における有効な視覚的観察を妨げる。いくつかの実施形態では、追従速度は、ユーザデバイス上のセンサ様ＩＭＵによって測定されるような回転速度が第１の閾値を下回る場合、第１の追従速度（頭部姿勢速度の７０％等）であって、ユーザデバイス上のセンサ様ＩＭＵによって測定されるような回転速度が第２の閾値を下回る場合、第２の追従速度（５０％または９０％等）であり得る。いくつかの実施形態では、追従速度は、回転速度が、ユーザがコンテンツを事実上いかようにも視認することができないほど高すぎる場合、非観察可能なコンテンツのためのレンダリングサイクルを節約するために、より低くなる（例えば、５０％）。いくつかの実施形態では、追従速度は、頭部姿勢が最終位置に到達するとき、コンテンツが、ユーザを近似的に追跡しているため、最終位置にすでに近づいており、ユーザにより迅速に「追い付き」、観察を再開するように、より高くなる（例えば、９０％）。
【０２８６】
図２０Ｎ−１および２０Ｎ−２は、上記の図２０Ｆ−Ｎに説明される追従プロトコルの修正を描写する。図２０Ｎ−１は、例証的目的のためだけに視野の左部分上に配置される、コンテンツ２００１０−１を伴う表示を通した第１の視野２００１０を描写する。いくつかの実施形態では、コンテンツ２００１０−１は、視野２００１０の中心にある。ユーザが配向を視野２００２０に移動させることに応じて、コンテンツ２００１０−１は、経路２００００を介して、２００２０−１へのそのような配向の変化に追従する。
【０２８７】
図２０Ｎ−２は、経路２００００に沿った２００２０−１へのコンテンツ２００１０−１の遷移をより詳細に描写する。いくつかの実施形態では、コンテンツ２００１０−１（Ａ−１として示される）は、経路２００００に基づいて、遷移配向に視野内で再配向される。例えば、再配向は、ユーザが経路２００００または経路２００００のサイズに沿って移動する、速度に基づいてもよい。
【０２８８】
いくつかの実施形態では、（経路２００００の移動に沿って測定されるような）コンテンツの前縁は、後縁に対してユーザからｚ−方向にさらに離れるように偏移し、後縁が位置Ａ−２に伴う、均一深度に徐々に戻り、そこで、後縁が、Ａ−３のように、ユーザに対してユーザからさらに離れるように遷移し始める。
【０２８９】
いくつかの実施形態では、図２０Ｎ−１および２０Ｎ−２に説明されるような配向偏移は、図２０Ｆ−Ｎの「遅延追従」のものと組み合わせられ、ユーザの配向変化に追従するコンテンツの「ソフトロック」効果を作成する。
【０２９０】
いくつかの実施形態では、ユーザは、（ａ）ＡＲシステムを介してユーザに表示される抽出されたコンテンツ要素を視認し、（ｂ）抽出されたコンテンツ要素と相互作用してもよい。いくつかの実施形態では、ユーザは、抽出されたコンテンツ内に表示されるアイテム／サービスを購入することによって、抽出されたコンテンツと相互作用してもよい。いくつかの実施形態では、２Ｄウェブページと相互作用するユーザによって行われるオンライン購入と同様に、ＡＲシステムは、ユーザが、ＡＲシステム内の表面および／または仮想オブジェクト（例えば、プリズムまたは仮想ディスプレイ画面）上に表示される抽出されたコンテンツと相互作用し、実施例として、ＡＲシステムの表面および／または仮想オブジェクト上に表示される抽出されたコンテンツ内に提示されるアイテムおよび／またはサービスの電子購入を行うことを可能にし得る。
【０２９１】
いくつかの実施形態では、ユーザは、表示されるコンテンツ要素内のアイテムをさらに選択し、選択されたアイテムをユーザの物理的環境内の異なる表面および／または異なる仮想オブジェクト（例えば、プリズム）上に設置することによって、抽出されたコンテンツ要素と相互作用してもよい。例えば、ユーザは、実施例として、（ａ）トーテムを用いて、ギャラリー内のコンテンツ要素を標的化し、（ｂ）トーテム上のトリガを押下し、コンテンツ要素を選択し、ある時間周期（例えば、約１秒）にわたって保持し、（ｃ）トーテムをユーザの物理的環境内の所望の場所に移動させ、および（ｄ）トーテム上のトリガを押下し、コンテンツ要素を所望の場所に設置し、コンテンツ要素のコピーが所望の場所にロードおよび表示されることによって、画像、ビデオ、および／またはモデル等のコンテンツ要素をギャラリーから抽出してもよい。いくつかの実施形態では、コンテンツ要素のプレビューが、視覚的フィードバックとして、ユーザが、コンテンツ要素を選択し、ある時間周期にわたってトリガを保持する結果として、作成および表示され、コンテンツのプレビューは、コンテンツ要素の場所において使用するためのコンテンツ要素の完全分解能バージョンを作成するステップがリソース集約的であり得るため、作成される。いくつかの実施形態では、コンテンツ要素は、ユーザが抽出されたコンテンツ要素をユーザの物理的環境内の所望の場所に設置するにつれて、全体として、視覚的フィードバックのためにコピー／抽出および表示される。
【０２９２】
図２０Ｏは、抽出されたコンテンツを視認し、抽出されたコンテンツ２０５０および２０５４と相互作用するユーザの実施例を図示する。ユーザ２０４０は、センサ１１６２が抽出されたコンテンツを表示するために好適な表示表面を検出することが不可能であったため（例えば、本棚のため）、抽出されたコンテンツ２０４４ａ−２０４４ｄを仮想表示表面上で視認してもよい。代わりに、抽出されたコンテンツ２０４４ａ−ｄは、複数の仮想表示表面／画面上に表示される。抽出されたコンテンツ２０４４ａは、オーディオヘッドホンを販売するオンラインウェブサイトである。抽出されたコンテンツ２０４４ｂは、運動靴を販売するオンラインウェブサイトである。抽出されたコンテンツ２０４４ｃ／２０４４ｄは、家具を販売するオンライン家具ウェブサイトである。抽出されたコンテンツ２０４４ｄは、抽出されたコンテンツ２０４４ｃから表示される特定のアイテム（例えば、椅子２０５４）の詳細図を含んでもよい。ユーザ２０４０は、特定のアイテムを表示される抽出されたコンテンツから選定し、抽出されたアイテムをユーザの物理的環境（例えば、椅子２０５４）内に設置することによって、抽出されたコンテンツと相互作用してもよい。いくつかの実施形態では、ユーザ２０４０は、抽出されたコンテンツに表示される特定のアイテム（例えば、運動靴２０５０）を購入することによって、抽出されたコンテンツと相互作用してもよい。
【０２９３】
図２０Ｏに描写されるように、第１のコンテンツ表示は、付加的な抽出されたコンテンツの表示に拍車をかけ得る。いくつかの実施形態では、抽出されたコンテンツ２０４４ｃが、最初に、表示され、次いで、２０４４ｃ内の関連コンテンツがさらに、ユーザがそのようなコンテンツを表示するために別個のウィンドウを明示的に開くことなく、関連する抽出されたコンテンツ２０４４ｄのカスケードビュー等、近接して表示され得る。言い換えると、抽出されたコンテンツ２０４４ｃが、表示され得、リンクまたは画像等の２０４４ｃ内のアクティブコンテンツが、抽出されたコンテンツ２０４４ｃと空間関係において表示され得る。いくつかの実施形態では、関連する抽出されたコンテンツ（例えば、関連する抽出されたコンテンツ２０４４ｄ）が、ある仮想表面上に表示され、抽出されたコンテンツ２０４４ｃの少なくとも１つの属性を関連する抽出されたコンテンツ２０４４ｄの属性の中に課す、プロキシ属性プロファイルを与えられる。例えば、関連する抽出されたコンテンツ２０４４ｄは、その独自の表面または仮想表面配向に対して解析されるのとは対照的に、抽出されたコンテンツ２０４４ｃと共通配向を与えられてもよい。いくつかの実施形態では、関連する抽出されたコンテンツ２０４４ｄは、抽出されたコンテンツ２０４４ｃの属性から独立して、その独自の属性に基づいて、解析およびマッチングされる。
【０２９４】
いくつかの実施形態では、初期コンテンツに対する関連コンテンツの表示は、自動であって、第１の関係層に対してのみ継続する（関連コンテンツは、初期コンテンツ内に現れるもののみであることを意味する）。いくつかの実施形態では、関連コンテンツは、初期コンテンツの共通属性を伴って表示されてもよい、またはその独自の解析およびマッチングされた属性を伴って表示されてもよい。いくつかの実施形態では、関連コンテンツの表示は、関連コンテンツに関連するコンテンツの表示等、付加的層を含む。そのような付加的層は、初期コンテンツまたは第１の関連コンテンツの共通属性を伴って表示されてもよい、またはその独自の解析およびマッチングされた属性を伴って表示されてもよい。いくつかの実施形態では、初期コンテンツから除去された付加的層は、関係属性内に反映されてもよい。関係属性は、そのコンテンツの表示を層の反転に対応するサイズにスケーリングさせてもよい（例えば、初期コンテンツから除去された３つの層である、コンテンツは、初期コンテンツの３分の１のサイズとして表示されてもよい）。関係属性は、関連コンテンツの各層が、初期コンテンツからのその関連コンテンツの減衰を示すために、ｘ、ｙ、またはｚ寸法において、初期コンテンツからある相対的位置にレンダリングおよび表示されるように、位置関係を生じさせてもよい。
【０２９５】
いくつかの実施形態では、関連コンテンツの表示は、初期コンテンツの表示とともに持続する、またはユーザが、プレビュー機能を選択する、または初期コンテンツに注意を向ける（頭部姿勢、眼視線、手のジェスチャ、および／またはコントローラ配向等によって）場合のみ現れてもよい。
【０２９６】
図２１は、そのような環境変化の間のオーディオ遷移を図示する。部屋２０１４内のアクティブコンテンツは、例えば、空間化オーディオをユーザに部屋２０１４内のコンテンツ要素と関連付けられた場所から送達する、仮想スピーカ２１２２を有してもよい。ユーザが、部屋２０１２に遷移するにつれて、仮想スピーカは、オーディオをユーザの頭部の中心における仮想スピーカ２１２４に位置付け、指向することによって、ユーザに追従し得（従来のヘッドホンとほぼ同一方法）、仮想スピーカ２１２２からのオーディオ再生を中止する。合成プロセス１４０が、コンテンツ要素を部屋２０１２内の表面にマッチングさせるにつれて、オーディオ出力は、仮想スピーカ２１２４から仮想スピーカ２１２６に偏移し得る。オーディオ出力は、この場合、環境遷移の間、コンテンツ要素、少なくともオーディオ出力成分の一定消費を維持する。いくつかの実施形態では、オーディオコンポーネントは、常時、ユーザの頭部の中心における仮想スピーカであって、空間化オーディオ仮想スピーカの位置を調節する必要性を省く。
（システムアーキテクチャ概要）
【０２９７】
図２２は、本開示の実施形態を実装するために好適な例証的コンピューティングシステム２２００のブロック図である。コンピューティングシステム２２００は、プロセッサ２２０７、システムメモリ２２０８（例えば、ＲＡＭ）、静的記憶デバイス２２０９（例えば、ＲＯＭ）、ディスクドライブ２２１０（例えば、磁気または光学）、通信インターフェース２２１４（例えば、モデムまたはＥｔｈｅｒｎｅｔ（登録商標）カード）、ディスプレイ２２１１（例えば、ＣＲＴまたはＬＣＤ）、入力デバイス２２１２（例えば、キーボードおよびマウス）等のサブシステムおよびデバイスを相互接続する、情報を通信するためのバス２２０６または他の通信機構を含む。
【０２９８】
本開示の一実施形態によると、コンピューティングシステム２２００は、プロセッサ２２０７がシステムメモリ２２０８内に含有される１つ以上の命令の１つ以上のシーケンスを実行することによって、具体的動作を実施する。そのような命令は、システムメモリ２２０８中に、静的記憶デバイス２２０９またはディスクドライブ２２１０等の別のコンピュータ可読／使用可能媒体から読み取られてもよい。代替実施形態では、有線回路が、ソフトウェア命令の代わりに、またはそれと組み合わせて使用され、本開示を実装してもよい。したがって、本開示の実施形態は、ハードウェア回路および／またはソフトウェアの任意の具体的組み合わせに限定されない。一実施形態では、用語「論理」は、本開示の全部または一部を実装するために使用される、ソフトウェアまたはハードウェアの任意の組み合わせを意味するものとする。
【０２９９】
用語「コンピュータ可読媒体」または「コンピュータ使用可能媒体」は、本明細書で使用されるように、実行のための命令をプロセッサ２２０７に提供することに関わる、任意の媒体を指す。そのような媒体は、限定ではないが、不揮発性媒体および揮発性媒体を含む、多くの形態をとってもよい。不揮発性媒体は、例えば、ディスクドライブ２２１０等の光学または磁気ディスクを含む。揮発性媒体は、システムメモリ２２０８等の動的メモリを含む。
【０３００】
共通形態のコンピュータ可読媒体は、例えば、フロッピー（登録商標）ディスク、フレキシブルディスク、ハードディスク、磁気テープ、任意の他の磁気媒体、ＣＤ−ＲＯＭ、任意の他の光学媒体、パンチカード、紙テープ、孔のパターンを伴う任意の他の物理的媒体、ＲＡＭ、ＰＲＯＭ、ＥＰＲＯＭ、フラッシュ−ＥＰＲＯＭ、任意の他のメモリチップまたはカートリッジ、またはそこからコンピュータが読み取ることができる任意の他の媒体を含む。
【０３０１】
本開示のある実施形態では、本開示を実践するための命令のシーケンスの実行は、単一コンピューティングシステム２２００によって実施される。本開示の他の実施形態によると、通信リンク２２１５（例えば、ＬＡＮ、ＰＴＳＮ、または無線ネットワーク）によって結合される２つ以上のコンピューティングシステム２２００は、相互に協調して、本開示を実践するために要求される命令のシーケンスを実施してもよい。
【０３０２】
コンピューティングシステム２２００は、通信リンク２２１５および通信インターフェース２２１４を通して、プログラム（すなわち、アプリケーションコード）を含む、メッセージ、データ、および命令を伝送および受信してもよい。受信されたプログラムコードは、受信されるにつれて、プロセッサ２２０７によって実行され、および／または後の実行のために、ディスクドライブ２２１０または他の不揮発性記憶装置内に記憶されてもよい。コンピューティングシステム２２００は、データインターフェース２２３３を通して、外部記憶デバイス２２３１上のデータベース２２３２と通信してもよい。
【０３０３】
図２３は、いくつかの実施形態による、コンテンツの表示をユーザ視野中心モードに調節するための方法２３００を描写する。方法２３００は、２３１０から開始し、コンテンツが、第１の表面上でユーザに表示される。そのような第１の表面は、仮想表面または物理的表面であってもよい。２３２０において、システムが、コンテンツを調節するためのトリガイベントを検出する。いくつかの実施形態では、トリガイベントは、ユーザまたはユーザデバイスの運動である。ユーザが移動するにつれて、本明細書に説明されるシステムのセンサ（例えば、センサ１６２）が、２３２０において、ある持続時間内の平行移動または回転方向における持続的または連続的運動、またはある持続時間内の少なくとも１つの振幅変動のいずれかとして、運動を検出する。いくつかの実施形態では、トリガは、コンテンツ駆動であって、コンテンツの属性によって提供される。トリガの検出に続いて、２３３０において、コンテンツの表示が、ユーザの視野内のユーザ中心仮想表面に調節される。
【０３０４】
前述の明細書では、本開示は、その具体的実施形態を参照して説明された。しかしながら、本開示のより広範な精神および範囲から逸脱することなく、種々の修正および変更がそこに行われてもよいことが明白であろう。例えば、上記に説明されるプロセスフローは、プロセスアクションの特定の順序を参照して説明される。しかしながら、説明されるプロセスアクションの多くの順序は、本開示の範囲または動作に影響を及ぼすことなく、変更されてもよい。明細書および図面は、故に、限定的意味ではなく、例証的意味と見なされるべきである。
【図１Ａ】
2021527247.tif 000008
【図１Ｂ】
2021527247.tif 000009
【図２Ａ】
2021527247.tif 000010
【図２Ｂ】
2021527247.tif 000011
【図２Ｃ】
2021527247.tif 000012
【図２Ｄ】
2021527247.tif 000013
【図２Ｅ】
2021527247.tif 000014
【図３Ａ】
2021527247.tif 000015
【図３Ｂ】
2021527247.tif 000016
【図４】
2021527247.tif 000017
【図５】
2021527247.tif 000018
【図６】
2021527247.tif 000019
【図７Ａ】
2021527247.tif 000020
【図７Ｂ】
2021527247.tif 000021
【図７Ｃ】
2021527247.tif 000022
【図８】
2021527247.tif 000023
【図９】
2021527247.tif 000024
【図１０】
2021527247.tif 000025
【図１１】
2021527247.tif 000026
【図１２】
2021527247.tif 000027
【図１３Ａ】
2021527247.tif 000028
【図１３Ｂ】
2021527247.tif 000029
【図１４Ａ】
2021527247.tif 000030
【図１４Ｂ】
2021527247.tif 000031
【図１５】
2021527247.tif 000032
【図１６】
2021527247.tif 000033
【図１７】
2021527247.tif 000034
【図１８】
2021527247.tif 000035
【図１９】
2021527247.tif 000036
【図２０Ａ】
2021527247.tif 000037
【図２０Ｂ】
2021527247.tif 000038
【図２０Ｃ】
2021527247.tif 000039
【図２０Ｄ】
2021527247.tif 000040
【図２０Ｅ】
2021527247.tif 000041
【図２０Ｆ】
2021527247.tif 000042
【図２０Ｇ】
2021527247.tif 000043
【図２０Ｈ】
2021527247.tif 000044
【図２０Ｉ】
2021527247.tif 000045
【図２０Ｊ】
2021527247.tif 000046
【図２０Ｋ】
2021527247.tif 000047
【図２０Ｌ】
2021527247.tif 000048
【図２０Ｍ】
2021527247.tif 000049
【図２０Ｎ】
2021527247.tif 000050
【図２０Ｎ−１】
2021527247.tif 000051
【図２０Ｎ−２】
2021527247.tif 000052
【図２０Ｏ】
2021527247.tif 000053
【図２１】
2021527247.tif 000054
【図２２】
2021527247.tif 000055
【図２３】
2021527247.tif 000056
【国際調査報告】
2021527247.tif 000057
2021527247.tif 000058