(57)【要約】  リストのオクルージョンと、結果として生じるユーザ入力エラーとを回避するようなやり方で、拡張現実ディスプレイデバイスおよび仮想現実ディスプレイデバイス上にリストを表示することに関連した例が、開示される。１つの開示された例は、イメージセンサと、ディスプレイデバイスと、命令を実行するように構成されたロジックデバイスと、ロジックデバイスによって実行可能な命令を含むストレージデバイスとを含むコンピューティングデバイスを提供している。それらの命令は、リストの表現を生成し、リストの表現を、ディスプレイデバイスによって見ることができる３次元環境のトポロジと比較して、リストの表現がトポロジの中のオブジェクトに交差するかどうかを決定し、またリストの表現が、３次元環境のトポロジの中のオブジェクトに交差する場合、リストの１つまたは複数のアイテムの各アイテムについて１つまたは複数の位置と向きとを調整して、トポロジの中のオブジェクトに適応させるように実行可能である。
2018508849.tif 000002
【特許請求の範囲】
【請求項１】
画像データを獲得するように構成されたイメージセンサと、
ディスプレイデバイスと、
命令を実行するように構成されたロジックデバイスと、
命令を含むストレージデバイスとを備え、前記命令が、
リストの表示のためのトリガを検出し、
前記トリガに応答して、前記リストの表現を生成し、
前記リストの前記表現を、ディスプレイデバイスによって見ることができる３次元環境のトポロジと比較して、前記リストの前記表現が前記トポロジの中のオブジェクトに交差するかどうかを決定し、
前記リストの前記表現が前記３次元環境の前記トポロジの中のオブジェクトに交差する場合、前記トポロジの中の前記オブジェクトに適応するように、前記リストの１つまたは複数のアイテムの各アイテムの位置および向きのうちの１つまたは複数を調整し、
前記ディスプレイによって前記リストの前記表現を表示する
ように前記ロジックデバイスによって実行可能である、コンピューティングデバイス。
【請求項２】
前記３次元環境の前記トポロジの中の前記オブジェクトは、仮想オブジェクトおよび現実世界オブジェクトのうちの１つまたは複数を備えている、請求項１に記載のコンピューティングデバイス。
【請求項３】
前記命令は、前記オブジェクトに向かって広がるように、前記リストの前記表現を表示すること、次いで前記オブジェクトに対して圧縮するように前記リストの前記１つまたは複数のアイテムの前記表現を表示することにより、前記オブジェクトに適応するように前記リストの前記表現を表示するように実行可能である、請求項１に記載のコンピューティングデバイス。
【請求項４】
前記命令は、前記リストの前記１つまたは複数のアイテムの前記表現を、折り畳まれた表現と、束にされた表現と、巻かれた表現とのうちの１つまたは複数の形で表示することにより、前記オブジェクトに対して圧縮するように、前記リストの前記１つまたは複数のアイテムの前記表現を表示するように実行可能である、請求項３に記載のコンピューティングデバイス。
【請求項５】
前記命令は、前記リストの圧縮された部分においてアイテムの数を表現する外観を有する前記リストの前記圧縮された部分を表示することにより、前記オブジェクトに対して圧縮するように前記リストの前記１つまたは複数のアイテムの前記表現を表示するように実行可能である、請求項３に記載のコンピューティングデバイス。
【請求項６】
前記命令は、前記オブジェクトの表面の輪郭に従うように前記リストの前記表現を調整することにより、前記オブジェクトに適応するよう前記リストの前記表現を表示するように実行可能である、請求項１に記載のコンピューティングデバイス。
【請求項７】
前記イメージセンサは、２次元カメラを備えており、前記命令は、前記３Ｄ環境の２次元画像データを獲得し、前記３Ｄ環境の前記トポロジの中の現実世界オブジェクトに対応している現実世界表面の特性を識別するように実行可能である、請求項１に記載のコンピューティングデバイス。
【請求項８】
前記命令は、前記現実世界表面の前記特性に基づいて前記リストの前記表現を調整するようにさらに実行可能である、請求項７に記載のコンピューティングデバイス。
【請求項９】
入力デバイスをさらに備えており、前記命令は、調整された位置へと前記ディスプレイ上の前記リストを移動させるユーザ入力を受信し、それに応答して、前記調整された位置における前記トポロジとの前記リストの交差に基づいて、前記リストの前記１つまたは複数のアイテムの前記表現の前記位置および前記向きのうちの１つまたは複数を調整するようにさらに実行可能である、請求項１に記載のコンピューティングデバイス。
【請求項１０】
コンピューティングデバイス上でユーザインターフェースを表示する方法であって、
リストの表示のためのトリガを検出するステップと、
前記トリガに応答して、前記リストの表現を生成するステップと、
前記リストの前記表現を３次元環境のトポロジと比較して、前記リストの前記表現の１つまたは複数のアイテムが前記トポロジの中のオブジェクトに交差するかどうかを決定するステップと、
前記リストの前記表現の１つまたは複数のアイテムが、前記３次元環境の前記トポロジの中のオブジェクトに交差する場合、前記トポロジの中の前記オブジェクトに適応するように、前記リストの前記表現の前記１つまたは複数のアイテムの各アイテムの位置および向きのうちの１つまたは複数を調整するステップと、
前記リストの前記表現を表示するステップと
を含む方法。
【請求項１１】
前記３次元環境の前記トポロジの中の前記オブジェクトは、仮想オブジェクトおよび現実世界オブジェクトのうちの１つまたは複数を備えている、請求項１０に記載の方法。
【請求項１２】
前記リストの前記表現を表示するステップは、前記オブジェクトに向かって起点から広がり、次いで前記オブジェクトに対して圧縮するように前記リストの前記表現を表示するステップを含む、請求項１０に記載の方法。
【請求項１３】
前記リストの前記表現を表示するステップは、前記オブジェクトの表面の輪郭に従うように前記リストの前記表現の前記１つまたは複数のアイテムを表示するステップを含む、請求項１０に記載の方法。
【請求項１４】
前記３Ｄ環境の２次元画像データを獲得するステップと、前記３Ｄ環境の前記トポロジの中の現実世界オブジェクトに対応している現実世界表面の特性を識別するステップとをさらに含む、請求項１０に記載の方法。
【請求項１５】
調整された位置へとディスプレイ上の前記リストを移動させるユーザ入力を受信するステップと、それに応答して、前記調整された位置における前記トポロジとの前記リストの交差に基づいて、前記リストの前記１つまたは複数のアイテムの前記表現の前記位置および前記向きのうちの１つまたは複数を調整するステップとをさらに含む、請求項１０に記載の方法。
【発明の詳細な説明】
【背景技術】
【０００１】
[0001]  ディスプレイ技術は、ユーザが没入型仮想環境、および／または実環境と仮想環境との混合環境を体験することを可能にすることができる。例えば、一部のコンピューティングデバイスは、現実世界環境上に重ね合わされた仮想オブジェクトの表示により拡張現実イメージの提示を可能にするシースルーディスプレイを含み得る。
【発明の概要】
【０００２】
[0002]  リストのオクルージョンと、結果として生じるユーザ入力エラーとを回避するようなやり方で、拡張現実ディスプレイデバイスおよび仮想現実ディスプレイデバイス上にリストを表示することに関連した例が、開示される。１つの開示された例は、イメージセンサと、ディスプレイデバイスと、命令を実行するように構成されたロジックデバイスと、ロジックデバイスによって実行可能な命令を含むストレージデバイスとを含むコンピューティングデバイスを提供している。それらの命令は、リストの表現を生成し、リストの表現を、ディスプレイデバイスによって見ることができる３次元環境のトポロジと比較して、リストの表現がトポロジの中のオブジェクトに交差するかどうかを決定し、リストの表現が３次元環境のトポロジの中のオブジェクトに交差する場合、リストの１つまたは複数のアイテムの各アイテムについて１つまたは複数の位置と向きとを調整して、トポロジの中のオブジェクトに適応させるように実行可能である。
【０００３】
[0003]  この概要は、発明を実施するための形態において以下でさらに説明される簡略化された形態で概念の選択を導入するために提供される。この概要は、特許請求の範囲の主題の重要な特徴または絶対不可欠な特徴を識別することも意図してはおらず、また特許請求の範囲の主題の範囲を限定するために使用されることも意図してはいない。さらに、特許請求の範囲の主題は、本開示の任意の部分において指摘されるどのような不都合も、またはすべての不都合も解決する実装形態だけに限定されることもない。
【図面の簡単な説明】
【０００４】
【図１】[0004]例示の使用環境における例示の拡張現実ディスプレイデバイスを示す図である。
【図２】[0005]図１の使用環境における例示の動的に適応可能な仮想リストを示す図である。
【図３Ａ】[0006]例示の動的に適応可能な仮想リストとの例示のユーザインタラクションを示す図である。
【図３Ｂ】例示の動的に適応可能な仮想リストとの例示のユーザインタラクションを示す図である。
【図４Ａ】[0007]例示の動的に適応可能な仮想リストとの別の例示のユーザインタラクションを示す図である。
【図４Ｂ】例示の動的に適応可能な仮想リストとの別の例示のユーザインタラクションを示す図である。
【図５】[0008]オブジェクトに適応させる動的に適応可能な仮想リストの例を示す図である。
【図６】[0009]動的に適応可能な仮想リストを表示する例示の一方法を示す流れ図である。
【図７】[0010]例示の拡張現実ディスプレイシステムのブロック図である。
【発明を実施するための形態】
【０００５】
[0011]  上記で述べられるように、ディスプレイデバイス技術は、仮想現実３次元（3D:three-dimensional）環境と、拡張現実（3D）環境との提示を可能にすることができる。様々なタイプの仮想オブジェクトは、それだけには限定されないが、インタラクティブリストなどのインタラクティブユーザインターフェース要素を含めて、そのような環境において表示されることもある。
【０００６】
[0012]  しかしながら、３Ｄ設定において仮想リストを表示することは、様々な課題を課す可能性がある。例えば、平坦な２次元オブジェクトとして表示されるリストは、視聴者の位置から離れて収束することもあり、これは、ユーザが、リストを読み取り、またリストと相互作用をすることを困難にする可能性がある。他方では、仮想現実環境または拡張現実環境の内部の３次元オブジェクトとして表示されるリストは、大量の視覚空間を占有する可能性があり、またそれゆえに３Ｄ世界の中で他の実オブジェクトまたは表示オブジェクトに侵入し、あるいはそれらのオブジェクトとオーバーラップする可能性がある。これは、その環境において、他のオブジェクトによる、リストの部分のオクルージョンをもたらす可能性がある。
【０００７】
[0013]  それに応答して、３Ｄの仮想現実環境および／または拡張現実環境のトポロジに適応させる動的に適応可能な仮想リストを表示することに関連した例が、本明細書において開示される。そのようなリストは、他の仮想世界要素および／または現実世界要素に適応させる様々な形態と空間レイアウトとにおいて表示されることもあり、またこのようにしてより本物そっくりで、また没入型の拡張現実体験および／または仮想現実体験を提供することができる。
【０００８】
[0014]  図１は、例示のディスプレイデバイス１０２がユーザ１０４によって着用される例示の使用環境１００を示すものである。ディスプレイデバイス１０２は、３Ｄ拡張現実体験の提示のためのヘッドマウントディスプレイデバイスとして示される。周囲環境は、視野１０６を経由して概略的に示されるように、ディスプレイデバイス１０２を通して見ることができる。３Ｄ環境は、ここでは、仮想オブジェクト１０８、１１０と現実世界オブジェクト１１２、１１４として示される、現実世界の表面およびオブジェクトとともに表示可能な様々な仮想オブジェクトを含むことができる。拡張現実ヘッドマウントディスプレイデバイスとして図１に示されるが、本開示によるディスプレイデバイスは、それだけには限定されないが、他のタイプのウェアラブルディスプレイデバイス、非ウェアラブルディスプレイデバイス、モバイルディスプレイデバイス、ホログラフィックプロジェクタ、１つまたは複数のディスプレイを有しており、あるいは１つまたは複数のディスプレイに接続するように構成されたデバイス、および／または視聴者に３Ｄ仮想コンテンツを表示するように構成された任意の他のデバイスを含めて、任意の適切な形態を取ることができることが、理解されるであろう。そのようなディスプレイデバイスは、シースルーディスプレイを含んでいる可能性もあり、または含んでいない可能性もあり、また完全に仮想的な環境をユーザ１０４に対して表示するように構成されている可能性もある。
【０００９】
[0015]  図２は、環境１００の内部でディスプレイデバイス１０２を経由して表示される動的に適応可能な仮想リスト２０２、２０４、２０６、および２０８の様々な例を示すものである。最初に、リスト２０２は、垂直に展開されて、また現実世界の壁と、現実世界オブジェクト１１２と、現実世界の床とのトポロジに従うように表示される。展開されたリストは、それが、現実世界オブジェクト１１２の上に掛けられるように表示されること、またはそれ以外の方法で現実世界オブジェクト１１２の上を流れるように表示されることにより、現実世界オブジェクト１１２に適応するように、物理法則（例えば、運動、万有引力などの法則）に従うように表示されることもある。
【００１０】
[0016]  次に、リスト２０４は、水平方向に展開され、また側壁、および後壁、に従うように、また同様に仮想オブジェクト１０８において折り畳むこと、またはそれ以外のやり方で圧縮することにより、仮想オブジェクト１０８に適応するように示される。さらに、リスト２０６は、仮想オブジェクト１０８と１１０との両方に適応するように表示される。リスト２０８は、後壁に従うように示され、現実世界オブジェクト１１４に適応される。一方で、現実世界オブジェクト１１４の上に流れること、または掛かることの代わりに、リスト２０８の一部分は、まるでそれが、現実世界オブジェクト１１４に接近するように重ね畳まれ、またはそれ以外の方法で圧縮される。
【００１１】
[0017]  リストの表示がトリガされるとき、動的に適応可能な仮想リストが、デフォルトロケーションやユーザ１０４によって示されるロケーションなどの起点から広がるようにアニメーションを経由して表示されることもある。リストが広がるとき、リストの中のすべてのアイテムが、最初に表示されることもある。次いで、リストが、リストが広がるときに環境の中の仮想オブジェクトまたは実オブジェクトと衝突する場合に、リストは、上記で説明されるように、オブジェクトに適応することができる。他の実装形態においては、起点から広がる代わりに、リストは、アニメーションされた展開を経由してではなくて、十分に広がった、またトポロジ的に適応させられた形態で、最初に表示されることもある。
【００１２】
[0018]  ３Ｄの仮想現実環境または拡張現実環境における動的に適応可能な仮想リストを表示することに先立って、ディスプレイデバイス１０２は、環境の３Ｄマップを生成し、またはそれ以外の方法で取得することができる。例えば、ディスプレイデバイス１０２は、オンボードセンサ（例えば、１つまたは複数の深さセンサ、２次元イメージセンサ、全地球測位システムセンサ、動きセンサ、および他のセンサ）を利用して、ユーザ１０４が、環境内を移動するときに、同時の位置確認とマッピング（SLAM: simultaneous localization and mapping）を経由して、現実世界環境のトポロジカルマップを構築することができる。そのようなリアルタイムマッピングの代わりに、またはそれに追加して、ディスプレイデバイス１０２は、コンピュータ読取り可能メモリから現実世界環境の以前に構築されたトポロジカルマップを取り出すことができる。いずれの場合においても、トポロジカルマップは、メッシュ（例えば、「表面再構築」（SR: surface reconstruction）メッシュ）の形態を取ることができ、または任意の他の適切な形態を取ることができる。動的に適応可能な仮想リストの３Ｄ表現は、次いで、マップのトポロジに、また同様に表示された仮想コンテンツに適応するように表示されることもある。
【００１３】
[0019]  様々なアクションは、表示されたリストと、環境内の実オブジェクトおよび／または仮想オブジェクトとの間の位置の関係を変更することができる。例は、それだけには限定されないが、ディスプレイデバイスの位置および／または向きを変更すること、３Ｄ環境を（例えば、環境の中の実オブジェクトを移動させることにより）変更すること、リストと（例えば、リストの中のアイテムをスクロールすること、または選択することにより）相互作用すること、および／またはリストの提示に影響を及ぼす任意の他の出来事を含む。そのような例においては、リストの表示された表現は、本明細書において説明されるやり方で、変更された位置の関係に適応することができる。
【００１４】
[0020]  図３Ａおよび３Ｂは、例示のユーザインタラクションに応じたリストの適応についての一例を示すものである。最初に、図３Ａを参照すると、ユーザ１０４は、動的な仮想リスト３０２の位置における変更を要求するユーザ入力を行う。ユーザ入力は、ハンドジェスチャーとして示されるが、任意の他の適切なユーザ入力メカニズムが、それだけには限定されないが、スピーチコマンドと、視線トラッキングと、ボディジェスチャートラッキング（例えば、頭部ジェスチャー）と、手で動作させられるハードウェア入力デバイス（例えば、ボタン、ジョイスティック、指向性パッド、タッチセンサなど）とを含めて、使用され得ることが、理解されるであろう。
【００１５】
[0021]  図３Ａにおいて、リスト３０２の一部分は、リストが、３Ｄ環境においてテーブルと衝突する場合に、折り畳まれるように示される。図３Ｂは、リストがもはやテーブルと衝突しない場合の位置へとリストが後壁に沿って移動させられた後の動的な仮想リスト３０２を示すものである。この位置において、リストの以前に折り畳まれた部分は、環境のトポロジに依然として配慮しながら、展開される。例えば、動的な仮想リスト３０２の底部近くで床に交わるアイテムは、床の上に配置されるように表示される。さらに、最初に折り畳まれたリストのこれらのアイテムは、見ることおよびインタラクションのために表示される。
【００１６】
[0022]  図４Ａおよび４Ｂは、仮想リストとの別の例のユーザインタラクションを示すものである。図４Ａにおいて、仮想リスト４００は、オブジェクト４０２と衝突し、また仮想リスト４００の中のアイテムは、それに応答してオブジェクト４０２に対して折り畳まれるように表示される。仮想リスト４００の折り畳まれた部分の外観は、リストのその部分におけるリストのアイテムの数を表現するように構成されることもある。図４Ａはまた、ユーザが、例えば、ハンドジェスチャーを経由して、折り畳まれた部分と相互作用することを示している。このユーザインタラクションに応じて、仮想リスト４００の中の以前に折り畳まれたアイテムは、展開されるが、リストの中の他のアイテムは、図４Ｂの中に示されるように、オブジェクト４０２によって課される空間制約を受け入れるように折り畳まれる。図４Ａにおいて折り畳まれることによって隠されるリストのアイテムは、任意の他の適切なやり方で表示することもできることが、理解されるであろう。例えば、リストの折り畳まれた部分は、オブジェクト４０２の上に掛けること、および下方に継続すること（図示されず）により展開する可能性がある。
【００１７】
[0023]  図４Ａ〜４Ｂの例において、仮想リスト４００は、折り畳まれた、アコーディオンのようなやり方で圧縮するが、他の例においては、異なるように圧縮し、または適応することができる。さらに、仮想リストが適応するやり方は、仮想リストが作製されそうな現実世界の材料の物理的特性に基づいたものとすることができる。図５は、様々な形態の仮想リストの例と、どのようにしてそれらが、オブジェクト５００に適応することができるかと、を示すものである。第１の例示のリスト５０２は、図４の例示のリストの折り畳みに類似したアコーディオンスタイルの形の折り畳みとして示される。仮想リスト５０２の物理的外観は、木製の板、金属シート、または他の剛体材料を同様に折り畳むことができる材料の物理的外観に対応することができる。別の例として、リスト５０４は、柔らかい、または布のような外観を有することができる。そのようなリスト５０４は、布であるかのようにオブジェクト５００に対してしわを作り、または折り畳まれるように見えることもある。さらに別の例として、仮想リスト５０６は、まるでそれが巻物であるかのように、オブジェクト５００において、クルクルと巻き、または丸めるように見える可能性がある。さらに他の例として、リストアイテムは、ブドウの木の上の葉のように、または他の有機的形態の形で表示されることもある。テキストベースのリストは、任意の適切な外観を有することができる。
【００１８】
[0024]  さらに、いくつかの実装形態においては、リストは、そのリストの中のアイテムに関連する物理的特性に基づいて衝突する相手の仮想オブジェクトと実オブジェクトとに適応することができる。例えば、リストの中のアイテムが、ドキュメントページ、写真アルバムの中の画像、書籍の積み重ね、レコードアルバム、衣類、食料品店の買い物リストにおける食料品などの現実世界オブジェクトを表現する場合に、リストアイテムの表現は、物理的に現れ、また類似した現実世界オブジェクトに類似して配置されることもある。例えば、ペイントサンプルの仮想リストは、まるでリストが、ペイントサンプルチップの物理的スタックであったかのように、壁に沿って展開する可能性があり、かつ／またはフローリングタイルの仮想リストは、まるでリストがタイルの物理的積み重ねであったかのように床を通して展開する可能性もある。
【００１９】
[0025]  いくつかの例においては、動的に適応可能な仮想リストの表示は、さらに、環境の３Ｄトポロジに加えて、現実世界環境の中のオブジェクトの物理的特性を考慮に入れることもできる。例えば、ディスプレイデバイスは、現実世界の２次元画像データを獲得し、また画像データにおいて検出される現実世界オブジェクトについての色、輝度、表面質感、材料、相（例えば、固体または液体）などの表面特性を決定するように構成されていることもある。識別された表面は、３Ｄ環境のマップと比較された識別された表面のロケーションに基づいた環境のトポロジをオブジェクトとマッチされることもあり、さらに動的に適応可能な仮想リストが、検出された物理特性に基づいたやり方で表示されることもある。１つの例として、固体のカウンタートップと、水で満たされた流しと、次いで追加の固体のカウンタートップとをトラバースするリストは、流しをトラバースする仮想リストの部分が、水の中に隠れるように見えるように表示されることもある。別の例として、仮想リストは、滑らかな表面、または滑りやすい表面の上で広がるのに比べて、荒い表面、または粘着性のある表面の上でよりゆっくりと広がる（例えば、展開する）ように表示されることもある。環境における他の物理的ファクタもまた、考慮に入れられることもある。いくつかの非限定的な例として、仮想リストは、リストが、スピーカの近くにあり、またはスピーカの上に掛けられている場合に、音楽に応じて振動しているように（例えば、１つまたは複数のマイクロフォンを経由して検出されるように）表示されることもあり、あるいは風速における増大が、（例えば、マイクロフォンによって検出されるような風の音から、風に適応する他のオブジェクトを取り込む画像データなどから）検出される場合に、そよ風が吹いているように表示されることもある。
【００２０】
[0026]  図６は、３Ｄ環境において動的な仮想リストを表示するための例示の方法６００を示す流れ図を示すものである。方法６００は、６０２において、リストの表示のためのトリガを検出するステップと、それに応答して、６０４において、リストの表現を生成するステップとを含む。トリガは、それだけには限定されないが、ユーザ入力と、環境のセンサ入力と、アプリケーションによってトリガされたイベントとを含めて、任意の適切な入力またはイベントを含むことができる。
【００２１】
[0027]  リストは、任意の適切なやり方で生成されることもある。例えば、リストの表現を生成するステップは、リスト表現の任意の部分が、６０６において示されるように、３Ｄ環境のトポロジと、リストの表現を比較して、トポロジの中の任意の仮想オブジェクトまたは実オブジェクトに交差するかどうかを決定するステップを含むことができる。リストの表現の１つまたは複数のアイテムが、３Ｄ環境のトポロジにおけるオブジェクトに交差する場合、方法６００は、６０８において、トポロジに基づいてリストの表現を調整するステップを含んでいる。リストの表現を調整するステップは、６１０において、リストの表現の１つまたは複数のアイテムのうちのそれぞれの１つまたは複数の位置および向きをトポロジに適応するように調整するステップを含むことができる。非限定的な一例として、リストは、リストが、仮想オブジェクトまたは実オブジェクトと衝突するところで圧縮すること（折り畳むこと、曲げること、しわを作ることなど）ができ、オブジェクトの輪郭に従うように、位置および／または向きを変更することができ、かつ／または任意の他の適切なやり方で適応させることができる。トポロジに基づいてリストを調整するステップはまた、６１２において示されるように、画像データから決定されるように、６１２において、現実世界オブジェクトの１つまたは複数の物理特性に基づいて、リストを調整するステップを含むことができる。そのような特性は、それだけには限定されないが、現実世界の表面および／またはオブジェクトの色と、輝度と、表面質感と、物質の相とを含むことができる。
【００２２】
[0028]  方法６００は、６１４において、リストの表現を表示するステップをさらに含んでいる。リストの表現は、任意の適切なやり方で、表示されることもある。例えば、リストの表現を表示するステップは、６１６において、起点から（例えば、起点から偶然開くリストをアニメーションすることにより）オブジェクトに向かってリストの表現を広げるステップと、次いでリストの表現が、３Ｄ環境においてオブジェクトと衝突するときに、オブジェクトに適応させるステップとを含むことができる。そのような一例においては、リストの表現の中のすべてのアイテムは、リストの展開の少なくとも一部分の間に表示されることもあり、これは、サイズとリストの内容とに関する情報を提供する助けを行うことができる。他の例においては、リストは、起点から広がるようにではなくて、最初に完全に表示される。
【００２３】
[0029]  オブジェクトと衝突するとすぐに、リストは、オブジェクトに対して圧縮するように表示されることもある。オブジェクトに対して圧縮するようにリストを表示するステップは、例えば、６１８に示されるように、折り畳まれた、束ねられた、または巻かれた表現で、あるいは任意の他の適切な圧縮された状態で、リストの１つまたは複数のアイテムを表示するステップを含むことができる。リストの圧縮された部分は、圧縮された部分の内部に含まれるリストアイテムの数を示すサイズを有することができる。オブジェクトに対して圧縮することに加えて、またはその代わりに、１つまたは複数のリストアイテムが、６２０において示されるように、オブジェクトの表面トポロジに従うように、方向および／または向きを変更するように表示されることもある。このようなやり方で、オブジェクトによるリストのオクルージョンが、回避される可能性があり、これは、リストとのユーザインタラクションのエラーレートを低減させる助けを行うことができる。
【００２４】
[0030]  上記で述べられるように、時には、６２２に示されるように、ユーザの観点からの調整された位置へのリストの位置を変更する様々なアクションが、行われる可能性がある。そのような変更が行われるときに、方法６００は、６０４に対して戻って、３Ｄ環境におけるリストとオブジェクトとの間の変更された関係に基づいて、リストの表現を生成することができる。このようにして、リストは、リストの表示が中止されるまで、リストが表示される３Ｄ環境に動的に適応する。リストの表現の位置、向き、および／または外観は、それだけには限定されないが、リストと相互作用する（例えば、リストを移動させること、リストを通してスクロールすることなど）ユーザ入力、ディスプレイデバイスの位置および／または向きにおける変更、３Ｄ環境における変更、プログラム的トリガなどを含めて、任意の適切なトリガに応答して、調整され得ることが、理解されるであろう。
【００２５】
[0031]  図７は、例示の拡張現実ディスプレイシステム７００のブロック図を示すものである。ディスプレイシステム７００は、画像が、レンズ７０２を経由して（例えば、レンズ７０２の上への投影、レンズ７０２へと組み込まれた導波路システムを経由して、かつ／または任意の他の適切なやり方で）表示され得るように、シースルーディスプレイサブシステム７０４の一部分を形成する１つまたは複数のレンズ７０２を含んでいる。ディスプレイシステム７００は、ユーザによって見られている現実世界環境の画像を獲得するように構成された１つまたは複数の外側に面したイメージセンサ７０６をさらに含んでおり、またユーザからの音声コマンドまたは周囲の音などの音を検出するように構成された１つまたは複数のマイクロフォン７０８を含むことができる。外側に面したイメージセンサ７０６は、１つまたは複数の深さセンサおよび／または１つまたは複数の２次元イメージセンサ（例えば、ＲＧＢイメージセンサ）を含むことができる。他の例においては、拡張現実ディスプレイシステム７００は、シースルーディスプレイサブシステムを経由してではなくて、外側に面したイメージセンサについてのビューファインダモードを経由して、拡張現実画像を表示することができる。
【００２６】
[0032]  ディスプレイシステム７００は、例えば、ディスプレイシステム７００が、上記で述べられるようにヘッドマウントディスプレイシステムとして実装されるときに、表示された仮想のリストおよびオブジェクトと相互作用するユーザ入力を検出するためのユーザの視線を検出するように構成された視線検出サブシステム７１０をさらに含むことができる。視線検出サブシステム７１０は、任意の適切なやり方で、ユーザの両目のうちのそれぞれの視線方向を決定するように構成されていることもある。例えば、図示された実施形態においては、視線検出サブシステム７１０は、光の輝きが、ユーザの各眼球から反射するようにさせるように構成された赤外光源などの１つまたは複数の輝き光源７１２と、ユーザの各眼球の画像を取り込むように構成された、内側に面したセンサなど、１つまたは複数のイメージセンサ７１４とを備えている。ユーザの眼球からの輝きにおける変化、および／またはイメージセンサ７１４を経由して収集される画像データから決定されるようなユーザのひとみのロケーションを使用して、視線の方向を決定することができる。さらに、ユーザの目から投影される視線ラインが、外部ディスプレイに交差するロケーションを使用して、ユーザが注視しているオブジェクト（例えば、表示された仮想オブジェクトおよび／または実際のバックグラウンドオブジェクト）を決定することができる。視線検出サブシステム７１０は、光源とイメージセンサとの任意の適切な数と構成とを有することができる。他の例においては、視線検出サブシステム７１０は、省略されることもある。
【００２７】
[0033]  ディスプレイシステム７００はまた、上記で述べられるような追加のセンサを含むこともできる。例えば、ディスプレイシステム７００は、非イメージセンサ７１６を含むことができ、これら非イメージセンサの例は、それだけには限定されないが、加速度計と、ジャイロセンサと、全地球測位システム（GPS: global positioning system）センサと、慣性測定ユニット（IMU: inertial measurement unit）とを含むことができる。そのようなセンサは、環境内のディスプレイデバイスの位置、ロケーション、および／または向きを決定する助けを行うことができ、これは、拡張現実設定において適切にリストを表示する使用のための現実世界環境の正確な３Ｄマッピングを提供する助けを行うことができる。
【００２８】
[0034]  動きセンサ、ならびにマイクロフォン７０８および視線検出サブシステム７１０はまた、ユーザが、目、首、および／または頭部のジェスチャーを経由して、また同様に口頭のコマンドを経由して、ディスプレイシステム７００と相互作用することができるように、ユーザ入力デバイスとして使用される可能性もある。図７に示されるセンサは、例の目的のために示されており、またどのような他の適切なセンサ、および／またはセンサの組み合わせも利用され得るので、どのようなやり方でも限定することを意図してはいないことが、理解されるであろう。
【００２９】
[0035]  ディスプレイシステム７００は、例えば、ユーザインタラクションのためにユーザに対してオーディオ出力を提供する、１つまたは複数のスピーカ７１８をさらに含んでいる。ディスプレイシステム７００は、センサ、視線検出サブシステム７１０、ディスプレイサブシステム７０４、および／または他のコンポーネントと通信しているロジックサブシステム７２２と、ストレージサブシステム７２４とを有する制御装置７２０をさらに含んでいる。ストレージサブシステム７２４は、例えば、他のタスクのうちでも、センサから入力を受信し、また解釈するために、ユーザのロケーションと動きとを識別するために、拡張現実視野における実オブジェクトを識別し、またこのようにして拡張現実イメージを提示し、ユーザの視野の外側に位置するオブジェクトを検出するために、また視野の外側に位置するオブジェクトに関連する位置情報の表示を提示するために、ロジックサブシステム７２２によって実行可能とすることができる、その上に記憶される命令を含んでいる。
【００３０】
[0036]  ロジックサブシステム７２２は、命令を実行するように構成された１つまたは複数の物理デバイスを含んでいる。例えば、ロジックサブシステムは、１つまたは複数のアプリケーション、サービス、プログラム、ルーチン、ライブラリ、オブジェクト、コンポーネント、データ構造、または他の論理的構成物の一部分である命令を実行するように構成されていることもある。そのような命令を実装して、タスクを実行し、データタイプを実装し、１つまたは複数のコンポーネントの状態を変換し、技術的効果を達成し、あるいはそれ以外の方法で望ましい結果に到達することができる。
【００３１】
[0037]  ロジックサブシステムは、ソフトウェア命令を実行するように構成された１つまたは複数のプロセッサを含むことができる。追加して、または代わりに、ロジックサブシステムは、ハードウェア命令またはファームウェア命令を実行するように構成された１つまたは複数のハードウェアロジックサブシステムまたはファームウェアロジックサブシステムを含むことができる。ロジックサブシステムのプロセッサは、単一コアまたはマルチコアとすることができ、またその上で実行される命令は、逐次的処理、並列処理、および／または分散型処理のために構成されることもある。ロジックサブシステムの個別コンポーネントは、任意選択により、２つ以上の別個のデバイスのうちに、分散される可能性があり、これらの２つ以上の別個のデバイスは、リモートに位置しており、かつ／または協調された処理のために構成されることもある。ロジックサブシステムの態様は、クラウドコンピューティング構成の形で構成された、リモートにアクセス可能なネットワーク化されたコンピューティングデバイスによって仮想化され、また実行されることもある。
【００３２】
[0038]  ストレージサブシステム７２４は、本明細書において説明される方法およびプロセスを実装するようにロジックサブシステムによって実行可能な命令を保持するように構成された１つまたは複数の物理デバイスを含んでいる。そのような方法およびプロセスが実装されるときに、ストレージサブシステム７２４の状態は、例えば、異なるデータを保持するように変換されることもある。
【００３３】
[0039]  ストレージサブシステム７２４は、着脱可能デバイスおよび／または組み込みデバイスを含むことができる。ストレージサブシステム７２４は、他のうちでも、光メモリ（例えば、CD、DVD、HD-DVD、ブルーレイディスクなど）、半導体メモリ（例えば、RAM、EPROM、EEPROMなど）、および／または磁気メモリ（例えば、ハードディスクドライブ、フロッピーディスクドライブ、テープドライブ、MRAMなど）を含むことができる。ストレージサブシステム７２４は、揮発性デバイス、不揮発性デバイス、ダイナミックデバイス、スタティックデバイス、リード／ライトデバイス、リードオンリーデバイス、ランダムアクセスデバイス、逐次アクセスデバイス、ロケーションアドレス指定可能デバイス、ファイルアドレス指定可能デバイス、および／または内容アドレス指定可能デバイスを含むことができる。
【００３４】
[0040]  ストレージサブシステム７２４は、１つまたは複数の物理デバイスを含むことが理解されるであろう。しかしながら、本明細書において説明される命令の態様は、代わりに、有限な持続時間にわたって、物理デバイスによって保持されない通信媒体（例えば、電磁信号、光信号など）によって伝搬される可能性がある。
【００３５】
[0041]  ロジックサブシステム７２２と、ストレージサブシステム７２４との態様は、１つまたは複数のハードウェアロジックコンポーネントへと一緒に一体化されることもある。そのようなハードウェアロジックコンポーネントは、例えば、フィールドプログラマブルゲートアレイ（FPGA: field-programmable gate array）と、プログラムおよび特定用途向け集積回路（PASIC/ASIC: program- and application-specific integrated circuit）と、プログラムおよび特定用途向けの標準製品（PSSP/ASSP: program- and application-specific standard product）と、システムオンチップ（SOC: system-on-a-chip）と、複合プログラマブルロジックデバイス（CPLD: complex programmable logic device）とを含むことができる。
【００３６】
[0042]  シースルーディスプレイサブシステム７０４を使用して、ストレージサブシステム７２４によって保持されるデータの視覚表現を提示することができる。この視覚表現は、リスト、および／または他のグラフィカルユーザインターフェース要素を含むグラフィカルユーザインターフェース（GUI: graphical user interface）の形態を取ることができる。本明細書において説明される方法およびプロセスが、ストレージサブシステムによって保持されるデータを変更し、またこのようにしてストレージサブシステムの状態を変換するので、シースルーディスプレイサブシステム７０４の状態は、同様に変換されて、基礎となるデータにおける変更を視覚的に表現することができる。シースルーディスプレイサブシステム７０４は、仮想的に任意のタイプの技術を利用する１つまたは複数のディスプレイデバイスを含むことができる。そのようなディスプレイデバイスは、共用された筐体の中のロジックサブシステム７２２および／またはストレージサブシステム７２４と組み合わされる可能性があり、あるいはそのようなディスプレイデバイスは、周辺ディスプレイデバイスとすることができる。
【００３７】
[0043]  通信サブシステム７２６は、１つまたは複数の他のコンピューティングデバイスとディスプレイシステム７００を通信可能に結合するように構成されていることもある。通信サブシステム７２６は、１つまたは複数の異なる通信プロトコルと互換性のある有線通信デバイスおよび／またはワイヤレス通信デバイスを含むことができる。非限定的な例として、通信サブシステム７２６は、ワイヤレス電話ネットワーク、あるいは有線もしくはワイヤレスのローカルエリアネットワークまたは広域ネットワークを経由して、通信のために構成されていることもある。いくつかの実施形態においては、通信サブシステム７２６は、ディスプレイシステム７００が、インターネットなどのネットワークを経由して、他のデバイスに対して、かつ／または他のデバイスからメッセージを送信し、かつ／または受信することを可能にすることができる。
【００３８】
[0044]  図示されたディスプレイシステム７００は、例の目的のために説明され、またそれゆえに限定することを意味してはいないことが、理解されるであろう。ディスプレイシステムは、本開示の範囲を逸脱することなしに示されるこれら以外の追加のおよび／または代替的なセンサ、カメラ、マイクロフォン、入力デバイス、出力デバイスなどを含むことができることが、さらに理解されるべきである。例えば、ディスプレイシステム７００は、拡張現実システムではなくて仮想現実ディスプレイシステムとして実装される可能性がある。代わりに、ディスプレイデバイスと、その様々なセンサと、サブコンポーネントとの物理的構成は、本開示の範囲を逸脱することなく、様々な異なる形態を取ることができる。さらに、本明細書において説明される方法およびプロセスは、コンピュータ・アプリケーションのプログラムまたはサービス、アプリケーションプログラミングインターフェース（API: application-programming interface）、ライブラリ、および／または他のコンピュータプログラム製品として実装され得ることが、理解されるであろう。そのようなコンピュータプログラム製品は、ディスプレイシステム７００または他の適切なディスプレイシステムの上でローカルに実行可能とすることができ、あるいはディスプレイシステム７００と通信しているコンピューティングシステムの上でリモートに実行可能とすることができる。
【００３９】
[0045]  本明細書において説明される構成および／またはアプローチは、事実上、例示的なものであること、およびこれらの特定の実施形態または例は、非常に多数の変形形態が可能であるので、限定する意味で考慮されるべきではないことが、理解されるであろう。本明細書において説明される特定のルーチンまたは方法は、任意の数の処理戦略のうちの１つまたは複数を表現することができる。したがって、例証され、かつ／または説明される様々な動作は、例証され、かつ／または説明されるシーケンスにおいて、他のシーケンスにおいて、並列に、実行され、あるいは省略されることもある。同様に、上記で説明されたプロセスの順序は、変更されることもある。
【００４０】
[0046]  別の例は、画像データを獲得するように構成されたイメージセンサと、ディスプレイデバイスと、命令を実行するように構成されたロジックデバイスと、リストの表示のためのトリガを検出し、トリガに応答して、リストの表現を生成し、リストの表現を、ディスプレイデバイスによって見ることができる３次元環境のトポロジと比較して、リストの表現が、トポロジの中のオブジェクトに交差するかどうかを決定し、リストの表現が、３次元環境のトポロジの中のオブジェクトに交差する場合、トポロジの中のオブジェクトに適応するように、リストの１つまたは複数のアイテムの各アイテムの位置および向きのうちの１つまたは複数を調整し、ディスプレイによってリストの表現を表示するようにロジックデバイスによって実行可能な命令を含むストレージデバイスと、を備えているコンピューティングデバイスを提供している。この例においては、３次元環境のトポロジの中のオブジェクトは、追加して、または代わりに、仮想オブジェクトおよび現実世界オブジェクトのうちの１つまたは複数を含む。命令は、追加して、または代わりに、オブジェクトに向かって広がるようにリストの表現を表示すること、次いでオブジェクトに対して圧縮するようにリストの１つまたは複数のアイテムの表現を表示することにより、オブジェクトに適応するようにリストの表現を表示するように、ロジックデバイスによって実行可能とすることができる。命令は、追加して、または代わりに、リストの１つまたは複数のアイテムの表現を、折り畳まれた表現と、束にされた表現と、巻かれた表現とのうちの１つまたは複数の形で表示することにより、オブジェクトに対して圧縮するようにリストの１つまたは複数のアイテムの表現を表示するように実行可能とすることができる。命令は、追加して、または代わりに、リストの圧縮された部分においてアイテムの数を表現する外観を有するリストの圧縮された部分を表示することにより、オブジェクトに対して圧縮するようにリストの１つまたは複数のアイテムの表現を表示するように実行可能とすることができる。命令は、追加して、または代わりに、オブジェクトの表面の輪郭に従うようにリストの表現を調整することにより、オブジェクトに適応するようにリストの表現を表示するように実行可能とすることができる。イメージセンサは、追加して、または代わりに、２次元カメラを備えていることができ、またそこでは、命令は、３Ｄ環境の２次元画像データを獲得し、また３Ｄ環境のトポロジの中の現実世界オブジェクトに対応している現実世界表面の特性を識別するように実行可能である。命令は、追加して、または代わりに、現実世界表面の特性に基づいて、リストの表現を調整するように実行可能とすることができる。コンピューティングデバイスは、追加して、または代わりに、入力デバイスを含むことができ、またそこでは、命令は、さらに、調整された位置へとディスプレイ上のリストを移動させるユーザ入力を受信し、またそれに応答して、調整された位置におけるトポロジとのリストの交差に基づいて、リストの１つまたは複数のアイテムの表現の位置および向きのうちの１つまたは複数を調整するように実行可能である。
【００４１】
[0047]  別の例は、コンピューティングデバイス上で、ユーザインターフェースを表示する方法であって、リストの表示のためのトリガを検出するステップと、トリガに応答して、リストの表現を生成するステップと、リストの表現を３次元環境のトポロジと比較して、リストの表現の１つまたは複数のアイテムがトポロジの中のオブジェクトに交差するかどうかを決定するステップと、リストの表現の１つまたは複数のアイテムが、３次元環境のトポロジの中のオブジェクトに交差する場合、トポロジの中のオブジェクトに適応するように、リストの表現の１つまたは複数のアイテムの各アイテムの位置および向きのうちの１つまたは複数を調整するステップと、リストの表現を表示するステップとを含む方法を提供している。この例においては、３次元環境のトポロジの中のオブジェクトは、追加して、または代わりに、仮想オブジェクトおよび現実世界オブジェクトのうちの１つまたは複数を含むことができる。本方法は、追加して、または代わりに、オブジェクトに向かって起点から広がるようにリストの表現を表示すること、次いでオブジェクトに対して圧縮することにより、リストの表現を表示するステップを含むことができる。本方法は、追加して、または代わりに、１つまたは複数のアイテムのそれぞれを、折り畳まれた表現と、束にされた表現と、巻かれた表現とのうちの１つまたは複数の形で表示することにより、オブジェクトに対して圧縮するようにリストの表現を表示するステップを含むことができる。本方法は、追加して、または代わりに、リストの圧縮された部分においてアイテムの数を表現する外観を有するリストの圧縮された部分を表示することにより、オブジェクトに対して圧縮するようにリストの表現を表示するステップを含むことができる。本方法は、追加して、または代わりに、オブジェクトの表面の輪郭に従うように、リストの表現の１つまたは複数のアイテムを表示することにより、リストの表現を表示するステップを含むことができる。本方法は、追加して、または代わりに、３Ｄ環境の２次元画像データを獲得するステップと、３Ｄ環境のトポロジの中の現実世界オブジェクトに対応している現実世界表面の特性を識別するステップとを含むことができる。本方法は、追加して、または代わりに、現実世界表面の特性に基づいて、リストの表現を調整するステップを含むことができる。この例においては、特性は、追加して、または代わりに、現実世界表面の質感と物質の相とのうちの１つまたは複数を含むことができる。本方法は、追加して、または代わりに、調整された位置へとディスプレイ上のリストを移動させるユーザ入力を受信するステップと、それに応答して、調整された位置におけるトポロジとのリストの交差に基づいて、リストの１つまたは複数のアイテムの表現の位置および向きのうちの１つまたは複数を調整するステップとを含むことができる。
【００４２】
[0048]  別の例は、現実世界環境の画像データを獲得するように構成されたイメージセンサと、それを通して現実世界環境の少なくとも一部分を見ることができるシースルーディスプレイデバイスと、命令を実行するように構成されたロジックデバイスと、リストの表示のためのトリガを検出し、トリガに応答してリストの表現を生成し、リストの表現を、シースルーディスプレイデバイスによって表示される現実世界環境と仮想オブジェクトとを表現するトポロジと比較して、リストの表現がトポロジの中のオブジェクトに交差するかどうかを決定し、リストの表現が、トポロジの中のオブジェクトに交差する場合、トポロジの中のオブジェクトに適応するようにリストの１つまたは複数のアイテムの各アイテムの位置および向きのうちの１つまたは複数を調整し、シースルーディスプレイデバイスによってリストの表現を表示するように、ロジックデバイスによって実行可能な命令を含むストレージデバイスと、を備えているウェアラブル拡張現実コンピューティングデバイスを提供している。
【００４３】
[0049]  本開示の主題は、本明細書において開示される様々なプロセス、システムおよび構成、他の特徴、機能、動作、および／または特性についてのすべての新規の、また明らかでない組み合わせおよび部分的組み合わせ、ならびにそれらの任意の等価形態およびすべての等価形態を含む。
【図１】
2018508849.tif 000003
【図２】
2018508849.tif 000004
【図３Ａ】
2018508849.tif 000005
【図３Ｂ】
2018508849.tif 000006
【図４Ａ】
2018508849.tif 000007
【図４Ｂ】
2018508849.tif 000008
【図５】
2018508849.tif 000009
【図６】
2018508849.tif 000010
【図７】
2018508849.tif 000011
【手続補正書】
【提出日】平成28年6月9日(2016.6.9)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
画像データを獲得するように構成されたイメージセンサと、
ディスプレイデバイスと、
命令を実行するように構成されたロジックデバイスと、
命令を含むストレージデバイスとを備え、前記命令が、
リストの表示のためのトリガを検出し、
前記トリガに応答して、前記リストの表現を生成し、
前記リストの前記表現を、ディスプレイデバイスによって見ることができる３次元環境のトポロジと比較して、前記リストの前記表現が前記トポロジの中のオブジェクトに交差するかどうかを決定し、
前記リストの前記表現が前記３次元環境の前記トポロジの中のオブジェクトに交差する場合、前記トポロジの中の前記オブジェクトに適応するように、前記リストの１つまたは複数のアイテムの各アイテムの位置および向きのうちの１つまたは複数を調整し、
前記オブジェクトに向かって起点から広がるように、前記リストの前記表現を表示すること、次いで前記オブジェクトに対して圧縮するように前記リストの前記１つまたは複数のアイテムの前記表現を表示することにより、前記オブジェクトに適応するように、前記ディスプレイによって前記リストの前記表現を表示する
ように前記ロジックデバイスによって実行可能である、コンピューティングデバイス。
【請求項２】
前記３次元環境の前記トポロジの中の前記オブジェクトは、仮想オブジェクトおよび現実世界オブジェクトのうちの１つまたは複数を備えている、請求項１に記載のコンピューティングデバイス。
【請求項３】
前記オブジェクトに向かって起点から広がるように、前記リストの前記表現を表示することは、前記リストの前記表現のすべての項目を表示することを含む、請求項１に記載のコンピューティングデバイス。
【請求項４】
前記命令は、前記リストの前記１つまたは複数のアイテムの前記表現を、折り畳まれた表現と、束にされた表現と、巻かれた表現とのうちの１つまたは複数の形で表示することにより、前記オブジェクトに対して圧縮するように、前記リストの前記１つまたは複数のアイテムの前記表現を表示するように実行可能である、請求項１に記載のコンピューティングデバイス。
【請求項５】
前記命令は、前記リストの圧縮された部分においてアイテムの数を表現する外観を有する前記リストの前記圧縮された部分を表示することにより、前記オブジェクトに対して圧縮するように前記リストの前記１つまたは複数のアイテムの前記表現を表示するように実行可能である、請求項１に記載のコンピューティングデバイス。
【請求項６】
前記命令は、前記オブジェクトの表面の輪郭に従うように前記リストの前記表現を調整することにより、前記オブジェクトに適応するよう前記リストの前記表現を表示するように実行可能である、請求項１に記載のコンピューティングデバイス。
【請求項７】
前記イメージセンサは、２次元カメラを備えており、前記命令は、前記３Ｄ環境の２次元画像データを獲得し、前記３Ｄ環境の前記トポロジの中の現実世界オブジェクトに対応している現実世界表面の特性を識別するように実行可能である、請求項１に記載のコンピューティングデバイス。
【請求項８】
前記命令は、前記現実世界表面の前記特性に基づいて前記リストの前記表現を調整するようにさらに実行可能である、請求項７に記載のコンピューティングデバイス。
【請求項９】
入力デバイスをさらに備えており、前記命令は、調整された位置へと前記ディスプレイ上の前記リストを移動させるユーザ入力を受信し、それに応答して、前記調整された位置における前記トポロジとの前記リストの交差に基づいて、前記リストの前記１つまたは複数のアイテムの前記表現の前記位置および前記向きのうちの１つまたは複数を調整するようにさらに実行可能である、請求項１に記載のコンピューティングデバイス。
【請求項１０】
コンピューティングデバイス上で実行される、ユーザインターフェースを表示する方法であって、
リストの表示のためのトリガを検出するステップと、
前記トリガに応答して、前記リストの表現を生成するステップと、
前記リストの前記表現を３次元環境のトポロジと比較して、前記リストの前記表現の１つまたは複数のアイテムが前記トポロジの中のオブジェクトに交差するかどうかを決定するステップと、
前記リストの前記表現の１つまたは複数のアイテムが、前記３次元環境の前記トポロジの中のオブジェクトに交差する場合、前記トポロジの中の前記オブジェクトに適応するように、前記リストの前記表現の前記１つまたは複数のアイテムの各アイテムの位置および向きのうちの１つまたは複数を調整するステップと、
前記オブジェクトに向かって起点から広がり、次いで前記オブジェクトに対して圧縮するように前記リストの前記表現を表示するステップと
を含む方法。
【請求項１１】
前記３次元環境の前記トポロジの中の前記オブジェクトは、仮想オブジェクトおよび現実世界オブジェクトのうちの１つまたは複数を備えている、請求項１０に記載の方法。
【請求項１２】
前記オブジェクトに向かって起点から広がるように、前記リストの前記表現を表示することは、前記リストの前記表現を広げる間に前記リストの前記表現のすべての項目を表示することを含む、請求項１０に記載の方法。
【請求項１３】
前記リストの前記表現を表示するステップは、前記オブジェクトの表面の輪郭に従うように前記リストの前記表現の前記１つまたは複数のアイテムを表示するステップを含む、請求項１０に記載の方法。
【請求項１４】
前記３Ｄ環境の２次元画像データを獲得するステップと、前記３Ｄ環境の前記トポロジの中の現実世界オブジェクトに対応している現実世界表面の特性を識別するステップとをさらに含む、請求項１０に記載の方法。
【請求項１５】
調整された位置へとディスプレイ上の前記リストを移動させるユーザ入力を受信するステップと、それに応答して、前記調整された位置における前記トポロジとの前記リストの交差に基づいて、前記リストの前記１つまたは複数のアイテムの前記表現の前記位置および前記向きのうちの１つまたは複数を調整するステップとをさらに含む、請求項１０に記載の方法。
【国際調査報告】
2018508849.tif 000012
2018508849.tif 000013
2018508849.tif 000014