(57)【要約】  一実装形態では、模擬現実において表示デバイス共有及び対話性を提供する方法は、１つ以上のプロセッサ及び非一時的メモリを含む第１の電子デバイスで実行される。方法は、第１のユーザから、第１の電子デバイスと通信している第１の表示デバイスへのジェスチャ入力を取得することを含み、第１の表示デバイスが第１のディスプレイを含む。方法は、ジェスチャ入力を取得したことに応じて、第１のディスプレイの表現を第２の電子デバイスに送信することを更に含む。方法は、第２の電子デバイスから第１の表示デバイスに向けられた入力メッセージを受信することを更に含み、入力メッセージが、第２の電子デバイスによって第２のユーザから取得された入力指示を含む。方法はまた、第１の表示デバイスによって実行するために、入力メッセージを第１の表示デバイスに送信することを含む。【選択図】図４
2021535526.tif 000002
【特許請求の範囲】
【請求項１】
１つ以上のプロセッサ及び非一時的メモリを含む第１の電子デバイスにおいて、
第１のユーザから第１の表示デバイスに向けられたジェスチャ入力を取得することであって、前記第１の表示デバイスが第１のディスプレイを含み、前記第１の表示デバイスが前記第１の電子デバイスと通信している、ことと、
前記ジェスチャ入力を取得したことに応じて、前記第１の表示デバイスの表現を第２の電子デバイスに送信することと、
前記第２の電子デバイスから前記第１の表示デバイスに向けられた入力メッセージを受信することであって、前記入力メッセージが、前記第２の電子デバイスによって第２のユーザから取得された入力指示を含む、ことと、
前記第１の表示デバイスによって実行するために、前記入力メッセージを前記第１の表示デバイスに送信することと、
を含む、方法。
【請求項２】
前記第１の表示デバイスとの有線又は無線通信を使用して、前記第１の表示デバイスの前記表現を取得することを更に含む、請求項１に記載の方法。
【請求項３】
前記第１の電子デバイスの１つ以上のカメラを使用して、前記第１の表示デバイスの前記表現を取得することを更に含む、請求項１又は２に記載の方法。
【請求項４】
前記第１のユーザから前記第１の表示デバイスに向けられた前記ジェスチャ入力を取得することが、
前記第１の表示デバイスから前記ジェスチャ入力のインジケータを受信することであって、前記ジェスチャ入力を前記第１の表示デバイスによって前記第１のユーザから受信する、こと、
を含む、請求項１〜３のいずれか一項に記載の方法。
【請求項５】
前記第１のユーザから前記第１の表示デバイスに向けられた前記ジェスチャ入力を取得することが、
前記第１の表示デバイスを保持している前記第１のユーザの動きを検出することと、
前記第１のユーザの前記動きに基づいて、前記ジェスチャ入力を引き出すことと、
を含む、請求項１〜４のいずれか一項に記載の方法。
【請求項６】
前記第１の表示デバイスの前記表現が、前記第１のディスプレイ上に表示されたコンテンツの一部分又は前記第１の表示デバイスのレンダリングのうちの少なくとも１つを含む、請求項１〜５のいずれか一項に記載の方法。
【請求項７】
前記第１の表示デバイスの前記表現が、前記第１の表示デバイスに関連付けられた第１のサイズ及び比率とは異なる第２のサイズ及び比率にスケーラブルである、請求項１〜６のいずれか一項に記載の方法。
【請求項８】
前記入力指示が、前記第２の電子デバイスによって検出された前記第２のユーザによる動きと関連付けらており、
前記動きが、前記第１の表示デバイスの前記表現に向けられている、
請求項１〜７のいずれか一項に記載の方法。
【請求項９】
前記第１の表示デバイスが、ピアツーピア接続を介して通信するために前記第１の電子デバイスとペアリングされており、前記ジェスチャ入力を取得したことに応じて、前記第１の表示デバイスの前記表現を第２の電子デバイスに送信することが、ピアツーピア接続を介して前記第１の表示デバイスの前記表現を前記第２の電子デバイスに送信することを含む、請求項１〜８のいずれか一項に記載の方法。
【請求項１０】
前記第２のユーザを表すアバター、及び前記第１の表示デバイスの前記表現をレンダリングすることと、
前記入力メッセージに基づいて、前記アバターの身体ポーズ又は手ジェスチャのうちの少なくとも１つを更新することと、
前記第１の表示デバイスから、前記第１の表示デバイスの更新された表現を受信することと、
前記更新されたアバター、及び前記第１の表示デバイスの前記更新された表現をレンダリングすることと、
を更に含む、請求項１〜９のいずれか一項に記載の方法。
【請求項１１】
共有模擬現実（ＳＲ）環境において、前記第１のユーザを表すアバター及び前記第２のユーザを表す前記アバターを、前記第１の表示デバイスの前記表現と共にレンダリングすること、
を更に含む、請求項１０に記載の方法。
【請求項１２】
前記入力メッセージが、前記第２のユーザのアイデンティティ、及び前記第１の表示デバイス上で実行される操作を含み、前記方法が、
前記第１の表示デバイスを使用して、前記第２のユーザの前記アイデンティティに少なくとも部分的に基づいて、前記第２のユーザが前記第１の表示デバイス上で前記操作を実行することを許可されているかどうかを判定することと、
前記第２のユーザが前記第１の表示デバイス上で前記操作を実行することを許可されていないとの判定に従って、前記操作の実行をやめることと、
を更に含む、請求項１〜１１のいずれか一項に記載の方法。
【請求項１３】
前記第２のユーザが前記第１の表示デバイス上で前記操作を実行することを許可されているとの判定に従って、前記操作を実行することを更に含む、請求項１２に記載の方法。
【請求項１４】
前記第１の電子デバイスが、ヘッドマウントデバイス、携帯電話、タブレット、ウェブカム、又はキオスクのうちの少なくとも１つを含む、請求項１〜１３のいずれか一項に記載の方法。
【請求項１５】
１つ以上のプロセッサと、
非一時的メモリと、
前記非一時的メモリに記憶された１つ以上のプログラムと、
を備え、前記１つ以上のプロセッサによって実行されると、前記デバイスに請求項１〜１４のいずれか一項に記載の方法を実行させる、デバイス。
【請求項１６】
１つ以上のプログラムを記憶する非一時的メモリであって、デバイスの１つ以上のプロセッサによって実行されると、前記デバイスに請求項１〜１４のいずれか一項に記載の方法を実行させる、非一時的メモリ。
【請求項１７】
１つ以上のプロセッサと、
非一時的メモリと、
前記デバイスに請求項１から１４のいずれか一項に記載の方法を実行させるための手段と、
を含む、デバイス。
【請求項１８】
非一時的メモリと、
第１のユーザから第１の表示デバイスへのジェスチャ入力を取得し、前記第１の表示デバイスが第１のディスプレイを含み、前記第１の表示デバイスが前記第１の電子デバイスと通信しており、
前記ジェスチャ入力を取得したことに応じて、前記第１の表示デバイスの表現を第２の電子デバイスに送信し、
前記第２の電子デバイスから前記第１の表示デバイスに向けられた入力メッセージを受信し、前記入力メッセージが、前記第２の電子デバイスによって第２のユーザから取得された入力指示を含み、
前記第１の表示デバイスによって実行するために、前記入力メッセージを前記第１の表示デバイスに送信する、
１つ以上のプロセッサと、
を備える、第１の電子デバイス。
【発明の詳細な説明】
【技術分野】
【０００１】
本開示は、概して、多機能デバイス上の模擬現実アプリケーションに関する。
【背景技術】
【０００２】
物理的環境とは、電子システムの支援なしに個人が感知、及び／又は対話することができる世界を意味する。物理的環境（例えば、実際の森林）は、現実要素（例えば、実際の木、実際の構造物、及び実際の動物）を含む。個人は、接触、視覚、嗅覚、聴覚、及び味覚などを介して、物理的環境と直接対話し、かつ／又は現実環境を直接感知することができる。
【０００３】
対照的に、模擬現実（simulated reality、ＳＲ）環境は、電子システムを介して個人が感知及び／又は対話することができる、完全又は部分的にコンピュータ生成された環境を指す。ＳＲにおいて、個人の動きのサブセットが監視され、それに応答して、ＳＲ環境における１つ以上の仮想オブジェクトの１つ以上の属性が、１つ以上の物理法則と一致するように変更される。例えば、ＳＲシステムは、個人が前方に数歩歩くのを検出し、それに応答して、個人に提示されるグラフィック及び音声を、物理的環境でそのような景色及び音にもたらされるであろう変化と同様の変化をもたらすように調整してもよい。ＳＲ環境における仮想オブジェクト（単数又は複数）の属性（単数又は複数）の修正は、また、動きの表現に応答して行われてもよい（例えば、音声に関する命令）。
【０００４】
個人は、接触、嗅覚、視覚、味覚、及び音声を含む、自身の感覚のうちのいずれか１つを使用して、ＳＲオブジェクトと対話する及び／又はそれを感知することができる。例えば、個人は、多次元（例えば、３次元）若しくは空間的聴覚環境を作成し、かつ／又は音声透過性を可能にする音声オブジェクトと対話し、かつ／又は音声オブジェクトを感知することができる。多次元又は空間的聴覚環境は、多次元空間内の別個の音声源の知覚を個人に提供する。音声透過性は、コンピュータ生成された音声を用いて又は用いることなく、物理的環境からの音声を選択的に組み込む。いくつかのＳＲ環境において、個人は音声オブジェクトのみと対話してもよく、かつ／又は音声オブジェクトのみを感知してもよい。
【０００５】
ＳＲの一例は、仮想現実（virtual reality、ＶＲ）である。ＶＲ環境とは、感覚のうちの少なくとも１つについて、コンピュータ生成された感覚入力のみを含むように設計された模擬環境を指す。ＶＲ環境は、個人が対話及び／又は感知することができる複数の仮想オブジェクトを含む。個人は、コンピュータ生成された環境内の個人のアクションのサブセットのシミュレーションを通じて、及び／又はコンピュータ生成された環境内の個人のシミュレーション若しくは自身の存在を通じて、ＶＲ環境内の仮想オブジェクトと対話し、かつ／又は仮想オブジェクトを感知することができる。
【０００６】
ＳＲの別の例は、複合現実（mixed reality、ＭＲ）である。ＭＲ環境とは、コンピュータ生成された感覚入力（例えば、仮想オブジェクト）を、物理的環境又はその表現からの感覚入力と統合するように設計された模擬環境を指す。現実スペクトルでは、複合現実環境は、一方の端部でのＶＲ環境と他方の端部での完全な物理的環境との間にあり、これらを含まない。
【０００７】
いくつかのＭＲ環境において、コンピュータ生成された感覚入力は、物理的環境からの感覚入力の変更に応答し得る。また、ＭＲ環境を提示するためのいくつかの電子システムは、また、物理的環境に対する向き及び／又は位置を監視して、仮想オブジェクトと現実のオブジェクト（すなわち、物理的環境からの現実要素又はその表現）との対話を可能とすることができる。例えば、システムは、仮想の植物が実際の建物に対して静止して見えるように動きを監視してもよい。
【０００８】
複合現実の一例は、拡張現実（augmented reality、ＡＲ）である。ＡＲ環境は、少なくとも１つの仮想オブジェクトが物理的環境上か又はその表現上に重ねられた模擬環境を指す。例えば、電子システムは、不透明なディスプレイと、物理的環境の表現である、物理的環境の画像又は動画を取り込む少なくとも１つの撮像センサとを有してもよい。システムは、画像又は動画を仮想オブジェクトと合成し、その合成物を不透明なディスプレイ上に表示する。個人は、システムを使用して、物理的環境の画像又は動画を介して間接的に現実環境を見て、物理的環境上に重ねられた仮想オブジェクトを観察する。システムが画像センサ（単数又は複数）を使用して物理的環境の画像を取り込み、それらの画像を使用して不透明なディスプレイ上にＡＲ環境を提示する場合、表示された画像は、ビデオパススルーと呼ばれる。あるいは、ＡＲ環境を表示するための電子システムは、個人が物理的環境を直接見ることができる透明又は半透明のディスプレイを有してもよい。システムは、透明又は半透明のディスプレイ上に仮想オブジェクトを表示し、それによって、個人はシステムを使用して、物理的環境上に重ねられた仮想オブジェクトを観察してもよい。別の例において、システムは、仮想オブジェクトを物理的環境に投影する投影システムを含んでもよい。仮想オブジェクトは、例えば、現実表面上に、又はホログラフとして投影され、それによって、個人は、システムを使用して、物理的環境の上に重ねられた仮想オブジェクトを観察してもよい。
【０００９】
拡張現実環境はまた、物理的環境の表現がコンピュータ生成された感覚情報によって変換される模擬環境を指してもよい。例えば、物理的環境表現の一部分は、変更された部分が依然として元々取り込まれた画像（単数又は複数）の表現であり得るが、忠実に再現されたバージョンではないように、視覚的に変換（例えば、拡大）されてもよい。別の例として、ビデオパススルーを提供する際、システムは、センサ画像のうちの少なくとも１つを変更して、画像センサ（単数又は複数）によって取り込まれた視点とは異なる特定の視点を課すことができる。更なる実施例として、物理的環境の表現は、その一部分を視覚的に不明瞭にするか、又は除外することによって変更されてもよい。
【００１０】
複合現実の別の例は、拡張仮想現実（augmented virtuality、ＡＶ）である。ＡＶ環境とは、コンピュータ生成された環境又は仮想環境が物理的環境からの少なくとも１つの感覚入力を組み込む、模擬環境を指す。現実環境からの感覚入力（単数又は複数）は、物理的環境の少なくとも１つの特性の表現であってもよい。例えば、仮想オブジェクトは、撮像センサ（単数又は複数）によって取り込まれた現実要素の色を呈してもよい。別の実施例では、仮想オブジェクトは、撮像、気象関連センサ、及び／又はオンライン気象データを介して特定されるような物理的環境における実際の気象条件と一致する特性を示し得る。更に別の例では、拡張現実の森林は、仮想的な木及び構造物を有してもよいが、動物は、実際の動物の画像から正確に再現される特徴を有してもよい。
【００１１】
多くの電子システムは、個人が様々なＳＲ環境と対話し、かつ／又は感知することを可能にする。一実施例は、ヘッドマウントシステムを含む。ヘッドマウントシステムは、不透明なディスプレイ及びスピーカ（単数又は複数）を有してもよい。あるいは、ヘッドマウントシステムは、外部ディスプレイ（例えば、スマートフォン）を受け入れるように設計されてもよい。ヘッドマウントシステムは、それぞれ、画像／動画を撮影するため、及び／又は物理的環境の音声を取り込むために、画像センサ（単数又は複数）及び／又はマイクロフォンを有してもよい。ヘッドマウントシステムはまた、透明又は半透明のディスプレイを有してもよい。透明又は半透明のディスプレイには、基板を通して画像を表す光が個人の目に向かう基板を組み込んでもよい。ディスプレイは、ＬＥＤ、ＯＬＥＤ、デジタル光プロジェクタ、レーザ走査光源、シリコン上の液晶、又はこれらの技術の任意の組み合わせを組み込んでもよい。光が透過する基板は、光導波路、光学結合器、光学リフレクタ、ホログラフ基板、又はこれらの基板の任意の組み合わせであってもよい。一実施形態において、透明又は半透明のディスプレイは、不透明状態と透明又は半透明状態との間で選択的に遷移してもよい。別の実施例では、電子システムは、投影ベースシステムであってもよい。投影ベースシステムは、網膜投影を使用して、個人の網膜上に画像を投影することができる。あるいは、投影システムは、仮想オブジェクトを物理的環境に（例えば、現実表面上に、又はホログラフとして）投影することもまたできる。ＳＲシステムの他の例としては、ヘッドアップディスプレイ、グラフィックを表示する能力を備える自動車用フロントガラス、グラフィックスを表示する能力を備える窓、グラフィックを表示する能力を備えるレンズ、ヘッドフォン又はイヤホン、スピーカ配置、入力機構（例えば、触知フィードバックを有する又は有さないコントローラ）、タブレット、スマートフォン、及びデスクトップコンピュータ又はラップトップコンピュータが挙げられる。
【００１２】
したがって、ＳＲ技術により、共有空間においてユーザに対する対話型環境を提供する。しかしながら、スマートフォン、タブレット、ラップトップ、ＰＣスクリーンなどの現実世界のコンピューティングデバイスの共有は、ＳＲシステムにおいて以前は利用できなかった。
【図面の簡単な説明】
【００１３】
本開示は、当業者によって理解され得るように、いくつかの例示的な実装形態の態様を参照することによって、より詳細な説明を有してもよく、そのいくつかは添付図面に示されている。
【図１Ａ】いくつかの実装形態に係る、例示的な環境の図である。
【図１Ｂ】いくつかの実装形態に係る、例示的な環境の図である。
【図２】いくつかの実装形態に係る、例示的なコントローラのブロック図である。
【図３】いくつかの実装形態に係る、例示的なヘッドマウントデバイス（head−mounted device、ＨＭＤ）のブロック図である。
【図４】いくつかの実装形態に係る、例示的な動作環境における表示デバイス共有を示すブロック図である。
【図５Ａ】いくつかの実装形態に係る、表示デバイス共有がトリガされている例示的な環境の図である。
【図５Ｂ】いくつかの実装形態に係る、表示デバイス共有がトリガされている例示的な環境の図である。
【図５Ｃ】いくつかの実装形態に係る、表示デバイス共有がトリガされている例示的な環境の図である。
【図５Ｄ】いくつかの実装形態に係る、表示デバイス共有がトリガされている例示的な環境の図である。
【図５Ｅ】いくつかの実装形態に係る、表示デバイス共有がトリガされている例示的な環境の図である。
【図６Ａ】いくつかの実装形態に係る、例示的なＳＲ環境における表示デバイスのＳＲ表現のスケーリングの図である。
【図６Ｂ】いくつかの実装形態に係る、例示的なＳＲ環境における表示デバイスのＳＲ表現のスケーリングの図である。
【図６Ｃ】いくつかの実装形態に係る、例示的なＳＲ環境における表示デバイスのＳＲ表現のスケーリングの図である。
【図６Ｄ】いくつかの実装形態に係る、例示的なＳＲ環境における表示デバイスのＳＲ表現のスケーリングの図である。
【図７】いくつかの実装形態に係る、表示デバイス共有の方法のフローチャート表現である。
【００１４】
慣行により、図面に示される様々な特徴は縮尺どおりに描かれていない場合がある。したがって、様々な特徴部の寸法は明確化のために、任意に拡大又は縮小されている場合がある。加えて、いくつかの図面は、所与のシステム、方法、又はデバイスの構成要素の全てを描いていない場合がある。最後に、本明細書及び図の全体を通して、同様の特徴を有することを示すために同様の参照番号が使用される場合がある。
【発明の概要】
【００１５】
本明細書に開示される様々な実装形態は、ユーザ間の模擬現実（ＳＲ）環境において現実世界のデバイスを共有するためのデバイス、システム、及び方法を含む。様々な実装形態では、方法は、１つ以上のプロセッサ及び非一時的メモリを含む第１のＳＲデバイスで実行される。方法は、第１のユーザから第１の表示デバイスへのジェスチャ入力を取得することを含み、ここで、第１の表示デバイスは第１のディスプレイを含み、第１の表示デバイスは第１のＳＲデバイスと通信している。方法は、ジェスチャ入力を取得したことに応じて、第１のディスプレイの表現を第２のＳＲデバイスに送信することを更に含む。方法は、第２のＳＲデバイスから第１の表示デバイスに向けられた入力メッセージを受信することを更に含み、ここで、入力メッセージは、第２のＳＲデバイスによって第２のユーザから取得された入力指示を含む。方法はまた、第１の表示デバイスによって実行するために、入力メッセージを第１の表示デバイスに送信することを含む。
【００１６】
いくつかの実装形態によれば、デバイスは、１つ以上のプロセッサと、非一時的メモリと、１つ以上のプログラムと、を含む。１つ以上のプログラムは、非一時的メモリに記憶され、１つ以上のプロセッサによって実行されるように構成されており、１つ以上のプログラムは、本明細書に記載の方法のいずれかを実行するか又は実行させる命令を含む。いくつかの実装形態によれば、非一時的コンピュータ可読記憶媒体は内部に命令を記憶しており、この命令は、デバイスの１つ以上のプロセッサによって実行されると、それに基づきデバイスは、本明細書内で説明する方法のうちのいずれかの動作を実行又は実行させる。いくつかの実装形態によれば、デバイスは、１つ以上のプロセッサと、非一時的メモリと、本明細書に記載される方法のいずれかを実行する又は実行させる手段と、を含む。
【発明を実施するための形態】
【００１７】
図面に示される例示的な実装形態の十分な理解を提供するために、数多くの詳細が記載されている。しかしながら、図面は単に本開示のいくつかの例示的な態様を示すものであり、したがって、限定的であると考慮されるべきではない。当業者であれば、他の有効な態様及び／又は変形が本明細書に記載される特定の詳細全てを含むものではないと理解するであろう。さらに、本明細書に記載される例示的な実装形態のより適切な態様を不明瞭にしないよう、周知のシステム、方法、構成要素、デバイス及び回路は、網羅的に詳細を記載していない。
【００１８】
本明細書に開示される様々な実装形態は、共有模擬現実（ＳＲ）環境において表示デバイス共有体験を提供する。いくつかの実装形態では、表示デバイスはディスプレイを有し、第１のユーザによって使用される第１のＳＲデバイスと通信している。例えば、第１のユーザは、ヘッドマウントデバイス（ＨＭＤ）を装着し、かつ、スマートフォンを手に保持しており、通信範囲内の有線又は無線接続を通じて、ＨＭＤとスマートフォンとがペアリングされている。第１のユーザが、表示デバイスに関連付けられたジェスチャ入力を提供すると、例えば、スマートフォンを第２のユーザに向けて移動し又は傾けると、第２のユーザには、例えば、第２のユーザが視認可能な壁上に投影すること、表示デバイスのユーザインタフェースをＳＲ環境でＴＶに表示すること、及び／又は表示デバイスを表すＳＲ環境でフローティングパネルを表示することで、表示デバイスのＳＲ表現が提供される。さらに、第２のユーザには、第２のユーザが表示デバイス上で実行される入力指示を入力できるように、表示デバイスの制御が提供される。いくつかの実装形態では、第２のユーザからの入力指示は、第２のＳＲデバイスによって取得され、第１のＳＲデバイスに送信される入力メッセージとしてパッケージ化される。次いで、第１のＳＲデバイスは、実行のために、入力メッセージを表示デバイスに転送する。例えば、共有ＳＲ環境では、第２のユーザは、第１のユーザからの表示デバイスのＳＲ表現の受信をエミュレートし、ＳＲ環境における表示デバイスのＳＲ表現の動きをエミュレートし、ＳＲ環境における表面上にそれを配置することをエミュレートし、かつ／又は表示デバイスのＳＲ表現へのタッチ入力をエミュレートすることなどができる。このように、共有ＳＲ環境を通じて、第２のユーザは、表示デバイスと対話し、表示デバイスの制御及び操作を第１のユーザと共有することができる。
【００１９】
図１Ａは、いくつかの実装形態に係る、ＳＲ環境１００Ａの一例を示している。関連する特徴が示されているが、当業者であれば、本明細書に開示される例示的な実施形態のより適切な態様を曖昧にしないように簡潔化するために、様々な他の特徴が示されていないことを、本開示から理解するであろう。その目的で、非限定的な例として、動作環境１００Ａは、複数のＳＲデバイス１０４、例えば、ＳＲデバイス１０４−Ａ、１０４−Ｎ、及び１０４−Ｘを介して、複数のユーザ、例えば、ユーザ１０−Ａ、１０−Ｎ、及び１０−Ｘに提供される（例えば、利用可能な）共有仮想空間である。いくつかの実装形態では、ＳＲデバイス１０４のそれぞれは、コントローラ１０２に関連付けられている。図１Ａの例では、ＳＲデバイス１０４のそれぞれはユーザ１０によって装着され、例えば、ＳＲデバイス１０４−Ａはユーザ１０−Ａによって装着され、ＳＲデバイス１０４−Ｎはユーザ１０−Ｎによって装着され、ＳＲデバイス１０４−Ｘはユーザ１０−Ｘによって装着される、などである。
【００２０】
いくつかの実装形態では、各ＳＲデバイス１０４は、ヘッドマウントデバイス（ＨＭＤ）、タブレット、携帯電話、ウェアラブルコンピューティングデバイスなどに相当する。いくつかの実装形態では、各ＳＲデバイス１０４は、関連するユーザ１０にＳＲ体験を提示するように構成されている。いくつかの実装形態では、各ＳＲデバイス１０４は、ソフトウェア、ファームウェア、及び／又はハードウェアの適切な組み合わせを含む。
【００２１】
いくつかの実装形態によれば、各ＳＲデバイス１０４は、関連するユーザ１０がシーン１０６内に仮想的及び／又は物理的に存在している間に、関連するユーザ１０にＳＲ体験を提示する。いくつかの実装形態では、それぞれのアバター１０８は、シーン１０６内のユーザ１０を表し、例えば、シーン１０６内の、アバター１０８−Ａはユーザ１０−Ａを表し、アバター１０８−Ｎはユーザ１０−Ｎを表し、アバター１０８−Ｘはユーザ１０−Ｘを表す。
【００２２】
いくつかの実装形態では、ＳＲ体験を提示している間に、ＳＲデバイス１０４は、ＳＲコンテンツを提示し、かつ、シーン１０６のビデオパススルーを可能にするように構成されている（例えば、ＳＲデバイス１０４は、ＳＲ対応携帯電話又はタブレットに相当する）。いくつかの実装形態では、ＳＲ体験を提示している間に、ＳＲデバイス１０４は、ＳＲコンテンツを提示し、かつ、シーン１０６の光学的シースルーを可能にするように構成されている（例えば、ＳＲデバイス１０４は、ＳＲ対応眼鏡に相当する）。いくつかの実装形態では、ＳＲ体験を提示している間に、ＳＲデバイス１０４は、ＳＲコンテンツを提示し、かつ、シーン１０６のビデオパススルーを任意選択的に可能にするように構成されている（例えば、ＳＲデバイス１０４は、ＳＲ対応ＨＭＤに相当する）。
【００２３】
いくつかの実装形態では、ユーザ１０は、（例えば、図１Ａに示すように）ＳＲデバイス１０４を自身の頭部に装着する。したがって、ＳＲデバイス１０４は、ＳＲコンテンツを表示するために提供される１つ以上のＳＲディスプレイを含む。例えば、ＳＲデバイス１０４−Ａはユーザ１０−Ａの視野を取り囲み、ＳＲデバイス１０４−Ｎはユーザ１０−Ｎの視野を取り囲み、ＳＲデバイス１０４−Ｘはユーザ１０−Ｘの視野を取り囲む。いくつかの実装形態では、ＳＲデバイス１０４は、ユーザ１０がＳＲデバイス１０４を装着しないＳＲコンテンツを提示するように構成されたＳＲチャンバ、エンクロージャ、又は部屋と置換される。いくつかの実装形態では、ユーザ１０は、ＳＲデバイス１０４を自身の手に保持し、ＳＲデバイス１０４に関連付けられたディスプレイを通じて、シーン１０６の少なくとも一部を視認する。
【００２４】
いくつかの実装形態では、コントローラ１０２は、ユーザ１０に対するＳＲ体験を管理及び調整するように構成されている。いくつかの実装形態では、コントローラ１０２は、ソフトウェア、ファームウェア、及び／又はハードウェアの好適な組み合わせを含む。いくつかの実装形態では、コントローラ１０２は、シーン１０６に対してローカル又はリモートであるコンピューティングデバイスである。例えば、コントローラ１０２は、シーン１０６内に位置するローカルサーバである。別の例では、コントローラ１０２は、シーン１０６の外側に位置するリモートサーバ（例えば、クラウドサーバ、中央サーバなど）である。いくつかの実装形態では、コントローラ１０２は、１つ以上の有線又は無線通信チャネル（例えば、ＢＬＵＥＴＯＯＴＨ（登録商標）、ＩＥＥＥ  ８０２．１１ｘ、ＩＥＥＥ  ８０２．１６ｘ、ＩＥＥＥ  ８０２．３ｘなど）を介して、ＳＲデバイス１０４と通信可能に結合される。いくつかの実装形態では、１つ以上の有線又は無線通信チャネルを介して、ＳＲデバイス１０４は互いに通信する。いくつかの実装形態では、コントローラ１０２の機能は、シーンを更新して仮想空間を共有するために、ＳＲデバイス１０４によって提供され、かつ／又はＳＲデバイス１０４と組み合わされる。
【００２５】
図１Ａに示すように、ＳＲデバイス１０４は、いくつかの実装形態ではコントローラ１０２及び／又はＳＲデバイス１０４によって生成される、シーン１０６を提示する。いくつかの実装形態では、シーン１０６は、現実世界シーンのシミュレートされた置換である仮想シーンを含む。換言すれば、いくつかの実装形態では、シーン１０６は、コントローラ１０２及び／又はＳＲデバイス１０４によってシミュレートされる。そのような実装形態では、シーン１０６は、ＳＲデバイス１０４が位置する現実世界シーンとは異なる。いくつかの実装形態では、シーン１０６は、現実世界シーンの修正されたバージョンである拡張シーンを含む。例えば、いくつかの実装形態では、コントローラ１０２及び／又はＳＲデバイス１０４は、シーン１０６を生成するために、ＳＲデバイス１０４が位置する現実世界シーンを修正（例えば、拡張）する。いくつかの実装形態では、コントローラ１０２及び／又はＳＲデバイス１０４は、ＳＲデバイス１０４が位置する現実世界シーンの複製をシミュレートすることによって、シーン１０６を生成する。いくつかの実装形態では、コントローラ１０２及び／又はＳＲデバイス１０４は、ＳＲデバイス１０４が位置する現実世界シーンのシミュレートされた複製からアイテムを除去及び／又は追加することによって、シーン１０６を生成する。換言すれば、いくつかの実装形態では、コントローラ１０２及び／又はＳＲデバイス１０４は、仮想コンテンツと現実世界シーンからのコンテンツとの混合物を含むＳＲの生成を容易にする。
【００２６】
図１Ｂを参照すると、図１Ｂは、いくつかの実装形態に係る、例示的な動作環境１００Ｂの図である。関連する特徴が示されているが、当業者であれば、本明細書に開示される例示的な実施形態のより適切な態様を曖昧にしないように簡潔化するために、様々な他の特徴が示されていないことを、本開示から理解するであろう。その目的で、非限定的な例として、動作環境１００Ｂは、ネットワーク２０、コンピューティングデバイス３０、現実世界シーン４０、及びデバイス１０４を含む。
【００２７】
図１Ｂの例では、現実世界シーン４０は人物１０を含む。様々な実装形態では、デバイス１０４は、シーン４０の画像のセットを取り込み、ネットワーク２０を介して、（例えば、図１Ａのシーンデータ１０６を生成するために）シーンデータ１０６ｃをコンピューティングデバイス３０に送信する。いくつかの実装形態では、デバイス１０４は、コントローラ１０２及びカメラ１０４ｃを含む。いくつかの実装形態では、カメラ１０４ｃは、画像のセットを取り込み、コントローラ１０２は、画像のセットに基づいてシーンデータ１０６ｃを生成する。いくつかの実装形態では、シーンデータ１０６ｃは、カメラ１０４ｃの視野内にある人物１０の身体ポーズ情報１０８を含む。
【００２８】
様々な実装形態では、身体ポーズ情報１０８は、カメラ１０４ｃの視野内にある人物１０の身体ポーズを示す。例えば、いくつかの実装形態では、身体ポーズ情報１０８は、人物１０の関節の位置及び／又は関節の向き（例えば、肩関節、肘関節、手首関節、骨盤関節、膝関節、及び足首関節の位置／向き）を示す。いくつかの実装形態では、身体ポーズ情報１０８は、人物１０の様々な身体部分の位置／向き（例えば、頭部、胴体、上腕、下腕、上脚、及び下脚の位置／向き）を示す。
【００２９】
様々な実装形態では、ネットワーク２０を介して身体ポーズ情報１０８を送信することは、カメラ１０４ｃによって取り込まれた画像を送信するよりも消費する帯域幅が少ない。いくつかの実装形態では、デバイス１０４は、利用可能な帯域幅量へのアクセスを有する。そのような実装形態では、身体ポーズ情報１０８を送信することは、利用可能な帯域幅の量よりも消費量が少ないが、カメラ１０４ｃによって取り込まれた画像を送信することは、利用可能な帯域幅の量よりも消費量が多い場合がある。様々な実装形態では、（例えば、画像を送信する代わりに）身体ポーズ情報１０８を送信することにより、利用するネットワークリソースがより少ないことによって（例えば、利用する帯域幅がより少ないことによって）、ネットワーク２０の動作性を改善する。
【００３０】
いくつかの実装形態では、コンピューティングデバイス３０は、人物１０のアバターをレンダリングするために身体ポーズ情報１０８を利用する。例えば、いくつかの実装形態では、コンピューティングデバイス３０は、仮想シーンにアバターをレンダリングするために、身体ポーズ情報１０８を利用する表示エンジン（例えば、レンダリング及び表示パイプライン）に身体ポーズ情報１０８を提供する。コンピューティングデバイス３０は、アバターをレンダリングするために身体ポーズ情報１０８を利用するので、アバターの身体ポーズは、現実世界のシーン４０における人物１０の身体ポーズとある程度の類似の範囲内にある。したがって、仮想シーンでアバターを視認することは、現実世界のシーン４０の画像を視認することと、ある程度の類似の範囲内にある。
【００３１】
図２は、いくつかの実装形態に係る、コントローラ１０２の一例のブロック図である。特定の特徴が示されているが、当業者は、本明細書に開示される実装形態のより適切な態様を曖昧にしないよう、簡潔にするために様々な他の特徴が示されていないことを、本開示から理解されよう。その目的で、非限定的な例として、いくつかの実装形態では、コントローラ１０２は、１つ以上の処理ユニット２０２（例えば、マイクロプロセッサ、特定用途向け集積回路（application-specific integrated-circuit、ＡＳＩＣ）、フィールドプログラマブルゲートアレイ（field-programmable gate array、ＦＰＧＡ）、グラフィック処理ユニット（graphics processing unit、ＧＰＵ）、中央処理ユニット（central processing unit、ＣＰＵ）、処理コアなど）、１つ以上の入出力（input/output、Ｉ／Ｏ）デバイス２０６、１つ以上の通信インタフェース２０８（例えば、ユニバーサルシリアルバス（universal serial bus、ＵＳＢ）、ＦＩＲＥＷＩＲＥ（登録商標）、ＴＨＵＮＤＥＲＢＯＬＴ（登録商標）、ＩＥＥＥ  ８０２．３ｘ、ＩＥＥＥ  ８０２．１１ｘ、ＩＥＥＥ  ８０２．１６ｘ、グローバル移動通信システム（global system for mobile communication、ＧＳＭ）、符号分割多元接続（code division multiple access、ＣＤＭＡ）、時分割多元接続（time division multiple access、ＴＤＭＡ）、グローバル測位システム（global positioning system、ＧＰＳ）、赤外線（infrared、ＩＲ）、ＢＬＵＥＴＯＯＴＨ（登録商標）、ＺＩＧＢＥＥ（登録商標）、及び／又は同様のタイプのインタフェース）、１つ以上のプログラミング（例えば、Ｉ／Ｏ）インタフェース２１０、メモリ２２０、並びにこれら及び様々な他の構成要素を相互接続するための１つ以上の通信バス２０４、を含む。
【００３２】
いくつかの実装形態では、１つ以上の通信バス２０４は、システム構成要素間の通信を相互接続及び制御する回路構成を含む。いくつかの実装形態では、１つ以上のＩ／Ｏデバイス２０６は、キーボード、マウス、タッチパッド、ジョイスティック、１つ以上のマイクロフォン、１つ以上のスピーカ、１つ以上の画像センサ、１つ以上のディスプレイなどのうちの少なくとも１つを含む。
【００３３】
メモリ２２０は、ダイナミックランダムアクセスメモリ（dynamic random-access memory、ＤＲＡＭ）、スタティックランダムアクセスメモリ（static random-access memory、ＳＲＡＭ）、ダブルデータレートランダムアクセスメモリ（double-data-rate random-access memory、ＤＤＲＲＡＭ）、又は他のランダムアクセスソリッドステートメモリデバイスなどの高速ランダムアクセスメモリを含む。いくつかの実装形態では、メモリ２２０は、１つ以上の磁気ディスク記憶デバイス、光ディスク記憶デバイス、フラッシュメモリデバイス、又は他の不揮発性記憶デバイスなどの不揮発性メモリを含む。メモリ２２０は、１つ以上の処理ユニット２０２からリモートに位置する１つ以上の記憶デバイスを任意選択的に含む。メモリ２２０は、非一時的コンピュータ可読記憶媒体を含む。いくつかの実装形態では、メモリ２２０、又はメモリ２２０の非一時的コンピュータ可読記憶媒体は、任意選択のオペレーティングシステム２３０及びＳＲ体験モジュール２４０を含む、以下のプログラム、モジュール及びデータ構造、又はそれらのサブセットを記憶する。
【００３４】
オペレーティングシステム２３０は、様々な基本システムサービスを処理するための手順及びハードウェア依存タスクを実行するための手順を含む。いくつかの実装形態では、ＳＲ体験モジュール２４０は、１人以上のユーザに対する１つ以上のＳＲ体験（例えば、１人以上のユーザに対する単一のＳＲ体験、又は１人以上のユーザの各グループに対する複数のＳＲ体験）を管理及び調整するように構成されている。その目的で、様々な実装形態では、ＳＲ体験モジュール２４０は、データ取得ユニット２４２、追跡ユニット２４４、調整ユニット２４６、及びデータ送信ユニット２４８を含む。
【００３５】
いくつかの実装形態では、データ取得ユニット２４２は、少なくともＨＭＤ１０４からデータ（例えば、提示データ、対話データ、センサデータ、位置データなど）を取得するように構成されている。その目的で、様々な実装形態では、データ取得ユニット２４２は、そのための命令及び／又は論理、並びにそのためのヒューリスティックス及びメタデータを含む。
【００３６】
いくつかの実装形態では、追跡ユニット２４４は、シーン１０５をマッピングし、シーン１０６に対する少なくともＨＭＤ１０４の位置／場所を追跡するように構成されている（図１Ａ）。いくつかの実装形態では、追跡ユニット２４４は、シーン１０６（図１Ａ）に対するユーザの手、腕、目の位置／場所を追跡して、シーン１０６内の他の要素とのユーザの対話を引き出すように構成されている。その目的で、様々な実装形態において、追跡ユニット２４４は、そのための命令及び／又は論理、並びにそのためのヒューリスティックス及びメタデータを含む。
【００３７】
いくつかの実装形態では、調整ユニット２４６は、ＨＭＤ１０４によってユーザに提示されるＳＲ体験を管理及び調整するように構成されている。その目的で、様々な実装形態において、調整ユニット２４６は、そのための命令及び／又は論理、並びにそのためのヒューリスティックス及びメタデータを含む。
【００３８】
いくつかの実装形態では、データ送信ユニット２４８は、少なくともＨＭＤ１０４にデータ（例えば、提示データ、位置データなど）を送信するように構成されている。その目的で、様々な実装形態では、データ送信ユニット２４８は、そのための命令及び／又は論理、並びにそのためのヒューリスティックス及びメタデータを含む。
【００３９】
データ取得ユニット２４２、追跡ユニット２４４、調整ユニット２４６、及びデータ送信ユニット２４８は、単一のデバイス（例えば、コントローラ１０２）上に存在するものとして示されているが、他の実装形態では、データ取得ユニット２４２、追跡ユニット２４４、調整ユニット２４６、及びデータ送信ユニット２４８の任意の組み合わせが、別個のコンピューティングデバイス内に配置されてもよいことを理解されたい。
【００４０】
さらに、図２は、本明細書に記載される実装形態の構造概略とは対照的に、特定の実装形態に存在し得る様々な特徴の機能を説明することをより意図している。当業者によって認識されるように、別々に示された事項を組み合わせることができ、また、一部の事項は分離することができる。例えば、図２に別々に示されるいくつかの機能モジュールは、単一のモジュール内に実装することができ、単一の機能ブロックの様々な機能は、様々な実装形態において１つ以上の機能ブロックによって実装され得る。モジュールの実際の数、並びに特定の機能の分割及びそれらの間にどのように機能が割り当てられるかは、実装形態によって異なり、いくつかの実装形態では、特定の実装形態のために選択されたハードウェア、ソフトウェア、及び／又はファームウェアの特定の組み合わせに部分的に依存する。
【００４１】
図３は、いくつかの実装形態に係る、ＳＲデバイス１０４（例えば、ＨＭＤ１０４）の一例のブロック図である。特定の特徴が示されているが、当業者は、本明細書に開示される実装形態のより適切な態様を曖昧にしないよう、簡潔にするために様々な他の特徴が示されていないことを、本開示から理解されよう。その目的で、非限定的な例として、いくつかの実装形態では、ＨＭＤ１０４には、１つ以上の処理ユニット３０２（例えば、マイクロプロセッサ、ＡＳＩＣ、ＦＰＧＡ、ＧＰＵ、ＣＰＵ、処理コアなど）、１つ以上の入出力（Ｉ／Ｏ）機器及びセンサ３０６、１つ以上の通信インタフェース３０８（例えば、ＵＳＢ、ＦＩＲＥＷＩＲＥ（登録商標）、ＴＨＵＮＤＥＲＢＯＬＴ（登録商標）、ＩＥＥＥ  ８０２．３ｘ、ＩＥＥＥ  ８０２．１１ｘ、ＩＥＥＥ  ８０２．１６ｘ、ＧＳＭ、ＣＤＭＡ、ＴＤＭＡ、ＧＰＳ、赤外線、ＢＬＵＥＴＯＯＴＨ（登録商標）、ＺＩＧＢＥＥ（登録商標）、及び／又は同様のタイプのインタフェース）、１つ以上のプログラミング（例えば、Ｉ／Ｏ）インタフェース３１０、１つ以上のＳＲディスプレイ３１２、１つ以上の内部及び／又は外部対向画像センサ３１４、メモリ３２０、並びにこれら及び様々な他の構成要素を相互接続するための１つ以上の通信バス３０４、が含まれる。
【００４２】
いくつかの実装形態では、１つ以上の通信バス３０４は、システム構成要素間の通信を相互接続及び制御する回路構成を含む。いくつかの実装形態では、１つ以上のＩ／Ｏデバイス及びセンサ３０６は、慣性測定装置（inertial measurement unit、ＩＭＵ）、加速度計、ジャイロスコープ、温度計、１つ以上の生理的センサ（例えば、血圧モニタ、心拍数モニタ、血液酸素センサ、血糖センサなど）、１つ以上のマイクロフォン３０７Ａ、１つ以上のスピーカ３０７Ｂ（例えば、ヘッドフォン若しくはラウドスピーカ）、触覚エンジン、１つ以上の深度センサ（例えば、構造化光、飛行時間など）、及び／又は同様のもの、のうちの少なくとも１つを含む。
【００４３】
いくつかの実装形態では、１つ以上のＳＲディスプレイ３１２は、ユーザにＳＲ体験を提供するように構成されている。いくつかの実装形態では、１つ以上のＳＲディスプレイ３１２は、ホログラフィック、デジタル光処理（digital light processing、ＤＬＰ）、液晶ディスプレイ（liquid-crystal display、ＬＣＤ）、反射型液晶（liquid-crystal on silicon、ＬＣｏＳ）、有機発光電界効果トランジスタ（organic light-emitting field-effect transitory、ＯＬＥＴ）、有機発光ダイオード（organic light-emitting diode、ＯＬＥＤ）、表面伝導型電子放出素子ディスプレイ（surface-conduction electron-emitter display、ＳＥＤ）、電界放出ディスプレイ（field-emission display、ＦＥＤ）、量子ドット発光ダイオード（quantum-dot light-emitting diode、ＱＤ−ＬＥＤ）、微小電気機械システム（micro-electro-mechanical system、ＭＥＭＳ）、及び／又は同様のディスプレイタイプに相当する。いくつかの実装形態では、１つ以上のＳＲディスプレイ３１２は、回折、反射、偏光、ホログラフィックなどの、導波路ディスプレイに相当する。例えば、ＨＭＤ１０４は、単一のＳＲディスプレイを含む。別の実施例では、ＨＭＤ１０４は、ユーザの各目用のＳＲディスプレイを含む。いくつかの実装形態では、１つ以上のＳＲディスプレイ３１２は、ＳＲコンテンツを提示することができる。
【００４４】
いくつかの実装形態では、１つ以上の画像センサ３１４は、ユーザの目を含むユーザの顔の少なくとも一部に対応する画像データを取得するように構成されている（かつ、目追跡カメラと呼ばれ得る）。いくつかの実装形態では、１つ以上の画像センサ３１４は、ユーザの指を含むユーザの手の少なくとも一部に対応する画像データを取得するように構成されている（かつ、手追跡カメラと呼ばれ得る）。いくつかの実装形態では、１つ以上の画像センサ３１４は、ＨＭＤ１０４が存在しない場合に、ユーザが視認するシーンに対応する画像データを取得するように前向きであるように構成されている（かつ、シーンカメラと呼ばれ得る）。１つ以上の画像センサ３１４は、（例えば、相補型金属酸化膜半導体（complimentary metal-oxide-semiconductor、ＣＭＯＳ）画像センサ若しくは電荷結合デバイス（charge-coupled device、ＣＣＤ）画像センサを備えた）１つ以上のＲＧＢカメラ、１つ以上の赤外線（ＩＲ）カメラ、１つ以上のイベントベースのカメラ、及び／又は同様のもの、を含むことができる。
【００４５】
メモリ３２０は、ＤＲＡＭ、ＳＲＡＭ、ＤＤＲ  ＲＡＭ、又は他のランダムアクセスソリッドステートメモリデバイスなどの、高速ランダムアクセスメモリを含む。いくつかの実装形態では、メモリ３２０は、１つ以上の磁気ディスク記憶デバイス、光ディスク記憶デバイス、フラッシュメモリデバイス、又はその他の不揮発性記憶デバイスなどの不揮発性メモリを含む。メモリ３２０は、１つ以上の処理ユニット３０２からリモートに位置する１つ以上の記憶デバイスを任意選択的に含む。メモリ３２０は、非一時的コンピュータ可読記憶媒体を含む。いくつかの実装形態では、メモリ３２０、又はメモリ３２０の非一時的コンピュータ可読記憶媒体は、任意選択のオペレーティングシステム３３０及びＳＲ提示モジュール３４０を含む、以下のプログラム、モジュール及びデータ構造、又はそれらのサブセットを記憶する。
【００４６】
オペレーティングシステム３３０は、様々な基本システムサービスを処理するための手順、及びハードウェア依存タスクを実行するための手順を含む。いくつかの実装形態では、ＳＲ提示モジュール３４０は、１つ以上のＳＲディスプレイ３１２を介してＳＲコンテンツをユーザに提示するように構成されている。その目的で、様々な実装形態では、ＳＲ提示モジュール３４０は、データ取得ユニット３４２、音声／ＳＲ提示ユニット３４４、及びデータ送信ユニット３４６を含む。
【００４７】
いくつかの実装形態では、データ取得ユニット３４２は、コントローラ１０２、Ｉ／Ｏデバイス及びセンサ３０６、又は１つ以上の画像センサ３１４のうちの１つ以上から（例えば、通信インタフェース３０８を介して）、データ（例えば、提示データ、対話データ、センサデータ、位置データなど）を取得するように構成されている。その目的で、様々な実装形態では、データ取得ユニット３４２は、そのための命令及び／又は論理、並びにそのためのヒューリスティックス及びメタデータを含む。
【００４８】
いくつかの実装形態では、音声／ＳＲ提示ユニット３４４は、１つ以上のＳＲディスプレイ３１２（及び、様々な実装形態では、スピーカ３０７Ｂ及び／又はマイクロフォン３０７Ａ）を介して、音声／ＳＲ体験を提示するように構成されている。その目的で、様々な実装形態では、ＳＲ提示ユニット３４４は、そのための命令及び／又は論理、並びにそのためのヒューリスティックス及びメタデータを含む。
【００４９】
いくつかの実装形態では、データ送信ユニット３４６は、少なくともコントローラ１０２にデータ（例えば、提示データ、位置データなど）を送信するように構成されている。その目的で、様々な実装形態では、データ送信ユニット３４６は、そのための命令及び／又は論理、並びにそのためのヒューリスティックス及びメタデータを含む。
【００５０】
データ取得ユニット３４２、音声／ＳＲ提示ユニット３４４、及びデータ送信ユニット３４６は、単一のデバイス（例えば、ＨＭＤ１０４）上に存在するものとして示されているが、他の実装形態では、データ取得ユニット３４２、音声／ＳＲ提示ユニット３４４、及びデータ送信ユニット３４６の任意の組み合わせが、別個のコンピューティングデバイス内に配置されてもよいことを理解されたい。
【００５１】
さらに、図３は、本明細書に記載される実装形態の構造概略とは対照的に、特定の実装形態に存在し得る様々な特徴の機能を説明することをより意図している。当業者によって認識されるように、別々に示された事項を組み合わせることができ、また、一部の事項は分離することができる。例えば、図３に別々に示されるいくつかの機能モジュールは、単一のモジュール内に実装することができ、単一の機能ブロックの様々な機能は、様々な実装形態において１つ以上の機能ブロックによって実装され得る。モジュールの実際の数、並びに特定の機能の分割及びそれらの間にどのように機能が割り当てられるかは、実装形態によって異なり、いくつかの実装形態では、特定の実装形態のために選択されたハードウェア、ソフトウェア、及び／又はファームウェアの特定の組み合わせに部分的に依存する。
【００５２】
図４は、いくつかの実装形態に係る、動作環境４００における表示デバイス共有を示す。動作環境４００は、第１のユーザ４１０−１及び第２のユーザ４１０−２に対する共有ＳＲ空間を提供する。表示デバイス共有及び対話性のための共有ＳＲ空間を提供するために、第１のユーザ４１０−１によって使用される第１のＳＲデバイス４０５−１は、１つ以上のＳＲディスプレイ４０７−１に関連付けられる。同様に、第２のユーザ４１０−２によって使用される第２のＳＲデバイス４０５−２は、１つ以上のＳＲディスプレイ４０７−２に関連付けられる。さらに、第１のＳＲデバイス４０５−１及び第２のＳＲデバイス４０５−２は、ネットワーク（例えば、ピアツーピア接続）を介して接続される。
【００５３】
図４に示すように、第１のＳＲデバイス４０５−１を使用すること（例えば、ＨＭＤを装着すること、又はＳＲデバイスとしてスマートフォンを使用すること）に加えて、第１のユーザ４１０−１はまた、第１の表示デバイス４２０−１に、例えば、第１の表示デバイス４２０−１を保持することに関連付けられる。したがって、第１のＳＲデバイス４０５−１及び第１の表示デバイス４２０−１は、第１のユーザ４１０−１に対してローカルであり、第２のユーザ４１０−２に対してリモートである。同様に、第２のＳＲデバイス４０５−２を使用すること（例えば、ＨＭＤを装着すること、又はＳＲデバイスとしてスマートフォンを使用すること）に加えて、第２のユーザ４１０−２はまた、第２の表示デバイス４２０−２に、例えば、第２の表示デバイス４２０−２を使用して保持することに関連付けられる。したがって、第２のＳＲデバイス４０５−２及び第２の表示デバイス４２０−２は、第２のユーザ４１０−２に対してローカルであり、第１のユーザ４１０−１に対してリモートである。
【００５４】
いくつかの実装形態では、第１のＳＲデバイス４０５−１は、第１の表示デバイス４２０−１とペアリングされる。第１の表示デバイス４２０−１とのペアリングを介して、第１のＳＲデバイス４０５−１は、第１の表示デバイス４２０−１のＳＲ表現を取得し、共有ＳＲ空間にレンダリングするために、第１の表示デバイス４２０−１のＳＲ表現を第２のＳＲデバイス４０５−２に送信する。同様に、いくつかの実装形態では、第２のＳＲデバイス４０５−２は、第２の表示デバイス４２０−２とペアリングされる。第２の表示デバイス４２０−２とのペアリングを介して、第２のＳＲデバイス４０５−２は、第２の表示デバイス４２０−２のＳＲ表現を取得し、共有ＳＲ環境にレンダリングするために、第２の表示デバイス４２０−２のＳＲ表現を第１のＳＲデバイス４０５−１に送信する。いくつかの実装形態では、ペアリングは、有線及び／又は無線接続を介している。
【００５５】
いくつかの実施では、第１のＳＲデバイス４０５−１のＩＭＵ及び／又はカメラを利用することにより、第１のＳＲデバイス４０５−１は、第１のユーザ４１０−１の手追跡、身体ポーズ、及び／又は動きを取得し、第２のＳＲデバイス４０５−２のＩＭＵ及び／又はカメラを利用することにより、第２のＳＲデバイス４０５−２は、第２のユーザ４１０−２の手追跡、身体ポーズ、及び／又は動きを取得する。それぞれのユーザ４１０の手ジェスチャ、身体ポーズ、及び／又は動きは、ジェスチャ入力であり、それぞれのユーザ４１０が協働モードに入ることを意図しているかどうかを示す。いくつかの実装形態では、第１の表示デバイス４２０−１、第２の表示デバイス４２０−２、第１のＳＲデバイス４０５−１、及び／又は第２のＳＲデバイス４０５−２は、ジェスチャ入力を検出するために、カメラ、手追跡、及び／又はＩＭＵを含む。いくつかの実装形態では、ジェスチャ入力は、それぞれのＳＲデバイス４０５によって検出される。いくつかの実装形態では、ジェスチャ入力は、それぞれの表示デバイス４２０によって検出され、それぞれのペアリング介してペアリングされたＳＲデバイス４０５に送信される。
【００５６】
いくつかの実装形態では、ジェスチャ入力を検出することに加えて、第１の表示デバイス４２０−１、第２の表示デバイス４２０−２、第１のＳＲデバイス４０５−１、及び／又は第２のＳＲデバイス４０５−２はまた、第１の表示デバイス４２０−１及び／又は第２の表示デバイス４２０−２に向けられた入力指示を受信する。例えば、第１の表示デバイス４２０−１は、第１のユーザ４１０−１から入力指示を取得する。第１のユーザ４１０−１からの入力指示は、ＳＲ環境における第２の表示デバイス４２０−２の操作、例えば、ＳＲ環境における第２の表示デバイス４２０−２の表現に向けられたタッチ、トグル、音声コマンド、及び／又は動きを対象とする。入力指示は、入力メッセージとしてパッケージ化され、ネットワークを介して第２のＳＲデバイス４０５−２に送信される。次いで、第２のＳＲデバイス４０５−２は、第２の表示デバイス４２０−２によるローカル実行のために、第２の表示デバイス４２０−２とのペアリングを介して、第２の表示デバイス４２０−２に入力メッセージを転送する。別の実施例では、第２の表示デバイス４２０−２は、第２のユーザ４１０−２から入力指示を取得する。第２のユーザ４１０−２からの入力指示は、ＳＲ環境における第１の表示デバイス４２０−１の操作、例えば、ＳＲ環境における第１の表示デバイス４２０−１の表現に向けられたタッチ、トグル、音声コマンド、及び／又は動きを対象とする。入力指示は、入力メッセージとしてパッケージ化され、ネットワークを介して第１のＳＲデバイス４０５−１に送信される。次いで、第１のＳＲデバイス４０５−１は、第１の表示デバイス４２０−１によるローカル実行のために、第１の表示デバイス４２０−１とのペアリングを介して、第１の表示デバイス４２０−１に入力メッセージを転送する。
【００５７】
図４は、第１の表示デバイス４２０−１、第１のＳＲデバイス４０５−１、及びＳＲディスプレイ（単数又は複数）４０７−１を別個の構成要素として示しているが、いくつかの実装形態では、第１の表示デバイス４２０−１、第１のＳＲデバイス４０５−１、及び／又はＳＲディスプレイ（単数又は複数）４０７−１が統合されている。同様に、図４は、第２の表示デバイス４２０−２、第２のＳＲデバイス４０５−２、及びＳＲディスプレイ（単数又は複数）４０７−２を別個の構成要素として示しているが、いくつかの実装形態では、第２の表示デバイス４２０−２、第２のＳＲデバイス４０５−２、及び／又はＳＲディスプレイ（単数又は複数）４０７−２が統合されている。例えば、タッチスクリーンディスプレイを備えたスマートフォンは、ＳＲデバイス、及びリモートユーザと共有される表示デバイスの両方として、使用することができる。
【００５８】
図５Ａ〜図５Ｅは、いくつかの実装形態に係る、デバイス共有のためのＳＲ環境５００Ａ〜５００Ｅの実施例の図である。ＳＲ環境５００Ａの例では、図５Ａに示すように、第１のユーザ４１０−１は、通りに沿って歩き、第１の表示デバイス４２０−１（例えば、スマートフォン）を自身の手に保持している。ＳＲ環境５００Ａの実施例では、遠方に複数の建物５０１も存在する。建物５０１のうちの１つの内部で、第２のユーザ４１０−２は、第２の表示デバイス４２０−２（例えば、タブレットコンピュータ）を保持している。いくつかの実装形態では、第１の表示デバイス４２０−１及び第２の表示デバイス４２０−２は、コンピューティングデバイス、例えば、スマートフォン、タブレット、ラップトップ、又はＰＣスクリーンなどの現実世界の物理デバイスである。それぞれの表示デバイス４２０には、ディスプレイ（例えば、タッチ感知面を備えたディスプレイ）、Ｉ／Ｏインタフェース、通信インタフェース、非一時的メモリ、及びコマンドを実行するプロセッサが含まれる。図４に関連して上述したように、いくつかの実装形態では、第１のユーザ４１０−１は第１のＳＲデバイス４０５−１に関連付けられ、第２のユーザ４１０−２は第２のＳＲデバイス（図示せず）に関連付けられる。したがって、第１のＳＲデバイス４０５−１及び第１の表示デバイス４２０−１は、第１のユーザ４１０−１に対してローカルであり、第２のユーザ４１０−２に対してリモートである。同様に、第２のＳＲデバイス及び第２の表示デバイス４２０−２は、第２のユーザ４１０−２に対してローカルであり、第１のユーザ４１０−１に対してリモートである。
【００５９】
いくつかの実装形態では、第１のユーザ４１０−１によって保持された第１の表示デバイス４２０−１に関連付けられたジェスチャ入力を検出したことに応じて、第１の表示デバイス４２０−１は、第１のユーザ４１０−１と第２のユーザ４１０−２との間で共有される。例えば、図５Ｂの例示的なＳＲ環境５００Ｂでは、第１のユーザ４１０−１は、第１の表示デバイス４２０−１を歩きながら保持することから、第１の表示デバイス４２０−１を自身の身体から離して移動させて第１の表示デバイス４２０−１を自身の手のひらに保持することへと移行する。いくつかの実装形態では、第１の表示デバイス４２０−１を他のユーザに向かう方向に移動させるジェスチャ入力により、協働モードをトリガする。例えば、図５Ｂでは、第１のユーザ４１０−１は、共有ＳＲ環境５００Ｂにおいて第２のユーザ４１０−２（図示せず）が第１のユーザ４１０−１の前に立っていると知覚する。したがって、第１のユーザ４１０−１は、第２のユーザ４１０−２が共有ＳＲ環境５００Ｂにおいて第１の表示デバイス４２０−１を受信し、視認し、かつ／又はそれと対話することができるように、第１の表示デバイス４２０−１を自身の前の第２のユーザ４１０−２に向かう方向に差し出す。図５Ｃの例示的な環境５００Ｃに示すように、協働モードに入ると、ＳＲ環境は、第１のユーザ４１０Ｒ−１’の右手によって保持された第１の表示デバイス４２０−１’のＳＲ表現を含む。ＳＲ環境５００Ｃは、現実世界の第１の表示デバイス４２０−１にタッチ入力（例えば、ピンチジェスチャ）を入力している第１のユーザを表す、第１のユーザ４１０Ｌ−１’の左手を更に含む。ＳＲ環境５００Ｃはまた、第１の表示デバイス４２０−１’のＳＲ表現に対してエミュレートされたタッチ入力（例えば、エミュレートされたタップジェスチャ）を入力している第２のユーザを表す、第２のユーザ４１０Ｌ−２’の左手の表現を含む。したがって、（例えば、１人は通りを歩いていて、もう１人は高層ビル内にいる）現実世界での第１のユーザ４１０−１と第２のユーザ４１０−２との間の物理的距離にもかかわらず、ＳＲ環境５００Ｃを通じて、第１のユーザ４１０−１及び第２のユーザ４１０−２の両方が、緊密に協働して第１の表示デバイスと対話することができる。
【００６０】
別の例では、図５Ｄの例示的な環境５００Ｄでは、第１のユーザ４１０−１を表す第１のアバター４１０−１’が、ＳＲ環境５００内に示される。第１のアバター４１０−１’は、現実世界のシーンにおける第１のユーザ４１０−１の身体ポーズとある程度の類似の範囲内にある。さらに、ＳＲ環境５００Ｄは、第２の表示デバイス４２０−２’のＳＲ表示を含む。加えて、ＳＲ環境５００Ｄは、第２のユーザ４１０−２に対応する第２のアバター４１０−２’を含む。第２のアバター４１０−２’は、現実世界のシーンにおける第２のユーザ４１０−２の身体ポーズとある程度の類似の範囲内にある。図５Ｄに示すように、第２のアバター４１０−２’によって表される第２のユーザは、最初、第２の表示デバイス４２０−２’のＳＲ表現によって表されるように、第２の表示デバイスを自身の身体の近くに保持している。次いで、第２のユーザは、第２の表示デバイスを身体から離れるように移動させるか、又は第２の表示デバイスを傾ける。ジェスチャ入力の結果として、協働モードが入力される。
【００６１】
この協働モードでは、第１のユーザ及び第２のユーザの両方が、ＳＲ環境において第２の表示デバイスを視認してそれと対話することができる。例えば、図５Ｅの例示的なＳＲ環境５００Ｅに示すように、第２のユーザの手４１０Ｌ−２’及び４１０Ｒ−２’が第２の表示デバイス４２０−２’のＳＲ表現の隣に表示され、それによって、現実世界における第２のユーザの手による第２の表示デバイスの動きをＳＲ環境５００Ｅ内にレンダリングすることができる。さらに、図５Ｅに示すように、ＳＲ環境５００Ｅはまた、第１のユーザの右手４１０Ｒ−１’を含み、それによって、現実世界における第１のユーザの右手の動きを、例えば、タップ、ピンチ、フリック、スワイプ、グラブ、押圧を検出して、ＳＲ環境５００Ｅ内にエミュレートすることができる。次いで、第１のユーザの右手のエミュレートされたジェスチャがＳＲ環境５００Ｅ内に表示されて、第２の表示デバイス４２０−２’のＳＲ表現との対話を示す。さらに、エミュレートされたジェスチャに関連付けられた入力指示が、図４を参照して上述したように、第２の表示デバイス上で実行される。
【００６２】
図５Ａ〜図５Ｅは、協働モードをトリガする例示的なジェスチャ入力を示しているが、他のタイプの入力を、協働モードをトリガするためのインジケータとして使用することができることに留意されたい。そのような入力としては、音声コマンド及び／又はタッチ入力が挙げられるが、これらに限定されない。さらに、図５Ａ〜図５Ｅは、２人のユーザ間で物理デバイスの共有をトリガするジェスチャ入力の実施例を示しているが、物理デバイスは、２人を超えるユーザ間で共有することができる。例えば、生徒のグループに向けたジェスチャ入力を取得したことに応じて、先生は、そのグループでデバイスの制御を共有することができる。
【００６３】
図６Ａ〜図６Ｄは、いくつかの実装形態に係る、ＳＲ環境６００の一例における表示デバイスのＳＲ表現のスケーリングを示す。いくつかの実装形態では、ＳＲ環境６００は、デバイスのシーンカメラによって調査された実際の環境に基づく。様々な実装形態では、シーンカメラは、ユーザに関連付けられた（例えば、ユーザによって装着された）デバイスの一部であり、ＳＲ環境６００を表示する１つ以上のディスプレイを含む。したがって、様々な実装形態では、ユーザは、環境内に物理的に存在する。様々な実装形態では、シーンカメラは、シーンカメラからのパススルー画像データをローカルデバイスに送信する（ドローン又はロボットなどの）リモートデバイスの一部であり、ユーザによって装着され、ＳＲ環境６００を表示するディスプレイを含む。したがって、いくつかのそのような実装形態では、ユーザは、物理的に環境の外側にいることができる。いくつかの実装形態では、図１Ｂを参照して上述したように、ＳＲ環境６００をレンダリングするためのパススルー画像データは、現実世界のシーンにおける人物の身体ポーズとある程度の類似の範囲内にあるアバターを含む。図６Ａ〜図６Ｄでは、ＳＲ環境６００は、人物又は現実環境の実際の人物を表すアバターであり得るユーザ６０５を含む。
【００６４】
図６Ａでは、パススルー画像データは、テレビプログラム、例えば、ニュース及び／又は株市場分析を表示するために壁上のＴＶ６１０を備えた部屋内に立っているユーザ６０５を特徴付ける。部屋はまた、ユーザ６０５の隣に家具６１５を含む。いくつかの実装形態では、異なるユーザ（図示せず）、例えば、表示デバイスを保持するリモートユーザからジェスチャ入力を取得したことに応じて、表示デバイスのＳＲ表現がＳＲ環境６００にレンダリングされる。
【００６５】
例えば、図６Ｂに示すように、表示デバイスのＳＲ表現は、ＳＲ環境６００におけるユーザ６０５の前にあるコンピューティングデバイス６２０である。いくつかの実装形態では、コンピューティングデバイス６２０は、表示デバイスの真のスケールの３Ｄ表現、例えば、タブレットコンピュータの真のスケールの３Ｄ表現である。いくつかの実装形態では、ユーザ６０５は、ＳＲ環境６００内でコンピューティングデバイス６２０を移動させ、コンピューティングデバイス６２０を家具６１５上に配置し、コンピューティングデバイス６２０のボタンを押圧し、かつ／又はコンピューティングデバイス６２０をタップなどすることができる。ユーザ６０５とコンピューティングデバイス６２０とのこれらの対話は、リモート表示可能デバイスとの対話を意図する入力指示に関連付けられている。いくつかの実装形態では、ユーザ６０５に関連付けられたＳＲデバイスは、（例えば、ＩＭＵ、手追跡、及び／又はカメラを使用して、手ジェスチャ及び／又は身体ポーズを追跡することで）これらの入力指示を取得し、図４を参照して上述したように、リモート表示デバイス上で実行するために、入力指示をカプセル化する入力メッセージを送信する。
【００６６】
いくつかの実装形態では、リモート表示デバイスのＳＲ表現は、リモート表示デバイスの真のスケールの３Ｄレンダリングに限定されない。視認及び対話性を容易にするために、いくつかの実装形態では、リモート表示デバイスのＳＲ表現はスケーラブルである。例えば、図６Ｃでは、タブレットコンピュータのＳＲ表現は、ＴＶ６１０に適合するようにスケーリングされ、リモートタブレットコンピュータのユーザインタフェースはＴＶ６１０内に表示される。次いで、ユーザ６０５は、入力指示を入力するために、例えば、ショッピングアフォーダンスを選択するために、家具６１５の周囲を歩き回って、ＴＶ６１０にタッチすることができる。別の実施例では、図６Ｄでは、リモートタブレットコンピュータのディスプレイは、ＴＶ６１０の隣の壁上に投影され、ＴＶ６１０よりも大きくなるようにスケーリングされる。次いで、ユーザ６０５は、ＳＲ環境６００内の距離から壁上に投影されたアフォーダンス（例えば、カメラアフォーダンス）を選択することができる。
【００６７】
いくつかの実装形態では、リモート表示デバイスは、ユーザが操作を実行することを許可されているかどうかに従って、入力メッセージに含まれる入力指示を実行する。いくつかの実装形態では、許可及び／又はポリシーが、１つ以上のリソースへのユーザのアクセス権を指定する。例えば、ポリシーは、第２のユーザがアフォーダンスへのアクセス権を有するか、又は第２のユーザがアフォーダンスと対話できるかどうかを指定することができる。いくつかの実装形態では、第２のＳＲデバイスからの入力メッセージは、第２のユーザのアイデンティティ、及び第１の表示デバイス上で実行される操作を含む。したがって、入力メッセージを受信すると、第１の表示デバイスは、第２のユーザのアクセス権を検索し、第２のユーザが入力メッセージ内で指定された操作を実行することを許可されているかどうかを判定する。
【００６８】
図７は、いくつかの実装形態に係る、ＳＲ環境における表示デバイス共有の方法７００のフローチャート表現である。様々な実装形態では、方法７００は、ブロック７０２によって表されるように、１つ以上のプロセッサ及び非一時的メモリを備えた第１のＳＲデバイスで実行される。いくつかの実装形態では、第１のデバイスは、ヘッドマウントデバイス、携帯電話、タブレット、及び／又はドローンを含む。いくつかの実装形態では、方法７００は、処理ロジックによって実行され、処理ロジックは、ハードウェア、ファームウェア、ソフトウェア、又はそれらの組み合わせを含む。いくつかの実装形態では、方法７００は、非一時的コンピュータ可読媒体（例えば、メモリ）内に記憶された命令（例えば、コード）を実行するプロセッサ及び／又はコントローラ（例えば、図１Ａのコントローラ１０２）によって実行される。簡潔に言えば、いくつかの状況では、方法７００は、第１のユーザから第１の表示デバイスへのジェスチャ入力を取得することであって、第１の表示デバイスが第１のディスプレイを含み、第１の表示デバイスが第１のＳＲデバイスと通信している、ことと、ジェスチャ入力を取得したことに応じて、第１の表示デバイスのＳＲ表現を第２のＳＲデバイスに送信することと、第２のＳＲデバイスから第１の表示デバイスに向けられた入力メッセージを受信することであって、入力メッセージが第２のユーザから第２のＳＲデバイスによって取得された入力指示を含む、ことと、第１の表示デバイスによって実行するために、入力メッセージを第１の表示デバイスに送信することと、を含む。
【００６９】
方法７００は、ブロック７０４において、第１のＳＲデバイスが第１のユーザから第１の表示デバイスへのジェスチャ入力を取得することで開始する。例えば、図５Ｂに示すように、例示的なジェスチャ入力は、ユーザ４１０−１が自身の腕を上げ、表示デバイス４２０−１を自身の手のひらで支持することを含む。別の実施例では、図５Ｄに示すように、例示的なジェスチャ入力は、第２のアバター４１０−２’によって表されるように、第２のユーザが、４２０−２’によって表される表示デバイスを傾けることと、第１のアバター４１０−１’によって表される第１のユーザのより近くに表示デバイスを移動させること、を含む。
【００７０】
いくつかの実装形態では、第１の表示デバイスは第１のディスプレイを含み、第１のＳＲデバイスと通信している第１の表示デバイスは、第１のＳＲデバイスとペアリングされる。したがって、いくつかの実装形態によれば、第１の表示デバイスによって検出された入力（例えば、ジェスチャ入力）は、ペアリングを介して第１のＳＲデバイスに通信される。したがって、ブロック７０６によって表されるように、いくつかの実装形態によれば、第１のＳＲデバイスは、ペアリングを介して第１の表示デバイスによって検出されたジェスチャ入力を受信する。
【００７１】
例えば、第１のＳＲデバイスは、第１の表示デバイスからジェスチャ入力のインジケータを受信することができ、ここで、第１の表示デバイスは、第１のユーザからジェスチャ入力（例えば、図５Ｂ及び図５Ｄに示すようなジェスチャ入力）を受信し、ジェスチャ入力のインジケータを第１のＳＲデバイスに送信する。いくつかの実装形態では、図５Ｃ及び５Ｅに示すように、ジェスチャ入力のインジケータにより第１のＳＲデバイスをトリガして協働モードに入り、その結果、第１のユーザ及び第２のユーザの両方が、第１の表示デバイスを視認し、それと対話することができる。いくつかの実装形態では、第１の表示デバイスに依存してジェスチャ入力を検出する代わりに、ブロック７０８によって表されるように、第１のＳＲデバイスがジェスチャ入力を検出する。例えば、第１のＳＲデバイスに関連付けられたカメラ及び／又はＩＭＵを利用することによって、第１のＳＲデバイスは、第１の表示デバイスを保持している第１のユーザの動きを検出し、第１のユーザの動きに基づいてジェスチャ入力を引き出すことができる。
【００７２】
方法７００は、ブロック７１０において、第１のＳＲデバイスが、ジェスチャ入力を取得したことに応じて、第１の表示デバイスのＳＲ表現を第２のＳＲデバイスに送信することで継続する。いくつかの実装形態では、第１の表示デバイスのＳＲ表現は、共有ＳＲ環境にリアルタイムで（例えば、実質的な遅延なしに）ストリーミングされる。共有ＳＲ環境では、第１の表示デバイスのＳＲ表現は、第１の表示デバイスの第１のディスプレイのライブ画像、及び／又は第１の表示デバイスのレンダリング（例えば、３Ｄレンダリング）であり得る。例えば、図６Ｂに示す例示的な環境では、ＳＲ表現６２０は、空気中に浮いている表示デバイスの真のスケールの３Ｄレンダリングである。いくつかの実装形態では、ブロック７１２によって表されるように、第１の表示デバイスのＳＲ表現はスケーラブルである。例えば、図６Ｃでは、第１の表示デバイスのＳＲ表現は、第１の表示デバイスとは異なる次元を有し得るＴＶ６１０に適合するようにスケーリングされる。更に別の例では、図６Ｄに示すように、ＳＲ表現６３０は、表面上に投影され、視認性及び対話性のために大きなサイズにスケーリングされる。
【００７３】
更に図７を参照すると、ブロック７１４によって表されるように、方法７００は、第１のＳＲデバイスが、第２のＳＲデバイスから第１の表示デバイスに向けられた入力メッセージを受信することで継続し、ここで、入力メッセージは第２のＳＲデバイスによって第２のユーザから取得された入力指示を含む。いくつかの実装形態では、入力指示は、第１の表示デバイスへの意図された入力を知らせる、手及び／又は身体の動きを含む。換言すれば、入力指示は、第２のユーザの身体部分／関節の空間座標及び／又は角度座標の変化に関連付けられる。そのような実装形態では、手及び／又は身体の動きは、第２のＳＲデバイスによって（例えば、第２のＳＲデバイスに関連付けられたカメラ、手追跡、及び／又はＩＭＵを使用して）検出され、第１の表示デバイスのＳＲ表現に向けられる。いくつかの実装形態では、ブロック７１６によって表されるように、そのような入力指示を検出したことに応じて、第２のＳＲデバイスは、入力指示に基づいて入力メッセージを構成する。
【００７４】
例えば、第１の表示デバイスのＳＲ表現、並びに／又は身体部分／関節の空間及び／若しくは角度座標の絶対位置及び／又は相対位置に基づいて、第２のＳＲデバイスは、ディスプレイ上のＳＲ表現の入力位置（単数又は複数）を計算し、入力位置（単数又は複数）に向けられた、対応する入力指示（例えば、タップ、押圧、スライドなど）を判定する。入力位置（単数又は複数）、及び入力指示に関連付けられた動きに基づいて、第２のＳＲデバイスは、入力メッセージを構成（例えば、生成）し、入力メッセージが、入力指示を介して実施されることを意図した（例えば、ショッピングアフォーダンス上でタップすることがショッピング操作を示す）操作を指定する。図６Ｂ〜図６Ｄでは、例えば、表示デバイスのＳＲ表現と対話しているユーザ６０５の腕、手、及び／又は指の動きは、ユーザ６０５によって装着されたＳＲデバイスに関連付けられたＩＭＵ、手追跡、及び／又はカメラによって検出された入力指示である。ユーザ６０５のＳＲ表現との対話、例えば、図６Ｃのショッピングアフォーダンスを選択すること、又は図６Ｄのカメラアフォーダンスを選択することは、実行のためにリモート表示デバイスに送信される入力メッセージに含まれる。
【００７５】
再び図７を参照すると、方法７００は、ブロック７１８において、第１のＳＲデバイスが、第１の表示デバイスによって実行するために、入力メッセージを第１の表示デバイスに送信することで継続する。いくつかの実装形態では、ブロック７２０によって表されるように、第１の表示デバイスは、有線又は無線接続を介して第１のＳＲデバイスとペアリングされ、第１の表示デバイスのＳＲ表現は、ピアツーピア接続を介して第２のＳＲデバイスに送信される。したがって、第２のＳＲデバイスからの入力メッセージは、第１の表示デバイス上で実行するために、第１のＳＲデバイスを介して第１の表示デバイスに通信される。
【００７６】
いくつかの実装形態では、ブロック７２２によって表されるように、方法７００は、第２のユーザを表すアバター、及び第１の表示デバイスのＳＲ表現をレンダリングすることを更に含み、それによって、第２のユーザの第１の表示デバイスとの対話を、ＳＲ環境において視認することができる。そのような実装形態では、第２のユーザを表すアバターの身体ポーズ及び／又は手ジェスチャは、入力メッセージに基づいてＳＲ環境で更新される。入力メッセージに指定された操作に更に基づいて、第１の表示デバイスは、操作を実行し、更新されたユーザインタフェース、及び／又は第１の表示デバイスの動作状態を反映している第１の表示デバイスの更新されたＳＲ表現を提供する。したがって、第１のユーザによって保持されている表示デバイスを用いた第２のユーザの対話性は、表示デバイスのＳＲ表現に近接して第２のユーザを表すアバターを表示することによってレンダリングされる。
【００７７】
いくつかの実装形態では、ブロック７２４によって表されるように、共存体験を提供するために、方法７００は、共有ＳＲ環境において、第１のユーザを表すアバター及び第２のユーザを表すアバターを、第１の表示デバイスの表現と共にレンダリングすることを更に含む。したがって、第１のユーザを表すアバターは、第１のユーザと第２のユーザとの間の物理的距離に関係なく、第２のユーザを表すアバターに近接してレンダリングされる。例えば、図５Ａに示すように、第１のユーザ４１０−１及び第２のユーザ４１０−２は、現実世界で互いに遠く離れている。図５Ｄに示すように、共存体験を作り出すために、第１のユーザ４１０−１を表すアバター４１０−１’は、ＳＲ環境に合成され、第２のユーザ４１０−２を表すアバター４１０−２’の隣にレンダリングされる。レンダリングにより、第１のユーザ４１０−１が第２のユーザ４１０−２に隣接している外観を提供する。
【００７８】
いくつかの実装形態では、上述のように、入力メッセージは、第２のユーザのアイデンティティ、及び第１の表示デバイス上で実行される操作を含む。そのような実装形態では、方法７００は、第２のユーザが操作を実行することを許可されているかどうかに基づいて、第１の表示デバイスから第１の表示デバイスの更新されたＳＲ表現を受信することを更に含む。いくつかの実装形態では、第１の表示デバイスの更新されたＳＲ表現は、第２のユーザのアイデンティティ、第１の表示デバイス上で実行される操作、又はポリシーのうちの１つ以上に少なくとも部分的に基づいて、第１の表示デバイスによって生成される。例えば、ポリシーは、特定のタイプの対話又はアプリケーションを可能にするか又は可能にしないかを指定する。したがって、第２のユーザは、アプリケーションのサブセット及び第１の表示デバイス上の機能のサブセットと対話するように制限される。したがって、第２のユーザが第１の表示デバイス上で操作を実行することを許可されていないとの判定に従って、操作は実行されない。一方、第２のユーザが第１の表示デバイス上で操作を実行することを許可されているとの判定に従って、操作が実行される。
【００７９】
添付の特許請求の範囲内の実装形態の様々な態様を上述したが、上述の実装形態の様々な特徴は、多種多様な形態で具現化されてもよく、上記の特定の構造及び／又は機能は単なる例示に過ぎないことは明らかである。本開示に基づいて、当業者は、本明細書に記載される態様は、任意の他の態様とは独立して実施されてもよく、これらの態様のうちの２つ以上が様々な方法で組み合わされてもよいことを理解すべきである。例えば、本明細書に記載される任意の数の態様を使用して、装置が実装されてもよい、及び／又は方法が実行されてもよい。加えて、本明細書に記載される態様のうちの１つ以上に加えて、又はその他の構造及び／又は機能を使用して、このような装置が実装されてもよい、及び／又はこのような方法が実行されてもよい。
【００８０】
本明細書では、様々な要素を説明するために「第１の」、「第２の」などの用語が使用される場合があるが、これらの要素は、これらの用語によって限定されるべきではないことも理解されるであろう。これらの用語は、ある要素を別の要素と区別するためにのみ使用される。例えば、「第１ノード」の全ての出現について一貫して名前が変更され、「第２ノード」の全ての出現について一貫して名前が変更される限り、説明の意味を変えることなく、第１ノードは第２ノードと呼ぶことができ、同様に、第２ノードは第１ノードと呼ぶことができる。第１のノードと第２のノードは両方ともノードであるが、それらは同じノードではない。
【００８１】
本明細書で使用される用語は、特定の実装形態を説明する目的のためであり、特許請求の範囲を限定することを意図するものではない。説明される実装形態の説明及び添付の特許請求の範囲で使用されるとき、単数形の「ａ」、「ａｎ」、及び「ｔｈｅ」は、文脈がそうではないことを明確に示さない限り、複数形も含むことを意図している。また、本明細書で使用されるとき、用語「及び／又は」は、関連する列挙された項目のうちの１つ以上のいずれか及び全ての考えられる組み合わせを指し、かつこれを含むことを理解されたい。用語「ｃｏｍｐｒｉｓｅｓ（含む）」及び／又は「ｃｏｍｐｒｉｓｉｎｇ（含む）」が、本明細書で使用される場合、述べられた特徴、整数、ステップ、動作、要素、及び／又は構成要素の存在を指定するが、１つ以上の他の特徴、整数、ステップ、動作、要素、構成要素、及び／又はそれらのグループの存在又は追加を除外しないことを更に理解されたい。
【００８２】
本明細書で使用されるときには、用語「ｉｆ」は、文脈に応じて、「時」又は「際に」又は、先に述べた条件が正しいとの「判定に応じて」又は「判定に従って」、「検出に応じて」を意味するものと解釈できる。同様に、「［先に述べた条件が正しい］と判定される場合」又は「［先に述べた条件が正しい］場合」、又は「［先に述べた条件が正しい］時」というフレーズは、先に述べた条件が正しいとの「判定に際して」又は「判定に応じて」又は「判定に従って」又は「検出した際に」又は「検出に応じて」ということを意味するものと解釈できる。
【図１Ａ】
2021535526.tif 000003
【図１Ｂ】
2021535526.tif 000004
【図２】
2021535526.tif 000005
【図３】
2021535526.tif 000006
【図４】
2021535526.tif 000007
【図５Ａ】
2021535526.tif 000008
【図５Ｂ】
2021535526.tif 000009
【図５Ｃ】
2021535526.tif 000010
【図５Ｄ】
2021535526.tif 000011
【図５Ｅ】
2021535526.tif 000012
【図６Ａ】
2021535526.tif 000013
【図６Ｂ】
2021535526.tif 000014
【図６Ｃ】
2021535526.tif 000015
【図６Ｄ】
2021535526.tif 000016
【図７】
2021535526.tif 000017
【手続補正書】
【提出日】令和3年2月24日(2021.2.24)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
１つ以上のプロセッサ及び非一時的メモリを含む第１の電子デバイスにおいて、
第１のユーザから第１の表示デバイスに向けられたジェスチャ入力を取得することであって、前記第１の表示デバイスが第１のディスプレイを含み、前記第１の表示デバイスが前記第１の電子デバイスと通信している、ことと、
前記ジェスチャ入力を取得したことに応じて、前記第１の表示デバイスの３Ｄ表現を第２の電子デバイスに送信することと、
前記第２の電子デバイスから前記第１の表示デバイスの前記３Ｄ表現に向けられた入力メッセージを受信することであって、前記入力メッセージが、前記第２の電子デバイスによって第２のユーザから取得された入力指示を含む、ことと、
前記第１の表示デバイスによって実行するために、前記入力メッセージを前記第１の表示デバイスに送信することと、を含む、方法。
【請求項２】
前記第１の表示デバイスとの有線又は無線通信を使用して、前記第１の表示デバイスの前記３Ｄ表現を取得することを更に含む、請求項１に記載の方法。
【請求項３】
前記第１の電子デバイスの１つ以上のカメラを使用して、前記第１の表示デバイスの前記３Ｄ表現を取得することを更に含む、請求項１又は２に記載の方法。
【請求項４】
前記第１のユーザから前記第１の表示デバイスに向けられた前記ジェスチャ入力を取得することが、
前記第１の表示デバイスから前記ジェスチャ入力のインジケータを受信することであって、前記ジェスチャ入力を前記第１の表示デバイスによって前記第１のユーザから受信する、こと、
を含む、請求項１〜３の何れか１項に記載の方法。
【請求項５】
前記第１のユーザから前記第１の表示デバイスに向けられた前記ジェスチャ入力を取得することが、
前記第１の表示デバイスを保持している前記第１のユーザの動きを検出することと、
前記第１のユーザの前記動きに基づいて、前記ジェスチャ入力を引き出すことと、
を含む、請求項１〜４の何れか１項に記載の方法。
【請求項６】
前記第１の表示デバイスの前記３Ｄ表現が、前記第１のディスプレイ上に表示されたコンテンツの一部分を含む、請求項１〜５の何れか１項に記載の方法。
【請求項７】
前記第１の表示デバイスの前記３Ｄ表現が、前記第１の表示デバイスに関連付けられた第１のサイズ及び比率とは異なる第２のサイズ及び比率にスケーラブルである、請求項１〜６の何れか１項に記載の方法。
【請求項８】
前記入力指示が、前記第２の電子デバイスによって検出された前記第２のユーザによる動きと関連付けられており、
前記動きが、前記第１の表示デバイスの前記３Ｄ表現に向けられている、
請求項１〜７の何れか１項に記載の方法。
【請求項９】
前記第１の表示デバイスが、ピアツーピア接続を介して通信するために前記第１の電子デバイスとペアリングされており、前記ジェスチャ入力を取得したことに応じて、前記第１の表示デバイスの前記３Ｄ表現を第２の電子デバイスに送信することが、ピアツーピア接続を介して前記第１の表示デバイスの前記３Ｄ表現を前記第２の電子デバイスに送信することを含む、請求項１〜８の何れか１項に記載の方法。
【請求項１０】
前記第２のユーザを表すアバター、及び前記第１の表示デバイスの前記３Ｄ表現をレンダリングすることと、
前記入力メッセージに基づいて、前記アバターの身体ポーズ又は手ジェスチャのうちの少なくとも１つを更新することと、
前記第１の表示デバイスから、前記第１の表示デバイスの更新された３Ｄ表現を受信することと、
前記更新されたアバター、及び前記第１の表示デバイスの前記更新された３Ｄ表現をレンダリングすることと、
を更に含む、請求項１〜９の何れか１項に記載の方法。
【請求項１１】
共有模擬現実（ＳＲ）環境において、前記第１のユーザを表すアバター及び前記第２のユーザを表す前記アバターを、前記第１の表示デバイスの前記３Ｄ表現と共にレンダリングすること、
を更に含む、請求項１〜１０の何れか１項に記載の方法。
【請求項１２】
前記入力メッセージが、前記第２のユーザのアイデンティティ、及び前記第１の表示デバイス上で実行される操作を含み、
前記第１の表示デバイスを使用して、前記第２のユーザの前記アイデンティティに少なくとも部分的に基づいて、前記第２のユーザが前記第１の表示デバイス上で前記操作を実行することを許可されているかどうかを判定することと、
前記第２のユーザが前記第１の表示デバイス上で前記操作を実行することを許可されていないとの判定に従って、前記操作の実行をやめることと、
を更に含む、請求項１〜１１の何れか１項に記載の方法。
【請求項１３】
前記第２のユーザが前記第１の表示デバイス上で前記操作を実行することを許可されているとの判定に従って、前記操作を実行することを更に含む、請求項１２に記載の方法。
【請求項１４】
前記第１の電子デバイスが、ヘッドマウントデバイス、携帯電話、タブレット、ウェブカム、又はキオスクのうちの少なくとも１つを含む、請求項１〜１３の何れか１項に記載の方法。
【請求項１５】
１つ以上のプロセッサと、
非一時的メモリと、
前記非一時的メモリに記憶された１つ以上のプログラムと、を備えた第１の電子デバイスであって、
前記１つ以上のプロセッサによって実行されると、前記第１の電子デバイスに、
第１のユーザから第１の表示デバイスに向けられたジェスチャ入力を取得させ、前記第１の表示デバイスが第１のディスプレイを含み、前記第１の表示デバイスが前記第１の電子デバイスと通信しており、
前記ジェスチャ入力を取得したことに応じて、前記第１の表示デバイスの３Ｄ表現を第２の電子デバイスに送信させ、
前記第２の電子デバイスから前記第１の表示デバイスの前記３Ｄ表現に向けられた入力メッセージを受信させ、前記入力メッセージが、前記第２の電子デバイスによって第２のユーザから取得された入力指示を含み、
前記第１の表示デバイスによって実行するために、前記入力メッセージを前記第１の表示デバイスに送信させる、
ことを特徴とする前記第１の電子デバイス。
【請求項１６】
前記第１のユーザから前記第１の表示デバイスに向けられた前記ジェスチャ入力を取得することが、
前記第１の表示デバイスから前記ジェスチャ入力のインジケータを受信することであって、前記ジェスチャ入力を前記第１の表示デバイスによって前記第１のユーザから受信する、こと、
を含む、請求項１５に記載の第１の電子デバイス。
【請求項１７】
前記第１のユーザから前記第１の表示デバイスに向けられた前記ジェスチャ入力を取得することが、
前記第１の表示デバイスを保持している前記第１のユーザの動きを検出することと、
前記第１のユーザの前記動きに基づいて、前記ジェスチャ入力を引き出すことと、
を含む、請求項１５又は１６に記載の第１の電子デバイス。
【請求項１８】
１つ以上のプログラムを記憶する非一時的メモリであって、第１の電子デバイスの１つ以上のプロセッサによって実行されると、前記第１の電子デバイスに、
第１のユーザから第１の表示デバイスに向けられたジェスチャ入力を取得させ、前記第１の表示デバイスが第１のディスプレイを含み、前記第１の表示デバイスが前記第１の電子デバイスと通信しており、
前記ジェスチャ入力を取得したことに応じて、前記第１の表示デバイスの３Ｄ表現を第２の電子デバイスに送信させ、
前記第２の電子デバイスから前記第１の表示デバイスの前記３Ｄ表現に向けられた入力メッセージを受信させ、前記入力メッセージが、前記第２の電子デバイスによって第２のユーザから取得された入力指示を含み、
前記第１の表示デバイスによって実行するために、前記入力メッセージを前記第１の表示デバイスに送信させる、
非一時的メモリ。
【請求項１９】
前記第１のユーザから前記第１の表示デバイスに向けられた前記ジェスチャ入力を取得することが、
前記第１の表示デバイスから前記ジェスチャ入力のインジケータを受信することであって、前記ジェスチャ入力を前記第１の表示デバイスによって前記第１のユーザから受信する、こと、
を含む、請求項１８に記載の非一時的メモリ。
【請求項２０】
前記第１のユーザから前記第１の表示デバイスに向けられた前記ジェスチャ入力を取得することが、
前記第１の表示デバイスを保持している前記第１のユーザの動きを検出することと、
前記第１のユーザの前記動きに基づいて、前記ジェスチャ入力を引き出すことと、
を含む、請求項１８又は１９に記載の非一時的メモリ。
【国際調査報告】
2021535526.tif 000018
2021535526.tif 000019
2021535526.tif 000020