(57)【要約】  現実を拡張するための制御装置は、命令を格納するメモリと、命令を実行するプロセッサと、を含む。制御装置は、ディスプレイを介して出力を提供する少なくとも１つのデバイスから、少なくとも１つのデバイスからの第１の視覚情報を含む情報フィードを受信する。プロセッサによって実行されるとき、命令が、制御装置にプロセスを実施させ、プロセスは、拡張現実として、第１の拡張現実デバイスによる３次元（３Ｄ）空間の第１の共有部分での第１の視覚情報の生成を制御すること、及び拡張現実として、第２の拡張現実デバイスによる３Ｄ空間の第１の共有部分での第１の視覚情報の生成を制御すること、を有する。
2020520521.tif 000002
【特許請求の範囲】
【請求項１】
現実を拡張するための制御装置であって、前記制御装置は、
命令を格納するメモリと、
前記命令を実行するプロセッサと、を備え、
前記制御装置が、ディスプレイを介して出力を提供する少なくとも１つのデバイスから、前記少なくとも１つのデバイスからの第１の視覚情報を含む情報フィードを受信し、
前記プロセッサによって実行されるとき、前記命令が、前記制御装置にプロセスを実施させ、前記プロセスが、
拡張現実として、第１の拡張現実デバイスによる３次元（３Ｄ）空間の第１の共有部分での第１の視覚情報の生成を制御すること、及び
拡張現実として、第２の拡張現実デバイスによる前記３Ｄ空間の前記第１の共有部分での前記第１の視覚情報の生成を制御すること、
を含む、制御装置。
【請求項２】
前記少なくとも１つのデバイスが、前記３Ｄ空間内の対象者の画像を提供する撮像機器を備える、請求項１に記載の制御装置。
【請求項３】
前記少なくとも１つのデバイスが、前記３Ｄ空間内の対象者の医学的状態を監視する医療機器を備える、請求項１に記載の制御装置。
【請求項４】
前記制御装置が、前記第１の拡張現実デバイスに実装され、拡張現実セッション中に前記第１の共有部分の制御を前記第２の拡張現実デバイスに渡す、請求項１に記載の制御装置。
【請求項５】
前記制御装置が、拡張現実として、前記第１の拡張現実デバイスによる前記３Ｄ空間の第１の非共有部分での第２の視覚情報の生成を制御する、請求項１に記載の制御装置。
【請求項６】
前記制御装置が、拡張現実セッション中に動的に受信された命令に基づいて、前記第１の共有部分の制御を別の制御装置に渡す、請求項１に記載の制御装置。
【請求項７】
前記制御装置が、前記拡張現実セッションの前に設定された所定の命令に従って、拡張現実セッションの所定の段階の通過に基づいて、前記第１の共有部分の制御を別の制御装置に渡す、請求項１に記載の制御装置。
【請求項８】
前記制御装置が、前記第１の拡張現実デバイス及び前記第２の拡張現実デバイスにリンクされた集中型コンピュータに実装される、請求項１に記載の制御装置。
【請求項９】
前記第１の共有部分の位置が、前記第１の拡張現実デバイス及び前記第２の拡張現実デバイスのそれぞれについて独立して可変である、請求項１に記載の制御装置。
【請求項１０】
前記第１の共有部分の位置が、前記第１の拡張現実デバイス及び前記第２の拡張現実デバイスのそれぞれに対して固定される、請求項１に記載の制御装置。
【請求項１１】
前記第１の視覚情報が、トリガに基づいて自動的に更新され、それにより、前記第１の拡張現実デバイス及び前記第２の拡張現実デバイスのそれぞれが、前記制御装置によって制御されて、前記トリガに基づいて前記第１の共有部分で更新された情報を受信する、請求項１に記載の制御装置。
【請求項１２】
３次元（３Ｄ）空間内で現実を拡張するための制御装置を操作する方法であって、前記方法は、
前記制御装置のメモリに命令を格納するステップと、
前記制御装置が、ディスプレイを介して出力を提供する第１のデバイスから、第１の視覚情報を含む第１の情報フィードを受信するステップと、
前記制御装置のプロセッサによって前記命令を実行して、プロセスを実施するステップであって、前記プロセスが、
拡張現実として、第１の拡張現実デバイスによる前記３Ｄ空間の第１の共有部分での前記第１の視覚情報の生成を制御すること、及び
拡張現実として、第２の拡張現実デバイスによる前記３Ｄ空間の前記第１の共有部分での前記第１の視覚情報の生成を制御すること、
を有する、当該実施するステップと、
を有する、方法。
【請求項１３】
前記第１の視覚情報の生成を制御するステップが、前記３Ｄ空間の前記第１の共有部分での前記第１の視覚情報の表示を認可するための要求を動的に受信し、前記第１の視覚情報を表示するための要求を選択的に認可することによって実施される、請求項１２に記載の方法。
【請求項１４】
前記第１のデバイスからの第１の視覚情報を含む前記第１の情報フィードを、第２のデバイスからの第２の視覚情報を含む第２の情報フィードに変更するための要求を受信するステップと、
拡張現実として、前記第１の拡張現実デバイスによる前記第１の共有部分での前記第２の視覚情報の生成を制御するステップと、
拡張現実として、前記第２の拡張現実デバイスによる前記３Ｄ空間の前記第１の共有部分での前記第２の視覚情報の生成を制御するステップと、
をさらに有する、請求項１２に記載の方法。
【請求項１５】
拡張現実セッション中にユーザから動的に受信された命令に基づいて、前記第１の共有部分の制御を別の制御装置に渡すステップ
をさらに有する、請求項１２に記載の方法。
【請求項１６】
拡張現実セッションの所定の段階の通過に基づいて、前記第１の共有部分の制御を別の制御装置に渡すステップ
をさらに有する、請求項１２に記載の方法。
【請求項１７】
前記第１の拡張現実デバイスが、ヘッドマウント可能拡張現実デバイスを備える、請求項１２に記載の方法。
【請求項１８】
前記３Ｄ空間が、仮想オブジェクトが前記第１の拡張現実デバイス及び前記第２の拡張現実デバイスによって重畳される事前定義された物理的環境を含む、請求項１２に記載の方法。
【請求項１９】
第１のユーザが前記３Ｄ空間の前記第１の共有部分にコンテンツを配置することを選択的に可能にするステップをさらに有する、請求項１２に記載の方法。
【請求項２０】
第２のユーザが、前記第１のユーザによって前記第１の共有部分に配置されたコンテンツを変更することを選択的に可能にするステップをさらに有する、請求項１９に記載の方法。
【請求項２１】
前記第１の拡張現実デバイスが、前記第２の拡張現実デバイスからのライブフィードを提示し、前記第１の拡張現実デバイスのユーザが、前記第２の拡張現実デバイスからの前記ライブフィード内の仮想オブジェクトとインタラクトすることを可能にされ、それにより、第１のユーザと前記仮想オブジェクトとのインタラクトが、前記第２の拡張現実デバイスの第２のユーザに提示される、請求項１２に記載の方法。
【発明の詳細な説明】
【技術分野】
【０００１】
[001]  介入処置などの医療処置は、手術室などの閉鎖空間に複数のスタッフが存在することが必要なことがある。複数のスタッフはそれぞれ、異なる専門知識を有していることがある。効果的に作業するために、複数のスタッフそれぞれが他のスタッフと情報を共有できなければならない。共有すべき情報には、例えば、術前の画像及び患者の背景、術中の画像、ライブビュー、並びに患者のバイタルが含まれる。閉鎖空間内に複数のスタッフを配備すると、画面を共有し、利用可能な情報を共同で閲覧して議論することが難しくなる。
【背景技術】
【０００２】
[002]  拡張現実とは、一般に、ライブ画像ストリームに追加のコンピュータ生成情報が補足されたときを表す。ライブ画像ストリームは、目、カメラ、又はスマートフォンやテーブルなどの通信デバイスを介するものでよい。ライブ画像ストリームは、眼鏡、コンタクトレンズ、投影、又は通信デバイスを介したユーザへの表示によって増強される。現在の拡張現実システムは、ジェスチャ認識、頭部追跡、視線追跡、及び音声認識を含む様々なユーザアクションを感知し、それらに応答することができる。
【発明の概要】
【０００３】
[003]  本開示の一態様によれば、現実を拡張するための制御装置が、命令を格納するメモリと、命令を実行するプロセッサと、を備える。制御装置は、ディスプレイを介して出力を提供する少なくとも１つのデバイスから、少なくとも１つのデバイスからの第１の視覚情報を含む情報フィードを受信する。プロセッサによって実行されるとき、命令が、制御装置にプロセスを実施させ、プロセスが、拡張現実として、第１の拡張現実デバイスによる３次元（３Ｄ）空間の第１の共有部分での第１の視覚情報の生成を制御すること、及び拡張現実として、第２の拡張現実デバイスによる３Ｄ空間の第１の共有部分での第１の視覚情報の生成を制御すること、を有する。
【０００４】
[004]  本開示の別の態様によれば、３Ｄ空間内で現実を拡張するための制御装置を操作する方法が、制御装置のメモリに命令を格納するステップを有する。この方法は、制御装置で、ディスプレイを介して出力を提供する第１のデバイスから、第１の視覚情報を含む第１の情報フィードを受信するステップを有する。制御装置のプロセッサによって命令が実行されて、プロセスを実施する。プロセスは、拡張現実として、第１の拡張現実デバイスによる３Ｄ空間の第１の共有部分での第１の視覚情報の生成を制御することを有する。このプロセスはまた、拡張現実として、第２の拡張現実デバイスによる３Ｄ空間の第１の共有部分での第１の視覚情報の生成を制御することを有する。
【０００５】
[005]  例示的実施形態は、以下の詳細な説明を添付図面の各図と共に読めば最も良く理解される。様々な特徴が必ずしも縮尺通りに描かれていないことを強調しておく。実際、論述を明確にするために、寸法が任意に増加又は減少される。適用可能であり実用的である場合は常に、同様の参照番号が同様の要素を表す。
【図面の簡単な説明】
【０００６】
【図１】[006]  代表的な実施形態による、協働的介入のための拡張現実に関するプロセスを示す図である。
【図２Ａ】[007]  本開示の一態様による、協働的介入のための拡張現実に関するヘッドマウント可能デバイスの正面図である。
【図２Ｂ】[008]  本開示の一態様による、協働的介入のための拡張現実に関するヘッドマウント可能デバイスの側面図である。
【図２Ｃ】[009]  本開示の一態様による、協働的介入のための拡張現実に関するヘッドマウント可能デバイスの上面図である。
【図３Ａ】[010]  本開示の一態様による、協働的介入のための拡張現実に関するヘッドマウント可能デバイスを装着する対象者を含む３Ｄ空間を示す図である。
【図３Ｂ】[011]  本開示の一態様による、協働的介入のための拡張現実に関する拡張現実インターフェースを備えた医療機器を含む図３Ａでの３Ｄ空間の別の視野を示す図である。
【図４】[012]  本開示の一態様による、協働的介入のための拡張現実に関する３Ｄ空間の共有部分の制御を示す論理的配置を示す図である。
【図５Ａ】[013]  本開示の一態様による、協働的介入のための拡張現実に関する別のヘッドマウント可能デバイスの上面図を示す。
【図５Ｂ】[014]  本開示の一態様による、協働的介入のための拡張現実に関する別のヘッドマウント可能デバイスの上面図を示す。
【図６】[015]  本開示の一態様による、協働的介入のための拡張現実に関する命令セットを含む例示的な一般的なコンピュータシステムを示す図である。
【図７】[016]  本開示の一態様による、協働的介入のための拡張現実に関する３Ｄ内の位置に固定された共有仮想オブジェクトを含む３Ｄ空間を示す図である。
【図８】[017]  本開示の一態様による、ヘッドマウント可能デバイスを装着した複数の対象者に関する視界内の位置に固定された共有仮想オブジェクトを含む３Ｄ空間を示す図である。
【図９】[018]  代表的な実施形態による、協働的介入のための拡張現実に関する制御プロセスを示す図である。
【図１０】[019]  代表的な実施形態による、協働的介入のための拡張現実に関する制御テーブルを示す図である。
【図１１】[020]  代表的な実施形態による、協働的介入と共に拡張現実のための３Ｄ空間を示す図である。
【図１２】[021]  代表的な実施形態による、協働的介入と共に拡張現実を使用する協働を示す図である。
【図１３】[022]  代表的な実施形態による、協働的介入のための拡張現実に関する別の制御プロセスを示す図である。
【図１４】[023]  代表的な実施形態による、協働的介入のための拡張現実に関するタイムラインを示す図である。
【図１５Ａ】[024]  代表的な実施形態による、協働的介入のための拡張現実のための１つの拡張現実デバイスに関する視界を示す図である。
【図１５Ｂ】代表的な実施形態による、協働的介入のための拡張現実のための１つの拡張現実デバイスに関する視界を示す図である。
【図１５Ｃ】代表的な実施形態による、協働的介入のための拡張現実のための１つの拡張現実デバイスに関する視界を示す図である。
【図１６Ａ】[025]  代表的な実施形態による、協働的介入のための拡張現実に関するプロセスフローを示す図である。
【図１６Ｂ】[026]  代表的な実施形態による、協働的介入のための拡張現実に関する別のプロセスフローを示す図である。
【図１６Ｃ】[027]  代表的な実施形態による、協働的介入のための拡張現実に関する別のプロセスフローを示す図である。
【発明を実施するための形態】
【０００７】
[028]  以下の詳細な説明では、限定ではなく説明の目的で、本教示による実施形態を完全に理解できるように、具体的な詳細を開示する代表的な実施形態を記載する。代表的な実施形態の説明を曖昧にしないように、既知のシステム、デバイス、材料、操作方法、及び製造方法の説明は省略することがある。それにもかかわらず、当業者の想定内にあるシステム、デバイス、材料、及び方法は、本教示の範囲内にあり、代表的な実施形態に従って使用され得る。本明細書で使用される専門用語は、具体的な実施形態を述べることのみを目的としており、限定を意図してはいないことを理解されたい。定義される用語は、本教示の技術分野で一般に理解されて受け入れられるように、定義される用語の技術的及び科学的な意味に加えて用いられる。
【０００８】
[029]  本明細書では、様々な要素又は構成要素を述べるために第１、第２、第３などの用語を使用することがあるが、これらの要素又は構成要素はこれらの用語によって限定されるべきではないことを理解されたい。これらの用語は、ある要素又は構成要素を別の要素又は構成要素と区別するためにのみ使用される。したがって、以下で論じる第１の要素又は構成要素は、本発明の概念の教示から逸脱することなく、第２の要素又は構成要素と呼ぶこともできる。
【０００９】
[030]  本明細書で使用される専門用語は、実施形態を述べることのみを目的としており、限定を意図してはいない。本明細書及び添付の特許請求の範囲で使用されるとき、用語の単数形は、コンテキスト上、特に明確に断りのない限り、単数形及び複数形の両方を含むことを意図されている。さらに、本明細書で使用するときの用語「備える」、「備えている」、及び／又は同様の用語は、挙げられた特徴、要素、及び／又は構成要素の存在を指定するが、１つ又は複数の他の特徴、要素、構成要素、及び／又はそれらの群の存在又は追加を除外しない。本明細書で使用するとき、「及び／又は」という用語は、関連する列挙されたアイテムのうちの１つ又は複数のあらゆる組合せを含む。
【００１０】
[031]  特に断りのない限り、ある要素又は構成要素が別の要素又は構成要素に「接続される」、「結合される」、又は「隣接する」と言うとき、その要素又は構成要素は、別の要素又は構成要素に直接接続又は結合していても、介在する要素又は構成要素が存在していてもよいことを理解されたい。すなわち、これらの用語及び同様の用語は、２つの要素又は構成要素を接続するために１つ又は複数の中間要素又は構成要素が採用され得る場合を包含する。しかし、ある要素又は構成要素が別の要素又は構成要素に「直接接続される」と言われるとき、これは、中間の又は介在する要素又は構成要素をなんら有さずに２つの要素又は構成要素が互いに接続されている場合のみを包含する。
【００１１】
[032]  上記のことに鑑みて、本開示は、その様々な態様、実施形態、及び／若しくは具体的な特徴若しくは下位構成要素のうちの１つ又は複数によって、以下に具体的に述べる利点の１つ又は複数をもたらすことを意図されている。限定ではなく説明の目的で、本教示による実施形態を完全に理解できるように、具体的な詳細を開示する例示的実施形態を記載する。しかし、本明細書で開示する具体的な詳細から逸脱するが本開示と整合性のある他の実施形態も、添付の特許請求の範囲内にある。さらに、例示的実施形態の説明を曖昧にしないように、よく知られている装置及び方法の説明は省略することがある。そのような方法及び装置は、本開示の範囲内にある。
【００１２】
[033]  図１は、代表的な実施形態による、協働的介入のための拡張現実に関するプロセスを示す。図１に示すプロセスは、協働的介入のための拡張現実における３Ｄ空間の共有部分の様々な制御をもたらす全体的なプロセスの代表例である。本明細書で述べる共有部分は、仮想オブジェクトが配置される３Ｄ空間の部分である。３Ｄ空間内の仮想オブジェクトは、ホワイトボード、ブラックボード、テレビジョン、コンピュータモニタ、病院のモニタ（すなわち、医療読取値を出力する）、又は、患者の解剖学的構造の３Ｄモデルなど他の形態の視覚ディスプレイなどのディスプレイを模したものでよい。
【００１３】
[034]  共有部分の例は、共有部分の作成者によって作成されたデータ層としてのものである。作成者は、例えば、２Ｄ又は３Ｄ共有部分のサイズ及び形状を定義し、３Ｄ空間内で共有部分を位置特定することができる。共有部分を定義するデータは、以下で述べるマッピングから派生した座標を使用して、隅などの境界を定義する。さらに、共有部分は、境界内の視覚データとして２Ｄ又は３Ｄ空間を定義するデータ層でよい。図１６Ａ〜図１６Ｃに示されるように、データ層は、一時点では単一の制御装置によって制御され、データ層にデータを追加するように求める他の者からの要求は、単一の制御装置によって調整及び制御される。データ層は、ここで、共有部分を投入するために使用されるソースからのコンテンツに重畳される。
【００１４】
[035]  ステップＳ１１１で、３Ｄ空間が事前マッピング及び／又は事前登録される。３Ｄ空間は、拡張現実が提供されるセッションの前にマッピングされ、したがって、ステップＳ１１１でのマッピングは、ある意味、事前マッピングである。マッピングは、３Ｄ空間の全ての物理的パラメータと、３Ｄ空間内の任意の物理的アイテム（例えば家具や機器）を視覚的に捕捉することによって実施される。また、３Ｄ空間は、拡張現実が提供されるセッションの前に登録され、したがって、ステップＳ１１１での登録も、ある意味、事前登録である。登録は、３Ｄ空間の各物理的パラメータと、３Ｄ空間内の各物理的アイテムとにラベル付けすることによって実施される。
【００１５】
[036]  ３Ｄ空間のマッピング及び登録のために使用されるコンピュータプログラムは、物理的パラメータと物理的アイテムとの特性のライブラリにリンクされている。特性のライブラリを使用して、マッピングで識別された任意の物理的パラメータ又は物理的アイテムを所定の説明とリンクすることによって、登録を容易にすることができる。マッピング及び登録は、仮想オブジェクトを識別することができる３Ｄ空間内の全てのエリアを配置することができるように実施される。
【００１６】
[037]  マッピング及び登録は、ＡＲセッションの時点でも実施することができる。例えば、ステップＳ１１１でのマッピングを事前マッピングとして上述したが、拡張現実セッションが始まった後も、例えば、拡張現実デバイスのセンサを用いて３Ｄ空間のパラメータを収集し、次いで画像認識を使用して物理的パラメータ及び３Ｄ空間内の物理的アイテムを登録することによって、３Ｄ空間を動的にマッピングすることができる。
【００１７】
[038]  ステップＳ１２２で、３Ｄ空間の第１の共有部分が設定される。３Ｄ空間の第１の共有部分は、１つ又は複数の仮想オブジェクトの配置のために確保されている３Ｄ空間の体積でよい。代替として、ステップＳ１２２で第１の共有部分が設定されるとすぐに、１つ又は複数の仮想オブジェクトが第１の共有部分に配置される。一例として、ステップＳ１２２で設定された第１の共有部分に仮想ディスプレイが割り当てられ、次いで、仮想ディスプレイ用のデータを提供するためのデータソースが仮想ディスプレイに割り当てられる。３Ｄ空間の第１の共有部分は、共有されていることを示すために、境界線で輪郭を描かれる、又は特定の色でシェーディングされる。ユーザが頭を動かして領域を見ると、３Ｄ空間の第１の共有部分を誰が共有しているかを示すために追加情報が表示される。
【００１８】
[039]  ステップＳ１３３で、第１の共有部分に関する可変制御パラメータが、第１のヘッドマウント可能デバイスや第２のヘッドマウント可能デバイスなどに事前に割り当てられる。すなわち、第１の共有部分は共有されているため、複数のユーザが第１の共有部分を同時に変更しないように、又は第１の共有部分が作成されたときには意図されていなかったやり方で変更しないように、第１の共有部分の制御を確立しなければならない。
【００１９】
[040]  一例として、第１の対象者を、ステップＳ１３３の第１の共有部分の単独制御を行う「マスタ」ユーザにすることができ、しかし、第１の対象者は、拡張現実セッション前又は拡張現実セッション中に単独制御を別のユーザに渡すことができる。別の例として、第１の対象者を、ステップＳ１３３での拡張現実セッションの第１のセグメントにわたって第１の共有部分の単独制御を行う「マスタ」ユーザにし、第２の対象者を、ステップＳ１３３での拡張現実セッションの第２のセグメントにわたって第１の共有部分の単独制御を行う「マスタ」ユーザにする。言い換えると、後者の例では、ステップＳ１３３での計画された拡張現実セッションの異なるセグメントにわたって、異なる対象者に第１の共有部分の制御を事前に割り当てることができる。
【００２０】
[041]  ステップＳ１４４で、３Ｄ空間の第２の非共有部分が設定される。３Ｄ空間の非共有部分は、非共有部分を生成するように構成されたヘッドウェアラブルディスプレイを装着している対象者の視野にのみ表示される３Ｄ空間の部分である。３Ｄ空間の第２の非共有部分は、１つ又は複数の仮想オブジェクトの配置のために確保された３Ｄ空間の体積でよい。代替として、ステップＳ１４４で第２の非共有部分が設定されるとすぐに、１つ又は複数の仮想オブジェクトが第２の非共有部分に配置される。３Ｄ空間の第１の共有部分は、共有されていることを示すために、境界線で輪郭を描かれる、又は特定の色でシェーディングされる。
【００２１】
[042]  明らかなように、非共有部分は、計画された拡張現実セッションに関与するヘッドマウント可能デバイスのいずれかに関して事前設定される。したがって、拡張現実セッション中に、異なる対象者は、自分の視野に、異なる仮想現実オブジェクトを提供される。
【００２２】
[043]  ３Ｄ空間内の任意の共有部分又は非共有部分は、ホワイトボード、ブラックボード、テレビジョン、コンピュータモニタ、病院のモニタ（すなわち、医療読取値を出力する）、３Ｄモデル、又は他の形態の視覚ディスプレイなどのディスプレイに類似する仮想オブジェクトによって占有される。したがって、共有部分を使用して、ヘッドマウント可能デバイスを装着している複数の、さらには全ての対象者の視野に同じ情報を提示し、非共有部分を使用して、ヘッドマウント可能デバイスを装着している単一の対象者の視野に、分離された情報を提示し、拡張現実セッションに従事している他の対象者にはその情報を示さない。
【００２３】
[044]  ステップＳ１５５で、拡張現実セッションが開始される。拡張現実セッションは、ヘッドマウント可能デバイスを装着した第１の対象者が３Ｄ空間に入った時点で始まるとみなすことができる。さらに、複数の拡張現実セッションが同時に行われてもよく、ヘッドマウント可能デバイスを装着した複数の異なる対象者がそれぞれ個別に３Ｄ空間に入る。ヘッドマウント可能デバイスは、仮想現実オブジェクトによって占有されている３Ｄ空間の共有部分にアクセスするように事前プログラム又は事前認可される。例えば、拡張現実セッションは、３Ｄ空間として機能する事前マッピングされた手術室内で行われる医療介入に対応し、仮想現実オブジェクトへのアクセスを認可された各対象者は、医療介入中、仮想現実オブジェクトを介して表示される情報にアクセスする。さらに、３Ｄ空間のマッピング及び登録は、本明細書では、拡張現実セッションに先立って行われるものとして述べるが、マッピング及び登録は、拡張現実セッションの開始時又は拡張現実セッション全体を通して動的に実施することもできる。例えば、マッピング及び登録を動的に実施することができ、拡張現実デバイスでのセンサを使用して３Ｄ空間のパラメータ及び３Ｄ空間内の物理的アイテムを感知し、画像認識プログラムを使用してパラメータ及び物理的アイテムを認識及びラベル付けする。
【００２４】
[045]  ステップＳ１６６で、第１のヘッドマウント可能デバイスは、拡張現実として第１の共有部分に第１の視覚情報の表示を生成する。ステップＳ１７７で、第２のヘッドマウント可能デバイスは、拡張現実として第１の共有部分に第１の視覚情報の表示を別個に生成する。
【００２５】
[046]  明確さのために、第１の視覚情報及び第１の共有部分は、ヘッドマウント可能デバイスに限定されない。むしろ、ヘッドマウント可能デバイスは、手術室などの３Ｄ空間のコンテキストで容易に説明され、本明細書では便宜上、例として用いられている。第１の共有部分を占める仮想現実オブジェクトは、共有部分を含む３Ｄ空間の視野を有する任意の認可された対象者に表示される。例えば、カメラを介して３Ｄ空間を見ているリモートユーザであっても、認可されている場合には、第１の共有部分へのアクセス権を有する。ヘッドマウント可能デバイスに加えて、第１の共有部分へのアクセス権を有するユーザは、投影画像、透過型ヘッドアップディスプレイ、及び他の形態の拡張現実デバイスを使用してもよい。
【００２６】
[047]  ステップ１８８で、第２のヘッドマウント可能デバイスは、拡張現実として、第１の非共有部分に第２の視覚情報の表示を生成する。ステップＳ１８８は、３Ｄ空間の共有部分が非共有部分と区別されることを示しており、非共有部分は単一の拡張現実デバイスに対するものでよい。言い換えると、非共有部分は、他の拡張現実デバイスからは見えない。他方、３Ｄ空間の共有部分は、複数の拡張現実デバイスから見えるが、必ずしも全ての拡張現実デバイスから見えるわけではない。したがって、仮想オブジェクトが占める３Ｄ空間の異なる共有部分は、異なるユーザグループの目に見える。
【００２７】
[048]  ステップＳ１９９で、第１の共有部分の制御は、ステップＳ１３３からの事前に割り当てられた可変制御パラメータを満たす命令に基づいて変更される。例えば、第１のヘッドマウント可能デバイスが３Ｄ空間に入ったとき、又は認可されたユーザが第１の共有部分の制御を要求したとき、最初に第１の共有部分を制御している集中型コンピュータから、ヘッドマウント可能デバイスを装着しているユーザに制御を渡すことができる。このようにして、データフィードからのコンテンツは、第１の共有部分を占める仮想オブジェクトにおいてディスプレイ上で変更することができる。データフィードは、第１の共有部分を制御する人に応じて追加又は削減される。認可されている対象者の制御に基づいて、追加の対象者に第１の共有部分へのアクセス権が与えられることがあり、また、アクセス権を有する既存の対象者からアクセス権が除去されることがある。
【００２８】
[049]  図２Ａは、本開示の一態様による、協働的介入のための拡張現実に関するヘッドマウント可能デバイスの正面図を示す。図２ａでは、ヘッドマウント可能デバイス２００は、右レンズ２１０ａと左レンズ２１０ｂとが個別に囲まれているフレーム２０１を含む。センサ２５０、カメラ２６０は、フレーム２０１内及び／又はフレーム２０１上に一体化された電子構成要素の代表例である。
【００２９】
[050]  本明細書で説明するように、左レンズ２１０ｂ及び右レンズ２１０ａはそれぞれ、透過型光学ディスプレイの前又は後ろに設けられる。透過型光学ディスプレイは、画像プロセッサによって制御されて、ヘッドマウント可能デバイス２００を装着している対象者の視界と重畳される仮想オブジェクトを生成することができる。或いは、左レンズ２１０ｂ及び右レンズ２１０ａはそれぞれ、ヘッドマウント可能デバイス２００を装着している対象者の目にプロジェクタからの光を反射するミラーの前に設けられる。ミラーの効果は、ヘッドマウント可能デバイス２００を装着している対象者の視界に仮想オブジェクトが重畳されるという点で、透過型光学ディスプレイを使用する効果と同じである。
【００３０】
[051]  カメラ２６０は、前方を向いており、ヘッドマウント可能デバイス２００を装着している対象者の視点からの前方視野を提供している。カメラ２６０は、様々なタイプのカメラ（ＲＢＧ、グレースケール、奥行き感知カメラ、ＩＲカメラ、スペクトルカメラ）を含む複数のカメラの代表例である。センサ２５０は、ヘッドマウント可能デバイス２００の周りの環境の概要を感知する。
【００３１】
[052]  センサ２５０は、例えば、加速度計、ジャイロスコープ、抵抗センサ、電流センサ、圧電センサ、電圧センサ、容量センサ、全地球測位衛星受信機、コンパス、高度計、カメラ、距離計、マイクロフォン、温度計、化学センサ、水分センサなどを含む。センサ２５０は、対象者が頭を傾ける又は回す時及び度合いなど、ヘッドマウント可能デバイス２００を装着している対象者の動きを感知する。また、センサ２５０は、温度及び湿度や照明条件など、ヘッドマウント可能デバイス２００の周りの環境の環境条件を感知する。図２Ｃに関して以下で説明するように、カメラ２７０ａ、２７０ｂは、操作者の目の動きを追跡するためのセンサとして設けられてもよい。
【００３２】
[053]  図２Ｂは、本開示の一態様による、協働的介入のための拡張現実に関するヘッドマウント可能デバイスの側面図を示す。図２Ｂでは、右テンプル２０２ａは、フレーム２０１に囲まれたレンズ群２１０から延在して図示されている。レンズ群２１０は、図２Ａに示すような右レンズ２１０ａ及び左レンズ２１０ｂを含む。
【００３３】
[054]  右テンプル２０２ａは、ヘッドマウント可能デバイス２００を装着している対象者の頭の右側用である。図２Ｃに関して以下で説明するように、左テンプル２０２ｂは、ヘッドマウント可能デバイス２００を装着している対象者の頭の左側用に提供される。右テンプル２０２ａを使用して、ヘッドマウント可能デバイス２００を装着する対象者の耳に掛けてヘッドマウント可能デバイス２００を保持する。図２Ａに示すように、ヘッドマウント可能デバイス２００の前部の中央部分は、ヘッドマウント可能デバイス２００を装着する対象者の鼻に乗せてバランスを取ることもできる。
【００３４】
[055]  図２Ｃは、本開示の一態様による、協働的介入のための拡張現実に関するヘッドマウント可能デバイスの上面図を示す。図２Ｃでは、様々な電子要素が、右テンプル２０２ａ及び左テンプル２０２ｂに沿って配設されて示されている。これらの要素は、右テンプル２０２ａに沿ったカメラ２７０ａ、及び左テンプル２０２ｂに沿ったカメラ２７０ｂを含む。左テンプル２０２ｂは、プロセッサ２８０ｂ及びメモリ２８１ｂも含み、右テンプル２０２ａは、プロセッサ２８０ａ及びメモリ２８１ａも含む。プロセッサ２８０ａ、２８０ｂ及びメモリ２８１ａ、２８１ｂは、一般的なコンピュータシステムの要素の代表例であり、ヘッドマウント可能デバイス２００に完全に又は部分的に含まれる。
【００３５】
[056]  カメラ２７０ａ、２７０ｂは、後方を向いており、ヘッドマウント可能デバイス２００を装着している対象者の目の動きを捕捉するために使用される。カメラ２７０ａ、２７０ｂは、図２Ａのセンサ２５０とは別個に示されているが、カメラ２７０ａ、２７０ｂは、ヘッドマウント可能デバイス２００を装着している対象者の目の動きを感知するという点で、センサ２５０のタイプと一致している。
【００３６】
[057]  メモリ２８１ａ、２８１ｂは、ヘッドマウント可能デバイス２００に関する命令及びデータを格納し、プロセッサ２８０ａ、２８０ｂは、ヘッドマウント可能デバイス２００に関する命令を実行する。メモリ２８１ａ、２８１ｂに格納され、プロセッサ２８０、２８０ｂによって実行される命令は、ヘッドマウント可能デバイス２００を装着している対象者の視界と重畳されるように特定の仮想オブジェクトを生成するための命令を含む。
【００３７】
[058]  図３Ａは、本開示の一態様による、協働的介入のための拡張現実に関するヘッドマウント可能デバイスを装着している対象者を含む空間を示す。図３Ａでは、５人の対象者３８１〜３８５が、３Ｄ空間３００内でテーブル３９９の周りに配備されて示されている。また、図３Ａには、集中型コンピュータ３９０が、無線インターフェース３９３、プロセッサ３９１、及びメモリ３９２と共に示されている。
【００３８】
[059]  集中型コンピュータ３９０を使用して、３Ｄ空間３００の共有部分を最初に制御することができる。ヘッドマウント可能デバイス２００ａ〜２００ｅが作動されるとき、３Ｄ空間の共有部分の制御が、５人の対象者３８１〜３８５のうちの１人に受け渡される。制御の受け渡しは、メモリ３９２に格納され、プロセッサ３９１によって実行される所定の命令に従っている。３Ｄ空間を制御するための所定の命令は、５人の対象者３８１〜３８５のうちの１人、又は３Ｄ空間３００内若しくは３Ｄ空間３００外にいる別の対象者が３Ｄ空間の共有部分の制御を変更できるようにし得る。
【００３９】
[060]  ５人の対象者３８１〜３８５は、第１の対象者３８１、第２の対象者３８２、第３の対象者３８３、第４の対象者３８４、及び第５の対象者を含む。第１の対象者３８１は、第１のヘッドマウント可能デバイス２００ａを装着し、第２の対象者３８２は、第２のヘッドマウント可能デバイス２００ｂを装着し、第３の対象者３８３は、第３のヘッドマウント可能デバイス２００ｃを装着し、第４の対象者３８４は、第４のヘッドマウント可能デバイス２００ｄを装着し、第５の対象者３８５は、第５のヘッドマウント可能デバイス２００ｅを装着している。本明細書で述べる第１のヘッドマウント可能デバイス２００ａ、第２のヘッドマウント可能デバイス２００ｂ、第３のヘッドマウント可能デバイス２００ｃ、第４のヘッドマウント可能デバイス２００ｄ、及び第５のヘッドマウント可能デバイス２００ｅはそれぞれ、図２Ａ〜図２Ｃに示すヘッドマウント可能デバイス２００に関して具体的に述べた任意の特徴を含んでいる。さらに、各ヘッドマウント可能デバイス２００ａ〜２００ｅは、他の各ヘッドマウント可能デバイス２００ａ〜２００ｅ及び集中型コンピュータ３９０に無線で接続される。また、各ヘッドマウント可能デバイス２００ａ〜２００ｅは、集中型コンピュータ３９０と繋がれてもよい。
【００４０】
[061]  ３Ｄ空間３００は、病院の手術室などの部屋でよく、５人の対象者３８１〜３８５は、テーブル３９９に乗せられた患者に対する医療介入に関与する医療従事者などの従事者でよい。本開示の教示は、手術室又は医療従事者に限定されないが、便宜上、本明細書での教示のためのこの設定を繰り返し参照することがある。
【００４１】
[062]  手術室の例では、５人の対象者３８１〜３８５がそれぞれ、異なる任務を有し、異なる種類の情報を提供する異なる情報源に依拠する。また、５人の対象者３８１〜３８５は、同じ情報源に依拠する任務を有することもある。図３Ａで見られるように、５人の対象者３８１〜３８５がテーブル３９９の周りに配備されているため、単一のモニタを介して共通の情報源を５人の対象者３８１〜３８５に提供することは難しく、これは特に、テーブル３９９上の患者を視覚的に直接監視する必要がある従事者にとっては難しい。
【００４２】
[063]  ３Ｄ空間３００は、手術室などのエンクロージャであり、事前マッピングされており、したがって、３Ｄ空間３００内のあらゆる物理的オブジェクトは、本明細書で述べる協働的介入のための拡張現実の準備時にマッピングされる。したがって、３Ｄ空間に関する事前マッピングを使用して、５人の対象者３８１〜３８５それぞれに拡張現実を提供することができる。すなわち、事前マッピングは、変更不可能な物理的制約を提供し、仮想オブジェクトは、事前マッピングされた物理的制約に抵触しない位置で３Ｄ空間内に提供することができる。
【００４３】
[064]  図３Ａでは、ヘッドマウント可能デバイス２００ａ〜２００ｅを使用して、協働的介入のための拡張現実を提供する。各ヘッドマウント可能デバイス２００は、ヘッドマウント可能デバイス２００を装着している対象者のための透過型インターフェースを提供するように構成されており、したがって、現実が拡張されていないとき、対象者は、ヘッドマウント可能デバイス２００を通して見たときに物理的世界そのままの視野を与えられる。本明細書で述べるように現実が拡張されているとき、ヘッドマウント可能デバイス２００を使用して、物理的世界の視野に重畳された仮想オブジェクトによって物理的世界の視野を拡張する。
【００４４】
[065]  本明細書で述べるように、各対象者２８１〜２８５は、ヘッドマウント可能デバイス２００ａ〜２００ｅによって３Ｄ空間の専用の非共有部分を提供される。言い換えると、各ヘッドマウント可能デバイス２００ａ〜２００ｅは、別のヘッドマウント可能デバイス２００ａ〜２００ｅに関する３Ｄ空間の視野には現れない３Ｄ空間の専用部分を、対応する対象者に一意に提供する。本明細書では、５人の対象者３８１〜３８５のうちの１人だけの視野に示されるこれらの専用部分を非共有部分と呼ぶ。
【００４５】
[066]  また、本明細書で述べるように、５人の対象者３８１〜３８５の複数人が、ヘッドマウント可能デバイス２００ａ〜２００ｅによって３Ｄ空間の共通の共有部分を提供されることもある。言い換えると、複数のヘッドマウント可能デバイス２００ａ〜２００ｅは、対応する対象者に３Ｄ空間の同じ部分を提供してもよい。５つの対象者３８１〜３８５のうちの複数人の視野に示されるこれらの部分を、本明細書では共有部分と呼ぶ。
【００４６】
[067]  図３Ｂは、本開示の一態様による、図３Ａでの３Ｄ空間の別の図である。ここで、医療機器は、協働的介入のための拡張現実に関する拡張現実インターフェースを設けられている。図３Ｂでは、複数の異なる電子デバイスを使用して、テーブル３９９上の患者に関する医療情報を監視及び／又は表示する。
【００４７】
[068]  ビデオカメラ＃１  ３８３を使用して、医療介入中に患者のビデオフィードを提供する。拡張現実インターフェース３８３を使用して、拡張現実を介してビデオカメラ＃１  ３８３から従事者にビデオフィードを選択的に提供する。
【００４８】
[069]  医療機器コンピュータ＃１  ３８１を使用して、患者に付けた又は患者の周囲のセンサから医療情報を取得して表示する。拡張現実インターフェース３８６を使用して、拡張現実を介して従事者に医療情報を選択的に提供する。
【００４９】
[070]  また、医療機器コンピュータ＃２  ３８２を使用して、患者に付けた又は患者の周囲のセンサから医療情報を取得して表示する。拡張現実インターフェース３８７を使用して、拡張現実を介して従事者に医療情報を選択的に提供する。
【００５０】
[071]  集中型コンピュータ３９０が図３Ｂに示されており、少なくとも最初は、３Ｄ空間３００の共有部分を介して提供される拡張現実を制御するために使用される。上記のように、集中型コンピュータ３９０は、プロセッサ３９１、メモリ３９２、及び無線インターフェース３９３を含む。集中型コンピュータ３９０は、共有部分を閲覧できる機能を制限し、共有部分を介して提供されるフィードを変更できる機能を制限し、共有部分内でインタラクトできる機能を制限することによって、３Ｄ空間の共有部分を制御することができる。本明細書の他の箇所で述べるように、集中型コンピュータ３９０によって提供される制御は、例えば、認可されたユーザが例えばヘッドマウント可能デバイス２００を使用して、集中型コンピュータ３９０から別の認可されたユーザに共有部分の制御を切り替えるときに変わる。
【００５１】
[072]  図３Ｂの一例として、３Ｄ空間３００は、複雑な低侵襲性の構造的心疾患処置に使用される手術室に関するサンプルルームレイアウトである。この処置では、室内の複数の人々が、患者を治療するために共同で効率良く働く必要がある。これらの人々には、例えば以下の者が含まれる。
・麻酔を投与し、患者を監視する麻酔科医
・ＴＥＥプローブを位置決めし、超音波画像獲得を制御する心エコー図技師
・カテーテル、ガイドワイヤ、及び他のデバイスを操作して、患者に療法を送達するインターベンション医師＃１
・インターベンション医師＃１を補助するインターベンション医師＃２〜３
・適切なツール及びデバイスをインターベンション医師へ渡す看護師
・介入型Ｘ線システムの操作を補佐するＸ線技師
【００５２】
[073]  上記の例における人々が必要とする情報の例としては、以下のものを挙げることができる。
・術中Ｘ線（ライブイメージ、ロードマップ、参照画像）
・術中超音波（ＴＥＥ、ＩＣＥ、ＩＶＵＳなど）
・術前イメージング（超音波、ＣＴ、ＭＲＩ）
・患者の病歴
・患者のバイタル、血行力学的状態
・線量情報（スタッフ向け−ＤｏｓｅＡｗａｒｅ、又は患者用）
・様々な人々が見ている映像のライブビュー
・ライブイメージング上のオーバーレイ
・ターゲット／マーカ
【００５３】
[074]  上記の例では、拡張現実インターフェース３８６、拡張現実インターフェース３８７、及び拡張現実インターフェース３８８を使用して、拡張現実を使用して目に見える３Ｄ空間の共有部分に情報を提供することができる。これは、部屋全体にわたって複数のモニタを位置決めする必要をなくし、共有される拡張現実を使用している各認可された人に、患者、モニタ、及び互いを観察するための共通の視点を提供する助けとなる。
【００５４】
[075]  さらに、上記の例では、ある人が３Ｄ空間３００から離れるときでさえ、その人は、拡張現実を使用してアクセス権を有する。例えば、ヘッドマウント可能デバイスを装着している看護師が、部屋を出て機器を回収し、拡張現実を介して目に見える３Ｄ空間の第１の共有部分への通信及びアクセスを維持することができる。第１の共有部分への同じアクセスを、外部制御室に座っているスタッフメンバー、又は隣室での協議のために席を外している下級スタッフメンバーを監督する上級スタッフメンバーに提供することができる。
【００５５】
[076]  図４は、本開示の一態様による、協働的介入のための拡張現実に関する３Ｄ空間の共有部分の制御を示す論理的配置を示す。図４では、左側のソース４１１〜４１８の欄は、それぞれストリームの内外に切り替え可能である。右側の拡張現実デバイス４５１〜４５８の欄も、それぞれストリームの内外に切り替え可能である。ソース４１１〜４１８からのデータ、情報、及びコンテンツは、ストリームを介して拡張現実デバイス４５１〜４５８に選択的に提供され得る。
【００５６】
[077]  図４の中央の欄は、制御装置４３１、４３１、４３３の欄を示す。制御装置４３１は、拡張現実セッションのためのデフォルト制御装置であり、拡張現実セッションが始まると、制御装置４３１は、３Ｄ空間の共有部分にデータ、情報、及びコンテンツを提供するためにどのソース４１１〜４１８が使用されるかを最初に制御する。制御装置４３１はまた、どの拡張現実デバイス４５１〜４５８が３Ｄ空間の共有部分でデータ、情報及びコンテンツを受信するかを最初に制御することができる。制御装置４３１はまた、例えばユーザからの動的な命令に基づいて、所定の時間の経過に基づいて、又は拡張現実セッションの所定のセグメントの経過に基づいて、３Ｄ空間の共有部分の制御を制御装置４３２又は制御装置４３３に切り替える。
【００５７】
[078]  すなわち、上述したように、３Ｄ空間の共有部分に対して、制御装置４３１、４３２、又は４３３によって少なくとも３タイプの制御が実行される。制御装置４３１、４３２、又は４３３は、例えば以下のことによって制御を実行する。
・３Ｄ空間の共有部分に提供されるストリームに任意のソース４１１〜４１８を選択的に追加する、又はストリームから任意のソース４１１〜４１８を選択的に削除する。
・任意の拡張現実デバイス４５１〜４５８を、３Ｄ空間の共有部分に提供されたストリームへのアクセスに選択的に追加する、又はアクセスから選択的に削除する。
・ストリーム、及び３Ｄ空間の共有部分の制御を別の制御装置に選択的に渡す。
【００５８】
[079]  ソース４１１〜４１８及び拡張現実デバイス４５１〜４５８の通信アドレスを使用して、制御を実施することができる。例えば、各拡張現実デバイス４５１〜４５８は、一意の通信アドレスに対応し、通信アドレスは、ストリームに関する認可された宛先のリストに追加する、又はリストから削除することができる。同様に、各ソース４１１〜４１８は、一意の通信アドレスに対応し、通信アドレスは、ストリームに関する認可されたソースのリストに追加する、又はリストから削除することができる。
【００５９】
[080]  ソース４１１〜４１８と制御装置４３１〜４３３との間、及び制御装置４３１〜４３３と拡張現実デバイス４５１〜４５８との間にスイッチが示されているが、ストリームの内外にソース４１１〜４１８及び拡張現実デバイス４５１〜４５８を個別に切り替えるのに物理的スイッチは特に必要ない。むしろ、例えば図３Ａでのプロセッサ３９１とメモリ３９２、又は本明細書で述べる任意の他の拡張現実コンピュータ／コンピューティングデバイス内の任意の対応するプロセッサ／メモリの対を使用して、制御を論理的に実行及び実施することができる。
【００６０】
[081]  図５Ａは、本開示の一態様による、協働的介入のための拡張現実に関する別のヘッドマウント可能デバイスの上面図を示す。図４では、プロジェクタ２８３ｂと左ミラー２１２ｂとの組合せが、ディスプレイシステムの全体又は一部を形成する。同様に、プロジェクタ２８３ａと右ミラー２１２ａとの組合せが、ディスプレイシステムの全体又は一部を形成する。ディスプレイシステムは、プロジェクタ２８３ａ、２８３ｂが、ミラー２１２ａ、２１２ｂによって反射された光を、ヘッドマウント可能デバイス２００を装着している対象者の目に投影することによって動作する。プロジェクタ２８３ａ、２８３ｂは、図２のプロセッサ２８０ａ、２８０ｂと共に動作して、ヘッドマウント可能デバイス２００を装着している対象者の視野に重畳される仮想オブジェクトを生成することができる。プロセッサ２８０ａ、２８０ｂは、ヘッドマウント可能デバイス２００に関する各仮想オブジェクトの画像データを提供し、プロジェクタ２８３ａ、２８３ｂは、左ミラー２１２ｂ及び右ミラー２１２ａが反射する光を投影して、各仮想オブジェクトの画像を表示する。
【００６１】
[082]  ミラー２１２ａ、２１２ｂは、デジタル光処理（ＤＬＰ）プロジェクタ用のデジタルマイクロミラーデバイスＤＭＤとして配置された小さいミラーのマトリックスでよい。いずれにせよ、図４では、左ミラー２１２ｂ及び右ミラー２１２ａは透過型であり、したがって、左ミラー２１２ｂ及び右ミラー２１２ａによって光が反射されないとき、ヘッドマウント可能デバイス２００を装着している対象者は、そのままの物理的世界の視野を有する。しかし、プロジェクタ２８３ａ、２８３ｂは、動作中、左ミラー２１２ｂ及び右ミラー２１２ａと共に動作して、ヘッドマウント可能デバイス２００を装着している対象者の視界と重畳される仮想オブジェクトを生成することができる。
【００６２】
[083]  図５Ｂは、本開示の一態様による、協働的介入のための拡張現実に関する別のヘッドマウント可能デバイスの上面図を示す。図５では、透過型光学ディスプレイ２１１ｂは、左レンズ２１０ｂの後ろに設けられ、透過型光学ディスプレイ２１１ａは、右レンズ２１０ａの後ろに設けられる。画像プロセッサ２８１ｄは、透過型光学ディスプレイ２１１ｂの要素を制御し、画像プロセッサ２８１ｃは、透過型光学ディスプレイ２１１ａの要素を制御する。
【００６３】
[084]  図５では、画像プロセッサ２８１ｄと透過型光学ディスプレイ２１１ｂとの組合せが、ディスプレイシステムの全体又は一部を形成する。画像プロセッサ２８１ｃと透過型光学ディスプレイ２１１ａとの組合せが、ディスプレイシステムの全体又は一部を形成する。画像プロセッサ２８１ｃ、２８１ｄは、図２のプロセッサ２８０ａ、２８０ｂと共に動作して、ヘッドマウント可能デバイス２００を装着している対象者の視野に重畳される仮想オブジェクトを生成することができる。すなわち、プロセッサ２８０ａ、２８０ｂは、ヘッドマウント可能デバイス２００に関する各仮想オブジェクトの画像データを提供し、画像プロセッサ２８１ｃ、２８１ｄは、透過型光学ディスプレイ２１１ａ、２１１ｂの個々の要素を制御して、各仮想オブジェクトの画像を表示する。
【００６４】
[085]  例えば、透過型光学ディスプレイ２１１ａ、２１１ｂは、対象者が物理的世界と人工的に生成された仮想オブジェクトとを同時に閲覧することを可能にする。透過型光学ディスプレイ２１１ａ、２１１ｂは、例えば、透過型及び偏光型のＯＬＥＤ、導光光学素子、並びに個別に及び論理的に、すなわち図４のような投影ビームを用いずに制御することができるマトリックス状に配置された同様の材料を含む。透過型光学ディスプレイ２１１ａ、２１１ｂに使用することができる要素及び材料の例としては、エレクトロルミネセントディスプレイ要素、液晶ディスプレイ（ＬＣＤ）要素、及び導波管、反射コーティングが挙げられる。
【００６５】
[086]  図５Ａ及び図５Ｂは、拡張現実のための仮想オブジェクトの表示を生成するために使用することができる特定のディスプレイシステムの２つの例を示す。他のタイプのディスプレイシステムを使用して、本開示の教示と整合性のある仮想オブジェクトのそのような表示を生成することができること、及びこれらの２つの例示的な図が、本明細書での教示を実施することができるメカニズムの単なる代表例にすぎないことは明らかであろう。さらに、仮想オブジェクトは、ユーザの視界の中で互いに重畳されることがある。本明細書で述べるように、共有部分は、座標によって定義される指定された境界線を有するデータ層として定義され、データ層は、共有部分を投入するために使用されるビデオコンテンツなどのコンテンツに重畳されることがある。言い換えると、視覚データを含むデータは、１つの仮想オブジェクトとして別の仮想オブジェクトに動的に重畳されることがあり、次いで、両方の仮想オブジェクトが、拡張現実としてユーザの視界の中で重畳されることがある。
【００６６】
[087]  図６は、一般的なコンピュータシステム６００の例示的実施形態であり、コンピュータシステム６００に、協働的介入のための拡張現実の方法を実装することができる。コンピュータシステム６００は、本明細書に開示される方法又はコンピュータベースの機能の任意の１つ又は複数をコンピュータシステム６００に実施させるために実行することができる命令のセットを含むことができる。コンピュータシステム６００は、独立型デバイスとして動作する、又は例えばネットワーク６０３を使用して他のコンピュータシステム若しくは周辺デバイスに接続される。
【００６７】
[088]  ネットワーク化された展開では、コンピュータシステム６００は、サーバの容量内で、又はサーバ−クライアントユーザネットワーク環境でのクライアントユーザコンピュータとして、若しくはピアツーピア（又は分散）ネットワーク環境でのピアコンピュータシステムとして動作する。また、コンピュータシステム６００は、ヘッドマウント可能デバイス、据置き型コンピュータ、モバイルコンピュータ、パーソナルコンピュータ（ＰＣ）、ラップトップコンピュータ、タブレットコンピュータ、ワイヤレススマートフォン、個人用携帯情報端末（ＰＤＡ）、通信デバイス、又は、機械が取るべきアクションを指定する（順次又はその他の）命令セットの実行が可能な任意の他の機械など、様々なデバイスとして実装する、又は様々なデバイスに組み込むこともできる。コンピュータシステム６００は、そしてまたさらなるデバイスを含む一体型システム内にあるデバイスとして又はデバイス内に組み込むことができる。一実施形態では、コンピュータシステム６００は、音声、ビデオ、又はデータ通信を提供する電子デバイスを使用して実装することができる。さらに、コンピュータシステム６００が個別に示されているが、「システム」という用語は、１つ又は複数のコンピュータ機能を実施するために１つ又は複数の命令セットを個別に又は共同で実行するシステム又はサブシステムの任意の集合も含むものと解釈されるものとする。
【００６８】
[089]  図６に示すように、コンピュータシステム６００は、プロセッサ６１０を含む。コンピュータシステム６００用のプロセッサは、有形であり、非一時的である。本明細書で使用するとき、「非一時的」という用語は、状態の不変の特性としてではなく、ある期間続く状態の特性と解釈されるべきである。特に、「非一時的」という用語は、搬送波若しくは信号の特性、又は時と場所を問わず一時的にだけ存在する他の形態の特性など、一過性の特性を含まない。プロセッサは、製造物品及び／又は機械部品である。コンピュータシステム６００用のプロセッサは、本明細書において様々な実施形態で述べるような機能を実施するためにソフトウェア命令を実行するように構成される。コンピュータシステム６００用のプロセッサは、汎用プロセッサでも、特定用途向け集積回路（ＡＳＩＣ）の一部でもよい。また、コンピュータシステム６００用のプロセッサは、マイクロプロセッサ、マイクロコンピュータ、プロセッサチップ、制御装置、マイクロコントローラ、デジタル信号処理装置（ＤＳＰ）、状態機械、又はプログラマブルロジックデバイスでもよい。また、コンピュータシステム６００用のプロセッサは、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）などのプログラマブルゲートアレイ（ＰＧＡ）を含む論理回路、又は個別のゲート及び／又はトランジスタの論理を含む別のタイプの回路でもよい。コンピュータシステム６００用のプロセッサは、中央処理装置（ＣＰＵ）、グラフィックスプロセッシングユニット（ＧＰＵ）、又はその両方でよい。さらに、本明細書で述べる任意のプロセッサは、複数のプロセッサ、並列プロセッサ、又はその両方を含んでよい。複数のプロセッサが、単一のデバイス又は複数のデバイスに含まれる又はデバイスに結合される。
【００６９】
[090]  さらに、コンピュータシステム６００は、バス６０８を介して互いに通信することができるメインメモリ６２０及びスタティックメモリ６３０を含む。本明細書で述べるメモリは、データ及び実行可能な命令を格納することができる有形の記憶媒体であり、命令がそこに格納されている時間中は非一時的である。本明細書で使用するとき、「非一時的」という用語は、状態の不変の特性としてではなく、ある期間続く状態の特性と解釈されるべきである。特に、「非一時的」という用語は、搬送波若しくは信号の特性、又は時と場所を問わず一時的にだけ存在する他の形態の特性など、一過性の特性を含まない。本明細書で述べるメモリは、製造品及び／又は機械部品である。本明細書で述べるメモリは、コンピュータ可読媒体であり、そこから、データ及び実行可能な命令をコンピュータが読み取ることができる。本明細書で述べるメモリは、ランダムアクセスメモリ（ＲＡＭ）、読み出し専用メモリ（ＲＯＭ）、フラッシュメモリ、電気的にプログラム可能な読み出し専用メモリ（ＥＰＲＯＭ）、電気的に消去可能なプログラマブル読み出し専用メモリ（ＥＥＰＲＯＭ（登録商標））、レジスタ、ハードディスク、リムーバブルディスク、テープ、コンパクトディスク読み出し専用メモリ（ＣＤ−ＲＯＭ）、デジタルバーサタイルディスク（ＤＶＤ）、フロッピーディスク、ブルーレイディスク、又は当技術分野で知られている他の形態の記憶媒体でよい。メモリは、揮発性又は不揮発性、秘匿化及び／又は暗号化、非秘匿化及び／又は非暗号化でよい。
【００７０】
[091]  図示のように、コンピュータシステム６００は、液晶ディスプレイ（ＬＣＤ）、有機発光ダイオード（ＯＬＥＤ）、フラットパネルディスプレイ、ソリッドステートディスプレイ、又は陰極線管（ＣＲＴ）などのビデオディスプレイユニット６５０をさらに含む。さらに、コンピュータシステム６００は、キーボード／仮想キーボード、又はタッチセンサ式の入力画面、又は会話及び音声認識を用いた会話及び音声入力などの入力デバイス６６０と、マウス又はタッチセンサ式の入力画面若しくはパッドなどのカーソル制御デバイス６７０とを含む。また、コンピュータシステム６００は、ディスクドライブユニット６８０と、スピーカ又はリモートコントローラなどの信号生成デバイス６９０と、ネットワークインターフェースデバイス６４０とを含むこともできる。また、コンピュータシステム６００は、コンピュータシステム６００の周りの環境にいる１人又は数人のユーザのポーズ（例えば、腕の動き、目の動き、頭の動き）を追跡するセンサなどの追加の入力手段（図示せず）も含むこともある。
【００７１】
[092]  一実施形態では、図６に示すように、ディスクドライブユニット６８０は、コンピュータ可読媒体６８２を含み、コンピュータ可読媒体６８２に、１つ又は複数の命令セット６８４、例えばソフトウェアを埋め込むことができる。命令セット６８４は、コンピュータ可読媒体６８２から読み取ることができる。さらに、命令６８４は、プロセッサによって実行されるとき、本明細書で述べる方法及びプロセスの１つ又は複数を実施するために使用することができる。一実施形態では、命令６８４は、コンピュータシステム６００による実行中、メインメモリ６２０内、スタティックメモリ６３０内、及び／又はプロセッサ６１０内に完全に又は少なくとも部分的に常駐している。
【００７２】
[093]  代替実施形態では、特定用途向け集積回路（ＡＳＩＣ）、プログラマブルロジックアレイ、及び他のハードウェア構成要素などの専用ハードウェア実装を構築して、本明細書で述べる方法の１つ又は複数を実装することができる。本明細書で述べる１つ又は複数の実施形態は、モジュール間で及びモジュールを介して通信することができる関連の制御及びデータ信号を用いて、２つ以上の特定の相互接続されたハードウェアのモジュール又はデバイスを使用して機能を実装することができる。したがって、本開示は、ソフトウェア、ファームウェア、及びハードウェアの実装を包含する。本出願におけるいかなるものも、有形であり非一時的なプロセッサ及び／又はメモリなどのハードウェアではなくソフトウェアのみで実装される又は実装可能であると解釈されるべきではない。
【００７３】
[094]  本開示の様々な実施形態によれば、本明細書で述べる方法は、ソフトウェアプログラムを実行するハードウェアコンピュータシステムを使用して実施される。さらに、例示的な非限定的な実施形態では、実施は、分散処理、コンポーネント／オブジェクト分散処理、及び並列処理を含むことができる。仮想コンピュータシステム処理は、本明細書で述べる方法又は機能の１つ又は複数を実施するように構築することができ、本明細書で述べるプロセッサを使用して仮想処理環境をサポートすることができる。
【００７４】
[095]  本開示は、命令６８４を含む、又は伝搬信号に応答して命令６８４を受信して実行するコンピュータ可読媒体６８２を企図している。したがって、ネットワーク６０１に接続されたデバイスは、ネットワーク６０１を介して音声、ビデオ、又はデータを通信することができる。さらに、命令６８４は、ネットワークインターフェースデバイス６４０によってネットワーク６０１を介して送信又は受信することができる。
【００７５】
[096]  図７は、本開示の一態様による、協働的介入のための拡張現実に関する３Ｄ空間内の位置に固定された共有仮想オブジェクトを含む例示的空間を示す。図７では、共有仮想オブジェクト７１０が３Ｄ空間３００内に示されている。図７での共有仮想オブジェクトは３Ｄオブジェクトであり、第１のヘッドマウント可能デバイス２００ａ、第２のヘッドマウント可能デバイス２００ｂ、第３のヘッドマウント可能デバイス２００ｃ、第４のヘッドマウント可能デバイス２００ｄ、及び第５のヘッドマウント可能デバイス２００ｅを装着する対象者によって共有される確保されている空間を表す。図７では、共有仮想オブジェクト７１０は、テーブル３９９の上などの固定位置にある。したがって、第１のヘッドマウント可能デバイス２００ａ、第２のヘッドマウント可能デバイス２００ｂ、第３のヘッドマウント可能デバイス２００ｃ、第４のヘッドマウント可能デバイス２００ｄ、及び第５のヘッドマウント可能デバイス２００ｅを装着する対象者の誰もが、共有仮想オブジェクト７１０を別の角度から閲覧することができ、共有仮想オブジェクト７１０は、任意の対象者の視野からわたってもよい。
【００７６】
[097]  一実施形態では、２次元（２Ｄ）ディスプレイが共有仮想オブジェクト７１０に配置され、１つ又は複数の指定されたソースからの情報が２Ｄディスプレイを介して提供される。さらに、第１のヘッドマウント可能デバイス２００ａ、第２のヘッドマウント可能デバイス２００ｂ、第３のヘッドマウント可能デバイス２００ｃ、第４のヘッドマウント可能デバイス２００ｄ、及び第５のヘッドマウント可能デバイス２００ｅ内のセンサは、対象者の頭が回転される方向、さらには対象者の目が見ている方向を感知する。その結果、共有仮想オブジェクト７１０内の２Ｄディスプレイは、２Ｄディスプレイに表示される情報を各対象者が最大限に閲覧することができるように、各対象者の方向に特に向けられる。すなわち、ヘッドマウント可能デバイス２００ａ〜２００ｅを装着している５人の対象者がテーブル３９９及び共有仮想オブジェクト７１０の周りに位置していても、共有仮想オブジェクト内の２Ｄ情報ディスプレイが各対象者に現れて、各対象者に直接向く。図７での共有仮想オブジェクト７１０の樽形は、内部の２Ｄ情報ディスプレイを、別の固定された仮想オブジェクトに侵入することなく任意の横方向に向けることができることを保証するように特に提供される。
【００７７】
[098]  本開示の一態様による、ヘッドマウント可能デバイスを装着した複数の対象者に関する視界内の位置に固定された共有仮想オブジェクトを含む例示的空間を示す。図８で、３つの異なる視界８００ａ、８００ｂ、８００ｃは、図３及び図７での第１のヘッドマウント可能デバイス２００ａ、第２のヘッドマウント可能デバイス２００ｂ、及び第３のヘッドマウント可能デバイス２００ｃの視点を概して表す。テーブル３９９は、視界８００ａ、８００ｂ、８００ｃでの様々な相対位置で示されている。３つの視界８００ａ〜８００ｃ全てにおいて、共有仮想オブジェクト８１０は、右上隅の同じ場所に相対的に示されている。
【００７８】
[099]  視界８００ａには、第３のヘッドマウント可能デバイス２００ｃ及び第４のヘッドマウント可能デバイス２００ｄが示されている。視界８００ｂには、第４のヘッドマウント可能デバイス２００ｄ及び第５のヘッドマウント可能デバイス２００ｅが示されている。視界８００ｃには、第１のヘッドマウント可能デバイス２００ａ及び第２のヘッドマウント可能デバイス２００ｂが示されている。すなわち、テーブル３９９及び５つの対象者３８１〜３８５のうちの他の者は、視界８００ａ、８００ｂ、８００ｃ内の可変位置に現れることがあるが、共有仮想オブジェクト８１０は視界の端に固定されている。
【００７９】
[0100]  情報源からの１つ又は複数のディスプレイなど、共有仮想オブジェクト８１０を介して２Ｄ情報ディスプレイを提供することができる。このようにして、ヘッドマウント可能デバイス２００ａ〜２００ｃを装着している対象者がどの方向を向いているかにかかわらず、共有仮想オブジェクト８１０内の２Ｄ情報ディスプレイに示される情報源からの情報は、対象者に「追従」する。
【００８０】
[0101]  共有仮想オブジェクト８１０は、複数の異なるユーザに関する視点の同じ場所、すなわち共有領域の場所に固定されて示されているが、ユーザは、共有仮想オブジェクト８１０の場所（すなわち、ユーザの視点において必要なときに）又は３Ｄ空間の共有部分の場所のいずれかを動かすこともできる。すなわち、様々なユーザに情報を提供する３Ｄ空間の共有部分は、認可されているときに様々なユーザによって３Ｄ空間の様々な場所に個別に位置及び／又は位置変更される。それに従って、共有仮想オブジェクト８１０又は別の共有拡張現実オブジェクトは、そのユーザが自分にとって最適であると判断した場所に配置することができる（すなわち、ユーザごとに異なるスポットにある可能性がある）。
【００８１】
[0102]  図９は、代表的な実施形態による、協働的介入のための拡張現実に関する制御プロセスを示す。図９では、ステップＳ９０２で、初期ソースが３Ｄ空間の共有部分に割り当てられる。ステップＳ９０４で、初期ＡＲデバイスが、３Ｄ空間の共有部分に割り当てられる。ステップＳ９１０で、ＡＲセッションが開始される。
【００８２】
[0103]  ステップＳ９２０、Ｓ９３０、及びＳ９４０での一連のチェックが、ＡＲセッション中に変更が行われるべきかどうかを決定した。ステップＳ９２０でのチェックは、制御装置を変更するための認可された要求が成されているどうかである。制御装置が変更されるべきである場合、ステップＳ９５０で制御装置が変更される。制御装置が変更されるべきであるかどうかに関係なく、ステップＳ９３０での次の決定は、ソースを変更するための認可された要求が成されているかどうかである。ソースが変更されるべきである場合、ステップＳ９６０でソースが変更される。ソースが変更されるべきであるかどうかに関係なく、ステップＳ９４０での次の決定は、ＡＲデバイスを変更するための認可された要求が成されているかどうかである。ＡＲデバイスが変更されるべきである場合、ステップＳ９７０でＡＲデバイスが変更される。ＡＲデバイスが変更されるべきかどうかに関係なく、プロセスは戻って、ステップＳ９１０でＡＲセッションを継続する。
【００８３】
[0104]  さらに、共有領域の制御は、共有領域内のデータのソースの制御を含むが、制御は、ポインタ又はトリガなど、共有領域内の機能の制御も含む。例えば、制御は、共有領域内の３Ｄモデルを操作（回転、拡大、位置決め）することを誰が認可されており、誰が３Ｄモデルにターゲットを配置できるかということを含む。したがって、３Ｄモデルに関する制御は、共有領域内で様々な機能を実施するために誰が認可されているかを含む。一実施形態では、ユーザは、自分の視野で共有領域内のオブジェクトを操作することができるが、制御は、その操作が他のユーザの視野で他のユーザに対して示されるかどうかを含む。言い換えると、いくつかの実施形態では、共有領域の制御は、ユーザの入力（共有領域内での操作）が他のユーザに分散されるかどうかを含む。３Ｄ空間の共有部分の制御を示すいくつかの例が、図１６Ａ〜図１６Ｃに関して以下に示されて説明される。
【００８４】
[0105]  上述したように、図９において、ＡＲセッション中に３Ｄ空間の共有部分の制御を実行することができ、したがって、ソースと宛先（ＡＲデバイス）の制御を変更することができる。図９での制御は、所定の認可に従って制御が別の制御装置に渡されるまで、コンピュータ又はヘッドセットなどの単一の制御装置によって実行することができる。
【００８５】
[0106]  図１０は、代表的な実施形態による、協働的介入のための拡張現実に関する制御テーブルを示す。図１０において、制御テーブル１０００は、共有情報セクション１０１０と非共有情報セクション１０５０とを含む。共有情報セクション１０１０は、ソースセクション１０１１と、ソースセクション１０１１のための一次制御セクション１０１４と、ＡＲ表示セクション１０１２と、ＡＲ表示セクション１０１２のための一次制御セクション１０１６とを含む。図１０での制御テーブルを使用して、＃１、＃２、＃３、＃４、＃５、＃６、＃７、及び＃８の番号が付された８つのソースと、＃１、＃２、＃３、＃４、＃５、＃６、＃７、及び＃８の番号が付された８つのＡＲデバイスとの選択、並びに＃１、＃２、及び＃３の番号がそれぞれ付された３つの一次制御装置の選択を可能にする。すなわち、図１０において、ソースセクション１０１１は、ＡＲ表示セクション１０１２とは独立して選択され、したがって、共有部分の制御は、制御の異なる側面に関して分散される。
【００８６】
[0107]  図１０では、８つの別個のＡＲデバイス１０５１〜１０５８がそれぞれ、非共有情報に関する最大３つのソースに関連付けられる。すなわち、図１０では、ヘッドセットなどの異なるＡＲデバイスは、個々のユーザの任務に特有の情報など、非共有情報に関連付けることができる。例として、Ｘ線技師にソースとして介入前のＸ線を割り当てて、ＡＲセッションに対応する医療介入中にＸ線を簡単に参照できるようにする。
【００８７】
[0108]  図１１は、代表的な実施形態による、協働的介入と共に拡張現実のための３Ｄ空間を示す図である。図１１では、ユーザのための視野が示されており、ここで、ユーザの視野の領域は共有領域として識別されている。ユーザは、共有領域内のコンテンツを変更することを認可され、画面を領域内にドラッグアンドドロップして、共有領域を提供されている他のユーザと共有することができる。ユーザは、異なるグループの他者と視野を共有する複数の共有領域を有していてもよい。図１１では、２つの異なる領域が、異なる共有領域、すなわち共有領域＃１及び共有領域＃２として強調表示されている。
【００８８】
[0109]  図１１では、異なる共有領域は、ユーザによって制御される第１の共有領域に関しては黄色の境界又は陰影、同じユーザによって制御される第２の共有領域に関しては緑色の境界又は陰影など、異なる色で強調表示される。共有されていない（すなわち、ユーザの個人的な表示用の）他の画面は、第３の色で強調表示されるか、又は全く表示されない。
【００８９】
[0110]  専用共有領域は、その専用共有領域へのアクセス権を有する全てのユーザに対して、部屋内の同じ固定された位置でよく、これは、図７での共有仮想オブジェクト７１０の場合と同様であり、例えば仮想画面が３Ｄ空間内の既存の物理的オブジェクトにオーバーレイされるときに有用である。さらに、専用共有領域内の画面は、ユーザによって使用される拡張現実デバイスのセンサを使用して決定されるように、３Ｄ空間内の各ユーザに垂直に向けられる。さらに、３Ｄホログラムが拡張現実オブジェクトとして共有される。
【００９０】
[0111]  例として、仮想画面は、介入の対象でないエリア内の患者、又は３Ｄ空間内の物理的ディスプレイ画面にオーバーレイされる。拡張現実領域は、既知の標準環境マッピングを使用して３Ｄ空間に固定することができ、したがって、３Ｄ空間を使用する拡張現実の任意のユーザに、認可されているときには、同じ拡張現実オブジェクトを提供することができる。既に述べたマッピングは、拡張現実オブジェクトがオーバーレイ又は他の形で配置される可動物理ディスプレイなどのポータブル／可動オブジェクトを正確に固定するために、オブジェクト認識及びマーカ検出を含むことができる。
【００９１】
[0112]  さらに、共有拡張現実領域はミラー表示でよく、したがって、各ユーザは自分の視野に合うように自分の共有ウィンドウの位置を設定することができる。これは、図８での共有仮想オブジェクト８１０の視野に類似している。ただし、各ユーザは、このとき、自分の視野内で共有仮想オブジェクト８１０の場所を移動させることができる。図８では、共有仮想オブジェクト８１０は、常に見えるように各ユーザに追従するように構成されたウィンドウでよく、これは、拡張現実ユーザのグループに必要とされる共有仮想オブジェクト８１０に患者のバイタル又はライブ介入的Ｘ線画像が提供されるときなど、安全目的のために重要であり得る。
【００９２】
[0113]  さらに、認可されたユーザのコマンドに応じて、又は特定のデバイスがオフになって共有領域に関するフィードを提供しなくなったときなど、拡張現実セッションでの所定の段階の通過に基づいて、共有領域が非表示にされ得る。認可されたユーザは、拡張現実デバイス（例えば、ヘッドセット）のセンサを使用して、又は３Ｄ空間内のフットペダルなどの制御機構を使用して、共有ウィンドウをオン又はオフにすることができる。
【００９３】
[0114]  さらに、共有領域へのユーザの追加は、ユーザによって使用される拡張現実デバイスのセンサを使用して、例えば、音声コマンド、ジェスチャ、又は、リストからの人の拡張現実画像の選択によって実施することができる。ユーザは、室内にいる人の方向を向いて、「有効化」コマンドを使用することによって、共有領域のためのコマンドを提供することもできる。
【００９４】
[0115]  共有仮想オブジェクト８１０に関して述べたように、例えば安全目的のために、拡張現実オブジェクトの共有視野をユーザのグループに強制することが必要なこともある。例えば、特定の事象が発生したときに、特定のディスプレイ又は視野を一部又は全てのユーザにプッシュすることが重要となり得る。図１３に関して以下に述べる一実施形態では、トリガは、共有された「アラート」領域をユーザのグループの視野にプッシュするように設定される。そのようなトリガは、例えば、患者を監視している医療デバイスが、バイタルが特定のしきい値を下回ったと判断したときに設定することができ、この場合、バイタルサインダッシュボードが、拡張現実を使用するユーザのグループの視野内にプッシュされる。別の例として、放射線使用量が所定の閾値を超えたときに関してトリガを設定することができ、この場合、拡張現実を使用しているユーザのグループの視野に警告インジケータがプッシュされる。
【００９５】
[0116]  図１２は、代表的な実施形態による、協働的介入と共に拡張現実を使用する協働を示す。図３では、２つの拡張現実デバイス１２１０及び１２２０を有する２人のユーザが図示されており、仮想カーソルを同じターゲットに位置決めしている。このようにして、２人のユーザがインタラクトして、例えば医療機器に関する接触位置にカーソルを位置決めすることによって同意を示す。仮想カーソルが３Ｄ空間の共有部分の接触位置に操作され、それにより、双方の拡張現実ユーザは、同様に物理的にインタラクトすることが可能な場所に物理的に位置していない場合でさえインタラクトすることができる。
【００９６】
[0117]  例えば拡張現実画面やホログラムなどの共有オブジェクトへのアクセス権を与えられることによってユーザが３Ｄ空間の共有部分を共有できるようになると、ユーザは、共有されるオブジェクトの文脈で共同でインタラクトする手段を提供される。例えば、本明細書で使用する医療の例では、心エコー検査技師とインターベンション医師が、３Ｄホログラム上にターゲットを一緒に配置して、例えば、弁周囲漏出に対するアプローチの実施に同意することを望むこともある。インタラクトは、以下のようないくつかの異なるやり方で行うことができる。
・ある時点で１人のユーザのみがインタラクトの制御権を有するマスタ−スレーブ構成
・図１２に示すように、各ユーザがインタラクトできる共有構成
・第２のユーザによる「ガイド」インタラクトを伴うユーザの視野への仮想オーバーレイ
・マスタイネーブル構成
【００９７】
[0118]  共有構成は、例えばジェスチャやヘッドコントロールなどによってカーソルを制御することによって、図１２に示すように両方のユーザが同じスポットを示しているときにのみターゲットを配置する機能を含む。仮想オーバーレイは、第１のユーザが第２のユーザのライブビューを見ているときに特に有用であり、第１のユーザは、第２のユーザに周り（例えば、左若しくは右又は上若しくは下）を見るように頼むためのアイコンをオーバーレイすることができ、又は第２のユーザに、特定のボタンを押す又は特定のオブジェクトに触れるように指示することができる。
【００９８】
[0119]  マスタイネーブル構成では、１人のスレーブユーザが共有拡張現実ウィンドウ内の何らかの要素とのインタラクト及び設定を行うことが可能にされるが、変更は、マスタユーザによる有効化によってのみ行われる。マスタイネーブル構成を使用して、物理的機器を制御することができる。例えば、リモートユーザが仮想ボタンとインタラクトして、例えばｃアームを位置決めする又は画像獲得を変更することができるように、共有領域内の仮想ボタンが提供される。変更は、リモートユーザによって設定され得るが、ローカルユーザが例えば音声、ジェスチャ、フットペダル、ボタン押下などによって認可を与えた後でのみ有効になる。
【００９９】
[0120]  図１３は、代表的な実施形態による、協働的介入のための拡張現実に関する別の制御プロセスを示す。図１３で、プロセスは、ステップＳ１３０２でのデフォルト視覚情報のデフォルト表示から始まる。デフォルト視覚情報は、３Ｄ空間の共有部分の制御装置によって指定されたフィード、例えば、患者を監視する機器からのフィード、又はＸ線画像などの固定画像を示すフィードからのものである。
【０１００】
[0121]  図１３のプロセスにおいて、ステップＳ１３０４で、トリガに関して反復チェックが行われる。ステップＳ１３０４でトリガが検出された場合（Ｓ１３０４＝Ｙｅｓ）、ステップＳ１３０６でデフォルトがオーバーライドされ、共有ウィンドウの制御は、トリガに対応する情報に自動的に戻る。例えば、トリガに基づく視覚情報が３Ｄ空間の共有部分に配置され、したがってデフォルト視覚情報がオーバーライドされる。トリガは、医学的状態又は環境的状態（例えば放射線）に基づくトリガでよく、オーバーライド視覚情報は、３Ｄ空間の共有部分に表示されたアラームでよい。
【０１０１】
[0122]  ステップＳ１３０８で、医学的状態が解消されたときなど、トリガが終了するかどうかの反復チェックが行われる。トリガが終了すると（Ｓ１３０８＝Ｙｅｓ）、３Ｄ空間の共有部分の制御は、ステップＳ１３１０でのデフォルト視覚情報の表示に戻る。
【０１０２】
[0123]  図１４は、代表的な実施形態による、協働的介入のための拡張現実に関するタイムラインを示す。図１４では、３つの異なる共有部分制御１４０１、１４０２、及び１４０３が示されている。各共有部分制御は、拡張現実セッションのセグメントに基づいて、それぞれの共有部分＃１、＃２、及び＃３の様々な制御を示す。言い換えると、共有部分の制御は、図１４に従って事前に計画され、したがって、拡張現実セッションが存在するタイムラインのセグメントに基づいて、あるユーザから次のユーザに制御が渡される。当然、図１３と同様にトリガを使用して、又は制御権を与えられているデフォルトユーザが、セグメントに関して３Ｄ空間の共有部分の制御権を有するように別のユーザを指定したとき、制御をオーバーライドすることができる。
【０１０３】
[0124]  図１５Ａ〜図１５Ｃは、代表的な実施形態による、協働的介入のための拡張現実のための３つの別個の拡張現実デバイスに関する視界を示す。図１５Ａ〜図１５Ｃでは、拡張現実を使用する異なるユーザに関して３つの異なる視野が表示されている。例えば、図１５Ａでは、第１の共有仮想オブジェクト８１０及び第２の共有仮想オブジェクト８１５が拡張現実視野の左側に示されている。図１５Ｂでは、第１の共有仮想オブジェクト８１０及び第２の共有仮想オブジェクト８１５は、拡張現実視野の上部に示されている。図１５Ｃでは、第１の共有仮想オブジェクト８１０及び第２の共有仮想オブジェクト８１５が拡張現実視野の左側に示されているが、３つの非共有部分８５２、８５３、及び８５４が拡張現実視野の右側に示されている。図１５Ｃの例は、５つの異なる情報ソースを同時に処理することによってリモートユーザがオーバーロードされないように、医療介入の様々な側面を遠隔で監視するように割り当てられたリモートユーザである。
【０１０４】
[0125]  図１６Ａは、代表的な実施形態による、協働的介入のための拡張現実に関するプロセスフローを示す。図１６Ａでは、拡張現実ディスプレイデバイス＃１  １６００Ａは、プロセスステップ１Ａで共有部分を最初に作成し、プロセスステップ１Ｂで拡張現実ディスプレイデバイス＃２  １６００Ｂ、＃３  １６００Ｃ、及び＃４  １６００Ｄに通知する。プロセスステップ２Ａで、拡張現実ディスプレイデバイス＃１  １６００Ａは、共有部分に関するコンテンツを提供するようにソース＃１  ３８１に要求し、プロセスステップ２Ｂで、ソース＃１  ３８１は、共有部分に関してコンテンツ＃１を拡張現実ディスプレイデバイス＃１  １６００Ａに提供する。プロセスステップ２Ｃで、拡張現実ディスプレイデバイス＃１  １６００Ａは、共有部分にコンテンツ＃１を投入し、コンテンツ＃１を拡張現実ディスプレイデバイス＃２  １６００Ｂ、＃３  １６００Ｃ、及び＃４  １６００Ｄに中継し、それらのデバイスそれぞれが同じことを行うようにする。
【０１０５】
[0126]  それに従って、図１６Ａの実施形態では、共有部分、共有部分を定義するデータ、及び共有部分を投入するコンテンツ＃１は、拡張現実ディスプレイデバイス＃１によって調整及び制御される。共有部分でインタラクトするために、拡張現実ディスプレイデバイス＃２  １６００Ｂ、＃３  １６００Ｃ、及び＃４  １６００Ｄはいずれも、追加データの表示を拡張現実ディスプレイデバイス＃１に要求できる。一例として、共有部分は、コンテンツ＃１及び他のソースからの任意の他のコンテンツに重畳されたデータ層でよい。拡張現実ディスプレイデバイス＃２  １６００Ｂ、＃３  １６００Ｃ、及び＃４  １６００Ｄはいずれも、カーソルを示すデータを拡張現実ディスプレイデバイス＃１  １６００Ａに提供することができ、それにより、拡張現実ディスプレイデバイス＃１  １６００Ａは、共有部分を定義するデータ層を制御する。拡張現実ディスプレイデバイス＃１  １６００Ａは、データ層にカーソルを追加し、それにより、共有部分が、次のリフレッシュで全ての拡張現実ディスプレイデバイス＃１  １６００Ａ、＃２  １６００Ｂ、＃３  １６００Ｃ、及び＃４  １６００Ｄに関して更新される。共有部分を定義するデータ層は、毎秒２〜１００回など、頻繁にリフレッシュ及び更新され、したがって、各拡張現実ディスプレイデバイス＃２  １６００Ｂ、＃３  １６００Ｃ、及び＃４  １６００Ｄが全て、共有部分での同時表示のために独自のカーソルを提供する場合でも、カーソルは、リアルタイム又はほぼリアルタイムでの共有空間へのアクセス権を有する他の全てのデバイスに共通に表示される。上記のように、この実施形態における共有部分を定義するデータ層は、拡張現実ディスプレイデバイス＃１  １６００Ａによって制御され、したがって、データを追加するための全ての要求は、拡張現実ディスプレイデバイス＃１  １６００Ａによって調整及び制御される。
【０１０６】
[0127]  図１６Ｂは、代表的な実施形態による、協働的介入のための拡張現実に関する別のプロセスフローを示す。図１６Ｂでは、拡張現実ディスプレイデバイス＃１  １６００Ａは、ここでも、プロセスステップ１Ａで共有部分を最初に作成し、プロセスステップ１Ｂで拡張現実ディスプレイデバイス＃２  １６００Ｂ、＃３  １６００Ｃ、及び＃４  １６００Ｄに通知する。プロセスステップ２Ａで、拡張現実ディスプレイデバイス＃１  １６００Ａは、ソース＃１３８１に、共有部分に関するコンテンツを拡張現実ディスプレイデバイス＃２  １６００Ｂ、＃３  １６００Ｃ、及び＃４  １６００Ｄのそれぞれに直接提供するように要求し、したがって、プロセスステップ２Ｂで、ソース＃１  ３８１は、拡張現実ディスプレイデバイス＃２  １６００Ｂ、＃３  １６００Ｃ、及び＃４  １６００Ｄに通知する。プロセスステップ２Ｃで、ソース＃１  ３８１は、例えば異なるデバイスのコンテンツ＃１を直接個別にアドレス指定することによって、拡張現実ディスプレイデバイス＃１  １６００Ａ、＃２  １６００Ｂ、＃３  １６００Ｃ、及び＃４  １６００Ｄの全てにコンテンツを提供する。
【０１０７】
[0128]  それに従って、図１６Ｂの実施形態では、共有部分、及び共有部分を画定するデータは、拡張現実ディスプレイデバイス＃１によって調整及び制御されるが、コンテンツ＃１は、ソース＃１  ３８１によって別個に提供される。それにもかかわらず、共有部分でインタラクトする目的のために、図１６Ｂの実施形態は、図１６Ａの実施形態と同様に動作する。すなわち、例えば、共有部分が、コンテンツ＃１及び他のソースからの任意の他のコンテンツに重畳されたデータ層であるときなど、拡張現実ディスプレイデバイス＃２  １６００Ｂ、＃３  １６００Ｃ、及び＃４  １６００Ｄのいずれも、追加のデータを表示することを拡張現実ディスプレイデバイス＃１に要求できる。拡張現実ディスプレイデバイス＃２  １６００Ｂ、＃３  １６００Ｃ、及び＃４  １６００Ｄはいずれも、カーソルを示すデータを拡張現実ディスプレイデバイス＃１  １６００Ａに提供することができ、それにより、拡張現実ディスプレイデバイス＃１  １６００Ａは、共有部分を定義するデータ層を制御する。拡張現実ディスプレイデバイス＃１  １６００Ａは、データ層にカーソルを追加し、それにより、共有部分が、次のリフレッシュで全ての拡張現実ディスプレイデバイス＃１  １６００Ａ、＃２  １６００Ｂ、＃３  １６００Ｃ、及び＃４  １６００Ｄに関して更新される。上記のように、共有部分を定義するデータ層は、拡張現実ディスプレイデバイス＃１  １６００Ａによって制御され、したがって、データを追加するための全ての要求は、拡張現実ディスプレイデバイス＃１  １６００Ａによって調整及び制御される。
【０１０８】
[0129]  図１６Ｃは、代表的な実施形態による、協働的介入のための拡張現実に関する別のプロセスフローを示す。図１６Ｃにおいて、集中型コンピュータ３９０は、プロセスステップ１Ａ１で、拡張現実ディスプレイデバイス＃１  １６００Ａからの要求に基づいて共有部分を作成する。プロセスステップ１Ａ２で、集中型コンピュータ３９０は、共有空間を作成し、プロセス１Ｂで、集中型コンピュータ３９０は、全ての他の拡張現実ディスプレイデバイス＃２  １６００Ｂ、＃３  １６００Ｃ、及び＃４  １６００Ｄに通知する。プロセスステップ２Ａで、拡張現実ディスプレイデバイス＃１  １６００Ａは、ソース＃１  ３８１に、共有部分に関するコンテンツを提供するよう要求し、プロセスステップ２Ｂで、集中型コンピュータ３９０がソース＃１に連絡する。プロセスステップ＃２Ｃで、ソース＃１  ３８１は、４つの拡張現実ディスプレイデバイス＃１  １６００Ａ、＃２  １６００Ｂ、＃３  １６００Ｃ、及び＃４  １６００Ｄ全てにコンテンツ＃１を直接提供する。当然、ソース＃１  ３８１は、代替として、コンテンツ＃１を集中型コンピュータ３９０に直接提供し、集中型コンピュータ３９０は、コンテンツ＃１を全ての拡張現実ディスプレイデバイス＃１  １６００Ａ、＃２  １６００Ｂ、＃３  １６００Ｃ、及び＃４  １６００Ｄに中継する。
【０１０９】
[0130]  それに従って、図１６Ｃの実施形態では、共有部分、共有部分を定義するデータ、及び場合によってはソース＃１  ３８１からのコンテンツ＃１を、拡張現実ディスプレイデバイス＃１  １６００Ａの要求などで、集中型コンピュータ３９０によって全て調整及び制御することができる。共有部分でインタラクトするために、図１６Ｃの実施形態は、全ての要求が集中型コンピュータ３９０によって調整及び制御されることを必要とすることによって動作する。すなわち、拡張現実ディスプレイデバイス＃１  １６００Ａ、＃２  １６００Ｂ、＃３  １６００Ｃ、及び＃４  １６００Ｄのいずれも、共有部分がコンテンツ＃１及び他のソースからの任意の他のコンテンツに重畳されたデータ層であるときなどに、追加のデータを表示することを集中型コンピュータ３９０に要求することができる。拡張現実ディスプレイデバイス＃１  １６００Ａ、＃２  １６００Ｂ、＃３  １６００Ｃ、及び＃４  １６００Ｄのいずれも、共有部分を定義するデータ層を集中型コンピュータ３９０が制御するように、集中型コンピュータ３９０にカーソルを示すデータを提供することができる。集中型コンピュータ３９０は、データ層にカーソルを追加し、それにより、共有部分が、次のリフレッシュで全ての拡張現実ディスプレイデバイス＃１  １６００Ａ、＃２  １６００Ｂ、＃３  １６００Ｃ、及び＃４  １６００Ｄに関して更新される。上記のように、共有部分を定義するデータ層は、集中型コンピュータ３９０によって制御され、それにより、データを追加するための全ての要求が、集中型コンピュータ３９０によって調整及び制御される。
【０１１０】
[0131]  図１６Ａ〜図１６Ｃの実施形態は、コンテンツ＃１を含む２Ｄ画面の文脈で述べているが、共有部分は、３Ｄコンテンツを含む３Ｄ空間でもよい。したがって、カーソル、さらには３Ｄオブジェクトは、例えば単一の制御装置の調整及び制御によって、これらの実施形態のいずれかに適合する共有部分内の３Ｄコンテンツに許容可能に重畳させることができる。
【０１１１】
[0132]  さらに、上述したインタラクトの例では主に一貫性のためにカーソルを使用しているが、インタラクトは、例えば、仮想ボタンを押す、又はボード上の文字を個別に移動させて互いのスペルを訂正することも含まれる。したがって、インタラクトは、共有部分で可能になり、物理的空間での物理的インタラクトに類似した多くの異なる形式の仮想インタラクトを含むものと理解される。
【０１１２】
[0133]  それに従って、協働的介入のための拡張現実は、３Ｄ空間の共有部分の複数の異なる種類の制御を可能にする。共有部分を制御している制御装置は、共有部分を介して提供される情報のソースを変更することができ、共有部分にアクセスすることを認可された（さらにはアクセスすることを必要とされる）拡張現実デバイスを変更することができ、別の制御装置に制御を渡すことによって共有部分の制御を変更することができる。
【０１１３】
[0134]  本明細書では拡張現実ヘッドセットを使用して様々な実施形態を示すが、３Ｄ空間の共有部分のための拡張現実制御装置を、３Ｄ空間内の集中型コンピュータ３９０又はさらにはリモートコンピュータに提供することもできる。
【０１１４】
[0135]  さらに、本明細書における様々な実施形態では、制御の態様が、拡張現実セッションに関して事前に計画されているものとして示されているが、制御は拡張現実セッション中に動的に開始又は変更されてもよい。例えば、認可されたユーザは、拡張現実ヘッドセットを装着して手術室（すなわち３Ｄ空間）に入り、拡張現実ヘッドセットのセンサを介して３Ｄ空間の共有部分をアクティブ化する。認可されたユーザは、例えば、指定されたソースからの情報が手術室の事前に指定された拡張現実部分に提供されるべきであることを告知する。或いは、認可されたユーザは、ジェスチャを使用して共有部分、指定されたソース、及び受信側を開始する。
【０１１５】
[0136]  いくつかの例示的実施形態を参照して、協働的介入のための拡張現実を述べてきたが、使用してきた単語は、限定のための単語ではなく、説明及び例示のための単語であることを理解されたい。現在記載されている及び修正される添付の特許請求の範囲の範疇で、その態様での協働的介入のための拡張現実の範囲及び精神から逸脱することなく、変更を行うことができる。協働的介入のための拡張現実を、特定の手段、材料、及び実施形態を参照して述べてきたが、協働的介入のための拡張現実は、開示した詳細に限定されることを意図されていない。協働的介入のための拡張現実は、添付の特許請求の範囲の範囲内にある全ての機能的に等価な構造、方法、及び用途を網羅する。
【０１１６】
[0137]  本明細書で述べる実施形態の例示は、様々な実施形態の構造の全般的な理解を提供することを意図されている。これらの例示は、本明細書で述べる開示の全ての要素及び特徴の完全な説明となるようには意図されていない。他の多くの実施形態は、本開示を検討すれば当業者には明らかになる。本開示から、他の実施形態を利用及び導出することができ、本開示の範囲から逸脱することなく、構造的及び論理的な置換及び変更を行うことができる。さらに、例示は、代表例にすぎず、縮尺通りには描かれていないことがある。例示における比率の中には誇張されているものも、最小化されているものもあり得る。したがって、本開示及び図は、限定ではなく例示とみなされるべきである。
【０１１７】
[0138]  本開示の一態様によれば、現実を拡張するための制御装置が、命令を格納するメモリと、命令を実行するプロセッサと、を含む。制御装置は、ディスプレイを介して出力を提供する少なくとも１つのデバイスから、少なくとも１つのデバイスからの第１の視覚情報を含む情報フィードを受信する。プロセッサによって実行されるとき、命令が、制御装置にプロセスを実施させ、プロセスは、拡張現実として、第１の拡張現実デバイスによる３Ｄ空間の第１の共有部分での第１の視覚情報の生成を制御することを有する。このプロセスはまた、拡張現実として、第２の拡張現実デバイスによる３Ｄ空間の第１の共有部分での第１の視覚情報の生成を制御することを有する。
【０１１８】
[0139]  本開示の別の態様によれば、少なくとも１つのデバイスは、３Ｄ空間内の対象者を監視する監視機器である。
【０１１９】
[0140]  本開示のさらに別の態様によれば、少なくとも１つのデバイスは、３Ｄ空間内の対象者の医学的状態を監視する医療機器である。
【０１２０】
[0141]  本開示のさらに別の態様によれば、制御装置は、第１の拡張現実デバイスに実装され、拡張現実セッション中に第１の共有部分の制御を第２の拡張現実デバイスに渡す。
【０１２１】
[0142]  本開示の別の態様によれば、制御装置は、拡張現実として、第１の拡張現実デバイスによる３Ｄ空間の第１の非共有部分での第２の視覚情報の生成を制御する。
【０１２２】
[0143]  本開示のさらに別の態様によれば、制御装置は、拡張現実セッション中に動的に受信された命令に基づいて、第１の共有部分の制御を別の制御装置に渡す。
【０１２３】
[0144]  本開示のさらに別の態様によれば、制御装置は、拡張現実セッションの前に設定された所定の命令に従って、拡張現実セッションの所定の段階の通過に基づいて、第１の共有部分の制御を別の制御装置に渡す。
【０１２４】
[0145]  本開示の別の態様によれば、制御装置は、第１の拡張現実デバイス及び第２の拡張現実デバイスにリンクされた集中型コンピュータに実装される。
【０１２５】
[0146]  本開示のさらに別の態様によれば、第１の共有部分の位置は、第１の拡張現実デバイス及び第２の拡張現実デバイスのそれぞれについて独立して可変である。
【０１２６】
[0147]  本開示のさらに別の態様によれば、第１の共有部分の位置は、第１の拡張現実デバイス及び第２の拡張現実デバイスのそれぞれに対して固定される。
【０１２７】
[0148]  本開示の別の態様によれば、第１の視覚情報は、トリガに基づいて自動的に更新され、それにより、第１の拡張現実デバイス及び第２の拡張現実デバイスのそれぞれが、制御装置によって制御されて、トリガに基づいて第１の共有部分で更新された情報を受信する。
【０１２８】
[0149]  本開示の一態様によれば、３Ｄ空間内で現実を拡張するための制御装置を操作する方法が、制御装置のメモリに命令を格納するステップを有する。この方法は、制御装置で、ディスプレイを介して出力を提供する第１のデバイスから、第１の視覚情報を含む第１の情報フィードを受信するステップを有する。この方法はまた、制御装置のプロセッサによって命令を実行して、プロセスを実施するステップを有する。プロセスは、拡張現実として、第１の拡張現実デバイスによる３Ｄ空間の第１の共有部分での第１の視覚情報の生成を制御することを有する。このプロセスはまた、拡張現実として、第２の拡張現実デバイスによる３Ｄ空間の第１の共有部分での第１の視覚情報の生成を制御することを有する。
【０１２９】
[0150]  本開示の別の態様によれば、第１の視覚情報の生成を制御するステップは、３Ｄ空間の第１の共有部分での第１の視覚情報の表示を認可するための要求を動的に受信し、第１の視覚情報を表示するための要求を選択的に認可することによって実施される。
【０１３０】
[0151]  本開示のさらに別の態様によれば、この方法は、第１のデバイスからの第１の視覚情報を含む第１の情報フィードを、第２のデバイスからの第２の視覚情報を含む第２の情報フィードに変更するための要求を受信するステップを有する。この方法はまた、拡張現実として、第１の拡張現実デバイスによる第１の共有部分での第２の視覚情報の生成を制御するステップを有する。この方法はさらに、拡張現実として、第２の拡張現実デバイスによる３Ｄ空間の第１の共有部分での第２の視覚情報の生成を制御するステップを有する。
【０１３１】
[0152]  本開示のさらに別の態様によれば、この方法は、拡張現実セッション中にユーザから動的に受信された命令に基づいて、第１の共有部分の制御を別の制御装置に渡すステップを有する。
【０１３２】
[0153]  本開示の別の態様によれば、この方法はまた、拡張現実セッションの所定の段階の通過に基づいて、第１の共有部分の制御を別の制御装置に渡すステップを有する。
【０１３３】
[0154]  本開示のさらに別の態様によれば、第１の拡張現実デバイスは、ヘッドマウント可能拡張現実デバイスを備える。
【０１３４】
[0155]  本開示のさらに別の態様によれば、３Ｄ空間は、仮想オブジェクトが第１の拡張現実デバイス及び第２の拡張現実デバイスによって重畳される事前定義された物理的環境である。
【０１３５】
[0156]  本開示の別の態様によれば、この方法はまた、第１のユーザが３Ｄ空間の第１の共有部分にコンテンツを配置することを選択的に可能にするステップを有する。
【０１３６】
[0157]  本開示のさらに別の態様によれば、この方法はまた、第２のユーザが、第１のユーザによって第１の共有部分に配置されたコンテンツを変更することを選択的に可能にするステップを有する。
【０１３７】
[0158]  本開示の別の態様によれば、第１の拡張現実デバイスが、第２の拡張現実デバイスからのライブフィードを提示するように構成され、第１の拡張現実デバイスのユーザが、第２の拡張現実デバイスからのライブフィード内の仮想オブジェクトとインタラクトすることを可能にされ、それにより、第１のユーザと仮想オブジェクトとのインタラクトが、第２の拡張現実デバイスの第２のユーザに提示される。
【０１３８】
[0159]  本開示の一態様によれば、現実を拡張するためのシステムが、第１のヘッドマウント可能デバイス及び第２のヘッドマウント可能デバイスを含む。第１のヘッドマウント可能デバイスは、第１のプロセッサを含み、第１のプロセッサは、拡張現実として、第１の共有部分での第１の視覚情報の表示を生成する。第２のヘッドマウント可能デバイスは、第２のプロセッサを含み、第２のプロセッサは、拡張現実として、第１の共有部分での第１の視覚情報の表示を生成し、さらに、拡張現実として、第１の非共有部分での第２の視覚情報の表示を生成する。このシステムは、第１の共有部分での第１の視覚情報及び第１の非共有部分での第２の視覚情報の情報表示を制御する。このシステムは、第１の共有部分の制御を変える。
【０１３９】
[0160]  本開示の別の態様によれば、このシステムは、第３のヘッドマウント可能デバイスを含み、第３のヘッドマウント可能デバイスは、第２の非表有部分を含み、第２の非共有部分での第２の視覚情報とは異なる第３の視覚情報を表示する。
【０１４０】
[0161]  本開示のさらに別の態様によれば、このシステムは、コンピュータによって生成される拡張現実及び情報を使用して、ライブイメージストリームを補完するように構成される。
【０１４１】
[0162]  本開示のさらに別の態様によれば、このシステムは、人々がヘッドマウント可能デバイスを装着している空間内に囲まれる。
【０１４２】
[0163]  本開示の別の態様によれば、第１のヘッドマウント可能デバイスと第２のヘッドマウント可能デバイスとは、通信接続によって連続的にリンクされる。
【０１４３】
[0164]  本開示のさらに別の態様によれば、このシステムは、集中型コンピュータを含み、集中型コンピュータは、第１のヘッドマウント可能デバイス及び第２のヘッドマウント可能デバイスにワイヤレスでリンクされ、命令を格納するメモリと、命令を実行するプロセッサとを含み、第１の共有部分での第１の視覚情報の情報表示を制御する。
【０１４４】
[0165]  本開示のさらに別の態様によれば、第１のヘッドマウント可能デバイスは、第１の共有部分での第１の視覚情報の情報表示を制御するように構成される。
【０１４５】
[0166]  本開示の別の態様によれば、第１の共有部分での第１の視覚情報の情報表示の制御は、第１のヘッドマウント可能デバイスと第２のヘッドマウント可能デバイスとの間で可変に変更される。
【０１４６】
[0167]  本開示のさらに別の態様によれば、第１の共有部分の位置は、第１のヘッドマウント可能デバイス及び第２のヘッドマウント可能デバイスのそれぞれに関して独立して可変である。
【０１４７】
[0168]  本開示のさらに別の態様によれば、第１の共有部分の位置は、第１のヘッドマウント可能デバイス及び第２のヘッドマウント可能デバイスのそれぞれに関して固定されている。
【０１４８】
[0169]  本開示の別の態様によれば、このシステムは、第３のヘッドマウント可能デバイスを含み、第３のヘッドマウント可能デバイスは、第３のプロセッサを含み、第３のプロセッサは、拡張現実として、第２の共有部分での第３の視覚情報の表示を生成する。第１のプロセッサは、拡張現実として、第２の共有部分での第３の視覚情報の表示を生成する。
【０１４９】
[0170]  本開示のさらに別の態様によれば、第１の共有部分は、３Ｄ空間内に固定され、３Ｄ空間は、３Ｄ空間内で第１のヘッドマウント可能デバイス及び第２のヘッドマウント可能デバイスが動くときにシステムを含む。
【０１５０】
[0171]  本開示のさらに別の態様によれば、第１の共有部分は、第１のヘッドマウント可能デバイスの視界内に固定される。
【０１５１】
[0172]  本開示の別の態様によれば、第１の共有部分の制御は、ユーザの制御下で段階的に変わる。
【０１５２】
[0173]  本開示のさらに別の態様によれば、第１の視覚情報は、トリガに基づいて自動的に更新され、それにより、第１のヘッドマウント可能デバイス及び第２のヘッドマウント可能デバイスはそれぞれ、トリガに基づいて、更新された情報を提供される。
【０１５３】
[0174]  本開示の一態様によれば、３Ｄ空間内で現実を拡張するためのシステムが、第１のディスプレイ及び第２のディスプレイを含む。第１のディスプレイは、ヘッドマウント可能であり、３Ｄ空間内に仮想オブジェクトを提示するように構成された第１のディスプレイシステムと、３Ｄ空間内の第１のユーザのポーズを感知するように構成された少なくとも１つの第１のセンサと、拡張現実として３Ｄ空間の第１の共有部分における第１のディスプレイシステムによって第１の視覚情報の提示を制御するように構成された第１のプロセッサとを含む。第２のディスプレイは、第１のヘッドマウント可能デバイスから物理的に分離されており、３Ｄ空間内に仮想オブジェクトを提示するように構成された第２のディスプレイシステムと、第２のプロセッサとを含み、第２のプロセッサは、３Ｄ空間の第１の共有部分における第２のディスプレイシステムによる第１の視覚情報の提示を制御するように構成され、拡張現実として、３Ｄ空間の第１の非共有部分における第２のディスプレイシステムによる第２の視覚情報の提示を制御するように構成される。３Ｄ空間の第１の共有部分の制御は、第１のユーザが３Ｄ空間内にいる間、動的に変わる。
【０１５４】
[0175]  本開示の別の態様によれば、第２のディスプレイは、ヘッドマウント可能であり、さらに、３Ｄ空間内の第２のユーザのポーズを感知するように構成された少なくとも１つの第２のセンサを含む。
【０１５５】
[0176]  本開示のさらに別の態様によれば、３Ｄ空間は、事前定義された物理的環境に基づき、第１のディスプレイシステム及び第２のディスプレイシステムによって仮想オブジェクトがその物理的環境に重畳される。
【０１５６】
[0177]  本開示のさらに別の態様によれば、３Ｄ空間は、第１の非共有部分に基づいて、第１のディスプレイと第２のディスプレイとの間で変化する。
【０１５７】
[0178]  本開示の別の態様によれば、第１のユーザ及び第２のユーザはそれぞれ、３Ｄ空間の第１の共有部分内にコンテンツを配置することを可能にされる。
【０１５８】
[0179]  本開示のさらに別の態様によれば、第１のユーザによって３Ｄ空間の第１の共有部分に配置されたコンテンツは、第２のユーザによって変更可能である。第２のユーザによって３Ｄ空間の第１の共有部分に配置されたコンテンツは、第１のユーザによって変更可能である。
【０１５９】
[0180]  本開示のさらに別の態様によれば、第１のディスプレイシステムは、第２のディスプレイからのライブフィードを提示するように構成され、第１のユーザは、第２のディスプレイからのライブフィード内の仮想オブジェクトとインタラクトすることを可能にされ、それにより、第１のユーザと仮想オブジェクトとのインタラクトが、第２のユーザに提示される。
【０１６０】
[0181]  本開示の別の態様によれば、第１のユーザは、第１の共有部分内の仮想オブジェクトとインタラクトすることを可能にされる。第２のユーザは、第１の共有部分内の仮想オブジェクトとのインタラクトを妨げられる。
【０１６１】
[0182]  本開示の別の態様によれば、第１のユーザは、第１の共有部分内で仮想オブジェクトとインタラクトすることを選択的に可能にされる。第２のユーザは、第１のユーザが第１の共有部分内で仮想オブジェクトとインタラクトすることを選択的に可能にする。
【０１６２】
[0183]  本開示の１つ又は複数の実施形態を、「発明」という用語によって個々に及び／又は集合的に本明細書で言及するが、これは、単に便宜上であり、本出願の範囲を任意の特定の発明又は発明概念に自発的に限定することを意図していない。さらに、本明細書では特定の実施形態を図示して説明したが、同じ又は同様の目的を達成するように設計された任意の派生構成を、図示した特定の実施形態に置き換えてもよいことを理解されたい。本開示は、様々な実施形態のあらゆる派生適応形態又は変形形態を網羅することを意図している。上記の実施形態の組合せ、及び本明細書に具体的に述べていない他の実施形態は、本明細書を検討すれば当業者には明らかであろう。
【０１６３】
[0184]  本開示の要約書は、３７  Ｃ．Ｆ．Ｒ．§１．７２（ｂ）に準拠するように提供されており、特許請求の範囲の範囲又は意味を解釈又は限定するために使用されないという理解のもとに提出されている。さらに、前述の詳細な説明では、本開示を簡素化するために、様々な特徴をまとめる、又は単一の実施形態で述べる。本開示は、特許請求される実施形態が各請求項に明示的に記載されるよりも多くの特徴を必要とするという意図を表すものとして解釈すべきではない。むしろ添付の特許請求の範囲が表すように、本発明の主題は、開示した実施形態のいずれかのすべての特徴を対象とするわけではないことがある。したがって、添付の特許請求の範囲は、詳細な説明に組み込まれ、各請求項は、個別に特許請求される主題を定義するものとして自立している。
【０１６４】
[0185]  開示した実施形態の前述の説明は、本開示で述べた概念を当業者が実践できるように提供したものである。したがって、上で開示した主題は、限定ではなく例示とみなされるべきであり、添付の特許請求の範囲は、本開示の真の精神及び範囲内にあるすべてのそのような修正形態、強化形態、及び他の実施形態を網羅することが意図されている。したがって、法律で許される最大限の範囲で、本開示の範囲は、添付の特許請求の範囲及びその均等物の最も広い許容可能な解釈によって決定されるものであり、前述の詳細な説明によって制限又は限定されないものとする。
【図１】
2020520521.tif 000003
【図２Ａ】
2020520521.tif 000004
【図２Ｂ】
2020520521.tif 000005
【図２Ｃ】
2020520521.tif 000006
【図３Ａ】
2020520521.tif 000007
【図３Ｂ】
2020520521.tif 000008
【図４】
2020520521.tif 000009
【図５Ａ】
2020520521.tif 000010
【図５Ｂ】
2020520521.tif 000011
【図６】
2020520521.tif 000012
【図７】
2020520521.tif 000013
【図８】
2020520521.tif 000014
【図９】
2020520521.tif 000015
【図１０】
2020520521.tif 000016
【図１１】
2020520521.tif 000017
【図１２】
2020520521.tif 000018
【図１３】
2020520521.tif 000019
【図１４】
2020520521.tif 000020
【図１５Ａ】
2020520521.tif 000021
【図１５Ｂ】
2020520521.tif 000022
【図１５Ｃ】
2020520521.tif 000023
【図１６Ａ】
2020520521.tif 000024
【図１６Ｂ】
2020520521.tif 000025
【図１６Ｃ】
2020520521.tif 000026
【国際調査報告】
2020520521.tif 000027
2020520521.tif 000028