(57)【要約】  本明細書に提供されているのは、複数のソースとの役割交渉のための方法及びシステムである。役割交渉のための方法は、複数の要素の物理プレゼンスを反映する共通関心領域をレンダリングすることを含むことがあり、要素の内の少なくとも１つは要素の内の別の要素から遠隔に位置するリモート要素である。各役割指定が複数の装置の内の１台と関連付けられた複数の役割指定を受信することができ、複数の装置の内の少なくとも１台は複数の装置の内の別の装置から遠隔に位置するリモート装置である。共通関心領域は複数の役割指定に基づいて更新することができ、複数の役割指定のそれぞれが複数の装置のそれぞれの装置と関連付けられたインタラクティブな機能性を定義する。【選択図】図１
2016529773.tif 000002
【特許請求の範囲】
【請求項１】
複数の要素の物理プレゼンスを反映する共通関心領域をレンダリングすることであって、前記要素の内の少なくとも１つが前記要素の内の別の要素から遠隔に位置するリモート要素である、共通関心領域をレンダリングすることと、
各役割指定が複数の装置の内の１台と関連付けられた複数の役割指定を受信することであって、前記複数の装置の内の少なくとも１台が前記複数の装置の内の別の装置から遠隔に位置するリモート装置である、複数の役割指定を受信することと、
前記複数の役割指定に基づいて前記共通関心領域を更新することであって、前記複数の役割指定のそれぞれが前記複数の装置の前記それぞれの装置と関連付けられたインタラクティブな機能性を定義する、更新することと
を含む、役割交渉のための方法。
【請求項２】
前記要素の内のそれぞれの前記物理プレゼンスをリアルタイムでレンダリングすることをさらに含み、前記要素のそれぞれが前記要素の別の要素に対して登録される、請求項１に記載の方法。
【請求項３】
前記共通関心領域の前記要素間の対話をレンダリングする前記ステップをさらに含む、請求項１に記載の方法。
【請求項４】
前記複数の役割指定がオペレータ役割、ヘルパー役割、注意喚起役割、加入者役割、管理者役割、能動的ビューワ役割、及び送信者役割の内の１つ又は複数を備える、請求項１に記載の方法。
【請求項５】
インタラクティブな機能性が、画像データの送信及び受信の内の１つ又は複数を含み、前記複数の役割指定の内の１つ又は複数が前記役割指定の別の役割指定に比較して異なるインタラクティブな機能性を定義する、請求項１に記載の方法。
【請求項６】
前記共通関心領域の前記要素のそれぞれが、実質的に類似する位置合わせ及び配向でリモートビューワ及びローカルビューワにレンダリングされる、請求項１に記載の方法。
【請求項７】
リモート領域の較正特徴及びローカル領域の較正特徴を位置合わせすることによって前記共通関心領域を較正する前記ステップをさらに含む、請求項１に記載の方法。
【請求項８】
前記共通関心領域を更新することが、前記リモート要素及び前記ローカル要素の内の１つ又は複数の表示特性を修正することを含む、請求項１に記載の方法。
【請求項９】
前記リモート要素及び前記ローカル要素の内の１つ又は複数が、リモートユーザ及びローカルユーザの１つ又は複数の前記物理プレゼンスの表現である、請求項１に記載の方法。
【請求項１０】
複数の要素のプレゼンスを反映する共通関心領域をレンダリングすることであって、前記要素の内の少なくとも１つが前記要素の内の別の要素から遠隔に位置するリモート要素である、共通関心領域をレンダリングすることと、
各役割指定が複数の装置の内の１台と関連付けられた複数の役割指定を受信することであって、前記複数の装置の内の少なくとも１台が前記複数の装置の内の別の装置から遠隔に位置するリモート装置である、複数の役割指定を受信することと、
前記複数の役割指定の内の１つ又は複数に基づいて前記複数の装置の内の１台又は複数への情報の前記入口及び出口の内の１つ又は複数を管理することであって、前記複数の役割指定のそれぞれが、前記複数の装置の前記それぞれの装置と関連付けられた情報の入口及び出口を管理するための送信規則を定義する、管理することと、
を含む、役割交渉のための方法。
【請求項１１】
前記複数の役割指定は、オペレータ役割、ヘルパー役割、注意喚起役割、加入者役割、管理者役割、能動的ビューワ役割、及び送信者役割の内の１つ又は複数を備える、請求項１０に記載の方法。
【請求項１２】
前記複数の役割指定の内の１つ又は複数が前記役割指定の内の別の役割指定に比較して異なる送信規則を定義する、請求項１０に記載の方法。
【請求項１３】
前記共通関心領域の前記要素のそれぞれが、実質的に類似する位置合わせ及び配向でリモートビューワ及びローカルビューワにレンダリングされる、請求項１０に記載の方法。
【請求項１４】
前記情報が音声情報及び画像情報の内の１つ又は複数を備える、請求項１０に記載の方法。
【請求項１５】
共通関心領域を表示するために構成されたディスプレイと、
画像データを入手するために構成されたセンサと、
前記ディスプレイ及び前記センサと信号通信するプロセッサであって、
前記プロセッサが、
複数の要素の内の少なくとも１つが前記要素の内の別の要素から遠隔に位置するリモート要素である、前記複数の要素の物理プレゼンスを反映する共通関心領域をレンダリングする、
役割指定を受信する、
前記役割指定に基づいて情報の前記入口及び出口の内の１つ又は複数を管理する、
情報の前記入口及び出口の内の前記１つ又は複数に基づいて前記共通関心領域を更新する、及び
前記ディスプレイに前記更新された共通関心領域を出力する
ように構成された、プロセッサとを備える、役割交渉のためのシステム。
【請求項１６】
前記センサが、カメラ、赤外線センサ、光センサ、ＲＡＤＡＲ装置、ＳＯＮＡＲ装置、コンピュータ断層撮影装置、磁気共鳴イメージング装置、深度走査センサ等の内の少なくとも１つである、請求項１５に記載のシステム。
【請求項１７】
前記プロセッサが、前記リモート要素の前記物理プレゼンスがローカルビューワにリアルタイムでレンダリングされるように前記共通関心領域を連続的に更新するようにさらに構成された、請求項１５に記載のシステム。
【請求項１８】
前記情報が音声情報及び画像情報の内の１つ又は複数を備える、請求項１５に記載のシステム。
【請求項１９】
前記役割指定が、オペレータ役割、ヘルパー役割、注意喚起役割、加入者役割、管理者役割、能動的ビューワ役割、及び送信者役割の内の１つ又は複数を備える、請求項１５に記載のシステム。
【請求項２０】
役割指定を受信することが、ネットワーク特性を決定することと、前記決定されたネットワーク特性に基づいて役割指定を選択することとを含む、請求項１５に記載のシステム。
【発明の詳細な説明】
【技術分野】
【０００１】
（関連特許出願の相互参照）
本願は、その全体として参照により本明細書に組み込まれる２０１３年６月２７日に出願された米国特許出願第１３／９２９，０８０号に対する優先権を主張する。（関連特許出願の相互参照）
【０００２】
複合現実システムは、物理的に離れ離れのユーザがリアルタイムでマルチリアリティセッションに参加できるようにする。これらのシステムは係るセッションを可能にするためにある程度の画像処理を実行することがある。他の同時ユーザとのマルチリアリティセッションに参加するユーザは、他のユーザに対して特定の役割で動作している場合がある。ただし、複合現実システムはユーザの役割に対する変更をリアルタイムで交渉する十分な手段を提供していない。
【背景技術】
【０００３】
以下の概要と以下の詳細な説明はともに、主張されるように例示的且つ説明的にすぎず限定的ではないことが理解されるべきである。開示されているのはマルチリアリティ環境での役割切替えのためのシステム及び方法である。ある態様では、本開示のシステム及び方法は１人又は複数のユーザの役割を指定することを含むことがある。したがって、１つ又は複数の画像又はビデオの処理を、指定された役割のために構成できる。別の態様では、本開示のシステム及び方法は１人又は複数のユーザのために１つ又は複数の役割を交渉することを含むことがある。インタラクティブな機能性は、１つ又は複数の役割と関連付けることができ、改善されたユーザ経験を提供するために１人又は複数のユーザに選択的に割り当てることができる。
【発明の概要】
【発明が解決しようとする課題】
【０００４】
役割交渉のための方法が説明される。１つの方法は、複数の要素の物理プレゼンスを反映する共通関心領域をレンダリングすることを含むことがあり、要素の内の少なくとも１つは要素の内の別の要素から遠隔に位置するリモート要素である。複数の役割指定を受信することができる。各役割指定は複数の装置の内の１台と関連付けることができ、複数の装置の内の少なくとも１台は複数の装置の内の別の装置から遠隔に位置するリモート装置である。共通関心領域は、複数の役割指定に基づいて更新することができ、複数の役割指定のそれぞれが複数の装置のそれぞれの装置と関連付けられるインタラクティブな機能性を定義する。
【課題を解決するための手段】
【０００５】
別の方法は、複数の要素の物理プレゼンスを反映する共通関心領域をレンダリングすることを含むことがあり、要素の内の少なくとも１つは要素の内の別の要素から遠隔に位置するリモート要素である。各役割指定が複数の装置の内の１台と関連付けられる複数の役割指定を受信できる。複数の装置の内の少なくとも１台は複数の装置の内の別の装置から遠隔に位置するリモート装置である。情報の入口及び出口の内の１つ又は複数は、複数の役割指定の内の１つ又は複数に基づいて複数の装置の内の１台又は複数に対して管理することができ、複数の役割指定のそれぞれが複数の装置のそれぞれの装置と関連付けられる情報の入口及び出口を管理するための送信規則を定義する。
【０００６】
画像処理のためのシステムが説明される。システムは、共通関心領域を表示するために構成されたディスプレイ、画像データを入手するために構成されたセンサ、ディスプレイ及びセンサと信号通信するプロセッサを含むことがある。プロセッサは、複数の要素の物理プレゼンスを反映する共通関心領域をレンダリングするように構成することができ、要素の内の少なくとも１つは、要素の内の別の要素から遠隔に位置するリモート要素である。プロセッサは、役割指定を受信するように構成できる。プロセッサは役割指定に基づいて情報の入口と出口の内の１つ又は複数を管理するように構成できる。プロセッサは、情報の入口及び出口の内の１つ又は複数に基づいて共通関心領域を更新し、更新された共通関心領域をディスプレイに出力するように構成できる。
【０００７】
追加の優位点は、以下に続く説明の中で部分的に説明される、又は実践により学ばれることがある。優位点は、添付の発明の概念に特に指摘される要素及び組合せによって実現され、達成される。前記の概要及び以下の詳細な説明はともに例示的且つ説明的にすぎず、限定的であると見なされるべきではないことが理解されるべきである。
【０００８】
本明細書に組み込まれ、本明細書を構成する添付の図面は実施形態を示し、説明とともに、提供される方法及びシステムの原理を説明する働きをする。
【図面の簡単な説明】
【０００９】
【図１】仮想インタラクティブプレゼンスを示す図である。
【図２Ａ】仮想インタラクティブプレゼンスを示す図である。
【図２Ｂ】リモートユーザを支援するローカルエキスパートを示す図である。
【図３】例示的なシステムアーキテクチャを示す図である。
【図４Ａ】図３のシステムによって実行される例示的なプロセスを示す図である。
【図４Ｂ】例示的な仮想インタラクティブプレゼンス概略図である。
【図４Ｃ】例示的なユーザインタフェースを示す図である。
【図４Ｄ】例示的なユーザインタフェースを示す図である。
【図４Ｅ】例示的なユーザインタフェースを示す図である。
【図４Ｆ】例示的なユーザインタフェースを示す図である。
【図４Ｇ】例示的なユーザインタフェースを示す図である。
【図５Ａ】例示的なシステムアーキテクチャを示す図である。
【図５Ｂ】例示的な方法を示す図である。
【図５Ｃ】例示的なシステムアーキテクチャを示す図である。
【図５Ｄ】例示的なシステムアーキテクチャを示す図である。
【図５Ｅ】例示的なシステムアーキテクチャを示す図である。
【図６Ａ】例示的な方法を示す図である。
【図６Ｂ】例示的な方法を示す図である。
【図６Ｃ】例示的な方法を示す図である。
【図７Ａ】例示的な仮想プレゼンスシステムを示す図である。
【図７Ｂ】グラフィックサーバの中で実行される例示的なプロセスを示す図である。
【図７Ｃ】ネットワークサーバの中で実行される例示的なプロセスを示す図である。
【図８】例示的なＶＩＰディスプレイを示す側面図である。
【図９】例示的なＶＩＰディスプレイのユーザのビューを示す図である。
【図１０】例示的なＶＩＰディスプレイのユーザのビューを示す図である。
【図１１】例示的な方法を示す図である。
【図１２】別の例示的な方法を示す図である。
【図１３】遠隔手術環境での仮想プレゼンスを示す図である。
【図１４】医療イメージングの術野とのマージを示す図である。
【図１５】例示的な操作環境を示す図である。
【発明を実施するための形態】
【００１０】
本方法及びシステムを開示し、説明する前に、該方法及び該システムが特定の合成方法、特定の構成要素、又は特定の構成に限定されず、そのようなものは当然ながら変わり得るものとして理解されるべきである。本明細書に使用される用語は特定の実施形態のみを説明するためであり、限定的となることを意図していないことも理解されるべきである。
【００１１】
明細書及び添付の発明の概念で使用されるように、単数形「１つの」、「ある」及び「該」は、文脈上明白に他の意味に解釈すべき場合を除いて複数の指示対象を含む。
【００１２】
範囲は、本明細書で、「約」１つの特定の値から、及び／又は「約」別の特定の値までとして表されることがある。係る範囲が表されるとき、別の実施形態は、１つの特定の値から及び／又は他の特定の値までを含む。同様に、先行する「約」を使用することによって値が近似値として表されるとき、特定の値が別の実施形態を形成することが理解される。範囲のそれぞれのエンドポイントは他方のエンドポイントに対しても、及び他方のエンドポイントは無関係でも有意であることがさらに理解される。
【００１３】
「任意選択の」又は「任意選択で」は、後に説明されるイベント又は状況が発生することもあれば、発生しないこともあること、並びに説明が、該イベント又は状況が発生する例、及び該イベント又は状況が発生しない例を含むことを意味する。
【００１４】
本明細書の説明及び特許請求の範囲を通して、単語「含む」、並びに「含んでいる」及び「含む」等の該単語の変形は「を含むが、これに限定されるものではない」を意味し、例えば他の添加物、構成要素、整数、又はステップを除外することを意図していない。「例示的な」は「の例」を意味し、好ましい実施形態又は理想的な実施形態の表示を伝達することを意図していない。
【００１５】
開示されているのは、開示されている方法及びシステムを実行するために使用できる構成要素である。これらの構成要素及び他の構成要素は本明細書に開示され、これらの構成要素の組合せ、サブセット、相互作用、グループ等が開示されるとき、それぞれの多様な個別の組合せ及び集合的な組合せの特定の参照並びにこれらの変形が明示的に開示されない可能性がある一方、それぞれが、すべての方法及びシステムについて明確に想定され、本明細書に説明されることが理解される。これは、開示されている方法のステップを含むが、これに限定されるものではない本願のすべての態様に適用する。したがって、実行できるさまざまな追加のステップがある場合、これらの追加のステップのそれぞれが、開示されている方法の任意の特定の実施形態又は実施形態の組合せを用いて実行できることが理解される。
【００１６】
本方法及びシステムは、好ましい実施形態の以下の詳細な説明及びその中に含まれる実施例、並びに図及びその前又は後の説明を参照することによってより容易に理解され得る。
【００１７】
開示されるのは、複数のビデオストリームを有する役割指定のための方法及びシステムである。開示される方法及びシステムはバーチャルリアリティを活用できる。バーチャルリアリティ（ＶＲ）は、コンピュータ及びコンピュータのデバイスが個人のアクションによって動的に制御される感覚環境を作成し、これにより該環境がユーザにとって「現実」のように見えるようにヒューマン／コンピュータインタフェースを提供するコンピュータベースのアプリケーションを指す。ＶＲを用いると、コンピュータシステムとユーザとの間に通信がある。コンピュータは、一態様では（これは必須ではないが）多感覚であってよいユーザが経験する感覚環境を作り出し、コンピュータはユーザ入力に応えてリアリティの感覚を作り出す。
【００１８】
１つの例示的な態様では、開示されるシステムは少なくとも２つのタイプのＶＲ、つまり没入型と非没入型を活用できる。没入型ＶＲは、ユーザが実際には異なった環境にいるという錯覚を作り出す。一態様では、システムはヘッドマウントディスプレイ（ＨＭＤ）、イヤホン、及びグローブ又はワンズ等の入力装置のようなデバイスの使用を通してこれを達成する。別の態様では、経験のリアリズムを強化するために、ソフトウェアがシミュレーションできる複数の自由度（ＤＯＦ）が活用される。概して、ＤＯＦが高いほど、経験のリアリズムは良くなる。例示的なＤＯＦは、Ｘ、Ｙ、Ｚ、ロール、ピッチ、及びヨーを制限なく含む。
【００１９】
非没入型ＶＲは、ユーザの周囲の環境から区別可能である環境を作り出す。非没入型ＶＲは、ユーザが別の世界に移動するという錯覚を与えない。非没入型ＶＲは、ステレオ投影システム、コンピュータモニタ、及び／又はステレオスピーカを使用することによって３次元画像及びサラウンド音響を作成することによって機能する。非没入型ＶＲは、ハードウェアを追加することなくパーソナルコンピュータから実行できる。
【００２０】
一態様では、没入型ＶＲでの移動はトラッカーと呼ばれる光学ハードウェア、音響ハードウェア、磁気ハードウェア、又は機械ハードウェアを使用することによってシステムにより実現できる。好ましくは、入力装置は可能な限り多くのこれらのトラッカーを有し、これにより移動はより正確に表現できる。例えば、バーチャルグローブはそれぞれの人差し指に最高３つのトラッカー、並びに掌及び手首にはより多くのトラッカーを有することができ、したがってユーザはオブジェクトを掴み、押すことができる。一態様では、トラッカーは、入力がどの方向を向いているのか、及び入力装置がすべての方向でどのように傾けられるのかをコンピュータに告げる位置決めセンサを備えることがある。これが、６つの自由度をセンサに付与する。
【００２１】
出力装置はユーザを仮想世界に連れていく。本システムで使用できる出力装置の例は、ユーザが頭部にディスプレイシステムを着用できるようにする、眼鏡又はゴーグルの形のヘッドマウントディスプレイ（ＨＭＤ）を制限なく含む。ＨＭＤに対する１つの手法は、両目を覆うのに十分に幅広い単一の液晶ディスプレイ（ＬＣＤ）を使用することである。別の手法は、各目に１つの、２つに分かれたディスプレイを有することである。表示される画像が異なるため、これには幾分多くのコンピュータパワーが必要になる。各ディスプレイは環境で正しい角度からレンダリングされる別の画像を有する。視線追跡はＨＭＤと組み合わせることができる。これは、例えば、外科医が、画質を向上させることを希望する画像の部分に視線を移動できるようになる。
【００２２】
本システムの実施形態で使用できる出力装置の別の例は、シャッター付き眼鏡である。この装置は、シャッターが他方の目の上で閉じた状態で１コマおきに各目に画像を更新する。シャッター付き眼鏡は、画像がちらつかないようにするために非常に高速のフレームレートを必要とする。この装置はステレオモニタ用に使用され、２次元オブジェクトの正確な３次元表現を提供するが、ユーザを仮想世界に没入させない。
【００２３】
本システムの実施形態で使用できる別の出力装置は、複数のプロジェクタ付きの画面である。画面は平面又は曲面状のどちらかであることがある。同じ画面で複数のプロジェクタを使用する際の課題は、投影の間にエッジが目に見える場合がある点である。これはソフトエッジシステムを使用して矯正でき、エッジでは投影がますます透明になり、投影が重なり合う。これが画像間のほぼ完璧な遷移を生じさせる。所望される３次元効果を達成するために、シャッター付き眼鏡を使用できる。眼鏡を完全に不透明又は完全に透明のどちらか間で交互にする特殊な眼鏡を使用できる。左目が不透明なとき、右目は透明になる。これは対応する画像を画面上に投影しているプロジェクタに同期する。
【００２４】
別の態様では、没入型投影ディスプレイ（Ｃａｖｅ  Ａｕｔｏｍａｔｉｃ  Ｖｉｒｔｕａｌ  Ｅｎｖｉｒｏｎｍｅｎｔ）（ＣＡＶＥ）を本システムで使用できる。ＣＡＶＥは立方体形状の室内で鏡を使用して壁の上に立体画像を投影し、仮想世界の中に立っているという錯覚を与えることができる。世界はトラッカーを使用して絶えず更新され、ユーザはほぼ完全に制約されることなく動き回ることができる。
【００２５】
開示されているのは役割指定のための方法及びシステムである。係る方法及びシステムは仮想的に存在するいくつかの要素／参加者を、ユーザがリモート専門知識の配信等の所与の目的のために対話できるように関心領域にレンダリングできる。関心領域は、視点に応じてさまざまな量の「現実」要素及び「仮想」要素を含むことがある。要素は任意の「現実」又は「仮想」のオブジェクト、サブジェクト、参加者、又は画像表現を含むことがある。開示されている方法及びシステムの多様な構成要素は図１に示される。
【００２６】
共通関心領域１０１は、中に要素が物理的に及び／仮想的に存在する領域であることがある。リアリティの点（つまり視点）は、共通関心領域を経験している要素／参加者の有利な状態を指すことがある。図１で、例示的なリアリティの点、つまり視点は、ディスプレイを表す１０２及び１０３に示されている。共通関心領域１０１は両方の有利な状態、つまり視点から似て見えることがあるが、それぞれがローカル（物理的）及びリモート（仮想）の要素／参加者の異なる組合せを含む。
【００２７】
ローカル要素は、共通関心領域に物理的に存在する要素及び／又は参加者である場合がある。図１では、要素Ａ１０５は領域Ａ１０４にとってローカル要素であり、領域Ａ１０４に物理的に存在している。要素Ｂ１０７は領域Ｂ１０６にとってローカル要素であり、領域Ｂ１０６に物理的に存在している。仮想要素（不図示）は、所望されるように領域Ａ１０４及び／又は領域Ｂ１０６に挿入又は被せることができると理解される。
【００２８】
リモート要素は、共通関心領域に物理的に存在していない要素及び／又は参加者である場合がある。リモート要素は任意の他のローカルな有利な地点から「仮想的に存在する」として経験される。図１に示されるように、要素Ｂ１０７は領域Ａ１０４にとってリモート要素であり、領域Ａ１０４に仮想的に存在している。要素Ａ１０５は領域Ｂ１０６のリモート要素であり、領域Ｂ１０６に仮想的に存在している。
【００２９】
ローカルの及びリモートの要素及び／又は参加者を組み合わせることによって仮想インタラクティブプレゼンスをレンダリングするための方法は、以下のステップの内の１つ又は複数を含むことがある。共通ローカル領域は、領域、要素、及び／又は参加者のプレゼンスを反映するようにレンダリングできる。図２Ａに示されるように、参加者Ａはビューワを通して領域Ａの現実要素を経験できる。共通ローカル領域は、リモート参加者がローカルの人物と同様に共通ローカル領域を体験できるように共通ローカル領域が遠隔で経験されるようにレンダリングできる。図２Ａに示されるように、これは参加者Ａが領域Ａに仮想的に存在しているとして要素Ｂを経験することによって示される。
【００３０】
リモートの人物は自らを挿入する、及び／又はリモートの人物にレンダリングされるように仮想領域と対話できる。例えば、参加者Ａは手、器具等を領域Ａに挿入し、仮想要素（複数の場合がある）Ｂと対話できる。ビューワＢは、参加者Ａの仮想要素と対話しているビューワＢの現実要素を用いてこれに対する「仮想挨拶」を見ることができる。
【００３１】
共通ローカル領域は、リモート参加者のプレゼンスをリアルタイムでレンダリングできるように連続的に更新できる。例えば、リモートシーンはリモートキャプチャとローカルレンダリングとの間の時間差が可能な限り低く保たれている状態で利用できる最新とすることができる。逆に、タイミング差を導入する必要がある場合、これも達成できる。
【００３２】
共通ローカル領域はローカルシーンと有意義に一致するためのサイズ及び深さに伸縮できる。そして、共通ローカル領域はリモート要素を事実上透明にする、完全に削除する、又はそれ以外の場合ローカルユーザのニーズに合うように改変できるように構成可能であることがある。
【００３３】
各領域は、デジタルカメラによってキャプチャされる。結果として生じる画像はカメラの物理的な特性に基づいてそのリアリティから物理的に歪められる。したがって、プロセッサは、ローカルリアリティの「物理的に」歪められたバージョンを受信し、表示する。同様に、デジタルカメラはリモート領域（複数の場合がある）もキャプチャするが、入信ストリームは伝送装置を通して及びネットワーク全体で中継される。したがって、プロセッサは物理的な歪みと伝送に基づいた歪みの両方を含んだリモートストリームを受信する。プロセッサは、次いで共通ローカル領域から物理的な歪み及び伝送に基づいた歪みを削除する一連の変換を適用しなければならない。
【００３４】
ローカル参加者は、共通ローカル領域内での連続的な対話を可能にするように仮想的に存在する参加者を経験できる。図２Ｂは、リモートユーザを支援するローカルエキスパートを示す。ローカルエキスパート２０１の手はわずかに透明であり、リモートユーザが見る領域の中に重ね合わされる。リモートユーザはローカルエキスパートの手、リモートユーザの手、及びリモートユーザの場所に位置するパズルを見ることができる。ローカルエキスパートはリモートユーザがパズルを組み立てるのを支援している。
【００３５】
図３は、画像処理システム３００を示す。図示されるように、システム３００は、例えば画像、ビデオ、複合ビデオ／画像、及び共通関心領域の内の１つ又は複数を表示するために構成された第１のディスプレイ３０２及び第２のディスプレイ３０４を含むことがある。ただし、システム３００には任意の数のディスプレイを含むことができることが理解される。特定の態様では、第２のディスプレイ３０４は、第１のディスプレイ３０２から遠隔に配置できる。一例として、第１のディスプレイ３０２及び第２のディスプレイ３０４のそれぞれはその上で共通関心領域をレンダリングするように構成できる。追加の例としては、第１のディスプレイ３０２及び第２のディスプレイ３０４のそれぞれは、ローカル領域及びリモート領域の内の少なくとも１つをその上にレンダリングするように構成できる。特定の態様では、第１のディスプレイ３０２及び第２のディスプレイ３０４の内の少なくとも１つは、本明細書により詳細に説明されるように、ＶＩＰディスプレイである場合がある。ただし、第１のディスプレイ３０２及び第２のディスプレイ３０４のそれぞれが、例えばモノスコピックディスプレイ及びステレオスコピックディスプレイを含んだ任意のタイプのディスプレイであることがあることが理解される。任意の数の任意のタイプのディスプレイを使用できることが理解される。
【００３６】
第１のセンサ３０６は、少なくとも第１のディスプレイ３０２と信号通信することができ、例えば仮想プレゼンスデータ等の画像データを入手するために構成できる。特定の態様では、第１のセンサ３０６は、カメラ、赤外線センサ、光センサ、ＲＡＤＡＲ装置、ＳＯＮＡＲ装置、深度走査センサ等の内の１つ又は複数であることがある。第１のセンサ３０６が、「現実」要素及び「仮想」要素の内の少なくとも１つを表す画像データをキャプチャする／入手することができる任意の装置又はシステムであることがある。
【００３７】
第２のセンサ３０８は、少なくとも第２のディスプレイ３０４と信号通信することができ、例えば仮想プレゼンスデータ等の画像データを入手するために構成できる。特定の態様では、第２のセンサ３０８は、カメラ、赤外線センサ、光センサ、ＲＡＤＡＲ装置、ＳＯＮＡＲ装置、コンピュータ断層撮影装置、磁気共鳴イメージング装置、深度走査センサ等の内の１つ又は複数であることがある。第２のセンサ３０８は、「現実」要素及び「仮想」要素の内の少なくとも１つを表す画像データをキャプチャする／入手することができる任意の装置又はシステムであることがある。任意の数のセンサを使用できることがさらに理解される。
【００３８】
複数のプロセッサ３１０、３１２は、第１のディスプレイ３０２、第２のディスプレイ３０４、第１のセンサ３０６、及び第２のセンサ３０８の内の少なくとも１つと直接的又は間接的に信号通信できる。プロセッサ３１０、３１２のそれぞれは、センサ３０６、３０８によって収集される画像データをディスプレイ３０２、３０４の内の少なくとも１つの上にレンダリングするように構成できる。プロセッサ３１０、３１２は、伝送及び表示のために画像データ及び結果として生じる画像を修正するように構成できることが理解される。１を含む任意の数のプロセッサを使用できることがさらに理解される。特定の態様では、システム３００は、互いとデータ通信するプロセッサ３１０、３１２を含む。
【００３９】
特定の態様では、ディスプレイ３０２、３０４のそれぞれは、ディスプレイ３０２、３０４の上に画像をレンダリングするためのプロセッサ３１０、３１２の内の関連付けられたプロセッサを含むことがある。プロセッサ３１０、３１２のそれぞれ又はプロセッサを含んだ別のシステムは、ネットワーク接続を介して互いと通信できる。例えば、リモートサイトは、インターネット又は他のネットワークを介して接続できる。タスクは、プロセッサ３１０、３１２のそれぞれの間で分割できる。例えば、プロセッサ３１０、３１２の内の１台は、グラフィックプロセッサ又はグラフィックサーバとして構成することができ、センサ３０６、３０８、及び／又はネットワークサーバの内の１つから画像を収集し、画像合成タスクを実行し、ディスプレイ３０２、３０４の内の１台又は複数を駆動できる。
【００４０】
ある態様では、プロセッサ３１０、３１２の内の１台又は複数は画像をレンダリングするように構成できる。一例として、プロセッサ３１０、３１２の内の１台又は複数はセンサ３０６、３０８の内の少なくとも１台によって入手できる画像データに基づいて複数の要素のプレゼンスを反映する共通関心領域をレンダリングするように構成できる。追加の一例として、共通関心領域でレンダリングされた要素の内の少なくとも１つが、要素の内の別の要素から物理的に遠隔に位置するリモート要素である場合がある。プロセッサ３１０、３１２も、ディスプレイ３０２、３０４の内の少なくとも１つに共通関心領域をレンダリングする／出力するように構成できる。一例として、プロセッサ３１０、３１２は、共通関心領域内でリモートユーザとローカルユーザとの間の対話をレンダリングできる。追加の一例として、リモート要素の物理プレゼンスはローカルユーザにリアルタイムでレンダリングでき、ローカル要素のプレゼンスはリモートユーザにリアルタイムでレンダリングできる。
【００４１】
ある態様では、１人又は複数のユーザに１つ又は複数の役割を指定する（例えば、定義する、選択する、受信する、生成する）ことができる。一例として、役割はプロセッサによって１つ又は複数の関係するプログラムの論理実行をトリガする抽象的概念として指定できる。係るプログラムは、一例としてユーザに表示されるように、グラフィカルユーザインタフェースの配置、編成、及び／又は提示で修正をトリガできる。別の例として、係るプログラムは、１つ又は複数の画像及び／又はビデオストリーム及び／又は音声ストリームの処理及び／又は後処理を修正することによって画像及び／又はビデオ及び／又は音声の処理に影響を及ぼすことがある。追加の例として、これらのプログラムは、１人又は複数のユーザに提示される画像、ビデオ、及び／又は音声のレンダリングに影響を及ぼすことがある。
【００４２】
ある態様では、画像の処理はリモートプロセッサへの送信前にローカルプロセッサを介して実装できる。例えば、画像合成は、送信前にローカルプロセッサで起こることがある。このようにして、リモートプロセッサによって受信される画像及び／又は又はビデオはリモートプロセッサでの合成を必要とせず、コーデックによって受け付けることができる。追加の例として、役割指定は、システムが単に処理済みの画像を受信するだけのシステムに対して画像合成を実行するときに起こる暗示的な役割指定として実装できる。エミュレータ、クライアント、アプリケーション等のソフトウェアは、特定の役割指定の動作を容易にするために使用できる。
【００４３】
ある態様では、ヘルパー役割がデータフロー及びデータ提示の操作を含むことがある。一例として、ヘルパー役割は１つの処理要素の出力が連続する処理要素にとっては入力となる一連の処理要素等、ソフトウェアパイプラインの特定の配置を含むことがある。追加の例として、ローカルカメラによってキャプチャされ、ローカルプロセッサによって処理される画像は、ヘルパー役割と関連付けられるように１台又は複数のリモートカメラによってキャプチャされ、１台又は複数のリモートプロセッサによって処理される画像とマージできる。
【００４４】
ある態様では、特定のテクスチャ処理をヘルパー役割と関連付けることができる。例として、画像は指定された座標変換に従って画面にマッピングすることができ、入力はフラグメントシェーダ又はピクセルシェーダに対するパラメータとして与えられる。追加の例として、ヘルパー役割と関連付けられる１つ又は複数のプログラム可能な機能は、所与の画像の１つ又は複数のピクセルの特徴（例えば、色、ｚ−深度、アルファ値）を修正するために使用できる。別の例として、画像はバックグラウンド減算、バックグラウンド除去、オブジェクト検出、又は画像の領域の選択的な表示のためにそれに適用される類似アルゴリズムを有することがある。
【００４５】
ある態様では、ヘルパー役割のために、ローカルカメラによってキャプチャされ、ローカルプロセッサによって処理される１つ又は複数の画像を１未満の不透明度でレンダリングすることができ、それらに透明度を与えることができる。リモートカメラによってキャプチャされ、リモートプロセッサによって処理される１つ又は複数の画像は約１の不透明度でレンダリングし、それによって実質的に完全な不透明度を提供できる。一例として、リモートの「関心のあるシーン」の内の１つ又は複数の画像（例えば、手術室、保守サイト）は、全表示画面に収まるようにレンダリングできる。別の例として、リモートユーザの１つ又は複数の画像は表示画面（例えば、ピクチャインピクチャ）にタイル表示する又は配置することができる。追加の例として、リモートユーザの環境の１つ又は複数の画像は表示画面上でタイル表示する又は配置することができる。
【００４６】
ある態様では、オペレータ役割はデータフロー及びデータ提示の操作を含むことがある。一例として、オペレータ役割は１つの処理要素の出力が連続する処理要素にとっては入力となる一連の処理要素等、ソフトウェアパイプラインの特定の配置を含むことがある。追加の例として、ローカルカメラによってキャプチャされ、ローカルプロセッサによって処理される画像は、オペレータ役割と関連付けられるように１台又は複数のリモートカメラによってキャプチャされ、１台又は複数のリモートプロセッサによって処理される画像とマージできる。
【００４７】
ある態様では、オペレータ役割は１台又は複数の入力ハードウェア装置の操作を含むことがある。一例として、１つ又は複数のビデオキャプチャカードが、１つ又は複数の画像をキャプチャするために有効にできる。別の例として、ローカルプロセッサはビデオキャプチャカードを通して循環バッファ又は環状バッファに１つ又は複数の画像を書き込むことができる。別の例として、１つ又は複数の画像を待ち行列に書き込むことができる。追加の例として、１つ又は複数の画像はスタックに書き込むことができる。
【００４８】
ある態様では、特定のテクスチャ処理をオペレータ役割と関連付けることができる。一例として、画像は指定された座標変換に従って画面にマッピングすることができ、入力はフラグメントシェーダ又はピクセルシェーダに対するパラメータとして与えられる。追加の例として、オペレータ役割と関連付けられた１つ又は複数のプログラム可能な機能は、所与の画像の１つ又は複数のピクセルの特徴（例えば、色、ｚ−深度、アルファ値）を修正するために使用できる。別の例として、画像はバックグラウンド減算、バックグラウンド除去、オブジェクト検出、又は画像の領域の選択的な表示のためにそれに適用される類似アルゴリズムを有することがある。
【００４９】
ある態様では、オペレータ役割の場合、ローカルカメラによってキャプチャされ、ローカルプロセッサによって処理される１つ又は複数の画像は約１の不透明度でレンダリングできる。一例として、ローカル「関心シーン」の１つ又は複数の画像は実質的に完全な不透明度でレンダリングできる。追加の例として、ローカルカメラによってキャプチャされ、ローカルプロセッサによって処理される１つ又は複数の画像は１未満の不透明度でレンダリングし、透明度を提供できる。リモートカメラによってキャプチャされ、リモートプロセッサによって処理される１つ又は複数の画像は、１未満の不透明度でレンダリングし、それによって透明度を提供することができる。別の例として、リモートユーザの１つ又は複数の画像は、表示画面（例えば、ピクチャインピクチャ）にタイル表示又は配置できる。追加の例として、リモートユーザの環境の１つ又は複数の画像は、表示画面にタイル表示又は配置できる。
【００５０】
ある態様では、注意喚起役割はデータフロー及びデータ提示の操作を含むことがある。一例として、注意喚起役割は、１つの処理要素の出力が連続する処理要素にとっては入力となる一連の処理要素等、ソフトウェアパイプラインの特定の配置を含むことがある。追加の例として、ローカルカメラによってキャプチャされ、ローカルプロセッサによって処理される画像は、注意喚起役割と関連付けられるように１台又は複数のリモートカメラによってキャプチャされ、１台又は複数のリモートプロセッサによって処理される画像とマージできる。
【００５１】
ある態様では、注意喚起役割は、１台又は複数のリモートカメラによってキャプチャされ、１台又は複数のリモートプロセッサによって処理される画像に並んだ表示を容易にするために１台又は複数のローカルカメラによってキャプチャされる画像を処理することを含むことがある。一例として、ローカル画像及びリモート画像はタイル表示できる。別の例として、１つ又は複数のローカル画像は複数の画面を活用するようにレンダリングすることができ、１つ又は複数のリモート画像は相対的により小さいウィンドウに表示される。追加の例として、１つ又は複数のリモート画像は画面の大半を活用するようにレンダリングすることができ、１つ又は複数のローカル画像は相対的により小さいウィンドウに表示される。他の役割及び関連付けられた処理を使用できる。
【００５２】
態様では、加入者役割はデータフロー及びデータ提示の操作を含むことがある。一例として、加入者役割は、１つの処理要素の出力が連続する処理要素にとっては入力となる一連の処理要素等、ソフトウェアパイプラインの特定の配置を含むことがある。追加の例として、１台又は複数のリモートカメラによってキャプチャされ、１台又は複数のリモートプロセッサによって処理される画像はマージされ、加入者役割と関連付けられるように加入者に表示できる。
【００５３】
ある態様では、加入者役割は、１台又は複数のリモートカメラによってキャプチャされ、１台又は複数のリモートプロセッサによって処理される処理画像を含むことがある。一例として、加入者役割として指定される一方、ローカルプロセッサは概してビデオ画像を受信できるが、送信できない。追加の例として、１つ又は複数のリモート画像は画面の大半を活用するようにレンダリングできる。他の役割及び関連付けられた処理を使用できる。
【００５４】
ある態様では、送信者役割はデータフロー及びデータ提示の操作を含むことがある。一例として、送信者役割は、１つの処理要素の出力が連続する処理要素にとっては入力となる一連の処理要素等、ソフトウェアパイプラインの特定の配置を含むことがある。追加の例として、ローカルカメラによってキャプチャされ、ローカルプロセッサによって処理される画像は、送信者役割と関連付けられるように１台又は複数のリモートプロセッサに送信できる。
【００５５】
ある態様では、送信者役割は、１台又は複数のローカルカメラによってキャプチャされ、１台又は複数のローカルプロセッサによって処理される画像を送信することを含むことがある。一例として、送信者は概してビデオ画像を送信できるが、受信できない。他の役割及び関連付けられた処理を使用できる。
【００５６】
ある態様では、管理者役割は複数の装置（例えば、プロセッサ）の内のどれが１台又は複数のリモートカメラによってキャプチャされるコンテンツ（例えば、画像、音声等）を処理する上で能動的な役割を担うことができるのか、及び複数の装置の内のどれが処理されたコンテンツ（例えば、画像、音声等）を受信する上で受動的な役割を担うことができるのかを選択的に指定することを含むことがある。一例として管理者役割で指定される装置は、管理者、オペレータ、ヘルパー、注意喚起、加入者、又は送信者として１台又は複数の装置を指定できる。ある態様では、共通関心領域でレンダリングされる画像は、共通関心領域と通信する装置の指定された役割の内の１つ又は複数を示すために修正できる。一例として、オペレータ役割はほぼゼロの透明度で示すことができる。一方、ヘルパー役割は１人又は複数のヘルパーを区別するためにさまざまなレベルの透明度で示すことができる。追加の例として、加入者は加入者として存在しているが、画像データを送信していないことを示すためにアイコンとして指定できる。さらに追加の例として、送信者は、共通関心領域のビューワが、送信者が画像情報を送信しているが、共通領域を受信していない及び／又は見ていないことを認識できるように異なる特徴（例えば、色、不透明度、外形、アイコン等）を用いて示すことができる。
【００５７】
ある態様では、能動的なビューワ役割は、見られている共通領域の１つ又は複数の態様を選択的に操作することを含むことがある。一例として、能動的なビューワ役割で指定される装置は、注意喚起、管理者、オペレータ、ヘルパー、または送信者の役割の内の１つ又は複数で１台又は複数の装置から発する画像の透明度／不透明度を調整できる。別の例として、能動的なビューワ役割で装置によってなされる操作は、概してローカルで見られる共通領域の提示に影響を及ぼすにすぎず、他の装置には伝搬しないだろう。追加の例として、能動的なビューワは、メタデータ、文脈的に関連性のあるワークスペースデータ又は情報等の提示を含む、共通領域を含んだワークスペースの１つ又は複数の非イメージング態様を操作できる。別の例として、能動的なビューワは、共通領域（例えば、ＭＲＩ、Ｘ線、赤外線等）の外部から発する画像データを操作できる。
【００５８】
ある態様では、１つ又は複数の役割での１台又は複数の装置は、当業者に周知の追加の特徴を実装できる。これらの機能は、テキストベースの通信、ビデオ／音声記録、及びテキストベースのビデオ注釈を含むが、これらに限定されるものではない。
【００５９】
ある態様では、画像の処理は、リモートプロセッサへの送信前にローカルプロセッサを介して実装できる。例えば、画像処理は、送信前にローカルプロセッサで発生できる。追加の例として、役割指定は、単に処理済みの画像を受信するにすぎないシステムに対して、システムが画像合成を実行するときに発生する暗示的な役割指定として実装できる。
【００６０】
図４Ａは、プロセッサ３１０、３１２の内の少なくとも１台を用いて実行できる例示的なプロセス４００を示す。プロセス４００を実行するためには他のプロセッサ及び／又はコンピューティング装置を使用できる。ステップ４０２で、役割変更又は役割指定の要求が送信／受信できる。ある態様では、グラフィカルユーザインタフェースでボタンを押すことが、第１のアプリケーションのグラフィカルユーザインタフェースから１つ又は複数の他のアプリケーションのグラフィカルユーザインタフェースへの「役割変更要求」の送信を容易にするイベントを開始する。一例として、役割変更要求は、ローカルユーザがローカルアプリケーションに担うことを所望する役割の指定又は明確化を含むことがある。一例として、役割変更要求は、文字列リテラルとして所望される役割を含む通信となることがある。別の例として、役割変更要求はデータベースの表で文字列にマッピングされる整数として所望される役割を含む通信となるだろう。
【００６１】
ある態様では、役割変更要求の送信／受信をトリガすることは、１つ又は複数の論理イベント又は物理イベントによって容易にできる。一例として、イベントは、ユーザからの入力を介してトリガできる。追加の例として、イベントはジェスチャー認識、音声認識、加速度計のトリガ、スワイプ、ピンチ、もしくはタッチ、又はその組合せを介してトリガできる。
【００６２】
ある態様では、役割変更要求の送信／受信をトリガすることは、１台又は複数のプロセッサが共通領域の監視／能動的な管理を実行することによって容易にすることができる。一例として、プロセッサは、１人又は複数のユーザが１つ又は複数の役割を引き受けることを所望することを示唆する画像の特徴を検出するためにマシンビジョン及び／又は画像処理の技法を活用できるだろう。別の例として、プロセッサは、共通領域での活動（運動）の量を検出し、活動の特徴に基づいて動的に役割を割り当てることができるだろう。追加の例として、プロセッサは、事前に設定された又は事前に定められたプログラム又は役割の予定によって定められるようにマルチリアリティセッションの間の特定の点で役割変更を強制できるだろう。
【００６３】
ある態様では、役割変更要求は、コンピュータアプリケーションとして定義できるローカルクライアントプログラム又はサーバと通信してサービスにアクセスするコンピュータプログラムに送信できる。一例として、ローカルクライアントプログラムはネットワーク上で要求をサーバに送信できる。ローカルクライアントプログラムは同じコンピュータ上で実行中のサーバに要求を送信し、ネットワークを横断しなければならないことを回避できる。サーバはクライアントプログラムにサービスへのアクセスを提供するコンピュータハードウェア又はコンピュータソフトウェアとして含むことができる。追加の例として、サーバは要求によって指定されるように１つ又は複数のクライアントプログラムに対する役割変更要求を送信できる。ある態様では、各クライアントプログラムはリモートアプリケーションのリモートグラフィカルユーザインタフェースに要求を送信できる。
【００６４】
ステップ４０４で、グラフィカルユーザインタフェースが要求を受信すると、１つ又は複数の条件文（例えば、ＩＦ−ＴＨＥＮ文）が、要求を受け付けるかどうかを判断するために実行できる。ある態様では、条件文のシーケンスが、変更役割要求を受け付けるかどうかを判断するためにローカルプロセッサによって実行できる。
【００６５】
ある態様では、ローカルプロセッサは、変更役割要求で指定される役割に対応する役割が配置する及び／又は生成することができるかどうかを判断するためのチェックを実行できる。一例として、対応する役割が配置されない場合、ステップ４０６で、否定（つまり、ＦＡＬＳＥ）応答をローカルクライアントに送信できる。一例として、ローカルクライアントはコンピューティング装置に応答を送信できる。コンピューティング装置は１つ又は複数のリモートクライアントに応答を送信できる。リモートクライアントは対応するグラフィカルユーザインタフェースに応答を提示できる。追加の例として、対応する役割が配置される場合、該役割（及び関連付けられた機能性）を使用して、１台又は複数のディスプレイを介して画像の提示を制御できる。ある態様では、ステップ４０８で、文字又は文字列等の識別子を使用して１つ又は複数の役割を識別できる。一例として、識別子は特定の処理経路及び／又は提示構成を１つ又は複数の役割指定と関連付けるために使用できる。したがって、役割指定は、それと関連付けられた識別子に基づいて選択する、処理する、配置する、操作すること等ができる。
【００６６】
ある態様では、プロセッサは、ローカルアプリケーションがすでに対応する役割であるかどうかを判断するためにバリデーションチェックを実行できる。真の場合、プロセッサは、ローカルアプリケーションのローカルグラフィカルユーザインタフェースから１つ又は複数のリモートアプリケーションのリモートグラフィカルユーザインタフェースへの肯定応答（つまり、ＴＲＵＥ）の送信を開始できる。対応する役割がローカルアプリケーションの現在の役割に等しくない場合、ローカルアプリケーションの現在の役割を対応する役割に割り当てし直す、又は指定することができる。このようにして、１人又は複数のユーザに表示されるグラフィカルユーザインタフェースの配置、編成、及び／又は提示が修正できる。一例として、指定された役割と関連付けられるソフトウェアパイプラインを構成できる。
【００６７】
ある態様では、インタフェースを介して提示される現在の役割を更新するための疑似コードは以下を含むことがある。
【数１】
2016529773.tif 000003
【００６８】
図４Ｂは、マルチリアリティセッションの例示的な概略図を示す。ある態様では、関心領域４１６を有する第１の場所４１４での第１のユーザ４１２は、第２の場所４２０の第２のユーザ４１８と通信できる。一例として、第１のユーザ４１２はオペレータの役割であることがある。一方、第２のユーザ４１８はヘルパーの役割であることがある。このようにして、関心領域４１６は第１のユーザ４１２と第２のユーザ４１８との間で共有できる。追加の例として、関心領域４１６は、オペレータ役割として指定される第１のユーザ４１２と関連付けられる第１の構成で画像を提示するように構成できる。役割変更に続き、第１のユーザ４１２はヘルパーの役割を担うことができる。一方、第２のユーザ４１８はオペレータの役割を担うことができる。このようにして、関心領域４１６は、第１のユーザ４１２と第２のユーザ４１８との間で共有することができ、オペレータ役割として指定される第２のユーザ４１８に基づいて第２の構成で画像を提示するために更新できる。
【００６９】
ある態様では、画像の処理はリモートプロセッサへの送信前にローカルプロセッサを介して実装できる。例えば、画像合成は、送信前にローカルプロセッサで起こることがある。このようにして、リモートプロセッサによって受信される画像及び／又はビデオは合成を必要とせず、コーデックによって受け付けることができる。追加の例として、役割指定は、システムが単に処理済みの画像を受信するだけのシステムに対して画像合成を実行するときに起こる暗示的な役割指定として実装できる。
【００７０】
図４Ｃは、オペレータ役割で指定される第１のユーザ４１２を示すように構成される関心領域４１６の例示的なレンダリングを示す。ある態様で、図４Ｃは、第１のユーザ４１２の視点からの関心領域４１６を示す。別の態様では、１つ又は複数のビデオキャプチャカードを、ローカル関心領域（例えば、人工膝）の１つ又は複数の画像をキャプチャするために有効化できる。関心領域４１６の画像は、実質的に１の不透明度でレンダリングできる。第１のユーザ４１２の手４２０及び第２のユーザ４１８の手４２２の画像は、１未満の不透明度でレンダリングできる。一方、第２のユーザ４１８の顔４２４の画像は、実質的に１の不透明度でディスプレイにタイル表示する又は配置することができる。
【００７１】
図４Ｄは、ヘルパー役割で指定される第２のユーザ４１８を示すように構成された関心領域４１６の例示的なレンダリングを示す。ある態様では、図４Ｄは、第２のユーザ４１８の視点からの関心領域４１６を示す。関心領域４１６の画像は、実質的に１の不透明度でレンダリングできる。第１のユーザ４１２の手４２０及び第２のユーザ４１８の手４２２の画像は、１未満の不透明度でレンダリングできる。一方、第１のユーザ４１２の顔４２６の画像は実質的に１の不透明度でディスプレイにタイル表示する又は配置することができる。
【００７２】
ある態様では、タッチセンサ方式のディスプレイでレンダリングされるグラフィッカルボタンの選択を役割変更要求を開始するために使用できる。一例として、グラフィカルボタンを押すと、第１のプロセッサによってレンダリングされるグラフィカルユーザインタフェースから第２のプロセッサによってレンダリングされるグラフィカルユーザインタフェースへの送信を開始できる。追加の例として、グラフィカルボタンは、第２のユーザが担うことを希望する役割を指定できる。
【００７３】
ある態様では、図４Ｅは１人又は複数のユーザに対するグラフィカルユーザインタフェース４２８の例示的なレンダリングを示す。１つ又は複数のグラフィカルボタン４３０が、ユーザが「オペレータ」、「ヘルパー」、及び／又は「注意喚起」等の役割指定を行うことを可能にする。ビデオウィンドウ４３２は、１つ又は複数の画像を表示できる。追加のオプションがユーザに見せられてよく、このことがマルチリアリティセッションでのビデオ画像の追加の操作を可能にできる。一例として、グラフィカル「ブレンド値」スライダ４３４が、ユーザが見られる現実画像と仮想画像の相対的な割合を決定できるようにする。別の例として、グラフィカル「露光値」スライダ４３６は、ユーザがローカルカメラ又はリモートカメラの露光特性を調節できるようにする。追加の例として、グラフィカル「テレステーション」メニュー４３８は、ユーザがビデオ画像の上部で仮想描画を実行できるようにする。グラフィカル「お気に入り」ボタン４４０及びグラフィカル「セッション終了」ボタン４４２は、それぞれユーザが他のセッションパラメータを調節し、リモートユーザとのカレントセッションを終了できるようにする。
【００７４】
図４Ｆは、オペレータ役割で指定された第２のユーザ４１８を示すように構成された関心領域４１６の例示的なレンダリングを示す。ある態様では、図４Ｆは、第２のユーザ４１８の視点からの関心領域４１６を示す。別の態様では、１つ又は複数のビデオキャプチャカードを、ローカル関心領域（例えば、人工膝）の１つ又は複数の画像をキャプチャするために有効化できる。関心領域４１６の画像は実質的に１の不透明度でレンダリングできる。第１のユーザ４１２の手４２０及び第２のユーザ４１８の手４２２の画像は、１未満の不透明度でレンダリングできる。一方、第１のユーザ４１２の顔４２６の画像は実質的に１の不透明度でディスプレイにタイル表示する又は配置することができる。
【００７５】
図４Ｇは、ヘルパー役割で指定された第１のユーザ４１２を示すように構成された関心領域４１６の例示的なレンダリングを示す。ある態様では、図４Ｇは、第１のユーザ４１２の視点からの関心領域４１６を示す。関心領域４１６の画像は、実質的に１の不透明度でレンダリングできる。第１のユーザ４１２の手４２０及び第２のユーザ４１８の手４２２の画像は、１未満の不透明度でレンダリングできる。一方、第２のユーザ４１８の顔４２４の画像は実質的に１の不透明度でディスプレイにタイル表示する又は配置することができる。
【００７６】
ある態様では、役割（及び関連付けられた機能性）を使用して、１台又は複数のディスプレイを介して画像の提示を制御できる。ある態様では、文字又は文字列等の識別子は、１つ又は複数の役割を識別するために使用できる。一例として、識別子は特定の処理経路及び／又は提示の構成を１つ又は複数の役割指定と関連付けるために使用できる。したがって、１人又は複数のユーザに表示されるグラフィカルユーザインタフェースの配置、編成、及び／又は提示を修正できる。一例として、指定された役割と関連付けられたソフトウェアパイプラインを構成できる。
【００７７】
ある態様では、本明細書に開示される方法は、１つ又は複数のシステムアーキテクチャを介して実装できる。図５Ａに示されるように、アーキテクチャは、１台又は複数のユーザ装置５０１ａ、５０１ｂ、５０１ｃ、５０１ｄ、５０１ｅ、コンピューティング装置５０２（例えば、中心サーバ）、並びにユーザ装置の内の１台又は複数及び／又はユーザ装置とコンピューティング装置５０２との間の通信リンク５０４（例えば、接続）を含むことがあるが、これらに限定されるものではない。ある態様では、ユーザ装置５０１ａ、５０１ｂ、５０１ｃ、５０１ｄ、５０１ｅは、マルチリアリティ環境プロセスの一部としてユーザ装置５０１ａ、５０１ｂ、５０１ｃ、５０１ｄ、５０１ｅの他の装置へ／から１つ又は複数の画像を送信する及び／又は受信することができる。
【００７８】
ある態様では、ユーザ装置５０１ａ、５０１ｂ、５０１ｃ、５０１ｄ、５０１ｅの内の１台又は複数がローカルカメラ／プロセッサから画像をキャプチャする／処理することができる。一例として、これらの画像は、次いでリモートカメラ／プロセッサによってキャプチャされる／処理される１つ又は複数の画像とマージできるだろう。いくつかの態様では、指定された役割でのユーザ装置に対するより高品質のユーザ経験を促進するためにレーテンシ又は帯域幅等の特定のパラメータを修正することが望ましい。したがって、図５Ａに示される汎用アーキテクチャは、これらの目的を達成するために修正できる。一例として、アーキテクチャは追加の処理経路（例えば、通信リンク５０４）及び／又はコンピューティング装置（例えば、コンピューティング装置５０２）を活用して、１台又は複数のユーザ装置（例えば、ユーザ装置５０１ａ、５０１ｂ、５０１ｃ、５０１ｄ、５０１ｅ）に対する帯域幅要件及び／又は１台又は複数のユーザ装置（例えば、ユーザ装置５０１ａ、５０１ｂ、５０１ｃ、５０１ｄ、５０１ｅ）によって経験されるレーテンシを削減することができる。追加の例として、アーキテクチャは１台又は複数のユーザ装置から処理要件をオフロードするために修正できる。
【００７９】
ある態様では、１台又は複数の装置５０１ａ、５０１ｂ、５０１ｃ、５０１ｄ、５０１ｅに１つ又は複数の役割を指定する（例えば、定義する、選択する、受信する、生成する）ことができる。一例として、役割は１台又は複数のユーザ装置５０１ａ、５０１ｂ、５０１ｃ、５０１ｄ、５０１ｅと関連付けられるプロセッサによって１つ又は複数の関係するプログラムの論理実行をトリガする抽象的概念として指定できる。係るプログラムは、一例としてユーザに表示されるようにグラフィカルユーザインタフェースの配置、編成、及び／又は提示で修正をトリガできる。別の例として、係るプログラムは、１つ又は複数の画像の処理及び／又は後処理を修正することによって画像及び／又はビデオの処理に影響を及ぼすことがある。追加の例として、これらのプログラムは、１人又は複数のユーザに提示される画像又はビデオのレンダリングに影響を及ぼすことがある。
【００８０】
ある態様では、画像の処理は、リモートプロセッサ（例えば、別のユーザ装置５０１ａ、５０１ｂ、５０１ｃ、５０１ｄ、５０１ｅ、又はコンピューティング装置５０２）への送信前にユーザ装置５０１ａ、５０１ｂ、５０１ｃ、５０１ｄ、５０１ｅの内の１台に対してローカルに実装できる。例えば、画像合成は送信前にローカルプロセッサで起こることがある。このようにして、リモートプロセッサによって受信される画像及び／又はビデオは合成を必要とせず、コーデックによって受け付けることができる。追加の例として、役割指定は、システムが単に処理済みの画像を受信するだけのシステムに対して画像合成を実行するときに起こる暗示的な役割指定として実装できる。
【００８１】
ある態様では、ユーザ（例えば、ユーザ装置５０１ａ、５０１ｂ、５０１ｃ、５０１ｄ、５０１ｅ）は、役割変更要求を開始することによってオペレータ又はヘルパー等の能動的な役割を担うことを要求できる。一例として、グラフィカルユーザインタフェースでボタンを押すと、第１のアプリケーションのグラフィカルユーザインタフェースから中心サーバ（例えば、コンピューティング装置５０２）への役割変更要求の送信を容易にするイベントを開始できる。追加の例として、役割変更要求は、ローカルユーザがローカルアプリケーションに担うことを所望する役割の指定又は明確化を含むことがある。一例として、役割変更要求は、文字列リテラルとして所望される役割を含む通信となることがある。別の例として、役割変更要求はデータベースの表で文字列にマッピングされる整数として所望される役割を含む通信となるだろう。
【００８２】
ある態様では、役割変更要求の送信／受信のトリガは、１つ又は複数の論理イベント又は物理イベントによって容易にすることができる。一例として、イベントはユーザからの入力を介してトリガできる。追加の例として、イベントはジェスチャー認識、音声認識、加速度計のトリガ、スワイプ、ピンチ、もしくはタッチ、又はその組合せを介してトリガできる。
【００８３】
ある態様では、役割変更要求はグラフィカルユーザインタフェースから、サービスにアクセスするためにサーバと通信するコンピュータアプリケーション又はコンピュータプログラムとして定義できるローカルクライアントプログラムに送信できる。一例として、ローカルクライアントプログラムはネットワーク上でサーバに要求を送信できる。ローカルクライアントプログラムは同じコンピュータ上で実行中のサーバに要求を送信し、ネットワークを横断しなければならないことを回避できる。サーバは、クライアントプログラムにサービスへのアクセスを提供するコンピュータハードウェア又はコンピュータソフトウェアとして含むことができる。いったん要求がサーバによって受信されると、サーバは、役割変更要求を受け付けることができるかどうかを判断するために役割変更チェックを実行できる。ある態様では、サーバは役割変更チェックの結果を１つ又は複数のリモートクライアントプログラムに送信できる。ある態様では、各リモートクライアントプログラムがアプリケーションの関連付けられたグラフィカルユーザインタフェースに要求を送信できる。
【００８４】
図５Ｂは、役割を交渉する例示的な方法を示す。ステップ５１０で、コンピューティング装置（例えば、コンピューティング装置５０２（図５Ｂ））は役割変更要求を受信できる。要求の受信時、ステップ５１２で、要求を受け付けるかどうかを判断するために１つ又は複数の条件文（例えば、ＩＦ−ＴＨＥＮ文）を実行できる。ある態様では、役割変更要求を受け付けるかどうかを判断するために条件文のシーケンスがコンピューティング装置によって実行できる。
【００８５】
ある態様では、コンピューティング装置は、役割変更要求に指定される役割に対応する役割を配置する及び／又は生成することができるかどうかを判断するために役割変更チェックを実行できる。ステップ５１４で、コンピューティング装置は次いで肯定応答又は否定応答を返すことができる。一例として、対応する役割が配置されない場合、否定（つまりＦＡＬＳＥ）応答を返すことができる。追加の例として、対応する役割が配置される場合、プロセッサは、セッションに参加するカレントユーザが役割変更要求によって指定される役割を保持するかどうかを判断するために追加のチェックを実行できる。ある態様では、要求された役割を保持するユーザが配置されない場合、肯定応答を返すことができる。別の態様では、要求された役割を保持するユーザが配置される場合、配置されたユーザが役割変更動作を禁じる「保持」を指定しているかどうかを判断するために別のチェックを実行できる。一例として、保持が存在しない場合、コンピューティング装置は肯定（つまりＴＲＵＥ）応答を返すことができる。別の例として、保持が役割に存在する場合、コンピューティング装置は否定応答を返すことができる。
【００８６】
ある態様では、インタフェースを介して提示された現在の役割を更新するための疑似コードは、以下を含むことがある。
【数２】
2016529773.tif 000004
【００８７】
ある態様では、ステップ５１４で返された値（例えば、肯定応答又は否定応答）は、１台又は複数の装置によって実行される一連の論理イベントをトリガできる。一例として、否定応答が返される場合、コンピューティング装置はリモートクライアント（例えば、役割変更を要求するユーザ装置５０１ａ、５０１ｂ、５０１ｃ、５０１ｄ、５０１ｅ）に「拒否済み」メッセージを送信できる。リモートクライアント（例えば、ユーザ装置５０１ａ、５０１ｂ、５０１ｃ、５０１ｄ、５０１ｅ）は、次いで、アプリケーションの関連付けられたグラフィカルユーザインタフェースにこのメッセージを送信できる。ある態様では、「拒否」メッセージはグラフィカルユーザインタフェースに「何もしない」、したがってその現状を維持するように命令できる。
【００８８】
図５Ｃは、役割変更要求の例示的な交渉を示す。ある態様では、ユーザ装置５０１ａをヘルパー役割として指定することができ、ユーザ装置５０１ｂをオペレータ役割として指定できる。ユーザ装置５０１ｃ、５０１ｄ、５０１ｅは、加入者役割として指定できる。例えばコンピューティング装置５０２の方向での（例えば、１つ又は複数の画像、ビデオストリーム等の送信を決定する一方向送信規則の下で動作する）一方向送信を可能にする通信リンク５０４ａ、５０４ｂをコンピューティング装置５０２と確立することができる。例えばそれぞれユーザ装置５０１ｃ、５０１ｅ、５０１ｄの方向での一方向送信を可能にする通信リンク５０４ｃ、５０４ｄ、５０４ｅをコンピューティング装置５０２と確立できる。例えば、ビデオストリームでの１つ又は複数の画像等のデータの（例えば、１つ又は複数の画像、ビデオストリーム等の送信を決定する多方向送信規則の下で動作する）多方向送信を可能にする通信リンク５０４ｆをユーザ装置５０１ａとユーザ装置５０４ｂとの間で確立できる。
【００８９】
ある態様では、ユーザ装置５０１ｃは役割変更要求を開始できる。要求された役割（例えば、ヘルパー）がセッションで第２のユーザ装置５０１ａ等の第２のユーザ装置によってすでに取られていると識別される場合、ユーザ装置５０１ａと関連付けられたグラフィカルユーザインタフェースが役割変更動作を禁じる保持を指定したかどうかを判断するためにコンピューティング装置５０２によってチェックを実行できる。保持が存在しない場合、加入者メッセージに対する変更はユーザ装置５０１ａと関連付けられるリモートクライアントにコンピューティング装置５０２によって送信できる。追加の例としてクライアントは次いで関連付けられたローカルグラフィカルユーザインタフェースにメッセージを送信できる。ユーザ装置５０１ａは次いで加入者役割として指定できる。一例として、コンピューティング装置５０２は通信リンク５０４ａを修正し、例えばユーザ装置５０１ａの方向でのデータの一方向送信を可能にする修正された通信リンク５０４ａ’を確立できる。一例として、ユーザ装置５０１ａと関連付けられるグラフィカルユーザインタフェースは、次いで、指定されたビデオストリームでの１つ又は複数の画像の、例えばオペレータとして指定されたユーザ装置５０１ｂと関連付けられたリモートアプリケーションへの送信を終了するようにローカルアプリケーションに命令するメッセージをローカルアプリケーションに送信できる。
【００９０】
ある態様では、肯定応答がステップ５１４（図５Ｂ）で返される場合、コンピューティング装置５０２は指定された役割（例えばヘルパー）への役割変更を要求するユーザ装置５０１ｃの関連付けられたクライアントに受付けメッセージを送信できる。ユーザ装置５０１ｃの関連付けられたクライアントは、次いでローカルグラフィカルユーザインタフェースにメッセージを送信できる。ユーザ装置５０１ｃは、次いで要求された役割（例えばヘルパー）として指定できる。一例として、コンピューティング装置５０２は通信リンク５０４ｃを修正し、一例としてコンピューティング装置５０２の方向でのデータの一方向送信を可能にする修正された通信リンク５０４ｃ’を確立できる。ユーザ装置５０１ｃと関連付けられたローカルグラフィカルユーザインタフェースはローカルアプリケーションに送信開始メッセージを送信することができ、ローカルアプリケーションは次いで指定されたビデオストリームでの１つ又は複数の画像のコンピューティング装置５０２への送信を開始できる。通信リンク５０４ｆは削除することができ、例えばビデオストリームでの１つ又は複数の画像等のデータの多方向送信を可能にする通信リンク５０４ｇをユーザ装置５０１ｃとユーザ装置５０１ｂとの間で確立できる。ユーザ装置５０１ｃと関連付けられたローカルグラフィカルユーザインタフェースは次いでローカルアプリケーションに送信開始メッセージを送信することができ、ローカルアプリケーションは次いで例えばオペレータとして指定されたユーザ装置５０１ｂへの指定されたビデオストリームでの１つ又は複数の画像の送信を開始できる。一例として、ユーザ装置５０１ｃ、ユーザ装置５０１ｂ、及びコンピューティング装置５０２は次いで空間画像登録プロセスを任意選択で実行できる。
【００９１】
別の態様では、ユーザ装置５０１ｃは役割変更要求を開始できる。要求された役割（例えば、ヘルパー）が、セッションで別のユーザ装置によってすでに取られていないと識別される場合、コンピューティング装置５０２によって肯定値を返すことができる。一例として、コンピューティング装置５０２は指定された役割への役割変更を要求するユーザ装置５０１ｃと関連付けられたクライアントに受け付けたメッセージを送信できる。追加の例として、クライアントは次いで関連付けられたローカルグラフィカルユーザインタフェースにこのメッセージを送信できる。ユーザ装置５０１ｃは、ここで要求された役割（例えばヘルパー）であるとして指定される。コンピューティング装置５０２は、例えばユーザ装置５０１ｃからビデオストリームでの１つ又は複数の画像の、一例としてコンピューティング装置の方向での一方向送信を可能にする通信リンクを確立できる。一例として、ユーザ装置５０１ｃと関連付けられたグラフィカルユーザインタフェースは次いでビデオストリームでの１つ又は複数の画像の、コンピューティング装置５０２への送信を開始するように関連付けられたローカルアプリケーションに命令する「送信開始」メッセージを関連付けられたローカルアプリケーションに送信できる。追加の例として、例えばユーザ装置５０１ｃと、例えばオペレータ又はヘルパー（存在する場合）として指定されたユーザ装置の他方との間でのビデオストリームでの１つ又は複数の画像等のデータの多方向送信を可能にする通信リンクを、ユーザ装置５０１ｃと例えばオペレータ又はヘルパー（存在する場合）として指定されるユーザ装置の他方との間で確立できる。ユーザ装置５０１ｃと関連付けられたローカルグラフィカルユーザインタフェースは、次いで関連付けられたローカルアプリケーションに「送信開始」メッセージを送信することができ、関連付けられたローカルアプリケーションは次いで例えばオペレータ又はヘルパー（存在する場合）として指定されたユーザ装置の他方への指定されたビデオストリームでの１つ又は複数の画像の送信を開始できる。一例として、ユーザ装置５０１ｃ、コンピューティング装置５０２、及び例えばヘルパー又はオペレータの役割の他方での１台又は複数の他のユーザ装置は、次いで空間画像登録プロセスを任意選択で実行できる。
【００９２】
図５Ｄは、役割変更要求の例示的な交渉を示す。ある態様では、媒介装置つまりプロキシサーバ５０６が処理を実行し、それによってコンピューティング装置５０２からの処理要求をオフロードし、１人又は複数のユーザにより経験されるレーテンシを減少させることができる。一例として、プロキシサーバ５０６のプレゼンスは、例えばヘルパー役割の１人又は複数のユーザに対応できる。例示的な場合、図５Ｄに示されるように、ユーザ装置５０１ｄ、５０１ｅをヘルパー役割であるとして指定でき、ユーザ装置５０１ｂをオペレータ役割であるとして指定できる。ユーザ装置５０１ａ、５０１ｃは加入者役割であるとして指定できる。プロキシサーバ５０６はある程度の画像処理を実行でき、ユーザ装置５０１ｄ、５０１ｅから受信される１つ又は複数の画像から１つ又は要素を結合する。通信リンク５０４ｄ、５０４ｂをコンピューティング装置５０２と確立でき、一例としてコンピューティング装置５０２での方向での、例えばビデオストリームでの１つ又は複数の画像の一方向送信を可能にする。例えばビデオストリームでの１つ又は複数の画像の、一例として、それぞれユーザ装置５０１ａ、５０１ｃの方向での一方向送信を可能にする通信リンク５０４ａ、５０４ｃをコンピューティング装置５０２と確立できる。例えばビデオストリームでの１つ又は複数の画像の、一例として多方向送信を可能にする通信リンク５０４ｅをユーザ装置５０１ｂとプロキシサーバ５０６との間で確立できる。例えばビデオストリームでの１つ又は複数の画像の、一例として多方向送信を可能にする通信リンク５０４ｆ、５０４ｇをプロキシサーバ５０６と確立できる。
【００９３】
別の態様では、ユーザ装置５０１ｃは役割変更要求を開始できる。要求された役割（例えばヘルパー）がセッションでユーザ装置５０１ｄによってすでに取られていると識別される場合、ユーザ装置５０１ｄと関連付けられたグラフィカルユーザインタフェースが役割変更動作を禁じる「保持」を指定しているかどうかを判断するために、コンピューティング装置５０２プロセッサによってチェックを実行できる。保持が存在しない場合、コンピューティング装置５０２によってユーザ装置５０１ｄと関連付けられたリモートクライアントに「加入者に変更」メッセージを送信できる。追加の例として、クライアントは次いで関連付けられたローカルグラフィカルユーザインタフェースにこのメッセージを送信できる。ユーザ装置５０１ｄはここで加入者役割にあるとして指定される。一例として、コンピューティング装置５０２は、例えばビデオストリームで１つ又は複数の画像の、一例としてユーザ装置５０１ｄの方向での一方向送信を可能にする通信リンク５０４ｃをユーザ装置５０１ｄと確立できる。別の例として、ユーザ装置５０１ｄと関連付けられるグラフィカルユーザインタフェースは、次いでプロキシサーバ５０６と関連付けられたアプリケーションに対する１つ又は複数のビデオ画像の送信を終了させるメッセージを第２のユーザと関連付けられたローカルアプリケーションに送信できる。一例として、コンピューティング装置５０２は、ユーザ装置５０１ｄと関連付けられたアプリケーションへの１つ又は複数のビデオ画像の送信を終了するようにプロキシサーバ５０６に命令する「送信停止」メッセージをプロキシサーバ５０６に送信できる。
【００９４】
ある態様では、コンピューティング装置５０２は、指定された役割（例えば、ヘルパー）への役割変更を要求する「受付け」メッセージをユーザ装置５０１ｃの関連付けられたクライアントに送信できる。ユーザ装置５０１ｃの関連付けられたクライアントは、次いでこのメッセージをローカルグラフィカルユーザインタフェースに送信できる。ユーザ装置５０１ｃはここで要求された役割（例えばヘルパー）であるとして指定される。コンピューティング装置５２０は、次いで例えばビデオストリームでの１つ又は複数の画像の、一例として多方向送信を可能にする通信リンク５０４ｆをユーザ装置５０１ｃと確立するようにプロキシサーバ５０６に命令する「接続確立」メッセージをプロキシサーバ５０６に送信できる。一例として、コンピューティング装置５０２は、ビデオストリームでの１つ又は複数の画像のプロキシサーバ５０６への送信を開始するようにユーザ装置５０１ｃに命令する「送信開始」メッセージをユーザ装置５０１ｃに送信できる。プロキシサーバ５０６はある程度の画像処理を実行し、ユーザ装置５０１ｃ、５０１ｅから受信される１つ又は複数の画像から１つ又は要素を結合できる。別の例として、コンピューティング装置５０２は、ヘルパーとして新規に指定されたユーザ装置５０１ｃへのビデオストリームでの１つ又は複数の画像の送信を開始するようにプロキシサーバ５０６に命令する「送信開始」メッセージをプロキシサーバ５０６に送信できる。プロキシサーバ５０６は、ユーザ装置５０１ｅ、５０１ｃの内の１台又は複数に対するビデオストリームでの１つ又は複数の画像の送信を開始できる。一例として、プロキシサーバ５０６、コンピューティング装置５０２、及び例えばオペレータとして指定されたユーザ５０１ｂは次いで空間画像登録プロセスを任意選択で実行できる。
【００９５】
図５Ｅは、役割変更要求の例示的な交渉を示す。ユーザ装置５０１ａをヘルパー役割であるとして指定することができ、ユーザ装置５０１ｅをオペレータ役割であるとして指定できる。ヘルパーとして指定されるユーザ装置５０１ａとオペレータとして指定されるユーザ装置５０１ｅとの間に通信リンク５０４ｅを確立することができ、例えばビデオストリームでの１つ又は複数の画像の、一例として多方向送信を可能にする。ユーザ装置５０１ｄ、５０１ｃ、５０１ｂは、送信者役割であるとして指定できる。ヘルパー役割で指定されるユーザ装置５０１ａと通信リンク５０４ｄ、５０４ｂ、５０４ａを確立することができ、例えばビデオストリームでの１つ又は複数の画像の、一例としてユーザ装置５０１ａの方向での一方向送信を可能にする。通信リンク５０４ｉ、５０４ｈ、５０４ｃ、５０４ｇ、５０４ｆは、それぞれユーザ装置５０１ｅ、５０１ｄ、５０１ａ、５０１ｃ、５０１ｂとコンピューティング装置５０２との間で確立することができ、多方向のメッセージベースの通信を可能にする。
【００９６】
ユーザ装置５０１ｄは役割変更要求を開始できる。要求された役割（例えばオペレータ）がセッションでユーザ装置５０１ｅによってすでに取られていると識別される場合、ユーザ装置５０１ｅと関連付けられたグラフィカルユーザインタフェースが役割変更動作を禁じる「保持」を指定しているかどうかを判断するために、コンピューティング装置５０２プロセッサによってチェックが実行できる。保持が存在しない場合、「送信者に変更」メッセージがユーザ装置５０１ｅと関連付けられたリモートクライアントにコンピューティング装置５０２によって送信できる。追加の例として、クライアントは次いで関連付けられたローカルグラフィカルユーザインタフェースにこのメッセージを送信できる。ユーザ装置５０１ｅは、ここで送信者役割であるとして指定できる。一例として、コンピューティング装置５０２は、ユーザ装置５０１ａと関連付けられたリモートクライアントに「接続修正」メッセージを送信できる。クライアントは、次いで関連付けられたローカルグラフィカルユーザインタフェースにこのメッセージを送信できる。ユーザ装置５０１ａと関連付けられたグラフィカルユーザインタフェースは次いで通信リンク５０４ｅを修正して、例えばユーザ装置５０１ｅからのビデオストリームでの１つ又は複数の画像の、一例としてユーザ装置５０１ａの方向での一方向送信を可能にする修正された通信リンク５０４ｅ’を確立できる。追加の例として、ユーザ装置５０１ａと関連付けられたグラフィカルユーザインタフェースは通信リンク５０４ｄを修正して、例えばユーザ装置５０１ａ、５０１ｄの間のビデオストリームでの１つ又は複数の画像の、一例として多方向送信を可能にする修正された通信リンク５０４ｄ’を確立できる。
【００９７】
ある態様では、ユーザ装置５０１ａと関連付けられたグラフィカルユーザインタフェースは、ユーザ装置５０１ｅへのビデオストリームでの１つ又は複数の画像の送信を終了するように関連付けられたローカルアプリケーションに命令する「送信停止」メッセージを関連付けられたローカルアプリケーションに送信できる。コンピューティング装置５０２は次いでユーザ装置５０１ｄと関連付けられたリモートクライアントに「受付け」メッセージを送信することができ、ユーザに、指定された役割（例えばオペレータ）への役割変更要求が受け付けられたことを可能にする。リモートクライアントは次いで関連付けられたローカルグラフィカルユーザインタフェースにこのメッセージを送信できる。ユーザ装置５０１ｄはここでオペレータ役割にあるとして指定できる。同時に、ユーザ装置５０１ａと関連付けられたグラフィカルユーザインタフェースは、ユーザ装置５０１ｄへのビデオストリームでの１つ又は複数の画像の送信を開始するように関連付けられたローカルアプリケーションに命令する「送信開始」メッセージを関連付けられたローカルアプリケーションに送信できる。一例として、ユーザ装置５０１ｄ及びユーザ装置５０１ａは空間画像登録プロセスを任意選択で実行できる。
【００９８】
図６Ａは、例示的な空間画像登録プロセスを示す。ステップ６０２で、コンピューティング装置は既知の登録パターンから成る登録画像を生成できる。一例として、このパターンは、点、正方形、又は他の形状を含むことがある。ステップ６０４で、コンピューティング装置はローカルに生成された登録画像をディスプレイに書き込むことができる。ステップ６０６で、コンピューティング装置はディスプレイから登録画像を読み戻し、ステップ６０２で生成された画像とステップ６０６で読み戻された画像との間で、ステップ６０８で第１の数学的変換を計算できる。一例として、コンピューティング装置はヘルパーとして指定されたユーザと関連付けられたアプリケーションから登録画像を受信できる。コンピューティング装置は、ディスプレイに登録画像を書き込み、その後画像を読み戻すことができる。コンピューティング装置は次いで読み戻された画像とヘルパーのアプリケーションから最初に受信された画像との間の第２の変換を計算できる。追加の例としては、コンピューティング装置はオペレータとして指定されたユーザのアプリケーションから登録画像をさらに受信できる。コンピューティング装置は、ディスプレイに登録画像を書き込み、その後画像を読み戻すことができる。コンピューティング装置は次いで読み戻された画像と、オペレータのアプリケーションから最初に受信された画像との間で第３の変換を計算できる。第１の変換、第２の変換、及び第３の変換の内の１つ又は複数が、次いでローカルプロセッサ、「オペレータ」として指定されたユーザ、及び「ヘルパー」として指定されたユーザの内の１つ又は複数から生成された、又は受信された画像の内の１つ又は複数の画像を同じ２次元（２Ｄ）空間の中に持ち込み、適切な空間的関係性を維持できるようにするために、コンピューティング装置によって活用できる。
【００９９】
図６Ｂは例示的な役割交渉プロセスを示す。ステップ６１２で、複数の要素のプレゼンスを反映する共通関心領域をレンダリングできる。ある態様では、要素の内の少なくとも１つは要素の別の要素から遠隔に位置するリモート要素である。ステップ６１４で、１つ又は複数の役割指定を受信できる。ある態様では、各役割指定は複数の装置の内の１台と関連付けることができる。一例として、複数の装置の内の少なくとも１台は、複数の装置の別の装置から遠隔に位置するリモート装置である。ステップ６１６で、共通関心領域は受信された１つ又は複数の役割指定に基づいて更新できる。１つ又は複数の役割指定のそれぞれは、複数の装置の内のそれぞれの装置と関連付けられたインタラクティブな機能性を定義できる。インタラクティブな機能性は、画像データの送信及び受信の内の１つ又は複数を含むことがある。役割指定の内の１つ又は複数は役割指定の別の指定に比較して異なったインタラクティブな機能性を定義できる。
【０１００】
図６Ｃは例示的な役割交渉プロセスを示す。ステップ６２２で、複数の要素のプレゼンスを反映する共通関心領域をレンダリングできる。ある態様では、要素の内の少なくとも１つは要素の別の要素から遠隔に位置するリモート要素である。ステップ６２４で、１つ又は複数の役割指定を受信できる。ある態様では、各役割指定は複数の装置の内の１台と関連付けることができる。一例として、複数の装置の内の少なくとも１台は複数の装置の内の別の装置から遠隔に位置するリモート装置である。ステップ６２６で、複数の装置の内の１台又は複数への／からの情報（例えば、画像情報、音声情報等）の入口及び出口は、複数の役割の指定の内の１つ又は複数に基づいて管理できる。ある態様では、役割指定のそれぞれは、複数の装置の内のそれぞれの装置と関連付けられた画像情報の入口及び出口を管理するための送信規則を定義できる。
【０１０１】
ある態様では、オペレータ役割は複数の装置の内のそれぞれの装置と関連付けられた画像及び音声の情報の入口及び出口を管理するための１つ又は複数の態様を含んだ送信規則を定義する（例えば、関連付けられる、呼び出させる、実装する等）ことができる。オペレータ役割での装置は、ヘルパー役割のユーザ装置又は１台又は複数のヘルパー装置から画像／音声を結合するプロキシサーバと画像／音声情報のピアツーピア交換を実行できる。したがって、サードパーティの中心サーバを通した伝送を回避できるので、オペレータ役割の装置に対してレーテンシを最小限に抑えることができる。ある態様では、オペレータ役割を担う装置は、タスク実行者等の能動的な役割で機能するユーザによって活用できる。一例として、タスク実行者は手術を実行する、高度機械類を修理する、自動車を検査する、複雑な装置を操作する又は類似を実行できるだろう。このようにして、タスク実行者は低ビデオ／音声レーテンシを所望する。高レベルのビデオ／音声レーテンシは、不正確なタスク完了及びユーザの側の不満につながることがある。別の態様では、オペレータ役割の装置はそのローカルにキャプチャされる画像／音声をさらにコンピューティング装置に送信して、加入者役割で指定される１台又は複数の装置に対する処理及び分散を可能にしてよい。
【０１０２】
ある態様では、ヘルパー役割は複数の装置の内のそれぞれの装置と関連付けられた画像及び音声の情報の入口及び出口を管理するための１つ又は複数の態様を含んだ送信規則を定義する（例えば、関連付けられる、呼び出させる、実装する等）ことができる。ヘルパー役割の装置又はヘルパー役割で指定される１台又は複数の装置からの画像／音声を結合するプロキシサーバは、オペレータ役割でのユーザ装置と画像／音声情報のピアツーピア交換を実行できる。ヘルパー役割を担う装置は、例えばあまり熟練していない又はあまり知識が豊富ではない個人を支援する知識が豊富である又は高度な訓練を受けた個人等、リモートエキスパート用の装置として機能できる。特定の例では、リモートエキスパートユーザは概して物理的にタスクを完了しようと試みていないので、レーテンシの増加はリモートエキスパートユーザにとって我慢できる。ヘルパー役割の複数の装置がある場合、結合された処理及び送信／受信を実行するためにプロキシサーバが使用されてよい。これを行う上で、インフラストラクチャ／システム帯域幅の要件は削減され、処理はヘルパー装置からオフロードされる。ヘルパー役割の装置又は１人又は複数ヘルパーからの画像／音声を結合するプロキシサーバは、処理、及び加入者として指定される１台又は複数の装置への分散のためにコンピューティング装置に画像／音声をさらに送信してよい。
【０１０３】
加入者役割は、複数の装置のそれぞれの装置と関連付けられた画像及び音声情報の入口及び出口を管理するための１つ又は複数の態様を含んだ送信規則を定義できる。加入者役割の装置はある程度の画像処理を実行するコンピューティング装置から画像／音声情報を受信できる。一般に、加入者役割の装置のユーザはタスクの完了を受動的に見守るが、タスクの完了に能動的に参加しない。したがって、レーテンシの増加は概して耐えられる。
【０１０４】
送信者役割は、複数の装置の内のそれぞれの装置と関連付けられた画像及び音声情報の入口及び出口を管理するための１つ又は複数の態様を含んだ送信規則を定義できる。送信者役割の装置は概して、ある程度の画像処理を実行するヘルパー役割の装置に画像／音声情報を送信する。一般に、送信者役割の装置のユーザは画像／音声情報を受動的に送信する。
【０１０５】
ある態様では、送信規則は複数の装置の内のそれぞれの装置と関連付けられた画像及び音声情報の入口及び出口を管理することに関する。一例として、送信規則は１台又は複数の装置に対する帯域幅制限を定義できる。ある態様では、装置への／からのネットワークトラフィックが帯域幅制限に達すると、送信規則は装置と関連付けられたトラフィック負荷を削減するために操作プロトコルを定義できる。一例として、送信規則と関連付けられた操作プロトコルは、コンテンツ自体よりむしろメッセージ、文書、又はプロシジャベースの通信を送信することを含むことがある。
【０１０６】
ある態様では、メッセージ、文書又はプロシジャベースの通信の送信は、役割又は共通領域に対する変更を示す／達成するために１台又は複数の装置によって１台又は複数の他の装置に対して開始できる。一例として、１台又は複数の装置の役割の変更に関する更新は、１台又は複数の他の装置に送信できる。別の例として、管理者役割での装置は、所望される透明度／不透明度で特定の画像又はテクスチャを見る命令とともに１台又は複数の他の装置にメッセージを伝搬できる。追加の例として、１台又は複数の他の装置のセッション内でのプレゼンスに関する更新は、１台又は複数の他の装置に送信できる。
【０１０７】
図７Ａは、例示的な仮想プレゼンスシステムを示す。１つの係るシステムは、同じセッションに加わることになる各リモート参加者によって使用できる。各システムはネットワーク接続を通して互いと通信できる。例えば、リモートサイトは、インターネットを介して接続できる。タスクは各システムで複数のコンピュータの間で分割できる。例えば、１台のコンピュータ（グラフィックサーバ）は、ローカルカメラ及びネットワークサーバから画像を収集し、立体画像合成タスクを実行し、ローカルステレオスコピックディスプレイシステムを起動できる。追加の例として、システム３００のプロセッサ（複数の場合がある）３１０は、グラフィックサーバによって具現化できる。
【０１０８】
図７Ｂは、グラフィックサーバを用いて実行できる例示的なプロセスを示す。画像は、ローカルデータ構造（フレームリング）の中に収集できる。ローカル画像は、例えば２台のカメラ等、複数のカメラから収集できる。リモート画像は例えば高速リモートダイレクトメモリアクセス（ＲＤＭＡ）接続を介してネットワークサーバによって提供できる。これらの画像は、（図３においてのように）リモートユーザ及びローカルユーザを同じシーンで見ることができるように結合できる。この複合的な結果はローカルステレオスコピックディスプレイシステムに送信できる。第２のコンピュータは、例えば深度マップ生成だけではなくネットワーク符号化／復号タスクを実行できるネットワークサーバとして機能できる。
【０１０９】
図７Ｃは、ネットワークサーバと実行できる例示的なプロセスを示す。ＲＤＭＡ接続を介してグラフィックサーバから収集されるローカル画像は、深度情報で解析及びマッピングし、効率的なネットワーク伝送のために符号化し、リモートサイトでの対応するネットワークサーバによって受信されるように外部ネットワーク接続へ送信することができる。同時に、符号化された画像及び深度マップは、ＲＤＭＡ接続を介してリモートサイトから受信し、復号し、ローカルグラフィックサーバに提供することができる。
【０１１０】
システムは、ネットワークサーバに接続される制御端末によってユーザ制御することができる。ユーザは、次いで、ネットワークサーバへの専用のネットワーク接続を介してグラフィックサーバにアクセスし、グラフィックサーバを制御することができる。
【０１１１】
仮想インタラクティブプレゼンスのパラメータは、使用されるシステムに応じて構成できる。構成可能なパラメータは、仮想要素のサイズ、仮想要素のプレゼンス（不透明、半透明等）、仮想プレゼンスの時間（時間は、遅延、減速、加速等するように構成できる）、仮想及び現実の任意の組合せを重ね合わせる及び／又は互いの上に『適合する』ことができる等のように要素の重ね合わせを含むことがあるが、これらに限定されるものではない。
【０１１２】
図８は、例示的なＶＩＰディスプレイの側面図を示す。図９は、例示的なＶＩＰディスプレイのユーザのビューを示す。図１０は、例示的なＶＩＰディスプレイのユーザのビューを示す。
【０１１３】
本明細書に使用されるように、「ローカル」関心領域はローカル物理領域及びローカルユーザを指し、このようにして１つおきの領域をリモートにすることができる。各領域は各領域のローカル物理ユーザにとってローカルであるが、他のユーザにとってはリモートであることがある。領域の複合は共通関心領域である場合がある。これは、共通関心領域のローカルレンダリングの中で「現実」の構成要素があることがあり、対話が、ユーザ及びオブジェクトを表す単なるグラフィックアバターではなく、物理オブジェクトの実際のビデオ（及び他の）レンダリング間にあるという点で共通の「仮想世界」とは異なる。提供される方法及びシステムは、仮想インタラクティブプレゼンスが、現実と仮想の相互作用によって物理的なドメインを修正する／最適化できるようにする。
【０１１４】
図１１に示されるある態様では、提供されているのは、１１０１でリモートユーザとローカルユーザの物理プレゼンスを反映する共通関心領域をレンダリングすることと、１１０２で共通関心領域でリモートユーザとローカルユーザの間の対話をレンダリングすることと、１１０３でリモートユーザのプレゼンスがリアルタイムでローカルユーザに対してレンダリングされ、ローカルユーザのプレゼンスがリアルタイムでリモートユーザにレンダリングされるように、共通関心領域を連続的に更新することとを含んだ仮想インタラクティブプレゼンスのための方法である。
【０１１５】
共通関心領域は、リモートユーザがローカルユーザと同様に共通関心領域を経験するようにレンダリングできる。ローカルユーザは、リモートユーザとの共通関心領域での連続的な対話を可能にするようにリモートユーザの物理プレゼンスを経験できる。方法はさらに、共通領域でローカルオブジェクトの物理プレゼンスをレンダリングすることと、共通領域でローカルユーザとローカルオブジェクトとの間の対話をレンダリングすることを含むことがある。方法はさらに、共通関心領域でローカルオブジェクトの物理プレゼンスをレンダリングすることと、共通関心領域でリモートユーザとローカルオブジェクトの間の対話をレンダリングすることとを含むことがある。
【０１１６】
図１２に示される別の態様では、提供されているのは、１２０１でローカルオブジェクトの物理プレゼンス、ローカルオブジェクトの容積測定画像、及びローカルユーザを反映するローカル関心領域をレンダリングすることと、１２０２でローカル関心領域でローカルオブジェクトと、容積測定画像と、ローカルユーザとの間の対話をレンダリングすることと、１２０３でローカルオブジェクトの物理プレゼンス及びローカルオブジェクトの容積測定画像がローカルユーザにリアルタイムでレンダリングされるようにローカル関心領域を連続的に更新することとを含んだ仮想インタラクティブプレゼンスのための方法である。
【０１１７】
ローカルオブジェクトは、例えば患者であることがあり、ローカルオブジェクトの容積測定画像は、例えば患者の一部の医療画像であることがある。ただし、ローカルオブジェクトは任意の関心のあるオブジェクトであることがあり、ローカルオブジェクトの画像はそのオブジェクトの任意の正確なレンダリングであることがある。例えば、自動車エンジン及びエンジンの３Ｄグラフィック等であろう。
【０１１８】
医療画像は、例えばＸ線画像、ＭＲＩ画像、又はＣＴ画像の内の１つであることがある。方法はさらに、ローカルユーザによって容積測定画像をローカルオブジェクトの上に重ね合わせることをさらに含むことがある。重ね合わせは、コンピュータによって自動的に実行できる。
【０１１９】
方法は、ローカルユーザによって容積測定画像の特性を調整することをさらに含むことがある。特性は透明度、空間的位置、及びスケールの内の１つ又は複数であることがある。
【０１２０】
方法は、ローカル関心領域でローカルツールをレンダリングすることをさらに含むことがある。方法はさらに、ローカルオブジェクトのレンダリングに対する正確な空間的関係でローカルツールをレンダリングすることを含むことがある。ツールは、例えば手術道具等、任意のタイプのツールであることがある。
【０１２１】
別の態様では、提供されているのは、共通関心領域を表示するために構成された仮想プレゼンスディスプレイ、ローカル仮想プレゼンスデータを入手するために構成されたローカルセンサ、ローカル仮想プレゼンスデータを送信し、リモート仮想プレゼンスデータを受信するために構成されたネットワークインタフェース、及び仮想プレゼンスディスプレイ、ローカルセンサ、及びネットワークインタフェースに連結されたプロセッサを含んだ仮想プレゼンスのためのシステムであり、プロセッサは、ローカル仮想プレゼンスデータ及びリモート仮想プレゼンスデータに基づいてリモートユーザ及びローカルユーザの物理プレゼンスを反映する共通関心領域をレンダリングすることと、共通関心領域でリモートユーザとローカルユーザとの間の対話でレンダリングすることと、リモートユーザの物理プレゼンスがローカルユーザにリアルタイムでレンダリングされ、ローカルユーザの物理プレゼンスがリモートユーザにリアルタイムでレンダリングされるように共通関心領域を連続的に更新することと、仮想プレゼンスディスプレイに共通関心領域を出力することとを含んだステップを実行するように構成される。
【０１２２】
仮想プレゼンスディスプレイが、ステレオスコピックディスプレイ、（ＣＲＴ、ＬＣＤ等の）モノスコピックディスプレイ等の内の１つ又は複数であることがある。センサは、カメラ、赤外線センサ、深度走査センサ等の内の１つ又は複数であることがある。共通関心領域は、リモートユーザがローカルユーザと同様に共通関心領域を経験するようにレンダリングできる。ローカルユーザは、リモートユーザとの共通関心領域での連続的な対話を可能にするようにリモートユーザの物理プレゼンスを経験できる。
【０１２３】
プロセッサはさらに、共通関心領域でのローカルオブジェクトの物理プレゼンスをレンダリングすることと、共通関心領域でローカルユーザとローカルオブジェクトとの間の対話をレンダリングすることと含んだステップを実行するように構成できる。
【０１２４】
プロセッサは、共通関心領域でローカルオブジェクトの物理プレゼンスをレンダリングすることと、共通関心領域でリモートユーザとローカルオブジェクトの間の対話をレンダリングすることとを含んだステップを実行するようにさらに構成できる。
【０１２５】
さらに提供されているのは、ローカル関心領域を表示するために構成された仮想プレゼンスディスプレイ、ローカル仮想プレゼンスデータを入手するために構成されたローカルセンサ、仮想プレゼンスディスプレイ及びローカルセンサに連結されたプロセッサを含んだ仮想プレゼンスのためのシステムであって、プロセッサはローカル仮想プレゼンスデータ及びローカルオブジェクトの容積測定画像に基づいてローカルオブジェクト及びローカルユーザの物理プレゼンスを反映するローカル関心領域をレンダリングすることと、ローカル関心領域でローカルオブジェクトと、容積測定画像と、ローカルユーザとの間の対話をレンダリングすることと、ローカルオブジェクトの物理プレゼンス及びローカルオブジェクトの容積測定画像がローカルユーザにリアルタイムでレンダリングされるようにローカル関心領域を連続的に更新することと、仮想プレゼンスディスプレイにローカル関心領域を出力することとを含んだステップを実行するように構成される。
【０１２６】
仮想プレゼンスディスプレイは、ステレオスコピックディスプレイ、（ＣＲＴ、ＬＣＤ等の）モノスコピックディスプレイ等の内の１つ又は複数であることがある。センサは、カメラ、赤外線センサ、深度走査センサ等の内の１つ又は複数であることがある。
【０１２７】
ローカルオブジェクトは、例えば患者であることがあり、ローカルオブジェクトの容積測定画像は、例えば患者の一部の医療画像であることがある。医療画像は、例えばＸ線画像、ＭＲＩ画像、又はＣＴ画像の内の１つであることがある。ただし、ローカルオブジェクトは関心のある任意のオブジェクトであることがあり、ローカルオブジェクトの画像はそのオブジェクトの任意の正確なレンダリングであることがある。例えば、自動車エンジン及びエンジンの３Ｄグラフィック等であろう。
【０１２８】
プロセッサはさらに、ローカルユーザによってローカルオブジェクトの上に容積測定画像を重ね合わせることを含んだステップを実行するように構成できる。プロセッサはさらに、ローカルユーザによって容積測定画像の特性を調整することを含んだステップを実行するように構成できる。特性は、透明度、空間的位置、及びスケールの内の１つ又は複数であることがある。
【０１２９】
プロセッサはさらに、ローカル関心領域でローカルツールをレンダリングすることを含んだステップを実行するように構成できる。プロセッサは、レンダリングされたローカルオブジェクトに正確な空間的関係でローカルツールをレンダリングすることを含んだステップを実行するようにさらに構成できる。
【０１３０】
開示された方法及びシステムは幅広い用途を有することがある。例えば、手術、ゲーミング、機械学、軍需物資、戦場の物理プレゼンス、教育的努力（トレーニング）、及び／又は対話がシナリオの一部である任意の他の状況。
【０１３１】
また、リモートエキスパートがローカル手術野内に仮想的に存在することができるようにする方法及びシステムも開示される。仮想インタラクティブプレゼンスは互いに遠く離れている２人の外科医が外科的処置を対話的に実行できるようにするために使用できる。方法及びシステムは２人以上のオペレータが同じ現実の術野の中に仮想的に存在し、対話し、このようにして遠隔支援をサポートし、外科的な専門知識をエクスポートできるようにする。
【０１３２】
また、方法及びシステムは、指導及び適応指導のために生体構造自体の上に手術生体構造のイメージングデータを重ね合わせるためにも使用できる（拡張現実）。方法及びシステムは学生のトレーニングに使用できる。方法及びシステムは、エキスパートをロボット領域に仮想的に連れて行き、ロボットオペレータを指導することによってロボット工学の領域を拡張し、強化する。方法及びシステムは、エキスパートの手を指導のために内視鏡領域の中に直接的に挿入することによって内視鏡的処置に適用できる。方法及びシステムは、その基本的な技術が緊急事態を処理でき、仮想対話から学習する実際のローカル外科医にリモートエキスパートの支援を提供することによって遠隔手術を拡大する。方法及びシステムは損傷部位及び他の医療環境で使用できる。方法及びシステムはエンジニアリング、建設、建築等の他の分野で遠隔支援を提供するために使用できる。開示されている方法及びシステムは遠隔の「必要としているサイト」に専門知識を伝送し、現代のイメージングを手術野に直接的にマージし、外科学生を訓練するために使用できる。
【０１３３】
リモート外科医を指導する／支援する目的でローカルエキスパートの外科的手技をリモート外科医に伝送するための例示的な遠隔手術支援システムが図１３に示される。リモート手術野は、両眼ビデオシステムを付けたリモート外科医によって見ることができる。ビデオシステムは処置を実行する外科医の手及び器具とともに領域を示すことができる。表示システムは、手術ビデオ内視鏡と呼ばれることがある。
【０１３４】
リモート領域の両眼ビデオレンダリングは、第２の手術ビデオ内視鏡システムを通して処置の（現在は仮想の）立体レンダリングを見ることができるローカルエキスパート）に伝送できる。ローカルエキスパートは自分の手を仮想領域の中に挿入し、このようにして自分の現実の手を仮想領域の中で見ることができる。
【０１３５】
ローカルエキスパートの手のビデオ画像は現実領域の上に重ね合されるリモート外科医の手術ビデオ内視鏡システムに送り返すことができる。リモート外科医は次いで空間的に／解剖学的に関連する状況で自分の手術野の中でエキスパートの仮想の手を見ることができる。このシステムにより、ローカルエキスパートは自分の手を使用してリモート外科医に症例をどのように実行するのかを見せることができる。
【０１３６】
システムの例示的な要素は、リモート外科医が手術的処置を実行できるリモートステーション、例えば取り付けられた顕微鏡に似ていることがある固定されたステレオスコピックビデオ内視鏡から成るリモート手術ビデオ内視鏡システムを含むことがある。この装置は、術野を見るためにリモート外科医によって使用できる。任意の他のタイプの適切なＶＩＰディスプレイを使用できる。システムは、両眼のビデオ画像を、ローカルステーションの類似したローカル手術ビデオ内視鏡に投影できる。ローカル手術ビデオ内視鏡は遠隔処置の両眼のビデオ画像を受信し、ローカルエキスパートが画像を見ることができるようにする。ローカルビデオ内視鏡は、ローカル外科医がローカルビデオ内視鏡を通して見られる仮想リモート領域の中で動くのにつれてローカル外科医の手を見ることができる。ローカルビデオ内視鏡は次いで、リモート外科医がエキスパートの仮想の手を現実領域の中で見ることができるように、ローカルエキスパートの手をリモートビデオ内視鏡に送り返すことができる。
【０１３７】
このシステムを使用して、ローカルエキスパートはリモート外科医に、症例の無事完了につながる適切な手技を見せることができる。リモート外科医は新しい処置を実行するための基本的な専門技術を有することがある。したがって、ローカルエキスパートは、簡単に専門技術を適用する新しい方法をリモート外科医に実証できる。システムはリモート外科医に取って代わる必要はないが、リモート外科医の能力を強化するために使用できる。リモート外科医はあらゆる緊急事態に迅速に対処するために待機できる。リモート外科医はタスクを実行するために自らの手を使用し、ローカルエキスパートがリモートロボット装置を操作する必要性を排除できるため、時間遅延は最小限に抑えられる。
【０１３８】
また、術野の上に現代の医療イメージングをマージするための方法及びシステムも開示される。術野の容積画像を得ることができる。例えば、外科的処置の前の頭部の容積ＭＲＩ。画像データは生体構造の３次元レンダリングの中に再構築できる。このレンダリングは、術野を見るために使用される手術ビデオ内視鏡に送信できる。ビデオ内視鏡を通して、外科医は手術野の上に重ね合わせられる半透明でこの３Ｄレンダリングを見ることができる。この場合、外科医は現実の頭部に重ね合されるレンダリングされた頭部を見るだろう。手術ビデオ内視鏡インタフェースでソフトウェアツールを使用し、外科医はレンダリングされた画像が現実の頭部に「適合する」までレンダリングされた画像を回転し、拡大縮小できる。ビデオ内視鏡システムは、外科医が現実の頭部を「覗き込み」手術を計画できるようにレンダリングされた頭部と現実の頭部を区別してフェードさせることができるようにする。
【０１３９】
システムの例示的な要素は、外科医がそれを通して手術野を見る手術ビデオ内視鏡表示システムを含むことがある。現実の手術生体構造に容積が取得されたＭＲＩ／ＣＴ（又は他の）画像を一致させることを可能にする容積が取得されたＭＲＩ／ＣＴ（又は他の）画像の再構築のためのコンピュータ。容積レンダリング済みの画像は、外科医が立体視的に画像を見ることができるようにビデオ内視鏡システムを通して表示できる。ソフトウェアインタフェースは、外科医が、レンダリングされた生体構造を現実の生体構造の上に重ね合わせることができるようにレンダリングされた生体構造及び現実の生体構造の半透明性を変えることができるようにする。外科医は、画像のあらゆる／すべての内部詳細が現実の生体構造に関係するので、画像のあらゆる／すべての内部詳細を見るためにレンダリングされた生体構造を「広げる」。手術道具は、挙動を追跡調査し、画像に適用できるようにレンダリングされた生体構造に空間的に登録できる。
【０１４０】
図１４に示されるように、係るタスクの例は小さなオブジェクトが外科医に見えないように濃いゼラチンのジャーの内側に小さいオブジェクトを配置している。タスクは、外科医が長い鉗子を使用してゼラチンの中に達する、及びオブジェクトに触れる又は把持することである。手術ビデオ内視鏡システムはゼラチンジャーの容積走査を入手し、３次元でジャーをレンダリングし、ビデオ内視鏡を通して両眼のレンダリングを表示できる。外科医はレンダリング及び現実のジャーをスコープシステムを通して見て、現実のジャーの上にレンダリングされたジャーを適合できる。半透明性を区別するように調整することによって、外科医は鉗子を用いて現実のジャーの中に到達し、他の指定オブジェクトを回避しながら選択したオブジェクトを把持できる。
【０１４１】
把持器具は、手術野の容積測定レンダリングの上に空間的に登録し、それによって道具の図形を適切な解剖学的配向で手術野のレンダリングの上に表示できるようにする。これで指導の強化を実現できる。これは、画像レンダリングシステムと通信するデジタイザを用いて現実のオブジェクト（ジャー）の上の指定されたランドマークに触れ、このようにしてオブジェクト／プローブ関係性を定義することによって実現できる。オブジェクト（ジャー）は重ね合わせによってジャーの画像に登録されるため、プローブの図形はジャーの画像に関して表示され、仮想手術を可能にすることができる。
【０１４２】
本システムを使用できる多くの状況がある。例えば、第三世界諸国のために又は軍事状況で使用できる遠隔手術、医療訓練、及びテレメディスン。患者から離れて位置する外科医は患者の近くの他の外科医を支援することができ、患者に近い内科医を支援することができ、ロボット手術システムと連結されるときに外科手術を実行できる。他の例は、拡張された又は強化された手術‐例が内視鏡手術である仮想環境を使用する通常の手術を含む。また、外科的処置をシミュレーションできる。互いに遠隔に位置する外科医は現実の患者に対して手術を実施する前に処置を計画し、練習することができる。
【０１４３】
他の用途は、手術前の患者の準備、内科的治療、予防医学、疑似体験療法、恐怖症の削減、障害のある人の訓練、及び技術研鑽等を含む。
【０１４４】
ビューワは、次いで左目の画像を左目に、右目の画像を右目に送る（サングラスに類似する）受動的な立体視偏光眼鏡を通して投影を見る。これは、正しく偏位された画像がソフトウェアによって適切にレンダリングされるときに立体視の錯覚を提供する。システムは、システムに対する機能的な損傷のない他のタイプのステレオスコピックディスプレイで置き換えることができる。ステレオスコピックディスプレイは、偏光レンズを取り付けられた少なくとも２台のディスプレイプロジェクタ、拡散時に光偏向を維持する逆投影画面材料、特定の偏光の光だけを見るようにそれぞれの目を制限する特殊眼鏡、及びビューワを含むことがある。見られる画像は２つのわずかに異なるビュー変換でレンダリングし、理想的なビューワの２つの目の異なる位置を反映できる。一方のプロジェクタは左目の位置に対してレンダリングされた画像を表示し、他方のプロジェクタは右目の位置に対してレンダリングされた画像を表示する。眼鏡は、左目が左目のためにレンダリングされた画像だけを見て、右目は右目のためにレンダリングされた画像だけを見るように光を制限する。ビューワは、妥当な立体画像を提示され、深度を知覚する。
【０１４５】
図１５は、開示された方法を実行するための例示的な動作環境を示すブロック図である。例示的な動作環境は動作環境の一例にすぎず、動作環境アーキテクチャの使用又は機能性の範囲に関して何の制限を示唆することも意図していない。動作環境は、例示的な動作環境で示される構成要素の内のいずれか１つ又は組合せに関して依存関係又は要件を有するとして解釈されるべきでもない。
【０１４６】
方法は、多数の他の汎用の又は特殊目的のコンピューティングシステム環境又は構成を用いて操作可能となることがある。システム及び方法と使用するのに適している可能性がある周知のコンピューティングシステム、コンピューティング環境、及び／又はコンピューティング構成の例は、パーソナルコンピュータ、サーバコンピュータ、ラップトップ装置、及びマルチプロセッサシステムを含むが、これらに限定されるものではない。追加の例はセットトップボックス、プログラム可能な家庭用電化製品、ネットワークＰＣ、ミニコンピュータ、メインフレームコンピュータ、上記システム又は装置のいずれかを含む分散型コンピューティング環境等を含む。
【０１４７】
方法は、コンピュータによって実行されているプログラムモジュール等のコンピュータ命令の一般的な文脈で説明されてよい。概して、プログラムモジュールは特定のタスクを実行する、又は特定の抽象データ型を実装するルーチン、プログラム、オブジェクト、構成要素、データ構造等を含む。システム及び方法は、タスクが、通信ネットワークを通してリンクされるリモート処理装置によって実行される分散型コンピューティング環境で実践されてもよい。分散型コンピューティング環境では、プログラムモジュールは、メモリ記憶装置を含んだローカルコンピュータ記憶媒体とリモートコンピュータ記憶媒体の両方に位置してよい。
【０１４８】
本明細書に開示される方法は、コンピュータ１５０１の形をとる１台又は複数の汎用コンピューティング装置を介して実装できる。コンピュータ１５０１の構成要素は、１台又は複数のプロセッサもしくは処理部１５０３、システムメモリ１５１２、及びプロセッサ１５０３を含んだ多様なシステム構成要素をシステムメモリ１５１２に連結するシステムバス１５１３を含むことがあるが、これらに限定されるものではない。
【０１４９】
システムバス１５１３は、さまざまなバスアーキテクチャのいずれかを使用して、メモリバス又はメモリコントローラ、周辺バス、加速グラフィックポート、及びプロセッサ又はローカルバスを含んだいくつかの考えらえるタイプのバス構造の内の１つ又は複数を表す。一例として、係るアーキテクチャは業界標準アーキテクチャ（ＩＳＡ）バス、マイクロチャネルアーキテクチャ（ＭＣＡ）バス、拡張ＩＳＡ（ＥＩＳＡ）バス、ビデオエレクトロニクススタンダーズアソシエーション（ＶＥＳＡ）ローカルバス、及びメザニンバスとしても知られるペリフェラルコンポーネントインターコネクト（ＰＣＩ）バスを含むことがある。このバス、及び本明細書に指定されるすべてのバスは、有線ネットワーク接続又は無線ネットワーク接続上で実装できる。バス１５１３、及び本明細書に指定されるすべてのバスは有線ネットワーク接続又は無線ネットワーク接続上で実装することもでき、プロセッサ１５０３、大量記憶装置１５０４、オペレーティングシステム１５０５、アプリケーションソフトウェア１５０６、データ１５０７、ネットワークアダプタ１５０８、システムメモリ１５１２、入出力インタフェース１５１０、ディスプレイアダプタ１５０９、ディスプレイ装置１５１１、及びヒューマンマシンインタフェース１５０２を含んだサブシステムのそれぞれがこの形のバスを通して接続される物理的に別個の場所で１台又は複数のリモートコンピューティング装置１５１４ａ、ｂ、ｃの中に収容され、事実上完全に分散されたシステムを実現する。
【０１５０】
コンピュータ１５０１は、通常、さまざまなコンピュータ可読媒体を含む。係る媒体はコンピュータ１５０１によってアクセス可能であり、揮発性媒体と不揮発性媒体の両方、取外し可能な媒体及び取り外しできない媒体を含む任意の入手可能な媒体であることがある。システムメモリ１５１２は、ランダムアクセスメモリ（ＲＡＭ）等の揮発性メモリ、及び／又は読出し専用メモリ（ＲＯＭ）等の不揮発性メモリの形を取るコンピュータ可読媒体を含む。システムメモリ１５１２は、通常、データ１５０７等のデータ及び／又は処理部１５０３に即座にアクセス可能である、及び／又は処理部１５０３によって現在作用されているオペレーティングシステム１５０５及びアプリケーションソフトウェア１５０６等のプログラムモジュールを含む。
【０１５１】
コンピュータ１５０１は、他の取り外し可能な／取外しできない、揮発性／不揮発性のコンピュータ記憶媒体を含んでもよい、例として、図１５はコンピュータコード、コンピュータ可読命令、データ構造、プログラムモジュール、及びコンピュータ１５０１用の他のデータの不揮発性記憶を提供できる大量記憶装置１５０４を示す。例えば、大量記憶装置１５０４はハードディスク、取外し可能な磁気ディスク、取外し可能な光ディスク、磁気カセットもしくは他の磁気記憶装置、フラッシュメモリカード、ＣＤ−ＲＯＭ、デジタル多目的ディスク（ＤＶＤ）、又は他の光記憶装置、ランダムアクセスメモリ（ＲＡＭ）、読出し専用メモリ（ＲＯＭ）、電気的消去可能プログラマブルＲＯＭ（ＥＥＰＲＯＭ）等であることがある。
【０１５２】
任意の数のプログラムモジュールを、例としてオペレーティングシステム１５０５及びアプリケーションソフトウェア１５０６を含んだ大量記憶装置１５０４上に記憶できる。オペレーティングシステム１５０５及びアプリケーションソフトウェア１５０６（又はそのなんらかの組合せ）のそれぞれはプログラミングの要素及びアプリケーションソフトウェア１５０６を含んでよい。また、データ１５０７は大量記憶装置１５０４に記憶できる。データ１５０７は、当該技術で既知の１つ又は複数のデータベースのいずれかに記憶できる。係るデータベースの例はＤＢ２（登録商標）、Ｍｉｃｒｏｓｏｆｔ（登録商標）Ａｃｃｅｓｓ、Ｍｉｃｒｏｓｏｆｔ（登録商標）ＳＱＬ  Ｓｅｒｖｅｒ、Ｏｒａｃｌｅ（登録商標）、ｍｙＳＱＬ、ＰｏｓｔｇｒｅＳＱＬ等を含む。データベースは集中化する、又は複数のシステムにわたって分散することができる。
【０１５３】
ユーザは入力装置（不図示）を介してコンピュータ１５０１の中にコマンド及び情報を入力できる。係る入力装置の例は、キーボード、ポインティングデバイス（例えば、「マウス」）、マイク、ジョイスティック、シリアルポート、スキャナ、グローブ等の触覚入力装置、及び他のボディカバリング等を含むが、これらに限定されるものではない。これらの入力装置及び他の入力装置は、ヒューマンマシンインタフェース１５０２を介して、システムバス１５１３に連結される処理部１５０３に接続できるが、パラレルポート、ゲームポート、又はユニバーサルシリアルバス（ＵＳＢ）等の他のインタフェース及びバス構造によって接続されてもよい。
【０１５４】
ディスプレイ装置１５１１も、ディスプレイアダプタ１５０９等のインタフェースを介してシステムバス１５１３に接続できる。コンピュータ１５０１は、複数のディスプレイアダプタ１５０９を有することがあり、コンピュータ１５０１は複数のディスプレイ装置１５１１を有することがある。例えば、ディスプレイ装置はモニタ、ＬＣＤ（液晶ディスプレイ）、又はプロジェクタであることがある。ディスプレイ装置１５１１に加えて、他の出力周辺装置は、入出力インタフェース１５１０を介してコンピュータ１５０１に接続できるスピーカ（不図示）、及びプリンタ（不図示）等の構成要素を含むことがある。
【０１５５】
コンピュータ１５０１は、１台又は複数のリモートコンピューティング装置１５１４ａ、ｂ、ｃに対する論理接続を使用するネットワーク化環境で動作できる。例として、リモートコンピューティング装置はパーソナルコンピュータ、ポータブルコンピュータ、サーバ、ルータ、ネットワークコンピュータ、ピアデバイス、又は他の共通ネットワークノード等であることがある。コンピュータ１５０１とリモートコンピューティング装置１５１４ａ、ｂ、ｃとの間の論理接続は、ローカルエリアネットワーク（ＬＡＮ）及び一般的な広域ネットワーク（ＷＡＮ）を介して行うことができる。係るネットワーク接続はネットワークアダプタ１５０８を通してであることがある。ネットワークアダプタ１５０８は、有線環境と無線環境の両方で実装できる。係るネットワーキング環境はオフィス、企業規模のコンピュータネットワーク、イントラネット、及びインターネット１５１５で一般的である。
【０１５６】
１台又は複数のＶＩＰディスプレイ１５１６ａ、ｂ、ｃ、ｄ、ｅはコンピュータ１５０１と通信できる。一態様では、ＶＩＰディスプレイ１５１６ｅは、入出力インタフェース１５１０を通してコンピュータ１５０１と通信できる。この通信は有線又は無線であることがある。リモートＶＩＰディスプレイ１５１６ａ、ｂ、ｃは、インターネット１５１５等のネットワークを介してネットワークアダプタ１５０８を通してコンピュータ１５０１と通信するそれぞれのリモートコンピューティング装置１５１４ａ、ｂ、ｃと最初に通信することによってコンピュータ１５０１と通信できる。リモートＶＩＰディスプレイ１５１６ｄはリモートコンピューティング装置の必要なくコンピュータ１５０１と通信できる。リモートＶＩＰディスプレイ１５１６ｄは、インターネット１５１５等のネットワークを介して通信できる。ＶＩＰディスプレイ１５１６ａ、ｂ、ｃ、ｄ、ｅは、無線又は有線接続を通して通信できる。ＶＩＰディスプレイ１５１６ａ、ｂ、ｃ、ｄ、ｅは、ＶＩＰディスプレイネットワークの一部として個別に又は集合的に通信できる。
【０１５７】
説明のために、アプリケーションプログラム及びオペレーティングシステム１５０５等の他の実行可能プログラム構成要素が個別のブロックとして本明細書に示されている。ただし、係るプログラム及び構成要素がコンピューティング装置１５０１の異なる記憶構成要素に多様なときに常駐し、コンピュータのデータプロセッサ（複数の場合がある）によって実行されることが認識される。アプリケーションソフトウェア１５０６の実装は、なんらかの形のコンピュータ可読媒体に記憶されてよい、又はなんらかの形のコンピュータ可読媒体全体で送信されてよい。コンピュータ可読媒体は、コンピュータによってアクセスできる任意の使用可能な媒体であることがある。例として、及び限定的ではなく、コンピュータ可読媒体は「コンピュータ記憶媒体」及び「通信媒体」を含んでよい。「コンピュータ記憶媒体」はコンピュータ可読命令、データ構造、プログラムモジュール、又は他のデータ等の情報の記憶のための任意の方法又は技術で実装された揮発性及び不揮発性の、取外し可能な及び取り外しできない媒体を含む。コンピュータ記憶媒体は、ＲＡＭ、ＲＯＭ、ＥＥＰＲＯＭ、フラッシュメモリもしくは他のメモリ技術、ＣＤ−ＲＯＭ、デジタル多目的ディスク（ＤＶＤ）、又は他の光記憶装置、磁気カセット、磁気テープ、磁気ディスク記憶装置もしくは他の磁気記憶装置、又は所望される情報を記憶するために使用でき、コンピュータによってアクセスできる任意の他の媒体を含むが、これらに限定されるものではない。
【０１５８】
特に明記しない限り、本明細書に説明されるいずれの方法もそのステップが特定の順序で実行されることを要求していると解釈されることは決して意図されない。したがって、方法クレームがそのステップが従う順序を実際に列挙しない場合、又はステップが特定の順序に限定されるべきであることが、それ以外の場合発明の概念又は説明に明記されない場合、順序がいずれの点でも推測されることは決して意図されない。これは、ステップ又は操作フローの配置に関する論理の問題、文法構成又は句読点に由来する平易な意味、本明細書中に説明される実施形態の数又は種別を含む解釈の考えられるあらゆる明確ではない基礎に当てはまる。
【０１５９】
範囲又は精神から逸脱することなく多様な修正及び変形を本方法及びシステムに加えることができることが当業者に明らかであろう。他の実施形態は明細書の検討及び本明細書に開示される実践から当業者に明らかになるであろう。明細書及び実施例が単に例示的と見なされ、真の範囲及び精神は以下の特許請求の範囲によって示されることが意図される。
【図１】
2016529773.tif 000005
【図２Ａ】
2016529773.tif 000006
【図２Ｂ】
2016529773.tif 000007
【図３】
2016529773.tif 000008
【図４Ａ】
2016529773.tif 000009
【図４Ｂ】
2016529773.tif 000010
【図４Ｃ】
2016529773.tif 000011
【図４Ｄ】
2016529773.tif 000012
【図４Ｅ】
2016529773.tif 000013
【図４Ｆ】
2016529773.tif 000014
【図４Ｇ】
2016529773.tif 000015
【図５Ａ】
2016529773.tif 000016
【図５Ｂ】
2016529773.tif 000017
【図５Ｃ】
2016529773.tif 000018
【図５Ｄ】
2016529773.tif 000019
【図５Ｅ】
2016529773.tif 000020
【図６Ａ】
2016529773.tif 000021
【図６Ｂ】
2016529773.tif 000022
【図６Ｃ】
2016529773.tif 000023
【図７Ａ】
2016529773.tif 000024
【図７Ｂ】
2016529773.tif 000025
【図７Ｃ】
2016529773.tif 000026
【図８】
2016529773.tif 000027
【図９】
2016529773.tif 000028
【図１０】
2016529773.tif 000029
【図１１】
2016529773.tif 000030
【図１２】
2016529773.tif 000031
【図１３】
2016529773.tif 000032
【図１４】
2016529773.tif 000033
【図１５】
2016529773.tif 000034
【国際調査報告】
2016529773.tif 000035