(57)【特許請求の範囲】
【請求項１】
少なくとも１対の立体拡張現実眼鏡を備えるポータブルデバイスに動作可能に結合されるための遠隔援助ワークステーションであって、少なくとも１つの行為を実行するために初期対応者による使用のための前記ポータブルデバイスは、現場における第１のオブジェクトを、前記現場における（ｉ）対象者及び（ｉｉ）第２のオブジェクト、のうちの少なくとも１つと関連して使用するものであり、前記遠隔援助ワークステーションは、
前記ポータブルデバイスから起きる遠隔援助リクエストに応答して前記ポータブルデバイスと通信するための通信モジュールであって、前記遠隔援助リクエストは、前記現場において前記立体拡張現実眼鏡のカメラを介して撮影されたライブビデオストリームを少なくとも含む、通信モジュールと、
（ａ）遠隔援助者グラフィカルユーザインターフェースをディスプレイデバイスに描画するため、及び（ｂ）遠隔援助者からの遠隔援助者入力を受信するためのユーザインターフェースモジュールであって、前記遠隔援助者グラフィカルユーザインターフェースは、
（ｉ）前記遠隔援助リクエストの前記ライブビデオストリームを表示するための３Ｄペインを含む、第１のペインと、
（ｉｉ）前記現場における前記第１のオブジェクトの２Ｄ表現を表示するための２Ｄペインを含む、第２のペインであって、描画された前記２Ｄ表現は、１つ又は複数の遠隔援助者入力に応答して前記第２のペイン内で移動可能であり、前記遠隔援助者グラフィカルユーザインターフェースは更に、前記第１のペイン内に、前記第２のペイン内の前記現場における前記第１のオブジェクトの描画された前記２Ｄ表現に対応する、３Ｄ仮想コンテンツのアイテムを、前記第１のペイン内の少なくとも基準ポイントに対して相対的に描画するためのものであり、前記基準ポイントは、前記ライブビデオストリームのコンテンツに基づく、第２のペインと、
を少なくとも含む、ユーザインターフェースモジュールと、
前記初期対応者が、前記現場における前記対象者又は前記第２のオブジェクトに関連して、前記第１のオブジェクトを使用して前記少なくとも１つの行為を実行するのを援助するために、前記第２のペイン内で前記現場における前記第１のオブジェクトの描画された前記２Ｄ表現を移動させる前記１つ又は複数の遠隔援助者入力に応答して、前記３Ｄ仮想コンテンツのアイテムは、前記ライブビュー内の前記基準ポイントに対して正しい場所に現れるように、前記立体拡張現実眼鏡のカメラによって撮影された前記現場のライブビュー内の前記初期対応者に対して、前記３Ｄ仮想コンテンツのアイテムを前記立体拡張現実眼鏡に表示するために、前記ポータブルデバイスに前記通信モジュールを介して出力される１つ又は複数の遠隔援助信号を生成するためのコントローラと、
を備える、遠隔援助ワークステーション。
【請求項２】
前記ポータブルデバイスは、自動体外式除細動器（ＡＥＤ）、心肺蘇生（ＣＰＲ）メトロノーム、及び心電図（ＥＣＧ）モニタ、のうちの少なくとも１つを含むポータブル医療デバイスを備え、前記現場における前記第１のオブジェクトは、（ｉ）初期対応者の片手若しくは両手又は他の初期対応者の身体の部位、及び（ｉｉ）前記ポータブルデバイスの少なくとも１つのアイテム、のうちの１つ又は複数を備える、請求項１に記載の遠隔援助ワークステーション。
【請求項３】
更に、前記３Ｄ仮想コンテンツのアイテムは、（ｉ）前記初期対応者の片手若しくは両手又は他の初期対応者の身体の部位、及び（ｉｉ）前記ポータブルデバイスの少なくとも１つのアイテム、のうちの少なくとも１つを表す仮想表現輪郭を備える、請求項２に記載の遠隔援助ワークステーション。
【請求項４】
前記第１のペイン内に、少なくとも前記遠隔援助リクエストの前記ライブビデオストリームを描画するために動作可能である、ビデオ描画モジュールと、
前記第２のペイン内に、少なくとも（ｉ）前記現場における前記対象者又は前記第２のオブジェクトの２Ｄ表現、及び（ｉｉ）前記現場における前記第１のオブジェクトの２Ｄ表現を描画するために動作可能である、２Ｄ図像ビュー描画モジュールと、
前記第１のペインに表示された前記遠隔援助リクエストの前記ライブビデオストリームの前記コンテンツ内の前記基準ポイントを確立するために動作可能である、基準ポイントモジュールと、
前記遠隔援助リクエストの前記ライブビデオストリームのための前記基準ポイントに少なくとも基づいて、前記第１のペイン内にＸＹ座標系を確立するために動作可能である、ＸＹ座標モジュールと、
のうちの１つ又は複数を更に備える、請求項１に記載の遠隔援助ワークステーション。
【請求項５】
前記基準ポイントは、（ｉ）前記ライブビデオストリーム中の前記対象者の画像に適用された顔認識アルゴリズムを介して判定された前記対象者の顔、及び（ｉｉ）前記第１のペインに描画された前記ライブビデオストリームの前記コンテンツ内の遠隔援助者選択基準ポイント、のうちの少なくとも１つを備える、請求項４に記載の遠隔援助ワークステーション。
【請求項６】
更に、前記遠隔援助者選択基準ポイントは、（ｉ）前記現場における前記対象者又は第２のオブジェクト上の基準ポイント、（ｉｉ）前記ポータブルデバイス上の基準ポイント、及び（ｉｉｉ）前記第１のオブジェクト上の基準ポイント、のうちの少なくとも１つを備える、請求項５に記載の遠隔援助ワークステーション。
【請求項７】
前記遠隔援助者選択基準ポイントは垂直方向を更に備え、前記垂直方向は、前記第２のペインのビューを、前記ビューの前記垂直方向が前記現場における前記対象者又は前記第２のオブジェクトの中央軸に対応するように前記ビューを回転させることにより修正することによって選択される、請求項６に記載の遠隔援助ワークステーション。
【請求項８】
前記１つ又は複数の遠隔援助信号は更に、前記遠隔援助者グラフィカルユーザインターフェースの前記第１のペインに表示された前記ライブビデオストリームにおいて前記遠隔援助者がＸＹ座標を選択することを含む少なくとも１つの遠隔援助者入力に応答して、前記カメラによって撮影された前記現場の前記ライブビュー内の前記初期対応者に対して、前記立体拡張現実眼鏡に少なくとも１つのハイライトを表示し、更に、前記少なくとも１つのハイライトは、前記初期対応者によって見られる前記立体拡張現実眼鏡における合致するＸＹ座標に表示される、請求項４に記載の遠隔援助ワークステーション。
【請求項９】
更に、前記第２のペインは、前記現場における前記対象者又は第２のオブジェクトに関連して実行されるべき複数の種類の行為各々のための少なくとも１つのタブを含み、前記遠隔援助者が、前記遠隔援助者グラフィカルユーザインターフェースを介して、前記第２のペイン内の所与のタブを選択することに応じて、前記２Ｄ図像ビュー描画モジュールは、前記第２のペイン内に、対応する所与の種類の行為に関して前記遠隔援助者による使用のために利用可能な前記所与のタブに関連付けられた前記第１のオブジェクトの１つ又は複数の２Ｄ表現を描画する、請求項４に記載の遠隔援助ワークステーション。
【請求項１０】
前記ポータブルデバイスは、自動体外式除細動器（ＡＥＤ）、心肺蘇生（ＣＰＲ）メトロノーム、及び心電図（ＥＣＧ）モニタ、のうちの少なくとも１つを含むポータブル医療デバイスを備え、更に、前記第１のオブジェクトの前記１つ又は複数の２Ｄ表現は、（ｉ）初期対応者の片手若しくは両手又は他の初期対応者の身体の部位、及び（ｉｉ）前記ポータブルデバイスの少なくとも１つのアイテム、のうちの１つ又は複数に対応する、請求項９に記載の遠隔援助ワークステーション。
【請求項１１】
前記ポータブルデバイスの前記少なくとも１つのアイテムの１つ又は複数の２Ｄ表現は、ＡＥＤパッド配置、ＣＰＲ圧迫配置、及びＥＣＧセンサ配置からなる群から選択される少なくとも１つのものを更に表す、請求項１０に記載の遠隔援助ワークステーション。
【請求項１２】
前記ディスプレイデバイスを更に備え、前記ディスプレイデバイスは、前記遠隔援助者入力を受信するためのタッチスクリーンデバイスを含む、請求項１に記載の遠隔援助ワークステーション。
【請求項１３】
遠隔援助ワークステーション及びポータブルデバイスを介して遠隔援助を提供するための方法であって、前記ポータブルデバイスは、少なくとも１対の立体拡張現実眼鏡を備え、少なくとも１つの行為を実行するために初期対応者による使用のための前記ポータブルデバイスは、現場における第１のオブジェクトを、前記現場における（ｉ）対象者及び（ｉｉ）第２のオブジェクト、のうちの少なくとも１つと関連して使用するものであり、前記方法は、
前記ポータブルデバイスから起きる遠隔援助リクエストに応答して、通信モジュールを介して前記遠隔援助ワークステーションを前記ポータブルデバイスに動作可能に結合するステップであって、前記遠隔援助リクエストは、前記現場において前記立体拡張現実眼鏡のカメラを介して撮影されたライブビデオストリームを少なくとも含む、ステップと、
ユーザインターフェースモジュールを介して、遠隔援助者グラフィカルユーザインターフェースをディスプレイデバイスに描画し、及び遠隔援助者からの遠隔援助者入力を受信するステップであって、前記遠隔援助者グラフィカルユーザインターフェースは、
（ｉ）前記遠隔援助リクエストの前記ライブビデオストリームを表示するための３Ｄペインを含む、第１のペインと、
（ｉｉ）前記現場における前記第１のオブジェクトの２Ｄ表現を表示するための２Ｄペインを含む、第２のペインであって、描画された前記２Ｄ表現は、１つ又は複数の遠隔援助者入力に応答して前記第２のペイン内で移動可能であり、前記遠隔援助者グラフィカルユーザインターフェースは更に、前記第１のペイン内に、前記第２のペイン内の前記現場における前記第１のオブジェクトの描画された前記２Ｄ表現に対応する、３Ｄ仮想コンテンツのアイテムを、前記第１のペイン内の少なくとも基準ポイントに対して相対的に描画し、前記基準ポイントは、前記ライブビデオストリームのコンテンツに基づく、第２のペインと、
を少なくとも含む、ステップと、
前記初期対応者が、前記現場における前記対象者又は前記第２のオブジェクトに関連して、前記少なくとも１つの行為を実行するのを援助するために、前記第２のペイン内で前記現場における前記第１のオブジェクトの描画された前記２Ｄ表現を移動させる前記１つ又は複数の遠隔援助者入力に応答して、前記３Ｄ仮想コンテンツのアイテムは、前記ライブビュー内の前記基準ポイントに対して正しい場所に現れるように、前記立体拡張現実眼鏡のカメラによって撮影された前記現場のライブビュー内の前記初期対応者に対して、前記３Ｄ仮想コンテンツのアイテムを前記立体拡張現実眼鏡に表示するために、前記ポータブルデバイスに前記通信モジュールを介して出力される１つ又は複数の遠隔援助信号を、コントローラを介して生成するステップと、
を有する、方法。
【請求項１４】
前記ポータブルデバイスは、自動体外式除細動器（ＡＥＤ）、心肺蘇生（ＣＰＲ）メトロノーム、及び心電図（ＥＣＧ）モニタ、のうちの少なくとも１つを含むポータブル医療デバイスを備え、前記現場における前記第１のオブジェクトは、（ｉ）初期対応者の片手若しくは両手又は他の初期対応者の身体の部位、及び（ｉｉ）前記ポータブルデバイスの少なくとも１つのアイテム、のうちの１つ又は複数を備える、請求項１３に記載の方法。
【請求項１５】
更に、前記３Ｄ仮想コンテンツのアイテムは、（ｉ）前記初期対応者の片手若しくは両手又は他の初期対応者の身体の部位、及び（ｉｉ）前記ポータブルデバイスの前記少なくとも１つのアイテム、のうちの少なくとも１つを表す仮想表現輪郭を備える、請求項１４に記載の方法。
【請求項１６】
前記コントローラを介して前記生成するステップは、前記遠隔援助者グラフィカルユーザインターフェースの前記第１のペインに表示された前記ライブビデオストリームにおいて前記遠隔援助者がＸＹ座標を選択することを含む少なくとも１つの遠隔援助者入力に応答して、前記カメラによって撮影された前記現場の前記ライブビュー内の前記初期対応者に対して、前記立体拡張現実眼鏡に少なくとも１つのハイライトを表示するための１つ又は複数の遠隔援助信号を生成するステップを更に含み、更に、前記少なくとも１つのハイライトは、前記初期対応者によって見られる前記立体拡張現実眼鏡における合致するＸＹ座標に表示される、請求項１３に記載の方法。
【請求項１７】
前記基準ポイントは、
（ｉ）前記第１のペインに描画された前記ライブビデオストリーム中の前記対象者の画像に適用された顔認識アルゴリズムを介して判定された前記対象者の顔の基準ポイント、及び
（ｉｉ）前記第１のペインに描画された前記ライブビデオストリームの前記コンテンツ内の遠隔援助者選択基準ポイント、
からなる群から選択されるものを備える、請求項１３に記載の方法。
【請求項１８】
更に、前記遠隔援助者選択基準ポイントは、（ｉ）前記現場における前記対象者又は第２のオブジェクト上の基準ポイント、（ｉｉ）前記ポータブルデバイス上の基準ポイント、及び（ｉｉｉ）前記第１のオブジェクト上の基準ポイント、のうちの少なくとも１つを備え、前記遠隔援助者選択基準ポイントを選択することは、前記第２のペインのビューを、前記ビューの垂直方向が前記現場における前記対象者又は前記第２のオブジェクトの中央軸に対応するように前記ビューを回転させることによって修正することを更に含む、請求項１７に記載の方法。
【請求項１９】
プロセッサによって実行されたときに、請求項１３に記載の方法を前記プロセッサに実行させる命令が具現化された、非一時的コンピュータ読み取り可能媒体。
【請求項２０】
請求項１に記載の遠隔援助ワークステーションと、
ポータブルデバイスであって、少なくとも１対の立体拡張現実眼鏡を備え、前記現場における前記第１のオブジェクトは、（ｉ）初期対応者の片手若しくは両手又は他の初期対応者の身体の部位、及び（ｉｉ）少なくとも１つのアイテム、のうちの１つ又は複数を備え、更に、前記ポータブルデバイスは、現場における対象者及び第２のオブジェクトのうちの少なくとも１つに関連して、少なくとも１つの行為を実行するために、初期対応者によって使用されるものであり、前記ポータブルデバイスは、前記遠隔援助ワークステーションと通信するための通信モジュールを更に備え、前記少なくとも１つのアイテムは、前記現場における前記対象者又は第２のオブジェクトに対して前記少なくとも１つの行為を実行することに関連して前記初期対応者によって使用される少なくとも１つのワークピースを備え、前記初期対応者によって着用される前記少なくとも１対の立体拡張現実眼鏡は、前記現場における前記対象者又は第２のオブジェクトのリアルタイム画像を撮影するためのカメラを含む、ポータブルデバイスと、
を備える、遠隔援助システム。
【発明の詳細な説明】
【技術分野】
【０００１】
[0001]  本実施形態は、概して、遠隔援助の提供に関し、より詳細には、拡張現実眼鏡を介して空間的配置タスクの遠隔援助を提供するためのユーザインターフェースを有する遠隔援助ワークステーション、方法、及びシステムに関する。
【背景技術】
【０００２】
[0002]  遠隔援助者又は専門家がいくつかの形態のビデオコラボレーション又は他の遠隔援助ツールを使用して、援助を必要としている人物にガイダンスを提供する様々な方法及びシステムが当技術分野において知られている。知られている方法の１つは、拡張現実眼鏡などの拡張現実ディスプレイと対話することを含み、第１のユーザの拡張現実デバイスから視野の視覚的記録を受信し、それを遠隔援助者のディスプレイデバイスに表示することで促進される。方法は、遠隔援助者のディスプレイデバイスへのタッチ入力の指標を受信するステップと、プロセッサによって、画像内の入力の場所を判定するステップと、拡張現実によって提供されるビューの入力の場所に指標（すなわち、矢印アイコン）が重畳されるように、入力の場所に関する情報が拡張現実デバイスに提供されるようにするステップとを更に有する。しかしながら、このような方法及びシステムによる矢印アイコンの提供は、特定の環境の下では、例えば、医療的な緊急状況の場合には、著しく不適切である。
【０００３】
[0003]  換言すれば、ディスプレイ上の矢印アイコンは、特には、初期対応者（ｆｉｒｓｔ  ｒｅｓｐｏｎｄｅｒ）が単純な２次元的（２Ｄ）な援助よりもむしろ３次元的（３Ｄ）なガイダンスを必要とする緊急状況においては、使用が限定される。例えば、高品質のＣＰＲを提供するためには、初期対応者が、自身の手を犠牲者の胸の適切な場所に位置付ける必要があるだけではなく、初期対応者が正しい深さ（すなわち、犠牲者の胸部の圧迫）及び正しい速度（すなわち、圧迫の頻度）で行為を行う必要もある。ガイドラインは、２インチ（２ｉｎ）の深さを推奨している。圧迫は血液を身体内で移動させ、生命維持に必要な臓器に酸素が供給された状態を保つ。加えて、適切な深さでの圧迫は、心臓を胸骨と脊柱との間に本質的に留め、血液を効果的に絞り出す。さもなければ、ＣＰＲは不適切なものになる。
【０００４】
[0004]  更には、緊急状況においては、初期対応者は、痩せた人にも大柄な人にも同一の深さで圧迫を実施するように初期対応者をガイドする、現在知られているＣＰＲメトロノームを使用していることもある。問題は、浅すぎる深さでの圧迫の実施は効果がなく、深すぎる深さでの圧迫の実施は、例えば、特には小児におけるＣＰＲでの胸部の圧迫の深さに関して、圧迫されている構造の損傷につながることがあるということにある。また、ＣＰＲ中に肋骨の骨折が起こることも知られており、これは他の合併症を引き起こす。ＣＰＲを施す際の別の問題は、胸部の不完全な解放である。圧迫の深さ、すなわち胸部を十分に深く圧迫することが重要である一方で、犠牲者の胸部への圧力を十分に解放することも重要である。初期対応者が自身の手を十分に持ち上げないと、犠牲者の胸部は圧迫されたままになり、心臓へのポンプ効果が減少する。
【０００５】
[0005]  緊急看護のためのＣＰＲに加えて、自動体外式除細動器（ＡＥＤ：ａｕｔｏｍａｔｉｃ  ｅｘｔｅｒｎａｌ  ｄｅｆｉｂｒｉｌｌａｔｏｒ）も知られている。ＡＥＤを使用する場合、蘇生は、厳密で、時間が重要視されるプロトコルに従って実施されなければならない。典型的には、緊急時における最初の数分が非常に重要であり、誰かがＡＥＤを持って到着するには時間がかかるため、犠牲者の蘇生は非公式の看護者（例えば、同僚、家族の一員、第三者）によって開始される。蘇生（すなわち、犠牲者の胸部へのポンプ動作、口対口式の方法で代替される）が適正に機能するためには、非公式の看護者は、正しい深さ（すなわち、犠牲者の胸部の圧迫）及び正しい速度（すなわち、圧迫の頻度）で圧迫を行う必要がある。
【０００６】
[0006]  更に、ＡＥＤによる除細動及び緊急看護に関連して、心臓が細動されているとき、無秩序な電気信号が心臓の筋肉の同期した収縮を妨げることも留意される。ＡＥＤデバイスは、電気ショックを施すことによって、心臓の電気信号を再び同期させることを助けることができる。このショックを施すために、２つの粘着式電極パッドが犠牲者の身体上に、特定の場所及び向きで位置付けられる必要がある。詳細には、電極パッドは、心臓が電極パッドの間に位置した状態で身体の斜め方向に沿って置かれる必要がある。大人の患者に対する最適な配置は、第１のパッドが犠牲者の右上胸部に装着され、次いで第２のパッドが左下側部に装着されることを伴う。専門の看護者にとってはこれは容易かもしれないが、非公式の看護者にとっては、これは手の込んだ作業となり得る。いくつかのＡＥＤは、非公式の看護者が電極パッド及びデバイスを適正に使用するのを援助する段階的な音声指示及び／又はイラストレーションを提供している。しかしながら、電極パッド自体に描かれたイラストレーションによってのみガイドされる非専門家にとっては、緊急看護を必要としている犠牲者の最適な場所にパッドを置くことは難しい。
【０００７】
[0007]  ＣＰＲを施すことに関して上に論じられた問題に加えて、ＡＥＤを使用する際の別の問題は、犠牲者への電極パッドの間違った配置である。最適な除細動のために、２つの電極パッドは、犠牲者の身体に正しく配置されなくてはならない。医療専門家は、一般に、乳首、へそ、肋骨のラインなどの身体の特徴に対してパッドをどのように配置するかを知っている。しかしながら、非専門家の初期対応者は、典型的には、この情報を知らず、緊急状況において、製品が、この複雑な医療情報を非動的な２Ｄグラフィックによって素早く伝えることは難しい。各ＡＥＤ電極パッドには、通常、非動的な２Ｄグラフィックが描かれていることが見受けられるが、これを犠牲者の身体と関連付けることは難しい。
【発明の概要】
【発明が解決しようとする課題】
【０００８】
[0008]  心臓停止中には一分一秒が争われる。それ故、例えば、蘇生又は他の緊急治療を開始するために必要となる時間を短縮し、それによって犠牲者の生存の可能性を高めるために、拡張現実眼鏡を介した空間的配置タスクの遠隔援助を初期対応者に提供するためのグラフィカルユーザインターフェースを有する遠隔援助ワークステーション、方法、及びシステムを提供することが望ましい。それ故、当技術分野における問題点を克服するための、改良された方法及び装置が望まれている。
【課題を解決するための手段】
【０００９】
[0009]  本開示の一態様によると、拡張現実ヘッドセットの出現に伴って、このような拡張現実ヘッドセット又は眼鏡を着用した「現場に存在する人物」が遠隔地の専門家と連絡をとることが可能になる。次いで、遠隔地の専門家は、ＡＲ眼鏡におけるカメラによって撮影されたライブストリームを見ることができ、「現場に存在する人物」の「目を通して見る」ことが可能になる。考えられる使用事例としては、緊急状況にある初期対応者が９１１コールセンターの医療専門家によって援助される場合、保守又は修繕を実行する現場技術者又はエンジニアが、特定の機械、ある処置、コンポーネントの利用可能性などについてより知識のある、バックオフィスにいる遠隔地の専門家に相談する場合などがある。第１の使用事例は、緊急看護に高い関連性を有し、最も注目すべきは、緊急応答チームが初期対応者を遠隔地から支援することができる製品−サービスの連携である。第２の使用事例は、例えば、現場にいる保守エンジニアが専門的な医療機器（例えば、ＭＲＩ、ＣＴ、ｉＸＲ及び超音波スキャナ、患者モニタなど）に関する作業を行う必要があるヘルスケアビジネスに高い関連性を有する。第２の使用事例は、照明システム（オフィスの照明、道路の照明など）に関する照明ビジネスにも関連性を有する。この種類の適用例の本質は、遠隔地の専門家が、本実施形態によるグラフィカルユーザインターフェースを使用して、現場にいる人物によって着用されたＡＲ眼鏡において仮想的な２Ｄ又は３Ｄの図像ガイダンスをどのように提供できるかということにある。
【００１０】
[0010]  本開示の一実施形態によると、拡張現実眼鏡を介して遠隔援助を提供する際に遠隔地の専門家によって使用されるためのグラフィカルユーザインターフェースは、少なくとも２つのペインを備える。第１のペインは、拡張現実眼鏡におけるカメラから取得されたライブビデオストリームビューを含む。第２のペインは、遠隔の現場の所与の向き（例えば、トップビュー又は他の向き）の２Ｄビューを示す表現と、描画される遠隔援助に関連した３Ｄ仮想オブジェクトの様々な移動可能な２Ｄ表現、より詳細には、選択可能で、３Ｄシーンにおける基準ポイントに対して移動可能な仮想コンテンツの２Ｄビューを示す２Ｄ表現とを含む。仮想オブジェクトは、専門家援助者入力を介して、少なくとも第２のペイン内で選択及び移動可能である。
【００１１】
[0011]  遠隔援助者グラフィカルユーザインターフェースＧＵＩは、遠隔地の専門家に、「現場に存在する人物」に情報を通信するための少なくとも２つのモードを提供する。第１のモードにおいて、遠隔地の専門家は、（ｘ，ｙ）座標を選択、例えば、第１のペインにライブビデオストリームが表示されているタッチスクリーンディスプレイにタッチすることによって選択して、第１のペインにおけるライブビデオストリームの任意の部分をハイライトすることができ、ＡＲ眼鏡を着用している人物が見る立体ＡＲ眼鏡においては正確に同じ部分がハイライトされる。仮想ハイライトは、ライブビューペインのフレームに対して（すなわち、専門家にとって）固定的であり、同様にＡＲ眼鏡に対しても固定的である。従って、この第１のモードは、現場にいる人物が自身の頭部を一時的に静止しているときにだけ機能する。というのは、さもなければスクリーン上のビューは、仮想ハイライトに対して「スライド」してしまうからである。第２のモードにおいて、遠隔地の専門家は、第２のペインに表示された現場の２Ｄ表現において仮想コンテンツを選択し、あちこちに移動（すなわち、ドラッグ）させることができる。仮想コンテンツは、遠隔援助者によってユーザインターフェースの第２のペインにおいて移動されるとき、３Ｄシーンにおける固定された基準ポイントに対して位置決めされているため、ＡＲ眼鏡を着用している人物が自身の頭部を動かしたとしても問題ない。拡張現実眼鏡の動きに伴って仮想コンテンツが跳ね回ることなく、遠隔地の専門家は仮想コンテンツを移動させることができる。
【００１２】
[0012]  最も重要な点として、初期対応者が自身の頭部を動かしているとき、遠隔援助者は、第１のペイン（すなわち、ライブビデオストリーム）内でコンテンツを単純に移動させることはできない。頭部を動かしている状況は、遠隔地の専門家が、３Ｄ仮想コンテンツを、すなわち第１のペインのライブビデオストリーム内で、安定した状態に保つことを不可能にする。それ故、遠隔援助ワークステーションは、第２のペイン（すなわち、２Ｄトップビュー又は他の所望の２Ｄ方向のビュー）を介して３Ｄ仮想コンテンツを非直接的に適用して利用する。遠隔援助者は、現場における対象者又は第２のオブジェクトの２Ｄトップビュー内の３Ｄ仮想コンテンツの２Ｄ表現を選択し、移動させる。遠隔援助者による２Ｄトップビュー内での所望の場所への３Ｄ仮想コンテンツの配置に続いて、遠隔援助ワークステーションのコントローラは、３Ｄ仮想コンテンツがライブビデオストリーム内に表示されるように、及びライブビデオストリーム中の基準ポイントに対して安定した状態で維持されるようにする遠隔援助信号を生成する。
【００１３】
[0013]  一実施形態によると、遠隔援助ワークステーションは、少なくとも１対の立体拡張現実眼鏡を備えるポータブルデバイスに動作可能に結合されるために構成され、ポータブルデバイスは、現場における第１のオブジェクトを現場における対象者及び第２のオブジェクトのうちの少なくとも１つとの関連で使用して、少なくとも１つの行為を実行するために、初期対応者によって使用されるものである。遠隔援助ワークステーションは、通信モジュールと、ユーザインターフェースモジュールと、コントローラとを備える。通信モジュールは、ポータブルデバイスから起きる遠隔援助リクエストに応答してポータブルデバイスと通信するために構成される。遠隔援助リクエストは、現場において立体拡張現実眼鏡のカメラを介して撮影されたライブビデオストリームを少なくとも含む。
【００１４】
[0014]  ユーザインターフェースモジュールは、（ａ）遠隔援助者グラフィカルユーザインターフェースをディスプレイデバイスに描画するため、及び（ｂ）遠隔援助者からの遠隔援助者入力を受信するために構成される。遠隔援助者グラフィカルユーザインターフェースは、（ｉ）遠隔援助リクエストのライブビデオストリームを表示するための第１のペインと、（ｉｉ）現場における第１のオブジェクトの２Ｄ表現を表示するための第２のペインと、を少なくとも含む。描画された２Ｄ表現は、１つ又は複数の遠隔援助者入力に応答して第２のペイン内で移動可能である。遠隔援助者グラフィカルユーザインターフェースは更に、第１のペイン内に、現場における第１のオブジェクトの２Ｄ表現に対応する、対応する３Ｄ仮想コンテンツの少なくとも１つのアイテムを、第１のペイン内の少なくとも基準ポイントに対して相対的に描画するために構成される。基準ポイントは、ライブビデオストリームのコンテンツに基づく。
【００１５】
[0015]  コントローラは、ＡＲ眼鏡のカメラによって撮影された現場のライブビュー内の初期対応者に対して、３Ｄ仮想コンテンツの少なくとも１つのアイテムを立体拡張現実眼鏡に表示するために、ポータブルデバイスに通信モジュールを介して出力される１つ又は複数の遠隔援助信号を生成するために構成される。初期対応者が、第１のオブジェクトを現場における対象者又は第２のオブジェクトとの関連で使用して、少なくとも１つの行為を実行するのを援助するために、遠隔援助者グラフィカルユーザインターフェースの第２のペイン内で現場における第１のオブジェクトの２Ｄ表現を移動させる１つ又は複数の遠隔援助者入力に応答して、３Ｄ仮想コンテンツの少なくとも１つのアイテムは、ライブビュー内の基準ポイントに対して正しい場所に現れる。
【００１６】
[0016]  別の実施形態において、ポータブルデバイスは、自動体外式除細動器（ＡＥＤ）、心肺蘇生（ＣＰＲ）メトロノーム、及び心電図（ＥＣＧ）モニタ、のうちの少なくとも１つを含むポータブル医療デバイスを備える。加えて、現場における第１のオブジェクトは、（ｉ）初期対応者の片手若しくは両手又は他の初期対応者の身体の部位、及び（ｉｉ）ポータブルデバイスの少なくとも１つのアイテム、のうちの１つ又は複数を備える。
【００１７】
[0017]  更なる実施形態において、３Ｄ仮想コンテンツの少なくとも１つのアイテムは、（ｉ）初期対応者の片手若しくは両手又は他の初期対応者の身体の部位、及び（ｉｉ）ポータブルデバイスの少なくとも１つのアイテム、のうちの少なくとも１つを表す少なくとも１つの仮想表現輪郭を備える。
【００１８】
[0018]  別の実施形態によると、遠隔援助ワークステーションは、ビデオ描画モジュールと、２Ｄ図像ビュー描画モジュールと、基準ポイントモジュールと、ＸＹ座標モジュールと、のうちの１つ又は複数を更に備える。ビデオ描画モジュールは、第１のペイン内に、少なくとも遠隔援助リクエストのライブビデオストリームを描画するために動作可能である。２Ｄ図像ビュー描画モジュールは、第２のペイン内に、少なくとも（ｉ）現場における対象者又は第２のオブジェクトの２Ｄ表現、及び（ｉｉ）現場における第１のオブジェクトの２Ｄ表現を描画するために動作可能である。基準ポイントモジュールは、第１のペインに表示された遠隔援助リクエストのライブビデオストリームのコンテンツ内の基準ポイントを確立するために動作可能である。最後に、ＸＹ座標モジュールは、遠隔援助リクエストのライブビデオストリームのための基準ポイントに少なくとも基づいて、第１のペイン内にＸＹ座標系を確立するために動作可能である。
【００１９】
[0019]  追加的な実施形態において、基準ポイントは、（ｉ）ライブビデオストリーム中の対象者の画像に適用された顔認識アルゴリズムを介して判定された対象者の顔、及び（ｉｉ）第１のペインに描画されたライブビデオストリームのコンテンツ内の遠隔援助者選択基準ポイント（ｒｅｍｏｔｅ  ａｓｓｉｓｔａｎｔ  ｓｅｌｅｃｔｅｄ  ｒｅｆｅｒｅｎｃｅ  ｐｏｉｎｔ）、のうちの少なくとも１つを備える。更には、遠隔援助者選択基準ポイントは、（ｉ）現場における対象者又は第２のオブジェクト上の基準ポイント、（ｉｉ）ポータブルデバイス上の基準ポイント、及び（ｉｉｉ）第１のオブジェクト上の基準ポイント、のうちの少なくとも１つを備え得る。更には、遠隔援助者選択基準ポイントは垂直方向を更に備え得、垂直方向は、第２のペインのビューを、ビューの垂直方向が現場における対象者又は第２のオブジェクトの中央軸に対応するようにビューを回転させることによって修正することによって選択される。
【００２０】
[0020]  更に別の実施形態において、１つ又は複数の遠隔援助信号は、ＡＲ眼鏡のカメラによって撮影された現場のライブビュー内の初期対応者に対して、立体拡張現実眼鏡に少なくとも１つのハイライトを表示するために構成される。少なくとも１つのハイライトは、遠隔専門家グラフィカルユーザインターフェースの第１のペインに表示されたライブビデオストリームにおいて遠隔援助者がＸＹ座標を選択することを含む少なくとも１つの遠隔援助者入力に応答して表示される。この実施形態において、少なくとも１つのハイライトは、初期対応者によって見られる拡張現実眼鏡における合致するＸＹ座標に表示される。
【００２１】
[0021]  なおも更なる実施形態において、遠隔援助者グラフィカルユーザインターフェースの第２のペインは、現場における対象者又は第２のオブジェクトに関連して実行されるべき複数の種類の行為各々のための少なくとも１つのタブを含む。遠隔援助者が、遠隔援助者グラフィカルユーザインターフェースを介して、第２のペインにおける所与のタブを選択することに応じて、２Ｄ図像ビュー描画モジュールは、第２のペイン内に、対応する所与の種類の行為に関して遠隔援助者による使用のために利用可能な所与のタブに関連付けられた第１のオブジェクトの１つ又は複数の２Ｄ表現を描画する。例えば、１つのタブはＡＥＤ及び電極配置などその関連する行為に専用のものであり、他のタブは、ＣＰＲ、トリアージなどに専用のものである。
【００２２】
[0022]  一実施形態において、ポータブルデバイスは、自動体外式除細動器（ＡＥＤ）、心肺蘇生（ＣＰＲ）メトロノーム、及び心電図（ＥＣＧ）モニタ、のうちの少なくとも１つを含むポータブル医療デバイスを備える。第１のオブジェクトの１つ又は複数の２Ｄ表現は、（ｉ）初期対応者の片手若しくは両手又は他の初期対応者の身体の部位、及び（ｉｉ）ポータブルデバイスの少なくとも１つのアイテム、のうちの１つ又は複数に対応し得る。加えて、ポータブルデバイスの少なくとも１つのアイテムの１つ又は複数の２Ｄ表現は、ＡＥＤパッド配置、ＣＰＲ圧迫配置、及びＥＣＧセンサ配置からなる群から選択される少なくとも１つのものを更に表し得る。更には、遠隔援助ワークステーションは、ディスプレイデバイスを備え得、ディスプレイデバイスは、遠隔援助者入力を受信するためのタッチスクリーンデバイスを含む。
【００２３】
[0023]  別の態様によると、方法は、遠隔援助ワークステーション及びポータブルデバイスを介して遠隔援助を提供するステップを有し、ポータブルデバイスは、少なくとも１対の立体拡張現実眼鏡を備える。ポータブルデバイスは、現場における第１のオブジェクトを現場における対象者及び第２のオブジェクトのうちの少なくとも１つとの関連で使用して、少なくとも１つの行為を実行するために、初期対応者によって使用されるものである。詳細には、方法は、動作可能に結合するステップ、描画及び受信するステップ、及び生成するステップ、の少なくとも３つのステップを有する。
【００２４】
[0024]  第１のステップは、ポータブルデバイスから起きる遠隔援助リクエストに応答して、通信モジュールを介して遠隔援助ワークステーションをポータブルデバイスに動作可能に結合するステップを含む。遠隔援助リクエストは、現場において立体拡張現実眼鏡のカメラを介して撮影されたライブビデオストリームを少なくとも含む。
【００２５】
[0025]  第２のステップは、ユーザインターフェースモジュールを介して、遠隔援助者グラフィカルユーザインターフェースをディスプレイデバイスに描画し、及び遠隔援助者からの遠隔援助者入力を受信するステップを含む。遠隔援助者グラフィカルユーザインターフェースは、（ｉ）遠隔援助リクエストのライブビデオストリームを表示するための第１のペインと、（ｉｉ）現場における第１のオブジェクトの２Ｄ表現を表示するための第２のペインと、を少なくとも含む。描画された２Ｄ表現は、１つ又は複数の遠隔援助者入力に応答して第２のペイン内で移動可能であり、遠隔援助者グラフィカルユーザインターフェースは更に、第１のペイン内に、現場における第１のオブジェクトの２Ｄ表現に対応する、対応する３Ｄ仮想コンテンツの少なくとも１つのアイテムを、第１のペイン内の少なくとも基準ポイントに対して相対的に描画する。基準ポイントは、ライブビデオストリームのコンテンツに基づく。
【００２６】
[0026]  第３のステップは、カメラによって撮影された現場のライブビュー内の初期対応者に対して、３Ｄ仮想コンテンツの少なくとも１つのアイテムを立体拡張現実眼鏡に表示するために、ポータブルデバイスに通信モジュールを介して出力される１つ又は複数の遠隔援助信号を、コントローラを介して生成するステップを含む。初期対応者が、現場における対象者又は第２のオブジェクトに関連して少なくとも１つの行為を実行するのを援助するために、遠隔援助者グラフィカルユーザインターフェースの第２のペイン内で現場における第１のオブジェクトの２Ｄ表現を移動させる１つ又は複数の遠隔援助者入力に応答して、３Ｄ仮想コンテンツの少なくとも１つのアイテムはライブビュー内の基準ポイントに対して正しい場所に現れる。
【００２７】
[0027]  別の態様の方法において、コントローラを介した生成するステップは、遠隔専門家グラフィカルユーザインターフェースの第１のペインに表示されたライブビデオストリームにおいて遠隔援助者がＸＹ座標を選択することを含む少なくとも１つの遠隔援助者入力に応答して、カメラによって撮影された現場のライブビュー内の初期対応者に対して、立体拡張現実眼鏡に少なくとも１つのハイライトを表示するための１つ又は複数の遠隔援助信号を生成するステップを更に含み、更に、少なくとも１つのハイライトは、初期対応者によって見られる拡張現実眼鏡における合致するＸＹ座標に表示される。
【００２８】
[0028]  更に別の態様において、基準ポイントは、（ｉ）第１のペインに描画されたライブビデオストリーム中の対象者の画像に適用された顔認識アルゴリズムを介して判定された対象者の顔の基準ポイント、及び（ｉｉ）第１のペインに描画されたライブビデオストリームのコンテンツ内の遠隔援助者選択基準ポイントからなる群から選択されるものを備える、ことを方法は含む。遠隔援助者選択基準ポイントは、（ｉ）現場における対象者又は第２のオブジェクト上の基準ポイント、（ｉｉ）ポータブルデバイス上の基準ポイント、及び（ｉｉｉ）第１のオブジェクト上の基準ポイント、のうちの少なくとも１つを更に備え、遠隔援助者基準ポイントを選択するステップは、第２のペインのビューを、ビューの垂直方向が現場における対象者又は第２のオブジェクトの中央軸に対応するようにビューを回転させることによって修正するステップを更に含む。
【００２９】
[0029]  本開示の更なる実施形態において、非一時的コンピュータ読み取り可能媒体は、プロセッサによって実行されたときに、本明細書において論じられる方法をプロセッサに実行させる命令が具現化される。
【００３０】
[0030]  なおも更なる実施形態において、遠隔援助システムは、本明細書において論じられる遠隔援助ワークステーションと、ポータブルデバイスとを備える。ポータブルデバイスは、少なくとも１対の立体拡張現実眼鏡を備え、現場における第１のオブジェクトは、（ｉ）初期対応者の片手若しくは両手又は他の初期対応者の身体の部位、及び（ｉｉ）少なくとも１つのアイテム、のうちの１つ又は複数を備え、更に、ポータブルデバイスは、現場における対象者及び第２のオブジェクトのうちの少なくとも１つに関連して、少なくとも１つの行為を実行するために初期対応者によって使用されるものである。ポータブルデバイスは、遠隔援助ワークステーションと通信するために構成された通信モジュールを更に備える。加えて、少なくとも１つのアイテムは、現場における対象者又は第２のオブジェクトに対して少なくとも１つの行為を実行することに関連して初期対応者によって使用されるための少なくとも１つのワークピースを備える。更には、初期対応者によって着用される少なくとも１対の立体拡張現実眼鏡は、現場における対象者又は第２のオブジェクトのリアルタイム画像を撮影するためのカメラを含む。
【００３１】
[0031]  なおも更なる利点及び利益は、以下の詳細な説明を読み、理解することで、当業者に明らかになるであろう。
【００３２】
[0032]  本開示の実施形態は、様々なコンポーネント及びコンポーネントの配置、並びに様々なステップ及びステップの配置の形態をとる。それ故、図面は、様々な実施形態を例示するためのものであり、実施形態を限定するものと解釈されるべきではない。図面において、類似の参照番号は類似の要素を指す。加えて、図面は縮尺どおりに描かれていない場合もあることに留意されたい。
【図面の簡単な説明】
【００３３】
【図１】[0033]  本開示の実施形態による、空間的配置タスクの遠隔援助を提供するためのユーザインターフェースを有する遠隔援助ワークステーションと、ポータブルデバイスとのブロック図であって、ポータブルデバイスは、現場における第１のオブジェクトを現場における対象者又は第２のオブジェクトとの関連で使用して、少なくとも１つの行為を実行するために、初期対応者によって使用されるための少なくとも１対の立体拡張現実（ＡＲ）眼鏡を備える、ブロック図である。
【図２】[0034]  本開示の実施形態による、空間的配置タスクを遠隔援助するためのユーザインターフェースを有する遠隔援助ワークステーションの更に詳細なブロック図である。
【図３】[0035]  本開示の実施形態による、現場における第１のオブジェクトを現場における対象者又は第２のオブジェクトとの関連で使用して、少なくとも１つの行為を実行するために、初期対応者によって使用されるためのポータブルデバイスのブロック図である。
【図４】[0036]  本開示の実施形態による、遠隔援助ワークステーションのグラフィカルユーザインターフェースの第１の及び第２のペインの組み合わされた画像及び対応する注釈図であり、グラフィカルユーザインターフェースの第２のペイン内で選択及び移動された３Ｄコンテンツの移動可能な２Ｄ表現の遠隔援助者入力を示す図である。
【図５】[0037]  本開示の実施形態による、現場における対象者が示された状態の、ポータブルデバイスを使用する初期対応者の拡張現実眼鏡に表示される組み合わされた画像及び対応する注釈図であり、図４のグラフィカルユーザインターフェースの第２のペインにおける遠隔援助者入力に従った３Ｄ仮想コンテンツの配置を示す図である。
【図６】[0038]  本開示の実施形態による、遠隔援助ワークステーションのグラフィカルユーザインターフェースの第１の及び第２のペインの組み合わされた画像及び対応する注釈図であり、グラフィカルユーザインターフェースの第１のペイン内で受信された（ｘ，ｙ）座標選択の遠隔援助者入力を示す図である。
【図７】[0039]  本開示の実施形態による、現場における対象者が示された状態の、ポータブルデバイスを使用する初期対応者の拡張現実眼鏡に表示される組み合わされた画像及び対応する注釈図であり、図６のグラフィカルユーザインターフェースの第１のペインにおける遠隔援助者入力に従った、対応する（ｘ，ｙ）座標におけるハイライトの配置を示す図である。
【図８】[0040]  本開示の実施形態による、遠隔援助ワークステーションのユーザインターフェースとポータブルデバイスとを介して、空間的配置タスクの遠隔援助を提供するための方法のフロー図であって、ポータブルデバイスは、現場における第１のオブジェクトを現場における対象者又は第２のオブジェクトとの関連で使用して、少なくとも１つの行為を実行するために、初期対応者によって使用されるための少なくとも１対の立体拡張現実眼鏡を備える、フロー図である。
【発明を実施するための形態】
【００３４】
[0041]  本開示の実施形態及びその様々な特徴及び有利な詳細が、図面において説明及び／又は示され、以下の説明において詳細が示される非限定的な例を参照してより完全に説明される。当業者が恐らく認識するように、本明細書において明示的に述べられていなくても、図面において示される特徴は、必ずしも縮尺通りに描かれていないこと、及び１つの実施形態の特徴は他の実施形態とともに用いられてもよいことに留意されたい。よく知られたコンポーネント及び処理技術の説明は、本開示の実施形態を不必要に不明瞭にすることがないように省略されることがある。本明細書において使用される例は、単に、本開示の実施形態が実践されるやり方の理解を促進し、更に、当業者がこれを実践できるようにすることを意図されるものである。それ故、本明細書における例は、本開示の実施形態の範囲を限定するものと解釈されるべきでなく、この範囲は添付の特許請求の範囲及び適用され得る法律によってのみ定められる。
【００３５】
[0042]  本開示の実施形態は変動し得るため、本明細書において説明される特定の手法、プロトコル、デバイス、装置、材料、用途などに限定されるものではないことが理解される。本明細書において使用される用語は、特定の実施形態を説明するためにのみ使用されるものであり、特許請求される実施形態の範囲を限定することを意図されるものではないことも理解されたい。本明細書及び添付の特許請求の範囲において使用されるとき、文脈がそうでないことを明白に示さない限り、単数形の「ａ」、「ａｎ」及び「ｔｈｅ」は複数の参照先を含むことが留意されなければならない。
【００３６】
[0043]  別に定めのない限り、本明細書において使用される全ての技術的及び科学的用語は、本開示の実施形態が属する技術分野の当業者によって一般に理解されるものと同一の意味を有する。好ましい方法、デバイス、及び材料が説明されるが、本明細書において説明されるものと類似又は同等の任意の方法及び材料が、本実施形態の実践又は検査において使用されてよい。
【００３７】
[0044]  本明細書における開示から理解されるように、拡張現実（ＡＲ）眼鏡の出現に伴って、着用者が遠隔地の専門家に相談することを可能にする用途について大きな関心が持たれている。拡張現実眼鏡はカメラを有するので、このカメラのライブビューは、インターネットリンク又は他の適切な通信リンクを介して、遠隔地の専門家に転送され得る。典型的には、ＡＲ眼鏡の着用者は、現場において「実地作業可能に（ｈａｎｄｓ−ｏｎ）」存在する。遠隔地の専門家は、現場にいる人物に物理的には何もすることができない。しかしながら、遠隔地の専門家は、概して、リソースに対する知識又はアクセスをより豊富に有している。結果として、遠隔地の専門家は、現場に存在する人物にある事を行うように依頼することができ、例えば、医療的な緊急事態において、処置全体にわたってその人物をガイドすることができる。
【００３８】
[0045]  拡張現実眼鏡を介した空間的配置タスクの遠隔援助を初期対応者に提供するための本開示のユーザインターフェースを有する遠隔援助ワークステーション、方法、及びシステムを介したいくつもの有利な利益がある。この利益は、現場に存在するのが「訓練が乏しい」人物でよいこと、遠隔地の専門家がタスク支援を提供できること、遠隔地の専門家が精神面での支援を提供できること、及び、遠隔地の専門家の助けを借りて、現場を二度訪れる必要なく問題が解決され得ること、のうちの１つ又は複数を含む。一例において、緊急状況にある初期対応者は、ＡＲ眼鏡及び遠隔地の専門家のユーザインターフェースを介して９１１緊急応答チームの専門家と連絡し得る。別の例において、保守又は修繕作業を実行する現場エンジニアは、バックオフィスと連絡して、ある機械、ある処置、コンポーネントの利用可能性などについてより知識のある専門家に相談することができる。
【００３９】
[0046]  本明細書における開示から理解されるように、本開示の実施形態は、立体拡張現実（ＡＲ）眼鏡を使用するが、これは「補助ディスプレイを有する眼鏡」とは区別されるべきである。「補助ディスプレイを有する眼鏡」（例えば、Ｇｏｏｇｌｅ（商標）眼鏡）に関しては、しばしば視野の右上方向の角部に位置付けられる補助ディスプレイは、眼鏡のカメラによって撮影されたビデオストリームを表示することができる。このディスプレイは、ユーザが実際に見ている現実世界の光景の隣に存在する。ユーザが見ている現実世界の光景の上に直接的に仮想オブジェクトを置くことはできない。結果として、遠隔地の専門家はカメラ画像における要素をハイライトすることはできるが、眼鏡を着用している人物にとって、これらは補助ディスプレイに現れ、その人物が直接的に見ている物理的世界の光景の中に現れるものではない。従って、欠点は、そこに「間接性」があることである。ユーザは、遠隔地の専門家によって何の要素がハイライトされたかを見るために補助ディスプレイをチェックし、その後、自身の実際の物理的環境において対応する要素を探す必要がある。
【００４０】
[0047]  次に、立体拡張現実（ＡＲ）眼鏡に関しては、立体ＡＲ眼鏡の本質は、ユーザの目の直前にあるディスプレイを通じて、仮想コンテンツが、物理世界と同時に配置され得ることである。すなわち、仮想コンテンツは、ユーザにとって、コンピュータで生成されたホログラフのように、自身の物理環境における特定の場所に現れるように表示され得る。このようなＡＲ眼鏡の利点は、遠隔援助者又は専門家が、特定の遠隔援助の適用（例えば、緊急状況において）のために、現場にいる人物の注意を引き、方向を示し、何をどこへ動かすべきかを示すなどのために、仮想コンテンツを特定の３Ｄ位置へ移動させる（すなわち、仮想コンテンツを３Ｄシーンの２Ｄ表現における特定の場所へ移動させ、次いでこれは初期対応者のＡＲ眼鏡において提示又は可視化される）ことができるということである。１つの問題点は、ＡＲ眼鏡におけるカメラからのライブビデオフィードが遠隔地の専門家のディスプレイに画像として表示されるとき、画像が現場にいる人物の頭部の位置に伴って動き回ることである。このことは、遠隔地の専門家がライブビューにおいて仮想コンテンツを直接的に操作することを不可能にする。同時に、現場にいる人物が自身の視界において同じ要素の上に仮想ポインタを見ていることを完全に確信しつつ、遠隔援助者又は専門家が仮想カーソルでライブビュー内の何かを指し示すことは非常に便利である。
【００４１】
[0048]  上記に鑑みて、２つのペインを備える遠隔援助者又は専門家のための遠隔援助者グラフィカルユーザインターフェース（ＧＵＩ）が考案された。第１のペインは、ＡＲ眼鏡からのライブビューを表示する。第２のペインは、３Ｄシーンの二次元的（２Ｄ）ビューを表示し、その中で遠隔援助者又は専門家は仮想コンテンツをあちこちに動かすことができる。すなわち、第２のペインは、遠隔地の現場の２Ｄビューによる（すなわち、トップビュー、サイドビューなどの所与の向きに対する）図像表現、及び様々な移動可能な仮想オブジェクトを表示する。遠隔援助者ＧＵＩは、遠隔援助者に、現場に存在する人物又は初期対応者に対して情報を通信するための少なくとも２つのモードを有利に提供する。
【００４２】
[0049]  １つのモードにおいて、遠隔援助者は、（ｘ，ｙ）座標を選択、例えば、第１のペインにライブビデオストリームが表示されているタッチスクリーンディスプレイにタッチすることによって選択して、第１のペインにおけるライブビデオストリームの任意の部分をハイライトすることができ、ＡＲ眼鏡を着用している人物が見る立体ＡＲ眼鏡においては正確に同じ部分がハイライトされる。仮想ハイライトは、ライブビューペインのフレームに対して（すなわち、専門家にとって）固定的であり、同様にＡＲ眼鏡に対しても固定的である。しかしながら、このモードは、「現場にいる人物」が自身の頭部を一時的に静止しているときにだけ機能し、というのは、さもなければスクリーン上のビューは、仮想ハイライトに対して「スライド」してしまうからである。
【００４３】
[0050]  別のモードにおいて、遠隔援助者は、現場の２Ｄ表現において１つ又は複数の所望の仮想コンテンツを選択し、あちこちに移動（すなわち、ドラッグ）することができる。仮想コンテンツは、遠隔援助者によってユーザインターフェースの第２のペインにおいて移動されるとき、３Ｄシーンにおける固定された基準ポイントに対して位置決めされているため、ＡＲ眼鏡を着用している人物が自身の頭部を動かしたとしても問題ない。拡張現実眼鏡の動きに伴って仮想コンテンツが第１のペインのライブビデオビュー内で跳ね回ることなく、遠隔援助者は仮想コンテンツを第２のペイン内で移動させることができる。遠隔援助者が第２のペインにおいて仮想コンテンツを移動させると、遠隔援助者は、「現場にいる人物」に対して仮想コンテンツがどのように現れるかを、つまり、３Ｄ仮想コンテンツが含まれたライブビデオストリームを表示する第１のペインを介して、見ることができる。
【００４４】
[0051]  本開示の別の実施形態によると、遠隔援助システムは、拡張現実ゴーグル（例えば、ＡＲヘッドセット）を一端部に含み、コンピュータディスプレイ（例えば、遠隔処理装置、ワークステーションなど）を他端部に含む。コンピュータディスプレイは、ビデオを表示する３Ｄペインを一端部に有し、及び、３Ｄペインにおけるアイテムの図像表現（例えば、現場におけるアイテム、現場における医療機器、又は現場におけるポータブル医療装置を表す）を備える２Ｄペインを有する。遠隔援助者は、２Ｄペイン内のアイテムを操作し、これは、３Ｄペインにおいて、３Ｄペインに表示されたビデオのシーン内の所与の基準ポイントに対して正しい位置に自動的に適用され、維持される。基準ポイントは現場の実際のポイント又は場所に対応している。
【００４５】
[0052]  別の実施形態において、拡張現実ヘッドセット（ＡＲヘッドセット）を使用する現場に存在する人物（例えば、初期対応者）が遠隔援助者と連絡するための方法は、遠隔援助者が遠隔援助者グラフィカルユーザインターフェースを使用するステップを有する。遠隔援助者グラフィカルユーザインターフェース（ＧＵＩ）は、２つのペイン、すなわち、ＡＲ眼鏡におけるカメラからのライブビデオストリームビューを備える第１のペインと、遠隔の現場の２Ｄビューと様々な移動可能な仮想オブジェクトとを備える表現を表示する第２のペインとを備える。遠隔援助者ＧＵＩは、遠隔援助者又は専門家に、「現場に存在する人物」に情報を通信するための２つのモードを提供する。１つのモードにおいて、遠隔援助者は、第１のペインにおけるライブビデオストリームビューの任意の部分をハイライトすることができ、ＡＲ眼鏡を着用している人物の眼鏡においては正確に同じ部分がハイライトされる。別のモードにおいて、遠隔援助者は、現場の２Ｄ表現において１つ又は複数の所望の仮想コンテンツを選択し、あちこちに移動（すなわち、ドラッグ）することができる。この場合、仮想コンテンツは現場のライブビデオ画像における固定された基準ポイントに対して位置決めされているため、ＡＲ眼鏡を着用している人物が自身の頭部を動かしたとしても問題ない。
【００４６】
[0053]  図１から図８を参照した以下の議論において、本開示の実施形態は、突然の心臓停止状況における遠隔援助を伴う実際の使用事例の文脈において論じられる。しかしながら、本開示の実施形態は、所与の状況に応じて、他の種類の遠隔援助の状況にも適用され得る。
【００４７】
[0054]  先ず図１を参照すると、通信リンク１６を介して互いに結合された遠隔援助ワークステーション１２とポータブルデバイス１４とを備える遠隔援助システム１０のブロック図が図示されている。通信リンク１６は、遠隔援助ワークステーション１２とポータブルデバイス１４との間で直接的又は間接的に通信するための、任意の適切なネットワーク、例えば、ワイヤレスネットワーク、インターネット、又は他の既知の若しくは後に開発されるネットワークを備えてよい。例えば、通信リンク１６は、参照番号１８及び参照番号２０によって示されるように、遠隔援助ワークステーション１２とポータブルデバイス１４との間に直接的に結合されてよい。同様に、通信リンク１６は、参照番号１８、参照番号２４及び参照番号２６によって示されるように、例えば、ポータブル医療デバイス１４から所与の近接距離内に位置するスマートフォン２２を介して、遠隔援助ワークステーション１２とポータブルデバイス１４との間に間接的に結合されてよい。本明細書において論じられる様々なデバイスとコンポーネントとの間の通信の詳細な細目は、好ましくは、当技術分野において知られる適切な技術を使用して達成され、従って、本明細書において更に論じられることはない。
【００４８】
[0055]  遠隔援助ワークステーション１２は、遠隔援助者３２による使用のための、少なくとも１つの入力／出力デバイス２８（例えば、キーボード、マウス、タッチ入力など）と、ディスプレイ３０とを含む。本明細書において後に更に論じられるように、遠隔援助ワークステーション１２は、ポータブルデバイス１４を使用した空間的配置タスクの遠隔援助を初期対応者３４に提供するためのユーザインターフェースを更に含む。
【００４９】
[0056]  なおも図１を参照すると、ポータブルデバイス１４は、現場における対象者４２（例えば、犠牲者）又は第２のオブジェクト（不図示）に関連して、現場４０における第１のオブジェクト３８（例えば、１対のＡＥＤ電極、初期対応者の片手又は両手など）を使用して少なくとも１つの行為を実行するために、初期対応者３４によって使用されるための少なくとも１対の立体拡張現実（ＡＲ）眼鏡３６を備える。一実施形態において、ポータブルデバイス１４は、自動体外式除細動器（ＡＥＤ）、心肺蘇生（ＣＰＲ）メトロノーム、及び心電図（ＥＣＧ）モニタ、のうちの少なくとも１つを含むポータブル医療デバイスを備える。加えて、現場４０における第１のオブジェクト３８は、（ｉ）初期対応者の片手若しくは両手又は他の初期対応者の身体の部位、及び（ｉｉ）ポータブルデバイスの少なくとも１つのアイテム（電極又はＣＰＲメトロノーム）、のうちの１つ又は複数を備え得る。図１において、ポータブルデバイス１４は、ＣＰＲメトロノーム４４を更に含み得る。拡張現実眼鏡３６とポータブルデバイス１４との間の通信は、参照番号４６によって示される。同様に、ポータブルデバイス１４とＣＰＲメトロノーム４４との間の通信は参照番号４８によって示される。加えて、ＡＥＤ電極３８の場合は、ＡＥＤ電極は、適切な信号／電力ライン５０を介して、ポータブルデバイス１４に結合される。本明細書において論じられる様々なデバイスとコンポーネントとの間の通信及び信号／電力ラインの細目の詳細は、好ましくは、当技術分野において知られる適切な技術を使用して達成され、従って、本明細書において更に論じられることはない。
【００５０】
[0057]  動作においては、「現場にいる人物」又は初期対応者３４は、立体拡張現実眼鏡３６を着用する。ＡＲ眼鏡３６と、遠隔地の専門家又は援助者３２がそばに付いている遠隔援助ワークステーション１２との間でデータ接続が確立される。本明細書において更に論じられるように、遠隔援助者３２は、遠隔援助者グラフィカルユーザインターフェースを利用し、これは少なくとも２つのペイン、すなわち、ＡＲ眼鏡３６からのライブビデオストリームを表示する第１のペインと、現場の（又はその一部分の、例えばトップビュー、サイドビューなどの所与の向きにおける）図像２Ｄビューを表示する第２のペインとを含み、第２のペインにおいては、３Ｄ仮想オブジェクトの２Ｄ表現が、選択され、あちこちに移動され得る。換言すれば、第２のペインは、現場における実際の対象者又はオブジェクトに関する現場の例示的な２Ｄ図像ビューと、現場における実際の対象者又はオブジェクトについての基準ポイントとを含む。本明細書において更に論じられるように、３Ｄ仮想オブジェクトの２Ｄ表現は、遠隔援助者によって第２のペイン内で選択され、あちこちに移動され得る。
【００５１】
[0058]  次に図２を参照すると、空間的配置タスクを遠隔援助するためのユーザインターフェースを有する遠隔援助ワークステーション１２の更に詳細なブロック図が図示されている。遠隔援助ワークステーション１２は、ユーザインターフェース５２と、通信モジュール５４（例えば、ポータブル医療デバイス１４及びポータブルデバイスから所与の近接距離内に位置するスマートフォン２２のうちの１つ又は複数と通信するために構成されたもの）と、コントローラ５６とを少なくとも備える。一実施形態において、ユーザインターフェース５２は、少なくとも、遠隔援助者３２（図１）から遠隔援助者入力を取得、すなわち、入力／出力デバイス２８を介して取得するために構成される。本明細書において更に論じられるように、ユーザインターフェース５２は、所与の遠隔援助状況、例えば緊急時に関連した使用のために、信号ライン５８を介して、少なくともコントローラ５６に動作可能に結合されたグラフィカルユーザインターフェースを少なくとも備える。加えて、ユーザインターフェース５２は、所与の遠隔援助の実施態様及び／又は応用例の要件に従い必要に応じて決定された、入力／出力デバイス、触覚デバイス、タッチスクリーン、光学ディスプレイ、マイクロフォン、キーパッド、キーボード、ポインティングデバイス、画像キャプチャデバイス、ビデオカメラ、音声入力／出力デバイス、及びこれらの任意の組み合わせからなる群から選択される少なくとも１つのものを更に備え得る。更には、一実施形態において、本明細書において論じられる様々な機能を実施するために、コントローラ５６は、所与のポータブル医療デバイスの実施態様及び／又は応用例の要件に更に従い、マイクロプロセッサ、マイクロコントローラ、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、集積回路、別個のアナログ又はデジタル回路コンポーネント、ハードウェア、ソフトウェア、ファームウェア、又はこれらの任意の組み合わせのうちの１つ又は複数を備える。コントローラ５６は、本明細書において論じられる様々なモジュールのうちの１つ又は複数を更に備え得る。コントローラ５６に関する追加的な詳細は、図面を参照して、本明細書において後に提供される。
【００５２】
[0059]  なおも図２を参照すると、遠隔援助者ワークステーション１２は、ビデオ描画モジュール６０と、２Ｄ図像ビュー描画モジュール６２と、基準ポイントモジュール６４と、ＸＹ座標モジュール６６と、のうちの１つ又は複数を更に備え得る。ビデオ描画モジュール６０は、遠隔援助者グラフィカルユーザインターフェースの第１のペイン内に、少なくとも遠隔援助リクエストのライブビデオストリームを描画するために動作可能である。２Ｄ図像ビュー描画モジュール６２は、第２のペイン内に、少なくとも（ｉ）現場における対象者又は第２のオブジェクトの２Ｄ表現、及び（ｉｉ）現場における第１のオブジェクトの２Ｄ表現を描画するために動作可能である。基準ポイントモジュール６４は、第１のペインに表示された遠隔援助リクエストのライブビデオストリームのコンテンツ内の基準ポイントを確立するために動作可能である。最後に、ＸＹ座標モジュール６６は、遠隔援助リクエストのライブビデオストリームのための基準ポイントに少なくとも基づいて、第１のペイン内にＸＹ座標系を確立するために動作可能である。遠隔援助ワークステーション１２は、データベース６８及びメモリ７０のうちの１つ又は複数をなおも更に備え得る。データベース６８及びメモリ７０の各々は、例えば信号ライン５８を介して、少なくともコントローラ５６に動作可能に結合される。一実施形態において、本明細書において論じられる様々な機能を実施するために、モジュール６０から７０は、所与の遠隔援助者ワークステーションの実施態様及び／又は応用例の要件に更に従い、集積回路、別個のアナログ又はデジタル回路コンポーネント、ハードウェア、ソフトウェア、ファームウェア、又はこれらの任意の組み合わせのうちの１つ又は複数を備え得る。加えて、モジュール６０から７０のうちの１つ又は複数は、様々なモジュールのうちの１つ又は複数の様々な組み合わせを更に備え得る。
【００５３】
[0060]  次に、図３を参照すると、本開示の実施形態による、現場４０における第１のオブジェクトを現場における対象者４２又は第２のオブジェクトとの関連で使用して、少なくとも１つの行為を実行するために、初期対応者３４によって使用されるためのポータブルデバイス１４のブロック図が図示されている。一実施形態において、ポータブルデバイス１４は、ユーザインターフェース７２と、通信モジュール７４と、コントローラ７６とを少なくとも含むポータブル医療デバイスを備える。本明細書において更に論じられるように、ユーザインターフェース７２は、少なくとも遠隔援助のためのリクエストを起こすように構成され、緊急状況において遠隔援助を受けることに関連した使用のために、信号ライン７８を介して、少なくともコントローラ７６に動作可能に結合される任意の適切なユーザインターフェースを備える。例えば、ユーザインターフェース７２は、所与のポータブル医療デバイスの実施態様及び／又は応用例の要件に従い必要に応じて決定された、入力／出力デバイス、触覚出力デバイス、タッチスクリーン、光学ディスプレイ、マイクロフォン、キーパッド、キーボード、ポインティングデバイス、画像キャプチャデバイス、ビデオカメラ、音声出力デバイス、及びこれらの任意の組み合わせからなる群から選択される少なくとも１つのものを備え得る。
【００５４】
[0061]  通信モジュール７４は、（ｉ）遠隔援助ワークステーション１２、及び（ｉｉ）ポータブル医療デバイスから所与の近接距離内に位置するスマートフォン２２のうちの少なくとも１つと通信するために構成される。通信モジュール７４は更に、初期対応者の遠隔援助リクエストに応答して、遠隔援助ワークステーション１２又は遠隔援助者ワークステーションと通信するスマートフォン２２のうちの少なくとも１つを介して、遠隔援助ワークステーション１２からの１つ又は複数の遠隔援助信号を受信するためのものである。遠隔援助ワークステーション１２からの１つ又は複数の遠隔援助信号は、ＡＲ眼鏡３６のカメラによって撮影された現場４０のライブビュー内の初期対応者３４に対して、３Ｄ仮想コンテンツの少なくとも１つのアイテムを立体拡張現実眼鏡３６に表示するための情報を含む。加えて、本明細書において更に論じられるように、初期対応者が、第１のオブジェクトを現場における対象者又は第２のオブジェクトとの関連で使用して、少なくとも１つの行為を実行するのを援助するために、遠隔援助ワークステーション１２の遠隔援助者グラフィカルユーザインターフェースの対応する２Ｄ表現ペイン内で現場における第１のオブジェクトの２Ｄ表現を移動させる１つ又は複数の遠隔援助者入力に応答して、３Ｄ仮想コンテンツの少なくとも１つのアイテムはライブビュー内の基準ポイントに対して正しい場所に現れる。
【００５５】
[0062]  ポータブル医療デバイス１４の通信モジュール７４と遠隔援助者ワークステーション１２との間の通信は、参照番号１８及び参照番号２０によって示され、これはネットワーク１６を含む（図１）。ポータブル医療デバイス１４の通信モジュール７４と遠隔援助ワークステーション１２との間の通信は、スマートフォン２２を介しても行われることができ、これは参照番号１８、参照番号２４及び参照番号２６によって示され、ネットワーク１６を含む（図１）。ポータブル医療デバイス１４の通信モジュール７４とＡＲ眼鏡３６との間の通信は、参照番号４６によって示される。ポータブル医療デバイス１４の通信モジュール７４とＣＰＲメトロノーム４４との間の通信は、参照番号４８によって示される。各場合において、本明細書において論じられる様々なデバイスとコンポーネントとの間の通信は、好ましくは、当技術分野において知られる適切な技術を使用して達成され、従って、本明細書において更に論じられることはない。
【００５６】
[0063]  コントローラ７６は、ユーザインターフェース７２及び通信モジュール７４に、参照番号７８によって示される適切な信号ラインを介して、動作可能に結合する。コントローラ７６は、遠隔援助者ワークステーション１２からの１つ又は複数の遠隔援助信号に応答して、ＡＲ眼鏡３６のカメラ部分によって撮影された現場４０のライブビュー内の初期対応者３４に対して、３Ｄ仮想コンテンツの少なくとも１つのアイテムをＡＲ眼鏡３６に表示するためにＡＲ眼鏡３６に出力される制御信号を生成するために構成される。それ故、初期対応者は、第１のオブジェクトを現場における対象者又は第２のオブジェクトとの関連で使用して、少なくとも１つの行為を実行するために、遠隔援助を受ける。一実施形態において、本明細書において論じられる様々な機能を実施するために、コントローラ７６は、所与のポータブル医療デバイスの実施態様及び／又は応用例の要件に更に従い、マイクロプロセッサ、マイクロコントローラ、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、集積回路、別個のアナログ又はデジタル回路コンポーネント、ハードウェア、ソフトウェア、ファームウェア、又はこれらの任意の組み合わせのうちの１つ又は複数を備える。コントローラ７６は、本明細書において論じられる様々なモジュールのうちの１つ又は複数を更に備え得る。コントローラ７６に関する追加的な詳細は、図面を参照して、本明細書において後に提供される。
【００５７】
[0064]  なおも図３を参照すると、ポータブル医療装置１４は、ＯＮ／ＯＦＦスイッチ８０と、仮想ハイライト描画モジュール８２と、仮想コンテンツ描画モジュール８４と、バッテリ８６と、エネルギー源８８と、メモリ９０と、ショックボタン９２（例えば、ＡＥＤパッド電極を介したショックの施術を開始するため）と、ＧＰＳモジュール９４と、のうちの１つ又は複数を更に備え得る。ＯＮ／ＯＦＦスイッチ８０、仮想ハイライト描画モジュール８２、仮想コンテンツ描画モジュール８４、バッテリ８６、エネルギー源８８、メモリ９０、ショックボタン９２、及びＧＰＳモジュール９４のうちの１つ又は複数の各々は、例えば信号ライン７８を介して、少なくともコントローラ７６に動作可能に結合される。ＯＮ／ＯＦＦスイッチ８０は、ＯＮとＯＦＦとの間でポータブル医療装置１４に電力供給するための任意の適切なスイッチを備える。仮想ハイライト描画モジュール８２は、ＡＲ眼鏡３６のカメラ部分によって撮影された現場４０のライブビュー内の初期対応者３４に対して、ＡＲ眼鏡３６に仮想ハイライトを描画するための任意の適切なコンピュータプログラムモジュールを備える。仮想コンテンツ描画モジュール８４は、ＡＲ眼鏡３６のカメラ部分によって撮影された現場４０のライブビュー内の初期対応者３４に対して、ＡＲ眼鏡３６に３Ｄ仮想コンテンツの少なくとも１つのアイテムを描画するための任意の適切なコンピュータプログラムモジュールを備える。説明されたモジュールは、非一時的コンピュータ読み取り可能媒体において提供されたコンピュータプログラムモジュールであってよいことが理解される。ポータブル医療デバイス１４は、所与の実施態様及び／又はポータブル医療デバイスの応用例のための音声スピーカ（不図示）を更に備え得る。
【００５８】
[0065]  一実施形態において、バッテリ８６は、所与のポータブル医療デバイスの実施態様及び／又は応用例のための任意の適切な電力源又は電力供給装置を備え得る。加えて、エネルギー源８８は、所与のポータブル医療デバイスの実施態様及び／又は応用例のための任意の適切な電力源又は電力供給装置を備え得る。例えば、ＡＥＤデバイスを備えるポータブル医療デバイスについては、エネルギー源８８は、除細動ショックにおいて効果的なエネルギーを保管するために適切な高電圧キャパシタを備え得、キャパシタは充電回路（不図示）を通じてバッテリ８６によって充電される。更には、メモリ９０は、少なくともコントローラ７６に動作可能に結合された、少なくともそこに情報を記憶し、更に、少なくとも後にそこから情報を読み出すための、任意の適切なメモリデバイスを備え得る。
【００５９】
[0066]  グローバルポジショニングシステムモジュール９４は、ポータブル緊急医療装置１４のグローバル位置を判定するために構成された任意の適切なＧＰＳモジュールを備える。コントローラ７６は更に、ポータブル緊急医療装置１４のグローバル位置とスマートフォン２２のグローバル位置とに基づいて、スマートフォンがポータブル緊急医療装置から所与の近接距離内に位置していることを判定するために構成される。
【００６０】
[0067]  ポータブル医療装置１４は、ポータブル医療デバイス１４がＡＥＤデバイスとして使用されている際の電気ショックの施術のために、エネルギー源８８に動作可能に結合された１対のＡＥＤパッド電極３８を更に備え得る。ポータブル医療装置１４は、例えば、緊急治療時にＡＥＤ及び／又はＣＰＲを実行する際に初期対応者又は救助者によって着用される１対の拡張現実眼鏡３６を更に備え得る。拡張現実眼鏡３６は、適切な通信リンク４６（例えば、近距離無線通信（ＮＦＣ）、Ｂｌｕｅｔｏｏｔｈ（登録商標）、又は他の適切な近距離通信リンク）を介して、ポータブル医療装置１４の通信モジュール７４に動作可能に結合される。
【００６１】
[0068]  なおも更に、ポータブル医療装置１４は、緊急治療時にＣＰＲを実行する際に初期対応者又は救助者によって使用されるＣＰＲメトロノーム４４を備え得る。ＣＰＲメトロノームは、適切な通信リンク４８（例えば、近距離無線通信（ＮＦＣ）、Ｂｌｕｅｔｏｏｔｈ（登録商標）、又は他の適切な近距離通信リンク）を介して、ポータブル医療装置１４の通信モジュール７４に動作可能に結合される。一実施形態において、ＣＰＲメトロノーム４４は、加速度計ベースのＣＰＲメトロノームを備える。ＣＰＲメトロノームは、胸部の深さを考慮に入れてどの程度深く押すかについて初期対応者をガイドするように構成される。別の実施形態において、ＣＰＲメトロノーム４４は、ＡＲ眼鏡３６のライブビュー上の情報及び／又は音声ガイダンスを通じて、胸部の深さを考慮に入れてどの程度深く押すかについて初期対応者をガイドするＣＰＲアプリケーションを有し、加速度計を備えたスマートフォンを備え得る。上記においては加速度計ベースのメトロノームデバイスについて言及しているが、このようなデバイスは常に加速度計ベースである必要はないことに留意されたい。基本的に、メトロノームデバイスは、身体に対する深さを認識している。それ故、別の実施形態において、拡張現実眼鏡３６は、初期対応者が、ＣＰＲメトロノームの位置又は圧力をかけるための初期対応者の手の位置を定めることを、遠隔援助を介して援助するために使用され得る。
【００６２】
[0069]  実施形態のよりよい理解を得るために、図１、図２、及び図３を参照して、突然の心臓停止状況を伴う遠隔援助の使用事例を考察する。緊急現場４０における初期対応者３４は、立体ＡＲ眼鏡３６を着用する。遠隔地の医療専門家３２は、９１１緊急応答チームにいる。初期対応者３４のＡＲ眼鏡３６は、インターネットを介して遠隔地の医療専門家３２のワークステーション１２に接続する。遠隔地の医療専門家３２は、（図４を参照して本明細書において更に論じられるように）２つのペインを有するグラフィカルユーザインターフェースを含むワークステーション１２を操作する。第１のペインは、初期対応者の立体ＡＲ眼鏡から撮影されたライブビデオストリームを表示し、これは犠牲者（すなわち、ライブビデオストリームの３Ｄシーンにおける対象者又はオブジェクト）及び周囲環境（すなわち、ライブビデオストリームの３Ｄシーンにおける周囲環境）の表示を含む。ＧＵＩの第２のペインは、タッチデバイス又はポインティングデバイスを使用する遠隔地の医療専門家によって第２のペイン内で選択され、あちこちに移動され得る仮想コンテンツを含んだ犠牲者の２Ｄトップビューの図像表現（すなわち、ライブビデオストリームの３Ｄシーンにおける対象者又はオブジェクトの２Ｄ表現）を含む。別の実施形態において、いったん選択及び移動された仮想コンテンツは、遠隔地の専門家によって、ユーザ入力及びワークステーションのコントローラ５６を介して、更にアクティブ化／非アクティブ化され得、第１のペインの３Ｄビュー内でそれぞれ出現／消失する。
【００６３】
[0070]  遠隔地の医療専門家は、少なくとも２つのモード、すなわちハイライトモード及び仮想コンテンツモードにおいて、初期対応者に情報を通信することができる。ハイライトモードにおいて、遠隔地の医療専門家は（図６及び図７を参照して本明細書において後に更に論じられるように）、第１のペインにおけるライブビデオストリームにタッチして、初期対応者のＡＲ眼鏡にハイライトを出現させることができる。換言すれば、ハイライトモードにおいて、遠隔地の医療専門家が第１のペインにおいて表示されたライブビデオ内のポイントにタッチする（すなわち、選択する）ことに応じて、ワークステーション１２は、少なくともコントローラ５６及びＸＹ座標モジュール６６を介して、初期対応者のＡＲ眼鏡に現れる３Ｄシーン内の対応するポイントにハイライトを出力する。遠隔地の医療専門家は、少なくともコントローラ５６及び基準ポイントモジュール６４を介して、このハイライトモードを、仮想コンテンツモードのための基準ポイントを確立するために使用することもでき、これは例えば、基準ポイントを含むシーンのスナップショットを介して行われる。
【００６４】
[0071]  仮想コンテンツモードにおいて、遠隔地の医療専門家は、仮想コンテンツを選択し、あちこちに移動すること、及び２Ｄペイン、すなわち遠隔援助者グラフィカルユーザインターフェースの第２のペインにおいて仮想コンテンツをアクティブ化／非アクティブ化させる（例えば、出現／消失させる）ことが可能である。換言すれば、仮想コンテンツモードにおいて、遠隔地の医療専門家がグラフィカルユーザインターフェースの第２のペイン内で仮想コンテンツを選択し、３Ｄシーンの基準ポイントに対して相対的に移動させることに応じて、ライブビデオペイン内に３Ｄで描画された仮想コンテンツの対応した移動が起こる。更には、本明細書において使用されるとき、「３Ｄ仮想コンテンツの移動可能な２Ｄ表現」という語句は、以下のように理解されるべきである。遠隔地の専門家が、３Ｄ仮想コンテンツの２Ｄ表現を２Ｄ図像ビュー内で選択し、移動させることに応答して、（ｉ）現場における対象者又はオブジェクトの２Ｄ表現、及び（ｉｉ）（第２のペインにおける）２Ｄ表現及び（第１のペインにおける）ライブビデオ内の１つ又は複数の対応する基準ポイントに応じてマッピングされた場所において、ライブビデオペイン（すなわち、第１のペイン）内に３Ｄで描画された仮想コンテンツの対応した移動が起こる。
【００６５】
[0072]  一実施形態において、３Ｄ仮想コンテンツの２Ｄ表現は、所与の遠隔援助状況（例えば、医療的に緊急状況−突然の心臓停止状況）に固有の（すなわち、関連する）コンテンツを含む。加えて、３Ｄ仮想コンテンツは、第１のペインのライブビデオ内の基準ポイント（例えば、基準ポイントは犠牲者の顔である）に対して相対的に移動する。１つの例は、医療的な緊急現場において自動体外式除細動器（ＡＥＤ）の電極パッドが犠牲者のどこに配置されるべきかを示す仮想輪郭（すなわち、重畳された輪郭）を選択して、移動させることである。別の例は、ＣＰＲの圧迫／圧迫解除を施すために初期対応者が犠牲者の胸部のどこに圧力を与えるべきかを示すために、手のアイコンを選択して、移動させることである。
【００６６】
[0073]  次に、図４を参照すると、本開示の実施形態による、遠隔援助ワークステーションのグラフィカルユーザインターフェース１００の、参照番号９６及び参照番号９８によってそれぞれ示される第１の及び第２のペインの組み合わされた画像及び対応する注釈図であり、グラフィカルユーザインターフェース１００の第２のペイン９８において受信された、参照番号１０２によって示される３Ｄコンテンツの移動可能な２Ｄ表現の遠隔援助者入力を示す図が図示されている。注釈図は、第１の及び第２のペイン９６及び９８の図解をより明確に示すために提供されている。遠隔援助者３２は、第１のペイン９６のライブビデオにおいて、初期対応者３４が犠牲者の胸部にＡＥＤ電極３８を装着しようとする際に、除細動を必要とする犠牲者４２を見ている。本明細書において論じられるように、第２のペイン９８は、例えば現場における犠牲者の２Ｄ図像ビューと、第２のペイン９８内の、例えば各ＡＥＤ電極を表す、３Ｄコンテンツの移動可能な２Ｄ表現１０２とを含む。
【００６７】
[0074]  加えて、なおも図４を参照すると、更なる実施形態において、遠隔援助者グラフィカルユーザインターフェース１００の第２のペイン９８は、現場における対象者又は第２のオブジェクトに関連して実行されるべき複数種類の行為各々のための少なくとも１つのタブ（９９、１０１、及び／又は１０３）を含む（例えば、様々なフォルダ又は行為の種類のためのタブ）。遠隔援助者が、遠隔援助者グラフィカルユーザインターフェースを介して、第２のペインにおける所与のタブ（９９、１０１、又は１０３）を選択することに応じて、２Ｄ図像ビュー描画モジュールは、第２のペイン内に、対応する所与の種類の行為に関して遠隔援助者による使用のために利用可能な所与のタブ（９９、１０１、又は１０３）に関連付けられた第１のオブジェクトの１つ又は複数の２Ｄ表現を描画する。例えば、図４において、２Ｄ図像ビュー９８は、ＡＥＤ及び電極配置などその関連する行為に専用のアクティブタブ１０１を図示しており、他のタブは、ＣＰＲ（タブ１０３）、トリアージ（タブ９９）などに専用のものである。
【００６８】
[0075]  図４に図示されるように、遠隔援助者３２は、第２のペイン９８の２Ｄ図像ビュー内の電極３８の各々を選択し、移動させる。第２のペイン内で３Ｄコンテンツの２Ｄ表現を移動、例えば、第２のペイン９８内でのタッチスクリーン制御を介して移動させると、結果として、第１のペイン９６のライブビデオ上で移動可能なオブジェクトの３Ｄ輪郭又は重畳が対応して配置され、現場における対応する空間的配置タスクの遠隔援助を初期対応者３４に提供する。換言すれば、図４は、２つのペインを有するワークステーションの場所にいる遠隔地の専門家、現場のＡＲ眼鏡からのビデオフィードを表示するライブビデオペイン、及び３Ｄ仮想コンテンツの２Ｄ表現を伴う図像２Ｄペインを示している。
【００６９】
[0076]  別の実施形態において、第２のペインは、（例えば、２Ｄ図像ビュー９８の上側部分に）ステージングエリアを含み得、そこから３Ｄ仮想コンテンツを選択し、選択された３Ｄ仮想コンテンツを（例えば、２Ｄ図像ビュー９８の下側部分の）アクティブエリアに移動し、アクティブエリアにおいては、選択され、移動された３Ｄ仮想コンテンツがアクティブになり、ライブビデオペイン内にも出現する。更なる機能も適用され得、例えば、３Ｄ仮想コンテンツがいったん選択され、アクティブ領域に移動されると、追加的な遠隔援助者入力を使用して、ライブビデオペイン内での３Ｄ仮想コンテンツの出現／消失を切り換えることができる。
【００７０】
[0077]  加えて、第１のペイン９６は、場所情報挿入部１０４も含んでよく、挿入部１０４は、ポータブル医療デバイス１４のＧＰＳモジュール９４を介して取得されたＧＰＳ信号に応じて犠牲者４２の物理的アドレス及び／又は場所を表す。なおも更に、遠隔援助者グラフィカルユーザインターフェース１００は、もしも入手可能であるならば、ポータブル医療デバイス１４又は他の適切なソースからの犠牲者の身元情報及び医療記録を遠隔援助者３２に提示する別のペイン１０６を含み得る。
【００７１】
[0078]  次に図５を参照すると、現場４０における対象者４２が示された状態の、ポータブルデバイス１４を使用する初期対応者３４の拡張現実眼鏡３６に表示される組み合わされた画像及び対応する注釈図が図示されている。本開示の実施形態によると、図４のグラフィカルユーザインターフェース１００の第２のペイン９８における遠隔援助者入力に応答して、ＡＲ眼鏡３６におけるディスプレイ１０８は、初期対応者３４に対して、遠隔援助者グラフィカルユーザインターフェース１００の第１のペイン９６のライブビデオビュー上での遠隔援助者による３Ｄ仮想コンテンツ３８１の配置を表示する。換言すれば、遠隔地の専門家が、２Ｄペイン（すなわち、第２のペイン）において仮想コンテンツを選択し、移動させることに応じて、初期対応者のＡＲ眼鏡において仮想コンテンツが正確で適切な相互関係で出現する。図５の画像ビューにおいて、空間的配置ガイダンス及び／又は援助のためのライブビデオビュー上での遠隔援助者による３Ｄ仮想コンテンツ３８の配置を使用し、犠牲者の胸部にＡＥＤ電極の１つを配置しようとしている初期対応者の手がこれを保持しているところが見られる。
【００７２】
[0079]  次に図６を参照すると、遠隔援助ワークステーションのグラフィカルユーザインターフェース１１０の、参照番号９６及び参照番号１１２によってそれぞれ示される第１の及び第２のペインの組み合わされた画像及び対応する注釈図が示されている。この実施形態において、第２のペイン１１２は、所与の遠隔援助の適用中に遠隔援助者による選択のために使用され得る１つ又は複数のタブ１０５、１０７、及び１０９を備え、これらのタブは、図４のタブ９９、１０１、及び１０３を参照して本明細書において上述されたものと同様であるか、又はそれらに付け加えられるものである。例えば、図６におけるタブ１０５の選択に応じて、遠隔援助者は、図４のペイン１０６のものと同様に、犠牲者の身元に関する情報及び医療記録情報を提供される。加えて、第１のペイン９６は、図４に関して論じられたものと同様の場所情報挿入部１０４も含む。なおも更に、グラフィカルユーザインターフェース１１０は、もしも入手可能であるならば、適切な地図ソースからの犠牲者の地理的場所を示す地図を提示する別のペイン１１４も含み得る。
【００７３】
[0080]  なおも図６を参照すると、第１のペイン９６のライブビデオにおいて、遠隔援助者３２は、ライブビデオ内の場所を指し示して、初期対応者３４のためにライブシーン内の所望の場所１１６を特定又はハイライトする。詳細には、図６は、本開示の実施形態に従って、（ｘ，ｙ）座標選択を有する遠隔援助者入力がグラフィカルユーザインターフェース１１０の第１のペイン９６において受信された様子を図示している。一実施形態において、ハイライトは円形状の輪郭を備え、又は所与の遠隔援助の適用に適した任意の幾何学的形状のハイライトを備えてよい。
【００７４】
[0081]  次に図７を参照すると、現場４０における対象者４２が示された状態の、ポータブルデバイス１４を使用する初期対応者３４の拡張現実眼鏡３６に表示される組み合わされた画像及び対応する注釈図が図示されている。本開示の実施形態に従って、ＡＲ眼鏡３６におけるディスプレイ１１８は、図６のグラフィカルユーザインターフェース１１０の第１のペイン９６における遠隔援助者入力に従った対応する（ｘ，ｙ）座標におけるハイライト１１６の配置を表示している。換言すれば、遠隔援助者は、ビデオペイン（すなわち、第１のぺイン）において（ｘ，ｙ）座標にタッチする（すなわち、（ｘ，ｙ）座標を選択する）ことで、初期対応者のＡＲ眼鏡における同一の（ｘ，ｙ）座標にハイライトを出現させることができる。
【００７５】
[0082]  図８は、本開示の実施形態による、遠隔援助ワークステーションのユーザインターフェースとポータブルデバイスとを介して、空間的配置タスクの遠隔援助を提供するための方法１５０のフロー図である。第１のステップにおいて、ポータブルデバイスが現場に提供され、ポータブルデバイスは、現場における第１のオブジェクトを現場における対象者又は第２のオブジェクトとの関連で使用して、少なくとも１つの行為を実行するために、初期対応者によって使用されるための少なくとも１対の立体拡張現実眼鏡を備える（ステップ１５２）。
【００７６】
[0083]  次のステップ（ステップ１５４）において、方法は、ポータブルデバイスから開始される遠隔援助リクエストに応答して、遠隔援助ワークステーションをポータブルデバイスに動作可能に結合するステップを有する。例えば、初期対応者は、遠隔援助のリクエストを遠隔援助ワークステーションに送るために構成されたポータブルデバイスの所定のボタン又はソフトキーのうちの１つ又は複数を選択することを介して、遠隔援助をリクエストすることができる。一実施形態において、遠隔援助のリクエストは、拡張現実眼鏡のカメラから見られたライブビデオを遠隔援助ワークステーションに対して提供することを含む。
【００７７】
[0084]  次のステップ（ステップ１５６）において、方法は、遠隔援助者グラフィカルユーザインターフェース（ＧＵＩ）を遠隔援助ワークステーションのディスプレイデバイスに描画し、及び遠隔援助者入力を受信するステップを有し、遠隔援助者ＧＵＩは、遠隔援助リクエストのライブビデオストリームを表示するための第１のペインと、現場における第１のオブジェクトの２Ｄ表現を表示するための第２のペインとを含む。
【００７８】
[0085]  次のステップ（ステップ１５８）において、方法は、遠隔援助者ＧＵＩの第２のペイン内で現場における第１のオブジェクトの２Ｄ表現を選択し、移動させる１つ又は複数の遠隔援助者入力に応答して、ライブビュー内の初期対応者に対して、３Ｄ仮想コンテンツの少なくとも１つのアイテムを立体拡張現実眼鏡に表示するために、ポータブルデバイスに出力される１つ又は複数の遠隔援助信号を生成するステップを有する。
【００７９】
[0086]  本開示の実施形態は、３Ｄ仮想コンテンツの素早く、直感的な選択及び移動を、有利に可能にする。例えば、遠隔援助者は、犠牲者の上方に浮遊する２Ｄ平面における仮想コンテンツ（すなわち、犠牲者のトップビュー２Ｄ表現の上方に浮遊する第２のペインにおける仮想コンテンツ）を選択し、移動させることができる。顔認識によって、犠牲者の身体の向きが導出され、スクリーンの（すなわち、第２のペインにおける）２ＤのＸＹ座標系が、Ｙ軸が身体の正中線である身体の（すなわち、第１のペインにおける）ＸＹ座標系と整列され得、遠隔援助者が３Ｄ仮想オブジェクトの２Ｄ表現をスクリーン上で（すなわち、第２のペインにおいて）Ｙ方向に移動させると、仮想オブジェクトは犠牲者の正中線に平行に移動する。
【００８０】
[0087]  緊急の状況下で、初期対応者が犠牲者に対して緊急援助を提供するにつれて、初期対応者の視点は変化し得る。初期対応者が自身の頭部を移動させると（そして、タスクの性質上移動させると予想される）、指導者（遠隔地の専門家／援助者）は、２Ｄスクリーン上で（すなわち第２のペインにおいて）３Ｄ仮想コンテンツを選択し、移動させることができ、この選択された仮想コンテンツは、初期対応者のＡＲ眼鏡において適切な相互関係で（ｐｅｒｓｐｅｃｔｉｖｅｌｙ）安定する。換言すれば、３Ｄ仮想コンテンツが２Ｄスクリーン内で選択され、位置決めされることに応じて、３Ｄ仮想コンテンツの知覚的な位置は初期対応者又は遠隔地の専門家／援助者のどちらの動きによっても、（もちろん、遠隔地の専門家／援助者が、積極的に、意図的に又は肯定的に３Ｄ仮想コンテンツの２Ｄ表現を選択し、移動させない限りではあるが）乱されることがない。
【００８１】
[0088]  上記において、いくつかの例示的な実施形態のみが詳細に説明されたが、本開示の実施形態の新規な教示及び利点から実質的に逸脱することなく、例示的な実施形態において多くの修正が可能であることを、当業者は容易に理解するだろう。例えば、本開示の実施形態は、本明細書において緊急看護の文脈において説明されたが、実施形態は、拡張現実（ＡＲ）を使用する遠隔援助を伴う他の使用事例にも同じように適用可能である。それ故、全てのそのような修正は、以下の特許請求の範囲によって定められる本開示の実施形態の範囲に含まれることが意図される。特許請求の範囲において、ミーンズプラスファンクション節（ｍｅａｎｓ−ｐｌｕｓ−ｆｕｎｃｔｉｏｎ  ｃｌａｕｓｅ）は、列記された機能を実行するものとして本明細書において説明された構造をカバーすることを意図され、構造的均等物だけでなく均等な構造物もカバーすることを意図される。
【００８２】
[0089]  加えて、１つ又は複数の請求項において括弧の中に置かれた任意の参照符号は、特許請求の範囲を限定するものと解釈されるべきではない。「備える（ｃｏｍｐｒｉｓｉｎｇ及びｃｏｍｐｒｉｓｅｓ）」などの語は、任意の請求項又は本明細書全体において記載されたもの以外の要素又はステップの存在を排除するものではない。要素への単数での参照は、そのような要素への複数での参照を排除するものではなく、その逆も同様である。実施形態のうちの１つ又は複数が、いくつかの個別の要素を備えたハードウェアによって、及び／又は適切にプログラムされたコンピュータによって実現されてよい。いくつかの手段を列挙するデバイスの請求項において、これらの手段のうちのいくつかがハードウェアの１つの及び同一のアイテムによって具現化されてよい。特定の手段が互いに異なる従属請求項に列記されているという単なる事実は、これらの手段の組み合わせが有利に使用され得ないことを示すものではない。
【図１】
0006636629.tif 000002
【図２】
0006636629.tif 000003
【図３】
0006636629.tif 000004
【図４】
0006636629.tif 000005
【図５】
0006636629.tif 000006
【図６】
0006636629.tif 000007
【図７】
0006636629.tif 000008
【図８】
0006636629.tif 000009