(57)【要約】ステッカーシステムは、少なくともヘッドマウントデバイスと、ステッカーとを含む。一実施形態において、ステッカーシステムは、画像センサーによって取得されたステッカーの画像を受信する。ステッカーシステムは、画像の中に示されるステッカーの基準マーカーを処理することによって、登録情報を判断する。ステッカーシステムは、ＨＭＤの位置情報を判断する。さらに、ステッカーシステムは、登録情報および位置情報を用いて、ＨＭＤに対するステッカーの位置を判断する。ステッカーシステムは、ステッカーの位置に基づいてユーザーに提示する（例えば、拡張現実）グラフィックをＨＭＤに提供する。
2021526701.tif 000002
【特許請求の範囲】
【請求項１】
ユーザーによって着用されるヘッドマウントデバイス（ＨＭＤ）と、
基準マーカーを含むステッカーと、
命令を格納する非一時的なコンピュータ可読記憶媒体とを備え、前記命令が１つまたは複数のプロセッサによって実行された場合に、前記１つまたは複数のプロセッサに、
画像センサーによって取得された前記ステッカーの画像を受信するステップであって、前記画像は、前記基準マーカーを示しているステップと、
前記画像の中の前記基準マーカーを処理することによって登録情報を判断するステップと、
前記ＨＭＤの位置情報を判断するステップと、
前記登録情報および前記位置情報を用いて、前記ＨＭＤに対する前記ステッカーの位置を判断するステップと、
前記ステッカーの位置に基づいて前記ユーザーに提示するために前記ＨＭＤにグラフィックを提供するステップとを含むステップを実行させる、
システム。
【請求項２】
前記非一時的なコンピュータ可読記憶媒体は、前記１つまたは複数のプロセッサによって実行された場合に、前記１つまたは複数のプロセッサに、
前記登録情報を用いて暗号化キーを生成するステップであって、前記暗号化キーは、前記ステッカーに固有の暗号化キーであるステップと、
前記ＨＭＤによって、前記暗号化キーを用いる別のデバイスと通信するステップとを含むステップを実行させるさらなる命令を格納する、
請求項１に記載のシステム。
【請求項３】
前記非一時的なコンピュータ可読記憶媒体は、前記１つまたは複数のプロセッサによって実行された場合に、前記１つまたは複数のプロセッサに、
医療処置のために前記登録情報を用いて暗号化キーを生成するステップであって、前記暗号化キーは、前記ステッカーに固有であるステップと、
前記暗号化キーが以前に別のデバイスによって異なる医療処置に用いられたと判断することに応答して、前記暗号化キーを前記医療処置に用いないと判断するステップとを含むステップを実行させるさらなる命令を格納する、
請求項１に記載のシステム。
【請求項４】
前記非一時的なコンピュータ可読記憶媒体は、前記１つまたは複数のプロセッサによって実行された場合に、前記１つまたは複数のプロセッサに、
前記ステッカーの前記基準マーカーを示す追加の画像を処理することによって追加の登録情報を判断するステップであって、前記追加の画像は、追加のＨＭＤによって取得された、ステップと、
前記登録情報と前記追加の登録情報とを比較することによって、前記ＨＭＤおよび前記追加のＨＭＤが同一の医療処置に用いられていることを判断するステップとを含むステップを実行させるさらなる命令を格納する、
請求項１に記載のシステム。
【請求項５】
前記非一時的なコンピュータ可読記憶媒体は、前記１つまたは複数のプロセッサによって実行された場合に、前記１つまたは複数のプロセッサに、
前記ステッカーと前記ＨＭＤとの間の距離および角度を３次元で判断することによって、前記ＨＭＤに対する前記ステッカーの位置を判断するステップを実行させるさらなる命令を格納する、
請求項１に記載のシステム。
【請求項６】
前記グラフィックのサイズまたは向きは、前記距離および角度を用いて判断される、
請求項５に記載のシステム。
【請求項７】
前記非一時的なコンピュータ可読記憶媒体は、前記１つまたは複数のプロセッサによって実行された場合に、前記１つまたは複数のプロセッサに、
前記グラフィックとして拡張現実のコンテンツを生成するステップであって、前記ＨＭＤは、前記拡張現実のコンテンツを提示するよう構成されるディスプレイを含むステップを実行させるさらなる命令を格納する、
請求項１に記載のシステム。
【請求項８】
前記画像センサーは、前記ＨＭＤに結合されている、
請求項１に記載のシステム。
【請求項９】
前記基準マーカーは、ＱＲコードまたはバーコードである、
請求項１に記載のシステム。
【請求項１０】
画像センサーによって取得されたステッカーの画像を受信するステップであって、前記画像は、前記ステッカーの基準マーカーを示しているステップと、
前記画像の中の前記ステッカーの前記基準マーカーを処理することによって登録情報を判断するステップと、
ユーザーによって着用されるヘッドマウントデバイス（ＨＭＤ）の位置情報を判断するステップと、
前記登録情報および前記位置情報を用いて、前記ＨＭＤに対する前記ステッカーの位置を判断するステップと、
前記ステッカーの位置に基づいて前記ユーザーに提示するために前記ＨＭＤにグラフィックを提供するステップとを備える、
方法。
【請求項１１】
前記ＨＭＤによって、前記登録情報を用いて暗号化キーを生成するステップであって、前記暗号化キーは、前記ステッカーに固有であるステップと、
前記ＨＭＤによって、前記暗号化キーを用いて別のデバイスと通信するステップとをさらに備える、
請求項１０に記載の方法。
【請求項１２】
前記ＨＭＤによって、医療処置のために前記登録情報を用いて暗号化キーを生成するステップであって、前記暗号化キーは、前記ステッカーに固有であるステップと、
前記暗号化キーが以前に別のデバイスによって異なる医療処置に用いられたと判断することに応答して、前記暗号化キーを前記医療処置に用いないと判断するステップとをさらに備える、
請求項１０に記載の方法。
【請求項１３】
前記ステッカーの前記基準マーカーを示す追加の画像を処理することによって、追加の登録情報を判断するステップであって、前記追加の画像は、追加のＨＭＤによって取得された、ステップと、
前記登録情報と前記追加の登録情報とを比較することによって、前記ＨＭＤおよび前記追加のＨＭＤが同一の医療処置に用いられていることを判断するステップとをさらに備える、
請求項１０に記載の方法。
【請求項１４】
前記ＨＭＤに対する前記ステッカーの位置を判断するステップは、
前記ステッカーと前記ＨＭＤとの間の距離および角度を３次元で判断するステップを含む、
請求項１０に記載の方法。
【請求項１５】
前記グラフィックのサイズまたは向きは、前記距離および角度を用いて判断される、
請求項１４に記載の方法。
【請求項１６】
前記グラフィックとして拡張現実のコンテンツを生成するステップであって、前記ＨＭＤは、前記拡張現実のコンテンツを提示するよう構成されるディスプレイを含むステップをさらに備える、
請求項１０に記載の方法。
【請求項１７】
前記画像センサーは、前記ＨＭＤに結合されている、
請求項１０に記載の方法。
【請求項１８】
前記基準マーカーは、ＱＲコードまたはバーコードである、
請求項１０に記載の方法。
【請求項１９】
非一時的なコンピュータ可読記憶媒体に格納される命令であって、前記命令が１つまたは複数のプロセッサによって実行された場合に、前記１つまたは複数のプロセッサに、
画像センサーによって取得されたステッカーの画像を受信するステップであって、前記画像は、前記ステッカーの基準マーカーを示しているステップと、
前記画像の中の前記ステッカーの前記基準マーカーを処理することによって登録情報を判断するステップと、
ユーザーによって着用されるヘッドマウントデバイス（ＨＭＤ）の位置情報を判断するステップと、
前記登録情報および前記位置情報を用いて、前記ＨＭＤに対する前記ステッカーの位置を判断するステップと、
前記ステッカーの位置に基づいて前記ユーザーに提示するために前記ＨＭＤにグラフィックを提供するステップとを含むステップを実行させる、
非一時的なコンピュータ可読記憶媒体。
【請求項２０】
前記１つまたは複数のプロセッサによって実行された場合に、前記１つまたは複数のプロセッサに、
前記ＨＭＤによって、前記登録情報を用いて暗号化キーを生成するステップであって、前記暗号化キーは、前記ステッカーに固有であるステップと、
前記ＨＭＤによって、前記暗号化キーを用いて別のデバイスと通信するステップとを含むステップを実行させるさらなる命令を格納する、
請求項１９に記載の非一時的なコンピュータ可読記憶媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本開示は、一般に、拡張現実（ＡＲ）環境内のデバイスの登録に用いられることができる使い捨てステッカー、またはパッチに関する。
【背景技術】
【０００２】
本出願は、２０１８年５月２９日に出願された米国仮出願第６２／６７７，５４４号の優先権の利益を主張し、これは、あらゆる目的のためにその全体が参照により本明細書に組み込まれる。
【０００３】
治療介入医療処置は、それぞれが独自の特定のセットアップメカニズムを有するさまざまな段階で導入されている多様な医療デバイスを用いる複雑な作業環境を有することが可能である。拡張現実（ＡＲ）デバイスは、治療介入室において用いるために開発されている。使用および高信頼システムのセットアップをトラッキングするためのユーザーフレンドリーなメカニズムを提供することが望ましい。このような環境内で動作するデバイスは、サイバーセキュリティおよび患者の秘密保持に対する厳格な要件を有する場合があり、工学上のトレードオフを要求し、且つデバイスを登録する従来のシステムにおける使い易さを犠牲にする場合がある。
【発明の概要】
【０００４】
本明細書に開示されるのは、例えば、治療介入医療処置アプリケーションにおいてステッカーを用いるシステムおよび方法である。さらに、ステッカーは、システムセキュリティ、デバイス登録、または拡張現実（ＡＲ）環境におけるグラフィックまたは他のデータの表示に用いられることができる。ＡＲ環境における有用なグラフィックを提供するために、空間的な位置は、不明瞭ではない方法でマーキングされ、且つトラッキングされるべきである。基準グラフィックは、基準としているオブジェクトに対して、正確且つ動的に配置されるべきである。
【０００５】
一態様において、ステッカーシステムは、画像センサーによって取得されたステッカーの画像を受信し、その画像は、ステッカーの基準マーカーを示す。ステッカーシステムは、画像の中のステッカーの基準マーカーを処理することによって、登録情報を判断する。ステッカーシステムは、ユーザーによって着用されるヘッドマウントデバイス（ＨＭＤ）の位置情報を判断する。ステッカーシステムは、登録情報および位置情報を用いて、ＨＭＤに対するステッカーの位置を判断する。ステッカーシステムは、ステッカーの位置に基づいてユーザーに提示するグラフィックをＨＭＤに提供する。
【０００６】
ある実施形態において、ＨＭＤ（またはステッカーシステム）は、登録情報を用いて暗号化キーを生成し、暗号化キーは、ステッカーに固有である。ＨＭＤは、暗号化キーを用いて別のデバイスと通信する。
【０００７】
ある実施形態において、ＨＭＤ（またはステッカーシステム）は、医療処置のために登録情報を用いて暗号化キーを生成し、暗号化キーは、ステッカーに固有である。暗号化キーが以前に別のデバイスによって異なる医療処置に用いられたと判断することに応答して、ステッカーシステムは、暗号化キーを医療処置に用いないと判断する。
【０００８】
ある実施形態において、ステッカーシステムは、ステッカーの基準マーカーを示す追加の画像を処理することによって追加の登録情報を判断し、ここで、追加の画像は、追加のＨＭＤによって取得される。ステッカーシステムは、登録情報と追加の登録情報とを比較することによって、ＨＭＤおよび追加のＨＭＤが同一の医療処置に用いられていることを判断する。
【０００９】
ある実施形態において、ステッカーシステムは、ステッカーとＨＭＤとの間の３次元における距離および角度を判断することによって、ＨＭＤに対するステッカーの位置を判断する。ある実施形態において、グラフィックのサイズまたは向きは、距離および角度を用いて判断される。
【００１０】
ある実施形態において、ステッカーシステムは、拡張現実のコンテンツをグラフィックとして生成し、ＨＭＤは、拡張現実のコンテンツを提示するよう構成されるディスプレイを含む。ある実施形態において、画像センサーは、ＨＭＤに結合されている。ある実施形態において、基準マーカーは、ＱＲコードまたはバーコードである。
【００１１】
ある実施形態において、非一時的なコンピュータ可読記憶媒体は、１つまたは複数のプロセッサによって実行された場合に、１つまたは複数のプロセッサに、本明細書に説明される方法のうちのいずれかを含むステップを実行させる命令を格納する。
【図面の簡単な説明】
【００１２】
開示された実施形態は、詳細な説明、添付の特許請求の範囲、および添付の図（または図面）からより容易に明らかとなる利点、および特徴を有する。図の簡単な紹介を以下に示す。
【００１３】
【図１】本発明のさまざまな実施形態によるシステム環境の図である。
【図２】本発明のさまざまな実施形態によるステッカーシステムのデータフロー図である。
【図３】本発明のさまざまな実施形態による例示的なステッカーの図である。
【図４】本発明のさまざまな実施形態によるステッカーを用いるデバイス登録のプロセスのフロー図である。
【発明を実施するための形態】
【００１４】
（Ｉ．システム概要の例示）
図１は、本発明のさまざまな実施形態によるシステム環境の図である。図１に図示されるシステム環境は、ステッカーシステム１００と、ユーザー１０５のヘッドマウントデバイス（ＨＭＤ）１１０と、例えば、１つまたは複数のネットワークアクセスポイント１４５を用いて、ネットワーク１３０を介して互いに通信可能に接続することが可能であるコンピューティングデバイス１２０とを含む。ネットワーク１３０は、無線および／または有線接続を含むことができる。他の実施形態において、システム環境は、任意の数のユーザーおよびＨＭＤを含むことができる。図１のさまざまなエンティティによって実行される機能は、異なる実施形態において変化する場合がある。
【００１５】
（Ｉ．Ａ．デバイス）
ＨＭＤ１１０は、画像センサーを用いて、ステッカー１６０を含むシーン１４０の画像を取得することができる。さらに、ＨＭＤ１１０は、物理空間（例えば、２次元または３次元）におけるＨＭＤ１１０の位置または向きを判断する情報を取得するセンサー、ユーザーの音声入力を取得するマイクロフォン、音声出力を生成するスピーカー、ステッカー１６０において符号化されるデジタル情報を含む画像を取得する画像センサー、ＨＭＤ１１０または他のタイプのデバイス間の情報（例えば、音声データまたは、位置もしくは向き情報などの他のセンサーデータ）と通信する無線手段、情報を格納する手段、およびＨＭＤ１１０間で通信される音声を計算または制御する１つまたは複数のプロセッサのうち、１つまたは複数を有する。ある実施形態において、１つまたは複数のＨＭＤ１１０は、ＭＩＣＲＯＳＯＦＴ  ＨＯＬＯＬＥＮＳであってよいが、医療環境用にカスタム設計されるＨＭＤ１１０を含むさまざまな他のタイプのＨＭＤ１１０も用いられることが可能である。センサーの例示は、とりわけ、加速度計、ジャイロスコープ、慣性計測装置（ＩＭＵ）（ＨＭＤ１１０の位置情報の判断用など）、深度カメラ、グローバルポジショニングシステム（ＧＰＳ）センサー、超音波センサー、赤外線センサー、および近接センサーを含む。
【００１６】
ある実施形態において、ＨＭＤ１１０は、ステッカーシステム１００、別のＨＭＤ１１０、または別のソースから受信したデータに従ってユーザー１０５に画像を表示する電子ディスプレイを含む。電子ディスプレイの例示は、液晶ディスプレイ（ＬＣＤ）、有機発光ダイオード（ＯＬＥＤ）ディスプレイ、アクティブマトリックス有機発光ダイオードディスプレイ（ＡＭＯＬＥＤ）、シリコンディスプレイ上の液晶（ＬＣＯＳ）、他のディスプレイ、またはそれらのいくつかの組み合わせを含む。ある実施形態において、電子ディスプレイは、１つまたは複数の光学レンズ、光導波路、または光学コンバイナを含むことができる。ある実施形態において、ＨＭＤ１１０は、必ずしも電子ディスプレイを含むわけではない。
【００１７】
コンピューティングデバイス１２０は、任意の数のディスプレイ、キーボード、タッチスクリーン、光学カメラ、ネットワーク通信デバイス、またはプロセッサを含むことができる。コンピューティングデバイス１２０は、画像センサーを用いて、ステッカー１６０において符号化されるデジタル情報を含む画像を取得することができる。また、コンピューティングデバイス１２０は、ステッカー１６０において符号化されるデジタル情報を取得する他の手段（例えば、タッチスクリーン、キーボード、ＲＦＩＤなど）を用いることができる。コンピューティングデバイス１２０は、ステッカー１６０において符号化される取得されたデジタル情報を用いて、ネットワークアクセスポイント１４５に無線暗号化キーを設定することができる。コンピューティングデバイス１２０は、ＨＭＤ１１０で画像センサーから取得された画像情報を受信することができる。コンピューティングデバイス１２０は、例えば、受信した画像情報を処理または分析することが可能であり、１つまたは複数のＨＭＤ１１０にグラフィックを提供する。
【００１８】
（Ｉ．Ｂ．ステッカー）
ステッカー１６０は、１つまたは複数の応用のためにステッカーシステム１００によって検出および使用されることが可能である情報を含む。ステッカー１６０は、１回限りの使用、使い捨て、および／または印刷タイプのステッカーであってよい。ステッカー１６０は、ステッカー１６０を表面に固定する接着剤を含むことができる。他の実施形態において、ステッカーは、必ずしも接着剤を有する必要はなく、むしろパッチに似ており、他のタイプの取り付け機構の中で、磁石、ベルクロ、おもり、ピン、クリップ、またはボタンなどの他の手段を用いて表面に固定されることができる。ステッカー１６０は、画像センサーに対するステッカー１６０の向きを確立するための１つまたは複数の手段と、例えば、ＱＲコードまたはバーコードなどの基準マーカーである光学的に（例えば、デジタル）情報を符号化する手段とを含む。
【００１９】
（Ｉ．Ｃ．ステッカーシステム）
ステッカーシステム１００は、環境の中に存在する１つまたは複数のステッカー１６０を識別することができる。ステッカーシステム１００は、センサーを用いてステッカー１６０を検出することが可能である、ＨＭＤ１１０またはコンピューティングデバイス１２０からステッカー１６０に関連付けられる情報を受信することができる。情報は、ステッカー１６０において符号化されるデジタル情報、および／または取得されたシーン１４０についての他の情報、例えば、ステッカー１６０に近接する他のオブジェクトの存在、サイズ、および位置を含むことができる。一例示として、ステッカーシステム１００は、受信した情報を用いることが可能であり、ＨＭＤ１１０の位置からステッカー１６０の位置までの位置オフセット１３５を算定する。ステッカーシステム１００は、オフセット１３５を用いることができ、ＨＭＤ１１０および／またはステッカー１６０の位置に対するデジタルコンテンツ１５０を生成、修正、または表示する。
【００２０】
ステッカーシステム１００は、ＡＲシステム、仮想現実（ＶＲ）システム、複合現実システム、または必ずしもＡＲデバイスもしくはＶＲデバイスを含まない他のタイプのシステム環境において動作することができる。ＡＲ環境において、ステッカー１６０の（例えば、動的に）検出された位置は、ＨＭＤ１１０のユーザー１０５に提示するＡＲグラフィックに対して配置される基準として用いられることができる。ステッカーシステム１００は、医療処置が実行される部屋の外にあってもよいサーバーなどのＨＭＤ１１０または異なるコンピューティングデバイス１２０で実行することができる。
【００２１】
ある実施形態において、ステッカーシステム１００は、システムの設置または較正の間に利用可能、収集され、または確立された既存のマッピングデータを用いる。ステッカーシステム１００は、ＨＭＤ１１０からの情報を用いることができ、異なるマッピングデータセット間の補正を確立する。例えば、ＨＭＤ１１０からのマッピングデータを用いて判断されたステッカー１６０の位置が、（例えば、別のコンピューティングデバイス１２０の）画像センサーによって感知される観察された位置（または方向）よりも（例えば、位置または方向の少なくとも閾値の相違によって）逸脱しているという判断に応答し、ステッカーシステム１００は、１つまたは複数のデータセットにオフセットを適用することができ、例えば、デカルト座標系におけるＸ、Ｙ、またはＺ座標を修正する。
【００２２】
ある実施形態において、ステッカー１６０の感知された位置および／または向きに応答し、ステッカーシステム１００（またはＨＭＤ１１０）は、ＡＲ情報を表示することに用いられる独立した座標系を確立することができる。一態様において、ステッカー１６０からの感知データに応答し、ステッカーシステム１００は、他のデータソース（例えば、プライベートデータ）を感知されたデータと組み合わせることができ、例えば、外科的、または別のタイプの医学的もしくは治療介入処置である１回限りの使用手順データセットを生成する。別の態様において、ＨＭＤ１１０または他のコンピューティングデバイス１２０は、人間の入力を用いることができ、１回限りの使用手順データセットを生成するプライベートデータと組み合わされたデジタル情報を取得する。ある実施形態において、ステッカーシステム１００は、ステッカー１６０の検出された位置に対する基準グラフィックを配置する人間の入力を用いて、グラフィックに適用される基準オフセットを判断し、ステッカー１６０の次の動きを補償する。
【００２３】
（Ｉ．Ｄ．システムセキュリティ）
ある実施形態において、（例えば、ＨＭＤ１１０によって）ステッカーシステム１００は、ステッカー１６０に関連付けられる情報を用いることができ、暗号化キーを生成し、ネットワークアクセスポイント１４５と通信する。ある実施形態において、ステッカーシステム１００は、対称鍵交換を含む公開鍵暗号の例示的なクラスである楕円曲線暗号（ＥＣＣ）を用いる。ステッカーシステム１００は、ＥＣＣを用いて暗号化キーを生成し、これは、ネットワークアクセスポイント１４５、または他のセキュリティデバイスもしくはシステムによって用いられることができ、ＨＭＤ１１０またはコンピューティングデバイス１２０の真正性を検証する。ある実施形態において、ステッカー１６０は、ステッカーシステム１００によって用いられる追加のトークンを提供することが可能であり、例えば、ＥＣＣの検証の後に、真正性を検証する。さまざまな実施形態において、ステッカー１６０が強化されたセキュリティを提供するのは、ステッカー１６０がＨＭＤ１１０に隣接して物理的に存在する必要があるためであり、それによって、ＨＭＤ１１０がステッカー１６０の画像、例えば、具体的にステッカー１６０のＱＲコードを取得することが可能である。
【００２４】
さまざまな実施形態において、ステッカーシステム１００は、１回限りの使用手順データセットを実装し、ステッカー１６０の再利用を防止する。１回限りの使用ステッカー１６０が一度用いられると、ステッカー１６０は廃棄されてよい。ステッカーシステム１００は、以前に使用された１回限りの使用ステッカー１６０をトラッキングすることによって、ステッカー１６０の不正使用を判断することができる。ステッカーシステム１００は、手順データセットを用いることができ、有線または無線ネットワーク通信の１回限りの使用の暗号化キーを確立する。また、ステッカーシステム１００は、トランスポート層暗号化として交換される対称鍵の構成要素として、ステッカー１６０の符号化された情報を検出し、用いることが可能である。ある実施形態において、ステッカーシステム１００は、ステッカーに関連付けられる情報を無線鍵交換におけるハードウェア層の暗号化鍵として、または無線暗号化鍵のネゴシエーションのシードとして用いる。一実施形態において、ステッカーシステム１００は、アプリケーション層暗号化スキームの構成要素としてステッカー１６０に関連付けられる情報を用いることができる。一実施形態では、ステッカーシステム１００は、ステッカー１６０に関連付けられる情報を暗号化キーとして、またはネットワーク１３０を介してアプリケーションデータを送信する暗号化キーのシードとして用いる。
【００２５】
（Ｉ．Ｅ．マルチユーザーの例示）
あらゆる実施形態において、ステッカーシステム１００は、例えば、医者および／または医療処置を実行する他の要員など、多様なＨＭＤ１１０および／またはユーザー１０５を含む使用例において、ステッカー１６０に関連付けられる情報を用いることができる。例えば、ＨＭＤ１１０は、多様なＨＭＤ１１０間の共有座標系におけるネットワーク１３０を介して算定されたオフセット１３５をやりとりすることができ、他のＨＭＤ１１０のうちの１つもしくは複数（またはすべて）の補正を確立する。この態様において、１つまたは複数のＨＭＤ１１０は、少なくとも１つのＨＭＤ１１０がステッカー１６０を検出し、関連する符号化情報を取得したと判断するステッカーシステム１００に応答して、デジタルコンテンツ１５０を表示または変更することができる。別の態様において、特定のＨＭＤ１１０は、位置または向きセンサーを用いて、ステッカー１６０のうちの少なくとも一部がＨＭＤ１１０の画像センサーの視野外にあるという判断に応答して、デジタルコンテンツ１５０を表示することができる。
【００２６】
ある実施形態において、ステッカーシステム１００は、１つまたは複数のＨＭＤ１１０から情報を用いることができ、具体的なステッカー１６０に対するＨＭＤ１１０のうちの所与の１つの位置をマッピングする。ある実施形態において、多様なＨＭＤ１１０のうちのそれぞれは、デジタルコンテンツ１５０を表示するステッカー１６０の位置にオフセット１３５を独立して算定することができる。ステッカーシステム１００は、対応するオフセット１３５に基づいて特定のＨＭＤ１１０のグラフィックをカスタマイズすることができる。
【００２７】
（ＩＩ．データフローの例示）
図２は、本発明のさまざまな実施形態によるステッカーシステム１００のデータフロー図である。ステッカーシステム１００は、ステッカー１６０から取得されたデジタル情報を用いることができ、またはユーザーによって入力されることができ、１つまたは複数の位置および／または向きデータ、暗号化キー、および１回限りの使用手順コードを生成する。さまざまな実施形態において、（例えば、ＨＭＤ１１０またはコンピューティングデバイス１２０の）画像センサー２００は、ステッカー１６０によって符号化された情報を含む画像を取得する。ステッカーシステム１００は、画像センサー２００の較正パラメーター２０５、およびコード認識アルゴリズム２１０の座標系を用いることが可能であり、例えば、１つまたは複数のスケール、距離、および３次元までの角度情報である位置情報２１５を抽出する。距離および角度は、画像センサー２００とステッカー１６０との間の相対位置を示すことができる。スケールは、画像センサー２００、または別の基準によって取得された画像に対するステッカー１６０のサイズを示すことができる。ステッカーシステム１００は、例えば、ＨＭＤ１１０または他のディスプレイに３次元のＡＲコンテンツを表示するために、位置情報２１５を用いることができ、（例えば、３次元）座標系２２０の原点を判断する。
【００２８】
ステッカーシステム１００は、コード認識アルゴリズム２１０を用いることが可能であり、１回限りの使用手順コード２２５を生成する。あるいは、１回限りの使用手順コード２５は、ユーザー入力２３０によってステッカーシステム１００に提供されることができる。ステッカーシステム１００は、手順特殊コーディング２３５において、インストール特殊データ２３０と共に１回限りの使用手順コード２２５を用いることができ、１つまたは複数の固有暗号化キー２４０、および固有手順コード２４５を生成する。ステッカーシステム１００は、手順検証２５０において、固有手順コード２２を用いることができ、一回限りの使用手順コード２２５の真正性、および単一使用を検証する。
【００２９】
一実施形態において、それぞれのネットワーク化されたデバイスは、独立して、図２に図示されるプロセスを完了することによって、例えば、ステッカーシステム１００におけるすべてのデバイスがそれぞれのキーを有し、ネットワーク通信を確立する。しかしながら、セキュリティ上の理由から、キー自体も、キーの生成に用いられるいかなる情報も、デバイス間に無線で伝送されない。
【００３０】
（ＩＩＩ．ステッカーの例示）
図３は、本発明のさまざまな実施形態による例示的なステッカーの図である。ステッカー３００は、ＱＲコードに隣接する解剖学的用語を含むＱＲコードを含み、（例えば、外科的手術）台または別のオブジェクト上の患者に対するステッカー３００を配置するためのヒントまたは指示として役立つ。ステッカー３１０は、ステッカー配置の正しい方向を示す人型、または（患者を表現する）漫画のアイコンを含むＱＲコードを含む。
【００３１】
ある実施形態において、ステッカーは、回転が固有であり、且つ既知のスケールの基準マーカーまたは光学パターンを含む。基準マーカーは、位置算定またはセキュリティアプリケーションに用いられることができるデータのビットを符号化することができる。ＱＲコードはスケールが不変であり、既知のサイズに生成（例えば、印刷）されることができる。ＱＲコードまたはＱＲコードの他の属性の既知のサイズに基づいて、ステッカーシステム１００は、ＱＲコードの同一のインスタンス、または固有基準マーカーの別のタイプにおける１つまたは複数のスケール、回転、および追加のデータを符号化することができる。また、ステッカーは、例えば、バーコードもしくは英数字および／または１６進文字のシーケンスである、別個のマーカーにおける追加のデータビットからのスケールおよび回転を独立して符号化することができる。文字のシーケンスは、既知のスケールの回転が固有の光学マーカーに隣接している場合がある。
【００３２】
（ＩＶ．方法の例示）
図４は、本発明のさまざまな実施形態によるステッカーを用いるデバイス登録のプロセス４００のフロー図である。さまざまな実施形態において、ステッカーシステム１００は、ＨＭＤ１１０（またはコンピューティングデバイス１２０）などのデバイスを登録することができ、医療または治療介入処置に関連付けられる情報を受信または提供するＨＭＤ１１０を許可する。追加的または代替的に、登録は、部屋または別の基準の境界に対して登録されたデバイスの位置を判断（または再較正）することに用いられることが可能である。ステッカーシステム１００は、図１に図示されるシステム環境における方法４００を実行することができる。
【００３３】
ステッカーシステム１００は、（例えば、ＨＭＤ１１０またはコンピューティングデバイス１２０の）画像センサーによって取得されたステッカー１６０の画像を受信し４１０、ここで画像は、例えば、図３に図示される例示的なＱＲコードに類似する、ステッカー１６０の基準マーカーを示す。ステッカーシステム１００は、画像の中のステッカー１６０の基準マーカーを処理することによって、登録情報を判断する４２０。ステッカー基準マーカーを検出する方法は、文献において既知である。一実施形態において、ステッカー基準マーカーは、ＱＲコードなどの高コントラストの白黒グラフィックを含む。登録情報は、ＱＲコードのサイズまたは向きなど、基準マーカーの属性を任意の数だけ含むことができる。登録情報は、例えば、処置が実行されることとなる部屋、（配置のための基準として用いられてよい）部屋の中のオブジェクトの位置または寸法、患者、ユーザー、または医療処置を伴うデバイス情報（例えば、ＨＭＤ）である医療処置に関連する他のタイプの情報を含むことができる。
【００３４】
ステッカーシステム１００は、ユーザー１０５によって着用されるＨＭＤ１１０の位置情報を判断する４３０。画像センサーは、ＨＭＤ１１０に結合されることができる。ステッカーシステム１００は、登録情報および位置情報を用いてＨＭＤに対するステッカー１６０の位置を判断する。ステッカーシステム１００は、ステッカー１６０の位置に基づいてユーザー１０５に提示するために、ＨＭＤ１１０に対するグラフィックおよび適切な３次元位置情報を提供する４５０。図１に図示される例示を参照すると、グラフィックは、患者の生理学の３次元レンダリングなどのＡＲコンテンツを含むことができる。例えば、心臓のグラフィック（または別の生理学的な身体部分のモデル）は、心臓病学手順のＨＭＤ１１０によって表示される。グラフィックは、身体部分に対する医療機器の位置を示すことができる。例えば、グラフィックは、医師によって患者の体内へと誘導されているカテーテルを図示することができる。
【００３５】
さまざまな実施形態において、ステッカー１６０は、処置中に、患者に近接した手術台、または別の（例えば、静止した）オブジェクトに取り付けられることができる。他の実施形態において、ステッカー１６０は、非静止オブジェクト（例えば、可動テーブル、椅子、または機器）に貼付され、ステッカーシステム１００は、ステッカー１６０の新しい画像が受信されると、登録情報を更新することが可能である。したがって、ＡＲ環境において、ステッカーシステム１００は、移動しているオブジェクトに取り付けられることで、ユーザー１０５によって知覚されるグラフィックを提供することができる。
【００３６】
ある実施形態において、ステッカーシステム１００は、ＨＭＤ１１０に対するステッカー１６０の位置を用いて、グラフィックのサイズまたは向きを判断する。一例示として、ＨＭＤ１１０のユーザー１０５が患者またはステッカー１６０の周りを歩くと、ステッカーシステム１００は、グラフィックを更新することができ、例えば、患者の心臓の３次元モデルの異なる視点または角度を図示する。さらに、ステッカーシステム１００は、ユーザー１０５が患者またはステッカー１６０に近づいたり遠ざかったりすると、グラフィックのサイズを更新することが可能である。
【００３７】
ある実施形態において、ステッカーシステム１００は、ユーザー１０５がジェスチャーをしていること、またはそうでなければ、例えば、ステッカー１６０の位置に向けてまたはその位置を指している、ステッカー１６０と相互作用していることを検出することに応答してグラフィックを更新する。ある実施形態において、ステッカーシステム１００は、（例えば、医療処置のために）登録情報を用いて暗号化キーを生成し、ここで、暗号化キーは、ステッカー１６０に固有である。
【００３８】
一使用例において、ステッカーシステム１００は、ＨＭＤ１１０で実行され、暗号化キーを用いて別のデバイスと通信することができる。異なる例示において、暗号化キーが以前に別のデバイスによって異なる医療処置に用いられたと判断することに応答して、ステッカーシステム１００は、暗号化キーを現在の医療処置に用いないと判断する。したがって、ステッカーシステム１００は、例えば、具体的な手順のために、１回限りの使用のステッカーを保持する。
【００３９】
ある実施形態において、ステッカーシステムは、多様なＨＭＤを有する環境の中でステッカーを用いることができる。例えば、ステッカーシステム１００は、追加の画像を処理し、ＨＭＤ１１０および別のＨＭＤがそれらの関連する登録情報を比較することによって同一の医療処置に用いられていることを判断する。この判断に応答することで、ステッカーシステム１００は、ＨＭＤに提示するために提供される情報を調整することができる。例えば、ステッカーシステム１００は、ＨＭＤに表示されるグラフィックの注釈を同期することができ、ＨＭＤ間でメッセージを通信し、またはＨＭＤ間で医療処置について他のデータを共有する。
【００４０】
（Ｖ．追加の検討事項）
本発明の実施形態の前述の説明は、例示の目的で提示されており、網羅的であること、または開示された正確な形態に限定することは、意図されていない。関連技術分野における当業者は、上記の開示を考慮すると、多くの修正例および変形例が可能となることを理解することが可能である。
【００４１】
この説明のある部分は、情報に対するオペレーションのアルゴリズムおよび記号表現の観点から見ると本発明の実施形態を説明している。これらのアルゴリズムの説明および表現は、データ処理技術における当業者によって一般的に用いられ、彼らの仕事の趣旨を効果的に他の当業者に伝える。これらのオペレーションは、機能的、計算的、または論理的に説明されている一方で、コンピュータプログラム、または等価電気回路、マイクロコードなどによって実装されると理解される。さらに、普遍性を失うことなく、これらのオペレーションの配列をモジュールと呼ぶことが便利な場合もある。説明されるオペレーションおよびそれらに関連するモジュールは、ソフトウェア、ファームウェア、ハードウェア、またはそれらの任意の組み合わせで具現化されてよい。
【００４２】
本明細書で説明される任意のステップ、オペレーション、またはプロセスは、単独または他のデバイスと組み合わせることで、１つもしくは複数のハードウェアまたはソフトウェアモジュールで実行または実装されてよい。一実施形態において、ソフトウェアモジュールは、説明される任意またはすべてのステップ、オペレーション、またはプロセスを実行するコンピュータプロセッサによって実行されることが可能であるコンピュータプログラムコードを含む非一時的なコンピュータ可読媒体を含むコンピュータプログラム製品で実装される。
【００４３】
また、本発明の実施形態は、本明細書で説明されるコンピューティングプロセスによって生成される製品に関する場合がある。このような製品は、コンピューティングプロセスから生じる情報を含むことができ、ここで、この情報は、非一時的で有形のコンピュータ可読記憶媒体に格納され、本明細書で説明されるコンピュータプログラム製品、または他のデータの組み合わせの任意の実施形態を含むことができる。
【００４４】
本明細書で用いられるように、「一実施形態」、または「実施形態」への参照は、この実施形態に関連して記載される具体的な要素、特徴、構造、または特性が少なくとも１つの実施形態において含まれることを意味する。本明細書におけるさまざまな場所において、「一実施形態において」という表現の説明は、必ずしもすべてが同一の実施形態を参照しているわけではない。
【００４５】
本明細書で用いられるように、「備える」、「備えている」、「含む」、「含んでいる」、「有する」、「有している」、またはそれらの任意の他の変形例は、非排他的な包含を含むことが意図されている。例えば、要素のリストを備えるプロセス、方法、条項、もしくは装置は、必ずしもそれらの要素のみに限定されるのではなく、そのようなプロセス、方法、条項、もしくは装置に明示的に記載されていない、または内在する他の要素を含む場合がある。さらに、そうではないと明示的に述べられていない限り、「または」は、包括的な「または」を参照し、排他的な「または」を参照しない。例えば、条件ＡまたはＢは、以下のいずれか１つによって満たされ、Ａは真（または存在する）およびＢは偽（または存在しない）、Ａは偽（または存在しない）およびＢは真（または存在する）、ならびにＡおよびＢの両方が真（または存在する）である。
【００４６】
最後に、明細書で用いられる文言は、主に読み易さおよび教育目的のために選択されており、本発明の主題を描写または制限するために選択されていない場合がある。したがって、本発明の範囲は、この詳細な説明によってではなく、本明細書に基づいた出願で発行される任意の請求項によって制限されることが意図されている。故に、本発明の実施形態の開示は、例示することを意図しており、以下の請求項に記載される本発明の範囲を限定しない。
【図１】
2021526701.tif 000003
【図２】
2021526701.tif 000004
【図３】
2021526701.tif 000005
【図４】
2021526701.tif 000006
【国際調査報告】
2021526701.tif 000007