(57)【要約】本開示は、マルチステップ医療手順のための、拡張現実に基づくユーザガイダンスシステムに関し、本システムは、オリジナルシーンに重ねることができる人工情報を提示するよう構成されているディスプレイユニット（１４、３４）、センサユニット（１８、３８）、及び処理ユニット（２２、４２）を有する拡張現実デバイス（１０、３０）と、拡張現実デバイス（１０、３０）が検出できる少なくとも１つの第１のマーカ（１４２、１４４、１４６、１４８）であって、少なくとも１つの第１のマーカ（１４２、１４４、１４６、１４８）は、医療手順の規定されたステップにおいて使用される物品（１３２、１３４、１３６、１３８）に関連付けられ、医療手順は、ユーザアクションを必要とする少なくとも１つのステップを含む、少なくとも１つの第１のマーカ（１４２、１４４、１４６、１４８）と、を有し、拡張現実デバイス（１０、３０）は、シーンをモニタリングし、少なくとも１つの第１のマーカ（１４２、１４４、１４６、１４８）を検出してトラッキングし、医療手順を実行するためのユーザガイダンスを提供し、少なくとも１つの第１のマーカ（１４２、１４４、１４６、１４８）の検出された状態に基づいて、ユーザアクションが医療手順に従っているかどうかを検出し、拡張現実デバイス（１０、３０）が、誤ったユーザアクションを検出したとき、是正のためのユーザフィードバックをユーザに提供するよう構成されている。本開示は、さらに、対応する方法と、ユーザガイダンスのためのシステムにおける拡張現実デバイス（１０、３０）の使用と、に関する。
2018503416.tif 000002
【特許請求の範囲】
【請求項１】
マルチステップ医療手順のための、拡張現実に基づくユーザガイダンスシステムであって、
拡張現実デバイスであって、
オリジナルシーンに重ねることができる人工情報を提示するよう構成されているディスプレイユニットと、
センサユニットと、
処理ユニットと、
を有する拡張現実デバイスと、
前記拡張現実デバイスが検出できる少なくとも１つの第１のマーカであって、前記少なくとも１つの第１のマーカは、医療手順の規定されたステップにおいて使用される物品に関連付けられ、前記医療手順は、ユーザアクション、特に前記物品を手で取り扱うことを伴うこと、を必要とする少なくとも１つのステップを含む、少なくとも１つの第１のマーカと、
を有し、
前記拡張現実デバイスは、
シーンをモニタリングし、前記少なくとも１つの第１のマーカを検出してトラッキングし、
前記医療手順を実行するためのユーザガイダンスを提供し、
前記少なくとも１つの第１のマーカの検出された状態に基づいて、ユーザアクションが前記医療手順に従っているかどうかを検出し、
前記拡張現実デバイスが、誤ったユーザアクションを検出したとき、是正のためのユーザフィードバックをユーザに提供する
よう構成されている、ユーザガイダンスシステム。
【請求項２】
前記医療手順の規定されたステップに割り当てられた位置に配置される少なくとも１つの第２のマーカが提供され、前記医療手順は、前記医療手順のステップを遂行するために、前記物品を、特に前記物品の前記少なくとも１つの第１のマーカを、前記第２のマーカの近くに配置することを必要とする少なくとも１つのステップを含む、請求項１記載のユーザガイダンスシステム。
【請求項３】
前記少なくとも１つの第１のマーカは、カバーマーカとして構成され、
前記少なくとも１つの第２のマーカは、基部マーカとして構成され、
前記少なくとも１つの第１のマーカは、使い捨て物品又は消耗物品に、特に前記使い捨て物品又は前記消耗物品の包装又は開封防止要素に、取り付けられる、請求項２記載のユーザガイダンスシステム。
【請求項４】
前記少なくとも１つの第１のマーカは、前記医療手順の過程において動かされる物品に取り付けられる非固定マーカであり、
前記少なくとも１つの第２のマーカは、前記医療手順の対象である医療機器における特定の位置を示す固定マーカであり、
前記ユーザガイダンスシステムは、少なくとも１つの非固定マーカが、前記医療手順のステップを完了するために、それぞれの固定マーカに接近している状態を検出することができる、請求項３記載のユーザガイダンスシステム。
【請求項５】
前記拡張現実デバイスは、後続のステップに関連付けられている少なくとも１つのマーカを仮想的に強調することにより、前記後続のステップを示すよう構成されている、請求項１記載のユーザガイダンスシステム。
【請求項６】
前記ユーザガイダンスシステムは、さらに、前記医療手順をモニタリングし、ユーザアクションが、時間制約、継続時間制約、順序制約、シーケンス制約、方向制約、位置制約、目標制約、及びこれらの組合せからなる群から選択される少なくとも１つの特性に関して誤っているかどうかを検出するよう構成されている、請求項１記載のユーザガイダンスシステム。
【請求項７】
前記拡張現実デバイスは、外来患者処置のために適合されており、
前記医療手順は、非熟練ユーザ又は患者自身が実行できる医療プロトコルを含む、請求項１記載のユーザガイダンスシステム。
【請求項８】
前記医療手順は、医療プロトコルを含み、前記医療プロトコルは、一連のステップを含み、前記一連のステップの各ステップは、規定されたアクション、規定された物品、規定された目標、規定された継続時間、規定された許容可能総時間、及びこれらの組合せからなる群から選択される少なくとも１つの特性を含む、請求項１記載のユーザガイダンスシステム。
【請求項９】
前記ユーザガイダンスシステムは、前記拡張現実デバイスが検出できる少なくとも１つの基準マーカを有し、前記少なくとも１つの基準マーカは、実行されるべき前記医療手順を示す、請求項１記載のユーザガイダンスシステム。
【請求項１０】
前記ユーザガイダンスシステムは、さらに、前記医療手順の過程におけるプロトコル内是正を伴う、是正のためのユーザフィードバックをユーザに提供するよう構成されており、
プロトコル内是正は、
ステップを中断して再実行すること、
ステップを完了して再実行すること、
一連のステップを戻って再実行し、複数のステップを完了すること、
誤りの場合、前記医療手順を遂行することなく開始ポイントに戻って、前記複数のステップを再実行すること、及び
これらの組合せ
からなる群から選択されるアクションを特に含み得る、請求項１記載のユーザガイダンスシステム。
【請求項１１】
医療手順におけるユーザガイダンスのためのシステムにおける拡張現実デバイスの使用であって、前記拡張現実デバイスは、
オリジナルシーンに重ねることができる人工情報を提示するよう構成されているディスプレイユニットと、
センサユニットと、
処理ユニットと、
を有し、
前記システムは、
前記拡張現実デバイスが検出できる少なくとも１つの第１のマーカであって、前記少なくとも１つの第１のマーカは、前記医療手順の規定されたステップにおいて使用される物品に関連付けられ、前記医療手順は、ユーザアクション、特に前記物品を手で取り扱うことを伴うこと、を必要とする少なくとも１つのステップを含む、少なくとも１つの第１のマーカ
をさらに有し、
前記拡張現実デバイスは、
シーンをモニタリングし、前記少なくとも１つの第１のマーカを検出してトラッキングし、
前記医療手順を実行するためのユーザガイダンスを提供し、
前記少なくとも１つの第１のマーカの検出された状態に基づいて、ユーザアクションが前記医療手順に従っているかどうかを検出し、
前記拡張現実デバイスが、誤ったユーザアクションを検出したとき、是正のためのユーザフィードバックをユーザに提供する
よう動作可能である、使用。
【請求項１２】
在宅医療環境における前記拡張現実デバイスの使用を含み、前記在宅医療環境は、好ましくは、在宅化学療法、在宅血液分析、在宅血液採取、在宅サンプル採取、在宅インスリン療法、在宅予防接種、及びこれらの組合せからなる群から選択される少なくとも１つの特定の使用を含む、請求項１１記載の使用。
【請求項１３】
救急治療環境におけるユーザガイダンス、特に自動体外式除細動器構成、のためのシステムにおける前記拡張現実デバイスの使用を含む、請求項１１記載の使用。
【請求項１４】
マルチステップ医療手順のための、拡張現実に基づくユーザガイダンスを提供する方法であって、
オリジナルシーンに重ねることができる人工情報を提示するよう構成されているディスプレイユニットと、センサユニットと、処理ユニットと、を有する拡張現実デバイスを提供するステップと、
前記拡張現実デバイスが検出できる少なくとも１つの第１のマーカを提供するステップであって、前記少なくとも１つの第１のマーカは、医療手順の規定されたステップにおいて使用される物品に関連付けられ、前記医療手順は、ユーザアクション、特に前記物品を手で取り扱うことを伴うこと、を必要とする少なくとも１つのステップを含む、ステップと、
シーンをモニタリングし、前記少なくとも１つの第１のマーカを検出してトラッキングするステップと、
前記医療手順を実行するためのユーザガイダンスを提供するステップと、
前記少なくとも１つの第１のマーカの検出された状態に基づいて、ユーザアクションが前記医療手順に従っているかどうかを検出するステップと、
前記拡張現実デバイスが、誤ったユーザアクションを検出したとき、是正のためのユーザフィードバックをユーザに提供するステップと、
を含む方法。
【請求項１５】
コンピュータプログラムであって、前記コンピュータプログラムがコンピュータ上で実行されたときに、前記コンピュータに請求項１４記載の方法のステップを実行させるプログラムコード手段を含むコンピュータプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本開示は、マルチステップ医療手順のための、拡張現実に基づくユーザガイダンスシステム、及び対応する方法に関する。本開示は、さらに、医療手順におけるユーザガイダンスのためのシステムにおける拡張現実デバイスの使用に関する。本開示は、さらに、対応するコンピュータプログラムに関する。
【背景技術】
【０００２】
特許文献１は、ディスプレイと、プロセッサリソースと、プロセッサリソースと通信し、情報を受信及び記憶することができる少なくとも１つのコンピュータ読み取り可能な媒体と、該媒体上の命令であって、プロセッサリソースにより実行されたときに、物品に関する補足情報を算出して、ディスプレイに表示される物品の視覚的表現上に補足情報を表示するよう動作可能な命令と、を備える携帯電話機型電子デバイスを開示している。同様の拡張現実デバイス、特にヘッドマウントデバイスが、例えば、特許文献２、特許文献３、及び特許文献４から知られている。一般に、拡張現実デバイスは、ウェアラブルデバイスと呼ばれることがあり、ハンドヘルドデバイス、光学ヘッドマウントディスプレイ等を含み得る。
【０００３】
拡張現実（ＡＲ）は、サウンドデータ、ビデオデータ、グラフィックスデータ、又はＧＰＳデータ等のコンピュータ生成型知覚入力により拡張され得る（別の言い方をすると、補足され得る）要素を含む物理的現実世界環境のライブの直接的又は間接的なビューと呼ばれることがある。別の言い方をすると、人工情報を含むレイヤが、現実世界情報を含むレイヤの表現に重畳され得る。一般に、拡張情報は、直接的又は間接的に、実在シーンを観察しているユーザに視覚的に提示され得る。しかしながら、オーディオ情報、音声情報、触覚情報等も、拡張現実環境において、現実世界知覚に重ねられることがある。
【０００４】
一般に、拡張現実は、調整現実（mediated  reality）と呼ばれることがあるより一般的な概念に関連し得る。調整現実は、一般に、現実の表現又はビューが、コンピューティングデバイスにより変更されることを伴う。この文脈における変更は、現実世界情報要素を強調すること、減少させること、又は、さらには隠すことを含み得る。
【０００５】
したがって、拡張現実デバイスは、ユーザの現在の現実の知覚に影響を及ぼし得る、好ましくは、ユーザの現在の現実の知覚を高め得る。一般に、拡張現実は、情報のリアルタイム又はほぼリアルタイムの拡張又は重畳を伴う。
【０００６】
医療手順は、健康問題又はさらには健康障害を潜在的に有している可能性がある人のケアにおいて結果を達成するよう意図されている一連のアクションである。一般に、医療手順は、医療検査、医療モニタリング、医療処置、内科治療、リハビリテーション手段等を伴い得る。医療検査は、患者状態又は患者パラメータを判定、測定、又は診断する意図をもって一般に行われる。治療手段は、典型的には、患者の機能又は構造を処置すること、治癒させること、又は回復させることを伴う。
【先行技術文献】
【特許文献】
【０００７】
【特許文献１】米国特許出願公開第２０１２／０１８４２５２号明細書
【特許文献２】米国特許出願公開第２０１１／０２１３６６４号明細書
【特許文献３】米国特許第８７０５１７７号明細書
【特許文献４】米国特許出願公開第２０１３／０２７８４８５号明細書
【発明の概要】
【発明が解決しようとする課題】
【０００８】
拡張現実の分野における改善の余地が依然としてある。より詳細には、医療分野、より一般的には、ユーザガイダンス又は患者ガイダンスの分野において、拡張現実に基づく技術の適用可能性がある。
【０００９】
上記に鑑みて、マルチステップ医療手順のための、強化された拡張現実に基づくユーザガイダンスシステムであって、医療手順の過程においてユーザをガイドすることができ、比較的複雑な医療手順及び／又は医療プロトコルを実行及び遂行するために必ずしも専門的に適格であるとは限らない非熟練ユーザ又は非専門家に特に適している強化された拡張現実に基づくユーザガイダンスシステムを提供することが、本発明の目的である。
【００１０】
さらに、在宅ユーザ処置及び／又は外来患者処置を容易にする、強化された拡張現実に基づくユーザガイダンスシステムを提供することが有益であろう。強化されたユーザガイダンスを可能にし、拡張現実技術をさらに活用することができるそれぞれのシステムを提供することがさらに有効であろう。
【００１１】
さらに、マルチステップ医療手順のための、対応する、強化された拡張現実に基づくユーザガイダンス方法、及び、医療手順におけるユーザガイダンスのためのシステムにおける拡張現実デバイスの好ましい使用を提供することが有益であろう。好ましくは、対応するコンピュータプログラムが提供される。
【課題を解決するための手段】
【００１２】
本発明の第１の態様において、マルチステップ医療手順のための、拡張現実に基づくユーザガイダンスシステムであって、
拡張現実デバイスであって、
オリジナルシーンに重ねることができる人工情報を提示するよう構成されているディスプレイユニットと、
センサユニットと、
処理ユニットと、
を有する拡張現実デバイスと、
拡張現実デバイスが検出できる少なくとも１つの第１のマーカであって、少なくとも１つの第１のマーカは、医療手順の規定されたステップにおいて使用される物品に関連付けられ、医療手順は、ユーザアクション、特に物品を手で取り扱うことを伴うこと、を必要とする少なくとも１つのステップを含む、少なくとも１つの第１のマーカと、
を有し、
拡張現実デバイスは、
シーンをモニタリングし、少なくとも１つの第１のマーカを検出してトラッキングし、
医療手順を実行するためのユーザガイダンスを提供し、
少なくとも１つの第１のマーカの検出された状態に基づいて、ユーザアクションが医療手順に従っているかどうかを検出し、
拡張現実デバイスが、誤ったユーザアクションを検出したとき、是正のためのユーザフィードバックをユーザに提供する
よう構成されている、ユーザガイダンスシステム、が提供される。
【００１３】
この態様は、比較的複雑な医療手順（医療プロトコルと呼ばれることもある）が、熟練した教育を受けた医療スタッフを通常必要とするという洞察に基づく。しかしながら、医療サービスを病院から患者の自宅に移転させる所定の傾向が存在する。これは、患者の馴染みのある環境に留まることができる患者のコストの低減及び健康の増進という利点を有することができる。しかしながら、例えば、血液採取、血糖値測定等の比較的複雑な医療手順を、しばしば繰り返し（１日当たり１回、１週間当たり１回等）実行する必要性が依然としてしばしばある。
【００１４】
従来の環境において、これは、患者又は患者の世話をする身内／友人の広範なトレーニングを必要とする。必要以上のトレーニングが行われた場合であっても、患者又は医療手順の結果に害を及ぼすおそれがある誤操作のリスクが依然としてある。したがって、特に高齢者の場合、他の適格なスタッフの看護師を患者の場所に派遣すること又はさらには患者を病院環境に留めておくことが、必要とされることがある。
【００１５】
さらなる重要な利点が、医療領域における職務を行うときに適格性が低い又は経験を積んでいないスタッフを支援する、本システムの能力において確認できる。したがって、拡張現実に基づくユーザガイダンスシステムは、看護師研修生等の医療研修生により使用されてもよい。さらなる用途は、医療領域におけるどちらかというと平凡な職務から、適格性が高い専門家を解放するために、適格性が高い専門家から適格性が低いスタッフへの職務の委任に関連して見出すことができる。医療施設は、頻繁に、適格性が高い医師及び看護師の不足に直面する。このように、拡張現実に基づくユーザガイダンスシステムは、適格なスタッフが不足している場合であっても、質基準を維持することを容易にすることができる。
【００１６】
本明細書で使用される場合、拡張現実（ＡＲ）に基づくユーザガイダンスシステムは、概して、ＡＲにより支援される且つ／又はＡＲにより強化されるシステムと呼ばれることがある。ＡＲに基づくユーザガイダンスシステムは、（例えば、患者自身により行われる）自己処置環境において有用であるが、患者を処置するユーザ（支援スタッフ）を含む環境においても有用である。
【００１７】
先進的なＡＲ技術（例えば、コンピュータビジョン及び物品（オブジェクト）認識を実在表現に付加する技術）の助けにより、ユーザの周囲現実世界に関する情報が、インタラクティブ且つデジタルで操作可能になる。環境及びその物品に関する人工情報が、現実世界に重ねられ得る。これは、是正のためのユーザフィードバックが提示され得るという点でさらに強化され得るインタラクティブな教育的マニュアルを提供できるという利点を有することができる。概して、肯定的フィードバック（すなわち、手順又は手順のサブステップが成功裡に遂行されたこと）が、提供され得る。さらに、誤りが発生した場合、本システムは、意図される手順の完了の成功に向けて動作することができる。
【００１８】
特にいわゆる在宅医療（hospital  at  home）環境（ホスピタルツーホーム（Ｈ２Ｈ）環境とも呼ばれる）において、患者は、専門的医療スタッフによる支援なく、比較的複雑な医療プロトコルを自身で実行することがますます求められる。通常、医療プロトコルは、複数の別個の物理的デバイス及び消耗品を用いた、物理的世界におけるアクションを含み得る。例えば、血液分析を行う化学療法患者は、ランセット、アルコール消毒綿、絆創膏、及び血液カートリッジを特定の順序及びやり方で使用する必要があることがある。少なくとも１つの物品を取り扱うことは、物品を動かすこと、特に物品を手で動かすことを含み得る。物品を取り扱うことは、物品の包装を解くこと又は物品を開けることをさらに含み得る。医療手順の過程において使用される物品のうちの少なくとも一部は、初期には、滅菌した物品包装に収容されていることがある。したがって、少なくとも１つの物品を取り扱うことは、滅菌した容器又は袋を切り裂くことをさらに含み得る。
【００１９】
複数の物品が提供され得る。１つ以上の物品は、（医療用の）薬、薬物、又は薬剤を含み得る。さらに、物品は、医療機器、特に使い捨て医療機器、を含み得る。医療機器は、ランセット、注射器、体温計、血圧装置、薬瓶等を含み得る。追加的又は代替的に、１つ以上の物品は、医療手順において通常使用される材料／機器をさらに含んでもよい。例えば、医療材は、（外科用）ドレッシング材、（外科用）スワブ、（外科用）タブ、絆創膏、パッチ、清浄剤、消毒剤、殺菌剤等を含み得る。
【００２０】
概して、少なくとも１つの第１のマーカは、使用されるべき物品に取り付けられ得る、且つ／又は、それぞれの容器又は物品を収容する包装に取り付けられ得る。少なくとも１つの第１のマーカは、物品のタイプを記述した情報を含み得る。さらに、少なくとも１つの第１のマーカは、特定の物品のシリアルナンバー、製造ロット、製造期日等を示す情報を含み得る。物品は、少なくとも１つのマーカを用いてラベル付けされ得る。少なくとも１つのマーカは、物品又は物品の包装に取り付けられるタグ又はラベルとして構成され得る。
【００２１】
しかしながら、上記の態様は、在宅医療用途に限定されるものではない。例えば、救急治療において（例えば、心臓発作を起こした患者、路上事故をきっかけとする応急手当）、応急手当者は、負傷した意識不明の人の顔に衛生マスクを当て、除細動パッチを胸に貼り、その人の手を適切に配置させ、正確な一連のアクションを実行する必要があることがある。比較的熟練している教育を受けた医療専門家であっても、ＡＲに基づくユーザガイダンスシステムから恩恵を受け得るさらなる用途も想定され得る。
【００２２】
ＡＲデバイスは、例えば、ポータブルデバイス、ハンドヘルドデバイス、ヘッドマウントデバイス等といったウェアラブルコンピューティングデバイスとして構成され得る。概して、ＡＲデバイスは、実在表現に情報を重ねるよう構成されているディスプレイを有することができる。実在表現は、ユーザにとって直接的又は間接的に知覚可能であり得る。間接的に提示される実在画像が、キャプチャされ、（多少なりとも）瞬時にディスプレイにおいて表現され得る。好ましくは、それぞれのセンサ（撮像ユニットすなわちカメラ）及びディスプレイユニットは、ユーザがデバイスのディスプレイを見ているときに実在画像の表現が「実際の」実在環境に基本的に合致するように、（物理的又は仮想的に）整列される。あるいは、ユーザの目に直接的に知覚可能である実在環境が、補足情報により、拡充又は拡張され得る。これは、ディスプレイユニットにおいて提供される可能な表示要素が、基本的に透明又は半透明であることを伴い得る。このようなディスプレイユニットは、ユーザの視野内に画像データを投影する手段を含むいわゆるマイクロディスプレイとして構成され得る。上記で示されたように、ユーザは、患者自身であることもあるし、医療手順の過程において患者を助ける且つ／又は処置する別の人であることもある。したがって、いくつかの実施形態において、ＡＲデバイスは、患者により装着される。いくつかの実施形態において、ＡＲデバイスは、別の人により保持又は装着される。
【００２３】
本システムの例示的な実施形態において、医療手順の規定されたステップに割り当てられた位置に配置される少なくとも１つの第２のマーカが提供され、医療手順は、医療手順のステップを遂行するために、物品を、特に物品の少なくとも１つの第１のマーカを、第２のマーカの近くに配置することを必要とする少なくとも１つのステップを含む。
【００２４】
結果として、ＡＲデバイスは、第２のマーカに対する少なくとも１つの第１のマーカの位置をモニタリング及びトラッキングすることにより、医療手順の進捗を制御することができる。例えば、少なくとも１つの第２のマーカが配置されるボード又は同様の基部要素が、提供され得る。さらに、基部要素は、医療手順の必要とされるステップを視覚的に示すことができる。ＡＲデバイスは、次いで、現在使用されるべき第１のマーカ及び対応する第２のマーカを強調することができる。ＡＲデバイスは、第１のマーカが、第２のマーカの近くに、第２のマーカの上に、又は第２のマーカに配置されているかどうかを検出するよう構成され得る。これは、医療手順の（サブ）ステップが遂行されたというインジケーションとみなされ得る。ＡＲデバイスは、第１のマーカと対応する第２のマーカとの（局所的な）合致を検出するよう構成され得る。ＡＲデバイスは、第１のマーカが、対応する第２のマーカと適合する、同じ場所にある、且つ／又は整合するかどうかを検出するよう構成され得る。これは、第１のマーカが、例えば、間違った第２のマーカに誤って配置されたこと、及び／又は、第１のマーカと対応する第２のマーカとの間の距離が大きすぎること、をＡＲデバイスが検出したとき、誤りメッセージが生成されることを伴い得る。
【００２５】
本システムの別の例示的な実施形態において、少なくとも１つの第１のマーカは、カバーマーカとして構成され、少なくとも１つの第２のマーカは、基部マーカとして構成され、少なくとも１つの第１のマーカは、使い捨て物品又は消耗物品に、特に使い捨て物品又は消耗物品の包装又は開封防止要素（tamper-proof  element）に、取り付けられる。例えば、ユーザは、密封を解除する、蓋を開ける、且つ／又は包装を切り裂くように指示され得る。したがって、それぞれの第１のマーカは、物品の一部、又は、物品の包装を解く、物品を開ける、且つ／又は物品を作動させるときに除去される物品の包装に配置され得る。
【００２６】
すなわち、拡張現実マーカは、基本的に固定されている要素（フレーム、ボード、外装の一部等）及び動かせる別個の物理的物品の両方に配置され得る。ＡＲデバイスは、例えばカメラといったそれぞれのセンサユニットの視野内にある固定要素を含む物理的物品の（空間）２Ｄ又は３Ｄ座標をトラッキングすることができる。さらに、医療手順及び／又は医療プロトコルを記述したアルゴリズムは、ソフトウェアコードにより実装され、ＡＲデバイスにおいて提供され得る。結果として、ＡＲデバイスは、どの物品がどの時間にどこにあるべきかを「認識している」。それらのマーカのため、物品はトレース可能であるので、ＡＲデバイスは、ユーザが間違った物品を取り扱っているとき又はユーザが正しい物品を間違った場所に配置したときを、検出することができる。結果として、ユーザが、拡張現実技術を用いて（例えば、携帯電話機、タブレットコンピュータ、又はＡＲヘッドセットを通じて）物理的シーンを見ているとき、ＡＲデバイスは、取り扱われている物品を直接的に指し示し、これが間違った場所又は物品であることをユーザに示し且つ通知することができる。さらに、例えば、ユーザは別の物品を持ち上げる必要がある又はユーザは物品を別の位置に配置する必要があるといった、是正のためのアクションが、ユーザに提案され得る。
【００２７】
このコンテキストにおいて、多種多様なＡＲマーカと、該マーカを検出する対応する方法と、を開示している米国特許出願公開第２００７／００９８２３４号明細書が援用される。概して、ＡＲマーカは、紙ベース又はフィルムベースで構成され得、ここで、ＡＲマーカ上に印刷された２Ｄコードは比較的単純で、検出及び使用するのが容易である。概して、ＡＲマーカは、例えばカメラといったセンサにとって視覚的に知覚可能であり得る。ＡＲマーカは、コード化、例えばバーコード化され得る、又は、より一般的に、１Ｄ又は２Ｄの光学的なマシン読み取り可能な表現を含み得る。ＡＲマーカは、例えば、タグ、ラベルとして構成され得る。さらに、ＡＲマーカは、例えば、ＵＰＣ（universal  product  code）及び／又はＥＡＮ（international  article  number  code）といったマルチデジット情報を含み得る。少なくともいくつかの実施形態は、３Ｄ（３次元）マーカの検出を含み得る。さらに、いくつかの実施形態は、別個のタグ又はラベルを物品に取り付けることを明確に必要としない物品認識及びトラッキングを含み得る。結果として、物品自体が、マーカ（例えば、物品の外形、色、又は外側プリント）を形成し得る。
【００２８】
しかしながら、不可視のマーカコード化技術も想定され得る。例えば、ＡＲマーカは、無線周波数識別タグ（ＲＦＩＤタグ）を含み得る。例えば、ＡＲマーカは、トランスポンダとして構成され得る。ＡＲマーカのタイプ（例えば、パッシブ又はアクティブ）に応じて、それぞれのセンサ（リーダ）が使用され得る。さらに、異なるタイプのＡＲマーカが、それぞれのＡＲにより支援／サポートされる環境において実装及び使用され得る。
【００２９】
本システムの別の例示的な実施形態において、少なくとも１つの第１のマーカは、医療手順の過程において動かされる物品に取り付けられる非固定マーカであり、少なくとも１つの第２のマーカは、医療手順の対象である医療機器における特定の位置を示す固定マーカであり、本システムは、少なくとも１つの非固定マーカが、医療手順のステップを完了するために、それぞれの固定マーカに接近している状態を検出することができる。固定マーカは、医療手順の過程において接近される必要がある特定の位置を示す。
【００３０】
概して、拡張現実アプリケーションは、ユーザが、物理的物品の表現の上の重なりとして仮想コンテンツを知覚することを可能にする。仮想コンテンツは、センサ（例えばカメラ）がそれぞれのマーカを検出したときに、自動的に表示され得る。概して、拡張現実マーカは、情報キューとして適用され、したがって、位置センサとしてはそれほど頻繁には使用されない。それに対し、本開示は、いくつかのタイプのマーカを規定することにより、且つ、医療手順をモニタリングし医療手順のための強化されたユーザガイダンスを提供する比較的単純であるが強力な手段として使用され得る異なるタイプのマーカのペアの間の相対位置を検出するためにマーカの位置をトラッキングすることにより、拡張現実マーカの用途及び能力を強化することを提案する。
【００３１】
好ましくは、本システムは、さらに、特に、それぞれの固定マーカに接近する過程において少なくとも１つの動かせるマーカをトラッキングすることにより、ナビゲーション支援をユーザに提供するよう構成されている。すなわち、ＡＲデバイスは、現在使用されている物品及び／又はそのそれぞれのマーカのための正しい目標位置（固定マーカ）を示す情報及び暗示（例えば光ビーム又は誘導ビーム）を表示することができる。
【００３２】
例えば、医療手順のステップを、視覚的に知覚可能に、すなわち、ユーザの目に直接的に可視であるように、示す基部ボードが提供され得る。このために、例えば、それぞれのフローチャートが提供され得る。したがって、現実世界環境において、ユーザは、対応するカバーマーカを、該カバーマーカの指定された対応部分の近くに又は指定された対応部分に配置するように（視覚的に）促され得る。しかしながら、現実世界のフローチャートは、医療手順のステップ又はゲートを示すそれぞれの基部マーカを提供することにより、強化され得る。したがって、合成された拡張現実環境において、ユーザは、はるかに明確に促されガイドされ得る。さらに、拡張現実環境は、（サブ）ステップが成功裡に遂行されたかどうか又は誤りが発生したかどうかを示すために、視覚的フィードバック、オーディオフィードバック等をユーザに提供することができる。誤りの場合、ＡＲデバイスは、瞬時又はほぼ瞬時に、是正のためのアクションを提案することができる。これは、頻繁に医療手順を成功裡に遂行できる、すなわち、誤りの場合、手順全体を繰り返すことが必ずしも必要とされるわけではない、という利点を有することができる。
【００３３】
本システムのさらに別の例示的な実施形態において、拡張現実デバイスは、後続のステップに関連付けられている少なくとも１つのマーカを仮想的に強調することにより、後続のステップを示すよう構成されている。さらに、ＡＲデバイスは、基部マーカとカバーマーカとが接近する過程において方向情報を提供することにより、ユーザをナビゲートするよう構成され得る。
【００３４】
本システムのさらに別の例示的な実施形態において、本システムは、さらに、医療手順をモニタリングし、ユーザアクションが、時間制約、継続時間制約、順序制約、シーケンス制約、方向制約、位置制約、目標制約、及びこれらの組合せからなる群から選択される少なくとも１つの特性に関して誤っているかどうかを検出するよう構成されている。特にタイムクリティカルな（time-critical）プロトコルにおいて、ユーザが、躊躇しているとき、又は、意図されるよりも多くの時間をアクションに費やさせる誤りをしたとき、ＡＲデバイスは、プロトコル全体を時間通りに完了するのは難しい可能性があることをユーザに警告することができる。したがって、ＡＲデバイスは、医療手順を実行しようとする実際の試みを中断し、もう一度医療手順全体を最初からやり直すように提案することができる。
【００３５】
以下の表は、それぞれの医療手順の例を表している。
【００３６】
【表１】
2018503416.tif 000003
【００３７】
ＡＲデバイスは、医療手順の間にユーザをガイドするために、それぞれのソフトウェアコード／アルゴリズムを処理することができる。ＡＲデバイスは、それに応じてユーザに指示することができる。さらに、ＡＲデバイスは、医療手順の（サブ）ステップの実行をモニタリングして制御するよう構成されている。
【００３８】
本システムのさらに別の実施形態において、拡張現実デバイスは、外来患者処置のために適合されており、医療手順は、非熟練ユーザ又は患者自身が実行できる医療プロトコルを含む。ユーザは、医療手順を実行するときに本システムにある程度依拠し得るので、外来患者処置に関するそれぞれの予約をさらに低減することができる。本システムは、肯定的フィードバック（ステップが成功裡に遂行されたこと）及び否定的／是正のためのフィードバック（誤ったアクションのためステップが再実行される必要があること）の両方を提供することができる。さらに、本システムは、誤りが発生したことを示すだけでなく、実際にどのようなことが生じたか（例えば、タイムリミットから外れたこと、間違った物品が使用されたこと、ステップの規定された順序から逸脱したこと）を説明することもできる。ＡＲデバイスは、ユーザによりなされた誤り、すなわち、「基部マーカ」が間違った「カバーマーカ」により隠されたというイベント、を検出することができる。その応答として、ＡＲデバイスは、誤りについて直ちに患者に通知し、患者が誤りを是正するのをガイドする、ＡＲに基づくライブフィードバックを、「カバーマーカ」の上に提供することができる。さらに、ＡＲデバイスは、シーンの完了、すなわち、「基部マーカ」が正しい「カバーマーカ」により隠されたというイベント、を検証することができる。この場合、医療手順の実行における次の状態／ステップがトリガされ得る。
【００３９】
本システムのさらに別の例示的な実施形態において、医療手順は、医療プロトコルを含み、医療プロトコルは、一連のステップを含み、一連のステップの各ステップは、規定されたアクション、規定された物品、規定された目標、規定された継続時間、規定された許容可能総時間、及びこれらの組合せからなる群から選択される少なくとも１つの特性を含む。例えば、適用分野は、化学療法患者のための血液分析を含み得る。適用分野は、糖尿病患者のための血糖値測定をさらに含み得る。両方の手順は、消毒、プローブ挿入、サンプル採取、サンプル処理、プローブ挿入スポットの処置、プローブを分析手段に入れること等を伴い得る複数のステップの実行を必要とする。
【００４０】
さらに別の例示的な実施形態において、本システムは、拡張現実デバイスが検出できる少なくとも１つの基準マーカを有し、少なくとも１つの基準マーカは、実行されるべき医療手順を示す。好ましくは、少なくとも１つの基準マーカはまた、少なくとも１つの基部マーカの規定された位置を示すことができ、より好ましくは、少なくとも１つのカバーマーカの規定された開始位置を示すことができる。
【００４１】
例えば、それぞれの基準マーカは、医療手順において使用される医療セットの外装に取り付けられ得る、又は、そのような外装に配置され得る。基準マーカ及び基部マーカは、同じボード又は基部要素に配置され得る。基準マーカは、異なる目的を果たすことができる。第１に、基準マーカは、基部マーカの検出及びモニタリングを容易にすることができる基準位置情報を提供することができる。すなわち、基準マーカは、基部マーカがどこに位置すべきであるかをＡＲデバイスに「示す」ことができる。基準マーカは、基部マーカを含む基部要素のパッドの配向全体を規定することができる。第２に、基準マーカは、適用されるべき医療ルーチン又は医療手順を識別することができる。これは、ＡＲデバイスが、基本的に、異なる医療手順の間にユーザをガイドできるので、有益であり得る。したがって、現在適用されるべき手順の事前選択が有益であり得る。結果として、ＡＲデバイスは、複数目的医療手順ユーザガイダンスＡＲデバイスと呼ばれ得る。
【００４２】
本システムが、基部マーカ、カバーマーカ、及び基準マーカを実装できることを所与として、３つの異なるタイプのマーカが使用され得る。本システムは、ユーザが物理的物品を特定のスポットに配置したことを検証することができる。この機構は、物理的物品の位置を確認するための物理的又はグラフィックユーザインタフェースボタンがないユーザインタフェースを可能にし得る。そうではなく、（サブ）ステップの成功の確認及び／又は誤った（サブ）ステップのインジケーションが、ＡＲ領域において提供され得る。是正のためのアクションも、ＡＲ領域において提案され得る。基準マーカが、医療手順のタイプを示すよう構成されている場合、ユーザ入力は要求されない、あるいは、わずかな（触覚）ユーザ入力しか要求されない。これは、多くのユーザにとって、特に高齢者又は病人にとって、多大な利点である。
【００４３】
上記の実施形態に従うと、ＡＲデバイスは、医療手順の初期化及び実行のための前提条件であり得る基準マーカを検出するよう構成され得る。基準マーカは、カバーマーカとそれぞれの基部マーカとの可能な合致（例えば、一方を他方の上に配置すること）が検知及び検出されたときに、センサユニットにとって常に又は少なくとも一時的に「可視」であることが、さらに必要とされ得る。このように、安全レベルをさらに高めることができる。誤操作、誤使用等のリスクを、より一層低減することができる。好ましくは、基準マーカ及び基部マーカは、例えば、同じボード又は基部要素上に配置される等、物理的に（例えば機械的に）相互接続される。
【００４４】
少なくともいくつかの実施形態に従うと、ＡＲデバイスは、３つ以上のＡＲマーカを同時に検出してモニタリングすることができる。したがって、複数の要素を取り扱うことを必要とする比較的複雑な操作を実行することができる。概して、ＡＲデバイスは、基本的に、大局的基準として機能する基準マーカが視野内にあるかどうかを、絶えず又は断続的に検証することができる。好ましくは、ＡＲデバイスは、さらに多くの数のマーカを同時に検出することができる。このように、本システムは、可能性のある操作誤りを早期の段階で検出し、早期フィードバックを、好ましくは、例えば、医療手順をさらに進めることができるように交換される又は別々に取り扱われる必要がある物品を「消費する」、元の状態に戻せない誤りが発生する前に提供するのに十分にフレキシブルである。
【００４５】
さらに別の例示的な実施形態において、本システムは、さらに、医療手順の過程におけるプロトコル内是正を伴う、是正のためのユーザフィードバックをユーザに提供するよう構成されている。プロトコル内是正は、ステップを中断して再実行することと、ステップを完了して再実行することと、一連のステップを戻って再実行し、複数のステップを完了することと、誤りの場合、医療手順を遂行することなく開始ポイントに戻って、複数のステップを再実行することと、これらの組合せと、からなる群から選択されるアクションを特に含み得る。
【００４６】
結果として、医療手順は、頻繁に、前の試みを完全に中断する必要なく、遂行され得る。むしろ、プロセス内又はプロトコル内の是正のためのアクションは、現在の医療手順内に留まることを可能にする。これは、物品（使い捨て物品及び／又は消耗物品）及び時間の過度の浪費を回避できるという利点を有することができる。誤りのために、医療手順全体が再実行される必要がある場合、通常は、新たな（医療）物品が、使用及び消費されるべきである。
【００４７】
概して、本システム、詳細にはＡＲデバイスは、物品が誤配置されたときに、是正のためのフィードバックを提供することができる。これは、物品が誤配置された場合に物品を配置すべき目標を示す方向及び／又は位置のインジケーションを伴い得る。好ましくは、検出された間違った位置に対する是正のためのフィードバックが提供され得る。結果として、ＡＲデバイスは、実際の状況に応答し、状況固有の（コンテキストに応じた）是正のためのアクションを提供することができる。ＡＲデバイスがマーカを（瞬時に）モニタリングできるので、これを達成することができる。したがって、是正のためのアクションは、頻繁に、スマート且つ管理可能であり得る。なぜならば、ユーザが現在の（取り扱いの）誤りを完全には認識していないときに問題となる可能性がある固定の予め規定された是正のためのアクション（例えば、「直前のステップに戻ること」）を実行することは必ずしも必要でないからである。
【００４８】
さらに、ＡＲデバイスは、医療手順の（サブ）ステップの処理が遅すぎるとき、例えば、予め規定されたタイムリミットが経過した後になってカバーマーカがその対応する基部マーカに配置されたとき、是正のためのフィードバックを提供することができる。したがって、本システムは、時間モニタリングを提供するよう動作可能であり得る。しかしながら、ＡＲデバイスは、さらに、実際のタイムリミットを超える前に、時間に関連する又は継続時間に関連する誤りが、予定の時間内に発生する可能性があることを示すよう構成され得る。結果として、ユーザは、医療手順及び／又はそれぞれの（サブ）ステップの実行をスピードアップするように促され得る。医療手順についての総タイムリミットを超えた場合、ＡＲデバイスは、さらに、どの（サブ）ステップが誤った試みにおけるものよりも速く実行されるべきであるかを示すことができる。
【００４９】
すなわち、本明細書で開示される少なくともいくつかの実施形態に従ったガイダンスシステムは、誤ったアクションに関する、コンテキストに応じたフィードバックを提供することができ、対応する、コンテキストに応じたガイダンスを提供することができる。好ましくは、本ガイダンスシステムは、（ＡＲデバイスのレベルでの）明示的なユーザ入力の必要なく（又はわずかなユーザ入力しか必要とせず）、ユーザガイダンスを提供するよう構成されている。すなわち、ユーザ「入力」は、好ましくは、医療手順を実行しているときのユーザの実際のアクションから導出される。したがって、チェックリスト内の項目に手で印をつける明確な必要がない。なぜならば、本ガイダンスシステムは、ステップの完了を自動的にモニタリングしチェックするからである。これは、医療分野において特に有益である。なぜならば、ユーザは、基本的に、タッチユーザ入力の必要なく、手を使わずに、医療手順の過程においてＡＲデバイスを操作することができるからである。これは、衛星目的にかない、ＡＲデバイス、患者自身、及び／又は、医療手順において使用される物品の相互のコンタミネーションを防止する。
【００５０】
このために、ＡＲデバイスは、特定の「基部マーカ」が別の特定の「カバーマーカ」により隠された（又は覆われた）ときに、物理的物品の正確な位置を検出する。すなわち、本開示の一態様に従うと、現実世界物品の正確な位置を確認するための且つ／又は医療手順の次のステップに進むようにアプリケーションをトリガするための物理的又はグラフィックユーザインタフェースボタンが基本的にないユーザインタフェースが提案される。
【００５１】
ハンドヘルド型のＡＲアプリケーションにおいて、これは、基本的に、手を使わないインタラクションを可能にし、したがって、タッチスクリーンとインタラクトする衛生問題も解決する。頭部装着型のＡＲアプリケーションにおいて、医療手順の次のステップに進む準備ができていることをトリガ／確認するための追加のジェスチャインタラクション又は音声インタラクションの必要性が解消され得る。
【００５２】
本開示の別の態様において、医療手順におけるユーザガイダンスのためのシステムにおける拡張現実デバイスの使用であって、拡張現実デバイスは、
オリジナルシーンに重ねることができる人工情報を提示するよう構成されているディスプレイユニットと、
センサユニットと、
処理ユニットと、
を有し、
システムは、
拡張現実デバイスが検出できる少なくとも１つの第１のマーカであって、少なくとも１つの第１のマーカは、医療手順の規定されたステップにおいて使用される物品に関連付けられ、医療手順は、ユーザアクション、特に物品を手で取り扱うことを伴うこと、を必要とする少なくとも１つのステップを含む、少なくとも１つの第１のマーカ
をさらに有し、
拡張現実デバイスは、
シーンをモニタリングし、少なくとも１つの第１のマーカを検出してトラッキングし、
医療手順を実行するためのユーザガイダンスを提供し、
少なくとも１つの第１のマーカの検出された状態に基づいて、ユーザアクションが医療手順に従っているかどうかを検出し、
拡張現実デバイスが、誤ったユーザアクションを検出したとき、是正のためのユーザフィードバックをユーザに提供する
よう動作可能である、使用、が提供される。
【００５３】
本使用の態様の別の例示的な実施形態において、本使用は、在宅医療環境における拡張現実デバイスの使用を含んでもよく、在宅医療環境は、好ましくは、在宅化学療法、在宅血液分析、在宅血液採取、在宅サンプル採取、在宅インスリン療法、在宅予防接種、及びこれらの組合せからなる群から選択される少なくとも１つの特定の使用を含む。在宅医療は、通常は限られた期間の間、病院内での患者の緊急のケアを必要とするであろう状態の患者の自宅において、医療専門家による積極的処置を提供するサービスとみなされ得る。
【００５４】
本使用の態様のさらに別の例示的な実施形態において、本使用は、救急治療環境におけるユーザガイダンス、特に自動体外式除細動器（ＡＥＤ）構成、のためのシステムにおける拡張現実デバイスの使用を含んでもよい。自動又は半自動ＡＥＤデバイスが一般に知られていることが認識されているが、このようなデバイスの正しい使用は、依然として、多くの人にとって難しいと考えられており、これは、ＡＥＤのさらなる配給、より詳細にはＡＥＤの適用を制限してしまうおそれがある。緊急の場合、多くの人は、ＡＥＤを使用することを依然としてためらってしまう。本開示の少なくともいくつかの態様に従ったシステムは、緊急の場合にＡＥＤを使用することに対する抑止レベル又はさらには反感をさらに低減することができる。なぜならば、本システムは、応急手当者をガイドすることができ、支援者をサポート及び支援することができるからである。本システムは、ユーザが、例えば必要とされる時間制約を保ちながら、正しい物品を正しいやり方及び正しい順序で使用することを確実にすることができる。
【００５５】
本システムのさらなる有益な使用は、医療スタッフ及び／又は非専門家をトレーニング又は教育する分野において見出すことができる。このために、本システムは、ユーザが、緊急の実際の場合に備えられるべき救急事例を練習するのを支援するよう構成され得る。したがって、本システムは、潜在患者に害を及ぼすリスクに直面することなく、ＡＥＤ及び同様の複雑な医療デバイス等の医療機器に精通するように、トレーニング状況を通じてユーザがガイドされるトレーニングモードを有することができる。上記で示された在宅医療環境においても、テスト動作を含むトレーニングセッションは、ユーザの能力をさらに高めることができる。
【００５６】
本開示のさらに別の態様において、マルチステップ医療手順のための、拡張現実に基づくユーザガイダンスを提供する方法であって、
オリジナルシーンに重ねることができる人工情報を提示するよう構成されているディスプレイユニットと、センサユニットと、処理ユニットと、を有する拡張現実デバイスを提供するステップと、
拡張現実デバイスが検出できる少なくとも１つの第１のマーカを提供するステップであって、少なくとも１つの第１のマーカは、医療手順の規定されたステップにおいて使用される物品に関連付けられ、医療手順は、ユーザアクション、特に物品を手で取り扱うことを伴うこと、を必要とする少なくとも１つのステップを含む、ステップと、
シーンをモニタリングし、少なくとも１つの第１のマーカを検出してトラッキングするステップと、
医療手順を実行するためのユーザガイダンスを提供するステップと、
少なくとも１つの第１のマーカの検出された状態に基づいて、ユーザアクションが医療手順に従っているかどうかを検出するステップと、
拡張現実デバイスが、誤ったユーザアクションを検出したとき、是正のためのユーザフィードバックをユーザに提供するステップと、
を含む方法が提供される。
【００５７】
本発明のさらに別の態様において、コンピュータプログラムであって、コンピュータプログラムがコンピュータ上で実行されたときに、コンピュータに上記の方法のステップを実行させるプログラムコード手段を含むコンピュータプログラムが提供される。
【００５８】
本明細書で使用される場合、「コンピュータ」という用語は、多様なデータ処理デバイスを表す。すなわち、少なからぬコンピューティング能力を有する医療デバイス及び／又はモバイルデバイスも、それらが標準的なデスクトップコンピュータよりも少ない処理能力リソースしか提供しないとしても、コンピュータと呼ばれ得る。さらに、「コンピュータ」という用語は、クラウド環境において提供されるコンピューティング能力を伴い得る又は利用し得る分散型コンピュータを指してよい。好ましくは、コンピュータは、ＡＲデバイスにおいて実装される又はＡＲデバイスに接続される。
【００５９】
本発明の好ましい実施形態が、従属請求項において定められる。特許請求される使用、方法、及びコンピュータプログラムは、システムの従属請求項において定められるような、特許請求されるシステムと同様の好ましい実施形態を有することができることを理解されたい。
【図面の簡単な説明】
【００６０】
本発明のこれらの態様及び他の態様が、以下で説明される実施形態から明らかであり、以下で説明される実施形態を参照すると明瞭になるであろう。
【図１】本開示のいくつかの実施形態においてＡＲデバイスとして使用され得るポータブルハンドヘルドデバイスの正面図。
【図２】本開示のいくつかの実施形態においてＡＲデバイスとして使用され得るポータブルヘッドウェアラブルデバイスの斜視図。
【図３】本開示のいくつかの実施形態に従ったＡＲデバイスの一般的構成の概略図。
【図４】本開示のいくつかの実施形態に従った、ＡＲにより支援される医療手順において使用され得る例示的な医療キットの斜視図。
【図５】本開示のいくつかの実施形態に従った、ＡＲデバイスを実装している例示的なユーザガイダンスシステムの概略図。
【図６】図５に示されるユーザガイダンスシステムのさらなる状態を示す図。
【図７】図５に示されるユーザガイダンスシステムのさらなる状態を示す図。
【図８】医療手順において使用される例示的な物品を示す図。
【図９】医療手順において使用される別の例示的な物品を示す図。
【図１０】医療手順において使用されるさらに別の例示的な物品を示す図。
【図１１】医療手順において使用される物品を含む医療機器の構成を示す図。
【図１２】ＡＲにより支援されるユーザガイダンスシステムにより促され得る例示的な医療手順を示す概略図。
【図１３】ＡＲにより支援される環境において使用され得る医療キットの構成に関連する手順のいくつかのステップを示す概略ブロック図。
【図１４】本開示に従った例示的なユーザガイダンス方法のいくつかのステップを示す概略ブロック図。
【図１５】本開示に従った、ＡＲにより支援されるモニタリング及びユーザガイダンス方法のいくつかの例示的なステップを表す例示的なブロック図。
【発明を実施するための形態】
【００６１】
近年、拡張現実（ＡＲ）が、相当進化しており、いくつかの適用分野にかなっている。例えば、ＡＲ技術は、歩行者のための、道路上でのナビゲーションに用途を見出している。ユーザは、ＡＲデバイスのディスプレイを見て、現実世界環境のライブの提示に対して拡張される付加情報により強化される、現実世界環境のライブの提示を知覚することができる。
【００６２】
図１及び図２に示されるように、異なるタイプのＡＲデバイスが、想定され得る。図１は、モバイルデバイス、特に携帯電話機、タブレットコンピュータ、スマートフォン等として構成され得るハンドヘルドポータブルデバイス１０を示している。図２は、ヘッドマウントデバイス３０、すなわち、頭部に装着可能なデバイス３０を示している。これら両方のタイプのハンドヘルドデバイス１０及びヘッドマウントデバイス３０は、医療分野において使用され得る、特に、医療手順の過程においてユーザをガイドするために使用され得る、ＡＲに基づくアプリケーションを可能にし得る。
【００６３】
ハンドヘルドタイプデバイス１０及びヘッドマウントタイプデバイス３０は、少なくともある程度、同様に構成される。図１において確認できるように、ＡＲデバイス１０は、ディスプレイユニット１４、オーディオ出力ユニット１６、（ＡＲ環境においてディスプレイユニットの反対サイドに通常は配置される）センサユニット１８、入力ユニット２０、及び処理ユニット２２（図１には明示的に示されていない）を収容するハウジング１２を有することができる。
【００６４】
同様に、図２に示されるヘッドマウントＡＲデバイス３０は、ディスプレイユニット３４、オーディオ出力ユニット３６、センサユニット３８、入力ユニット４０、及び処理ユニット４２（図２には明示的に示されていない）を支持するフレーム又は支持部３２を有する。さらに、眼鏡又はバイザ４４が設けられ得る。
【００６５】
センサユニット１８、３８は、少なくとも１つの画像センサ、特に、カメラセンサを含み得る。少なくともいくつかの実施形態において、センサユニット１８、３８は、近距離無線通信（ＮＦＣ）センサ等の無線通信センサ、無線周波数識別（ＲＦＩＤ）センサ等の電磁センサ等を含み得る。それぞれのセンサタイプの組合せも想定され得る。オーディオ出力ユニット１６、３６は、少なくとも１つのオーディオスピーカを含み得る。入力ユニット２０、４０は、タッチ検知センサパッド若しくは近接検知センサパッド、又は、タッチ検知センサ表面若しくは近接検知センサ表面を含み得る。結果として、ＡＲデバイス１０の入力ユニット２０は、ＡＲデバイス１０のディスプレイユニット１４において実装され得る。ＡＲデバイス１０は、タッチ検知ディスプレイ１４を有することができる。図２において確認できるように、入力ユニット４０は、ディスプレイユニット３４とは別個に構成され得る。したがって、入力ユニット４０は、異なるタッチ検知パッド又はタッチ検知表面を含み得る。入力ユニット２０、４０は、ボタン、キー等の別個の入力要素をさらに含み得る。さらなる入力要素は、ジェスチャ検出、音声認識等に対応することができる。
【００６６】
図１のデバイス１０は、センサユニット１８、特にそのカメラによりキャプチャされた現実世界シーンのビューを表現するよう構成されている。結果として、デバイス１０は、センサユニット１８により検知された現実世界環境の「コピー」をディスプレイユニット１４に表示するよう構成され得る。この表現は、医療手順を実行しているときにディスプレイユニット１４を見ているユーザをガイド／ナビゲートするための人工（「拡張」）情報により重ねられ得る。
【００６７】
一方、図２のデバイス４０は、現実世界シーンの多少なりとも「直接的な」ビューを可能にするよう構成され得る。したがって、ディスプレイユニット３４が、現実世界シーンの「コピー」を表示することは、必ずしも必要とされるわけではない。むしろ、ディスプレイユニット３４は、医療手順の間にユーザをガイド／ナビゲートするために現実世界シーンに仮想的に重ねられる付加情報を表示するために主に使用され得る。
【００６８】
図３は、本開示の少なくともいくつかの実施形態に従ったＡＲデバイス１０、３０として構成され得るハンドヘルド機器の例示的な構成を概略的に示している。概して、図３は、例示的な電子デバイス、特に、例えば、図１及び図２に示されるポータブル電子デバイス１０、ウェアラブル電子デバイス３０のブロック図を示している。以下のセクションは、例示の目的で主に提供されており、したがって、限定的に理解されるべきではない。したがって、本開示の範囲内にある多くの実施形態において、図３に示されるありとあらゆる要素又はモジュールが必ずしも実装されなければならないわけではないことを理解されたい。
【００６９】
図３に示されるように、デバイス１０、３０は、電子デバイス３０２の動作を制御する少なくとも１つのマイクロプロセッサ５４を含むプロセッサユニット２２、４２を有することができる。さらに、無線ネットワーク５２との間の通信の送受信を実行することができる通信サブシステム５０が設けられ得る。
【００７０】
通信サブシステム５０は、受信機５８及び送信機６０を含み得る。受信機５８は、受信アンテナ６２に接続され得る。送信機６０は、送信アンテナ６４に接続され得る。さらに、通信サブシステム５０用の処理モジュールとして動作するデジタル信号プロセッサ６６が設けられ得る。
【００７１】
プロセッサユニット２２、４２は、さらに、例えば、入力／出力（Ｉ／Ｏ）サブシステム５６等の、ＡＲデバイス１０、３０の複数のコンポーネントに通信可能に接続され得る。入力／出力（Ｉ／Ｏ）サブシステム５６は、カメラセンサ６８、ディスプレイ７０、加速度計センサ等のさらなるセンサ７２、ランダムアクセスメモリ等の内部システムメモリ７４、ユニバーサルバスポート（ＵＳＢポート）等の標準通信ポート７６、専用ポート等の非標準通信ポート７８、キーボード、（物理的及び仮想的な）ボタン及び／又はタッチ検知要素等の入力要素７８、スピーカ８２、マイクロフォン８４等を含み得る、あるいは、これらに接続され得る。
【００７２】
これとは別に、さらなる通信サブシステム８６、さらなるデバイスサブシステム８８等といったさらなるサブシステムが存在し得る。通信サブシステム８６の例は、短距離無線通信システム、並びに関連する回路及びコンポーネントである。他のデバイスサブシステム８８の例は、本開示のさらなる態様を実装するために使用され得る追加のセンサを含み得る。
【００７３】
概して、プロセッサ５４は、オペレーティングシステム機能を実行することができ、電子デバイス１０、３０上でのプログラムの実行を可能にする。いくつかの実装において、上記のコンポーネントの全てが、電子デバイス１０、３０に含められるわけではない。
【００７４】
プロセッサユニット２２、４２は、さらに、フラッシュメモリ等の不揮発性コンピュータ記憶媒体９０に接続され、デバイス１０、３０がモバイルネットワーク又は電話サービス用に構成される場合、加入者識別モジュール（ＳＩＭ）インタフェース９２に接続され得る。
【００７５】
記憶媒体９０は、オペレーティングシステム９４、データ及びプログラム管理アプリケーション９６、デバイス状態に関する情報９８、サービス状態に関する情報１００、ユーザ連絡帳（アドレス帳）１０２、さらなる情報１０４、及び、本明細書で開示される少なくともいくつかの実施形態のコンテキスト内のユーザガイダンスプログラム／アプリケーション１０４等の、永続的又は一時的に記憶されるデータ及びアプリケーションを含み得る。
【００７６】
加入者識別モジュール（ＳＩＭ）インタフェース９２は、識別及び加入者関連情報１０８、及びさらなる一般（ネットワーク）構成データ１１０を含み得るそれぞれのＳＩＭカードに接続され得る。
【００７７】
さらに図４〜図７を参照して、本開示の一般コンセプト内のユーザガイダンスシステム１２０が、例示され、さらに説明される。図４は、医療手順において使用され得る（且ついくつかの場合において少なくとも部分的に消費され得る）例示的な医療キット１２２を示している。医療手順は、一般に、予め規定された順序の１つ以上の規定されたユーザアクションを必要とする一連のステップを含む。ＡＲデバイス１０、３０に関連して、医療キット１２２は、図５〜図７に示されるように、ユーザガイダンスシステム１２０を規定することができる。
【００７８】
図４は、医療キット１２２の現実世界ビューを示している。図５〜図７は、医療キット１２２の拡張ビューを示している。すなわち、図４において、ユーザは、医療キット１２２を直接見ることができる。図５〜図７において、ガイダンス情報により重ねられる医療キットの間接的なビューが、デバイス１０、３０のユーザに提示され得る。この点について、特に図２のヘッドマウントＡＲデバイス３０は、現実世界シーンの直接的なライブのビューを可能にするよう構成されることを思い出してほしい。すなわち、いくつかの実施形態において、付加拡張情報の表現のみが、ＡＲデバイス３０により生成され、「実際の」現実世界シーンに重ねられる。
【００７９】
例えば、医療キット１２２は、例えば化学療法患者のための血液採取キットとして構成され得る。さらに、医療キット１２２は、糖尿病患者のための血糖値測定キットとして構成され得る。概して、医療キット１２２は、異なる用途に適合される異なる形態及び構成をとることができる。さらなる例として、医療キット１２２は、妊娠検査キットとして構成され得る。
【００８０】
医療キット１２２は、基部、パッド、又はボード１２４を有することができる。さらに、医療キット１２２は、基部１２４に結合又は配置され得る医療機器１２６を有することができる。例えば、医療機器１２６は、血液分析器、血糖値計等を含み得る。結果として、医療キット１２６は、内科領域、特に外来患者環境、例えば在宅医療環境において、比較的複雑な操作を可能にし得る。もちろん、内部分析／測定装置を必要としない医療キット１２２のさらなる実施形態も存在し得る。例えば、医療機器１２６は、外部サンプル分析サービスに送られ得るサンプル（例えば血液サンプル）の準備のためのサンプル準備ユニットを含み得る。
【００８１】
医療キット１２２は、医療機器１２６を収容するよう構成され得るハウジング又は容器１２８を有することができる。結果として、医療キット１２２は、医療手順を完了するのに必要とされる物品の全て又はほとんどを含む統合キットとして構成され得る。医療キット１２２は、消耗材を用いて再充填又は補充され得る。上記で示されたように、医療キット１２２は、通常、図５〜図７においてそれぞれのブロックにより表される複数の物品１３２、１３４、１３６、１３８を有する。物品１３２、１３４、１３６、１３８は、消耗物品、使い捨て物品、及び／又は再使用可能な物品を含み得る。物品１３２、１３４、１３６、１３８のうちの少なくとも一部には、いわゆるカバーマーカ１４２、１４４、１４６、１４８が取り付けられる。物品１３２、１３４、１３６、１３８の例が、図８〜図１１においてさらに以下で示される。
【００８２】
医療キット１２２の規定された位置において、ＡＲデバイス１０、３０により認識可能である基準マーカ１３０が設けられ得る。さらに、医療キット１２２、詳細には医療キット１２２の基部１２４には、基部１２４に取り付けられ得る複数のいわゆる基部マーカ１５２、１５４、１５６、１５８が設けられ得る。
【００８３】
マーカ１３０、１４２〜１４８、１５２〜１５８は、総称的に、ＡＲマーカ又はＡＲタグと呼ばれることがある。マーカ１３０、１４２〜１４８、１５２〜１５８は、コード化データ、例えば、１次元又は２次元の光学的なマシン読み取り可能なパターンを含み得る。さらに、マーカ１３０、１４２〜１４８、１５２〜１５８は、センサユニット１８、３８により検知され得る、例えば、ＲＦＩＤデータ、ＮＦＣデータ等といったデジタル形式で記憶されるデータを含み得る。
【００８４】
基準マーカ１３０は、基準位置／向きに関する決定を可能にし得る。さらに、基準マーカ１３０は、医療手順のタイプを示すことができる。このように、基準マーカ１３０は、ＡＲデバイス１０、３０における正しいアプリケーション及びプロトコルをトリガすることができる。より詳細には、ＡＲデバイス１０、３０は、基準マーカの検出に基づいて、基部マーカ１５２、１５４、１５６、１５８の規定された位置（又は設定された位置）を導出することができる。これは、基部マーカ１５２、１５４、１５６、１５８の検出を容易にし、これらの基部マーカの検出の正確さを向上させることができる。基準マーカ１３０による医療手順のタイプのインジケーションは、ＡＲデバイス１０、３０を異なる医療手順のために使用できるというさらなる利点を有することができる。
【００８５】
物品１３２、１３４、１３６、１３８は、それぞれの物品マーカ又はカバーマーカ１４２、１４４、１４６、１４８を用いてタグ付け又はラベル付けされ得る。これは、カバーマーカ１４２、１４４、１４６、１４８が物品の包装に配置されることを伴い得る。結果として、医療手順又は医療プロトコルの実行の過程において、各物品１３２、１３４、１３６、１３８は、そのカバーマーカ１４２、１４４、１４６、１４８の検出を通じて、デバイス１０、３０により識別され得る。本開示の主態様は、基部マーカ１５２、１５４、１５６、１５８とカバーマーカ１４２、１４４、１４６、１４８との間の合致の検出である。この目的のため、マルチステップ手順のステップを遂行するために、ユーザは、カバーマーカ１４２、１４４、１４６、１４８を、これらの対応する基部マーカ１５２、１５４、１５６、１５８の上に配置するように指示される。これは、基本的に特定の順序で実行される必要がある。これは、物品１３２、１３４、１３６、１３８が消費されるときに、物品１３２、１３４、１３６、１３８からカバーマーカ１４２、１４４、１４６、１４８を除去することを伴い得る。あるいは、これは、物品１３２、１３４、１３６、１３８を、基部マーカ１５２、１５４、１５６、１５８の上に配置することを伴い得るのに対し、カバーマーカ１４２、１４４、１４６、１４８は、例えば、医療器具用の物品１３２、１３４、１３６、１３８に依然として取り付けられている。
【００８６】
基部マーカ１５２、１５４、１５６、１５８は、現実世界環境において可視であり得る視覚的ガイド１６２により示される特定の順序又はパターンで基部１２４に配置され得る。すなわち、基部１２４は、現実世界の視覚的ガイダンスを提供する「遊戯盤（play  board）」にいくらか類似するように構成され得る。視覚的ガイド１６２は、それぞれのガイド矢印を含み得る。
【００８７】
本明細書で説明される少なくともいくつかの実施形態に従うと、視覚的ガイド１６２は、ユーザがディスプレイユニット１４、３４上のシーンを見ながら医療手順を実行するときにユーザに可視である人工ガイダンス情報により補足される。図４に示される医療キット１２２の間接的なビューを含む図５〜図７において、それぞれの仮想的に強化されたシーンが示されている。
【００８８】
ユーザガイダンスシステム１２０は、ＡＲデバイス１０、３０と医療キット１２２とを組み合わせ、ＡＲにより支援されるユーザガイダンスアプローチに適合される。ＡＲデバイス１０、３０は、現実世界シーンに重ねられ得る視覚的情報を生成することができる。ＡＲデバイス１０、３０は、図５〜図７におけるブロック図シーケンス１６８により示される医療プロトコルの間にユーザをガイドすることができる。結果として、ユーザは、処理されるべき医療手順の現在のステータス又はステップに常に気付くことができる。現在のステップが、図５における参照符号１７０により示されるように、それに応じて強調され得る。さらに、ＡＲデバイス１０、３０は、医療手順において使用されるマーカ１４２〜１４８、１５２〜１５８を検出して強調するよう構成され得る。例えば、プロトコル１６８の現在のステップ１７０を所与として、ＡＲデバイス１０、３０は、視野内にあるマーカ１４２〜１４８、１５２〜１５８をモニタリング及びトラッキングし、現在の段階において使用される必要があるマーカ１４２、１５２（図６及び図７参照）を強調することができる。成功裡に検出されたマーカのペア１４２、１５２が、図５において、参照符号１７２（検出されたカバーマーカ）、１７４（検出された基部マーカ）により示されている。ＡＲデバイス１０、３０は、次いで、図５における例示的な強調要素１７８、１８０により示されるように、表示ユニット１４、３４において、マーカ１７２、１７４を（視覚的に）強調することができる。
【００８９】
ＡＲデバイス１０、３０は、さらなる情報、例えば、マーカ１４２、１５２についての識別子を提供することができる。ＡＲ技術を使用して、ＡＲデバイス１０、３０は、例えば、図５に示されるガイド矢印１８４といった拡張視覚的ガイド要素を生成して表示することができる。したがって、検出されたカバーマーカ１４２を、その対応するペアになる基部マーカ１５２の上に（又は基部マーカ１５２の少なくとも近くに）配置することを促すナビゲーションパス又はナビゲーション方向が強調され得る。このようにして、誤操作又は操作者の誤りのリスクを大いに低減することができる。ユーザが、十分にトレーニングされている熟練者でない場合であっても、比較的少ない労力で医療手順を成功裡に遂行することができる。
【００９０】
医療手順又は医療手順の少なくとも１つの（サブ）ステップは、時間制約を受けることがある。したがって、ＡＲデバイス１０、３０は、さらに、図５における例示的な時間シンボル１８６に示されるように、ユーザのアクションの時間又は継続時間をトラッキングするよう構成され得る。したがって、ＡＲデバイスは、ステップが予定の時間内に遂行され得ること又はステップがタイムクリティカルな段階にあることを示すことができる。タイムリミットから外れた場合、それに応じて、ＡＲデバイス１０、３０が医療手順の現在のステップを中断し得ることが、ユーザに通知され得る。タイムリミットにまさに到達しようとする前に、ＡＲデバイス１０、３０は、それに応じて、予定の時間内にタイムクリティカルなアクションを完了するようにユーザに通知して促すことができる。
【００９１】
概して、ユーザガイダンスシステム１２０は、さらに、操作誤り又は少なくともすぐに起こる可能性がある操作誤り若しくは今にも起ろうとしている操作誤りが検出された場合、是正のためのユーザガイダンスを提供するよう構成され得る。それぞれの状況が、図６及び図７に示されている。ＡＲデバイス１０、３０は、ユーザが、現在の（サブ）ステップ１７０を遂行するのに必要とされない間違った物品１３２、１３４、１３６、１３８を手に取った又は動かしたときの状況を検出することができる。さらに、ＡＲデバイス１０、３０は、カバーマーカ１４２、１４４、１４６、１４８を誤配置したときの状況を検出することができる。したがって、ＡＲデバイス１０、３０は、図６に示されるように、ユーザの目に留まる誤りフィードバック１９２を提供することができる。図６において、ユーザが、カバーマーカ１４２を、その意図される対応部分１５２ではなく、基部マーカ１５４の上に誤って配置している。この誤った取り扱いが検出され得る。これに応じて、是正のためのガイダンス１９０が提供され得る。是正のためのガイダンス１９０は、正しい物品１３２、１３４、１３６、１３８のカバーマーカ１４２、１４４、１４６、１４８を強調することにより、正しい物品１３２、１３４、１３６、１３８を示すことを含み得る。是正のためのガイダンスはまた、図６に示されるように、それぞれのガイド矢印１９０により、現在使用されているカバーマーカ１４２に対応する正しい基部マーカ１５２にユーザをナビゲートすることを含み得る。ユーザが、誤りを是正することができたとき、ＡＲデバイス１０、３０は、ユーザが医療手順の実行において正しい針路に戻ったことを示すために肯定的フィードバックを提供することができる。これに応じて、ＡＲデバイス１０、３０は、次の（サブ）ステップ、例えば、次の物品１３４及びその対応するマーカ１４４、１５４を取り扱うことに進むことができる。
【００９２】
図８〜図１０を詳細に参照すると、医療手順において使用され得るいくつかの物品であって、それぞれのマーカを用いてタグ付け又はラベル付けされ得るいくつかの物品が示されている。図８は、パッド２１２として成形され得る、アルコール消毒綿、絆創膏、及びこの種のものとして構成され得る例示的な使い捨て物品２００を示している。図９は、例えば、血液サンプルを採取するためのランセットとして構成され得る別の例示的な使い捨て物品２０２を示している。薬瓶として構成されている別の例示的な物品２０４が、図１０に示されている。図８の物品２００は、カバー又は蓋２０８を含み得る使い捨て包装２０６を有する。物品２００、特に物品２００の包装２０６が、図４〜図７に示される、ＡＲデバイス１０、３０により検出されてトラッキングされ得るカバーマーカ２１０を用いてタグ付け又はラベル付けされ得る。結果として、ユーザは、物品２００を開けて、医療手順の（サブ）ステップにおいてパッド２１２を使用することができる。（サブ）ステップの実行を確認及び遂行するために、ユーザは、カバーマーカ２１０を、ＡＲデバイス１０、３０により検出され得るそれぞれの基部マーカ（図８には示されていない）に配置することができる。
【００９３】
図９の物品２０２も使い捨てであり得る。ランセット状の物品２０２は、ランセット２１８を密封して収容する使い捨て包装２１６を有することができる。例えば、ランセット２１８を識別するカバーマーカ２２０は、ランセット２１８に直接取り付けられ得る。結果として、ユーザは、医療手順の（サブ）ステップの完了を示すために、ランセット２１８を対応する基部マーカの上に配置するように指示され得る。図１０に示されるように、物品２０４は、薬瓶として構成され得る。物品２０４は、医療手順の過程において使用される物質２２６を収容することができるボトル状又は小瓶状のハウジング２０４を有することができる。あるいは、物品２０４は、医療手順の過程において得られたサンプル物質を収容するために使用されることもある。ボトル状のハウジング２２４は、蓋又はキャップ２２８を含み得る。ＡＲデバイス１０、３０により物品２０４を検出してトラッキングすることを可能にするカバーマーカ２３０が、ハウジング２２４又はキャップ２２８に配置され得る。
【００９４】
さらに図１１を参照すると、図１１は、例示的な医療機器のセット２４０を示している。セット２４０は、医療手順のために／医療手順において使用され得る材料、物質、器具、及びこの種のものを含み得る。セット２４０は、２つ以上のタイプの医療手順のために構成されるマルチ機能セットとして構成され得る。さらに、セット２４０は、医療手順の繰り返しの実行のために、例えば、再使用可能な機器又は複数の消耗機器のために、構成され得、十分な量の物質が提供され得る。例えば、セット２４０は、少なくとも１つの止血帯２４２、少なくとも１つのガーゼ２４４、少なくとも１つのカテーテル２４６、少なくとも１つのドレッシング材／バンデージ２４８、パッド入りアームボード２５０、少なくとも１つの注射器２５２、少なくとも１つのアルコール消毒綿２５４、手袋２５６、テープ２５８、これらの部品、及びそれぞれの交換材料を含み得る。要素２４２〜２５８の各々は、ＡＲマーカを用いて相応にタグ付け又はラベル付けされ得る。
【００９５】
図１２は、本開示の範囲内にあるユーザガイダンスシステムについてのさらなる適用分野を例示している。図１２は、自動体外式除細動器（ＡＥＤ）２８０が使用される必要がある緊急状況を示している。例えば、患者２８４は、不整脈に苦しむことがある。残念なことに、十分にトレーニングされた（医療）専門家は、緊急の場合において、通常近くにはいない。通常、応急手当者２８２は、むしろ熟練していない。特に自動体外式除細動器２８０は、標準的なトレーニング状況において使用しやすいことが認識されているが、緊急の場合は、しばしば、はるかに厄介である。通常、応急手当者２８２は、大きなプレッシャー下にある。結果として、ＡＲに基づくユーザガイダンスシステムは、応急手当者２８２を支援し、自動体外式除細動器２８０の正しい取り扱いを促すことができ、これは、自動体外式除細動器２８０を作動させること、電極２８６、２８８を患者２８４に配置すること、及び（少なくともある程度）自動体外式除細動器２８０の動作を制御することを伴い得る。結果として、自動体外式除細動器２８０も、ユーザガイダンスシステムの一部を形成し得る。このために、それぞれのカバーマーカ及び基部マーカが、ＡＥＤ２８０、特に電極２８６、２８８及びＡＥＤのハウジングに取り付けられ得る。さらに、救急医療手順においてユーザが使用しているＡＲデバイス１０、３０（図１及び図２参照）におけるそれぞれのプログラムをトリガ及び初期化する基準マーカが設けられ得る。
【００９６】
本開示によりカバーされるいくつかの代替の例示的なアプローチを例示したが、次いで、本開示の少なくともいくつかの態様に従った、ＡＲにより支援される環境において使用され得る医療キットの構成に関連する方法を概略的に示す図１３が参照される。この方法は、ステップＳ１００を含む。ステップＳ１００は、基部、特に基部シート、基部パッド、基部ボード等を提供することを含む。基部は、ＡＲマーカを取り付けることができる基部レイヤとして構成され得る。ＡＲマーカは、ＡＲデバイスにより、検出されてトレース／トラッキングされ得る。例えば、いわゆる基準マーカが、ステップＳ１０２において、基部レイヤに取り付けられ得る。基準マーカは、基部レイヤに取り付けられ得るさらなるマーカの検出を容易にして向上させることができる位置基準を提供することができる。ＡＲデバイスは、基準マーカを検出すると、それぞれのさらなるマーカが配置されていると想定される（予め）規定された位置を導出することができる。これは、複数のマーカの同時検出を平易にすることができる。さらに、基準マーカは、準備されるべき医療キットが構成される対象の医療手順のタイプを示すことができる。
【００９７】
さらなるステップＳ１０４において、複数の基部マーカが、基部レイヤに配置され得る。好ましくは、基部マーカは、意図される医療手順の過程又はシーケンスを反映するように特定のパターン及び／又は順序で配置される。基部マーカは、ＡＲデバイス、詳細にはＡＲデバイスのセンサユニットにより検出可能であり得る。基部マーカは、意図される医療手順のステップを遂行するためにユーザが対応するカバーマーカを配置し得る目標を表すことができる。結果として、ＡＲデバイスは、基部マーカとカバーマーカとの間の重なりを検出することができる。このイベントは、それぞれの（サブ）ステップの完了を示し得る。
【００９８】
提供された基部レイヤは、医療手順を構成する一連のアクションの現実世界表現とみなされ得る。しかしながら、基部レイヤには、ＡＲマーカが取り付けられるので、ＡＲデバイスは、レイヤを検出してトラッキングし、それぞれのディスプレイ上で現実世界シーンに重ねられる補足仮想情報を提供することができる。
【００９９】
さらなるステップＳ１０６は、医療手順の実行の過程において使用又は消費されるよう構成されている複数の医療物品を提供することを含み得る。例えば、これらの物品は、器具、物質、消耗品、使い捨て品等を含み得る。これらの物品は、通常は、少なくとも部分的に、ユーザにより手で取り扱われる。これらの物品の医療効果及び特徴については、これらの物品は、従来の医療物品に似たものであり得る。
【０１００】
しかしながら、さらなるステップＳ１０８において、ＡＲマーカが、物品に取り付けられ得る。ＡＲマーカを取り付けることは、ＡＲマーカを物品に直接取り付けること及び／又はＡＲマーカを物品の包装に取り付けることを含み得る。ステップＳ１０８において処理されるＡＲマーカは、少なくともいくつかの実施形態において、カバーマーカと呼ばれることがある。物品が、ＡＲマーカを用いてラベル付け又はタグ付けされ得る。カバーマーカは、ＡＲデバイスにより、検出されて、トラッキング／トレースされ得る。ＡＲデバイスは、カバーマーカが基部マーカに近接したとき、好ましくは、カバーマーカが基部マーカを覆った（隠した）ときを検出するのに特に適したものであり得る。これは、カバーマーカが基部マーカの上に配置されたときに生じ得る。この方法のさらに別のステップＳ１１０において、提供された医療物品及び提供された基部レイヤが、例えば、共通包装ユニット内の医療キットとして、組み合わされる。したがって、仮想（人工）情報を用いて拡張されない現実世界環境において基本的に処理され得る医療キットが提供され得る。しかしながら、医療キットはまた、ＡＲにより拡張される環境において使用されるよう構成される。なぜならば、それぞれの（マシン読み取り可能な）マーカ、例えば、少なくとも基部マーカ及びカバーマーカが提供されるからである。好ましくは、基準マーカも提供される。
【０１０１】
さらに図１４を参照すると、図１４は、本開示に従ったユーザガイダンス方法のいくつかのステップを示す概略ブロック図を示している。最初に、ステップＳ２００において、医療分野におけるＡＲ用途、特に、比較的複雑な医療手順の間に、専門家でないユーザ、特に患者自身、をガイドする、ＡＲにより支援されるユーザガイダンス用途のために準備される、本開示のコンテキスト内のポータブル拡張現実デバイスが、提供され得る。このために、ＡＲデバイスは、それぞれのコンポーネント、例えば、少なくとも１つの（画像）センサ、ディスプレイ、及び処理ユニットを有することができる。さらに、ＡＲデバイスは、それぞれのソフトウェアコード（ソフトウェアアプリケーション又はアプリケーション）を含む永続メモリ及び一時メモリを有することができる。さらに、ＡＲデバイスは、例えば、クラウド環境におけるリモート位置において提供されているソフトウェアコードを使用することもできる。ソフトウェアコードは、さらに、ＡＲデバイスが準備される対象の医療手順又は医療プロトコルを記述したアルゴリズムを含み得る。
【０１０２】
さらなるステップＳ２０２が続き得、さらなるステップＳ２０２は、ＡＲにより支援されるユーザガイダンスのために構成されている医療キットを提供することを含み得る。図１３に示される方法に関連して上述したように、医療キットは、ＡＲデバイスにより検出されてトラッキングされ得る複数のＡＲマーカ（ＡＲタグ又はＡＲラベルと呼ばれることもある）を有することができる。いくつかのタイプのＡＲマーカが存在し得る。例えば、いわゆる基部マーカ及びカバーマーカが提供され得る。カバーマーカは、医療手順を実行するときに使用される必要がある、特に手で取り扱われる又は動かされる必要がある、医療キットの物品に関連付けられ得る、特に、そのような物品に取り付けられ得る。基部マーカは、医療手順のいくつかのステップを反映し得る予め規定されたパターン又は順序で配置され得る。ユーザは、カバーマーカを、それらの指定された対応する基部マーカの近くに、好ましくは上に、配置することにより、検証（checkback）信号を生成させることができる。ＡＲデバイスは、医療手順の（サブ）ステップが成功裡に遂行されたことを示すそれぞれの合致を検出することができる。
【０１０３】
好ましくは、医療キットは、基部マーカに対する基本的に予め規定された相対位置に配置され得る基準マーカをさらに有する。次のステップＳ２０４において、ＡＲデバイスは、基準マーカを検出することができる。基準マーカは、計画された医療手順のタイプを示すことができる。したがって、ＡＲデバイスにおける正しい対応する（ソフトウェア）アルゴリズムが、トリガ又は選択され得る。好ましくは、このために、明示的なユーザ入力は要求されない、あるいは、わずかなユーザ入力しか要求されない。さらに、基準マーカは、医療手順を実行しているときにカバーマーカが配置されることになる目標位置から、基部マーカの予期される位置を示すことができる（あるいは、そのような基部マーカの予期される位置に関する決定を可能にし得る）。
【０１０４】
さらなるステップＳ２０６が続き得、さらなるステップＳ２０６は、医療手順を実行するための、ＡＲにより補足されるユーザガイダンスを提供することを含む。ステップＳ２０６は、マーカを検出してトラッキングすること、及び、現在処理されるべきマーカ及びその対応部分を強調することを含み得る。さらに、ユーザガイダンスは、望まれる順序／シーケンスに従いながら、カバーマーカを、そのペアとなる基部マーカの上に配置するように、ユーザをナビゲートすることを含み得る。
【０１０５】
ステップＳ２０６と相互に関連し得るモニタリングステップＳ２０８において、ＡＲデバイスは、検出されたマーカと、マーカが取り扱われた且つ／又は合致するように持ってこられたやり方と、に基づいて、ユーザのアクティビティをモニタリングして制御するために、シーンをモニタリングすることができる。ＡＲデバイスは、さらに、誤ったユーザアクション又は少なくとも誤っている可能性があるユーザアクション（例えば、医療手順の望まれる順序から逸脱したこと、カバーマーカを、間違った基部マーカの上に配置したこと等）を検出するよう構成され得る。さらに、ＡＲデバイスは、ユーザが所与の時間制約内に必要とされるアクションを遂行できるかどうかを制御及び検証するために、時間トラッキングするよう構成され得る。
【０１０６】
さらなるステップＳ２１０が、判定菱形により示されている。判定ステップＳ２１０は、ユーザが、医療手順の（サブ）ステップを成功裡に遂行したか否かを判定することを含み得る。誤った又は誤りが発生しそうな可能性があるユーザアクションが検出された場合、ＡＲデバイスは、是正のためのフィードバックを提供することができる（ステップＳ２１２）。是正のためのフィードバックは、誤りが発生したことをユーザに通知すること及びユーザを正しい針路に戻すための可能な是正策を強調することを含み得る。好ましくは、医療手順全体の繰り返しを回避することができる瞬時又は準瞬時のプロセス内フィードバックが提供され得る。是正のためのフィードバックは、現在取り扱われているカバーマーカについての正しい目標を強調すること、現在の（サブ）ステップにおいて使用されるべき正しいカバーマーカを強調すること、時間制約を示して、より速いペースで医療手順を実行するようにユーザを促すこと等を含み得る。
【０１０７】
ユーザが、医療手順のそれぞれの（サブ）ステップを成功裡に遂行したことが検出されると、この方法は、さらなるステップＳ２１４に進み得る。ユーザが、医療手順の各ステップを成功裡に遂行した場合、この方法は、ステップＳ２１４で終了し得る。
【０１０８】
図１５を参照すると、本開示に従った、ＡＲにより支援されるモニタリング及びユーザガイダンス方法のいくつかのステップを表す別の例示的なブロック図が示されている。より詳細には、図１５は、上述したような、ＡＲデバイスにおいて実装され得るモニタリング及びガイダンスアルゴリズムを示している。判定ステップとして構成され得る最初のステップＳ３００において、基準マーカが検出されたかどうか、例えば、基準マーカが、ＡＲデバイスのセンサの視野内にあるかどうかが、検証され得る。基準マーカを検出できない場合、ステップＳ３０２が続き得、ステップＳ３０２において、ＡＲデバイスは、基準マーカを探す又は探索するのを続ける。上記で既に示されているように、基準マーカは、医療手順の実行を実際にトリガすることができ、さらに、医療手順において使用される医療キットの初期構成を示すことができる。すなわち、ＡＲデバイスには、医療手順の必要とされるステップと、対応する物品のカバーマーカ及び関連付けられている基部マーカを含む対応する物品と、に関する情報が提供され得る。したがって、ＡＲデバイスは、基部マーカの規定された位置と、それら基部マーカの意図される順序と、を認識できるようになる。
【０１０９】
基準マーカが検出された場合、このアルゴリズムは、ステップＳ３０４に進み得る。ステップＳ３０４は、基部マーカが視野内にあるかどうかをチェックすることを含み得る。ステップＳ３０４は、医療手順の正しい（サブ）ステップに関連付けられている基部マーカにフォーカスし得る。図１５に示されるアルゴリズムの例示的な実施形態は、対応する基部マーカとカバーマーカとの合致を用いて、特定の（サブ）ステップが遂行されたことを検証する。これは、基部マーカがＡＲデバイスのセンサユニットに基本的にもはや可視でないように、カバーマーカが基部マーカの上に配置されたことを伴い得る。反対に、基部マーカが、センサユニットの視野内に依然としてある場合、この（サブ）ステップは、まだ遂行されていない。したがって、このアルゴリズムは、ステップＳ３０６に進み得る。ステップＳ３０６は、現在処理されるべきカバーマーカを探して検出することを含み得る。したがって、このシステムは、カバーマーカの対応する基部マーカに実際に接近しているカバーマーカを検出することもできる。
【０１１０】
対象マーカである基部マーカが、視野内にない又はもはやない場合、このアルゴリズムは、ステップＳ３０８に進み得る。ステップＳ３０８は、正しいカバーマーカが基部マーカの上に配置されたかどうかを検出することを含む。正しいカバーマーカが基部マーカの上に配置されたことが検出された場合、現在の（サブ）ステップが成功裡に遂行されたという強いインジケーションが存在する。このアルゴリズムは、ステップＳ３１４に進み得る。ステップＳ３１４は、このアルゴリズムを終了すること、又は、図１５のアルゴリズムに従って医療手順のさらなる（サブ）ステップを実行することを含み得る。
【０１１１】
ステップＳ３０８において、所望のカバーマーカが成功裡に検出されなかった場合、このアルゴリズムは、ステップＳ３１０に進み得る。ステップＳ３１０は、別の−間違った−カバーマーカが、基部マーカの上で検出された可能性があるかどうかを判定することを含む。そうである場合、このアルゴリズムは、ステップＳ３１６に進み、間違ったカバーマーカが取り付けられている明らかに間違った物品が使用されたことを示す、是正のためのフィードバックを提供することができる。あるいは、ステップＳ３１０において、カバーマーカが、基部マーカを覆っているとして検出及び識別され得ない場合、このアルゴリズムは、ステップＳ３１２に進み、明らかには認識できない物品が基部マーカの上に配置されたというフィードバックを提供することができる。
【０１１２】
以下において、本開示の範囲内にある例示的な実施形態のさらなる特徴及び利点が、提示され説明される。
【０１１３】
一実施形態において、物理的コンテキストにおいて配置される拡張現実マーカを有するシステムが提供され、このシステムは、動かせる物品が、実行されるべき医療手順の過程において最終的に配置されるべきである目標位置を示すよう構成され得る。このために、拡張現実マーカは、動かせる物理的物品上に配置され得る。例えば、スマートフォン、タブレット、又は拡張現実ヘッドセットといった、ディスプレイユニットを有するＡＲデバイスが提供される。どの動かせる物品をどこにどんな順序で動かすべきであるかを指定するプロトコルが規定され得る。ＡＲデバイスは、物品が誤配置されたときに、フィードバックを提供するよう構成され得る。詳細には、ＡＲデバイスは、プロトコル内是正を可能にするために、物品が誤配置された場合に物品を配置すべき、間違った位置に対する位置に関するナビゲーションフィードバック又はルート指示フィードバックを提供するよう構成され得る。さらに、ＡＲデバイスは、物品の取り扱い及び／又は配置が、プロトコル全体を完了するためのデッドラインを満たすには遅すぎるように行われたときに、フィードバックを提供するよう構成され得る。ユーザが遅すぎる場合、次にどのステップがより速く実行されるべきであるかに関する指示が提供され得る。
【０１１４】
少なくともいくつかの実施形態は、２Ｄ空間又は３Ｄ空間内の動かせる物理的物品の位置及び向きをトラッキングすることを含み得る。実際に検出された状況が、プロトコルにより指定された状況と異なる場合、何が間違っているか及びその状況をどのように是正するかが、拡張現実により、シーンにおいて直接的に示され得る。例えば、ユーザが、物品Ａが割り当てられた指定された時間又はステップにおいて、物品Ａの代わりに物品Ｂを取り扱っているときに、ＡＲデバイスは、物品Ｂが取り扱われているが、ユーザは、その代わりに物品Ａを取り扱うべきであることを（例えば、ディスプレイユニットにおいて）示すことができる。同様に、ユーザが、物品Ａが割り当てられた位置に、物品Ａの代わりに物品Ｂを配置したときに、ＡＲデバイスは、物品Ｂが間違った物品であること、この時点での対象物品が物品Ｂではなく物品Ａであること、及び、物品Ｂが、物品Ｂに割り当てられた特定の目標位置に配置されるべきであること、を示すことができる。さらに、ユーザが、所定のステップについてタイムリミット（最大限の許容可能時間）を超えた場合、ＡＲデバイスは、手順全体を時間通りにもはや完了できない可能性があることを示し、スピードアップするようにユーザを促すことができる。
【０１１５】
在宅医療領域における１つの適用分野は、化学療法患者、特にそれぞれの外来患者のための血液分析であり得る。これに対応して、血液分析器を含む医療キット又は医療機器が提供され得る。血液分析器は、化学療法又は同様の療法を受けている患者が自分の血液を自宅で検査することを可能にするデバイスである。それぞれの血液検査手順（本明細書では医療手順とも呼ばれる）は、特定の順序で実行されなければならない複数のアクションを含むプロトコルを含み得る。例えば、それぞれの（サブ）ステップは、以下を含み得る：
−患者の手を温めること、
−皮膚を消毒すること、
−指をランセットで切開すること、
−血液滴をカートリッジに入れること、
−カートリッジを血液分析デバイスに挿入すること、及び
−絆創膏を指に貼ること。
【０１１６】
結果として、プロトコルの実行は、複数の消耗品（ランセット、アルコール消毒綿、血液カートリッジ、絆創膏）を必要とする。さらに、プロトコルは、基本的にタイムクリティカルであり、ランセットで切開することと、血液を含むカートリッジを血液分析器に挿入することと、の間は、例えば、４５秒以内であるべきである。ユーザが、このデッドラインを守れなかった場合、おそらく、プロトコル全体が、再度実行される必要がある。これは、不快感（再度ランセットで切開すること）、時間の浪費、材料（新たな使い捨て針、新たな使い捨てアルコール消毒綿、新たな血液カートリッジ）の浪費を生じさせ得る。したがって、プロトコルの間に、及び同様の医療手順の間に、できる限り最良にユーザをガイドすることが重要である。
【０１１７】
別の適用分野は、救急治療領域であり得る。上記で既に示されているように、本明細書で開示された少なくともいくつかの実施形態に従ったシステムは、自動体外式除細動器（ＡＥＤ）に関連して使用され得る。ＡＥＤは、心臓が細動するのを妨げ、全ての心筋が再度同調して収縮するように、救急治療において使用される。ＡＥＤが使用されるとき、各要素が（順序、位置等の観点で）正しく配置される必要がある複数の要素が使用される。これらの要素及び物品は、例えば、電極パッチとして構成され得る。それぞれの医療手順は、厳格に順守されなければならない。蘇生のための基礎となるプロトコルについても基本的に同じことが当てはまる。ＡＥＤの適用は、特にタイムクリティカルである。したがって、ＡＥＤ、及び、救急治療領域における関連する又は同様の医療手順も、本明細書で開示された少なくともいくつかの実施形態に従ったシステムにより提供され得る、拡張現実ガイダンスからの恩恵を受け得る。
【０１１８】
請求項において、用語「備える、含む、有する」は、他の要素又はステップを排除せず、不定冠詞「a」又は「an」は、複数を排除しない。１つの要素又は他のユニットが、請求項において記載される複数のアイテムの機能を満たすこともある。所定の手段が相互に異なる従属請求項において記載されているという単なる事実は、それらの手段の組合せが有利に使用され得ないことを示すものではない。
【０１１９】
コンピュータプログラムは、他のハードウェアと一緒に提供される又は他のハードウェアの一部として提供される光記憶媒体又はソリッドステート媒体等の適切な（非一時的な）媒体上に記憶／配布され得るが、インターネット又は他の有線通信システム若しくは無線通信システムを介して等、他の形で配布されることもある。さらに、様々な実施形態は、コンピュータ、又は命令を実行する任意のデバイス若しくはシステムにより使用される又はそれらに関連して使用されるプログラムコードを提供するコンピュータ使用可能な又はコンピュータ読み取り可能な媒体からアクセス可能なコンピュータプログラム製品の形態をとることができる。本開示の目的では、コンピュータ使用可能な又はコンピュータ読み取り可能な媒体は、一般に、命令実行デバイスにより使用される又は命令実行デバイスに関連して使用されるプログラムを含む、記憶する、通信する、伝達する、又は移動させることができる任意の有形の装置であり得る。
【０１２０】
さらに、様々な実施形態は、コンピュータ、又は命令を実行する任意のデバイス若しくはシステムにより使用される又はそれらに関連して使用されるプログラムコードを提供するコンピュータ使用可能な又はコンピュータ読み取り可能な媒体からアクセス可能なコンピュータプログラム製品の形態をとることができる。本開示の目的では、コンピュータ使用可能な又はコンピュータ読み取り可能な媒体は、一般に、命令実行デバイスにより使用される又は命令実行デバイスに関連して使用されるプログラムを含む、記憶する、通信する、伝達する、又は移動させることができる任意の有形のデバイス又は装置であり得る。
【０１２１】
本開示の実施形態が、ソフトウェア制御型データ処理デバイスにより少なくとも部分的に実装されるとして説明されている限りにおいて、そのようなソフトウェアを運ぶ、光ディスク、磁気ディスク、半導体メモリ等の非一時的なマシン読み取り可能な媒体も、本開示の実施形態を表すようにみなされることが理解されよう。
【０１２２】
コンピュータ使用可能な又はコンピュータ読み取り可能な媒体は、例えば、電気的、磁気的、光学的、電磁気的、赤外線の、若しくは半導体のシステム、又は伝搬媒体であり得るが、これらに限定されるものではない。コンピュータ読み取り可能な媒体の非限定的な例は、半導体メモリ、ソリッドステートメモリ、磁気テープ、着脱可能なコンピュータディスケット、ランダムアクセスメモリ（ＲＡＭ）、読み取り専用メモリ（ＲＯＭ）、リジッド磁気ディスク、及び光ディスクを含む。光ディスクは、コンパクトディスク−読み取り専用メモリ（ＣＤ−ＲＯＭ）、コンパクトディスク−リード／ライト（ＣＤ−Ｒ／Ｗ）、及びＤＶＤを含み得る。
【０１２３】
さらに、コンピュータ使用可能な又はコンピュータ読み取り可能な媒体は、コンピュータ読み取り可能な又は使用可能なプログラムコードがコンピュータ上で実行されたときに、このコンピュータ読み取り可能な又は使用可能なプログラムコードの実行が、コンピュータに、通信リンクを介して別のコンピュータ読み取り可能な又は使用可能なプログラムコードを送信させるような、コンピュータ読み取り可能な又は使用可能なプログラムコードを含み得る又は記憶し得る。この通信リンクは、例えば、限定ではないが、物理的又は無線である媒体を用いることができる。
【０１２４】
コンピュータ読み取り可能な又はコンピュータ使用可能なプログラムコードを記憶及び／又は実行するのに適したデータ処理システム又はデバイスは、システムバス等の通信ファブリックを介してメモリ要素に直接的又は間接的に接続される１つ以上のプロセッサを含む。メモリ要素は、プログラムコードの実際の実行中に使用されるローカルメモリ、バルクストレージ、及び、コードの実行中にバルクストレージからコードが取り出され得る回数を低減させるために少なくとも何らかのコンピュータ読み取り可能な又はコンピュータ使用可能なプログラムコードの一時記憶を提供するキャッシュメモリを含み得る。
【０１２５】
入力／出力（Ｉ／Ｏ）デバイスは、直接的に又は介在Ｉ／Ｏコントローラを介して、システムに接続され得る。これらのデバイスは、例えば、キーボード、タッチスクリーンディスプレイ、及びポインティングデバイスを含み得るが、これらに限定されるものではない。データ処理システムが、介在するプライベートネットワーク又はパブリックネットワークを介して他のデータ処理システム、リモートプリンタ、又は記憶デバイスに接続されるようになることを可能にするために、様々な通信アダプタも、システムに接続され得る。非限定的な例は、モデム及びネットワークアダプタであり、現在利用可能なタイプの通信アダプタのほんの少しである。
【０１２６】
様々な例示的な実施形態の説明が、例示及び説明の目的で提示されており、この説明は、網羅的であること又は開示された形態の実施形態に限定されることを意図するものではない。多くの変更及び変形が、当業者には明らかであろう。さらに、異なる例示的な実施形態は、他の例示的な実施形態と比較して、異なる利点を提供することができる。選択された１つ以上の実施形態は、実施形態の原理及び実際的な用途を最良に説明し、他の当業者が、企図される特定の使用に適した様々な変更を伴う様々な実施形態について本開示を理解するのを可能にするために、選択され説明されている。開示された実施形態に対する他の変形も、図面、本開示、及び特許請求の範囲を検討することから、特許請求される発明を実施する際に当業者により理解され実施され得る。
【０１２７】
請求項におけるいかなる参照符号も、範囲を限定するものとして解釈されるべきではない。
【図１】
2018503416.tif 000004
【図２】
2018503416.tif 000005
【図３】
2018503416.tif 000006
【図４】
2018503416.tif 000007
【図５】
2018503416.tif 000008
【図６】
2018503416.tif 000009
【図７】
2018503416.tif 000010
【図８】
2018503416.tif 000011
【図９】
2018503416.tif 000012
【図１０】
2018503416.tif 000013
【図１１】
2018503416.tif 000014
【図１２】
2018503416.tif 000015
【図１３】
2018503416.tif 000016
【図１４】
2018503416.tif 000017
【図１５】
2018503416.tif 000018
【国際調査報告】
2018503416.tif 000019
2018503416.tif 000020