(57)【要約】  医療器具２０及び該医療器具２０に関連する器具識別子２１に基づいて拡張現実起動方法を実施するために主拡張現実装置３０及び起動動作コントローラ４０を有する拡張現実起動システム１０である。動作時において、主拡張現実装置３０は、いつ何時医療器具２０及び／又は器具識別子２１を含み得又は含まないかも知れない現実世界のカメラ画像を発生する。起動動作コントローラ４０は、主拡張現実装置３０による医療器具２０及び／又は器具識別子２１を含む現実世界のカメラ画像の発生を認識し、斯かる認識に応答して、主拡張現実装置３０及び／又は医療装置５０による医療器具２０を伴う医療処置を支援する医療処置動作を起動する。
2021501653.tif 000002
【特許請求の範囲】
【請求項１】
医療器具及び該医療器具に関連付けられた器具識別子の少なくとも一方に基づいて拡張現実起動方法を実施する拡張現実起動システムであって、
現実世界のカメラ画像を発生する主拡張現実装置と、
起動動作コントローラと、
を有し、前記起動動作コントローラが、
前記主拡張現実装置による前記医療器具及び前記器具識別子の少なくとも一方を含む前記現実世界のカメラ画像の発生を認識し、
前記主拡張現実装置による前記医療器具及び前記器具識別子の少なくとも一方を含む前記現実世界のカメラ画像の発生の当該起動動作コントローラによる認識に応答して、前記主拡張現実装置及び医療装置の少なくとも一方による医療処置動作を起動する、
拡張現実起動システム。
【請求項２】
前記起動動作コントローラが、前記現実世界のカメラ画像内において前記医療器具の形状を認識する、請求項１に記載の拡張現実起動システム。
【請求項３】
前記器具識別子が、
器具ラベル、
前記医療器具に取り付けられた顧客マーカ、及び
前記医療器具に取り付けられていない顧客マーカ、
のうちの少なくとも１つを含む、請求項１に記載の拡張現実起動システム。
【請求項４】
前記起動動作コントローラが前記主拡張現実装置による医療処置動作を起動する動作は、該起動動作コントローラが、
前記主拡張現実装置による前記医療器具に関係するコンテンツの表示を起動すること、及び
前記主拡張現実装置による前記医療器具のホログラムモデルの表示を起動すること
の少なくとも一方を含む、請求項１に記載の拡張現実起動システム。
【請求項５】
前記医療器具に関係するコンテンツが、
前記主拡張現実装置の仮想スクリーンの前記医療器具のオーバーレイ表示、
前記医療器具の入力フィード、
前記医療器具の説明、
前記医療器具を操作するための使用説明、
前記医療器具及び該医療器具に類似する追加の医療器具の少なくとも一方の使用を含むケース、及び
前記医療器具に関連する何らかの警告
のうちの少なくとも１つ含む、請求項４に記載の拡張現実起動システム。
【請求項６】
前記医療装置は前記医療器具の現実世界画像を表示し、
前記起動動作コントローラが前記医療装置による医療処置動作を起動する動作は、該起動動作コントローラが、
前記医療装置による前記医療器具に関係するコンテンツの表示を起動すること、及び
前記医療装置による前記医療器具のホログラムモデルの表示を起動すること
の少なくとも一方を更に行う動作を含む、請求項１に記載の拡張現実起動システム。
【請求項７】
前記医療器具に関係するコンテンツが、
前記医療器具の入力フィード、
前記医療器具の説明、
前記医療器具を操作するための使用説明、
前記医療器具及び該医療器具に類似する追加の医療器具の少なくとも一方の使用を含むケース、及び
前記医療器具に関連する何らかの警告
のうちの少なくとも１つ含む、請求項６に記載の拡張現実起動システム。
【請求項８】
前記医療装置は医療処置を撮像し、
前記起動動作コントローラが前記医療装置による医療処置動作を起動する動作は、該起動動作コントローラが、少なくとも、前記医療処置の撮像を前記医療器具に関係する動作モードに設定するように前記医療装置を起動する、動作を含む、請求項１に記載の拡張現実起動システム。
【請求項９】
二次拡張現実装置を更に有し、
前記起動動作コントローラが、更に、
前記主拡張現実装置による前記医療器具及び前記器具識別子の少なくとも一方を含む前記現実世界のカメラ画像の発生の当該起動動作コントローラによる認識に応答して、前記主拡張現実装置、前記医療装置及び前記二次拡張現実装置の少なくとも１つによる医療処置動作を起動する、
請求項１に記載の拡張現実起動システム。
【請求項１０】
前記医療器具がガイドワイヤ、カテーテル、弁及びステントのうちの１つである、請求項１に記載の拡張現実起動システム。
【請求項１１】
医療器具及び該医療器具に関連付けられた器具識別子の少なくとも一方に基づいて拡張現実起動方法を実施する起動動作コントローラであって、
主拡張現実装置による前記医療器具及び前記器具識別子の少なくとも一方を含む現実世界のカメラ画像の発生を認識する医療器具認識モジュールと、
前記主拡張現実装置による前記医療器具及び前記器具識別子の少なくとも一方を含む前記現実世界のカメラ画像の発生の前記医療器具認識モジュールによる認識に応答して、前記主拡張現実装置及び医療装置の少なくとも一方による医療処置動作を起動する医療装置起動モジュールと、
を有する、起動動作コントローラ。
【請求項１２】
前記医療装置起動モジュールが前記主拡張現実装置による医療処置動作を起動する動作は、該医療装置起動モジュールが、更に、
前記主拡張現実装置による前記医療器具に関係するコンテンツの表示を起動すること、及び
前記主拡張現実装置による前記医療器具のホログラムモデルの表示を起動すること
の少なくとも一方を含む、請求項１１に記載の起動動作コントローラ。
【請求項１３】
前記医療装置は前記医療器具の現実世界画像を表示し、
前記医療装置起動モジュールが前記医療装置による医療処置動作を起動する動作は、該医療装置起動モジュールが、更に、
前記医療装置による前記医療器具に関係するコンテンツの表示を起動すること、及び
前記医療装置による前記医療器具のホログラムモデルの表示を起動すること
の少なくとも一方を含む、請求項１１に記載の起動動作コントローラ。
【請求項１４】
前記医療装置は医療処置を撮像し、
前記医療装置起動モジュールが前記医療装置による医療処置動作を起動する動作は、該医療装置起動モジュールが、更に、  前記医療処置の撮像を前記医療器具に関係する動作モードに設定するように前記医療装置を起動する、動作を含む、請求項１１に記載の起動動作コントローラ。
【請求項１５】
拡張現実起動システムが二次拡張現実装置を更に有し、
前記医療装置起動モジュールが、更に、
前記主拡張現実装置による前記医療器具及び前記器具識別子の少なくとも一方を含む前記現実世界のカメラ画像の発生の当該起動動作コントローラによる認識に応答して、前記主拡張現実装置、前記医療装置及び前記二次拡張現実装置の少なくとも１つによる動作を起動する、
請求項１１に記載の起動動作コントローラ。
【請求項１６】
起動動作コントローラにより医療器具及び該医療器具に関連付けられた器具識別子の少なくとも一方に基づいて実行可能な拡張現実起動方法であって、
前記起動動作コントローラが主拡張現実装置による前記医療器具及び前記器具識別子の少なくとも一方を含む現実世界のカメラ画像の発生を認識するステップと、
前記起動動作コントローラが、前記主拡張現実装置による前記医療器具及び前記器具識別子の少なくとも一方を含む前記現実世界のカメラ画像の発生の前記起動動作コントローラによる認識に応答して、前記主拡張現実装置及び医療装置の少なくとも一方による医療処置動作を起動するステップと、
を有する、拡張現実起動方法。
【請求項１７】
前記起動動作コントローラが前記主拡張現実装置による医療処置動作を起動するステップは、
前記起動動作コントローラが前記主拡張現実装置による前記医療器具に関係するコンテンツの表示を起動するステップ、及び
前記起動動作コントローラが前記主拡張現実装置による前記医療器具のホログラムモデルの表示を起動するステップ
の少なくとも一方を含む、請求項１６に記載の拡張現実起動方法。
【請求項１８】
前記医療装置は前記医療器具の現実世界画像を表示し、
医療装置起動モジュールが前記医療装置による医療処置動作を起動するステップは、
前記起動動作コントローラが前記医療装置による前記医療器具に関係するコンテンツの表示を起動するステップ、及び
前記起動動作コントローラが前記医療装置による前記医療器具のホログラムモデルの表示を起動するステップ
の少なくとも一方を含む、請求項１６に記載の拡張現実起動方法。
【請求項１９】
前記医療装置は医療処置を撮像し、
医療装置起動モジュールが前記医療装置による医療処置動作を起動するステップは、
前記起動動作コントローラが前記医療処置の撮像を前記医療器具に関係する動作モードに設定するように前記医療装置を起動するステップ、
を含む、請求項１６に記載の拡張現実起動方法。
【請求項２０】
拡張現実起動システムが二次拡張現実装置を更に有し、
前記起動動作コントローラが、前記主拡張現実装置による前記医療器具及び前記器具識別子の少なくとも一方を含む前記現実世界のカメラ画像の発生の前記起動動作コントローラによる認識に応答して、前記主拡張現実装置、前記医療装置及び前記二次拡張現実装置の少なくとも１つによる動作を起動する、
請求項１６に記載の拡張現実起動方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本開示は、広くは医療処置の間における拡張現実装置の使用に関する。特に、本開示は医療処置の間における拡張現実装置、医療装置及び／又は追加の拡張現実装置による動作を起動するための該拡張現実装置による医療器具及び／又は器具識別子の認識に関する。
【背景技術】
【０００２】
医療撮像システムとの相互作用（対話）は、現在の処、医療撮像システムの操作者が次の行為又はステップを決定することを課されることを含む。例えば、医療処置に使用されている医療撮像システムと医療器具（例えば、ガイドワイヤ、カテーテル、ステント、血管内超音波（ＩＶＵＳ）カテーテル、弁、ドリル等）との間には現在のところ、しばしば密な関連が存在し、これによれば、操作者は当該医療処置の間における撮像を容易化するために当該医療撮像システムを医療器具に基づいて構成（設定）することができる。例えば、撮像するＩＶＵＳカテーテルに関連させて超音波撮像システムの種々のフィーチャ（例えば、ナビゲーションフィーチャ）を利用するために、該超音波撮像システムの種々のフィーチャをＩＶＵＳカテーテルに基づいてカスタマイズすることができる。
【発明の概要】
【発明が解決しようとする課題】
【０００３】
操作者が医療撮像システムを医療器具に基づいてカスタマイズすることは、医療処置の全範囲内では小さな過程であるが、それでも、当該医療処置の作業の流れは該小さな過程により中断される。
【課題を解決するための手段】
【０００４】
拡張現実（ＡＲ）とは、一般的に、装置がコンピュータにより発生された追加の情報で補足された生の画像ストリームを表示することを指す。更に詳細には、上記生の画像ストリームは、目、カメラ、スマートフォン、タブレット等を介してのものとすることができ、メガネ、コンタクトレンズ、投影又は当該生画像ストリーム装置（例えば、スマートフォン、タブレット等）上を介してのＡＲユーザに対する表示により増強される。本開示の発明は、拡張現実装置、医療装置及び／又は追加の拡張現実装置による医療処置動作のためのきっかけとして働く医療器具及び／又は器具識別子の物体認識を前提とするもので、これにより、当該医療器具が関わる医療処置の作業の流れの如何なる中断も最小にするものである。
【０００５】
本開示の発明の一実施態様は、医療器具及び／又は該医療器具に関連付けられた器具識別子に基づいて拡張現実起動方法を実施する拡張現実起動システムである。該拡張現実起動システムは、主拡張現実装置及び起動動作コントローラを有する。動作時において、前記主拡張現実装置は現実世界のカメラ画像を発生し、該カメラ画像は任意の所与の時点において前記医療器具及び／又は前記器具識別子を含み得又は含まないこともあり得る。前記起動動作コントローラは、前記主拡張現実装置による前記医療器具及び／又は前記器具識別子を含む前記現実世界のカメラ画像の発生を認識するよう構成されると共に、更に前記主拡張現実装置による前記医療器具及び／又は前記器具識別子を含む前記現実世界のカメラ画像の発生の当該起動動作コントローラによる認識に応答して、前記主拡張現実装置及び／又は医療装置による医療処置動作を起動するように構成される。
【０００６】
前記起動動作コントローラは、前記主拡張現実装置内に拡張現実コントローラに統合され若しくは該拡張現実コントローラから分離されたコントローラ又は前記主拡張現実装置の補助コントローラとして設置することができるか、又は、代わりに、前記主拡張現実装置と通信し、これにより、前記現実世界のカメラ画像を受信する他の装置（例えば、前記医療装置、ワークステーション又は追加の拡張現実装置）に設置することができる。
【０００７】
本開示の発明の第２実施態様において、前記起動動作コントローラは、前記主拡張現実装置による前記医療器具及び／又は前記器具識別子を含む現実世界のカメラ画像の発生を認識するように構成された医療器具認識モジュールを含むと共に、前記主拡張現実装置による前記医療器具及び／又は前記器具識別子を含む前記現実世界のカメラ画像の発生の前記医療器具認識モジュールによる認識に応答して前記主拡張現実装置及び／又は前記医療装置による医療処置動作を起動するように構成された医療装置起動モジュールを更に含む。
【０００８】
前記医療器具認識モジュールは、前記主拡張現実装置内に前記拡張現実コントローラ若しくは前記主拡張現実装置の補助コントローラにより実行可能なモジュールとして設置することができるか、又は、代わりに、前記主拡張現実装置と通信し、これにより、前記現実世界のカメラ画像を受信する他の装置（例えば、前記医療装置、ワークステーション又は追加の拡張現実装置）に設置される実行可能なモジュールとすることができる。
【０００９】
前記医療装置起動モジュールは、前記主拡張現実装置内に前記拡張現実主コントローラ若しくは前記主拡張現実装置の補助コントローラにより実行可能なモジュールとして設置することができるか、又は、代わりに、前記医療器具認識モジュールと通信して、前記医療器具及び／又は前記器具識別子を含む前記現実世界のカメラ画像の前記主拡張現実装置による発生の前記医療器具認識モジュールによる認識の通知を受信する他の装置（例えば、前記医療装置、ワークステーション又は追加の拡張現実装置）に設置される実行可能なモジュールとすることができる。
【００１０】
本開示の発明の第３実施態様において、前記拡張現実起動方法は、前記起動動作コントローラが前記主拡張現実装置による前記医療器具及び／又は前記器具識別子を含む現実世界のカメラ画像の発生を認識するステップを有すると共に、更に、前記起動動作コントローラが、前記主拡張現実装置による前記医療器具及び／又は前記器具識別子を含む前記現実世界のカメラ画像の発生の前記起動動作コントローラによる認識に応答して、前記主拡張現実装置及び／又は前記医療装置による医療処置動作を起動するステップを有する。
【００１１】
この場合も、前記起動動作コントローラは、前記主拡張現実装置内に拡張現実主コントローラに統合され若しくは該拡張現実主コントローラから分離されたコントローラ又は前記主拡張現実装置の補助コントローラとして設置することができるか、又は、代わりに、前記主拡張現実装置と通信し、これにより、前記現実世界のカメラ画像を受信する他の装置（例えば、前記医療装置、ワークステーション又は追加の拡張現実装置）に設置することができる。
【００１２】
本開示の発明を説明及び請求項に記載する目的で、
（１）“医療処置（medical procedure）”なる用語は、患者の身体構造の撮像、診断及び／又は治療のための、本開示の当業技術において知られた及び以下に想定される全ての処置（手順）を広く含む。
（２）“医療器具（medical tool）”なる用語は、医療処置の間に使用される本開示の当業技術において知られた全ての器具を広く含む。医療器具の例は、これらに限定されるものではないが、ガイドワイヤ、カテーテル（例えば、ＩＶＵＳカテーテル及びバルーンカテーテル）、弁、ステント、超音波トランスジューサ（ＴＥＥ、ＴＴＥ）、ドリル及び内視鏡を含む。
（３）“医療システム（medical system）”なる用語は、１以上の医療処置を実施するための本開示の当業技術において既知の及び以下で想定される全ての医療システムを広く含む。医療システムの例は、これらに限られるものではないが、介入Ｘ線システム（固定システム、移動システム、ハイブリッドＯＲ）、超音波システム、患者監視システム、造影剤注入システム、診断撮像システム（Ｘ線、ＣＴ、ＰＥＴ、ＭＲＩ）を含む。
（４）“医療装置（medical device）”なる用語は、医療システム内に動作（例えば、作動させる、撮像する、追跡する、ナビゲーションする等）を制御するために組み込まれ及び／又は医療器具（若しくは複数の医療器具）の動作に関連する、本開示の当業技術において既知の及び以下で想定される全ての医療装置を広く含む。医療装置の例は、限定されるものではないが、撮像装置（例えば、Ｘ線装置、超音波装置、コンピュータトモグラフィ装置、磁気共鳴撮像装置等）、追跡装置（例えば、電磁追跡装置、光学追跡装置、形状感知追跡装置等）、ロボット装置（例えば、ヘビ型ロボット、球型ＲＣＭロボット等）及び監視装置（例えば、心電図モニタ）を含む。
（５）“拡張現実起動方法”なる用語は、本開示に例示的に記載される拡張現実装置、医療装置及び／又は追加の拡張現実装置による医療処置動作のためのきっかけとして働く現実世界のカメラ画像内の医療器具及び／又は器具識別子の物体認識に向けられた、本開示の発明原理を組み込んだ全ての手順を広く含む。
（６）“拡張現実起動システム”なる用語は、本開示に例示的に記載される拡張現実装置、医療装置及び／又は追加の拡張現実装置による医療処置動作のためのきっかけとして働く現実世界のカメラ画像内の医療器具及び／又は器具識別子の物体認識を含む、本開示の発明原理を組み込んだ全ての医療システムを広く含む。
（７）“拡張現実装置”なる用語は、現実世界のカメラ画像に基づく現実世界表示上に仮想物体（又は複数の物体）をオーバーレイ表示する拡張現実を実施する、本開示の当業技術で既知の及び以下で想定される全ての装置を広く含む。拡張現実装置の例は、これらに限定されるものではないが、拡張現実頭部装着（ヘッドマウント）ディスプレイ（例えば、GOOGLE GLASSTM(R)、HOLOLENS(R)、MAGIC LEAP(R)、VUSIX(R)及びMETA(R)）を含む。
（８）“カメラ画像”なる用語は、拡張現実装置の部品として組み込まれたカメラ又は等価な装置により発生された現実世界の像の画像又はビデオを広く含む。
（９）“物体認識”なる用語は、カメラ画像内の物体を認識するための、本開示の当業技術において既知の及び以下で想定される全ての技術を広く含む。
（10）“医療処置動作を起動する”なる語句及び該語句の時制は、医療処置の術前ステップ（又は複数のステップ）及び／又は術中ステップ（又は複数のステップ）を支援する動作を可能化及び／又は指令するための、特には、拡張現実装置又は医療装置の構成指令、信号可能化／不能化（変調されない及び変調された）及び／又は機能呼び出し（ファンクションコール）のための、本開示の当業技術において既知の及び以下で想定される全ての技術を広く含む。
（11）“コントローラ”なる用語は、本開示に例示的に記載された本開示の種々の発明原理の適用を制御するためのアプリケーション固有の主基板又はアプリケーション固有の集積回路の、本開示の当業技術において理解され且つ本開示に例示的に記載された全ての構成を広く含む。当該コントローラの構成は、限定されるものではないが、プロセッサ、コンピュータ使用可能な／コンピュータ読取可能な記憶媒体、オペレーティングシステム、アプリケーションモジュール、周辺装置コントローラ、スロット及びポートを含むことができる。コントローラは、拡張現実装置、医療装置及び／又はワークステーションに収容することができ又はリンクすることができる。“ワークステーション”の例は、限定されるものではないが、独立型計算システム、クライアントコンピュータ、サーバシステム、デスクトップ、ラップトップ又はタブレットの形の１以上の計算装置、ディスプレイ／モニタ及び１以上の入力装置（例えば、キーボード、ジョイスティック及びマウス）の組み立て体を含む。
（12）本明細書及び請求項に記載されるコントローラのための記述的ラベルは、本明細書及び請求項に記載されるコントローラの間の区別を、該“コントローラ”なる用語に対する如何なる追加の限定も指定し又は含めること無しに、容易にする。
（13）“アプリケーションモジュール”なる用語は、特定のアプリケーションを実行するための、電子回路（例えば、電子部品及び／又はハードウェア）からなるコントローラに組み込まれた又はコントローラによりアクセス可能なアプリケーション及び／又は実行可能なプログラム（例えば、非一時的コンピュータ読取可能な媒体上に記憶された実行可能なソフトウェア及び／又はファームウエア）を広く含む。
（14）本明細書及び請求項に記載されるアプリケーションモジュールのための記述的ラベルは、本明細書及び請求項に記載されるアプリケーションモジュールの間の区別を、該“アプリケーションモジュール”なる用語に対する如何なる追加の限定も指定し又は含めること無しに、容易にする。
（15）“信号”、“データ”及び“コマンド”なる用語は、本開示において後述される本開示の種々の発明原理の適用を助ける情報及び／又は命令を伝送するための、本開示の当業技術において理解され且つ本開示において例示的に記載される検出可能な物理量又はインパルスの全ての形態（例えば、電圧、電流又は磁場強度）を広く含む。本開示の種々の構成要素における信号／データ／コマンド通信は、限定されるものではないが、何らかのタイプの有線又は無線データリンクを介する信号／データ／コマンド送信／受信及びコンピュータ使用可能／コンピュータ読取可能な記憶媒体にアップロードされた信号／データ／コマンドの読み取りを含む、本開示の当業技術において既知の任意の通信方法を含むことができる。
（16）本明細書及び請求項に記載される信号／データ／コマンドのための記述的ラベルは、本明細書及び請求項に記載される信号／データ／コマンドの間の区別を、該“信号”、“データ”及び“コマンド”なる用語に対する如何なる追加の限定も指定し又は含めること無しに、容易にする。
【００１３】
本開示の発明の上記及び他の実施態様並びに本開示の発明の種々の構成及び利点は、添付図面を参照して読まれる本開示の発明の種々の実施態様の後述する詳細な説明から更に明らかとなるであろう。尚、詳細な説明及び図面は、限定するというよりは本開示の発明の解説に過ぎず、本開示の発明の範囲は添付請求項及びその均等物によって定義されるものである。
【図面の簡単な説明】
【００１４】
【図１】図１は、本開示の発明原理による拡張現実起動システムの例示的実施態様を示す。
【図２Ａ−２Ｄ】図２Ａから図２Ｄは、本開示の発明原理による器具識別子の例示的実施態様を示す。
【図３Ａ−３Ｄ】図３Ａから図３Ｄは、本開示の発明原理による起動動作コントローラの例示的実施態様を示す。
【図４】図４は、本開示の発明原理による拡張現実起動方法の例示的実施態様を表すフローチャートを示す。
【図５Ａ−５Ｄ】図５Ａから図５Ｄは、本開示の発明原理による医療器具コンテンツ及び医療器具ホログラムの表示の例示的実施態様を示す。
【図６Ａ−６Ｂ】図６Ａ及び図６Ｂは、本開示の発明原理による撮像医療装置の例示的動作を示す。
【発明を実施するための形態】
【００１５】
本開示の種々の発明の理解を容易にするために、図１の下記の説明は本開示の拡張現実起動システムに関連する基本的発明原理を教示する。この説明から、当業者であれば、本開示の発明原理を本開示の拡張現実起動システムの更なる実施態様を形成及び使用するためにどの様に適用するかを理解するであろう。
【００１６】
図１を参照すると、拡張現実起動システム１０は、医療器具２０及び／又は器具識別子２１に基づく本開示の拡張現実起動方法を実施するために主拡張現実（ＡＲ）装置３０及び起動動作コントローラ４０を使用する。通常、当該拡張現実起動方法は、本開示において更に説明されるように、主ＡＲ装置３０、Ｘ個の医療装置５０のうちの１以上（Ｘ≧１）及び／又は二次拡張現実装置１３０による医療処置動作のためのきっかけとして働く現実世界のカメラ画像内の医療器具２０及び／又は器具識別子２１の物体認識を行う。
【００１７】
依然として図１を参照すると、医療器具２０（例えば、ガイドワイヤ、カテーテル、弁、ステント等）は、本開示において更に例示的に説明されるように、医療器具２０及び／又は器具識別子２１を含む現実世界のカメラ画像内での主拡張現実装置３０による医療器具２０の認識を容易にするために器具識別子２１と関連付けられる。
【００１８】
実際には、器具識別子２１は医療器具２０と、主拡張現実装置３０を介する医療器具２０の認識に適した何らかの態様で関連付けることができる。
【００１９】
一実施態様において、器具識別子２１は、例えば図２Ａに示されるような超音波プローブ２０ａの形状２１ａ又は事前成形されたカテーテルの形状等の、医療器具２０の形状として具現化することができる。
【００２０】
第２実施態様において、器具識別子２１は、例えば図２Ｂに示されるような医療器具２０ｂに取り付けられた器具ラベル２１ｂ等の医療器具２０上に取り付けられた器具ラベルとすることができ、及び／又は、代わりに、器具識別子２１は医療器具２０のパッケージ／収納容器上に取り付けられた器具ラベルとすることができる。実際には、当該器具ラベルは、医療器具２０又は医療器具２０のパッケージ／収納容器の標準的商用ラベル付け又はユーザ作製ラベル付けとすることができる。
【００２１】
第３実施態様において、器具識別子２１は、例えば図２Ｃに示されるような医療器具２０ｃに取り付けられた顧客マーカ２１ｃ等の医療器具２０上に取り付けられた顧客マーカとすることができる。実際には、顧客マーカは医療器具２０を識別する目的でシステム１０の操作者のために作製されたマーカである。
【００２２】
第４実施態様において、器具識別子２１は、例えば図２Ｄに示されるような医療器具２０ｃには取り付けられていない顧客マーカ２１ｄ等の医療器具２０には取り付けられない顧客マーカとすることができる。この実施態様のために、当該顧客マーカは、医療器具２０を撮像、追跡又はナビゲーションするための医療器具２０の作動設定及び／又は医療装置５０の動作設定（例えば、幾何学構造又は医療器具２０を作動させるためのＸ線設定若しくは仮想スクリーン配置設定）を示すグラフィック及びテキストが印された理学手順カードとすることができる。更に詳細には、一群の斯様な理学手順カードを何らかの個々のケースのために事前に印刷することができ、医療処置の適切なステップにおいて技師は、該群の特注理学手順カードをめくり、各カード上のマーカを単に見ることにより当該医療処置の連続する各ステップを経て誘導され得る。
【００２３】
図１に戻ると、各医療装置５０は、本開示の当業技術において既知の医療器具２０の医療器具２０の操作（例えば、作動させ、撮像し、追跡し、ナビゲーションし等）を制御し、及び／又は医療器具２０の操作に関連するように構成される。
【００２４】
一実施態様において、医療装置５０は、医療処置の間に患者の解剖学的構造に対して医療器具２０を撮像し、取り扱い又は監視するための撮像装置（例えば、Ｘ線装置、超音波装置、コンピュータトモグラフィ装置、磁気共鳴撮像装置等）とすることができる。
【００２５】
第２実施態様において、医療装置５０は、医療処置の間に患者の解剖学的構造に対して医療器具２０の位置を追跡するための追跡装置（例えば、電磁追跡装置、光学追跡装置、形状感知追跡装置等）とすることができる。
【００２６】
第３実施態様において、医療装置５０は、医療処置の間に患者の解剖学的構造に対して医療器具２０をナビゲーションするためのロボット装置（例えば、蛇型ロボット、球状ＲＣＭロボット等）とすることができる。
【００２７】
第４実施態様において、医療装置５０は患者の１以上の状態を監視するための監視装置（例えば、心電図モニタ）とすることができる。
【００２８】
依然として図１を参照すると、主拡張現実装置３０は本開示の当業技術において既知のように拡張現実ディスプレイ３１、拡張現実カメラ３２及び拡張現実コントローラ３３を使用する。実際には、１以上の拡張現実アプリケーションに従い、拡張現実コントローラ３３は、本開示の当業技術において既知のように拡張現実カメラ３２の動作を現実世界のカメラ画像を発生するように制御し、更に、拡張現実カメラ３２により発生される現実世界のカメラ画像の表示、現実世界の操作者の視覚又は他の装置（例えば、スマートフォン、タブレット等）により表示される現実世界の表示を介して拡張現実ディスプレイ３１による生の画像ストリームの拡張の表示を制御する。
【００２９】
同様に、二次拡張現実装置１３０は、本開示の当業技術において既知のように拡張現実ディスプレイ１３１、拡張現実カメラ１３２及び拡張現実コントローラ１３３を使用する。実際には、拡張現実コントローラ１３３は、本開示の当業技術において既知のように拡張現実カメラ１３２の動作を現実世界のカメラ画像を発生するように制御し、更に、拡張現実カメラ１３２により発生される現実世界のカメラ画像の表示、現実世界の操作者の視覚又は他の装置（例えば、スマートフォン、タブレット等）により表示される現実世界の表示を介して拡張現実ディスプレイ１３１による生の画像ストリームの拡張の表示を制御する。
【００３０】
本開示において更に例示的に説明されるように、何のＡＲ装置が現実世界のカメラ画像内の医療器具２０及び／又は器具識別子２１の物体認識のために使用されるかを区別する目的のためだけに、拡張現実装置３０は本開示では主として指定される一方、拡張現実装置１３０は本開示では二次として指定されていることに注意されたい。
【００３１】
依然として図１を参照すると、起動動作コントローラ４０は医療器具認識モジュール４１及びＹ個の医療装置起動モジュール４２（Ｙ≧１）を使用する。通常、医療器具認識モジュール４１は本開示において更に例示的に説明されるように拡張現実カメラ３２により発生された現実世界のカメラ画像内の医療器具２０及び／又は器具識別子２１を認識するように構成される一方、各医療装置起動モジュール４２は、本開示において更に例示的に説明されるように、拡張現実カメラ３２により発生された現実世界のカメラ画像内の医療器具認識モジュール４１による医療器具２０及び／又は器具識別子２１の認識に応答して、主拡張現実装置３０、１以上の医療装置５０及び／又は二次拡張現実装置による医療処置動作を起動するように構成される。
【００３２】
一実施態様において、起動動作コントローラ４０は、１以上のシステムバスを介して相互接続されたプロセッサ（又は複数のプロセッサ）、メモリ、ユーザインターフェース、ネットワークインターフェース及び記憶部を含む。
【００３３】
各プロセッサは、メモリ若しくは記憶部に記憶された命令を実行し又はそれ以外でデータを処理することができる、本開示の当業技術において既知の又は以下で想定される任意のハードウェア装置とすることができる。限定するものでない例において、当該プロセッサは、マイクロプロセッサ、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、特定用途向け集積回路（ＡＳＩＣ）又は他の同様のデバイスを含むことができる。
【００３４】
前記メモリは、これらに限定されるものではないがＬ１、Ｌ２若しくはＬ３キャッシュ又はシステムメモリを含む、本開示の当業者において既知の又は以下で想定される種々のメモリを含むことができる。限定するものでない例において、当該メモリはスタチックランダムアクセスメモリ（ＳＲＡＭ）、ダイナミックＲＡＭ（ＤＲＡＭ）、フラッシュメモリ、リードオンリメモリ（ＲＯＭ）又は他の同様のメモリデバイスを含むことができる。
【００３５】
前記ユーザインターフェースは、管理者等のユーザとの通信を可能にするための、本開示の当業技術において既知の又は以下で想定される１以上の装置を含むことができる。限定するものでない例において、該ユーザインターフェースは前記ネットワークインターフェースを介して遠隔端末に提示することができるコマンドラインインターフェース又はグラフィックユーザインターフェースを含むことができる。
【００３６】
前記ネットワークインターフェースは、他のハードウェア装置との通信を可能にするための、本開示の当業技術において既知の又は以下で想定される１以上の装置を含むことができる。限定するものでない例において、該ネットワークインターフェースは、イーサネットプロトコルに従って通信するように構成されたネットワークインターフェースカード（ＮＩＣ）を含むことができる。更に、該ネットワークインターフェースはTCP/IPプロトコルに従う通信のためのTCP/IPスタックを実施化することができる。当該ネットワークインターフェースのための種々の代替的又は付加的ハードウェア又は構成は明らかであろう。
【００３７】
前記記憶部は、これらに限定されるものではないがリードオンリメモリ（ＲＯＭ）、ランダムアクセスメモリ（ＲＡＭ）、磁気ディスク記憶媒体、光記憶媒体、フラッシュメモリ装置又は同様の記憶媒体を含む、本開示の当業技術において既知の又は以下で想定される１以上のマシン読取可能な記憶媒体を含むことができる。種々の限定するものでない実施態様において、該記憶部は前記プロセッサによる実行のための命令又は該プロセッサが演算を行うデータを記憶することができる。例えば、該記憶部は当該ハードウェアの種々の基本動作を制御するための基本オペレーティングシステムを記憶することができる。該記憶部は、本開示において更に説明するように、医療器具認識モジュール４１及び医療装置起動モジュール４２を起動動作コントローラ４０の種々の機能を果たすための実行可能なソフトウェア／ファームウエアの形で記憶する。
【００３８】
実際の場合、起動動作コントローラ４０は主拡張現実装置３０内に、例えば、図３Ａに示されるように主拡張現実装置３０ａ内への起動動作コントローラ４０ａのインストール又は図３Ｂに示されるように主拡張現実装置３０ｂ内への医療器具認識（ＭＴＲ）モジュール４１及び医療装置起動（ＭＴＤ）モジュール（又は複数のモジュール）４２のプログラミング／インストール等の様に、インストールすることができる。
【００３９】
他の例として、起動動作コントローラ４０はワークステーション内に、例えば、図３Ｄに示されるように主拡張現実装置３０との有線／無線接続を有するワークステーション６０ａ内への起動動作コントローラ４０ｂのインストール、又は図３Ｃに示されるように主拡張現実装置３０内への医療器具認識（ＭＴＲ）モジュール４１のプログラミング／インストール及びワークステーション６０ｂ内への医療装置起動（ＭＤＴ）モジュール（又は複数のモジュール）４２のプログラミング／インストール等の様に、部分的に若しくは完全にインストールすることができる。
【００４０】
１以上の医療装置起動（ＭＤＴ）モジュール４２を、医療装置５０内に同時に又は代わりにプログラミング／インストールすることもできる。
【００４１】
本開示の種々の発明の更なる理解を進めるために、図４に関する下記の説明は本開示の拡張現実起動方法に関連する基本的発明原理を教示する。この説明から、当業者であれば、本開示の拡張現実起動方法の更なる実施態様を形成及び使用するために本開示の発明原理をどの様に適用するかを理解するであろう。
【００４２】
図４を参照すると、図４のフローチャートは、図１の医療器具認識モジュール４１及び医療装置起動モジュール（又は複数のモジュール）４２により実行可能な本開示の拡張現実起動方法を表すものである。
【００４３】
図１及び図４を参照すると、フローチャート７０のステージＳ７２はＡＲカメラ３２が現実世界８０のカメラ画像１８０のフィード１３２を発生するステップを含む。任意の所与の時点において、ＡＲカメラ３２は、図示されるように医療器具２０及び器具識別子２１を除く現実世界８０のカメラ画像１８０ａを発生しているか、又は図示されるように医療器具２０及び／又は器具識別子２１を含む現実世界８０のカメラ画像１８０ｂを発生していることがあり得る。
【００４４】
実際の場合、医療器具認識モジュール４１は、本開示の当業技術において既知のように、物体認識技術に従って医療器具２０及び／又は器具識別子２１を含む現実世界８０のカメラ画像１８０ｂ内の医療器具２０及び／又は器具識別子２１を識別するように構成される。
【００４５】
一実施態様において、医療器具認識モジュール４１は、外観ベースの、モデルベースの若しくはフィーチャベースの技術を用いる照合（マッチング）、学習又はパターン認識アルゴリズムに基づく物体認識技術に従ってデジタル画像又はビデオ内の特定の物体を識別するように構成される。このような技術は、特徴抽出及び機械学習モデル、ディープラーニングモデル（例えば、通常のニューラルネットワーク）、単語の袋モデル、勾配ベース及び微分ベースのマッチング方法、テンプレートマッチング、及び／又は画像分割及びブロブ解析を組み込むことができる。
【００４６】
現実世界８０のカメラ画像１８０ｂ内の医療器具２０及び／又は器具識別子２１の認識に応答するものとして、フローチャート７０のステージＳ７４は、各医療装置起動モジュール４２が主拡張現実装置３０、二次拡張現実装置１３０（適用可能なら）及び／又は１以上の医療装置５０による医療処置動作を起動するステップを含む。
【００４７】
実際には、各医療装置起動モジュール４２は、基本プログラミング技術に従って、主拡張現実装置３０、二次拡張現実装置１３０（適用可能なら）及び／又は１以上の医療装置５０の構成（設定）、信号の可能化／不能化（変調されていない及び変調された）及び／又は機能呼び出し（ファンクションコール）を指令するように構成される。
【００４８】
一実施態様においては、図５Ａに例示されるように、医療装置起動モジュール４２は主拡張現実装置３０内に事前に記憶された又は主拡張現実装置３０にモジュール４２若しくは他のコンテンツ源を介して通知された医療器具コンテンツ２２を表示するために主拡張現実装置３０に対してコマンド１４２ａを送出することができる。
【００４９】
実際の場合、医療器具コンテンツ２２は医療器具２０に関する任意のタイプのコンテンツとすることができる。医療器具コンテンツ２２の例は：
１．ＡＲディスプレイ３１上の医療器具のオーバーレイ；
２．医療器具２０の入力フィード；
３．医療器具２０の説明；
４．医療器具２０を操作するための使用説明；
５．医療器具２０に関連する何らかの警告（例えば、期限切れ警告、リコール警告、撮像適合性／非適合性及び患者のタイプの推奨等）；
６．医療器具２０の通常の及び特別な使用ケース、特に、現医療処置に関係する医療器具２０の過去のケースの条件；
７．計画のための医療器具２０に関する検索結果へのリンク（例えば、公開文献、記事、ビデオ等）；及び
８．医療器具２０の価格の表示及び現処置のために一層安価な類似の医療器具が利用可能であるかの指示情報；
を含む。
【００５０】
これらの例に関し、医療装置起動モジュール４２は、更に、在庫管理の目的で現医療処置の間において当該医療器具２０の使用の記録も制御する。
【００５１】
更に、医療装置起動モジュール４２は医療器具コンテンツ２２の聴覚フィードバック情報も供給することができる。
【００５２】
同時に又は代わりに、医療装置起動モジュール４２は二次拡張現実装置１３０内に事前に記憶された又は二次拡張現実装置１３０にモジュール４２若しくは他のコンテンツ源を介して通知された医療器具コンテンツ２２を表示するために二次拡張現実装置１３０に対してコマンド１４２ｂを送出することができ、及び／又は図５Ｃに例示されるように、医療装置起動モジュール４２は医療装置５０内に事前に記憶された又は医療装置５０にモジュール４２若しくは他のコンテンツ源を介して通知された医療器具コンテンツ２２を装置のディスプレイ５１を介して表示するために医療装置５０に対してコマンド１４２ｃを送出することができる。
【００５３】
第２実施態様においては、図５Ｂに例示されるように、医療装置起動モジュール４２は主拡張現実装置３０内に事前に記憶された医療器具ホログラム２３を表示するために又は医療器具ホログラム２３をモジュール４２若しくは他のホログラム源から表示のためにロードするために主拡張現実装置３０に対してコマンド１４２ａを送出することができる。この構成は、患者の解剖学的構造に対する医療器具２０の位置決めの仮想的検査を提供する。
【００５４】
同時に又は代わりに、医療装置起動モジュール４２は、二次拡張現実装置１３０内に事前に記憶された医療器具ホログラム２３を表示するために又は医療器具ホログラム２３をモジュール４２若しくは他のホログラム源から表示のためにロードするために二次拡張現実装置１３０に対してコマンド１４２ｂを送出することができ、及び／又は図５Ｄに例示されるように、医療装置起動モジュール４２は医療装置５０内に事前に記憶された医療器具ホログラム２３を装置のディスプレイ５１を介して表示するために又は医療器具ホログラム２３をモジュール４２若しくは他のホログラム源から表示のために装置のコントローラ５２にロードするために医療装置５０に対してコマンド１４２ｃを送出することができる。
【００５５】
第３実施態様において、医療装置起動モジュール４２は医療装置５０を構成（設定）するためのコマンドを送出することができる。例えば、図６Ａに示されるように、撮像医療装置５０ｃは基本構成５３から医療器具２０に適した特定のプロトコルを含む構成５３’へ再構成することができる。更なる例によれば、バルーンカテーテルの形態の医療器具２０はＸ線撮像装置のＤＳＡ設定を、当該プロトコルを自動的に設定する又はユーザに推奨されたプロトコルを容認するように促すことにより起動することができる。
【００５６】
第４実施態様において、医療装置起動モジュール４２は医療装置５０を或る動作モードから他の動作モードへ切り換えるためのコマンド１４２ｃを送出することができる。例えば、図６Ｂに示されるように、撮像医療装置５０ｄを動作モード５４から動作モード５５へ切り換えることができる。この例に関し、動作モード５４は患者の解剖学的構造に対するカテーテルのナビゲーション及び処置のＸ線撮像を含み得、これによれば、主ＡＲ装置３０を介しての血管閉鎖器具の認識は動作モード５４の完了を示し、このことは、該血管閉鎖器具の配置を容易にするためのＸ線患者テーブルの下降、Ｘ線Ｃアームの待避位置への移動及びＸ線放出器の不能化を含む動作モード５５への切り換えを起動する。
【００５７】
ステージＳ７４の医療装置の起動に続いて、フローチャート７０は終了するか、又は当該医療処置の間に使用される追加の医療器具（又は複数の器具）２０の認識のためにステージＳ７２に戻り得る。
【００５８】
図１に戻ると、実際の場合、モジュール４１及び４２は、本開示において既述したように現実世界のカメラ画像内における医療器具２０及び／又は器具識別子２１の認識に基づいて適切な医療処置動作を起動するように事前に構成（設定）される。代わりに、システム１０の操作者は、本開示において既述したように現実世界のカメラ画像内における医療器具２０及び／又は器具識別子２１の認識に基づいて適切な医療処置動作を起動するようにモジュール４１及び４２を構成することもできる。
【００５９】
一実施態様において、起動動作コントローラ４０は、現実世界のカメラ画像内での医療器具２０及び／又は器具識別子２１の物体認識並びに斯かる物体認識により起動される適切な医療処置動作を記述するために、モジュール４１及び４２の規則を、グラフィック的に又はテキスト的にプログラミングするためのユーザインターフェースを組み込むことができる。
【００６０】
第２実施態様において、起動動作コントローラ４０は特定の医療器具２０を最初に認識するための本開示の当業技術において既知のアプリケーションを組み込むことができ、これによれば、モジュール４１はその後に医療器具２０を認識することができるように構成することができ、モジュール４２は斯様な認識により駆動される適切な医療処置動作を起動するように構成することができる。
【００６１】
第３実施態様において、起動動作コントローラ４０は特定の医療処置の実行の間における動作を記憶するように構成することができ、これによれば、１以上の訓練モデルを主ＡＲ装置３０からの入力、操作者の入力、及び／又は医療器具２０及び／又は医療装置５０に関係する手続的プロトコル及び／又は情報に基づいて開発することができる。当該医療処置の現在の実行の間において、上記訓練モデルの履歴データは、モジュール４２による現実世界のカメラ画像内における医療器具２０及び／又は器具識別子２１の認識に際して起動する適切な医療処置動作並びに斯様な物体認識により起動される適切な医療処置動作の予測を容易にする。
【００６２】
図１〜図６を参照すると、本開示の分野における当業者であれば、これらに限定されるものではないが、拡張現実装置による医療器具の物体認識が該拡張現実装置、医療装置及び／又は追加の拡張現実装置による動作のためのきっかけとして働き、これにより、医療処置のワークフローの如何なる中断も最小にすることを含む数々の利点を理解するであろう。当業者であれば、更に、本開示の発明の非医療システム、方法、器具及び装置への適用可能性も理解するであろう。
【００６３】
更に、当業者であれば理解するように、本明細書で提供される教示に鑑み、本開示／明細書に記載され及び／又は図に記載される構造、要素、部品等は、ハードウェア及びソフトウェアの種々の組み合わせで実施化することができ、単一の要素又は複数の要素に組み合わせることができる機能を提供することができる。例えば、図に示され／図示され／描かれた種々の構造、要素、部品等の機能は、専用のハードウェア及び付加的機能のための適切なソフトウェアとの関連でソフトウェアを実行することができるハードウェアを介して提供することができる。プロセッサにより提供される場合、斯かる機能は単一の専用のプロセッサにより、単一の共有プロセッサにより、又は複数の個別のプロセッサ（これらの幾つかは共有及び／又は多重化することができる）により提供することができる。更に、“プロセッサ”又は“コントローラ”なる用語の明示的使用は、ソフトウェアを実行することができるハードウェアを専ら参照すると見なされるべきではなく、限定無しで、デジタル信号プロセッサ（“ＤＳＰ”）ハードウェア、メモリ（例えば、ソフトウェアを記憶するためのリードオンリメモリ（“ＲＯＭ”）、ランダムアクセスメモリ（“ＲＡＭ”）、不揮発性記憶部等）並びに処理を実行及び／又は制御することができる（及び／又は構成することができる）実質的に如何なる手段及び／又はマシン（ハードウェア、ソフトウェア、ファームウエア及びこれらの組合せ等を含む）も暗黙的に含むことができる。
【００６４】
更に、本明細書における本発明の原理、態様及び実施態様並びにこれらの特定の例を記載する記述は、これらの構造的及び機能的な両方の均等物を含むことを意図するものである。加えて、このような均等物は現在知られている均等物及び将来開発される均等物（例えば、構成に拘わらず同一の又は実質的に同様の機能を果たすことができる何らかの開発された要素）の両方を含むことを意図するものである。このように、例えば、当業者によれば、ここに提供される教示内容に鑑み、ここに提示される如何なるブロック図も本発明の原理を具現化する例示的システム部品及び／又は回路の概念図を表し得ると理解されるであろう。同様に、当業者であれば、ここに提供される教示内容に鑑み、如何なるフローチャート及び流れ図等も、コンピュータ読取可能な記憶媒体内に実質的に表すことができ、従ってコンピュータ、プロセッサ又は処理能力を備える他の装置（斯かるコンピュータ又はプロセッサが明示的に示されているか否かによらず）により実行することができる種々の処理を表すことができると理解すべきである。
【００６５】
本開示の発明の好ましい且つ例示的実施態様（解説的なもので、限定するものでないことを意図するものである）を説明したが、各図を含み、ここに提供された教示内容に照らして当業者により修正及び変形をなすことができることに注意されたい。従って、本開示の好ましい且つ例示的実施態様に対し、ここに開示される実施態様の範囲内に入る変更を行うことができると理解されるべきである。
【００６６】
更に、当該装置／システムを組み込む及び／又は実施化する対応する及び／又は関係するシステム、又は本開示による装置において使用され／実施化されるもの等も、本開示の範囲内に入ると想定され、見なされるものである。更に、本開示による装置及び／又はシステムを製造し及び／又は使用する対応する及び／又は関連する方法も、本開示の範囲内に入ると想定及び見なされるものである。
【図１】
2021501653.tif 000003
【図２Ａ】
2021501653.tif 000004
【図２Ｂ】
2021501653.tif 000005
【図２Ｃ】
2021501653.tif 000006
【図２Ｄ】
2021501653.tif 000007
【図３Ａ】
2021501653.tif 000008
【図３Ｂ】
2021501653.tif 000009
【図３Ｃ】
2021501653.tif 000010
【図３Ｄ】
2021501653.tif 000011
【図４】
2021501653.tif 000012
【図５Ａ】
2021501653.tif 000013
【図５Ｂ】
2021501653.tif 000014
【図５Ｃ】
2021501653.tif 000015
【図５Ｄ】
2021501653.tif 000016
【図６Ａ】
2021501653.tif 000017
【図６Ｂ】
2021501653.tif 000018
【国際調査報告】
2021501653.tif 000019
2021501653.tif 000020