(57)【要約】  外科ナビゲーションシステムが、プロセッサと、ディスプレイとを含む場合がある。プロセッサは、患者の画像、及び、センサによって取得されたセンサデータを受信し、医療用画像を受信し、医療用画像のホログラムを生成し、患者の画像とホログラムとの間のコレジストレーションを実施し、ホログラムを患者の画像上に重ね合わせ、重ね合わせられた画像を表示する場合がある。コレジストレーションは、ユーザの相互作用を介して、手作業で、または、医療用画像内の１つまたは複数の基準と、基準に関するセンサデータとに基づいて自動的に、実施される場合がある。本システムは、環境の変化をモニタリングし、それに応じてディスプレイをアップデートする場合がある。たとえば、本システムは、患者の身体の移動をモニタリングし、臓器が操作下にある際に、患者の臓器のサイズ、または、外科用機器の移動をモニタリングする場合がある。本センサは、ＡＲデバイス内の拡張現実（ＡＲ）センサである場合がある。【選択図】図１
2020522827.tif 000002
【特許請求の範囲】
【請求項１】
プロセッサと、
ディスプレイと、
実行された場合に、前記プロセッサに、
少なくとも患者の身体を含む患者の画像、及び、１つまたは複数の拡張現実（ＡＲ）センサによって取得されたセンサデータを受信することと、
医療用画像を受信することと、
前記医療用画像の表示を生成することと、
変形マトリクスを生成するために、前記患者の画像と、前記医療用画像の前記表示との間のコレジストレーションを実施することと、
前記変形マトリクスに基づき、前記医療用画像の前記表示を前記患者の画像に重ね合わせて、重ね合わせられた画像を形成することと、
前記重ね合わせられた画像を前記ディスプレイ上に表示することと、
を行わせる、プログラミング命令を含むコンピュータ可読非一時的媒体と、を備えたシステム。
【請求項２】
前記コレジストレーションを実施するための前記プログラミング命令が、
前記患者の画像を前記ディスプレイ上に表示することと、
前記医療用画像の前記表示を前記ディスプレイ上に表示することと、
前記医療用画像の前記表示を、前記ディスプレイ上の前記患者の画像に対する位置に移動するためのユーザ入力を受信することと、
前記医療用画像の前記表示と前記患者の画像との間の前記相対位置に基づき、前記変形マトリクスを生成することと、
を行うように構成されたプログラミング命令を含む、請求項１に記載のシステム。
【請求項３】
前記コレジストレーションを実施するための前記プログラミング命令が、
前記医療用画像の前記表示から、１つまたは複数の特徴を抽出することと、
前記センサデータに基づき、容積測定データを生成することと、
前記１つまたは複数の特徴及び前記容積測定データに基づき、前記変形マトリクスを生成することと、
により、自動的に、前記変形マトリクスを生成するように構成されたプログラミング命令を含む、請求項１に記載のシステム。
【請求項４】
前記１つまたは複数の特徴が、基準を含み、
前記センサデータが、前記基準に関する情報を含んでいる、請求項３に記載のシステム。
【請求項５】
前記基準が、前記患者の画像の肌または外側表面である、請求項４に記載のシステム。
【請求項６】
前記基準が、前記患者の前記身体の深層構造、または、前記患者の前記身体に置かれたマーカである、請求項４に記載のシステム。
【請求項７】
前記基準が、動脈、または、前記患者の前記身体の区画間を分ける隔膜である、請求項４に記載のシステム。
【請求項８】
前記１つまたは複数のＡＲセンサの少なくとも１つが、カメラ、３次元（３Ｄ）スキャニングデバイス、または超音波デバイスを含む、請求項１に記載のシステム。
【請求項９】
前記患者の前記身体の変化を判定するように構成された、追加のプログラミング命令をさらに含む、請求項１に記載のシステム。
【請求項１０】
前記追加のプログラミング命令が、
前記患者の前記身体の移動を判定することと、
前記患者の前記身体の前記移動が閾値を超えた場合、前記変形マトリクスをアップデートして、アップデートされた変形マトリクスを生成することと、
を行うように構成されたプログラミング命令を含む、請求項９に記載のシステム。
【請求項１１】
前記変形マトリクスをアップデートするための前記プログラミング命令が、
前記身体の前記移動に関する情報を判定することと、
前記身体の前記移動に関する前記情報に基づき、前記変形マトリクスをアップデートすることと、
を行うように構成されたプログラミング命令を含む、請求項１０に記載のシステム。
【請求項１２】
前記身体の前記移動に関する前記情報が、以前の位置からの前記身体の位置変化を含んでいる、請求項１１に記載のシステム。
【請求項１３】
前記変形マトリクスをアップデートするための前記プログラミング命令が、
アップデートされた患者の画像を受信することと、
前記アップデートされた変形マトリクスを生成するために、前記アップデートされた患者の画像と、前記医療用画像の前記表示との間のコレジストレーションを実施することと、
を行うように構成されたプログラミング命令を含む、請求項１０に記載のシステム。
【請求項１４】
前記医療用画像の前記表示が、ホログラムである、請求項１に記載のシステム。
【請求項１５】
前記身体の前記移動に関する前記情報に基づき、前記医療用画像の前記表示をアップデートすること、
を行うように構成された、追加のプログラミング命令をさらに含む、請求項１１に記載のシステム。
【請求項１６】
前記患者の前記身体が、神経、動脈、または臓器の少なくとも１つを含む、請求項１に記載のシステム。
【請求項１７】
前記追加のプログラミング命令が、
前記患者の前記身体のサイズの変化を判定することと、
前記患者の前記身体の前記サイズの前記変化が閾値を超えた場合、前記変形マトリクスをアップデートして、アップデートされた変形マトリクスを生成することと、
を行うように構成されたプログラミング命令を含む、請求項９に記載のシステム。
【請求項１８】
前記患者の心臓、肺、もしくは臓器の機能を分析すること、または、
脳の浮腫もしくは血液の消失を分析すること
を行うように構成された、追加のプログラミング命令をさらに含む、請求項９に記載のシステム。
【請求項１９】
前記患者の画像が、外科医の手、または、前記外科医の手の中の外科用機器を含む、請求項１に記載のシステム。
【請求項２０】
前記外科医の手または前記外科用機器を、前記医療用画像上に重ね合わせるように構成された、追加のプログラミング命令をさらに含む、請求項１９に記載のシステム。
【請求項２１】
前記外科用機器の位置または形状の変化を判定することと、
前記外科用機器の前記位置または前記形状の前記変化に基づき、前記医療用画像上に前記外科用機器を重ね合わせることと、
を行うように構成された、追加のプログラミング命令をさらに含む、請求項２０に記載のシステム。
【請求項２２】
前記ディスプレイが、ＡＲデバイスのディスプレイである、請求項１に記載のシステム。
【請求項２３】
前記ディスプレイが、ホログラムをレンダリングするように構成されている、請求項２２に記載のシステム。
【請求項２４】
前記ディスプレイが、３Ｄの両目用の視野を表示するように構成されている、請求項２２に記載のシステム。
【請求項２５】
前記ディスプレイが、スケーリング因子により、前記患者の画像の画像を表示するようにさらに構成されており、前記スケーリング因子が１以下である、請求項２２に記載のシステム。
【請求項２６】
少なくとも患者の身体を含む患者の画像、及び、１つまたは複数の拡張現実（ＡＲ）センサによって取得されたセンサデータを受信することと、
医療用画像を受信することと、
前記医療用画像の表示を生成することと、
変形マトリクスを生成するために、前記患者の画像と、前記医療用画像の前記表示との間のコレジストレーションを実施することと、
前記変形マトリクスに基づき、前記医療用画像の前記表示を、前記患者の画像に重ね合わせて、重ね合わせられた画像を形成することと、
前記重ね合わせられた画像を前記ディスプレイ上に表示することと、を含む、方法。
【請求項２７】
前記コレジストレーションを実施することが、
前記医療用画像の前記表示から、１つまたは複数の特徴を抽出することと、
前記センサデータに基づき、容積測定データを生成することと、
前記１つまたは複数の特徴及び前記容積測定データに基づき、前記変形マトリクスを生成することと、
を含む、請求項２６に記載の方法。
【請求項２８】
前記患者の前記身体の移動を判定することと、
前記患者の前記身体の前記移動が閾値を超えた場合、前記変形マトリクスをアップデートして、アップデートされた変形マトリクスを生成することと、
をさらに含む、請求項２６に記載の方法。
【請求項２９】
前記患者の画像の外科用機器の移動を判定することと、
前記外科用機器の前記移動に基づき、前記医療用画像上に前記外科用機器を重ね合わせることと、
をさらに含む、請求項２６に記載の方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本開示は、概して、外科ナビゲーションに関し、また、医学的処置の間の拡張現実（ＡＲ）の使用の実施例が本明細書に開示される。
【０００２】
［関連出願の相互参照］
本出願は、３５Ｕ．Ｓ．Ｃ．§１１９（ｅ）により、２０１７年４月２１日に出願された、「ＳＹＳＴＥＭ，  ＭＥＴＨＯＤ  ＡＮＤ  ＣＯＭＰＵＴＥＲ−ＡＣＣＥＳＳＩＢＬＥ  ＭＥＤＩＵＭ  ＦＯＲ  ＴＨＥ  ＵＳＥ  ＯＦ  ＡＵＧＭＥＮＴＥＤ  ＲＥＡＬＩＴＹ  ＦＯＲ  ＴＨＥ  ＳＵＲＧＩＣＡＬ  ＮＡＶＩＧＡＴＩＯＮ」と題する、米国仮特許出願第６２／４８８，４５２号の優先権の利益を主張する。この出願は、本明細書により、その全体が、参照することによって組み込まれる。
【背景技術】
【０００３】
外科手術の間の主要な課題が、病んだ組織と健全な組織との間の区別である。外科手術における慣習的な処置は、関係のある組織が、健全な組織とは異なっているかを、外科医が視覚的に検査し、肉眼で判定することを必要としている。現在のニューロナビゲーションシステムは、外科手術の前に、患者の身体の部分の画像を取得し、外科手術の間、その画像をスクリーン上に表示し、外科医の器具を、リアルタイムで画像の位置と相関させる。しかし、ニューロナビゲーションシステムは、外科医が、手術中に患者から目を離すことを要する。したがって、既存のシステムには、技術的な問題が存在する。
【発明の概要】
【０００４】
外科ナビゲーションのために拡張現実（「ＡＲ」）を使用するシステムが、医療用共鳴撮像（「ＭＲＩ」）、コンピュータ断層撮影（「ＣＴ」）、超音波（「ＵＳ」）、顕微鏡、または任意の他のデバイスなどから、関係する医療用画像を受信する場合がある。このシステムは、センサ、たとえばＡＲセンサを使用して、環境の変化を検出し、医療用画像を示すホログラムをレンダリングし、環境、たとえば、患者の身体に対してホログラムを配置する場合がある。
【０００５】
様々な異なるデバイスを、ＡＲニューロナビゲーションシステムのためのセンサとして使用することができる。センサの実施例には、超音波、カメラ（ビデオ、ＳＬＲ、赤外など）、または任意の他の３Ｄスキャニングデバイスが含まれる。１つのタイプ、または複数のタイプの、複数のそのようなデバイスは、処置、外科手術、または他の医療上の干渉の間の正確さを向上させるために使用される場合がある。患者の身体に対して画像を配置することは、コレジストレーション（coregistration）を使用して達成することができる。コレジストレーションには、関連する画像及び環境からの情報を使用し、このため、本システムは、この相互情報を使用して、関連する画像を環境に対して配置する場合がある。本システムは、画像からの関連する構造を、現実世界内にホログラムとして表示するか、関連する画像及び対象を、スクリーン上に表示する場合がある。
【０００６】
コレジストレーションは、複数の方法で達成することができる。たとえば、本システムは、関連する医療用画像上に視認可能である患者の肌のホログラフィックレンダリングを使用し、この肌を、ＡＲシステムによって検知された実際の肌と相関させる場合がある。本システムは、ユーザに、患者の身体に対し、肌のホログラフィックレンダリングを手作業で調整することをも可能にする場合がある。追加の基準が、患者の身体に置かれ得、この基準は、医療用画像上に視認可能である場合があるか、ＡＲセンサによって検知することができる。これら基準は、このため、患者に対するホログラムの配置をガイドすることができる。本システムは、３ＤスキャニングをＡＲセンサとして使用する場合もあり、結果として得られる情報は、関連する画像と相関させることができる。これにより、患者の身体に対するホログラムの正確な配置が可能になる。
【０００７】
追加的、及び／または代替的に、本システムは、鮮明度の高い画像を収集すること、及び／または、複数の様式を合わせること、ならびに、拡大したホログラムを形成することにより、関連するエリアの拡大したビューを表示する場合がある。このことは、正確な外科手術を促進する。たとえば、本システムは、他の手段、たとえば、内視鏡検査または腹腔鏡手術などの他の手段による、別のやり方では不可能であるケースでは、両目用の視野を提供する場合がある。異なる対象、臓器、障害、または他の関連するエリアに、異なるように影を付すか色を付して、より容易な識別をさらに補助することができる。
【０００８】
センサからの情報は、全体的に、または局所的に、上述のようにコレジストレーションを実施するために使用することができる。たとえば、全体のコレジストレーションに加え、超音波プローブを身体に挿入して、より良好かつより正確な局所的情報を提供することができる。この局所的情報は、以前の存在する全体的なコレジストレーション上にあるものとして使用できるか、その上にオーバーレイさせることもできる。
【０００９】
いくつかの実施例では、本システムは、たとえば患者の顔上に配置された基準を追跡し、基準の変位及び／または回転に応じて、コレジストレーションをアップデートする場合がある。これにより、患者が、患者の身体の部位、たとえば頭部を、ピン（Ｍａｙｆｉｅｌｄ）内に配置することによって動けなくする必要なく、外科手術を実施することが可能になる。類似の結果を、基準を使用する代わりに顔認識方法を使用することによっても達成することができる。この顔認識方法では、自然の顔の特徴が、基準としての役割を果たす。
【００１０】
本明細書に提供されるシステムは、手術時の撮像デバイスとして使用することができる。たとえば、本システムは、外科的環境の変化をリアルタイムで検出し、現実世界の表示をアップデートする場合がある。このアップデートされた現実世界の表示は、ＭＲＩ上にオーバーレイさせることができ、たとえば、除去された腫瘍の量などの外科手術の進捗の量の評価を補助することができる。
【００１１】
いくつかの実施例では、本システムは、規則的であるか、所望であるか、カスタムのインターバルで、その周囲における、対象のマップ及び構造をアップデートする場合がある。たとえば、外科手術では、処置に起因して、神経が新たな位置に移動され、システムが、神経の移動を検出し、神経のアップデートされた位置を反映するように、最初の医療用画像の上にホログラフィック表示を再配置する場合がある。
【００１２】
この再配置は、最初の医療用画像上にさらに投影することができ、最初の医療用画像は、現在の状況を反映するように、アップデートすることができる。したがって、非限定的な一実施例として、現在の解剖学的構造を反映し、別のＭＲＩを有することを患者に要求することなく、ＡＲセンサとして使用されるデバイスからの情報を使用する、新たなＭＲＩが形成されることになる。
【００１３】
本システムは、身体の内部の臓器の変化を検出する場合もある。たとえば、神経外科手術の間、脳は浮腫性になり得る。本システムは、たとえば、脳のサイズの変化を検出し、変化した脳のサイズを、以前に受信した医療用画像と相関させる場合がある。したがって、脳の浮腫を定量化することができる。本システムは、外科手術の間の血液の消失を検出する場合もある。同様に、対象の形状の画像処理及びアップデートにより、心臓の外科手術の間、リアルタイムの心拍出量及び肺機能に関し、外科医及び他の医療スタッフに伝えることを助けることができる。脳、血液、心臓、及び肺を含む、上で使用された実施例は、代表的な実施例として提供されており、本開示の範囲を限定するものではない。たとえば、本明細書に記載のシステムは、他の身体の臓器にも適用され得る。
【００１４】
いくつかのシナリオでは、本システムは、外科または医療の人員の手、及び、外科手術で使用される任意の器具を、３Ｄスキャナなどの１つまたは複数のＡＲセンサを介して検出する場合がある。手（複数可）及び／または器具は、このため、ＭＲＩ画像、またはホログラム上に、マッピング及び表示され得る。このことは、多くの理由のために、有利である。たとえば、これにより、特別なプローブの必要性を除去するか低減することができる。使用される３Ｄスキャニングデバイスにとっての、器具または人員の手の感度を向上させるために、マッピングを容易にする特別な材料でコーティングされる場合がある。非限定的な実施例として、外科医の手は、感度を向上させる任意の材料でグローブをコーティングすることにより、より感度を高くすることができる。
【００１５】
検出が容易な材料がその内部に構築された特別なポインタも、外科医が、患者の構造をポインティングすることを可能にするために使用することができる。このことは、このため、ポインタを画像またはホログラム上にマッピングする。
【００１６】
本開示のさらなる対象、特徴、及び利点が、本開示の説明的な実施形態を示す添付図面と合わせて取られる、以下の詳細な記載から、明らかとなるであろう。
【図面の簡単な説明】
【００１７】
【図１】図１は、本明細書に記載の実施例に係る、外科ナビゲーションシステムを示す図である。
【図２】図２は、本明細書に記載の実施例に係る、外科ナビゲーションにおいて拡張現実を使用するためのプロセスの実施例を示す図である。
【図３】図３は、本明細書に記載の実施例に係る、マニュアルコレジストレーションのためのプロセスの実施例を示す図である。
【図４】図４Ａ及び図４Ｂは、本明細書に記載のいくつかの実施例に係る、患者の画像上での、患者の頭部の肌、及び、脳のオーバーレイを示す図である。
【図５】図５Ａから図５Ｄは、外科ナビゲーションの実施例を示す図である。
【発明を実施するための形態】
【００１８】
図面を通して、同じ参照符号及び文字は、別様に述べられていない限り、図示の実施形態の同様の特徴、要素、構成要素、または部分を示すために使用される。さらに、本開示が、図面を参照して、ここで詳細に記載されるが、本開示は、説明的な実施形態を参照して詳細に記載され、図面及び添付の特許請求の範囲に示された特定の実施形態によっては限定されない。
【００１９】
図１では、外科システム１００が、拡張現実（ＡＲ）デバイス１０４を含む場合がある。ＡＲデバイス１０４は、１つまたは複数のＡＲセンサ１０６、ディスプレイ１０８、通信ポート１１０、及びプロセッサ１１２を含む場合がある。ＡＲセンサ１０６は、環境、たとえば、患者を含む外科手術室または処置室１０２の変化を記録及び検出する場合がある、デバイス、またはデバイスの組合せである。これらデバイスは、環境内の情報及び画像を取得するように、カメラ（たとえば、赤外、ＳＬＲなど）、既知の場所に置かれた基準、超音波プローブ、または、３次元（３Ｄ）スキャニングが可能である任意の他のデバイスを含む場合がある。ＡＲセンサは、ＡＲ検知デバイスである場合もある。ディスプレイ１０８は、ＡＲセンサ（複数可）または他のセンサから取得された画像を表示する場合がある。ディスプレイ１０８は、ホログラムのレンダリングが可能である場合がある。たとえば、ＡＲデバイス１０４は、ゴーグルを含む場合がある。このゴーグルでは、ホログラムのレンダリングを、現実世界で、またはレンズ上で行うことができる。ホログラムは、スクリーン上の画像のトップのマスクとして表示することもできる。プロセッサ１１２は、特定の機能を実施するように、プログラミング命令を実行する場合がある。たとえば、プログラミング命令は、実行されると、プロセッサに、ＡＲセンサ１０６（複数可）から形成された現実世界に対し、ホログラムを重ね合わせ、これらホログラムを、身体などの現実世界の対象、たとえば患者の頭部との一定の関係性で、現れるようにする。
【００２０】
システム１００は、医療用画像１１４を取得するように構成された、１つまたは複数の撮像モダリティ１１６をも含む場合がある。撮像モダリティには、たとえば、ＭＲＩ、ＣＴスキャン、超音波、顕微鏡、または任意の他のデバイスが含まれる場合がある。医療用画像は、予め記録することができるか、リアルタイムで継続的に取得することができる。医療用画像は、静的画像、または、経時的な画像のシークエンス（たとえば、機能的ＭＲＩ）を含む場合がある。
【００２１】
いくつかのシナリオでは、プロセッサ１１２のためのプログラミング命令が、ＡＲセンサからの、患者の画像などの情報に対し、関連する医療用画像を協同して記録して、医療用画像と患者の画像との間の空間的なマッピングを提供するように構成されている場合がある。プロセッサは、医療用画像の１つまたは複数の特徴を、ＡＲセンサからのセンサデータに相関させることにより、自動的にコレジストレーションを実施する場合がある。代替的には、プロセッサは、ユーザの相互作用に基づき、マニュアルプロセスにおいて、コレジストレーションを実施する場合がある。コレジストレーションの実施例は、本文献でさらに記載される。
【００２２】
医療用画像及び患者の画像がコレジスターされると、本システムは、医療用画像の表示を患者の画像上に重ね合わせることができる。たとえば、医療用画像の表示は、ホログラムである場合がある。表示は、医療用画像自体であるか、ＣＴ画像などの１つまたは複数の医療用画像から構築された３Ｄモデルである場合もある。本システムは、重ねられた医療用画像と患者の画像とを、ディスプレイ１０８にすべて表示する場合がある。この表示は、リアルタイムの環境の場面の、医療用画像の視認を容易にする。非限定的な一実施例として、医療用画像が、頭部のＣＴ画像である場合があり、本システムは、患者の脳のホログラムを構築し、このホログラムを、患者の頭部を含むリアルタイムの画像上に重ねる場合がある。実施例が、図４Ｂに示されている。
【００２３】
図１に戻ると、いくつかのシナリオでは、現実世界の対象と、医療用画像の表示との間の特定の関係が必要ではない場合、コレジストレーションは必要ではない場合がある。たとえば、教示または外科手術のプランニングにおいて、画像は、患者の頭部に明確に重ねて表示する必要はない。いくつかのシナリオでは、対象の拡大したビューが所望である場合（たとえば、外科手術の間）、コレジストレーションも必要とされない場合がある。
【００２４】
いくつかのシナリオでは、ＡＲデバイスのセンサが、外科ＡＲシステム内の医療用画像を取得する場合もある。たとえば、ＡＲセンサは、患者からの画像を得るために使用することができる超音波である場合がある。ＡＲセンサの画像は、複数の目的を果たすことができる。たとえば、ＡＲセンサ画像は、関連する医療用画像としての役割を果たすことができる。ＡＲセンサ画像は、空間的マッピングのためのＡＲデバイスに関する情報を搬送する場合もある。いくつかの非限定的なシナリオでは、ＡＲセンサは、患者の画像に関連するデータを取得する場合もある。たとえば、ＡＲセンサデータは、面、及び、３Ｄ空間内の２次元（２Ｄ）表面を示す頂点、または、患者の身体の部位上の他の基準、もしくはシステムに関係する他のデータを含む場合がある。
【００２５】
様々な方法が、上述のシステムにおいて実施される。図２では、医療用画像の表示を患者の画像に重ね合わせるためのプロセスの実施例が、さらに記載されている。いくつかのシナリオでは、方法は、１つまたは複数のＡＲセンサからのＡＲセンサデータの受信２０２で開始される場合がある。ＡＲセンサデータには、患者の画像、及び／または、患者の画像に関連するセンサデータが含まれる場合がある。本方法は、１つまたは複数の撮像モダリティから医療用画像を受信すること２０６と、医療用画像と患者の画像との間の空間的マッピングを生成するようにコレジストレーションを実施すること２１０と、をも含む場合がある。記録のための準備においては、本方法は、ＡＲセンサからのデータ、たとえば、３Ｄ空間の２次元（２Ｄ）表面を示す面及び頂点に基づき、容積測定データの生成２０４をする場合がある。本方法は、２Ｄ表面を３Ｄマトリクスに変換する場合がある。たとえば、Ｗｉｌｌｉａｍ  Ｅ．Ｌｏｒｅｎｓｅｎ，Ｈａｒｖｅｙ  Ｅ．Ｃｌｉｎｅ：Ｍａｒｃｈｉｎｇ  Ｃｕｂｅｓ：Ａ  ｈｉｇｈ  ｒｅｓｏｌｕｔｉｏｎ  ３Ｄ  ｓｕｒｆａｃｅ  ｃｏｎｓｔｒｕｃｔｉｏｎ  ａｌｇｏｒｉｔｈｍ．Ｉｎ：Ｃｏｍｐｕｔｅｒ  Ｇｒａｐｈｉｃｓ，Ｖｏｌ．２１，Ｎｒ．４，Ｊｕｌｙ  １９８７には、マーチングキューブアルゴリズムが記載されている。他のアルゴリズムも利用可能である場合がある。
【００２６】
いくつかの非限定的なシナリオでは、本方法は、ホログラムなどの、医療用画像の表示を生成すること２０７をさらに含む場合がある。たとえば、本方法は、ＣＴスキャンから、肌（または任意の外部の視認可能な表面）のホログラムを生成する場合がある。患者の肌または任意の外部の視認可能な表面は、コレジストレーションのための基準として適切である場合がある。いくつかのシナリオでは、本方法には、約−１５０Ｈｕの減衰値の、ＣＴスキャンにおける３Ｄ画素をすべて選択することが含まれる場合がある。このことは、除かれる患者の頭部に、関連する３Ｄ画素以外のすべての３Ｄ画素のマスクを与えることになる。任意選択的には、このマスクは、その中に穴を有する場合がある。たとえば、経鼻胃構造、鼻洞、外部の外耳道、及び、通常は空気を包含する他の構造は、同様に除外されている、その内部の空気に対応する３Ｄ画素を有する場合がある。任意選択的には、本方法は、これら穴を充填して、頭部の再構築を向上させる場合がある。
【００２７】
いくつかのシナリオでは、本方法は、画像に３Ｄ操作を行うことによって穴を充填する場合がある。代替的、及び／または追加的に、本方法は、画像の各スライスに２Ｄ操作を行うことによって穴を充填する場合がある。穴を充填するための方法は既知である。たとえば、穴を充填するためのサンプルアルゴリズムが、Ｓｏｉｌｌｅ，Ｐ．，Ｍｏｒｐｈｏｌｏｇｉｃａｌ  Ｉｍａｇｅ  Ａｎａｌｙｓｉｓ：Ｐｒｉｎｃｉｐｌｅｓ  ａｎｄ  Ａｐｐｌｉｃａｔｉｏｎｓ，Ｓｐｒｉｎｇｅｒ−Ｖｅｒｌａｇ，１９９９，ｐｐ．１７３−１７４に記載されている。いくつかのシナリオでは、本方法は、閾値サイズを超える画像の、接続された構成要素を保持することにより、患者の身体の一部、たとえば、頭部ではない、いくつかの小さいエリアを除外する場合がある。いくつかのシナリオでは、本方法は、マスクを調整するために、ユーザからの入力を受信する場合がある。
【００２８】
基準のマスクがセグメント化されると、容積測定データは、頂点及び面に変換され得る。多くの様々なアルゴリズムを、このプロセスのために使用することもできる。代表的なアルゴリズムの１つは、Ｗｉｌｌｉａｍ  Ｅ．Ｌｏｒｅｎｓｅｎ，Ｈａｒｖｅｙ  Ｅ．Ｃｌｉｎｅ：Ｍａｒｃｈｉｎｇ  Ｃｕｂｅｓ：Ａ  ｈｉｇｈ  ｒｅｓｏｌｕｔｉｏｎ  ３Ｄ  ｓｕｒｆａｃｅ  ｃｏｎｓｔｒｕｃｔｉｏｎ  ａｌｇｏｒｉｔｈｍ  Ｉｎ：Ｃｏｍｐｕｔｅｒ  Ｇｒａｐｈｉｃｓ，Ｖｏｌ．２１，Ｎｒ．４，Ｊｕｌｙ  １９８７である。このデータは、対象のホログラムを形成するために使用することができる。
【００２９】
いくつかのシナリオでは、本方法は、表示、たとえば、基準として使用されるもの以外の、関連する対象のホログラムを生成する場合もある。非限定的な一実施例として、本方法は、限定ではないが、脳、腫瘍（複数可）、動脈もしくは複数の動脈、静脈（複数可）、または血腫を含む、患者の身体の部位、状況、または奇形のホログラムを生成する場合がある。基準と、他の関連する対象との間の関係は、ＡＲセンサまたは医療用画像を使用して計算することができる。コレジストレーションの後に、表示を、基準のビュー（たとえば、肌のビュー）から、関連する対象のビュー（たとえば、脳及び血腫のビュー）へと切り換えることができる。
【００３０】
いくつかのシナリオでは、本方法には、医療用画像に関する、外科的な切開部位、及び／または、経路を受信することが含まれる場合がある。本システムは、切開及び経路を、ホログラム、または、それ自体の表示に変換し、実際の切開または経路をガイドする必要がある場合に、外科手術中に、その切開及び経路の表示を示す場合がある。いくつかの実施例では、ホログラムは、患者上に表示される。他の実施例では、ホログラムのレンダリングは、現実世界で、または、ゴーグル上などのレンズ上で行うことができる。
【００３１】
いくつかのシナリオでは、本方法は、医療用画像から１つまたは複数の特徴を抽出すること２０８を含む場合がある。ここで、各特徴は、記録２１０における基準として使用するのに適切である場合がある。たとえば、医療用画像は、ＣＴ頭部画像を含む場合があり、本方法は、肌（または、基準として使用される他の構造）を抽出する場合がある。肌のケースでは、このことは、ボックス２０７を参照して記載したものと同じプロセスによって達成することができる。本方法は、さらに、より良好なコレジストレーションを可能にするために、他の関係しない構造を排除する場合がある。いくつかのシナリオでは、ブロック２０８は、オプションである場合がある。一方、他のケースでは、ブロック２０８は、コレジストレーションの正確さを向上させる助けになる場合がある。
【００３２】
図２をさらに参照すると、コレジストレーション（ブロック２１０）が詳細に記載される。コレジストレーションの実施２１０において、本方法は、コレジストレーションするための医療用画像（たとえば、ＣＴ頭部画像）、及び、患者の頭部に関するＡＲセンサからのデータをも必要とする場合がある。既存の記録アルゴリズムが、利用可能である場合がある。たとえば、強度ベースのコレジストレーションが、利用可能である場合がある。特徴ベースのコレジストレーションアルゴリズムも利用可能である場合がある。
【００３３】
追加的、及び任意選択的には、本方法は、患者の画像と医療用画像との両方に関する、空間的に参照する情報を受信する場合がある。これにより、記録プロセスがより迅速になる。いくつかのシナリオでは、たとえば、その厚さが常に、幅及び長さより大である、ＣＴヘッドにおける３Ｄ画素が等方性ではない場合に、空間的な参照情報が重要である。しかし、ＡＲセンサデータでは、３Ｄ画素は等方性である。空間的参照が、この限定を容易にする助けになる。
【００３４】
いくつかのシナリオでは、たとえば、両方の画像が、最初にＣＴスキャンを使用してスキャンされ、ここで、ＡＲデバイスを使用して検知されている、１つの現実世界の対象、すなわち、患者の頭部から来る場合、本方法は、ブロック２１０に関し、ユークリッド／剛体記録／６自由度の記録を使用する場合がある。
【００３５】
本方法は、さらに、変形マトリクスの生成２１２をする場合がある。この変形マトリクスは、ＡＲセンサデータからの患者の頭部の位置に関して、ホログラムを配置するために使用することができる。ボックス２１０及び２１２のステップが、計算上高価であり得る一方、本方法は、ＡＲデバイスと通信する場合があるコンピュータで実施され得る。たとえば、コンピュータは、ＡＲデバイスの外部にある場合があり、また、ＵＳＢ、ブルートゥース、ＷｉＦｉ、または他の通信プロトコルを使用して、ＡＲデバイスに接続されている場合がある。
【００３６】
コレジストレーションの実施２１０において、本方法は、ＡＲセンサがカメラを含む場合、肌または外側表面など、基準として適切な特徴を使用する場合がある。代替的、及び／または追加的に、他のＡＲセンサ、たとえば超音波が使用される場合、本方法は、他の構造、たとえば頭骨を、コレジストレーションのために選択する場合がある。いくつかのシナリオでは、自動コレジストレーションのための特徴として肌を使用することに加え、本方法は、患者の身体に基準を配置する場合もある。たとえば、基準は、医療用画像を取得する前に患者の身体上に配置することができる。この方法で、医療用画像内の基準情報は、医療用画像を、患者の実際の頭部と相関させるために、使用することができる。基準は、医療用画像の取得の後に配置することもできる。この場合、これら基準は、ＡＲセンサデバイス（複数可）によって検出することができる。このことは、患者の頭部の移動など、環境の変化の検出を容易にする。いくつかのシナリオでは、本方法は、任意の他の３Ｄスキャニングの方法を使用して、医療用画像を患者の身体と相関させる場合がある。
【００３７】
図３を参照すると、記録方法は、ユーザの相互作用を介しての手作業のプロセスを含む場合がある。たとえば、本方法は、患者の画像及びＡＲセンサデータを受信すること３０２と、医療用画像を受信すること３０４と、患者の画像及び、ＡＲデバイス内の医療用画像の表示を示すこと３０６を含む場合がある。たとえば、本方法は、本文献で前述したように、医療用画像に基づき、患者の外側表面または肌のホログラムを生成する場合がある。本方法は、ＡＲデバイスのディスプレイデバイス（たとえば、図１の１０８）上で、環境に対する外側表面／肌のホログラムをレンダリングする場合がある。本方法は、環境に関するいくつかのポイントにおいて、初期化する場合があり、次いで、ユーザが、ホログラムを、ｘ軸、ｙ軸、またはｚ軸に沿って移動及び回転することを可能にし、ユーザがオーバーレイの結果に満足するまで、ユーザの相互作用を受信して、患者の画像と医療用画像のホログラムとをオーバーレイさせる場合がある。本方法は、ユーザの相互作用に基づき、重ね合わせられた画像の表示３１０をする場合がある。
【００３８】
図２に戻ると、記録が完了すると、本方法は、変形マトリクスに基づき、医療用画像の表示の、患者の画像への重ね合わせ２１４、重ね合わせられた画像の、ＡＲデバイスのディスプレイ（たとえば、図１の１０８）上への表示２２６をする場合がある。これにより、外科手術を実施している間、患者の頭部などの実際の対象の状況において同時に、外科医が、医療用画像を直接見ることを可能にする場合がある。
【００３９】
ホログラムの位置、サイズ、及び向きは、ｘ、ｙ、及びｚの座標、回転、ならびに拡縮の値によって判定される。初期化の後に、ユーザは、ホログラム及び患者の顔を、ＡＲデバイスを通して見る場合がある。ユーザは、ｘ、ｙ、及びｚの成分の、回転、拡縮、または位置に関する値を変化させることにより、ホログラムを移動させることができる。このことは、ユーザが、実際の患者の肌上のホログラムのオーバーレイに満足するまで、継続的に行う必要がある。このプロセスにおいて、頭部の形状に関するＡＲセンサからのデータは、必要ではない。代わりに、ユーザは、ホログラムを移動する間、ディスプレイ内の患者の頭部を見ており、それにより、患者の頭部上に適切にオーバーレイされるようになっている。
【００４０】
ＡＲレンダリングデバイスを使用して患者の肌を表示する代わりに、本方法は、スクリーン上または任意の表示モダリティ上に表示することもでき、これにより、ユーザが、現実世界の患者の身体と、以前にセグメント化された肌のマスクとの間の関係を見ることを可能にすることができる。したがって、このことは、次いで、所望である場合は、２つを手作業でコレジストレーションすることを補助するために使用することができる。
【００４１】
図２では、ＡＲセンサとしての役割を果たすか、医療用画像を取得するためのデバイスのいくつか、またはすべてが、患者の身体の内部にあるものとすることができる。たとえば、超音波プローブをその先端に有する血管内カテーテルを、処置の間、血管の内部に配置することができ、プローブから得られたデータは、医療用画像としてと、以下に記載するように、環境の変化を検出する方法との、両方で使用することができる。
【００４２】
図２をさらに参照すると、本方法は、外科手術が行われている間、患者の身体を移動することを可能にする場合がある。このことは、任意のピン、たとえば、Ｍａｙｆｉｅｌｄの頭骨ピンによる制限など、患者を動けなくすることから開放する。いくつかのシナリオでは、本方法は、たとえば、患者の頭部の移動など、環境２１６の変化を検出する場合がある。本方法は、ＡＲセンサ内のカメラなど、複数の異なるデバイスからのデータを使用して、頭部の移動を検出する場合がある。本方法は、複数の超音波プローブから、及び、複数のビデオカメラからの画像を使用して、環境の最終的な表示の解像度を向上させるために、それら画像をコレジストレーションする場合もある。いくつかのシナリオでは、本方法は、外科手術の間の患者の頭部の移動を検出するために、顔認識を使用する場合がある。同様に、本方法は、環境の変化を検出するために、ＡＲ検知デバイスの使用など、３Ｄスキャニングを使用する場合がある。
【００４３】
いくつかのシナリオでは、本方法は、たとえば患者の頭部の移動など、環境の変化が、閾値Ｔ２１８を超えたかを判定する場合がある。たとえば、本方法は、患者の頭部を追跡し、アップデートされた患者の頭部の位置及び回転を提供するために、物体認識を使用する場合がある。対象の追跡は、Ｖｕｆｏｒｉａライブラリ（ｈｔｔｐｓ：／／ｌｉｂｒａｒｙ．ｖｕｆｏｒｉａ．ｃｏｍ／ａｒｔｉｃｌｅｓ／Ｓｏｌｕｔｉｏｎ／Ｈｏｗ−Ｔｏ−Ｕｓｅ−Ｏｂｊｅｃｔ−Ｒｅｃｏｇｎｉｔｉｏｎ−ｉｎ−Ｕｎｉｔｙ）によって提供される方法などの、既存の方法によって行われる場合がある。本方法が、以前の位置に対する環境の変化が閾値を超えたと判定した場合、本方法は、モーション情報２２２を判定する場合がある。たとえば、本方法は、患者の頭部の移動が１ｍｍを超えたこと、または、患者の頭部が１度より大きく回転したことを判定する場合がある。
【００４４】
環境の変化、たとえば、患者の頭部の移動が検出されると、本方法は、変形マトリクス２２４をアップデートする場合がある。たとえば、本方法は、変形マトリクスの、ｘ、ｙ、ｚの回転及び変位の成分を取得する場合があり、次いで、これら成分に、（ボックス２２２で取得された）値の変化を加算して、変形マトリクス２２４をアップデートする。本方法は、コレジストレーション２１０を繰り返すことなく、ボックス２１４及びボックス２２６をさらに繰り返す場合がある。したがって、最初のコレジストレーションは、システムの性能を犠牲にすることなく、図３に示すように、手作業によるものとすることができる。
【００４５】
代替的、及び／または追加的に、本方法は、環境の変化が生じたこと、及び／または、閾値Ｔ２１８を超えたことが判定された後に、アップデートされた患者の画像の受信２２０をする場合がある。たとえば、本方法は、患者の頭部の外側表面に関し、全体の同一なメッシュを得る場合がある。本方法は、ボックス２０４、ボックス２１０、ボックス２１２、ボックス２１４、及びボックス２２６を繰り返す場合がある。換言すると、本方法は、環境の変化、または、基準の位置の変化が検出される毎に、コレジストレーションを繰り返す場合がある。
【００４６】
図２の様々な実施形態が、１つまたは複数のＡＲセンサからの継続的なアップデートを使用して、基準、たとえば、患者の肌または外側の身体の表面、または、患者の身体上／身体内に置かれたカスタムの基準として使用される任意のものを含む、環境の変化を検出する。基準のアップデートされた位置は、関連する画像と相関させることができる。したがって、関連する画像の表示（たとえば、ホログラム）は、患者の頭部の移動とともに移動する。このことは、患者の快適性を向上させる助けになり得、固定のために使用されるデバイスを除去することにより、外科手術のためのさらなる空間を形成する。
【００４７】
いくつかのシナリオでは、図２に記載の方法は、手術時のモニタリングを容易にする場合がある。たとえば、本システムは、ＡＲセンサを使用して、通常の解剖学上の構造の配置の変化を検出する場合がある。たとえば、聴神経腫切除の外科手術の間、顔面神経（第ＶＩＩ脳神経）の識別が、キーとなる重要事項である。解剖学が撮像にマッチすることから、画像のガイダンスにより、神経を最初に配置することができる。側頭骨の穿孔が進むにつれて、神経は、もはやその位置には保持されない。神経が、画像が取得された際に比べ、異なる位置にあり、解剖学的構造が変化したことから、画像は、もはや、正確には神経を識別できない。本システムは、穿孔が行われる際には、解剖学的構造を継続的に検出及びアップデートするために、ＡＲセンサを使用する場合がある。本システムは、神経の位置の変化を検出し、神経が移動する際に、神経のホログラムを移動する場合がある。
【００４８】
いくつかのシナリオでは、本システムは、使用されていた最初のＣＴまたはＭＲＩの画像をアップデートするために、神経のアップデートされた知識を使用する場合もある。したがって、神経の位置がアップデートされたＣＴまたはＭＲＩの画像が、新たなＭＲＩ画像を取得することなく、ＡＲ検知デバイスによって実施された対象の追跡に基づき、利用可能となる。
【００４９】
いくつかのシナリオでは、図２に記載の方法は、解剖学的構造が変更されることから、この解剖学的構造の変化を追跡する場合もある。たとえば、聴神経腫の外科手術の間、骨が除去されることから、本システムは、骨の除去を検出し、（ディスプレイ上、またはホログラムとしての）骨の表示をアップデートする場合がある。このため、このことは、さらに、除去された骨の適切な部分のＣＴまたはＭＲＩの画像をアップデートするために使用され得る。同じことを、腫瘍切除に適用することができる。場合によっては、腫瘍は、人間の目には正常に見えるが、撮像上では、視覚的に異なっている。ＡＲセンサによって検出された、アップデートされたサイズの腫瘍は、画像上にオーバーレイさせることができ、こうして、腫瘍の除去を継続するか否かの、臨床上の決定が高められる。手術時の撮像に関し、聴神経腫の除去が、実施例としてのみ提供されていることに留意されたい。本システムは、同様の方式で、身体の様々な部位の様々な医学的処置に適用される場合がある。
【００５０】
いくつかのシナリオでは、ＡＲ検知デバイスからの継続的なモニタリングを、解剖学上の構造の変化を定量化するために使用することもできる。たとえば、外科手術の間に脳が浮腫性になっている場合、ＡＲセンサは、変化した脳の容量を定量化し、浮腫を概算することができる。同様に、本システムは、環境の表示を継続的にアップデートすることにより、外科手術における血液の消失を定量化し、血液の消失の概算をユーザに対して出力する場合がある。いくつか、または他のシナリオでは、本システムは、心臓周期及び呼吸周期の間、心臓及び／または肺の容量の変化を定量化し、こうして、心臓及び／または肺の機能を測定する場合がある。
【００５１】
いくつかのシナリオでは、本システムは、ＡＲセンサを使用して、たとえば、外科医の手（複数可）及び器具の動きを追跡及び取得する場合がある。本システムは、外科医の手及び基部の位置を追跡し、それらを画像及びホログラムにオーバーレイさせる場合がある。このことは、特別なプローブを使用することなく、ユーザが、器具の位置を、解剖学的構造と相関させることを可能にする。追加的に、特別なプローブが使用される場合もある。任意選択的には、グローブまたは器具は、ＡＲ検知デバイスによる検出が容易である材料でコーティングされている場合がある。したがって、これにより、器具または手の表示を、画像上にオーバーレイさせることができる。
【００５２】
ＡＲセンサ（たとえば、超音波）が、組織のより深い層の変化を検出することが可能である場合、本システムは、ＡＲセンサを使用して、組織の内部の外科用機器の位置を見出す場合もある。器具の静的表示をも、画像上に投影することができる場合であっても、場合によっては、より柔軟なカテーテル及び他の器具、たとえば、深部脳刺激器具のリードが、脳の柔組織を通っていく間に曲がる。本システムは、超音波プローブを使用することにより、脳内のこの曲げを検出し、この曲げを画像上に重ね合わせる場合がある。このことは、外科医に対し、カテーテル、または、深部脳の刺激器具のリードの、最終的な経路及び位置を示す場合がある。
【００５３】
図２に示すボックスには、バリエーションがある場合があり、いくつかは、任意選択的であるか、合わせられる場合があることを理解されたい。いくつかのシナリオでは、本システムは、医療用画像の表示の生成２０７、たとえば、ホログラムの生成をし、患者の画像上に、表示を重ね合わせることなく、ホログラムを表示する場合がある。たとえば、本システムは、ホログラムに基づき、拡大された３Ｄビュー、または、両目用の３Ｄビューを提供する場合がある。いくつかのシナリオでは、たとえば、内視鏡検査外科手術において、カメラが、術野の２Ｄ画像を提供する場合があり、深さは、外科医にとって、スクリーン上では理解することが困難である。３Ｄの両目用のビュー、または、拡大された３Ｄビューを表示することにより、本システムは、外科医が、より良好に環境を理解し、及び／または、患者の身体の構造の細部を見ることを容易にする場合がある。
【００５４】
他の変形形態が、本明細書に記載される。いくつかのシナリオでは、内視鏡／腹腔鏡／気管支鏡のカメラが、視認可能なビューを提供し得るが、本システムは、３Ｄビューを提供するために、内視鏡の先端のＡＲセンサとして使用することができる、超音波プローブなどの、追加のＡＲセンサ（図１の１０６）を含む場合がある。このことは、たとえば、血液がカメラのビューを不明瞭にし得る状況において有用とすることができるが、超音波画像では、外科医は、依然として、血液でカバーされた構造を見ることが可能である。外科手術で出血が生じた場合、本システムは、外科医が、たとえば超音波画像に基づくホログラムにおいて、出血の原因である動脈を識別し、その動脈をクランプすることにより、出血を制御することを可能にする場合がある。このことは、カメラのビューが血液によって不明瞭にされている場合に、ＡＲセンサとしてカメラを使用することによっては可能ではない場合がある。
【００５５】
異なる臓器のホログラムは、色別にすることができるか、異なる材料で形成することができる。影、色、透明度、または反射におけるこの差異は、ユーザに、異なる組織のタイプの間の区別、たとえば、障害と、正常な組織と、血液との区別を容易にする場合がある。
【００５６】
いくつかのシナリオでは、本システムは、医療用画像と、患者の画像との両方に関する身体の部位全体に関し、コレジストレーション（たとえば、図２のボックス２１０）を実施する場合がある。
【００５７】
代替的、及び／または追加的に、本方法は、術野に適切である場合がある、局所的なコレジストレーションを実施する場合がある。たとえば、本システムは、術野で超音波プローブを使用して、術野自体、及びその下の構造、たとえば、動脈の３Ｄビューを形成する場合がある。本方法は、ＡＲ検知デバイスからの超音波における動脈の位置を、撮像モダリティからの医療用画像に相関させることにより、局所的なコレジストレーションを実施する場合がある。このことは、全体のコレジストレーションによってのみ可能であるよりも、正確な障害の位置の特定を促進する。
【００５８】
いくつかのシナリオでは、本システムは、局所的な標識構造を使用して、局所的なコレジストレーションを実施する場合もある。これら標識構造は、外科医によってピッキングされるように、カスタムである場合がある。局所的なコレジストレーションは、図２の様々な実施形態において上述したものと同様の方式で行われる場合がある。たとえば、本方法は、重ね合わせられる局所的なホログラムを患者の画像上に移動することにより、ユーザが、手作業でコレジストレーションを実施することを可能にする場合がある。任意の適切な解剖学上の特徴が、自然の基準として考えられる場合があり、また、コレジストレーションにおいて使用される場合がある。局所的なコレジストレーションは、組織の変形により、全体のコレジストレーションからの投影の正確さが低減されている場合に、有利である場合がある。
【００５９】
コレジストレーションが行われると、肌（または、外側表面、動脈、もしくは、使用される任意の基準）のホログラムは、関連するビュー、たとえば、外科的な切開部位及び経路、血腫、及び／または脳などのビューに切り換えることができる。
【００６０】
本明細書に記載の様々な実施形態が、複数の外科手術を容易にする場合がある。たとえば、図４Ａは、患者自身の実際の頭部の画像の頂部の、患者の頭皮のオーバーレイを示している。このことは、患者の身体の自然の標識構造を、基準として使用する原理を示している。この配置は、本明細書に記載のように、手作業で、または自動的に、達成することができる。ホログラムが完全に、かつ正確に、患者の頭部を覆うと、ビューを、関連する対象、たとえば、図４Ｂの脳に、切り換えることができる。
【００６１】
図５Ａ及び図５Ｂの非限定的な実施例では、患者の頭部のホログラムが示されている。この頭部のホログラムは、このホログラムが正確に、３つすべての次元で、患者の実際の頭部にオーバーレイするまで、移動される。図５Ｃ及び図５Ｄは、硬膜下血腫を暗く示し、脳を明るく示している。このことは、本実施例の「関連する対象」である。関連する対象と基準との間の関係は、使用される医療用画像から既知である。５０２、５０４は、ＣＴ画像を使用して生成された、患者の頭部の外側表面のホログラムの異なるビューである。５０６、５１２は、外科医が切開すると決めた位置である。５０８は、排出される障害（この実施例では、硬膜下血腫）である。５１０は脳である。
【００６２】
本明細書に記載の様々な実施形態が、従来技術のシステムに存在する技術的課題に対する解決策を提供し、また、外科医が、患者から目を離すことなく、そのターゲットを容易に判定することを助けるのに有利である。本開示は、本システムが、現実世界の対象の形状の変化を検出し、その変化に関する情報を、病んだ組織、たとえば腫瘍が、どれだけ残されているかを分析するために、使用する場合がある点で、手術中の撮像を容易にもする。
【００６３】
これにより、患者にＭＲＩを受けさせ、ふたたび撮像し、その画像を以前のＭＲＩと比較して、どれだけの残留物が残されているかを判定する必要性を避けている。このプロセスは、費用が高く、時間がかかる。
【００６４】
本明細書に明確に図示または記載されていないが、多くのシステム、配置、及び処置を考案することが可能である場合があることから、記載の実施形態に対する様々な変形及び変更が、可能である場合があることを理解されたい。たとえば、複数の医療用画像が、コレジストレーションのために使用される場合がある。様々な異なる例示的実施形態は、当業者に理解されるように、互いに合わせて、また、相互交換可能に、使用することができる。
【００６５】
本開示の一態様では、システムは、プロセッサと、ディスプレイと、実行された場合に、プロセッサに、特定の機能を行わせる、プログラミング命令を含むコンピュータ可読非一時的媒体と、を含んでいる。プロセッサは、少なくとも患者の身体を含む患者の画像、及び、１つまたは複数の拡張現実（ＡＲ）センサによって取得されたセンサデータを受信する。プロセッサは、さらに、医療用画像を受信し、医療用画像の表示を生成し、変形マトリクスを生成するために、患者の画像と、医療用画像の表示との間のコレジストレーションを実施する。プロセッサは、さらに、変形マトリクスに基づき、医療用画像の表示を患者の画像に重ね合わせて、重ね合わせられた画像を形成し、重ね合わせられた画像をディスプレイ上に表示する。
【００６６】
代替的、及び／または追加的に、本システムは、患者の画像をディスプレイ上に表示することと、医療用画像の表示をディスプレイ上に表示することと、医療用画像の表示を、ディスプレイ上の患者の画像に対して移動するためのユーザ入力を受信することと、医療用画像の表示と患者の画像との間の相対位置に基づき、変形マトリクスを生成することと、により、手作業でコレジストレーションを実施する。
【００６７】
代替的、及び／または追加的に、本システムは、医療用画像の表示から、１つまたは複数の特徴を抽出することと、センサデータに基づき、容積測定データを生成することと、１つまたは複数の特徴及び容積測定データに基づき、変形マトリクスを生成することと、により、コレジストレーションを自動的に実施する。
【００６８】
代替的、及び／または追加的に、１つまたは複数の特徴には、基準が含まれ、センサデータが、基準に関する情報を含んでいる。
【００６９】
代替的、及び／または追加的に、基準は、患者の画像の肌または外側表面である。
【００７０】
代替的、及び／または追加的に、基準は、患者の身体の深層構造、または、患者の身体に置かれたマーカである。
【００７１】
代替的、及び／または追加的に、基準は、動脈、または、患者の身体の区画間を分ける隔膜である。
【００７２】
代替的、及び／または追加的に、１つまたは複数のＡＲセンサの少なくとも１つは、カメラ、３次元（３Ｄ）スキャニングデバイス、または超音波デバイスを含んでいる。
【００７３】
代替的、及び／または追加的に、本システムは、患者の身体の変化を判定するように構成されている。
【００７４】
代替的、及び／または追加的に、本システムは、患者の身体の移動を判定するように構成されている。患者の身体の移動が閾値を超えた場合、本システムは、変形マトリクスをアップデートして、アップデートされた変形マトリクスを生成する。
【００７５】
代替的、及び／または追加的に、本システムは、身体の移動に関する情報を判定することと、身体の移動に関する情報に基づき、変形マトリクスをアップデートすることと、により、変形マトリクスをアップデートする。
【００７６】
代替的、及び／または追加的に、身体の移動に関する情報は、以前の位置からの身体の位置変化を含んでいる。
【００７７】
代替的、及び／または追加的に、本システムは、アップデートされた患者の画像を受信することと、アップデートされた変形マトリクスを生成するために、アップデートされた患者の画像と、医療用画像の表示との間のコレジストレーションを実施することと、により、変形マトリクスをアップデートする。
【００７８】
代替的、及び／または追加的に、医療用画像の表示は、ホログラムである。
【００７９】
代替的、及び／または追加的に、本システムは、身体の移動に関する情報に基づき、医療用画像の表示をアップデートする。
【００８０】
代替的、及び／または追加的に、患者の身体は、神経、動脈、または臓器の少なくとも１つを含んでいる。
【００８１】
代替的、及び／または追加的に、本システムは、患者の身体のサイズの変化を判定する。患者の身体のサイズの変化が閾値を超えた場合、本システムは、変形マトリクスをアップデートして、アップデートされた変形マトリクスを生成する。
【００８２】
代替的、及び／または追加的に、本システムは、患者の心臓、肺、または臓器の機能を分析するか、脳の浮腫または血液の消失を分析する。
【００８３】
代替的、及び／または追加的に、患者の画像は、外科医の手、または、外科医の手の中の外科用機器を含んでいる。
【００８４】
代替的、及び／または追加的に、本システムは、外科医の手または外科用機器を、医療用画像上に重ね合わせる。代替的、及び／または追加的に、本システムは、外科用機器の位置または形状の変化を判定し、外科用機器の位置または形状の変化に基づき、医療用画像上に外科用機器を重ね合わせる。
【００８５】
代替的、及び／または追加的に、ディスプレイは、ＡＲデバイスのディスプレイである。
【００８６】
代替的、及び／または追加的に、ディスプレイは、ホログラムをレンダリングするように構成されている。
【００８７】
代替的、及び／または追加的に、ディスプレイは、３Ｄの両目用の視野を表示するように構成されている。
【００８８】
代替的、及び／または追加的に、ディスプレイは、スケーリング因子により、患者の画像の画像を表示するように構成されており、スケーリング因子が、１以下である。
【００８９】
本開示の別の態様では、外科ナビゲーションの方法は、少なくとも患者の身体を含む患者の画像、及び、１つまたは複数の拡張現実（ＡＲ）センサによって取得されたセンサデータを受信することと、医療用画像を受信することと、医療用画像の表示を生成することと、変形マトリクスを生成するために、患者の画像と、医療用画像の表示との間のコレジストレーションを実施することと、変形マトリクスに基づき、医療用画像の表示を、患者の画像に重ね合わせて、重ね合わせられた画像を形成することと、重ね合わせられた画像をディスプレイ上に表示することと、を含む。
【００９０】
代替的、及び／または追加的に、本方法は、医療用画像の表示から、１つまたは複数の特徴を抽出することと、センサデータに基づき、容積測定データを生成することと、１つまたは複数の特徴及び容積測定データに基づき、変形マトリクスを生成することと、により、コレジストレーションを実施する。
【００９１】
代替的、及び／または追加的に、本方法は、患者の身体の移動を判定することをも含んでいる。患者の身体の移動が閾値を超えた場合、本方法は、変形マトリクスをアップデートして、アップデートされた変形マトリクスを生成する。
【００９２】
代替的、及び／または追加的に、本方法は、患者の画像の外科用機器の移動を判定することと、外科用機器の移動に基づき、医療用画像上の外科用機器を重ね合わせることと、をも含んでいる。
【００９３】
さらに、本明細書、図面、及びその特許請求の範囲を含み、本開示で使用される特定の用語は、限定ではないが、たとえば、データと情報とを含む、特定の例では、同義語として使用することができる。これら用語、及び／または、互いに同義語とすることができる他の用語を、本明細書で同義語として使用することができるが、そのような用語を同義語として使用しないことを意図することができる場合の例が存在し得ることを理解されたい。さらに、従来技術の知識が、上で、参照することによっては明示的に組み込まれていない範囲において、その全体が、本明細書に明示的に組み込まれる。参照される公表物すべては、それらの全体が、参照することによって本明細書に組み込まれる。
【図１】
2020522827.tif 000003
【図２】
2020522827.tif 000004
【図３】
2020522827.tif 000005
【図４Ａ】
2020522827.tif 000006
【図４Ｂ】
2020522827.tif 000007
【図５Ａ】
2020522827.tif 000008
【図５Ｂ】
2020522827.tif 000009
【図５Ｃ】
2020522827.tif 000010
【図５Ｄ】
2020522827.tif 000011
【国際調査報告】
2020522827.tif 000012
2020522827.tif 000013