(57)【要約】  追跡モードと非追跡モードの両方で動作するように構成されたデュアルモード拡張現実手術システムは、患者の光学ビューを提供し、受け取ったデータコンテンツを光学ビューの上部に注入して、患者の拡張現実ビューを形成するように構成され、患者に対するビューの角度及び方向だけではなく、外科医の位置も決定するように構成された内部追跡手段を含むヘッドマウントディスプレイを含む。システムは、１つ以上のプロセッサ、１つ以上のコンピュータ可読有形記憶装置、及び１つ以上のプロセッサの少なくとも１つによる実行のために１つ以上の記憶装置の少なくとも１つに記憶されるプログラム命令を含む拡張現実コンピューティングシステムをさらに含む。【選択図】図１
2020533681.tif 000002
【特許請求の範囲】
【請求項１】
拡張現実手術システムであって、
患者の光学ビューを提供し、前記光学ビューの上部に受け取ったデータコンテンツを注入して前記患者の拡張現実ビュー形成するように構成されたヘッドマウントディスプレイと、
１つ以上のプロセッサ、１つ以上のコンピュータ可読有形記憶装置、及び前記１つ以上のプロセッサの少なくとも１つによる実行のために前記１つ以上の記憶装置の少なくとも１つに記憶されたプログラム命令を備える拡張現実コンピューティングシステムであって、前記プログラム命令が、
複数のデータソースから複数のデータコンテンツを受け取るための第１のプログラム命令と、
定義されたレイアウトに従って前記複数のデータコンテンツを統合し、前記統合された複数のデータコンテンツを前記ヘッドマウントディスプレイに通信して、前記患者の拡張現実ビューを形成するための第２のプログラム命令と、
前記複数のデータコンテンツと対話する要求を示す対話制御データを受け取るための第３のプログラム命令と、
前記統合された複数のデータコンテンツを更新し、前記更新した統合された複数のデータコンテンツを前記ヘッドマウントディスプレイに通信することによって、前記受け取った対話制御データに基づいて前記患者の前記拡張現実ビューをリアルタイムで操作するための第４のプログラム命令と
を備える、前記拡張現実コンピューティングシステムと
を備える、拡張現実手術システム。
【請求項２】
前記複数のデータコンテンツが、ライブビデオストリーム、ＳＮＡＰ  ３Ｄ患者モデル、及び患者健康記録の少なくとも１つを含む、請求項１に記載のシステム。
【請求項３】
前記対話制御データが、前記複数のデータコンテンツを繰り返し切り替え、前記患者の前記拡張現実ビューで視聴される前記複数のデータの少なくとも１つを選択する要求を表すデータを含む、請求項１に記載のシステム。
【請求項４】
前記対話制御データが、前記複数のデータコンテンツの前記コンテンツをナビゲートする要求を含む、請求項１に記載のシステム。
【請求項５】
前記拡張現実手術システムが、追跡モード又は非追跡モードの１つで動作するように構成され、
前記ヘッドマウントディスプレイが、前記患者に対するビューの角度及び方向だけではなく、外科医の位置も決定するように構成された内部追跡手段を備え、
前記プログラム命令が、前記拡張現実手術システムが追跡モードで動作している間に、前記追跡手段から追跡情報を受け取るため、及び前記統合された複数のデータコンテンツを更新し、前記更新した統合された複数のデータコンテンツを前記ヘッドマウントディスプレイに通信することによって、前記受け取った追跡情報に基づいて前記患者の前記拡張現実ビューをリアルタイムで自動的に操作するための第５のプログラム命令をさらに含む
請求項１に記載のシステム。
【請求項６】
前記第５のプログラム命令が、前記患者のＳＮＡＰ  ３Ｄモデルを含むデータコンテンツを前記患者の前記光学ビューと自動的に且つリアルタイムで位置合わせし、前記患者の前記拡張現実ビューを形成するようにさらに構成される、請求項５に記載のシステム。
【請求項７】
前記追跡手段が、前記患者上の相対マーカを認識し、前記相対マーカを使用して、前記患者に対するビューの角度及び方向だけではなく、外科医の位置も決定するように構成されたカメラを備える、請求項５に記載のシステム。
【請求項８】
前記対話制御データを生成するための対話制御手段をさらに備え、前記対話制御手段が、ＨＭＤに組み込まれたコントローラ、フットペダル、及び音声認識技術の１つを備える、請求項１に記載のシステム。
【請求項９】
前記複数のデータコンテンツが、前記患者に対して処置を実行する外科医の手又はツール、又はその組合せの少なくとも１つのライブビデオフィードを含み、前記第４のプログラム命令が、前記ライブビデオフィードを前記患者の前記光学ビューと自動マージし、前記患者の前記拡張現実ビューを形成するようにさらに構成される、請求項１に記載のシステム。
【請求項１０】
１つ以上のコンピュータ可読有形記憶装置、及び前記１つ以上の記憶装置の少なくとも１つに記憶されるプログラム命令を備えるコンピュータプログラム製品であって、前記プログラム命令が、
複数のデータソースから複数のデータコンテンツを受け取るための第１のプログラム命令と、
定義されたレイアウトに従って前記複数のデータコンテンツを統合し、前記統合された複数のデータコンテンツをヘッドマウントディスプレイに通信して、前記患者の拡張現実ビューを形成するための第２のプログラム命令と、
前記複数のデータコンテンツと対話する要求を示す対話制御データを受け取るための第３のプログラム命令と、
前記統合された複数のデータコンテンツを更新し、前記更新した統合された複数のデータコンテンツを前記ヘッドマウントディスプレイに通信することによって、前記受け取った対話制御データに基づいて前記患者の前記拡張現実ビューをリアルタイムで操作するための第４のプログラム命令と
を備える、コンピュータプログラム製品。
【請求項１１】
前記複数のデータコンテンツが、ライブビデオストリーム、ＳＮＡＰ  ３Ｄ患者モデル、及び患者健康記録の少なくとも１つを含む、請求項９に記載のコンピュータプログラム製品。
【請求項１２】
前記対話制御データが、前記複数のデータコンテンツを繰り返し切り替え、前記患者の前記拡張現実ビューで視聴される前記複数のデータコンテンツの少なくとも１つを選択する要求を表すデータを含む、請求項９に記載のコンピュータプログラム製品。
【請求項１３】
前記対話制御データが、前記複数のデータコンテンツの前記コンテンツをナビゲートする要求を含む、請求項９に記載のコンピュータプログラム製品。
【請求項１４】
前記コンピュータプログラム製品が、追跡モード又は非追跡モードの１つで動作するように構成され、
前記プログラム命令が、追跡モードで動作している間に前記ヘッドマウントディスプレイに組み込まれた追跡手段から追跡情報を受け取るため、及び前記統合された複数のデータコンテンツを更新し、前記更新した統合された複数のデータコンテンツを前記ヘッドマウントディスプレイに通信することによって、前記受け取った追跡情報に基づいて前記患者の前記拡張現実ビューをリアルタイムで自動的に操作するための第５のプログラム命令をさらに含む
請求項９に記載のコンピュータプログラム製品。
【請求項１５】
前記追跡手段が、前記患者上の相対マーカを認識し、前記相対マーカを使用して、前記患者に対するビューの角度及び方向だけではなく、外科医の位置も決定するように構成されたカメラを備える、請求項１３に記載のコンピュータプログラム製品。
【請求項１６】
拡張現実手術方法であって、
複数のデータソースから複数のデータコンテンツを受け取るステップと、
定義されたレイアウトに従って前記複数のデータコンテンツを統合し、前記統合された複数のデータコンテンツをヘッドマウントディスプレイに通信して、患者の拡張現実ビューを形成するステップと、
前記複数のデータコンテンツと対話する要求を示す対話制御データを受け取るステップと、
前記統合された複数のデータコンテンツを更新し、前記更新した統合されたデータコンテンツを前記ヘッドマウントディスプレイに通信することによって、前記受け取った対話制御データに基づいて前記患者の前記拡張現実ビューをリアルタイムで操作するステップと
を含む、方法。
【請求項１７】
前記受け取った対話制御データに基づいて前記患者の前記拡張現実ビューをリアルタイムで操作する前記ステップが、前記複数のデータコンテンツを繰り返し切り替えること、及び前記患者の前記拡張現実ビューで視聴される前記複数のデータコンテンツの少なくとも１つを選択することを含む、請求項１５に記載の方法。
【請求項１８】
前記受け取った対話制御データに基づいて前記患者の前記拡張現実ビューをリアルタイムで操作する前記ステップが、前記複数のデータコンテンツの前記コンテンツをナビゲートすることを含む、請求項１５に記載の方法。
【請求項１９】
追跡モードに切り替える命令を受け取るステップと、
前記患者に対するビューの角度及び方向だけではなく、外科医の位置も決定するステップと、
追跡情報を受け取るステップと、
前記統合された複数のデータコンテンツを更新することによって、前記受け取った追跡情報に基づいて前記患者の前記拡張現実ビューをリアルタイムで自動的に操作するステップと、
前記更新した統合された複数のデータコンテンツを前記ヘッドマウントディスプレイに通信するステップと
をさらに含む、請求項１５に記載の方法。
【請求項２０】
追跡モードと非追跡モードの両方で動作するように構成されたデュアルモード拡張現実手術システムであって、
患者の光学ビューを提供し、前記光学ビューの上に受け取ったデータコンテンツを注入して、前記患者の拡張現実ビューを形成するように構成され、前記患者に対する角度及び方向だけではなく、外科医の位置も決定するように構成された内部追跡手段を備えるヘッドマウントディスプレイと、
１つ以上のプロセッサ、１つ以上のコンピュータ可読有形記憶装置、及び前記１つ以上のプロセッサの少なくとも１つによる実行のために前記１つ以上の記憶装置の少なくとも１つに記憶されるプログラム命令を備える拡張現実コンピューティングシステムであって、前記プログラム命令が、
複数のデータソースから複数のデータコンテンツを受け取るための第１のプログラム命令と、
定義されたレイアウトに従って前記複数のデータコンテンツを統合し、前記統合された複数のデータコンテンツを前記ヘッドマウントディスプレイに通信して、前記患者の拡張現実ビューを形成するための第２のプログラム命令と、
前記複数のデータコンテンツと対話する要求を示す対話制御データを受け取るための第３のプログラム命令と、
前記統合された複数のデータコンテンツを更新し、前記更新した統合された複数のデータコンテンツを前記ヘッドマウントディスプレイに通信することによって、前記受け取った対話制御データに基づいて前記患者の前記拡張現実ビューをリアルタイムで操作するための第４のプログラム命令と、
前記デュアルモード拡張現実手術システムが追跡モードで動作している間に前記追跡手段から追跡情報を受け取るため、及び前記統合された複数のデータコンテンツを更新し、前記更新した統合された複数のデータコンテンツを前記ヘッドマウントディスプレイに通信することによって、前記受け取った追跡情報に基づいて前記患者の前記拡張現実ビューをリアルタイムで自動的に操作するための第５のプログラム命令と
を備える拡張現実コンピュータシステムと
を備える、デュアルモード拡張現実手術システム。
【発明の詳細な説明】
【技術分野】
【０００１】
関連出願の相互参照
本願は、２０１７年９月９日に出願され、本明細書に参照により援用される米国特許出願第１５／６９９，６８６号の利益を主張する。
【背景技術】
【０００２】
外科処置は、多くの場合複雑であり、時間的制約があり、ある患者から別の患者で範囲が変わる場合がある。例えば、動脈瘤修復の場合、修復の点は、正確な場所、大きさ等に応じて、処置の要件に関して異なる場合がある。したがって、処置の効率はきわめて重大であり、患者固有の局部形状及び手術が実行されている領域の物理的特性に基づいた詳細な計画が基本である。新しい水準の術前の準備を達成するために、３次元のＣＴ及びＭＲＩの画像がますます活用されている。しかしながら、それらの画像は、単独では外科手術のリハーサルに小さい利点しか提供しない。さらに、外科手術の前に又は外科手術の間に患者の固有生体構造を学習するための既存の技術は、患者にとって侵襲的である場合がある。
【０００３】
参照により本明細書に援用される、米国特許第８，３１１，７９１号に以前に説明された外科手術のリハーサル及び準備のツールは、静止した医用画像を、医療処置をリアルタイムでシミュレーションするために医師が使用できる動的で対話型の多次元全球体仮想現実、六（６）自由度モデル（「ＭＤ６ＤＭ」）に変換するために開発された。
【０００４】
ＭＤ６ＤＭは、医師が、全球体仮想現実環境において介入を経験し、計画し、実行し、ナビゲートすることを可能にするグラフィカルシミュレーション環境を提供する。特に、ＭＤ６ＤＭは、固有の多次元モデルを使用し、ナビゲーションする能力を外科医に与える。該多次元モデルは、従来の２次元患者医療スキャンから構築され、完全な体積球体仮想現実モデル内で球体仮想現実６自由度（つまり、線形、ｘ、ｙ、ｚ、及び角度、ヨー、ピッチ、ロール）を提供する。
【０００５】
ＭＤ６ＤＭは、ＣＴ、ＭＲＩ、ＤＴＩ等を含む医用画像の患者自身のデータセットから構築され、患者固有である。Ａｔｌａｓデータ等の代表的な脳モデルは、外科医がそのように所望する場合、部分的に患者に固有のモデルを作成するために統合される場合がある。モデルは、ＭＤ６ＤＭ上の任意の点から３６０°の球体ビューを提供する。ＭＤ６ＤＭを使用すると、視聴者は生体構造の内部に仮想現実的に配置され、あたかも自分が患者の体内に立っているかのように解剖学的構造と病理学的構造の両方を見て、観察することができる。視聴者は、肩越しに見上げる、見下ろす等行うことができ、互いに対して自然な構造を、まさに自然な構造が患者内で発見されるように見る。内部構造間の空間的な関係性は保たれ、ＭＤ６ＤＭを使用し、認識することができる。
【０００６】
ＭＤ６ＤＭのアルゴリズムは医用画像情報を採取し、それを球体モデル、つまり解剖学的構造の内部を「飛行」しながら任意の角度から視聴できる完全連続リアルタイムモデルの中に組み込む。特に、ＣＴ、ＭＲＩ等が実際の生体を撮影し、それを、数千の点から構築された数百の薄いスライスに分解した後、ＭＤ６ＤＭは、内部と外部の両方からそれらの点のそれぞれの３６０°のビューを表すことによって生体を３Ｄモデルに戻す。
【０００７】
一例では、医師は、ＭＤ６ＤＭで利用可能な情報を活用し、手術室（ＯＲ）の内部で実際の外科手術中にそれを使用することを望む場合がある。しかしながら、外科医はすでに処置中に手術室内で顕微鏡又は内視鏡を使用している場合がある。したがって、医師にとって顕微鏡又は内視鏡から目を離し、ＭＤ６ＤＭ又は他のタイプの患者スキャン若しくはデータを見ることは非効率的で、注意を逸らし、時間がかかる場合がある。さらに、すでに込み合った手術室内で患者のスキャン及びＭＤ６ＤＭ等のモデルを視聴するために追加の設備及びシステムを含めることは、実際的又は可能ではない場合がある。
【０００８】
参照により本明細書に援用されるＰＣＴ特許出願第ＰＣＴ／ＵＳ２０１６／０５６７２７号に記載された拡張現実外科ナビゲーションシステムは、医師が、実在の物理的な患者の上部にリアルタイムで、拡張現実ビュー内で物理的な患者を追跡する仮想患者モデルを視聴することを可能にするために開発された。しかしながら、患者ビューを追跡し、拡張現実ビュー内で仮想モデルの位置合わせをすることは、システムが必ずしも利用できるとは限らない場合がある病室内の外部追跡機構に頼る場合がある。特に、係る外部追跡機構を実装するのは、高価で時間がかかり、実際的ではない場合がある。さらに、医師は、限られた空間及び操作性を有する場合がある室内で作業しながら、外科処置中に他のシステムから利用可能な追加の情報を活用するために追加の柔軟性及び能力を所望する場合がある。
【０００９】
さらに、医師は、効果的であるために手術中にいくつかのソースからの情報に頼る必要がある場合がある。しかしながら、手術中に患者に集中したままであることは外科医にとって重大である場合があり、手術中に係る他の情報に集中するために患者から目をそらすことは不便である、困難である、又は実際的ではない場合がある。
【発明の概要】
【００１０】
拡張現実手術システムは、患者の光学ビューを提供し、光学ビューの上部に受け取ったデータコンテンツを注入して患者の拡張現実ビューを形成するように構成されたヘッドマウントディスプレイを含む。システムは、１つ以上のプロセッサ、１つ以上のコンピュータ可読有形記憶装置、及び１つ以上のプロセッサの少なくとも１つによる実行のために１つ以上の記憶装置の少なくとも１つに記憶されたプログラム命令を含む拡張現実コンピューティングシステムをさらに含む。プログラム命令は、複数のデータソースから複数のデータコンテンツを受け取るための第１のプログラム命令、定義されたレイアウトに従って複数のデータコンテンツを統合し、統合された複数のデータコンテンツをヘッドマウントディスプレイに通信して患者の拡張現実ビューを形成するための第２のプログラム命令、複数のデータコンテンツと対話する要求を示す対話制御データを受け取るための第３のプログラム命令、及び統合された複数のデータコンテンツを更新し、更新した統合された複数のデータコンテンツをヘッドマウントディスプレイに通信することによって、受け取った対話制御データに基づいて患者の拡張現実ビューをリアルタイムで操作するための第４のプログラム命令を含む。
【００１１】
コンピュータプログラム製品は、１つ以上のコンピュータ可読有形記憶装置、及び１つ以上の記憶装置の少なくとも１つに記憶されたプログラム命令を含む。プログラム命令は、複数のデータソースから複数のデータコンテンツを受け取るための第１のプログラム命令、定義されたレイアウトに従って複数のデータコンテンツを統合し、統合された複数のデータコンテンツをヘッドマウントディスプレイに通信して患者の拡張現実ビューを形成するための第２のプログラム命令、複数のデータコンテンツと対話する要求を示す対話制御データを受け取るための第３のプログラム命令、及び統合された複数のデータコンテンツを更新し、更新した統合された複数のデータコンテンツをヘッドマウントディスプレイに通信することによって、受け取った対話制御データに基づいて患者の拡張現実ビューをリアルタイムで操作するための第４のプログラム命令を含む。
【００１２】
拡張現実手術方法は、複数のデータソースから複数のデータコンテンツを受け取るステップ、定義されたレイアウトに従って複数のデータコンテンツを統合し、統合された複数のデータコンテンツをヘッドマウントディスプレイに通信して患者の拡張現実ビューを形成するステップ、複数のデータコンテンツと対話する要求を示す対話制御データを受け取るステップ、及び統合された複数のデータコンテンツを更新し、更新した統合された複数のデータコンテンツをヘッドマウントディスプレイに通信することによって、受け取った対話制御データに基づいて患者の拡張現実ビューをリアルタイムで操作するステップを含む。
【００１３】
追跡モードと非追跡モードの両方で動作するように構成されたデュアルモード拡張現実手術システムは、患者の光学ビューを提供し、光学ビューの上部に受け取ったデータコンテンツを注入して、患者の拡張現実ビューを形成するように構成され、患者に対するビューの角度及び方向だけではなく、外科医の位置も決定するように構成された内部追跡手段を含むヘッドマウントディスプレイを含む。システムは、１つ以上のプロセッサ、１つ以上のコンピュータ可読有形記憶装置、及び１つ以上のプロセッサの少なくとも１つによる実行のために１つ以上の記憶装置の少なくとも１つに記憶されたプログラム命令を含む拡張現実コンピューティングシステムをさらに含む。プログラム命令は、複数のデータソースから複数のデータコンテンツを受け取るための第１のプログラム命令、定義されたレイアウトに従って複数のデータコンテンツを統合し、統合された複数のデータコンテンツをヘッドマウントディスプレイに通信して、患者の拡張現実ビューを形成するための第２のプログラム命令、複数のデータコンテンツと対話する要求を示す対話制御データを受け取るための第３のプログラム命令、統合された複数のデータコンテンツを更新し、更新した統合された複数のデータコンテンツをヘッドマウントディスプレイに通信することによって、受け取った対話制御データに基づいて患者の拡張現実ビューをリアルタイムで操作するための第４のプログラム命令、及び拡張現実手術システムが追跡モードで動作している間に追跡手段から追跡情報を受け取るため、及び統合された複数のデータコンテンツを更新し、更新した統合された複数のデータコンテンツをヘッドマウントディスプレイに通信することによって、受け取った追跡情報に基づいて患者の拡張現実ビューをリアルタイムで自動的に操作するための第５のプログラム命令を含む。
【００１４】
そのうちのすべてではないが、いくつかが、本明細書でより詳細に以下に説明される追加の例の実施形態も提供される。
【００１５】
特許又は出願ファイルは、白黒で作成された少なくとも１枚の写真を含む。白黒写真図面を有するこの特許又は特許出願公報のコピーは、要求時及び必要な料金の支払い時に当局により提供される。添付図面では、以下に提供される発明を実施するための形態とともに、特許請求の範囲に記載された本発明の例示的な実施形態を説明する構造が示される。類似する要素は、同じ参照番号で識別される。単一の構成要素として示される要素が、多数の構成要素で置換される場合があり、多数の構成要素として示される要素が、単一の構成要素で置換される場合があることが理解されるべきである。図面は原寸に比例しておらず、特定の要素の割合は、説明のために誇張される場合がある。
【図面の簡単な説明】
【００１６】
【図１】本明細書に開示される改善策とともに使用できる例のＳＮＡＰシステムを活用するための例のシステム構造及びインタフェースを示すブロック図を示す図である。
【図２】例のＳＮＡＰシステムのための例のＳＮＡＰツール構成要素を示すブロック図を示す図である。
【図３】例のＳＮＡＰシステムのための例のソフトウェアインタフェースを示すブロック図を示す図である。
【図４】例の拡張現実手術システムを示す図である。
【図５Ａ−５Ｃ】ＨＭＤを介した例の拡張現実ビューを示す図である。
【図６】例の拡張現実ビューを示す図である。
【図７】例の拡張現実手術システムのブロック図を示す図である。
【図８】例の拡張現実手術方法を示す図である。
【図９】例のヘッドマウントディスプレイ（ＨＭＤ）を示す図である。
【図１０】図４の例のＡＲＳコンピューティングシステムを実装するための例のコンピュータの概略図である。
【発明を実施するための形態】
【００１７】
以下の頭字語及び定義は、発明を実施するための形態を理解する上で役に立つ。
【００１８】
ＡＲ−拡張現実−音、ビデオ、又はグラフィックス等のコンピュータにより生成された感覚要素によりその要素が強化された物理的な現実世界環境のライブビュー。
【００１９】
ＶＲ−仮想現実−さまざまな程度で人が探索し、対話することが可能な３次元のコンピュータにより生成された環境。
【００２０】
ＨＭＤ−ヘッドマウントディスプレイ（図９）は、ＡＲ環境又はＶＲ環境で使用できるヘッドセットを指す。ＨＭＤは有線である場合もあれば、無線である場合もある。また、ＨＭＤは、ヘッドフォン、マイク、ＨＤカメラ、赤外線カメラ、ハンドトラッカー、位置トラッカー等の１つ以上のアドオンを含む場合もある。
【００２１】
光学ビュー−ＡＲ  ＨＭＤなしで観察されるであろう同じビューに同等の、任意のデータコンテンツが注入される前のＡＲ  ＨＭＤを通して観察される通過ビュー。
【００２２】
コントローラ−ボタン及び方向コントローラを含む場合があるデバイス。コントローラは有線である場合もあれば、無線である場合もある。このデバイスの例はＸｂｏｘゲームパッド、ＰｌａｙＳｔａｔｉｏｎゲームパッド、Ｏｃｕｌｕｓタッチ等である。
【００２３】
セグメンテーション−デジタル画像を複数のセグメント（ピクセルの集合）に区分化するプロセス。セグメンテーションの目標は、画像の表現を、分析がより有意義且つ容易であるなにかに簡略化及び／又は変更することである。
【００２４】
クリッピング−内部構造を「スライス単位で」明らかにするために、視野角に垂直にモデル化された生体構造の層（一度に１つの事前に設定された厚さ）を削除するプロセス。層は、外側／遠位から内側／近位方向で削除される。
【００２５】
ＳＮＡＰケース−ＳＮＡＰケースは、ＤＩＣＯＭファイルフォーマットで患者の１つ以上のスキャン（ＣＴ、ＭＲ、ｆＭＲ、ＤＴＩ等）を使用し、作成された３Ｄテクスチャ又は３Ｄオブジェクトを指す。また、ＳＮＡＰケースは、特定の範囲をフィルタにかけ、他を３Ｄテクスチャで着色するためのセグメンテーションの異なるプリセットも含む。また、ＳＮＡＰケースは、関心のある特定の点又は生体構造をマーキングするための３Ｄ形状、３Ｄラベル、３Ｄ測定マーカ、誘導のための３Ｄ矢印、及び３Ｄ手術ツールを含む、シーンに配置された３Ｄオブジェクトを含む場合もある。手術ツール及び手術デバイスは、特に動脈瘤クリップのサイズを適切に決定するための教育、及び患者固有のリハーサルのために、モデル化されている。
【００２６】
シーン−３Ｄテクスチャ及びその中の３Ｄオブジェクトを含む、３Ｄ仮想空間を指す。
【００２７】
アドオンセンサ−仮想経験を強化するために、現実の環境からより多くの情報を受け取ることを可能にするデバイス。例えば、Ｍｉｃｒｏｓｏｆｔ  Ｋｉｎｅｃｔ、Ｌｅａｐ  Ｍｏｔｉｏｎ。
【００２８】
ＭＤ６ＭＤ−多次元全球体仮想現実、６自由度モデル。ＭＤ６ＤＭは、医師が、全球体仮想現実環境において介入を経験し、計画し、実行し、ナビゲートすることを可能にするグラフィカルシミュレーション環境を提供する。
【００２９】
開示されたシステムは、手術室の技術と統合して高度な３Ｄ機能及び拡張現実を提供する例の手術グラフィカルツール（ＳＮＡＰ）等のモデリングシステムに実装され、外科医が自分の手術遂行を強化し、事前に準備できるようにする。ＳＮＡＰツールは、他の用途の中でも特に、例えば脳腫瘍を取り除き、血管異常を治療するための最も安全且つ最も効率的な経路を決定するために、脳外科医に比類のない仮想現実誘導を提供する。
【００３０】
ＳＮＡＰツールは、例えばキーホール及び他の低侵襲技術のために開頭術、頭部位置、病変に至る経路アプローチの３Ｄ計画をインポートする。ＳＮＡＰは、外科医が予想される外科医の視点を事前に確かめることを可能にする。
【００３１】
ＳＮＡＰツールを用いて、外科医は、手術室内で特定の患者の実際のＣＴ／ＭＲＩ（及び他の）スキャンを利用しながら手術を実行することができ、精度及び効率の強化を可能にする。また、ＳＮＡＰは、外科医が、画像を外科医にとってより有用にするために修正できる回転可能な３Ｄフォーマットで、動脈及び他の重大な構造の背後を見ることを可能にする革新的な機能も提供する。例えば、ＳＮＡＰは、外科医が手術を視覚化するのを支援するために、画像を回転させる又は半透明にする能力を提供する。ＳＮＡＰは、外科医が「患者固有の」手術の現実の「フライスルー」を実行できるようにする高度な画像化技術を利用する。ツールは、手術室外で準備支援を提供し、処置中に外科医（及び外科医のスタッフが）使用するための手術室自体への事前に計画された経路をとるためにも利用できる。
【００３２】
ＳＮＡＰは、ＯＲ術中のトレースナビゲーションシステムに接続することによって、手術ツール、ナビゲーションプローブ、顕微鏡焦点等のトレース座標を得る。ＳＮＡＰは、状況認識の強化を遅延させる３Ｄナビゲーションモデルを提供する。ＳＮＡＰは、係る情報を収集するように構成されるこれらの手術ツールのいずれかから画像又は追跡／ナビゲーション情報を受け取ることができ、ＳＮＡＰシステムは、外科医に表示された高解像度画像を受け取った情報に対応させるために係る情報を使用できる。例えば、ＳＮＡＰ画像は、表示された画像内のツールの場所を追跡する、又は例えばツールにより提供される視覚情報に基づいて画像を更新する可能性がある。
【００３３】
ＳＮＡＰ近接警告システムは、地面又は他の障害物への近接を引き起こす可能性のある近接及び／操縦について航空機乗務員に警告する、地上近接警告システム（ＧＰＷＳ）及び空中衝突回避システム（ＡＣＡＳ）、地形衝突回避システム（ＴＣＡＳ）、並びに航空機の他の同様のシステムと同様の方法で動作する。ＳＮＡＰ近接警告システムは、動作し、以下の主要な段階を含む。
【００３４】
ＳＮＡＰ近接警告システムは、外科医が避ける必要がある解剖学的構造を自動的にマーキングできる。係る解剖学的構造は、ファイバートラッキング、神経、血管、動脈等を含む場合がある。−ＳＮＡＰ近接警告システムは、３Ｄ又は２Ｄナビゲーションシーンの中にマーケットを手作業で配置することを可能にする。それらのマーケットは、避ける障害物及び解剖学的構造をマーキングする、又は外科医がナビゲーションする先の標的をマーキングするのどちらかを行うことができる。配置されているあらゆるマーカは、ラベルを付ける、特定の色、特定の形状等を有する場合がある−ＳＮＡＰ近接警告システムの警告の表示は、視覚的（例えば、色の変化）、声（音）、及び他である場合がある。
【００３５】
ＳＮＡＰは、軌道を作成することを可能にできる。進入点をマーケティングし、次いでこの進入点を上記のマーカ／標的と関連付けることによって、ＳＮＡＰは、進入点から標的へのナビゲーションを可能にする軌道を作成する。−ＳＮＡＰ経路プランナーは、外科医がいくつかのマーカ、標的、及び進入点を接続し、経路を作成することを可能にする。複数の経路を作成できる。経路は、たどるための所望されるルート又は回避する経路である場合がある。
【００３６】
ＳＮＡＰは、外科医に視覚的なグラフィック誘導を提供する。外科医が移動を誘導されたマーカの範囲内に維持する限り、外科医はＡ点からＢ点へ（進入点から標的へ）正確に達する。ツールは、機関（例えば、病院）及び機関のそれぞれの外科医に手術のエラーを削減し、手術の廃棄物の量及び関連費用を減らし、手術室時間を短縮し、処置の高リスク性質を最小限に抑える機会を与える。ツールは、脳神経外科訓練の高い質を維持するための、及び教育を手術室外にもたらすための機会を提供する。手術技能のためのハルステッド訓練は、大量、多岐にわたる症例、及び病院でのほぼ無限の常駐時間に依存する。最近の進展により、ハルステッドシステムは再考を余儀なくされた。ハルステッドシステムに対する最近の一連の圧力は、労働時間の制限、公衆の監視の強化、及び手術経験の削減を含む。
【００３７】
ツールを使用するリハーサルは、後に続く処置及び調整の必要を削減できる。例えば、ツールが動脈瘤手術のために使用されるとき、ツールの使用が動脈瘤クリップの調整又は置換の必要性を削減できる。クリップの調整及び置換は、通常、一時的な閉塞の延長及び全体的に長い処置時間を生じさせる場合がある。これは、全体的な処置のリスクを増す場合がある。
【００３８】
当業者により理解されるように、本明細書に開示される実施形態の例は、方法、システム、コンピュータプログラム製品、又は上記の組み合わせとして実現されてよい、又は方法、システム、コンピュータプログラム製品、又は上記の組み合わせを概して利用してよい。したがって、実施形態のいずれも完全にハードウェアの実施形態、ハードウェア上での実行のための（ファームウェア、常駐ソフトウェア、マイクロコード等を含む）完全にソフトウェアの実施形態、又は本明細書で「システム」と概して呼ばれる場合があるソフトウェアの態様及びハードウェアの態様を組み合わせる実施形態の形をとる場合がある。さらに、実施形態のいずれも、媒体で具現化されるコンピュータ使用可能プログラムコードを有するコンピュータ使用可能記憶媒体上のコンピュータプログラム製品の形をとる場合がある。
【００３９】
例えば、本明細書に開示される特徴は、図１に図示されるように、（手術室内に等の）病院の環境に設けられたネットワーク化されたコンピュータシステム１を使用し、実装される場合がある。このシステムは、外科医２０が、多様な手術スタッフ２２に支援されて患者５を手術する外科手術の環境に設けられる場合がある。係るシステム１は、コンピュータネットワーク１２を使用し、互いにネットワーク化される１つ以上のデータベース１５Ａ〜１５ｎからのデータにアクセスする１つ以上のサーバ（例えば、ＰＣ）１０Ａ〜１０ｎを統合する。システムは、本明細書に説明する機能及び他の特徴を実装するために提供されたプロプライエタリソフトウェアを実行する。１つ以上のコンピュータ２０は、コンピュータ１８とツールとの間のインタフェースとして１つ以上のコンピュータバス又はネットワーク３０を使用し、コンピュータ（複数の場合がある）２０に接続された手術プローブ／カメラ３２、他の手術ツール３４、及び／又は他の設備３６等の多様な手術ツールとインタフェース接続するために使用できる。一部の状況では、コンピュータ１８、サーバ１０、及びデータベース１５のすべてが単一のサーバプラットフォームに収容される可能性があることに留意されたい。
【００４０】
システムは、外科医が多様なツール３２、３４、及び３６の動作及び活動を監視できる高解像度３Ｄディスプレイ４０に接続される。一部の場合では、ディスプレイは３Ｄ機能を有さない場合がある。さらに、以下に説明される例のヘッドマウントディスプレイ（ＨＭＤ）は、外科医及び／又は外科医の助手に現実的な画像を提供するために利用できる。１つ以上の係るディスプレイは、インターネット等の通信ネットワークを介した接続を通して等、手術場所から遠隔に設けられる場合がある。
【００４１】
システムは、以前に入手された患者の利用可能なＣＴ画像及びＭＲＩ画像から作成された画像、及び（そのうちの一部又はすべてが、例えば医療データベース、実験室、又は他のソース等の外部実体から入手される場合がある）患者の年齢、性別等のシミュレーションされたモデルに関する他の情報を含む患者の画像化詳細を含む、患者固有のパラメータ７で構成される。システムは、組織及び器官の特徴を記述するシステムデータベース（複数の場合がある）から入手された組織情報パラメータを利用する。システムは、所望される場合、インターネット等の通信ネットワーク５０を介して１つ以上の外部実体６０と対話するように構成できる。
【００４２】
任意の適切なコンピュータ使用可能（コンピュータ可読）媒体は、開示されるプロセスを実現するための、及び開示されるデータ及び情報を記憶するためのコンピュータの１つ以上での実行用のソフトウェアを記憶するために利用されてよい。コンピュータ使用可能媒体又はコンピュータ可読媒体は、例えば電子、磁気、光学、電磁、赤外線、又は半導体のシステム、装置、デバイス、又は伝搬媒体であるが、これに限定されない場合がある。コンピュータ可読媒体のより具体的な例（包括的ではないリスト）は以下、つまり１本以上のワイヤを有する電気的接続、ポータブルコンピュータディスケット、ハードディスク、ランダムアクセスメモリ（ＲＡＭ）、読取り専用メモリ（ＲＯＭ）、消去可能プログラマブルＲＯＭ（ＥＰＲＯＭ又はフラッシュメモリ）、コンパクトディスクリードオンリーメモリ（ＣＤＲＯＭ）、又は他の有形光学記憶装置若しくは磁気記憶装置等の有形媒体、又はインターネット若しくはイントラネットをサポートする媒体等の伝送媒体を含むであろう。コンピュータ使用可能媒体又はコンピュータ可読媒体は、例えば光学スキャン又は磁気スキャンにより例えばプログラムを電子的に取り込み、次いでコンパイル、解釈、若しくはそれ以外の場合必要に応じ適切な方法で処理し、次いで任意の許容可能なタイプのコンピュータメモリに記憶することのできる別の媒体を含む場合もあるであろうことに留意すべきである。
【００４３】
本書の文脈では、コンピュータ使用可能媒体又はコンピュータ可読媒体は、命令実行システム、プラットフォーム、装置、若しくはデバイスによる使用のためのプログラム、又は命令実行システム、プラットフォーム、装置、若しくはデバイスと接続するプログラムを含む、記憶する、通信する、伝搬する、若しくは輸送することができる任意の媒体であってよく、該命令実行システム、該プラットフォーム、該装置、又は該デバイスは、１つ以上のプログラム可能なプロセッサ／コントローラ（複数の場合がある）若しくは専用のプロセッサ／コントローラ（複数の場合がある）を含む任意の適切なコンピュータ（又はコンピュータシステム）を含む場合がある。コンピュータ使用可能媒体は、ベースバンドで、又は搬送波の一部としてのどちらかで、コンピュータ使用可能媒体により具現化されたコンピュータ使用可能プログラムコードを有する伝搬されたデータ信号を含んでよい。コンピュータ使用可能プログラムコードは、インターネット、ワイヤライン、光ファイバケーブル、無線周波数（ＲＦ）、又は他の手段を含むが、これに限定されるものではない任意の適切な媒体を使用し、伝送されてよい。
【００４４】
例の実施形態の操作を実施するためのコンピュータプログラムは、ＢＡＳＩＣ、Ｌｉｓｐ、ＶＢＡ、若しくはＶＢＳｃｒｉｐｔ等のインタープリタ型言語若しくはイベント駆動型言語、又はビジュアルベーシック等のＧＵＩ実施形態、ＦＯＲＴＲＡＮ、ＣＯＢＯＬ、若しくはＰａｓｃａｌ等のコンパイル型プログラミング言語、Ｊａｖａ、ＪａｖａＳｃｒｉｐｔ、Ｐｅｒｌ、Ｓｍａｌｌｔａｌｋ、Ｃ＋＋、Ｏｂｊｅｃｔ  Ｐａｓｃａｌ等のオブジェクト指向スクリプト言語若しくはオブジェクト指向非スクリプト言語、Ｐｒｏｌｏｇ等の人工知能言語、Ａｄａ等のリアルタイム埋め込み型言語、又はラダーロジックを使用するより直接的若しくは簡易化されたプログラミング、アセンブラ言語、又は適切な機械言語を使用し直接的にプログラムすることを含むが、これに限定されるものではない任意のコンピュータ言語を使用し、従来の手段により作成されてよい。
【００４５】
コンピュータプログラム命令は、コンピューティングデバイス若しくは（図１の例のシステム１によって記述されるような）コンピューティングシステム、又は他のプログラマブルデータ処理装置に、特定の方法で機能するように指示できるコンピュータ可読メモリに記憶又はそれ以外の場合ロードされてよく、これによりコンピュータ可読メモリに記憶された命令は本明細書に指定する機能／行為を実装する命令手段を含む製造品を作り出す。
【００４６】
ソフトウェアは、汎用コンピュータのプロセッサ、特殊目的コンピュータ若しくは特殊目的コントローラ、又は本明細書に説明されるようにカスタマイズされた他のプログラム可能データ処理装置若しくは構成要素を含む場合がある実行デバイス又は構成要素に提供されることにより実行される特殊化されたコンピュータプログラム命令を含み、これにより特殊化されたコンピュータプログラムの命令は、実行時、本明細書に指定する機能／行為を実装するための手段を作成する。したがって、カスタマイズされたソフトウェアのコンピュータプログラム命令は、一連の演算を実行デバイス若しくは構成要素、又は他のプログラム可能装置で実行させて、命令が、本開示に指定される機能／行為を実装するためのステップをコンピュータ又は他のプログラム可能装置上で実行するように、コンピュータ実装プロセスを作り出すために使用される。本発明の任意の数の例の実施形態を実施するために、これらのステップ又は行為は、オペレータ又は人間により実装されるステップ又は行為、及び他の構成要素又は装置により提供されるステップ又は行為と結合されてよい。また、カスタマイズされたソフトウェアは、所望されるように、コンピュータオペレーティングシステム、データベースプラットフォーム（例えば、ＭｙＳＱＬ）又は他のＣＯＴＳソフトウェア等の多様な市販のソフトウェアを利用してもよい。
【００４７】
「外科ナビゲーションアドバンスドプラットフォーム」（ＳＮＡＰ）と呼ばれる例のシステムの場合、実在の患者の医用画像は、動的で対話型の３Ｄシーンに変換される。この動的で対話型の画像／モデルは、医用画像の新しい新規の独創的な基準を作成し、多くの応用例を有する。
【００４８】
ＳＮＡＰは、外科医（脳外科医他）、医者、及び彼らの助手に、例えば腫瘍（例えば、脳他）を取り除き、血管異常のような異常を治療するために最も安全且つ最も効率的な経路を決定するための比類のない仮想現実誘導を提供する。「外科ナビゲーションアドバンスドプラットフォーム」（ＳＮＡＰ）は、スタンドアロンシステム若しくは手術ナビゲーションシステムのアプリケーションとして使用される場合もあれば、サードパーティナビゲーションシステムが使用される処置のタイプのためのサードパーティナビゲーションシステムとともに使用される場合もある。これらの処置は、脳、脊髄、及び耳鼻咽喉（ＥＮＴ）を含むが、これに限定されるものではない。
【００４９】
ＳＮＡＰは、外科医が手術前に固有の患者の症例を分析し、計画し、次いでその計画を手術室（ＯＲ）に持ち込み、手術中にそれをナビゲーションシステムと併せて使用することを可能にする。ＳＮＡＰは、次いで複数の視点で、ナビゲーションデータを、高度で対話型の高品質３Ｄ画像に提示する。
【００５０】
ＳＮＡＰは、実際には、外科処置の（異なる／多数の視点からの）リアルタイムで動的な多数の視線ビューを提示する医療画像化装置を含む画像誘導手術システムである。画像は、（ＣＴ、ＭＲＩ、超音波、Ｘ線等のスキャンに基づいた）スキャン医用画像、及び手術器具を含む。また、画像は、ビデオ形式顕微鏡又は他のソースに基づいたリアルタイムビデオ及びモデルも含んでよい。ＳＮＡＰは、外科医にリアルタイムの３Ｄ対話型誘導画像を提供する。解剖学的構造（つまり、頭、脳、膝、肩等）の向きは、物理的な／患者の画像とスキャン医用画像（ＣＴ、ＭＲＩ、超音波、Ｘ線等）の両方でマーキングされ、事前登録されてよい。したがって、スキャン医用画像の向き及び手術中の患者の実際の解剖学的構造が同期され、位置合わせされる。
【００５１】
さらに、上記の事前登録されたマーカは、手術器具及びＯＲ顕微鏡（及び／又は外科医の頭）を追跡し、したがって、スキャンされた医用画像に関連して手術器具画像／モデルを空間内に提示することを可能にするための球体基準を提供する。
【００５２】
２Ｄ又は３Ｄでの患者の解剖学的構造、並びに手術器具の位置及び向きは、リアルタイムで同期され、解剖学的構造に対する空間内での器具及びマーカのリアルタイムの場所及び向きとともに外科医に提示されてよい。
【００５３】
ＳＮＡＰシステムは、多数のスキャンされたデータセットを有するケースを作成することができる。内蔵された「融合」モードは、ユーザが、一次データセットとして機能する１つのデータセットを選択し、一次スキャンデータセットに位置合わせされる（「融合される」）二次データセットを加えることを可能にする。
【００５４】
ＳＮＡＰシステムは、独自のクリップ機能も有する。任意の平面ＩＧ立方体クリッピングは、ユーザが、任意の所望される角度から３Ｄモデルを「クリップ」し、基本的にモデルの中に切り込み、モデルの内部を露呈するためにセクションを削除することができる機能である。クリッピング平面は、それにより３Ｄモデルが「クリッピングされる」平面であり、平面は２つの変数―平面法線（ベクトル）及び平面位置（平面が通過する空間内の点）―により定義される。
【００５５】
さらに、ＳＮＡＰシステムは、シーン内の３Ｄ移動要素に対して任意の平面ＩＧ立方体クリッピングを従属させることを理解している。立方体クリッピング平面は、法線及び位置により定義されるので、シーン内の移動要素を使用してこれをユーザのために定義することができる。要素は、ナビゲーションプローブ、３Ｄコントローラ（Ｏｍｎｉ）、廊下、ＩＧ視点（アイカメラ）等である。
【００５６】
別の機能は変換機能である。ＳＮＡＰシステムは、「組織固有の強度」を表示する特別な能力を有する。元のデータセットスライスが収集され、積み重ねられて、ピクセルの立方体、つまりボクセルキューブと呼ぶものを再構築する。３Ｄモデルは、ボクセルの立方体体積である。変換機能は、各ボクセル強度値を色及び不透明度にマッピングするために使用される。そのようにして、組織の強度を制御し、外科医が、自分が通常見ることができないものを見ることを可能にする。この革新的な機能は、外科医が動脈及び他の重大な構造の背後、つまり現在まで見ることができない何かを見ることを可能にする。
【００５７】
ＳＮＡＰは、同じ画面又は多数の画面に１つ又は多数のウィンドウを提示できる。ＳＮＡＰの機能及び応用例、多数の機能の例は、画面上に並べてアクティブにできる。
【００５８】
典型的なＳＮＡＰシステム構成は、以下の主要な構成要素、つまり（１）可動性のためのシステム搭載カート、（２）医療グレード絶縁変圧器、（３）Ｍｉｃｒｏｓｏｆｔ  Ｗｉｎｄｏｗｓ  ７オペレーティングシステムを実行するパーソナルコンピュータ（又はサーバ）、（４）高品質グラフィックス用のハイエンドｎＶＩＤＩＡグラフィックスアダプタ、（５）２７’’インチ又は３２’’インチフルＨＤタッチスクリーンディスプレイ、（６）医療グレードのキーボード及びマウス、並びに（７）本明細書に説明する機能を実装するためのＳＮＡＰソフトウェアアプリケーションから成る。係るシステムは図２のブロック図により示され、タッチスクリーンモニタ７１を含む例の可動カート取付けＳＮＡＰシステム７０はＰＣ７２及び電源システム７３で構成され、そのすべてを手術室内に設けることができる。例のシステム７０は、例の画像誘導手術（ＩＧＳ）システム等の手術室内に設けられたナビゲーションシステム７５に接続される。ＳＮＡＰシステム７０は、ナビゲーションシステムの動作をフォローする高解像度の現実的な３Ｄ画像を表示できるように、ＳＮＡＰシステム７０は画像誘導手術（ＩＧＳ）システムからデータを受信し、手術中の特定の患者の画像に基づくＳＮＡＰ高解像度画像化機能でナビゲーションシステムの操作機能及び表示機能を効果的に強化する。
【００５９】
外科ナビゲーションアドバンスドプラットフォーム（ＳＮＡＰ）は、ＣＴ又はＭＲ医療スキャナから出力ファイルへの画像化情報の転送のためのソフトウェアインタフェース及び画像セグメンテーションシステムとしての使用を意図される。組織セグメンテーションウィンドウは、ケースを作成するために組織セグメンテーションを編集し、更新するために提供される。組織セグメンテーションの変化は、３Ｄ画像に反映され、結果はケースファイルの一部として保存できる。また、ＳＮＡＰは、外科治療オプションをシミュレーションする／評価するための術前ソフトウェアと術中ソフトウェアの両方としても意図される。外科ナビゲーションアドバンスドプラットフォーム（ＳＮＡＰ）は、外科治療オプションをシミュレーションする／評価するための術前及び術中ツールである。
【００６０】
システムは、通常、手術室のために適応できるＥＭＣ免疫を提供し、ナビゲーション、入力、及び画像操作のためのタッチスクリーン操作を利用する。システムは、所望されるようにシステムにロードできるケースファイルを使用し、個々の患者ケースを記憶できる。外科医は、スキャンされた情報（例えば、ＭＲ、ＣＴ  ＤＩＡＣＯＭ画像データファイル）及び特定の患者の患者データを使用し、ゼロからケースを作成できる。これらのケースは、所望されるように編集し、更新できる。編集ウィンドウは、画像及びファイルを編集し、操作するために使用できる。
【００６１】
患者画像化ツール又は他の診断ツール又は実験室入力に基づいて患者固有のモデルとオーバレイできる多様な器官及び組織の総称的なモデルが提供される場合がある。したがって、特に関心のない組織又は他の特徴について、システムは、意図される治療に患者固有の情報が必要とされない総称的なモデル（例えば、眼又は他の器官）を使用できる。
【００６２】
外科ナビゲーションアドバンスドプラットフォーム（ＳＮＡＰ）は、リアルタイムナビゲーションデータとともに、患者固有の動的で対話型の３Ｄモデルを表示する。ナビゲーションセッションを実行するとき、ツールは、患者の目に見える構造（つまり、鼻の先端、耳たぶ）を指し、触れ、ＳＮＡＰ画面上のポインタが３Ｄモデル内の同じ場所を指していることを検証することによって、（ＳＮＡＰ高解像度ディスプレイに設けられた）ＳＮＡＰナビゲーションポインタ場所の精度を検証するために使用できる。
【００６３】
図３は、ＳＮＡＰツールによって提供される画像を生成するソフトウェアモジュールにより駆動される一次処理ルーチンの例を示す。画像生成器１１０は、一般組織画像、患者固有画像等のデータベース１１５に記憶される情報を使用し、ディスプレイ１６０での表示のために現実的な組織画像を生成する。画像生成器１１０は、各セグメント（影テクスチャ等）の視覚表現を割り当て、機械的な特性及び他のモデリング機能が現実的な画像を提供する。
【００６４】
同様に、ユーザツールジェネレータは、画像生成器により生成される組織画像と動的に対話して表示される手術ツールの現実的な画像を生成する。手術環境では、ディスプレイ１６０に表示されるツール画像は、実際の手術ツールインタフェース１４０を表してよく、その表現は、例えば画像生成器１１０又はユーザツールジェネレータ１２０による表示のために生成される場合があるであろう。手術ツールインタフェースは、画像生成器１１０により生成される組織画像と動的に対話してよい。再び、ツール画像についての仕様及び詳細はデータベース１１５に記憶されてよい。ディスプレイ１６０は、タッチスクリーンディスプレイである場合があるため、ディスプレイ１６０は、キーボード、マウス、又は他の入力装置等の他のデバイスとともにユーザインタフェース１３０の機能を果たしてよいことに留意されたい。また、ディスプレイ１６０は、外科医及び／又は他の参加者に現実的な視覚画像を提供するためにディスプレイ１６０の一部としてヘッドマウントディスプレイを含んでよい。
【００６５】
また、ＳＮＡＰツールは、システムが、ナビゲーション又は他の機能を外科医に提供する他の外部システムにインタフェース接続できるようにする外部システムインタフェース１５０も提供し、これによりＳＮＡＰツールは外部システムの出力と一貫性のある画像を生成することができ、例えばナビゲーションをミラーリングする又は外部システム（複数の場合がある）の動作に基づいて画像化を更新することができる。ＳＮＡＰツールは、次いで統合されたビューを、グラフィックツールと対話する高解像度の３Ｄ画像で外科医に提供するためにその表示画像を適切に更新できる。
【００６６】
手術ツール及び他のオブジェクトが外科医により選択されると、手術ツール及び他のオブジェクトは、ディスプレイ１６０により表示される仮想手術シーンに統合され、現実的な視覚的な特徴及び機械的特性を含むシミュレーションされたシナリオの統合された要素に変わり、例えば表示されたハサミ等のそれらの選択された項目の１つ１つに適用される動作特性特徴は実際の機械的な特徴を有し、現実のハサミが行うように切断し、動脈クリップは、血管に置かれると血流を遮断する。このようにして、表示されたツールは現実的であるが、外科医が、例えば多様な特徴を透明にする、画像を回転する、手順を逆にする等によって現実世界では可能ではない視点を提供するために操作できるように組織モデルと対話する。
【００６７】
外科医に表示される対話型画像／シーンは、体積レンダリングされた要素及び表面レンダリングされた要素の両方である要素から構築される。さらに、体積又は表面の各要素は、体積である１つ以上の要素と対話する。要素間の対話は、圧力、要素材料（弾性、粘性等）等の物理的な条件、及び衝突天使及び要素配向等の衝突条件に従って要素の実際の物理的な移動を複製する、要素の移動及び／又は再構築とともに生じる要素間の対話を表現するために実装される衝突モデル等の物理的な対話を含むが、これに限定されるものではない。
【００６８】
レンダリングプロセスの平衡状態は、すべての照明の影及び陰影現象を説明し、すべての視覚要素を取り込む最終的な出力ストリームを生じさせる場合がある。
【００６９】
組織ペイント又はマジック組織アルゴリズムを使用し、作成され、スキャン画像と統合された解剖学的構造は、画像の統合された一部である。例えば、元は部分的且つ完全であった解剖学的構造の血管は、マジック組織ペイント及び組織ワンドアルゴリズムの適用後、元のスキャン画像及び新しく作成された構造から結合される構造を有する完全な解剖学的構造になる。さらに、コントロール（チェックボックス）が、新しく作成された構造を選択し、オン（新しく作成された構造を示す）又はオフ（新しく作成された構造を隠す）の間で切り替えることを可能にする。さらに、新しく作成された構造を体積、及び又はマッシュ／ポリゴンレンダリング／再構築でレンダリングするための選択のオプションが提供される。
【００７０】
開発されたアルゴリズム及びソフトウェアツールは、ユーザに、任意の幾何学形状又は２次元又は３次元でのフリーハンド描画形状（例えば、線、円、クリニック、ボール等）を描画するためのインタフェースを提供する。該幾何学的形状（２次元又は３次元）の中に含まれる／囲まれる／取り込まれる領域は、「マークされた領域」として定義される。ユーザは、次いで例えば画像の部分をペイントする、それらを透明にする、又は陰影を付ける等の能力を含む、任意の視覚的特徴及び任意の機械的特性を定義し、その「マークされた領域」に割り当てる能力を有する。仮想光源には、空間内の球体位置、光の色、光の強度、アスペクト比、仮想光源の幾何学的形状等を含む特徴を与えられる場合がある。
【００７１】
ティッシュペイント、マジックティッシュワンドアルゴリズム又はマークされた領域で作成される構造には、所望される機械的特性の特徴が割り当てられる場合がある。任意の解剖学的構造の機械的特性係数（剛性、弾性等）は、個々に適した機械的動作を作り出すためにユーザにより調整される場合がある。
【００７２】
システムは、手術中に実際の手術器具を追跡するためにリアルタイム追跡及びフィードバックを提供する。追跡システムは、実際の解剖学的構造（例えば、患者の頭部の特定のスポット）の向き及び場所に対して、手術器具の場所及び空間内の連動を変換する。器具の場所及び向きは、手術シミュレーションシステムに送信される。フィードバックは、患者固有のシミュレーション、並びに器具の場所及び向きに基づいて外科医に提供される。係るフィードバックの一例は、次のとおりである。システムは、外科医が切断している組織の種類について外科医にフィードバックを生成し、外科医が腫瘍の代わりに健康な脳組織を切断する場合、外科医に警告する。追加の例は、外科医が実際の解剖学的構造に器具を適用した（例えば、実際の患者の動脈瘤に適用された動脈瘤クリップ）後、システムは、外科医が、追跡に基づいて実際の解剖学的構造としてかなり（ｐｒｉｎｃｅｌｙ）配向されるシミュレーション画像／モデルを回転し、設置したインプラントの場所及び有効性を観察し、評価できるようにする。
【００７３】
実際の器具のこの追跡及びフィードバックは、器具及び患者特徴の場所及び移動を追跡するためにビデオシステムを使用することによって等、いくつかの方法で達成できる。代わりに（又はビデオ追跡に加えて）、手術器具は、ＧＰＳ、加速度計、磁気的検出、又は他の位置及び動きの検出装置及び方法を使用することによって等、追跡を可能にするために改良されてよい。係る改良された器具は、例えばＷｉＦｉ、Ｂｌｕｅｔｏｏｔｈ、ＭＩＣＳ、有線ＵＳＢ、ＲＦ通信、又は（例えば、図３の手術ツールインタフェース１４０を介して）等他の通信方法を使用し、ＳＮＡＰツールと通信してよい。
【００７４】
ＳＮＡＰシステムは、本明細書で以下に説明される拡張現実手術システムを組み込むためにＭＤ６ＤＭ機能を使用するために強化され、改良される。ＭＤ６ＤＭは、医師が、上述されたＳＮＡＰシステムの機能性及び有用性を大幅に拡大する拡張現実機能を加えることにより、医師が全球体仮想現実環境において外科介入を経験し、計画し、実行し、ナビゲートすることを可能にするグラフィカルシミュレーション環境を提供する。
【００７５】
この改良により、外科医４０２又は（助手、看護師、又は他の医者等の）別のユーザに、同じヘッドマウントディスプレイ（「ＨＭＤ」）４０８上の患者４０４の光学ビューとともに、外部ソースから注入されるデータコンテンツの統合されたビューを提供する、本明細書に説明され、図４に示されるデュアルモード拡張現実手術システム（「ＡＲＳ」）４００が生じる。この統合されたビューは、外科医４０２に患者４０２の「スーパーマン」タイプのビューを提供する。言い換えると、ＨＭＤ４０８を着用し、例えば３６０  ＭＤ６ＤＭモデルに接続することによって、外科医４０２は患者４０４を見て、体の「内部を見る」ことができる。これは、患者４０４のＣＴ画像及びＭＲＩ画像に基づく３６０モデルが、ＨＭＤ４０８ビューを介して患者と位置合わせされ、患者に投影されるためである。したがって、外科医４０２が患者４０４を見るとき、それは、あたかも外科医４０２が、まるで患者の４０４身体が透明であるかのように、腫瘍又は血管等の患者４０４の内部構造を見ることができるためである。外科医４０２は、次いでさらに説明されるように、患者４０４の回りを歩くことができ、透明なビューは、患者４０４に対する外科医４０２の視点に従って、新しい視点／角度と自動的に位置合わせされる。外科医４０２は、このようにして、患者４０４についての「スーパーマン」又は「x線」の情報を有し、処置中にどの構造又は障害物に直面することになるのかを正確に知りながら、患者４０４に対して処置を実行できる。例えば、外科医４０２が頭蓋骨にドリルで穴を開ける場合、外科医４０２はドリルの軌道点での頭蓋骨の下に何があるのかを予想及び識別し、治療のために効率的に所望される領域に達するために、必要に応じて相応して処置及びドリル経路を調整するためにＨＭＤ４０８を使用し得る。本明細書の例が特に脳に言及しているとしても、例えば、心臓、肝臓等を巻き込む処置等の他の処置もＨＭＤ４０８を使用することから利益を得る場合があることが理解されるべきである。
【００７６】
データコンテンツは、多様なデータソースから注入され、患者４０４の光学ビューとの統合のためにＡＲＳコンピューティングシステム４１２で受け取られる多様なタイプのデータを含む場合があることが理解されるべきである。例えば、データフィードは、内視鏡４０６（又は任意のタイプのビデオカメラ４１０）からのライブビデオフィード、図２に説明されるＳＮＡＰシステム７０から受け取られたＳＮＡＰモデル、医療記録データシステム４１４から注入されたその患者４０４に固有の医療記録等のデータ、又は外科医４０２が患者４０４から目を逸らさずに外科手術の間に視聴するために有益だと感じる任意の他の適切なデータコンテンツを含んでよい。
【００７７】
ＨＭＤ４０８がシースルー又は透明であることが理解されるべきである。したがって、外科医４０２は、患者４０４と関わり合い、３６０モデル等の注入されたコンテンツを同時に見ながらも自身の手又はツールの映像を有し得る。一例では、ＨＭＤ４０８は、外部カメラが、外科医４０２の手又は使用されているツールのライブのリアルタイムビデオを取り込み、ＨＭＤ４０８を介してライブビデオフィードを拡張現実ビューの中に注入し、自動マージする、複合現実ディスプレイ又はマリッジリアリティ（ｍａｒｒｉａｇｅ  ｒｅａｌｉｔｙ）ディスプレイであってよい。このようにして、外科医４０２は、必要に応じて、任意の追加の拡張コンテンツとともに患者の内部の「スーパーマン」ビューを同時に有しながら、自分の手又はツールを介して自身の動作のビューを維持できる。ツールに対する参照が、外科医４０２によって操作されるフリーハンドツール又はコンピュータ若しくはロボットにより自律的に若しくは人間の制御を介して操作される任意の種類のロボット工学ツールを含む場合があることが理解されるべきである。
【００７８】
ＡＲＳコンピューティングシステム４１２は、ＳＮＡＰシステム７０とは別個のコンピュータシステムとして説明されるが、一例では、ＳＮＡＰシステム７０は、単一の合理化されたＡＲＳコンピューティングシステム４１２を提供するために本明細書に説明されるＡＲＳコンピューティングシステム４１２の機能性を組み込まれてもよいことが理解されるべきである。
【００７９】
より詳細に説明されるように、ＡＲＳコンピューティングシステム４１２は、外科医４０２によって選択される２つのモデルの１つで動作してよい。特に、ＡＲＳコンピューティングシステム４１２は、追跡モード又は非追跡モードの一方で動作してよい。非追跡モードでは、ＡＲＳコンピューティングシステム４１２は、ＨＭＤ４０８又は外科医４０２の位置又は場所を考慮することなくＨＭＤ４０８の中にコンテンツを注入する。言い換えると、注入されたコンテンツは、外科医が自分の頭を動かし、異なる角度及び視点から患者４０４を視聴しても、ＨＭＤ４０８を介して視聴されるとして静的なままであってよい。追跡モードでは、ＨＭＤ４０８は、患者４０４に対する場所及び位置を追跡するための機構を含む。したがって、ＡＲＳコンピューティングシステム４１２は、ＨＭＤ４０８の追跡された位置、したがって外科医４０２の位置に基づいてＨＭＤ４０８の中にコンテンツを注入してよい。例えば、外科医４０２は、同時に患者４０４内のライブだけではなく事前に構築されたモデルでも固有の患者４０４の生体構造を検査できる。システム４００は、ＭＤ６ＤＭモデルの中に踏み込み、ユーザの身体を物理的に動かし、特定の構造で見回る能力を与える。ユーザは、標的の生体構造又は病変の回りで３６０°見て、病変が患者の生態構造をどのように改変しているのかを確かめるために病変の背後を探求できる。
【００８０】
追跡機構はＨＭＤ４０８に組み込まれているとして説明されるが、追跡機構は外科医４０２の上に、ＨＭＤ４０８に又はＨＭＤ４０８に近接して位置決めされた別個のデバイス（不図示）であってもよいことが理解されるべきである。一例では、追跡は、ＨＭＤ４０８の中に又はＨＭＤ４０８の近くに統合されたカメラを使用し、達成される。カメラは、患者４０４上の相対的なマーカを認識し、患者に対するビューの角度及び方向だけではなく、外科医４０２の位置も決定するように構成される。
【００８１】
外部追跡技術とは対照的に、係る内部追跡技術を活用することは、空間及び資源が、外部追跡機構を利用できる場合がある手術室内よりもより限られる場合がある、例えば救急処置室又は集中治療室内で使用できる軽量で柔軟性のある解決策を可能にすることが理解されるべきである。
【００８２】
ＡＲＳシステム４００を用いると、データコンテンツ及び実際の光学画像がヘッドマウントディスプレイ（ＨＭＤ）４０８にオーバレイされるため、外科医４０２は、顕微鏡又は内視鏡４０６からのフィード、患者スキャン、計画ソルトウェア、又はＭＤ６ＤＭモデルを見るために患者４０４から目を離す必要はなくなることが理解されるべきである。
【００８３】
ＭＤ６ＤＭの機能を取り込むために改良された、上述され、図２に示されるＳＮＡＰシステム７０のすべて又は一部が、患者のＤＩＣＯＭ  ２Ｄ画像を入手し、リアルタイムで仮想モデルを構築する、又は事前に構築されたモデルを入手することによって、ＡＲSシステム４００を有効にすることがさらに理解されるべきである。データは、例えばデータベース４１６から入手される。ＡＲＳコンピューティングシステム４１２は、患者１０４の拡張現実ビューを形成するために、追跡モードで動作している場合、追跡データを含む他のデータ入力だけではなく、仮想モデルも活用する。
【００８４】
ＡＲＳシステム４００は、例えば種々の注入データコンテンツと対話し、操作するためのコントローラ４１８等の制御手段をさらに含む。コントローラ４１８の代わりに、多様な適切なタイプの制御手段が使用され得ることが理解されるべきである。一例では、フットペダル又はインタフェースが、注入されたデータコンテンツと対話し、スキャンするために使用され得る。一例では、外科医４０２からの制御コマンドを受け取り、解釈し、処理するために音声認識技術がＨＭＤ４０８に組み込まれてよい。データコンテンツと対話し、データコンテンツを操作するための制御コマンドは、例えば外科処置の間に種々のデータコンテンツソースを繰り返し切り替える（ｃｙｃｌe  ｔｈｒｏｕｇｈ）命令を含んでよい。例えば、ＨＭＤ４０８を介して視野は制限される場合があり、したがってＡＲＳコンピューティングシステム４１２は、限られた数のデータソースに対応する限られた数のウィンドウ又はビューを表示するように構成される。しかしながら、外科医４０２は、外科処置の間に２つ以上のソースからのデータコンテンツを視聴すること、対話すること、及び操作することを望む場合がある。したがって、コントローラ４１８は、外科医４０２が、必要に応じて適切なときに表示される種々のデータソースに対応するデータを選択することを可能にしてよい。フットペダル又は音声認識技術を含む制御手段が、たとえ外科医４０２の手が外科処置の間に占有されていても、外科医４０２が気を逸らすことなく、及び最小の休止で係る対話を実行できるようにすることが理解されるべきである。
【００８５】
一例では、データコンテンツと対話し、データコンテンツを操作するための制御手段は、ＡＲＳシステム４００の動き追跡機能を活用してよい。例えば、外科医４０２は、第１の位置で患者４０４を視聴しながら第１のデータソースから受け取った第１のデータコンテンツを視聴することを望む場合があるが、次いで第２の位置で患者４０４を視聴しながら第２のデータソースから受け取った第２のデータコンテンツを視聴することを望む場合がある。したがって、ＡＲＳコンピューティングシステム４１２は、外科医４０２が第１の位置にいる間に第１のデータコンテンツを注入するが、次いで外科医が第２の位置にいる間に第２のデータコンテンツに切り替わるように構成されてよい。一例では、データコンテンツは、外科医４０２の視野角に応じて表示される場合もあれば、表示されない場合もある。例えば、外科医４０２は、患者４０４を視聴することに合わせて患者４０４の医療記録を直接的に視聴することを望まない場合があるが、特定の方向を一時的に眺めることによって医療記録を見ることを望む場合がある。
【００８６】
表示のために注入されるコンテンツのソースを選択することに加えて、外科医４０２は、選択されたデータコンテンツと対話し、該データコンテンツをナビゲートするために、コントローラ４１８又は説明される他の制御手段を使用してもよいことが理解されるべきである。例えば、コントローラ４１８は、患者の医療記録４０４をスクロール又はナビゲートするために、ＳＮＡＰモデルをナビゲートするために等、使用されてよい。
【００８７】
一例では、ＨＭＤ４０８に注入され、拡張現実ビューを形成するために統合されてよい本明細書に説明される多様なタイプのコンテンツも同様に、部屋又は環境の内部の多くの人が単一のディスプレイを介して情報及びコンテンツを視聴するために、モニタ又は表示画面に送り込まれてよいことが理解されるべきである。
【００８８】
多数のタイプのビューが、ＨＭＤ４０８を介して視聴するためにＡＲＳコンピューティングシステム４１２により生成されてよいことが理解されるべきである。例えば、図５Ａに示されるように、ＨＭＤ４０８を介した拡張ビュー５０２は、３Ｄモデル５０４、ライブビデオフィード５０６、及び患者記録５０８を含む場合がある。例の拡張現実ビュー５０２は、３つの異なるデータソースから注入されたデータコンテンツを示すが、適切な数のデータソースからのデータコンテンツが拡張ビュー５０２に注入され得ることが理解されるべきである。示される例では、注入されたデータコンテンツは、ビュー５０２の右上に位置決めされたライブビデオフィード５０６に隣接する３Ｄモード５０４、及びビュー５０２の左上の患者記録５０８を含む、特定の方法で配置されるが、種々のデータコンテンツは、任意の適切な方法で配置されてよいことがさらに理解されるべきである。例えば、図５Ｂに示されるように、拡張ビュー５１２は、拡張ビュー５１２の中の両端に位置決めされた、２つの異なるデータソースから注入されたデータコンテンツを含む。図５Ｃは、拡張ビュー５２４が、単一のデータソースから注入されたデータコンテンツを含む追加の例を示す。
【００８９】
図６は、患者の光学ビューの上部に３Ｄモデルを含む拡張ビュー６０２を示す。３Ｄモデルが患者の光学ビューと正確に一致するために、ＡＲＳコンピューティングシステム４１２は、追跡モードで動作するべきであることが理解されるべきである。３Ｄモデル等の追跡から利益を得る場合があるデータとともに、患者記録等の追跡を必要としないデータを注入することを含む、拡張ビューの任意の組合せが、ＨＭＤ４０８を介して提示されてよいこともさらに理解されるべきである。例えば、例の拡張ビュー（不図示）は、片側に離して、追跡を必要としない場合がある患者記録だけではなく、追跡モードで患者の光学ビューの上部に３Ｄモデルを提示してよい。
【００９０】
ＡＲＳコンピューティングシステム４１２が拡張ビューに注入するデータコンテンツのソースの数だけではなく、拡張ビューのレイアウト、データコンテンツのソースも、システム管理者により事前に定められてよい。一例では、ＡＲＳコンピューティングシステム４１２は、外科医４０２が、説明されたコントローラ手段を介して、リアルタイムで拡張ビューの位置決め及びレイアウトを調整できるように構成されてよい。
【００９１】
図７は、ＡＲＳシステム７００の例のブロック図を示す。ＡＲＳコンピューティングシステム４１２は、第１の入力としてＳＮＡＰ  ３Ｄモデル７０２を受け取るように構成される。ＡＲＳコンピューティングシステム４１２は、第２の入力として、ライブビデオフィード７０４を受け取るようにさらに構成される。追跡モードで動作するとき、ＡＲＳコンピューティングシステム４１２は、第３の入力としてナビゲーションシステム追跡データ７０６を受け取るようにさらに構成される。一例では、追跡データ７０６は、患者１０４に対する外科医１０２の位置及び向きを示す。係るナビゲーションシステム追跡データ７０６に基づいて、ＡＲＳコンピューティングシステム４１２は、室内のどこに外科医１０２が位置決めされるのかだけではなく、外科医１０２がどこを見ているのかも判断できることが理解されるべきである。例えば、外科医１０２は、患者１０４の身体の右側に位置決めされてよい。しかしながら、外科医１０２は、その位置から患者１０４の頭部の上部又は患者１０４の頭部の側部を見てよい。ＡＲＳコンピューティングシステム４１２が、場所に加えて視野角を計算し、指摘し、したがって手術室内での外科医により固有で異なった経験を提供できることが理解されるべきである。ＡＲＳコンピューティングシステム４１２は、コントローラ４１８等の制御手段から誘導又は制御入力７１０を受け取るようにさらに構成される。
【００９２】
ＡＲＳコンピューティングシステム４１２は、追跡入力７０６及び誘導／制御入力７１０に基づいて入力７０２及び７０４を処理し、患者４０４の拡張現実ビューを形成するために、入力７０２及び７０４をＨＭＤ４０８に注入する。ＡＲＳコンピューティングシステム４１２が、外科医４０２に、特定の手術を実行するために役立つ場合があるより完全な情報を提供するために、さまざまな適切な入力ソースから任意の適切な数の入力を受け取るように構成されてよいことが理解されるべきである。例えば、ＡＲＳコンピューティングシステム４１２は、患者の医療記録、追加のライブビデオフィード、又は手術室内での外科医の場所を示す追加の追跡及びセンサ情報を受け取るように構成されてよい。
【００９３】
ＡＲＳコンピューティングシステム４１２が追跡モードで動作する一例では、ＡＲＳコンピューティングシステム４１２は、外科医に患者４０４の拡張現実ビューを提供するために、仮想モデルが外科医４０２の、患者４０４の実際のビューをオーバレイするように、ＨＭＤ４０８を介してＳＮＡＰ  ３Ｄ仮想モデルを外科医４０２に提示するように構成される。ＡＲＳコンピューティングシステム４１２は、提示された仮想モデルを患者４０４の、外科医４０２の実際のビューと同期させるために、ナビゲーションシステム追跡データ７０６に頼る。しかしながら、追跡機能を有効にしなくても、ＳＮＡＰ  ３Ｄ仮想は、患者４０４の実際のビューと自動的に位置合わせし、オーバレイすることはなく、代わりにナビゲートするためになんらかの形の誘導又は制御入力７１０を必要とすることが理解されるべきであるが、ＳＮＡＰ３Ｄ仮想モデルは、非追跡モードで動作しているときも、依然としてＨＭＤ４０８を介して拡張ビューに注入され、外科医４０２に提示されてよい。
【００９４】
追跡モードでは、拡張現実ビューは、外科医４０２の位置、向き、又は視野角が変化するにつれ、リアルタイムで連続的に更新されてよいことが理解されるべきである。このようにして、外科医４０２が患者の回りで動く又は患者４０４上の異なる位置に焦点を調整するにつれ、仮想モデルは、拡張現実ビューが係る移動と同期され、外科医４０２の視点に対して真に留まるように調整される。
【００９５】
さらに、システムは、追加の外科医、看護師、助手、又はローカルに存在する又は遠隔に位置し、インターネット等の通信ネットワークを介してシステムに接続される場合がある他者等の、任意の数の追加ユーザに対応できる。システムは、医療処置を支援する第２の外科医の動作等、係る追加のユーザからの情報を使用し、ビューをさらに拡張するためにこれらの追加のユーザのいずれか又はすべてからの情報を利用できる。さらに、システムは、ＨＭＤディスプレイを使用するのか、それともなんらかの他のタイプのディスプレイを使用するのかに関わらず、外科医によって見られる拡張画像をこれらの追加のユーザのいずれかに提供できる。したがって、一部の実施形態では、処置を支援する看護師等の助手の動作も、拡張ビューの一部として、又は追加の拡張ビューとして表示される場合があるであろう。
【００９６】
再び図４を参照すると、外科医４０２が、例えば以下を含むいくつかの方法で、ＡＲＳシステム４００と、特にＳＮＡＰ  ３Ｄモデル等の種々のデータコンテンツと対話できることが理解されるべきである。
【００９７】
頭部の移動−追跡モードで、ＨＭＤ４０８の回転センサを使用し、ＡＲＳシステム４００は、外科医４０２の頭部の移動及び角度を追跡し得る。これにより、ユーザは移動及び角度の調整に基づいてデータコンテンツと対話できる。
【００９８】
コントローラ−コントローラ４１８を使用し、外科医４０２は、矢印キーを用いて又は他のボタンを使用し、所望される方向で移動することができ、データコンテンツと関連付けられた特定の機能をアクティブにできる。
【００９９】
音声−マイク等のセンサにより受け取られるキーワード又は表現を発話することが、特定の機能性をアクティブにする。例えば、「マーカ１にジャンプする」は、ユーザを所定のマーカ１の位置に移動させる。協調が利用できるとき、「プレーヤ２のビューに移動」は、一次ユーザを第２の「プレーヤ」の位置に移動させ、一次ユーザのビューをそのときの第２の「プレーヤ」の向きに配向する。
【０１００】
位置センサ−追跡モードでは、移動を追跡するために位置追跡センサを使用すると、外科医４０２の移動は、仮想移動又はデータコンテンツの中の他の関連付けられた機能に変換される。
【０１０１】
追跡モードでは、外科医４０２は、現実世界を見ることに加えてＳＮＡＰ  ３Ｄモデルと対話する。ＳＮＡＰ  ３Ｄモデルは、現実世界環境内の外科医指定場所に仮想現実的に位置決めされる。位置は、患者の上方に加えて、室内のテーブルの上で、患者の３Ｄ印刷部分の上で、特殊マーカ付きのツールに合わせて、及び室内の任意の他の適切な場所を含む場合があることが理解されるべきである。
【０１０２】
データベース４１６から受け取られたＳＮＡＰ  ３Ｄモデルを、患者４０４の解剖学的部分に位置合わせするために、登録プロセスが必要とされる場合があることが理解されるべきである。位置合わせは、（ＳＮＡＰ ３Ｄモデルが構築された）患者自身の術前スキャンから取り出された情報、及び位置合わせ／登録プロセス情報に基づく。一例では、位置合わせはＨＭＤ４０８に組み込まれた追跡手段、又はＨＭＤ４０８にある若しくはＨＭＤ４０８に近い外科医４０４上の独立追跡装置（不図示）から登録情報を受け取り、受け取った情報に基づいてケースを位置合わせさせることによって達成される。別の例では、位置合わせは、ユーザがそれを解剖学的構造に手作業で位置合わせするのを可能にすることによって達成される。これは、例えばコントローラ４１８を使用し、行われてよい。
【０１０３】
説明全体を通した参照は、特に脳腫瘍のための外科処置と関連してシステム４００を使用することに対してなされる場合があるが、システム４００は、患者４０４の多様な解剖学的部分に対するさまざまな手術応用例に対して同様に使用され得ることが理解されるべきである。
【０１０４】
病室内の外部ハードウェアに頼らない軽量の解決策を提供しつつ追跡モードを有効にするために、ＨＭＤ４０８は、外部追跡機構に頼るよりもむしろ内部追跡機構を含む。ＳＮＡＰ  ３Ｄモデルと他の適切なデータコンテンツの両方とも単一の拡張ビューに組み込むことによって、ＨＭＤ４０８は、外科医が手術中に必要とするすべての情報を表示する。特に、外科医は、例えばすべて患者４０４から目を逸らすことなく（内視鏡、顕微鏡等を介して）自分の視点からライブビデオにアクセスし、患者のスキャンを見て、医療記録をすべて視聴することができる。
【０１０５】
一例では、解剖学的構造（つまり、頭部、脳、膝、肩等）の向きは、物理的な患者とスキャン医用画像（ＣＴ、ＭＲＩ、超音波、Ｘ線等）の両方でマーキングされ、事前登録される。したがって、スキャン医用画像、及び手術で評価されている実際の解剖学的構造は、同期され、位置合わせされる。一例では、ＨＭＤ４０８は、すべてのスキャン画像及びＳＮＡＰ  ３Ｄモデルと同期され、位置合わせされる内蔵ＨＤ光学システム（顕微鏡、カメラ等）を有してよい。これは、従来の外科用顕微鏡、及びそれらのシステムの現在の制限の排除を可能にする。多数の外科医が、眼鏡及びループを変更することなく、個々のＨＭＤ４０８及び実際の患者の上方のヘッドドッキングステーションを使用し「顕微鏡下」状況で協調できる。ヘッドドッキングステーションは、外部の視聴者が、まさに同じＡＲで強化された「顕微鏡下の」シーンを理解するのを可能にしながら、重大な顕微鏡を使った手術環境における直接的な手術者のために、非常に複雑なシーンを安定して保つのに役立つ。
【０１０６】
ＡＲＳシステム４００は、図８に示される使用の方法８００を参照してさらに理解される。ステップ８０２で、データコンテンツは、１つ以上のソースからＡＲＳコンピューティングシステム４１２で受け取られる。一例では、データコンテンツを受け取ることは、ＡＲＳコンピューティングシステム４１２にアップロードされ、ＳＮＡＰ  ３Ｄモデルを作成するために処理されている患者固有のＤＩＣＯＭ（ＣＴ、ＭＲＩ等）のデータを含む場合がある。また、データを受け取ることは、患者記録を受け取ること、ライブビデオフィードを受け取ること、及び／又は制御／誘導情報を受け取ることを含んでもよい。一例では、追跡モードで、データコンテンツを受け取るステップは、内部追跡機構から追跡情報を受け取ることを含んでもよい。
【０１０７】
ステップ８０４で、ＡＲＳコンピューティングシステム４１２は、データソースから受け取った種々のデータコンテンツを統合し、定義されたレイアウトに従ってＨＭＤ４０８のビューの中にデータコンテンツを注入して、図５Ａから図５Ｃ及び図６に示されるビューのような拡張現実ビューを形成する。一例では、追跡モードで、データコンテンツを統合するステップは、受け取った追跡情報に基づいてＳＮＡＰ  ３Ｄモデルを光学患者ビューと位置合わせすることをさらに含んでよい。
【０１０８】
ステップ８０６で、ＡＲＳコンピューティングシステム４１２は、注入されたデータを調整して拡張現実ビューを改変するために受け取った制御／誘導情報を使用する。例えば、ＡＲＳコンピューティングシステム４１２は、外科医４０２が制御手段を介して係る選択を行うのに応えて、拡張現実ビューに注入された種々のデータコンテンツを繰り返し切り替えてよい。一例では、ＡＲＳコンピューティングシステム４１２は、制御手段から受け取った入力に応えてデータコンテンツを操作してよい。一例では、追跡モードで、拡張現実ビューを改変するために注入されたデータを調整するステップは、外科医４０２が移動し、したがって更新された追跡情報をＡＲＳコンピューティングシステム４１２に通信させることに応えて、受け取った更新済みの追跡情報に基づいてＳＮＡＰ  ３Ｄモデルの患者光学ビューとの位置合わせを更新することを含む。
【０１０９】
例の応用例では、ＡＲＳシステム４００は、外科医４０２が開頭術を実行するのを支援するように構成される。例えば、処置が開始されるはずである頭蓋骨上の所望される標的を示す開頭術コンテンツデータが受け取られてよい。追跡データを使用し、開頭術コンテンツデータは患者４０４の光学ビューに注入され、患者４０４の光学ビューと位置合わせされて、処置の間に外科医４０２を誘導する拡張現実ビューを形成してよい。ＡＲＳシステム４００が、外科医４０２に係る拡張現実ビューを提供することによって開頭術の誤りを著しく排除する上で役立つ場合があることが理解されるべきである。特に、係る拡張現実ビューは、通常は７５％にしかすぎない場合がある処置の精度を改善するのに役立ち得る。別の例の応用例では、ＡＲＳシステム４００は、外科医４０２が患者４０４の中にカテーテルをより正確に挿入するのを支援するために同様に使用され得る。
【０１１０】
手術室内には、手術中にユーザのステータスを追跡し、ここで説明されていない関連情報を外科医に提供し得る多くのシステムがあることが理解されるべきである。したがって、ＡＲＳシステム４００が、ＨＭＤ４０８が外科医４０２に、係る関連情報の任意の適切な組合せを含んでよい拡張現実ビューを提示することを可能にすることが理解されるべきである。これは、外科医４０２が、手術中に必要とされる情報を患者から目を離さずに処理可能でありながらも、手術に集中したままとなることを可能にする。
【０１１１】
一例では、本明細書に説明されるＡＲＳシステム４００及び方法８００は、協調モードで使用されてよい。このモードでは、外科医４０２は、他のリモートユーザが加わり、所望されるときに処置の観察又は支援のどちらかを行うことを可能にすることを選ぶことができる。ユーザは、以下の通り、リモートユーザと通信してよい。１）すべての他のリモートユーザを聞くためにヘッドフォン／スピーカが使用される、２）すべてのリモートユーザに話しかけるためにマイクが使用される、及び３）リモートユーザのビデオストリームが、ＨＭＤ４０８の拡張現実ビューにする注入されているデータコンテンツの１つとして含まれてよい。
【０１１２】
任意の好適なタイプのヘッドマウントディスプレイ（ＨＭＤ）４０８は、ＡＲＳシステム４００と使用されてよいことが理解されるべきである。図９は、ＨＭＤ９００の例を示す。ＨＭＤ９００は、例えば無線アンテナ（不図示）を含む。したがって、ＨＭＤ９００は、無線で動作し、したがって手術室での余分なコードの必要性を排除し得る。
【０１１３】
ＨＭＤ９００は、プロセッサ及びメモリ（不図示）をさらに含む。したがって、一例では、ＨＭＤ９００は、ＡＲＳコンピューティングシステム４１２に頼ることなくデータコンテンツを受け取り、記憶し、処理するように構成される場合がある。例えば、ＨＭＤ９００は、外科処置を実行するために病室に入る前に特定の患者及び処置に関連する適切なデータコンテンツをあらかじめロードされてよい。これは、すでに込み合った室内に余分な設備を持ち込む必要なく病室の中でのより多くの柔軟性及び可動性を提供する。
【０１１４】
一例では、ＨＭＤ９００は、すべてのデータコンテンツを記憶し、処理するための十分なメモリ機能又は処理機能を有さない場合がある。したがって、一例では、ＡＲＳコンピューティングシステム４１２は、外科医４０２が外科処置を実行するためにＨＭＤ９００を病室に持ち込む前に、データコンテンツの軽量の、つまり必要最低限のものだけを装備したバージョンを生成し、ＨＭＤ９００に軽量バージョンを転送するように構成されてよい。
【０１１５】
本明細書に説明される例のシステム及び方法は、いくつかの方法で調整され得ることが理解されるべきである。例えば、例のシステム及び方法は、単一のＨＭＤに関して説明されてきた可能性があるが、システムが、手術中に手術室の中に多数のＨＭＤを有する多数の外科医又はユーザを含む場合があり、全員が室内での自分の場所及び向きに基づいた独自のカスタム拡張現実経験を相対的に同時に受けることが理解されるべきである。さらに、手術のときにＯＲ内に存在しない遠隔ユーザ、又はＯＲ内に存在するユーザも、ＯＲ内の他のユーザの一人の視点から拡張現実経験を経験する場合がある。
【０１１６】
任意の数の適切な入力ソースが、追跡モードで又は非追跡モードでのどちらかで、手術中に参照するのに役立つ場合がある適切な情報を外科医に提供するのに適する場合がある拡張現実経験の中に統合されてよいことが理解されるべきである。
【０１１７】
図１０は、図４の例のＡＲコンピューティングシステム４１２を実装するための例のコンピュータ１０００の概略図である。例のコンピュータ１０００は、ラップトップ、デスクトップ、ハンドヘルドコンピュータ、タブレットコンピュータ、スマートフォン、サーバ、及び他の類似するタイプのコンピューティングデバイスを含む、多様な形のデジタルコンピュータを表すことが意図される。コンピュータ１０００は、バス１０１２を介してインタフェース１０１０により動作可能なように接続された、プロセッサ１００２、メモリ１００４、ストレージデバイス１００６、及び通信ポート３００８を含む。
【０１１８】
プロセッサ１００２は、メモリ１００４を介して、コンピュータ１０００の中での実行のために命令を処理する。例の実施形態では、多数のメモリとともに多数のプロセッサが使用されてよい。
【０１１９】
メモリ１００４は、揮発性メモリ又は不揮発性メモリであってよい。メモリ１００４は、磁気ディスク又は光ディスク等のコンピュータ可読媒体であってよい。ストレージデバイス１００６は、他の構成のストレージエリアネットワーク内のデバイスを含む、フロッピーディスクデバイス、ハードディスクデバイス、光ディスクデバイス、テープデバイス、フラッシュメモリ、相変化メモリ、又は他の類似するソリッドステートメモリデバイス、又はデバイスのアレイ等のコンピュータ可読媒体であってよい。コンピュータプログラム製品は、メモリ１００４又はストレージデバイス１００６等のコンピュータ可読媒体内に有形で具現化される場合がある。
【０１２０】
コンピュータ１０００は、ディスプレイ１０１４、プリンタ１０１６、スキャナ１０１８、及びマウス１０２０等の１つ以上の入力装置及び出力装置に結合される場合がある。
【０１２１】
例のシステム、方法等は例を説明することによって示されてきたが、及び例は相当に詳細に説明されてきたが、添付の特許請求の範囲の範囲を係る詳細に制限すること、又は多少なりとも限定することは意図していない。本明細書に説明されるシステム、方法等を説明するために、構成要素又は方法論のあらゆる考えられる組合せを説明することが可能ではないことは言うまでもない。追加の優位点及び修正は、当業者に容易に明らかになる。したがって、本発明は、具体的な詳細、及び示される又は説明される例示的な例に限定されない。したがって、本願は、添付の特許請求の範囲に含まれる改変形態、変更形態、及び変形形態を包含することが意図される。さらに、上述の説明は、本発明の範囲を制限することを意図されていない。むしろ、本発明の範囲は、添付の特許請求の範囲及びその均等物により決定されるべきである。
【０１２２】
用語「含む（ｉｎｃｌｕｄｅｓ）」又は「含んだ（ｉｎｃｌｕｄｉｎｇ）」は明細書又は特許請求の範囲で使用される限り、それは、用語「含む（ｃｏｍｐｒｉｓｉｎｇ）」が請求項内で移行語として使用されるときに解釈されるのと同様に包含されることが意図される。さらに、用語「又は」（Ａ又はＢ）が使用される限り、それは「Ａ又はＢ又は両方」を意味することが意図される。出願者が「Ａ又はＢのみであるが、両方ではない」と示すことを意図する場合、次いで用語「Ａ又はＢのみであるが、両方ではない」が使用される。したがって、本明細書での用語「又は」の使用は包括的であり、排他的な使用ではない。Ｂｒｙａｎ  Ａ．Ｇａｒｎｅｒ、Ａ Ｄｉｃｔｉｏｎａｒｙ  ｏｆ  Ｍｏｄｅｒｎ  Ｌｅｇａｌ  Ｕｓａｇｅ  ６２４（第２版、１９９５年）を参照すること。また、用語「中」又は「中に」が明細書又は特許請求の範囲で使用される限り、「上」又は「上に」をさらに意味することが意図される。さらに、用語「接続する」が明細書又は特許請求の範囲で使用される限り、それは「直接的に接続される」だけでなく、例えば別の１つ又は複数の構成要素を介して接続される等、「間接的に接続される」を意味することが意図される。
【０１２３】
本発明の他の多く例の実施形態は、上述された特徴の多様な組合せを通じて提供できる。本発明は具体的な例及び実施形態を使用し、上述されてきたが、本発明の意図された範囲から必ずしも逸脱することなく、多様な代替物が使用され得、本明細書で説明された要素及び／又はステップの代わりに均等物が使用され得ることが当業者により理解される。本発明の意図された範囲から逸脱することなく、特定の状況に又は特定の必要性に本発明を適応させるためには、修正が必要な場合がある。本発明が、本明細書に説明される特定の実施態様及び実施形態に限定されるものではなく、特許請求の範囲が、文字通り又は同等の、開示された又は開示されず、それにより網羅されたすべての新規且つ非自明の実施形態を網羅する最も幅広い合理的な解釈を与えられることが意図される。
【図１】
2020533681.tif 000003
【図２】
2020533681.tif 000004
【図３】
2020533681.tif 000005
【図４】
2020533681.tif 000006
【図５Ａ】
2020533681.tif 000007
【図５Ｂ】
2020533681.tif 000008
【図５Ｃ】
2020533681.tif 000009
【図６】
2020533681.tif 000010
【図７】
2020533681.tif 000011
【図８】
2020533681.tif 000012
【図９】
2020533681.tif 000013
【図１０】
2020533681.tif 000014
【国際調査報告】
2020533681.tif 000015
2020533681.tif 000016