(57)【要約】【解決手段】画像誘導手術のナビゲーションプロセスを記録し精査するための方法および装置。一実施形態は、手術ナビゲーションプロセス中の患者に関するナビゲーション器械（１０３）の位置を表す、または位置と向きとを表すための位置データの列を記録することを含む。もう１つの実施形態は、手術ナビゲーションプロセス中のプローブ（１０１）の位置と向きとを追跡することと、患者の術前画像に基づいて画像を後に生成するために使用される、前記位置と前記向きとを記録することと、を含む。更なる実施形態は、ナビゲーション器械（１０３）の記録場所列を読み取ることと、記録ビデオを読み取ることと、前記記録場所列に基づいて３次元画像データ（１２１）のビューの列を生成することと、このビューの列を記録ビデオの対応するフレームに結合することと、を含む。【選択図】      図１
2009529951.tif 000002
【特許請求の範囲】
【請求項１】
手術ナビゲーションプロセス中の患者に関するナビゲーション器械の位置データの列を記録することを備える方法。
【請求項２】
前記位置データは前記ナビゲーション器械の前記位置である、請求項１に記載の方法。
【請求項３】
前記位置データは前記ナビゲーション器械の前記位置と向きであり、前記位置と方位は前記ナビゲーション器械の視点を表す、請求項１に記載の方法。
【請求項４】
前記ナビゲーション器械は位置追跡システムによって追跡され、前記位置データは少なくとも部分的に前記追跡データから生成される、請求項１に記載の方法。
【請求項５】
前記患者の術前画像データの少なくとも１つの画像を生成することを更に備え、前記生成された画像は前記位置データに関連する、請求項１に記載の方法。
【請求項６】
前記ナビゲーション器械は撮像装置を備える、請求項１に記載の方法。
【請求項７】
前記生成された画像と前記撮像装置から得られた画像とを重ねることを更に備える、請求項６に記載の方法。
【請求項８】
前記位置データの列に関連して前記撮像装置から得られた画像の列を記録することを更に備える、請求項７に記載の方法。
【請求項９】
前記撮像装置はビデオカメラ、内視鏡、顕微鏡または超音波プローブのうちの１つである、請求項６に記載の方法。
【請求項１０】
前記記録することは、予め定義された条件に基づいて自動的に開始および／または終了する、請求項１に記載の方法。
【請求項１１】
前記記録することは、ユーザ入力に基づいて自動的に開始および／または終了する、請求項１に記載の方法。
【請求項１２】
前記ナビゲーション器械はビデオカメラを搭載するプローブである、請求項１に記載の方法。
【請求項１３】
手術ナビゲーションプロセス中の前記プローブの位置と向きとを追跡することと、患者の術前画像に基づいて、画像をその後生成するために使用される前記プローブの前記位置と向きとを記録することと、を備える、請求項１２に記載の方法。
【請求項１４】
前記プローブの前記位置と向きとに関連して前記ナビゲーション中に前記プローブの前記カメラからのビデオ画像を記録することを更に備える、請求項１３に記載の方法。
【請求項１５】
前記記録中にナビゲーションのために画像をリアルタイムに生成することと、前記記録中にナビゲーションのために前記生成された画像を、対応するビデオ画像にリアルタイムに混合することと、を更に備える、請求項１４に記載の方法。
【請求項１６】
前記カメラからのビデオのフレームを記録することと、前記ビデオの前記フレームに関連した前記カメラの前記位置と向きとを別々に記録することと、を更に備える、請求項１３に記載の方法。
【請求項１７】
前記生成することは、ユーザ入力の少なくとも一部分に基づいてナビゲーションのためのビューの列を生成することを備える、請求項１５に記載の方法。
【請求項１８】
３次元画像データの前記ナビゲーションビューを生成する際にユーザ入力変数を記録することを更に備える、請求項１７に記載の方法。
【請求項１９】
前記ユーザ入力変数を前記記録することは、前記ビデオの前記記録することとは別の前記ユーザ入力変数を記録することであって前記カメラの前記位置および向きの前記記録すること、または前記ビデオの前記記録することのうちの少なくとも１つに同期している前記ユーザ入力変数を記録することを備える、請求項１８に記載の方法。
【請求項２０】
前記ユーザ入力変数は、透明度、視認性、照明、色、ズームインおよびズームアウトにおける変化のうちの１つ以上の変化を備える、請求項１８に記載の方法。
【請求項２１】
ナビゲーション精査中に探索可能な１つ以上のナビゲーション的イベントを記録することを更に備える、請求項１８に記載の方法。
【請求項２２】
１つ以上のナビゲーション的イベントを前記記録することは、前記ビデオの前記記録することとは別の前記ナビゲーション的イベントを記録することであって前記カメラの前記位置と向きの前記記録すること、または前記ビデオの前記記録することのうちの少なくとも１つに同期している、前記ナビゲーション的イベントを記録することを備える、請求項２１に記載の方法。
【請求項２３】
前記ナビゲーション的イベントは、腫瘍、血管、神経、手術経路、または予め識別された解剖学的ランドマークのうちの１つ以上のものの視認性の変化を備える、請求項２２に記載の方法。
【請求項２４】
ユーザの言葉によるコメントを記録することを更に備え、前記言葉によるコメントの前記記録することは前記カメラの位置と向きとの前記記録すること、または前記ビデオの前記記録することのうちの１つに同期している、請求項１８に記載の方法。
【請求項２５】
本発明に開示された記録方法の１つによって記録されたデータセットであって、ナビゲーションプロセスの記録されたデータセットを読み取ることと、
前記記録されたデータセットに基づいて前記ナビゲーションプロセスのビューの列を再生することと、を備える、データ処理システム上で実現される方法。
【請求項２６】
前記外科手術の後の前記ナビゲーションプロセスを精査するための３次元画像データのビューを再生するために前記記録されたデータセットから位置データを検索することを更に備える、請求項２５に記載の方法。
【請求項２７】
ナビゲーションプロセスの前記再生されたビューの列をビデオとして記録することを更に備える、請求項２５に記載の方法。
【請求項２８】
前記外科手術の後の前記ナビゲーションプロセスを精査するための３次元画像データのビューを再生するために前記記録されたデータセットから前記カメラの位置と向きとを検索することを更に備える、請求項２５に記載の方法。
【請求項２９】
前記記録されたデータセットから検索された前記記録されたビデオの再生の上に前記３次元画像データのビューを重ねることを更に備える、請求項２８に記載の方法。
【請求項３０】
前記３次元画像データは前記ナビゲーションプロセスの前記記録することの後に更新されている、請求項２９に記載の方法。
【請求項３１】
前記ナビゲーションプロセスの精査中に前記３次元画像データの前記ビューを修正することを更に備える、請求項２６に記載の方法。
【請求項３２】
前記修正することは、前記３次元画像データの一部分の照明、色、透明度、拡大率または視認性のうちの少なくとも１つを修正すること、または前記３次元画像データの解剖学的構造の１つ以上のモデルを変更することを備える、請求項３１に記載の方法。
【請求項３３】
ネットワーク上でナビゲーション器械の少なくとも位置データを送信することを備える、ネットワーク上でナビゲーションプロセスを送信するための方法。
【請求項３４】
前記ナビゲーション器械はビデオカメラを搭載したプローブである、請求項３３に記載の方法。
【請求項３５】
ネットワーク上で前記ビデオカメラの少なくとも位置データとビデオ画像とを送信することを備える、請求項３４に記載の方法。
【請求項３６】
前記位置データは本発明に開示された記録方法を使用して記録される、請求項３３に記載の方法。
【請求項３７】
前記位置データと前記ビデオ画像は本発明に開示された記録方法を使用して記録される、請求項３５に記載の方法。
【請求項３８】
利用可能な帯域幅にしたがって、前記カメラの記録された位置および向き、または前記記録されたビデオのうちの少なくとも一方をネットワーク上で送信することを更に備える、請求項３７に記載の方法。
【請求項３９】
前記カメラの前記記録された位置と向きおよび前記記録されたビデオは、前記記録されたビデオの再生に重ねられて、前記記録されたビデオの再生に同期して、前記３次元画像データのビューを外科手術から離れて表示するために送信されることになっている、請求項３８に記載の方法。
【請求項４０】
手術ナビゲーションプロセス中の患者に関するナビゲーション器械の位置または位置および向きを表すための位置データの列を記録することを備える方法を機械に実行させる命令を具現する機械可読媒体。
【請求項４１】
手術ナビゲーションプロセス中の患者に関するナビゲーション器械の位置または位置および向きを表すための位置データの列を受信するための手段と、
前記手術ナビゲーションプロセス中の前記位置データの列を記録するための手段と、を備えるデータ処理システム。
【請求項４２】
メモリと、
手術ナビゲーションプロセス中の患者に関するナビゲーション器械の位置または位置および向きを表すための位置データの列を前記メモリに記録するための、前記メモリに接続された１つ以上のプロセッサと、を備えるデータ処理システム。
【請求項４３】
ある対象の外科手術中に、手術ナビゲーションプロセス中の患者に関するナビゲーション器械の位置または位置および向きを表すための位置データの列を記録することを備える方法を機械に実行させる命令を実行することから、記録されたデータを具現する機械可読媒体。
【請求項４４】
手術ナビゲーションプロセス中のナビゲーション器械の追跡データを生成するための位置追跡システムと、
ある対象の外科手術中に、前記追跡データに少なくとも一部に基づいて、手術ナビゲーションプロセス中の患者に関するナビゲーション器械の位置または位置および向きを表すための位置データの列を記録するためのコンピュータであって前記位置追跡システムに接続されたコンピュータと、を備えるシステム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明の少なくともいくつかの実施形態は、一般に画像誘導手術ナビゲーションプロセスの記録と精査とに関し、特にしかし限定的にではなく、ビデオカメラによる拡張現実性強化手術ナビゲーションプロセスの記録と精査とに関する。
【背景技術】
【０００２】
外科手術中に外科医は、何らかの視覚化装置の助けなしに露出された表面を越えて見ることはできない。限定された外科的開口部の制約内で露出された視野は、周囲の解剖学的構造を理解するための空間的手がかりを欠く可能性がある。視覚化設備は、さもなければ手に入らない空間的手がかりを外科医に与える場合があり、それによって低侵襲手術（Minimally Invasive Surgery：ＭＩＳ）が実行されることを可能にし、患者に対する損傷を劇的に減少させることができる。
【０００３】
１つの切開もなしに患者の立体内部画像を収集するために、磁気共鳴画像法（ＭＲＩ）、コンピュータ断層撮影法（ＣＴ）、および３次元超音波検査法（３ＤＵＳ）といった多くの画像技法が現在利用可能である。しかしながら多くの理由からこのような画像技法は、外科医が外科手術中に手術箇所を理解するのを助けるためのリアルタイム画像を提供するためには適当でない場合がある。例えばこれらの画像技法のうちのいくつかの技法の処理速度は、リアルタイム画像に十分な解像度を与えるためには十分に高速でない場合があり、これらの画像手法のうちのいくつかの技法の使用は外科手術を妨げる場合がある、などである。
【０００４】
更に、ＭＲＩ、ＣＴ、３ＤＵＳといった立体の、走査された内部画像を取得するための種々の技法は、ある構造と組織の視覚化には適しているが、他のものの視覚化には適さない場合がある。したがってこれらの画像技法は典型的には、外科手術の前の診断と立案のために使用される。
【０００５】
これらの走査された画像を使用して、患者の複雑な解剖学的構造が視覚化されて精査されることが可能であり、危険な構造体が識別され、セグメント化され、位置決めされることができ、そして外科的手法が立案され得る。
【０００６】
走査画像と手術計画は、手術台上の実際の患者に写像されることが可能であり、手術中に外科医をガイドするために手術ナビゲーションシステムが使用され得る。
【０００７】
米国特許第５，３８３，４５４号は、ある対象の断面の走査画像上におけるこの対象内のプローブ（probe）の先端の位置を示すためのシステムを開示している。プローブの先端の位置は、検出されて断面画像の座標系に変換され得る。プローブの先端の測定された位置に最も近い断面画像が選択されることができ、プローブの先端の位置を表すカーソルがこの選択された画像上に表示され得る。
【０００８】
米国特許第６，１６７，２９６号は、位置追跡システムによってポインタ（指針）の位置をリアルタイムに追跡するためのシステムを開示している。患者の走査画像データは、ポインタの視点からの患者の解剖学的構造の３次元透視画像をリアルタイムにダイナミックに（動的に）表示するために利用される。
【０００９】
国際特許出願公報第ＷＯ０２／１００，２８４ Ａ１号は、拡張現実性の視覚化を与えるために仮想画像と現実画像とが重ね合わされるガイドシステムを開示している。仮想画像は、マルチモデルの立体的対象物として共に位置合わせされて表示され、３Ｄ（３次元）対象物としての表示のために関連手術構造体を識別するために仮想現実環境において操作されるＣＴおよび／またはＭＲＩ画像に基づいてコンピュータによって生成される。シースルー拡張現実性の一例では、コンピュータによって生成された立体画像の左右の目への投影は、ヘッドマウントディスプレイ（頭装着型表示装置）の左右のＬＣＤ（液晶）スクリーン上に表示される。左右のＬＣＤスクリーンは、ヘッドマウントディスプレイの左右のＬＣＤスクリーンを通して見られる現実世界がコンピュータ生成の立体画像に重ねられるように、ある程度透明である。顕微鏡支援の拡張現実性の一例では、顕微鏡からの立体ビデオ出力は、ビデオミキサーの使用によってヘッドマウントディスプレイにおける表示のためにコンピュータの立体、セグメント化３Ｄ画像形成データに結合される。仮想画像を生成するためにコンピュータによって使用されるクロップ面（crop plane）は、顕微鏡の焦点面に連結され得る。こうして、顕微鏡の焦点の値を変えることは、異なる平面における細部を見るために仮想３Ｄモデルを介してスライスするために使用され得る。
【００１０】
国際特許出願公報第ＷＯ２００５／０００，１３９ Ａ１号は、マイクロカメラがハンドヘルド・ナビゲーションプローブ（手持ちサイズのナビゲーションプローブ）に設けられ得る手術ナビゲーション画像システムを開示している。マイクロカメラの視点からの手術シーン（場面）のリアルタイム画像は、マイクロカメラの視点から関心の組織体を描写するコンピュータ生成３Ｄグラフィックスに重ねられ得る。コンピュータ生成３Ｄグラフィックスは、術前走査に基づいている。奥行き認識は、カメラ画像と重畳３Ｄグラフィックスとの透明な設定を変えることによって増すことができる。ユーザ対話を容易にするために組合せ画像に隣接して仮想インタフェースが表示され得る。
【発明の開示】
【００１１】
本発明の少なくとも１つの実施形態では、外科プロセスの精査、訓練および文書化などのために手術ナビゲーションプロセスを記録することが望ましい。
【００１２】
（発明の概要）
コンピュータ生成されたコンテンツを有する画像列（image sequence）において情報を記録してナビゲーションプロセスを精査するための方法と装置とが本明細書で説明される。このセクションでは、いくつかの実施形態が要約される。
【００１３】
一実施形態は手術ナビゲーションプロセス中の患者に関するナビゲーション器械の位置を表すための位置データの列（a sequence of positional data）を記録することを含む。
【００１４】
他の実施形態は、手術ナビゲーションプロセス中のプローブの位置と向き（orientation）とを追跡することと、患者の術前画像に基づいて画像を後に生成するために使用される、プローブの位置と向きとを記録することと、を含む。
【００１５】
更なる実施形態は、追跡システムからカメラの位置を受信することと、このカメラからのビデオのフレームを記録することと、このビデオのフレームに関連してカメラの位置を別々に記録することと、を含む。
【００１６】
更なる実施形態は、ナビゲーション器械の記録された位置の列を読み取ることと、記録されたビデオを読み取ることと、記録された位置の列に基づいて３次元画像データのビューの列を生成することと、記録されたビデオの対応するフレームにこのビューの列を結合することと、を含む。
【００１７】
更なる実施形態は、外科手術中にカメラからのビデオを記録することと、手術の対象者に関するカメラの位置と向きとを決定することと、カメラの決定された位置と向きとを使用して３次元画像データのビューを生成することと、ビデオの上記記録中のカメラの位置を記録することと、を含む。
【００１８】
一実施形態は、記録されたナビゲーションプロセスを精査するために記録データからナビゲーションプロセスを再生することを含む。
【００１９】
更なる実施形態は、画像誘導手術（image guided procedure）中に表示されたものと同じものを有する、または修正を有するナビゲーションプロセスを再生することを含む。例えば記録されたナビゲーションプロセスの精査中に、ナビゲーション表示列は、あたかもこのナビゲーション表示列がビデオストリームとして記録されたかのように、画像誘導手術中に表示されたものと同じであるように再構成され得る。代替として、ナビゲーション表示列は、仮想対象物の視認性を切り替えること、透明度を変えること、ズーミング（拡大縮小）することなどといった修正をもって構成されてもよい。
【００２０】
更なる実施形態は、精査中のビデオ画像列としてナビゲーションプロセスを記録することを含む。いったんビデオ画像列として記録されると、このビデオは種々の機械で再生され得る。
【００２１】
本発明は、これらの方法を実行するデータ処理システムと、データ処理システム上で実行されるときにこれらの方法をシステムに実行させるコンピュータ可読媒体とを含む、これらの方法を実行する方法と装置とを含む。
【００２２】
本発明の他の特徴は、付属の図面と下記の詳細な説明から明らかになるであろう。
【００２３】
本発明は、同様の参照記号が同様の要素を示す付属図面の図において限定ではなく例として示されている。
【００２４】
（詳細な説明）
下記の説明と図面は、本発明を例示しており、本発明を限定するものと解釈されるべきではない。多数の特定の詳細事項は、本発明の完璧な理解を与えるために説明される。しかしながらあるいくつかの例では、説明を不明確にすることを避けるために、周知のまたは通常の詳細事項は説明されない。本開示の１つの、またはある実施形態の参照は、同じ実施形態の参照であり得るが、必ずしもそうではない、またこのような参照は少なくとも１つの実施形態を意味する。
【００２５】
本発明の一実施形態によれば、手術ナビゲーションプロセスを記録することは望ましい。このナビゲーションプロセスの記録は、手術プロセスの精査、訓練および文書化のために使用され得る。一実施形態ではこの記録することは、手術ナビゲーションプロセスに全く影響を及ぼさずに、あるいは最小限の影響で実行される。
【００２６】
本発明の一実施形態は、拡張現実性に基づく画像誘導ナビゲーション手術を記録するためのシステムと方法とを提供する。本発明の実施形態にしたがった情報の記録には多くの利点が存在する。一実施形態では、拡張現実性を示すコンピュータ画像を生成するために、および／または画像に基づくガイダンスを与えるために使用される位置追跡データは、手術後に画像誘導手術において与えられた画像が精査のために再生され得るように記録され得る。これらの記録データは、ユーザが種々のオプションをもって手術を精査することを可能にする。例えば画像誘導手術において表示された同じ画像が精査時に生成可能であり、また画像誘導手術において示されたもののビデオクリップが生成可能である。代替としてパラメータの一部は、画像誘導手術中には提示されることのない画像誘導手術の種々の態様を研究するために修正され得る。一実施形態では画像誘導手術中に捕捉されたビデオ画像は、手術後にこれらのビデオ画像が拡張コンテンツを用いてまたは用いずに、あるいは異なる拡張コンテンツを用いて、精査され得るように、別々に記録される。このようにして本発明の実施形態による記録は、画像誘導手術を精査する際の種々の柔軟性を可能にする。
【００２７】
一例では手術中にリアルタイムに捕捉された現実性に基づく画像は、ナビゲーション中にリアルタイムに拡張現実性表示を構成するために使用される関連データと共に手術ナビゲーションプロセス中に記録される。この記録されたデータを使用して拡張現実性表示列は、修正ありまたは修正なしで記録画像と記録データから再構築され得る。例えば記録されるものは下記のうちの少なくとも幾つかを含み得る。
【００２８】
１）圧縮形式または非圧縮形式で記録され得る、そして手術（例えば画像誘導神経外科手術）中の拡張現実性表示を生成するために仮想画像と重ねられるリアルタイム現実世界画像（例えばビデオカメラからのビデオ画像）；
２）現実性を増大させるように手術中に使用および／または表示される立案データ（例えば腫瘍、血管、神経、手術経路、予め識別された解剖学的ランドマークといった仮想対象物、ランドマーク、測定値など）；
３）立案データの仮想画像を生成する際に使用され得るレンダリング（表現）パラメータ（例えば照明、色、透明度、視認性など）；
４）仮想画像を生成する際に、および／または現実世界画像と仮想画像とを重ねる際に使用され得るレジストレーション（位置合わせ）データ；
５）仮想対象物の仮想画像を生成する際に使用され得るカメラ特性（例えば焦点距離、歪みパラメータなど）；
６）仮想画像を生成する際に、および／または現実世界画像と仮想画像とを重ねる際に使用され得る手術中のカメラの位置と向き；および
７）記録データの列を関連させるための同期情報。
【００２９】
記録データは、拡張現実性表示列を再構築するために使用され得る。例えば表示列を再構築するための方法は、下記のうちの少なくとも幾つかを含み得る。
【００３０】
１）記録された現実世界画像を検索すること；
２）記録データにしたがって仮想画像を再生すること；
３）仮想画像と現実世界画像とを同期させること；および
４）拡張現実性表示列を表示するために仮想画像とビデオ画像とを結合すること。
【００３１】
表示列が再構築されると拡張現実性表示列は、表示列を記憶するために必要とされるメモリを減らすため、および同じ表示列を再生するために必要とされる処理を減らすためにビデオ画像列として記録され得る。一旦、ビデオ画像列として記録されると、ビデオは各種のマシンにおいて再生され得る。
【００３２】
一実施形態において、再生された拡張現実性表示列は、画像誘導手術中に表示されたものと実質的に同じでもよく、あるいは修正されていてもよい。例えば、画像誘導手術の精査中に、拡張現実性表示列は、あたかも拡張現実性表示列がビデオストリームとして記録されたかのように、画像誘導手術中に表示されたものと同じであるように再構築され得る。代替として、拡張現実性表示列は、仮想対象物の視認性を切り替える（トグルする）こと、透明度を変えること、ズーミング（拡大縮小）することなどといった修正をもって構築され得る。更に仮想画像列と現実世界画像列は別々に観察され得る。
【００３３】
仮想画像の生成のためのデータは、精査プロセス中に修正され得る。例えば、レンダリングパラメータは、画像列の再生を中断して、あるいは中断せずに精査プロセス中に調整され得る。例えば、記録された現実性に基づく画像列を使用して新しい拡張現実性表示列を生成するために、新しい更新された仮想対象物が使用され得る。
【００３４】
本発明の一実施形態は、画像誘導手術のためのリアルタイム表示の性能に影響を与えずに、精査または監視のためのリモートサイト（遠隔場所）にネットワーク接続を介して画像誘導手術のための情報を送信するように手配する。ネットワーク接続上で表示するシステムについての例示的詳細事項は、引例によって本明細書に組み込まれている、２００５年１２月３１日に出願された、「ネットワーク上での協同対話型視覚化のためのシステムと方法(Systems and Method for Collaborative Interactive Visualization over a Network)」と題する仮米国特許出願第６０／７５５，６５８号に見出され得る。
【００３５】
例えば、画像誘導手術のビデオの速度は、表示列が精査のための遠隔場所にネットワークの利用可能な帯域幅を使用して送信され得るように調整され得る。例えば、フレームレートは、ネットワーク帯域幅の利用可能性に基づいて手術室におけるリアルタイム表示より遅い速度で画像誘導手術を流すように減らされ得る。代替として、フレームレートは、ネットワーク帯域幅の利用可能性に基づいて（例えば選択的にフレームを落とすことによって）手術室におけるリアルタイム表示と同じ速度で画像誘導手術を流すように減らされ得る。
【００３６】
例えば、記録データは、システムがアイドル中である、あるいは十分な資源を持っていることが決定されたとき遠隔場所に送られることが可能である。したがってリモートサイトでの監視と精査のための画像誘導手術の表示のためのデータの送信は、画像誘導手術のリアルタイム表示とは非同期的に実行され得る。リモートサイトは、画像誘導手術の表示を時間的にずらして（例えば手術がまだ進行中であるときに手術の一部を精査または監視する機会を持つためにリアルタイムから遅らせて）再構築し得る。
【００３７】
本発明の一実施形態では、画像誘導手術の記録は、更に、画像列が容易に探索され、編成され、他の資源にリンクされ得るように記録された画像列を符号化するために使用され得る情報の記録を含む。例えば、画像列は、画像誘導手術中に適用されるタグとともに記録され得る。これらのタグは、時間、ユーザ入力／対話（例えばテキスト入力、音声入力、音声入力から認識されたテキスト、グラフィカルユーザインタフェースを介して与えられたマーキング）、ユーザ対話イベント（例えば仮想対象物のユーザ選択、ズーム変更、画像誘導手術の前の立案中に定義されたタグの適用）などのうちの１つ以上を含み得る。
【００３８】
図１〜５は、本発明の一実施形態による拡張現実性視覚化システムにおける画像記録を示す。図１において、コンピュータ（１２３）は、ビデオカメラ（１０３）によって捕捉された現実性ベースの画像の表示を改善するように、ビデオカメラ（１０３）の視点（viewpoint）にしたがってビューの仮想画像を生成するために使用される。現実画像と仮想画像は、表示装置（１２５）（例えばモニターまたは他の表示装置）上での表示のためにリアルタイムに混合される。コンピュータ（１２３）は、典型的には患者の走査画像から生成されて画像誘導手術（例えば神経外科手術）の前に定義される対象物モデル（１２１）に基づいて仮想画像を生成する。
【００３９】
図１で、ビデオカメラ（１０３）は、先端（１１５）を含むプローブの一部分がカメラの視野（１０５）内に在るようにプローブ（１０１）に取り付けられる。ビデオカメラ（１０３）は、ビデオカメラ（１０３）の位置と向きとがプローブ（１０１）の位置と向きとから決定され得るように、プローブ（１０１）に関して既知の位置と向きとを持つとしてもよい。
【００４０】
図１において、関心の対象物（１１１）に関するプローブ（１０１）の位置と向きは、画像誘導手術中に変更され得る。プローブ（１０１）は、所望のビュー（眺望）を取得するために手で持って位置決めされる。
【００４１】
図１において、プローブ（１０１）の位置と向き、そしてビデオカメラ（１０３）の位置と向きは、位置追跡システム（１２７）を使用して追跡される。
【００４２】
例えば、位置追跡システム（１２７）は、プローブ（１０１）が存在するシーンを捕捉するために２つの追跡カメラ（１３１、１３３）を使用し得る。プローブ（１０１）は、機構（１０７、１０８、１０９）（例えばトラックボール）を持つ。追跡カメラ（１３１、１３３）によって捕捉された画像における機構（１０７、１０８、１０９）の画像は、位置追跡システム（１２７）を使用して自動的に識別され得る。追跡カメラ（１３１、１３３）のビデオ画像内のプローブ（１０１）の機構（１０７、１０８、１０９）の位置に基づいて、位置追跡システム（１２７）は、位置追跡システム（１２７）の座標系（１３５）におけるプローブ（１０１）の位置と向きとを計算できる。
【００４３】
画像データと同じ座標系に存在する手術計画に関連する種々の対象物を含む患者の画像データは、周知の位置合わせ（レジストレーション）技法の１つを使用して手術台上の患者に写像され得る。例えば、このような１つの位置合わせ技法は、走査画像において識別されて位置決めされるこれらの位置と追跡されたプローブを使用して決定される患者におけるこれらの対応する位置とを一致させることによって患者の体表上の多数の解剖学的特徴（少なくとも３つ）を使用して患者の画像データをこの患者に写像する。位置合わせ精度は、画像データから生成された患者の身体部分の表面を、手術台上で生成された対応する身体部分の表面データに写像することによって更に改善され得る。位置合わせ（レジストレーション）に関する例示的詳細事項は、引例によって本明細書に組み込まれている２００４年７月２１日に出願された、「ガイドシステムとそれのためのプローブ（Guide System and a Probe Therefore）」と題する米国特許出願第１０／４８０，７１５号に見出され得る。
【００４４】
マーカーまたはトラックボールでマーク付けされた多数の基準点を有する基準フレームは、たとえ患者が手術中に動かされても、位置追跡システム（１２７）が患者の位置と向きとを決定できるように、患者の関心身体部分に固く取り付けられ得る。
【００４５】
同じ基準システムにおける対象物（例えば患者）（１１１）の位置および向きとビデオカメラ（１０３）の位置および向きとは、対象物（１１１）とビデオカメラ（１０３）との間の相対的位置および向きを決定するために使用され得る。このようにして位置追跡システム（１２７）を使用して、対象物（１１１）に関するカメラの視点が追跡され得る。
【００４６】
図１は位置追跡システムにおいて追跡カメラを使用する一例を示しているが、他のタイプの位置追跡システムも使用可能である。例えば、位置追跡システムは、無線信号、超音波信号、またはレーザービームといった信号の伝播における遅延に基づいて位置を決定するとしてもよい。送信機（または受信機）の位置を追跡するための１セットの点に対する伝播遅延を決定するために、多数の送信機および／または受信機が使用されるとしてもよい。代替として、または組合せにおいて、例えば、位置追跡システムは、プローブを支持するために使用され得る支持構造体の構成要素の位置に基づいて位置を決定するとしてもよい。
【００４７】
更に、ビデオカメラ（１０３）の位置と向きは、プローブ（１０１）に関して調整可能としてもよい。プローブに関するビデオカメラの位置は、（例えば自動的に）ビデオカメラ（１０３）の位置と向きとを決定するためにリアルタイムに測定されるとしてもよい。
【００４８】
更に、ビデオカメラは、プローブに取り付けられないとしてもよい。例えば、ビデオカメラは、別々に追跡され得る別の装置でもよい。例えば、ビデオカメラは、顕微鏡の一部でもよい。例えば、ビデオカメラは、ヘッドマウントディスプレイ（頭部装着型表示）装置を介して目で見られる画像を捕捉するためにヘッドマウントディスプレイ装置に搭載されるとしてもよい。例えば、ビデオカメラは、内視鏡ユニットと統合されてもよい。
【００４９】
更に、超音波検査といった他のタイプのリアルタイム撮像装置（imaging device）が使用されるとしてもよい。
【００５０】
画像誘導手術中に、関心の対象物（１１１）に関するビデオカメラ（１０３）の位置および／または向きは、変化してもよい。位置追跡システムは、ビデオカメラ（１０３）と対象物（１１１）との間の相対的位置および／または向きを決定するために使用される。
【００５１】
対象物（１１１）は、ビデオカメラ（１０３）を使用して捕捉されたビデオ画像において目に見えない可能性のある、あるいくつかの内部特徴（例えば１１３）を持つとしてもよい。ビデオカメラ（１０３）によって捕捉された現実性ベースの画像を増強するために、コンピュータ（１２３）は、対象物モデル（１２１）に基づいて対象物の仮想画像を生成し、現実性ベース画像を仮想画像に結合し得る。
【００５２】
一実施形態では、対象物（１１１）の位置と向きは、位置合わせ後の対応する対象物モデルの位置と向きとに対応する。このようにして、カメラの追跡される視点は、対象物モデル（１２１）の仮想画像を表現するように、対応するビデオカメラの視点を決定するために使用され得る。仮想画像とビデオ画像は、表示装置（１２５）上に拡張現実性画像を表示するために結合され得る。
【００５３】
本発明の一実施形態では、表示装置（１２５）上に表示されるものを記録する代わりに、表示装置（１２５）に表示されるものを再生成することと、表示装置（１２５）に表示されるものの修正バージョンを生成することと、画像誘導手術のためのリアルタイム処理に影響を及ぼすことを避けながら表示装置（１２５）に表示されるものを再構築するためにネットワーク（１２９）上でデータを送信する（例えば手術中は時間をずらして送信し、資源が許すときにはリアルタイムに送信し、あるいは手術後に送信する）ことと、が可能であるように、表示装置上に表示を生成するためにコンピュータ（１２３）によって使用されるデータが記録される。
【００５４】
３Ｄモデルは、対象物（例えば患者の身体または身体部分）の３次元（３Ｄ）画像から生成されるとしてもよい。例えば、患者の頭部のＭＲＩ走査またはＣＡＴ（コンピュータ体軸断層画像）走査は、頭部の３Ｄ仮想モデルを生成するためにコンピュータにおいて使用され得る。
【００５５】
コンピュータを使用して仮想モデルの種々のビューが生成され得る。例えば、頭部の３Ｄ仮想モデルは、頭部のモデルの別の視点が観察され得るようにコンピュータにおいて適切に回転するとしてもよい；モデルの部分は他の部分が見えるように除去されるとしてもよい；頭部のモデルのある部分は改善される視認性のために強調（ハイライト）されるとしてもよい；目標である解剖学的構造といった関心領域は、セグメント化されて強調されるとしてもよい；そして点、線、輪郭、テキスト、ラベルといった注釈とマーカーが仮想モデルに付加され得る。
【００５６】
手術立案のシナリオでは、おそらくユーザの目の位置に対応して視点が固定され、そして仮想モデルはユーザ入力に応じて動き得る。ナビゲーションプロセスでは、仮想モデルは、患者に位置合わせされており、概ね静止している。カメラは患者の周りで動かされることが可能であって、実際のカメラと同じ視点、焦点距離、視野など、位置および向きを持ち得る仮想カメラは、実際のカメラの動きにしたがって動かされる。こうして対象物の種々のビューは、カメラの種々の視点から表現される。
【００５７】
外科手術を立案するために、走査データから生成された仮想モデルを観察して相互作用させることが使用され得る。例えば、外科医は、患者の医学的問題の性質と程度とを診断するため、および周囲構造への損傷を最小にするように腫瘍の除去のための患者の頭部への挿入点および挿入方向を立案するため、手術経路を立案するため、などのために仮想モデルを使用するとしてもよい。こうして、頭部のモデルは、更に、診断情報（例えば腫瘍対象物、血管対象物）、手術計画（例えば手術経路）、識別されたランドマーク、注釈およびマーカーを含むとしてもよい。このモデルは観察経験およびハイライト関連特徴を改善するために生成され得る。
【００５８】
手術中、頭部の３Ｄ仮想モデルは、手術ナビゲーションおよびガイダンスのためにリアルタイム画像装置から捕捉された現実性ベースの画像を改善するために使用され得る。例えば、ＭＲＩおよびＣＡＴ（コンピュータ体軸断層画像）走査から生成された術前に取得された３Ｄ画像に基づいて生成された３Ｄモデルは、仮想カメラによって見られるような仮想画像を生成するために使用され得る。仮想画像は、現実性を増強する（例えば、ある程度透明なヘッドマウントディスプレイを通して見る）ために実際の手術フィールド（例えば所定の３Ｄ物理空間における現実世界知覚可能人体）と重ね合わされ、あるいは拡張現実性表示を生成するためにビデオカメラからのビデオ画像と混合され得る。ビデオ画像は、見られるような現実性を表すために捕捉され得る。ビデオ画像は、現実性がコンピュータ生成コンテンツを用いずに、または異なるコンピュータ生成コンテンツを用いて、あるいは同じコンピュータ生成コンテンツを用いて、後に精査され得るように、仮想画像を生成するために使用されるパラメータと共に記録され得る。
【００５９】
このようにして、ある程度透明なヘッドマウントディスプレイを通して見られるような現実性が捕捉され、使用され得る。ヘッドマウントディスプレイの視点は、ある程度透明なヘッドマウントディスプレイにおいて与えられる表示が修正されてまたは修正されないで手術後の精査のために再構築され得るように追跡され記録され得る。ある程度透明なヘッドマウントディスプレイにおいて与えられる表示の再構築に基づいて、手術中に表示されたもののビデオは、手術後に再生され、精査され、記録され得る。
【００６０】
更に、プローブ（１０１）は、プローブ内にビデオカメラを搭載しなくてもよい。対象物（１１１）に関するプローブ（１０１）のリアルタイムの位置と向きは、位置追跡システム（１２７）を使用して追跡され得る。プローブ（１０１）に関連する視点は、あたかも仮想カメラがプローブ（１０１）に関連する視点に存在するかのように、対象物モデル（１２１）の仮想ビューを構築するために決定され得る。コンピュータ（１２３）は、プローブ内に取り付けられたビデオカメラからのリアルタイムビデオ画像を用いて、または用いずに、プローブ（１０１）のナビゲーションをガイドするために表示装置上での表示のために対象物モデル（１２１）の仮想ビューのリアルタイム画像列を生成するとしてもよい。一実施形態では、プローブは、マイクロビデオカメラを含まず、またプローブは、プローブの追跡された位置と向きとにしたがって、対象物モデルの仮想ビュー上に表示されるアイコン、あるいは走査３Ｄ画像セットの断面図上に表示されるアイコンによって表され得る。
【００６１】
画像ベースのガイダンスは、対象物（１１１）とプローブ（１０１）と対象物モデル（１２１）と間のリアルタイムの位置および向き関係に基づいて与えられ得る。視点とプローブ（１０１）との間の既知の幾何学的関係に基づいて、コンピュータは更に、対象物に関するプローブの相対位置を示すためにプローブの表示を（例えばプローブの３Ｄモデルを使用して）生成し得る。
【００６２】
例えば、コンピュータ（１２３）は、対象物（１１１）とプローブ（１０１）との間のリアルタイムに決定された位置および向き関係を使用して、プローブ（１０１）と対象物（１１１）とを有するリアルタイムシーンの３Ｄモデルと、対象物（１１１）の３Ｄモデルとプローブ（１０１）の３Ｄモデルとを生成できる。シーンの３Ｄモデルを用いてコンピュータ（１２３）は、ユーザによって指定された任意の視点からのリアルタイムシーンの３Ｄモデルのビューを生成できる。したがって、表示装置上の表示を生成するための視点は、プローブ（１０１）と予め決められた幾何学的関係を有する視点、または画像誘導手術中にリアルタイムにユーザによって指定された視点であるとしてもよい。代替として、プローブは、アイコンを使用して表されるとしてもよい。
【００６３】
一実施形態では、対象物（１１１）とプローブ（１０１）とプローブのナビゲーションをガイドするための画像のリアルタイム表示の生成のためのリアルタイム視点との間の、リアルタイム位置および向き関係を示す情報は、手術後に、プローブのナビゲーションが対象物（１１１）の３Ｄモデルおよびプローブ（１０１）のモデルに対する任意の修正をもって、またはもたずに同じ一連の視点から、または異なる視点から精査されるとしてもよい。
【００６４】
内視鏡といった種々の医療装置がナビゲーションプロセスにおけるプローブとして使用可能であることに留意する。
【００６５】
図２において、ビデオカメラ（１０３）は、追跡される視点から表面に対象物（１１１）の特徴を示すビデオ画像（２０１）のフレームを捕捉する。図３で、コンピュータ（１２３）は、仮想カメラによって見られるような仮想画像（３０１）を生成するために、対象物の３Ｄ仮想現実モデルであり得る（例えばＭＲＩまたはＣＴスキャンといった立体画像データに基づいて生成され得る）モデルデータ（３０３）と仮想カメラモデル（３０５）とを使用する。これらの画像（２０１、３０１）のサイズは同じでもよい。
【００６６】
一実施形態では、仮想カメラは、この仮想カメラが、現実の対象物に対するビデオカメラと同様に、対象物の３Ｄモデルに対する同じ観察角および／または同じ観察距離を有するように、ビデオカメラと同じ視点を持つように定義される。コンピュータ（１２３）は、（例えばユーザ要求にしたがって）内部特徴（１１３）を選択的に表現する。例えば、３Ｄモデルは、多数のユーザ選択可能対象物を含むことができ、またこれらの対象物のうちの１つ以上は、ユーザ入力または予め決められた選択基準に基づいて（例えばビデオカメラの焦点面の位置に基づいて）目視可能であるように選択され得る。
【００６７】
仮想カメラは、仮想カメラの焦点面が対象物に関してビデオカメラの同じ焦点面に対応するように、ビデオカメラにしたがって定義された焦点面を持つとしてもよい。代替として、仮想カメラは、対象物に関して、ビデオカメラの焦点面から更に離れた予め決められた距離にある焦点面を持つとしてもよい。
【００６８】
仮想カメラモデルは、視野、焦点距離、歪みパラメータなどといった多数のカメラパラメータを含むとしてもよい。仮想画像の生成は、照明条件、色および透明度といった多数のレンダリング（表現）パラメータを更に含むとしてもよい。これらのレンダリングパラメータのうちのいずれかは、現実世界における（例えばリアルタイム測定値による）設定値に対応するとしてもよく、レンダリングパラメータのうちのいずれかは、予め決められる（例えばユーザによって予め選択される）としてもよく、レンダリングパラメータのうちのいずれかは、リアルタイムのユーザ入力にしたがってリアルタイムに調整されるとしてもよい。
【００６９】
図２のビデオ画像（２０１）と仮想カメラによって捕捉された図３のコンピュータ生成画像（３０１）は、図４のリアルタイム拡張現実性画像（４０１）を示すために結合され得る。
【００７０】
ビデオカメラ（１０３）の位置および／または向きが変更されると、仮想カメラによって捕捉された画像も変えられ、さらに拡張現実性の結合画像（５０１）も図５に示されるように変えられる。
【００７１】
一実施形態では、画像（３０１）を生成するためにコンピュータによって使用される情報は、ビデオ画像（２０１）がコンピュータ生成画像（３０１）を用いずに（または異なるコンピュータ生成画像を用いて）精査され得るように、ビデオ画像とは別に記録される。
【００７２】
一実施形態では、ビデオ画像（２０１）は、画像誘導手術のためにユーザに表示されなくてもよい。ビデオ画像（２０１）は、コンピュータ生成画像（３０１）のある程度透明な表示を通してユーザによって見られる現実世界ビューに対応でき、さらにビデオ画像（２０１）は、ユーザによって見られるものが画像誘導手術後に表示装置上に、または監視のために画像誘導手術中に別の装置上に再構築され得るように捕捉される。
【００７３】
図６は、本発明の一実施形態による画像列を記録して精査するための方法を示す。図６において、対象物のモデル（６０９）は、画像誘導手術に先立って取得された立体画像を使用して生成される。対象物のモデル（６０９）は、画像誘導手術後にアクセス可能である。更に、対象物のモデル（６０９）は、画像誘導手術後に更新されるとしてもよく、代替として、対象物の異なるモデル（６０９）（例えば画像誘導手術後に取得された立体画像に基づく）は画像誘導手術後に使用されるとしてもよい。
【００７４】
図６において、情報（６００）は、拡張現実性のリアルタイム表示の再構築の可能性のために記録される。情報（６００）は、対象物のビデオ画像（６０１）と、追跡システムにおける対象物の位置および向き（６０３）と、追跡システムにおけるビデオカメラの位置および向き（６０５）と、ビデオ画像の各フレームに関して、対象物に関するビデオカメラの位置および向き（６１１）が決定されて対象物のモデルの対応する画像（６１３）を生成するために使用され得るように、同期化パラメータ（例えば時間、フレーム数）の関数として記録されるレンダリングパラメータ（６０７）と、を含む。対象物のモデルの画像（６１３）は、結合された画像（６１５）を生成するために、対応するビデオ画像に結合され得る。
【００７５】
一実施形態では、システムは、追跡システムに関する位置と向きとが無視され得るように、対象物（６１１）に関するビデオカメラの位置と向きとを記録する。
【００７６】
一実施形態では、レンダリングパラメータのいくつかは、拡張現実性の修正されたビューを与えるために再構築中に調整されるとしてもよい。
【００７７】
図７は、本発明の一実施形態による記録列を記録する一例を示す。図７において、対象物の捕捉された画像が記録される（例えば毎秒２０〜２５フレームといった毎秒１０フレームより速い速度で）。ビデオ画像（例えば７０１、７０３、７０５）は、捕捉されて、圧縮フォーマット（例えば情報損失性フォーマットまたは情報無損失性フォーマット）で、または非圧縮フォーマットで記憶される。画像誘導手術中、カメラの視点は、ビデオ画像（７０１、７０３、７０５）が捕捉される対応時間（７４１、７４３、７４５）における視点（７１１、７１３、７１５）が決定されて、モデルの画像（７２１、７２３、７２５）を生成するために使用され得るように追跡される。対象物の捕捉された画像（７０１、７０３、７０５）とモデルの画像（７２１、７２３、７２５）は、手術をガイドするための結合画像（７３１、７３３、７３５）を供給するために結合され得る。結合画像（７３１、７３３、７３５）とモデルの画像（７２１、７２３、７２５）の記録は、これらの画像が他の記録情報から再構築可能であるので、任意選択的である。
【００７８】
一実施形態では、視点を決定するための情報は、対象物の捕捉画像のフレームごとに記録される。代替として、視点を決定するための情報は、視点の変化が起こるときに対応するフレームに関して記録されるとしてもよい。システムは、対象物に関するカメラの視点を記録してもよく、あるいは、他の情報は、位置追跡システムにおけるカメラおよび／または対象物の位置と向きといった対象物に関するカメラの視点を導き出すために使用され得る。
【００７９】
一実施形態では、照明（７５１）、色（７５３）、透明度（７５５）、視認性（７５７）などといったレンダリングパラメータは、対応するパラメータ（例えば７５９）に変化が起こったときに記録される。こうして、レンダリングパラメータに関する記録された情報に基づいて、モデルの画像（７２１、７２３、７２５）の各々を描写するために使用されるレンダリングパラメータは、決定され得る。代替として、対象物の捕捉された画像のフレームごとに、完全な１セットのレンダリングパラメータが記録されるとしてもよい。
【００８０】
一実施形態では、記録は、更に、記録された列の特定の一部分を識別するために使用され得る情報（７６１）といったタグの記録を含む。このタグ情報は、対象物の捕捉された画像の時間またはフレームに関係付けられる予め決められたインジケータでもよい。タグ情報は、（例えば可視から不可視に変わる、または不可視から可視に変わるといった仮想対象物の視認性が切り替えられるとき）、モデルの画像列に入る、または画像列から出るモデルの特定の仮想対象物を示すとしてもよい。タグ情報は、予め定義されてリアルタイムに適用され得る、または画像誘導手術中にタイプ入力されて適用され得る、または画像誘導手術中に音声コメントから認識されて適用され得るテキストメッセージを含むとしてもよい。タグ情報は、医療装置の測定といった関連記録の開始または終了を示すとしてもよい。タグは、関連記録へのリンクを含むとしてもよい。タグ情報は、列の異なる部分が容易なアクセスに関して探索され得るように、画像列を符号化するために使用されるとしてもよい。一実施形態では、タグ情報は、プローブの各位置と向きの先頭に記録される。
【００８１】
記録された情報を用いて、結合画像と対象物の対応する捕捉された画像に関するモデルの画像とが再構築されて表示され得る。更に、対象物のモデルであり、モデルレンダリングパラメータなどのパラメータのいずれかは、精査中に（または精査の前に）修正されるとしてもよい。更に、捕捉された現実性ベースの画像を増強するために、（例えば立案と手術と手術結果とを比較するために患者の手術後走査に基づいて）追加の仮想対象物が付加されるとしてもよい。
【００８２】
図８は、本発明の一実施形態による画像誘導手術を記録するための方法の流れ図を示す。
【００８３】
図８において、対象物（例えば外科手術中の患者の頭部）のリアルタイム画像ストリームのフレームが、（例えばガイドを与えるため、および／または記録のために）受信される（８０１）。対象物のリアルタイム視点にしたがって対象物に関連する画像（例えば立案された手術データを有する患者の頭部の内部特徴のビュー）を生成する（８０５）ために、リアルタイム画像ストリームのフレームに関する対象物のリアルタイム視点（例えば患者の頭部に関するビデオカメラの位置と向き）が決定される（８０３）。この画像は、立案された手術経路、診断情報などのような現実世界の対象物には存在しない可能性のある特徴を示すとしてもよい。この画像は、腫瘍、血管、神経、解剖学的ランドマークなどのような内部構造体のように、リアルタイム画像ストリームにおいて目に見えない現実世界の対象物に存在し得る特徴を示すとしてもよい。
【００８４】
生成された画像は、対象物のリアルタイム表示を与えるために（例えば手術中にナビゲーションガイドを与えるために）リアルタイム画像ストリームのフレームと結合される（８０７）。対象物のリアルタイム表示は、拡張現実性に基づいている。更に、拡張現実性の表示の操作を可能にするために、ユーザインタフェース要素も表示され得る。例えば、リアルタイム画像ストリームと生成画像とを混合するための透明パラメータは、リアルタイムに調整されるとしてもよく、ユーザはズームパラメータを調整し、異なる仮想対象物の視認性を切り替え（トグルし）、タグを適用し、仮想カメラの焦点面を調整し、測定を行い、位置、コメントなどを記録するとしてもよい。
【００８５】
リアルタイム画像ストリームが記録され（８０９）、さらにリアルタイム画像ストリームのフレームに関するリアルタイム視点を指定する情報が記録される（８１１）。記録された画像ストリームと情報は、修正されて、または修正されずに、結合された画像を用いて対象物の表示を再構築するために使用され得る。リアルタイム画像ストリームのフレームに関するリアルタイム視点を指定する情報は、位置追跡システムから受信されたデータ、対象物に関する装置（例えばビデオカメラまたはプローブ）の位置および／または向き、対象物に関する装置の向き、装置から対象物までの距離、および対象物に関連した３Ｄモデルに関する仮想カメラの位置および／または向き、のうちの１つ以上を含む追跡データでもよい。
【００８６】
任意選択的に、記録されたリアルタイム画像ストリームと記録された情報は、資源利用可能性にしたがって（例えば対象物のリアルタイム表示を劣化させずに）ネットワーク上で送信され得る（８１３）。
【００８７】
任意選択的に、フレームにタグ付けするための情報は、ユーザ入力にしたがって記録され得る（８１５）。この情報は、記録期間中のイベントの指示とユーザによって与えられた入力とを含み得る。
【００８８】
図９は、本発明の一実施形態による記録された画像誘導手術を精査するための方法の流れ図を示す。図９において、対象物（例えば外科手術後の患者の頭部）の記録された画像ストリームのフレームが（例えば拡張現実性を有する表示を精査するため、または再構築するために）検索される。
【００８９】
リアルタイム視点を指定する記録情報は、対象物のリアルタイム視点による対象物に関連した画像（例えば立案および／または記録された手術データを有する患者の頭部の内部特徴のビュー）を生成する（９０５）ために、記録された画像ストリームのフレーム（例えばリアルタイム画像のフレームを取得するための患者の頭部に関するビデオカメラの位置と向き）に関して検索される（９０３）。
【００９０】
生成された画像は、対象物の表示を与えるために記録された画像ストリームのフレームと結合される（９０７）。例えば、結合された画像は、外科手術中に与えられるナビゲーションガイドを再構築するために、または画像を生成するために使用された修正パラメータを用いて外科手術を精査するために、または対象物の新しいモデルを考慮して外科手術を精査するために生成されるとしてもよい。
【００９１】
図１０は、本発明の一実施形態による拡張現実性視覚化システムにおけるモデルを用意するための方法の流れ図を示す。図１０において、対象物は、対象物の３Ｄモデルを生成し（１００３）、この３Ｄモデルを使用して外科手術を立案する（１００５）ために（例えば診断情報を生成するため、手術経路を立案するため、解剖学的ランドマークを識別するために）使用され得る立体画像データを取得するために（例えばＣＴ、ＭＲＩ、３ＤＵＳなどを使用して）走査される（１００１）。この３Ｄモデルは、対象物に位置合わせされる。
【００９２】
図１１は、本発明の一実施形態による拡張現実性のための画像を生成するための方法を示す。図１１において、対象物の３Ｄモデル（１１０１）は、画像誘導手術中に使用されたモデルと同じもの、または修正されたもの、または異なるもの（例えば画像誘導手術後の立体画像走査に基づいて生成されたもの）であってもよい。この３Ｄモデル（１１０１）は、照明（１１１１）と光源および／または他の仮想対象物（例えば手術経路、診断情報など）に関する位置および向き（１１１３）とを有する仮想環境（１１０５）内に配置される。
【００９３】
図１１において、仮想カメラ（１１０７）は、仮想環境（１１０５）における３Ｄモデルの画像を捕捉するために使用される。仮想カメラは、焦点距離（１１３１）、基準中心（principle center）（視点）（１１３３）、視野（１１３５）、歪みパラメータ（１１３７）などのようなパラメータを含むとしてもよい。
【００９４】
仮想カメラによって捕捉された画像のレンダリング（描写）は、更に、３Ｄモデルの特定のビュー（例えば断面図、切欠きを有する図、表面図など）、記録されたビデオ画像に結合するための透明度（１１２３）、異なる仮想対象物の視認性（１１２５）、仮想対象物の色（１１２７）などのような多数の選択肢を含み得る。
【００９５】
一実施形態ではこれらのパラメータのいくつかまたは全部は、記録された情報に基づいている。これらのパラメータのいくつかは、精査のために変更されるとしてもよい。
【００９６】
手術ナビゲーションプロセスは、典型的には、外科手術中の患者に関するナビゲーション器械の制御された動きを含む。ナビゲーション器械は、プローブ、手術器具、ヘッドマウントディスプレイ、ビデオカメラまたは超音波プローブなどのような撮像装置、内視鏡、顕微鏡、またはこのような装置の組合せであるとしてもよい。例えば、プローブは、マイクロビデオカメラを含むとしてもよい。
【００９７】
ナビゲーションの間中、画像は、身体内の（または身体上の）場所を決める際にナビゲータを支援して、身体に関する所望の位置にナビゲーション器械を位置決めするためにリアルタイムに表示されるとしてもよい。表示される画像は、超音波検査、ＭＲＩ、Ｘ線などのような撮像装置から得られる手術中の画像であるとしてもよい。一実施形態では、ナビゲーションで使用される手術前または手術中に得られた画像は、内部生体構造の画像であり得る。患者の身体部分内におけるナビゲーション器械を示すために、この器械の位置は、身体部分の画像に示され得る。例えば、システムは、１）ナビゲーション器械の位置を決定して画像座標系に変換し、２）これらの画像を身体部分に位置合わせすることができる。手術中の画像を使用して、これらの画像は、典型的には、当然ながら患者に位置合わせされる。システムは、プローブ位置を画像座標系に変換するために、撮像装置ポーズ（位置と向き）を（例えば追跡システムを使用することによって）決定する。
【００９８】
手術中の画像が使用されないときには、ナビゲーション器械の位置は、外科手術の対象者に関する器械の位置を示すために追跡され得る。例えばアイコン、ポインタ、プローブの３Ｄモデルの描写された画像などのようなナビゲーション器械の表示は、患者に関してナビゲーション器械を位置決めすることを助けるために手術の前に取得された画像（術前画像）の上に重ねられ得る。例えば、患者の３Ｄモデルは、術前画像から生成されるとしてもよく、ナビゲーション器械の画像は、ナビゲーション器械の追跡された位置にしたがって患者の画像と共に描写され得る。
【００９９】
手術中画像が使用されるときには、手術中画像は、ナビゲーション器械の一部分を捕捉するとしてもよい。ナビゲーション器械の表示は、術前画像の上にナビゲーション器械の表示を重ねることと類似の方法で、術中画像に重ねられ得る。
【０１００】
一実施形態では、ＣＴ、ＭＲＩ、超音波画像などのような内部画像を収集するための撮像装置は、典型的には、ナビゲーション器械の一部ではない。しかしながら、カメラ、内視鏡、顕微鏡および超音波プローブなどのようなあるいくつかの撮像装置は、ナビゲーション器械の一部であり得る。ナビゲーション器械の一部としての撮像装置は、内部生体構造の画像に関して追跡システムによって決定される位置を持ち得る。
【０１０１】
ナビゲーション器械は、撮像装置を持つとしてもよい。撮像装置がナビゲーション器械に関して予め決められた空間関係を有するとき、追跡されるナビゲーション器械の位置と向きは、撮像装置の位置と向きとを決定するために使用され得る。代替として、撮像装置の位置と向きは別々に追跡されることができ、あるいは追跡されるナビゲーション器械に関して追跡されることができる。撮像装置の追跡とナビゲーション器械の追跡は、同じ位置追跡システムを使用して実行されるとしてもよい。
【０１０２】
一実施形態では、手術ナビゲーションプロセス中の患者に関するナビゲーション器械の位置と向きとを表すための位置データが記録される。この記録された位置データを使用して、手術中のナビゲータを助けるために、および／または記録されたナビゲーションプロセスを再構築または精査するために、術前データの画像が生成され得る。
【０１０３】
ここで、位置データは、一般に、位置関係を記述するデータを参照するとしてもよい。位置関係が多くの異なる形式で表されてもよいことは理解される。例えば、ナビゲーション器械と患者（ナビゲーションの対象）との間の位置関係は、ナビゲーション器械と患者との間の相対的位置および／または向きを含むとしてもよい。この説明では「場所（location）」は位置および／または向きを指すとしてもよい。
【０１０４】
ナビゲーション器械と患者との間の相対的位置および／または向きは、患者の位置と向き（患者座標系）に基づいている座標系において、ａ）ナビゲーション器械の１つの代表点の位置と、ｂ）ナビゲーション器械の向きとを使用して表されるとしてもよい。代替として、ナビゲーション器械の位置および／または向きは、患者座標系においてナビゲーション器械の位置と向きとが計算され得る他のデータで置き換えるとしてもよい。
【０１０５】
ナビゲーション器械が硬いボディと考えられるときには、ナビゲーション器械の位置と向きとが、ナビゲーション器械上の任意の点の位置ならびにナビゲーション器械の任意の部分の位置と向きとを決定する、ことは理解される。
【０１０６】
同様に、ナビゲーション器械が硬いボディと考えられるときには、ナビゲーション器械の多数の点の位置がナビゲーション器械の向きを決定できる。
【０１０７】
更に、ナビゲーション器械の代表点の位置は、ａ）患者座標系に関する代表点の方位角（orientation angle）と、ｂ）この代表点と患者座標系の原点との間の距離と、で置き換えることができる。更に、患者座標系におけるナビゲーション器械と患者との間の相対的位置および／または向きを記述することは必要でない。例えば、ナビゲーション器械と患者との間の位置と向きは、位置追跡システムにおけるナビゲーション器械の位置および向きと、位置追跡システムにおける患者の位置および向きとを使用して表すことができる。
【０１０８】
このように、位置関係を表すための位置データは、ある特定の形式に限定されない。位置関係を記述するための例として、位置データのいくつかの形式が使用される。しかしながら、位置データがこれら特定の例に限定されないことは理解される。
【０１０９】
図１２は、本発明の一実施形態による拡張現実性を有する画像誘導手術を記録および／または精査するためのデータ処理システムのブロック図の例を示す。
【０１１０】
図１２はコンピュータシステムの種々の構成要素を例示しているが、これらの構成要素を相互接続する特定のアーキテクチャまたは仕様を表すことは意図されていない。本発明では、より少数または多数の構成要素を有する他のシステムであっても使用可能である。
【０１１１】
図１２において、コンピュータシステム（１２００）は、ある形式のデータ処理システムである。このシステム（１２００）は、マイクロプロセッサ（１２０３）とメモリ（１２０７）とを相互接続する相互接続部（１２０１）（例えばバスとシステムコア論理）を含む。マイクロプロセッサ（１２０３）は、このマイクロプロセッサ（１２０３）と同じチップ上に実現され得るキャッシュメモリ（１２０５）に接続される。
【０１１２】
相互接続部（１２０１）は、マイクロプロセッサ（１２０３）とメモリ（１２０７）とを相互接続し、さらにこれらを表示コントローラ・表示装置（１２１３）に相互接続し、さらに入出力コントローラ（１２１１）を介して入出力（Ｉ／Ｏ）装置（１２０９）といった周辺装置に相互接続する。典型的なＩ／Ｏ装置は、マウス、キーボード、モデム、ネットワークインタフェース、プリンタ、スキャナ、ビデオカメラおよび他の装置を含む。
【０１１３】
相互接続部（１２０１）は、種々のブリッジ、コントローラおよび／またはアダプタを介して他の装置に接続される１つ以上のバスを含むとしてもよい。一実施形態では、Ｉ／Ｏコントローラ（１２１１）は、ＵＳＢ（Universal Serial Bus）周辺機器を制御するためのＵＳＢアダプタおよび／またはＩＥＥＥ−１３９４周辺機器を制御するためのＩＥＥＥ−１３９４バスアダプタを含む。相互接続部（１２０１）はネットワーク接続部を含む。
【０１１４】
メモリ（１２０７）は、ＲＯＭ（Read Only Memory）と、揮発性ＲＡＭ（Random Access Memory）と、ハードドライブ、フラッシュメモリなどといった不揮発性メモリと、を含むとしてもよい。
【０１１５】
揮発性ＲＡＭは、典型的には、メモリ内のデータをリフレッシュまたは保持するために継続的に電力を必要とするダイナミックＲＡＭ（ＤＲＡＭ）として実現される。不揮発性メモリは、典型的には、磁気ハードドライブ、フラッシュメモリ、磁気光ドライブ、または光ドライブ（例えばＤＶＤ ＲＡＭ）、あるいは電力がシステムから除去された後でもデータを維持する他のタイプのメモリシステムである。不揮発性メモリは、また、ランダムアクセスメモリでもよい。
【０１１６】
不揮発性メモリは、データ処理システム内の構成要素の残り部分に直接接続されるローカル装置であり得る。モデムまたはイーサネット（登録商標）インタフェースといったネットワークインタフェースを介してデータ処理システムに接続されるネットワーク記憶装置といったシステムから離れた不揮発性メモリも使用可能である。
【０１１７】
メモリ（１２０７）は、画像誘導手術のための画像列を記録し再構築し精査するためのオペレーティングシステム（１１２５）、レコーダ（１２２１）およびビューア（１２２３）を記憶するとしてもよい。レコーダおよび／またはビューアの一部は、改善された性能のためにハードウエア回路を使用して実現されるとしてもよい。メモリ（１２０７）は、仮想画像の生成のために３Ｄモデル（１２３０）を含むとしてもよい。ビューア（１２２３）における画像列を再構築するために使用される３Ｄモデル（１２３０）は、画像誘導手術中に表示を与えるために使用されものと同じでもよい。３Ｄモデルは、立体画像データを含むとしてもよい。メモリ（１２０７）は、更に、画像誘導手術中にリアルタイムに捕捉された現実世界画像の画像列（１２２７）と、３Ｄモデル（１２３０）に基づいて仮想画像を生成して、ビューア（１２２３）において仮想画像を記録された画像列と結合するための観察パラメータ列（カメラの位置と向きとを含む）（１２２９）とを記憶するとしてもよい。
【０１１８】
本発明の実施形態は、ハードウエア、または命令のプログラム、またはハードウエアと命令のプログラムとの組合せを使用して実現され得る。
【０１１９】
一般的に、本発明の実施形態を実現するために実行されるルーチンは、オペレーティングシステムまたは特定のアプリケーションの一部として、コンポーネント、プログラム、オブジェクト、モジュールまたは「コンピュータプログラム」とも呼ばれる命令の列として実現されるとしてもよい。コンピュータプログラムは、典型的には、コンピュータ内の種々のメモリおよび記憶装置に種々の時刻に設定される命令であって、コンピュータ内の１つ以上のプロセッサによって読み取られて実行されるとき本発明の種々の態様を含む要素を実行するために必要な動作をコンピュータに実行させる１つ以上の命令を備える。
【０１２０】
本発明のいくつかの実施形態は、完全に機能するコンピュータおよびコンピュータシステムに関連して説明されてきたが、当分野に精通する人々は、本発明の種々の実施形態が種々の形のプログラム製品として分散配置されることが可能であり、実際にこの分散を達成するために使用される機械可読媒体またはコンピュータ可読媒体の特定のタイプに無関係に適用可能であることを理解するであろう。
【０１２１】
コンピュータ可読媒体の例は数ある中でも特に、揮発性および不揮発性メモリ装置、読出し専用メモリ（ＲＯＭ）、ランダムアクセスメモリ（ＲＡＭ）、フラッシュメモリ装置、フレキシブルおよび他の取外し可能ディスク、磁気ディスク記憶媒体、光記憶媒体（例えばコンパクトディスク読出し専用メモリ（ＣＤ ＲＯＭ）、ディジタル多用途ディスク（ＤＶＤ）、など）といった記憶可能タイプおよび非記憶可能タイプの媒体を含むが、これらに限定されない。これらの命令は、搬送波、赤外線信号、ディジタル信号などといった伝播信号の電気、光、音響または他の形式のためのディジタルおよびアナログ通信リンクに具現され得る。
【０１２２】
機械可読媒体は、データ処理システムによって実行されるときにシステムに本発明の種々の方法を実行させるソフトウエアとデータとを記憶するために使用され得る。実行可能なソフトウエアとデータは、例えばＲＯＭ、揮発性ＲＡＭ、不揮発性メモリおよび／またはキャッシュを含む種々の場所に記憶され得る。このソフトウエアおよび／またはデータの部分は、これらの記憶装置のいずれかに記憶され得る。
【０１２３】
一般に、機械可読媒体は、機械（例えばコンピュータ、ネットワーク装置、パーソナルディジタルアシスタント（ＰＤＡ）、製造機械、１つ以上のプロセッサのセットを持つ任意の装置など）によってアクセス可能な形で情報を与える（すなわち記憶および／または送信する）如何なる機構も含む。
【０１２４】
本発明の態様は、少なくとも部分的にソフトウエアに具現されるとしてもよい。すなわち、これらの技法は、ＲＯＭ、揮発性ＲＡＭ、不揮発性メモリ、キャッシュまたは遠隔記憶装置といったメモリに含まれる命令の列を実行するマイクロプロセッサといったプロセッサに応じてコンピュータシステムまたは他のデータ処理システムにおいて実行されるとしてもよい。
【０１２５】
種々の実施形態において、ハードワイヤード（配線接続された）回路は、本発明を実現するためにソフトウエア命令と組み合わせて使用され得る。したがって、これらの技法は、ハードウエア回路とソフトウエアとの如何なる特定の組合せにも、データ処理システムによって実行される命令の如何なる特定の源にも限定されない。
【０１２６】
この説明では種々の機能と動作は、説明を単純化するためにソフトウエアコードによって実行される、または引き起こされるものとして説明されている。しかしながら、当業者は、このような表現によって意味されることが、これらの機能がマイクロプロセッサといったプロセッサによるコードの実行の結果から来るということを認めるであろう。
【０１２７】
図面の一部のものは多数の動作をある特定の順序で例示しているが、順序依存性でない動作は再順序付け可能であり、他の動作は組合せ可能または離脱可能である。あるいくつかの再順序付けまたは他のグループ化は具体的に記載されているが、他のものは当分野に通常のスキルを有する人々には明らかであると考えられ、代替手段の網羅的リストを提示しない。更にこれらのステージがハードウエア、ファームウエア、ソフトウエアまたはこれらの任意の組合せに実現され得ることは認められるべきである。
【０１２８】
上記の明細書において本発明は、その特定の例示的実施形態を参照しながら説明されてきた。前述の請求項に記載された本発明のより広い精神と範囲から逸脱することなくこれらの実施形態に種々の修正が行われ得ることは明らかであろう。したがって本明細書と図面は、限定的意味よりむしろ例示的意味に考えられるべきである。
【図面の簡単な説明】
【０１２９】
【図１】本発明の一実施形態による拡張現実性視覚化システムにおける画像記録を示す図。
【図２】本発明の一実施形態による拡張現実性視覚化システムにおける画像記録を示す図。
【図３】本発明の一実施形態による拡張現実性視覚化システムにおける画像記録を示す図。
【図４】本発明の一実施形態による拡張現実性視覚化システムにおける画像記録を示す図。
【図５】本発明の一実施形態による拡張現実性視覚化システムにおける画像記録を示す図。
【図６】本発明の一実施形態による画像列を記録し精査するための方法を示す図。
【図７】本発明の一実施形態による記録列の一例を示す図。
【図８】本発明の一実施形態による画像誘導手術を記録するための方法の流れ図。
【図９】本発明の一実施形態による記録された画像誘導手術を精査するための方法の流れ図。
【図１０】本発明の一実施形態による拡張現実性視覚化システムにおいてモデルを用意するための方法の流れ図。
【図１１】本発明の一実施形態による拡張現実性のための画像を生成する方法を示す図。
【図１２】本発明の一実施形態による拡張現実性を有する画像誘導手術を記録および／または精査するためのデータ処理システムのブロック図の例を示す図。
【図１】
2009529951.tif 000003
【図２】
2009529951.tif 000004
【図３】
2009529951.tif 000005
【図４】
2009529951.tif 000006
【図５】
2009529951.tif 000007
【図６】
2009529951.tif 000008
【図７】
2009529951.tif 000009
【図８】
2009529951.tif 000010
【図９】
2009529951.tif 000011
【図１０】
2009529951.tif 000012
【図１１】
2009529951.tif 000013
【図１２】
2009529951.tif 000014
【国際調査報告】
2009529951.tif 000015
2009529951.tif 000016
2009529951.tif 000017