(57)【要約】巨視的および微視的な手術ナビゲーション・可視化のための改良されたシステムと方法を提示する。本発明の例示の実施形態では、統合システムは、患者の内部生体構造の３次元表示を記憶しているコンピュータと、ディスプレイと、プローブと、手術用顕微鏡とを含むことが可能である。本発明の例示の実施形態では、基準マーカーはプローブと顕微鏡に取り付けることが可能であり、本システムはまた、プローブと顕微鏡それぞれの３Ｄ位置と方位を追跡することが可能な追跡システムを含むことが可能である。本発明の例示の実施形態では、システムは、顕微鏡の撮像パラメータの変化、たとえば、顕微鏡をユーザが調整したり操作したりした結果発生する倍率や焦点の変化、を検出する手段を含むことが可能である。この顕微鏡はその焦点位置を、たとえば、顕微鏡に取り付けられたマーカーを基準として有することが可能であり、また、たとえば、顕微鏡の焦点の全域にわたって校正することが可能である。本発明の例示の実施形態では、顕微鏡の位置は、この顕微鏡に関するデータを追跡することによって得ることが可能であり、また、その焦点は、たとえば、この顕微鏡と一体化されたセンサーから得ることが可能である。くわえて、プローブの先端位置はまた、プローブ上の基準マーカーの追跡データから得ることが可能であり、また、プローブと顕微鏡それぞれに付けられている１つ以上のカメラから得られる実映像と患者の解剖学的データの仮想表示との位置合わせをする手段を備えることが可能である。本発明の例示の実施形態では、可視化とナビゲーションを、顕微鏡とプローブのそれぞれによって提供することが可能であり、これら双方が起動している場合、本システムは、定義されたルールにしたがって、微視的なまたは巨視的な（プローブベースの）拡張された映像を知的に表示することが可能である。【選択図】図１Ｄ
2008532602.tif 000002
【特許請求の範囲】
【請求項１】
手術用のナビゲーションと可視化の機能を統合したシステムにおいて、前記システムが：
顕微鏡と；
前記顕微鏡に取り付けられた少なくとも１つのビデオカメラと；
コンピュータと；
前記コンピュータ内にインストールされる顕微鏡カメラモデルと；
プローブと；
前記プローブに取り付けられたビデオカメラと；
前記コンピュータに保存されたプローブカメラモデルと；
前記プローブと前記顕微鏡の姿勢（位置と方向）を判定する追跡デバイスと；
前記コンピュータに事前保存される３次元患者映像データと；
ディスプレイと；
を備え、前記コンピュータが、手術ナビゲーションのために、前記プローブまたは前記顕微鏡と関連する姿勢データとビデオ映像を自動的に選択する、システム。
【請求項２】
前記自動的選択動作が、追跡データと、プローブビューと顕微鏡ビューの定義済みの相対的優先順位アルゴリズムとに基づく、請求項１に記載のシステム。
【請求項３】
前記顕微鏡の倍率と焦点が調整可能であり、センサーが倍率と焦点の値を検出して、このデータを前記コンピュータに対して通信する、請求項３に記載のシステム。
【請求項４】
撮像特性を有する仮想顕微鏡カメラと、前記顕微鏡に取り付けられた前記ビデオカメラの位置および方向とのマッチングが、前記顕微鏡カメラモデル、前記顕微鏡の追跡データならびに前記顕微鏡のズームおよび焦点の値から発生可能である、請求項１に記載のシステム。
【請求項５】
前記顕微鏡が焦点を有し、前記患者に対するこの焦点の位置が、前記顕微鏡の焦点の値と顕微鏡の追跡データとから表現することが可能である、請求項１に記載のシステム。
【請求項６】
前記顕微鏡に取り付けられた前記ビデオカメラからのビデオ映像が、前記仮想顕微鏡カメラによる３次元の患者映像データに基づいて前記コンピュータによって生成された仮想映像によって拡張され、複合映像が前記ディスプレイに表示される、請求項４に記載のシステム。
【請求項７】
撮像特性を有する仮想プローブカメラと、前記プローブに取り付けられた前記ビデオカメラの位置および方向とのマッチングが前記プローブカメラモデルと前記プローブの追跡データから生成可能である、請求項１に記載のシステム。
【請求項８】
前記プローブに取り付けられた前記ビデオカメラからのビデオ映像が、前記仮想プローブカメラによる３次元の患者映像データに基づいて前記コンピュータによって生成された仮想映像によって拡張され、複合映像が前記ディスプレイに表示される、請求項４に記載のシステム。
【請求項９】
前記選択は、ユーザが、物理的インタフェースまたは音声インタフェースを起動することによって無効とすることが可能である、請求項２に記載のシステム。
【請求項１０】
手術目的でナビゲーションと可視化を実行する方法において、前記方法が：
患者から３次元映像データを獲得するステップと；
前記３次元映像データをデータプロセッサ中に保存するステップと；
前記３次元映像データを前記患者に対して位置合わせするステップと；
顕微鏡に取り付けられたビデオカメラから前記患者のリアルタイムビデオ映像を獲得するステップと；
前記顕微鏡の位置と方向を追跡するステップと；
前記顕微鏡のズームと焦点の値を受信するステップと；
前記顕微鏡の顕微鏡カメラモデル、前記追跡データ、ズーム値および焦点値にしたがって仮想の顕微鏡カメラを構築するステップと；
前記患者の前記３次元映像データの仮想映像を生成するステップと；
前記リアルタイムビデオ映像を前記仮想映像に重ね合わせることによって現実性が増したビューを生成するステップと；
現実性が増したビューを１つ以上のディスプレイに表示するステップと；
を含む方法。
【請求項１１】
前記顕微鏡の位置、ズーム、又は焦点を変更することなく、前記現実性が増したビューをデジタル処理でズームすることが可能である、請求項１０に記載の方法。
【請求項１２】
実映像と仮想映像が、デジタル処理でズームされ、現実性が増したビューの中に幾何学的に互いに揃えられる、請求項１１に記載の方法。
【請求項１３】
現実性が増したビューがズームアウトされ、前記実映像の視野の外部にある前記患者の３次元映像データによる仮想映像が生成されて表示され、前記ビデオカメラからの実映像上に部分的に重ねられる、請求項１２に記載の方法。
【請求項１４】
手術ナビゲーション用の前記顕微鏡に取って代わるビデオカメラを固定したプローブを自動的に選択する、請求項１３に記載の方法。
【請求項１５】
前記プローブに固定された前記ビデオカメラから前記患者のリアルタイムビデオ映像を獲得するステップと；
前記プローブの位置と方向を追跡するステップと；
プローブカメラモデルと前記追跡データにしたがって仮想のプローブカメラを構築するステップと；
前記仮想プローブカメラによる前記患者の３次元映像データの仮想映像を生成するステップと；
前記リアルタイムビデオ映像を前記仮想映像に重ね合わせることによって現実性が増したビューを生成するステップと；
を含む請求項１４に記載の方法。
【請求項１６】
前記現実性が増したビューを、前記プローブの位置を変更することなくデジタル処理でズームアウトすることが可能な、請求項１５に記載の方法。
【請求項１７】
前記プローブに固定された前記カメラからの前記患者のリアルタイムビデオ映像を、外科手術状態にとどまっている前記顕微鏡によって獲得し；
前記焦点および光軸ならびに前記仮想プローブカメラによる前記患者の前記３次元映像データを持つ仮想映像を生成し；
前記リアルタイムビデオ映像を前記仮想映像に重ね合わせることによって現実性が増したビューを生成する；
請求項１６に記載の方法。
【請求項１８】
前記顕微鏡による手術の最中に前記プローブを位置決めして、さまざまな方位と位置からのナビゲーションビューを得る、請求項１０に記載の方法。
【請求項１９】
手術野のまわりの解剖学的構造体を、前記顕微鏡の焦点および光軸と一緒に、前記プローブカメラの視点から表示することが可能な、請求項１８に記載の方法。
【発明の詳細な説明】
【技術分野】
【０００１】
関連出願に対するクロスリファレンス
本出願は、その全体を参照してここに組み込み、これを共通して譲渡される、２００５年3月１１日に提出された米国暫定特許出願第６０／６６０，８４５号の恩典を要求する。本出願はまた、その全体を参照してここに組み込む、２００５年７月２０日に提出されたある物体の仮想モデルをこの物体にマッピングするシステムと方法（「マルチポイント位置合わせ法」）という題名のＰＣＴ／ＳＧ２００５／００２４４号の恩典を要求する。本出願はまた、米国特許出願公開公報第２００５００１５００５号（「カメラプローブ出願」）として公開された、２００４年４月２７日に提出された米国特許出願第１０，８３２，９０２号の開示を参照してここに組み込む。
【０００２】
本発明は、映像ベースの外科手術誘導と可視化のためのシステムに関する。
【背景技術】
【０００３】
神経外科手術は、通常、２つの手術モードで実行されるが、それは、巨視的モードと微視的モードである。前者においては、手術野は一般的に肉眼で眺めるが、後者においては、手術野は顕微鏡を介して眺める。これらの手術モードにおいてはどちらも、映像ベースのナビゲーションと可視化のためのシステムが用いられてきたが、それは、医師が広範囲にわたる繊細な外科的処置の実施を支援することに成功してきたからである。
【０００４】
映像ベースのナビゲーションと可視化においては、患者の内部生体構造体を描写する映像を、通常は、手術に先立ってまたはその最中に、ＭＲＩ（磁気共鳴映像法）、ＣＴ（コンピュータ断層撮影法）およびさまざまな他の技法を用いて生成する。この映像から、患者の３Ｄ（３次元）表示を生成する。この表示の形態はさまざまなで、これには、映像から再構築された患者のさまざまな解剖学的構造体の立体映像や３Ｄモデルから、外科計画を解説するために追加された図面、注釈および測定値およびこれらの組み合わせが含まれる。手術に際しては、この３Ｄ表示を患者と位置合わせによって揃える。内部生体構造体の映像を実際の手術野とリンクさせることによって、手術に際して患者の内部のさまざまな改造学的特徴を探す外科医の能力をナビゲーションシステムは向上させることが可能である。
【０００５】
巨視的ナビゲーションにおいては、ユーザ（外科医）はプローブを保持するが、このプローブは追跡デバイスによって追跡される。このようなプローブが手術野に導入されると、アイコンとして表されるプローブの先端の位置が患者の３Ｄ表示のビュー上に写される。ナビゲーションは、外科医がエントリポイントを決定して、目標に対向している解剖学的構造体を理解し、また、手術経路に沿った危険構造体を避ける助けとなる。
【０００６】
米国特許出願公開公報第２００５００１５００５号は、プローブがマイクロカメラを含んでいる改良型のナビゲーションシステムを解説している。これによって、患者の３Ｄ表示の上に重ねられたマイクロカメラによって獲得されたリアルタイム映像を表示することによって所与の術野内での現実性が増した強化ナビゲーションが可能となる。
【０００７】
顕微鏡下手術をしている間、外科医が作業している手術野を拡大するために手術用顕微鏡がしばしば用いられる。この顕微鏡はナビゲーション目的で追跡することが可能であり、その焦点を、通常はプローブの先端の代わりに３Ｄ表示中に表示することが可能である。
【０００８】
手術のシーンから目をそらしてモニターを見ることを避けるために、「映像挿入」顕微鏡が開発されているが、これによれば、コンピュータワークステーションによって生成されたナビゲーションビューを顕微鏡の光映像上に重ね合わせる。このように重ね合わせるには、顕微鏡を介して見た映像と重ね合わされた映像が、幾何学的に一致する必要がある
【０００９】
顕微鏡ベースのナビゲーションシステムにおける現時点での重ね映像は、光映像平面上に重ね合わされた２次元の輪郭からなっている。３次元的印象を得るためには、外科医は別の映像平面をスクロールして、挿入された輪郭を３次元モデルに意識の中で融合しなければならない。
【００１０】
このような従来式の技法によって、外科医は、巨視的手術を実施する場合と、顕微鏡下手術をする場合の双方において手術野でナビゲーションすることが可能である。しかしながら、これらの技法には以下の重大な欠点がある。
【００１１】
第一に、顕微鏡下手術の最中に、外科医が顕微鏡ベースのナビゲーションおよびプローブベースのナビゲーションおよび可視化を切り替えたくなることはよくあることである。こうするには、外科医は通常、顕微鏡を手術野から上方におよび／またはこれら離れるように移動させ、次に、ナビゲーションプローブを手術野の中に移動させるため、正常な手術の流れが深刻に遮断されることになる。
【００１２】
第二に、外科医が、たとえば、神経や血管などの微細構造体に対して繊細な処置を施すことが可能となるためには、顕微鏡の倍率を、通常、手術中は高いレベルに設定しておく。
【００１３】
この高レベルの倍率はこのような微細構造体を可視化させるが、同時に、視野を狭める。次に重ね合わせることが可能な仮想映像は同じ倍率を有するので、仮想物体の表示もまた制限される。このため、外科医が、自分が顕微鏡を通して見ている領域を患者の実際の位置であると明確に特定することが不可能となるような状況となりかねない。このエリアは単純に小さすぎて外科医が見ることが不可能である。また、重ね映像もあまり役に立つ情報にはならないのは、このエリアの周りの解剖学的構造体が視野の外にあり、可視化されないからである。さらに、このような状況下では、外科医は、手術野のまわりの解剖学的に重要物の３Ｄ構造体を別の視点から見ることが不可能である。
【００１４】
第三に、顕微鏡下手術の最中では、一般的に、手術野の周りの構造体のすべてを完全に意識している状態が外科医には望ましい。従来型のシステムでは、ナビゲーションビューは顕微鏡の光軸ビューに重ね合わされる。これには、外科医が顕微鏡から目をそらすことなくナビゲーションビューを見ることが可能であるという利点があるが、一方、このナビゲーションビュー中の限られた情報だけしか表示出来ない点、ディスプレイが外科医の光軸ビューを著しく遮断しうる点が欠点であり、映像挿入のためにシステムの経費が増大する。
【００１５】
したがって、技術上必要とされるのは、顕微鏡下手術の最中にナビゲーションのために手術野の拡大ビューから目をそらす必要性を軽減するような手術ナビゲーションと可視化のための方法とシステムである。
【００１６】
技術上さらに必要とされるのは、現実性が増した微視的および巨視的な統合された強化ナビゲーション・可視化性能とこれら微視的ナビゲーションと巨視的ナビゲーションを途切れなく、また、効率的に切り替える機能を同様に提供することが可能な手術映像化のための方法とシステムである。
【発明の開示】
【発明が解決しようとする課題】
【００１７】
課題を解決するための手段
巨視的および微視的な手術ナビゲーション・可視化のための改良されたシステムと方法を提示する。本発明の例示の実施形態では、統合システムは、患者の内部生体構造の３次元再現表示を記憶しているコンピュータと、ディスプレイと、プローブと、手術用顕微鏡とを含むことが可能である。本発明の例示の実施形態では、基準マーカーはプローブと顕微鏡に取り付けることが可能であり、本システムはまた、プローブと顕微鏡おのおのの３Ｄ位置と方向を追跡することが可能な追跡システムを含むことが可能である。本発明の例示の実施形態では、システムは、顕微鏡の撮像パラメータの変化、たとえば、顕微鏡をユーザが調整したり操作したりした結果発生する倍率や焦点の変化、を検出する手段を含むことが可能である。この顕微鏡は、たとえば、顕微鏡に取り付けられたマーカーを基準とした焦点位置を有することが可能であり、また、たとえば、顕微鏡の焦点の全域にわたって校正することが可能である。本発明の例示の実施形態では、顕微鏡の位置は、この顕微鏡に関するデータを追跡することによって決定されることが可能であり、また、その焦点は、たとえば、この顕微鏡と一体化されたセンサーから決定されることが可能である。くわえて、プローブの先端位置はまた、プローブ上の基準マーカーのデータを追跡することによって得ることが可能であり、また、プローブと顕微鏡おのおのに付けられている１つ以上のカメラから得られる実映像と患者の解剖学的データの仮想再現表示との位置合わせをする手段を備えることが可能である。本発明の例示の実施形態では、可視化とナビゲーションの映像を、顕微鏡とプローブのおのおのによって提供することが可能であり、これら双方が起動している場合、本システムは、定義されたルールにしたがって、微視的なまたは巨視的な（プローブベースの）実映像、仮想映像または拡張された映像を識別して表示することが可能である。
【発明を実施するための最良の形態】
【００１８】
本発明の例示の実施形態では、巨視的手術および微視的手術の双方において、ナビゲーションと可視化をスムースに促進して統合することが可能である。したがって、このような例示の実施形態では、巨視的なナビゲーションまたは可視化を実施するために、手術用顕微鏡を顕微鏡下手術の最中にナビゲーションまたは可視化対象の手術野から放したり遠ざけたりする必要はない。さらに、本発明の例示の実施形態では、たとえば、場合によっては、顕微鏡を手術野から離したり遠ざけたりする必要なく、患者の３次元（３Ｄ）の解剖学的構造体の微視的および巨視的双方のナビゲーション情報を外科医に対して提供することが可能な、現実性が増した強化ナビゲーションシステムを提供することが可能である。
【００１９】
本発明の例示の実施形態では、ビデオカメラを、たとえば、顕微鏡に対して厳密に取り付けることが可能である。コンピュータは、たとえば、対応する実際のビデオカメラと同じ撮像特性と姿勢（位置と方位）を有する仮想の顕微鏡カメラモデルを保存することが可能であるが、前記撮像特性には、焦点距離、視野およびひずみパラメータ、ズームならびに焦点が含まれる。本発明の例示の実施形態では、顕微鏡に設置された１台のカメラや、場合によっては、複数のカメラから得られたビデオ映像を、追跡デバイスから得られた顕微鏡の位置および方位に関するデータと、たとえば、組み込まれたセンサーによって顕微鏡自身から得られた倍率および焦点に関するデータに同様に対応する仮想顕微鏡カメラのモデルにしたがってコンピュータで生成された患者の３Ｄ解剖学的構造体の表示された仮想映像とを重ねることによって、微視的ナビゲーション用の拡張されたビューを生成する手段を備えることが可能である。
【００２０】
本発明の例示の実施形態では、また、たとえば、カメラ・プローブ出願に記載されているようなプローブと一体化されたビデオカメラも備えられえる。カメラ・プローブ出願に記載されているように、実際のビデオカメラと同じ撮像特性と姿勢（位置と方向）を有するビデオカメラの仮想モデルを備えることが可能であるが、前記撮像特性には、焦点距離、視野およびひずみパラメータが含まれる。さらに、プローブ内のカメラから得られたビデオ映像を、追跡デバイスから得られたプローブの位置および方位に関するデータに反応して仮想カメラのモデルにしたがってコンピュータで生成された患者の３Ｄ解剖学的構造体の表示映像と重ねることによって、巨視的ナビゲーション用の拡張されたビューを生成する手段を備えることが可能である。
【００２１】
本発明の例示の実施形態では、拡張された顕微鏡ビューをデジタル処理でズームし、これによって、顕微鏡の位置と設定（倍率と焦点）を変更する必要なく、拡大された微視的ナビゲーションビューを得ることが可能となるようにしている。したがって、現在の設定状態での顕微鏡の光場の外部にある解剖学的構造体を、このようなズームアウトされた表示中に示し、この表示の中心にある顕微鏡のカメラから得られるリアルタイムのビデオ映像と部分的に重ねることが可能である。くわえて、本発明の例示の実施形態では、ユーザは、巨視的なナビゲーションビューを得るために顕微鏡の設定を変更したり、顕微鏡を移動させたりする必要がない。ユーザは単にプローブを動かすだけでよく、このプローブは、どのような任意の視点からでも手術野を撮像することが可能である。
上に注記したように、顕微鏡による映像をデジタル処理でズームすることが可能である。これを次に説明する。倍率の変更やＡＲ映像のズームは、仮想カメラの視野（すなわちその錐台形状）を実映像と一緒に、確実にビデオ映像平面を仮想カメラの錐台に沿って揃えるようにして変更することによって実施される。このコンセプトは図１Ａ〜１Ｃに図示されている。ここで、オリジナルの図形はカラーであり、以下の説明では、これらの色を参照している。しかしながら、指示対象はグレースケール映像でも容易に識別可能である。
図１Ａは、仮想カメラ（左側の映像の左にある赤い軸）と、遠隔の平面（左側の映像の右エッジにあるダークグレー）に接続されている近接平面（左側の映像の左側のダークブルー）で表されているカメラの錐台を、仮想の物体と一緒に示した図である。
ビデオ映像（ピンクの矩形）はその映像の中心が、錐台の中心と揃えられている。この設定で、たとえば、ビデオ映像のサイズを近接平面と同じに設定する。したがって、ビデオ映像全体が画面ビュー（または視点）をカバーし、ズーム効果はない。
図１Ｂでは、錐台は、仮想の物体がある倍率かズームイン効果によって投影されるように変更されている。錐台のこのような変更によって、ビデオ映像用の画面スペースで見えるものに変化がもたらされる。今のところは、ビデオ映像のたんに１部が投影平面（近接平面）の内部にあって画面ビューを覆っているだけであるので、このビデオ映像にもズームイン効果がある。
図１Ｃでは、錐台が、仮想物体がズームアウト効果（小さく見えるようにする）によって投影されるように変更されている。錐台のこのような変更によって、投影平面（近接平面）の内側にあるビデオ映像全体が、画面ビューの１部しか覆うことはなく、このため、ビデオ映像は画面ビューでは小さく見える。
発明の例示の実施形態では、錐台の上記の変更は、透視投影を生じる透視マトリックスを成す仮想カメラのパラメータを変更することによって達成される。具体的には、ＯｐｅｎＧＬコンテキスト中で定義されている４ｘ４マトリックスの透視投影マトリックスは、たとえば、次のパラメータで定義することが可能である：
ＰｒｏｊＭａｔ[０]＝２＊近接／（右−左）＊ズーム係数
ＰｒｏｊＭａｔ[２]＝（右＋左）／（右−左）
ＰｒｏｊＭａｔ[５]＝２＊近接／（頂部−底部）＊ズーム係数
ＰｒｏｊＭａｔ[６]＝（頂部＋底部）／（頂部−底部）
ＰｒｏｊＭａｔ[１０]＝−（遠隔＋近接）／（遠隔−近接）
ＰｒｏｊＭａｔ[１１]＝−２＊遠隔＊近接／（遠隔−近接）
ＰｒｏｊＭａｔ[１４]＝−１
ＰｒｏｊＭａｔ[１５]＝０
ここでエレメント１、３、４、７、８、９、１２および１３の値は（左から右に、上から下に読んで）０である。
パラメータ“左”、“右”、“頂部”および“底部”は顕微鏡の焦点とズームの設定と共に内因性のカメラ校正パラメータに基づく顕微鏡モデルの関数である。“近接”および“遠隔”のパラメータは、たとえば、一定値に設定することが可能である。
パラメータ“ズーム係数”は、ズームインやズームアウトの効果を決定する係数である。値が１未満であれば、この効果はズームアウトであり、１より大きければズームインとなる。値が１であれば、ズーム効果はなしである。
本発明の例示の実施形態では、ビデオ映像は、正投影によってテクスチャマップとして表示することが可能である。ズームインやズームアウトの最中にビデオ映像中の仮想物体を正確にそして堅実に重ねることを可能とするためは、ＯｐｅｎＧＬビューポートを以下のパラメータによって調節すればよい：
ＧLｆｌｏａｔ  ｃｘ＝ｆａｂｓ（左）／（右−左）
ＧLｆｌｏａｔ  ｃｙ＝ｆａｂｓ（底部）／（頂部−底部）
ｇｌＶｉｅｗｐｏｒｔ（（１−ズーム係数）＊画面幅＊ｃｘ＋原点Ｘ、
（１−ズーム係数）＊画面高さ＊ｃｙ＋原点Ｙ、
画面幅＊ズーム係数
画面高さ＊ズーム係数）
これは基本的には、画面ビューのサイズをズーム係数で拡大縮小し、また、可視のビデオ映像が仮想映像と正確に重ねられるように、ビューポートの原点をズーム係数、ビデオ映像中心（ｃｘとｃｙ）およびＯｐｅｎＧＬウィンドウの原点にしたがってシフトするものである。
【００２２】
本発明の例示の実施形態では、顕微鏡下手術の最中にプローブを用いて、さまざまな方向と位置からナビゲーションビューを得ることが可能である。手術野の周りの解剖学的構造体を、顕微鏡の焦点および光軸と一緒に、プローブカメラの視点から表示することが可能である。さまざまな視点から見たこの手術野の周りの解剖学的構造体は、たとえばこのようにして、顕微鏡を変化させる必要なく外科医に対して提示することが可能である。
【００２３】
図１Ｄを参照すると、本発明の例示の実施形態に関わる神経外科処置を実施する際に用いられる手術ナビゲーションシステムが示されている。同図では、手術は微視的モードにある。手術用顕微鏡１１５はカメラ１０５を有しているが、このカメラは、たとえば、その撮像ポートに搭載されたカラーカメラであったりし、また、基準マーカー１１０はこれに取り付けることが可能である。顕微鏡１１５は、たとえば、顕微鏡を調整した結果発生する顕微鏡の撮像パラメータの変更を検出する内臓センサーを有することが可能であるが、ここで、前記撮像パラメータには、顕微鏡の倍率と焦点を含んだパラメータなどがある。このようなセンサーは、たとえば、エンコーダであったりする。焦点とズームを調整するには、レンズを機械的に移動させなければならないが、このようなエンコーダは、たとえば、このような移動を測定することが可能である。これらのパラメータは、顕微鏡のシリアルポートから入手することが可能である。そのデータフォーマットは、たとえば、Ｚｏｏｍ：＋１２０；Ｆｏｃｕｓ：３６２という形態のフォーマットであったりする。顕微鏡はまた、光軸１１１と焦点１１２を有することが可能であるが、この焦点は、顕微鏡の光軸と焦点平面の交点であると定義される。焦点平面は、光軸に対して垂直である。焦点平面上では、もっとも明瞭な映像を得ることが可能である。焦点平面は、焦点を調整すると共に変化する。本発明の例示の実施形態では、基準マーカー１１０に対する焦点の位置は、顕微鏡の焦点の全範囲で校正可能であり、したがって、追跡データに基づいて表現することが可能である。
【００２４】
図１Ｄで、顕微鏡は外科医によって見られており、顕微鏡の光路上に患者の頭部１５２が存在している。この例示の患者は、腫瘍１５５（この手術の目標物体である）と、この腫瘍１５５に近接した血管構造体１５０（手術に際して避けるべきものである）を有している。位置追跡システム１００（たとえばＮＤＩ  Ｐｏｌａｒｉｓなど）はコマンドを受信することが可能であり、また、コンピュータ１２０に対して、たとえば、無線でまたはこのコンピュータとリンクしているケーブルを介して追跡データを送信することが可能である。
【００２５】
コンピュータ１２０は、腫瘍１５５と血管構造体１５０の３Ｄモデル１２５を、たとえば、手術前スキャニングをしてこのようなスキャンデータをさまざまな区分化データと計画データを含む立体データ集合中に処理した後でしかもナビゲーションに先立って自身のメモリーに記憶しておくことが可能である。プローブ１４０は、たとえば、ビデオカメラ１３５を包含することが可能であり、また、先端１３６を持つポインタをその前端部に取り付けることが可能である。プローブ１４０は外科医のすぐ手が届くところに置いて、手術中に使いやすくすることが可能である。このプローブは、たとえば、カメラプローブ出願に開示されているようなタイプのものであったりする。位置追跡システム１００は、顕微鏡１１５の連続したリアルタイム追跡データをコンピュータに提供することが可能である。プローブ１４０が手術野に導入されると、位置追跡システム１００は、プローブ１４０の連続したリアルタイム追跡データをコンピュータに提供することも可能である。コンピュータは、（ｉ）ディスプレイ１３０、（ｉｉ）顕微鏡１１５のカメラおよびセンサーならびに（ｉｉｉ）プローブのミニカメラに対して接続することが可能である。このシステムは、顕微鏡とプローブの位置と方向を追跡データに基づいて検出し、また、このような位置データから、ナビゲーションおよび／または可視化対象の映像のベースとして用いられる１つ（プローブまたは顕微鏡）を自動的に選択するソフトウエアをさらに含むことが可能である。このような自動的な選択は、所与の応用分野と所与のユーザ嗜好にとって適切であるような定義済みの優先順位ルールまたはさまざまなアルゴリズムにしたがって実施してもよい。
【００２６】
たとえば、所与のユーザは自身の一般的な姿勢を巨視的ビューによって決めて、次に、微妙な構造体に近づいたときに、微視的ビューを用いることを好むかもしれない。手術が何段階にもわたる場合、このような手術はプローブを、次に顕微鏡を、次にまたプローブを、つぎにまた顕微鏡をと、周期的に使用することは容易に理解することが可能である。このような手術の場合、本システムは、初期の期間にわたっては、主としてプローブを器具として用い、次に、いったん顕微鏡を用いたら、プローブが再度別の段階の最初で用いられて新たな顕微鏡位置が選ばれるまではそれが主要な器具となる。その結果、本システムは、合成された映像を、そのときに優先して用いられていたどちらかの器具から得られたビューに対応してディスプレイ上に生成する。この代わりにも、他の多くのルールを実施することが可能であり、また、外科医は、スイッチまたは音声制御式のインタフェースを起動することによってこのような設定をいつでも無効とすることが可能である。
【００２７】
引き続いて図１Ｄを参照すると、コンピュータ１２０は、顕微鏡カメラ１０５で獲得した手術シーンのリアルタイムビデオ映像を受信することが可能である。顕微鏡カメラ１０５は、たとえば、出力してコンピュータ１２０に保存することが可能な顕微鏡仮想カメラモデルを有することが可能である。
【００２８】
本発明の例示の実施形態では、顕微鏡の仮想カメラモデルは内因性パラメータと外因性パラメータの集合を有することがあるが、前記内因性パラメータは、たとえば、焦点距離、映像中心およびひずみを含むことが可能であり、前記外因性パラメータは、たとえば、基準の座標系に対する仮想顕微鏡カメラモデルの位置と方向を含むことが可能である。
【００２９】
本発明の例示の実施形態では、基準座標系は、たとえば、顕微鏡１１５に厳密にリンクされているマーカー１１０の座標系でもよい。
【００３０】
本発明の例示の実施形態では、顕微鏡カメラモデルの内因性パラ目ータと外因性パラメータは、顕微鏡の倍率と焦点が変化するとそれにしたがって変化することがある。
【００３１】
本発明の例示の実施形態では、顕微鏡カメラモデルの内因性パラメータと外因性パラメータは、顕微鏡の倍率と焦点の二変数多項式関数として記述することが可能である。たとえば、パラメータρ（ρは内因性と外因性のパラメータのうちの一方を表す）は、次式のように顕微鏡の焦点（ｆ）とズーム（ｚ）の値のｑ次の二変数多項式関数としてモデル化することが可能である。
【数１】
2008532602.tif 000003
【００３２】
係数ａｍ，ｎについて解くには、顕微鏡の焦点とズームの範囲の全体にわたって多くの固定カメラ（焦点距離は固定）として校正すればよい。十分な数の固定カメラを校正すれば、ズームと焦点をさまざまに設定した状態で、校正データ群を得ることが可能である。これで、上記の多項式関数の係数ａｍ，ｎを、たとえば、二変数多項式を当てはめることによって解くことが可能である。
【００３３】
現実性を増した顕微鏡システム中の例示に顕微鏡の例示の顕微鏡カメラモデルは次のようになりえる。
内因性パラメータ
映像サイズ：Nx = 768, Ny = 576
映像中心：Cx = 384, Cy = 288
焦点距離：
fx = -0.000000008*F*ZΛ3 + (-0.000004613)*F*ZΛ2 + (-0.001289058*F*Z + (- 0.022283345)*F + 0.000039765*ZΛ3 + 0.042230380*ZΛ2 + 21.010557606*Z + 4970.548674307
fy = 0.000000010*F*ZΛ3 + (-0.000001564)*F*ZΛ2 + (-0.001287695)*F*Z + (- 0.020680795)*F + 0.000034475*ZΛ3 + 0.040391899ZΛ2 + 20.227847227*Z + 4767.037899857
外因性パラメータ
Owcx = 0.000008797*F + (-0.058476064)
Owcy = -0.000016119*F + (-0.781894036)
Owcz = -0.000004200*F + (-0.078145268) 
Twcx = 0.000000000*FΛ2*Z + (-0.000000747)*FΛ2 + (- 0.000002558)*F*Z + (-0.006475870)*F + 0.000141871*Z + 0.271534556
Twcy = -0.000000001 *FΛ2*Z + (-0.000001826)*FΛ2 + (0.000002707)*F*Z + (-0.004741056)*F + (-0.003616348)*Z + 5.606256436
Twcz= 0.000000302*FΛ2*Z + 0.000014187*FΛ2 + (-0.000088499)*F*Z + (-0.018100412)*F + 0.061825291*Z + 422.480480324
ここで、Ｏｗｃｘ、ＯｗｃｙおよびＯｗｃｚは回転ベクトルであり、これから、顕微鏡カメラから基準座標系への回転マトリックスを計算することが可能であり、Ｔｗｃｘ、ＴｗｃｙおよびＴｗｃｚはそれぞれｘ、ｙおよびｚの変換結果であり、これから、基準座標系への変換マトリックスを構築することが可能である。
したがって、顕微鏡の任意のズームと焦点の値に対して、対応する仮想顕微鏡カメラを生成し、これを用いて、仮想物体の仮想映像を生成することが可能である。
【００３４】
図１Ｄに示すように、コンピュータ１２０は、顕微鏡の現在の倍率と焦点の値を顕微鏡から受信する。したがって、仮想顕微鏡カメラの内因性パラメータと外因性パラメータを、保存されている顕微鏡カメラモデルから計算することが可能である。位置追跡システム中のこの仮想顕微鏡カメラの位置と方向は、顕微鏡上のマーカーの追跡データを用いて示すことが可能である。
【００３５】
図１Ｄに示すように、顕微鏡は光軸１１１と焦点１１２を有している。本発明の例示の実施形態では、焦点の位置は、顕微鏡の焦点が変化するとそれにしたがって基準マーカーに対して変化する。
【００３６】
本発明の例示の実施形態では、基準マーカーに対する顕微鏡の焦点の位置は、ナビゲーションの前に校正することが可能である。現実性が増した顕微鏡システムからの例示の顕微鏡の例示の焦点校正結果を以下に提示する。
【００３７】
焦点（ｘ、ｙ、ｚ）＝(Fpx, Fpy, Fpz)、ここで
【００３８】
Fpx = -0.000001113*FΛ2 + 0.001109120*F + 116.090108990;
【００３９】
Fpy = 0.000002183*FΛ2 + (-0.000711078)*F + (-27.066366422);
【００４０】
Fpx = -0.000073468*FΛ2 + (-0.154217215)*F + -369.813473763;、および
【００４１】
Ｆは焦点を表す。
焦点の校正結果はコンピュータに保存することが可能である。したがって、顕微鏡の任意の焦点値に対して、基準マーカーの追跡データから焦点位置を示すことが可能である。
本発明の例示の実施形態では、光軸は、たとえば、さまざまな顕微鏡の焦点値を持つ焦点を結んでいる直線であったりする。
【００４２】
本発明の例示の実施形態では、患者の映像データを、一般的に周知の位置合わせ技法のうちの１つを用いて患者に対してマッピングすることが可能である。たとえば、このような位置合わせ技法の１つでは、患者の身体表面上の多くの解剖医学的特徴（少なくとも３つ）を、同じスキャン映像中で特定され突き止められているこれらの位置と、追跡されたプローブを用いて判定された患者上のそれらの対応する位置とを一致させて用いることによって、患者の映像データを患者に対してマッピングする。この位置合わせの精度は、撮像データに基づいて生成された患者の身体部分の表面を、手術台上で生成された対応する身体部分の表面データに対してマッピングすることによってさらに改善される。たとえば、この方法は、出願者によって２００５年７月２０日に提出された「物体の仮想モデルをこの物体に対してマッピングするシステムと方法（「多点位置合わせ」）」という題名のＰＣＴ／ＳＧ２００５／００２４４に詳細に説明されている。このＰＣＴ出願中に説明されている位置合わせ方法は、本書の例示の実施形態の顕微鏡によるナビゲーションのために直接に用いることが可能である。位置合わせの目的は、患者の撮像データを患者と適合させることであるが、これは、たとえば、顕微鏡は必要としないが、微視的段階で位置合わせの結果を微視的ナビゲーションに用いることが可能である。位置合わせしたら、区分化されたすべての物体と撮像データと関連する手術計画で生成された他の物体を含む患者の映像データを、実在の患者に対して位置合わせする。たとえば、図１Ｄでは、コンピュータ１２０に保存されている腫瘍と血管のモデルは、患者の頭部内の実際の腫瘍１５５と血管１５０と位置合わせされる。
【００４３】
患者の頭部１５２の位置と方向および顕微鏡のビデオカメラ１０５の位置と方向は、共通の座標系、たとえば、位置追跡システムの座標系に変換することが可能である。したがって、頭部１５２と顕微鏡ビデオカメラ１０５間の相対的な位置と方位を、位置追跡システム１００を用いて動的に判定することが可能である。
【００４４】
図２に示すように、本発明の例示の実施形態では、顕微鏡カメラは患者の頭部１５２のビデオ映像を得ることが可能である。腫瘍１５５と血管１５０はビデオ映像中では目に見えないかもしれない（現在の時点では閉じられている頭部部分によって視覚的には塞がれているからである）。
【００４５】
図３に示すように、本発明の例示の実施形態では、コンピュータは、腫瘍１５５と血管１５０の仮想映像を仮想顕微鏡カメラの内因性パラメータおよび外因性パラメータならびに腫瘍と血管の保存されているモデルに基づいて生成することが可能である。
【００４６】
図４に示すように、本発明の例示の実施形態では、実映像２０１と仮想映像３０１を合成して、現実性が増した映像を生成することが可能である。次に、この現実性が増した映像を、たとえば、表示デバイス１３０に送ることが可能である。ディスプレイ１３０は、モニター、ＨＭＤ、「映像挿入」用の顕微鏡内臓ディスプレイであったりする。
【００４７】
腫瘍と血管の３Ｄモデルは、患者の３次元（３Ｄ）映像から生成される。たとえば、患者頭部のＭＲＩ映像またはＣＴ映像から生成される。本発明に関わる例示の実施形態では、このようなデータは、たとえば、Ｄｅｘｔｒｏｓｃｏｐｅシステムを実行するＲａｄｉｏＤｅｘｔｅｒソフトウエアなどのＶｏｌｕｍｅ  Ｉｎｔｅｒａｃｔｉｏｎｓ  Ｐｔｅ社から提供されるハードウエアとソフトウエアを用いて生成することが可能である。
【００４８】
本発明に関わる例示の実施形態では、現実性が増した映像をさまざまな方法で表示することが可能である。実映像を仮想映像の上に重ねたり（実映像が仮想映像の上に位置する）、仮想映像をこの上に重ねたり（仮想映像が実映像の上に位置する）することが可能である。この重ね映像の透明度を変化させ、これで、現実性が増した映像がさまざまな方法で表示可能となるように、たとえば、仮想映像だけとか、実映像だけとか、合成ビューを表示可能となるようにすることが可能である。同時に、たとえば、焦点位置を変更することによる３Ｄモデルの軸平面、前頭面および矢状面を、互いに別個の３つのウィンドウに表示することが可能である。
【００４９】
本発明にかかわる例示の実施形態では、微視的ナビゲーションにおける増幅した現実性は、倍率と焦点の全域にわたるさまざまな顕微鏡設定値で存在することがある。
【００５０】
図５に、別の（図３〜４より大きい）倍率設定値における患者頭部の例示の現実性が増幅したビューを示す。
【００５１】
本発明に関わる例示の実施形態では、デジタルズームを用いて、現実性が増した映像の倍率を仮想的に変化させることが可能である。ズーム比はユーザが入力可能である。ズームされた視野は、たとえば、デフォルトとしてウィンドウの中心に位置させることが可能である。
【００５２】
図６に、倍率を高くした顕微鏡を介した手術野の例示の仮想映像だけのナビゲーションビューを示す。外科医は腫瘍を手術しており、したがって、腫瘍の１部が顕微鏡の光軸ビューで目に見える。しかしながら、腫瘍のほとんどと血管のすべてが、露出された表面の下に隠されているかまたは顕微鏡の視野の外部にあり、このため、外科医は直接見ることは不可能である。コンピュータが生成した腫瘍と血管の表示映像は外科医に対して表示することは可能であるが、倍率表示されているため、表示可能なのは腫瘍と血管のほんの１部だけである。
【００５３】
顕微鏡の倍率と位置を変更することなく、腫瘍と血管の正確な３Ｄ構造体と位置を顕微鏡の視野以外のところでも分かることが不可欠である。したがって、図７に、腫瘍と血管の全構造体が目に見える顕微鏡の拡大された仮想ビューを示す。本発明の例示の実施形態では、これは、デジタルズーム動作によって達成可能である。デジタルズーム動作は、仮想の顕微鏡カメラモデルの視野を仮想的に変化させ、これで、仮想カメラの視野内の３Ｄモデルを、視野は異なるが同じ視点から表示することが可能となるようにするものである。デジタルズーム動作によって、外科医は、顕微鏡の実際の設定を変更することなく顕微鏡の視野を越えて見ることが可能となる。本発明の例示の実施形態では、ビデオ信号もまたズーム可能であり、したがって、ズームされた映像はビデオ（実）映像、仮想映像または両者のなんらかの組み合わせを有することが可能であるが、実映像と仮想映像のどちらかの透明度が変化する。図７は、図６のビューに対してはズームアウトされているが、図５のビューともちろん図３のビューに対しては明らかにかなり倍率が大きい（ズームインされた）ビューである。したがって、ユーザは頻繁にズーム値を変更して、所与の処置または手術の進行に際してズームインとズームアウトを繰り返す。
【００５４】
神経外科に対して応用するシナリオでは、外科医は、たとえば、プローブ１４０を用いて見当あわせを実施し、また、プローブによるナビゲーションによって進入ポイントを選択する。これで、顕微鏡によって、ナビゲーションとガイドを洗練させることが可能である。手術の最中、外科医は時々プローブ１４０を用いてナビゲーションを実行する必要があるが、これは、プローブ１４０を動かすことによってナビゲーションする方が、顕微鏡を動かしてナビゲーションするよりもはるかに取り扱いが容易であるからである。このような例示の応用シナリオでは、本システムは、上記の２つのナビゲーション方法を迅速で平滑に交代させることを可能とする。
【００５５】
図８に、プローブ内部のミニカメラの視点から見た図７の例示のシーンを示す。顕微鏡の焦点および光路を腫瘍および血管と一緒に表示して、顕微鏡、手術野および仮想の物体（腫瘍と血管）の３次元的関係を示すことが可能である。
【００５６】
図９〜１１は、本発明の例示の実施形態から得られた実際の画面のショットである。図９に、本発明の実施形態に関わる手術用顕微鏡から得られた例示のナビゲーションのビューを示す。
【００５７】
図１０に、図７と関連して上述した技法を用いて本発明の例示の実施形態に関わるデジタル処理でズームアウトした後の図９の例示のビューを示す。
【００５８】
図１１に、顕微鏡の光路と焦点なしの、図８に示す例示のシーンにいくぶん対応した本発明の例示の実施形態に関わる例示のプローブから得られた例示の現実性の増したナビゲーションビューを示す図である。
【００５９】
本発明に関わる例示の実施形態では、顕微鏡にするかプローブにするかの選択は自動的に実行可能である。この自動的な選択は、追跡データに基づいて（追跡データの関数として）実施することが可能である。本発明に関わる例示の実施形態では、これは、プローブのほうに高い優先順位を設定することによって達成することが可能である。顕微鏡の追跡データが利用可能でありさえすれば、顕微鏡がナビゲーション機器として選択され、そのＡＲ映像が表示される。顕微鏡とプローブの双方が追跡される場合、プローブが選択され、そのＡＲビューが表示される。このような状況下では、顕微鏡は、たとえば、無視可能である。プローブが追跡されない場合、顕微鏡を、たとえば、ナビゲーション目的で自動的に選択することが可能である。ビデオ映像もまた、これに応じて自動的に変更することが可能である。
【産業上の利用可能性】
【００６０】
このようにして、本発明のシステム、方法および装置によって、ユーザは、巨視的手術の最中と微視的手術の最中の双方で、「通常の視野を越えて」見ることが可能となる。これによってユーザは、高度に敏感なまたは重要な、隠されている構造体に対して自分がまさにどれくらい近接しているかを常に知ることが可能となる。
【図面の簡単な説明】
【００６１】
【図１Ａ−１Ｃ】図１Ａ〜１Ｃは本発明の例示の実施形態に関わる現実性が増した映像のデジタルズーム動作を示す図である。
【図１Ｄ】図１Ｄは、本発明の例示の実施形態に関わる例示のナビゲーションシステムを示す図である。
【図２】図２は、本発明の例示の実施形態に関わる例示の患者の頭部の実映像の略図である。
【図３】図３は、本発明の例示の実施形態に関わる例示の腫瘍と血管の仮想映像の略図である
【図４】図４は、本発明の例示の実施形態に関わる合成された（現実性が増した）映像の略図である。
【図５】図５は、本発明の例示の実施形態に関わる現実性が増したビューの拡大したものの略図である。
【図６】図６は、本発明の例示の実施形態に関わる拡大された顕微鏡のビューの略図である。
【図７】図７は、本発明の例示の実施形態に関わるデジタル処理でズームアウト（拡大）された顕微鏡のビューの略図である。
【図８】図８は、本発明の例示の実施形態に関わるプローブから得られた例示のナビゲーションビューの略図である。
【図９】図９は、本発明の例示の実施形態に関わる手術用顕微鏡から得られた例示のナビゲーションのビューを示す図である。
【図１０】図１０は、本発明の例示の実施形態に関わるデジタル処理でズームインした後の図９の例示のビューを示す図である。
【図１１】図１１は、本発明の例示の実施形態に関わる例示のプローブから得られた例示の現実性を増したナビゲーションビューを示す図である。
【図１Ａ−１Ｃ】
2008532602.tif 000004
【図１Ｄ】
2008532602.tif 000005
【図２】
2008532602.tif 000006
【図３】
2008532602.tif 000007
【図４】
2008532602.tif 000008
【図５】
2008532602.tif 000009
【図６】
2008532602.tif 000010
【図７】
2008532602.tif 000011
【図８】
2008532602.tif 000012
【図９】
2008532602.tif 000013
【図１０】
2008532602.tif 000014
【図１１】
2008532602.tif 000015
【国際調査報告】
2008532602.tif 000016
2008532602.tif 000017
2008532602.tif 000018