(57)【要約】形成された三次元領域で手術を実施する使用者が使用するためのガイドシステムを開示する。該システムは、手術対象者の画像を対象者と相互に位置合わせした状態で生成するためのデータ処理装置と、該画像を使用者に表示するためのディスプレイと、使用者が見うる位置を有するプローブと、システムによってプローブの位置を追跡し、かつ、その位置をデータ処理装置に伝送するためのトラッキング装置とを含み、データ処理装置は、使用者がプローブを形成された領域の外側で、その周囲にある選択領域に移動させると、システムへの対応する指示に各々関連付けられる１つまたはそれ以上の仮想ボタンを生成するように構成され、データ処理装置は、使用者による仮想ボタンのいずれかの選択を登録し、該選択はその仮想ボタンの見かけの位置に対してプローブを配置されることを含んでおり、該選択に基づいてコンピュータ生成画像を変更するように構成される。
2005500096.tif 000002
【特許請求の範囲】
【請求項１】
形成された三次元領域で手術を実施する使用者が使用するためのガイドシステムであって、
手術対象者の画像を対象者と相互に位置合わせした状態で生成するためのデータ処理装置と、前記画像を前記使用者に表示するためのディスプレイと、前記使用者が見うる位置を有するプローブと、前記システムによって前記プローブの位置を追跡し、かつ、その位置を前記データ処理装置に伝送するためのトラッキング装置とを含み、
前記データ処理装置は、前記使用者が前記プローブを前記形成された領域の外側で、その周囲にある選択領域に移動させると、前記システムへの対応する指示に各々関連付けられる１つまたはそれ以上の仮想ボタンを生成するように構成され、
前記データ処理装置は、前記使用者による前記仮想ボタンのいずれかの選択を登録し、前記選択がその仮想ボタンの見かけの位置に対して前記プローブを配置されることを含んでおり、前記選択に基づいてコンピュータ生成画像を変更するように構成される、
システム。
【請求項２】
前記データ処理装置が、手術対象者の画像を前記対象者の上に重ね合わせて生成するように構成された、請求項１に記載のシステム。
【請求項３】
前記プローブの配置が、前記プローブの長手軸を前記ボタンに一致させることを含む、請求項１または２に記載のシステム。
【請求項４】
前記仮想ボタンが表示される間、前記データ処理装置が、画像内に前記プローブからその長手軸に平行に伸長する線を含むように構成される、請求項３に記載のシステム。
【請求項５】
前記ディスプレイが使用者の頭部に装着するように構成され、前記使用者は前記ディスプレイを通して前記手術対象者を見ることができるので、前記コンピュータ生成画像が画像の対象者の実像に重ね合わせて見え、前記トラッキング装置は、前記ディスプレイの位置を監視し、かつ前記ディスプレイの監視された位置を前記処理装置に伝送し、前記処理装置は、前記ディスプレイの位置に従って前記コンピュータ生成画像を修正して、前記コンピュータ生成画像と前記実像とを立体的に位置合わせされた状態に維持するように構成された、請求項１〜４のいずれかに記載のシステム。
【請求項６】
前記ディスプレイが顕微鏡に取り付けられるように構成され、前記使用者は前記ディスプレイを通して顕微鏡画像を見ることができるので、前記コンピュータ生成画像が前記顕微鏡画像に重ね合わせて見え、前記トラッキング装置は、前記顕微鏡の位置を監視し、かつ前記顕微鏡の監視された位置を前記処理装置に伝送し、前記処理装置は、前記顕微鏡の位置に従って前記コンピュータ生成画像を修正して、前記コンピュータ生成画像と前記実像とを立体的に位置合わせされた状態に維持するように構成された、請求項１〜５のいずれかに記載のシステム。
【請求項７】
形成された三次元領域で画像ガイドシステムからの案内により手術を実施する使用者が、前記画像ガイドシステムによって前記使用者に表示される画像を修正するために使用する方法であって、
前記システムは、手術対象者の画像を対象者と相互に位置合わせした状態で生成するためのデータ処理装置と、前記画像を前記使用者に表示するためのディスプレイと、前記使用者が見うる位置を有するプローブと、前記システムによって前記プローブの位置を追跡し、かつ、その位置を前記データ処理装置に伝送するためのトラッキング装置とを含み、
前記使用者が、前記プローブを前記形成された領域の外側で、その周囲にある選択領域に移動させ、
前記データ処理装置が、前記選択領域内に前記プローブの位置を登録すると、それにより、前記システムへの対応する指示に各々関連付けられる１つまたはそれ以上の仮想ボタンを画像内に生成し、
前記使用者が前記ボタンの１つを選択し、前記選択がその仮想ボタンの見かけの位置に対して前記プローブを配置し、
前記データ処理装置が前記選択を登録し、対応する指示に基づいて前記コンピュータ生成画像を修正すること、
を含む方法。
【請求項８】
前記データ処理装置が、前記手術対象者の画像を前記対象者に重ね合わせて生成する、請求項７に記載の方法。
【請求項９】
前記データ処理装置が前記仮想ボタンを表示する間、該データ処理装置がさらに前記プローブからその長手軸に平行に伸長する線を表示し、前記プローブの配置が前記プローブの前記長手軸を前記ボタンに一致させることを含む、請求項７に記載の方法。
【請求項１０】
前記ディスプレイが使用者の頭部に装着するように構成され、前記使用者は前記ディスプレイを通して前記手術対象者を見ることができるので、前記コンピュータ生成画像が画像の対象者の実像に重ね合わせて見え、前記トラッキング装置は、前記ディスプレイの位置を監視し、かつ前記ディスプレイの監視された位置を前記処理装置に伝送し、前記処理装置は、前記ディスプレイの位置に従って前記コンピュータ生成画像を修正して、前記コンピュータ生成画像と前記実像とを立体的に位置合わせされた状態に維持するように構成された、請求項７〜９のいずれかに記載の方法。
【請求項１１】
前記ディスプレイが顕微鏡に取り付けられるように構成され、前記使用者は前記ディスプレイを通して顕微鏡画像を見ることができるので、前記コンピュータ生成画像が前記顕微鏡画像に重ね合わせて見え、前記トラッキング装置は、前記顕微鏡の位置を監視し、かつ前記顕微鏡の監視された位置を前記処理装置に伝送し、前記処理装置は、前記顕微鏡の位置に従って前記コンピュータ生成画像を修正して、前記コンピュータ生成画像と前記実像とを立体的に位置合わせされた状態に維持するように構成された、請求項７〜９のいずれかに記載の方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、ガイドシステムに関し、さらに詳しくは、手術を実施する際に外科医を支援するための手術ナビゲーションシステムに関するが、これに限定されない。また、本発明は、そのようなシステムを制御するための方法および装置に関する。
【背景技術】
【０００２】
画像ガイドシステムは神経外科で幅広く採用されており、広範囲の外科処置の精度を高め、かつ侵襲性を低減することが証明されてきた。現在、画像ガイド外科システム（「ナビゲーションシステム」）は、手術前に、例えば、ＭＲＩまたはＣＴによって、収集したデータから構築される一連の画像に基づいており、該画像は光学的トラッキングシステムによって現実の患者に対して位置合わせされる。これを行なうために、患者の皮膚に検出マーカを配置し、マーカを画像化データ上で見うるマーカの対応物と相関させる。外科手術中、画像は画面上の３直交平面に画像ボリュームを通して表示される一方、外科医は、トラッキングシステムによって追跡されるプローブを保持する。プローブを手術領域内に導入すると、プローブ先端の位置は画像上にアイコンとして表わされる。手術前の画像化データを実際の手術空間とリンクさせることによって、ナビゲーションシステムは、周囲の構造に対するツールの正確な位置に関する有用な情報を外科医に提供し、手術中の状態を手術前の計画に関連付けるのを助ける。
【０００３】
これらの利点にもかかわらず、現行ナビゲーションシステムは様々な欠点を免れない。
【０００４】
第１に、外科医は、ナビゲーション手順中に手術場面から目を逸らして、コンピュータモニタを見る必要がある。これは外科手術のワークフローを中断させる傾向があり、実際には、手術はしばしば２人がかりの仕事になり、外科医が顕微鏡を通して手術場面を見て、その助手がモニタを見ながら外科医に助言する必要がある。
【０００５】
第２に、手術中に画像を操作すること、例えば、ＣＴとＭＲＩとの間の切替、画面のウィンドウの変更、計画段階からのマーカまたはセグメント化構造の起動、色およびコントラスト調整などは、キーボード、マウス、またはタッチスクリーンの操作を必要とし、そのため外科医は注意をそらされ、かつ機器を滅菌布で包装する必要があるので面倒である。プローブ型制御装置が提案されているが（Hinckley K, Pausch R, Goble C J, Kassel N, F ：A Survey of Design Issues in Spatial Input,  Proceedings of ACM UIST'94 Symposium on User Interface Software & Technology, pp. 213-222、 および Mackinlay J, Card S, Robertson G：Rapid Controlled Movement Through a Virtual 3D Workspace, Comp. Grap., 24(4), 1990, 171-176 を参照されたい) 、全て使用に欠点がある。
【０００６】
第３に、画像化データを２Ｄ直交スライスとして提示する全ての現行ナビゲーションシステムに共通する問題は、外科医が、頭の中で再構成した３Ｄ情報を含む画像系列の空間的方向性を、手術中に覆われる患者の頭の向きに対して関連付けなければならないことである。
【０００７】
患者の肉眼による光景をコンピュータ生成画像と結合することによって、シースルー（透視）補強を使用するシステムが現在検討されている（Blackwell M, O'Toole RV, Morgan F, Gregor L：Performance and Accuracy experiments with 3D and 2D Image overlay systems.  Proceedings of MRCAS 95, Baltimore, USA, 1995,  pp 312-317、および、DiGioia, Anthony M., Branislav Jaramaz, Robert V. O'Toole, David A. Simon, and Takeo Kanade.  Medical Robotics And Computer Assisted Surgery In Orthopaedics.  In Interactive Technology and the New Paradigm for Healthcare, ed.  K. Morgan, R.M. Satava, H.B. Sieberg, R. Mattheus, and J.P. Christensen.  88-90. IOS Press, 1995 を参照されたい）。このシステムでは、上下逆さまのモニタ上の倒立画像をハーフミラーで手術場面に重ね合わせて画像を結合する。使用者はミラーおよび下の患者を見渡しながら、ヘッドトラッキングシステムを装着する。しかし、著者らは、仮想物体と実物体との間にかなりの誤差があることを報告している。
【０００８】
現在、研究開発中の他のシステムは、コンピュータ生成画像を、手術室（手術シアター）の固定位置に配置されたカメラまたは使用者の頭部装着ディスプレイを通して得られた手術の光景の映像と結合する。結合された信号は次いで、使用者のＨＭＤ（頭部装着ディスプレイ）に伝達される。そのようなプロジェクトの３つの例が、開示されている（Fuchs H, Mark A, Livingston, Ramesh Raskar, D'nardo Colucci, Kurtis Keller, Andrei State, Jessica R. Crawford, Paul Rademacher, Samuel H. Drake, and Anthony A. Meyer, MD.  Augmented Reality Visualization for Laparoscopic Surgery.   Proceedings of First International Conference on Medical Image Computing and Computer-Assisted Intervention (MICCAI '98), 1998年10月11-13日, Massachusetts Institute of Technology, Cambridge, MA, USA、 Fuchs H, State A, Pisano ED, Garrett WF, Gentaro Hirota, Mark A. Livingston, Mary C. Whitton, Pizer SM.  (Towards) Performing Ultrasound-Guided Needle Biopsies from within a Head-Mounted Display.  Proceedings of Visualization in Biomedical Computing 1996, (Hamburg, Germany, 1996年9月22-25日), pgs. 591-600、および、 State, Andrei, Mark A. Livingston, Gentaro Hirota, William F. Garrett, Mary C. Whitton, Henry Fuchs, and Etta D. Pisano (MD).  Technologies for Augmented-Reality Systems： realizing Ultrasound-Guided Needle Biopsies.  Proceedings of SIGGRAPH 96 (New Orleans, LA, 1996年8月4-9日), in Computer Graphics Proceedings, Annual Conference Series 1996, ACM SIGGRARH, pgs. 439-446を参照)。
【０００９】
別の技術（Edwards PJ, Hawkes DJ, Hill DLG, Jewell D, Spink R, Strong A, Gleeson M：Augmented reality in the stereo microscope for Otolaryngology and neurosurgical Guidance.  Proceedings of MRCAS 95, Baltimore, USA, 1995, pp 8-15を参照）は、３Ｄグラフィックスを重ねた表示用の装置として、手術用顕微鏡を使用する。顕微鏡の光チャネルへの立体構造の「画像注入」により、外科医は手術場面の上に重ねられた画像を見る。この技術は、操作機能を有することなく、比較的低い解像度の単純なメッシュを手術場面に重ね合わせるものである。著者らは、実視に対して重ね合わされたデータの立体認知に関する難しさを報告している。
【００１０】
これらの技術は、使用者の案内用に意図されたものであるが、全て用途および使い勝手において制限される。
【００１１】
【非特許文献１】
Hinckley K, Pausch R, Goble C J, Kassel N, F ：A Survey of Design Issues in Spatial Input,  Proceedings of ACM UIST'94 Symposium on User Interface Software & Technology, pp. 213-222
【００１２】
【非特許文献２】
Mackinlay J, Card S, Robertson G：Rapid Controlled Movement Through a Virtual 3D Workspace, Comp. Grap., 24(4), 1990, 171-176
【００１３】
【非特許文献３】
Blackwell M, O'Toole RV, Morgan F, Gregor L：Performance and Accuracy experiments with 3D and 2D Image overlay systems.  Proceedings of MRCAS 95, Baltimore, USA, 1995,  pp 312-317
【００１４】
【非特許文献４】
DiGioia, Anthony M., Branislav Jaramaz, Robert V. O'Toole, David A. Simon, and Takeo Kanade.  Medical Robotics And Computer Assisted Surgery In Orthopaedics.  In Interactive Technology and the New Paradigm for Healthcare, ed.  K. Morgan, R.M. Satava, H.B. Sieberg, R. Mattheus, and J.P. Christensen.  88-90. IOS Press, 1995
【００１５】
【非特許文献５】
Fuchs H, Mark A, Livingston, Ramesh Raskar, D'nardo Colucci, Kurtis Keller, Andrei State, Jessica R. Crawford, Paul Rademacher, Samuel H. Drake, and Anthony A. Meyer, MD.  Augmented Reality Visualization for Laparoscopic Surgery.   Proceedings of First International Conference on Medical Image Computing and Computer-Assisted Intervention (MICCAI '98), 1998年10月11-13日, Massachusetts Institute of Technology, Cambridge, MA, USA
【００１６】
【非特許文献６】
Fuchs H, State A, Pisano ED, Garrett WF, Gentaro Hirota, Mark A. Livingston, Mary C. Whitton, Pizer SM.  (Towards) Performing Ultrasound-Guided Needle Biopsies from within a Head-Mounted Display.  Proceedings of Visualization in Biomedical Computing 1996, (Hamburg, Germany, 1996年9月22-25日), pgs. 591-600
【００１７】
【非特許文献７】
State, Andrei, Mark A. Livingston, Gentaro Hirota, William F. Garrett, Mary C. Whitton, Henry Fuchs, and Etta D. Pisano (MD).  Technologies for Augmented-Reality Systems： realizing Ultrasound-Guided Needle Biopsies.  Proceedings of SIGGRAPH 96 (New Orleans, LA, 1996年8月4-9日), in Computer Graphics Proceedings, Annual Conference Series 1996, ACM SIGGRARH, pgs. 439-446
【発明の開示】
【発明が解決しようとする課題】
【００１８】
本発明は、上記の問題の少なくとも１つに対処し、新規かつ有用なナビゲーションシステムならびにそれらを制御するための方法および装置を提案することを目的とする。
【００１９】
特に、本発明は、外科手術中に使用することができるシステムに関連する。しかし、本発明の適用は外科手術に限定されず、以下に述べるシステムおよび方法は、細心の注意を要する手術ないし操作にも使用でき、また、手術中のみならず計画段階中においても、使用することができる。
【００２０】
本発明は、手術室でナビゲーション手順中に、例えばコンピュータ生成画像のフォーマットを変更するために、容易かつ迅速に手術ナビゲーションシステムを操作できることが重要であるとの知見によっている。また、コンピュータ生成画像を使用することによって、手術現場で直接特定の外科処置をシミュレートできることは有利である。
【課題を解決するための手段】
【００２１】
概略すると、本発明は、手術の対象者のコンピュータ生成画像（３Ｄおよび／または２Ｄスライス）を表示するためのディスプレイを有する画像に基づくガイドシステムを使用する際に形成される領域内で手術（例えば、外科手術）を行なう使用者によって保持されるプローブを提案する。該プローブの位置は、ガイドシステムによって追跡され、また、例えば、システムが、使用者がプローブを直接見ることを可能にしたり、または、コンピュータ生成画像がプローブの位置を示すアイコンを含むことにより、使用者はプローブの位置を見ることができる。プローブを動かすことによって、使用者はシステム内にプローブを制御するための情報を入力して、例えば、コンピュータによって示される画像内において対象者の肉体形状を変化させることができる。
【００２２】
本発明は、形成された三次元領域で手術を実施する使用者が使用するためのガイドシステムであって、手術対象者の画像を対象者と相互に位置合わせした状態で生成するためのデータ処理装置と、画像を使用者に表示するためのディスプレイと、使用者がその位置を見ることができるプローブと、システムによってプローブの位置を追跡し、かつ、その位置をデータ処理装置に伝送するためのトラッキング装置を含み、
該データ処理装置は、使用者がプローブを形成された領域の外側で、その領域の周囲にある選択領域に移動させると、システムへの対応する指示に各々関連付けられる１つまたはそれ以上の仮想ボタンを生成するように構成され、
該データ処理装置は、使用者による前記仮想ボタンのいずれかの選択を登録し、該選択はその仮想ボタンの見かけの位置に対して前記プローブを配置されることを含んでおり、前記選択に基づいてコンピュータ生成画像を変更するように構成される、
ガイドシステムを提供する。
【００２３】
形成された領域は「バウンディングボックス（bounding box）」と称され、使用者はプローブをバウンディングボックスから外に移動させることによって、仮想領域を表示させることができる。これにより、使用者が仮想ボタンを表示させるために実行すべき動きを低減させることができる。
【００２４】
仮想ボタンの１つを指し示すために、使用者はプローブをその仮想ボタン内の位置に移動させればよい。好ましくは、所望の仮想ボタンの方向に、例えば、所定の許容差でそのボタンの中心方向に、プローブの長さ方向を一致させればよいようにする。後者により、ボタンの１つを指し示すために、プローブをわずかに動かすだけで済む。この方向を一致させることでボタンの１つを指し示す場合、使用者は選択を確認するために、好ましくは、足踏み操作スイッチなど、使用者の手以外で操作する別のデータ入力装置を使用して、別の確認コマンドを出させるようにしてもよい。使用者がプローブを正確に向けることができるように、プローブからその長さ方向に伸長する線を、使用者に表示するようにしてもよい。線が、予め定められた長さを持つようにして、あるいは、使用者がその長さを制御することにより、例えば、使用者が仮想ボタンをその方向によってだけでなく、プローブからの距離によっても指し示すことができるようにしてもよい。
【００２５】
コンピュータ生成画像は、対象者の実際の画像に重ねられることが最も好ましく、かつ、外科医が装着する半透明頭部装着立体ディスプレイ（ＨＭＤ）に表示されることが好ましい。これにより、外科医は半透明ディスプレイ（例えば、半透明接眼鏡）を通して得られる手術対象者の実際の光景に重ねてコンピュータ生成画像を見ることができる。このＨＤＭは追跡され、コンピュータはこの追跡に基づいて画像を生成するので、外科医が動いても、実際の画像およびコンピュータ生成画像は位置合わせ状態を維持する。
【００２６】
システムは２つのモードで使用することができる。第１に、肉眼による手術中、使用者は、半透明モードでディスプレイを覗き込み、手術領域上に重ねられた立体コンピュータグラフィックスを見る。これにより、外科医が切開を行なう前に「通常の視線を超えて」見ること、例えば、腫瘍の位置、頭蓋底、その他の目標の構造の可視化が可能となる。
【００２７】
第２に、顕微鏡手術の場合、同じ立体ディスプレイを立体顕微鏡に、例えば、その双眼の頂部に、取り付けることができ、使用者の動きを追跡する代わりに、立体顕微鏡の位置は追跡される。ディスプレイのコンピュータグラフィックスは、追跡される顕微鏡の倍率および焦点のパラメータにリンクされるので、「仮想的」光景を手術領域に反映させることができる。
【００２８】
ディスプレイに表示される３Ｄデータは、以前に「VIVIAN」の名称で発行され、シンガポールのVolume Interactions社によって開発された、「VizDexter」と呼ばれるコンピュータによる神経外科手術プランニングパッケージによってコンピュータグラフィックス化することができる。「VizDexter」は、「Dextroscope（デキストロスコープ）」の仮想現実環境において、マルチモード（ＣＴおよびＭＲＩ融合）画像の使用を可能にする（例えば、Kockro RA, Serra L, Yeo TT, Chumpon C, Sitoh YY, Chua GG, Ng Hern, Lee E, Lee YH, Nowinski WL：Planning Simulation of Neurosurgery in a Virtual Reality Environment.  Neurosurgery Journal 46[1], 118-137. 2000. 9, および、Serra L, Kockro RA, Chua GG, Ng H, Lee E, Lee YH, Chan C, Nowinski W：Multimodal Volume-based Tumor Neurosurgery Planning in the Virtual Workbench, Proceedings of the First International Conference on Medical Image Computing and Computer-Assisted Intervention (MICCAI), Massachusetts, Institute of Technology, Cambridge MA, USA, 1998年10月11-13日 pp. 1007-1016、に開示されている。これらの刊行物の開示を引用によりすべてそのまま本明細書に組み込まれる）。
【００２９】
上記において、本発明をシステムの観点から表現したが、システムの使用者によって実行される方法としても表現されうる。
【発明を実施するための最良の形態】
【００３０】
本発明の実施形態を、図面を参考としながら、実施例により説明するが、実施形態はこの実施例には限定されない。
【００３１】
本発明の実施形態を使用して外科手術を実施する前に、標準的ＣＴおよび／またはＭＲＩスキャナなどによって、患者を走査する。こうして生成された画像系列は、前記デキストロスコープ（Dextroscope）の仮想現実環境に転送される。データは、前述したデキストロスコープについて記述する刊行物に開示された方法で、相互に位置合わせされ、多モード立体オブジェクトとして表示される。デキストロスコープのプランニングセッション中に、使用者は関連する外科構造を識別し、それらを３Ｄオブジェクトとして表示する（セグメンテーションと呼ばれるプロセス）。加えて、目印点および手術経路を標識化することができる。実際の手術前に、３ＤデータはＯＲ（手術室：手術シアターとしても知られている）内のナビゲーションシステムに転送される。
【００３２】
本発明の実施形態であるシステムを図１に図示する。様々な要素は同縮尺では示されていない。このシステムは、立体ＬＣＤ頭部装着ディスプレイ（ＨＭＤ）１を含む（我々は現在ソニーＬＤＩ  １００を使用している）。ディスプレイは使用者に装着されるか、または、構造５に支持された手術用顕微鏡３上に装着し、接続することができる。また、システムは、プローブ９の位置だけでなく、ＨＭＤ１および顕微鏡３の位置も追跡する光学的トラッキング装置７を含む。このようなトラッキング装置７は市販されている（Northern Digital社、Polaris）。システムは、リアルタイムの立体グラフィックスによる描画、およびケーブル１３を介してＨＤＭ１にコンピュータ生成画像を伝送することが可能なコンピュータ１１を含む。システムは、ケーブル１７を介してコンピュータ１１に信号を伝送するフットスイッチ１５を含む。さらに、顕微鏡３の設定が、ケーブル１９を介してコンピュータ１１に伝送される。これについては、後述する。手術の対象者は２１として示されている。
【００３３】
我々は、物体に付着させた３つの反射型球形マーカを検出することによって動作する受動トラッキング装置７を使用する。ペン形プローブ９などのマーカを担持する物体の形状を知り、かつ校正することによって、トラッキング装置の２つのカメラによってカバーされる３Ｄ空間内で、その正確な位置を決定することができる。ＬＣＤディスプレイ１を追跡するために、その上部正面縁に沿って、すなわちディスプレイ装着者の額近くに、３つのマーカを付着させた。この際、顕微鏡３は、顕微鏡３に取り付けられた特注支持構造に取り付けられた反射型マーカによって、追跡される。顕微鏡移動の大部分の間、ナビゲーションシステムのカメラへの自由な視線が得られるようになっている。顕微鏡手術中、第２支持構造は、双眼の上にＬＣＤディスプレイ１を装着することを可能にする。Polarisのトラッキング装置７および顕微鏡３は、コンピュータ１１とそのシリアルポートを介して通信する。コンピュータの別のポートには、外科処置中に仮想インタフェースを操作するためのフットスイッチ１５が接続される。
【００３４】
患者２１の頭は、画像化手順前に皮膚に接着され、かつ、外科手術が開始されるまで皮膚上に維持される。皮膚マーカ（基点）の助けを借りて、手術前の体積データに位置合わせされる。通常、少なくとも６個の基点が必要である。デキストロスコープの手術前のプランニング手順中に、マーカは識別され標識化される。手術室で、トラッキングシステムによって追跡されるプローブは、画像上で標識化されたものに対応する実世界の（皮膚上)の基点を指し示すために使用される。次いで３Ｄデータは、単純な半自動位置合わせ手順を使用して、患者に位置合わせされる。位置合わせ手順は、仮想世界を対応する実世界に変換する変換マトリックスを生み出す。この位置合わせ手順は、ほとんどの最新神経外科ナビゲーションシステムにおいて標準的である。
【００３５】
画像と患者の位置合わせ手順が完了した後、外科医はＨＭＤ１を着用し、セグメント化された画像データが立体的に再構成されて表示されたディスプレイ１の半透明画面を通して、患者２１を見る。外科医は、実際の患者に直接重ねられ、かつＸ線で見るのとほぼ同様の３Ｄデータを知覚し、観察位置を変えることで、患者の頭の「内部」に現れる３Ｄ構造を異なる角度から見ることができる。
【００３６】
最初に、顕微鏡３を使わないシステムの使用法を説明する。このシステムを「ＳＴＡＲ」（See Through Augmented Reality：シースルー補強現実）と称する。コンピュータ１１で生成された立体画像の右目および左目の映像を、ＨＭＤ１の右および左のＬＣＤにそれぞれ表示する。患者の頭の大きさおよびＨＭＤ１までの距離を校正した後、コンピュータ１１は外科医の目に映る実際の患者２１と正確に一致する画像を生成し、これにより外科医は、プランニング中に形成された手術のコンセプトと実際の患者21との間の正確な対応を理解することができる。仮想のターゲット構造を見ながら、外科医は手術場面から目を逸らすことなく、理想的な皮膚切開、開頭術、および病巣への経路を選択することができる。ＳＴＡＲの適用は神経外科を越えて、頭蓋顔面外科または整形外科の分野にまで及び、プランニングセッション中に生成された補強３Ｄデータの仮想誘導により、骨の再建作業をより正確に実行することができる。
【００３７】
使用者はまた、外科医の手中にある実際のペン形被追跡プローブ９に対応する仮想プローブを見る。このプローブにより、使用者は、３Ｄデータの制御を可能にする仮想３Ｄインタフェースを作動させ、かつ制御する。後述する通り、プローブ自体も独特のシミュレーションおよびナビゲーションツールにすることができる。
【００３８】
ＭＡＡＲ（Microscope assisted augmented reality：顕微鏡支援補強現実）と称する、顕微鏡３を使用するナビゲーションについて説明する。図１のシステムを使用する場合、ＨＭＤ１を顕微鏡の双眼より上にある支持構造５に取り付け、ＨＤＭ１のシースルーモードを停止し、コンピュータ１１によって供給される画像だけを残す。これらの画像は、顕微鏡３の立体映像出力（ケーブル１９を介してコンピュータ１１に伝送される、左右両チャネル）の組合せであると共に、コンピュータ１１自体によって生成される立体セグメント化３Ｄ画像化データである。画像はＨＭＤ１に表示され、それぞれの信号強度はビデオミキサによって調整可能である。ディスプレイの３Ｄデータによってナビゲーションを行なうためには、データは顕微鏡を通した実際の光景（またはその映像信号それぞれ）と正確に一致する必要がある。このために、コンピュータ１１は顕微鏡３の光学の設定の知識を使用して、３Ｄグラフィックスの生成を助ける。顕微鏡のズームおよび焦点のためのモータ値は、シリアルポート（RS２３２インタフェース）を介して顕微鏡から読み出され、コンピュータ１１に伝送される。次いで、予め定められた式を用いて実際の倍率および焦点面が計算される。顕微鏡の位置および向き（姿勢）は、光学的トラッキングシステムから得られる。そして、コンピュータ１１は、顕微鏡の倍率、焦点面、および視点が一致するコンピュータ生成画像を３Ｄ画像化データの立体画像として生成する。この画像はＨＭＤ１に表示される。顕微鏡光学の仕組みを利用して、正確な画像がオンラインで生成されるので、外科医は、手術中に、カメラの校正なく、またはシステム性能に影響を及ぼすことなく、ズームおよび焦点の値を変更することができる。顕微鏡３はリアルタイムで追跡されるので、外科医は顕微鏡３を自由に動かして様々な視点を得ることができる。クロップ面（crop plane）を顕微鏡３の焦点面に結びつけることによって、使用者は、顕微鏡の焦点値を変更することにより、仮想３Ｄ画像化データをスライスすることができる。
【００３９】
ＳＴＡＲおよびＭＡＡＲの両方で、ＨＭＤ１によって使用者に提示される、コンピュータ生成画像の内に仮想プローブとして表示される被追跡プローブ９を使用することにより、仮想物体に対する操作がリアルタイムで可能となる。
【００４０】
上記では本発明を、顕微鏡３から分離可能なＨＭＤ１に供給される画像の点から説明したが、本発明の範囲内の代替例では、顕微鏡の光チャネルへのＬＣＤに基づく画像「注入」システムを使用することによって、３Ｄコンピュータ生成データを顕微鏡３による光景の上に直接重ねることもできる。この場合、ＭＡＡＲを実行するために、分離可能なＨＭＤを必要としない。
【００４１】
ナビゲーション手順中に、ＭＡＡＲまたはＳＴＡＲのいずれかにより、使用者は、実際の手術の光景に補強された患者の３Ｄ画像化データを見る。特に、仮想データは通常、異なる画像スケッチおよびそれらの３Ｄセグメンテーション（腫瘍、血管、頭蓋底の部分、マーカ、および目印など）から構成されるので、使用者は、それをナビゲーション上の必要に適応させるために、手術中にデータを操作できることが必要である。例えば、３Ｄデータの透明性を隠し／示しまたは制御し、クロップ面を調整し、距離を測定し、あるいはデータをインポートするために、ツールが必要とされる。本発明によれば、外科医は、受動的被追跡ペン形プローブ９およびフットスイッチ１５を使用するだけで、したがって手術室でのキーボードおよびマウスの使用を回避して、コンピュータ１１を操作してＨＭＤ１に表示される３Ｄデータを変更することができる。
【００４２】
外科医が患者の頭部付近で被追跡プローブを動かすと、プローブ９は患者の頭の周囲に形成された仮想バウンディングボックス内に存在する。これを図２（ａ）に示す。マーカの位置は２５で示される。バウンディング（bounding）ボックス（これは仮想空間ではなく、現実空間にある）は、破線で示されるが、手術が行われる対象領域を取り囲んでいる。この状態で、コンピュータ生成画像は、対象者の画像化データを使用者に示す。さらに、プローブ９に対応する仮想プローブがＨＭＤ１の、仮想３Ｄ画像化データの現実に対応する位置に表示される。
【００４３】
プローブがトラッキングシステムに見えない場合、すなわち、その反射型マーカが隠れるか、あるいはトラッキングボリュームの外にある場合、仮想プローブは消え、外科医はＨＭＤに表示された補強患者データだけを見る。これを図２（ｃ）に示す。
【００４４】
外科医がプローブ９を患者の頭部から離し、仮想バウンディングボックスの外に出したが、それがトラッキングシステムの視界内に維持されている場合（図２（ｂ）に示す）、透視システムは、使用者がコントロールパネルであるコンピュータ生成画像だけを見るように、光景を切り替える。このパネルを図３に示す。次いで仮想ハンドヘルドプローブ２７が、その先端から光線２９が発射される状態で表示され、仮想世界における仮想レーザプローブのように見える。コントロールパネル上のボタン３１は、仮想光線をそれらに向けることによって選択することができる。選択されると、フットスイッチを使用してボタンを押すことにより、スイッチオン／オフを切り換えることができる。
【００４５】
コントロールパネルは、立体的に表示されるときに、使用者から約１．５ｍの快適な距離に現れるように配置される。仮想プローブ２７自体は、外科医の手中にある実際のプローブ９の動きを現実的に反映し、その結果、小さい手首の動きによりコントロールパネル上の仮想ボタンを指し示すことができる。
【００４６】
手術室の空間制約の中で、特に手術用顕微鏡による手術中、上述の操作方法は、外科医が広範囲のナビゲーション関連ツールに快適かつ迅速にアクセスすることを可能にする。２つの要素が重要である。第一に、フローティングコントロールパネルを起動する仮想空間が、患者の頭部を近接距離で取り囲むことにより、外科医の手首がトラッキングシステムの視界内にある限り、外科医が患者の頭部からどの方向にでも簡単な手首の動きによりパネルを操作することができる。第二の重要な要素は、ひとたび仮想ツールラックが見えるようになると、そのツール全部が、周囲の手術用機器と衝突するような空中での大きい動きを必要とせず、小さい手首の動きによって作動させることができることである。外科医は、その手の動きを視覚的に制御する必要なく、かつしたがって手術のワークフローからあまり気を逸らすことなく、ディスプレイ上のデータを見ながら、静止した状態でも快適にナビゲーションを行なうことができるので、これは重要である。この作用を図４に示す。図４は、プローブの先端から光線が発射される様子を示している。
【００４７】
仮想インタフェースパネル内で、外科医は、１組の機能にアクセスして、例えば次のように、データの表示を変更することができる。
【００４８】
・  様々な画像形式および／または３Ｄオブジェクトを隠す／示す。例えば、軟組織の手術では、幾つかのＭＲＩにより得たセグメンテーション（またはオリジナルのＭＲＩ面そのもの）に切り替える必要がある。一方、骨に対する作業中は、ＣＴにより得た構造を切り替える必要がある。
【００４９】
・  データの表示を、単平面／三平面／３Ｄフルボリュームに変更する。
【００５０】
・  画像化データをプローブまたは顕微鏡にリンクする。これにより、オンラインクロップ面（データが３Ｄボリュームとして現れる場合）、単平面、または三平面画像の中心点を、顕微鏡の焦点面、または手術領域に導入することができる仮想的に伸長可能なプローブ（後述）のいずれかにリンクすることができる。
【００５１】
・  仮想プローブを起動し、これを仮想的に伸長させたり、後退させることにより、仮想ドリルおよび修復ツールのような手術中のシミュレーションツール、測定ツール、または組織の収縮またはクリップ配置をシミュレートするツールを制御する（図６参照）。
【００５２】
・  色および透明度調整テーブルを作動させる。
【００５３】
・  ＭＡＡＲシステムとＳＴＡＲシステム間の切替を行なう。
【００５４】
・  手術中の画像化データをインポートし、位置合わせするツール、すなわち３Ｄ超音波を作動させる。
【００５５】
我々は、仮想プローブを、手術腔部内で補強データを直接操作して、手術の各ステップのナビゲーションおよびシミュレーションを行なうことを可能とするツールにする方法を開発した。
【００５６】
第１に、実施例による新規のナビゲーション機能を説明する。仮想ツールラックで選択することによって、ボリューメトリック(体積的）３Ｄデータをプローブにリンクさせると、プローブの先端の方向に対して垂直なクロップ面が生成される。外科医がプローブを手術場面に導入し、フットスイッチを押すと、フットスイッチを押し続ける限り、プローブから延長する線が仮想的に伸び、患者データをスライスしていくように、表示面がプローブの先端から離れて、線の長さに一致する面が表示される。フットスイッチを離すと、面は最後の位置に留まる。フットスイッチを次回に押すと、線は短くなり、面はそれに相応して、フットスイッチが解除されるまでプローブの先端に向かって移動する。この方法で、フットスイッチを交互に押すことによって、切断面を出し入れすることができ、データの様々な部分を検討することができる。各段階で、コンピュータ１１は切断面に基づくデータを、例えば手術の対象者の単平面スライスとして生成する。仮想プローブ延長の長さはオンラインで表示され、手術腔部の深さに関して距離の測定ができる。データを単平面として表示するように選択した場合、この単独面もプローブに対して垂直であり、それは同様の仕方で出入りさせることができる。データを三平面モード、すなわち原点で交わる３つの直交平面で表示する場合、三平面原点は延長可能なプローブにリンクされる。
【００５７】
代替的に、かつ任意に、コンピュータ１１によって生成されるデータを顕微鏡設定にリンクさせることもでき、この場合、切断面は顕微鏡の焦点面に配置される。この面は、プローブからの線を延長することにより、および／または顕微鏡の焦点ボタンを使用することにより、動かすことができる。
【００５８】
図５は、３種類の組織を組み合わせたコンピュータ生成画像を示す。コンピュータ断層撮影（ＣＴ）データからボリューメトリック(体積的）に再構成された骨が白く示され、ＣＴと表示されている。血管を示す血管造影（ＭＲＡ）データは、赤（写真では黒）など第２の色で画像に表示される。磁気共鳴画像データ（ＭＲＩ）は軟組織をグレーで示し、仮想プローブに対して垂直な面に単平面モードで表示される。ＭＲＩのコンピュータ生成画像は、顕微鏡の焦点面にリンクすることによって取り入れられる。プローブを仮想的に延長することによって、ＭＲＩ面は手術領域の深さまで移動し、使用者は病変（この場合、頸静脈神経線維腫）の空間的範囲を検討することができる。
【００５９】
このツールは、プランニングの段階中に配置された外科的に重要な目印（一般的に３個または４個）までのオンライン上の距離を外科医に提供するために使用することもできる。ナビゲーション中、専用の色を有する線がプローブから各目印まで示され、各目印からの距離が各線の横に表示される。目印のこの表示は、フローティングコントロールパネルを用いてオン／オフすることができる。
【００６０】
第２に、我々は、本実例により実行することのできる新規のシミュレーション機能を説明する。仮想ドリルツールは、仮想プローブに取り付けられ、ドリルとして作用する仮想球体からなり、ボクセル（３Ｄピクセル）を切除することによって、リアルタイムで補強仮想データ内に導入できる。球形ドリルは、上述の通りフットスイッチを交互に押すことによって、プローブと球形ドリルとの間に伸長するように描かれる線の長さを変化させることで仮想的に伸長させたり、後退させることが可能である。外科医はこうして、ハンドヘルドプローブを動かすことによって、任意の位置を穿孔することができる。使用者に見える実際の画像とコンピュータ生成画像の組合せを図６に示す。図６ａは、患者の頭蓋骨の仮想画像を仮想ツールと共に示す。図６ｂは、患者の実際の頭蓋骨を、外科医の手中にある実際のペンと共に示し、この場合、その先端は実際の骨の上に載っているか、またはそのわずか上にある。図６ｃは使用者の頭部装着ディスプレイを通した使用者の視界を示し、そこでは図６ａの仮想画像が図６ｂの実際の画像にそれと相互に位置合わせされて重ねられ、仮想骨内の可視腔部が、伸長可能なボクセル切除球体により穿孔されている。
【００６１】
システムはさらに、「修復ツール」を含み、ドリルツールによって切除されたボクセルを修復することを除いては、ドリルツールと同様の働きをする。
【００６２】
この実施例によって提供される手術中のシミュレーションツールは、頭蓋底における微細な骨作業中に特に有用である。これにより、外科医は、正確に重ね合わされた３ＤのＣＴデータを使用することにより、幾つかの方向に沿って骨の切除のシミュレーションを行なうことができる。実際の骨作業を実行する前に、周囲の構造に関連する最適な穿孔経路を探索し、仮想的にリハーサルすることができる。実際の穿孔中は、重ねられた仮想穿孔データに正確に従うことができる。穿孔の他、上述の伸長可能な仮想プローブは、実際の手術の前に、重ね合わされたデータ上で、軟組織を収縮したり、あるいはクリップまたはボーンスクリューを配置するなど、他の外科手術をシミュレートするためにも使用することができる。仮想プローブは、その後の実際の外科手術におけるステップをより正確かつ安全に実行するために、まさしく手術現場で補強３Ｄデータを精査しかつ正しく操作することを可能にするツールと見ることができる。
【００６３】
本発明を上述のように、単一の実施例のみに関連して説明したが、本発明の範囲内で様々な変形が可能であることは、当業者には明白である。例えば、好ましくはないが、図６に表示から線の表現を省略して、ツールおよびプローブだけを示すことが可能である。しかし線は依然として、ツールの長手方向のプローブとツールとの間の制御可能な距離として、概念的に存在する。
【図面の簡単な説明】
【００６４】
【図１】本発明の実施例によるシステムの外科手術中の使用状態を示す図である。
【図２】本発明の実施例における仮想的に境界付けられたボックスと、このボックスとプローブおよび仮想制御パネルの関係を示す図である。
【図３】本実施例において生成された制御パネルを示す図である。
【図４】本実施例において、わずかな手首の動きで、離れたパネル上のボタンを制御する状態を示す概念図である。
【図５】本実施例において、ナビゲーションツールとして機能する仮想的に伸長可能なプローブの使用状態を示す図である。
【図６ａ】本実施例において、仮想手術中の仮想的に伸長可能なドリルの使用状態を示す図であり、コンピュータにより生成された仮想画像を示す図である。
【図６ｂ】本実施例において、仮想手術中の仮想的に伸長可能なドリルの使用状態を示す図であり、現実の画像を示す図である。
【図６ｃ】本実施例において、仮想手術中の仮想的に伸長可能なドリルの使用状態を示す図であり、仮想画像と現実画像を重ねた状態を示す図である。
【図１】
2005500096.tif 000003
【図２】
2005500096.tif 000004
【図３】
2005500096.tif 000005
【図４】
2005500096.tif 000006
【図５】
2005500096.tif 000007
【図６ａ】
2005500096.tif 000008
【図６ｂ】
2005500096.tif 000009
【図６ｃ】
2005500096.tif 000010
【国際公開パンフレット】
2005500096.tif 000011
2005500096.tif 000012
2005500096.tif 000013
2005500096.tif 000014
2005500096.tif 000015
2005500096.tif 000016
2005500096.tif 000017
2005500096.tif 000018
2005500096.tif 000019
2005500096.tif 000020
2005500096.tif 000021
2005500096.tif 000022
2005500096.tif 000023
2005500096.tif 000024
2005500096.tif 000025
2005500096.tif 000026
2005500096.tif 000027
2005500096.tif 000028
2005500096.tif 000029
2005500096.tif 000030
2005500096.tif 000031
2005500096.tif 000032
2005500096.tif 000033
2005500096.tif 000034
2005500096.tif 000035
2005500096.tif 000036
2005500096.tif 000037
2005500096.tif 000038
2005500096.tif 000039
【国際調査報告】
2005500096.tif 000040
2005500096.tif 000041