(57)【要約】イメージガイドされる神経外科手術のための装置はイメージング装置を有する。イメージング装置は、座標系に関連付けられた患者部分の３次元（３Ｄ）ボリュームデータを収集するため利用される。コンピュータは、データのグラフィカル表示を提供するようにボリュームデータを処理する。立体カメラアセンブリは、患者の少なくとも一部分を含むシーンの立体視ビデオ像を検出する。トラッキングシステムは、座標系に関連付けて立体視ビデオ像の姿勢データを測定する。コンピュータは、グラフィカル表示及び立体視ビデオを、姿勢データに関連付けて混合手法でレンダリングして、立体的に強化されたイメージを提供するものである。ヘッドマウントビデオ透視用ディスプレイは立体的に強化されたイメージをディスプレイする。
2004538538.tif 000002
【特許請求の範囲】
【請求項１】
イメージガイドされる外科手術方法において、
患者の少なくとも一部分の３次元（３Ｄ）ボリュームデータを収集するステップと、
前記データのグラフィカル表示を提供するよう前記のボリュームデータを処理するステップと、
該患者の前記少なくとも一部分を含むシーンの立体視ビデオ像を検出するステップと、
立体的に強化されたイメージを形成するように前記のグラフィカル表示及び、前記の立体視ビデオ像を混合手法でレンダリングするステップと、
ビデオ透視用ディスプレイにおいて前記の立体的に強化されたイメージをディスプレイするステップを含むことを特徴とするイメージガイドされる外科手術方法。
【請求項２】
イメージガイドされる外科手術方法において、
座標系に関連付けて患者の少なくとも一部分の３次元（３Ｄ）ボリュームデータを収集するステップと、
前記データのグラフィカル表示を形成するよう前記ボリュームデータを処理するステップと、
前記患者の少なくとも一部分を含むシーンの立体視ビデオ像を検出するステップと、
前記座標系に関連付けて前記の立体視ビデオ像の姿勢データを測定するステップと、
立体的に強化されたイメージを形成するように前記のグラフィカル表示及び、前記の立体視ビデオ像を前記の姿勢データに関連して混合手法でレンダリングするステップと、
ビデオ透視用ディスプレイにおいて、前記の立体的に強化されたイメージをディスプレイするステップを含むことを特徴とするイメージガイドされる外科手術方法。
【請求項３】
３次元（３Ｄ）ボリュームデータを収集するステップは、磁気共鳴イメージングデータを得ることを含む、請求項１記載のイメージガイドされる外科手術方法。
【請求項４】
前記ボリュームデータを処理するステップは、プログラマブルコンピュータにおいて前記データを処理することを含む、請求項１記載のイメージガイドされる外科手術方法。
【請求項５】
立体視ビデオ像を検出する前記ステップは、立体カメラの１対により立体ビデオ像を検出することを含む、請求項１記載のイメージガイドされる外科手術方法。
【請求項６】
姿勢データを測定する前記ステップは、トラッキング装置を介して、前記立体カメラの１対の位置及び配向を測定することを含む、請求項２記載のイメージガイドされる外科手術方法。
【請求項７】
前記のグラフィカル表示及び、前記の立体視ビデオ像を、前記の姿勢データに関連付けてレンダリングする前記ステップは、ビデオイメージを利用し、そして必要な場合には、前記のビデオイメージ、前記のカメラ姿勢情報及び、先行のステップにおいて収集され記憶されたボリュームデータをデジタル化して、前記立体的に強化されたイメージを形成することを含む、請求項１記載のイメージガイドされる外科手術方法。
【請求項８】
ビデオ透視用ディスプレイ内に前記の立体的に強化されたイメージをディスプレイする前記ステップは、ヘッドマウントビデオ透視用ディスプレイ内に、前記立体的に強化されたイメージをディスプレイすることを含む、請求項１記載のイメージガイドされる外科手術方法。
【請求項９】
イメージガイドされる外科手術のための装置において、
患者の少なくとも一部分の３次元（３Ｄ）ボリュームデータを収集するための手段と、
前記データのグラフィカル表示を提供するように前記のボリュームデータを処理するための手段と、
前記の患者の少なくとも一部分を含むシーンの立体視ビデオ像を検出するための手段と、
立体的に強化されたイメージを形成するよう、前記のグラフィカル表示及び前記の立体視ビデオ像を混合手法でレンダリングするための手段と、
ビデオ透視用ディスプレイにおいて、前記の立体的に強化されたイメージをディスプレイするための手段とを有することを特徴とするイメージガイドされる外科手術のための装置。
【請求項１０】
イメージガイドされる外科手術のための装置において、
座標系に関連して患者の少なくとも一部分の３次元（３Ｄ）ボリュームデータを収集するための手段と、
前記データのグラフィカル表示を提供するように前記のボリュームデータを処理するための手段と、
前記の患者の少なくとも一部分を含むシーンの立体視ビデオ像を検出するための手段と、
前記座標系に関連付けて、前記立体視ビデオ像の姿勢データを測定するための手段と、
立体的に強化されたイメージを形成するよう、前記のグラフィカル表示及び前記の立体視ビデオ像を前記姿勢データに関連して混合手法でレンダリングするための手段と、
ビデオ透視用ディスプレイにおいて、前記の立体的に強化されたイメージをディスプレイするための手段とを有することを特徴とするイメージガイドされる外科手術のための装置。
【請求項１１】
３次元（３Ｄ）ボリュームデータを収集するための前記装置は、磁気共鳴イメージングデータを得るための手段を有する、請求項９記載のイメージガイドされる外科手術のための装置。
【請求項１２】
前記ボリュームデータを処理するための前記手段は、前記データをプログラマブルコンピュータにおいて処理するための手段を有する、請求項９記載のイメージガイドされる外科手術のための装置。
【請求項１３】
立体視ビデオ像を検出するための前記装置は、１対の立体カメラにより立体視像を検出するための装置を有する、請求項９記載のイメージガイドされる外科手術のための装置。
【請求項１４】
姿勢データを測定するための前記手段は、トラッキング装置を介して前記立体カメラの１対の位置及び配向を測定するための手段を有する、請求項９記載のイメージガイドされる外科手術のための装置。
【請求項１５】
前記姿勢データに関連して、前記グラフィカル表示及び前記の立体視ビデオ像を混合手法でレンダリングするための前記装置は、ビデオイメージを利用するための手段を有し、
前記ビデオイメージを利用するための手段は、必要な場合には、前記ビデオイメージ、前記カメラ姿勢情報及び予め収集され記憶されたボリュームデータをデジタル化し、前記立体的に強化されたイメージを形成するのに使用される、請求項９記載のイメージガイドされる外科手術のための装置。
【請求項１６】
ビデオ透視用ディスプレイ内に前記立体的に強化されたイメージをディスプレイするための前記装置は、ヘッドマウントビデオ透視用ディスプレイを有する、請求項９記載のイメージガイドされる外科手術のための装置。
【請求項１７】
前記座標系を規定するため、前記患者に所定の関係を有するマーカのセットを有する、請求項９記載のイメージガイドされる外科手術のための装置。
【請求項１８】
前記マーカが、前記ボリュームデータにおいて識別可能である、請求項１７記載のイメージガイドされる外科手術のための装置。
【請求項１９】
ビデオ透視用ディスプレイ内に前記立体的に強化されたイメージをディスプレイするための前記手段は、ブームに取り付けられたビデオ透視用ディスプレイを有する、請求項１８記載のイメージガイドされる外科手術のための装置。
【請求項２０】
イメージガイドされる外科手術のための装置において、
座標系に関連付けられた少なくとも患者の一部分の、３次元（３Ｄ）ボリュームデータを収集するため利用される医用イメージング装置を有し、
前記データのグラフィカル表示を形成するように前記ボリュームデータを処理するためのコンピュータと、
前記の患者の少なくとも一部分を含むシーンの立体視ビデオ像を検出するための立体カメラアセンブリと、
前記座標系に関連付けて前記の立体ビデオ像の姿勢データを測定するためのトラッキングシステムとを有し、
前記コンピュータは、前記姿勢データに関連付けて、前記のグラフィカル表示及び前記の立体ビデオ像を混合手法でレンダリングして、立体的に強化されたイメージを形成するために利用され、
該外科手術のための装置は、前記の立体的に強化されたイメージをディスプレイするためのヘッドマウントビデオ透視用ディスプレイを有することを特徴とするイメージガイドされる外科手術のための装置。
【請求項２１】
前記の医用イメージング装置は、Ｘ線コンピュータ断層撮影装置、磁気共鳴イメージング装置及び３Ｄ超音波イメージング装置のうちの１つである、請求項２０記載のイメージガイドされる外科手術のための装置。
【請求項２２】
前記座標系は、前記の患者に関連して規定される、請求項２０記載のイメージガイドされる外科手術のための装置。
【請求項２３】
前記の患者に所定の関係を有するマーカを含む、請求項２２記載のイメージガイドされる外科手術のための装置。
【請求項２４】
前記マーカは、前記ボリュームデータにおいて識別可能である、請求項２３記載のイメージガイドされる外科手術のための装置。
【請求項２５】
前記コンピュータは、ネットワーク化された１セットのコンピュータを有する、請求項２０記載のイメージガイドされる外科手術のための装置。
【請求項２６】
前記コンピュータは、ユーザのオプショナルなインタラクションにより前記ボリュームデータを処理し、前記の患者部分の少なくとも１つのグラフィカル表示を提供し、
前記のグラフィカル表示は、前記ボリュームデータのセグメンテーションに基づくボリューム表示及び表面表示のうちの少なくとも１つを有する、請求項２５記載のイメージガイドされる外科手術のための装置。
【請求項２７】
前記のユーザのインタラクションによって、ユーザは、任意の所望の組合せで、前記の患者部分の少なくとも一部を、外科手術手順におけるガイダンスのため、選択的に強調し、色付けし、注釈し、選出し、そして、識別することができる、請求項２６記載のイメージガイドされる外科手術のための装置。
【請求項２８】
前記トラッキングシステムは、光学的追跡体を有する、請求項２０記載のイメージガイドされる外科手術のための装置。
【請求項２９】
前記立体カメラアセンブリは、ユーザが頭部を下向きに傾けずに操作することを可能とするために、下向き監視配向を含めた角度をつけた旋回配向で動作するように適合される、請求項２０記載のイメージガイドされる外科手術のための装置。
【請求項３０】
前記光学的追跡体は、前記のカメラアセンブリとの所定の結合関係のある追跡ビデオカメラを有する、請求項２８記載のイメージガイドされる外科手術のための装置。
【請求項３１】
前記光学的追跡体は、前記の立体カメラアセンブリの視界のセンタエリヤの周りで標識点をトラッキングするための、前記の立体カメラアセンブリと実質的に同じ方向を持つ追跡体ビデオカメラ面を有する、請求項２８記載のイメージガイドされる外科手術のための装置。
【請求項３２】
前記追跡ビデオカメラは、前記立体カメラアセンブリより大きい視野を有する、請求項３１記載のイメージガイドされる外科手術のための装置。
【請求項３３】
前記標識点は光学的マーカを有する、請求項３１記載のイメージガイドされる外科手術のための装置。
【請求項３４】
前記標識点は反射性マーカを有する、請求項３１記載のイメージガイドされる外科手術のための装置。
【請求項３５】
前記反射性マーカが前記追跡ビデオカメラに適する波長の光で照明される、請求項３４記載のイメージガイドされる外科手術のための装置。
【請求項３６】
前記ビデオ透視用ディスプレイはズーム機能を有する、請求項２０記載のイメージガイドされる外科手術のための装置。
【請求項３７】
前記標識点は発光マーカを有する、請求項３１記載のイメージガイドされる外科手術のための装置。
【請求項３８】
前記強化された像は、少なくとも１人の付加ユーザ向けに記憶された、再生された、遠隔的に視認された、そして同時に複製化されたものの、任意の組合せである、請求項２０記載のイメージガイドされる外科手術のための装置。
【請求項３９】
イメージガイドされる外科手術のための装置において、
座標系に関連付けて少なくとも患者の一部分の３次元（３Ｄ）ボリュームデータを収集するため利用される医用イメージング装置を有し、
前記データのグラフィカル表示を形成するように前記ボリュームデータを処理するためのコンピュータを有し、
遠隔のロケーションからユーザにより操作可能なロボットアームマニピュレータを有し、
前記の患者を含むシーンの立体視ビデオ像を検出するための前記ロボットアームマニピュレータにマウントされた立体カメラアセンブリを有し、
前記座標系に関連付けて前記の立体ビデオ像の姿勢データを測定するためのトラッキングシステムを有し、
前記コンピュータは、立体的に強化されたイメージを形成するよう、前記姿勢データに関連付けて、混合手法で、前記のグラフィカル表示及び前記の立体ビデオ像をレンダリングするために利用され、
該外科手術のための装置は、前記遠隔のロケーションにおいて前記立体的に強化されたイメージをディスプレイするためのヘッドマウントビデオ透視用ディスプレイを有することを特徴とするイメージガイドされる外科手術のための装置。
【請求項４０】
前記光学的追跡体は、前記ロボットアームマニピュレータと所定の結合関係を持つ追跡ビデオカメラを有する、請求項３９記載のイメージガイドされる外科手術のための装置。
【請求項４１】
患者の少なくとも一部分の収集された３次元（３Ｄ）ボリュームデータを利用する、イメージガイドされる外科手術方法において、
前記データのグラフィカル表示を提供するよう前記のボリュームデータを処理するステップと、
前記の患者の少なくとも一部分を含むシーンの立体視ビデオ像を検出するステップと、
立体的に強化されたイメージを形成するために、前記のグラフィカル表示及び前記の立体視ビデオ像を混合手法でレンダリングするステップと、
ビデオ透視用ディスプレイ内に前記の立体的に強化されたイメージをディスプレイするステップとを含むことを特徴とするイメージガイドされる外科手術方法。
【請求項４２】
患者の少なくとも一部分の３次元（３Ｄ）ボリュームデータを利用するイメージガイドされる外科手術方法であって、前記データは座標系に関連付けて収集される外科手術方法において、
患者の少なくとも一部分の３次元（３Ｄ）ボリュームデータを収集するステップと、
前記データのグラフィカル表示を提供するよう前記ボリュームデータを処理するステップと、
前記患者の少なくとも一部分を含むシーンの立体視ビデオ像を検出するステップと、
前記座標系に関連付けて前記立体視ビデオ像の姿勢データを測定するステップと、
立体的に強化されたイメージを形成するために、前記グラフィカル表示及び前記立体視ビデオ像を前記姿勢データに関連付けて混合手法でレンダリングするステップと、
ビデオ透視用ディスプレイ内に前記立体的に強化されたイメージをディスプレイするステップとを含むことを特徴とするイメージガイドされる外科手術方法。
【請求項４３】
前記の３次元（３Ｄ）ボリュームデータは、磁気共鳴イメージングデータを有する、請求項４２記載のイメージガイドされる外科手術方法。
【請求項４４】
前記ボリュームデータを処理するステップは、プログラマブルコンピュータにおいて前記データを処理することを含む、請求項４２記載のイメージガイドされる外科手術方法。
【請求項４５】
立体視ビデオ像を検出する前記ステップは、１対の立体カメラにより立体像を検出することを含む、請求項４２記載のイメージガイドされる外科手術方法。
【請求項４６】
姿勢データを測定する前記ステップは、トラッキング装置を用いて前記１対の立体カメラの位置及び配向を測定することを含む、請求項４２記載のイメージガイドされる外科手術方法。
【請求項４７】
前記のグラフィカル表示及び前記の立体視ビデオ像を、前記の姿勢データに関連付けて混合手法でレンダリングする前記ステップは、ビデオイメージを利用するステップを含み、そして必要な場合には、前記ビデオイメージ、前記カメラ姿勢情報及び先行のステップにおいて収集された記憶されたボリュームデータをデジタル化するステップを含む、請求項４２記載のイメージガイドされる外科手術方法。
【請求項４８】
ビデオ透視用ディスプレイ内に前記立体的に強化されたイメージをディスプレイする前記ステップは、ヘッドマウントビデオ透視用ディスプレイ内に、前記立体的に強化されたイメージをディスプレイすることを含む、請求項４２記載のイメージガイドされる外科手術方法。
【請求項４９】
患者の少なくとも一部分の収集された３次元（３Ｄ）ボリュームデータを利用する、イメージガイドされる外科手術のための装置において、
前記データのグラフィカル表示を提供するように前記ボリュームデータを処理するための手段と、
前記患者の少なくとも一部分を含むシーンの立体視ビデオ像を検出するための手段と、
立体的に強化されたイメージを形成するよう、前記グラフィカル表示及び前記立体視ビデオ像を混合手法でレンダリングするための手段と、
ビデオ透視用ディスプレイにおいて前記立体的に強化されたイメージをディスプレイするための手段とを有することを特徴とするイメージガイドされる外科手術のための装置。
【請求項５０】
患者の少なくとも一部分の３次元（３Ｄ）ボリュームデータを利用する、イメージガイドされる外科手術のための装置において、
前記データは、座標系に関連して予め収集されており、
前記データのグラフィカル表示を提供するように前記ボリュームデータを処理するための手段と、
前記患者の少なくとも一部分を含むシーンの立体視ビデオ像を検出するための手段と、
前記座標系に関連して前記立体視ビデオ像の姿勢データを測定するための手段と、
立体的に強化されたイメージを形成するよう、前記グラフィカル表示及び前記立体視ビデオ像を前記姿勢データに関連付けて混合手法でレンダリングするための手段と、
ビデオ透視用ディスプレイ内に前記の立体的に強化されたイメージをディスプレイするための手段とを有することを特徴とするイメージガイドされる外科手術のための装置。
【発明の詳細な説明】
【０００１】
ここで引用されている参考文献は、Ｗｅｎｄｔ氏他の名で２０００年１０月１０日に「ＩＮＴＲＡ−ＯＰＥＲＡＴＩＶＥ ＭＲ ＧＵＩＤＥＤ ＮＥＵＲＯＳＵＲＧＥＲＹ ＷＩＴＨ ＡＵＧＭＥＮＴＥＤ ＲＥＡＬＩＴＹ ＶＩＳＵＡＬＩＺＡＴＩＯＮ（強化現実可視化による、手術中にＭＲガイドされる神経外科手術）」と題して出願された仮出願Ｎｏ．６０／２３８，２５３号及びＳａｕｅｒ氏の名で２００１年３月２９日に、「ＭＥＴＨＯＤ ＡＮＤ ＡＰＰＡＲＡＴＵＳ ＦＯＲ ＡＵＧＭＥＮＴＥＤ ＲＥＡＬＩＴＹ ＶＩＳＵＡＬＩＺＡＴＩＯＮ（強化現実可視化のための方法及び装置）」と題して出願された仮出願Ｎｏ．６０／２７９，９３１号であり、それらの開示内容が本明細書中に参考として含まれている。
【０００２】
本発明は、イメージガイドされる外科手術の分野に関し、より特定的にはＭＲガイドされる神経外科手術に関するものであり、ここで磁気共鳴（ＭＲ）スキャンのようなイメージングスキャンは手術中、又は手術間で行われる。
【０００３】
神経外科手術の実施に当たり、手術する外科医は、一般に手術における指針のため、患者の解剖学的情報をディスプレイするモニタと患者との間で、観察視線を向けたり戻したりすることが要求される。このようにして、脳とモニタ上に観測されたイメージ情報との“精神的マッピング”の１形態が行われる。
【０００４】
一般的に、脳腫瘍の外科手術の場合、ＭＲ（磁気共鳴）及びＣＴ（コンピュータ断層撮影）スキャナにより撮られた３次元（３Ｄ）ボリュームイメージが診断および外科手術計画のため使用される。
【０００５】
頭蓋を開いた（開頭）後には、脳は物理的に非剛性であるため、一般的にさらに変形をする。脳の変位により、手術前の３Ｄイメージングデータが、益々脳の実際の幾何学的形状に正確に適合しなくなり、その結果手術中外科医が直面することに有意に相応しなくなる。
【０００６】
しかし、正常で健全に見える、そして脳の生体材料のような模様がある腫瘍が存在し、その結果可視的に弁別不能であるような腫瘍がある。そのような腫瘍は、ＭＲデータによってのみ区別でき、一般に、外科手術中に更新されるＭＲデータによってのみ信頼性のある切除が可能である。“手術中”ＭＲイメージングという用語は、実際の外科手術が進行している間に行われるＭＲスキャンに関連しており、これに対して、“手術間”ＭＲイメージングという用語は、外科手術手順がスキャンの取得のため停止され、その後再開された場合に使用される。
【０００７】
手術室内における手術中／手術間ＭＲイメージング能力を提供するための装置が、種々の会社により開発されている。例えば、ジェネラルエレクトリック社は、２重ドーナツ形磁石を有するＭＲスキャナを構築しており、ここで、外科医は、スキャナ内で患者にアクセスをする。
【０００８】
Ｎａｆｉｓ氏他の名で１９９８年４月２１日に「ＣＯＭＰＵＴＥＲ ＧＲＡＰＨＩＣ ＡＮＤ ＬＩＶＥ ＶＩＤＥＯ ＳＹＳＴＥＭ ＦＯＲ ＥＮＨＡＮＣＩＮＧ ＶＩＳＵＡＬＩＺＡＴＩＯＮ ＯＦ ＢＯＤＹ ＳＴＲＵＣＴＵＲＥＳ ＤＵＲＩＮＧ ＳＵＲＧＥＲＹ（外科手術中身体構造の可視化を強調するためのコンピュータグラフィックス及びライブビデオシステム）」と題して出願され、ジェネラルエレクトリック社に譲渡されたＵＳ特許第５，７４０，８０２号はインタラクティブな外科手術計画及びディスプレイシステムに係わっており、このシステムは患者の外部表面のライブビデオを、患者の医療診断イメージングデータから得られた内部解剖の、インタラクティブコンピュータにより生成されたモデルと混合する。コンピュータイメージ及びライブビデオが相対応付けられ、外科手術の間中実時間で外科医にディスプレイされ、このことによって外科医は内部及び外部構造並びにそれらの間の関係を同時に観測し、外科手術を調節することができる。択一的な実施形態においては、通常の解剖学的モデルがまた、再建的外科手術におけるガイドとしてディスプレイされる。他の実施形態は、３次元観察を使用する。
【０００９】
超音波イメージングに関連する研究作業は、Ａｎｄｒｅｉ Ｓｔａｔｅ氏， Ｍａｒｋ Ａ．Ｌｉｖｉｎｇｓｔｏｎ氏， Ｇｅｎｔａｒｏ Ｈｉｒｏｔａ氏， Ｗｉｌｌｉａｍ Ｆ．Ｇａｒｒｅｔｔ氏， Ｍａｒｙ Ｃ．Ｗｈｉｔｔｏｎ氏， Ｈｅｎｒｙ Ｆｕｃｈｓ氏及びＥｔｔａ Ｄ． Ｐｉｓａｎｏ氏らによる Ｃｏｍｐｕｔｅｒ Ｇｒａｐｈｉｃｓ， Ｐｒｏｃｅｅｄｉｎｇｓ， Ａｎｎｕａｌ Ｃｏｎｆｅｒｅｎｃｅ Ｓｅｒｉｅｓ １９９６， ＡＣＭ ＳＩＧＧＲＡＰＨ， ４３９〜４４６ページ中の“Ｔｅｃｈｎｏｌｏｇｉｅｓ ｆｏｒ Ａｕｇｍｅｎｔｅｄ Ｒｅａｌｉｔｙ Ｓｙｓｔｅｍｓ： ｒｅａｌｉｚｉｎｇ Ｕｌｔｒａｓｏｕｎｄ−Ｇｕｉｄｅｄ Ｎｅｅｄｌｅ Ｂｉｏｐｓｉｅｓ，“Ｐｒｏｃｅｅｄ． ｏｆ ＳＩＧＧＲＡＰＨ （Ｎｅｗ Ｏｒｌｅａｎｓ， ＬＡ， Ａｕｇｕｓｔ ４−９， １９９６）” に開示されている。
【００１０】
手術間イメージングのため、シーメンス社は、ＭＲスキャナ及び手術台の組合せ体を構築しており、ここでは、患者と共に手術台を、ＭＲイメージ取得のためのスキャナ（イメージング位置）内に挿入し、そして、手術チームが患者にアクセスできる位置、すなわち手術位置内に引き出すことができる。
【００１１】
シーメンス社の装置の場合、ＭＲデータはコンピュータモニタ上でディスプレイされる。専門の神経放射線学者は、イメージを評価し、それらを神経外科医と議論する。神経外科医は、関連するイメージ情報を理解し、これを患者の脳上へ精神的にマッピングしなければならない。そのような装置が有用なモダリティを提供している反面、その種の精神的マッピングは困難で、主観的であり、情報の完全な精度を維持できない。
【００１２】
本発明の目的とするところは、外科医自身のダイナミックな視点からの患者の強化された像（ａｕｇｍｅｎｔｅｄ ｖｉｅｗ）を生成し、その像を外科医にディスプレイすることである。
【００１３】
医療用に強化現実可視化を使用することが１９９２年の早期に提案されている。例えば、Ｍ．Ｂａｊｕｒａ Ｈ．Ｆｕｃｈｓ氏及び Ｒ．Ｏｈｂｕｃｈｉ 氏による、“Ｍｅｒｇｉｎｇ Ｖｉｒｔｕａｌ Ｏｂｊｅｃｔｓ ｗｉｔｈ ｔｈｅ Ｒｅａｌ Ｗｏｒｌｄ： Ｓｅｅｉｎｇ Ｕｌｔｒａｓｏｕｎｄ Ｉｍａｇｅｒｙ ｗｉｔｈｉｎ ｔｈｅ Ｐａｔｉｅｎｔ ”Ｐｒｏｃｅｅｄｉｎｇｓ ｏｆ ＳＩＧＧＲＡＰＨ ’９２（Ｃｈｉｃａｇｏ， ＩＬ， Ｊｕｌｙ ２６−３１，１９９２）そして Ｉｎ Ｃｏｍｐｕｔｅｒ Ｇｒａｐｈｉｃｓ ２６，＃２（１９９２年７月）の２０３〜２１０ページを参照するとよい。
【００１４】
ここで使用されているように、“強化された像”は、一般に“現実の”像を付加的な“バーチャル”グラフィックスに重ねたものからなる。現実の像は、ビデオイメージとして提供される。バーチャルグラフィクスは、３Ｄボリュームイメージングシステムから導き出される。従って、バーチャルグラフィックスは、また、現実の解剖学的な構造に相応する。しかし、これらの構造の像は、コンピュータグラフィックスレンダリングとしてのみ利用可能である。
【００１５】
外部構造の現実の像及び内部構造のバーチャル像は適度な透明性で混合される。この透明性の適度な度合いは、視野にわたり変化することがある。現実の像とバーチャル像との位置合わせにより、強化された像においてすべての構造が相互間で適正な個所に出現するようになる。
【００１６】
本発明の１つの側面によれば、内部解剖学的構造を表すＭＲデータは、本来の場所で患者に対する外科医の視野に重ねられる。この種の強化現実可視化により、解剖学的内部構造の導き出されたイメージは、位置合わせ手法で、外科医の作業空間内で直接的に提示される。
【００１７】
本発明の１つの側面によれば、外科医は、ヘッドマウントディスプレイを着用し、様々な位置から自然に解剖学的構造間の空間的関係を調べることができる。
【００１８】
本発明の１つの側面によれば、外科医がモニタと患者との間で観察の視線を向けたり戻したり、イメージ情報を現実の脳に精神的にマッピングする必要性が実際上なくなる。その結果外科医は、外科手術の目下の作業タスクに一層良好に集中でき、手術をより正確に確信をもって実行できる。
【００１９】
本発明は、図面に関連付けて、有利な実施形態の以下の詳細な説明から十分に理解される。
【００２０】
本発明の基本手法によれば、ＭＲ情報が、有効かつ最適に利用される。例示的実施形態において、外科医は、立体視ビデオ像透視用ヘッドマウントディスプレイを着用する。ヘッドマウントディスプレイに取り付けられた１対のビデオカメラは、現実のシーンの立体像を検出する。ビデオイメージは、内部解剖学的構造のコンピュータイメージと共に混合され、実時間でヘッドマウント立体ディスプレイ上にディスプレイされる。外科医に対して内部構造が、直接患者の脳上に、そして、脳内に直接重畳されて出現する。外科医は、自由に自らの頭部を回して、様々な位置から構造の空間関係を観測し、そこで、コンピュータは、内部構造のコンピュータイメージと現実の脳のビデオイメージとの間の正確で客観的に３Ｄ位置合わせする。この本来の場所での、又は“強化現実（Ａｕｇｍｅｎｔｅｄ Ｒｅａｌｉｔｙ）”可視化により、重要な領域を損傷することなく、患者の腫瘍を切除するという外科医の作業タスクに関するイメージ情報への、直感をベースとした直接的で正確なアクセスが与えられる。
【００２１】
代替的実施形態において、ステレオ形ビデオ透視用ディスプレイは、ヘッドマウント式でなくてよいが、例えば、天井から吊るされ関節をなした機械的アームに取り付けられてもよい（仮明細書記載“ビデオスコープ”参照のこと）（クレーム中に包含）。ここでの目的のため、ビデオ透視用ディスプレイは、ビデオカメラアタッチメント付きディスプレイとして解され、ここで、ビデオカメラは、ディスプレイを観測するユーザと実質的に同じ方向を観察する。１つの立体ビデオ透視用ディスプレイは、立体ディスプレイ、例えば１対の微小ミニチュアディスプレイと、１つの立体カメラシステム、例えば１対のカメラとを組合せて結合する。
【００２２】
図１は、本発明による例示的システムの構成ブロックを示す。
【００２３】
本事例ではＭＲスキャナである３Ｄイメージング装置２は、患者の３Ｄボリュームデータを収集するため使用される。ボリュームデータは、患者の内部構造についての情報を含む。ビデオ透視用ヘッドマウントディスプレイ４は、外科医にダイナミックな視点を与える。ヘッドマウントビデオ透視用ディスプレイ４は、シーン（外部構造）の立体像を検出するための１対のビデオカメラ６及び強化された像を立体視的にディスプレイするための１対のディスプレイ８を有する。
【００２４】
トラッキング装置又は機器１０は、そこにおいて、３Ｄデータが記述される座標系に関して、カメラの対の位置及び配向（姿勢）を測定する。
【００２５】
コンピュータ１２は、ネットワーク化されたコンピュータの１セットを有する。コンピュータタスクのうちの１つは、場合によってはユーザインタラクションによって、ボリュームデータを処理し、イメージ化された構造の１つ以上のグラフィカル表示：ボリューム表示及び／又は表面表示（ボリュームデータの分割に基づく）を形成することである。これとの関連で、グラフィカル表示とは、“グラフィカル”フォーマット（例えばＶＲＭＬフォーマット）において、それぞれイメージにレンダリングされ、有効に可視化される用意ができているデータセットを意味するものと理解される。ユーザは、選択的に、構造を強調し、それらを色付け又は注釈し、関連するものを選び出し、グラフィカルオブジェクトを、外科手術手順等に対するガイドとして含ませることができる。この前処理は、実際のイメージガイダンスの準備において“オフライン”で行うことができる。他のコンピュータのタスクは、外科医に対してイメージガイダンスを提供するよう、実時間で、強化された立体像をレンダリングすることである。その目的のため、コンピュータは、ビデオイメージ及びカメラ姿勢情報を受け取り、前処理された３Ｄデータ、すなわち、記憶されたグラフィカル表示を利用する。ビデオイメージが既にデジタル形式になっていない場合、コンピュータはそれらをデジタル化する。３Ｄデータの像はカメラ姿勢に従ってレンダリングされ、相応のビデオイメージと混合される。それから、強化されたイメージが立体ディスプレイに出力される。
【００２６】
オプショナルな記録装置１４によって、文書化及びトレーニングのため強化された像を記録することができる。記録手段は、デジタル記憶装置であってよく、又は、必要ならば、スキャンコンバータと組合されたビデオレコーダであってよい。
【００２７】
汎用ユーザインターフェース１６によって、システムを全体的にコントロールし、ことに、インタラクティブに３Ｄデータを選択し、それらを前処理することができる。
【００２８】
実時間ユーザインターフェース１８によって、ユーザは、それの実時間動作中すなわち、強化された像の実時間ディスプレイ期間中システムをコントロールすることができる。そうすることによってユーザは、強化された像をインタラクティブに変化させること、例えば、光学的又はデジタルズームを引き起こし、現実のグラフィックスとバーチャルなグラフィックスとを混合するため、種々の透明度間で切り換え、種々のグラフィカル構造を表すか、又は遮断することができる。可能なハンズフリーな実施形態は、音声によりコントロールされるユーザインターフェースである。
【００２９】
オプショナルなリモートユーザインターフェース２０は、付加的ユーザが、本明細書中で後に説明するように、システムの実時間動作中強化された像を観察し、これと相互作用することを可能にする。
【００３０】
位置合わせのため、基準参照の１つの共通のフレームが規定される、すなわち、３Ｄデータ及び２Ｄビデオイメージを、ビデオカメラのそれぞれの姿勢及び前もって定められた内部パラメータにより、その共通の座標系に関連付けることを可能にするための１つの共通の座標系が規定される。
【００３１】
共通の座標系は、患者の頭部が動かないところの座標系が最も好都合である。患者の頭部は、外科手術の期間中、そして、間欠的に３次元イメージング中クランプで固定される。この頭部クランプに剛性的に取り付けられたマーカは、共通の座標系を規定し、位置付けるため標識点として使用できる。
【００３２】
図４は、フレームが取り付けられたマーカ４−４の頭部クランプ４−２の写真を１例として示す。個々のマーカは、３Ｍ社の Ｓｃｏｔｃｈｌｉｔｅ ８７１０ Ｓｉｌｖｅｒ Ｔｒａｎｓｆｅｒ Ｆｉｌｍから作られた再帰反射性ディスク４−６である。マーカセットの有利な実施形態は、写真において示されているようなブリッジの形態のものである。図７参照のこと。
【００３３】
マーカは、ボリュームデータにおいて可視であるか、又は、少なくともボリュームデータにおいて可視の他のマーカと公知の幾何学的関係を有しなければならない。必要ならば、この関係は、初期の較正ステップで求めることができる。その際は、ボリュームデータを共通の座標系に関して測定できるか、又はボリュームデータを、その共通の座標系に変換できる。
【００３４】
較正手順は、以下より詳細に述べるように後続する。グラフィックスと患者との間で適正に位置合わせするためには、システムを較正する必要がある。医療データを患者上へマッピングする変換を求め、マッピングを強化された像内に適正に表すためにビデオカメラの内部パラメータ及び相対的姿勢を求める必要がある。
【００３５】
カメラ較正及びカメラ−患者変換。図７は、１対の立体ビデオカメラと、１つの取り付けられた追跡カメラから成るカメラトリップレットの較正のために使用される較正オブジェクトの１例の写真を示す。マーカ７−２は、再帰反射性ディスクである。マーカの３Ｄ座標は、市販のＯｐｔｏｔｒａｋ Ｒ（登録商標）システムで測定される。ついで、イメージ内でマーカの２Ｄ座標を測定し、例えば、Ｔｓａｉ氏アルゴリズムで３Ｄ−２Ｄ点対応関係に基づきカメラを較正できる。Ｔｓａｉ氏アルゴリズムはＲｏｇｅｒ Ｙ．Ｔｓａｉ氏の“Ａ ｖｅｒｓａｔｉｌｅ Ｃａｍｅｒａ Ｃａｌｉｂｒａｔｉｏｎ Ｔｅｃｈｎｉｑｕｅ ｆｏｒ Ｈｉｇｈ−Ａｃｃｕｒａｃｙ ３Ｄ Ｍａｃｈｉｎｅ Ｖｉｓｉｏｎ Ｍｅｔｒｏｌｏｇｙ Ｕｓｉｎｇ Ｏｆｆ− ｔｈｅ−Ｓｈｅｌｆ ＴＶ Ｃａｍｅｒａｓ ａｎｄ Ｌｅｎｓｅｓ”ＩＥＥＥ Ｊｏｕｒｎａｌ ｏｆ Ｒｏｂｏｔｉｃｓ ａｎｄ Ａｕｔｏｍａｔｉｏｎ， Ｖｏｌ．ＲＡ−３， Ｎｏ．４， Ａｕｇｕｓｔ １９８７， 第３２３〜３４４頁中に記載されている。実時間トラッキングのため患者座標系を規定する既知の３Ｄ座標を有するマーカのセットを患者に剛性的に取り付ける（それぞれ頭部クランプ）。より詳細な情報のためには、Ｆ Ｓａｕｅｒ氏他による，“Ａｕｇｍｅｎｔｅｄ Ｗｏｒｋｓｐａｃｅ： Ｄｅｓｉｇｎｉｎｇ ａｎ ＡＲ Ｔｅｓｔｂｅｄ，” ＩＥＥＥ ａｎｄ ＡＣＭ ｉｎｔ． Ｓｙｍｐ Ｏｎ Ａｕｇｍｅｎｔｅｄ Ｒｅａｌｉｔｙ−ＩＳＡＲ２０００ （Ｍｕｎｉｃｈ， Ｇｅｍａｎｙ， Ｏｃｔｏｂｅｒ ５−６， ２０００）， 第４７〜５３頁を参照すること。
【００３６】
シーメンス社の手術間ＭＲイメージング装置の例に対するＭＲデータ−患者変換。患者のベッドを、外科手術手順に対する磁石のフリンジ磁界内に置くことができ、又は、ＭＲスキャニングのため磁石内に旋回させることができる。頭部クランプを有するベッド、ひいては患者の頭部は、±１ｍｍの所定の精度で磁石内に再現可能に位置付けることができる。ＭＲボリュームセットと頭部クランプとの間の変換をファントムによってあらかじめ求め、そして、ＭＲデータを患者の頭部にマッピングする際、頭部クランプを同じ位置に保って同じ変換を再適用できる。
【００３７】
図８は、変換をあらかじめ求めるため使用できるファントムの１例を示す。このファントムは、ＭＲデータセットにおいて可視であるマーカの２つのセット及び追跡カメラにとって可視である光学的マーカの１つのセットから成る。ＭＲマーカの一方のタイプは、ボール形８−２であり、例えば、Ｂｒａｉｎ， Ｉｎｃ 社のものから入手できる。ＭＲマーカ８−４の他方のタイプは、ドーナツ状であり、例えば、ＩＺＩ Ｍｅｄｉｃａｌ Ｐｒｏｄｕｃｔｓ， Ｉｎｃ 社からのマルチモダリティラジオグラフィクスマーカＭｕｌｔｉ−Ｍｏｄａｌｉｔｙ Ｒａｄｉｏｇｒａｐｈｉｃｓ Ｍａｒｋｅｒｓ である。基本的に、少なくとも３つのＭＲマーカの単一のセットが必要である。ディスク状の再帰反射性の光学的マーカ８−６は、３Ｍ社の Ｓｃｏｔｃｈｌｉｔｅ ８７１０ Ｓｉｌｖｅｒ Ｔｒａｎｓｆｅｒ Ｆｉｌｍ からパンチアウトできる。光学的マーカがトラッキングされ、ファントムの幾何学的形状特性の知識により患者座標系におけるＭＲマーカの３Ｄ位置が求められる。また、ＭＲデータセットにおけるＭＲマーカの３Ｄ位置も求められ、３Ｄ−３Ｄ点対応に基づき２つの座標系間の変換が計算される。
【００３８】
ついでビデオカメラの姿勢（位置及び配向）が共通の座標系に関連して測定される。これは、トラッキング手段のタスクである。有利な構成では、光学的トラッキングが優れた精度に基づき使用される。光学的トラッキングの有利な構成は、シーンの立体像を提供するビデオカメラの立体視対に付加的なビデオカメラを剛性的に取り付けることを含む。この追跡カメラは、他の２つのビデオカメラと実質的に同じ方向を指す。外科医が患者を観察するとき、追跡ビデオカメラは共通の座標系を位置付ける前述のマーカを見ることができ、そして、追跡カメラにおけるマーカの２Ｄ位置から追跡カメラの姿勢を計算できる。ビデオカメラは、相互に剛性的に取り付けられているので、他の２つのカメラの姿勢を追跡カメラの姿勢から計算でき、相対的なカメラ姿勢は、先行の較正ステップにおいて求められている。このようなカメラ較正は３Ｄ−２Ｄ点対応に基づくことが望ましく、例えば、Ｒｏｇｅｒ Ｙ．Ｔｓａｉ 氏による，“Ａ ｖｅｒｓａｔｉｌｅ Ｃａｍｅｒａ Ｓｈｅｌｆ ＴＶ Ｃａｍｅｒａｓ ａｎｄ Ｌｅｎｓｅｓ”， ＩＥＥＥ Ｊｏｕｒｎａｌ ｏｆ Ｒｏｂｏｔｉｃｓ ａｎｄ Ａｕｔｏｍａｔｉｏｎ， Ｖｏｌ． ＲＡ−３， Ｎｏ．４， Ａｕｇｕｓｔ １９８７， 第３２３〜３４４頁に説明されている。
【００３９】
図２は、システムが実時間で動作するとき、すなわち、強化された像を実時間でディスプレイする時のシステムのフローチャートを示す。計算手段２−２は、トラッキングシステムから入力を受け取り、このトラッキングシステムは、ここで追跡カメラ（ヘッドマウント追跡カメラ２−４と解される）２−４と外部トラッキングシステム２−６とに分けられる。計算手段は、その入力及び先行の較正データに基づき姿勢計算２−８を実行する。計算手段は、また、入力として、シーンカメラ２−１０の実時間ビデオを受け取り、３Ｄグラフィックスに対する記憶されたデータ２−１２を利用できる。それのグラフィックスサブシステム２−１４において計算手段は、グラフィックス及びビデオを姿勢情報に応じて１つの強化された合成像にレンダリングする。ユーザインターフェース２−１６を介してユーザは、相異なる強化モード（例えばユーザはバーチャル構造の透明性を変化させることができ、又はレンダリングプロセスに対するデジタルズームを選択できる）間で選択を行うことができる。ディスプレイ２−１８は、レンダリングされた強化された像をユーザにディスプレイする。
【００４０】
システムの使用中、外科医が快適でリラックスした姿勢をとることができるようにするため、２つのビデオカメラは、ある１つの角度で下向きのシーンポイントの立体像を提供し、それにより、外科医は、頭部を楽でない位置に曲げ下げしなくても患者に対し作業を行うことができる。代理人文書番号 Ｎｏ．２００１Ｐ１４７５７ＵＳ においてＳａｕｅｒ ａｎｄ Ｂａｎｉ−Ｈａｓｈｅｍｉ 氏の名で名称「ＡＵＧＭＥＮＴＥＤ ＲＥＡＬＩＴＹ ＶＩＳＵＡＬＩＺＡＴＩＯＮ ＤＥＶＩＣＥ（強化現実可視化装置）」のもとに２００１年９月１７日付， Ｅｘｐｒｅｓｓ Ｍａｉｌ Ｌａｂｅｌ Ｎｏ． ＥＬ７２７９６８６２２ＵＳに出願された係属中の特許出願番号第ＵＳ２００２０７５２０１号を参照するとよい。
【００４１】
図３は、ヘッドマウント立体視ビデオ像透視用ヘッドマウントディスプレイの写真を示す。このヘッドマウントディスプレイは、シーン（シーンカメラ）を検出するための立体ディスプレイ３−２及び下向きに傾けられたビデオカメラの１対３−４を有する。さらに、それは追跡カメラ３−６及び赤外ＬＥＤ３−８のリングの形態の赤外照明器を有する。
【００４２】
他の実施形態によれば、強化された像が、文書化のため、及び／又はトレーニングのようなアプリケーションにおいて後続の使用のため記録される。
【００４３】
強化された像を、外科手術に対する手術前の計画のため提供できることが考えられる。
【００４４】
他の実施形態においては、ヘッドマウントディスプレイのユーザと、モニタ、立体モニタ又は他のヘッドマウントディスプレイ上に強化された像を観察する観察者又は仲間との間で情報のやり取りを可能にするため、強化された像のインタラクティブな注釈が提供され、その結果、外科医に提供される強化された像を共用できる。例えば、それを神経放射線医が観察できる。神経放射線医は、コンピュータへのインターフェース（マウス、３Ｄマウス、トラックボール等）のようなものを介して、強化された像へ付加的なグラフィックスを追加することにより、または強化された像の一部分としてディスプレイされている現存のグラフィックスを強調することにより、所定の特徴を外科医に指示できる。
【００４５】
図５は、ブームに取り付けられたビデオ観測ディスプレイを示す。ビデオ透視用ディスプレイは、ディスプレイ、ビデオカメラ、それぞれ１つの立体ディスプレイ及びビデオカメラの１つの立体視対を有する。この実施例では、ビデオ透視用ディスプレイ５２が、ブーム５４により、天井５０から吊るされている。トラッキングのため、トラッキング手段５６がビデオ透視用ディスプレイに取り付けられ、より特定的にはビデオカメラに取り付けられる。それは、その姿勢は、適正に位置合わせされ強化された像をレンダリングするため求める必要があるからである。トラッキング手段は、シーン内に置かれている能動的光学マーカ又は受動的光学マーカと関連して動作する追跡カメラを含むことができる。択一的にトラッキング手段は、外部追跡カメラと関連して動作する受動的光学マーカ又は能動的光学マーカを有することができる。また磁気トラッキング、慣性トラッキング、超音波トラッキング等のような種々のトラッキングシステムを使用することもできる。ブームのジョイントにエンコーダを備えることにより機械的トラッキングが可能である。しかし、光学的トラッキングがそれの精度に基づき有利である。
【００４６】
図６は、天井６０に取り付けられたロボット形アーム６２を使用したシステムのエレメントを示す。このシステムは、それぞれビデオカメラ６４の立体視対から成るビデオカメラを有する。リモートディスプレイ及びコントロールステーション６６上にユーザは強化されたビデオを観察し、ロボットをコントロールする。ロボットは、ユーザがリモートに位置付けし作動できるツール、例えばドリルを含む。トラッキング手段６８は、システムが正確に強化されたビデオ像をレンダリングし、計器を適正に位置付けることを可能にする。トラッキング手段の実施形態は、図５の説明におけると同じものである。
【００４７】
遠隔での使用の能力を有する実施形態において、ロボットは、シーンカメラを運ぶ。その場合、トラッキングカメラはもはや使用しなくてもよい。それは、ロボットアームを機械的にトラッキングできるからである。しかし、ロボットと、患者座標系との間の関係を確立するため、トラッキングカメラはなお有用である。
【００４８】
遠隔の場所に居るユーザは、リモートコントロールにより、ロボットの“ヘッド”を回りに動かして適正な視界を得ることができ、ヘッドマウントディスプレイ上で、又は、他の立体視ディスプレイ又は立体視が望ましい外部モニタ上で強化された像を観察して、診断し、助言を受けることができる。遠隔のユーザは、患者側にいる要員の助けを得て、又は、助けなしで、ロボットのリモートコントロールを介して実際の外科手術を行うこともできる。
【００４９】
本発明による他の実施形態によれば、ビデオ透視用ヘッドマウントディスプレイは、下向き観察をする単数シーンカメラ／複数シーンカメラを有する。シーンカメラは、モノ又はステレオもしくは立体視の像を提供するビデオカメラであって、楽な作業位置を許容するものである。単数カメラ／複数カメラの下向きの角度は、次のようなものである、すなわち、望ましい作業姿勢において、頭部が、いずれの実質的な角度にも上がったり下がったり傾いたりする必要のないようなものである。
【００５０】
本発明による他の実施形態では、ビデオ透視用ディスプレイは、統合化された追跡カメラを有し、それにより、追跡カメラは、前方監視するか、又はシーンカメラと同じ方向の監視をし、対象であるオブジェクト上に、又は、その周りに位置付けられる標識点をトラッキングする。追跡カメラは、シーンカメラより大きな視野を有し、限られた波長（例えば、赤外波長範囲）で動作できる。代理人文書番号 Ｎｏ．２００１Ｐ１４７５７ＵＳ において Ｓａｕｅｒ ａｎｄ Ｂａｎｉ−Ｈａｓｈｅｍｉ 氏の名で名称「ＡＵＧＭＥＮＴＥＤ ＲＥＡＬＩＴＹ ＶＩＳＵＡＬＩＺＡＴＩＯＮ ＤＥＶＩＣＥ（強化現実可視化装置）」のもとに２００１年９月１７日付， Ｅｘｐｒｅｓｓ Ｍａｉｌ Ｌａｂｅｌ Ｎｏ． ＥＬ７２９６８６２２ＵＳに出願された係属中の出願番号第ＵＳ２００２０７５２０１号を参照するとよい。これは本明細書中参考として引用されている。
【００５１】
再帰反射性マーカが使用されている本発明の他の実施形態によれば、照明用の光源が、追跡カメラレンズの近くに、又は、その周りに配置される。光源の波長は、追跡カメラが感知できる波長範囲に適合する。択一的に、能動マーカ、例えばＬＥＤのような小型の光源をマーカとして利用できる。
【００５２】
再帰反射性マーカ又は能動的マーカとともに動作する大形カメラを有するトラッキングシステムは市販されている。
【００５３】
本発明の他の実施形態によれば、ビデオ透視用ディスプレイは、デジタルズーム機能を含む。ユーザは、音声又は他のインターフェースによりコンピュータと相互作用して、又はキーボード又はマウス又は他のインターフェースを介してコンピュータと相互作用するようにアシスタントに指示することによって、増倍され強化された像を観察するためにズームインすることができる。
【００５４】
本発明が、従来システムに比して、非常に有用な特徴及び機能を提供することは明らかである。例えば、前記のＵＳ特許第５，７４０，８０２号中のシステムに関しては、ビデオカメラは、本発明によりヘッドマウントディスプレイに取り付けられ、それにより、暗黙的にスタチック又は準スタチックな視点を提供するだけの従来システムとは対照的にダイナミックな視点を与えるものである。前記のスタチック又は準スタチックな視点は、単に外科医の視点と“実質的に”同じものである。
【００５５】
単に患者の外部表面のライブビデオと強化された像をディスプレイし、それによって可視的な外部表面に相対的な内部構造を外科医が位置付けることができるシステムとは異なり、本発明では、外科医が強化された像を見て、次いで外部及び内部構造の相対位置を求め、その後、内部構造の相対位置に関する自分の記憶を引き出しながら外部構造に基づき彼自身が方向を定める必要はない。
【００５６】
本発明による“ビデオ透視用”ヘッドマウントディスプレイを使用することにより、ユーザがモニタと患者との間で観察の視線を向けたり戻したりする必要がなくなり、より直接的に、かつ直感的に強化された像が提供される。また、これにより、運動性の（視差による）奥行きの手がかりに基づき、より良好に空間的に知覚することができ、そして、医者が表面標識点に関して自らの位置関係を把握する必要性がなくなる。というのも、医者は強化された像により直接的にガイドされるからである。
【００５７】
このような従来のシステムにおいては、混合がビデオ領域において実行され、グラフィックスはビデオフォーマットに変換され、次いでライブビデオと混合され、混合装置は、移動可能なウインドウを有する１つの合成イメージを生成する。このウインドウは、優勢的にビデオイメージ又はコンピュータイメージを示す合成イメージの領域内にある。それに反して、本発明の１つの実施形態は、移動可能なウインドウを必要としないが、このような移動可能なウインドウは、ある種の強化された像において有用である。本発明の基本手法によれば、１つの合成イメージがコンピュータグラフィックス領域において生成され、これにより、ライブビデオは、コンピュータにおいてデジタル表示に変換され、そこで、グラフィックスと共に混合される。
【００５８】
さらに、そのような従来技術のシステムにおいて、内部構造がセグメント化され、表面モデルとして可視化される。本発明によれば３Ｄイメージを表面表示又は、ボリューム表示で示すことができる。
【００５９】
本発明は例示的実施形態により説明されている。本発明の精神から逸脱することなく、種々の変更、置換等を行うことができることは当業者により理解される。そのような変更は、クレームの範囲内に入るよう意図されているのである。
【図面の簡単な説明】
【図１】
本発明によるシステムブロック図である。
【図２】
本発明による動作の流れ図である。
【図３】
本発明の実施形態において使用できるヘッドマウントディスプレイを示す図である。
【図４】
本発明によるフレームを示す図である。
【図５】
本発明によるブームに取り付けられた透視用ディスプレイを示す図である。
【図６】
本発明によるロボット形アームを示す図である。
【図７】
本発明の実施形態において使用できる３Ｄカメラ較正オブジェクトを示す図である。
【図８】
本発明の実施形態において使用できるＭＲカメラ較正オブジェクトを示す図である。
【符号の説明】
２    ３Ｄイメージング装置
４    ヘッドマウントディスプレイ
８    ディスプレイ
１０    トラッキング装置
１２    コンピュータ
１４    記録手段
１６    汎用ユーザインターフェース
１８    実時間ユーザインターフェース
２０    リモートユーザインターフェース
２−２    計算手段
２−４    ヘッドマウント追跡カメラ
２−６    外部トラッキングシステム
２−８    姿勢計算
２−１０    シーンカメラ
２−１２    ３Ｄグラフィックス
２−１４    グラフィックス
２−１６    ユーザインターフェース
２−１８    ディスプレイ
３−２    立体ディスプレイ
３−４    ビデオカメラ
３−６    追跡カメラ
３−８    赤外ＬＥＤ
４−２    マーカの頭部クランプ
４−４    マーカのフレーム
５０    天井
５２    透視用ビデオディスプレイ
５４    ブーム
５６    トラッキング装置
６２    ロボット式アーム
６４    ビデオカメラ
６６    コントロールステーション
６８    トラッキング装置
７−２    マーカ
８−２    ボール状マーカ
８−４    ドーナツ状マーカ
【国際公開パンフレット】
2004538538.tif 000003
2004538538.tif 000004
2004538538.tif 000005
2004538538.tif 000006
2004538538.tif 000007
2004538538.tif 000008
2004538538.tif 000009
2004538538.tif 000010
2004538538.tif 000011
2004538538.tif 000012
2004538538.tif 000013
2004538538.tif 000014
2004538538.tif 000015
2004538538.tif 000016
2004538538.tif 000017
2004538538.tif 000018
2004538538.tif 000019
2004538538.tif 000020
2004538538.tif 000021
2004538538.tif 000022
2004538538.tif 000023
2004538538.tif 000024
2004538538.tif 000025
2004538538.tif 000026
2004538538.tif 000027
【国際公開パンフレット（コレクトバージョン）】
2004538538.tif 000028
【国際調査報告】
2004538538.tif 000029
2004538538.tif 000030
2004538538.tif 000031