(57)【要約】      （修正有）【課題】  外部追尾式ビデオ内視鏡検査の方法およびシステムの提供。【解決手段】  所定のボリュームを三次元ボリュームとしてモデリングするステップと、ボリューム内のイメージキャプチャリングデバイスを追尾するステップと、少なくとも１つのイメージがキャプチャリングされた時に、イメージキャプチャリングデバイスの位置及び配向の情報を記憶するステップと、少なくとも１つのイメージがキャプチャリングされた時に、イメージキャプチャリングデバイスの縦方向の移動距離を確定するステップを含む。三次元ボリューム内の対応する位置に対するイメージキャプチャリングデバイスの位置向き及び縦方向距離を記録するステップと、三次元ボリューム内の関心領域を確定するステップと、該関心領域に対応して記録される少なくとも１つのイメージを確定するステップを含み、そこで少なくも１つのイメージが表示され当該関心領域が特徴付けられる。【選択図】図１
2006051332.tif 000002
【特許請求の範囲】
【請求項１】
三次元ボリューム内で関心領域と画像を対応付けるためのコンピュータ実施方法において、
所定のボリュームを三次元ボリュームとしてモデリングするステップと、
ボリューム内のイメージキャプチャリングデバイスを追尾するステップと、
少なくとも１つのイメージがキャプチャリングされた時に、イメージキャプチャリングデバイスの位置及び配向の情報を記憶するステップと、
少なくとも１つのイメージがキャプチャリングされた時に、イメージキャプチャリングデバイスの縦方向の移動距離を確定するステップと、
三次元ボリューム内の対応する位置に対するイメージキャプチャリングデバイスの位置、向き及び縦方向距離を記録するステップと、
三次元ボリューム内の関心領域を確定するステップと、
前記関心領域に対応して記録される少なくとも１つのイメージを確定するステップが含まれ、その中で少なくも１つのイメージが表示され、当該関心領域が特徴付けられるようにしたことを特徴とするコンピュータ実施方法。
【請求項２】
前記記録ステップに、さらに以下のステップ、すなわち
三次元ボリューム内のセンターラインを確定するステップと、
イメージキャプチャリングデバイスの追尾と三次元ボリュームのセンタラインの間の一致関係を確定するステップと、
三次元ボリューム内の位置に対する少なくとも１つのイメージを記録するステップとが含まれている、請求項１記載のコンピュータ実施方法。
【請求項３】
前記記録ステップに、さらに、
ビデオキャプチャリングデバイスの初期値を確定するステップと、
三次元ボリューム内の初期位置に対応する位置をマニュアルセレクティングするステップが含まれている、請求項１記載のコンピュータ実施方法。
【請求項４】
縦方向距離は、ビデオキャプチャリングデバイスの初期位置からの距離である、請求項３記載のコンピュータ実施方法。
【請求項５】
前記少なくとも１つのイメージを確定するステップに、さらに、
三次元ボリューム内の一致する位置の表示と共に少なくとも１つのイメージを自動表示するステップが含まれている、請求項１記載のコンピュータ実施方法。
【請求項６】
計算機によって読取り可能なプログラム記憶デバイスにおいて、
三次元ボリューム内で関心領域と画像を対応付けるための方法ステップを実行するために、計算機によって実行可能な命令のプログラムを有形的に具現化し、
前記方法ステップには、以下のステップ、すなわち、
所定のボリュームを三次元ボリュームとしてモデリングするステップと、
ボリューム内のイメージキャプチャリングデバイスを追尾するステップと、
少なくとも１つのイメージがキャプチャリングされた時に、イメージキャプチャリングデバイスの位置及び配向の情報を記憶するステップと、
少なくとも１つのイメージがキャプチャリングされた時に、イメージキャプチャリングデバイスの縦方向の移動距離を確定するステップと、
三次元ボリューム内の対応する位置に対するイメージキャプチャリングデバイスの位置、向き及び縦方向距離を記録するステップと、
三次元ボリューム内の関心領域を確定するステップと、
前記関心領域に対応して記録される少なくとも１つのイメージを確定するステップが含まれ、その中で少なくも１つのイメージが表示され、当該関心領域が特徴付けられるようにしたことを特徴とするプログラム記憶デバイス。
【請求項７】
前記記録ステップに、さらに以下のステップ、すなわち
三次元ボリューム内のセンターラインを確定するステップと、
イメージキャプチャリングデバイスの追尾と三次元ボリュームのセンタラインの間の一致関係を確定するステップと、
三次元ボリューム内の位置に対する少なくとも１つのイメージを記録するステップとが含まれている、請求項６記載の方法。
【請求項８】
前記記録ステップに、さらに、
ビデオキャプチャリングデバイスの初期位置を確定するステップと、
三次元ボリューム内の初期位置に対応する位置をマニュアルセレクティングするステップが含まれている、請求項６記載の方法。
【請求項９】
縦方向距離は、ビデオキャプチャリングデバイスの初期位置からの距離である、請求項８記載の方法。
【請求項１０】
前記少なくとも１つのイメージを確定するステップに、さらに、
三次元ボリューム内の一致する位置の表示と共に少なくとも１つのイメージを自動表示するステップが含まれている、請求項６記載の方法。
【請求項１１】
実空間の仮想ボリュームを視覚化するための方法において、
実空間の仮想ボリュームの部分を表示するステップと、
仮想ボリュームの部分に相応する実空間の記録されているイメージを自動的にかつ同時に第２ウインドウに表示するステップと、
仮想ボリュームの部分を記録されているイメージと仮想ボリュームの組合わせのもとで特徴付けるステップとが含まれていることを特徴とする方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、内視鏡検査法に関しており、より詳細には、仮想内視法と組合わされた内視鏡ロボットを用いた外部追尾式ビデオ内視鏡検査のための方法及びシステムに関している。
【背景技術】
【０００２】
内視鏡検査は、医療分野で用いられており、そこでは内視鏡と称される結像デバイスが、診断及び/又は治療の目的で生検対象に挿入される。内視鏡検査の例としては例えば結腸鏡検査や気管支鏡検査がある。
【０００３】
これらの処置では、直接の機械的相互操作を介して器具の挿入やコントロールが要求される。この器具には患者の体内に挿入されるいくつかの器具部分と、同じ器具の外部から操作される残りの部分とが含まれる。デザインの必然性によって、多くの内視鏡デバイスは、細長い可撓性チューブか若しくは剛性のチューブの形態をしており、このチューブに患者の身体外部に残されたコントロールヘッドが取付けられている。
【０００４】
このデザインの結果として通常は内視鏡検査に伴う不快感の何らかの緩和策が存在するが、外部から過度な応力が内視鏡に加えられると、それは臓器内部に対する損傷の危険性に直結する。
【０００５】
仮想内視法は、関心のある身体構造部の探索と問題部位、例えば結節やポリープなどの検査のために理論的に用いられるものである。しかしながらこれらの技術は、誤った陽性検出や誤診を引き起しやすく、その結果として不要な侵襲性の生検を行わせることにつながる。
【発明の開示】
【発明が解決しようとする課題】
【０００６】
それ故にそのようなことのない内視鏡ロボットのためのシステムや方法の必要性が生じる。
【課題を解決するための手段】
【０００７】
本発明によれば、三次元ボリューム内で関心領域と画像を対応付けるためのコンピュータ実施方法において、
所定のボリュームを三次元ボリュームとしてモデリングするステップと、
ボリューム内のイメージキャプチャリングデバイスを追尾するステップと、
少なくとも１つのイメージがキャプチャリングされた時に、イメージキャプチャリングデバイスの位置及び配向の情報を記憶するステップと、
少なくとも１つのイメージがキャプチャリングされた時に、イメージキャプチャリングデバイスの縦方向の移動距離を確定するステップと、
三次元ボリューム内の対応する位置に対するイメージキャプチャリングデバイスの位置、向き及び縦方向距離を記録するステップと、
三次元ボリューム内の関心領域を確定するステップと、
前記関心領域に対応して記録される少なくとも１つのイメージを確定するステップが含まれ、その中で少なくも１つのイメージが表示され、当該関心領域が特徴付けられる。
【発明を実施するための最良の形態】
【０００８】
前記記録ステップにはさらに以下のステップ、すなわち
三次元ボリューム内のセンターラインを確定するステップと、
イメージキャプチャリングデバイスの追尾と三次元ボリュームのセンターラインの間の一致関係を確定するステップと、
三次元ボリューム内の位置に対する少なくとも１つのイメージを記録するステップとが含まれ得る。
【０００９】
さらに前記記録ステップには、
ビデオキャプチャリングデバイスの初期値を確定するステップと、
三次元ボリューム内の初期位置に対応する位置をマニュアルセレクティングするステップが含まれる。
【００１０】
縦方向距離は、ビデオキャプチャリングデバイスの初期位置からの距離である。
【００１１】
前記少なくとも１つのイメージを確定するステップに、さらに、
三次元ボリューム内の一致する位置の表示と共に少なくとも１つのイメージを自動表示するステップが含まれている。
【００１２】
本発明の別の実施例によれば、計算機によって読取り可能なプログラム記憶デバイスにおいて、
三次元ボリューム内で関心領域と画像を対応付けるための方法ステップを実行するために、計算機によって実行可能な命令のプログラムを有形的に具現化し、
前記方法ステップには、以下のステップ、すなわち、
所定のボリュームを三次元ボリュームとしてモデリングするステップと、
ボリューム内のイメージキャプチャリングデバイスを追尾するステップと、
少なくとも１つのイメージがキャプチャリングされた時に、イメージキャプチャリングデバイスの位置及び配向の情報を記憶するステップと、
少なくとも１つのイメージがキャプチャリングされた時に、イメージキャプチャリングデバイスの縦方向の移動距離を確定するステップと、
三次元ボリューム内の対応する位置に対するイメージキャプチャリングデバイスの位置、向き及び縦方向距離を記録するステップと、
三次元ボリューム内の関心領域を確定するステップと、
前記関心領域に対応して記録される少なくとも１つのイメージを確定するステップが含まれ、その中で少なくも１つのイメージが表示され、当該関心領域が特徴付けられる。
【００１３】
本発明の別の実施例によれば、
実空間の仮想ボリュームを視覚化するための方法において、
実空間の仮想ボリュームの部分を表示するステップと、
仮想ボリュームの部分に相応する実空間の記録されているイメージを自動的にかつ同時に第２ウインドウに表示するステップと、
仮想ボリュームの部分を記録されているイメージと仮想ボリュームの組合わせのもとで特徴付けられる。
【実施例】
【００１４】
次に本発明を図面に基づき以下の明細書で詳細に説明する。
【００１５】
本発明の実施例によれば、内視鏡ロボットによって取込まれたイメージは、再構築される三次元（３Ｄ）のデータボリュームのために記録される。この仮想ボリュームは、空間例えば結腸（図１参照）の走査に基づいて作成される（１０１）。内視鏡ロボットは、空間内で追跡され、内視鏡ロボットによって取込まれた各イメージの３Ｄ位置と向きや配向が定められる（１０２）。例えば結腸などの関心領域の構造内部を移動した縦方向距離が求められる。位置、配向、縦方向距離は、３Ｄデータボリューム（１０４）内の内視鏡ロボットの対応する位置のための、内視鏡ロボットの位置の記録のために用いられる。仮想内視法は、関心領域の位置付けと、関心領域のイメージと臨床所見の相関付けに用いられる。組合わされた臨床所見は、診断の信頼度を高め、偽陽性の数を低減し、実行される生検の数を低減させるために用いられる。そのような事項は、種々のアプリケーションに使用できる（例えば結腸直腸内に前癌性の異形成が見られる患者の識別、結腸直腸内に初期新生病変の識別、高倍率内視鏡検査への使用など）。
【００１６】
図２によれば、内視鏡ロボットは、カプセル２０１であり、これは飲み込まれたり、外科的手術なしで患者の体内に挿入される。そのようなロボットの実例は、そのような会社によってある特定のイメージング用に表示されて販売されている。ここでのカプセルは、患者外のコンソールに対して、カメラ２０２と、照明源（光源）２０３と、画像のワイヤレス送信のためのハードウエア２０４を含んでいる。画像若しくはビデオイメージをもたらすカメラ２０２は、例えばノーマルスペクトルで視覚化する、若しくは蛍光イメージングを実施する、若しくは拡大画像やビデオキャプチャの可能なマイクロスコープなどである。
【００１７】
内視鏡ロボットの位置や配向は、外部の追尾システム（トラッキングシステム）を用いて確定可能である。この追尾はリアルタイムで連続して行われる。このシステムは、患者の検査中に内視鏡ロボットの位置と配向を追尾するための磁気システムを含んでいる。これには種々の磁気的追尾システムが使用され得る。この種の追尾システムには、例えば１つ以上の永久磁石２０５が内視鏡ロボット内の所定の既知の場所に配置されてもよい。このマグネットロケーティング／トラッキングシステムには、三次元空間で双極子マグネットを確定することが含まれる。患者外部に配置された磁気センサアレイは、マグネット２０５と、カメラ２０２を含めた内視鏡ロボットカプセル２０１の位置と向きの両方を確定するために、データ、例えば既知の箇所にあるマグネット２０５の磁界強度を収集する。この磁気センサアレイは、３Ｄベクトルセンサのセットを形成すべくグループで配列される磁気抵抗センサであってもよい。これらのセンサは、（例えばベクトルセンサの場合）マグネット２０５の磁界の方向と振幅に関するデータを収集する。ベクトルは、マグネット周りの空間内で周知のように方向及び振幅変化する。例えば磁界ベクトルは、マグネットのＮ極の面から垂直に出てＳ極方向に向かい、これらの極間でマグネット軸線に対して介在的な角度を形成する。
内視鏡ロボットを含むトラッキングシステムの他の例では、チップ電極やリング電極と位置検出センサ（ロケーションセンサ）が含まれている。位置の検出に関しては、患者外部の既知の場所に配置され三次元空間内でその減衰が距離の関数を表す磁界を生成する３つのコイルを用いて行われる。位置検出センサは、結合される磁界の強度を測定する。この強度は測定された各コイルからの距離を表す。センサの位置と内視鏡ロボットの位置は、その放射特性がセンサによって測定されたコイルまでの距離を表す磁界の交差から求められる。
【００１８】
内視鏡ロボットの電源２０６は、バッテリのみかバッテリとインダクターを含み得る。外部電源は、インダクターを用いた誘導チャージによって実現されてもよい。この誘導チャージに対するパワーソース２０６は、誘導充電器の一次巻線からのチャージパワーを受取る二次巻線である。内視鏡ロボット内部では、電力はダイオードによる整流とコイルを用いて受取られる。この直流電圧（ＤＣ）は、バッテリーのチャージに使用される。エネルギーの外部からのワイヤレスの給電は、内視鏡ロボットによって実行される長くて電力消費の大きい作業を可能にさせる。
【００１９】
仮想内視法では、内視鏡による介入が仮想現実とコンピュータグラフィック技術を用いてシミュレートされる。ＣＡＴスキャン、ＭＲＩ，超音波式/回転式/３Ｄ血管造影手法やその他のソースから得られる３Ｄボリュームデータは、各組織構造部の内部の立体描写を形成するのに用いられる。この３Ｄイメージは、二次元（２Ｄ）のコンピュータトモグラフィ（ＣＴ）若しくは磁気共鳴（ＭＲ）データからの例えばボリュームレンダリングによって生成される。
【００２０】
記録は、所定の基準フレームを用いて実行されるか、さらなる対応関係の決定に対するベースを形成し得る、１つまたはそれ以上のユーザー定義による、キャプチャー画像と３Ｄボリュームの間の対応関係を用いて実行される。対応関係の例としては、例えば十二指腸空腸湾曲部のキャプチャー画像の３Ｄボリューム内で目印として識別できるものである。
【００２１】
各キャプチャー画像に関連付けられる位置、向き及び縦方向距離は、各画像を３Ｄボリューム内の対応する位置に記録するために用いられる。図３Ａでは、仮想ボリューム内で内視鏡ロボットの位置及び向きがＸＹＺ軸方向で表されている。この場合例えばＺ軸は、内視鏡ロボットのカメラ２０２の視線を表している。縦方向距離は、例えばある期間に亘る追尾位置と図３Ｂに表されている画像３０４に関連付けられて確定される。従って３Ｄボリュームの部位、例えば位置的に閉鎖され互い違いに折り返されている小腸の部位に対しては、縦方向の距離がそれらの部位間の識別のために使用可能である。例えば第１の部位３０２が初期地点３０３から０.５ｍの所にあり、第２の部位が初期地点３０３から２.５ｍの地点にあったとすると、これに基づいて該当するイメージ、例えば３０５が関心領域３０２に対応して確定され表示される。
【００２２】
仮想ボリュームに対するイメージの記録は、内視鏡ロボットの既知のスタート位置と、仮想ボリューム内で確定された位置を使用できる。例えばトラッキングは患者の口から開始されてもよい。これは仮想ボリューム内で識別可能な位置である。図４によれば、この記録には、内視鏡ロボット４０１の初期位置を確定するステップ４０１と、内視鏡ロボットの初期位置に対応する仮想ボリューム内の位置を確定するステップ４０２が含まれている。内視鏡ロボットは、空間を介して追跡される（ステップ４０３）。これは仮想ボリュームによって表される。ステップ４０４では、内視鏡ロボットのトラックと３Ｄ空間の仮想ボリュームとの対応関係が確定される。内視鏡ロボットのトラックに沿って既知の位置と向きを有している内視鏡ロボットによってキャプチャーされたイメージは、仮想ボリューム内で対応する位置に記録される（ステップ４０５）。仮想ボリュームと、追尾される内視鏡ロボットのコースのトラックとの対応関係には、患者のスキャンデータから定められる仮想ボリュームのセンターラインが使用できる。このセンターラインは、製品化されているＣＴスキャンやＭＲＩスキャンの部分として仮想ボリュームのバーチャルフライスルー（virtual fly-through）によって追従されたトラックとして自動的に定められる。内視鏡ロボットの追尾されるコースと所定のセンターラインは、三次元空間に対応し、幾何学的比較に基づいて手動若しくは自動で記録される。
【００２３】
内視鏡ロボットによってキャプチャーされたイメージは、仮想ボリュームのボリュームレンダリングによって記録される。内視鏡ロボットによってキャプチャーされた各イメージは、ボリュームレンダリング内の空間情報と配向情報及び縦方向の情報に関連付けられているので、ボリュームレンダリングにおいて識別された関心領域の詳細なイメージが描写され得る。記録されたイメージは、仮想ボリュームのフライスルーパートとして例えば分割スクリーン構成において自動的に表示可能である。この記録イメージは、メモリに記憶することも、さらにコンピュータによって実行されるバーチャルレンダリングアプリケーションによってアクセスすることも可能であり、それによって、仮想ボリュームと実像は、例えば２つのディスプレイやアプリケーション上の２つのウインドウに同時に表示させることができる。従って患者の診断、特徴付け、及び/又は評価が仮想ボリュームと詳細な記録画像に基づいて可能となる。
【００２４】
本発明は、種々異なる形態、例えばハードウエアやソフトウエア、フィルムウエア、特殊用途のプロセッサなどの形態あるいはそれらの組合わせの形態で実現されることを理解されたい。本発明の１つの実施例によれば、当該発明がプログラム記憶デバイス上で実体的に実行されるアプリケーションプログラムとしてソフトウエア的に実施される。このアプリケーションプログラムは、アップロードされて、適切なアーキテクチャを含んだ計算機によって実行されてもよい。
【００２５】
図５に示されている本発明の実施例によれば、本発明を実施するためのコンピュータシステム５０１は特に、中央処理ユニット（ＣＰＵ）５０２、メモリ５０３、入／出力（Ｉ／Ｏ）インターフェース５０４を有している。このコンピュータシステム５０１は、基本的にはＩ／Ｏインターフェース５０４を介してディスプレイ５０５と種々の入力デバイス５０６、例えばマウスやキーボードなどに接続されている。このディスプレイ５０５は、仮想ボリュームと記録されている画像の描画を表示する。支援回路は、キャッシュや電源クロック回路、通信バスなどの回路を含み得る。メモリ５０３は、ランダムアクセスメモリ（ＲＡＭ）、読出し専用メモリ（ＲＯＭ）、ディスクドライブ、テープドライブ若しくはそれらの組合わせを含み得る。本発明は、メモリ５０３に記憶されている、信号源５０８からの信号を処理すべくＣＰＵ５０２によって実行されるルーチン５０７として実施可能である。このようなコンピュータシステム５０１は、本発明のルーチン５０７を実行する場合に特殊用途のコンピュータシステムになる基本的用途のコンピュータシステムである。
【００２６】
このコンピュータのプラットフォーム５０１は、オペレーティングシステムとマイクロ命令コードを含んでいる。前述した種々の処理と機能は、マイクロ命令コードか若しくは当該オペレーティングシステムを介して実行されるアプリケーションプログラム（あるいはそれらの組合わせ）であり得る。さらに付加的にその他の種々の周辺デバイス、例えば付加的なデータ記憶デバイスやプリンターデバイスがこのコンピュータプラットフォームに接続されていてもよい。
【００２７】
前述したシステム構成要素のいくつかや所属の図面に示された方法ステップはソフトウエアにおいて実施されてもよいので、それらのシステム構成要素（若しくは処理ステップ）間の実際の接続は、本発明のプログラミングされている形態に応じて種々異なり得ることを理解されたい。また当該分野の一般的な知識に基づけば、これまでに与えられた本発明の教示から前記態様のみならず本発明に類似した実施態様や構成も想定されるであろう。
【００２８】
さらに内視鏡ロボットによってキャプチャーされた記録画像を使用する仮想内視法のためのシステム及び方法に対する前述の実施例を用いれば、前述の教示をヒントにそれらの変化例や発展例も当業者であるならば実施できるであろう。それ故に、本発明の主旨と適用範囲の枠内では、従属請求項によって規定されている本発明の種々の実施例における変更も可能であることを理解されたい。特許による所期の保護を受けるべく請求される前述してきた本発明は、法によって求められている詳細性と具体性を伴って従属請求項に明示されている。
【図面の簡単な説明】
【００２９】
【図１】本発明の実施例による方法を表わしたフローチャート
【図２】本発明の実施例による内視鏡ロボットを示した図
【図３Ａ】本発明の実施例による仮想内視ボリュームの部分を表した図
【図３Ｂ】本発明の実施例による胃腸区間と対応する画像を表した図
【図４】本発明の実施例による方法を表わしたフローチャート
【図５】本発明の実施例によるコンピュータシステムを表した図
【符号の説明】
【００３０】
２０１    カプセル
２０２    カメラ
２０３    光源
２０４    ワイヤレスレシーバ／トランスミッタ
２０５    マグネットセンサ
２０６    電源
５０１    コンピュータシステム
５０２    ＣＰＵ
５０３    入力デバイス
５０４    Ｉ／Ｏインターフェース
５０５    ディスプレイ
５０６    入力デバイス
５０８    信号源
【図１】
2006051332.tif 000003
【図２】
2006051332.tif 000004
【図４】
2006051332.tif 000005
【図５】
2006051332.tif 000006
【図３Ａ】
2006051332.tif 000007
【図３Ｂ】
2006051332.tif 000008
【外国語明細書】
2006051332.tif 000009
2006051332.tif 000010
2006051332.tif 000011
2006051332.tif 000012
2006051332.tif 000013
2006051332.tif 000014
2006051332.tif 000015
2006051332.tif 000016
2006051332.tif 000017
2006051332.tif 000018
2006051332.tif 000019
2006051332.tif 000020
2006051332.tif 000021
2006051332.tif 000022
2006051332.tif 000023
2006051332.tif 000024
2006051332.tif 000025
2006051332.tif 000026
2006051332.tif 000027