(57)【要約】方法および装置は、ライブ手技の際の内視鏡検査の継続的案内を提供する。身体臓器を通って最終目的地点までの所定の経路を表す参照情報を含む、３Ｄ画像データに基づくデータセットが、事前計算される。オペレータが、身体臓器内で内視鏡を操作する際に、複数のライブの実際の内視鏡（ＲＥ）画像が表示される。位置合わせおよび追跡アルゴリズムは、データセットをＲＥ画像の１つ以上と位置合わせし、内視鏡が局所的に操作される際に、位置合わせを継続的に維持する。次いで、最終目的地点に関する付加的情報が提示され、内視鏡オペレータは、手技のための最終操作を決定することができる。参照情報は、３Ｄ臓器表面、臓器系を通る３Ｄ経路、または着目３Ｄ領域（ＲＯＩ）、ならびに事前計算されたデータセットから生成される仮想内視鏡（ＶＥ）画像を含んでもよい。
2010517632.tif 000002
【特許請求の範囲】
【請求項１】
ライブ手技の際の内視鏡検査の継続的案内のための方法であって、
ａ）３Ｄ画像データに基づいて事前計算されたデータセットを提供するステップであって、該データセットは、身体臓器を通って最終目的地点までの所定の経路を表す参照情報を含む、ステップと、
ｂ）オペレータが、該身体臓器内で内視鏡を操作する際に、複数のライブの実際の内視鏡（ＲＥ）画像を表示するステップと、
ｃ）該所定の経路に沿った初期参照位置に対応する情報を提示するステップであって、該情報によって、内視鏡オペレータは、該内視鏡を該参照位置へ移動させることができる、ステップと、
ｄ）該データセットを該ＲＥ画像の１つ以上と位置合わせし、該内視鏡が局所的に操作される際に、該位置合わせを継続的に維持する位置合わせ／追跡アルゴリズムを起動するステップと、
ｅ）該所定の経路に沿った別の参照位置に対応する情報を提示するステップであって、該情報によって、該内視鏡オペレータは、該内視鏡をその新しい参照位置近傍に移動させることができる、ステップと、
ｆ）該内視鏡が、該最終目的地点近傍に入るまで、ステップｄ）−ｅ）を複数回繰り返すステップと、
ｇ）参照位置上に該最終目的地点に関する付加的情報を提示するステップであって、該付加的情報によって、該内視鏡オペレータは、該手技のための最終操作を決定することができる、ステップと
を包含する、方法。
【請求項２】
前記参照情報は、３Ｄ臓器表面、臓器系を通る３Ｄ経路、着目３Ｄ領域（ＲＯＩ）の１つ以上を含む、請求項１に記載の方法。
【請求項３】
前記参照情報は、前記事前計算されたデータセットから生成される仮想内視鏡（ＶＥ）画像を含む、請求項２に記載の方法。
【請求項４】
前記３Ｄ経路およびＲＯＩの一方または両方を前記ＲＥおよびＶＥ画像の一方または両方上に重ね合わせるステップを含む、請求項３に記載の方法。
【請求項５】
前記３Ｄ臓器表面は、胸部の３ＤのＭＤＣＴ画像から抽出される気管気管支気道ツリーの表面に対応する、請求項２に記載の方法。
【請求項６】
前記３Ｄ経路は、前記胸部の３ＤのＭＤＣＴ画像から抽出される気管気管支気道ツリーを横断する、または他の近傍の解剖学的構造を横断する通路に対応する、請求項２に記載の方法。
【請求項７】
前記ＲＯＩは、リンパ節、疑わしい腫瘍、狭窄した気道、または任意の他の診断上の関連領域を表す、請求項２に記載の方法。
【請求項８】
ステップｅ）に先立って、前記位置合わせ／追跡アルゴリズムを停止するステップを含む、請求項１に記載の方法。
【請求項９】
前記位置合わせ／追跡アルゴリズム停止後、保存された位置合わせされた像が提示される、請求項８に記載の方法。
【請求項１０】
ステップｃ）−ｇ）において、前記内視鏡オペレータを案内するために、１つの重ね合わせられた経路がハイライトされ、継続的に提示される、請求項４に記載の方法。
【請求項１１】
前記位置合わせされたＶＥ像は、前記ライブＲＥ映像と同期して表示される、請求項１０に記載の方法。
【請求項１２】
ステップｄ）は、リアルタイムに行われる、請求項２に記載の方法。
【請求項１３】
ライブ手技の際の内視鏡検査の継続的案内のためのシステムであって、
オペレータによって、身体臓器内の経路に沿って、最終目的地点へ操作される内視鏡と、
該内視鏡によって得られるライブの実際の内視鏡（ＲＥ）画像を表示するように作動するディスプレイデバイスと、
３Ｄ画像データから導かれた事前計算されたデータセットを格納するメモリであって、該データセットは、身体臓器を通って最終目的地点までの所定の経路を表す参照情報を含む、メモリと、
該メモリおよびディスプレイと通信するプロセッサであって、
ａ）該オペレータが該内視鏡を操作する際に、該参照情報を表示および更新することによって、該データセットを該ＲＥ画像の１つ以上に継続的に位置合わせし、それによって、継続的に該内視鏡を追跡し、該オペレータを該ディスプレイデバイス上の該最終目的地点に案内し、
ｂ）該最終目的地点に関する付加的情報を提供し、該内視鏡オペレータが、該手技のための最終操作を決定できる
ように作動する、プロセッサと
を備える、システム。
【請求項１４】
前記参照情報は、３Ｄ臓器表面、臓器系を通る３Ｄ経路、および着目３Ｄ領域（ＲＯＩ）の１つ以上を含む、請求項１３に記載のシステム。
【請求項１５】
前記参照情報は、前記事前計算されたデータセットから生成される仮想内視鏡（ＶＥ）画像を含む、請求項１３に記載のシステム。
【請求項１６】
前記３Ｄ経路およびＲＯＩの一方または両方は、前記ＲＥおよびＶＥ画像の一方または両方上に重ね合わせられる、請求項１４に記載のシステム。
【請求項１７】
前記３Ｄ臓器表面は、胸部の３ＤのＭＤＣＴ画像から抽出される気管気管支気道ツリーの表面に対応する、請求項１４に記載のシステム。
【請求項１８】
前記３Ｄ経路は、前記胸部の３ＤのＭＤＣＴ画像から抽出される前記気管気管支気道ツリーを横断する、または他の近傍の解剖学的構造を横断する通路に対応する、請求項１４に記載のシステム。
【請求項１９】
前記ＲＯＩは、リンパ節、疑わしい腫瘍、狭窄した気道、または任意の他の診断上の関連領域を表す、請求項１４に記載のシステム。
【請求項２０】
前記位置合わせプロセスを停止するためのオペレータ制御をさらに含む、請求項１３に記載のシステム。
【請求項２１】
保存された位置合わせ像は、停止後、前記ディスプレイ上に提示される、請求項２０に記載のシステム。
【請求項２２】
前記プロセッサは、オペレータが前記内視鏡を操作する際に、前記ディスプレイ上の重ね合わせられた経路をハイライトするように作動する、請求項１６に記載のシステム。
【請求項２３】
前記ＶＥ像は、前記ライブＲＥ映像と同期して表示される、請求項１５に記載のシステム。
【請求項２４】
前記位置合わせは、リアルタイムで行われる、請求項１３に記載のシステム。
【発明の詳細な説明】
【技術分野】
【０００１】
（関連出願の参照）
本願は、米国仮特許出願第６０／８８７，４６２号（２００７年１月３１日出願）および米国特許出願第１２／０２２，６２０号（２００８年１月３０日出願）に基づく優先権を主張する。両出願の全内容は、本明細書において参照により援用される。
【０００２】
（政府財政援助）
本研究は、一部、ＮＩＨの国立癌研究所の助成番号ＣＡ０７４３２５およびＣＡ０９１５３４により支援されている。
【背景技術】
【０００３】
可撓性内視鏡検査は、低侵襲的手技の一種であって、可撓性デバイスは、診断を行う、または治療を送達するために、身体の既存の中空臓器（例えば、気管気管支気道ツリー、結腸、洞）を通して操作される。１，２  内視鏡検査は、切開の必要性を低減し、多くの場合排除し、それによって、患者のリスクおよび回復時間を減少させる。したがって、可撓性内視鏡検査は、典型的には、医師が標的動作領域を直接視認および操作するために十分な大きさの切開を必要とする、より侵襲的な手術より好ましい。
【０００４】
内視鏡検査は、例えば、胸部において使用されてもよく、気胸のリスクを伴う経胸腔生検から、日常的かつ比較的低リスクの気管支鏡生検に切り替えることができる。１，３，４  同様に、可撓性内視鏡検査は、心臓ペースメーカーリードの挿入を促進するため心臓において５、診断を補助するために鼻および洞の通路において６、ならびに結腸ポリープを検出および治療するために結腸において７、使用されてもよい。
【０００５】
内視鏡手技の典型的ワークフローは、２段階から成る。段階Ｉは、術前計画であって、段階ＩＩは、内視鏡検査である。段階Ｉの際、３次元（３Ｄ）立体画像（典型的には、多重検出器コンピュータ断層撮影（ＭＤＣＴ）または磁気共鳴画像（ＭＲＩ）装置によって取得される）が、着目生体構造に対し取得される。８−ｌ０  リンパ節、疑わしい結節、ポリープ等の着目領域（ＲＯＩ）は、医師による本３Ｄ画像の一連の２Ｄ横断スライス画像を検討することによって画定される。本段階の際、内視鏡技師はまた、各ＲＯＩへの経路を計画し、診断および治療オプションのための最善のアクセスを可能にするアプローチを選択する。１１
標準的技法では、ＭＤＣＴスキャン画像は、胸部全体の一連の横断面スライス画像として、コンピュータモニタまたはＸ線フィルム表示パネル上に表示される。この場合の経路計画は、気管から、ＲＯＩにアクセス可能な気管気管支ツリー内の位置への通路を決定するステップから成る。標準的技法では、本ステップでは、気管支鏡技師が、３Ｄの生体構造を頭の中で再構築し、ＲＯＩへの最善のアプローチを判断することが必要となる。しかしながら、本アプローチを使用して、通路が不正確に選択される場合が多く、医師は、早ければ第２世代において、ＣＴスライス画像内の気道を識別する際に困難を伴うことが示されている。１２，１３
段階ＩＩでは、医師は、内視鏡手技を施行する。本手技の中核は、ライブの内視鏡映像送出、ならびに段階Ｉで行われた３Ｄ画像の分析の両方に依存して、内視鏡先端を以前に画定されたＲＯＩへ誘導するタスクである。本タスクは、いくつかの理由から困難である。１）ＲＯＩは、中空臓器壁を越えて位置し、内視鏡映像において不可視である、２）内視鏡映像は、これらのＲＯＩが画定される３Ｄ放射線画像と著しく異なる、および３）臓器内の異なる位置からの内視鏡像は、視覚的に区別不可能である。
【０００６】
気管支鏡検査では、これらの困難点は、気管支鏡が動作する気管気管支気道ツリーの複雑性によって悪化する。これらの影響は、誘導エラーをもたらし、異なる医師間の技術レベルの大きな差異に影響することが知られている。１４，１５  また、そのようなエラーは、診断を誤る結果となり、侵襲的かつ潜在的に致命的な追従手技を必要とする場合がある。３，４  以前に、画像ベースおよび電磁（Ｅ／Ｍ）案内技術が、ＲＯＩへの誘導およびＲＯＩにおける生検の正確性の向上の両方において、医師を補助するために提案されている。
【０００７】
Ｅ／Ｍ案内技術は、患者の周囲にＥ／Ｍ場を発生させ、気管支鏡の器具チャネルを通して挿入されたＥ／Ｍセンサを使用して、気管支鏡を配置する。１６−２１  これらの技術は、各手技の費用を増大し、使用可能な気管支鏡の種類を制限する特殊なハードウェアを必要とする。Ｅ／Ｍプローブは、気管支鏡の器具チャネルを占めるため、これらの技術は、小児肺または肺末梢部の手技用に設計された小径内視鏡上に存在するより小さいチャネルには好適ではない。さらに、Ｅ／Ｍプローブは、重要な手技上のステップ（例えば、生検の施行）を行う前にチャネルから除去し、位置情報なしで、医師に委ねなければならない。加えて、Ｅ／Ｍ位置合わせは、外部場に対して気管支鏡を配置することのみ可能である。したがって、患者の呼吸運動、手技の際の患者の移動、または３Ｄスキャン画像と手技との間の異なる体位に直面すると、局所化エラーを受けやすいが、最近の研究は、これらの課題を解決しつつある。１９，２１，２２
画像ベースの案内技術は、医師のための案内補助として役割を果たすために、立体画像処理に依存する。仮想気管支鏡（ＶＢ）案内技術は、実際の気管支鏡（ＲＢ）映像の外観を模倣する気管気管支気道ツリーの表面または立体レンダリングを医師に提示する。２３−２７  これらの技術は、医師が気道内およびＲＯＩに対する位置をより意識するために、実際の気管支鏡を移動させる医師と提携して、仮想気管支鏡を移動させる技術者に依存する。ＶＢ案内は、気管支鏡手技の性能を向上させることが有望される一方、ＶＢの領域とＲＢの領域とは、直接リンクせず、医師による最終的推測に委ねられる。対照的に、仮想現実（Ｖ−Ｒ）位置合わせ／追跡方法は、立体画像ベースのＶＢ源とＲＢ映像源との間の自動リンクを提供する。２８−３５
【発明の概要】
【発明が解決しようとする課題】
【０００８】
本リンクによって、ユーザ介入が低減され、２つの情報源間のデータの融合を可能にする。しかしながら、以前は、計算集約型であって、その使用は、単一フレームまたはバッファリングされた映像の用途に制限され、医師は、各位置合わせ結果に対し、数秒待つ必要があった。
【課題を解決するための手段】
【０００９】
本発明は、ライブ手技の際の内視鏡検査の継続的案内を対象とする。身体臓器を通って最終目的地点までの所定の経路を表す参照情報を含む、３Ｄ画像データに基づくデータセットが、事前計算される。オペレータが、身体臓器内で内視鏡を操作する際に、複数の実際のライブ内視鏡（ＲＥ）画像が表示される。所定の経路に沿った初期参照位置に対応する情報が提示され、オペレータは、内視鏡を参照位置へ移動させることができる。内視鏡が局所的に操作される際に、位置合わせおよび追跡アルゴリズムが起動され、データセットをＲＥ画像の１つ以上と位置合わせし、位置合わせを継続的に維持する。所定の経路に沿った別の参照位置に対応する情報が提示され、内視鏡オペレータは、内視鏡をその新しい参照位置近傍に移動させることができ、これらのステップは、内視鏡が最終目的地点近傍内に入るまで繰り返される。次いで、最終目的地点に関する付加的情報が提示され、内視鏡オペレータは、手技のための最終操作を決定することができる。
【００１０】
参照情報は、３Ｄ臓器表面、臓器系を通る３Ｄ経路、または着目３Ｄ領域（ＲＯＩ）、ならびに事前計算されたデータセットから生成される仮想内視鏡（ＶＥ）画像を含んでもよい。好ましい方法は、３Ｄ経路およびＲＯＩの一方または両方をＲＥおよびＶＥ画像の一方または両方上に重ね合わせるステップを含む。３Ｄ臓器表面は、胸部の３ＤのＭＤＣＴ画像から抽出される気管気管支気道ツリーの表面に対応してもよい。３Ｄ経路は、胸部の３ＤのＭＤＣＴ画像から抽出される気管気管支気道ツリーを横断する、または他の近傍の解剖学的構造を横断する通路に対応してもよい。ＲＯＩは、リンパ節、疑わしい腫瘍、狭窄した気道、または任意の他の診断上の関連領域を表してもよい。
【００１１】
好ましい実施形態によると、１つの重ね合わせられた経路は、内視鏡オペレータを案内するために、ハイライトされ、継続的に提示される。本位置合わせされたＶＥ像は、ライブＲＥ映像と同期して表示される。方法および開示されるシステムは、リアルタイム動作が可能である。
【図面の簡単な説明】
【００１２】
【図１】図１は、案内システム、その入力、およびシステムと医師との間の相互作用のブロック図を示す。
【図２】図２は、保存された位置合わせされた像の実施例である。
【図３】図３は、案内方策ＩＩを示す。
【図４】図４は、案内方策ＩＩＩを示す。
【図５】図５は、人体模型実験のために使用されるＲＯＩの位置を表示する全体的外部３Ｄ表面レンダリングを示す。
【図６】図６は、着目領域（ＲＯＩ）への通路に沿った別個の決定点を示す。
【図７】図７は、ヒト患者におけるライブ気管支鏡検査の際に撮像される、画像ベースの案内システムのスクリーンキャプチャである。
【発明を実施するための形態】
【００１３】
本発明は、リアルタイムの画像ベースの案内のための完全パラダイムを含む、内視鏡検査の案内に対するシステムレベルのアプローチに属し、継続的に更新される誘導および案内情報を医師に提供する。
【００１４】
内視鏡検査の案内のための少なくとも３つの新規な実施形態が開示される。全体的表面レンダリング、局所断面、および関連距離等の付加的要素は、付加的有用性を医師に提供する。人体模型結果は、ヒト気管気管支気道ツリーのラピッドプロトタイプモデル上で行われる気管支鏡検査を使用して生成した。また、システムは、進行中の本物のヒト試験において試験された。これまで１０例のそのような試験を行っており、３Ｄ胸部ＣＴを使用して、肺疾患患者の気管支鏡介入に焦点を当てる。
【００１５】
本開示は、一般的に適用可能な方法を提示するが、胸部および気管支鏡検査に焦点を当てる。本領域では、段階Ｉは、ＭＤＣＴ画像の取得および分析を軸として展開し、ＲＯＩは、リンパ節、疑わしい癌結節、散在性浸潤、気道ステント位置、または任意の他の臨床的に有意な位置であってもよい。８，１０
リアルタイム画像ベースの内視鏡検査の案内のための少なくとも３つの統合されたシステムレベルのアプローチが記載される。これらのアプローチは、新規な案内方策を提示し、以前に我々が提案した高速ＣＴ映像位置合わせエンジンによって可能になる。３６，３７これらの位置合わせエンジンの高速性によって、リアルタイムの映像フレーム率において、映像の継続的位置合わせが可能となる。アプローチは、結腸のための結腸鏡検査、洞のための洞房鏡検査、および血管系のための血管内視鏡検査に対し、一般適用性を有する。また、人体模型およびライブの患者結果が提示される。
【００１６】
（方法）
内視鏡検査の継続的案内のための我々のアプローチは、図１に示されるように、複数の入力に依存する。これらの入力の第１は、内視鏡手技の間、内視鏡によって提供される着目生体構造の実際のライブ内視鏡（ＲＥ）映像である。数量
【００１７】
【数１】
2010517632.tif 000003
は、ＲＥカメラの未知の視点
【００１８】
【数２】
2010517632.tif 000004
（式中、（ｘ、ｙ、ｚ）は、３Ｄ空間的位置を表し、（α、β、γ）は、放射線画像の３Ｄ座標軸に対するＲＥカメラの配向を指定するオイラー角を表す）から撮影される第ｆ番目の２ＤのＲＥ映像フレームの第（ｉ、ｊ）番目の画素を表す。残りの入力は、手技の前の術前計画段階の際に取得される着目生体構造の３Ｄ画像から派生する。これらの入力は、中空臓器の内面を示す３Ｄ表面、スキャンデータ内で画定された３Ｄ領域として示されるＲＯＩ、および中空臓器を通って、これらのＲＯＩに到達するための事前計算された３Ｄ通路Ｐｋを含む。
【００１９】
各通路は、視認部位として知られる一式の６Ｄ視点から成る。Ｐｋ（ｌ）によって表される第ｋ番目の通路の第ｌ番目の視認部位は、（ｘ、ｙ、ｚ）位置と、オイラー角（α、β、γ）によってパラメータ化される配向とから成る。我々は、主に、気管支鏡検査を扱い、内視鏡デバイスは、気管支鏡であって、３Ｄ表面および通路は、胸部３Ｄ  ＭＤＣＴ画像から抽出される気管気管支気道ツリーの表面および中心軸に対応する。本領域におけるＲＯＩは、リンパ節、疑わしい腫瘍、狭窄した気道、または３ＤのＭＤＣＴ画像において可視の任意の他の診断上の関連領域であってもよい。
【００２０】
案内システムは、時として、内面データの描写と並列させて、実際のライブ内視鏡（ＲＥ）映像を表示するコンピュータを備える。本表面データを提示するために使用されるカメラパラメータ（例えば、視野（ＦＯＶ））は、内視鏡デバイスの較正によって抽出されるものと一致する。したがって、本描写は、仮想内視鏡（ＶＥ）カメラを構成する。したがって、ＶＥカメラは、ＣＴボリューム内の任意の仮想視点
【００２１】
【数３】
2010517632.tif 000005
でＶＥ画像
【００２２】
【数４】
2010517632.tif 000006
を合成することができる。
【００２３】
【数５】
2010517632.tif 000007
は、ＲＥカメラの未知の視点
【００２４】
【数６】
2010517632.tif 000008
の最良推定値を示す位置合わせされたＶＥ視点を表し、したがって、
【００２５】
【数７】
2010517632.tif 000009
は、位置合わせされたＶＥ像を表す。ＶＥカメラのＦＯＶ内で可視の３Ｄ通路およびＲＯＩの一部が、投影されて、レイヤ画像
【００２６】
【数８】
2010517632.tif 000010
を形成し、図２およびその他で示されるように、ＶＥ像に重ね合わせられて現れることができる。我々は、本融合プロセスを
【００２７】
【数９】
2010517632.tif 000011
演算子によって表し、重ね合わせられたＶＥ像を
【００２８】
【数１０】
2010517632.tif 000012
として定義する。ＶＥカメラは、内視鏡と関係なく移動可能であって、抽出された生体構造を自由に誘導および探査することができる。図２では、下の２つのウィンドウ枠は、ＲＥ像
【００２９】
【数１１】
2010517632.tif 000013
と、前の時点ｓから位置合わせされたＶＥ像
【００３０】
【数１２】
2010517632.tif 000014
とを静的に表示する一方、上の２つのウィンドウ枠は、現在のライブＲＥ映像
【００３１】
【数１３】
2010517632.tif 000015
と、位置合わせされたＶＥ像
【００３２】
【数１４】
2010517632.tif 000016
とを動的に表示する。各像は、オーバーレイされた３Ｄ通路およびＲＯＩを有する。この保存された像は、生検を行う際、局部の概観を維持するために有用である。
【００３３】
上述の入力およびシステムは、３つの内視鏡案内方策の基礎を提供する。方策Ｉは、別個の決定点（例えば、気道ツリーの分岐）において行われる位置合わせを軸として展開する。各位置合わせは、ＲＯＩに到達するために存続する正確な通路を医師に提示し、十分近接する場合、ＲＯＩ自体の位置を提示する。対照的に、継続的位置合わせ／追跡は、方策ＩＩの中核であって、位置合わせされたＶＥ像
【００３４】
【数１５】
2010517632.tif 000017
をライブＲＥ映像
【００３５】
【数１６】
2010517632.tif 000018
と同期して表示させる。医師に提示される像を単純化するために、方策ＩＩＩは、ＲＥ映像
【００３６】
【数１７】
2010517632.tif 000019
上に融合された３Ｄ通路およびＲＯＩのみを提示することによって、方策ＩＩを精緻化し、ＶＥ像を全て省く。３つの方策は統合され、各方策は、以前のものに基づいて構築され、これらの方策の任意の組み合わせは、特定のＲＯＩへの案内のために使用されてもよい。方法は、気管支鏡検査の場合のより具体的段階的実施例とともに、以下に提示される。
【００３７】
（内視鏡案内方策Ｉ）
方策Ｉの目標は、各ＲＯＩへの通路に沿った重要な決定点（例えば、分岐点）において、案内を提供することである。したがって、本方法は、これらの決定点のそれぞれにおける別個の位置合わせ／追跡事象に重点を置く。方法は、以下のように進められる。
１．３Ｄ通路およびＲＯＩを表示するＶＥ像
【００３８】
【数１８】
2010517632.tif 000020
が、現在のＲＯＩ（例えば、気管支鏡検査のための上竜骨）への通路に沿った初期参照位置
【００３９】
【数１９】
2010517632.tif 000021
に提示される。
２．医師は、ＶＥ像近傍内に入るように内視鏡を移動させる。
３．位置合わせ／追跡の組み合わせを随意に起動し、それによって、仮想３Ｄ空間を内視鏡の現在の視点と位置合わせさせてもよい（すなわち、ＲＥカメラの視点を推測し、ＶＥカメラを本視点：
【００４０】
【数２０】
2010517632.tif 000022
に一致させる）。この時、事前計算された３Ｄ通路およびＲＯＩがまた、ＲＥ映像フレーム
【００４１】
【数２１】
2010517632.tif 000023
上に重ね合わせられてもよい。次いで、医師は、局所における内視鏡の移動を考慮するように、重ね合わせられた像上の３Ｄ通路およびＲＯＩの位置を適切に調節しながら、内視鏡を局所的に操作および取り扱ってもよい。加えて、現在の位置合わせされた像の瞬間スナップ写真を保存し、継続的に更新されるＶＥ
【００４２】
【数２２】
2010517632.tif 000024
およびＲＥ
【００４３】
【数２３】
2010517632.tif 000025
の像を並べて表示し、生検を行う表面近傍に移動させる前に、例えば、生検部位の概観を提供してもよい。本保存された像の実施例は、図２に表示される。３つの方策のそれぞれと同様に、３Ｄ通路およびＲＯＩ
【００４４】
【数２４】
2010517632.tif 000026
は、任意の地点でトグルされ、ＲＥ映像
【００４５】
【数２５】
2010517632.tif 000027
の明瞭な観察を可能にしてもよい。代替として、内視鏡が目的地点の局所近傍に到達していない場合、ＲＯＩの表示は、自動的に表示されなくてもよい。
４．位置合わせ／追跡動作を一時的に停止し、３ＤのＲＯＩにより近づくように、所望の通路
【００４６】
【数２６】
2010517632.tif 000028
に沿ってＶＥカメラをさらに移動させる。
５．内視鏡が目的地点の局所近傍内に入るまで、ステップ２−４は繰り返される。ＲＯＩ（以前に抑制されていた場合）は、標的位置（例えば、適切な局所気道支）に到達したという明白な信号を提供するために、ここで出現させることができる。
６．付加的グラフィックアイコンを導入し、着目生検部位が現在の視野内にあることを確認する。先行研究は、透過的ベースのレンダリングを使用して、ＲＯＩを気道内腔等のレンダリングされた解剖学的領域上に融合していたが、これは、ＲＯＩの実際の位置に曖昧性をもたらす。アイコンの付加的特徴（図２および６の場合、矢印）によって、本曖昧性は排除される。
【００４７】
本方法の実施例は、その結果である図６に示され、（行１−３）は、最初の２つの決定点のためのステップ１−４を示す。これらの位置のそれぞれでは、注意散漫を回避するため、ＲＯＩは、最初は表示されない。目的地点の局所近傍（行４、５）に到達すると、３ＤのＲＯＩおよびグラフィックアイコンが出現し、生検部位の位置を明瞭に表示する。この時、保存された位置合わせされた像が起動され（図２参照）、生検位置を選択する際の医師の自信をさらに増大させてもよい。
【００４８】
方策Ｉは、ＲＯＩへの通路に沿った別個の位置合わせのための枠組みを提示する。以前に提案された位置合わせ／追跡方法３６，３８によって、これらの別個の位置合わせ事象は、ほぼ瞬時であって、本プロセスを時間効率の良いものにするだけではなく、リアルタイムで継続的に更新し、内視鏡の視点における局所変化を反映させる。これは、参照において、バッファリングされた映像フレーム上に別個の静的位置合わせを組み込んだもの等、従来の案内方法に優る主要改良点である。２８−３５
（内視鏡案内方策ＩＩ）
位置合わせ／追跡方法は、ＶＥ像を継続的に映像と同期させるために十分高速であるため、我々は、ステップ３における別個の位置合わせの代替として継続的位置合わせを組み込む、方策Ｉの変形例を提案する。本代替方策では、初期位置合わせ実施後（上述のステップ１および２）、位置合わせを入力映像上で継続的に行うことができる。医師は、内視鏡を自由に移動させると、ＶＥ像は、継続的に更新され、医師がＲＯＩへの適切な通路に沿って内視鏡を移動させるのを補助する。方策Ｉと同様に、ＲＯＩの表示は、目的地点の局所近傍内に入るまで表示されず、３Ｄ通路およびＲＯＩをトグルし、医師に付加的案内情報またはＲＥ映像の明瞭な視覚化を提供することができる。本代替枠組みは、方策ＩＩを定義する。
１．ＶＥ像
【００４９】
【数２７】
2010517632.tif 000029
が、現在のＲＯＩへの通路に沿った初期参照位置
【００５０】
【数２８】
2010517632.tif 000030
に提示される。
２．医師は、ＶＥ像近傍内
【００５１】
【数２９】
2010517632.tif 000031
に入るように内視鏡を移動させる。
３．継続的位置合わせ／追跡を有効化し、それによって、仮想３Ｄ空間を内視鏡の現在の視点
【００５２】
【数３０】
2010517632.tif 000032
と位置合わせさせる。この時、３Ｄ通路およびＲＯＩ（抑制されていない場合）は、随意に、図３に示されるように、ＲＥ映像
【００５３】
【数３１】
2010517632.tif 000033
上に重ね合わせられてもよい。継続的位置合わせの際、ＶＥ像（右）は、ＲＥ映像（左）と同期して移動する。同様に、３ＤのＲＯＩおよび通路は、リアルタイムでＲＥ映像上に重ね合わせられ、案内情報を提供することができる。ＲＯＩ中心および表面への距離は、白色で示される。加えて、ＲＯＩ上にカーソルを重ねると、その特定の地点における気道およびＲＯＩ表面への距離が表示される。
４．医師がＲＯＩへの適切な通路に沿って内視鏡を移動させると、３Ｄ通路およびＲＯＩ（抑制されていない場合）の両方を含む、ＶＥ像
【００５４】
【数３２】
2010517632.tif 000034
およびＲＥ像
【００５５】
【数３３】
2010517632.tif 000035
は、ＲＯＩに到達するか、または不満足な位置合わせ結果が生成されるまで、継続的に更新される。
５．不満足な位置合わせ結果の場合、継続的位置合わせ／追跡は無効化され、ＶＥ像は、通路
【００５６】
【数３４】
2010517632.tif 000036
に沿った最終の既知の良好な位置へと戻り、ステップ２から、通常通り、誘導が進められる。
６．内視鏡が目的地点の局所近傍に入ると、ＲＯＩ（以前に抑制されていた場合）は、標的位置（例えば、適切な局所気道支）に到達したという明白な信号を提供するために、リアルタイムでＶＥおよびＲＥ像上に重ね合わせられて、ここで出現する。
７．付加的グラフィックアイコンを導入し、着目生検部位が現在の視野内にあることを確認する。先行研究は、透過的ベースのレンダリングを使用して、ＲＯＩを気道内腔等のレンダリングされた解剖学的領域上に融合していたが、これは、ＲＯＩの実際の位置に曖昧性をもたらす。アイコンの付加的特徴（図２および６の場合、矢印）によって、本曖昧性は排除される。
【００５７】
（内視鏡案内方策ＩＩＩ）
方策ＩＩにおける継続的位置合わせ／追跡の際、重ね合わせられた通路およびＲＯＩ
【００５８】
【数３５】
2010517632.tif 000037
を伴う拡張されたＲＥ映像にまだ存在しない、ＶＥ像
【００５９】
【数３６】
2010517632.tif 000038
によって提示される情報はほとんどない。故に、方策ＩＩの変形例は、図４に示されるように、継続的位置合わせの際、この不必要なＶＥ像
【００６０】
【数３７】
2010517632.tif 000039
を省くべきであり、その上に重ね合わせられた継続的に更新される通路およびＲＯＩ
【００６１】
【数３８】
2010517632.tif 000040
を有するＲＥ映像のみを提示する。方策ＩおよびＩＩと同様に、これらの３Ｄ通路およびＲＯＩ要素を任意の地点でトグルオン／オフし、ＲＥ映像
【００６２】
【数３９】
2010517632.tif 000041
において臓器表面の明瞭な検査を可能にしてもよい。図４では、ＲＯＩへの通路に沿って、３つの視点が示される。方策ＩＩＩでは、ＶＥ像は表示されない。ライブＲＥ像
【００６３】
【数４０】
2010517632.tif 000042
のみ示され、通路およびＲＯＩ情報
【００６４】
【数４１】
2010517632.tif 000043
は、リアルタイムで各映像フレーム
【００６５】
【数４２】
2010517632.tif 000044
上に重ね合わせられる。いずれの場合も、着色線は、ＲＯＩへの適切な通路を示す。気道ツリーの外部レンダリングは、ＲＥ映像ウィンドウ枠の隣に示され、リアルタイムで更新される内視鏡先端の位置を表す。
１．ＶＥ像
【００６６】
【数４３】
2010517632.tif 000045
が、現在のＲＯＩへの通路に沿った初期参照位置
【００６７】
【数４４】
2010517632.tif 000046
に提示される。
２．医師は、ＶＥ像近傍内
【００６８】
【数４５】
2010517632.tif 000047
に入るように内視鏡を移動させる。
３．継続的位置合わせ／追跡を有効化し、それによって、仮想３Ｄ空間を内視鏡の現在の視点
【００６９】
【数４６】
2010517632.tif 000048
と位置合わせさせる。この時、ＶＥ像
【００７０】
【数４７】
2010517632.tif 000049
は隠され、３Ｄ通路およびＲＯＩ（抑制されていない場合）は、ＲＥ映像
【００７１】
【数４８】
2010517632.tif 000050
上に重ね合わせられる。本方策では、ＶＥ像がないため、ＲＥ映像上に重ね合わせられた３Ｄ通路は、案内にとって重要であることに留意されたい。しかしながら、それらも、一時的にトグルオフし、ＲＥ映像
【００７２】
【数４９】
2010517632.tif 000051
の明瞭な検査を提供することができる。
４．医師がＲＯＩへの適切な通路に沿って内視鏡を移動させると、３Ｄ通路およびＲＯＩ（抑制されていない場合）の両方を含む、ＲＥ像
【００７３】
【数５０】
2010517632.tif 000052
は、標的位置に到達するか、または不満足な位置合わせ結果が生成されるまで、継続的に更新される。
５．不満足な位置合わせ結果の場合、継続的位置合わせ／追跡は無効化され、ＶＥ像が復元され、通路
【００７４】
【数５１】
2010517632.tif 000053
に沿った最終の既知の良好な位置を表示する。次いで、ステップ２から、通常通り、誘導が進められる。
６．内視鏡が目的地点の局所近傍に入ると、ＲＯＩ（以前に抑制されていた場合）は、標的位置（例えば、適切な局所気道支）に到達したという明白な信号を提供するために、リアルタイムでＲＥ像
【００７５】
【数５２】
2010517632.tif 000054
上に重ね合わせられて、ここで出現する。
７．ＲＯＩの位置における曖昧性を排除するために、随意に、付加的グラフィックアイコン（例えば、図２および６のものと類似する矢印）を導入して、ＲＥ像
【００７６】
【数５３】
2010517632.tif 000055
と融合させ、着目生検部位が現在の視野内にあるか確認してもよい。
【００７７】
（方法の解説）
上述の３つの方法は、内視鏡検査の案内のための基礎的方策を提供する。内視鏡検査の前およびその際、継続的または各別個の位置合わせに伴って更新される付加的情報を医師に提供することが有用である。距離は、１）内視鏡先端からＲＯＩ中心への距離、および２）内視鏡先端からＲＯＩ表面への最小距離を含んで表示されてもよい。また、ＶＥ像
【００７８】
【数５４】
2010517632.tif 000056
または位置合わせされたＲＥ像
【００７９】
【数５５】
2010517632.tif 000057
におけるある地点上にマウスを重ねることによって、その地点に特異的付加的距離を提供する。これらは、１）内視鏡先端から臓器表面への距離、および２）内視鏡先端からＲＯＩ表面への距離を含む。我々のシステムは、全体的３Ｄ表面レンダリングを提供し、臓器（例えば、気道ツリー）表面およびＲＯＩの全体的外観、ならびに３Ｄ通路を表示する。内視鏡観察方向に沿った、およびそれに垂直な３Ｄデータの局所横断スライス画像によって、医師は、内視鏡の先端とＲＯＩとの間に何があるかを判断することができる。これは、生検を行う際、動脈および他の臓器を回避するために有用である。
【００８０】
（結果）
方法は、標準ＰＣ上のコンピュータＧＵＩソフトウェアパッケージに組み込まれ、人体模型ならびに本物のヒト被験者において試験された。人体模型研究では、ＲＯＩへの案内のために、段階的結果が提示される。本物のヒト試験では、スクリーンキャプチャを本方法の使用が成功した１０例の被験者のうちの１例から提示する。
【００８１】
（人体模型研究）
人体模型結果は、案内方法およびシステムが、医師を患者内のＲＯＩへ案内するための誘導補助としての使用を成功させることが可能であることを証明する。使用される人体模型は、赤色ＡＢＳプラスチック製ラピッドプロトタイプモデルであって、ヒト患者２１４０５．３ａのＭＤＣＴスキャン画像から抽出された管腔内気道表面から生成した。ＭＤＣＴスキャン画像は、１６検出器Ｓｉｅｍｅｎｓ  Ｓｅｎｓａｔｉｏｎ−１６スキャナで取得し、解像度Δｘ＝Δｙ＝０．６７ｍｍ、Δｚ＝０．５ｍｍを有する７０６枚の５１２×５１２スライス画像から成る。案内は、遠位先端直径２．８ｍｍを有するＯｌｙｍｐｕｓ  ＢＦ  Ｔｙｐｅ  ＸＰ２６０Ｆ極薄気管支鏡を使用して行い、気管支鏡映像は、１秒当たり３０フレームで、Ｍａｔｒｏｘ  Ｍｅｔｅｏｒ−ＩＩビデオキャプチャカードによって、手技の際に撮影した。本気管支鏡によって生成される映像は、円形であって、２８８×２９０画素の境界枠内に収まる。撮影時、広視野（ＦＯＶ）レンズの顕著な樽形歪曲は、Ｚｈａｎｇ３９のモデルを使用して、リアルタイムで各フレームに対し補正し、歪曲補正映像は、続いて、２９２×３１３画素の矩形にトリミングされる。
【００８２】
術前計画および案内は、デュアルコア３．０Ｇｈｚ  Ｐｅｎｔｉｕｍ（登録商標）プロセッサ、４ＧＢのＲＡＭ、および５１２ＭＢのＡＴＩ  Ｒａｄｅｏｎビデオカードを備え、Ｗｉｎｄｏｗｓ（登録商標）ＸＰを起動するＤｅｌｌ  Ｐｒｅｃｉｓｉｏｎ  ６５０ワークステーション上で行われた。すべてのシステムソフトウェアは、Ｖｉｓｕａｌ  Ｃ＋＋．  ＮＥＴ  ２００３を使用して構築し、内部で開発した。医師による段階Ｉの術前計画に先立って、管腔内気道ツリー表面および中心線をＭＤＣＴ画像から自動的に抽出した。本研究では、次いで、直径２．４ｍｍを有し、管腔内気道表面に接触するが、その外側に、球面ＲＯＩを手動で画定した。ＲＯＩ（右中葉分岐と右肺下葉との間に位置する）は、図５では、管腔内表面とともに表示される。臨床診療では、本ステップは、医師によって行われるであろう。最終自動術前計画ステップとして、各ＲＯＩへの最接近アプローチを伴う中心線通路を計算し、格納した。４０  図５では、全体的外部３Ｄ表面レンダリングは、人体模型実験のために使用されるＲＯＩの位置を表示する。ＲＯＩは、右肺下葉と右中葉気管支との間の分岐点に位置する。
【００８３】
段階Ｉの分析および段階ＩＩの案内はすべて、我々の研究室内で開発された統合ソフトウェアシステムを使用して行われる。システムは、いくつかの双方向ツールから成り、事前処理された解剖学的データセット（生３Ｄ画像、ＲＯＩ、管腔内表面および中心線、記録されたスナップ写真およびＡＶＩ動画等）を操作および視覚化する。これらのツールは、生データ内のＲＯＩを表示、測定、および画定するために有用な多断面再構成（ＭＰＲ）スライサ、生画像データのより複雑な視覚化のために有用な投影、スライディング・シン・スラブ、斜め断面、剪断変形、およびボリュームレンダラ、内外から管腔内気道表面の視覚化を提供する管腔内および管腔外３Ｄ表面レンダラ、およびライブ内視鏡映像をＣＴ導出管腔内レンダリングと位置合わせする能力を備える、案内の基礎を提供する映像マッチングツールを含む。本システムおよびそのツールのより具体的説明は、Ｈｉｇｇｉｎｓらによって提供される。３４
段階Ｉの分析の際、内視鏡技師は、標準的技法におけるように、横断スライサ上のＲＯＩの位置を観察するが、また、各ＲＯＩの位置の解剖学的概観を提供する管腔外３Ｄ表面レンダラ（例えば、図５）も提示される。また、内視鏡技師は、実際の内視鏡検査の下見を行うために、各ＲＯＩへの通路に沿って、管腔内フライスルー動画を再生する。
【００８４】
段階ＩＩは、仮想内視鏡検査システムを内視鏡と相互作用させることによって開始する。次いで、仮想内視鏡検査ソフトウェアが起動され、管腔外レンダラおよびＣＴ映像マッチングツールを表示し、以前に計算された最接近通路が選択され、本通路は、これらのツールの両方において青色でハイライトされる。この時、映像の撮影が開始し、ＣＴ映像マッチングツールが処理および表示するための内視鏡映像源を提供する。図５に示されるＲＯＩでは、ＲＯＩへの通路に沿った各ステップは、図６に示される。いずれの場合も、３Ｄ表面レンダリングは、管腔内気道ツリー内のＶＥカメラの位置を表示する一方、ＲＥ映像
【００８５】
【数５６】
2010517632.tif 000058
は、ＶＥ像
【００８６】
【数５７】
2010517632.tif 000059
を伴って段階的に表示される。行１、左：ＶＥ像
【００８７】
【数５８】
2010517632.tif 000060
は、上竜骨近傍に位置付けられる。右：内視鏡技師が、ＲＥカメラを上竜骨近傍に移動させる。行２、左：位置合わせ／追跡が、上竜骨で起動される。ここで、ＲＯＩへの適切な通路をハイライトする青色通路によって、ＲＥ像
【００８８】
【数５９】
2010517632.tif 000061
上にオーバーレイされて通路が出現する。右：ＶＥ像
【００８９】
【数６０】
2010517632.tif 000062
は、第２世代分岐へ移動する。行３、左：内視鏡技師は、ＶＥ像によって撮像された通路を追従し、その同じ分岐に到達する。右：位置合わせが行われ、再び、ＲＥ像
【００９０】
【数６１】
2010517632.tif 000063
上に通路が出現する。行４、左：ＶＥ像
【００９１】
【数６２】
2010517632.tif 000064
は、最終分岐点へ移動する。右：内視鏡技師は、ＶＥの移動を追従する。行５、左：位置合わせが行われ、ＲＥ像
【００９２】
【数６３】
2010517632.tif 000065
上のＲＯＩの位置がハイライトされる。右：継続的位置合わせ／追跡によって、３Ｄ通路およびＲＯＩは、医師が内視鏡を移動させると、ＲＥ映像
【００９３】
【数６４】
2010517632.tif 000066
と同期して移動することができる。
【００９４】
最初、ＶＥ像
【００９５】
【数６５】
2010517632.tif 000067
およびＲＥ像
【００９６】
【数６６】
2010517632.tif 000068
は、位置合わせされない。方策Ｉのステップ１におけるように、ＶＥ像
【００９７】
【数６７】
2010517632.tif 000069
は、行１の左半分に示されるように、容易に識別される初期位置
【００９８】
【数６８】
2010517632.tif 000070
（この場合、上竜骨直前）へと移動する。ステップ２に続き、医師は、行１の右半分に示されるように、ＶＥ像の近傍へ内視鏡を移動させる。ステップ３を通じて、位置合わせが行われ、ＶＥ像
【００９９】
【数６９】
2010517632.tif 000071
およびＲＥ映像
【０１００】
【数７０】
2010517632.tif 000072
を整合させる
【０１０１】
【数７１】
2010517632.tif 000073
。これによって、ＶＥ像からの通路およびＲＯＩ情報
【０１０２】
【数７２】
2010517632.tif 000074
をＲＥ映像データ
【０１０３】
【数７３】
2010517632.tif 000075
上に融合し、融合されたＲＥ像
【０１０４】
【数７４】
2010517632.tif 000076
を形成することができる。これは、図６行２の左半分に示される。ＲＯＩに到達するための正確な通路Ｐｋは、演繹的に計算され、青色でＲＥ映像上にオーバーレイされるため、進むべき方向に曖昧性は存在しない。ステップ４に進み、ＶＥカメラは、通路に沿って、第２の分岐
【０１０５】
【数７５】
2010517632.tif 000077
へ前進し、プロセスの２回目の反復を開始する。再び、医師は、図６の行３に示されるように、ＶＥカメラの移動を追従し、位置合わせが行われる。行４では、ＶＥカメラは、通路に沿って、さらに１分岐移動し
【０１０６】
【数７６】
2010517632.tif 000078
、医師は、再び、仮想内視鏡の移動を追従する。この時、ＲＯＩ（緑色で表示される）は、分岐点でのＶＥ像
【０１０７】
【数７７】
2010517632.tif 000079
中で明瞭に可視される。
【０１０８】
行５は位置合わせの結果を示し、重ね合わせられた通路およびＲＯＩを含むＲＥ像
【０１０９】
【数７８】
2010517632.tif 000080
は、位置合わせされたＶＥ像
【０１１０】
【数７９】
2010517632.tif 000081
の側に示される。この場合、内視鏡がリアルタイムで局所領域の周囲を移動するとき、位置合わせを継続的に進めることができた。内視鏡が分岐点により近づくように移動すると（列５の右半分）、ＲＯＩの位置は、ＲＯＩへの可能なアプローチを示すアイコンとともに、非常に明瞭となる。
【０１１１】
（ヒト研究）
人体模型研究に加え、本システムはまた、各症例の一部に対し、方策ＩおよびＩＩを使用して、継続的本物のヒト試験において試験された。本紙の提出時点で、１０例のそのような症例を行っており、３Ｄ胸部ＣＴを使用して、肺疾患患者の気管支鏡介入に焦点を当てる。図７は、ヒト症例２０３４９．３．９の際に撮像されたスクリーンキャプチャであって、位置合わせの間およびＴＢＮＡ手技の直前の仮想内視鏡検査システム全体のレイアウトを示す。下の左ウィンドウは、球体および針によって示される気管支鏡先端の位置および配向とともに、気管気管支ツリーおよびＲＯＩの全体的レンダリングを表示する。また、選択されたＲＯＩへの適切な通路も示される。ＣＴ映像マッチングツールは、上のウィンドウに位置し、左側にライブ気管支鏡映像送出と、右側に位置合わせされたＶＥ像とを表示する。両像は、透過的に重ね合わせられた通路およびＲＯＩを有する。下の中央ウィンドウは、内視鏡先端の位置における断面図を示し、潜在的に生検を妨害し得る気道壁を越えて存在する組織の種類を判断するために有用である。下右側のウィンドウは、内視鏡の現在の位置における横断スライス画像を表示するが、標準的技法において、医師が慣れている検査である放射線スライス画像に類似する。
【０１１２】
（考察）
本発明は、継続的リアルタイム画像ベースの内視鏡検査の案内のための少なくとも３つの統合された方法を提供する。方法は、相互に排他的ではなく、互いに基づいて構築される。方法の任意の組み合わせが、内視鏡案内手技の際の案内のために使用されてもよい。提示される枠組みは、リアルタイム３Ｄ放射線画像および内視鏡映像位置合わせを組み込むパラダイムとして最初のものである。これによって、医師に継続的に更新される正確な誘導情報を提供するリアルタイム案内が可能となる。
【０１１３】
方法は、医師が、３Ｄスキャンデータの２Ｄ横断スライス画像から３Ｄ構造を頭の中で再構築し、その後、案内もなく、ＲＯＩへ誘導することを必要とする、現在の標準的臨床ワークフローに優る有意な改良である。また、方法は、画像ベースの位置合わせを組み込む過去のシステムを改良する。単一フレーム位置合わせは、数秒から１秒の何分の１に短縮され、位置合わせを瞬時に出現させるだけなく、手技の時間を延長せずに、より頻繁に位置合わせを行うことができる。さらに、リアルタイム位置合わせによって、以前は不可能であった画像ベースの案内の新しい様式が可能となる。ライブ映像を継続的に位置合わせすることによって、ＶＥ像、ならびにＶＥおよびＲＥ像の両方上に重ね合わせられた３Ｄ通路およびＲＯＩを継続的に更新することができる。
【０１１４】
また、画像ベースの位置合わせ／追跡は、既存のＥ／Ｍ誘導システムに優るいくつかの利点を提供する。画像ベースの位置合わせ／追跡は、ビデオキャプチャカードを備える標準的ＰＣのみを必要とする一方、Ｅ／Ｍ位置合わせは、付加的費用を増大し、典型的には、使用可能な内視鏡の種類を制限する特殊なハードウェアを必要とする。さらに、Ｅ／Ｍ位置合わせは、手技の際の患者の呼吸または移動、ならびに３Ｄスキャン画像と手技との間の異なる体位による臓器の変形に敏感である。いくつかのＥ／Ｍセンサが検出可能なこれらのエラーおよび自由度の制限は、ＶＥ像、または現在の映像フレームに対応する重ね合わせられた３Ｄ通路およびＲＯＩを医師に提示することを困難かあるいは不可能にする。
【０１１５】
（参考文献）
【０１１６】
【表１】
2010517632.tif 000082
【０１１７】
【表２】
2010517632.tif 000083
【０１１８】
【表３】
2010517632.tif 000084
【０１１９】
【表４】
2010517632.tif 000085
【図１】
2010517632.tif 000086
【図２】
2010517632.tif 000087
【図３】
2010517632.tif 000088
【図４】
2010517632.tif 000089
【図５】
2010517632.tif 000090
【図６】
2010517632.tif 000091
【図７】
2010517632.tif 000092
【手続補正書】
【提出日】平成21年10月1日(2009.10.1)
【手続補正２】
【補正対象書類名】明細書
【補正対象項目名】００１１
【補正方法】変更
【補正の内容】
【００１１】
好ましい実施形態によると、１つの重ね合わせられた経路は、内視鏡オペレータを案内するために、ハイライトされ、継続的に提示される。本位置合わせされたＶＥ像は、ライブＲＥ映像と同期して表示される。方法および開示されるシステムは、リアルタイム動作が可能である。
（項目１）
ライブ手技の際の内視鏡検査の継続的案内のための方法であって、
ａ）３Ｄ画像データに基づいて事前計算されたデータセットを提供するステップであって、該データセットは、身体臓器を通って最終目的地点までの所定の経路を表す参照情報を含む、ステップと、
ｂ）オペレータが、該身体臓器内で内視鏡を操作する際に、複数のライブの実際の内視鏡（ＲＥ）画像を表示するステップと、
ｃ）該所定の経路に沿った初期参照位置に対応する情報を提示するステップであって、該情報によって、内視鏡オペレータは、該内視鏡を該参照位置へ移動させることができる、ステップと、
ｄ）該データセットを該ＲＥ画像の１つ以上と位置合わせし、該内視鏡が局所的に操作される際に、該位置合わせを継続的に維持する位置合わせ／追跡アルゴリズムを起動するステップと、
ｅ）該所定の経路に沿った別の参照位置に対応する情報を提示するステップであって、該情報によって、該内視鏡オペレータは、該内視鏡をその新しい参照位置近傍に移動させることができる、ステップと、
ｆ）該内視鏡が、該最終目的地点近傍に入るまで、ステップｄ）−ｅ）を複数回繰り返すステップと、
ｇ）参照位置上に該最終目的地点に関する付加的情報を提示するステップであって、該付加的情報によって、該内視鏡オペレータは、該手技のための最終操作を決定することができる、ステップと
を包含する、方法。
（項目２）
上記参照情報は、３Ｄ臓器表面、臓器系を通る３Ｄ経路、着目３Ｄ領域（ＲＯＩ）の１つ以上を含む、項目１に記載の方法。
（項目３）
上記参照情報は、上記事前計算されたデータセットから生成される仮想内視鏡（ＶＥ）画像を含む、項目２に記載の方法。
（項目４）
上記３Ｄ経路およびＲＯＩの一方または両方を上記ＲＥおよびＶＥ画像の一方または両方上に重ね合わせるステップを含む、項目３に記載の方法。
（項目５）
上記３Ｄ臓器表面は、胸部の３ＤのＭＤＣＴ画像から抽出される気管気管支気道ツリーの表面に対応する、項目２に記載の方法。
（項目６）
上記３Ｄ経路は、上記胸部の３ＤのＭＤＣＴ画像から抽出される気管気管支気道ツリーを横断する、または他の近傍の解剖学的構造を横断する通路に対応する、項目２に記載の方法。
（項目７）
上記ＲＯＩは、リンパ節、疑わしい腫瘍、狭窄した気道、または任意の他の診断上の関連領域を表す、項目２に記載の方法。
（項目８）
ステップｅ）に先立って、上記位置合わせ／追跡アルゴリズムを停止するステップを含む、項目１に記載の方法。
（項目９）
上記位置合わせ／追跡アルゴリズム停止後、保存された位置合わせされた像が提示される、項目８に記載の方法。
（項目１０）
ステップｃ）−ｇ）において、上記内視鏡オペレータを案内するために、１つの重ね合わせられた経路がハイライトされ、継続的に提示される、項目４に記載の方法。
（項目１１）
上記位置合わせされたＶＥ像は、上記ライブＲＥ映像と同期して表示される、項目１０に記載の方法。
（項目１２）
ステップｄ）は、リアルタイムに行われる、項目２に記載の方法。
（項目１３）
ライブ手技の際の内視鏡検査の継続的案内のためのシステムであって、
オペレータによって、身体臓器内の経路に沿って、最終目的地点へ操作される内視鏡と、
該内視鏡によって得られるライブの実際の内視鏡（ＲＥ）画像を表示するように作動するディスプレイデバイスと、
３Ｄ画像データから導かれた事前計算されたデータセットを格納するメモリであって、該データセットは、身体臓器を通って最終目的地点までの所定の経路を表す参照情報を含む、メモリと、
該メモリおよびディスプレイと通信するプロセッサであって、
ａ）該オペレータが該内視鏡を操作する際に、該参照情報を表示および更新することによって、該データセットを該ＲＥ画像の１つ以上に継続的に位置合わせし、それによって、継続的に該内視鏡を追跡し、該オペレータを該ディスプレイデバイス上の該最終目的地点に案内し、
ｂ）該最終目的地点に関する付加的情報を提供し、該内視鏡オペレータが、該手技のための最終操作を決定できる
ように作動する、プロセッサと
を備える、システム。
（項目１４）
上記参照情報は、３Ｄ臓器表面、臓器系を通る３Ｄ経路、および着目３Ｄ領域（ＲＯＩ）の１つ以上を含む、項目１３に記載のシステム。
（項目１５）
上記参照情報は、上記事前計算されたデータセットから生成される仮想内視鏡（ＶＥ）画像を含む、項目１３に記載のシステム。
（項目１６）
上記３Ｄ経路およびＲＯＩの一方または両方は、上記ＲＥおよびＶＥ画像の一方または両方上に重ね合わせられる、項目１４に記載のシステム。
（項目１７）
上記３Ｄ臓器表面は、胸部の３ＤのＭＤＣＴ画像から抽出される気管気管支気道ツリーの表面に対応する、項目１４に記載のシステム。
（項目１８）
上記３Ｄ経路は、上記胸部の３ＤのＭＤＣＴ画像から抽出される上記気管気管支気道ツリーを横断する、または他の近傍の解剖学的構造を横断する通路に対応する、項目１４に記載のシステム。
（項目１９）
上記ＲＯＩは、リンパ節、疑わしい腫瘍、狭窄した気道、または任意の他の診断上の関連領域を表す、項目１４に記載のシステム。
（項目２０）
上記位置合わせプロセスを停止するためのオペレータ制御をさらに含む、項目１３に記載のシステム。
（項目２１）
保存された位置合わせ像は、停止後、上記ディスプレイ上に提示される、項目２０に記載のシステム。
（項目２２）
上記プロセッサは、オペレータが上記内視鏡を操作する際に、上記ディスプレイ上の重ね合わせられた経路をハイライトするように作動する、項目１６に記載のシステム。
（項目２３）
上記ＶＥ像は、上記ライブＲＥ映像と同期して表示される、項目１５に記載のシステム。
（項目２４）
上記位置合わせは、リアルタイムで行われる、項目１３に記載のシステム。
【手続補正３】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
ライブ手技の際の内視鏡検査の継続的案内のためのシステムであって、
内視鏡インターフェースであって、内視鏡に接続され、ライブの実際の内視鏡（ＲＥ）画像を出力するように適合されている内視鏡インターフェースと、
内視鏡が、オペレータによって、身体臓器内の経路に沿って、最終目的地点へ操作される際に、該ＲＥ画像を表示するように作動するディスプレイデバイスと、
３Ｄ画像データから導かれた事前計算されたデータセットを格納するメモリであって、該データセットは、身体臓器を通って最終目的地点までの所定の経路を表す参照情報を含む、メモリと、
該メモリおよびディスプレイと通信するプロセッサであって、
ａ）該オペレータが該内視鏡を操作する際に、該参照情報を表示および更新することによって、該データセットを該ＲＥ画像の１つ以上に継続的に位置合わせし、それによって、継続的に該内視鏡を追跡し、該オペレータを該ディスプレイデバイス上の該最終目的地点に案内し、
ｂ）該最終目的地点に関する付加的情報を提供し、該内視鏡が該最終目的地点の付近にあるときに、該内視鏡オペレータが、該手技のための最終操作を決定できるようにする
ように作動する、プロセッサと
を備える、システム。
【請求項２】
前記参照情報は、３Ｄ臓器表面、臓器系を通る３Ｄ経路、および着目３Ｄ領域（ＲＯＩ）の１つ以上を含む、請求項１に記載のシステム。
【請求項３】
前記参照情報は、前記事前計算されたデータセットから生成される仮想内視鏡（ＶＥ）画像を含む、請求項１に記載のシステム。
【請求項４】
前記３Ｄ経路およびＲＯＩの一方または両方は、前記ＲＥおよびＶＥ画像の一方または両方上に重ね合わせられる、請求項２に記載のシステム。
【請求項５】
前記３Ｄ臓器表面は、胸部の３ＤのＭＤＣＴ画像から抽出される気管気管支気道ツリーの表面に対応する、請求項２に記載のシステム。
【請求項６】
前記３Ｄ経路は、前記胸部の３ＤのＭＤＣＴ画像から抽出される前記気管気管支気道ツリーを横断する、または他の近傍の解剖学的構造を横断する通路に対応する、請求項２に記載のシステム。
【請求項７】
前記ＲＯＩは、リンパ節、疑わしい腫瘍、狭窄した気道、または任意の他の診断上の関連領域を表す、請求項２に記載のシステム。
【請求項８】
前記位置合わせプロセスを停止するためのオペレータ制御をさらに含む、請求項１に記載のシステム。
【請求項９】
保存された位置合わせ像は、停止後、前記ディスプレイ上に提示される、請求項８に記載のシステム。
【請求項１０】
前記プロセッサは、オペレータが前記内視鏡を操作する際に、前記ディスプレイ上の重ね合わせられた経路をハイライトするように作動する、請求項４に記載のシステム。
【請求項１１】
前記ＶＥ像は、前記ライブＲＥ映像と同期して表示される、請求項３に記載のシステム。
【請求項１２】
前記位置合わせは、リアルタイムで行われる、請求項１に記載のシステム。
【請求項１３】
前記最終操作の情報は、前記ＶＥおよびＲＥ画像のうちの少なくとも一方に重ね合わされるアイコンを含む、請求項１に記載のシステム。
【請求項１４】
前記アイコンは、前記事前計算された経路の端からＲＯＩへの方向を視覚的に示すように適合されている、請求項１３に記載のシステム。
【請求項１５】
前記アイコンは、矢印の形である、請求項１４に記載のシステム。
【請求項１６】
前記アイコンは、内視鏡がＲＯＩに対して動く際にに異なるように出現する、請求項１４に記載のシステム。
【請求項１７】
前記プロセッサは、気道壁の一部分が半透明になることにより、前記ディスプレイ上でのＲＯＩの視覚化を向上させるように、前記最終操作の情報をレンダリングするように作動する、請求項１に記載のシステム。
【請求項１８】
前記内視鏡は気管支鏡であり、前記内視鏡インターフェースは気管支鏡インターフェースであり、前記システムは該気管支鏡をさらに含む、請求項１に記載のシステム。
【国際調査報告】
2010517632.tif 000093
2010517632.tif 000094