(57)【要約】  画像に基づくローカライゼーション方法３０の術前ステージは、身体の解剖学的領域４０を示すスキャン画像２０を生成し、内視鏡５１の運動学的特性及び光学的特性に従って、スキャン画像２０内の内視鏡経路５２に関する内視鏡５１の仮想姿勢の予測を含む仮想情報２１を生成することを含む。方法３０の術中ステージは、内視鏡経路５２に従って解剖学的領域４０を示す内視鏡画像２２を生成し、スキャン画像２０内の内視鏡経路５２に関する内視鏡５１の仮想姿勢の予測に対応する、内視鏡画像２２内の内視鏡経路５２に関する内視鏡５１の姿勢の推定を含む追跡情報２３を生成することを含む。
2012505695.tif 000002
【特許請求の範囲】
【請求項１】
画像に基づくローカライゼーション方法であって、
身体の解剖学的領域を示すスキャン画像を生成するステップと、
内視鏡の運動学的特性に従って、前記スキャン画像内に内視鏡経路を生成するステップと、
前記内視鏡の光学的特性に従って、前記スキャン画像内の前記内視鏡経路の仮想画像を示す仮想ビデオフレームを生成するステップと、
を含む方法。
【請求項２】
前記仮想ビデオフレームに、前記スキャン画像内の前記内視鏡経路に関する前記内視鏡の姿勢を割り当てるステップと、
各仮想ビデオフレームから少なくとも１つの仮想フレーム特徴を抽出するステップと、
を更に含む、請求項１に記載の画像に基づくローカライゼーション方法。
【請求項３】
前記仮想ビデオフレーム、並びに前記内視鏡の姿勢割り当て及び前記抽出された少なくとも１つの仮想フレーム特徴を表わす仮想姿勢データセット、を含むパラメータ化されたデータベースを生成するステップを更に含む、請求項２に記載の画像に基づくローカライゼーション方法。
【請求項４】
前記解剖学的領域内の前記内視鏡経路に関する前記内視鏡の予測される姿勢を示す前記仮想ビデオフレームの視覚的なフライスルーを実行するステップを更に含む、請求項１に記載の画像に基づくローカライゼーション方法。
【請求項５】
前記内視鏡経路に従って前記身体の前記解剖学的領域を示す内視鏡画像を生成するステップと、
前記内視鏡画像の各内視鏡ビデオフレームから少なくとも１つの内視鏡フレーム特徴を抽出するステップと、
を更に含む、請求項２に記載の画像に基づくローカライゼーション方法。
【請求項６】
前記少なくとも１つの仮想フレーム特徴に対し、前記少なくとも１つの内視鏡フレーム特徴の画像マッチングを行うステップと、
前記画像マッチングに従って、前記内視鏡ビデオフレームに、前記仮想ビデオフレームの前記割り当てられた姿勢を対応付けるステップと、
を更に含む、請求項５に記載の画像に基づくローカライゼーション方法。
【請求項７】
前記内視鏡ビデオフレームの前記姿勢割り当てに従って、前記内視鏡画像内で前記内視鏡の推定される姿勢を示す追跡姿勢画像を生成するステップと、
前記追跡姿勢画像フレームをディスプレイに提供するステップと、
を含む、請求項６に記載の画像に基づくローカライゼーション方法。
【請求項８】
前記内視鏡ビデオフレームの前記姿勢割り当てを表わす追跡姿勢データを生成するステップと、
前記追跡姿勢データを前記内視鏡の内視鏡制御機構に提供するステップと、
を更に含む、請求項６に記載の画像に基づくローカライゼーション方法。
【請求項９】
前記内視鏡経路は、前記スキャン画像と関連付けられる離散化された構造空間内の近傍ノードの正確な位置値の関数として、生成される、請求項１に記載の画像に基づくローカライゼーション方法。
【請求項１０】
前記内視鏡は、気管支鏡及び撮像カニューレを含むグループから選択される、請求項１に記載の画像に基づくローカライゼーション方法。
【請求項１１】
身体の解剖学的領域を示すスキャン画像を生成するステップと、
前記スキャン画像から導き出される仮想情報を生成するステップであって、前記仮想情報は、内視鏡の運動学的特性及び光学的特性に従う、前記スキャン画像内の内視鏡経路に関する前記内視鏡の仮想姿勢の予測を含む、ステップと、
を含む、画像に基づくローカライゼーション方法。
【請求項１２】
前記内視鏡経路に従って前記身体の前記解剖学的領域を示す内視鏡画像を生成するステップと、
前記仮想情報及び前記内視鏡画像から導き出される追跡情報を生成するステップであって、前記追跡情報は、前記スキャン画像内の前記内視鏡経路に関する前記内視鏡の前記仮想姿勢の予測に対応する、前記内視鏡画像内の前記内視鏡経路に関する前記内視鏡の姿勢の推定を含む、ステップと、
を更に含む、請求項１１に記載の画像に基づくローカライゼーション方法。
【請求項１３】
身体の解剖学的領域を示すスキャン画像から導き出される仮想情報を生成するように動作可能な術前仮想サブシステムであって、前記仮想情報が、前記内視鏡の運動学的特性及び光学的特性による、前記スキャン画像内の内視鏡経路に関する前記内視鏡の仮想姿勢の予測を含む、術前仮想サブシステムと、
前記仮想情報、及び前記内視鏡経路に従って前記身体の解剖学的領域を示す内視鏡画像、から導き出される追跡情報を生成するように動作可能な術中追跡サブシステムであって、前記追跡情報は、前記スキャン画像内の前記内視鏡経路に関する前記内視鏡の仮想姿勢の予測に対応する、前記内視鏡画像内の前記内視鏡経路に関する前記内視鏡の姿勢の推定を含む、術中追跡サブシステムと、
を有する画像に基づくローカライゼーションシステム。
【請求項１４】
ディスプレイを更に有し、前記術中追跡サブシステムは更に、前記内視鏡画像内の前記内視鏡経路に関する前記内視鏡の推定される姿勢を示す追跡姿勢画像を、前記ディスプレイに提供するように動作可能である、請求項１３に記載の画像に基づくローカライゼーションシステム。
【請求項１５】
内視鏡制御機構を更に有し、前記術中追跡サブシステム更に、前記内視鏡画像内の前記内視鏡経路に関する前記内視鏡の推定される姿勢を表す追跡姿勢データを、前記内視鏡制御機構に提供するように動作可能である、請求項１３に記載の画像に基づくローカライゼーションシステム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、身体の解剖学的領域のスキャン画像に対する身体の解剖学的領域内の内視鏡の姿勢の画像に基づく（image-based）情報を提供するための、身体の解剖学的領域の画像に基づくローカライゼーションに関する。
【背景技術】
【０００２】
気管支鏡検査法(bronchoscopy)は、気管支鏡が内部構造の視覚情報を提供するために患者の気管支樹の内部に配置される標準の気管支鏡によって一般に実施される術中プロシージャである。
【０００３】
気管支鏡の空間的なローカライゼーションのための１つの既知の方法は、電磁（「ＥＭ」）追跡を使用することである。しかしながら、このソリューションは、例えば気管支鏡における外部磁場生成器及びコイルのような、付加の装置を必要とする。更に、正確さは、気管支鏡の金属又は外科フィールドの近傍の他の対象物によってもたらされる電磁界歪のため損なわれることがある。更に、ＥＭ追跡における位置合わせプロシージャは、外部座標系（例えばＥＭ場生成器の座標系又は動的参照ベースの座標系）とコンピュータトモグラフィ（「ＣＴ」）画像空間との間の関係を設定することを含む。一般に、位置合わせはポイントツーポイントマッチングによって実施され、これは、付加の待ち時間を生じさせる。位置合わせを行っても、呼吸のような患者の動きが、実際のロケーションと計算されるロケーションとの間にエラーを生じさせることがある。
【発明の概要】
【発明が解決しようとする課題】
【０００４】
気管支鏡の空間的なローカライゼーションに関する別の既知の方法は、術前３次元（「３Ｄ」）データセットを、気管支鏡からの２次元（「２Ｄ」）内視鏡画像と位置合わせすることである。具体的には、ビデオストリームからの画像が、患者画像の座標系のビデオフレームの相対位置を見つけるために、気管支樹の３Ｄモデル及びカメラフライスルーの関連する断面とマッチングされる。この２Ｄ／３Ｄ位置合わせに関する主な問題は、複雑さであり、これは、効率的に、リアルタイムに、十分な正確さを伴って実施されることができないことを意味する。この問題を解決するために、２Ｄ／３Ｄ位置合わせは、最初に粗い位置合わせを取得し、その後２Ｄ／３Ｄ位置合わせを介して変換パラメータの微調整を行うために、ＥＭ追跡によって支援される。
【０００５】
内視鏡ツールの画像ガイダンスに関する既知の方法は、光学的ローカライゼーションシステムによる内視鏡プローブの追跡を含む。ＣＴ座標系又は磁気共鳴イメージング（「ＭＲＩ」）座標系において内視鏡先端部をローカライズするために、内視鏡は、赤外線（「ＩＲ」）反射領域を有する追跡されるリジッドな筐体を備えられなければならない。内視鏡位置を追跡し、それを、ＣＴ又はＭＲＩ上の位置に関連付けることが可能であるように、位置合わせ及び較正が、内視鏡挿入前に実施されなければならない。目標は、「位置合わせされた」術前撮像データ（ＣＴ又はＭＲＩ）をオーバレイすることによって、内視鏡ビデオデータを強化することである。
【０００６】
本発明は、外部撮像システム（例えばＣＴ、ＭＲＩ、超音波、Ｘ線及び他の外部撮像システム）によって取得される身体の解剖学的領域のスキャン画像内に内視鏡の仮想画像を生成するために、術前計画の利用を前提とする。例えば、ここに詳しく説明されるように、本発明による仮想気管支鏡検査法は、被検解剖学的領域内に運動学的に正しい内視鏡経路を生成するために、気管支鏡又は撮像カニューレ（すなわち撮像装置を備える任意のタイプのカニューレ）の運動学的特性を使用するとともに、肺の３Ｄデータセットから得られる肺の３Ｄモデル内で気管支鏡又は撮像カニューレによる術前計画の実行を視覚的にシミュレートするために、気管支鏡又は撮像カニューレの光学的特性を使用する、術前内視鏡プロシージャである。
【０００７】
内視鏡が気管支鏡であるコンテクストにおいて、２００７年４月１７日公開のTrovato等による「3D Tool Path Planning, Simulation and Control System」という表題の国際公開第２００７／０４２９８６Ａ２号パンフレットによって教示される経路計画技法が、肺の３Ｄデータセットによって示される身体の解剖学的領域内に運動学的に正しい気管支鏡用経路を生成するために、使用されることができる。
【０００８】
内視鏡が撮像入れ子式カニューレであるコンテクストにおいて、２００８年３月２０日公開のTrovato等による「Active Cannula Configuration For Minimally Invasive Surgery」という表題の国際公開第２００８／０３２２３０Ａ１号パンフレットによって教示される経路計画／入れ子式カニューレ構造技法が、肺の３Ｄデータセットによって示される身体の解剖学的領域内に運動学的に正しい入れ子式カニューレ用経路を生成するために、使用されることができる。
【０００９】
本発明は更に、術前仮想画像及び内視鏡によって取得される被検解剖学的領域の内視鏡画像を比較するために画像取り出し技法の利用を前提とする。当分野において知られている画像取り出しは、例えば、Datta, R.、Joshi, D.、Li, J.及びWang, J. Z.による「Image retrieval: Ideas, influences, and trends of the newage」(ACM Comput. Surv. 40, 2, Article 5 (April 2008))に記述される画像取り出し技法のように、画像データベースから所与の特性を有する画像を取り出す方法である。画像は、クエリ画像との類似性に基づいて、データベースから取り出されることができる。画像間の類似性尺度は、画像特徴（例えば画像エッジ）間の幾何学的距離を測定する幾何学的なメトリック、又は例えばSelim Aksoy、Robert M. Haralickによる「Probabilistic vs. Geometric Similarity Measures for Image Retrieval」(IEEE Conf. Computer Vision and Pattern Recognition, 2000, pp 357-362, vol. 2)に記述されている類似性測定のような、画像特徴の見込みを使用する蓋然性尺度を使用して、確立されることができる。
【課題を解決するための手段】
【００１０】
本発明の１つの形態は、身体の解剖学的領域を示すスキャン画像の生成及びスキャン画像から導き出される仮想情報の生成を含む術前ステージを有する画像に基づくローカライゼーション方法である。仮想情報は、内視鏡の運動学的及び光学的特性に従う、スキャン画像内の内視鏡経路に関する内視鏡の仮想姿勢（virtual poses）の予測を含む。
【００１１】
術前ステージの例示の実施形態において、スキャン画像及び内視鏡の運動学的特性は、スキャン画像内に内視鏡経路を生成するために使用される。その後、内視鏡の光学的特性が、スキャン画像内の内視鏡経路の仮想画像を示す仮想ビデオフレームを生成するために使用される。加えて、スキャン画像内の内視鏡経路の姿勢が、仮想ビデオフレームに割り当てられ、１又は複数の画像特徴が、仮想ビデオフレームから抽出される。
【００１２】
画像に基づくローカライゼーション方法は更に、内視鏡経路に従って身体の解剖学的領域を示す内視鏡画像の生成及び仮想情報及び内視鏡画像から導き出される追跡情報の生成を含む術中ステージを有する。追跡情報は、スキャン画像内の内視鏡経路に関する内視鏡の仮想姿勢の予測に対応する、内視鏡画像内の内視鏡経路に関する内視鏡の姿勢(poses)の推定を含む。
【００１３】
術中ステージの例示の実施形態において、１又は複数の内視鏡フレーム特徴が、内視鏡画像の各ビデオフレームから抽出される。（複数の）仮想フレーム特徴に対する（複数の）内視鏡フレーム特徴の画像マッチングは、内視鏡ビデオフレーム及びゆえに内視鏡のロケーションへの仮想ビデオフレームの割り当てられた姿勢の対応付けを容易にする。
【００１４】
本発明の目的のために、本明細書において使用される「生成する」という語は、概して、特に画像データセット及びビデオフレームのコンピュータ処理及びメモリ記憶／取り出しの目的のために利用可能な情報（例えばデータ、テキスト、画像、ボイス及びビデオ）を生成し、供給し、提供し、取得し、作り出し、形成し、開発し、展開し、修正し、変形し、変更し又は他のやり方で作るための、当技術分野において現在知られている及び今後知られる任意の技法を含むものとして広く規定される。加えて、本明細書において使用される「導き出される（derived from）」という語句は、ソースの情報セットからターゲットの情報セットを生成するために、当分野において現在知られている又は今後知られる任意の技法を含むものとして広く規定される。
【００１５】
加えて、本明細書において用いられる「術前」という語は、内視鏡アプリケーション（例えば内視鏡用の経路計画）の前に行われる又は該内視鏡アプリケーション前の期間又は準備に関連する任意のアクティビティを記述するものとして広く規定され、本明細書において使用される「術中」という語は、（例えば計画された経路に従って内視鏡を動作させる）内視鏡アプリケーションの最中に行われ、実施され、又は遭遇される任意のアクティビティを記述するものとして広く規定される。内視鏡アプリケーションの例は、気管支鏡検査法、大腸内視鏡検査、腹腔鏡検査及び脳内視鏡検査を含むが、これらに限定されるものではない。
【００１６】
多くの場合、術前アクティビティ及び術中アクティビティは、明確に別々の時間期間中に行われる。それにもかかわらず、本発明は、術前及び術中時間期間の任意の程度の重なり合いを含むケースを含む。
【００１７】
更に、「内視鏡」という語は、身体の内側からイメージングする能力を有する任意の装置として広く規定される。本発明の目的を達成するための内視鏡の例は、可撓性又は剛性の任意のタイプのスコープ（例えば関節鏡、気管支鏡、胆管鏡、大腸内視鏡、膀胱鏡、十二指腸内視鏡、胃部内視鏡、子宮鏡、腹腔鏡、喉頭鏡、神経内視鏡、オトスコープ、プッシュ式腸内視鏡、耳鼻咽頭内視鏡、Ｓ字結腸鏡、副鼻腔内視鏡、ソラスコープ、その他）、及び画像システムを備えるスコープ（例えば撮像を伴う入れ子式カニューレ）と同様の任意の装置を含むが、これらに限定されるものではない。撮像は局所的であり、表面画像は、ファイバオプティクス、レンズ、小型化した（例えばＣＣＤベースの）撮像システムによって光学的に取得されることができる。
【００１８】
本発明の上述の形態及び他の形態並びに本発明のさまざまな特徴及び効果は、添付の図面に関連して理解される本発明のさまざまな実施形態の以下の詳細な説明から一層明らかになる。詳細な説明及び図面は、本発明を単に説明するものであって、制限するものではなく、本発明の範囲は、添付の請求項及びそれと等価なものによって規定される。
【図面の簡単な説明】
【００１９】
【図１】本発明の画像に基づくローカライゼーション方法の一実施形態を表わすフローチャート。
【図２】図１に示されるフローチャートの例示の気管支鏡検査法アプリケーションを示す図。
【図３】本発明の姿勢予測方法の一実施形態を表わすフローチャート。
【図４】図３に示されるフローチャートによる例示の気管支鏡用の内視鏡経路生成を示す図。
【図５】図３に示されるフローチャートによる例示の入れ子式カニューレ用の内視鏡経路生成を示す図。
【図６】図３に示されるフローチャートによる例示の座標空間及び非ホロノミック近傍の２Ｄ投影を示す図。
【図７】図３に示されるフローチャートによる例示の光学的仕様データを示す図。
【図８】図３に示されるフローチャートによる例示の仮想ビデオフレーム生成を示す図。
【図９】本発明の姿勢推定方法の一実施形態を表わすフローチャート。
【図１０】図９に示されるフローチャートによる内視鏡の例示の追跡を示す図。
【図１１】本発明の画像に基づくローカライゼーションシステムの一実施形態を示す図。
【発明を実施するための形態】
【００２０】
本発明の画像に基づくローカライゼーション方法を表わすフローチャート３０が、図１に示されている。図１を参照して、フローチャート３０は、術前ステージＳ３１及び術中ステージＳ３２に分割される。
【００２１】
術前ステージＳ３１は、人間又は動物の身体の解剖学的領域をスキャンして、被検解剖学的領域のスキャン画像２０を取得するための外部撮像システム（例えばＣＴ、ＭＲＩ、超音波、Ｘ線、その他）を含む。術中ステージＳ３２の間の診断又は治療に関して起こりうるニーズに基づいて、被検解剖学的領域の内視鏡によるシミュレートされた光学的ビューイングが、術前内視鏡プロシージャに従って実行される。シミュレートされたビューイングから予測される内視鏡の姿勢を詳しく示す仮想情報が、本明細書に後述されるように、術中ステージＳ３２の間、解剖学的領域の内視鏡画像内の内視鏡の姿勢を推定するために生成される。
【００２２】
例えば、図２の例示の術前ステージＳ３１に示されるように、ＣＴスキャナ５０は、患者の気管支樹４０をスキャンするために使用されることができ、その結果、気管支樹４０の３Ｄ画像２０を生じさせる。仮想気管支鏡検査法は、術中ステージＳ３２の間に気管支鏡検査法を実施するためのニーズに基づいて、後で実行されることもできる。具体的には、スキャン画像２０及び内視鏡５１の運動学的特性を使用して計画された経路技法が、気管支樹４０を通る内視鏡５１用の内視鏡経路５２を生成するために、実行されることができる。スキャン画像２０及び内視鏡５１の光学的特性を使用する画像処理技術は、内視鏡５１が仮想的に内視鏡経路５２を通り抜けるときの、気管支樹４０の内視鏡５１による光学的ビューイングをスキャン画像２０の３Ｄ空間に関してシミュレートするために、実行されることができる。光学的シミュレーションから導き出されるスキャン画像２０内における内視鏡５１の予測される仮想ロケーション（ｘ，ｙ，ｚ）及び向き（α，θ，φ）を詳しく示す仮想情報２１は、その後、直ちに処理されることができ及び／又は気管支鏡検査法のためにデータベース５３に記憶されることができる。
【００２３】
図１を再び参照して、術中ステージＳ３２は、内視鏡が、内視鏡プロシージャに従って被検解剖学的領域の内視鏡画像２２を生成することを含む。被検解剖学的領域内の内視鏡の姿勢を推定するために、仮想情報２１が、スキャン画像２０内の内視鏡の予測される仮想姿勢を内視鏡画像２２に対応付けるために参照される。対応付けの結果を詳しく示す追跡情報２３は、内視鏡プロシージャとの適合を容易にするように内視鏡を制御するために、及び／又は内視鏡画像２２内の内視鏡の推定された姿勢を表示するために、生成される。
【００２４】
例えば、図２の例示の術中ステージＳ３２に示されるように、内視鏡５１が、内視鏡経路５２を通り抜けるように動作されるとき、内視鏡５１は、気管支樹４０の内視鏡画像２２を生成する。アクション時の内視鏡５１のロケーション（ｘ，ｙ，ｚ）及び向き（α，θ，φ）を推定するために、仮想情報２１が、気管支樹４０のスキャン画像２０内における内視鏡５１の予測される仮想姿勢を、気管支樹４０の内視鏡画像２２に対応付けるために参照される。追跡姿勢データ２３ａの形の追跡情報２３は、内視鏡経路５２との適合を容易にするように、内視鏡５１の内視鏡制御機構（図示せず）に制御データを供給するために生成される。加えて、追跡姿勢画像２３ａの形の追跡情報２３が、気管支樹４０内の内視鏡５１の推定された姿勢をディスプレイ５４上に表示するために、生成される。
【００２５】
図１及び図２の先行する記述は、本発明の画像に基づくローカライゼーション方法の概略的な本発明の原理を教示している。実際、本発明は、フローチャート３０が実現される態様又はモードに対していかなる制約又はいかなる制限も課さない。それにもかかわらず、図３−図１０の以下の記述は、本発明の画像に基づくローカライゼーション方法の更なる理解を容易にするために、フローチャート３０の例示の実施形態を教示する。
【００２６】
本発明の姿勢予測方法を表わすフローチャート６０が、図３に示されている。フローチャート６０は、図１の術前ステージＳ３１の例示の実施形態である。
【００２７】
図３を参照して、フローチャート６０のステージＳ６１は、スキャン画像２０に示される身体の解剖学的領域の３Ｄ表面セグメント化を実行し、３Ｄ表面セグメント化を表わす３Ｄ表面データ２４を生成することを含む。被検解剖学的領域の３Ｄ表面セグメント化の技法は、当業者によって知られている。例えば、気管支樹のボリュームは、本明細書に後述されるようにフローチャート６０のステージＳ６２及びＳ６３のために必要とされる気管支樹の内部表面画像を取得するために、既知のマーチングキューブ表面抽出を使用することによって、気管支樹のＣＴスキャンからセグメント化されることができる。
【００２８】
フローチャート６０のステージＳ６２は、スキャン画像２０内に内視鏡用の運動学的にカスタマイズされた経路を生成するために、３Ｄ表面データ２４及び内視鏡の運動学的特性を表す仕様データ２５を使用して、計画される経路技法（例えば高速マーチング又はＡ＊検索技法）を実行することを含む。例えば、内視鏡が気管支鏡であるコンテクストにおいて、２００７年４月１７日公開のTrovato他による「3D Tool Path Planning, Simulation and Control System」という表題の国際公開第２００７／０４２９８６Ａ２号パンフレットによって教示される既知の経路計画技法が、３Ｄ表面データ２４（例えばＣＴスキャンデータセット）によって表わされるスキャン画像２０内に運動学的にカスタマイズされた経路を生成するために、使用されることができる。この文献の内容全体が、参照によって本明細書に盛り込まれるものとする。図４は、気管支樹のスキャン画像７０内の例示の気管支鏡用の内視鏡経路７１を示している。内視鏡経路７１は、入口ロケーション７２と目標ロケーション７３との間に延在する。
【００２９】
更に例示として、内視鏡が撮像入れ子式カニューレであるコンテクストにおいて、２００８年３月２０日公開のTrovato他による「Active Cannula Configuration For Minimally Invasive Surgery」という表題の国際公開第２００８／０３２２３０Ａ１号パンフレットによって教示される経路計画／入れ子式カニューレ構造技法が、３Ｄ表面データ２４（例えばＣＴスキャンデータセット）によって表わされる被検解剖学的領域内に、撮像カニューレ用の運動学的にカスタマイズされた経路を生成するために、使用されることができる。この文献の内容全体が、参照によって本明細書に盛り込まれるものとする。図５は、気管支樹の画像７４内の例示の撮像入れ子式カニューレ用の内視鏡経路７５を示している。内視鏡経路７５は、入口ロケーション７６と目標ロケーション７７との間に延在する。
【００３０】
続いて図３を参照して、運動的にカスタマイズされた経路を表わす内視鏡経路データ２６が、本明細書に後述されるステージＳ６３のために、及び術中ステージ３２（図１）の間に内視鏡を介して術中プロシージャを実施するために、生成される。ステージＳ６２の術前経路生成方法は、当分野において知られているような離散化された構造空間を含み、内視鏡経路データ２６は、適用可能な近傍によって横断される構造空間の座標の関数として、生成される。例えば、図６は、７つのスレッド８１−８７の３次元非ホロノミック近傍８０を示している。これは、スレッド８１によって表わされる向きでホーム位置Ｈから到達されることができる相対位置及び向きをカプセル化する。
【００３１】
ステージＳ６２の術前経路生成方法は、好適には、本発明による離散化された構造空間の連続する利用を含み、従って、内視鏡経路データ２６は、離散化された構造空間全体における近傍の正確な位置値の関数として、生成される。
【００３２】
ステージＳ６２の術前経路生成方法は、それが不正確な離散化された構造空間において運動学的にカスタマイズされた正確な経路を提供するので、好適には、経路生成器として用いられる。更に、方法は、経路の６次元仕様が、３Ｄ空間内で計算され記憶されることを可能にする。例えば、構造空間は、例えばＣＴによって一般に生成される異方性（非立方体ボクセル）画像のような３Ｄ障壁空間に基づくことができる。ボクセルが、離散的な非立方体であるにもかかわらず、計画器は、例えば接続された一連の円弧のような、滑らかな経路を生成することができる。これは、はるかに少ないメモリが必要とされ、経路が迅速に計算されることができることを意味する。しかしながら、離散化の選択は、障壁領域に影響を及ぼし、従って、結果として得られる実行可能な経路に影響を及ぼす。結果は、内視鏡の連続する座標系における、滑らかで運動学的に実行可能な経路である。これは、２００８年６月２６日及び２００８年９月２３日出願のTrovato他による「Method and System for Fast Precise Planning」という表題の米国特許出願第６１／０７５，８８６号及び第６１／０９９，２３３号明細書により詳しく記述されており、その内容全体が、参照によって本明細書に盛り込まれるものとする。
【００３３】
図３に戻って、フローチャート６０のステージＳ６３は、光学的仕様データ２７によって表される内視鏡の光学的特性によって、３Ｄ表面データ及び内視鏡経路データ２６によって表されるスキャン画像２０内の内視鏡経路の仮想画像を示す２Ｄ断面仮想ビデオフレーム２１ａを順次に生成することを含む。具体的には、仮想内視鏡は、内視鏡経路に沿って前進され、仮想ビデオフレーム２１ａは、内視鏡経路を前進する実際の内視鏡によって取得されるであろう被検解剖学的領域のビデオフレームのシミュレーションとして、内視鏡経路の予め決められた経路ポイントにおいて順次に生成される。このシミュレーションは、物理的な内視鏡の光学的特性を考慮して達成される。
【００３４】
例えば、図７は、本発明に関連する内視鏡９０のいくつかの光学的特性を示している。具体的には、内視鏡９０のレンズ９１のサイズは、投影方向９５に沿って焦点９４を有する視野領域９２の視野角９３を確立する。前方クリッピング平面９６及び後方クリッピング平面９７は、フィールドの光学的深さに類似する内視鏡９０の可視化エリアを規定するために、投影方向９５と直交する。付加のパラメータは、レンズ９１に対する内視鏡９０の光源の位置、角度、強度及び色を含む。光学的仕様データ２７（図３）は、適用可能な内視鏡の１又は複数の光学的特性９１−９７及び任意の他の関連する特性を示すことができる。
【００３５】
図３に戻って、実際の内視鏡の光学的特性が、仮想内視鏡に適用される。シミュレーションの任意の所与の経路ポイントにおいて、仮想内視鏡がスキャン画像２０内のどこを見ているか、スキャン画像２０のどのエリアが仮想内視鏡によってフォーカスされているか、仮想内視鏡によって放出される光の強度及び色、並びに任意の他の関連する光学的特性を知ることは、実際の内視鏡によって当該経路ポイントにおいて取得されるビデオフレームのシミュレーションとして仮想ビデオフレームを生成することを容易にする。
【００３６】
例えば、図８は、図５に示される経路７５のエリア７８から取得される４つの例示の逐次的な仮想ビデオフレーム１００−１０３を示している。各フレーム１００−１０３は、シミュレーション時に予め決められた経路ポイントにおいて取得されたものである。仮想ビデオフレーム１００−１０３は、それぞれ、被検気管支樹内の内視鏡によって取得されるエリア７８の例えば２Ｄ断面の光学的ビューイングをシミュレートするエリア７８の特定の２Ｄ断面を示している。
【００３７】
図３に戻って、フローチャート６０のステージＳ６４は、各々の仮想ビデオフレーム２１ａの姿勢割り当てを含む。具体的には、スキャン画像２０の座標空間が、仮想ビデオフレーム２１ａの生成において利用される各々の経路ポイントの位置及び向きを考慮して、スキャン画像２０内の各々の仮想ビデオフレーム２１ａのユニークな位置（ｘ，ｙ，ｚ）及び向き（α，θ，φ）を決定するために使用される。
【００３８】
ステージＳ６４は更に、各々の仮想ビデオフレーム２１ａから１又は複数の画像特徴を抽出することを含む。特徴抽出の例は、分岐点のエッジ及びビューフィールドに対するその相対位置、分岐点のエッジ形状、ピクセル強度の強度パターン及び空間分布（光学的にリアリスティックな仮想ビデオフレームが生成される場合）を含むが、これらに限定されるものではない。エッジは、シンプルな既知のエッジ演算子（例えばカニー（Canny）又はラプラシアン（Laplacian））を使用して、又はより進歩した既知のアルゴリズム（例えばウェーブレット解析）を使用して、検出されることができる。分岐点形状は、既知の形状記述子及び／又は主成分分析による形状モデリングを使用して、解析されることができる。図８に示されるように、別の例として、これらの技法は、フレーム１００−１０３のエッジ及びフレーム１０２及び１０３に示される成長１０４を抽出するために、使用されることができる。
【００３９】
ステージＳ６４の結果は、仮想ビデオフレーム２１ａごとに、術前画像２０の座標空間のユニークな位置（ｘ，ｙ，ｚ）及び向き（α，θ，φ）並びに詳しく後述される特徴マッチングのために抽出された画像特徴を表わす仮想データセット２１ｂである。
【００４０】
フローチャート６０のステージＳ６５は、適当なパラメータフィールドを有するデータベース内に、仮想ビデオフレーム２１ａ及び仮想姿勢データセット２１ｂを記憶することを含む。
【００４１】
フローチャート６０のステージＳ６６は、診断目的で、被検解剖学的領域内で内視鏡の視覚的なフライスルーを実行するために仮想ビデオフレーム２１ａを利用することを含む。
【００４２】
図３を再び参照して、フローチャート６０の完了は、仮想ビデオフレーム２１ａ及び仮想データセット２１ｂのパラメータ化された記憶をもたらし、従って、データベースは、仮想ビデオフレーム２１ａと、生成された被検解剖学的領域の内視鏡画像２２（図１）のビデオフレームとの間の整合を見出し、整合された内視鏡ビデオフレームに各々の仮想ビデオフレーム２１ａのユニークな位置（ｘ，ｙ，ｚ）及び向き（α，θ，φ）を対応付けるために、使用される。
【００４３】
更にこの点に関して、図９は、本発明の姿勢推定方法を表わすフローチャート１１０を示している。術中プロシージャの間、フローチャート１１０のステージＳ１１１は、被検解剖学的領域の内視鏡から取得される内視鏡画像２２（図１）の各々の２Ｄ断面ビデオフレーム２２ａから、画像特徴を抽出することを含む。再び、特徴抽出の例は、分岐点のエッジ及びビューフィールドに対するその相対位置、分岐点のエッジ形状、ピクセル強度の強度パターン及び空間分布（光学的にリアリスティックな仮想ビデオフレームが生成される場合）を含むが、これらに制限されるものではない。エッジは、シンプルな既知のエッジ演算子（例えばカニー（Canny）又はラプラシアン（Laplacian））を使用して、又はより進歩した既知のアルゴリズム（例えばウェーブレット解析）を使用して、検出されることができる。分岐点形状は、既知の形状記述子及び／又は主成分分析による形状モデリングを使用して、解析されることができる。
【００４４】
フローチャート１１０のステージＳ１１２は更に、内視鏡ビデオフレーム２２ａから抽出された画像特徴に対し、仮想ビデオフレーム２１ａから抽出された画像特徴を画像マッチングすることを含む。規定されたメトリック（例えば、形状差、エッジ距離など）を使用して最も同様の特徴を有する２つの画像を見つけるための知られている検索技法が、画像特徴をマッチングするために使用されることができる。更に、時間効率を得るために、検索技法は、解剖学的領域の特定のエリアにデータベース検索を制約するために、画像の以前の整合に関するリアルタイム情報を使用するように洗練されることもできる。例えば、データベース検索は、最後の整合から±１０ｍｍのポイント及び向きに制約されることができ、好適には、最初に、期待される経路に沿って検索し、次に、期待される経路から制限された距離及び経路の範囲内の検索を行う。明らかに、許容できる基準の範囲内での整合を意味する整合がない場合、ロケーションデータは有効ではなく、システムは、エラー信号を記録するべきである。
【００４５】
フローチャート１１０のステージＳ１１３は更に、内視鏡画像２２内における内視鏡の姿勢を推定するために、仮想ビデオフレーム２１ａの（複数の）画像特徴に整合する内視鏡ビデオフレーム２２ａに、仮想ビデオフレーム２１ａの位置（ｘ，ｙ，ｚ）及び向き（α，θ，φ）を対応付けることを含む。より具体的には、ステージＳ１１２において達成される特徴マッチングは、被検解剖学的領域のスキャン画像２０（図１）の座標系内の各々の仮想ビデオフレーム２１ａの位置（ｘ，ｙ，ｚ）及び向き（α，θ，φ）を、内視鏡ビデオフレーム２２ａの１つに対し、被検解剖学的領域の内視鏡画像２２内における内視鏡の姿勢の推定として座標に関して対応付けることを可能にする。
【００４６】
この姿勢の対応付けは、被検解剖学的領域内の内視鏡経路に関する内視鏡の推定される姿勢を示す追跡姿勢画像２３ｂを生成することを容易にする。具体的には、追跡姿勢画像２３ａは、内視鏡ビデオフレーム２２ａの割り当てられた姿勢から導き出される内視鏡及び内視鏡経路オーバレイを有するスキャン画像２０（図１）のバージョンである。
【００４７】
姿勢の対応付けは、更に、被検解剖学的領域内の内視鏡の推定された姿勢を表わす追跡姿勢データ２３ａの生成を容易にする。具体的には、追跡姿勢データ２３ｂは、計画された内視鏡経路への適合を確実にするために、内視鏡の制御機構において使用されるべき任意の形式（例えばコマンド形式又は信号形式）を有することができる。
【００４８】
例えば、図１０は、撮像入れ子式カニューレを用いて実施される仮想気管支鏡検査法１２０によって提供される仮想ビデオフレーム１３０と、同じ又は運動学的及び光学的に等価な撮像入れ子式カニューレを用いて実施される術中気管支鏡検査法によって提供される内視鏡ビデオフレーム１３１と、を示している。仮想ビデオフレーム１３０は、関連するデータベースから取り出され、それによって、仮想ビデオフレーム１３０からの画像特徴１３３（例えば、エッジ特徴）の以前の又はリアルタイムの抽出１２２及び内視鏡ビデオフレーム１３１からの画像特徴１３２の抽出１２３は、一対のフレームの特徴マッチング１２４を容易にする。その結果、座標空間の対応付け１３４は、追跡姿勢画像１３５に示される気管支内の内視鏡１２５の推定された位置及び向きの制御フィードバック及び表示を可能にする。
【００４９】
内視鏡の以前の位置及び向きが知られており、各々の内視鏡ビデオフレーム１３１が、リアルタイムに利用可能にされるので、「現在ロケーション」は近くにあるべきであり、従って、候補画像１３０の組を狭める。例えば、多くの同様に見える気管支がありうる。各々の気管支に沿った「スナップショット」は、信頼できそうであるが、おそらく非常に異なるロケーションの大きい組を生成する。更に、ロケーションごとに、向きの離散化されたサブセットさえも、多数の潜在的なビューを生成する。しかしながら、想定された経路がすでに知られている場合、組は、それらの見込みのあるｘ，ｙ，ｚロケーション及び見込みのあるα，θ，φ（ｒｘ，ｒｙ，ｒｚ）向きに低減されることができ、期待される状態付近に可能性としてバリエーションがありうる。更に、以前の「整合されたロケーション」に基づいて、候補である画像１３０の組は、それらの以前のロケーションから経過時間内に到達可能なものに制限される。撮像カニューレの運動学は、可能性のある選択を更に制限する。一旦整合が仮想フレーム１３０と「ライブ画像」１３１との間でなされると、仮想フレーム１３０からの位置及び向きのタグが、患者内の撮像カニューレの実際の向きの術前空間の座標を与える。
【００５０】
図１１は、本発明のさまざまな方法を実現するための例示のシステム１７０を示している。図１１を参照して、術前ステージの間、患者１４０の外部の撮像システムが、解剖学的領域を示すスキャン画像２０を提供するために、患者１４０の解剖学的領域をスキャン（例えば気管支１４１のＣＴスキャン）するために使用される。システム１７０の術前仮想サブシステム１７１は、ディスプレイ１６０を介して関連する術前内視鏡プロシージャの視覚的なフライスルー２１ｃを表示し、パラメータ化されたデータベース１７３に仮想ビデオフレーム２１ａ及び仮想データセット２１ｂを記憶するために、術前ステージＳ３１（図１）又はより具体的にはフローチャート６０（図３）を実現する。仮想情報２１ａ／ｂは、解剖学的領域内の内視鏡経路（例えば気管支樹１４１を通る撮像入れ子式カニューレ１５１を用いる、シミュレートされる気管支鏡検査法の内視鏡経路１５２）に関する内視鏡の仮想画像を詳しく示す。
【００５１】
術中状態の間、システム１８０の内視鏡制御機構（図示せず）は、計画された内視鏡経路に従って、解剖学的領域内における内視鏡の挿入を制御するように動作される。システム１８０は、システム１７０の術中追跡サブシステム１７２に、解剖学的領域の内視鏡画像２２を提供し、術中追跡サブシステム１７２は、追跡画像２３ａをディスプレイ１６０に表示し、及び／又は制御フィードバックの目的でシステム１８０に追跡姿勢データ２３ｂを提供するために、術中ステージＳ３２（図１）又はより具体的にはフローチャート１１０（図９）を実現する。追跡画像２２ａ及び追跡姿勢データ２３ｂは、解剖学的領域を通る物理的な内視鏡の内視鏡経路の情報を集合的に与える（例えば、気管支樹１４１を通る撮像入れ子式カニューレ１５１のリアルタイム追跡）。システム１７２が、仮想ビデオフレーム２１ａと内視鏡ビデオフレーム（図示せず）との間の特徴整合を達成することに失敗する場合、追跡姿勢データ２３ａは、失敗を示すエラーメッセージを含む。
【００５２】
本発明のさまざまな実施形態が、図示され、記述されているが、本明細書に記述される方法及びシステムは説明的であり、さまざまな変更及び変形がなされることができ、等価なものが、本発明の真の範囲を逸脱することなく、その構成要素と置き換えられることができることが当業者によって理解されるだろう。更に、多くの変形が、その中心の範囲から逸脱することなく、本発明の教示をエンティティ経路計画に適応させるように行われることができる。従って、本発明は、本発明を実施するために企図される最良のモードとして開示されている特定の実施形態に限定されず、本発明は、添付の請求項の範囲内に入るすべての実施形態を含むことが意図される。
【図１】
2012505695.tif 000003
【図２】
2012505695.tif 000004
【図３】
2012505695.tif 000005
【図４】
2012505695.tif 000006
【図５】
2012505695.tif 000007
【図６】
2012505695.tif 000008
【図７】
2012505695.tif 000009
【図８】
2012505695.tif 000010
【図９】
2012505695.tif 000011
【図１０】
2012505695.tif 000012
【図１１】
2012505695.tif 000013
【国際調査報告】
2012505695.tif 000014
2012505695.tif 000015
2012505695.tif 000016
2012505695.tif 000017