(57)【要約】解剖学的構造を通じて動く医療デバイスの遠位端の観点から捕捉された逐次的な画像から抽出される情報が、該解剖学的構造のコンピュータ・モデルから抽出された対応する情報と比較される。次いで、一組の潜在的なマッチに関連付けられた諸確率を使って、逐次的な画像から抽出された情報とコンピュータ・モデルから抽出された対応する情報との間の最も確からしいマッチが決定され、それにより解剖学的構造のコンピュータ・モデルを医療デバイスに位置合わせし、それにより医療デバイスが現在位置している解剖学的構造の管腔を決定する。潜在的なマッチの集合を制限するためにセンサー情報が使われてもよい。最も確からしいマッチの決定の一環として、画像のシーケンスおよび潜在的なマッチの集合に関連する特徴アトリビュートが定量的に比較されてもよい。【特許請求の範囲】
【請求項１】
分岐した解剖学的構造のコンピュータ・モデルの情報を記憶するメモリと；
前記分岐した解剖学的構造における医療デバイスの位置を決定するために前記コンピュータ・モデルを前記医療デバイスに位置合わせするようプログラムされたプロセッサとを有する医療システムであって、前記位置合わせは、前記分岐した解剖学的構造中の複数の管腔を含む経路を通じて動く際の前記医療デバイスの遠位端の観点から画像捕捉装置によって捕捉された画像のシーケンスから抽出された情報と、前記分岐した解剖学的構造の前記コンピュータ・モデルから抽出された対応する情報との間の最も確からしいマッチを決定することによる、
医療システム。
【請求項２】
画像の前記シーケンスから抽出された前記情報が、画像の前記シーケンスに現われる特徴点の情報を含む、請求項１記載の医療システム。
【請求項３】
画像の前記シーケンスから抽出された前記情報が、画像の前記シーケンスに現われる管腔の情報を含む、請求項１記載の医療システム。
【請求項４】
捕捉された画像の前記シーケンスから斑点を抽出し、それにより画像の前記シーケンスに現われる各管腔が抽出された斑点の一つによって示され、画像の前記シーケンスに現われる管腔の前記情報が抽出された斑点の情報を含むようにする段階をさらに含む、請求項３記載の医療システム。
【請求項５】
抽出された斑点の前記情報が抽出された斑点の特徴アトリビュートの情報を含む、請求項４記載の医療システム。
【請求項６】
前記プロセッサが：
抽出された斑点の特徴アトリビュートの情報を決定し；
前記特徴アトリビュートを、前記分岐した解剖学的構造の前記コンピュータ・モデルから抽出された対応する特徴アトリビュートと比較することによって、
前記複数のトラックレットのそれぞれについて前記分岐した解剖学的構造の前記コンピュータ・モデルにおける潜在的なマッチの前記集合を同定するようプログラムされている、
請求項４記載の医療システム。
【請求項７】
前記抽出された斑点の特徴アトリビュートの情報を決定することが、前記抽出された斑点の数、形状、大きさ、位置および配向のうちの一つまたは複数の情報を決定することを含む、請求項６記載の医療システム。
【請求項８】
前記抽出された斑点の特徴アトリビュートの情報を決定することが：
前記抽出された斑点に関係した寸法の一つまたは複数の比およびそれぞれ前記分岐した解剖学的構造における同じノードから分岐して出る管腔を示す抽出された斑点の対の重心を通って延びる線の間の一つまたは複数の角度のうちの少なくとも一つを決定することを含む、
請求項７記載のシステム。
【請求項９】
前記複数のトラックレットのそれぞれについて前記分岐した解剖学的構造の前記コンピュータ・モデルにおける潜在的なマッチの前記集合を同定することが、潜在的なマッチの前記集合を、前記分岐した解剖学的構造の前記コンピュータ・モデルから抽出可能であり、かつ、合成画像に現われる管腔の、前記トラックレットにおけるのと同じおよび相対位置をもつ、合成画像に対応するノードに制約することを含み、前記相対位置は、どの管腔が他の管腔内に見えるかを示す、請求項８記載の方法。
【請求項１０】
前記複数のトラックレットのそれぞれについて前記分岐した解剖学的構造の前記コンピュータ・モデルにおける潜在的なマッチの前記集合を同定することが、潜在的なマッチの前記集合を、前記分岐した解剖学的構造の前記コンピュータ・モデルから抽出可能であり、かつ、前記トラックレットの前記抽出された斑点の特徴アトリビュートに対して閾値差以内の特徴アトリビュートをもつ、合成画像に対応するノードに制約することを含む、請求項８記載の方法。
【請求項１１】
前記複数のトラックレットのそれぞれについて前記分岐した解剖学的構造の前記コンピュータ・モデルにおける潜在的なマッチの前記集合を同定することが、前記抽出された斑点における特徴アトリビュートの一つと、前記合成画像における特徴アトリビュートの対応する一つとの間の差を示す値を決定することによって、前記トラックレットの前記抽出された斑点の前記特徴アトリビュートの、潜在的なマッチの前記集合の要素の前記合成画像の対応する特徴アトリビュートに対する定量的な比較を生成することを含む、請求項１０記載の医療システム。
【請求項１２】
画像の前記シーケンスが複数のトラックレットを含み、前記複数のトラックレットのそれぞれは、画像の前記シーケンスの、トポロジー的に等価だが前記複数のトラックレットのうちの隣接するものとはトポロジー的に異なっている部分集合であり、前記プロセッサは、最も確からしいマッチを決定するのを：
前記複数のトラックレットのそれぞれについて前記分岐した解剖学的構造の前記コンピュータ・モデルにおける潜在的なマッチの集合を同定し；
前記複数のトラックレットのそれぞれについて潜在的なマッチの前記集合の各要素についてマッチの品質を示す確率を決定し；
前記複数のトラックレットのそれぞれについて潜在的なマッチの前記集合についての前記確率の情報を使って、最大の組み合わされた確率を決定することによって行なうようプログラムされている、
請求項１記載の医療システム。
【請求項１３】
前記プロセッサは、最も確からしいマッチを決定するのをさらに：
前記複数のトラックレットのそれぞれについて潜在的なマッチの前記集合の各要素について遷移確率の集合を決定する段階であって、遷移確率の前記集合の各要素は、当該トラックレットから前記複数のトラックレットのシーケンス上次のトラックレットへの遷移についてのマッチの品質を示す、段階と；
前記複数のトラックレットのそれぞれについて潜在的なマッチの前記集合についての前記確率および遷移確率の情報を使って、前記最大の組み合わされた確率を決定することによって行なうようプログラムされている、
請求項１２記載の医療システム。
【請求項１４】
前記プロセッサは、前記複数のトラックレットのそれぞれについて潜在的なマッチの前記集合の各要素について遷移確率の前記集合を決定することを、前記分岐した解剖学的構造の前記コンピュータ・モデルにおける接続性の性的な知識を使って行なうようプログラムされている、請求項１３記載の医療システム。
【請求項１５】
前記プロセッサは、前記複数のトラックレットのそれぞれについて潜在的なマッチの前記集合の各要素について遷移確率の前記集合を決定することを、前記分岐した解剖学的構造中の前記経路を通じた前記医療デバイスの動きの動的な知識を使って行なうようプログラムされている、請求項１３記載の医療システム。
【請求項１６】
前記プロセッサは、前記複数のトラックレットのそれぞれについて前記分岐した解剖学的構造の前記コンピュータ・モデルにおける潜在的なマッチの前記集合を、前記分岐した解剖学的構造の前記コンピュータ・モデルの分枝のうち、当該トラックレットとトポロジー的に等価なもののみを含めることによって同定するようプログラムされている、請求項１３記載の医療システム。
【請求項１７】
各トラックレットにおいて管腔の同じ集合が現われ、隣接するトラックレットどうしは少なくとも一つの管腔を共通にもつ、請求項１３記載の医療システム。
【請求項１８】
前記プロセッサは、画像の前記シーケンス中の斑点を抽出し、該斑点の集合が変化するまで追跡することによって、各トラックレットを同定するようプログラムされており、各斑点は前記分岐した解剖学的構造内の管腔に対応する、請求項１７記載の医療システム。
【請求項１９】
前記プロセッサは、画像の前記シーケンス中の抽出された斑点の前記集合からの偽の追加および削除を無視することによって、各トラックレットについての抽出された斑点のメンバーシップを決定するようプログラムされている、請求項１７記載の医療システム。
【請求項２０】
前記プロセッサは、逐次的な画像の前記集合を解析して、抽出された斑点の前記集合への偽の追加につながる、抽出された斑点における誤って同定された管腔を検出し、抽出された斑点の前記集合からの偽の削除につながる、前記医療デバイスがある管腔にはいったという偽の判定を検出するようプログラムされている、請求項１９記載の医療システム。
【請求項２１】
前記プロセッサが、決定された情報を平均することおよび決定された情報における突出値を消去することの少なくとも一方を使うことによって、決定された情報をフィルタリングすることにより、前記抽出された斑点の特徴アトリビュートの情報を決定するようプログラムされている、請求項１３記載の医療システム。
【請求項２２】
前記分岐した解剖学的構造の前記コンピュータ・モデルが、前記医療デバイスが中を動いている前記解剖学的構造に空間的に位置合わせされ、当該医療システムがさらに：
前記分岐した解剖学的構造に対する前記医療デバイスの遠位端の位置を決定するための位置センサーを有しており、
前記プロセッサが、前記位置センサーからの位置情報を使うことによって、前記複数のトラックレットのそれぞれについて前記分岐した解剖学的構造の前記コンピュータ・モデルにおける潜在的なマッチの前記集合を同定するようプログラムされている、
請求項１３記載の医療システム。
【請求項２３】
前記分岐した解剖学的構造の前記コンピュータ・モデルが、前記医療デバイスが中を動いている前記解剖学的構造に空間的に位置合わせされ、当該医療システムがさらに：
固定した水平面に対する前記医療デバイスの遠位端の配向を決定するための配向センサーを有しており、
前記プロセッサが、前記配向センサーからの配向情報を使うことによって、前記複数のトラックレットのそれぞれについて前記分岐した解剖学的構造の前記コンピュータ・モデルにおける潜在的なマッチの前記集合を同定するようプログラムされている、
請求項１３記載の医療システム。
【請求項２４】
前記分岐した解剖学的構造の前記コンピュータ・モデルが、前記医療デバイスが中を動いている前記解剖学的構造に空間的に位置合わせされ、当該医療システムがさらに：
前記医療デバイスの長手軸のまわりの前記医療デバイスのロール角度を決定するためのロール・センサーを有しており、
前記プロセッサが、前記ロール・センサーからのロール情報を使うことによって、前記複数のトラックレットのそれぞれについて前記分岐した解剖学的構造の前記コンピュータ・モデルにおける潜在的なマッチの前記集合を同定するようプログラムされている、
請求項１３記載の医療システム。
【請求項２５】
前記分岐した解剖学的構造の前記コンピュータ・モデルが、前記医療デバイスが中を動いている前記解剖学的構造に空間的に位置合わせされ、当該医療システムがさらに：
前記医療デバイスの遠位端の前記分岐した解剖学的構造中への挿入距離を決定するための挿入センサーを有しており、
前記プロセッサが、前記挿入センサーからの挿入情報を使うことによって、前記複数のトラックレットのそれぞれについて前記分岐した解剖学的構造の前記コンピュータ・モデルにおける潜在的なマッチの前記集合を同定するようプログラムされている、
請求項１３記載の医療システム。
【請求項２６】
分岐した解剖学的構造における医療デバイスの位置を決定する方法であって：
前記医療デバイスが前記分岐した解剖学的構造中の複数の管腔を含む経路を通じて動く際の前記医療デバイスの遠位端の観点から捕捉された画像のシーケンスから抽出された情報と、前記分岐した解剖学的構造の前記コンピュータ・モデルから抽出された対応する情報との間の最も確からしいマッチを決定する段階を含む、方法。
【請求項２７】
画像の前記シーケンスが複数のトラックレットを含み、前記複数のトラックレットのそれぞれは、画像の前記シーケンスの、トポロジー的に等価だが前記複数のトラックレットのうちの隣接するものとはトポロジー的に異なっている部分集合であり、前記最も確からしいマッチを決定する段階は：
前記複数のトラックレットのそれぞれについて前記分岐した解剖学的構造の前記コンピュータ・モデルにおける潜在的なマッチの集合を同定し；
前記複数のトラックレットのそれぞれについて潜在的なマッチの前記集合の各要素についてマッチの品質を示す確率を決定し；
前記複数のトラックレットのそれぞれについて潜在的なマッチの前記集合についての前記確率の情報を使って、最大の組み合わされた確率を決定することを含む、
請求項２６記載の方法。
【請求項２８】
前記最も確からしいマッチを決定する段階がさらに：
前記複数のトラックレットのそれぞれについて潜在的なマッチの前記集合の各要素について遷移確率の集合を決定する段階であって、遷移確率の前記集合の各要素は、当該トラックレットから前記複数のトラックレットのシーケンス上次のトラックレットへの遷移についてのマッチの品質を示す、段階と；
前記複数のトラックレットのそれぞれについて潜在的なマッチの前記集合についての前記確率および遷移確率の情報を使って、前記最大の組み合わされた確率を決定することを含む、
請求項２７記載の方法。
【請求項２９】
捕捉された画像の前記シーケンスから斑点を抽出し、それにより画像の前記シーケンスに現われる各管腔が抽出された斑点の一つによって示され、画像の前記シーケンスに現われる管腔の前記情報が抽出された斑点の情報を含むようにする段階をさらに含む、
請求項２８記載の方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は概括的には医療システムに、詳細には分岐した解剖学的構造における医療デバイスの位置を、該医療デバイスが分岐した解剖学的構造を通じて動く際の該医療デバイスの遠位端において捕捉された諸画像の情報を、分岐した解剖学的構造のコンピュータ・モデルから抽出された対応する情報と比較することによって、決定するためのシステムおよび方法に関する。
【背景技術】
【０００２】
画像案内される手術は、外科医が、標的に対して療法および／または診断医療手順が実行されうるよう、患者内の標的まで医療デバイスをナビゲートするのを助ける。案内のためには、医療デバイスの遠位端の位置が追跡されてもよく、その画像が、標的に関連する解剖学的構造のコンピュータ・モデルとともにまたは該コンピュータ・モデルに重畳されて表示される。コンピュータ・モデルは、X線、超音波、透視法、計算機断層撮影（CT）、磁気共鳴撮像（MRI）および他の撮像技術といった手術前および／または手術中の患者解剖構造スキャン・データから生成されてもよい。医療デバイスは、内視鏡、カテーテルまたは方向制御可能な先端および患者の分岐した解剖学的構造内で標的につながる身体通路または管腔に従うことができる柔軟なボディをもつ医療器具でありうる。
【０００３】
医療デバイス、解剖学的構造および該解剖学的構造のコンピュータ・モデルの互いとの適正な位置合わせが、正確な画像案内手術のためには望ましい。したがって、典型的には、これらの項目の位置合わせが、患者に対して医療手順を実行する前に実行される。しかしながら、医療デバイスが解剖学的構造を通じて動く際の解剖学的構造の動きおよび／または医療デバイスを追跡することの困難のため、医療手順の実行中に位置合わせ誤差が増大することがある。常時動いている分岐した解剖学的構造中を柔軟な医療デバイスが標的領域までナビゲートされる場合、医療デバイスの追跡される位置と分岐した解剖学的構造との間の適正な位置合わせを維持することは、特に困難である。
【０００４】
特許文献１は、解剖学的構造の動きを動的参照（dynamic  referencing）および／またはゲーティング技法を使って追跡し、医療デバイスが解剖学的構造内部を動く際の医療デバイスの動きを電磁（EM）追跡デバイスを使って追跡することを記載している。しかしながら、少なくとも部分的には動的参照、EM追跡デバイスおよび解剖学的な動きに起因する不正確さのため、肺または心臓のような分岐した解剖学的構造を通じて動く医療デバイスの正確な位置合わせは、分岐した解剖学的構造中の複数の管腔がそのような不正確さから帰結する不確定領域内にあるときには、誤りを生じやすい。
【０００５】
非特許文献１は、気管支鏡の姿勢を決定するための、現在の気管支鏡カメラ・フレームと生成された仮想フレームとの間の最大の類似性を決定する二段階の画像ベースの方法を記載している。第一段階は、気管支鏡ビデオの連続する画像間のフレーム間動きパラメータを、スケール不変特徴変換（SIFT:  scale  invariant  feature  transform）特徴およびエピポーラー幾何解析を使って予測する。第二段階は、第一段階の推定された結果に従って、現在の気管支鏡カメラ姿勢の事後確率密度を再帰的に近似する。第二段階は、カメラ動きパラメータと、仮想気管支鏡および患者固有の真の気管支鏡の画像の間の類似性とであるものとして定義されるランダム・サンプルのセットを生成するので、現在のカメラ動きパラメータは、サンプル・セット内部の最大の類似性に対応する一つのサンプルの姿勢に等しいものと判別されることができる。この方法はよい精度を与えることが示されているが、逐次的モンテカルロ（SMC:  Sequential  Monte  Carlo）方法を使ったその計算の複雑さは、毎秒3.0フレームくらいの計算時間をもつリアルタイム用途には不適である。
【０００６】
非特許文献２は、電磁追跡（EMT:  electromagnetic  tracking）および画像ベースの追跡（IBT:  image  based  tracking）の両方を、二つの追跡入力の間の位置特定誤差を適応的に推定するエラー状態カルマン・フィルタとともに用いるハイブリッド手法を記述している。しかしながら、誤差が大きくなると、システムは自らを自己訂正することができない。したがって、ひとたび追跡が解剖学的構造中の気管支鏡の真の経路から遠ざかると、操作者介入が必要になることがある。
【０００７】
特許文献２は、ライブ・カメラ・ビューをコンピュータ・モデルからレンダリングされた対応するビューに連続的に整列させておくことによって、気管支鏡におけるカメラ姿勢推定を実行する方法を記載している。これは、前のフレームからの推定が、現在のフレームの逐次反復的な最適化のシードを与えるために正確であることを前提としている。しかしながら、この方法は、現実世界できわめて起こりやすい何らかの追跡障害から回復することができない。
【先行技術文献】
【特許文献】
【０００８】
【特許文献１】米国特許出願公開第2005/0182319号
【特許文献２】米国特許第7,756,563号
【特許文献３】米国特許出願公開第2010/0249506A1号「内視鏡ナビゲーションにおいて操作者を支援する方法およびシステム」
【特許文献４】国際公開第2008/097461号「内視鏡を自動制御する装置および方法」
【特許文献５】米国特許出願公開第2007/0156019A1号「ファイバー・ブラッグ格子を使った位置センサーを含むロボット手術システム」
【特許文献６】米国特許出願公開第2008/0212082A1号「レイリー散乱に基づく光ファイバー位置および／または形状感知」
【特許文献７】米国特許出願公開第2008/0218770A1号「ブラッグ・ファイバー・センサーを使ったロボット手術器具および方法」
【特許文献８】米国特許出願公開第2009/0324161A1号「光ファイバー形状センサー」
【非特許文献】
【０００９】
【非特許文献１】Luo,  Xiongbiao  et  al.、"On  Scale  Invariant  Features  and  Sequential  Monte  Carlo  Sampling  for  Bronchoscope  Tracking"、Medical  Imaging  2011  :  Visualization,  Image-Guided  Procedures,  and  Modeling、Kenneth  H.  Wong,  David  R.  Homes  III（編）、Proc.  Of  SPIE  Vol.  7964,  79640Q
【非特許文献２】Soper,  Timothy  D.  et  al.、"In  Vivo  Validation  of  a  Hybrid  Tracking  System  for  Navigation  of  an  Ultrathin  Bronchoscope  within  Peripheral  Airways"  IEEE  Transactions  on  Biomedical  Engineering、  Vol.57,  No.3,  March  2010、pp.736-745
【非特許文献３】Richard  Hartley  and  Andrew  Zisserman、Multiple  View  Geometry  in  Computer  Vision、Cambridge  University  Press,  2nd  Edition,  2004
【非特許文献４】C.  Tomasi  and  T.  Kanade、"Factoring  image  sequences  into  shape  and  motion"、Proceedings  of  the  IEEE  Workshop  on  Visual  Motion、pp.21-28,  Princeton,  NJ,  October  1991
【発明の概要】
【発明が解決しようとする課題】
【００１０】
よって、本発明の一つまたは複数の側面の一つの目的は、医療デバイスが分岐した解剖学的構造を通じて動く際に、分岐した解剖学的構造中の医療デバイスの位置を決定するための、医療システムおよびその中で実装される方法である。
【００１１】
本発明の一つまたは複数の側面のもう一つの目的は、医療デバイスが分岐した解剖学的構造を通じて動く際に、分岐した解剖学的構造中の医療デバイスの位置を決定するための、医療システムおよびその中で実装される方法であって、自己訂正式であるものである。
【００１２】
本発明の一つまたは複数の側面のもう一つの目的は、医療デバイスが分岐した解剖学的構造を通じて動く際に、分岐した解剖学的構造中の医療デバイスの位置を決定するための、医療システムおよびその中で実装される方法であって、計算効率がよく、リアルタイム用途に好適なものである。
【００１３】
本発明の一つまたは複数の側面のもう一つの目的は、医療デバイスが分岐した解剖学的構造を通じて動く際に、分岐した解剖学的構造中の医療デバイスの位置を決定するための、医療システムおよびその中で実装される方法であって、正確な結果を与えるものである。
【課題を解決するための手段】
【００１４】
これらおよびさらなる目的は、本発明のさまざまな側面によって達成される。簡単には、一つの側面は：分岐した解剖学的構造のコンピュータ・モデルの情報を記憶するメモリと；分岐した解剖学的構造における医療デバイスの位置を決定するためにコンピュータ・モデルを医療デバイスに位置合わせするようプログラムされたプロセッサとを有する医療システムであって、前記位置合わせは、該医療デバイスが分岐した解剖学的構造中の複数の管腔を通じて動く際の該医療デバイスの遠位端の観点から画像捕捉装置によって捕捉された画像のシーケンスから抽出された情報と、分岐した解剖学的構造のコンピュータ・モデルから抽出された対応する情報との間の最も確からしいマッチを決定することによる、医療システムである。
【００１５】
もう一つの側面は、分岐した解剖学的構造における医療デバイスの位置を決定する方法であって、該医療デバイスが分岐した解剖学的構造中の複数の管腔を通じて動く際の該医療デバイスの遠位端の観点から捕捉された画像のシーケンスから抽出された情報と、分岐した解剖学的構造のコンピュータ・モデルから抽出された対応する情報との間の最も確からしいマッチを決定することを含む、方法である。
【００１６】
本発明のさまざまな側面のさらなる目的、特徴および利点は、付属の図面との関連で参酌すべき以下の記述から明白となるであろう。
【図面の簡単な説明】
【００１７】
【図１】手で操作する医療デバイスを含む本発明の諸側面を利用する医療システムを示す図である。
【図２】遠隔操作される医療デバイスを含む本発明の諸側面を利用する代替的な医療システムを示す図である。
【図３】患者に対して医療手順を実行する前に実施される手術前タスクの図である。
【図４】分岐した解剖学的構造中の標的エリアへの医療デバイスのナビゲーションの際の補助画面の図である。
【図５】本発明の諸側面を利用する、分岐した解剖学的構造中の医療デバイスの位置を決定するために、分岐した解剖学的構造のコンピュータ・モデルを医療デバイスに位置合わせする方法の流れ図である。
【図６】医療デバイスが分岐した解剖学的構造を通じて動く際に医療デバイスの遠位端の観点から画像捕捉装置によって捕捉された画像を示す図である。
【図７】図６の捕捉された画像から抽出された斑点を、該斑点についての特徴属性を定義するために有用な線分とともに示す図である。
【図８】医療デバイスが分岐した解剖学的構造を通じて動く際に医療デバイスの遠位端の観点から画像捕捉装置によって捕捉された画像から抽出されうる斑点トポロジーのさまざまな例を示す図の一つである。
【図９】医療デバイスが分岐した解剖学的構造を通じて動く際に医療デバイスの遠位端の観点から画像捕捉装置によって捕捉された画像から抽出されうる斑点トポロジーのさまざまな例を示す図の一つである。
【図１０】医療デバイスが分岐した解剖学的構造を通じて動く際に医療デバイスの遠位端の観点から画像捕捉装置によって捕捉された画像から抽出されうる斑点トポロジーのさまざまな例を示す図の一つである。
【図１１】医療デバイスが分岐した解剖学的構造を通じて動く際に医療デバイスの遠位端の観点から画像捕捉装置によって捕捉された画像から抽出されうる斑点トポロジーのさまざまな例を示す図の一つである。
【図１２】医療デバイスが分岐した解剖学的構造を通じて動く際に医療デバイスの遠位端の観点から画像捕捉装置によって捕捉された画像から抽出されうる斑点トポロジーのさまざまな例を示す図の一つである。
【図１３】医療デバイスが分岐した解剖学的構造を通じて動く際に医療デバイスの遠位端の観点から画像捕捉装置によって捕捉された画像から抽出されうる斑点トポロジーのさまざまな例を示す図の一つである。
【図１４】医療デバイスが分岐した解剖学的構造を通じて動く際に医療デバイスの遠位端の観点から画像捕捉装置によって捕捉された画像についての偽陰性の斑点識別の例を示す図である。
【図１５】医療デバイスが分岐した解剖学的構造を通じて動く際に医療デバイスの遠位端の観点から画像捕捉装置によって捕捉された画像についての偽陽性の斑点識別の例を示す図である。
【図１６】医療デバイスが分岐した解剖学的構造を通じて動く際に医療デバイスの遠位端の観点から画像捕捉装置によって捕捉された諸画像から抽出された斑点の特徴属性を定義するために使用されうる斑点特性の例を示す図である。
【図１７】医療デバイスが分岐した解剖学的構造を通じて動く際に医療デバイスの遠位端の観点から画像捕捉装置によって捕捉された諸画像から抽出された斑点の特徴属性を定義するために使用されうる斑点特性の例を示す図である。
【図１８】医療デバイスが分岐した解剖学的構造における分岐点に向かって動く際に医療デバイスの遠位端の観点から画像捕捉装置によって捕捉された諸画像から抽出された斑点のシーケンスの例を示す図の一つである。
【図１９】医療デバイスが分岐した解剖学的構造における分岐点に向かって動く際に医療デバイスの遠位端の観点から画像捕捉装置によって捕捉された諸画像から抽出された斑点のシーケンスの例を示す図の一つである。
【図２０】図６の捕捉された画像から抽出された斑点を、該斑点についての特徴属性を定義するために使用される線分とともに示す図である。
【図２１】コンピュータ・モデルから生成された諸合成画像からマッチする斑点を見出すためのテンプレートとして使用される特徴属性を形状とする捕捉された画像斑点を示す図である。
【図２２】医療デバイスが解剖学的構造の管腔を通じて動く際の、任意的な位置、配向、ロールおよび挿入センサーをもつ医療デバイスの概略図である。
【図２３】図２２の任意的な位置センサーに関連するデカルト座標系を示す図である。
【図２４】図２２の任意的な配向センサーに関連する配向角を示す図である。
【発明を実施するための形態】
【００１８】
図１は、例として、方向制御可能な医療デバイス１１０と、一つまたは複数のセンサー１３１と、センサー・プロセッサ１３０と、前記一つまたは複数のセンサー１３１を前記センサー・プロセッサ１３０に結合する一つまたは複数の信号通信ケーブル１３２と、画像捕捉要素１４１と、画像プロセッサ１４０と、前記画像捕捉要素１４１を前記画像プロセッサ１４０に結合する光ファイバーもしくは電気ケーブル１４２と、表示プロセッサ１５０と、主表示画面１５１と、補助表示画面１５２と、メイン・プロセッサ１６０と、メモリ１６１６を含む医療システム１００を示している。別個のユニットとして図示されているが、センサー・プロセッサ１３０、画像プロセッサ１４０、表示プロセッサ１５０およびメイン・プロセッサ１６０は、単一のプロセッサにおいて実装されてもよい。あるいはそれぞれの機能が複数のプロセッサの間に分散されてもよく、そのような各プロセッサはハードウェア、ファームウェア、ソフトウェアまたはその組み合わせとして実装されてもよい。本稿での用法では、プロセッサという用語は、通常のデジタル処理論理のほかに、信号を変換するおよび／または信号を該プロセッサにおよび／またはから通信するためのインターフェース論理および／または回路を含むものと理解される。メモリ１６１は、コンピュータ・システムにおいて通常使われるいかなるメモリ・デバイスまたはデータ記憶システムであってもよい。主および補助表示画面１５１および１５２は好ましくは、システム１００の操作者に対して三次元画像を表示することができるコンピュータ・モニタである。しかしながら、コストまたは他の事情のため、主および補助表示画面１５１および１５２のいずれか一方または両方が、二次元画像を表示するだけの機能をもつ標準的なコンピュータ・モニタであってもよい。
【００１９】
医療デバイス１１０は、柔軟なボディ１１４と、その遠位端１１１にある方向制御可能な先端１１２と、その近位端１１５にある手で操作可能なハンドル１１６とをもつ。制御ケーブル（図示せず）または他の制御手段が典型的にはハンドル１１６から方向制御可能な先端１１２に延びており、それにより先端１１２が制御可能に曲げられたり、あるいは向きを変えたりされうる。このことは、例として、曲げられた先端１１２の点線バージョンによって示されている。医療デバイス１１０は内視鏡、カテーテルまたは柔軟なボディおよび方向制御可能な先端をもつ他の医療器具であってもよい。
【００２０】
画像捕捉要素１４１は、画像を捕捉するための遠位端１１１に配置された立体視もしくは単眼視カメラまたは他の撮像装置であってもよい。画像は、画像プロセッサ１４０および／または表示プロセッサ１５０に伝送され、これによって処理され、主表示画面１５１、補助表示画面１５２および／または他の表示手段上に、本稿に記載される発明のさまざまな側面に従って表示される。あるいはまた、画像捕捉要素１４１は、ファイバースコープのような医療デバイス１１１の近位端における撮像および処理システムに結合する光ファイバー束であってもよい。画像捕捉要素１４１は、可視または赤外／紫外スペクトルにおいて画像データを捕捉する、単一または複数スペクトルであってもよい。このように、本稿で言及される任意の画像捕捉要素、装置またはシステムは、これらおよび他の撮像技術の任意のものまたは組み合わせであってもよい。複数の光ファイバー・ケーブルの一つ（図示せず）は、遠位端１１１における照明目的のために、その近位端において光源（図示せず）に結合されていてもよい。前記複数の光ファイバー・ケーブルの他のもの（図示せず）は、ファイバー・ブラッグ格子（またはレイリー散乱を用いるもののような他のひずみセンサー）のような、医療デバイス１１０の長さに沿って分布した位置および曲がりもしくは形状センサーをもって構成されてもよく、それにより、これらの光ファイバー・ケーブルを通過する光が、医療デバイス１１０の現在の姿勢および形状を決定するためにセンサー・プロセッサ１３０によって処理される。
【００２１】
図２は、医療システム１００の代替的な実施形態を示している。ここでは、ハンドル１１６は、医療デバイス１１０を遠隔操作するための電気機械インターフェース１７０、コントローラ１８０および入力装置１９０によって置き換えられている。インターフェース１７０は、医療デバイス１１０の先端１１２を方向制御するために医療デバイス１１０内のケーブルを発動させるアクチュエータおよび医療デバイス１１０全体を前進および後退させるアクチュエータを含んでいる。そのような前進・後退により、医療デバイス１１０は、自然な身体の開口または外科医が作った最小侵襲切開のような入力ポートを通じて患者の中に挿入されたり患者から引き出されたりされうる。さらに、インターフェース１７０は、医療デバイス１１０をその中心長手軸のまわりに回転させるアクチュエータを含んでいてもよい。コントローラ１８０は好ましくは、プロセッサ１３０、１４０、１５０および１６０と同じ一つまたは複数のコンピュータ・プロセッサまたは異なるコンピュータ・プロセッサにおいてハードウェア、ファームウェアまたはソフトウェア（またはその組み合わせ）として実装される。柔軟なボディ１１４は受動的または能動的に曲げられることができてもよい。本医療システムは、上記の二つの例のハイブリッドであることもできる。
【００２２】
そのような方向制御可能な医療デバイスの例が特許文献３および特許文献４に記載されている。これらはそれぞれここに参照によって組み込まれる。ファイバー・ブラッグ格子を使った内視鏡の位置および曲がりの決定についての詳細はたとえば特許文献５、６、７、８に見出すことができ、これらはそれぞれここに参照によって組み込まれる。
【００２３】
図３は、例として、患者に対して実行される医療手順を計画する際に実行されうる手術前タスクの図である。以下の例では、分岐した解剖学的構造は、医療手順の間、空気および血液の循環系の周期的な動きにおいて、あるいは咳または他の身体痙攣のような非周期的な動きにおいてのように、動きうる。
【００２４】
ブロック３０１では、適切な撮像技術を使って患者の画像の集合が取得され、それから分岐した解剖学的構造の三次元（3D）コンピュータ・モデルが生成されてもよい。そのような撮像技術の例は、これに限られないが、X線透視法、磁気共鳴撮像、サーモグラフィー、断層撮影、超音波、光干渉断層撮影、熱撮像、インピーダンス撮像、レーザー撮像およびナノチューブX線撮像を含む。分岐した解剖学的構造が人間の肺のような拡張／収縮サイクルに従う場合には、人工呼吸器または動き検出器などからのトリガー信号を使って極値において画像の前記集合を取得することが有利であることがある。
【００２５】
ブロック３０２では、分岐した解剖学的構造の三次元（3D）コンピュータ・モデルが解剖学的構造の取得された画像から生成される。ブロック３０３では、分岐した解剖学的構造において一つまたは複数の標的が同定されてもよい。標的は、解剖学的構造内または解剖学的構造に隣接する位置またはオブジェクトであり、該標的においてまたは該標的に対して医療手順が実行される。たとえば、標的は、解剖学的構造内または解剖学的構造に隣接する腫瘍であってもよい。標的（単数または複数）の同定は、外科医または放射線医によって、通常の仕方で、解剖学的構造の取得された画像または生成された3Dコンピュータ・モデル情報のいずれであれそのような同定のためにより便利であるおよび／または信頼できるほうの分析によって行なわれてもよい。
【００２６】
ブロック３０４では、医療デバイス１１０の作業端が各標的まで進むために、前記解剖学的構造までおよび前記解剖学的構造を通じて、ナビゲーション経路が決定されてもよい。この場合、作業端は、医療デバイス１１０の遠位端１１１であると想定される。外科医は、標的までの好適なナビゲーション経路を決定することを、解剖学的構造の取得された画像または生成された3Dコンピュータ・モデルを分析して医療デバイス１１０が標的に向かって動く際に引き起こしうる患者へのダメージがあるとすればそのダメージならびに最短時間および／または最短経路を考慮に入れることによって行なってもよい。あるいはまた、人工知能技法を使って前記ナビゲーション経路を決定するようそのような解析を実行するために、コンピュータ・プログラムがプロセッサによって実行されてもよい。
【００２７】
図４は、例として、解剖学的構造内の標的エリアまでの医療デバイス１１０のナビゲーションの間の補助表示画面１５２のビューを示している。このビューは、分岐した解剖学的構造のコンピュータ・モデル４２０および医療デバイス１１０のコンピュータ・モデル４１０の2Dまたは3Dのビューであってもよく、これは、医療デバイス１１０が解剖学的構造を通じて動くにつれてリアルタイムで更新される。標的の指示４２１も示されている。このように、補助画面１５２は、外科医が、解剖学的構造を通じて標的まで医療デバイス１１０を方向制御することを支援する。
【００２８】
この例において、分岐した解剖学的構造は、気管、気管支および細気管支を含む複数の自然の身体通路または管腔を有する一対の肺である。医療デバイス１１０は気管支鏡であり、患者へのその入口ポートは患者の口である。肺の性質のため、医療デバイス１１０は、気管支樹のいくつかのリンクされた管腔または分枝を通って案内されてもよい。そうすることにおいて、医療デバイス１１０の柔軟なボディ１１４は、通過する通路の形に従う。今の例では一対の肺が示されているが、本発明のさまざまな側面は、呼吸系のほか、心臓、脳、消化系、循環系および泌尿器系のような他の解剖学的構造についても適用可能であり、有用である。
【００２９】
図４に示したように分岐した解剖学的構造および医療デバイスのコンピュータ・モデルを補助表示画面１５２上に表示することに加えて、またはその代わりに、画像捕捉要素１４１によって捕捉された画像が、主表示画面１５１上で、医療デバイス１１０の遠位端１１１の観点からの分岐した解剖学的構造の3Dコンピュータ・モデルから生成される合成画像と隣り合わせで示されてもよい。この場合、標的に向かって取られるべき方向を示すために合成画像上に矢印が表示されてもよい。さらなる詳細については、2011年5月13日に出願された「画像案内手術のための解剖学的構造のモデルの動的位置合わせを提供する医療システム」という名称の米国特許出願第13/107,562号、代理人整理番号ISRG03100/US参照。これはここに参照によって組み込まれる。
【００３０】
システム１００を使って患者に対する医療手順を実行することの準備において、いくつかの手術前位置合わせタスクが通常の仕方で実行される。まず、たとえば医療デバイス１１０の遠位端１１１を固定参照系における一つまたは複数の既知であり定常的な点に触れさせることによって、医療デバイス１１０が固定参照系に対して位置特定される。第二に、医療デバイス１１０の遠位端１１１を患者上の一つまたは複数の点に触れさせることによって、患者が固定参照系に位置合わせされてもよい。前記患者上の点は、自然の身体特徴または人工的なマーカーのような患者の取得された画像上の識別可能な点に対応する。第三に、患者および自然の身体特徴または人工的マーカーのようなコンピュータ・モデル上の対応する参照点を使って、解剖学的構造のコンピュータ・モデルが患者に位置合わせされてもよい。こうして、医療デバイス１１０、分岐した解剖学的構造および該解剖学的構造のコンピュータ・モデルがこのようにして互いに対して、かつ固定参照系に対して位置合わせされうる。
【００３１】
しかしながら、患者に対する医療手順の実行中に、部分的には、医療デバイスが分岐した解剖学的構造を通じて動く際に医療デバイス１１０の遠位端の位置を追跡することにおける内在的な不正確さのために、医療デバイスと分岐した解剖学的構造のコンピュータ・モデルとの間に位置合わせ誤差が生じることがある。位置合わせ誤差は、医療デバイス１１０の遠位端を追跡するために使われる運動学における誤差、遠位端の位置を追跡するために使われるセンサーに関連する誤差および／または分岐した解剖学的構造の動きによって引き起こされる誤差から帰結しうる。これらおよび他の可能な誤差の結果として、分岐した解剖学的構造の医療デバイス１１０に対する位置合わせ不良が生じることがある。結果として、システムによって提供されるナビゲーション案内支援は誤っていることがある。
【００３２】
図５は、例として、医療デバイスが分岐した解剖学的構造を通じて動く際に分岐した解剖学的構造における医療デバイスの位置が決定されうるよう、分岐した解剖学的構造のコンピュータ・モデルを医療デバイスに対して位置合わせするための、好ましくはメイン・プロセッサ１６０によって実装される方法を示している。この場合、分岐した解剖学的構造における医療デバイスの位置は、医療デバイスが現在存在している分岐した解剖学的構造の管腔を示す。この方法は、単体の位置合わせ技法として使われてもよく、あるいは他の位置合わせ技法と組み合わされてもよい。たとえば、本方法がグローバルな位置合わせのために使われて、別の技法がローカルな位置合わせのために使われてもよい。
【００３３】
手短かには、本方法は、医療デバイスが分岐した解剖学的構造を通じて動く際に医療デバイスの遠位端の観点から捕捉された画像から抽出される管腔情報を同定し、追跡し、分岐した解剖学的構造のコンピュータ・モデルから抽出された対応する管腔情報と相関させて、医療デバイスの遠位端の、分岐した解剖学的構造への位置合わせを可能にする。特に、本方法は、捕捉された画像のシーケンスにおいて見られる管腔のトポロジー、特徴アトリビュート、挙動および／または関係の情報を、分岐した解剖学的構造のコンピュータ・モデルにおける管腔のトポロジー、特徴アトリビュート、挙動および／または関係の対応する情報と比較する。次いで、捕捉された画像のシーケンスにおいて見られる管腔の経路と、分岐した解剖学的構造のコンピュータ・モデルにおける管腔の経路との間の最も確からしいマッチが決定されて、分岐した解剖学的構造のどの管腔に医療デバイスが現在存在しているかを示す。
【００３４】
ブロック５０１〜５０４を含む本方法の第一の部分では、逐次的に受領される画像において、斑点が抽出され、ラベル付けされ、画像中に現われる斑点の集合に変化が現われるまで追跡される。各抽出された斑点は、分岐した解剖学的構造における現在はいっているまたははいることのできる管腔を示すよう抽出されている。たとえば、捕捉された画像における管腔は、該管腔の遠いほうの側がより少なく照明されているという事実のため、画像中のより暗い穴として見えるものと思われる。すると、画像中の顕著な暗い領域を抽出するために、画像処理技法が使用できる。このように、これらの抽出された顕著な暗い領域は、本稿では「斑点〔ブロブ〕」と称される。抽出された斑点は管腔を示すので、斑点および管腔の用語は本稿では交換可能に使われることがある。トポロジー的に等価な画像のシーケンス（たとえば、斑点または管腔の同じ集合が見えているシーケンス）は、本稿では「トラックレット（tracklet）」と称される。このように、医療デバイスが分岐した解剖学的構造を通じて動く経路は、トラックレットのシーケンスである。
【００３５】
ブロック５０１において、本方法は、医療デバイスが分岐のある解剖学的構造を通じて動く際の医療デバイスの遠位端の観点からの、たとえば画像捕捉要素１１４によって捕捉された画像を受領する。そのような受領された画像の例が図６に示されている。ここでは、肺における分岐点が示されており、該分岐点の管腔のそれぞれに下流の分岐点が見えている。受領された画像は、（図のような）単眼視画像であっても、あるいは奥行き情報を与える立体視画像であってもよい。
【００３６】
ブロック５０２では、本方法は、最大安定外部領域（MSER:  Maximally  Stable  External  Regions）のようないくつかのよく知られた斑点検出アルゴリズムのうちの任意の好適なものを使って、斑点を抽出するために受領された画像を処理する。処理された画像の例が図７に示されている。ここでは、図６の受領された画像から抽出された斑点の粗い輪郭が見えている。図７にはまた、各分岐点について、一方の管腔の重心に接続された一端および分岐点の他方の管腔の重心に接続された他端をもつ線分も示されている。
【００３７】
分岐した解剖学的構造における管腔を示す閉曲線として斑点をよりよく定義するために、斑点抽出の前および／または抽出の間に、よく知られた画像フィルタリングおよび／またはエッジ検出技法を使っての追加的な画像処理が望ましいことがある。捕捉された画像中の画像観察の、分岐した解剖学的構造のコンピュータ・モデルとの関連付けを助けるために、レンズ歪み補正が実行されてもよい。図８〜図２０は、そのような処理から帰結しうるさまざまな斑点トポロジーを示している。
【００３８】
たとえば、図８は、医療デバイスがその時点で下流のノードが一つも見えない管腔８０１を通じて動いているところを示している。図９は、医療デバイスが管腔９０２、９０３を有する下流の分岐点が見える管腔９０１を通じて動いているところの例を示している。図１０は、医療デバイスが管腔１００２、１００３、１００４を含む下流の三分岐点が見える管腔１００１を通じて動いているところの例を示している。図１１は、医療デバイスが管腔１１０２、１１０３、１１０４を含む下流の三分岐点が図１０の三分岐点とは異なる配向において見える管腔１１０１を通じて動いているところのもう一つの例を示している。図１２および図１３は、医療デバイスが管腔１２０２、１２０３を含む第一の下流の分岐点が見え、管腔１２０３内には管腔１２０４、１２０５を含む第二の下流の分岐点が見える管腔１２０１を通じて動いているところの例を示している。図１３は、医療デバイスが管腔１２０３中に動いて管腔１２０１、１２０２がもはや見えなくなっているところの例を示している。
【００３９】
ブロック５０３では、抽出された斑点のそれぞれが追跡される。斑点がブロック５０１〜５０４を通じたループによって受領される諸画像の現在シーケンスにおいて初めて見られる場合、その斑点は、本方法がその斑点を（あるいはより具体的にはその斑点が示す管腔を）追跡しうるよう、前に割り当てられていない参照番号をもってラベル付けされる。他方、斑点が前に受領された画像において見られた場合には、すでにラベルを割り当てられており、代わりに追跡される。このコンテキストにおける追跡とは、ある画像から別の画像にかけて当該斑点を同定することを意味する。一般に、そのような同定は、単に、諸斑点がそれらの画像に現われる相対的な位置を考慮に入れることによってなされてもよい。
【００４０】
斑点追跡の例として、図１８および図１９は、トラックレット内の二つの逐次的な画像を示している。図１８では、医療デバイスが管腔１８０１を通って分岐点に向かって動いている間に、斑点／管腔１８０２、１８０３を含む分岐点が遠方から見えている。図１９では、医療デバイスが、その遠位端を斑点／管腔１８０３のほうに方向制御されて管腔１８０１を通じて動いたので、同じ分岐点がより近い距離から見える。この例では、互いに対するそれらの位置は同じままなので（すなわち、斑点１８０２は分岐点の左の管腔であり続け、斑点１８０３は分岐点の右の管腔であり続ける）、斑点１８０２、１８０３は、図１８と図１９に示される画像の間で簡単に追跡されうる。
【００４１】
斑点同定のもう少し込み入った例として、上記の図１２および図１３は、隣り合うトラックレットの間での遷移につながる逐次的な画像の異なる対を示している。図１２と図１３の比較により、図１３では、管腔（すなわち斑点）の数が減少しているので、医療デバイスは管腔１２０２、１２０３の一方の中に動いた可能性が非常に高い。さらに、医療デバイスは管腔１２０３中に動いた可能性が非常に高い。これは、図１３においては下流の分岐点が見え、図１２に示される先に受領された画像によれば、下流の分岐点は管腔１２０３において見えるだけだからである。
【００４２】
ブロック５０４では、本方法は、本方法がブロック５０１〜５０４を通じてループする際に受領される諸画像の現在シーケンスにおいてトポロジー的な等価性が維持されているかどうかの判定をする。ブロック５０４における判定が肯定であれば、ブロック５０５において、本方法は、受領された画像を現在のトラックレットに関連付け、画像の現在シーケンスに追加するためにブロック５０１にループで戻る。他方、ブロック５０４における判定が否定であれば、ブロック５０６において、最も最近に受領された画像で始まる新しいトラックレットが定義される。次いで現在のトラックレットは閉じられ、そのためそのトラックレットは、最も最近に受領された画像（すなわち、ラベル付けされた斑点の消失または新たな斑点の出現によって斑点の集合に最初に変化を示した画像）までの、ただし該最も最近に受領された画像は含まない画像の前記現在シーケンスのみを含む。
【００４３】
例として、現在のトラックレットは、結果として、図１２に示される抽出された斑点を与えうる。医療デバイスが管腔／斑点１２０３中に動いたのち、新しいトラックレットが、結果として図１３に示される抽出された斑点を与える。
【００４４】
一対の逐次的な画像の間で斑点の数が減少するとき、まずなされる想定は、図１２および図１３に示されるように、医療デバイスがノード（たとえば分岐点または三分岐点）を通過し、そのノードから分かれて出る管腔にはいったということである。他方、一対の逐次的な画像の間で斑点の数が増すときは、まずなされる想定は、医療デバイスが分岐点または三分岐点のような下流のノードが見える点まで管腔内を前進したということである。これらの最初の想定は、逐次的な画像および／またはセンサー・データにおける追跡される斑点の進行の知識によって反証されることがある。たとえば、逐次的に捕捉される諸画像の進行において消失する斑点が画像の境界に向かって接近し、境界から出ることは、医療デバイスがノードを通過したという最初の想定を確証する。一方、画像のシーケンスにおける消失する斑点の異なる挙動は、該最初の想定を反証することがある。もう一つの例として、医療デバイスを分岐した解剖学的構造中に挿入することおよび分岐した解剖学的構造から引き抜くことを感知することのできるセンサーは、逆の指示によって最初の想定を反証することができる。
【００４５】
そのような最初の想定での一つの潜在的な問題は、偽陰性（すなわち、現在画像における斑点／管腔の数が前の画像における斑点／管腔の数より少ないという正しくない判定）および偽陽性（すなわち、現在画像における斑点／管腔の数が前の画像における斑点／管腔の数より多いという正しくない判定）の判定である。図９を図１４に示される偽陰性の例についての基礎として使うと、障害物１４０４が背景組織にあまりによく溶け込んでいて、その背後の斑点９０２が消失したように見える。再び図９を図１５に示される偽陽性の例についての基礎として使うと、外来性のオブジェクト１５０４が管腔９０１内に現われている。
【００４６】
そのような偽陰性および偽陽性の型および原因に依存して、偽判定をなくすために本方法によって追加的な処理および／または論理が実行されてもよい。たとえば、図１４に示されるように一方の側に外れて位置される単一の下流の斑点／管腔はありそうもないように思えるので、偽陰性は無視されるべきである。もう一つの例として、図１５に示されるように、三分岐を示す三つの斑点／管腔が現われることがあるが、抽出された斑点についての特徴アトリビュートを、分岐した解剖学的構造のコンピュータ・モデルから生成された合成画像における三分岐斑点についての対応する特徴アトリビュートと比較することにより、現在画像における偽陽性判定が明らかにされることがある。分岐した解剖学的構造のコンピュータ・モデルから抽出されるものと整合しない斑点トポロジーおよび／または特性に加えて、相続く画像の間の時間的な整合性の要求も、偽陰性および偽陽性を明らかにしうる。医療デバイスを後退させ、再び前進させることから帰結する偽陰性および偽陽性も、相続く画像を解析することによって検出されうる。後退および再前進の例として、相続く画像において分岐点の右の管腔が視野の右に徐々に消失し、単一の管腔が見える結果となり、次いで相続く画像において第二の管腔が視野の右から徐々に出現する場合、これは、医療デバイスがまず分岐点の左の管腔にはいり、次いで左の管腔から後退して出て、分岐点の右の管腔が再び見えるようになった状況を示すことがありうる。
【００４７】
ブロック５０７〜５１０を含む本方法の第二の部分では、画像の現在シーケンス（すなわち、現在のトラックレット）が処理され、現在のトラックレットおよびその隣接するトラックレットを考慮に入れることによって、分岐した解剖学的構造のコンピュータ・モデルにおける諸管腔の経路との最も確からしいマッチが決定される。医療デバイスが分岐した解剖学的構造の諸管腔を通じて動く際に取り得る潜在的な経路は多数ある。本方法の第一の部分において同定された各トラックレットは、分岐した解剖学的構造の異なる管腔に対応しうる。よって、医療デバイスが分岐した解剖学的構造を通じて動く際にブロック５０１〜５１０を通じてループすることによって同定されたトラックレットのシーケンスは、医療デバイスが分岐した解剖学的構造におけるある経路に沿って動く際に捕捉された画像の絵による履歴を提供する。新しいトラックレットが同定されるたびに、それはトラックレットのシーケンスに追加され、トラックレットの更新されたシーケンスは、医療デバイスが分岐した解剖学的構造の諸管腔を通じて動く際に取り得る潜在的な諸経路に対して照合される。二つ以上の潜在的な経路が更新されたシーケンスに対する近いマッチであることが起こりうる。その場合、最も近いマッチがその時点まででの最も確からしいマッチとして指定されてもよいが、ブロック５０１〜５０４を通じてループ・バックしたのちに次のトラックレットが同定されるとき、トラックレットの更新されたシーケンスは、他の潜在的なマッチの一つとより近くマッチし、以前に同定された「偽」マッチに対する「真」のマッチを示すことがある。このように、「偽マッチ」誤りはこの方法においては自己訂正される。対照的に、従来技術の方法は、一般に、操作者が「偽マッチ」が起こったときに認識し、誤りを訂正することを要求する。これは操作者にとって非常に困難で、時間がかかることでありうる。
【００４８】
ブロック５０７では、本方法は、現在のトラックレットの、分岐した解剖学的構造のコンピュータ・モデル内の諸位置との潜在的な諸マッチを同定する。現在のトラックレットは、医療デバイスが、ノードまで導くある管腔を通じて動いてきてそのノードから分かれ出る別の管腔にはいることによって分岐した解剖学的構造のノードを通過することによって終了したトラックレットであることに限定されないが、この型のトラックレットは普通に現われるものであり、本方法を記述するために使われる。
【００４９】
これらの潜在的なマッチは、分岐した解剖学的構造における全ノードの世界からの、制限されたノードの集合（たとえば、二分岐点、三分岐点）を表わす。（たとえば、潜在的にマッチするノードを同定することによりまたはある種のノードを除外することにより）ノードの集合を制限するために、数多くのフィルタリング基準が使用されうる。一つのそのようなフィルタリング基準は、現在のトラックレットと、分岐した解剖学的構造のコンピュータ・モデルから生成されうる合成画像の潜在的なマッチとの間のトポロジー的な等価である。合成画像は、医療デバイスが分岐した解剖学的構造を通じて動く際に医療デバイスの遠位端において捕捉された画像に対応する分岐した解剖学的構造の三次元コンピュータ・モデル内のビューを表わす。そのような合成画像が本稿では使用されるものとして記述されているが、その代わりに、そのような合成画像を示す情報がコンピュータ・モデルから抽出されてもよいことは理解されるものとする。フィルタリング基準としてトポロジー的な等価性を使う例として、トラックレットが通過されつつあるノードが二分岐点であることを示す場合には、二分岐点ノードのみが含まれうる。逆に、トラックレットが通過されつつあるノードが三分岐点であることを示す場合には、三分岐点ノードのみが含まれうる。もう一つの例として、トラックレットが、上流のノードの管腔の一つを通じて下流のノードが見えることを示す場合には、そのようなトポロジーを満たすノードを示す合成画像のみが、潜在的なマッチの集合に含まれうる。トポロジー的な等価性は、好ましくは、合成画像がトラックレットに対する潜在的なマッチと考えられるための閾要件である。
【００５０】
現在のトラックレットとの潜在的なマッチを生成するためのノードの集合を制限するための他のフィルタリング基準は、利用可能なセンサー情報を使ってもよい。例として、図２２は、インターフェース１７０によって制御されるところにより医療デバイス１１０が開口２２０１を通じて、またブロック２２００によって表わされる解剖学的構造中の曲がった経路２２０２に沿って動く概略図を示している。四つの任意的なセンサー２２２１、２２２２、２２２３、２２２４は、潜在的なノード・マッチの集合をさらに制限するために用いられうる情報を提供する。信号通信ケーブルまたは線１３２は、遠位端センサー２２２２、２２２３からの情報を、インターフェース１７０に転送して返す。図１に示されるように、センサー情報は次いでセンサー・プロセッサ１３０に提供される。センサー・プロセッサ１３０はアナログ‐デジタル（A/D）変換器を含んでいてもよく、それにより該情報はメイン・プロセッサ１６０による処理のために好適な形に変換されうる。
【００５１】
医療デバイスがどのくらい解剖学的構造２２００中に挿入されたかについての情報を提供するために、挿入センサー２２２１が任意的に設けられてもよい。この情報があれば、開口からの挿入深さに対してある閾値距離内のノードのみが潜在的なマッチの集合に含められる。この型のセンサーは、医療デバイスが前に二分岐点管腔にはいったあとに該二分岐点管腔から後退して出たときのような、方向反転状況を検出するために特に有用である。典型的には、そのような挿入センサー２２２１は、解剖学的構造２２００にはいるまたは解剖学的構造２２００から出る医療デバイス１１０の線形の動きを検出するよう、通常の仕方で、インターフェース１７０内にまたはインターフェース１７０に隣接して設けられてもよい。
【００５２】
（図２３に示される点XK,YK,ZKのような）三次元空間における位置情報を提供するために、位置センサー２２２２が任意的に医療デバイス１１０の遠位端１１１に設けられていてもよい。この情報があれば、感知された位置から閾値距離内（センサーの不確定性範囲内など）のノードのみが、潜在的なマッチの集合に含められる。
【００５３】
遠位端についての配向情報を提供するために、配向センサー２２２３が任意的に医療デバイス１１０の遠位端１１１に設けられてもよい。たとえば、図２４に示されるように、（管腔２４１３内で捕捉された）受領される画像の水平線に対応する線２４１１が重力ベクトルに垂直である基準線２４１２からどのくらい逸脱するかを示す角度φの情報が、配向センサー２２２３によって提供されてもよい。この情報があれば、受領された画像中の斑点の配向が、分岐した解剖学的構造のコンピュータ・モデルから生成される合成画像において見えると予期されるものをより正確に反映するよう調整されうる。二管腔分岐点を関連付けるには一つの仕方しかないので、この配向情報は、斑点のうちのどちらが他方の左であるまたは右であるかを決定することにおける考えられる誤りを防止するために特に有用である（すなわち、左右反転誤りの回避）。
【００５４】
医療デバイス１１０がその長手軸のまわりにどのくらい回転されているかの情報を提供するためにロール・センサー２２２４が任意的に設けられてもよい。この情報は、配向センサーが利用可能でないときに遠位端の配向を推定するために有用であることがある。典型的には、そのようなロール・センサー２２２４は、医療デバイス１１０のその長手軸のまわりの回転を検出するために、通常の仕方で、インターフェース１７０内にまたはインターフェース１７０に隣接して設けられてもよい。
【００５５】
他の実施形態では、追加的なフィルタリング・データは、ノード可能性の世界を絞り込むために使用できる履歴ユーザー入力を含むことができる。たとえば、ナビゲーション制御入力（たとえば、一つまたは複数のノードにおける方向制御コマンド）は、所与のノード（単数または複数）においてはいった可能性が最も高い管腔（単数または複数）を同定するための基礎として使用できる。この方向指示（単数または複数）は、たとえば経路追跡／管腔識別を向上させるために、斑点追跡技法を補足するためにまたはその代わりに使用されてもよい。あるいはまた、ユーザーは、特にノード・フィルタリング目的のために入力を与えることができる（たとえば、管腔、分岐点および／または他の組織構造のような特定の解剖学的特徴がユーザーによって手動で「マークされ」、ラベル付けされ、あるいは他の仕方で同定されることができ、その後、ノード・フィルタリング・アルゴリズムに組み込まれることができる）。解剖学的目印のこの手動での同定は、ノード可能性の範囲を著しく縮小できる。
【００５６】
次いで、トポロジー的な等価基準および任意的には任意の利用可能なセンサー情報および／またはユーザー入力を使って潜在的なマッチの集合をフィルタリングしたあとの前記集合の残っている要素に対して、定量的な比較が実行されてもよい。そのような定量的な比較のための一つの技法は、現在のトラックレットから決定される特徴アトリビュートと、コンピュータ・モデルの諸ノードについての解剖学的構造のコンピュータ・モデルから抽出された対応する特徴アトリビュートとを使う。例として、前記ノードおよびその合成画像が潜在的なマッチの前記集合に含まれるためには、現在のトラックレットの特徴アトリビュートは、コンピュータ・モデルの前記ノードに対応する合成画像の特徴アトリビュートに合理的な程度に近いべきである。特徴アトリビュートは医療デバイスの遠位端が当該ノードから分岐して出る管腔の一つに向かって、また該一つを通じて方向制御されるにつれて変化しうるので、現在のトラックレットについての特徴アトリビュートは好ましくは、そのような遠位端方向制御が起こる前に捕捉された画像から決定される。
【００５７】
トラックレットと潜在的なマッチとの間のそのような定量的な比較を実行するために、本方法は、現在のトラックレットにおける斑点についての特徴アトリビュートを決定する。特徴アトリビュートは、分岐した解剖学的構造において種々の二分岐点を互いから、また種々の三分岐点を互いから区別するために使われる。
【００５８】
例として、図１６は、斑点／管腔１６０１において見られるような左右の斑点／管腔１６０２、１６０３をもつ分岐点を示している。左右の管腔の高さ「a」および「c」ならびに幅「b」および「d」の測定は、共通のスケール（受領された画像中のピクセルなど）に従ってなされてもよく、比が計算されて、高さの比「a/c」、幅の比「b/d」、左の斑点／管腔についてのアスペクト比「b/a」および右の斑点／管腔についてのアスペクト比「d/c」のような特徴アトリビュートを決定してもよい。理解されうるように、アスペクト比は特に、管腔がノードから遠ざかって延びる角度を示しうるので、非常に情報に富んでいることがある。
【００５９】
もう一つの例として、図１７は、斑点／管腔１７０１において見られるような左右の斑点／管腔１７０２、１７０３をもつ分岐点を示している。基準線として、固定水平面（すなわち、重力ベクトルに垂直な平面）上の水平線１７０７が示されている。斑点／管腔１７０２、１７０３の重心１７０４、１７０５を通って延びるもう一つの線１７０６が示されている。次いで、当該分岐点の特徴アトリビュートのはたらきをするよう、線１７０７、１７０６の間で角度θが測定され、あるいは他の仕方で決定されてもよい。重心１７０４、１７０５をつなぐ線分の長さも、当該分岐点の他の特徴アトリビュートを生成するために使われてもよい。たとえば、各斑点の高さおよび幅を前記線分の長さで割ることによって、比が計算されてもよい。当該分岐点のもう一つの特徴アトリビュートのはたらきをするために、斑点１７０２、１７０３の高さ線１７１２、１７１３の間で角度ψが測定され、あるいは他の仕方で決定されてもよい。当該分岐点のさらにもう一つの特徴アトリビュートのはたらきをするために、斑点の幅線の間で同様の角度が測定され、あるいは他の仕方で決定されてもよい。
【００６０】
もう一つの例として、図２０は、図６に示される受領された画像から抽出された斑点を示している。この場合、抽出された斑点は、図７に示される斑点の追加的な画像処理から帰結してもよい。前景分岐点が斑点／管腔２００１、２００２を含む。斑点／管腔２００１の中を見ると、斑点／管腔２０１１、２０１２を含む下流の分岐点が見られる。同様に、斑点／管腔２００２の中を見ると、斑点／管腔２０２１、２０２２を含むもう一つの下流の分岐点が見られる。線分２００３が斑点／管腔２００１、２００２の重心をつなぎ、線分２０１３が斑点／管腔２０１１、２０１２の重心をつなぎ、線分２０２３が斑点／管腔２０２１、２０２２の重心をつなぐ。線分２００３、２０１３、２０２３を使っていくつかの特徴アトリビュートが定義され、定量化されてもよい。たとえば、それらの斑点についての特徴アトリビュートを定義するために、各線分の長さが、それぞれの斑点の高さおよび／または幅との比において使われてもよい。もう一つの例として、線分の対の間の角度が、画像の他の特徴アトリビュートを定義してもよい。これらの特徴アトリビュートの測定は、配向独立である（すなわち、画像捕捉装置が回転されてビューの配向を変えたとしても同じ値を与える）ことを注意しておく。よって、この種の特徴アトリビュートは、図１７に示されるような、固定した基準線を必要とする配向依存の特徴アトリビュートに対して有利である。
【００６１】
さらにもう一つの例として、図２１は、抽出された斑点を、分岐した解剖学的構造のコンピュータ・モデルから生成された合成画像の対応する斑点と比較されるべきテンプレートとして使用することを示している（たとえば、捕捉された画像における分岐の左の斑点／管腔の形状が、分岐した解剖学的構造のコンピュータ・モデルからのある分岐点の合成画像における左の管腔の形状と比較される）。理解されうるように、本稿に記載されたもの以外の多くの特徴アトリビュートが、抽出された斑点の相対的な形状、大きさおよび配向を示すさまざまな線および角度を使って定義されてもよい。さらに、一つだけの受領された画像について抽出された諸斑点の特徴アトリビュートを決定するのではなく、トラックレット中の画像について決定された情報を平均するおよび／または決定された情報における突出値を消去することによって、トラックレット（すなわち、トポロジー的に等価な画像のシーケンス）について特徴アトリビュートが決定されてもよい。上記のような抽出された斑点のトポロジー的および幾何学的特徴から決定される特徴アトリビュートに加えて、捕捉された画像において同定される特徴点に関係する他の特徴アトリビュートが定義され、本稿に記載される諸方法において使用されてもよい。例として、捕捉された画像から特徴点を抽出するために、スケール不変特徴変換（SIFT）が使用されてもよい。真の画像とコンピュータ・モデルを比較するために使われる特徴アトリビュートは、動画像からの構造復元（SfM:  Structure  from  Motion）技法を使って複数の画像フレームから抽出される三次元的な特徴であることもできる。たとえば非特許文献３参照。また、たとえば非特許文献４参照。
【００６２】
分岐した解剖学的構造における二分岐点および三分岐点を区別するための特徴アトリビュートを使うことに加えて、画像のシーケンスについて決定された特徴アトリビュートが、ブロック５０４を実行することの一部として偽陰性および偽陽性を検出するために使用されることもできる。例として、図１８および図１９は、図１８に示される画像が図１９において示される画像の前に受領される、画像のシーケンスを示している。医療デバイスの遠位端が右の管腔１８０３に向かって方向制御されるにつれ、右の管腔のアスペクト比がより大きくなることが期待される一方、左の管腔のアスペクト比はより小さくなることが期待される。方向制御の方向を示すために他の特徴アトリビュートも定義されうる。たとえば、斑点／管腔１８０２の重心が「A」であり、斑点／管腔１８０３の重心が「B」であり、医療デバイスが現在動いている管腔１８０１の重心が「C」であれば、医療デバイスの遠位端が右の管腔１８０３に向けて方向制御されるにつれて、斑点／管腔１８０１、１８０３の重心の間の距離はより小さくなることが期待される。このように、管腔１８０１の重心Cまでの斑点／管腔１８０２、１８０３の重心AおよびBの間の距離を追跡することによって、医療デバイスの遠位端が方向制御されつつある方向が決定されうる。この情報は、上記のように偽陰性を回避するために使用されてもよい。
【００６３】
ブロック５０７において本方法によって実行される定量的な比較は、現在のトラックレットにおける斑点の特徴アトリビュートが潜在的なノード・マッチの合成画像における斑点の対応する特徴アトリビュートとどのくらい「近く」マッチするかを示す。例として、現在のトラックレットにおける二分岐点の左の斑点のアスペクト比と、諸潜在的なマッチの合成画像のそれぞれにおける二分岐点の左の斑点のアスペクト比との間の差が計算されてもよい。もう一つの例として、図２１に示されるように、抽出された斑点２１００および分岐した解剖学的構造のコンピュータ・モデルから生成された合成斑点２１０１の形状の間の差（たとえば、ZmおよびYnにおける向かい合う矢印の間の距離）が決定され、定量的な比較目的のために使われてもよい。この場合、この差が小さいほど、トラックレットと合成画像において表現されているノードとの間のマッチがよい。
【００６４】
定量的な比較は好ましくは、各潜在的なマッチまたは仮設についての確率または信頼スコアに変換される。例として、i番目のトラックレット（ti）についてのj番目の仮設（hi,j）の尤度は次のように表わされてもよい。
【００６５】
Pr(Oi|ti＝hi,j)＝Pr(Oi(I)|ti＝hi,j)Pr(Oi(S)|ti＝hi,j)        (1)
ここで、Oiはtiに関連付けられたすべての観察を表わし；Oi(I)はtiに関連付けられたすべての画像観察を表わし；Oi(S)はtiに関連付けられたすべての利用可能なセンサー観察を表わす。
【００６６】
潜在的なマッチの集合における各要素について定量的な比較を決定したのち、本方法は現在のトラックレットについての定量的な比較の結果をメモリ１６１のようなメモリに記憶する。
【００６７】
ブロック５０８では、本方法は、現在のトラックレットと新規トラックレットの間の遷移について潜在的なマッチを同定する。ブロック５０７において記述されたのと同様のフィルタリング技法がブロック５０８において実行されてもよい。たとえば、管腔内のビューに対応する合成画像が、分岐した解剖学的構造中の各管腔についての分岐した解剖学的構造のコンピュータ・モデルから生成されてもよい。次いで、現在のトラックレットおよび次のトラックレットに関連付けられた捕捉された画像が分岐した解剖学的構造内の接続された管腔の諸対に対応する合成画像の諸対と、トポロジー的な等価を求めて比較されてもよい。分岐した解剖学的構造内の接続された管腔の諸対を、現在および新規トラックレットの間の遷移についての潜在的なマッチの前記集合から消去するために、利用可能なセンサー情報が使用されてもよい。次いで、潜在的なマッチの前記集合の残りの要素に対して定量的な比較が実行され、好ましくは各潜在的なマッチまたは仮設についての遷移確率または信頼スコアに変換される。
【００６８】
潜在的な遷移マッチの集合における各要素について定量的な比較を決定したのち、本方法は現在のトラックレットから新規トラックレットへの遷移についての定量的な比較の結果をメモリ１６１のようなメモリに記憶する。
【００６９】
ブロック５０９では、本方法は、医療デバイスが分岐した解剖学的構造を通じて動く際の医療デバイスの経路をなすトラックレットのシーケンスにおける一つまたは複数の隣接するトラックレットの情報を考慮に入れることによって、ブロック５０１〜５１０を通じてループすることから帰結するトラックレットのシーケンスについて、最も確からしいマッチを決定する。以前のトラックレットの情報は、ブロック５０１〜５１０を通じてループする間にそれらのトラックレットについてブロック５０７および５０８の処理の間にメモリに記憶されている。
【００７０】
現在のトラックレットについての仮設上の経路「T」の尤度は、現在のトラックレットについての個々の仮設の尤度と隣接するトラックレットの遷移確率との組み合わせである。医療デバイスがi番目のトラックレットにおけるj番目の仮設から(i＋1)番目のトラックレットにおけるk番目の仮設に状態を切り換える遷移確率は、次のように表わされてもよい。
【００７１】
qi,j,k＝Pr(ti+1＝hi+1,k|ti＝hi,j)        (2)
これは、分岐した解剖学的構造のコンピュータ・モデルにおける接続性の静的な事前の知識と、現在のトラックレットが示すノードから分岐して出るどの管腔に医療デバイスがはいったかの動的な知識との組み合わせである。分岐した解剖学的構造のコンピュータ・モデルにおける接続性の静的な事前の知識は、たとえば、分岐した解剖学的構造の正確な三次元コンピュータ・モデルを生成しうるもとになる画像スライスを捕捉する好適な撮像モダリティを使った患者スキャンを実行することによって得られてもよい。現在のトラックレットが示すノードから分岐して出るどの管腔に医療デバイスがはいったかの動的な知識は、たとえば、本稿に記載される解析的推論（analytical  reasoning）に続く人工的推論（artificial  reasoning）をもって前記プロセッサをプログラムすることによって得られてもよい。
【００７２】
すると、トラックレットの現在シーケンスについての最も確からしいマッチは、医療デバイスが取る最も確からしい仮設経路に基づく。例として、解は、次のように表わされる組み合わされた確率を最大にする経路であってもよい。
【００７３】
T*＝argmaxT  Pr(O|T)        (3)
上記の離散的な経路最適化問題を効率的に解く一つの技法は、隠れマルコフモデル（HMM:  Hidden  Markov  Model）における推論アルゴリズムと同様の動的計画法（DP:  Dynamic  Programming）を使うことである。
【００７４】
ブロック５０９の処理の完了後、本方法は、ブロック５１０において、上記の新規トラックレットを現在のトラックレットとして定義し直し、ブロック５０１にループで戻って、ブロック５０４において以前に検出された新しい現在トラックレットについて拡張し、該新しい現在トラックレットを処理する。次いで、本方法は、医療デバイスが分岐した解剖学的構造を通じて動き続けるにつれて、ブロック５０１〜５１０を通じてループし続ける。
【００７５】
本発明のさまざまな側面が一つまたは複数の実施形態に関して記述されたが、本発明は、付属の請求項の完全な範囲内における完全な保護に値することは理解されるであろう。
【図１】
2016501557.tif 000002
【図２】
2016501557.tif 000003
【図３】
2016501557.tif 000004
【図４】
2016501557.tif 000005
【図５】
2016501557.tif 000006
【図６】
2016501557.tif 000007
【図７】
2016501557.tif 000008
【図８】
2016501557.tif 000009
【図９】
2016501557.tif 000010
【図１０】
2016501557.tif 000011
【図１１】
2016501557.tif 000012
【図１２】
2016501557.tif 000013
【図１３】
2016501557.tif 000014
【図１４】
2016501557.tif 000015
【図１５】
2016501557.tif 000016
【図１６】
2016501557.tif 000017
【図１７】
2016501557.tif 000018
【図１８】
2016501557.tif 000019
【図１９】
2016501557.tif 000020
【図２０】
2016501557.tif 000021
【図２１】
2016501557.tif 000022
【図２２】
2016501557.tif 000023
【図２３】
2016501557.tif 000024
【図２４】
2016501557.tif 000025
【国際調査報告】
2016501557.tif 000026
2016501557.tif 000027
2016501557.tif 000028