(57)【要約】【課題】  気管支鏡検査法のような内視鏡手技において自動ランドマーク位置合わせを行うための方法及びシステム、並びに軌道情報及び形状推定を用いた位置合わせを提供すること。【解決手段】  肺の術前のコンピュータトモグラフィ（ＣＴ）画像に基づいて肺の気道のセグメンテーション中心線を生成することができる。セグメンテーション中心線上で、肺の気道内の分岐点に対応したランドマークを自動的に検出することができる。誘導の間に肺の気道を通るカテーテルの位置の位置データ点群を生成することができる。肺の気道のバウンディングボリュームを生成することができ、バウンディングボリューム中心線を検出することができる。同じ分岐点についてバウンディングボリューム中心線上でランドマークを検出することができる。次に、２つのランドマーク群を位置合わせの一環としてマッピングすることができる。軌道情報を形状推定とともに用いることで非剛体又は精密位置合わせを行うことができる。【選択図】  図１
2019010506.tif 000002
【特許請求の範囲】
【請求項１】
気管支鏡検査手技において自動ランドマーク位置合わせを行うように構成された気管支鏡検査システムであって、
カテーテル及び視覚的ディスプレイ装置に動作可能に接続されたプロセッサであって、
肺の術前画像に基づいて、視覚的ディスプレイ上に表示することができる肺の気道のマップを生成するように構成され、
前記肺の前記術前画像に基づいて、前記肺の前記気道のセグメンテーション中心線を生成するように構成され、
前記セグメンテーション中心線上で、前記肺の前記気道の分岐点に対応した第１の複数のランドマークを自動的に検出するように構成され、
前記肺の前記気道を通じた誘導の間の前記カテーテルの位置に基づいた位置データ点群を生成するように構成され、
前記位置データ点群に基づいて前記肺の前記気道のバウンディングボリュームを生成するように構成され、
前記肺の前記気道の前記バウンディングボリュームからバウンディングボリューム中心線を検出するように構成され、
前記バウンディングボリューム中心線上で、前記第１の複数のランドマークの前記分岐点に対応する第２の複数のランドマークを自動的に検出するように構成され、
前記第２の複数のランドマークの対応する点に対して前記第１の複数のランドマークのマッピングを生成し、前記マッピングを用いて前記位置データ点群を前記肺の前記気道の前記マップと統合するように構成された、プロセッサ、を含む、気管支鏡検査システム。
【請求項２】
前記視覚的ディスプレイが、前記マッピングを用いて前記肺の前記気道内で誘導される間の前記カテーテルの前記位置を、前記肺の前記気道の前記マップ上にリアルタイムで視覚的に表示するように構成されている、請求項１に記載の気管支鏡検査システム。
【請求項３】
前記視覚的ディスプレイが、前記肺の前記気道の前記マップを２次元（２Ｄ）又は３次元（３Ｄ）画像として視覚的に表示する、請求項２に記載の気管支鏡検査システム。
【請求項４】
前記複数のランドマークが、３つ以上のランドマークを含む、請求項１に記載の気管支鏡検査システム。
【請求項５】
前記プロセッサが、それぞれ前記セグメンテーション中心線及び前記バウンディングボリューム中心線上で枝分かれ点を特定することにより、前記セグメンテーション中心線上で前記第１の複数のランドマークを自動的に検出し、前記バウンディングボリューム中心線上で前記第２の複数のランドマークを自動的に検出するように構成されている、請求項１に記載の気管支鏡検査システム。
【請求項６】
前記肺の前記気道内の前記分岐点が、前記肺の気管と前記肺の少なくとも１つの気管支との間の第１のＴ合流点、及び前記肺の第１の気管支と前記肺の第２の気管支との間の第２のＴ合流点を含む、請求項１に記載の気管支鏡検査システム。
【請求項７】
前記プロセッサが、特異値分解（ＳＶＤ）を用いて前記マッピングを生成するように構成されている、請求項１に記載の気管支鏡検査システム。
【請求項８】
前記肺の前記術前画像が、コンピュータトモグラフィ（ＣＴ）又は核磁気共鳴画像法（ＭＲＩ）を用いて生成される、請求項１に記載の気管支鏡検査システム。
【請求項９】
前記肺の前記気道を通じた前記カテーテルの誘導は、前記プロセッサが形状推定とともに軌道情報を用いて前記肺の前記気道内のＴ合流点からの前記カテーテルの距離を特定することを含む、請求項１に記載の気管支鏡検査システム。
【請求項１０】
前記プロセッサが、誘導の間の前記カテーテルの各位置によって形成される形状の長さ、折れ曲がり角、及び捻れ角を、前記術前画像内の一致させられた点の長さ、折れ曲がり角、及び捻れ角と比較することによりエネルギー値を計算し、前記エネルギー値が最小となる経路を選択することにより形状推定を実行する、請求項９に記載の気管支鏡検査システム。
【発明の詳細な説明】
【背景技術】
【０００１】
内視鏡の一般的な分野では、患者の体内への可撓性導管の挿入を用いた、低侵襲性の診断及び手術を行うための様々な医療器具が開発されており、この導管からカメラ、器具、又は他の装置を挿入し、患者の体内の所望の位置に選択的に配置された導管の遠位端において操作することができる。例えば、気管支鏡、内視鏡、肛門鏡、Ｓ状結腸鏡、鼻喉頭鏡、及び喉頭鏡をはじめとする多くの種類の医療器具がこのような形で動作する。本明細書では、内視鏡、カテーテル、又は生検器具といったこうした医療器具の一般名称を、気管支鏡などのこうした器具の具体的な例と互換的に使用する場合がある。
【０００２】
内視鏡医療器具を身体の標的領域の３次元（３Ｄ）デジタルマップと組み合わせて使用することで、医師又は操作者に診断及び／又は治療処置を適正に行ううえで必要とされる可視化及び情報を与えることができる。気管支鏡検査法は、内視鏡（例えば、気管支鏡）の肺への挿入を行う侵襲性の内視鏡手技の具体例である。気管支鏡検査法は、喉頭、気管、及び肺の他の気道などのヒトの呼吸器系の縦隔検査及び治療を行うために医師によって用いられている。例えば、気管支鏡検査法は、気道内の腫瘍、炎症、出血又は異物の位置を特定するために用いることができる。
【発明の概要】
【課題を解決するための手段】
【０００３】
本明細書では、気管支鏡検査法のような内視鏡手技において自動ランドマーク位置合わせを行うための方法及びシステム並びに軌道情報及び形状推定を用いた位置合わせについて述べる。肺の術前のコンピュータトモグラフィ（ＣＴ）画像に基づいて肺の気道のセグメンテーション中心線を生成することができる。セグメンテーション中心線上で、肺の気道内の分岐点に対応した第１のランドマーク群を自動的に検出することができる。
【０００４】
肺の気道を通じてカテーテルを誘導することができ、誘導の間のカテーテルの各位置を含む位置データ点群を生成することができる。この位置データ点群に基づいて肺の気道のバウンディングボリュームを生成することができ、気道のバウンディングボリュームからバウンディングボリューム中心線を検出することができる。次に、バウンディングボリューム中心線上で、セグメンテーション中心線上で自動的に検出された第１のランドマーク群に対応した気道内の第２のランドマーク群を検出することができる。次に、２つのランドマーク群を位置合わせの一環としてマッピングすることができる。
【０００５】
気道を通じたカテーテルの誘導で軌道情報を形状推定ととともに用いることで肺の気道内の分岐点からのカテーテルの距離を特定して非剛体又は精密位置合わせを行うことができる。カテーテルの位置の長さ、カテーテルの折れ曲がり角、及びカテーテルの捻れ角に基づいてエネルギーモデルを生成することができる。第１のランドマーク群と第２のランドマーク群（the set of landmarks）との間のエネルギー値が最小となる経路を選択してよく、それにより正確な位置合わせが実現される。
【図面の簡単な説明】
【０００６】
【図１】例示的な可撓性気管支鏡検査システムのシステム図である。
【図２】気管支鏡検査法における誘導に関係し得る肺内の経路を示した肺の解剖学的構造の例示的説明図である。
【図３】解剖学的ランドマークの自動検出及び位置合わせプロセスの一環としての肺の気道内のカテーテルの経路の例示的な手技の断面図である。
【図４Ａ】肺の主気道の例示的な再構成の画像である。
【図４Ｂ】肺の主気道の中心線の対応するスケルトン化画像である。
【図５】本明細書の開示に基づく、気管支鏡検査システムで使用される例示的な自動ランドマーク位置合わせ手順のフロー図である。
【図６Ａ】気道体積のセグメンテーション及び気道体積から自動的に抽出された中心線のグラフである。
【図６Ｂ】中心線上の分岐点にランドマークを特定する自動ランドマーク検出の結果を示す、抽出された中心線のグラフである。
【図７】軌道情報及び形状推定を用いた改良された精密（非剛体）位置合わせプロセスの一環として肺の気道内のカテーテルの経路を示す肺の解剖学的構造の例示的な画像である。
【図８】気管支鏡検査システムで使用するための軌道情報を用いる例示的な位置合わせ手順のフロー図である。
【図９】長さ部分、折れ曲がり部分、及び捻れ部分を含んだエネルギーモデルの各要素の説明図である。
【図１０】位置合わせの前のカテーテル経路
【０００７】
【数１】
2019010506.tif 000003
及び位置合わせの後の一致させられたカテーテル経路
【０００８】
【数２】
2019010506.tif 000004
の一例である。
【発明を実施するための形態】
【０００９】
本開示は、呼吸器及び肺系に行われる気管支鏡検査手技に関して説明されるが、当業者であれば、本開示は、呼吸／肺系、心臓系、消化器系、神経血管系、及び／又は循環器系を含むが、これらに限定されない、体内の任意の体腔又は系で使用することができるシステム及び手技に応用可能であることが理解されよう。
【００１０】
誘導気管支鏡検査法（Navigated bronchoscopy）では、通常、医師による気道内への、視認用器具として機能し得る誘導カテーテル（例えば気管支鏡）の（例えば、口又は他の開口部若しくは切開部を介した）挿入を行う。例えば、気管支鏡にカメラ及び／又は電磁気（ＥＭ）センサを取り付けることで、気管支鏡が肺経路を通る際のビデオ、画像、及び／又はカテーテルの位置のセンサデータを捉えることができる。カテーテルは、限定するものではないが、以下の機能、すなわち、疾患組織に治療的アブレーションを行うために使用可能な電極を備える、光学センサを備える、かつ／又は温度センサを備える、などの他の機能を有することもできる。
【００１１】
可撓性又は剛性の気管支鏡を使用することができる。剛性の気管支鏡は真っ直ぐな管であり、より太い気道内で、例えば、大量の血液、分泌物、異物、又は病変組織（病変部）を除去するか、又は出血を抑えるか、又はステントを挿入するために使用される。可撓性の気管支鏡は、より細い気道（例えば、細気管支）内へと動かすことができ、例えば酸素を供給し、分泌物を吸引し、生検を行い、かつ、肺に薬剤を投与するための呼吸管を挿入するために使用することができる。
【００１２】
図１は、本明細書の開示に基づく、例示的な可撓性気管支鏡検査システム１００のシステム図である。例示的な気管支鏡検査システム１００は、カメラ又はセンサ及び付属の発光要素を配置することができる遠位端１０４を有する可撓性導管１０２を有している。
【００１３】
例示的な気管支鏡検査システム１００は、ロボットハンドル１０６及び付属コントローラ１０８並びにビデオディスプレイ１１０を含んでよく、これらは、医師又は他の操作者１０７が、患者１０５の肺１２２の気道１２０内の所望の位置にまで可撓性導管１０２の遠位端１０４を選択的かつ正確に挿入することを可能とする。例えば図１は、可撓性導管１０２を挿入して腫瘍１２４の近くに可撓性導管１０２の遠位端１０４を配置した結果を示している。
【００１４】
ディスプレイ１１０は、遠位端１０４のカメラ又はセンサからの画像を表示するように構成することができ、この画像を術前のコンピュータトモグラフィ（ＣＴ）画像（及び／又は核磁気共鳴映像法（ＭＲＩ）画像）と合成することによって、医師１０７がロボットハンドル１０６を使用して所望の位置に到達するように可撓性導管１０２を挿入しながら気道１２０を通って誘導することを支援することができる。ロボットハンドル１０６は、医師１０７によって方向付けられる挿入動作を実行するために、少なくとも部分的にコントローラ１０８によって制御することができる。
【００１５】
可撓性導管１０２は、遠位端１０４のカメラ、センサ、又は発光要素用のシグナリング要素の一部を構成することができる光ファイバ（例えば、導管１０２に沿って長さ方向に埋め込まれる）を有することができる。コントローラ１０８は、可撓性導管１０２の制御、及び、使用時にディスプレイ１１０上に表示されるグラフィックの一部として患者の気道１２０内の導管の位置の表現を表示することを支援するため、光ファイバを介してデータを生成する光ファイバセンシングを備えるように構成することができる。コントローラ１０８によって行われる光ファイバセンシングは、気管支鏡検査手技の間に導管１０２の経路及び曲率をその場で正確に計算することを可能とし得る。
【００１６】
コントローラ１０８は、限定するものではないが、以下の要素（具体的には示されていない）、すなわち、プロセッサ、記憶媒体、及び／又はオペレータインターフェースのいずれか１つ又は２つ以上を有することができる。例えば、コントローラ１０８は、コンピュータの内部に格納することができる１つ又は２つ以上の信号処理回路を有することができる。コントローラ１０８は、ハードウェア内に実装され、かつ／又は気管支鏡検査システム１００の機能を実行するようにソフトウェアでプログラムされることができる。このソフトウェアは、例えば、ネットワークを介して電子的形態でコントローラ１０８にダウンロードされてもよく、かつ／又は磁気若しくは光学媒体若しくは他の不揮発性メモリなどの有形媒体上で与えられてもよい。例えば、コントローラ１０８（例えば、プロセッサ及び／又は記憶媒体）にソフトウェアモジュールをダウンロードしてインストールすることにより気管支鏡検査システム１００を機能向上させることができる。１つの例では、コントローラ１０８は汎用コンピュータを含み得る。
【００１７】
図１に示される気管支鏡検査システム１００のような誘導画像型気管支鏡検査システムでは、医師は肺の内部でカテーテル（例えば、気管支鏡、生検ツールなど）を手動で誘導するため、支障なく肺を通じて誘導して気管支鏡検査手技を行ううえで周辺の解剖学的構造の視覚化に頼っている。気管支鏡及び／又は生検ツールの位置を追跡し、患者の肺の視覚表示された３次元（３Ｄ）マップにリアルタイムで表示することができ、これにより、操作者に所定の標的（例えば、腫瘍又は病変部）に向かう気管支内経路が与えられる。
【００１８】
気管支鏡検査手技に先立って肺の３Ｄマップを生成するには、患者の肺の術前の２次元（２Ｄ）ＣＴ画像（ＭＲＩ画像をこれに代えて又はこれに加えて用いてもよい）を異なる角度から撮影し、デジタル処理を用いて合成することによって、気道樹の複雑な構造を含む患者の肺の単一の３Ｄ像を形成することができる。このプロセスは医療画像セグメンテーションと呼ばれ、術前画像から対象とする解剖学的構造（この場合、気道内の）を分離及び抽出することによって２Ｄ画像から３Ｄ再構成像を形成するために医療イメージングにおいて一般的に用いられている。
【００１９】
気道のセグメンテーションは気道の複雑な構造のために特に困難であり、一部の気管支の極めて小さい直径（例えば、細気管支の直径は１ミリメートル（ｍｍ）未満であり得る）のため、ＣＴ（又はＭＲＩ）画像上で気管支を区別することは困難である。気道のセグメンテーションを行うための方法の１つの例として、例えば、気管及び２本の一次気管支のそれぞれの内部においてＣＴ（又はＭＲＩ）画像上の３個（又はそれよりも多い）種子点又はランドマークを特定することを行うものがある。これらのランドマークを用いることによって、３つのセグメンテーションプロセスの開始点として用いるための３つの異なる部分に体積を分割することができる。
【００２０】
図２は、気管支鏡検査法における誘導に関係し得る肺内の経路を示した肺の解剖学的構造２００の例示的説明図である。例えば、気道のセグメンテーションによって生成される肺のマップは、限定するものではないが、肺の解剖学的構造２００の以下の要素、すなわち、喉頭２０２、気管２０４、一次気管支２０６、二次気管支２０８、三次気管支２１０、及び／又は細気管支２１２を示すことができる。図に示されていない他の要素を、限定するものではないが、以下のもの、すなわち、肺動脈、肺静脈、及び／又は右及び左肺を含む肺のマップに含めることができる。
【００２１】
肺の３Ｄマップが生成された時点で、画像と患者との位置合わせを用いて、患者の体内でのカテーテルの誘導の経路を肺の３Ｄマップに対して正確に整合させることができる。一般的に、画像位置合わせとは、異なるデータ点群を１つの座標系に変換するプロセスであり、異なる位置データ点のソースから得られたデータ点を統合するために医療イメージングで用いられており、２Ｄ及び３Ｄ画像に用いることができる。画像位置合わせの最終目的の１つは、２つの画像の対応する点をできるだけ近づけることにある。医療イメージングにおける画像位置合わせは、一般的には、身体の解剖学的領域の運動を考慮しなくてはならず、そのため、複数の画像を撮影して解剖学的領域の単一の固定画像に変換することができる。
【００２２】
気管支鏡検査法、又は内視鏡検査法一般において、画像位置合わせは、内側からの気道（又は他の臓器）の画像を、カテーテルを用いてＣＴスキャンからの画像に対してマッピングする機能を有する。位置合わせは、カテーテルの誘導に用いられる座標系Ｘ（例えば、標的画像）とセグメンテーションにおいてＣＴ（又はＭＲＩ）スキャンに用いられる座標系Ｙ（例えば、参照画像）とをマッピングするための幾何的変換を行うことによって得ることができる。例えば、座標系Ｘ内の点ｘが座標系Ｙ内の点ｙに対応している場合、効果的な位置合わせによって、Ｔが点ｘに適用される変換関数であるものとして、変換後の点ｘ’＝Ｔ（ｘ）は、ｙに等しいか又はほぼ等しくなる。
【００２３】
画像と患者との位置合わせの１つの例として、中心線に基づいた位置合わせがあり、この位置合わせでは、気管支鏡（カテーテル）の先端が気道を通る経路（例えば、気管又は気管支）を通って誘導される際の気管支鏡の先端からの位置データを、術前ＣＴ画像からの患者の肺の気管気管支内の内腔（すなわち、内部空間）の経路（すなわち、中心線）と一致させる。位置合わせには、回転、拡大縮小、及び／又は平行移動を含み得る線形変換を用いて、ＣＴ画像の座標系と物理的世界の座標系（例えば、カテーテルによって用いられる磁気座標系）との間で点のペアを一致させることを行う「剛体」位置合わせが含まれる。
【００２４】
剛体位置合わせにおいて用いられる線形変換では、画像間のすべての局所的幾何形状の差をモデリングすることはできない可能性がある。したがって、標的画像を曲がらせて参照画像と整合することが可能な変換を使用することができる弾性体又は非剛体位置合わせ（精密位置合わせとも呼ばれる）を用いることもできる。非剛体位置合わせは、三次気管支及び細気管支のような肺の細い遠位気道内の正確な位置情報を取得して一致させるうえで特に有用である。
【００２５】
１つの例では、剛体位置合わせの一部として、ソース点群の点を参照点群の最近傍の対応する点と一致させる反復最近傍点（iterative closest point、ＩＣＰ）アルゴリズムを用いて、追跡された気管支鏡の経路（例えば、カテーテル位置点群）をセグメンテーションにおいて特定された中心線に対してマッピングすることができる。この場合、ＩＣＰアルゴリズムは、予備点群ランドマーク位置合わせプロセスによって生成することができる気道中心線に沿った主要参照点又はランドマーク（すなわち、種子点）を利用することができる。
【００２６】
現在のところ、気管支鏡検査法のセグメンテーション及び位置合わせプロセスは、ランドマークの選択（すなわち、気管及び気管支内の種子点の配置）が医師又は操作者によって手動で行われているために半自動化されているのみであり、全自動化はされておらず、時間及びコストがかかり、人的エラーを生じやすいものとなっている。したがって、カテーテルで速やかに気管及び左右の主（一次）気管支を探索することにより、気管支鏡検査システムが誘導座標系とＣＴ座標系との正確な位置合わせを得ることができることで、ＣＴ画像及びそのセグメンテーションの結果上を遠位の気管支（例えば二次及び三次気管支並びに細気管支）へと更に誘導されるような正確かつ自動的な位置合わせプロセスが医師によって求められている。
【００２７】
開示される気管支鏡検査システムは、カテーテルからの誘導情報を用いて肺内の解剖学的ランドマークを自動的に検出することでより有効な誘導情報を与えるものである。図３は、本明細書の開示に基づく、解剖学的ランドマークの自動検出及び位置合わせプロセスの一環としての肺３０６の気道内のカテーテル３０２の経路の例示的な断面図３００である。例示的な画像３００では、カテーテル３０２は肺３０６の主気道３０４を通って誘導されている。カテーテル３０２が主気道の「Ｔ」合流点又は分岐点３０８に到達すると、位置合わせプロセスが気道の構造を自動的に検出し、自動的に検出された分岐点３０８をランドマークとしてマークすることにより位置合わせを更新する。解剖学的ランドマークの自動検出及び位置合わせを用いた開示される気管支鏡検査システムについて以下に更に詳しく述べる。
【００２８】
本明細書の開示によれば、位置合わせプロセスの一環として、開示される気管支鏡検査システムは、医師が主気道部分内でカテーテルを操作する間に、カテーテル内に配置された複数のセンサ又は光ファイバを用いてカテーテルの位置を収集することができる。カテーテル誘導の間に収集された位置点を用い、開示される気管支鏡検査システムは主気道の軌道を再構成し、軌道の中心線を自動的にスケルトン化することができる。次いで、開示される気管支鏡検査システムは、中心線の各枝分かれ点（分岐点に対応する）を特定することにより主気道の中心線合流点のすべてを検出し、各枝分かれ点の位置をランドマークの候補として定義することができる。図４Ａは、気管４０４及び左右の一次気管支４０６を含む、肺の主気道の例示的な再構成４００Ａの画像を示し、図４Ｂは、気管４０４及び左右の一次気管支４０６を含む、肺の主気道の中心線の対応するスケルトン化された画像４００Ｂを示し、中心線に枝分かれ点が存在する位置の気道の合流点において自動的に検出された近位分岐点又はランドマーク４１０が示されている。
【００２９】
開示される気管支鏡検査システムは、気管支鏡検査法に先立って取得された肺の主気道のＣＴ（又はＭＲＩ）画像をセグメント化し、主気道の合流点を自動的に検出しつつＣＴ画像の中心線をスケルトン化することもできる。したがって、開示される気管支鏡検査システムは、カテーテル及び術前ＣＴスキャンをそれぞれ用いた誘導プロセスに基づいて、肺の主気道の中心線合流点の位置を２群、生成することもできる。次いで、開示される気管支鏡検査システムは、下記で述べるようにして２群の中心線合流点の位置間の点群位置合わせを行うことができる。
【００３０】
例えば、開示される気管支鏡検査システムは、点群の位置合わせの結果から開始して、誘導の間に構成された軌道点（すなわち、中心線に沿った合流点を特定する点群）と、気道セグメンテーションの間に構成された軌道点（すなわち、ＣＴスキャンに基づいたもの）との間でＩＣＰ位置合わせを行うことができる。１つの例では、開示される気管支鏡検査システムは、シンプレックスアルゴリズムのような線形プログラミングアルゴリズムを用いたＩＣＰプロセスによって位置合わせの結果を最適化することができる。
【００３１】
開示される気管支鏡検査システムは、画像位置合わせに使用される肺内のランドマークを自動的に検出して位置合わせすることによってより有効な誘導情報を与えることで、現在の位置合わせシステムを向上させるものである。開示されるシステムは、使用者による最初の位置合わせを行う必要をなくし、ランドマーク（例えば、気道の分岐点又は合流点）の選択における人的エラーを防止するものである。
【００３２】
図５は、本明細書の開示に基づく、気管支鏡検査システムで使用される例示的な自動ランドマーク位置合わせ手順５００のフロー図である。自動ランドマーク位置合わせ手順５００では、ＣＴ画像を気管支鏡の経路と整合させるために中心線に基づいた位置合わせが用いられるが、他の位置合わせ法も同様に用いることができる。
【００３３】
５０２で、肺を通る経路のセグメンテーション中心線をＣＴ画像（及び／又はＭＲＩ画像）に基づいて生成することができる。セグメンテーション中心線は、中心線を抽出するための任意の方法を用いて生成することができる。例えば、ＣＴスキャン画像からの気道の表面モデルに細線化アルゴリズムを適用することができる。
【００３４】
５０４で、近位分岐点（ランドマーク）がセグメンテーション中心線上で自動的に検出される。例えば、図４Ｂを参照すると、４個の近位分岐点４１０が検出されている。肺の解剖学的構造のため、気管と一次気管支との合流点、及び一次気管支と二次気管支との合流点のような主要合流点では、３個以上のランドマークが検出されることが好ましい。ＣＴスキャンからのランドマークは、中心線の階層的枝分かれ点として検出され得る（図４Ｂに示される）。
【００３５】
５０６において、カテーテルが気道を通じて誘導され、誘導の間のカテーテルの位置について位置データ点群が生成される。例えば、カテーテルは、肺の主要経路（例えば、気管、一次気管支、二次気管支）を通って誘導の間のカテーテルの位置を記録することによって位置データ点群を生成することができる（例えば、身体の下に配置された参照装置配列に対するカテーテルの遠位先端の位置、方向及び／又は距離を決定することにより）。５０８において、気道の表面の幾何形状を検出することにより、カテーテルがそれまでにあった位置の位置データ点群から気道のバウンディングボリュームを生成することができる（すなわち、全カテーテル位置を含む３Ｄのカテーテル位置の点群）。例えば、αボリュームアルゴリズムのような解剖学的構造マッピングプログラムによって、位置データ点群から気道の室形状を生成することができる。
【００３６】
５１０において、気道のバウンディングボリュームから中心線を検出することができる（例えば、細線化アルゴリズムを用いて）。５１２において、ステップ５０４からのセグメンテーション中心線上の近位分岐点に対応した近位分岐点（３個以上）を、バウンディングボリューム中心線上で自動的に検出することができる。カテーテルの各位置からのランドマークを、バウンディングボリューム中心線の枝分かれ点を検出することによって検出することができる。
【００３７】
図６Ａ及び図６Ｂは、自動ランドマーク検出を用いて特定された分岐点を有する例示的な気道中心線６０４のグラフ６００Ａ及び６００Ｂを示す。詳細には、図６Ａは、灰色で示される気道体積６０２のセグメンテーション、及び黒い線で示される気道体積６０２から自動的に抽出された中心線６０４のグラフ６００Ａである。中心線６０４は、カテーテルの経路（図には示されていない）に一致している。グラフ上で標識されたノード（例えば、ノード１、ノード２など）はＣＴスキャンから検出された候補ランドマークであり、検出された候補ランドマークの任意のサブセット（又はすべて）をランドマーク位置合わせに使用されるランドマークとして選択することができる（下記に述べるステップ５１４）。図６Ｂは、中心線６０４上の分岐点（例えば、枝分かれ点）に黒い丸によって示される、ランドマーク６０６を自動的に特定する自動ランドマーク検出の結果を示す、抽出された中心線６０４のグラフ６００Ｂである。この例では、ランドマーク６０６は気管と一次気管支との間、及び一次気管支と二次気管支との間に特定されている。図６Ｂは、３個の検出されたランドマーク６０６を示しているが、任意の数のランドマークが特定されてよい。
【００３８】
再び図５を参照すると、５１４において、ランドマーク位置合わせ手順を行ってバウンディングαボリューム中心線上の近位分岐点をセグメンテーション中心線上の近位分岐点に対してマッピングすることができ、これにより、ＣＴスキャンによって生成された肺のマップと肺内のカテーテルの経路との間の必要な対応関係を与えることで気管支鏡検査法における正確な誘導を実現することができる。１つの例では、特異値分解（singular value decomposition、ＳＶＤ）アルゴリズムを用いて２つの点群をマッピングすることができる。
【００３９】
ＣＴ画像からのランドマークとカテーテルの位置からのランドマークとを組み合わせるため、異なる解剖学的特徴を比較することができる。例えば、気管からの第１の分岐点又は枝分かれ点を、両方の点群において主枝分かれ点として定義することができる。主枝分かれ点と二次枝分かれ点（例えば、一次気管支と二次気管支との間）との間の距離を２つの点群間で比較することができる。主枝分かれ点と二次枝分かれ点との間の角度も比較することができる。このプロセスを、例えば、二次枝分かれ点から三次枝分かれ点まで（例えば、二次気管支と三次気管支との間）、といった具合に繰り返すことができる。
【００４０】
画像と患者との位置合わせの別の問題点として、精密又は非剛体位置合わせの精度が、カテーテルの遠位端が三次気管支及び細気管支のような細い遠位気道に入って行くにしたがって低下することがあり、気道内のカテーテルの正確な位置（場所）を決定するうえで不正確さを生じる。現在のところ、医師は肺の内部でカテーテルを手で誘導しているが、これにより、例えばそれが腫瘍の位置である場合には、遠位気道内を含む周辺の解剖学的構造の詳細かつ正確な可視化が必要となり得る。
【００４１】
上記で述べたように、画像位置合わせプロセスは、異なるデータ群を１つの座標系に変換する。気管支鏡検査法では、第１のデータ位置点群はカテーテルが気道を通って誘導される際のカテーテル先端の位置についてのものであり（例えば電磁誘導システムによって取得される）、第２の位置データ点群は気管支の画像についてのものである（例えば、ＣＴ画像に基づいた）。例えば、画像位置合わせは、気管及び気管支のような肺の特定の領域をマッピングすることができる。本明細書の開示は、形状推定とともに軌道情報を用いた非剛体位置合わせのための改良された位置合わせプロセス及びシステムを提供することにより、肺の内部、特に正確なカテーテル位置情報を得ることが困難な細い遠位気道内で誘導を行うためのより正確な位置合わせを提供するものである。
【００４２】
開示される位置合わせシステム及びプロセスは、形状推定用のカテーテル内の複数のセンサ又は光ファイバを使用してカテーテルの軌道を追跡することにより、従来の位置合わせシステムを改良するものである。形状推定では、分配ブラッグ反射器（distributed Bragg reflector、ＤＢＲ）（例えば、ファイバブラッグ格子（Fiber Bragg Grating、ＦＢＧ））に基づいた連続光ファイバ（光学）形状センサをカテーテルに使用することで、空間的に連続した形で感知することができるカテーテルを誘導及び配置することを支援し、これにより、カテーテルの長さ全体の位置に関する情報が与えられる。気管支鏡検査システムは、形状推定を用いて気道の実際の形状とカテーテルの軌道とを比較することでより正確な位置合わせを得ることができる。この方法を用いることで、本システム及び方法は、気道の運動（例えば、呼吸などによって生じる解剖学的構造の運動による）、更には、カテーテル又は気管支鏡によって加えられる機械的応力によるＣＴ画像内の気道の形状に対する現実世界の気道の変形を補償することができる。
【００４３】
図７は、本明細書の開示に基づく、軌道情報及び形状推定を用いた改良された精密（非剛体）位置合わせプロセスの一環として肺の気道内のカテーテル７０２の経路を示す肺の解剖学的構造７００の例示的な画像である。医師が気管７０４のような気道内でカテーテル７０２を誘導し、カテーテル７０２が気管７０４から気管支７０６へのＴ合流点７０８のような気道内のＴ合流点又は分岐点に近づくと、医師は形状推定とともに軌道情報を用いてＴ合流点７０８からのカテーテル７０２の距離を特定することができる。より詳細には、カテーテル７０２が合流点７０８に達した時点で、カテーテル７０２の経路の位置合わせを軌道情報を用いて更新することができ、形状推定を用いることで肺の経路の解剖学的構造のマッピング及び表示が向上する。
【００４４】
開示される位置合わせシステム及びプロセスは、形状推定とともに複数のセンサ及び光ファイバを使用したカテーテルの軌道の追跡を行うことで、肺の経路の解剖学的構造のマッピング及び表示を向上させるものである。誘導の間のカテーテルの磁気的位置の経路を用いることで、位置合わせプロセスの平行移動及び／又は回転を改善することができる。すなわち、カテーテルの先端の位置のみでなく、カテーテルの経路が分かるため、開示される位置合わせシステムは、カテーテルの経路と比較してありえない解剖学的構造を除去することにより、正確な位置情報を特定することができる。
【００４５】
図８は、本明細書の開示に基づく、気管支鏡検査システムで使用するための軌道情報を用いる例示的な位置合わせ手順８００のフロー図である。８０２において、ランドマーク位置合わせを行って、カテーテルの経路に基づいた標的座標系と、ＣＴ画像に基づいた参照座標系とを、例えば上記に述べた方法のいずれか（例えば、図５の自動ランドマーク位置合わせ手順５００）を用いて位置合わせする。１つの例では、ＩＣＰアルゴリズムを用いて剛体位置合わせを改善することができる。
【００４６】
８０４において、エネルギーモデルを生成することができる。エネルギーモデルは、カテーテルの各点によって形成される形状の長さ、折れ曲がり角、及び捻れ角を、術前画像の一致させられた点によって形成される長さ、折れ曲がり角、及び捻れ角と比較することによって定義され得る。形状の長さ、折れ曲がり角、及び捻れ角は、最初に各点群について別々に計算することができる（すなわち、カテーテルの点群及び術前画像からの一致させられた点）。
【００４７】
図９は、本明細書の開示に基づく、長さ部分、折れ曲がり部分、及び捻れ部分を含んだエネルギーモデルの各要素の説明図である。図９及び式１を参照すると、Ｐが標的座標系（カテーテルの位置に基づく）又は参照座標系（術前ＣＴ又はＭＲＩ画像に基づく）内の位置点群を示すものとすると、経路に沿ったＰ内の各点からＰ内の結果としての点までのベクトルはＤＰで表すことができる。長さΔＬを、経路に沿ったＰ内の任意の２個の結果としての（すなわち、連続した）点間の距離として定義することができる。αで示される折れ曲がり角は、２本の結果としてのＤＰベクトル間の角度として定義することができる。２本の結果としてのＤＰベクトルは平面を画定し、θで表される捻れ角は２つの結果としての平面間の角度として定義することができる。
【００４８】
したがって、カテーテル経路内の長さ、折れ曲がり角、及び捻れ角を表すエネルギーＥは、式１によって定義することができる。すなわち、
【００４９】
【数３】
2019010506.tif 000005
（式中、ＫＬは、弾性伸び係数であり、ΔＬｉ２は、磁気経路と一致経路との間の長さの変化であり、Ｋαは、弾性曲げ係数であり、Δαｉ２は、磁気経路及び一致経路の２つの連続した部分間の角度の変化であり、Ｋθは、弾性捻れ係数であり、Δθｉ２は、磁気経路及び一致経路の３つの連続した部分間の捻れ角の変化であり、Ｌｉ、Ｌｉ＋１、及びＬｉ＋２は、エネルギーの計算に用いた経路の長さにわたった各部分の長さである）。
【００５０】
図８を参照すると、８０６において、標的（カテーテル誘導）座標系と参照（ＣＴスキャンに基づく）座標系との間の最小エネルギーＥ（例えば、式１を用いる）を表す経路を選択し、これにしたがって位置合わせを計算する。
【００５１】
図１０は、位置合わせ前のカテーテル経路
【００５２】
【数４】
2019010506.tif 000006
及び位置合わせ後の一致させられたカテーテル経路
【００５３】
【数５】
2019010506.tif 000007
の一例であり、一致させられた経路
【００５４】
【数６】
2019010506.tif 000008
は、カテーテル経路を変化させるエネルギー値Ｅが最小となる経路である。
【００５５】
本明細書に記載の実施形態及び処置は、ハードウェア及び／又はソフトウェアに実装され得る。アブレーションを実行するためのコンピュータシステムは、本明細書に記載の処置を含む、付加的な機能を導入するソフトウェアモジュールを実行することができ得る。本明細書に記載の処置は、高度な心臓可視化と、心臓リズム障害を診断し、治療する医師の能力を強化するための診断能力を有効にし得る。本明細書に開示される処置は、心臓内のアブレーション処置に関して述べられているが、これらの処置は、身体の他の部分におけるアブレーションにも同様に使用され得る。
【００５６】
〔実施の態様〕
（１）  気管支鏡検査手技において自動ランドマーク位置合わせを行うための方法であって、
肺の術前画像に基づいて、視覚的ディスプレイ上に表示することができる肺の気道のマップを生成することと、
前記肺の前記術前画像に基づいて、前記肺の前記気道のセグメンテーション中心線を生成することと、
前記セグメンテーション中心線上で、前記肺の前記気道の分岐点に対応した第１の複数のランドマークを自動的に検出することと、
前記肺の前記気道を通じた誘導の間のカテーテルの位置に基づいた位置データ点群を生成することと、
前記位置データ点群に基づいて前記肺の前記気道のバウンディングボリュームを生成することと、
前記肺の前記気道の前記バウンディングボリュームからバウンディングボリューム中心線を検出することと、
前記バウンディングボリューム中心線上で、前記第１の複数のランドマークの分岐点に対応する第２の複数のランドマークを自動的に検出することと、
前記第２の複数のランドマークの対応する点に対して前記第１の複数のランドマークのマッピングを生成し、前記マッピングを用いて前記位置データ点群を前記肺の前記気道の前記マップと統合することと、を含む、方法。
（２）  前記マッピングを用いて前記肺の前記気道内で誘導される間の前記カテーテルの位置を、前記肺の前記気道の前記マップ上にリアルタイムで視覚的に表示することを更に含む、実施態様１に記載の方法。
（３）  前記肺の前記気道の前記マップが、２次元（２Ｄ）又は３次元（３Ｄ）画像として視覚的に表示される、実施態様２に記載の方法。
（４）  前記複数のランドマークが、３つ以上のランドマークを含む、実施態様１に記載の方法。
（５）  前記セグメンテーション中心線上で前記第１の複数のランドマークを自動的に検出すること、及び前記バウンディングボリューム中心線上で前記第２の複数のランドマークを自動的に検出することが、それぞれ前記セグメンテーション中心線及び前記バウンディングボリューム中心線上で枝分かれ点を特定することを含む、実施態様１に記載の方法。
【００５７】
（６）  前記肺の前記気道内の前記分岐点が、前記肺の気管と前記肺の少なくとも１つの気管支との間の第１のＴ合流点、及び前記肺の第１の気管支と前記肺の第２の気管支との間の第２のＴ合流点を含む、実施態様１に記載の方法。
（７）  前記マッピングを生成することが、特異値分解（ＳＶＤ）を用いる、実施態様１に記載の方法。
（８）  前記肺の前記術前画像が、コンピュータトモグラフィ（ＣＴ）又は核磁気共鳴画像法（ＭＲＩ）を用いて生成される、実施態様１に記載の方法。
（９）  前記カテーテルを前記肺の前記気道を通じて誘導することが、
形状推定とともに軌道情報を用いて前記肺の前記気道内のＴ合流点からの前記カテーテルの距離を特定することを含む、実施態様１に記載の方法。
（１０）  前記形状推定が、
誘導の間の前記カテーテルの各位置によって形成される形状の長さ、折れ曲がり角、及び捻れ角を、前記術前画像内の一致させられた点の長さ、折れ曲がり角、及び捻れ角と比較することによりエネルギー値を計算することと、
前記エネルギー値が最小となる経路を選択することと、を含む、実施態様９に記載の方法。
【００５８】
（１１）  気管支鏡検査手技において自動ランドマーク位置合わせを行うように構成された気管支鏡検査システムであって、
カテーテル及び視覚的ディスプレイ装置に動作可能に接続されたプロセッサであって、
肺の術前画像に基づいて、視覚的ディスプレイ上に表示することができる肺の気道のマップを生成するように構成され、
前記肺の前記術前画像に基づいて、前記肺の前記気道のセグメンテーション中心線を生成するように構成され、
前記セグメンテーション中心線上で、前記肺の前記気道の分岐点に対応した第１の複数のランドマークを自動的に検出するように構成され、
前記肺の前記気道を通じた誘導の間の前記カテーテルの位置に基づいた位置データ点群を生成するように構成され、
前記位置データ点群に基づいて前記肺の前記気道のバウンディングボリュームを生成するように構成され、
前記肺の前記気道の前記バウンディングボリュームからバウンディングボリューム中心線を検出するように構成され、
前記バウンディングボリューム中心線上で、前記第１の複数のランドマークの前記分岐点に対応する第２の複数のランドマークを自動的に検出するように構成され、
前記第２の複数のランドマークの対応する点に対して前記第１の複数のランドマークのマッピングを生成し、前記マッピングを用いて前記位置データ点群を前記肺の前記気道の前記マップと統合するように構成された、プロセッサ、を含む、気管支鏡検査システム。
（１２）  前記視覚的ディスプレイが、前記マッピングを用いて前記肺の前記気道内で誘導される間の前記カテーテルの前記位置を、前記肺の前記気道の前記マップ上にリアルタイムで視覚的に表示するように構成されている、実施態様１１に記載の気管支鏡検査システム。
（１３）  前記視覚的ディスプレイが、前記肺の前記気道の前記マップを２次元（２Ｄ）又は３次元（３Ｄ）画像として視覚的に表示する、実施態様１２に記載の気管支鏡検査システム。
（１４）  前記複数のランドマークが、３つ以上のランドマークを含む、実施態様１１に記載の気管支鏡検査システム。
（１５）  前記プロセッサが、それぞれ前記セグメンテーション中心線及び前記バウンディングボリューム中心線上で枝分かれ点を特定することにより、前記セグメンテーション中心線上で前記第１の複数のランドマークを自動的に検出し、前記バウンディングボリューム中心線上で前記第２の複数のランドマークを自動的に検出するように構成されている、実施態様１１に記載の気管支鏡検査システム。
【００５９】
（１６）  前記肺の前記気道内の前記分岐点が、前記肺の気管と前記肺の少なくとも１つの気管支との間の第１のＴ合流点、及び前記肺の第１の気管支と前記肺の第２の気管支との間の第２のＴ合流点を含む、実施態様１１に記載の気管支鏡検査システム。
（１７）  前記プロセッサが、特異値分解（ＳＶＤ）を用いて前記マッピングを生成するように構成されている、実施態様１１に記載の気管支鏡検査システム。
（１８）  前記肺の前記術前画像が、コンピュータトモグラフィ（ＣＴ）又は核磁気共鳴画像法（ＭＲＩ）を用いて生成される、実施態様１１に記載の気管支鏡検査システム。
（１９）  前記肺の前記気道を通じた前記カテーテルの誘導は、前記プロセッサが形状推定とともに軌道情報を用いて前記肺の前記気道内のＴ合流点からの前記カテーテルの距離を特定することを含む、実施態様１１に記載の気管支鏡検査システム。
（２０）  前記プロセッサが、誘導の間の前記カテーテルの各位置によって形成される形状の長さ、折れ曲がり角、及び捻れ角を、前記術前画像内の一致させられた点の長さ、折れ曲がり角、及び捻れ角と比較することによりエネルギー値を計算し、前記エネルギー値が最小となる経路を選択することにより形状推定を実行する、実施態様１９に記載の気管支鏡検査システム。
【図１】
2019010506.tif 000009
【図２】
2019010506.tif 000010
【図３】
2019010506.tif 000011
【図４Ａ】
2019010506.tif 000012
【図４Ｂ】
2019010506.tif 000013
【図５】
2019010506.tif 000014
【図６Ａ】
2019010506.tif 000015
【図６Ｂ】
2019010506.tif 000016
【図７】
2019010506.tif 000017
【図８】
2019010506.tif 000018
【図９】
2019010506.tif 000019
【図１０】
2019010506.tif 000020
【外国語明細書】
2019010506000001.pdf