(57)【要約】医用イメージング処理中に使用するための装置は、支持構造と、複数の放射線不透過性マーカーとを含み、該支持構造は、医用イメージング処理中に患者の身体の少なくとも一部に近接して位置決めされるように構成され、複数の放射線不透過性マーカーは、支持構造に装着され、複数の放射線不透過性マーカーは、あるパターン内に位置決めされ、パターンの所定部分を撮影する画像が、パターンのいずれか他の所定部分を撮影する画像とは特有であるようにしている。
2019535467.tif 000002
【特許請求の範囲】
【請求項１】
医用イメージング処理中に使用するための装置であって、
医用イメージング処理中に患者の身体の少なくとも一部に近接して位置決めされるように構成された支持構造と、
支持構造に装着された複数の放射線不透過性マーカーとを備え、
複数の放射線不透過性マーカーは、あるパターン内に位置決めされ、パターンの所定部分を撮影する画像が、パターンのいずれか他の所定部分を撮影する画像とは特有であるようにした、装置。
【請求項２】
放射線不透過性マーカーは、（ａ）放射線不透過性金属、または（ｂ）放射線不透過性プラスチック、の少なくとも１つを含む請求項１に記載の装置。
【請求項３】
放射線不透過性マーカーは、均一な形状を有する請求項１に記載の装置。
【請求項４】
該形状は、球状、ロッド状、および立方体状からなるグループから選択される請求項３に記載の装置。
【請求項５】
該パターンは、（ａ）同心円、または（ｂ）複数のラインに沿って配列された点のパターン、のうちの１つを含む請求項１に記載の装置。
【請求項６】
該パターンは、線形帰還シフトレジスタを用いて生成される請求項１に記載の装置。
【請求項７】
該パターンは、同じ次数の異なる主多項式およびＮ×Ｍレジスタ段を備えた２つの１次元線形帰還シフトレジスタ・ゴールドコードのＸＯＲクロス接続を用いて生成される請求項６に記載の装置。
【請求項８】
支持構造は、実質的に平面である請求項１に記載の装置。
【請求項９】
支持構造は、３次元である請求項１に記載の装置。
【請求項１０】
支持構造は、患者のベッドの上方に位置決めされるように構成される請求項１に記載の装置。
【請求項１１】
支持構造は、患者のベッドの下方に位置決めされるように構成される請求項１に記載の装置。
【請求項１２】
支持構造は、患者のベッドとその上に位置決めされたマットレスとの間に位置決めされるように構成される請求項１に記載の装置。
【請求項１３】
支持構造は、患者の胸部に装着されるように構成される請求項１に記載の装置。
【請求項１４】
支持構造は、少なくとも人間の胸部のサイズである請求項１に記載の装置。
【請求項１５】
支持構造と、支持構造に装着された複数の放射線不透過性マーカーとを含む治具を用意するステップであって、該支持構造は、医用イメージング処理中に患者の身体の少なくとも一部に近接して位置決めされるように構成され、複数の放射線不透過性マーカーは、あるパターン内に位置決めされ、パターンの所定部分を撮影する画像が、パターンのいずれか他の所定部分を撮影する画像とは特有であるようにした、ステップと、
第１イメージングモダリティから第１画像を取得するステップと、
第１イメージングモダリティからの第１画像から少なくとも１つの要素を抽出するステップであって、少なくとも１つの要素は、気道、血管、体腔またはこれらのいずれかの組合せを含む、ステップと、
第２イメージングモダリティから、少なくとも（ｉ）第２イメージングモダリティの第１姿勢における治具の第１画像、および（ｉｉ）第２イメージングモダリティの第２姿勢における治具の第２画像を取得するステップであって、治具は、患者の身体に近接して位置決めされる、ステップと、
少なくとも２つの増強された気管支造影像を生成するステップであって、第１の増強された気管支造影像は、第１姿勢における第２イメージングモダリティの第１画像に対応し、第２の増強された気管支造影像は、第２姿勢における第２イメージングモダリティの第２画像に対応している、ステップと、
（ｉ）第２イメージングモダリティの第１姿勢と、（ｉｉ）第２イメージングモダリティの第２姿勢との間の相互幾何学的制約を決定するステップと、
第２イメージングモダリティの第１姿勢および第２イメージングモダリティの第２姿勢を推定するステップであって、この推定は、（ｉ）第１の増強された気管支造影像、（ｉｉ）第２の増強された気管支造影像、および（ｉｉｉ）該少なくとも１つの要素を用いて行われ、そして、第２イメージングモダリティの推定した第１姿勢および第２イメージングモダリティの推定した第２姿勢は、決定した相互幾何学的制約を満たす、ステップと、
第３画像を生成するステップであって、第３画像は、関心領域を強調する第２イメージングモダリティから導出された増強された画像であり、関心領域は、推定した第１姿勢および推定した第２姿勢からの投影データから決定される、ステップとを含む方法。
【請求項１６】
相互幾何学的制約は、下記ａ〜ｄによって生成される請求項１５に記載の方法。
ａ．治具の第１画像と治具の第２画像を比較することによって、（ｉ）第１姿勢と、（ｉｉ）第２姿勢との間の差を推定すること。この推定は、分度器、加速度計、ジャイロスコープ、またはこれらのいずれかの組合せを備える装置を用いて行われ、装置は、第２イメージングモダリティに取り付けられる。
ｂ．複数の画像特徴を抽出して相対的な姿勢変化を推定すること。複数の画像特徴は、解剖学的要素、非解剖学的要素、またはこれらのいずれかの組合せを含み、画像特徴は、患者に装着されたパッチと、第２イメージングモダリティの視野内に位置決めされた放射線不透過性マーカー、またはこれらのいずれかの組合せを含み、画像特徴は、放射線不透過性機器の第１画像および放射線不透過性機器の第２画像上で視認できる。
ｃ．少なくとも１つのカメラを用いることによって、（ｉ）第１姿勢と、（ｉｉ）第２姿勢との間の差を推定すること。カメラは、ビデオカメラ、赤外線カメラ、深度カメラ、またはこれらのいずれかの組合せを含み、カメラは、固定された場所にあり、カメラは、少なくとも１つの特徴を追跡するように構成され、該少なくとも１つの特徴は、患者に装着されたマーカー、第２イメージングモダリティに装着されたマーカー、またはこれらのいずれかの組合せを含む。そして、該少なくとも１つの特徴を追跡すること。
ｄ．または、これらのいずれかの組合せ。
【請求項１７】
軌跡を識別し、その軌跡を追加の幾何学的制約として使用するために、治具を追跡するステップをさらに含む請求項１５に記載の方法。
【発明の詳細な説明】
【技術分野】
【０００１】
（関連出願への相互参照）
本件は、共同所有で同時係属中の米国仮特許出願第６２／４１５１４６号（２０１６年１０月３１日出願、名称"METHODS AND SYSTEMS FOR USING MULTI VIEW POSE ESTIMATION"）に関連し、その利益を請求する国際出願（ＰＣＴ）出願であり、その内容は参照により全体としてここに組み込まれる。
【０００２】
（発明の分野）
本発明の実施形態は、インターベンション(intervention)装置およびその使用方法に関する。
【背景技術】
【０００３】
低侵襲手術、例えば、内視鏡手術、ビデオ補助胸部手術または同様の医療手術は、疑わしい病変の診断ツールとして、または癌性腫瘍の治療手段として使用できる。
【発明の概要】
【課題を解決するための手段】
【０００４】
ある実施形態において、医用イメージング(medical imaging)処理中に使用するための装置は、支持構造と、支持構造に装着された複数の放射線不透過性マーカーとを含み、該支持構造は、医用イメージング処理中に患者の身体の少なくとも一部に近接して位置決めされるように構成され、複数の放射線不透過性マーカーは、あるパターン内に位置決めされ、パターンの所定部分を撮影する画像が、パターンのいずれか他の所定部分を撮影する画像とは特有（一意的）であるようにしている。
【０００５】
ある実施形態において、放射線不透過性マーカーは、（ａ）放射線不透過性金属、または（ｂ）放射線不透過性プラスチック、の少なくとも１つを含む。実施形態において、放射線不透過性マーカーは、均一な形状を有する。ある実施形態において、該形状は、球状、ロッド状、および立方体状からなるグループから選択される。ある実施形態において、該パターンは、（ａ）同心円、または（ｂ）複数のラインに沿って配列された点のパターン、のうちの１つを含む。ある実施形態において、該パターンは、線形帰還シフトレジスタを用いて生成される。ある実施形態において、該パターンは、同じ次数の異なる主多項式(principal polynomials)およびＮ×Ｍレジスタ段を備えた２つの１次元線形帰還シフトレジスタ・ゴールドコード(gold-codes)のＸＯＲ（排他的論理和）クロス接続を用いて生成される。
【０００６】
ある実施形態において、支持構造は、実質的に平面である。ある実施形態において、支持構造は、３次元である。ある実施形態において、支持構造は、患者のベッドの上方に位置決めされるように構成される。ある実施形態において、支持構造は、患者のベッドの下方に位置決めされるように構成される。ある実施形態において、支持構造は、患者のベッドとその上に位置決めされたマットレスとの間に位置決めされるように構成される。ある実施形態において、支持構造は、患者の胸部に装着されるように構成される。ある実施形態において、支持構造は、少なくとも人間の胸部のサイズである。
【０００７】
ある実施形態において、方法は、
支持構造と、支持構造に装着された複数の放射線不透過性マーカーとを含む治具を用意するステップであって、該支持構造は、医用イメージング処理中に患者の身体の少なくとも一部に近接して位置決めされるように構成され、複数の放射線不透過性マーカーは、あるパターン内に位置決めされ、パターンの所定部分を撮影する画像が、パターンのいずれか他の所定部分を撮影する画像とは特有であるようにした、ステップと、
第１イメージングモダリティ（画像診断法）から第１画像を取得するステップと、
第１イメージングモダリティからの第１画像から少なくとも１つの要素を抽出するステップであって、少なくとも１つの要素は、気道、血管、体腔またはこれらのいずれかの組合せを含む、ステップと、
第２イメージングモダリティから、少なくとも（ｉ）第２イメージングモダリティの第１姿勢における治具の第１画像、および（ｉｉ）第２イメージングモダリティの第２姿勢における治具の第２画像を取得するステップであって、治具は、患者の身体に近接して位置決めされる、ステップと、
少なくとも２つの増強された気管支造影像(bronchogram)を生成するステップであって、第１の増強された気管支造影像は、第１姿勢における第２イメージングモダリティの第１画像に対応し、第２の増強された気管支造影像は、第２姿勢における第２イメージングモダリティの第２画像に対応している、ステップと、
（ｉ）第２イメージングモダリティの第１姿勢と、（ｉｉ）第２イメージングモダリティの第２姿勢との間の相互幾何学的制約(constraint)を決定するステップと、
第２イメージングモダリティの第１姿勢および第２イメージングモダリティの第２姿勢を推定するステップであって、この推定は、（ｉ）第１の増強された気管支造影像、（ｉｉ）第２の増強された気管支造影像、および（ｉｉｉ）該少なくとも１つの要素を用いて行われ、そして、第２イメージングモダリティの推定した第１姿勢および第２イメージングモダリティの推定した第２姿勢は、決定した相互幾何学的制約を満たす、ステップと、
第３画像を生成するステップであって、第３画像は、関心領域を強調する第２イメージングモダリティから導出された増強された画像であり、関心領域は、推定した第１姿勢および推定した第２姿勢からの投影データから決定される、ステップとを含む。
【０００８】
ある実施形態において、相互幾何学的制約は、下記ａ〜ｄによって生成される。
ａ．治具の第１画像と治具の第２画像を比較することによって、（ｉ）第１姿勢と、（ｉｉ）第２姿勢との間の差を推定すること。この推定は、分度器、加速度計、ジャイロスコープ、またはこれらのいずれかの組合せを備える装置を用いて行われる。装置は、第２イメージングモダリティに取り付けられる。
ｂ．複数の画像特徴を抽出して相対的な姿勢変化を推定すること。複数の画像特徴は、解剖学的要素、非解剖学的要素、またはこれらのいずれかの組合せを含む。画像特徴は、患者に装着されたパッチと、第２イメージングモダリティの視野内に位置決めされた放射線不透過性マーカー、またはこれらのいずれかの組合せを含む。画像特徴は、放射線不透過性機器の第１画像および放射線不透過性機器の第２画像上で視認できる。
ｃ．少なくとも１つのカメラを用いることによって、（ｉ）第１姿勢と、（ｉｉ）第２姿勢との間の差を推定すること。カメラは、ビデオカメラ、赤外線カメラ、深度(depth)カメラ、またはこれらのいずれかの組合せを含む。カメラは、固定された場所にある。カメラは、少なくとも１つの特徴を追跡するように構成され、該少なくとも１つの特徴は、患者に装着されたマーカー、第２イメージングモダリティに装着されたマーカー、またはこれらのいずれかの組合せを含む。そして、該少なくとも１つの特徴を追跡すること。
ｄ．または、これらのいずれかの組合せ。
【０００９】
ある実施形態において、この方法はまた、軌跡(trajectory)を識別し、その軌跡を追加の幾何学的制約として使用するために、治具を追跡するステップを含む。
【図面の簡単な説明】
【００１０】
本発明は、添付図面を参照してさらに説明するが、いくつかの図を通じて同様な構造は同様な符号によって参照される。図示した図面は、必ずしもスケールどおりではなく、その代わり本発明の原理を説明することに重点が置かれている。さらに、いくつかの特徴は、特定の構成要素の詳細を示すために誇張されることがある。
【００１１】
【図１】本発明の方法のいくつかの実施形態において使用される多視点姿勢推定方法のブロック図を示す。
【図２】図１の例示的方法で使用される術中画像の例示的実施形態を示すもので、ある特定の姿勢から取得される蛍光透視画像を示す。
【図３】図１の例示的方法で使用される術中画像の例示的実施形態を示すもので、ある特定の姿勢から取得される蛍光透視画像を示す。
【図４】図１の例示的方法で使用される術中画像の例示的実施形態を示す。Ｃアーム回転の結果として、図２および図３と比較して、異なる姿勢で取得される蛍光透視画像を示す。気管支鏡（２４０，３４０，４４０）、器具（２１０，３１０，４１０）、肋骨（２２０，３２０，４２０）、および身体境界（２３０，３３０，４３０）が見える。図１の多視点姿勢推定方法は、入力として図２，３および４の可視要素を使用する。
【図５】図１の例示的方法で利用される気管支気道の構造の概略図を示す。気道中心線は参照番号５３０で示される。カテーテルが気道構造内に挿入され、画像面５３０を有する蛍光透視装置によって撮像される。画像上のカテーテル投影は、曲線５５０によって示され、それに取り付けられた放射線不透過性マーカーは、ポイントＧ，Ｆ上に投影される。
【図６】気管支鏡に装着された気管支鏡装置の先端の画像であり、気管支鏡は、図１の例示的な方法において使用できる。
【図７】本発明の方法のある実施形態に係る図であり、この図は、気管支鏡手順において使用される追跡スコープ（７０１）の蛍光透視画像の図であり、手術ツール（７０２）がそこから延びている。手術ツール（７０２）は、放射線不透過性マーカーまたはそれに装着された特有なパターンを含んでもよい。
【図８】例示的な実施形態の図であり、直線パターンの放射線不透過性マーカーを備えた２次元（「２Ｄ」）治具を示す。参照番号８１０で示される矩形領域は、蛍光透視画像の視野内で撮影された治具の一部を示す。領域８１０内に撮影されたパターンの部分は局所的にユニークであり、パターンの他の部分とは区別される。
【図９】例示的な実施形態の図であり、円形パターンの放射線不透過性マーカーを備えた２Ｄ治具を示す。参照番号９１０で示される矩形領域は、蛍光透視画像の視野内で撮影された治具の一部を示す。領域９１０内に撮影されたパターンの部分は局所的にユニークであり、パターンの他の部分とは区別される。
【図１０】例示的な実施形態の図であり、直線パターンの放射線不透過性マーカーを備えた３次元（「３Ｄ」）治具を示す。放射線不透過性マーカーは、距離Ｈだけ離れた２つの異なる平面に配置される。
【００１２】
図は、本明細書の一部を構成し、本発明の例示的な実施形態を含み、その種々の目的および特徴を示す。さらに、図は、必ずしもスケールどおりではなく、さらに、いくつかの特徴は、特定の構成要素の詳細を示すために誇張されることがある。さらに、いずれの測定値、仕様および図示したものなどは、例示的であり、限定的ではないことを意図している。従って、ここに開示される特定の構造的および機能的な詳細は、限定するものとして解釈されるべきではなく、単に、本発明を種々に採用することを当業者に教示するための代表的な基礎として解釈されるべきである。
【発明を実施するための形態】
【００１３】
開示している利益および改善のうち、本発明の他の目的および利点は、添付図面と関連してなされた下記説明から明らかになるであろう。本発明の詳細な実施形態をここでは開示しているが、開示した実施形態は、種々の形態で具現化できる本発明の単なる例示であることは理解すべきである。さらに、本発明の種々の実施形態に関連して供与される実施例の各々は例示的であり、限定的ではないことを意図している。
【００１４】
明細書および請求項を通じて、文脈が明らかに別のことを指示していない限り、下記用語は、ここに明示的に関連した意味をとる。ここで使用する「一実施形態において」および「いくつかの実施形態において」という語句は、必ずしも同じ実施形態を参照していないが、そうであることもある。さらに、ここで使用する「他の実施形態において」および「いくつかの他の実施形態において」という語句は、必ずしも異なる実施形態を参照していないが、そうであることもある。こうして、後述するように、本発明の範囲または精神から逸脱することなく、本発明の種々の実施形態が容易に組み合わせできる。
【００１５】
ここで使用するように、用語「に基づいて(based on)」は排他的ではなく、文脈が明らかに別のことを指示していない限り、記載されていない追加の要因に基づくことを可能にする。さらに、明細書を通じて、「a」、「an」および「the」の意味は複数の参照を含む。「内(in)」の意味は、「内(in)」および「上(on)」を含む。
【００１６】
ここで使用するように、「複数」とは、１つより多い数を参照し、例えば、これに限定されないが、２個、３個、４個、５個、６個、７個、８個、９個、１０個などである。例えば、複数の画像は、２個の画像、３個の画像、４個の画像、５個の画像、６個の画像、７個の画像、８個の画像、９個の画像、１０個の画像などでもよい。
【００１７】
ここで使用するように、「解剖学的要素」とは、ランドマークを参照し、これは、例えば、関心領域、切開点、分岐部、血管、気管支気道、肋骨または器官でもよい。
【００１８】
ここで使用するように、「幾何学的制約(constraint)」または「幾何学制約」または「相互制約」または「相互幾何学的制約」とは、被験者の身体における身体器官（例えば、少なくとも２つの身体器官）間の幾何学的関係を参照する。これは、肋骨、身体の境界などの間の被験者内の類似の幾何学的関係を構築する。こうした幾何学的関係は、異なるイメージングモダリティを通じて観察されるように、変化しないままであるか、あるいはこれらの相対運動は無視または定量化できる。
【００１９】
ここで使用するように、「姿勢」とは、光学カメラ装置の代替として術中撮像装置の線源の相対位置および向きを決定する６つのパラメータのセットを参照する。非限定的な例として、ある姿勢が、装置、患者ベッドおよび患者の間の相対運動の組合せとして取得できる。こうした運動の他の非限定的な例は、静止患者がベッド上にあり、静止患者ベッドの周りのその運動と組み合せた術中撮像装置の回転である。
【００２０】
ここで使用するように、「位置」とは、３Ｄ空間内の撮像装置自体を含む、任意の物体の場所（例えば、ｘ，ｙおよびｚデカルト座標などの任意の座標系で測定できる）を参照する。
【００２１】
ここで使用するように、「向き(orientation)」とは、術中撮像装置の角度を参照する。非限定的な例として、術中撮像装置は、上向き、下向きまたは横向きに配向できる。
【００２２】
ここで使用するように、「姿勢推定方法」とは、第１イメージングモダリティの３Ｄ空間内で第２イメージングモダリティと関連付けられたカメラのパラメータを推定する方法を参照する。こうした方法の非限定的な例は、術前コンピュータ断層撮影（ＣＴ）画像の３Ｄ空間内で術中蛍光透視カメラのパラメータを取得することである。数学モデルは、こうした推定した姿勢を用いて、術前ＣＴ画像内の少なくとも１つの３Ｄポイントを術中Ｘ線画像内の対応する２Ｄポイントに投影する。
【００２３】
ここで使用するように、「多視点姿勢推定方法」とは、術中撮像装置の少なくとも２つの異なる姿勢を推定する方法を参照する。そこでは、撮像装置が同じ場面／被験者から画像を取得する。
【００２４】
ここで使用するように、「相対角度差」とは、これらの相対角度移動によって生ずる撮像装置の２つの姿勢間の角度差を参照する。
【００２５】
ここで使用するように、「相対姿勢差」は、被験者と撮像装置との間の相対的な空間的運動によって生ずる撮像装置の２つの姿勢間の場所および相対角度差の両方を参照する。
【００２６】
ここで使用するように、「エピポーラ距離」は、ある点と他の視点における同じ点のエピポーラ線との間の距離の測定値を参照する。ここで使用するように、「エピポーラ線」とは、視点内のポイントまたは複数ポイントのｘ，ｙベクトルまたは２列行列からの計算を参照する。
【００２７】
ここで使用するように、「類似度(similarity measure)」は、２つの物体間の類似性を定量化する実数値関数を参照する。
【００２８】
いくつかの実施形態において、本発明は、ある方法を提供するものであり、該方法は、
第１イメージングモダリティから第１画像を取得するステップと、
第１イメージングモダリティからの第１画像から少なくとも１つの要素を抽出するステップであって、少なくとも１つの要素は、気道、血管、体腔またはこれらのいずれかの組合せを含む、ステップと、
第２イメージングモダリティから、少なくとも（ｉ）第１姿勢における放射線不透過性機器の第１画像、および（ｉｉ）第２姿勢における放射線不透過性機器の第２画像を取得するステップであって、放射線不透過性機器は患者の体腔内にある、ステップと、
少なくとも２つの増強された気管支造影像を生成するステップであって、第１の増強された気管支造影像は、第１姿勢における放射線不透過性機器の第１画像に対応し、第２の増強された気管支造影像は、第２姿勢における放射線不透過性機器の第２画像に対応している、ステップと、
（ｉ）放射線不透過性機器の第１姿勢と、（ｉｉ）放射線不透過性機器の第２姿勢との間で相互幾何学的制約を決定するステップと、
放射線不透過性機器の第１姿勢および、第１イメージングモダリティの第１画像に対する放射線不透過性機器の第２姿勢を比較することによって、放射線不透過性機器の第１姿勢および放射線不透過性機器の第２姿勢を推定するステップであって、この比較は、（ｉ）第１の増強された気管支造影像、（ｉｉ）第２の増強された気管支造影像、および（ｉｉｉ）該少なくとも１つの要素を用いて行われ、そして、放射線不透過性機器の推定した第１姿勢および放射線不透過性機器の推定した第２姿勢は、決定した相互幾何学的制約を満たす、ステップと、
第３画像を生成するステップであって、第３画像は、関心領域を強調する第２イメージングモダリティから導出された増強された画像であり、関心領域は、第１イメージングモダリティからのデータから決定される、ステップとを含む。
【００２９】
いくつかの実施形態において、第１イメージングモダリティからの第１画像からの少なくとも１つの要素は、肋骨、椎骨、横隔膜、またはこれらのいずれかの組合せをさらに含む。いくつかの実施形態において、相互幾何学的制約は、下記ａ〜ｄによって生成される。
ａ．放射線不透過性機器の第１画像と放射線不透過性機器の第２画像を比較することによって、（ｉ）第１姿勢と、（ｉｉ）第２姿勢との間の差を推定すること。この推定は、分度器、加速度計、ジャイロスコープ、またはこれらのいずれかの組合せを備える装置を用いて行われる。該装置は、第２イメージングモダリティに取り付けられる。
ｂ．複数の画像特徴を抽出して相対的な姿勢変化を推定すること。複数の画像特徴は、解剖学的要素、非解剖学的要素、またはこれらのいずれかの組合せを含む。画像特徴は、患者に装着されたパッチと、第２イメージングモダリティの視野内に位置決めされた放射線不透過性マーカー、またはこれらのいずれかの組合せを含む。画像特徴は、放射線不透過性機器の第１画像および放射線不透過性機器の第２画像上で視認できる。
ｃ．少なくとも１つのカメラを用いることによって、（ｉ）第１姿勢と、（ｉｉ）第２姿勢との間の差を推定すること。カメラは、ビデオカメラ、赤外線カメラ、深度カメラ、またはこれらのいずれかの組合せを含む。カメラは、固定された場所にある。カメラは、少なくとも１つの特徴を追跡するように構成され、該少なくとも１つの特徴は、患者に装着されたマーカー、第２イメージングモダリティに装着されたマーカー、またはこれらのいずれかの組合せを含む。そして、少なくとも１つの特徴を追跡すること。
ｄ．または、これらのいずれかの組合せ。
【００３０】
いくつかの実施形態において、該方法はさらに、軌跡を識別し、この軌跡を追加の幾何学的制約として使用するために、放射線不透過性機器を追跡するステップを含み、放射線不透過性機器は、内視鏡、気管支内ツールまたはロボットアームを含む。
【００３１】
いくつかの実施形態において、本発明は方法であり、該方法は、
患者の少なくとも１つの体腔のマップを生成するステップであって、マップは、第１イメージングモダリティからの第１画像を用いて生成される、ステップと、
第２イメージングモダリティから、少なくとも２つの装着されたマーカーを含む放射線不透過性機器の画像を取得するステップであって、少なくとも２つの装着されたマーカーは、既知のある距離だけ離れている、ステップと、
患者の少なくとも１つの体腔のマップに対して、第２イメージングモダリティから放射線不透過性機器の姿勢を識別するステップと、
第２イメージングモダリティからの第２画像において放射線不透過性機器に装着された第１マーカーの第１場所を識別するステップと、
第２イメージングモダリティからの第２画像において放射線不透過性機器に装着された第２マーカーの第２場所を識別するステップと、
第１マーカーの第１場所と第２マーカーの第２場所との間の距離を測定するステップと、
第１マーカーと第２マーカーとの間の既知の距離を投影するステップと、
測定した距離を、第１マーカーと第２マーカーとの間の投影された既知の距離と比較して、患者の少なくとも１つの体腔内の放射線不透過性機器の特定の場所を識別するステップとを含む。
【００３２】
いくつかの実施形態において、放射線不透過性機器は、内視鏡、気管支内ツールまたはロボットアームを含む。
【００３３】
いくつかの実施形態において、該方法はさらに、放射線不透過性機器の軌跡を使用して放射線不透過性機器の深さを識別するステップを含む。
【００３４】
いくつかの実施形態において、第１イメージングモダリティからの第１画像は、術前画像である。いくつかの実施形態において、第２イメージングモダリティからの放射線不透過性機器の少なくとも１つの画像は、術中画像である。
【００３５】
いくつかの実施形態において、本発明は方法であり、該方法は、
第１イメージングモダリティから第１画像を取得するステップと、
第１イメージングモダリティからの第１画像から少なくとも１つの要素を抽出するステップであって、少なくとも１つの要素は、気道、血管、体腔またはこれらのいずれかの組合せを含む、ステップと、
第２イメージングモダリティから、少なくとも（ｉ）放射線不透過性機器の１つの画像、および（ｉｉ）第２イメージングモダリティの２つの異なる姿勢での放射線不透過性機器の他の画像を取得するステップであって、放射線不透過性機器の第１画像は、第２イメージングモダリティの第１姿勢で撮影され、放射線不透過性機器の第２画像は、第２イメージングモダリティの第２姿勢で撮影され、放射線不透過性機器は、患者の体腔内にある、ステップと、
撮像装置の２つの姿勢の各々に対応する少なくとも２つの増強された気管支造影像を生成し、第１の増強された気管支造影像は、放射線不透過性機器の第１画像から導出され、第２の増強された気管支造影像は、放射線不透過性機器の第２画像から導出され、
（ｉ）第２イメージングモダリティの第１姿勢と、（ｉｉ）第２イメージングモダリティの第２姿勢との間の相互幾何学的制約を決定するステップと、
対応する増強された気管支造影像および第１イメージングモダリティの第１画像から抽出された少なくとも１つの要素を用いて、第１イメージングモダリティの第１画像に対する第２イメージングモダリティの２つの姿勢を推定するステップであって、２つの推定した姿勢は、相互幾何学的制約を満たす、ステップと、
第１イメージングモダリティから供給されたデータに基づいて、第３画像を生成するステップであって、第３画像は、関心領域を強調する第２イメージングモダリティから導出された増強された画像である、ステップとを含む。
【００３６】
いくつかの実施形態において、解剖学的要素、例えば、肋骨、椎骨、横隔膜、またはこれらのいずれかの組合せなどが、第１イメージングモダリティから、そして第２イメージングモダリティから抽出される。
【００３７】
いくつかの実施形態において、相互幾何学的制約は、下記ａ〜ｄによって生成される。
ａ．放射線不透過性機器の第１画像と放射線不透過性機器の第２画像を比較することによって、（ｉ）第１姿勢と、（ｉｉ）第２姿勢との間の差を推定すること。この推定は、分度器、加速度計、ジャイロスコープ、またはこれらのいずれかの組合せを備える装置を用いて行われる。該装置は、第２イメージングモダリティに取り付けられる。
ｂ．複数の画像特徴を抽出して相対的な姿勢変化を推定すること。複数の画像特徴は、解剖学的要素、非解剖学的要素、またはこれらのいずれかの組合せを含む。画像特徴は、患者に装着されたパッチと、第２イメージングモダリティの視野内に位置決めされた放射線不透過性マーカー、またはこれらのいずれかの組合せを含む。画像特徴は、放射線不透過性機器の第１画像および放射線不透過性機器の第２画像上で視認できる。
ｃ．少なくとも１つのカメラを用いることによって、（ｉ）第１姿勢と、（ｉｉ）第２姿勢との間の差を推定すること。カメラは、ビデオカメラ、赤外線カメラ、深度カメラ、またはこれらのいずれかの組合せを含む。カメラは、固定された場所にある。カメラは、少なくとも１つの特徴を追跡するように構成され、該少なくとも１つの特徴は、患者に装着されたマーカー、第２イメージングモダリティに装着されたマーカー、またはこれらのいずれかの組合せを含む。そして、該少なくとも１つの特徴を追跡すること。
ｄ．または、これらのいずれかの組合せ。
【００３８】
いくつかの実施形態において、該方法はさらに、放射線不透過性機器を追跡して、軌跡を識別し、そしてこうした軌跡を追加の幾何学的制約として使用することをさらに含む。放射線不透過性機器は、内視鏡、気管支内ツールまたはロボットアームを含む。
【００３９】
いくつかの実施形態において、本発明は、患者内部の真の機器場所を識別する方法であり、該方法は、
第１イメージングモダリティの第１画像から生成された患者の少なくとも１つの体腔のマップを使用するステップと、
第２イメージングモダリティから、それに装着された少なくとも２つのマーカーを備え、両者間に規定された距離を有し、患者内の少なくとも２つの異なる体腔内に位置するものとして画像から認知できる、放射線不透過性機器の画像を取得するステップと、
マップに対する第２イメージングモダリティの姿勢を取得するステップと、
第２イメージングモダリティからの第２画像において放射線不透過性機器に装着された第１マーカーの第１場所を識別するステップと、
第２イメージングモダリティからの第２画像において放射線不透過性機器に装着された第２マーカーの第２場所を識別するステップと、
第１マーカーの第１場所と第２マーカーの第２場所との間の距離を測定するステップと、
第２イメージングモダリティの姿勢を用いて、放射線不透過性機器の認知場所の各々においてマーカー間の既知の距離を投影するステップと、
測定した距離を２つのマーカー間の投影距離の各々と比較して、身体内の真の機器場所を識別するステップとを含む。
【００４０】
いくつかの実施形態において、放射線不透過性機器は、内視鏡、気管支内ツールまたはロボットアームを含む。
【００４１】
いくつかの実施形態において、該方法はさらに、放射線不透過性機器の軌跡を使用して、放射線不透過性機器の深さを識別するステップを含む。
【００４２】
いくつかの実施形態において、第１イメージングモダリティからの第１画像は、術前画像である。いくつかの実施形態において、第２イメージングモダリティからの放射線不透過性機器の少なくとも１つの画像は、術中画像である。
【００４３】
（多視点姿勢推定）
国際出願第ＰＣＴ／ＩＢ２０１５／０００４３８号は、内視鏡手術中に患者に対する蛍光透視装置の姿勢情報（例えば、位置、向き）を推定する方法の説明を含んでおり、参照により全体としてここに組み込まれる。
【００４４】
例示的な実施形態は、術中画像セットから抽出されたデータを含む方法を含み、各画像は、撮像装置から得られた少なくとも１つ（例えば、１つ、２つ、３つ、４つなど）の未知の姿勢で取得される。これらの画像は姿勢推定方法のための入力として使用される。例示的な実施形態として、図３、図４、図５は、３つの蛍光透視画像のセットの例である。図４と図５の画像は、同じ未知の姿勢で取得されたものであり、図３の画像は異なる未知の姿勢で取得されたものである。このセットは、例えば、撮像装置に対して追加の既知の位置データを含んでもよく、含まなくてもよい。例えば、あるセットが、位置データ、例えば、Ｃアームの場所および向きなどを含んでもよく、これは、蛍光透視装置(Fluoroscope)によって提供でき、あるいは蛍光透視装置に取り付けられた測定装置、例えば、分度器、加速度計、ジャイロスコープなどによって取得できる。
【００４５】
いくつかの実施形態において、解剖学的要素は、追加の術中画像から抽出され、これらの解剖学的要素は、姿勢推定方法に導入できる幾何学的制約を意味する。その結果、姿勢推定方法を使用する前に、単一の術中画像から抽出される要素の数が低減できる。
【００４６】
いくつかの実施形態において、多視点姿勢推定方法はさらに、術前モダリティから供給される情報を、術中画像のセットからのいずれかの画像に重ね合わせることを含む。いくつかの実施形態において、情報を重ね合わせるための方法が、
ユーザによって、術前画像上の関心領域(area of interest)を選択するステップと、
術前画像上に関心体積(volume of interest)を生成するステップと、
術中の画像またはビデオを取得するステップと、
術中イメージングモダリティの姿勢を計算するステップと、
術中画像と術前画像との間の粗い位置合わせ(registration)を実施するステップと、
術前画像の関心体積から、特徴またはパターンのセットを生成するステップと、
細かい位置合わせを実施して、特徴またはパターンの各々の間の最良適合(best fit)を見つけるステップと、
信号マッチングパターンを強化して、関心領域で見つかった解剖組織(anatomy)を強調するステップと、
基準画像から供給される信号をディスプレイ／画像上に重ね合わせるステップとを含む。いくつかの実施形態において、術前モダリティから供給される情報を術中画像の上に重ね合わせる説明は、国際特許出願第ＰＣＴ／ＩＢ２０１５／０００４３８号に見つけることができ、これは参照により全体としてここに組み込まれる。
【００４７】
いくつかの実施形態において、複数の第２イメージングモダリティは、患者に対する蛍光透視姿勢（例えば、これに限定されないが、蛍光透視アームの回転または直線運動、患者ベッドの回転および運動、ベッド上での患者の相対運動、またはこれらのいずれかの組合せ）を変化させることを可能にするものであり、複数の画像は、患者と蛍光透視装置との間の回転運動および直線運動の任意の組合せとして、蛍光透視ソースの上述した相対的姿勢から取得される。
【００４８】
本発明のいくつかの実施形態を説明したが、これらの実施形態は例示的に過ぎず、限定的なものなく、多くの変更が当業者にとって明らかとなることが理解される。さらに、種々のステップは、任意の所望の順序で実行できる（そして、任意の所望のステップを追加してもよく、及び／又は、任意の所望のステップを排除してもよい）。
【００４９】
ここで、下記の実施例を参照するが、これは、上記説明と共に、本発明のいくつかの実施形態を非限定的に例示する。
【００５０】
（例：最小侵襲性肺手術）
本発明の非限定的な例示的実施形態は、低侵襲性肺手術に適用でき、気管支内ツールが、気管支鏡の作業チャネルを通して患者の気管支気道の中に挿入される（図６参照）。診断処置を開始する前に、医師はセットアッププロセスを実施し、医師は、カテーテルを関心領域の周りのいくつかの（例えば、２つ、３つ、４つなど）気管支気道内に配置する。蛍光透視画像は、図２、図３、図４に示すように、気管支内カテーテルのあらゆる場所について取得される。
【００５１】
関心領域における姿勢を推定した後、気管支鏡を挿入するための経路は、術前イメージングモダリティ上で識別でき、術中の蛍光透視画像の上に術前画像からの情報を強調表示または重ね合わせることによってマーク付与できる。気管支内カテーテルを関心領域に操縦した後、医師は、例えば、カテーテルが関心領域内に位置することを確認するために、回転したり、ズームレベルを変更したり、または蛍光透視装置をシフトすることができる。典型的には、蛍光透視装置のこうした姿勢変化は、図４に示すように、以前に推定された姿勢を無効にし、医師がセットアッププロセスを繰り返すことを要求するであろう。しかしながら、カテーテルは、既に潜在的な関心領域の内側に位置しているため、セットアッププロセスを繰り返すことは必要ではない。
【００５２】
図４は、本発明の例示的な実施形態を示しており、図２と図３から抽出された解剖学的要素を用いて蛍光透視角の姿勢が推定されることを示す（例えば、図２と図３は初期のセットアッププロセスから得られる画像、および画像から抽出された追加の解剖学的要素、例えば、カテーテル場所、肋骨の解剖組織、身体境界などを示す）。この姿勢は、例えば、（１）蛍光透視装置を移動させること（例えば、ｃアームの周りでヘッドを回転させる）、（２）蛍光透視装置を、前方および後方に移動させること、または代替的に被験者位置の変化により、または両方の組合せなどによって、変更できる。さらに、図２と図４との間の相互の幾何学的制約、例えば、撮像装置に関する位置データなどが推定プロセスにおいて使用できる。
【００５３】
図１は、例示的な方法のブロック図であり、下記のものを示す。
【００５４】
Ｉ．コンポーネント１２０は、３Ｄ解剖学的要素、例えば、気管支気道、肋骨、横隔膜などを、術前画像、例えば、これに限定されないが、ＣＴ、磁気共鳴イメージング（ＭＲＩ）、陽電子放出断層撮影−コンピュータ断層撮影法（ＰＥＴ−ＣＴ）などから、自動または半自動セグメンテーション（細分化）プロセス、またはこれらの任意の組合せを用いて抽出する。自動または半自動セグメンテーションプロセスの例は、文献（"“Three-dimensional Human Airway Segmentation Methods for Clinical Virtual Bronchoscopy”, Atilla P. Kiraly, William E. Higgins, Geoffrey McLennan, Eric A. Hoffman, Joseph M. Reinhardt"）に記載されており、これは、参照によりその全体としてここに組み込まれる。
【００５５】
ＩＩ．コンポーネント１３０は、２Ｄ解剖学的要素（これは、図４にさらに示されており、例えば、気管支気道４１０、肋骨４２０、身体境界４３０、横隔膜など）を、術中画像のセット、例えば、これに限定されないが、蛍光透視画像、超音波画像などから抽出する。
【００５６】
ＩＩＩ．コンポーネント１４０は、術中画像セット内の画像の各サブセット間の相互制約、例えば、相対角度差、相対姿勢差、エピポーラ距離などを計算する。
【００５７】
他の実施形態において、この方法は、術中画像セット内の画像の各サブセット間の相互制約を推定することを含む。こうした方法の非限定的な例を下記に示す。
（１）一対の蛍光透視画像の少なくとも２つの姿勢間の相対姿勢変化を推定するために、術中撮像装置に取り付けられた測定装置の使用。
（２）これに限定されないが、例えば、患者に取り付けられたパッチ（例えば、ＥＣＧパッチ）を含む解剖学的要素または非解剖学的要素、または、術中撮像装置の視野内に位置決めされた放射線不透過性マーカーなどの画像特徴の抽出。これらは両方の画像上で視認でき、これらの特徴を用いて相対姿勢変化を推定する。
（３）処置室内に特定の場所に取り付けられたカメラ、例えば、ビデオカメラ、赤外線カメラ、深度(depth)カメラ、またはこれらの組合せなどのセットの使用。これは、患者に取り付けられたパッチ、または撮像装置に取り付けられたマーカーなどの特徴を追跡する。こうした特徴を追跡することによって、コンポーネントは、撮像装置の相対姿勢変化を推定できる。
【００５８】
ＩＶ．コンポーネント１５０は、術前画像から生成された３Ｄ要素を、術中画像から生成されたこれらの対応する２Ｄ要素と照合する。例えば、蛍光透視画像から抽出された所定の２Ｄ気管支気道をＣＴ画像から抽出された３Ｄ気道のセットと照合する。
【００５９】
Ｖ．コンポーネント１７０は、所望の座標系、例えば、術前画像座標系、手術環境に関連した、他の撮像装置またはナビゲーション装置によって形成される座標系などにおける術中画像セット内の画像の各々についての姿勢を推定する。
【００６０】
このコンポーネントへの入力は、下記のものである。
・患者の術前画像から抽出した３Ｄ解剖学的要素。
・術中画像のセットから抽出された２Ｄ解剖学的要素。ここで述べるように、セット内の画像は、同じまたは異なる撮像装置の姿勢から供給できる。
・術中画像セット内の画像の各サブセット間の相互制約。
【００６１】
コンポーネント１７０は、術中画像セットから各画像の姿勢を下記のように評価する。
・２Ｄ抽出要素は、対応し投影される３Ｄ解剖学的要素と一致する。
・相互制約１４０は、推定した姿勢に適用する。
【００６２】
投影された３Ｄ要素を照合するために、術前画像を、術中画像から対応する２Ｄ要素に供給すると、類似性測度、例えば、距離計量(metric)などが必要になる。こうした距離計量は、投影された３Ｄ要素とこれらの対応する２Ｄ要素との間の距離を評価するための尺度(measure)を提供する。例えば、２つのポリライン(polyline)間のユークリッド距離（例えば、単一のオブジェクトとして作成された線分の接続されたシーケンス）が、術前画像を供給する３Ｄ投影気管支気道と術中画像から抽出された２Ｄ気道との間の類似性測度として使用できる。
【００６３】
さらに、本発明の方法の実施形態において、この方法は、術中画像セットからの画像サブセット間の相互制約が満たされることを条件として、類似性測度を最適化するような姿勢を識別することによって、術中画像セットに対応する姿勢セットを推定することを含む。類似性測度の最適化は、最小二乗問題と称することができ、いくつかの方法で解決できる。例えば、
（１）姿勢推定のための反復最小化方法を実装する周知のバンドル調整アルゴリズムを使用すること。これは参照により全体としてここにに組み込まれる。文献（B. Triggs; P. McLauchlan; R. Hartley; A. Fitzgibbon (1999) "Bundle Adjustment − A Modern Synthesis". ICCV '99: Proceedings of the International Workshop on Vision Algorithms）
（２）グリッドサーチ法を使用して、類似性測度を最適化する最適な姿勢を探すためにパラメータ空間を走査すること。
【００６４】
（マーカー）
機器の位置に関する３Ｄ情報を回収するために、放射線不透過性マーカーが、医療機器上の予め定めた場所に配置できる。体内空洞の３次元構造のいくつかの経路、例えば、気管支気道または血管などが、術中画像上の類似した２次元曲線に投影できる。マーカーを用いて得られた３Ｄ情報は、こうした経路を区別するために使用できる。
【００６５】
本発明の例示的な実施形態において、図５に示すように、ある機器が、術中装置によって撮像され、撮像面５０５に投影される。両方の経路が撮像面５０５上の同じ曲線に投影されるため、機器が経路５２０または５２５の内側に配置されるか否かは未知である。経路５２０と経路５２５を区別するために、マーカー間に予め定めた距離「ｍ」を有するカテーテルに取り付けられた少なくとも２つの放射線不透過性マーカーを使用することが可能である。図５において、術前画像上に観察されたマーカーは、「Ｇ」および「Ｆ」と命名している。
【００６６】
５２０と５２５との間の区別化プロセスは、下記のように実施できる。
（１）術中画像からのポイントＦを、対応する気道５２０，５２５の潜在的候補の上に投影して、ポイントＡ，Ｂを取得する。
（２）術中画像からのポイントＧを、対応する気道５２０，５２５の潜在的候補の上に投影して、ポイントＣ，Ｄを取得する。
（３）投影されたマーカーのペア間の距離｜ＡＣ｜，｜ＢＤ｜を測定する。
（４）５２０上の距離｜ＡＣ｜および５２５上の距離｜ＢＤ｜を、ツール製造会社によって予め定義された距離ｍと比較する。距離類似性に従って適切な気道を選択する。
【００６７】
（追跡スコープ）
非限定的な例として、患者ＣＴスキャンを蛍光透視装置と位置合わせする方法が、ここでは開示される。この方法は、蛍光透視画像およびＣＴスキャンの両方で検出された解剖学的要素を、ＣＴスキャンに対する蛍光透視装置の姿勢（例えば、向きおよび位置）を生成する姿勢推定アルゴリズムへの入力として使用する。下記説明は、気管支内装置の位置に対応する３Ｄ空間軌跡を、位置合わせ方法の入力に追加することによって、この方法を拡張する。これらの軌跡は、例えば、ある範囲に沿って位置センサを取り付けること、または、ロボット内視鏡アームを使用することなど、いくつかの手段によって取得できる。こうした気管支内装置は、ここから追跡スコープ(Tracked Scope)と称するようにする。追跡スコープは、そこからターゲット領域まで延びる手術ツールを案内するために使用される（図７参照）。診断ツールは、カテーテル、鉗子、ニードルなどでもよい。下記説明は、追跡スコープによって取得された位置測定値を使用して、ここに示される位置合わせ方法の精度および堅牢性をどのように改善するかを説明する。
【００６８】
一実施形態において、追跡スコープの軌跡と蛍光透視装置の座標系との間の位置合わせは、追跡スコープを空間内の種々の場所に位置決めし、標準的な姿勢推定アルゴリズムを適用することによって達成される。姿勢推定アルゴリズムへの参照については、下記文献を参照（F. Moreno-Noguer, V. Lepetit and P. Fua "EPnP: Efficient Perspective-n-Point Camera Pose Estimation"）。これは、参照により全体としてここに組み込まれる。
【００６９】
ここに開示される姿勢推定方法は、ＣＴスキャン内で選択された要素が蛍光透視画像内のそれらの対応する要素上に投影されるように、姿勢を推定することによって実施される。本発明の一実施形態において、追跡スコープ軌跡を、姿勢推定方法への入力として追加することは、この方法を拡張する。これらの軌跡は、ここでの方法を用いて蛍光透視装置座標系に変換できる。いったん蛍光透視装置の座標系に変換されると、軌跡は、姿勢推定方法に対する追加の制約として機能する。理由は、推定した姿勢は、位置合わせされたＣＴスキャンからセグメント化された気管支気道に軌跡がフィットする必要があるという条件によって制約されるためである。
【００７０】
蛍光透視装置の推定姿勢は、手術ツールを肺内側の特定のターゲットに案内するために、術前ＣＴからの解剖学的要素を蛍光透視ライブビデオに投影するために使用できる。こうした解剖学的要素は、これに限定されないが、ターゲット病変(lesion)、病変への経路などでもよい。ターゲット病変への投影経路は、医師に２次元情報のみを提供し、深度の曖昧さをもたらすことになり、換言すると、ＣＴ上でセグメント化されたいくつかの気道は、２Ｄ蛍光透視画像上での同じ投影に対応する可能性がある。手術ツールが配置されるＣＴ上の気管支気道を正しく識別することが重要である。こうした曖昧さを減少するために使用される１つの方法は、ここで記載すように、深さ情報を提供するツール上に配置された放射線不透過性マーカーを使用することによって実施される。本発明の他の実施形態において、追跡スコープは、気管支気道内の３Ｄ位置を提供することから、こうした曖昧さを減少させるために使用できる。こうした手法を、分岐している気管支樹に適用すると、潜在的な曖昧さの選択肢を、図７の追跡スコープ先端７０１まで排除することを可能にする。図７の手術ツール７０１が３Ｄ軌跡を有していないと仮定すると、ツールのこの部分７０２について上述した曖昧さが生ずることがあっても、こうしたイベントが発生する確率はかなり低い。従って、本発明の本実施形態は、現在のツール位置を正しく識別するように、ここで記載した方法の能力を改善する。
【００７１】
（治具および使用方法）
蛍光透視装置の視野内に位置決めされた放射線不透過性マーカーを使用することによって、画像間の相互制約を計算するための例示的な方法を上述した。このセクションでは、蛍光透視画像内でこれらのマーカーを位置決め、検出、及び／又は識別する方法について説明する。
【００７２】
いくつかの実施形態において、放射線不透過性マーカーは、予め定めた固定位置で剛性治具に取り付けられる。いくつかの実施形態において、放射線不透過性マーカーは、放射線不透過性金属を含む。いくつかの実施形態において、放射線不透過性マーカーは、放射線不透過性プラスチックを含む。いくつかの実施形態において、放射線不透過性マーカーは、他の放射線不透過性材料を含む。いくつかの実施形態において、放射線不透過性マーカーは、均一な形状を有する。いくつかの実施形態において、その形状は球形である。いくつかの実施形態において、その形状はロッド状である。いくつかの実施形態において、その形状は立方体である。いくつかの実施形態において、その形状は、ここに記載されていない他の均一な形状である。いくつかの実施形態において、放射線不透過性マーカーは、治具上に位置決めされる。いくつかの実施形態において、放射線不透過性マーカーは、画像処理アルゴリズムを用いて蛍光透視画像内で検出されるように構成される。いくつかの実施形態において、画像処理アルゴリズムは、ブロブ(blob)検出アルゴリズムである。
【００７３】
いくつかの実施形態において、ブロブ検出アルゴリズムは、テンプレートマッチングアルゴリズムである。いくつかの実施形態において、ブロブのテンプレートは、サーチ画像上を移動し、テンプレートが画像の一部と一致する場所でブロブが検出される。いくつかの実施形態において、テンプレートマッチングアルゴリズムは、下記ステップを含む。
１．テンプレートを初期画像位置（０，０）に重ね合わせる。
２．重ね合わせ領域について、差の２乗の和（ＳＳＤ）または差の絶対値の和（ＳＡＤ）を計算し、それを相関行列に保存する。
３．次の画像位置に移動し、最後の画像位置に到達するまでステップ２を繰り返す。
いくつかの実施形態において、相関画像内の輝点(bright spot)は、確からしいブロブ場所に対応する。いくつかの実施形態において、閾値を定義することによって、結果として、正確な数のブロブおよび正確な位置が使用できる。いくつかの実施形態において、テンプレートが画像外側の画素をカバーする場合、これらの値は、ミラーリングまたは外挿によって計算できる。いくつかの実施形態において、テンプレート位置は、画像内でテンプレートカバレッジ(coverage)を備えた位置に限定できる。いくつかの実施形態において、小型のテンプレートを使用して、原始（プリミティブ）ブロブを検出でき、一方、大型のテンプレートは、特定の形状を持つブロブを検出できる。いくつかの実施形態において、より柔軟なブロブ検出を得るために、複数のテンプレートが設計できる。
【００７４】
いくつかの実施形態において、ブロブ検出アルゴリズムは、分水嶺(watershed)検出アルゴリズムである。いくつかの実施形態において、分水嶺法は、画像がグレー値の山であると仮定し、雨が山に降って山の範囲を流れ落ち、盆地に蓄積するプロセスをシミュレーションする。いくつかの実施形態において、このプロセスは、全ての盆地が満杯になり、異なる盆地間の分水嶺だけになるまで繰り返される。いくつかの実施形態において、これらの分水嶺は、明るいブロブに対応するが、暗いブロブは、勾配振幅画像を撮ることによっても取得できる。いくつかの実施形態において、この洪水(flooding)プロセスは、勾配画像に対して実施され、即ち、盆地は、エッジに沿って出現するはずである。通常、このアルゴリズムは、特にノイズの多い画像材料、例えば、医療ＣＴデータについて、画像のオーバーセグメンテーション（過分割）をもたらすようになる。画像は前処理する必要があり、あるいは、または後に類似性基準に基づいて領域を併合する必要がある。
【００７５】
いくつかの実施形態において、ブロブ検出アルゴリズムは、スポークフィルタアルゴリズムである。いくつかの実施形態において、スポークフィルタアルゴリズムは、下記ステップを含む。
１．エッジフィルタを適用し、全て（８つ）の向きの局所エッジ要素を抽出する。
２．エッジ接線方向に垂直な線上でエッジ要素から一定の距離内にある画素を「内部」としてマーク付与する。
３．スポーク交差部を、異なる向きのエッジ要素でマーク付与した内部画像であるとしてマーク付与する。
４.ブロブを、６つ、７つまたは全８つの向きでマーク付与された交差部であるとしてマーク付与する。
いくつかの実施形態において、距離を変えることによって、種々のサイズのブロブが検出できる。いくつかの実施形態において、強度ピラミッドが、細かいものから粗い分解能の画像のセットとして定義される。いくつかの実施形態において、各レベルで、スポークフィルタは、ブロブを検出するために適用される。いくつかの実施形態において、強度ピラミッド内の各画像について、エッジ要素を計算し、全ての画像について合算できる。いくつかの実施形態において、合算された勾配画像について、スポークフィルタアルゴリズムのステップ２〜４が続いて行われ、複数のスケールでブロブを検出できる。
【００７６】
いくつかの実施形態において、ブロブ検出アルゴリズムは、自動スケール選択アルゴリズムである。いくつかの実施形態において、自動スケール選択アルゴリズムは、他の痕跡(evidence)がない場合、正規化導関数のいくつかの組合せがスケールに渡って極大値をとるスケールレベルが、対応するブロブのサイズを反映することを仮定するという原理に基づいて動作する。いくつかの実施形態において、スケールレベルは、ガウシアン平滑化(smoothing)によって得られる。いくつかの実施形態において、ガウス関数は、分解能が減少した場合に細部が生成されず、粗いスケールでより簡単な画像を提供するという要求を満たす。いくつかの実施形態において、ガウススケール空間において基本的なブロブ検出器として使用される組合せは、ラプラシアンとモンジュ−アンペール(Monge-Ampere)演算子である。いくつかの実施形態において、ラプラシアン演算子は、ヘッセ(Hessian)行列のトレースとして定義され、これは画像関数の２次偏導関数の正方行列である。いくつかの実施形態において、このトレースにスケールパラメータを乗算することによって、ラプラシアン演算子を使用して、スケール空間最大値を検出できる。いくつかの実施形態において、モンジュ−アンペール演算子は、ヘッセ行列のスケール正規化行列式として定義される。いくつかの実施形態において、スケールパラメータは２回乗算され、スケール不変性を得ている。いくつかの実施形態において、スケールを超える最大値は、強度パターンの再スケーリングの下で良い挙動を有する。即ち、画像が一定の係数で再スケーリングされる場合、最大値が想定されるスケールは、同じ係数で乗算されることになる。いくつかの実施形態において、これは、画像演算がサイズ変動と共に変換することを保証する。いくつかの実施形態において、実際、ブロブは粗いスケールで検出されることがあり、位置特定特性は最良ではないことがある。従って、いくつかの実施形態において、より正確な位置推定を計算するために、粗いものから細かいものへ(coarse-to-fine)の手法が必要とされる。
【００７７】
いくつかの実施形態において、ブロブ検出アルゴリズムは、サブピクセル精度ブロブ検出アルゴリズムである。いくつかの実施形態において、サブピクセル精度ブロブ検出アルゴリズムは、下記ステップに従って動作する。
１．短辺と長辺の予想される矩形の向きを初期化する。
２．矩形の短辺の予想される向きで、１Ｄカーネルを持つガウシアン平滑化を用いて、ヘッセ行列、固有ベクトル、および矩形の短辺の方向を計算する。
３ａ．長辺の方向に沿ったプロファイルを用いて、矩形の短辺の方向に沿った曲率最大値を計算する。
３ｂ．使用したプロファイルの勾配を解析して、バイアスを決定し、それを除去する。
４ａ．短辺の方向に沿ったプロファイルを用いて、矩形の長辺の方向に沿った曲率最大値を計算する。
４ｂ．使用したプロファイルの勾配を解析して、バイアスを決定し、それを除去する。
５．両方のプロファイルから矩形の中心点を再構築する。
いくつかの実施形態において、この方法は、ブロブの境界を構築し、その境界を楕円で近似する方法を提供する。いくつかの実施形態において、ブロブ分類のために、この方法は、ブロブの境界長、面積、幾何学的モーメント、およびフィットした楕円のパラメータなどの属性を抽出できる。
【００７８】
いくつかの実施形態では、ブロブ検出アルゴリズムは、有効最大値ライン検出アルゴリズムである。いくつかの実施形態において、有効最大値ライン検出アルゴリズムは、異なるスケールで係数(modulus)最大値の連結曲線（最大値ラインと称される）が有効に選択され、ブロブをノイズから分割する方法である。いくつかの実施形態において、最大値ラインの選択は、下記ステップによって実施される。
１．２Ｄガウススケール空間を計算する。
２．スケールごとに係数最大値を計算する。
３．互いに接近し、同じ符号（プラスまたはマイナス）を有する、隣接するスケールで係数最大値を連結して、最大値ラインを取得する。
４．スケールが減少する場合、平均で増加する係数からなる最大値ラインを除去する。これらはノイズと関連している。
５．少なくとも５つの整数スケールと交差しない最大値ラインを除去する。これらはホワイトノイズに関連している。
６．各最大値ラインについてグローバル最大値を計算し、グローバル最大スケールより大きいスケールで逸脱する最大値ラインを除去する。これらは、ブロブ境界の外側のブロブ構造に関連している。
７．スケール空間で交差する最大値ラインを接合する。ブロブ場所は、クロスポイントによって与えられ、その特性スケールは、全ての接合された最大値ラインのグローバル最大値スケールのメジアンによって与えられる。
【００７９】
いくつかの実施形態において、ブロブ検出アルゴリズムは、信頼度(confidence)測定アルゴリズムである。いくつかの実施形態において、信頼度測定アルゴリズムは、以下のように動作する。
１．画像は、最初に、ウインドウ付きコサインカーネル関数のセットを用いてチャネル画像に変換される。
２．画像の各々について、ローパスピラミッドが生成される。
３．フィルタは１まで合算するため、０．５の閾値を使用してバイナリ信頼度値を取得し、その結果、クラスタリングピラミッドが得られる。
４．互いの上部に位置する類似したクラスタを削除することによって、画像が剪定される。
５．ピラミッド内に残された画素は、領域成長のためのシードとして使用され、その結果、領域画像が得られる。
６．全ての領域について、０次から２次の原(raw)モーメントは、楕円によってブロブを近似するように計算される。いくつかの実施形態において、これは、互いに重なり合う、異なるサイズおよび向きを備えた楕円の画像を生成する。
【００８０】
いくつかの実施形態において、治具は、その上にあるパターンで位置決めされた放射線不透過性マーカーを有する支持構造（例えば、ボード、箱など）を含む。いくつかの実施形態において、治具は、その上に２次元パターンで位置決めされた放射線不透過性マーカーを有する実質的に２次元の物体（例えば、ボード）を含む。いくつかの実施形態において、治具は、３次元空間内に位置決めされた放射線不透過性マーカーを有する３次元物体（例えば、箱）を含む。いくつかの実施形態において、治具は、患者のベッドの上方に位置決めされるように構成される。いくつかの実施形態において、治具は、患者のベッドの下方に位置決めされるように構成される。いくつかの実施形態において、治具は、患者のベッドとその上に位置決めされたマットレスとの間に位置決めされるように構成される。いくつかの実施形態において、治具は、患者の胸部に装着または位置決めされるように構成される。いくつかの実施形態において、治具は、少なくとも人間の胸部のサイズである。いくつかの実施形態において、治具は、人間の胸部よりも大きい。いくつかの実施形態において、治具に取り付けられた放射線不透過性マーカーのパターンは、特有である。ここで使用するように、用語「特有(unique)」とは、放射線不透過性マーカーのパターンが非反復的であり、放射線不透過性マーカーのパターンの任意の部分（例えば、患者の身体の一部および治具の一部を包含する視野を有する蛍光透視画像で撮影できるように）が、放射線不透過性マーカーのパターンのいずれか他の部分とは異なることを意味する。いくつかの実施形態において、パターンは、図８に示すように一組の線を含み、各線内の放射線不透過性マーカーは固有のパターンを形成する。いくつかの実施形態において、パターンは、図９に示されるように一組の同心円を含む。いくつかの実施形態では、このパターンは、図８に示すようなラインのセットを含み、各ライン内の放射線不透過性マーカーは、特有のパターンを形成する。いくつかの実施形態において、このパターンは、図９に示すような同心円のセットを含む。
【００８１】
いくつかの実施形態において、特有のパターンは、線形帰還シフトレジスタ（「ＬＦＳＲ」）を用いて生成される。いくつかの実施形態において、ゴールドコードＬＦＳＲが使用される。いくつかの実施形態において、ゴールドコードＬＦＳＲは、排他的論理和（ＸＯＲ）ゲートを用いて、２つの帰還シフトレジスタから最後に生成されたコード部分に選択されたビットを次のシーケンスの入力に接続する。いくつかの実施形態において、コードシーケンスの周期は、レジスタ長Ｎおよびフィードバックパターンに依存する。いくつかの実施形態において、最大期間は、２Ｎ−１である。いくつかの実施形態において、ＬＦＳＲからゴールドコードを生成するために、ＸＯＲ接続ビットは、同じ次数Ｎの２つの主多項式に従って接続される。いくつかの実施形態において、１次元６ビットＬＦＳＲコードの５つのラインが使用される。いくつかの実施形態において、２次元ＬＦＳＲコードが使用される。いくつかの実施形態において、特有のパターンは、同じ次数の異なる主多項式およびＮ×Ｍレジスタ段を備えた２つの１次元ＬＦＳＲゴールドコードのＸＯＲクロス接続を用いて生成される。
【００８２】
その結果、いくつかの実施形態において、ユーザが、治具上の放射線不透過性マーカーの場所に基づいて人間の胸部の一部を識別することが可能である。いくつかの実施形態において、治具は、処置中に患者の胸部に装着されるように構成され、これにより患者が処置中に移動したとしても、患者に対する撮像装置の相対姿勢の推定を可能にする。
【００８３】
いくつかの実施形態において、治具上の放射線不透過性マーカーが異なる姿勢で撮像された場合、ユーザは、相互制約を生成するために得られた画像を用いてマーカーの姿勢を識別できる（例えば、図１に示すコンポーネント１４０）。いくつかの実施形態において、これは、ユーザの視野内の各可視マーカーを、治具上のその相手方(mate)（治具上の放射線不透過性マーカのパターンの性質に起因した既知の位置を有する）と照合することによって達成される。いくつかの実施形態において、可視マーカーの正しいペアリングは、いずれの視野においても可視マーカが特有のパターンとして投影されるように、治具上の放射線不透過性マーカーの位置を設計することによって達成できる。いくつかの実施形態において、治具設計において、視認可能な特有のパターンを、対応する特有のパターンと照合することによって、可能な対応選択肢が１つだけになるため、正しいペアリングが達成できる。
【００８４】
いくつかの実施形態において、パターン形成された放射線不透過性マーカーを備えた治具を使用して、インターベンション処置中に撮像装置の姿勢を決定する。例えば、上記セクション「多視点姿勢推定」は、画像セット内の各画像について撮像装置の姿勢を推定する方法を説明する。いくつかの実施形態において、治具が各画像内で視認可能であるという条件で、ユーザが、撮像装置の座標系において治具の位置を推定できる。いくつかの実施形態において、治具は、例えば、これに限定されないが、ＣＴイメージングなど、術前イメージングの際ににベッドに取り付けられなくてもよい。こうした実施形態では、治具位置が少なくとも１回計算された後、この治具位置を使用して、（最初の計算の後に撮影された）単一の画像または画像のセットから、処置中の術中撮像装置の姿勢を決定してもよい。
【００８５】
いくつかの実施形態において、ここで説明した方法は、治具位置を利用して、単一視点画像から撮像装置の姿勢を決定できる。いくつかの実施形態において、ポイントベースの姿勢推定方法（ここでは「方法Ａ」と称する）は、基準位置合わせポイント（即ち、固定された比較基準として使用されるポイント）として、術中画像から抽出された治具マーカーだけを利用して実施される。いくつかの実施形態において、解剖学的要素と、姿勢推定方法のための追加の人工基準位置合わせポイントとしての機能する治具マーカーとの組合せを用いて、ポイントベースの姿勢推定方法が実施される（ここでは「方法Ｂ」と称する）。いくつかの実施形態において、方法Ｂは、下記に従って実施される。
（１）第１画像の複数の要素を識別する。
（２）第２画像の複数の要素を識別する。
（３）第１画像の複数の要素を、第２画像の対応する複数の要素とペアリングする（またはその逆も同様）。
（４）第１画像の複数の要素を、第２画像の複数の要素の対応するペアに位置合わせする（またはその逆も同様）。
いくつかの実施形態において、位置合わせは、細かい及び／又は粗い位置合わせによって実施される。いくつかの実施形態において、方法Ｂは、下記に従って実施される。
（１）第１画像（例えば、ＣＴ画像）から複数の要素（例えば、これに限定されないが、２個、３個、４個、５個、６個、７個、８個、９個、１０個などの要素など）（例えば、気管支、肋骨など）を識別する。
（２）第１画像（例えば、ＣＴ画像）上の複数の蛍光透視要素、および第２画像（例えば、蛍光透視画像）上の複数の蛍光透視要素を識別する。
（３）第２画像上の要素（例えば、気管支、肋骨など）に対応する複数の要素のサブセットをペアリングすること。
（４）該要素を、第２画像上の要素の対応するペアに位置合わせする。ここで、マッピングは、第１画像の気道の表現、またはこれらのいずれかの組合せをもたらす。いくつかの実施形態において、画像が、原(raw)画像、例えば、これに限定されないが、ＤＤＲ画像、編集済画像、処理済画像などから導出できる。
【００８６】
ポイントベースの姿勢推定方法（方法Ａ）は、該場面に導入された人工的なマーカーに依存するため、高速かつ頑強であるという利点を有する。方法Ｂは、ポイントベースの姿勢推定方法（方法Ａ）と比較して、追加の解剖学的制約を含み、これにより位置合わせ精度を増加させる。ポイントベースの姿勢推定方法（方法Ａ）の精度は、治具設計の複雑さに依存する。より大きな３Ｄ離隔（例えば、図１０に示す治具内でのより大きな距離Ｈ）を備えた追加のマーカーは、増加した姿勢推定精度をもたらす。従って、３Ｄ治具（例えば、図１０に示すように）は、２Ｄ治具（例えば、図８と図９に示す治具）と比較して、改善された精度を提供できる。これを克服するために、例えば、方法Ｂによって導入されるものなど、追加の制約を追加してもよい。
【００８７】
ここで言及した全ての刊行物、特許および配列データベース要素は、あたかも各個々の刊行物または特許が参照により組み込まれることが具体的かつ個別に示されていたかのようにその全体として参照によりここに組み込まれる。
【００８８】
本発明の数多くの実施形態を説明したが、これらの実施形態は例示的に過ぎず、限定的ではなく、そして多くの変更が当業者には明らかとなることが理解される。本発明の全範囲は、その均等物の全範囲と共に請求項へ、そしてこうした変形例と共に明細書への参照によって決定されるべきである。さらになお、種々のステップは、いずれか所望の順序で実行してもよい（そしていずれか所望のステップを追加してもよく、及び／又は、いずれか所望のステップを排除してみよい）。
【図１】
2019535467.tif 000003
【図２】
2019535467.tif 000004
【図３】
2019535467.tif 000005
【図４】
2019535467.tif 000006
【図５】
2019535467.tif 000007
【図６】
2019535467.tif 000008
【図７】
2019535467.tif 000009
【図８】
2019535467.tif 000010
【図９】
2019535467.tif 000011
【図１０】
2019535467.tif 000012
【国際調査報告】
2019535467.tif 000013