(57)【要約】透視撮像デバイスを介して取得された２次元透視画像から患者内のターゲット領域の透視ベースの３次元容積データを構築するためのシステムおよび方法。本開示の一態様によれば、透視撮像デバイスを介して取得された２次元透視画像から患者内のターゲット領域の透視ベースの３次元容積データを構築するためのシステムが提供される。本システムは、マーカーの構造およびコンピューティングデバイスを含む。ターゲット領域およびマーカーの構造の画像のシーケンスは、透視撮像デバイスを介して取得される。【選択図】図１
2021512692.tif 000002
【特許請求の範囲】
【請求項１】
透視撮像デバイスを介して取得された２次元透視画像から患者内のターゲット領域の透視ベースの３次元容積データを構築するためのシステムであって、
マーカーの構造であって、前記ターゲット領域および前記マーカーの構造の画像のシーケンスが、前記透視撮像デバイスを介して取得される、マーカーの構造と、
コンピューティングデバイスであって、
複数の画像の各画像上の前記マーカーの構造全体の可能性のある投影および最も可能性の高い投影の検出に基づいて、前記画像のシーケンスの前記複数の画像に対する前記透視撮像デバイスのポーズを推定することと、
前記透視撮像デバイスの前記推定ポーズに基づいて、前記ターゲット領域の透視ベースの３次元容積データを構築することと、を行うように構成されている、コンピューティングデバイスと、を備える、システム。
【請求項２】
前記コンピューティングデバイスが、
前記画像のシーケンスを取得する前に、前記ターゲット領域に医療デバイスが位置決めされている、前記ターゲット領域への医療デバイスのアプローチを容易にすることと、
前記透視ベースの３次元容積データに基づいて、前記医療デバイスと前記ターゲットとの間のオフセットを判定することと、を行うようにさらに構成されている、請求項１に記載のシステム。
【請求項３】
前記患者内の前記医療デバイスの位置を示す位置特定システムをさらに備え、前記コンピューティングデバイスがディスプレイを備え、
前記ターゲット領域および前記ターゲットに対する前記医療デバイスの前記位置を表示することと、
前記位置特定システムおよび前記ディスプレイを介して前記ターゲット領域への前記医療デバイスのナビゲーションを容易にすることと、
前記医療デバイスと前記ターゲットとの間の前記判定されたオフセットに基づいて、前記ターゲットに対する前記医療デバイスの前記位置の前記表示を修正することと、を行うように構成されている、請求項２に記載のシステム。
【請求項４】
前記コンピューティングデバイスが、
前記ディスプレイ上に前記ターゲット領域の３Ｄレンダリングを表示することと、
前記位置特定システムを前記３Ｄレンダリングに整合させることと、を行うようにさらに構成され、前記ターゲットに対する前記医療デバイスの前記位置の前記表示を修正することが、前記位置特定システムと前記３Ｄレンダリングとの間の前記整合を更新することを含む、請求項３に記載のシステム。
【請求項５】
前記位置特定システムが、電磁位置特定システムである、請求項３に記載のシステム。
【請求項６】
前記ターゲット領域が、肺の少なくとも一部を含み、前記医療デバイスが、管腔ネットワークの気道を通して前記ターゲット領域にナビゲート可能である、請求項３に記載のシステム。
【請求項７】
前記マーカーの構造が、周期パターンまたは２次元パターンのうちの少なくとも１つである、請求項１に記載のシステム。
【請求項８】
前記ターゲット領域が、肺の少なくとも一部を含み、前記ターゲットが、軟組織ターゲットである、請求項１に記載のシステム。
【請求項９】
ターゲット領域および透視撮像デバイスを介して取得されたマーカーの構造の２次元（２Ｄ）透視画像のシーケンスから患者内のターゲット領域の透視ベースの３次元容積データを構築するための方法であって、前記マーカーの構造が、前記患者と前記透視撮像デバイスとの間に位置決めされ、前記方法が、
複数の画像の各画像上の前記マーカーの構造全体の可能性のある投影および最も可能性の高い投影の検出に基づいて、前記２Ｄ透視画像のシーケンスのうちの少なくとも前記複数の画像に対する前記透視撮像デバイスのポーズを推定することと、
前記透視撮像デバイスの前記推定ポーズに基づいて、前記ターゲット領域の透視ベースの３次元容積データを構築することと、を行うために、少なくとも１つのハードウェアプロセッサを使用することを含む、方法。
【請求項１０】
前記画像のシーケンスを取得する前に、前記ターゲット領域に医療デバイスが位置決めされ、前記方法が、前記透視ベースの３次元容積データに基づいて前記医療デバイスと前記ターゲットとの間のオフセットを判定するために、前記少なくとも１つのハードウェアプロセッサを使用することをさらに含む、請求項９に記載の方法。
【請求項１１】
前記医療デバイスの位置を示す位置特定システムを介して、かつ、ディスプレイを介して、前記ターゲット領域への前記医療デバイスのナビゲーションを容易にすることと、
前記医療デバイスと前記ターゲットとの間の前記判定されたオフセットに基づいて、前記ターゲットに対する前記医療デバイスの前記位置の表示を修正することと、を行うために、前記少なくとも１つのハードウェアプロセッサを使用することをさらに含む、請求項１０に記載の方法。
【請求項１２】
前記ディスプレイ上に前記ターゲット領域の３Ｄレンダリングを表示することと、
前記位置特定システムを前記３Ｄレンダリングに整合させることと、を行うために、前記少なくとも１つのハードウェアプロセッサを使用することをさらに含み、
前記ターゲットに対する前記医療デバイスの前記位置を前記修正することが、前記位置特定システムの前記３Ｄレンダリングへの前記整合を更新することを含む、請求項１１に記載の方法。
【請求項１３】
前記ターゲット領域の以前に取得されたＣＴ容積データに基づいて前記ターゲット領域の前記３Ｄレンダリングを生成するために、前記少なくとも１つのハードウェアプロセッサを使用することをさらに含む、請求項１２に記載の方法。
【請求項１４】
前記ターゲット領域が、肺の少なくとも一部を含み、前記医療デバイスが、管腔ネットワークの気道を通して前記ターゲット領域にナビゲート可能である、請求項１０に記載の方法。
【請求項１５】
前記マーカーの構造が、周期パターンまたは２次元パターンのうちの少なくとも１つである、請求項１１に記載の方法。
【請求項１６】
前記ターゲット領域が、肺の少なくとも一部を含み、前記ターゲットが、軟組織ターゲットである、請求項１１に記載の方法。
【請求項１７】
透視撮像デバイスを介して取得された２次元透視画像から患者内のターゲット領域の透視ベースの３次元容積データを構築するためのシステムであって、
コンピューティングデバイスであって、
複数の画像の各画像上のマーカーの構造全体の可能性のある投影および最も可能性の高い投影の検出に基づいて、画像のシーケンスの前記複数の画像に対する前記透視撮像デバイスのポーズを推定することと、
前記透視撮像デバイスの前記推定ポーズに基づいて、前記ターゲット領域の透視ベースの３次元容積データを構築することと、を行うように構成されている、コンピューティングデバイスを備える、システム。
【請求項１８】
前記コンピューティングデバイスが、
前記画像のシーケンスの取得前に、前記ターゲット領域に医療デバイスが位置決めされている、前記ターゲット領域への医療デバイスのアプローチを容易にすることと、
前記透視ベースの３次元容積データに基づいて、前記医療デバイスと前記ターゲットとの間のオフセットを判定することと、を行うようにさらに構成されている、請求項１７に記載のシステム。
【請求項１９】
前記患者内の前記医療デバイスの位置を示す位置特定システムをさらに備え、前記コンピューティングデバイスが、ディスプレイを備え、
前記ターゲット領域および前記ターゲットに対する前記医療デバイスの前記位置を表示することと、
前記位置特定システムおよび前記ディスプレイを介して前記ターゲット領域への前記医療デバイスのナビゲーションを容易にすることと、
前記医療デバイスと前記ターゲットとの間の前記判定されたオフセットに基づいて、前記ターゲットに対する前記医療デバイスの前記位置の前記表示を修正することと、を行うように構成されている、請求項１８に記載のシステム。
【請求項２０】
前記コンピューティングデバイスが、
前記ディスプレイ上に前記ターゲット領域の３Ｄレンダリングを表示することと、
前記位置特定システムを前記３Ｄレンダリングに整合させることと、を行うようにさらに構成され、前記ターゲットに対する前記医療デバイスの前記位置の前記表示を修正することが、前記位置特定システムと前記３Ｄレンダリングとの間の前記整合を更新することを含む、請求項１９に記載のシステム。
【請求項２１】
透視撮像デバイスを介して取得された２次元透視画像から患者内のターゲット領域の透視ベースの３次元容積データを構築するためのシステムであって、
マーカーの構造であって、前記ターゲット領域および前記マーカーの構造の画像のシーケンスが、前記透視撮像デバイスを介して取得される、マーカーの構造と、
コンピューティングデバイスであって、
複数の画像の各画像上の前記マーカーの構造全体の可能性のある投影および最も可能性の高い投影の検出に基づいて、前記画像のシーケンスの前記複数の画像に対する前記透視撮像デバイスのポーズを推定することと、
前記透視撮像デバイスの前記推定ポーズに基づいて、前記ターゲット領域の透視ベースの３次元容積データを構築することと、を行うように構成されている、コンピューティングデバイスと、を備える、システム。
【請求項２２】
前記コンピューティングデバイスが、
前記画像のシーケンスを取得する前に、前記ターゲット領域に医療デバイスが位置決めされている、前記ターゲット領域への医療デバイスのアプローチを容易にすることと、
前記透視ベースの３次元容積データに基づいて、前記医療デバイスと前記ターゲットとの間のオフセットを判定することと、を行うようにさらに構成されている、請求項２１に記載のシステム。
【請求項２３】
前記患者内の前記医療デバイスの位置を示す位置特定システムをさらに備え、前記コンピューティングデバイスが、ディスプレイを備え、
前記ターゲット領域および前記ターゲットに対する前記医療デバイスの前記位置を表示することと、
前記位置特定システムおよび前記ディスプレイを介して前記ターゲット領域への前記医療デバイスのナビゲーションを容易にすることと、
前記医療デバイスと前記ターゲットとの間の前記判定されたオフセットに基づいて、前記ターゲットに対する前記医療デバイスの前記位置の前記表示を修正することと、を行うように構成されている、請求項２２に記載のシステム。
【請求項２４】
前記コンピューティングデバイスが、
前記ディスプレイ上に前記ターゲット領域の３Ｄレンダリングを表示することと、
前記位置特定システムを前記３Ｄレンダリングに整合させることと、を行うようにさらに構成され、前記ターゲットに対する前記医療デバイスの前記位置の前記表示を修正することが、前記位置特定システムと前記３Ｄレンダリングとの間の前記整合を更新することを含む、請求項２３に記載のシステム。
【請求項２５】
前記位置特定システムが、電磁位置特定システムである、請求項２３に記載のシステム。
【請求項２６】
前記ターゲット領域が、肺の少なくとも一部を含み、前記医療デバイスが、管腔ネットワークの気道を通じて前記ターゲット領域にナビゲート可能である、請求項２３に記載のシステム。
【請求項２７】
前記マーカーの構造が、周期パターンまたは２次元パターンのうちの少なくとも１つである、請求項２１に記載のシステム。
【請求項２８】
前記ターゲット領域が、肺の少なくとも一部を含み、前記ターゲットが、軟組織ターゲットである、請求項２１に記載のシステム。
【請求項２９】
ターゲット領域および透視撮像デバイスを介して取得されたマーカーの構造の２次元（２Ｄ）透視画像のシーケンスから患者内のターゲット領域の透視ベースの３次元容積データを構築するための方法であって、前記マーカーの構造が前記患者と前記透視撮像デバイスとの間に位置決めされ、前記方法が、
複数の画像の各画像上の前記マーカーの構造全体の可能性のある投影および最も可能性の高い投影の検出に基づいて、前記２Ｄ透視画像のシーケンスのうちの少なくとも前記複数の画像に対する前記透視撮像デバイスのポーズを推定することと、
前記透視撮像デバイスの前記推定ポーズに基づいて、前記ターゲット領域の透視ベースの３次元容積データを構築することと、を行うために、少なくとも１つのハードウェアプロセッサを使用することを含む、方法。
【請求項３０】
前記画像のシーケンスを取得する前に、前記ターゲット領域に医療デバイスが位置決めされ、前記方法が、前記透視ベースの３次元容積データに基づいて前記医療デバイスと前記ターゲットとの間のオフセットを判定するために、前記少なくとも１つのハードウェアプロセッサを使用することをさらに含む、請求項２９に記載の方法。
【請求項３１】
前記医療デバイスの位置を示す位置特定システムを介して、かつ、ディスプレイを介して、前記ターゲット領域への前記医療デバイスのナビゲーションを容易にすることと、
前記医療デバイスと前記ターゲットとの間の前記判定されたオフセットに基づいて、前記ターゲットに対する前記医療デバイスの前記位置の表示を修正することと、を行うために、前記少なくとも１つのハードウェアプロセッサを使用することをさらに含む、請求項３０に記載の方法。
【請求項３２】
前記ディスプレイ上に前記ターゲット領域の３Ｄレンダリングを表示することと、
前記位置特定システムを前記３Ｄレンダリングに整合させることと、を行うために、前記少なくとも１つのハードウェアプロセッサを使用することをさらに含み、
前記ターゲットに対する前記医療デバイスの前記位置を前記修正することが、前記位置特定システムの前記３Ｄレンダリングへの前記整合を更新することを含む、請求項３１に記載の方法。
【請求項３３】
前記ターゲット領域の以前に取得されたＣＴ容積データに基づいて前記ターゲット領域の前記３Ｄレンダリングを生成するために、前記少なくとも１つのハードウェアプロセッサを使用することをさらに含む、請求項３２に記載の方法。
【請求項３４】
前記ターゲット領域が、肺の少なくとも一部を含み、前記医療デバイスが、管腔ネットワークの気道を通じて前記ターゲット領域にナビゲート可能である、請求項３０に記載の方法。
【請求項３５】
前記マーカーの構造が、周期パターンまたは２次元パターンのうちの少なくとも１つである、請求項３１に記載の方法。
【請求項３６】
前記ターゲット領域が、肺の少なくとも一部を含み、前記ターゲットが、軟組織ターゲットである、請求項３１に記載の方法。
【請求項３７】
透視撮像デバイスを介して取得された２次元透視画像から患者内のターゲット領域の透視ベースの３次元容積データを構築するためのシステムであって、
コンピューティングデバイスであって、
複数の画像の各画像上のマーカーの構造全体の投影の可能性のある投影および最も可能性の高い投影の検出に基づいて、画像のシーケンスの前記複数の画像に対する前記透視撮像デバイスのポーズを推定することと、
前記透視撮像デバイスの前記推定ポーズに基づいて、前記ターゲット領域の透視ベースの３次元容積データを構築することと、を行うように構成されている、コンピューティングデバイス、を備える、システム。
【請求項３８】
前記コンピューティングデバイスが、
前記画像のシーケンスの取得前に、前記ターゲット領域に医療デバイスが位置決めされている、前記ターゲット領域への医療デバイスのアプローチを容易にすることと、
前記透視ベースの３次元容積データに基づいて、前記医療デバイスと前記ターゲットとの間のオフセットを判定することと、を行うようにさらに構成されている、請求項３７に記載のシステム。
【請求項３９】
前記患者内の前記医療デバイスの位置を示す位置特定システムをさらに備え、前記コンピューティングデバイスが、ディスプレイを備え、
前記ターゲット領域および前記ターゲットに対する前記医療デバイスの前記位置を表示することと、
前記位置特定システムおよび前記ディスプレイを介して前記ターゲット領域への前記医療デバイスのナビゲーションを容易にすることと、
前記医療デバイスと前記ターゲットとの間の前記判定されたオフセットに基づいて、前記ターゲットに対する前記医療デバイスの前記位置の前記表示を修正することと、を行うように構成されている、請求項３８に記載のシステム。
【請求項４０】
前記コンピューティングデバイスが、
前記ディスプレイ上に前記ターゲット領域の３Ｄレンダリングを表示することと、
前記位置特定システムを前記３Ｄレンダリングに整合することと、を行うようにさらに構成され、前記ターゲットに対する前記医療デバイスの前記位置の前記表示を修正することが、前記位置特定システムと前記３Ｄレンダリングとの間の前記整合を更新することを含む、請求項３９に記載のシステム。
【発明の詳細な説明】
【背景技術】
【０００１】
本開示は、撮像の分野に関し、特に、撮像デバイスのポーズの推定に関し、身体臓器の３次元撮像に関する。
【０００２】
カメラまたは透視デバイスなどの撮像デバイスのポーズ推定は、異なる画像診断法間の整合または拡張現実の生成を含む、様々な用途に必要とされ、または使用され得る。撮像デバイスのポーズ推定の既知の用途のうちの１つは、異なるポーズで撮像デバイスによって捕捉された一組の２次元画像からの３次元容積の構築である。このような３次元構造は、医療分野で一般的に使用され、著しい影響がある。
【０００３】
肝臓、脳、心臓、肺、胆嚢、腎臓、および骨を含む臓器を冒す様々な病気の治療には、内視鏡処置または低侵襲性処置など、一般的に適用される医療方法がいくつかある。多くの場合、臨床医は、磁気共鳴画像法、超音波画像法、コンピュータ断層撮影法（ＣＴ）、透視法、および他の方法などの１つ以上の画像診断法を用いて、患者内の関心領域、および最終的には治療のターゲットを識別し、ナビゲートする。いくつかの処置では、術前スキャンをターゲットの識別および術中誘導のために利用することができる。しかし、多くの場合、ターゲット領域のより正確な現在の画像を得るために、リアルタイム撮像が必要とされ得る。さらに、医療デバイスをより安全かつ正確に（例えば、他の組織および臓器に損傷を与えなくてもよいか、または損傷をまったく与えない状態で）ターゲットまでナビゲートするために、ターゲットおよびその周囲に対する医療デバイスの現在の位置を表示するリアルタイム画像データが必要とされる場合がある。
【発明の概要】
【課題を解決するための手段】
【０００４】
本開示の一態様によれば、透視撮像デバイスを介して取得された２次元透視画像から患者内のターゲット領域の透視ベースの３次元容積データを構築するためのシステムが提供される。本システムは、マーカーの構造およびコンピューティングデバイスを含む。ターゲット領域およびマーカーの構造の画像のシーケンスは、透視撮像デバイスを介して取得される。コンピューティングデバイスは、複数の画像の各画像上のマーカーの構造全体の可能性のある投影および最も可能性の高い投影の検出に基づいて、画像のシーケンスの複数の画像に対する透視撮像デバイスのポーズを推定することと、透視撮像デバイスの推定ポーズに基づいて、ターゲット領域の透視ベースの３次元容積データを構築することと、を行うように構成されている。
【０００５】
ある態様では、コンピューティングデバイスは、画像のシーケンスを取得する前に、ターゲット領域内に医療デバイスが位置決めされている、ターゲット領域への医療デバイスのアプローチを容易にすることと、透視ベースの３次元容積データに基づいて、医療デバイスとターゲットとの間のオフセットを判定することと、を行うようにさらに構成されている。
【０００６】
ある態様において、本システムは、患者内の医療デバイスの位置を示す位置特定システムをさらに備える。さらに、コンピューティングデバイスは、ターゲット領域およびターゲットに対する医療デバイスの位置を表示することと、位置特定システムおよびディスプレイを介してターゲット領域への医療デバイスのナビゲーションを容易にすることと、医療デバイスとターゲットとの間の判定されたオフセットに基づいて、ターゲットに対する医療デバイスの位置の表示を修正することと、を行うようにさらに構成され得る。
【０００７】
ある態様において、コンピューティングデバイスは、ディスプレイ上にターゲット領域の３Ｄレンダリングを表示することと、位置特定システムを３Ｄレンダリングに整合させることと、を行うようにさらに構成され、ターゲットに対する医療デバイスの位置の表示を修正することは、位置特定システムと３Ｄレンダリングとの間の整合を更新することを含む。
【０００８】
ある態様において、位置特定システムは、電磁位置特定システムである。
【０００９】
ある態様において、ターゲット領域は、肺の少なくとも一部を含み、医療デバイスは、管腔ネットワークの気道を通してターゲット領域にナビゲート可能である。
【００１０】
ある態様において、マーカーの構造は、周期パターンまたは２次元パターンのうちの少なくとも１つである。ターゲット領域は、肺の少なくとも一部を含んでもよく、ターゲットは、軟組織ターゲットであってもよい。
【００１１】
本開示のさらに別の態様では、透視撮像デバイスを介して取得されたターゲット領域およびマーカーの構造の２次元（２Ｄ）透視画像のシーケンスから、患者内のターゲット領域の透視ベースの３次元容積データを構築する方法が提供される。マーカーの構造は、患者と透視撮像デバイスとの間に位置決めされている。本方法は、複数の画像の各画像上のマーカーの構造全体の可能性のある投影および最も可能性の高い投影の検出に基づいて、２Ｄ透視画像のシーケンスの少なくとも複数の画像に対する透視撮像デバイスのポーズを推定することと、透視撮像デバイスの推定ポーズに基づいて、ターゲット領域の透視ベースの３次元容積データを構築することと、を行うために、少なくとも１つのハードウェアプロセッサを使用することを含む。
【００１２】
ある態様では、画像のシーケンスを取得する前に、ターゲット領域に医療デバイスが位置決めされ、本方法は、透視ベースの３次元容積データに基づいて医療デバイスとターゲットとの間のオフセットを判定するために、少なくとも１つのハードウェアプロセッサを使用することをさらに含む。
【００１３】
ある態様では、本方法は、医療デバイスの位置を示す位置特定システムを介して、かつ、ディスプレイを介して、ターゲット領域への医療デバイスのナビゲーションを容易にすることと、医療デバイスとターゲットとの間の判定されたオフセットに基づいて、ターゲットに対する医療デバイスの位置の表示を修正することと、をさらに含む。
【００１４】
ある態様では、本方法は、ディスプレイ上にターゲット領域の３Ｄレンダリングを表示することと、位置特定システムを３Ｄレンダリングに整合させることと、をさらに含み、ターゲットに対する医療デバイスの位置を修正することは、位置特定システムの３Ｄレンダリングへの整合を更新することを含む。
【００１５】
ある態様では、本方法は、ターゲット領域の以前に取得されたＣＴ容積データに基づいて、ターゲット領域の３Ｄレンダリングを生成するために、少なくとも１つのハードウェアプロセッサを使用することをさらに含む。
【００１６】
ある態様において、ターゲット領域は、肺の少なくとも一部を含み、医療デバイスは、管腔ネットワークの気道を通してターゲット領域にナビゲート可能である。
【００１７】
ある態様において、マーカーの構造は、周期パターンまたは２次元パターンのうちの少なくとも１つである。ターゲット領域は、肺の少なくとも一部を含んでもよく、ターゲットは、軟組織ターゲットであってもよい。
【００１８】
本開示のさらに別の態様では、透視撮像デバイスを介して取得された２次元透視画像から患者内のターゲット領域の透視ベースの３次元容積データを構築するためのシステムが提供される。本システムは、複数の画像の各画像上のマーカーの構造全体の可能性のある投影および最も可能性の高い投影の検出に基づいて、画像のシーケンスの複数の画像に対する透視撮像デバイスのポーズを推定することと、透視撮像デバイスの推定ポーズに基づいて、ターゲット領域の透視ベースの３次元容積データを構築することと、を行うように構成された、コンピューティングデバイスを含む。
【００１９】
ある態様では、コンピューティングデバイスは、画像のシーケンスの取得前に、ターゲット領域に医療デバイスが位置決めされている、ターゲット領域への医療デバイスのアプローチを容易にすることと、透視ベースの３次元容積データに基づいて、医療デバイスとターゲットとの間のオフセットを判定することと、を行うようにさらに構成されている。
【００２０】
ある態様では、コンピューティングデバイスは、ターゲット領域およびターゲットに対する医療デバイスの位置を表示することと、位置特定システムおよびディスプレイを介してターゲット領域への医療デバイスのナビゲーションを容易にすることと、医療デバイスとターゲットとの間の判定されたオフセットに基づいて、ターゲットに対する医療デバイスの位置の表示を修正することと、を行うようにさらに構成されている。
【００２１】
ある態様において、コンピューティングデバイスは、ディスプレイ上にターゲット領域の３Ｄレンダリングを表示することと、位置特定システムを３Ｄレンダリングに整合させることと、を行うようにさらに構成され、ターゲットに対する医療デバイスの位置の表示を修正することは、位置特定システムと３Ｄレンダリングとの間の整合を更新することを含む。
【図面の簡単な説明】
【００２２】
様々な例示的な実施形態は、これらの実施例が制限されないことを意図して添付の図面に例示される。例示の簡潔さと明確さのために、以下に参照される図面に示される要素は必ずしも寸法通りに描画されていないことが理解されるであろう。また、適切であると考えられる場合、参照番号は、同様の、対応するまたは類似する要素を示すために図面の間で繰り返される場合がある。図は、以下に列挙される。
【図１】本開示の一態様による、マーカーの構造を利用することによって、撮像デバイスのポーズを推定する方法のフローチャートである。
【図２Ａ】本開示の一態様による、図１の方法で使用するために構成されたシステムの概略図である。
【図２Ｂ】本開示の一態様による、球マーカーの２次元グリッド構造の概略図である。
【図３】図２Ｂの放射線不透過性マーカーのグリッド構造上に配置された京都科学による多目的胸部ファントムＮ１「ＬＵＮＧＭＡＮ」の人工胸部容積の透視デバイスによって捕捉された例示的な画像を示す。
【図４】本開示の一態様による、図３の画像のために生成された確率マップである。
【図５Ａ】図４の確率マップ上に重ねられた図３の画像上への図２Ｂの球マーカーの２Ｄグリッド構造の投影のための異なる例示的な候補を示す。
【図５Ｂ】図４の確率マップ上に重ねられた図３の画像上への図２Ｂの球マーカーの２Ｄグリッド構造の投影のための異なる例示的な候補を示す。
【図５Ｃ】図４の確率マップ上に重ねられた図３の画像上への図２Ｂの球マーカーの２Ｄグリッド構造の投影のための異なる例示的な候補を示す。
【図６Ａ】本開示の一態様による、図４の確率マップ上に重ねられた図３の画像上への図２Ｂの球マーカーの２Ｄグリッド構造の投影のための選択された候補を示す。
【図６Ｂ】本開示の一態様による、図４の確率マップ上に重ねられた図３の画像上への図２Ｂの球マーカーの２Ｄグリッド構造の投影のための改善された候補を示す。
【図６Ｃ】本開示の一態様による、図４の確率マップ上に重ねられた図３の画像３００上への図２Ｂの球マーカーの２Ｄグリッド構造の投影のためのさらなる改善された候補を示す。
【図７】本開示の一態様による、透視３次元容積データを構築するための例示的な方法のフローチャートである。
【図８】本開示による透視ベースの３次元容積データを構築するための例示的なシステムの例示的な一実施形態の図である。
【発明を実施するための形態】
【００２３】
ポーズ推定のための先行技術の方法およびシステムは、リアルタイム使用に不適切であるか、不正確であるか、または堅牢ではない場合がある。したがって、特に医療用撮像の分野において、比較的速く、正確で、かつ堅牢なポーズ推定を提供する方法およびシステムが必要である。
【００２４】
例えば、生検または治療のために、医療デバイスを遠隔ターゲットにナビゲートするには、医療デバイスとターゲットの両方が何らかの３次元誘導システムで可視的である必要がある。ターゲットが腫瘍または病変などの小さな軟組織物体である場合、それを識別することができるようにＸ線容積再構築が必要である。医療界で広く使用されているＣＴおよびコーンビームＣＴなどの３次元容量再構築を提供するソリューションがいくつか存在する。これらのマシンは、既知のキャリブレーション済みＸ線源位置からの複数のＸ線投影をアルゴリズム的に組み合わせて、とりわけ軟組織が可視的である３次元容量にする。例えば、処置中にＣＴマシンを反復スキャンで使用して、ツールがターゲットに到達するまで身体中を誘導することが可能である。これは、いくつかの完全なＣＴスキャン、専用のＣＴ室、およびスキャン間のブラインドナビゲーションを必要とするため、厄介な処置である。さらに、各スキャンでは、高レベルの電離放射線のためにスタッフが退室する必要があり、このような放射線に患者を曝露させる。別の選択肢として、コーンビームＣＴマシンがあり、これは一部の手術室で利用可能であり、操作はやや容易だが、高価であり、ＣＴと同様にスキャン間のブラインドナビゲーションのみを提供し、ナビゲーションに複数の反復が必要であり、スタッフが退室する必要がある。さらに、ＣＴベースの撮像システムは非常に高価であり、多くの場合、処置が行われる位置と同じ位置では利用できない。
【００２５】
透視撮像デバイスは通常、ナビゲーション処置中に手術室に位置している。標準的な透視撮像デバイスは、例えば、医療デバイスが所望の位置にナビゲートされた後、医療デバイスの配置を視覚化し、確認するために臨床医によって使用されてもよい。ただし、標準的な透視画像は、金属ツールおよび骨などの高密度物体ならびに心臓などの大きな軟組織物体を表示するが、透視画像では病変などの小さな軟組織の関心物体を解像するのは難しい。さらに、透視画像は２次元投影にすぎないが、正確かつ安全に身体内をナビゲートするためには、容積撮像または３次元撮像が必要である。
【００２６】
例えば、内視鏡的アプローチは、患者内の関心領域、特に肺などの身体の管腔ネットワーク内の領域にナビゲートするのに有用であることが証明されている。内視鏡的、より具体的には肺の気管支鏡的アプローチを可能にするために、以前に取得したＭＲＩデータまたはＣＴ画像データを使用して、肺などの特定の身体部分の３次元レンダリングまたは容量を生成する気管支内ナビゲーションシステムが開発された。
【００２７】
次に、ＭＲＩスキャンまたはＣＴスキャンから生成された結果の容量を利用して、気管支鏡および患者の気管支枝を通るナビゲーションカテーテル（または他の好適な医療デバイス）の関心領域への前進を容易にするナビゲーション計画を作成する。電磁追跡システムなどの位置特定システムを、ＣＴデータと併せて利用して、気管支枝を通る関心領域へのナビゲーションカテーテルの誘導を容易にしてもよい。特定の例では、１つ以上の医療機器へのアクセスを提供するために、関心領域に隣接する、または関心領域内の分岐管腔ネットワークの気道の１つ内にナビゲーションカテーテルを位置決めしてもよい。
【００２８】
別の例では、ロボット支援手術を含む腹腔鏡検査処置などの低侵襲処置では、術中透視法を用いて、例えば、誘導および病変の位置特定のため、または傷害および合併症を防止するために、可視化を向上させることができる。
【００２９】
したがって、画像の速く、正確で、かつ堅牢な３次元再構築が必要であり、これは、医療処置中に行われる標準的な透視撮像に基づいて生成される。
【００３０】
図１は、本開示の態様による、マーカーの構造を利用することによって撮像デバイスのポーズを推定する方法のフローチャートを示す。ステップ１００では、撮像デバイスによって捕捉された画像の確率マップが生成され得る。画像はマーカーの構造の投影を含む。確率マップは、画像の各画素がマーカーの構造のマーカーの投影に属する確率を示し得る。いくつかの実施形態では、マーカーの構造２次元パターンであってもよい。いくつかの実施形態では、マーカーの構造は、グリッドなどの周期パターンであってもよい。画像は、マーカーの構造の少なくとも一部の投影を含み得る。
【００３１】
ここで、図２Ｂおよび図３を参照する。図２Ｂは、本開示による、球マーカー２２０の２次元（２Ｄ）グリッド構造の概略図である。図３は、図２Ｂの球マーカー２２０の２Ｄグリッド構造上に配置された京都科学による多目的胸部ファントムＮ１「ＬＵＮＧＭＡＮ」の人工胸部容積の透視デバイスによって捕捉された例示的な画像３００である。球マーカー２２０の２Ｄグリッド構造は、２次元グリッドパターンに配された球マーカー２３０ａおよび２３０ｂなどの複数の球体形状マーカーを含む。画像３００は、球マーカー２２０の２Ｄグリッド構造の一部の投影およびカテーテル３２０の投影を含む。画像３００上への球マーカー２２０の２Ｄグリッド構造の投影は、球マーカー投影３１０ａ、３１０ｂ、および３１０ｃなどの球マーカーの投影を含む。
【００３２】
確率マップは、例えば、各画素がマーカーに属する確率に対応して、平滑密度の新しい画像を出力するハリスコーナー検出器などの単純なマーカー（ブロブ）検出器に画像を供給することによって生成されてもよい。図４は、図３の画像３００について生成された確率マップ４００を示す。確率マップ４００は、マーカー３１０ａ、３１０ｂ、および３１０ｃに従って対応する密度４１０ａ、４１０ｂ、および４１０ｃなどの画素または密度を含む。いくつかの実施形態では、必要な計算をよりシンプルかつ効率的にするために、確率マップは縮小されてもよい（例えば、サイズが縮小される）。図５Ａ〜図６Ｂに示されるように、確率マップ４００は４倍縮小され、図６Ｃに示されるように、確率マップ４００は２倍縮小されていることに留意されたい。
【００３３】
ステップ１１０では、画像上のマーカーの構造の投影のために異なる候補が生成され得る。異なる可能性のあるポーズの範囲で撮像デバイスを仮想的に位置決めすることによって、異なる候補が生成されてもよい。撮像デバイスの「可能性のあるポーズ」とは、撮像デバイスの３次元位置および向きを意味する。いくつかの実施形態では、このような範囲は、撮像デバイスの幾何学的構造および／または自由度に従って制限されてもよい。このような可能性のあるポーズごとに、撮像デバイスがそのポーズに位置決めされている間にマーカーの構造の画像を実際に捕捉したかのように、マーカーの構造の少なくとも一部の仮想投影が生成される。
【００３４】
ステップ１２０では、画像上のマーカーの構造の投影である確率が最も高い候補が、画像確率マップに基づいて識別され得る。各候補、例えば、マーカーの構造の仮想投影は、確率マップに重ねられ得るか、または関連付けられ得る。次いで、確率スコアが判定され得るか、または候補の各マーカー投影と関連付けられ得る。いくつかの実施形態では、確率スコアは、正または負であり得、例えば、仮想マーカー投影が低確率の画素内に入る場合にはコストがかかる場合がある。次いで、候補のマーカー投影の全ての確率スコアを合計し、各候補について総確率スコアを判定してもよい。例えば、マーカーの構造が２次元グリッドである場合、投影はグリッド形態を有する。投影グリッドの各点は、確率マップの少なくとも１つの画素上にあることになる。２Ｄグリッド候補は、その点が最高密度の画素上にある場合、すなわち、その点が画像上のマーカーの中心の投影上にある場合、最高確率スコアを受ける。最高確率スコアを有する候補は、画像上のマーカーの構造の投影である確率が最も高い候補として判定され得る。次いで、画像の撮像デバイスのポーズは、識別された候補を生成するために使用される撮像デバイスの仮想ポーズに基づいて推定されてもよい。
【００３５】
図５Ａ〜図５Ｃは、図４の確率マップ４００上に重ねられた図３の画像３００上への図２Ｂの球マーカー２２０の２Ｄグリッド構造の投影のための異なる例示的な候補５００ａ〜ｃを示す。候補５００ａ、５００ｂ、および５００ｃはプラス記号（「＋」）のグリッドで示され、各々のこのような記号はマーカーの投影の中心を示す。候補５００ａ、５００ｂ、および５００ｃは、画像３００を捕捉するために使用される透視鏡が、これらの投影に対応して関連付けられた３つの異なるポーズに位置しているかのように、球マーカー２２０の２Ｄグリッド構造の仮想投影である。この例では、候補５００ａは、透視鏡が以下に位置しているかのように生成された：位置［０、−５０、０］、角度：−２０度。候補５００ｂは、透視鏡が以下に位置しているかのように生成された：位置［０、−１０、０］、角度：−２０度。候補５００ｃは、透視鏡が以下に位置しているかのように生成された：位置［７．５、−４０、１１．２５］、角度：−２５度。上記の座標は、球マーカー２２０の２Ｄグリッド構造に関するものである。確率マップ４００の密度４１０ａは、図５Ａ〜図５Ｃに示される。プラス記号５１０ａ、５１０ｂ、および５１０ｃは、対応する候補５００ａ、５００ｂ、および５００ｃのマーカー投影の中心であり、これらは密度４１０ａに最も近いものである。プラス記号５１０ｃは密度４１０ａに最も適合し、したがって候補５００ａ、５００ｂ、および５００ｃに対応する記号５１０ａ、５１０ｂ、および５１０ｃの中で最高の確率スコアを受ける記号であることが分かる。したがって、候補５００ｃは、そのマーカー投影が確率マップ４００に最も適合するため、最高の確率スコアを受けることがさらに分かる。したがって、これら３つの例示的な候補、５００ａ、５００ｂおよび５００ｃのうち、候補５００ｃは、画像３００上への球マーカー２２０の２Ｄグリッド構造の投影である確率が最も高い候補として識別される。
【００３６】
上記のポーズ推定を絞り込むために、さらなるステップが実行されてもよい。任意選択的なステップ１３０では、画像上のマーカーの構造の投影である確率を最大化するために、候補のローカル変形バージョンを生成してもよい。画像確率マップに基づいて、ローカル変形バージョンが生成されてもよい。ローカル検索アルゴリズムを利用して、そのスコアを最大化するように候補を変形させてもよい。例えば、マーカーの構造が２Ｄグリッドである場合、各２Ｄグリッド点は個別に処理されてもよい。各点は、勾配上昇法を使用して確率マップ上の隣接するローカル最大値に向かって移動されてもよい。
【００３７】
任意選択的なステップ１４０では、候補のローカル変形バージョンに基づいて、画像上のマーカーの構造の投影のための改善された候補を検出してもよい。改善された候補は、（正確にまたはおよそ）候補のローカル変形バージョンに適合するように判定される。このような改善された候補は、例えば、ホモグラフィー推定法を使用することによって、新しい候補をローカル変形バージョンに適合させる変換を識別することによって判定され得る。次いで、改善された候補に関連付けられた撮像デバイスの仮想ポーズが、画像のための撮像デバイスの推定ポーズとして判定され得る。
【００３８】
いくつかの実施形態では、候補のローカル変形バージョンの生成および改善された候補の判定が反復的に繰り返されてもよい。これらのステップは、プロセスが、改善された候補として判定され得る画像上のマーカーの構造の特定の仮想投影に収束するまで反復的に繰り返され得る。したがって、マーカーの構造が全体的に収束するため、偽のローカル最大値は回避される。ある態様において、候補のリストを使用して、カメラポーズを推定するための最適な候補を見つける代替として、カメラポーズは、３Ｄ空間内の２Ｄ基準構造を撮像デバイス出力から生成された基準確率マップと一致する画像座標に変換するホモグラフィーを解明することによって推定され得る。
【００３９】
図６Ａは、図４の確率マップ４００上に重ねられた、図３の画像３００上への図２Ｂの球マーカー２２０の２Ｄグリッド構造の投影のための選択された候補６００ａを示す。図６Ｂは、図４の確率マップ４００上に重ねられた図３の画像３００上への図２Ｂの球マーカー２２０の２Ｄグリッド構造の投影のための改良された候補６００ｂを示す。図６Ｃは、図４の確率マップ４００上に重ねられた図３の画像３００上への図２Ｂの球マーカー２２０の２Ｄグリッド構造の投影のためのさらなる改良された候補６００ｃを示す。上述したように、識別された候補または選択された候補は、候補５００ｃであり、これは、ここでは６００ａに示されている。候補６００ｂは、上述の方法に従って、候補６００ａのローカル変形バージョンに基づいて生成された改善された候補である。候補６００ｃは、結果として生じる候補をローカルに変形させ、候補の確率を最大化するための近似値を判定するプロセスを反復的に繰り返すことによって生成された、候補６００ｂに関してさらに改善された候補である。図６Ｃは、より高い解像度の確率マップに基づいて絞り込まれた候補の結果を示す。ある態様において、これは、確率マップのダウンサンプリングバージョンを使用して絞り込みステップを完了した後に行われる。プラス記号６１０ａ、６１０ｂ、および６１０ｃは、対応する候補６００ａ、６００ｂ、および６００ｃのマーカー投影の中心であり、これらは確率マップ４００の密度４１０ａに最も近いものである。画像３００上への球マーカー２２０の２Ｄグリッド構造の投影の候補が、確率マップ４００に従って最高確率の候補にどのように収束するかがわかる。
【００４０】
いくつかの実施形態では、撮像デバイスは、画像のシーケンスを捕捉するように構成されてもよい。撮像デバイスを一定の角度で連続的にスイープすることによって、自動的にまたは手動で画像のシーケンスが捕捉されてもよい。画像のシーケンスのポーズ推定が必要な場合、推定プロセスは、撮像デバイスの可能性のある仮想ポーズの範囲または領域を減少させることによってより効率的になり得る。次いで、画像のシーケンスの複数の非連続画像が判定されてもよい。例えば、シーケンス内の最初の画像、最後の画像、およびそれらの間の１つ以上の画像。それらの間の１つ以上の画像は、シーケンスが等しい画像部分に分割されるように判定されてもよい。第１の段階では、撮像デバイスのポーズは、判定された非連続画像に対してのみ推定され得る。第２の段階では、撮像デバイスを仮想的に位置決めするための可能性のある異なるポーズの領域または範囲が縮小され得る。縮小は、判定された非連続画像に対する撮像デバイスの推定ポーズに基づいて実行され得る。次いで、残りの画像に対する撮像デバイスのポーズは、縮小された領域または範囲に従って推定されてもよい。例えば、シーケンスの第１および第１０の画像に対する撮像デバイスのポーズは、第１の段階で判定される。第２から第９の画像の撮像デバイスのポーズは、第１の画像のポーズと第１０の画像のポーズとの間などの実現可能かつ連続的な経路に沿っている必要がある。
【００４１】
いくつかの実施形態では、撮像デバイスの幾何学的パラメータは、デバイスの自由度（例えば、許容される独立した動作）を含む、源の視野、高さ範囲、回転角度範囲など、事前に既知であるか、または事前に決定されていてもよい。いくつかの実施形態では、撮像デバイスのこのような幾何学的パラメータは、捕捉された画像の撮像デバイスのポーズを推定しながらリアルタイムに決定されてもよい。また、このような情報を使用して、可能性のあるポーズの領域または範囲を減少させることもできる。いくつかの実施形態では、開示された開示を実践するユーザは、撮像デバイスの動作を一定の自由度または画像のシーケンスの特定の動作範囲に制限するように指示される場合がある。このような制限はまた、撮像デバイスの可能性のあるポーズを判定する際に考慮されてもよく、したがって、撮像デバイスのポーズ推定をより速く行うために使用されてもよい。
【００４２】
いくつかの実施形態では、画像の前処理方法は、まず、画像上のマーカーの構造の投影の歪みを修正し、かつ／または可視化を強化するために、１つ以上の画像に適用され得る。例えば、撮像デバイスが透視鏡である場合には、画像をわずかに歪ませる「ピンクッション」歪みの修正を行ってもよい。この歪みは、多項式表面で歪みをモデル化し、ピンクッション効果を打ち消す互換性のある歪みを適用することによって自動的に対処され得る。金属球のグリッドが使用される場合、画像は、マーカーの投影を強化するために反転され得る。さらに、上記に開示されているように候補の検索および評価を容易にするために、例えば、球径の半分に等しいシグマ値を有するガウスフィルタを使用して画像をぼかしてもよい。
【００４３】
いくつかの実施形態では、撮像デバイスの１つ以上のモデルをキャリブレーションして、特定の撮像デバイスを自動的にキャリブレーションするために使用され得るデータファイルなどのキャリブレーションデータを生成してもよい。キャリブレーションデータは、上述のように、幾何学的キャリブレーションおよび／または歪みキャリブレーションを参照するデータを含んでもよい。いくつかの実施形態では、幾何学的キャリブレーションは、撮像デバイスメーカーによって提供されるデータに基づいてもよい。いくつかの実施形態では、特定の撮像デバイスについて１回、手動歪みキャリブレーションが実行されてもよい。ある態様では、撮像デバイスのメンテナンスの結果、または時間の変化の結果としても、ピンクッションの歪みが変化し得るため、撮像デバイスの歪み修正は、あらゆる処置の間に前処理ステップとしてキャリブレーションされ得る。
【００４４】
図２Ａは、本開示の一態様による、図１の方法で使用するために構成されたシステム２００の概略図を示す。システム２００は、ワークステーション８０、撮像デバイス２１５、およびマーカー構造２１８の構造を含んでもよい。いくつかの実施形態では、ワークステーション８０は、例えば、無線通信によって直接的または間接的に撮像デバイス２１５と結合されてもよい。ワークステーション８０は、メモリ２０２、プロセッサ２０４、ディスプレイ２０６、および入力デバイス２１０を含んでもよい。プロセッサまたはハードウェアプロセッサ２０４は、１つ以上のハードウェアプロセッサを含んでもよい。ワークステーション８０は、出力モジュール２１２およびネットワークインターフェース２０８を任意選択的に含んでもよい。メモリ２０２は、アプリケーション８１および画像データ２１４を記憶してもよい。アプリケーション８１は、とりわけ、図１の方法を実行するためのプロセッサ２０４により実行可能な命令およびユーザインターフェース２１６を含んでもよい。ワークステーション８０は、パーソナルコンピュータなどの固定コンピューティングデバイスか、またはタブレットコンピュータなどのポータブルコンピューティングデバイスであってもよい。ワークステーション８０は、複数のコンピュータデバイスを埋め込んでもよい。
【００４５】
メモリ２０２は、データを記憶するための任意の非一時的コンピュータ可読記憶媒体、および／またはプロセッサ２０４によって実行可能であり、ワークステーション８０の操作を制御する命令を含むソフトウェアを含んでもよく、また、いくつかの実施形態では、撮像デバイス２１５の操作も制御してもよい。一実施形態では、メモリ２０２は、フラッシュメモリチップなどの１つ以上の固体記憶デバイスを含んでもよい。１つ以上の固体記憶デバイスとは代替的に、またはそれに加えて、メモリ２０２は、大容量記憶コントローラ（図示せず）および通信バス（図示せず）を介してプロセッサ２０４に接続される１つ以上の大容量記憶デバイスを含んでもよい。本明細書に含まれるコンピュータ可読媒体の説明は固体記憶デバイスを指しているが、コンピュータ可読記憶媒体は、プロセッサ２０４によってアクセス可能な任意の利用可能な媒体であり得ることを当業者は理解するであろう。すなわち、コンピュータ可読記憶媒体は、コンピュータ可読命令、データ構造、プログラムモジュール、または他のデータなどの情報を記憶するための任意の方法または技術で実装される非一時的、揮発性および不揮発性、リムーバブルおよび非リムーバブル媒体を含んでもよい。例えば、コンピュータ可読記憶媒体には、ＲＡＭ、ＲＯＭ、ＥＰＲＯＭ、ＥＥＰＲＯＭ、フラッシュメモリもしくは任意の他の固体メモリ技術、ＣＤ−ＲＯＭ、ＤＶＤ、Ｂｌｕ−Ｒａｙもしくは他の光学記憶装置、磁気カセット、磁気テープ、磁気ディスク記憶装置もしくは他の磁気記憶デバイス、または所望の情報を記憶するために使用され得、かつワークステーション８０によってアクセスされ得る任意の他の媒体が含まれ得る。
【００４６】
アプリケーション８１は、プロセッサ２０４によって実行されると、ディスプレイ２０６にユーザインターフェース２１６を提示させることができる。ネットワークインターフェース２０８は、有線ネットワークおよび／もしくは無線ネットワークからなるローカルエリアネットワーク（ＬＡＮ）、広域ネットワーク（ＷＡＮ）、無線モバイルネットワーク、ブルートゥース（登録商標）ネットワーク、ならびに／またはインターネットなどのネットワークに接続するように構成され得る。ネットワークインターフェース２０８を使用して、ワークステーション８０と撮像デバイス２１５との間を接続し得る。また、ネットワークインターフェース２０８を使用して、画像データ２１４を受信することもできる。入力デバイス２１０は、例えば、マウス、キーボード、フットペダル、タッチスクリーン、および／または音声インターフェースなど、それによってユーザがワークステーション８０と対話することができる任意のデバイスであり得る。出力モジュール２１２は、例えば、パラレルポート、シリアルポート、ユニバーサルシリアルバス（ＵＳＢ）、または当業者に既知の任意の他の同様の接続ポートなどの任意の接続ポートまたはバスを含んでもよい。
【００４７】
撮像デバイス２１５は、標準的な透視撮像デバイスまたはカメラなどの２Ｄ画像を捕捉する任意の撮像デバイスであってもよい。いくつかの実施形態では、マーカー構造２１８は、図２Ｂに示されるように、幅および長さの２次元を有するグリッド（例えば、２Ｄグリッド）などの２次元パターンを有するマーカーの構造であってもよい。２Ｄパターンを使用することは、３Ｄパターンとは対照的に、ポーズ推定プロセスを容易にし得る。さらに、例えば、患者をスキャンしながら医療用撮像デバイスのポーズを推定するために、患者がマーカー構造２１８上に横たわる必要がある場合、２Ｄパターンは、患者にとってより便利であろう。マーカーは、使用する画像診断法で可視的であるように形成する必要がある。例えば、撮像デバイスが透視デバイスである場合、マーカーは、少なくとも部分的に放射線不透過性の材料で作られるべきである。いくつかの実施形態では、撮像デバイスが配置され得る任意のポーズで画像上のマーカーの投影が同じになるように、マーカーの形状は対称であってもよい。このような構成は、ポーズ推定プロセスを簡素化して強化し、かつ／またはそれをより効率的にし得る。例えば、撮像デバイスがマーカー構造の周りを回転するとき、球などの回転対称性を有するマーカーが好ましい場合がある。マーカー構造のサイズおよび／または構造内のマーカーの数は、開示されたシステムおよび方法の具体的な使用に応じて決定され得る。例えば、ポーズ推定が患者内の関心領域の３Ｄ容積を構築するために使用される場合、マーカー構造は、関心領域のサイズと類似またはより大きいサイズであってもよい。いくつかの実施形態では、マーカー構造２１８のパターンは、２Ｄグリッドなどの２次元および／または周期的であってもよい。マーカーの周期的および／または２次元パターン構造を使用することは、ポーズ推定プロセスをさらに強化し、促進し、より効率的にし得る。
【００４８】
ここで図２Ｂを参照すると、球マーカー２２０の２Ｄグリッド構造は、グリッドの２Ｄ周期パターンを有し、球体形状の対称マーカーを含む。このような構成は、具体的には、マーカー構造投影の仮想候補を生成するときと、最適なものを判定するときに、図１に説明されるように、ポーズ推定プロセスを簡略化し、強化する。マーカーの構造は、基準として、１つ以上の画像の捕捉中に静止的に位置決めされるべきである。肺領域の医療用撮像に使用される上記のような球マーカーの例示的な２Ｄグリッド構造において、球マーカーの直径は２±０．２ｍｍであり得、球体間の距離は約１５±０．１５ｍｍ等方性であり得る。
【００４９】
次に図２Ａを再び参照すると、撮像デバイス２１５は、マーカー構造２１８の少なくとも一部の投影が各画像に示されるように、１つ以上の画像（すなわち、画像のシーケンス）を撮像してもよい。次いで、撮像デバイス２１５によって捕捉される画像または画像シーケンスを、画像データ２１４としてメモリ２０２に記憶してもよい。次いで、撮像デバイス２１５のポーズを判定するために、プロセッサ２０４によって、かつ図１の方法に従って画像データを処理してもよい。次いで、出力モジュール２１２、ディスプレイ２０６、および／またはネットワークインターフェース２０８を介してポーズ推定データを出力してもよい。マーカー構造２１８は、透視スキャンを通した患者の身体内の関心領域の下など、関心領域に対して位置決めされ得る。次に、マーカー構造２１８および患者は、撮像デバイス２１５によって捕捉される１つ以上の画像が、関心領域およびマーカー構造２１８の一部を捕捉するように位置決めされる。必要であれば、ポーズ推定プロセスが完了すると、周知の方法を使用することにより、画像上のマーカー構造２１８の投影を除去してもよい。このような方法の１つは、その内容全体が参照により本明細書に援用されている、Ａｌｅｘａｎｄｒｏｎｉらによって２０１９年１月２８日に出願された、共同所有された米国特許出願第１６／２５９，６１２号、発明の名称「ＩＭＡＧＥ  ＲＥＣＯＮＳＴＲＵＣＴＩＯＮ  ＳＹＳＴＥＭ  ＡＮＤ  ＭＥＴＨＯＤ」に記載されている。
【００５０】
図７は、本開示による透視３次元容積データを構築するための例示的な方法のフローチャートである。２次元透視画像から患者内のターゲット領域の透視ベースの３次元容積データを構築するための方法が本明細書に開示される。ステップ７００において、ターゲット領域およびマーカーの構造の画像のシーケンスは、透視撮像デバイスを介して取得される。マーカーの構造は、図１、図２Ａ、および図２Ｂに関して説明したマーカーの２次元構造であってもよい。マーカーの構造は、患者と透視撮像デバイスとの間に位置決めされ得る。いくつかの実施形態では、ターゲット領域は、例えば、図８のシステムに関して例示されるように、肺の少なくとも一部を含んでもよい。いくつかの実施形態では、ターゲットは、肺、腎臓、肝臓などの中の軟組織ターゲットである。
【００５１】
ステップ７１０では、画像のシーケンスの少なくとも複数の画像の透視撮像デバイスのポーズが推定され得る。ポーズ推定は、複数の画像の各画像上でのマーカーの構造全体の可能性のある投影および最も可能性の高い投影の検出に基づいて実行され得る。
【００５２】
いくつかの実施形態では、透視デバイスのポーズを推定するための他の方法が使用されてもよい。外角測定デバイスなどの撮像デバイスのポーズを判定するための、または画像分析に基づく様々な既知の方法が存在する。このようなデバイスおよび方法のうちのいくつかは、Ｗｅｉｎｇａｒｔｅｎらによって、２０１６年８月１日に出願された共有米国特許公開第２０１７／００３５３７９号に特に記載されており、その内容全体が参照により本明細書に援用される。
【００５３】
ステップ７２０において、ターゲット領域の透視ベースの３次元容積データは、透視撮像デバイスの推定ポーズに基づいて構築され得る。このような透視ベースの３次元容積データを構築するための例示的なシステムおよび方法は、参照により援用される上記の共有の米国特許公開第２０１７／００３５３７９号に開示されている。
【００５４】
任意選択的なステップ７３０では、画像のシーケンスを取得する前に、医療デバイスがターゲット領域に位置決めされてもよい。したがって、画像のシーケンスおよびその結果、透視ベースの３次元容積データはまた、ターゲットに加えて医療デバイスの投影を含み得る。次いで、透視ベースの３次元容積データに基づいて、医療デバイスとターゲットとの間のオフセット（すなわち、Δｘ、Δｙ、およびΔｚ）が判定されてもよい。ターゲットは、生成された３次元容積データにおいて可視的であってもよく、またはより良く示されてもよい。したがって、ターゲットは、３次元容積データにおいて、自動的に、またはユーザによって手動で検出されてもよい。医療デバイスは、自動的に、またはユーザによって手動で、捕捉されるように画像のシーケンスで、または生成された３次元容積データで検出されてもよい。ターゲットおよび／または医療デバイスの自動検出は、当技術分野で既知のシステムおよび方法に基づいて、例えば、Ｂｉｒｅｎｂａｕｍらによって２０１８年２月８日に出願された共同所有された米国特許出願第６２／６２７，９１１号、発明の名称「ＳＹＳＴＥＭ  ＡＮＤ  ＭＥＴＨＯＤ  ＦＯＲ  ＣＡＴＨＥＴＥＲ  ＤＥＴＥＣＴＩＯＮ  ＩＮ  ＦＬＵＯＲＯＳＣＯＰＩＣ  ＩＭＡＧＥＳ  ＡＮＤ  ＵＰＤＡＴＩＮＧ  ＤＩＳＰＬＡＹＥＤ  ＰＯＳＩＴＩＯＮ  ＯＦ  ＣＡＴＨＥＴＥＲ」に記載されているように実行されてもよい。手動検出は、３次元容積データおよび／または捕捉された画像をユーザに表示し、ユーザの入力を要求することによって実行され得る。ターゲットおよび医療デバイスが３次元容積データおよび／または捕捉画像で検出されると、基準の透視座標系におけるそれらの位置が取得され得、それらの間のオフセットが判定され得る。
【００５５】
ターゲットと医療デバイスとの間のオフセットは、ターゲット領域への医療デバイスのアプローチおよび治療を容易にすることを含む、様々な医療目的のために利用され得る。ターゲット領域への医療デバイスのナビゲーションは、位置特定システムおよびディスプレイを介して容易にされ得る。位置特定システムは、患者の身体を通る医療デバイスを位置特定するか、またはその動作を追跡する。ディスプレイは、患者の身体内およびターゲット内の医療デバイスの周囲に対する医療デバイスの位置をユーザに表示し得る。位置特定システムは、例えば、電磁的もしくは光学的位置特定システム、または当技術分野で既知の任意の他のこのようなシステムであり得る。例えば、ターゲット領域が肺の一部を含む場合、医療デバイスは、図８に関して説明されるように、気道管腔ネットワークを通してターゲット領域にナビゲートされ得る。
【００５６】
任意選択的なステップ７４０では、医療デバイスとターゲットとの間の判定されたオフセットに基づいて、ターゲットに対する医療デバイスの位置の表示が修正され得る。いくつかの実施形態では、ターゲット領域の３Ｄレンダリングがディスプレイ上に表示され得る。ターゲット領域の３Ｄレンダリングは、事前に、例えば、現在の処置または操作（例えば、術前ＣＴ）の前に取得されたターゲット領域のＣＴ容積データに基づいて生成され得る。いくつかの実施形態では、例えば、以下の図８に関して説明するように、ターゲットの３Ｄレンダリングに位置特定システムが整合され得る。次いで、位置特定システムの３Ｄレンダリングへの整合を更新することによって、医療デバイスとターゲットとの間のオフセットの修正が行われ得る。一般に、このような更新を行うためには、透視画像の基準の座標系と、位置特定システムの基準の座標系との間の変換について知っておくべきである。位置特定システムに対するマーカーの構造の幾何学的位置決めは、このような変換を判定し得る。いくつかの実施形態では、かつ図８の実施形態に示されるように、マーカーの構造および位置特定システムは、同じ基準の座標系が両方に適用されるように、または一方が他方の単なる変換バージョンであるように位置決めされている。
【００５７】
いくつかの実施形態では、３Ｄレンダリング（例えば、ＣＴベース）への位置特定システムの整合の更新は、ローカル方式および／または段階的方式で実行されてもよい。例えば、整合は、ターゲットの周囲でのみ、例えば、ターゲットからの一定の距離内でのみ更新されてもよい。これは、ターゲットの周りで実行されていない場合、更新の精度が低くなる場合があるためである。いくつかの実施形態では、更新は、例えば、ターゲットからの距離に従って重みを加えることによって段階的方式で実行されてもよい。精度の配慮に加えて、このような段階的な更新は、ディスプレイ上の医療デバイスの位置の急激な変化よりも、処置中にユーザが見て、処理し、必要な変更を行うことがより便利または容易であり得る。
【００５８】
いくつかの実施形態では、患者は、呼吸によるターゲット領域の動きを防止するために、画像の捕捉中に呼吸を停止する（または呼吸を停止させる）ように指示されることがある。他の実施形態では、画像の捕捉中の呼吸の動きを補正するための方法を実行してもよい。例えば、透視デバイスの推定されたポーズは、ターゲット領域に配置された基準マーカーの動きに応じて修正されてもよい。このような基準は、ターゲット領域に配置された医療デバイス、例えば、カテーテルであってもよい。例えば、カテーテルの動きは、位置特定システムに基づいて判定され得る。いくつかの実施形態では、患者の呼吸パターンは、ターゲット領域に位置するカテーテルなどの基準マーカーの動きに従って判定されてもよい。動きは、位置特定システムを介して判定され得る。そのパターンに基づいて、撮像デバイスのポーズを判定する際には、吸入または吐出の画像のみを考慮することができる。
【００５９】
実施形態では、上述のように、捕捉された各フレームについて、撮像デバイスの３次元位置および向きは、患者ベッド上に位置決めされた一組の静的マーカーに基づいて推定される。このプロセスには、容積内のマーカー３Ｄ位置および画像平面内の投影の互換性のある２Ｄ座標に関する知識が必要である。関心容積に異なる平面から１つ以上のマーカーを追加することは、より堅牢かつ正確なポーズ推定につながり得る。このようなプロセスで利用することができる１つの考えられるマーカーは、カテーテルの先端（またはカテーテルを通して位置決めされた他の医療デバイスの先端）である。先端は、透視撮像によって捕捉されたビデオ全体を通して可視的であり、互換性のある３Ｄ位置は、ツールがターゲットに（例えば、電磁場を通して）ナビゲートされるにつれて、ナビゲーションまたは追跡システム（例えば、電磁ナビ追跡システム）によって提供されてもよい。したがって、残っているタスクは、ビデオフレームから正確な２Ｄ座標を推定することだけである。上述のように、先端検出ステップの一実施形態は、ビデオ全体を通して先端の完全自動検出および追跡を含んでもよい。別の実施形態は、ユーザが１つ以上のフレームにおいて先端を手動でマーキングし、検出プロセスが残りのフレームの先端座標を計算する半監督追跡を実施してもよい。
【００６０】
実施形態では、半監督追跡プロセスは、現在のフレームと以前のフレームとの間のテンプレートマッチングによって各フレームを一度に解明することに従って、光学フローを使用して、ビデオおよび／またはモデルベースのトラッカーに沿った先端の動きを推定するように実施されてもよい。モデルベースのトラッカーは、検出器を訓練して、各画素がカテーテル先端に属する確率を推定し、検出をビデオに沿った座標の単一の最も可能性の高いリストに組み合わせるステップがそれに続く。モデルベースのトラッカーの１つの可能な実施形態は、動的プログラミングを伴う。このような最適化手法により、シーム（ビデオフレーム３Ｄ空間に沿った座標の接続されたリスト−最初の２次元は画像平面に属し、第３の軸は時間である）を最大確率で求めることができる。２次元座標のシームを達成するための別の可能性のある方法は、検出器を訓練して、隣接するフレームにおける検出間の近接の損失関数に規則化を組み込みながら、各フレームにおける先端座標を推定することである。
【００６１】
図８は、本開示による透視ベースの３次元容積データを構築するための例示的なシステム８００を示す。システム８００は、２Ｄ透視画像から患者の肺の少なくとも一部を含むターゲット領域の透視ベースの３次元容積データを構築するように構成されてもよい。システム８００は、電磁ナビゲーション気管支鏡検査（ＥＮＢ）を使用することにより、ターゲット領域への医療デバイスのアプローチを容易にし、ターゲットに対する医療デバイスの位置を判定するように、さらに構成されてもよい。
【００６２】
システム８００は、ＣＴ画像データをレビューして１つ以上のターゲットを識別し、識別されたターゲットへの経路を計画し（計画段階）、ユーザインターフェースを介してカテーテルアセンブリの拡張作業チャネル（ＥＷＣ）８１２をターゲットにナビゲートし（ナビゲーション段階）、ターゲットに対するＥＷＣ８１２の配置を確認するように構成されてもよい。このようなＥＭＮシステムの１つは、Ｍｅｄｔｒｏｎｉｃ  ＰＬＣが現在販売しているＥＬＥＣＴＲＯＭＡＧＮＥＴＩＣ  ＮＡＶＩＧＡＴＩＯＮ  ＢＲＯＮＣＨＯＳＣＯＰＹ（登録商標）システムである。ターゲットは、計画段階中にＣＴ画像データのレビューによって識別された関心組織であってもよい。ナビゲーションに続いて、生検ツールまたは他のツールなどの医療デバイスをＥＷＣ８１２に挿入して、ターゲットに位置するか、またはターゲットに近接する組織から組織サンプルを取得してもよい。
【００６３】
図８はカテーテルガイドアセンブリ８４０の一部であるＥＷＣ８１２を示す。実際には、ＥＷＣ８１２は、患者「Ｐ」の管腔ネットワークにアクセスするために気管支鏡８３０に挿入される。具体的には、カテーテルガイドアセンブリ８４０のＥＷＣ８１２は、患者の管腔ネットワークを通してナビゲーションするために気管支鏡８３０の作業チャネルに挿入されてもよい。具体的には、カテーテルガイドアセンブリ８４０のＥＷＣ８１２は、患者の管腔ネットワークを通してナビゲーションするために気管支鏡８３０の作業チャネルに挿入されてもよい。センサ８４４を含む位置特定可能ガイド（ＬＧ）８３２は、ＥＷＣ８１２に挿入され、センサ８４４がＥＷＣ８１２の遠位先端を越えて所望の距離だけ延在するような位置にロックされる。電磁場内の基準座標系、したがってＥＷＣ８１２の遠位部分に対するセンサ８４４の位置および配向を導出することができる。カテーテルガイドアセンブリ８４０は、現在、Ｍｅｄｔｒｏｎｉｃ  ＰＬＣにより、ＳＵＰＥＲＤＩＭＥＮＳＩＯＮ（登録商標）処置キットまたはＥＤＧＥ（商標）処置キットのブランド名で市販されており、本開示で使用可能であると考えられている。カテーテルガイドアセンブリ８４０のより詳細な説明については、２０１３年３月１５日に出願されたＬａｄｔｋｏｗらによる、共有の米国特許公開第２０１４／００４６３１５号、米国特許第７，２３３，８２０号、および米国特許第９，０４４，２５４号に言及されていて、それぞれの内容全体は参照により本明細書に援用される。
【００６４】
システム８００は、一般に、患者「Ｐ」を支持するように構成された手術台８２０と、患者「Ｐ」の口を通して患者「Ｐ」の気道に挿入するように構成された気管支鏡８３０と、気管支鏡８３０に結合された監視機器８３５（例えば、気管支鏡８３０のビデオ撮像システムから受信したビデオ画像を表示するためのビデオディスプレイ）と、位置特定モジュール８５２、複数の基準センサ８５４、およびマーカー８５６の構造に結合された送信機マットを含む位置特定システム８５０と、ターゲットの識別、ターゲットへの経路計画、医療デバイスのターゲットへのナビゲーション、およびターゲットに対するＥＷＣ８１２の配置、またはそれを通る好適なデバイスの確認を容易にするために使用されるソフトウェアおよび／またはハードウェアを含むコンピューティングデバイス８２５と、を含む。コンピューティングデバイス８２５は、図２Ａのワークステーション８０と同様であってもよく、とりわけ、図１の方法を実行するように構成されてもよい。
【００６５】
患者「Ｐ」の透視画像またはＸ線画像またはビデオを取得することができる透視撮像デバイス８１０も、システム８００のこの特定の態様に含まれる。透視撮像デバイス８１０によって捕捉された画像、画像のシーケンス、またはビデオは、例えば、図２Ａに関して説明したように、透視撮像デバイス８１０内に記憶されるか、または記憶、処理、および表示のためにコンピューティングデバイス８２５に送信されてもよい。さらに、透視撮像デバイス８１０は、患者「Ｐ」に対して移動することができ、それにより、患者「Ｐ」に対して異なる角度または視点から画像を取得して、透視ビデオなどの透視画像のシーケンスを作成することができる。患者「Ｐ」に対する、かつ画像のための透視撮像デバイス８１０のポーズは、マーカーの構造を介して、図１の方法に従って推定され得る。マーカーの構造は、患者「Ｐ」と手術台８２０との間の患者「Ｐ」の下に、かつ患者「Ｐ」と透視撮像デバイス８１０の放射線源との間に位置決めされている。マーカーの構造は、送信機マット（両方とも８５６で示される）に結合され、手術台８２０上の患者「Ｐ」の下に位置決めされている。マーカーの構造および送信機マット８５６は、患者内のターゲット領域の下に静止的に位置決めされている。マーカーの構造および送信機マット８５６は、固定方式で結合されてもよく、または代替的に、１つのユニットとして製造され得る、２つの別個の要素であり得る。透視撮像デバイス８１０は、単一の撮像デバイスまたは２つ以上の撮像デバイスを含んでもよい。複数の撮像デバイスを含む実施形態では、各撮像デバイスは異なるタイプの撮像デバイスであってもよく、または同じタイプであってもよい。撮像デバイス８１０に関するさらなる詳細は、その全体が参照により本明細書に援用される、米国特許第８，５６５，８５８号に記載されている。
【００６６】
コンピューティングデバイス１８５は、プロセッサおよび記憶媒体を含む任意の好適なコンピューティングデバイスであってもよく、プロセッサは、記憶媒体に記憶された命令を実行することができる。コンピューティングデバイス１８５は、患者データ、ＣＴ画像を含むＣＴデータセット、透視画像およびビデオを含む透視データセット、ナビゲーション計画、ならびに他のこのようなデータを記憶するように構成されたデータベースをさらに含んでもよい。明示的に図示されていないが、コンピューティングデバイス１８５は入力を含んでもよく、または、ＣＴデータセット、透視画像／ビデオ、および本明細書で説明される他のデータを受信するように別様に構成されてもよい。さらに、コンピューティングデバイス１８５は、グラフィカルユーザインターフェースを表示するように構成されたディスプレイを含む。コンピューティングデバイス１８５は、１つ以上のネットワークに接続することができ、それを介して１つ以上のデータベースにアクセスすることができる。
【００６７】
計画段階に関して、コンピューティングデバイス１８５は、患者「Ｐ」の気道の３次元モデルを生成し閲覧するために、以前に取得したＣＴ画像データを利用し、３次元モデル上のターゲットの識別を（自動的に、半自動的に、または手動で）可能にし、患者「Ｐ」の気道を通したターゲットおよびその周囲に位置する組織への経路を判定することを可能にする。より具体的には、以前のＣＴスキャンから取得したＣＴ画像を処理して３次元ＣＴ容量に組み立て、それを利用して患者「Ｐ」の気道の３次元モデルを生成する。３次元モデルは、コンピューティングデバイス１８５に関連付けられたディスプレイ上に、または他の好適な方法で表示されてもよい。コンピューティングデバイス１８５を使用して、３次元モデルの様々な表示または３次元モデルから生成された改善された２次元画像が提示される。改善された２次元画像は、３次元データから生成されるため、いくつかの３次元機能を有し得る。３次元モデルを操作して、３次元モデルまたは２次元画像上のターゲットの識別を容易にすることができ、ターゲットに位置する組織にアクセスするために患者「Ｐ」の気道を通る好適な経路の選択を行い得る。選択されると、経路計画、３次元モデル、およびそこから得られた画像は保存され、ナビゲーション段階（複数可）中に使用するためにナビゲーションシステムにエクスポートされ得る。このような計画ソフトウェアの１つに、現在Ｍｅｄｔｒｏｎｉｃ  ＰＬＣが販売しているＩＬＯＧＩＣ（登録商標）計画スイートがある。
【００６８】
ナビゲーション段階に関しては、例えば、それぞれの内容全体が参照により本明細書に援用される、米国特許第８，４６７，５８９号、同第６，１８８，３５５号、および公開されたＰＣＴ出願ＷＯ  ００／１０４５６およびＷＯ  ０１／６７０３５に開示されているものと同様の、６自由度の電磁位置特定もしくは追跡システム８５０、または他の好適な位置決め測定システムが、画像およびナビゲーションの経路の整合を実行するために利用されるが、他の構成も考えられる。追跡システム８５０は、位置特定または追跡モジュール８５２、複数の基準センサ８５４、および送信機マット８５６を含む。追跡システム８５０は、位置特定可能ガイド８３２、特にセンサ８４４とともに使用するように構成されている。上述のように、位置特定可能ガイド８３２およびセンサ８４４は、ＥＷＣ１８２を介して患者「Ｐ」の気道に（気管支鏡８３０の有無にかかわらず）挿入するように構成され、ロック機構を介して互いに対して選択的にロック可能である。
【００６９】
送信機マット８５６は、患者「Ｐ」の下に位置決めされている。送信機マット８５６は、患者「Ｐ」の少なくとも一部の周りに電磁場を生成し、その中で追跡モジュール８５２を使用して複数の基準センサ８５４およびセンサ８４４の位置を判定し得る。１つ以上の基準センサ８５４は、患者「Ｐ」の胸部に取り付けられる。基準センサ８５４の６自由度座標は、（適切なソフトウェアを含む）コンピューティングデバイス８２５に送信され、そこで患者の基準座標フレームを計算するために使用される。整合は通常、計画段階からの３次元モデルおよび２次元画像の位置を、気管支鏡８３０で観察したときに患者「Ｐ」の気道と調整するように行われ、気管支鏡８３０が到達することができない気道の部分であっても、ナビゲーション段階をセンサ８４４の位置の正確な知識によって実施することを可能にする。このような整合技術および管腔ナビゲーションにおけるそれらの実装のさらなる詳細は、米国特許出願公開第２０１１／００８５７２０号に見出すことができ、その内容全体が参照により本明細書に援用されるが、他の好適な技術も企図される。
【００７０】
送信機マット８５６上の患者「Ｐ」の位置の整合は、患者「Ｐ」の気道を通してＬＧ８３２を動かすことにより実行される。より具体的には、位置特定可能ガイド８３２が気道を通って移動する間のセンサ８４４の位置に関するデータが、送信機マット８５６、基準センサ８５４、および追跡モジュール８５２を使用して記録される。この位置データから生じる形状は、計画段階で生成された３次元モデルの通路の内部形状と比較され、例えば、コンピューティングデバイス８２５上のソフトウェアを利用して、比較に基づいた形状と３次元モデルとの間の位置相関が判定される。さらに、ソフトウェアは、３次元モデル内の非組織空間（例えば、空気で満たされた空洞）を識別する。ソフトウェアは、センサ８４４の位置を表す画像を、記録された位置データおよび、位置特定可能ガイド８３２が患者「Ｐ」の気道の非組織空間に位置したままであるとの仮定に基づく、３次元モデルおよび／または３次元モデルから生成された２次元画像と位置合わせするか、または整合させる。代替的に、センサ８４４で気管支鏡８３０を患者「Ｐ」の肺の所定の位置にナビゲートし、気管支鏡からの画像を３次元モデルのモデルデータに手動で関連付けることによる、手動整合技術が採用され得る。
【００７１】
画像データおよび経路計画への患者「Ｐ」の整合に続いて、ユーザインターフェースが、臨床医がターゲットに到達するためにたどる経路を設定するナビゲーションソフトウェアに表示される。このようなナビゲーションソフトウェアの１つは、Ｍｅｄｔｒｏｎｉｃ  ＰＬＣが現在販売しているＩＬＯＧＩＣ（登録商標）ナビゲーションスイートである。
【００７２】
ユーザインターフェースに表示されているようにＥＷＣ８１２がターゲットの近くに正常にナビゲートされると、位置特定可能ガイド８３２をＥＷＣ８１２からロック解除して取り外し、光学システム、超音波プローブ、マーカー配置ツール、生検ツール、アブレーションツール（すなわち、マイクロ波アブレーションデバイス）、レーザープローブ、極低温プローブ、センサプローブ、およびターゲットへの吸引針を含むが、それらに限定されない、医療デバイスを誘導するためのガイドチャネルとしてＥＷＣ８１２を定位置に残すことができる。
【００７３】
開示される例示的なシステム８００は、肺領域に位置するターゲットの透視ベースの３次元容積データを構築し、ターゲットに対してターゲット領域にナビゲートされた医療デバイスの位置を修正するために、図７の方法によって採用され得る。
【００７４】
システム８００または図７の方法と併せたその類似バージョンは、必要な修正を伴うＥＮＢ処置以外の、腹腔鏡検査またはロボット支援手術などの様々な処置で使用され得る。
【００７５】
本開示によるシステムおよび方法は、ターゲット領域のリアルタイム２次元透視画像を使用して、ターゲットおよび／またはその領域への医療デバイスのナビゲーションを容易にするために使用可能であり得る。ナビゲーションは、ほとんどの処置室で利用可能な標準的な透視撮像デバイスで捕捉された透視画像のシーケンスから構築された小さな軟組織物体が可視的である、ローカル３次元容積データを使用することで容易になる。透視ベースで構築されたローカル３次元容積データは、ターゲットに対する医療デバイスの位置を修正するために使用され得るか、または以前に取得された容積データ（例えば、ＣＴデータ）でローカルに整合され得る。一般に、医療デバイスの位置は、追跡システム、例えば、電磁追跡システムによって判定され得る。追跡システムは、以前に取得した容積データに整合され得る。次いで、追跡システムを介して、以前に取得した容積データへのリアルタイム３次元透視データのローカルな整合が実行され得る。このようなリアルタイムデータは、例えば、誘導、ナビゲーション計画、ナビゲーション精度の改善、ナビゲーション確認、および治療確認に使用され得る。
【００７６】
いくつかの実施形態では、本方法は、術前ＣＴスキャンに基づいてターゲット領域の３Ｄレンダリングを生成するステップをさらに含み得る。次いで、ターゲット領域の表示は、３Ｄレンダリングの表示を含み得る。別のステップでは、追跡システムは、３Ｄレンダリングに整合され得る。上述のように、判定されたオフセットに基づくターゲットに対する医療デバイスの位置の修正は、追跡システムとターゲット領域における３Ｄレンダリングとの間の整合のローカルな更新を含み得る。いくつかの実施形態では、本方法は、透視３Ｄ再構築を追跡システムに整合させるためのステップをさらに含み得る。別のステップにおいて、かつ上記に基づいて、透視３Ｄ再構築と３Ｄレンダリングとの間のローカル整合が、ターゲット領域で実行され得る。
【００７７】
前述のことから、かつ種々の図面を参照すると、当業者は、本開示の範囲から逸脱することなく、本開示にある特定の修正が行われ得ることも理解するであろう。例えば、システムおよび方法は、肺などの管腔ネットワークを介してナビゲーションするためのＥＭＮシステムと共に使用可能であると説明されるが、本明細書に記載されるシステムおよび方法は、経皮デバイスなどの他のナビゲーションおよび治療デバイスを利用するシステムと共に利用され得る。さらに、上述のシステムおよび方法は、患者の管腔ネットワーク内で使用されるものとして説明されるが、上記のシステムおよび方法は、肝臓などの他のターゲット領域で利用されてもよいことが理解される。さらに、上述のシステムおよび方法は、経胸針吸引術にも使用可能である。
【００７８】
本開示の詳細な実施形態が本明細書に開示されている。しかしながら、開示された実施形態は、本開示の単なる例であり、様々な形態および態様で実施され得る。それゆえに、本明細書で開示される具体的な構造的および機能的な詳細は、限定として解釈されるべきではなく、単に特許請求の範囲の基礎として、かつ本開示を実質的に任意の適切に詳述された構造において様々に用いることを当業者に教示するための代表的な基礎として解釈されるべきである。
【００７９】
理解され得るように、組織を治療するために患者の１つ以上の分岐管腔ネットワークを介して位置決め可能である生検ツールまたはマイクロ波アブレーションカテーテルなどのエネルギーデバイスなどの医療器具は、外科的領域において有用であることが証明され得、本開示は、このような器具およびツールと共に使用可能であるシステムおよび方法を対象とする。管腔ネットワークへのアクセスは、経皮的であっても、ナビゲーション技術を使用して天然のオリフィスを介してもよい。さらに、管腔ネットワークを介したナビゲーションは、画像誘導を使用して達成され得る。これらの画像誘導システムは、エネルギーデバイスまたは別個のアクセスツールと分離または統合されてもよく、ＭＲＩ、ＣＴ、透視法、超音波、電気インピーダンス断層撮影、光学、および／またはデバイス追跡システムを含み得る。アクセスツールを位置特定するための方法としては、ＥＭ、ＩＲ、エコーロケーション、光学などが挙げられる。追跡システムは、撮像デバイスに統合されてもよく、そこで追跡は仮想空間内で行われるか、または術前もしくはライブ画像と融合される。いくつかの場合では、治療ターゲットは、ＣＯＰＤ、喘息、肺癌などの気管支内壁の治療のためなどに、管腔内から直接アクセスされ得る。他の場合、エネルギーデバイスおよび／または追加のアクセスツールは、実質内の疾患の治療のためなど、管腔を貫通して他の組織に延在し、ターゲットに到達するために必要とされ得る。エネルギーデバイスまたはツール配置の最終局在化および確認は、上述の方法およびシステムが組み込まれた標準的な透視撮像デバイスを使用して撮像および／またはナビゲーション誘導で実行されてもよい。
【００８０】
本開示のいくつかの実施形態が図面に示されているが、本開示の範囲は当該技術分野が許容する範囲と同じく広範であり、本明細書も同様に読み取られることが意図されるため、本開示がこれらの実施形態に限定されることは意図されない。したがって、上の説明は、限定するものではなく、単に特定の実施形態の例証として解釈されるべきである。当業者は、本明細書に添付される特許請求の範囲および主旨内での他の修正を想定するであろう。
【図１】
2021512692.tif 000003
【図２Ａ】
2021512692.tif 000004
【図２Ｂ】
2021512692.tif 000005
【図３】
2021512692.tif 000006
【図４】
2021512692.tif 000007
【図５Ａ】
2021512692.tif 000008
【図５Ｂ】
2021512692.tif 000009
【図５Ｃ】
2021512692.tif 000010
【図６Ａ】
2021512692.tif 000011
【図６Ｂ】
2021512692.tif 000012
【図６Ｃ】
2021512692.tif 000013
【図７】
2021512692.tif 000014
【図８】
2021512692.tif 000015
【国際調査報告】
2021512692.tif 000016
2021512692.tif 000017