(57)【要約】メッシュ・セグメンテーション及びレジストレーションのための方法は、解剖学的メッシュテンプレート（４０）のベース・トポロジに基づく、術前の解剖学的画像（５０）からの術前の解剖学的メッシュ（５１）の抽出と；解剖学的メッシュテンプレート（４０）のベース・トポロジから導出される術前の解剖学的メッシュ（５１）の術前トポロジに基づく、術中の解剖学的画像（６０）からの術中の解剖学的メッシュ（６１）の抽出と、術前の解剖学的メッシュ（５１）の術前トポロジから導出される術中の解剖学的メッシュ（６１）の術中トポロジによって確立される、術前の解剖学的メッシュ（５１）と術中の解剖学的メッシュ（６１）との間のマッピング対応に基づく、術前の解剖学的画像（５０）及び術中の解剖学的画像（６０）のレジストレーションとを備える。  （図２）
2016517759.tif 000002
【特許請求の範囲】
【請求項１】
メッシュ・セグメンテーション及びメッシュ・レジストレーションのためのシステムであって、当該システムは：
解剖学的メッシュテンプレートのベース・トポロジに基づいて、術前の解剖学的画像から術前の解剖学的メッシュを抽出するように動作的に構成される、術前ワークステーションと；
術中ワークステーションと；
を備え、
前記術中ワークステーションは、前記解剖学的メッシュテンプレートの前記ベース・トポロジから導出される前記術前の解剖学的メッシュの術前トポロジに基づいて、術中の解剖学的画像から術中の解剖学的メッシュを抽出するように動作的に構成され、
前記術中ワークステーションは、前記術前の解剖学的メッシュの前記術前トポロジから導出される前記術中の解剖学的メッシュの術中トポロジによって確立される、前記術前の解剖学的メッシュと前記術中の解剖学的メッシュとの間のマッピング対応に基づいて、前記術前の解剖学的画像及び前記術中の解剖学的画像をレジストレーションするように更に動作的に構成される、
システム。
【請求項２】
前記術前の解剖学的画像及び前記術中の解剖学的画像の双方が、同一の画像モダリティから生成される、
請求項１に記載のシステム。
【請求項３】
前記術前の解剖学的画像及び前記術中の解剖学的画像は、異なる画像モダリティから生成される、
請求項１に記載のシステム。
【請求項４】
前記解剖学的メッシュテンプレートの前記ベース・トポロジに基づく、術前の解剖学的画像のデータセットからの術前のトレーニングメッシュのデータセットの抽出により、術前のセグメンテーションモデルを構築するように動作的に構成される、トレーニングワークステーションを更に備え、
前記術前ワークステーションは、前記解剖学的メッシュテンプレートの前記ベース・トポロジに基づいて前記術前の解剖学的画像から前記術前の解剖学的メッシュを抽出するよう前記術前のセグメンテーションモデルを含む、
請求項１に記載のシステム。
【請求項５】
前記術前のベースラインメッシュのデータセットの前記術前トポロジに基づく、術中の解剖学的画像のデータセットからの術中のトレーニングメッシュのデータセットの抽出により、術中のセグメンテーションモデルを構築するように動作的に構成される、トレーニングワークステーションを更に備え、
前記術中ワークステーションは、前記術前の解剖学的メッシュの前記術前トポロジに基づいて前記術中の解剖学的画像から前記術中の解剖学的メッシュを抽出するよう前記術中のセグメンテーションモデルを含む、
請求項１に記載のシステム。
【請求項６】
前記トレーニングワークステーションは、前記解剖学的メッシュテンプレートの前記ベース・トポロジに基づいて術前の解剖学的画像のデータセットから、前記術前のべースラインメッシュのデータセットを抽出するように更に動作可能である、
請求項５に記載のシステム。
【請求項７】
前記術中ワークステーションによる前記術前の解剖学的画像及び前記術中の解剖学的画像のレジストレーションは、前記術中の解剖学的メッシュへの前記術前の解剖学的メッシュの空間変換を含む、
請求項１に記載のシステム。
【請求項８】
メッシュ・セグメンテーション及びレジストレーションのためのモジュールネットワークであって、当該モジュールネットワークは：
解剖学的メッシュテンプレートのベース・トポロジに基づいて、術前の解剖学的画像から術前の解剖学的メッシュを抽出するように動作的に構成される、術前メッシュ・エクストラクタと；
前記解剖学的メッシュテンプレートの前記ベース・トポロジから導出される前記術前の解剖学的メッシュの術前トポロジに基づいて、術中の解剖学的画像から術中の解剖学的メッシュを抽出するように動作的に構成される、術中メッシュ・エクストラクタと；
前記術前の解剖学的メッシュの前記術前トポロジから導出される前記術中の解剖学的メッシュの術中トポロジによって確立される、前記術前の解剖学的メッシュと前記術中の解剖学的メッシュとの間のマッピング対応に基づいて、前記術前の解剖学的画像及び前記術中の解剖学的画像をレジストレーションするように動作的に構成される、メッシュ空間トランスフォーマと；
を備える、モジュールネットワーク。
【請求項９】
前記術前の解剖学的画像及び前記術中の解剖学的画像の双方が、同一の画像モダリティから生成される、
請求項８に記載のモジュールネットワーク。
【請求項１０】
前記術前の解剖学的画像及び前記術中の解剖学的画像は、異なる画像モダリティから生成される、
請求項８に記載のモジュールネットワーク。
【請求項１１】
前記解剖学的メッシュテンプレートの前記ベース・トポロジに基づく、術前の解剖学的画像のデータセットからの術前のトレーニングメッシュのデータセットの抽出により、術前のセグメンテーションモデルを構築するように動作的に構成される、術前モデル・コンストラクタを更に備え、
前記術前メッシュ・エクストラクタは、前記解剖学的メッシュテンプレートの前記ベース・トポロジに基づいて前記術前の解剖学的画像から前記術前の解剖学的メッシュを抽出するよう前記術前のセグメンテーションモデルを含む、
請求項８に記載のモジュールネットワーク。
【請求項１２】
前記術前のベースラインメッシュのデータセットの前記術前トポロジに基づく、術中の解剖学的画像のデータセットからの術中のトレーニングメッシュのデータセットの抽出により、術中のセグメンテーションモデルを構築するように動作的に構成される、術中モデル・コンストラクタを更に備え、
前記術中メッシュ・エクストラクタは、前記術前の解剖学的メッシュの前記術前トポロジに基づいて前記術中の解剖学的画像から前記術中の解剖学的メッシュを抽出するよう前記術中のセグメンテーションモデルを含む、
請求項８に記載のモジュールネットワーク。
【請求項１３】
前記術中モデル・コンストラクタは、前記解剖学的メッシュテンプレートの前記ベース・トポロジに基づいて術前の解剖学的画像のデータセットから、前記術前のべースラインメッシュのデータセットを抽出するように更に動作可能である、
請求項１２に記載のモジュールネットワーク。
【請求項１４】
前記術前メッシュ・エクストラクタは、術前ワークステーション上に動作可能にインストールされ、
前記術中メッシュ・エクストラクタ及び前記メッシュ空間トランスフォーマは、術中ワークステーション上に動作可能にインストールされる、
請求項８に記載のモジュールネットワーク。
【請求項１５】
前記メッシュ空間トランスフォーマによる前記術前の解剖学的画像及び前記術中の解剖学的画像のレジストレーションは、前記術中の解剖学的メッシュへの前記術前の解剖学的メッシュの空間変換を含む、
請求項８に記載のモジュールネットワーク。
【請求項１６】
メッシュ・セグメンテーション及びレジストレーションのための方法であって、当該方法は：
解剖学的メッシュテンプレートのベース・トポロジに基づく、解剖学的領域の術前の解剖学的画像からの術前の解剖学的メッシュの抽出と；
前記解剖学的メッシュテンプレートの前記ベース・トポロジから導出される前記術前の解剖学的メッシュの術前トポロジに基づく、術中の解剖学的画像からの術中の解剖学的メッシュの抽出と；
前記術前の解剖学的メッシュの前記術前トポロジから導出される前記術中の解剖学的メッシュの術中トポロジによって確立される、前記術前の解剖学的メッシュと前記術中の解剖学的メッシュとの間のマッピング対応に基づく、前記術前の解剖学的画像及び前記術中の解剖学的画像のレジストレーションと；
を備える、方法。
【請求項１７】
前記解剖学的メッシュテンプレートの前記ベース・トポロジに基づく、術中の解剖学的画像のデータセットからの術中のトレーニングメッシュのデータセットの抽出を含む、術前のセグメンテーションモデルの構築を更に備え、
前記術前のセグメンテーションモデルは、前記解剖学的メッシュテンプレートの前記ベース・トポロジに基づく前記術前の解剖学的画像からの前記術前の解剖学的メッシュの抽出を実施する、
請求項１６に記載の方法。
【請求項１８】
前記術前のベースラインメッシュのデータセットの前記術前トポロジに基づく、術中の解剖学的画像のデータセットからの術中のトレーニングメッシュのデータセットの抽出を含む、術中のセグメンテーションモデルの構築を更に備え、
前記術中のセグメンテーションモデルは、前記術前の解剖学的メッシュの前記術前トポロジに基づく前記術中の解剖学的画像からの前記術中の解剖学的メッシュの抽出を実施する、
請求項１６に記載の方法。
【請求項１９】
前記術中のセグメンテーションモデルの構築は、前記解剖学的メッシュテンプレートの前記ベース・トポロジに基づく、術前の解剖学的画像のデータセットからの前記術前のべースラインメッシュのデータセットの抽出を更に含む、
請求項１８に記載の方法。
【請求項２０】
前記術前の解剖学的画像及び前記術中の解剖学的画像のレジストレーションは、前記術中の解剖学的メッシュへの前記術前の解剖学的メッシュの空間変換を含む、
請求項１６に記載の方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、一般に、術前の解剖学的画像（例えば解剖学的構造のコンピュータ断層撮影（ＣＴ）スキャン又は磁気共鳴（ＭＲ）撮像スキャン）及び術中の解剖学的画像（例えば解剖学的構造の超音波（ＵＳ）画像フレーム）の画像セグメンテーションに関し、術前の解剖学的画像及び術中の解剖学的画像の信頼性のあるレジストレーションを容易にする。本発明は、特に、術前の解剖学的画像及び術中の解剖学的画像からの解剖学的メッシュの抽出のための解剖学的メッシュテンプレートに関し、これにより、解剖学的メッシュは、これらの解剖学的画像をレジストレーションするためのマッピング対応（mapping  correspondence）を有する。
【背景技術】
【０００２】
術前の解剖学的画像と術中の解剖学的画像の融合は、画像誘導型の介入手順／外科的手順／診断手順を容易にするのに用いられている。周知の一シナリオは、高解像度の術前のＣＴ又はＭＲスキャンと、術中の超音波画像フレームの融合である。例えば従来の２次元（２Ｄ）の超音波システムには、位置センサ（例えば電磁追跡センサ）が備えられ、追跡した臓器の２Ｄスイープ（sweep）を取得することができることがある。画像取得中に得られる追跡情報を使用して、２ＤスイープのＵＳフレームが、基準の座標系に対して整列されて臓器の３次元（３Ｄ）ボリュームを再構築する。超音波は、臓器の術中の撮像には理想的であるが、画像誘導には画像解像度が乏しい。したがって、超音波撮像と他の高解像度の撮像モダリティ（例えばＣＴ又はＭＲ）との融合が、介入手順／外科的手順／診断手順の超音波ベースの誘導を改善するのに用いられている。画像融合中に、対象の臓器が、術中の超音波と術前のモダリティとの間で正確にレジストレーションされる。２つの異なるモダリティの融合について多くの画像レジストレーション技術が提案されているが、術中の超音波といずれかの術前のモダリティ（例えばＣＴ又はＭＲ）の融合は、術中の超音波と術前のモダリティとの間の機能的な依存関係の欠如に起因して、困難なことであることが分かっている。
【０００３】
より具体的には、肝臓の術中のＵＳ画像フレームに対する肝臓の術前の３Ｄ  ＣＴ撮像スキャンの融合のための既知のダイヤフラム表面モデル（diaphragm  surface  model）に基づく解決策は、２Ｄ超音波スイープ又は単一の３Ｄ超音波ボリュームの取得から得られる、肝臓について抽出される３Ｄ肝臓ダイヤフラム表面モデルに対する、術前の３Ｄ  ＣＴ撮像スキャンから得られる肝臓の３Ｄ形状セグメンテーションのレジストレーションを要する。術中の超音波画像におけるダイヤフラムの表面セグメンテーションは、母集団の平均メッシュモデルを、画像ベースの特徴を使用して超音波画像に適合させる。これは、課題をもたらす可能性があり、結果として、画像レジストレーションの正確性は、超音波セグメンテーションの正確性に大いに依存する。
【発明の概要】
【発明が解決しようとする課題】
【０００４】
ダイヤフラム表面モデルに基づくアプローチに対する代替として、本発明は、特に画像誘導型の介入手順／外科的手順／診断手順のために、術前の解剖学的画像と術中の解剖学的画像のメッシュ・セグメンテーション及びメッシュ・レジストレーションを提供する。
【課題を解決するための手段】
【０００５】
本発明の第１の形態は、メッシュ・セグメンテーション及びメッシュ・レジストレーションのためのシステムである。当該システムは、術前ワークステーション（例えばＣＴワークステーション又はＭＲＩワークステーション）と、術中ワークステーション（例えば超音波ワークステーション）を用いる。動作において、術前ワークステーションは、解剖学的メッシュテンプレートのベース・トポロジに基づいて、術前の解剖学的画像（例えばＣＴの肝臓画像又はＭＲＩの肝臓画像）から、術前の解剖学的メッシュを抽出する。解剖学的メッシュテンプレートのベース・トポロジから導出される、抽出された術前の解剖学的メッシュの術前トポロジに基づいて、術中ワークステーションは、術中の解剖学的画像（例えば超音波の肝臓画像）から術中の解剖学的メッシュを抽出し、術前の解剖学的メッシュの術前トポロジから導出される術中の解剖学的メッシュの術中トポロジによって確立される、術前の解剖学的メッシュと術中の解剖学的メッシュとの間のマッピング対応に基づいて、術前の解剖学的画像及び術中の解剖学的画像をレジストレーションする。
【０００６】
本発明の第２の形態は、メッシュ・セグメンテーション及びメッシュ・レジストレーションのためのモジュールネットワークである。当該システムは、術前メッシュ・エクストラクタと、術中メッシュ・エクストラクタと、メッシュ空間トランスフォーマとを備える。動作において、術前メッシュ・エクストラクタは、解剖学的メッシュテンプレートのベース・トポロジに基づいて、術前の解剖学的画像（例えばＣＴの肝臓画像又はＭＲＩの肝臓画像）から術前の解剖学的メッシュを抽出する。術中メッシュ・エクストラクタは、解剖学的メッシュテンプレートのベース・トポロジから導出される術前の解剖学的メッシュの術前トポロジに基づいて、術中の解剖学的画像（例えば超音波の肝臓画像）から術中の解剖学的メッシュを抽出する。メッシュ空間トランスフォーマは、術前の解剖学的メッシュの術前トポロジから導出される術中の解剖学的メッシュの術中トポロジによって確立される、術前の解剖学的メッシュと術中の解剖学的メッシュとの間のマッピング対応に基づいて、術前の解剖学的画像及び術中の解剖学的画像をレジストレーションする。
【０００７】
本発明の第３の形態は、メッシュ・セグメンテーション及びレジストレーションのための方法である。当該方法は、解剖学的メッシュテンプレートのベース・トポロジに基づく、術前の解剖学的画像（例えばＣＴの肝臓画像又はＭＲＩの肝臓画像）からの術前の解剖学的メッシュの抽出と、解剖学的メッシュテンプレートのベース・トポロジから導出される術前の解剖学的メッシュの術前トポロジに基づく、術中の解剖学的画像（例えば超音波の肝臓画像）からの術中の解剖学的メッシュの抽出と、術前の解剖学的メッシュの術前トポロジから導出される術中の解剖学的メッシュの術中トポロジによって確立される、術前の解剖学的メッシュと術中の解剖学的メッシュとの間のマッピング対応に基づく、術前の解剖学的画像及び術中の解剖学的画像のレジストレーションとを含む。
【０００８】
本発明の前述の形態及び他の形態、並びに本発明の様々な特徴及び利点は、添付の図面と関連して読まれる、本発明の様々な実施形態の下記の詳細な説明から更に明らかになるであろう。詳細な説明及び図面は、限定ではなく、単に本発明を例示するものであり、本発明の範囲は、添付の特許請求の範囲及びその均等の範囲によって定義される。
【図面の簡単な説明】
【０００９】
【図１】本発明に係るメッシュ・セグメンテーション及びメッシュ・レジストレーションの方法の例示的な実施形態を表すフローチャートである。
【図２】図１に図示されるフローチャートの例示的な実装を示す図である。
【図３】本発明に係る術前のセグメンテーションモデルの構築の方法の例示的な実施形態を表すフローチャートである。
【図４】図３に図示されるフローチャートの例示的な実装を示す図である。
【図５】本発明に係る術中のセグメンテーションモデルの構築の方法の例示的な実施形態を表すフローチャートである。
【図６】図５に図示されるフローチャートの例示的な実装を示す図である。
【図７】本発明に係るマルチモーダルセグメンテーション及びレジストレーションのためのシステム及びモジュールネットワーク（module  network）の例示的な実施形態を示す図である。
【発明を実施するための形態】
【００１０】
本発明は、術前の解剖学的画像及び術中の解剖学的画像のメッシュ・セグメンテーション及びメッシュ・レジストレーションの初期設定（initialization）のために、解剖学的メッシュテンプレートのベース・トポロジを用いる。
【００１１】
本発明の目的では、「解剖学的」、「メッシュ」、「モデル」、「抽出」、「構築」、「セグメンテーション」、「レジストレーション」及び「変換」という用語及び関連する用語は、本発明の分野で知られるように広く解釈されるべきである。
【００１２】
また、本発明の目的では、撮像動作の発生又は撮像システムの動作に関わらず、「術前」という用語は、本明細書で使用されるとき、前処理あるいは介入手順／外科的手順／診断手順を支持する二次的撮像モダリティとして指定される、特定の撮像モダリティの任意の撮像動作又は構造を示すよう広く定義され、「術中」という用語は、本明細書で使用されるとき、介入手順／外科的手順／診断手順の実行中の一次撮像モダリティとして指定される、特定の撮像モダリティの任意の撮像動作又は構造を示すよう広く定義される。撮像モダリティの例には、これらに限られないが、ＣＴ、ＭＲＩ、Ｘ線及び超音波が含まれる。
【００１３】
実際には、本発明は、任意の解剖学的領域（例えば頭部、胸部、骨盤等）及び解剖学的構造（例えば骨、臓器、循環系、消化器系等）、任意のタイプの術前の解剖学的画像及び任意のタイプの術中の解剖学的画像に当てはまる。また、実際には、術前の解剖学的画像及び術中の解剖学的画像は、介入手順／外科的手順／診断手順の同じ対象（subject）又は異なる対象の解剖学的領域／構造のものであってよく、術前の解剖学的画像及び術中の解剖学的画像は、同じ撮像モダリティによって生成されても、異なる撮像モダリティによって生成されてもよい（例えば術前ＣＴと術中ＵＳ、術前ＣＴと術中ＣＴ、術前ＭＲＩと術中ＵＳ、術前ＭＲＩと術中ＭＲＩ、術前ＵＳと術中ＵＳ）。
【００１４】
本発明の理解を容易にするために、本明細書では、術前のＣＴ／ＭＲの肝臓画像及び術中の超音波の肝臓画像のメッシュ・セグメンテーション及びメッシュ・レジストレーションの初期設定のための肝臓メッシュテンプレートのベース・トポロジの使用を対象とする、本発明の例示の実施形態が提供され得る。「ＣＴ／ＭＲ」という用語は、本明細書では、ＣＴ撮像又はＭＲ撮像の代替的な使用を指すのに使用される。
【００１５】
図１を参照すると、フローチャート１０は、本発明のメッシュ・セグメンテーションとメッシュ・レジストレーションの方法を表している。フローチャート１０の段階Ｓ１１は、解剖学的メッシュテンプレートのベース・トポロジが、対象の術前の解剖学的画像からの術前の解剖学的メッシュの抽出のためのベースとして機能することを含む。より具体的には、解剖学的メッシュテンプレートは、術前の解剖学的画像から解剖学的メッシュテンプレートと同じトポロジを有する術前の解剖学的メッシュを抽出するために、解剖学的画像内に示される解剖学的特徴と関連して使用される、固定数の節点（node）及び面（face）で構成される既知のトポロジを有する。
【００１６】
実際には、段階Ｓ１１における、解剖学的メッシュテンプレートのベース・トポロジに基づく、術前の解剖学的画像からの術前の解剖学的メッシュの抽出のために、任意の技術が実装され得る。図２に示されるように、段階Ｓ１１の一実施形態において、ＣＴ／ＭＲセグメンテーションモデル１１は、ＣＴ／ＭＲ肝臓画像５０からのＣＴ／ＭＲ肝臓メッシュ５１の抽出のために、既知のベース・トポロジの肝臓メッシュテンプレート４０をＣＴ／ＭＲ肝臓画像５０の画像特徴（例えば表面境界）に半自動的に適合させる。
【００１７】
フローチャート１０の段階Ｓ１２は、段階Ｓ１１中に抽出された術前の解剖学的メッシュの術前トポロジが、段階Ｓ１１と同じ対象又は段階Ｓ１１と異なる対象の術中の解剖学的画像からの術中の解剖学的メッシュの抽出のためのベースとして機能することを含む。より具体的には、段階Ｓ１１の間に抽出された術前の解剖学的メッシュは、解剖学的メッシュテンプレートと同じ既知のトポロジを有することになり、該術前の解剖学的メッシュの既知のトポロジを術中の解剖学的画像の解剖学的特徴とともに使用して、解剖学的メッシュテンプレート及び術前の解剖学的メッシュと同じトポロジを有する術中の解剖学的メッシュを抽出する。
【００１８】
実際には、段階Ｓ１２における、術前の解剖学的メッシュの術前トポロジに基づく、術中の解剖学的画像からの術中の解剖学的メッシュの抽出のために、任意の技術が実装され得る。図２に示されるように、段階Ｓ１２の一実施形態において、超音波セグメンテーションモデル１２が、既知のトポロジのＣＴ／ＭＲ肝臓メッシュ５１を超音波肝臓画像６０に適応的に空間的に変換する。適応的な空間変換は、自由度（例えば剛体変換（rigid  transformation）、アフィン変換又は弾性的に変形可能な変換（elastic  deformable  transformation））を制限していることがある。空間変換の後に、超音波セグメンテーションモデル１２は、超音波肝臓画像６０からの超音波肝臓メッシュ６１の抽出のために、ＣＴ／ＭＲの肝臓メッシュ５１を超音波肝臓画像６０の画像特徴（例えば表面境界）に半自動的に適合させる。
【００１９】
フローチャート１０の段階Ｓ１３は、術前の解剖学的画像と術中の解剖学的画像のレジストレーションを含む。より具体的には、解剖学的メッシュテンプレートの既知のベース・トポロジから導出される術前の解剖学的メッシュと術中の解剖学的メッシュの同一のトポロジは、術前の解剖学的メッシュと術中の解剖学的メッシュとの間のマッピング対応を確立し、このマッピング対応は、術中の解剖学的画像への術前の解剖学的画像の空間変換又はその反対の変換を容易にする。したがって、術前の解剖学的画像及び術中の解剖学的画像が、介入手順／外科的手順／診断手順の画像誘導の目的でレジストレーションされる。
【００２０】
実際には、術前の解剖学的と術中の解剖学的画像のレジストレーションのために任意の技術が実装され得る。図２に示されるように、段階Ｓ１３の一実施形態において、ＣＴ／ＭＲ肝臓メッシュ５１と超音波肝臓メッシュ６１は、ＣＴ／ＭＲ肝臓メッシュ５１と超音波肝臓メッシュ６１の１対１のレジストレーション１３（例えば剛体変換、アフィン変換又は弾性的に変形可能な変換）を容易にする同一の節点及び面を有する。フローチャート１０の終了後、結果として得られる、術前の解剖学的画像（例えば図２のＣＲ／ＭＲ画像５０）及び術中の解剖学的画像（例えば図２の超音波画像６０）のレジストレーションを、画像誘導型の介入手順／外科的手順／診断手順に使用することができる。
【００２１】
図２を参照すると、フローチャート１０の例示の実施形態は、術前のセグメンテーションモデル（例えばＣＴ／ＭＲセグメンテーションモデル１１）及び術中のセグメンテーションモデル（例えばＵＳセグメンテーションモデル１２）を用いていた。次に、術前のセグメンテーションモデルと術中のセグメンテーションモデルの構築方法を示すために図３〜６を説明することにする。
【００２２】
図３を参照すると、フローチャート２０は、本発明の術前のセグメンテーションモデルの構築方法を表している。
【００２３】
フローチャート２０の段階Ｓ２１は、ｊ個（ｊ＞２）の対象の一般集団（general  population）全体にわたる解剖学的メッシュテンプレートの構築を含み、これにより、解剖学的メッシュテンプレートは、固定数の頂点と面の既知のベース・トポロジを有する。実際には、解剖学的メッシュテンプレートの構築のために任意の技術が実装され得る。段階Ｓ２１の一実施形態では、図４に示される肝臓メッシュテンプレート４０は、１つの肝臓についてｊ個のＣＴ／ＭＲセグメンテーションされる肝臓メッシュの一般対象集団の平均から構築される。肝臓メッシュテンプレート４０は、固定の数の頂点及び面の既知のベース・トポロジを有し、図１に示されるようなフローチャート１０のメッシュ・セグメンテーションの初期設定に使用される。
【００２４】
フローチャート２０の段階Ｓ２２は、ｊ個の対象の一般集団全体にわたるｋ個（ｋ＞２）の術前の解剖学的画像のデータセットからの、術前のトレーニングメッシュのデータセットの抽出を含む。実際には、術前のトレーニングメッシュのデータセットの抽出のために任意の技術が実装され得る。図４に示されるように、段階Ｓ２２の一実施形態では、ＣＴ／ＭＲトレーニングメッシュのデータセット５３は、ＣＴ／ＭＲ肝臓画像のデータセット５２の画像特徴（例えば表面境界）に対する肝臓メッシュテンプレート４０の半自動的適合２２によって抽出される。
【００２５】
実際には、解剖学的メッシュテンプレートの構築のためのセグメンテーションされた解剖学的メッシュ（図４には図示せず）と、術前のセグメンテーションモデルの構築のための術前の解剖学的画像のデータセット（例えば図４のＣＴ／ＭＲ肝臓画像のデータセット５２）を、同じ対象のうちの１つ以上から、あるいは２つの別個の対象のセットから生成することができる。
【００２６】
フローチャート２０の段階Ｓ２３は、術前のトレーニングメッシュのデータセット及び術前の解剖学的画像のデータセットからの、術前のセグメンテーションモデルの構築を含む。実際には、術前のセグメンテーションモデルの構築のために任意の技術が実装され得る。図４に示されるように、段階Ｓ２３の一実施形態では、ＣＴ／ＭＲセグメンテーションモデル２３が、ＣＴ／ＭＲ肝臓画像のデータセット５２内に示される画像特徴から、並びにＣＴ／ＭＲトレーニングメッシュのデータセット５３の既知の頂点及び面から構築される。フローチャート２０の終了後、ＣＴ／ＭＲセグメンテーションモデル２３は、図２に示されるようなＣＴ／ＭＲセグメンテーションモデル１１として機能し得る。
【００２７】
図５を参照すると、フローチャート３０は、本発明の術中のセグメンテーションモデルの構築方法を表す。フローチャート３０の段階Ｓ３１は、ｊ個の対象の一般集団全体にわたるｉ個（ｉ＞２）の術前の解剖学的画像のデータセットからの、術前のベースラインメッシュのデータセットの抽出を含む。実際には、術前のベースラインメッシュのデータセットの抽出のための任意の技術が実装され得る。図６に示されるように、段階Ｓ３１の一実施形態では、ＣＴ／ＭＲセグメンテーションモデル２３（図４）は、肝臓メッシュテンプレート４０を、ＣＴ／ＭＲベースラインメッシュのデータセット５５の抽出のために、ＣＴ／ＭＲ肝臓画像のデータセット５４の画像特徴（例えば表面境界）に半自動的に適合させる。
【００２８】
実際には、術前のセグメンテーションモデルの構築のための術前の解剖学的データセット（例えば図４のＣＴ／ＭＲ肝臓画像データセット５２）と、術中のセグメンテーションモデルの構築のための術前の解剖学的画像データセット（例えば図６のＣＴ／ＭＲ肝臓画像データセット５４）を、同じ対象のうちの１つ以上から、あるいは２つの別個の対象のセットから生成することができる。
【００２９】
フローチャート３０の段階Ｓ３２は、ｊ個の対象の一般集団全体にわたるｌ個（ｌ＞２）の術中の解剖学的画像のデータセットからの、術中のトレーニングメッシュのデータセットの抽出を含む。実際には、術中のトレーニングメッシュのデータセットの抽出のための任意の技術が実装され得る。図６に示されるように、段階Ｓ３２の一実施形態では、術前のベースラインメッシュのデータセット５５が、任意の既知の技術（例えば手動のレジストレーション）によって超音波肝臓画像のデータセット６２へ空間的に変換され、超音波トレーニングメッシュのデータセット６３が、超音波肝臓画像のデータセット６２の画像特徴（例えば表面境界）への術前のベースラインメッシュのデータセット５５の半自動的適合３２によって抽出される。
【００３０】
実際には、術前の解剖学的画像のデータセット（例えばＣＴ／ＭＲ肝臓画像のデータセット５４）と術中の解剖学的画像のデータセット（例えば超音波肝臓画像のデータセット６２）を、同じ対象のうちの１つ以上から、あるいは２つの別個の対象のセットから生成することができる。
【００３１】
フローチャート３０の段階Ｓ３３は、術中のトレーニングメッシュのデータセットからの術中のセグメンテーションモデルの構築を含む。実際には、術中のセグメンテーションモデルの構築のための任意の技術が実装され得る。図６に示されるように、段階Ｓ３３の一実施形態では、超音波セグメンテーションモデル３３が、超音波肝臓画像のデータセット６２内に示される画像特徴（例えば表面境界）から、並びに超音波トレーニングメッシュのデータセット６３の既知の頂点及び面から構築される。フローチャート３０の終了後、超音波セグメンテーションモデル３３は、図２に示される超音波セグメンテーションモデル１２として機能し得る。
【００３２】
図７を参照すると、フローチャート１０（図１）、フローチャート２０（図３）及びフローチャート３０（図５）を実装するためのソフトウェア／ファームウェアモジュール９１〜９５のネットワークが図示されている。
【００３３】
第１に、術前メッシュ・エクストラクタ９１は、フローチャート１０の段階Ｓ１１（図１）により含まれ、ＣＴ／ＭＲ肝臓メッシュ５１の抽出（図２）で例示的に示されるような、術前の解剖学的メッシュを抽出するための技術を用いる。
【００３４】
第２に、術中メッシュ・エクストラクタ９２は、フローチャート１０の段階Ｓ１２（図１）により含まれ、超音波肝臓メッシュ６１の抽出（図２）で例示的に示されるような、術中の解剖学的メッシュを抽出するための技術を用いる。
【００３５】
第３に、メッシュ空間トランスフォーマ９３は、フローチャート１０の段階Ｓ１３（図１）により含まれ、超音波肝臓メッシュ６１へのＣＴ／ＭＲ肝臓メッシュ５１の空間変換（図２）で例示的に示されるような、術中の解剖学的メッシュへの術前の解剖学的メッシュの空間変換のための技術を用いる。
【００３６】
第４に、モジュール９１及び９２を支持して、術前モデルのコンストラクタ９４は、フローチャート２０（図３）により含まれ、ＣＴ／ＭＲセグメンテーションモデル２３の構築（図４）で例示的に示されるような、術前のセグメンテーションモデルを構築するための技術を用いる。
【００３７】
最後に、モジュール９１及び９２を支持して、術中モデルのコンストラクタ９５は、フローチャート３０（図５）により含まれ、超音波セグメンテーションモデル３３の構築（図６）で例示的に示されるような、術中のセグメンテーションモデルを構築するための技術を用いる。
【００３８】
図７は更に、術前ワークステーション９０ａ及び術中ワークステーション９０ｂを用いるシステムを図示している。実際には、術前ワークステーション９０ａ及び術中ワークステーション９０ｂは、物理的に独立のワークステーションであってよく、あるいは単一のワークステーション内に物理的に統合される論理的なサブステーションであってもよい。
【００３９】
術前ワークステーション９０ａは構造的に、ワークステーション９０ａ内でソフトウェア／ファームウェアとしてプログラムされ、インストールされる、術前メッシュ・エクストラクタ９１を実行するためのハードウェア／回路（例えばプロセッサ、メモリ等）を用いて構成される。
【００４０】
術中ワークステーション９０ｂは構造的に、ワークステーション９０ｂ内でソフトウェア／ファームウェアとしてプログラムされ、インストールされる、術中メッシュ・エクストラクタ９２及びメッシュ空間トランスフォーマ９３を実行するためのハードウェア／回路（例えばプロセッサ、メモリ等）を用いて構成される。
【００４１】
実際には、術前モデル・コンストラクタ９４及び術中モデル・コンストラクタ９５は、術前ワークステーション９０ａ内で、あるいはトレーニングワークステーション（図示せず）内でソフトウェア／ファームウェアとしてプログラムされ、インストールされることがあり、トレーニングワークステーションは、物理的に独立のワークステーション又は術前ワークステーション９０ａ内に物理的に統合される論理的なサブステーションのいずれかである。
【００４２】
例示的なシステムの動作において、画像誘導型の介入手順／外科的手順／診断手順の術前段階１００に先立つトレーニング段階（図示せず）の間に、ＣＴ／ＭＲセグメンテーションモデル１１（図４）及び超音波セグメンテーションモデル１２（図６）が、それぞれモジュール９４及び９５によって構築される。実際には、セグメンテーションモデル１１及び１２の構築は、多くの画像誘導型の介入手順／外科的手順／診断手順について一度に起り得る。
【００４３】
図７に示されるように、画像誘導型の介入手順／外科的手順／診断手順の術前段階１００の間に、対象者７０の肝臓７１がＣＴ／ＭＲＩスキャナ８０によりスキャンされて、これにより、術前メッシュ・エクストラクタ９１は、固定数の頂点及び面の既知のベース・トポロジを有する肝臓メッシュテンプレート４０に基づいて、ＣＴ／ＭＲ肝臓画像５０からＣＴ／ＭＲ肝臓メッシュ５１を抽出する。
【００４４】
図７に示されるように、画像誘導型の介入手順／外科的手順／診断手順の術中段階１０１の間に、対象者７０の肝臓７１が超音波プローブ８１により撮像されて、これにより、術中メッシュ・エクストラクタ９２は、肝臓メッシュテンプレート４０のベース・トポロジと同一の固定数の頂点及び面の既知のトポロジを有するＣＴ／ＭＲ肝臓メッシュ５１に基づいて、超音波肝臓画像６０から超音波画像メッシュ６１を抽出する。超音波肝臓メッシュ６１は、肝臓メッシュテンプレート４０のベース・トポロジと同一の固定数の頂点及び面の既知のトポロジを有し、これにより、メッシュ空間トランスフォーマ９３は、超音波肝臓画像６０にＣＴ／ＭＲ肝臓画像５０をレジストレーションする目的のために、ＣＴ／ＭＲ肝臓メッシュ５１を超音波肝臓メッシュ６１へ空間的に変換する。
【００４５】
図１〜図７を参照して、当業者は、本発明の様々な利点を十分に理解するであろう。そのような利点は、これには限られないが、画像誘導型の介入手順／外科的手順／診断手順の術前段階の貴重な時間を節約し、術前及び術中の解剖学的画像を整列させる人的要因及び主観性を低減させることにより、画像誘導型の介入手順／外科的手順／診断手順のための全体的なワークフローを改善する、メッシュ・セグメンテーション及びメッシュ・レジストレーションを含む。
【００４６】
本発明の様々な実施形態を例示し、説明してきたが、本明細書において説明される本発明の実施形態は例示であり、本発明の真の範囲から逸脱することなく、様々な変更及び修正を行ってもよく、均等物をその要素と置き換えてもよいことが当業者には理解されよう。加えて、その中心となる範囲から逸脱することなく、本発明の教示を適応させる多くの修正が行われてもよい。したがって、本発明は、本発明を実施するためのベストモードとして考えられる特定の実施形態に限定されないものとして意図されており、むしろ、本発明は、添付の特許請求の範囲内にある全ての実施形態を含むように意図される。
【図１】
2016517759.tif 000003
【図２】
2016517759.tif 000004
【図３】
2016517759.tif 000005
【図４】
2016517759.tif 000006
【図５】
2016517759.tif 000007
【図６】
2016517759.tif 000008
【図７】
2016517759.tif 000009
【手続補正書】
【提出日】平成27年11月10日(2015.11.10)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
メッシュ・セグメンテーション及びメッシュレジストレーションのためのシステムであって、当該システムは：
解剖学的メッシュテンプレートのベース・トポロジに基づいて、術前の解剖学的画像から術前の解剖学的メッシュを抽出するように動作的に構成される、術前ワークステーションと；
術中ワークステーションと；
を備え、
前記術中ワークステーションは、前記解剖学的メッシュテンプレートの前記ベース・トポロジから導出される前記術前の解剖学的メッシュの術前トポロジに基づいて、術中の解剖学的画像から術中の解剖学的メッシュを抽出するように動作的に構成され、
前記術中ワークステーションは、前記術前の解剖学的メッシュの前記術前トポロジから導出される前記術中の解剖学的メッシュの術中トポロジによって確立される、前記術前の解剖学的メッシュと前記術中の解剖学的メッシュとの間のマッピング対応に基づいて、前記術前の解剖学的画像及び前記術中の解剖学的画像をレジストレーションするように更に動作的に構成される、
システム。
【請求項２】
前記術前の解剖学的画像及び前記術中の解剖学的画像の双方が、同一の画像モダリティから生成される、
請求項１に記載のシステム。
【請求項３】
前記術前の解剖学的画像及び前記術中の解剖学的画像は、異なる画像モダリティから生成される、
請求項１に記載のシステム。
【請求項４】
前記解剖学的メッシュテンプレートの前記ベース・トポロジに基づく、術前の解剖学的画像のデータセットからの術前のトレーニングメッシュのデータセットの抽出により、術前のセグメンテーションモデルを構築するように動作的に構成される、トレーニングワークステーションを更に備え、
前記術前ワークステーションは、前記解剖学的メッシュテンプレートの前記ベース・トポロジに基づいて前記術前の解剖学的画像から前記術前の解剖学的メッシュを抽出するよう前記術前のセグメンテーションモデルを含む、
請求項１に記載のシステム。
【請求項５】
術前のベースラインメッシュのデータセットの前記術前トポロジに基づく、術中の解剖学的画像のデータセットからの術中のトレーニングメッシュのデータセットの抽出により、術中のセグメンテーションモデルを構築するように動作的に構成される、トレーニングワークステーションを更に備え、
前記術中ワークステーションは、前記術前の解剖学的メッシュの前記術前トポロジに基づいて前記術中の解剖学的画像から前記術中の解剖学的メッシュを抽出するよう前記術中のセグメンテーションモデルを含む、
請求項１に記載のシステム。
【請求項６】
前記トレーニングワークステーションは、前記解剖学的メッシュテンプレートの前記ベース・トポロジに基づいて術前の解剖学的画像のデータセットから、前記術前のべースラインメッシュのデータセットを抽出するように更に動作可能である、
請求項５に記載のシステム。
【請求項７】
前記術中ワークステーションによる前記術前の解剖学的画像及び前記術中の解剖学的画像のレジストレーションは、前記術中の解剖学的メッシュへの前記術前の解剖学的メッシュの空間変換を含む、
請求項１に記載のシステム。
【請求項８】
メッシュ・セグメンテーション及びレジストレーションのためのモジュールネットワークであって、当該モジュールネットワークは：
解剖学的メッシュテンプレートのベース・トポロジに基づいて、術前の解剖学的画像から術前の解剖学的メッシュを抽出するように動作的に構成される、術前メッシュ・エクストラクタと；
前記解剖学的メッシュテンプレートの前記ベース・トポロジから導出される前記術前の解剖学的メッシュの術前トポロジに基づいて、術中の解剖学的画像から術中の解剖学的メッシュを抽出するように動作的に構成される、術中メッシュ・エクストラクタと；
前記術前の解剖学的メッシュの前記術前トポロジから導出される前記術中の解剖学的メッシュの術中トポロジによって確立される、前記術前の解剖学的メッシュと前記術中の解剖学的メッシュとの間のマッピング対応に基づいて、前記術前の解剖学的画像及び前記術中の解剖学的画像をレジストレーションするように動作的に構成される、メッシュ空間トランスフォーマと；
を備える、モジュールネットワーク。
【請求項９】
前記術前の解剖学的画像及び前記術中の解剖学的画像の双方が、同一の画像モダリティから生成される、
請求項８に記載のモジュールネットワーク。
【請求項１０】
前記術前の解剖学的画像及び前記術中の解剖学的画像は、異なる画像モダリティから生成される、
請求項８に記載のモジュールネットワーク。
【請求項１１】
前記解剖学的メッシュテンプレートの前記ベース・トポロジに基づく、術前の解剖学的画像のデータセットからの術前のトレーニングメッシュのデータセットの抽出により、術前のセグメンテーションモデルを構築するように動作的に構成される、術前モデル・コンストラクタを更に備え、
前記術前メッシュ・エクストラクタは、前記解剖学的メッシュテンプレートの前記ベース・トポロジに基づいて前記術前の解剖学的画像から前記術前の解剖学的メッシュを抽出するよう前記術前のセグメンテーションモデルを含む、
請求項８に記載のモジュールネットワーク。
【請求項１２】
術前のベースラインメッシュのデータセットの前記術前トポロジに基づく、術中の解剖学的画像のデータセットからの術中のトレーニングメッシュのデータセットの抽出により、術中のセグメンテーションモデルを構築するように動作的に構成される、術中モデル・コンストラクタを更に備え、
前記術中メッシュ・エクストラクタは、前記術前の解剖学的メッシュの前記術前トポロジに基づいて前記術中の解剖学的画像から前記術中の解剖学的メッシュを抽出するよう前記術中のセグメンテーションモデルを含む、
請求項８に記載のモジュールネットワーク。
【請求項１３】
前記術中モデル・コンストラクタは、前記解剖学的メッシュテンプレートの前記ベース・トポロジに基づいて術前の解剖学的画像のデータセットから、前記術前のべースラインメッシュのデータセットを抽出するように更に動作可能である、
請求項１２に記載のモジュールネットワーク。
【請求項１４】
前記術前メッシュ・エクストラクタは、術前ワークステーション上に動作可能にインストールされ、
前記術中メッシュ・エクストラクタ及び前記メッシュ空間トランスフォーマは、術中ワークステーション上に動作可能にインストールされる、
請求項８に記載のモジュールネットワーク。
【請求項１５】
前記メッシュ空間トランスフォーマによる前記術前の解剖学的画像及び前記術中の解剖学的画像のレジストレーションは、前記術中の解剖学的メッシュへの前記術前の解剖学的メッシュの空間変換を含む、
請求項８に記載のモジュールネットワーク。
【国際調査報告】
2016517759.tif 000010
2016517759.tif 000011
2016517759.tif 000012