(57)【要約】  変形可能レジストレーションのための方法は、手術前アナトミー画像を、複数のカラーゾーンを含む手術前アナトミー画像の手術前マルチゾーン画像に再構成すること、及び、手術中アナトミー画像を、複数のカラーゾーンを含む手術中アナトミー画像の手術中マルチゾーン画像に再構成することを含む。手術前マルチゾーン画像(41)及び手術中マルチゾーン画像(42)は、手術前アナトミー画像(23)及び手術中アナトミー画像(33)の変形可能レジストレーションのための基礎として役立つ。各々のカラーゾーンは、手術前アナトミー画像(23)及び手術中アナトミー画像(33)に関連する非一様な生体力学特性のうちの区別された多様性、又は、手術前アナトミー画像(23)及び手術中アナトミー画像(33)に関連する区別された生体力学特性を表現する。
2016536035.tif 000002
【特許請求の範囲】
【請求項１】
変形可能レジストレーションのためのシステムであって：
手術前アナトミー画像を生成するように動作可能に構成される手術前イメージングワークステーション；
手術中アナトミー画像を生成するように動作可能に構成される手術中イメージングワークステーション；及び
変形可能レジストレーションワークステーション；
を有し、前記変形可能レジストレーションワークステーションは、前記手術前アナトミー画像を、複数のカラーゾーンを含む手術前マルチゾーン画像に再構成するように動作可能に構成され、
前記変形可能レジストレーションワークステーションは、前記手術中アナトミー画像を、複数のカラーゾーンを含む手術中マルチゾーン画像に再構成するように更に動作可能に構成され、
各々のカラーゾーンは、前記手術前アナトミー画像及び前記手術中アナトミー画像に関連する非一様な生体力学特性のうちの区別された多様性、又は、前記手術前アナトミー画像及び前記手術中アナトミー画像に関連する区別された生体力学特性のうちの何れかを表現する、システム。
【請求項２】
前記変形可能レジストレーションワークステーションは、前記手術前マルチゾーン画像及び前記手術中マルチゾーン画像を変形可能に登録するように動作可能に更に構成される、請求項1に記載のシステム。
【請求項３】
前記変形可能レジストレーションワークステーションは、前記手術前マルチゾーン画像及び前記手術中マルチゾーン画像の変形可能レジストレーションに基づいて、前記手術前アナトミー画像及び前記手術中アナトミー画像を変形可能にマッピングするように動作可能に更に構成される、請求項2に記載のシステム。
【請求項４】
前記変形可能レジストレーションワークステーションは、手術前マルチゾーン画像の手術前トレーニングセットと手術中マルチゾーン画像の手術中トレーニングセットとを変形可能に登録するように動作可能に更に構成され；
前記手術前トレーニングセットは前記手術前マルチゾーン画像を含み；及び
前記手術中トレーニングセットは前記手術中マルチゾーン画像を含む、請求項1に記載のシステム。
【請求項５】
前記変形可能レジストレーションワークステーションは、前記手術前トレーニングセット及び前記手術中トレーニングセットの変形可能レジストレーションに先立って、前記手術前トレーニングセット及び前記手術中トレーニングセットの何れかをトレーニングアナトミーテンプレートに空間的に整合させるように動作可能に更に構成される、請求項4に記載のシステム。
【請求項６】
前記変形可能レジストレーションワークステーションは、前記手術前トレーニングセット及び前記手術中トレーニングセットの変形可能レジストレーションに基づいて、変形モデルを生成するように動作可能に更に構成される、請求項4に記載のシステム。
【請求項７】
前記変形モデルは、平均的な変形と複数の変形モードベクトルとを含む、請求項6に記載のシステム。
【請求項８】
前記変形可能レジストレーションワークステーションは、前記変形モデルの関数として変形場を推定するように動作可能に更に構成される、請求項6に記載のシステム。
【請求項９】
デフォーメーションワークステーションにインストールされる変形可能レジストレーションのためのモジュラーネットワークであって：
手術前アナトミー画像を、複数のカラーゾーンを含む手術前マルチゾーン画像に再構成するように動作可能に構成される手術前画像再構成部；
手術中アナトミー画像を、複数のカラーゾーンを含む手術中マルチゾーン画像に再構成するように動作可能に構成される手術中アナトミー画像再構成部；
を有し、各々のカラーゾーンは、前記手術前アナトミー画像及び前記手術中アナトミー画像に関連する非一様な生体力学特性のうちの区別された多様性、又は、前記手術前アナトミー画像及び前記手術中アナトミー画像に関連する区別された生体力学特性のうちの何れかを表現する、モジュラーネットワーク。
【請求項１０】
前記手術前マルチゾーン画像及び手術中マルチゾーン画像を変形可能に登録するように動作可能に更に構成されるデフォーメーション登録部；
を更に有する請求項9に記載のモジュラーネットワーク。
【請求項１１】
前記手術前マルチゾーン画像及び前記手術中マルチゾーン画像の変形可能レジストレーションに基づく前記手術前アナトミー画像及び前記手術中アナトミー画像の変形可能なマッピングを実行するように動作可能に更に構成されるデフォーメーションマッパー；
を更に有する請求項10に記載のモジュラーネットワーク。
【請求項１２】
手術前マルチゾーン画像の手術前トレーニングセットと手術中マルチゾーン画像の手術中トレーニングセットとを変形可能に登録するように動作可能に構成されるデフォーメーション登録部；
を更に有し、前記手術前トレーニングセットは前記手術前マルチゾーン画像を含み；及び
前記手術中トレーニングセットは前記手術中マルチゾーン画像を含む、請求項9に記載のモジュラーネットワーク。
【請求項１３】
前記手術前トレーニングセット及び前記手術中トレーニングセットの変形可能レジストレーションに基づいて、変形モデルを生成するように動作可能に構成される主成分分析部；
を更に有する請求項12に記載のモジュラーネットワーク。
【請求項１４】
前記変形モデルは、平均的な変形と複数の変形モードベクトルとを含む、請求項13に記載のモジュラーネットワーク。
【請求項１５】
前記変形モデルの関数として変形場を推定するように動作可能に構成される変形場推定部；
を更に有する請求項13に記載のモジュラーネットワーク。
【請求項１６】
変形可能レジストレーションのための方法であって：
手術前アナトミー画像を、複数のカラーゾーンを含む手術前マルチゾーン画像に再構成するステップ；
手術中アナトミー画像を、複数のカラーゾーンを含む手術中マルチゾーン画像に再構成するステップ；及び
前記手術前マルチゾーン画像及び手術中マルチゾーン画像のデフォーメーションマッピングに基づいて、前記手術前アナトミー画像及び前記手術中アナトミー画像にデフォーメーションマッピングを行うステップ；
を有し、各々のカラーゾーンは、前記手術前アナトミー画像及び前記手術中アナトミー画像に関連する非一様な生体力学特性のうちの区別された多様性、又は、前記手術前アナトミー画像及び前記手術中アナトミー画像に関連する区別された生体力学特性のうちの何れかを表現する、方法。
【請求項１７】
前記手術前マルチゾーン画像及び前記手術中マルチゾーン画像を変形可能に登録するステップ；
を更に有する請求項16に記載の方法。
【請求項１８】
前記手術前マルチゾーン画像及び前記手術中マルチゾーン画像の変形可能レジストレーションに基づいて、前記手術前アナトミー画像及び前記手術中アナトミー画像を変形可能にマッピングするステップ；
を更に有する請求項17に記載の方法。
【請求項１９】
当該方法は、手術前マルチゾーン画像の手術前トレーニングセットと手術中マルチゾーン画像の手術中トレーニングセットとを変形可能に登録するステップを更に有し、
前記手術前トレーニングセットは前記手術前マルチゾーン画像を含み、
前記手術中トレーニングセットは前記手術中マルチゾーン画像を含み、
当該方法は、前記手術前トレーニングセット及び前記手術中トレーニングセットの変形可能レジストレーションに基づいて、変形モデルを生成するステップを更に有する、請求項16に記載の方法。
【請求項２０】
前記変形モデルの関数として変形場を推定するステップ；
を更に有する請求項19に記載の方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、一般的には、手術前アナトミー画像及び手術中アナトミー画像の信頼できるレジストレーションを促すために、手術前アナトミー画像(例えば、生体構造についてのコンピュータ断層撮影(CT)スキャン又は磁気共鳴(MR)イメージングスキャン)と手術中アナトミー画像(例えば、生体構造についての超音波(US)画像フレーム)との画像レジストレーションに関連する。本発明は、具体的には、アナトミー画像の強度ベースのデフォーマブルレジストレーションを促すために、手術前アナトミー画像及び手術中アナトミー画像の生体構造区分けについてのゾーンラベリングに関連する。
【背景技術】
【０００２】
手術前アナトミー画像の手術中アナトミー画像との医療画像レジストレーションは、画像誘導の治療介入/手術/診断の手順を促進するために使用されている。医療画像レジストレーションの主な目的は、同一の又は相違するイメージングモダリティ(imaging  modality)の中で同一のアナトミー対象についての同一の又は相違する眺めを整合させる幾何学変換を演算することである。
【０００３】
医療画像レジストレーションの重要な課題は、画像を様々なモダリティに合致させることを取り扱うことであり、しばしばマルチモーダル画像融合(multi-modality  image  fusion)と言及される。マルチモーダル画像融合は非常に困難な課題であり、なぜなら、マルチモーダル画像のグレー値同士の間の関係が常に容易に発見されるわけではなく、場合によっては、機能的な依存性が全体的に欠落してしまう或いは非常に識別困難になってしまうからである。
【０００４】
例えば、1つの分かりやすい状況は、高解像度の手術前CT又はMRスキャンの手術中超音波画像フレームとの融合である。例えば、従来の2次元(2D)超音波システムには、組織についてのトラッキングされる2D掃引を取得するためのポジションセンサ(例えば、電磁トラッキングセンサ)が備えられている。画像取得の最中に取得されるトラッキング情報を利用して、2D掃引USフレームは、組織の3次元(3D)ボリュームを再構築するために、基準座標系に対して整合させられる。超音波は、組織の手術中イメージングに対しては理想的であるが、画像誘導(image  guidance)に対しては貧弱な画像解像度を有する。超音波イメージングと、他の高解像度イメージングモダリティ(例えば、CT又はMR)との融合は、従って、治療介入/手術/診断の手順に対する超音波ベースの誘導を改善するために使用されている。画像融合の際、ターゲットの組織は、手術中超音波(intraoperative  ultrasound)及び手術前モダリティ(preoperative  modality)の間で正確に登録される。2つの異なるモダリティの融合のために、多くの画像レジストレーション技術が提案されているが、手術中超音波と何らかの手術前モダリティ(例えば、CT又はMR)との融合は、手術中超音波と手術前モダリティとの間の機能的依存性の欠如に起因して困難であることが判明している。
【０００５】
特に、MR及び超音波モダリティの間の機能的依存性の欠如は、横たわった画像(prostrate  images)のレジストレーションに対する画像強度ベースのメトリックを考慮に入れることを非常に困難にする。従って、MR-to-US画像融合のための既存のレジストレーション技術の多くは、2つの方式におけるポイントマッチング技術に着目している。第1方式では、双方のモダリティで見える一群の共通ランドマーク(例えば、尿道の輪郭)が手作業で/自動的に抽出され、ポイントベースのレジストレーションに使用される。別方式では、前立腺(prostate)の表面が、自動的な又は手作業による技術を利用して2つのモダリティの中でセグメント化される。抽出される表面は、2つの点群の間の距離を最小化するために試みるポイントベースの登録フレームに提供される。
【０００６】
特に、ポイントベースの剛体レジストレーション法は、経直腸超音波(transrectal  ultrasound：TRUS)表面データとともにMRを登録するために実行されてよい。前立腺は、US及びMR画像の双方で表面メッシュとして自動的にセグメント化される。剛体レジストレーションは、2つのメッシュ間の距離を最小化する、並進及び回転パラメータの最適な組み合わせを発見しようとする。しかしながら、前立腺は剛直な形状ではないことに留意すべきである。前立腺の形状は、これら各々のモダリティの取得の最中に様々に変形し得る。例えば、典型的には、改善された画像品質のために直腸内コイル(Endorectal  coil：ERC)が直腸内に挿入される一方で、MR画像が取得される。他方、TRUSイメージングはフリーハンドで実行され、TRUSプローブは、前立腺に隣接する直腸壁に直接的に接触して配置される必要がある。この直接的な接触は、画像取得の最中に前立腺形状の変形を引き起こす。
【０００７】
前立腺検査の最中におけるMR-to-US画像融合の精度を改善するアプローチの1つは、非線形表面ベース剛体レジストレーションを含み、これは前立腺(全体)にわたる変形の一様性を仮定する。しかしながら、剛体レジストレーションは、MR及びUS点群の間の並進及び回転の不整合しか補償せず、従って、TRUSプローブ及びERCにより生じる変形の結果として、剛体レジストレーションは2つのセグメント化された点群を照合するのに有効ではなくなってしまう。更に、非線形表面ベース法が画像融合に採用されたとしても、表面ベースアプローチは前立腺の表面に関する2つのモダリティを照合するには十分であるかもしれないが、そのような表面毎のマッピングは、前立腺の内部構造をどのように照合するかについての何らの情報も提供しない。更に重要なことに、前立腺にわたる一様な変形という仮定は、非一様な生体構造特性(例えば、剛性(stiffness))を有するタイプのセルから成る前立腺に関しては正確でない。
【発明の概要】
【０００８】
本発明は、中間的なモダリティとして機能する「マルチゾーン画像」と称する解剖学的にラベル付けされる画像を導入するデフォーマブルレジストレーション方法及びシステムを提供し、中間的モダリティは、通常、手術前アナトミー画像と手術中アナトミー画像との間で規定される。特に、各モダリティからのアナトミー画像は、生体構造の非一様な生体力学特性(例えば、前立腺の剛性など)についての様々な多様性に基づいて、2つ以上の所定のカラーゾーン(color  zone)にセグメント化されてラベル付けされる。各々のカラーゾーンは、異なるカラー特性(例えば、強度値)により他のカラーゾーンから区別される。代替的又は追加的に、カラーゾーンは、異なる生体構造特性、生体組織の一様性又は非一様性(例えば、前立腺の剛性及び粘性など)に基づいてもよい。
【０００９】
例えば、前立腺画像は、前立腺の非一様な剛性に基づいて、複数ゾーン画像を再構築するために、各々のイメージングモダリティの中で周辺ゾーン及び中央ゾーンに分割される。この場合、中央ゾーンは周辺ゾーンよりも高い剛性を有し、従って、中央ゾーンは異なる強度値によりラベル付けされる(例えば、背景は0である強度値；周辺ゾーンは127である強度値；中央ゾーンは255である強度値であってもよい)。強度ベースの変形可能なレジストレーション技術が、再構築されたマルチゾーン画像について使用され、これにより、「手術前」と「手術中」とのアナトミー画像を融合する(例えば、MR-to-US画像に対する正規化された相互相関画像類似性メトリックによるBスプラインベースのレジストレーションである)。この再構築法は、「手術前」と「手術中」とののアナトミー画像のライブレジストレーションの最中に実行されてもよいし、或いは、「手術前」と「手術中」とのアナトミー画像のトレーニングセットにおいて実行され、「手術前」と「手術中」とののアナトミー画像のライブレジストレーションを改善するための変形モードを設定してもよい。
【００１０】
本発明の一形態はマルチモダリティ変形可能レジストレーションのためのシステムである。本システムは、手術前ワークステーション(例えば、CTワークステーション又はMRIワークステーション)と、手術中ワークステーション(例えば、超音波ワークステーション)と、変形可能レジストレーションワークステーションとを使用する。動作の際に、手術前イメージングワークステーションは手術前アナトミー画像を生成し、手術中イメージングワークステーションは手術中アナトミー画像を生成する。変形可能レジストレーションワークステーションは、手術前アナトミー画像を、複数のカラーゾーンを含む手術前マルチゾーン画像に再構成し、及び、手術中アナトミー画像を、複数のカラーゾーンを含む手術中マルチゾーン画像に再構成する。各々のカラーゾーンは、手術前アナトミー画像及び手術中アナトミー画像に関連する非一様な生体力学特性、又は、手術前アナトミー画像及び手術中アナトミー画像に関連する異なる生体力学特性についての様々な多様性を表現する。
【００１１】
本発明の第2形態は、マルチモダリティ変形可能レジストレーションのためのモジュラーネットワークである。本システムは、手術前イメージ再構成部と手術中イメージ再構成部とを利用する。動作の際に、手術前再構成部は、手術前アナトミー画像を、複数のカラーゾーンを含む手術前マルチゾーン画像に再構成し、及び、手術中再構成部は、手術中アナトミー画像を、複数のカラーゾーンを含む手術中マルチゾーン画像に再構成する。各々のカラーゾーンは、手術前アナトミー画像及び手術中アナトミー画像に関連する非一様な生体力学特性、又は、手術前アナトミー画像及び手術中アナトミー画像に関連する異なる生体力学特性についての様々な多様性を表現する。
【００１２】
本発明の第3形態は、マルチモダリティ変形可能レジストレーションのための方法である。本方法は、手術前アナトミー画像を、複数のカラーゾーンを含む手術前マルチゾーン画像に再構成すること、及び、手術中アナトミー画像を、複数のカラーゾーンを含む手術中マルチゾーン画像に再構成することを包含する。各々のカラーゾーンは、手術前アナトミー画像及び手術中アナトミー画像に関連する非一様な生体力学特性、又は、手術前アナトミー画像及び手術中アナトミー画像に関連する異なる生体力学特性についての様々な多様性を表現する。
【００１３】
本発明の更なる形態及び他の形態並びに本発明の様々な特徴及び利点は、添付図面に関連して理解される本発明の様々な実施形態についての以下の詳細な説明から更に明らかになるであろう。詳細な説明及び図面は限定ではなく本発明の単なる例示に過ぎず、本発明の範囲は添付の特許請求の範囲及びその均等物によって規定される。
【図面の簡単な説明】
【００１４】
【図１】図1は本発明による再構成されるマルチゾーン画像を示す。
【図２】図2は本発明による変形可能レジストレーションについての第1実施例を示すフローチャートである。
【図３】図3は図2に示されるフローチャートの実現例を示す。
【図４】図4は本発明による変形可能レジストレーションの第2実施例の第1フェーズを表すフローチャートである。
【図５】図5は図4に示されるフローチャートの実現例を示す。
【図６】図6は本発明による変形可能レジストレーションの第2実施例の第2フェーズを表すフローチャートである。
【図７】図7は図6に示されるフローチャートの実現例を示す。
【図８】図2に示されるフローチャートを実現するモジュラーネットワークを組み込むワークステーションの実施例を示す。
【図９】図4及び6に示されるフローチャートを実現するモジュラーネットワークを組み込むワークステーションの実施例を示す。
【発明を実施するための形態】
【００１５】
本発明は生体構造の非一様な生体力学特性(例えば、前立腺の剛性)についての様々な多様性に関するカラーゾーンを利用して、アナトミー画像の変形可能なレジストレーションのための基礎としてマルチゾーン画像を再構成する。追加的又は代替的に、カラーゾーンは、生体構造についての異なる生体力学特性、一様性又は非一様性に関連付けられてよい。
【００１６】
本発明の説明目的に関し、「セグメンテーション(又は分割又は区分け等)」、「レジストレーション(又は登録)」、「マッピング」、「再構成」、「デフォーマブルレジストレーション(変形可能な再構成)」、「デフォーマブルフィールド(変形場)」、「デフォーマブルモード」、「原理的コンポーネント」等の用語及びそれらに関連する用語は、本発明に関する技術分野で知られているように広義に解釈されるべきである。
【００１７】
また、本発明の説明目的に関し、イメージング活動の出現又はイメージングシステムの動作によらず、本願で使用される「手術前(preoperative)」という用語は、準備として指定される特定のイメージングモダリティ又は治療介入/手術/診断の手順のサポートにおけるセカンダリイメージングモダリティの任意のイメージング活動又は構造を記述するように広く規定され、並びに、本願で使用される「手術中(intraoperative)」という用語は、治療介入/手術/診断の手順の実行中のプライマリイメージングモダリティとして指定される特定のイメージングモダリティの任意のイメージング活動又は構造を記述するように広く規定される。イメージングモダリティの具体例は、CT、MRI、X線及び超音波を含むが、これらに限定されない。
【００１８】
実際には、本発明は、任意の解剖学的な領域(例えば、頭部、胸部、骨盤など)及び解剖学的な構造(例えば、骨、組織、臓器、循環器系、消化器系など)、任意のタイプの手術前アナトミー画像、及び、任意のタイプの手術中アナトミー画像に適用されてよい。また、実際には、手術前アナトミー画像及び手術中アナトミー画像は、同じ対象(対象者)のアナトミー領域/構造に属するものであってもよいし、或いは、治療介入/手術/診断の手順のうちの異なる対象に属するものであってもよく、並びに、手術前アナトミー画像及び手術中アナトミー画像は、同一のイメージングモダリティ又は相違するイメージングモダリティにより生成されてもよい(例えば、手術前CT-手術中US；手術前CT-手術中CT；手術前MRI-手術中US；手術前MRI-手術中MRI；及び、手術前US-手術中US等であってもよい)。
【００１９】
本発明の理解を促すために、前立腺についてのデフォーマブルレジストレーション手術前MR画像及び手術中超音波画像に関する本発明の実施例が提供される。しかしながら、当業者は、全ての画像モダリティ及び全てのアナトミー領域に対してデフォーマブルレジストレーションをどのように実行するかを把握するであろう。
【００２０】
図1に関し、MRIシステム20は、スキャナ21とワークステーション22とを利用して、図示されるように患者10の前立腺11の手術前MRI画像23を生成する。実際には、本発明は、手術前MRI前立腺画像を取得するために様々なタイプの1つ以上のMRIシステム20を利用してもよい。
【００２１】
超音波システム30は、プローブ31とワークステーション32とを利用して、図示されるように患者10の前立腺11の解剖学的組織の超音波画像を生成する。実際には、本発明は、手術中US前立腺画像を取得するために様々なタイプの1つ以上の超音波システム30を利用してもよい。
【００２２】
本発明は様々な既知の技術を実行し、(1)前立腺11の手術前MR前立腺画像23と前立腺11の手術中超音波アナトミー画像とを、複数のカラーゾーンを含むマルチゾーン画像に再構築するための画像セグメンテーション、及び、(2)再構築されたマルチゾーン画像の非線形デフォーメーションマッピングのための強度ベースの変形可能レジストレーションを含むが、これらに限定されない。具体的には、アナトミー構造は非一様な生体力学特性(アナトミー構造の剛性等を含むがこれらに限定されない)を有し、生体力学特性の非一様な性質は、様々に異なる生体力学特性に基づくアナトミー構造の分割を促進する。例えば、前立腺11は異なる細胞型により構成され、異なる細胞型により構成されることは、前立腺を周辺ゾーン及び中央ゾーンに分割することを促し、中央ゾーンは周辺ゾーンよりも高い剛性度を有する。従って、本発明は、各々のゾーンに対する異なる色特性(例えば、強度値)とともに前立腺11をこれらのゾーンに分割し、アナトミー画像からマルチゾーン画像を再構成する。
【００２３】
例えば、図1に示されるように、手術前マルチゾーン画像41は、手術前MR前立腺画像23から再構築され、255という強度値(白色)の中央ゾーン41aと、127という強度値(灰色)の周辺ゾーン41bと、ゼロ(0)という強度値(黒色)の背景ゾーン41cとを含む。同様に、手術中マルチゾーン画像42は、手術中US前立腺画像33から再構築され、255という強度値(白色)の中央ゾーン42aと、127という強度値(灰色)の周辺ゾーン42bと、ゼロ(0)という強度値(黒色)の背景ゾーン42cとを含む。マルチゾーン画像41及び42は、デフォーマブルレジストレーションに関し、アナトミー画像23及び33よりも相応しく、アナトミー画像23及び33を登録するための基礎として供給される。
【００２４】
以下、アナトミー画像23及び33を登録するための基礎としてマルチゾーン画像41及び42のデフォーマブルレジストレーションについての2つの形態が説明される。
【００２５】
図2及び図3に示されるような第1形態は、アナトミー画像23及び33の直接的なデフォーマブルレジストレーションに関する。
【００２６】
図2及び図3に関し、フローチャート50は、本発明のデフォーマブルレジストレーション方法についての第1形態を表現する。フローチャート50の段階S51は、図1に関連して説明されたような手術前マルチゾーン画像41を再構成するために、手術前MR前立腺画像23の中に示される前立腺についての画像セグメント化、及び、セグメント化された前立腺のゾーンラベリングを、マニュアルで又は自動的に行うことを包含する。実際には、セグメンテーション技術及びラベリング技術が、段階S51において実行されてもよい。
【００２７】
フローチャート50の段階S52は、図1に関連して説明されたような手術中マルチゾーン画像42を再構成するために、手術中US前立腺画像33の中に示される前立腺についての画像セグメント化、及び、セグメント化された前立腺のゾーンラベリングを、マニュアルで又は自動的に行うことを包含する。実際には、セグメンテーション技術及びラベリング技術が、段階S52において実行されてもよい。
【００２８】
フローチャート50の段階S53は、マルチゾーン画像41及び42のデフォーマブルレジストレーション60と、マルチゾーン画像41及び42のデフォーマブルレジストレーション60の変形場から導出される前立腺画像23及び33の変形マッピング61aとを包含する。実際には、レジストレーション及びマッピング技術が段階S53において実行されてもよい。一形態において、段階S53に関し、前立腺全体に対するマルチゾーン画像41及び42の間の非線形マッピングが、(例えば、正規化された相互相関の画像類否メトリックを利用するBスプラインベースのレジストレーションのような)何らかの強度ベースのデフォーマブルレジストレーションを利用して算出され、結果の変形場が前立腺画像23及び33に適用され、前立腺画像23及び33の間で前立腺に関する1対1写像を達成する。その結果は、前立腺23及び33についてのデフォーマブルレジストレーションである。
【００２９】
図8は、フローチャート50(図2)を実現するためのハードウェア/ソフトウェア/ファームウェアモジュール111-114についてのネットワーク110aを示す。
【００３０】
第1に、手術前画像再構成部111は、手術前MRアナトミー画像23を手術前マルチゾーン画像41に再構成する技術を利用し、この再構成はフローチャート50の段階51に含まれ、図3に例示的に示されている。
【００３１】
第2に、手術中画像再構成部112は、手術中USアナトミー画像33を手術中マルチゾーン画像42に再構成する技術を利用し、この再構成はフローチャート50の段階52に含まれ、図3に例示的に示されている。
【００３２】
第3に、デフォーメーション登録部113aは、マルチゾーン画像41及び42のデフォーマブルレジストレーションを実行する技術を利用し、この動作はフローチャート50の段階53に含まれ、図3に例示的に示されている。
【００３３】
最終的に、デフォーメーションマッパー114は、デフォーメーションマッパー113aにより導出される変形場に基づいて、アナトミー画像41及び42のデフォーメーションマッピングを実行する技術を利用し、この動作はフローチャート50の段階53に含まれ、図3に例示的に示されている。
【００３４】
図8は、フローチャート50(図2)を実行するためのデフォーマブルレジストレーションワークステーション100aを更に示す。デフォーマブルレジストレーションワークステーション100aは、ワークステーション100aのハードウェア/ソフトウェア/ファームウェアとしてプログラムされ及びインストールされたモジュール111-114を実行するように、構造的にはハードウェア/回路(例えば、プロセッサ、メモリ等)とともに構成される。実際には、デフォーマブルレジストレーションワークステーション100aは、イメージングワークステーション20及び30(図1)と物理的に独立的であってもよいし、或いは、イメージングワークステーション20及び30の双方又は一方の中に物理的に組み込まれる論理的なサブステーション(substation)であってもよい。
【００３５】
図4ないし図7に示されるような第2形態は、変形のモデルを設定するための前立腺画像のトレーニングセットを対象とし、アナトミー画像23及び33のデフォーマブルレジストレーションを改善する。
【００３６】
この形態のデフォーマブルレジストレーションは2つのフェーズで実行される。第1フェーズでは、前立腺画像のトレーニングセットを利用して、平均的な変形及び複数の変形モードベクトルの形式で変形モデルを生成する。第2フェーズでは、平均的な変形及び複数の変形モードが、手術前MR前立腺画像23を手術中前立腺画像33に変形させるデフォーメーションフィールド(変形場)を推定するために使用される。
【００３７】
図4及び図5に関し、フローチャート70は第1フェーズを表現する。このフェーズでは、各々の対象者とともに対象者の母集団が、手術前MR前立腺画像と手術中US前立腺画像とを提供し、それぞれ前立腺画像についてのMRトレーニングデータセットとUSトレーニングデータセットとを形成する。
【００３８】
フローチャート70の段階S71は、手術前MR前立腺画像23(図1)を含む手術前MR前立腺画像のトレーニングデータセット123についてのマニュアル又は自動的な画像セグメント化及びゾーンラベリングを含み、図1に関して説明されたような手術前マルチゾーン画像の手術前トレーニングデータセット141を再構成する。実際には、何らかのセグメンテーション技術及びラベリング技術がS71の際に実行されてよい。
【００３９】
フローチャート70の段階S71は、手術中US前立腺画像33(図1)を含む手術中US前立腺画像のトレーニングデータセット133についてのマニュアル又は自動的な画像セグメント化及びゾーンラベリングを含み、図1に関して説明されたような手術中マルチゾーン画像の手術中トレーニングデータセット142を再構成する。この場合も、実際には、何らかのセグメンテーション技術及びラベリング技術がS71の際に実行されてよい。
【００４０】
フローチャート70の段階S72は、トレーニングマルチゾーン画像データベース141及び142のトレーニングデフォーマブルレジストレーションを含む。実際には、何らかのデフォーマブルレジストレーション技術が段階S73の際に実行されてよい。一形態の段階S72では、手術中トレーニングマルチゾーン画像データセット142は、手術中トレーニングデータセット133の平均である超音波前立腺テンプレート134に空間的に整合させられ、手術前トレーニングマルチゾーン画像データセット141に変形可能に登録される。その結果は、トレーニングマルチゾーン画像データベース141及び142のデフォーマブルレジストレーションのトレーニングデータセット160となる。
【００４１】
代替的に、MR前立腺テンプレート(不図示)が、MR前立腺画像のトレーニングデータセット123の平均として生成され、その後、トレーニングデータセット141及び142のデフォーマブルレジストレーションの実行前に、MR前立腺画像の手術中トレーニングデータセット141に空間的に整合させられてもよい。
【００４２】
テンプレート134のトレーニングデータセット142に対する空間的な調整は、剛体変換、アフィン変換、非線形レジストレーション、又は、3つのレジストレーションの組み合わせを利用して実行されてもよく、トレーニングデータベース141及び142のデフォーマブルレジストレーションは強度ベースのメトリックを利用して実行されてもよい。トレーニングデータセット142のテンプレート134に対する空間的な調整の後、トレーニングデータセット141は、各対象者のトレーニングデータセット142に対して非線形に歪められる(ワープされる)。非線形ワープは、強度ベースのメトリックとともにBスプラインレジストレーション技術を利用して実行されてもよい。代替的に、有限要素法のような別の非線形推定技術が、各対象者についてトレーニングデータセット141をトレーニングデータセット142に合わせ、各対象者の前立腺に対する変形場を取得するために使用されてもよい。変形場に関する数式は次のとおりである：
【００４３】
【数１】
2016536035.tif 000003
ここで、d<i>及びdバーは、それぞれ、サンプルトレーニングデータiに関するマルチゾーン画像の非線形レジストレーションの結果からの変形場、及び、平均的な変形場を表す。
【００４４】
フローチャート70の段階S73は、トレーニングマルチゾーン画像データベース141及び142のデフォーマブルレジストレーションについての主成分分析トレーニングデータセット160を含む。具体的には、平均的なデフォーメーション(変形)162が算出され、主成分分析(principal  component  analysis：PCA)を利用して、マルチモーダル画像レジストレーションの第1(モデル)フェーズで使用される対象者の変位場(displacement  field)から、デフォーメーションモード(変形モード)163を導出する。
【００４５】
平均的な変形162は、複数の対象者についての変形を平均化することにより算出される：
【００４６】
【数２】
2016536035.tif 000004
ここで、nはデータセット、サンプル又は画像処理される対象者についての番号であり、i=1，2，…，nはデータセットの指標を指す。
【００４７】
以下のように、PC分析は、サンプル画像の変位場から変形モード163を導出するために使用される。算出される変位場(x，y，zの3成分を有する)がDi(mx3)である場合、各々の変位場は、データセットに関する全てのデータ点からのx，y，z成分を結合することにより、1次元ベクトルに再フォーマットされる。
【００４８】
共分散行列(covariance  matrix)Σは次のように算出される：
Σ=DTD        (Eq.3)
ここで、
【００４９】
【数３】
2016536035.tif 000005
である。
【００５０】
変形固有ベクトルΨの行列は、共分散行列Σを次のように対角化する：
Ψ-1ΣΨ=Λ      (Eq.4)
ここで、Λ=｜λi｜nxnは、Σの固有値が対角要素である対角行列である。
【００５１】
変位場行列(Dmxn)の固有ベクトル(mはデータセットにおけるデータ点の数である)は、次のようにして見出される：
Φi=DΨλ-1/2      （Eq.5）
任意の変位場は、次式のように、平均的な変形と変形モード(φi)の線形結合との線形結合から推定されることが可能である：
【００５２】
【数４】
2016536035.tif 000006
ここで、kは変形モード数であり、k<<nである。
【００５３】
図6及び図7に関し、フローチャート80は、本発明の一形態による変形場(デフォーメーションフィールド)を推定するための第2フェーズを表現する。
【００５４】
フローチャート80の段階S81は、前立腺画像23及び33からの、或いは代替的に、異なる対象者による前立腺画像からのランドマークの抽出を含む。ランドマークは、前立腺画像23及び33双方に見える何らかの目印、例えば、尿道や前立腺の表面輪郭点の輪郭などであってもよい。各画像におけるランドマークのための点(ポイント)は、例えば強度に基づく基準のような既知の任意のポイント抽出法を利用して抽出されてよい。抽出されるポイント数は、好ましくは、フローチャート70の全ての変形モデルに対する固有値(Eigen  value)(又は固有重み又は固有係数)を求めることができる程度に十分である。
【００５５】
フローチャート80の段階S82は、前立腺画像23及び33の中で抽出されたランドマークを登録し、ランドマークポイントに関する変換行列を決定する。この変換行列はランドマークに対してのみ正確であり、前立腺の身体構造内の様々な変形モードを補償するものではない。
【００５６】
フローチャートの段階S83は、フローチャート70で計算した変形モデルによる固有ベクトル163及び平均的な変形162に、ランドマークポイントを合致させる、算出された変形場を利用して、各々の変形モードiに対する固有係数αiを算出する(ここで、i=1，2，...，kである)。固有係数αiは次のようにして算出される。
【００５７】
【数５】
2016536035.tif 000007
ここで、Sはランドマークポイント群のインデックスに対応する。
【００５８】
フローチャート80の段階S83は、次式のように、平均的な変形162と、固有値で重み付けされた変形モード163とを加算することにより、前立腺画像23及び33の全てのポイントに対する変形場の推定を含む。
【００５９】
【数６】
2016536035.tif 000008
ここで、Pは画像中の全ての点(ポイント)に対応する。
【００６０】
図9は、フローチャート70(図4)及びフローチャート80(図6)を実現するためのハードウェア/ソフトウェア/ファームウェアモジュール111-120についてのネットワーク110bを示す。
【００６１】
第1に、手術前画像再構成部111は、手術前トレーニングデータセット123を手術前トレーニングデータセット141に再構成する技術を利用し、この技術はフローチャート70の段階S71に含まれるようなものであり、図5に例示的に示されている。
【００６２】
第2に、手術中アナトミー画像再構成部112は、手術中トレーニングデータセット133を手術中トレーニングデータセット142に再構成する技術を利用し、この技術はフローチャート70の段階S71に含まれるようなものであり、図5に例示的に示されている。
【００６３】
第3に、デフォーメーション登録部113bは、トレーニングデータセット141及び142のデフォーマブルレジストレーションを実行する技術を利用し、この技術はフローチャート70の段階S72に含まれるようなものであり、図5に例示されている。デフォーメーション登録部113bは、何れかのトレーニングデータセット123，133をテンプレート134に空間的に整合させる技術を利用する。
【００６４】
第4に、テンプレート生成部115は、MR手術前テンプレート又はUS手術前テンプレートのようなテンプレート134を生成する技術を利用し、この技術はフローチャート70の段階S72に含まれるようなものであり、図5に例示されている。
【００６５】
第5に、主成分分析部116は、平均変形162及び変形モード163の形式で変形モデルを生成する技術を利用し、この技術はフローチャート70の段階S73に含まれるようなものであり、図5に例示されている。
【００６６】
第6に、ランドマーク抽出部117は、アナトミー画像23及び33からランドマークを抽出する技術を利用し、この技術はフローチャート80の段階S81に含まれるようなものであり、図7に例示されている。
【００６７】
第7に、ランドマーク登録部118は、抽出されたランドマークを登録する技術を利用し、この技術はフローチャート80の段階S81に含まれるようなものであり、図7に例示されている。
【００６８】
第8に、主成分分析ソルバ119は、各々の変形モードに関する固有係数を計算する技術を利用し、この技術はフローチャート80の段階S82に含まれるようなものであり、図7に例示されている。
【００６９】
最終的に、デフォーメーションフィールド(変形場)推定部120は、変形場を推定する技術を利用し、この技術はフローチャート80の段階S83に含まれるようなものであり、図7に例示されている。
【００７０】
図9は、フローチャート70及び80を実行するためのデフォーマブルレジストレーションワークステーション100bも示している。デフォーマブルレジストレーションワークステーション100bは、ワークステーション100bのハードウェア/ソフトウェア/ファームウェアとしてプログラムされ及びインストールされたモジュール111-120を実行するように、構造的にはハードウェア/回路(例えば、プロセッサ、メモリ等)とともに構成される。実際には、デフォーマブルレジストレーションワークステーション100bは、イメージングワークステーション20及び30(図1)と物理的に独立的であってもよいし、或いは、イメージングワークステーション20及び30の双方又は一方の中に物理的に組み込まれる論理的なサブステーションであってもよい。
【００７１】
図1ないし9に関し、当業者は本発明の多くの利点を認めるであろうが、その利点は、変形可能なアナトミー構造についてのより正確で完全なデフォーマブルレジストレーションを含むがこれらに限定されない。
【００７２】
以上、本発明の様々な形態が説明及び記述されてきたが、本願で記述されているような本発明の形態は例示的であること、様々な変形及び修正がなされてよいこと、本発明の真の範囲から逸脱することなくそれらの要素について均等物が置換されてよいことが、当業者に理解されるであろう。更に、本願の中核から逸脱することなく、本発明による教示を適用するための多くの変形がなされてよい。従って、本発明は、本発明を実施するのに想定されるベストモードとして開示された特定の形態には限定されず、むしろ本発明は添付の特許請求の範囲に属する全ての形態を包含する。
【図１】
2016536035.tif 000009
【図２】
2016536035.tif 000010
【図３】
2016536035.tif 000011
【図４】
2016536035.tif 000012
【図５】
2016536035.tif 000013
【図６】
2016536035.tif 000014
【図７】
2016536035.tif 000015
【図８】
2016536035.tif 000016
【図９】
2016536035.tif 000017
【手続補正書】
【提出日】平成28年4月4日(2016.4.4)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
変形可能レジストレーションのためのシステムであって：
手術前アナトミー画像を生成するように動作可能に構成される手術前イメージングワークステーション；
手術中アナトミー画像を生成するように動作可能に構成される手術中イメージングワークステーション；及び
変形可能レジストレーションワークステーション；
を有し、前記変形可能レジストレーションワークステーションは、前記手術前アナトミー画像を、複数のカラーゾーンを含む前記手術前アナトミー画像の手術前マルチゾーン画像に再構成するように動作可能に構成され、
前記変形可能レジストレーションワークステーションは、前記手術中アナトミー画像を、複数のカラーゾーンを含む前記手術中アナトミー画像の手術中マルチゾーン画像に再構成するように動作可能に更に構成され、
前記手術前マルチゾーン画像及び前記手術中マルチゾーン画像は、前記手術前アナトミー画像及び前記手術中アナトミー画像の変形可能レジストレーションのための基礎として役立ち、
各々のカラーゾーンは、前記手術前アナトミー画像及び前記手術中アナトミー画像に関連する非一様な生体力学特性のうちの区別された多様性、又は、前記手術前アナトミー画像及び前記手術中アナトミー画像に関連する区別された生体力学特性のうちの何れかを表現する、システム。
【請求項２】
前記変形可能レジストレーションワークステーションは、前記手術前マルチゾーン画像及び前記手術中マルチゾーン画像を変形可能に登録するように動作可能に更に構成される、請求項1に記載のシステム。
【請求項３】
前記変形可能レジストレーションワークステーションは、前記手術前マルチゾーン画像及び前記手術中マルチゾーン画像の変形可能レジストレーションに基づいて、前記手術前アナトミー画像及び前記手術中アナトミー画像を変形可能にマッピングするように動作可能に更に構成される、請求項2に記載のシステム。
【請求項４】
前記変形可能レジストレーションワークステーションは、手術前マルチゾーン画像の手術前トレーニングセットと手術中マルチゾーン画像の手術中トレーニングセットとを変形可能に登録するように動作可能に更に構成され；
前記手術前トレーニングセットは前記手術前マルチゾーン画像を含み；及び
前記手術中トレーニングセットは前記手術中マルチゾーン画像を含む、請求項1に記載のシステム。
【請求項５】
前記変形可能レジストレーションワークステーションは、前記手術前トレーニングセット及び前記手術中トレーニングセットの変形可能レジストレーションに先立って、前記手術前トレーニングセット及び前記手術中トレーニングセットの何れかをトレーニングアナトミーテンプレートに空間的に整合させるように動作可能に更に構成される、請求項4に記載のシステム。
【請求項６】
前記変形可能レジストレーションワークステーションは、前記手術前トレーニングセット及び前記手術中トレーニングセットの変形可能レジストレーションに基づいて、変形モデルを生成するように動作可能に更に構成される、請求項4に記載のシステム。
【請求項７】
前記変形モデルは、平均的な変形と複数の変形モードベクトルとを含む、請求項6に記載のシステム。
【請求項８】
前記変形可能レジストレーションワークステーションは、前記変形モデルの関数として変形場を推定するように動作可能に更に構成される、請求項6に記載のシステム。
【請求項９】
デフォーメーションワークステーションにインストールされる変形可能レジストレーションのためのモジュラーネットワークであって：
手術前アナトミー画像を、複数のカラーゾーンを含む前記手術前アナトミー画像の手術前マルチゾーン画像に再構成するように動作可能に構成される手術前画像再構成部；
手術中アナトミー画像を、複数のカラーゾーンを含む前記手術中アナトミー画像の手術中マルチゾーン画像に再構成するように動作可能に構成される手術中アナトミー画像再構成部；
を有し、前記手術前マルチゾーン画像及び前記手術中マルチゾーン画像は、前記手術前アナトミー画像及び前記手術中アナトミー画像の変形可能レジストレーションのための基礎として役立ち、
各々のカラーゾーンは、前記手術前アナトミー画像及び前記手術中アナトミー画像に関連する非一様な生体力学特性のうちの区別された多様性、又は、前記手術前アナトミー画像及び前記手術中アナトミー画像に関連する区別された生体力学特性のうちの何れかを表現する、モジュラーネットワーク。
【請求項１０】
前記手術前マルチゾーン画像及び手術中マルチゾーン画像を変形可能に登録するように動作可能に更に構成されるデフォーメーション登録部；
を更に有する請求項9に記載のモジュラーネットワーク。
【請求項１１】
前記手術前マルチゾーン画像及び前記手術中マルチゾーン画像の変形可能レジストレーションに基づく前記手術前アナトミー画像及び前記手術中アナトミー画像の変形可能なマッピングを実行するように動作可能に更に構成されるデフォーメーションマッパー；
を更に有する請求項10に記載のモジュラーネットワーク。
【請求項１２】
手術前マルチゾーン画像の手術前トレーニングセットと手術中マルチゾーン画像の手術中トレーニングセットとを変形可能に登録するように動作可能に構成されるデフォーメーション登録部；
を更に有し、前記手術前トレーニングセットは前記手術前マルチゾーン画像を含み；及び
前記手術中トレーニングセットは前記手術中マルチゾーン画像を含む、請求項9に記載のモジュラーネットワーク。
【請求項１３】
前記手術前トレーニングセット及び前記手術中トレーニングセットの変形可能レジストレーションに基づいて、変形モデルを生成するように動作可能に構成される主成分分析部；
を更に有する請求項12に記載のモジュラーネットワーク。
【請求項１４】
前記変形モデルは、平均的な変形と複数の変形モードベクトルとを含む、請求項13に記載のモジュラーネットワーク。
【請求項１５】
前記変形モデルの関数として変形場を推定するように動作可能に構成される変形場推定部；
を更に有する請求項13に記載のモジュラーネットワーク。
【手続補正３】
【補正対象書類名】明細書
【補正対象項目名】００１０
【補正方法】変更
【補正の内容】
【００１０】
本発明の一形態はマルチモダリティ変形可能レジストレーションのためのシステムである。本システムは、手術前ワークステーション(例えば、CTワークステーション又はMRIワークステーション)と、手術中ワークステーション(例えば、超音波ワークステーション)と、変形可能レジストレーションワークステーションとを使用する。動作の際に、手術前イメージングワークステーションは手術前アナトミー画像を生成し、手術中イメージングワークステーションは手術中アナトミー画像を生成する。変形可能レジストレーションワークステーションは、手術前アナトミー画像を、複数のカラーゾーンを含む手術前アナトミー画像の手術前マルチゾーン画像に再構成し、及び、手術中アナトミー画像を、複数のカラーゾーンを含む手術中アナトミー画像の手術中マルチゾーン画像に再構成する。手術前マルチゾーン画像及び手術中マルチゾーン画像は、手術前アナトミー画像及び手術中アナトミー画像の変形可能レジストレーションのための基礎として役立つ。各々のカラーゾーンは、手術前アナトミー画像及び手術中アナトミー画像に関連する非一様な生体力学特性、又は、手術前アナトミー画像及び手術中アナトミー画像に関連する異なる生体力学特性についての様々な多様性を表現する。
【手続補正４】
【補正対象書類名】明細書
【補正対象項目名】００１１
【補正方法】変更
【補正の内容】
【００１１】
本発明の第2形態は、マルチモダリティ変形可能レジストレーションのためのモジュラーネットワークである。本システムは、手術前イメージ再構成部と手術中イメージ再構成部とを利用する。動作の際に、手術前再構成部は、手術前アナトミー画像を、複数のカラーゾーンを含む手術前アナトミー画像の手術前マルチゾーン画像に再構成し、及び、手術中再構成部は、手術中アナトミー画像を、複数のカラーゾーンを含む手術中アナトミー画像の手術中マルチゾーン画像に再構成する。手術前マルチゾーン画像及び手術中マルチゾーン画像は、手術前アナトミー画像及び手術中アナトミー画像の変形可能レジストレーションのための基礎として役立つ。各々のカラーゾーンは、手術前アナトミー画像及び手術中アナトミー画像に関連する非一様な生体力学特性、又は、手術前アナトミー画像及び手術中アナトミー画像に関連する異なる生体力学特性についての様々な多様性を表現する。
【手続補正５】
【補正対象書類名】明細書
【補正対象項目名】００１２
【補正方法】変更
【補正の内容】
【００１２】
本発明の第3形態は、マルチモダリティ変形可能レジストレーションのための方法である。本方法は、手術前アナトミー画像を、複数のカラーゾーンを含む手術前アナトミー画像の手術前マルチゾーン画像に再構成すること、及び、手術中アナトミー画像を、複数のカラーゾーンを含む手術中アナトミー画像の手術中マルチゾーン画像に再構成することを包含する。手術前マルチゾーン画像及び手術中マルチゾーン画像は、手術前アナトミー画像及び手術中アナトミー画像の変形可能レジストレーションのための基礎として役立つ。各々のカラーゾーンは、手術前アナトミー画像及び手術中アナトミー画像に関連する非一様な生体力学特性、又は、手術前アナトミー画像及び手術中アナトミー画像に関連する異なる生体力学特性についての様々な多様性を表現する。
【国際調査報告】
2016536035.tif 000018
2016536035.tif 000019
2016536035.tif 000020