(57)【要約】      （修正有）【課題】或る一定の検査手順及び治療手順にはＭＲＩは費用が高価でかつ複雑であり、超音波診断装置は実時間性はあるが解像力が十分ではない。これらを解決する装置および方法を提供する。【解決手段】３次元領域を撮像した超音波画像を取得し、事前に収集された医用画像と融合させる。そのために超音波画像の座標系を事前に収集された医用画像座標系に変換して超音波画像を表示する。具体的には事前収集医用画像の区分けされた表面メッシュに超音波画像の表面点群をレジストレーションさせ、合成表示する。【選択図】図２Ｃ
2014236998.tif 000002
【特許請求の範囲】
【請求項１】
実時間超音波画像を、別のモダリティの事前収集画像と融合させる方法であって：
実時間超音波画像の座標系を超音波センサの座標系に変換する段階；
前記超音波センサの座標系を、前記超音波センサの位置を追跡するように動作する追跡システムの座標系に変換する段階；及び
前記追跡システムの座標系を前記事前収集画像の座標系に変換する段階；
を有する方法。
【請求項２】
前記別のモダリティは、磁気共鳴（ＭＲ）撮像、コンピュータトモグラフィ（ＣＴ）撮像、陽電子放出スペクトロスコピック（ＰＥＴ）撮像、及び単一光子放出コンピュータトモグラフィ（ＳＰＥＣＴ）撮像のうちの１つである、請求項１に記載の方法。
【請求項３】
前記超音波画像は複数の２次元超音波画像を有する、請求項１に記載の方法。
【請求項４】
前記超音波画像は複数の３次元超音波画像を有する、請求項１に記載の方法。
【請求項５】
前記磁気共鳴（ＭＲ）画像は３次元画像である、請求項２に記載の方法。
【請求項６】
検査位置の画像を取得する段階；
超音波センサを用いて前記検査位置の実時間超音波画像を取得する段階；
前記超音波センサの座標データを、前記超音波センサの位置を追跡するように動作する追跡システムの座標系に変換して、前記追跡システムの座標系での座標データを得る段階；
前記追跡システムの座標系を前記画像の座標系に変換して、前記画像の座標系での座標データを得る段階；及び
前記検査位置における前記画像及び前記超音波画像を表示する段階；
を有する医療検査の方法。
【請求項７】
前記画像は磁気共鳴（ＭＲ）画像である、請求項６に記載の方法。
【請求項８】
前記超音波画像を取得する段階の後に、前記画像を取得する前記検査位置内の領域を選択する段階、を更に有する請求項６に記載の方法。
【請求項９】
前記表示する段階の後に、医療手順を行う段階、を更に有する請求項６に記載の方法。
【請求項１０】
前記表示する段階の後に、前記検査位置での検査、治療、又はこれらの双方を行う段階、を更に有する請求項６に記載の方法。
【請求項１１】
実時間超音波画像を、別のモダリティの事前収集画像と融合させる装置であって：
超音波画像を取得するよう動作する超音波装置；
追跡センサであり、当該追跡センサの座標系に関する前記超音波装置の位置を決定するよう動作する追跡センサ；
前記超音波画像の座標系を超音波センサの座標系に変換するよう作用するコンピュータ読み取り可能媒体；
前記超音波センサの座標系を追跡システムの座標系に変換するよう作用するコンピュータ読み取り可能媒体；及び
前記追跡システムの座標系を前記事前収集画像の座標系に変換するよう作用するコンピュータ読み取り可能媒体；
を有する装置。
【請求項１２】
前記事前収集画像は磁気共鳴（ＭＲ）画像である、請求項１１に記載の装置。
【請求項１３】
前記超音波画像は複数の２次元超音波画像を有する、請求項１１に記載の装置。
【請求項１４】
前記超音波画像は複数の３次元超音波画像を有する、請求項１１に記載の装置。
【請求項１５】
前記コンピュータ読み取り可能媒体を実行するよう動作するプロセッサを有するワークステーション、を更に有する請求項１１に記載の装置。
【請求項１６】
前記超音波装置は更に、追跡送信器と、標本を採取する、あるいは治療手順を実行する、あるいはこれらの双方を行う医療装置とを有する、請求項１１に記載の装置。
【請求項１７】
実時間超音波画像を、別のモダリティの事前収集画像と融合させる方法であって：
被追跡超音波画像内で点群を選択する段階；
反復的最接近点（ＩＣＰ）アルゴリズムを用いて、前記点群を磁気共鳴（ＭＲ）に基づく表面区分にマッチングする段階；
を有する方法。
【請求項１８】
実時間超音波画像を、別のモダリティの事前収集画像と融合させる方法であって：
３次元超音波画像を取得する取得段階；及び
手動あるいは自動で、前記３次元超音波画像を前記事前収集画像に整合させるレジストレーション段階；
を有する方法。
【請求項１９】
前記レジストレーション段階は、前記３次元超音波画像とともに、磁気共鳴に基づく表面区分を表示することを有する、請求項１８に記載の方法。
【請求項２０】
前記取得段階は、被追跡３次元超音波プローブを用いて、あるいは複数の被追跡２次元超音波画像の３次元再構成によって、の何れかで実行される、請求項１８に記載の方法。
【請求項２１】
前記別のモダリティは、磁気共鳴（ＭＲ）撮像、コンピュータトモグラフィ（ＣＴ）撮像、陽電子放出スペクトロスコピック（ＰＥＴ）撮像、及び単一光子放出コンピュータトモグラフィ（ＳＰＥＣＴ）撮像のうちの１つである、請求項１８乃至２０の何れかに記載の方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、事前収集された医用画像に実時間超音波画像を融合させるシステム及び方法に関する。
【背景技術】
【０００２】
様々な種類の医用撮像モダリティが診断医及び医師に利用可能になっている。これらのモダリティの各々は、様々な用途において他と比較したとき、利点と欠点とを有する。従って、或る１つの種類の検査又は撮像態様では或る１つのモダリティが有用であり、別の１つの検査又は撮像態様では別の1つのモダリティが有用であるということがある。故に、診断、治療、又はこれら双方の目的で、２つ以上の撮像システムが医用撮像に用いられ得るという場合がよくある。
【０００３】
１つの有用な種類の医用撮像は、磁気共鳴撮像すなわちＭＲＩとして広く知られているスピン共鳴撮像を含む。ＭＲＩ撮像装置は多大に進化し、現在では、２次元ディスプレイ上に３次元像を再現するために、直接的に検査され得る、あるいは好適な再構成ソフトウェア（例えば、グラフィックユーザインタフェース（ＧＵＩ））を用いて再構成され得る、複数の‘２次元’画像すなわち断層画像を提供する。
【０００４】
ＭＲＩは優れた撮像能力を提供するが、ＭＲＩスキャン中の侵襲的検査は複雑且つ高価なものとなり得る。例えば、多くの場合、生検として知られる手順によって組織標本を取得することが有用である。残念ながら、ＭＲＩによって提供される分解能及び実時間撮像は、標本とすべき組織領域を適切に特定することに有用ではあるが、ＭＲＩを用いると、生検手順は多大な時間を要することになる。このことは患者コストの増大に直結する。
【０００５】
超音波撮像は、撮像における医療検査に有用な他の１つのモダリティである。超音波（ＵＳ）撮像は、幾つかある利点の中で特に、他と比較して高速な、撮像、発展的その場検査（例えば、生検検査）及び治療を可能にする。ＵＳ画像の解像度は大いに向上されてきたが、或る一定の検査手順及び治療手順には不十分なままである。
【発明の概要】
【発明が解決しようとする課題】
【０００６】
故に、既知の撮像装置及び方法の少なくとも上述の欠点を解決する方法、装置及びシステムが望まれる。
【課題を解決するための手段】
【０００７】
典型的な一実施形態において、実時間超音波画像を、別のモダリティの事前収集画像と融合させる方法は、超音波（ＵＳ）画像の座標系をＵＳセンサの座標系に変換する段階；ＵＳセンサの座標系を、ＵＳセンサの位置を追跡するように動作する追跡システムの座標系に変換する段階；及び追跡システムの座標系を事前収集画像の座標系に変換する段階を含む。
【０００８】
典型的な他の一実施形態において、医療検査方法は、検査位置（テストロケーション）の画像を取得する段階；超音波（ＵＳ）センサを用いて前記位置のＵＳ画像を取得する段階；ＵＳセンサの座標データを、ＵＳセンサの位置を追跡するように動作する追跡システムの座標系に変換して、追跡システムの座標系での座標データを得る段階；追跡システムの座標系を前記画像の座標系に変換して、前記画像の座標系での座標データを得る段階；及び検査位置における前記画像及びＵＳ画像を表示する段階を含む。
【０００９】
典型的な他の一実施形態において、実時間超音波（ＵＳ）画像を、別のモダリティの事前収集画像と融合させる装置は、ＵＳ画像を取得するよう動作するＵＳ装置；追跡センサの座標系に関するＵＳ装置の位置を決定するよう動作する追跡センサ；超音波（ＵＳ）画像の座標系をＵＳセンサの座標系に変換するよう作用するコンピュータ読み取り可能媒体；ＵＳセンサの座標系を追跡システムの座標系に変換するよう作用するコンピュータ読み取り可能媒体；及び追跡システムの座標系を事前収集画像の座標系に変換するよう作用するコンピュータ読み取り可能媒体を含む。
【００１０】
典型的な更なる他の一実施形態において、実時間超音波画像を、別のモダリティの事前収集画像と融合させる方法は、被追跡超音波画像内で点群（ポイントクラウド）を選択する段階；反復的最接近点（ＩＣＰ）アルゴリズムを用いて、前記点群を磁気共鳴（ＭＲ）に基づく表面区分（セグメンテーション）にマッチングする段階を含む。
【００１１】
典型的な更なる他の一実施形態において、実時間超音波画像を、別のモダリティの事前収集画像と融合させる方法は、３次元（３Ｄ）超音波画像を取得する段階；及び手動あるいは自動で、３Ｄ超音波画像を事前収集（ＭＲ）画像に整合させる段階を含む。
【図面の簡単な説明】
【００１２】
本願による教示は、以下の詳細な説明を添付の図面とともに読むことにより非常によく理解される。図形は必ずしも縮尺を揃えて描かれてはいない。可能な限り、同様の要素には同様の参照符号を付する。
【図１】典型的な一実施形態に従った、実時間超音波（ＵＳ）画像を別のモダリティの事前収集画像に融合させるシステムを概略的に示す概念図である。
【図２Ａ】典型的な一実施形態に従った、１つのモダリティの事前収集画像上の複数の点の、該画像の座標系への変換を示す概念図である。
【図２Ｂ】事前収集画像に整合されるべき器官の表面上の複数の点を有する実時間超音波画像を示す概念図である。
【図２Ｃ】典型的な一実施形態に従った、実時間画像の複数の点の、事前収集画像の座標系とのレジストレーションを示す概念図である。
【図２Ｄ】典型的な一実施形態に従った実時間ＵＳ撮像において、融合された事前収集画像を用いて分析するために選択された複数の領域を含むＵＳ画像である。
【図３】典型的な一実施形態に従った、超音波に基づく表面点と事前収集画像の表面区分との間のレジストレーションに基づく、実時間ＵＳ画像と、空間的に対応する事前収集３Ｄ画像のマルチプレーナ再構成（ＭＰＲ）との画面例／表示である。
【図４】典型的な一実施形態に従った、ＵＳ装置の座標系の事前収集画像の座標系への変換を概略的に示す概念図である。
【図５】例示的な一実施形態に従った、実時間超音波画像を別のモダリティの事前収集画像に融合させる代替的な一手法を示す図である。
【発明を実施するための形態】
【００１３】
ここでは、用語‘或る（ａ又はａｎ）’は、１つの、あるいは、１つ以上の、であるとして定義される。
【００１４】
以下の詳細な説明にて、本願による教示が完全に理解されるよう、限定ではなく説明の目的で、具体的な細部を開示する典型的な実施形態を説明する。実施形態例の説明を不明瞭にしないよう、既知の装置、材料及び製造方法の説明は省略することがある。とはいえ、通常の知識の範囲内にある装置、材料及び方法が、これら典型的な実施形態に従って用いられ得る。
【００１５】
以下の詳細な説明にて、本願による教示が完全に理解されるよう、限定ではなく説明の目的で、具体的な細部を開示する例示的な実施形態を説明する。また、例示的な実施形態例の説明を不明瞭にしないよう、周知の装置、ハードウェア、ソフトウェア、ファームウェア、方法及びシステムの説明は省略することがある。とはいえ、通常の知識の範囲内にある装置、ハードウェア、ソフトウェア、ファームウェア、方法及びシステムが、これら例示的な実施形態に従って用いられ得る。最後に、可能な限り、同様の要素には同様の参照符号を付する。
【００１６】
以下の詳細な説明が提示する方法は、データ収集カード等とともに構成された、コンピュータ読み取り可能媒体、関連するプロセッサ、マイクロプロセッサ、デジタル記録オシロスコープ、汎用パーソナルコンピュータ、製造装置内でのデータビットの処理を表すルーチン及び記号表記によって具現化され得る。ここでは概して、方法は、所望の結果を生じさせる一連の段階又は行為であると想定され、故に、“ルーチン”、“プログラム”、“オブジェクト”、“関数”、“サブルーチン”及び“手順”等の技術用語を包含する。
【００１７】
ここで説明する実施形態に有用なソフトウェアに関連し、当業者に認識されるように、ここで概説される手順を実行するためのソフトウェアの作成には、多様なプラットフォーム及び言語が存在する。或る特定の例示的な実施形態は、多様なオペレーティングシステム（ＯＳ）及びプログラム言語の何れを用いて実装されてもよい。例えば、ＯＳは、マイクロソフト社から市販されているＯＳ、又はリナックス（Linux（登録商標））ＯＳとしてもよい。プログラム言語は、例えばＣ＋＋等のＣプログラム言語、又はジャバ（Java（登録商標））としてもよい。
【００１８】
フリーハンド実時間超音波（ＵＳ）画像と事前収集された磁気共鳴（ＭＲ）画像とを融合させる医用撮像に関連させて、典型的な実施形態を説明する。強調しておくが、本願による教示のこの用途は、単なる例示である。本願による教示は、より広く、１つのモダリティの実時間画像を別のモダリティの事前収集画像と融合させる撮像、特に医用撮像に使用されることが意図される。
【００１９】
図１は、典型的な一実施形態に従った、実時間超音波（ＵＳ）画像を別のモダリティの事前収集画像に融合させるシステム１００を概略的に示す概念図である。システム１００は、画像を取得するよう動作するＵＳ装置１０１を含んでいる。装置１０１は、２次元及び３次元のＵＳ画像プローブを含む多様な既知のＵＳ装置／プローブのうちの１つとし得る。例えば、装置１０１は、実時間フリーハンド式の経直腸超音波（ＴＲＵＳ）プローブとしてもよく、ここで更に十分に説明されるように、生検又はシード配置のための針の位置決めを導くために使用されてもよい。
【００２０】
装置１０１には、追跡場発生器１０２と協働する追跡装置（図示せず）が取り付けられる。追跡装置及び追跡場発生器は、数多くの技術のうちの１つに基づき得る。例えば、ＵＳ装置１０１の追跡は、装置１０１に取り付けられた追跡センサと組み合わされた電磁的な、あるいはその他の、空間的追跡システムを用いて実現され得る。この追跡は患者の超音波撮像（例えば、経直腸的前立腺撮像（ＴＲＵＳ））中に行われる。超音波プローブの追跡は、例えば生検ガイド（ＣＩＶＣＯ社）等の超音波プローブに堅く取り付けられた装置内に、追跡センサを一体化することによって、あるいはプローブ内に追跡センサを一体化することによって実行され得る。１つの例示としての追跡システムは、カナダのＮＤＩ社から市販されているオーロラ（Aurora）電磁追跡システムである。
【００２１】
ＵＳスキャナ１０３が、装置１０１からの実時間画像を蓄積し、これらの画像をそのモニタとワークステーション１０４とに供給する。ここで更に十分に説明するように、ワークステーション１０４は、追跡コントローラから装置１０１の空間的な追跡情報を受信し、ＵＳスキャナ１０３からの実時間画像データを事前収集画像データと融合させる。
【００２２】
ここでの説明を続けるにつれて明らかになるように、ワークステーション１０４は、スキャナ１０３からの超音波画像内の点の識別を可能にするソフトウェアを含んでいる。このソフトウェアは更に、これらの点の座標を、被追跡超音波装置１０１の一度の校正を用いて、且つプローブ追跡センサにより提供される実時間プローブ追跡情報を用いて、超音波画像座標から、追跡システム（追跡装置、追跡場発生器１０２及び追跡コントローラ１０５）の座標系での座標に変換する。これらのデータを用いて、ワークステーション１０４及び作動されるコンピュータ読み取り可能媒体（ソフトウェア）は、点群（超音波画像内で識別された複数の表面点の追跡システム座標）を、表面メッシュ（事前収集画像内の表面区分）にマッチングし；且つ反復的最接近点（iterative  closest  point；ＩＣＰ）アルゴリズム又はその派生形を用いて整合（レジストレーション）変換Ｔregistration（追跡空間→事前収集画像空間）を計算する。ワークステーション１０４及びそのソフトウェアは、現在の（実時間）ＵＳ画像を収集・表示し；且つ、整合変換Ｔregistration、プローブ追跡センサからの実時間プローブ追跡（トラッキング）変換Ｔtracking、及び被追跡超音波プローブの一度の校正を用いて、超音波画像と同一位置に対応する事前収集画像のマルチプレーナ再構成を計算・表示する。分割画面表示にて、ＵＳ装置１０１の操作者は、事前収集画像及びＵＳスキャナ設備の精度で、患者上／内の関心位置に装置１０１を配置することができる。
【００２３】
幾つかある利点のなかで特に、システム１００により、実時間フリーハンド式超音波画像の、同一器官の事前収集された（例えば３Ｄ）画像との迅速なレジストレーションが実現される。システム１００は、全ての場合に利用可能なわけではない特定の基準マーカに頼るものではない。このレジストレーションの実行は、通常の超音波検査中に実行されるのに十分な速さであるので、撮像によって引き起こされ得る患者の不快を長引かせない。このシステムはまた、超音波プローブの柔軟且つ自在な使用を制限しない。
【００２４】
図２Ａは、典型的な一実施形態に従った、１つのモダリティの事前収集画像上の複数の点の、該画像の座標系への変換を示す概念図である。事前収集画像２０１の複数の‘断層’（例えば、ＭＲ画像、ＣＴ画像又はその他の種類の３Ｄ画像の複数の断層）の表面が、ワークステーション１０４及びそのソフトウェアによって区分け（セグメント化）され、表面の区分けされた線及び点が、図２Ａに示すような三角表面メッシュに変換される。
【００２５】
事前収集画像上の複数の点の該画像の座標系への変換の後、ＵＳ（実時間）画像の座標／座標系が生成され得る。ワークステーション１０４にて、図２Ｂに示すように、超音波画像内で複数の点２０３が識別される。これらの点２０３の座標は、被追跡超音波プローブの一度の校正を用い、且つプローブ追跡センサにより提供される実時間プローブ追跡情報を用いて、超音波画像の座標系から、追跡システム座標系の座標に変換される。図３に関連して更に詳細に説明するように、ＵＳ装置１０１の座標系は動的であり、位置及び向きの双方において変化する。故に、ＵＳ装置１０１の座標は撮像中の装置１０１の移動につれて変化する。ＵＳ装置の座標系の追跡システムの座標系への変換は、装置１０１の位置を事前収集画像の座標に変換するために用いられる。
【００２６】
実時間超音波画像は、ビデオフレーム・グラビング（grabbing）又は画像のデジタルストリーミングを用いてワークステーションに転送され得る。ワークステーションは、被追跡超音波装置１０１から超音波画像（Ｕｉ）及び対応する追跡情報Ｔtracking，ｉを実質的に同時に収集する（ｉは収集データのインデックス又はタイムスタンプである）。ユーザが、ワークステーション１０４に表示されたライブ（生の）超音波画像上をマウスポインタでクリックすることにより、超音波画像内の点２０３を特定する。代替的に、ライブ超音波画像内超音波表面点を選択することに代えて、画像が“凍結”され（且つ対応する追跡座標が記録され）、該“凍結”画像内で画像点が選択されてもよい。斯くして選択された超音波画像座標ｐｉＵＳは、被追跡超音波プローブの一度の校正（キャリブレーション）変換Ｔcalibration（例えば、変換行列）を用い、且つプローブ追跡センサにより提供される実時間プローブ位置追跡変換Ｔtracking，ｉを用いて、追跡システム座標ｐｉTrackingに変換される：ｐｉTracking＝Ｔtracking，ｉ・Ｔcalibration・ｐｉＵＳ（ただし、記号“・”は行列の乗算を指し示す）。関心器官の表面上の幾つかの点を選択することにより、追跡システムの座標系の一組の表面点｛ｐｉTracking｝が生成される。
【００２７】
次に、一組の表面点２０３は、事前収集画像の区分けされた表面メッシュ２０２にマッチングされる。このマッチングを図２Ｃに示す。ワークステーション１０４は、点群２０３（超音波画像内で識別された表面点の追跡システム座標｛ｐｉTracking｝）を表面メッシュ２０２（事前収集画像内の表面区分）にマッチングするため、反復的最接近点（ＩＣＰ）アルゴリズム又はその派生形を含んでおり、追跡システムの座標系を事前収集画像の座標系に一致させる整合変換Ｔregistrationを、事前収集画像及び実時間画像の融合点を表す点２０４とともに計算する。比較的高い分解能の事前収集画像と実時間画像とのこのレジストレーションは、より正確な検査及び治療を可能にする。
【００２８】
図２Ｄは、典型的な一実施形態に従った実時間ＵＳ撮像において、融合された事前収集画像を用いて分析するために選択された複数の領域を含むＵＳ画像である。例示的な実施形態の説明によれば、‘施術前画像’は事前収集画像のことである。この事前収集画像はＭＲ画像であるが、以下に限られないがコンピュータトモグラフィ（ＣＴ）撮像；陽電子放出スペクトロスコピック（ＰＥＴ）撮像；又は単一光子放出コンピュータトモグラフィ（ＳＰＥＣＴ）撮像を含む多様な撮像モダリティのうちの１つとし得る。施術中画像の実時間観察（２０５’）のために、領域２０５が臨床医によって選択される。施術中画像は、典型的な実施形態に係る方法及びシステムによって実時間ＵＳ画像と融合された、選択されたモダリティの融合事前収集画像を有する。所望であれば、施術は施術中画像を用いて行われ得る。これらの施術は、標本（生検）を採取すること、又は治療手順を行うことを含む。施術に必要な器具がＵＳプローブに取り付けられてもよく、あるいはその他の方法でＵＳプローブによって導かれてもよい。
【００２９】
図３は、典型的な一実施形態に従った、超音波に基づく表面点と事前収集画像の表面区分との間のレジストレーションに基づく、実時間ＵＳ画像と、空間的に対応する事前収集３Ｄ画像のマルチプレーナ再構成（multi-planar  reconstruction；ＭＰＲ）との画面例／表示である。説明を容易にするため、双方の画像上に表面区分も重ねている。ライブ超音波画像（左）及び空間的に対応する事前収集３Ｄ画像のＭＰＲ（右）の表示は、典型的な実施形態に係る方法、装置及びシステムの利点の有用な例示を提供する。事前収集画像からの対応する整合されたＭＰＲを伴うライブ超音波画像の表示は、必要に応じて区分けされた表面が重ねられた、隣り合わせ表示を用いて行われてもよいし、あるいは、可変の透明度アルファを用いたアルファブレンディングを用いて単一の画像内に組み合わせて行われてもよい。
【００３０】
当初、表示の吟味により明らかなように、ＵＳ画像は、事前収集画像の解像度を下回る解像度を有する。しかしながら、ＵＳ画像は実時間であり、ＵＳ画像の座標は事前収集画像の座標系に変換されるので、正確な実時間での検査及び治療が実現される。言い換えると、ＵＳ装置１０１の実時間位置が正確に決定され、ＵＳ装置１０１は、（より高い解像度を有する）事前収集画像のＵＳ画像への変換によって正確に位置付けられ、その逆（事前収集画像空間から実時間画像空間への逆座標変換を適用することによる）もまた然りである。図３の表示において、操作者は実質的に実時間で、事前収集画像上で装置１０１の位置を正確に見て取ることができる。
【００３１】
図４は、典型的な一実施形態に従った、ＵＳ装置の座標系の事前収集画像の座標系への変換を概略的に示す概念図である。図４には、反時計周りの“二重”線によって、２次元ＵＳ装置１０１の座標系（Ｃｕｓ）からの変換が示されている。当業者に容易に認識されるように、１つの画像空間から別の１つの画像空間への逆の座標変換を得るために、逆変換が用いられてもよい。
【００３２】
ＵＳ画像データはＵＳ装置１０１の座標空間すなわちＣｕｓで提供される。校正変換（Ｔcalibration）は、ＵＳ画像の画像空間の座標を、追跡センサの座標系に変換する。認識されるように、これは比較的単純な変換であり、実時間画像の座標がＵＳ装置１０１の座標系で提供されることを可能にする。
【００３３】
次に、装置１０１の座標系（Ｃsensor）が追跡装置の座標系に変換される。この変換は実時間画像の座標を追跡システムの座標に提供する。認識されるように、装置１０１が自在（フリーハンド）に移動されるとき、装置１０１の移動は装置の座標系の位置及び向きの双方を変化させる。故に、装置１０１の座標系の変化は動的に起こり、撮像システム１００のその他の座標系との関係を動的に変化させる。追跡システムは装置１０１の変化の位置を管理し、追跡システム座標への変換は、装置１０１の位置データが不変の座標系で提供されることを可能にする。
【００３４】
次に、レジストレーション処理が実行される。レジストレーション処理は、実時間画像座標の事前収集画像の座標系への変換である。典型的な実施形態において、この変換は、P.J.Besl、N.D.Mckayの「A  Method  for  Registration  of  3-D  Shapes」、1992年2月、IEEE  Trans.  Pat.  Anal.  And  Mach.  Intel.、第14巻、第2号、p.239-256に記載されているように、いわゆる反復的最接近点（ＩＣＰ）アルゴリズムを用いて実行される。なお、この文献の開示事項をここに援用する。
【００３５】
故に、ワークステーション１０４及びそれ上で実行されるソフトウェアは、現在の超音波画像を収集・表示し；超音波画像と同一位置に対応する事前収集画像のマルチプレーナ再構成（ＭＰＲ）を計算・表示し；整合変換Ｔregistration、被追跡超音波プローブの一度の校正変換Ｔcalibration及び現在の被追跡超音波プローブ位置Ttrackingを用いる：Ｔrealtime2preacquired＝Ｔregistration・Ttracking・Ｔcalibration。ただし、Ｔrealtime2preacquiredは実時間画像の（２Ｄ）画像空間から事前収集画像の画像空間への変換である。
【００３６】
レジストレーション処理が完了すると、実時間画像空間は事前収集画像空間に変換されており、上述の利点がもたらされる。
【００３７】
他の典型的な一実施形態において、実時間画像は３次元ＵＳ画像である。この変形の数多くの詳細事項は、これまでに説明した事項と共通であり、本実施形態の説明を不明瞭にしないよう、それらの詳細事項は繰り返し説明しない。
【００３８】
（３Ｄ）ＵＳ装置の座標系（Ｃsensor）への変換が完了すると、３Ｄ実時間ＵＳ画像の追跡装置の座標系への変換が完了する。追跡装置座標系から事前収集画像空間の座標系への次のレジストレーションが実行される。このレジストレーションは上述のようにＩＣＰによって実行され得る。
【００３９】
図５は、例示的な一実施形態に従った代替的な一手法を示している。ＩＣＰを用いて追跡空間の表面点を事前収集画像空間にマッチングするのではなく、連続的に収集された実時間３Ｄ超音波容積のうちの１つが“凍結”され、手動でのレジストレーションを用いて、あるいは２つの画像容積間の同様の指標の最大化による自動化されたレジストレーションによって、事前収集画像に直接的に整合され得る。
【００４０】
手動でのレジストレーションを可能にするため、システム１００は、操作者が３Ｄ超音波画像と事前収集画像との間で（ｘ、ｙ及びｚの次元内での）平行移動及び（ｘ、ｙ及びｚの軸周りでの）向きを操作することを可能にするグラフィカルユーザインタフェース（ＧＵＩ）を有する。認識されるように、ＧＵＩはワークステーション１０４内に実装される。これらのパラメータの各操作を用いて、システムは、超音波画像５０１と事前収集画像５０２との更新された空間アライメントを視覚化することが可能である。例示として、これは、画像レジストレーションの質に関して操作者にフィードバックを提供するよう、２Ｄ断面図又は３Ｄ表示での２つの画像の半透明オーバーレイ／アルファブレンディングを用いて行われ得る。他の一実施形態において、システムは、３Ｄ超音波画像の複数の断面と、事前収集画像における区分の対応する断面との間の現在のアライメントを視覚化することができる。得られた変換を、整合されたＵＳ画像５０１’及び事前収集画像５０２’とともに図５に示す。事前収集画像の区分の断面５０３も示されている。
【００４１】
自動レジストレーションでは、マルチモダリティのレジストレーションで知られる多様な同様の手段のうちの１つが意図される。例えば、J.B.Maintz、M.A.Viergeverの「A  survey  of  medical  image  registration」、1998年3月、Med  Image  Anal、第2巻、p.1-36に記載されているような所謂、相互情報や、例えばW.H.Press、B.P.Flannery、S.A.Teukolsky、W.T.Vetterlingの「Numarical  Recipes  in  C」、1990年、ケンブリッジ大学出版に記載されたものなどの多様な既知の最適化技術のうちの１つである。なお、これらの文献の開示事項をここに援用する。
【００４２】
従って、ワークステーション１０４及びそれ上で実行されるソフトウェアは、現在の３Ｄ超音波画像を収集・表示し；超音波画像と同一位置に対応する事前収集画像のマルチプレーナ再構成（ＭＰＲ）又は容積表示を計算・表示し；整合変換Ｔregistration、被追跡超音波プローブの一度の校正変換Ｔcalibration及び現在の被追跡超音波プローブ位置を用いる。斯くして、事前収集画像は、より高い精度で患者内の標的位置に対するＵＳ装置１０１の位置を決定するために使用され得る。
【００４３】
他の一実施形態においては、Ｔregistrationを決定するために、被追跡２Ｄ超音波画像群及びそれらが対応する被追跡画像位置から３Ｄ超音波容積が再構成され得る。この処理を、図４に、反時計回りの“実線”の矢印で示す。再構成された３Ｄ超音波画像と事前収集画像との間のレジストレーションは、連続的に収集された実時間３Ｄ超音波容積のうちの１つのレジストレーションに関して上述したのと同様にして実行され得る。すなわち、３Ｄ超音波画像内での表面点選択とその後のＩＣＰによる点から表面へのレジストレーションとを用いるもの、又は、（超音波画像から事前収集画像への）手動若しくは自動の画像レジストレーションを用いるもの、の何れかにより実行され得る。
【００４４】
この開示に照らして、ここで開示された様々な方法、機器及びシステムは、様々な装置、モダリティ、ソフトウェア及びハードウェアを用いて、多様な用途で実施されることが可能である。また、医用撮像以外の用途も、この教示の恩恵を受け得る。さらに、様々な装置、モダリティ、ソフトウェア、ハードウェア、及びパラメータは、限定的なものではなく、単なる例示として含められている。この開示に照らして、当業者は、添付の特許請求の範囲を逸脱することなく、自身の用途や、その用途を実現するために必要な装置、ソフトウェア、ハードウェア及びその他の機器を決定する際に、この教示を用いることが可能である。
【図１】
2014236998.tif 000003
【図２Ａ】
2014236998.tif 000004
【図２Ｂ】
2014236998.tif 000005
【図２Ｃ】
2014236998.tif 000006
【図２Ｄ】
2014236998.tif 000007
【図３】
2014236998.tif 000008
【図４】
2014236998.tif 000009
【図５】
2014236998.tif 000010
【手続補正書】
【提出日】平成26年8月25日(2014.8.25)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
実時間超音波画像を、別のモダリティのセグメント化された事前収集画像と融合させる方法であって、前記事前収集画像は検査位置を含み、前記実時間超音波画像は前記検査位置を含み、当該方法は：
コンピュータプロセッサにより、前記検査位置の前記超音波画像を追跡システムの座標系に変換し、
前記コンピュータプロセッサにより、前記検査位置を前記追跡システムの前記座標系から前記事前収集画像の座標系に変換し、
前記コンピュータプロセッサにより、前記実時間超音波画像内で選択された点群を前記セグメント化された事前収集画像の表面区分にマッチングし、
前記コンピュータプロセッサにより、前記実時間超音波画像を前記セグメント化された事前収集画像とレジストレーションし、且つ
モニタにより、前記事前収集画像の前記座標系にて、前記検査位置の前記実時間超音波画像及び前記事前収集画像を表示する
ことを有する、方法。
【請求項２】
前記検査位置の前記実時間超音波画像を前記事前収集画像上に重ね合わせて表示することを有する請求項１に記載の方法。
【請求項３】
前記点群は、前記検査位置の前記超音波画像内で選択されている、請求項１に記載の方法。
【請求項４】
前記別のモダリティの前記セグメント化された事前収集画像は、磁気共鳴（ＭＲ）に基づく表面区分を有する、請求項１に記載の方法。
【請求項５】
前記実時間超音波画像は、被追跡３次元超音波プローブを用いて、あるいは複数の被追跡２次元超音波画像の３次元再構成によって、の何れかで取得されたものである、請求項１に記載の方法。
【請求項６】
前記別のモダリティは、磁気共鳴（ＭＲ）撮像、コンピュータトモグラフィ（ＣＴ）撮像、陽電子放出スペクトロスコピック（ＰＥＴ）撮像、及び単一光子放出コンピュータトモグラフィ（ＳＰＥＣＴ）撮像のうちの１つである、請求項１に記載の方法。
【請求項７】
前記プロセッサは、反復的最接近点（ＩＣＰ）アルゴリズムを用いて前記点群を前記表面区分にマッチングする、請求項１に記載の方法。
【請求項８】
前記実時間超音波画像は３次元超音波画像である、請求項１に記載の方法。
【請求項９】
前記セグメント化された事前収集画像は３次元画像である、請求項８に記載の方法。
【請求項１０】
実時間超音波画像を、別のモダリティのセグメント化された事前収集画像と融合させる装置であって、前記事前収集画像は検査位置を含み、当該装置は：
前記実時間超音波画像を取得するよう動作する超音波装置と、
追跡システムであり、当該追跡システムの座標系に関する前記超音波装置の位置を決定するよう動作する追跡システムと、
コンピュータプログラムであり、
前記実時間超音波画像内で点群を選択し、
前記検査位置の前記超音波画像を前記追跡システムの座標系に変換し、
前記検査位置を前記追跡システムの前記座標系から前記事前収集画像の座標系に変換し、
前記点群を前記セグメント化された事前収集画像の表面区分にマッチングし、
前記実時間超音波画像を前記セグメント化された事前収集画像とレジストレーションする
ためのコンピュータプログラムと、
前記事前収集画像の前記座標系にて、前記検査位置の前記実時間超音波画像及び前記事前収集画像を表示する、ように構成された表示装置と
を有する、装置。
【請求項１１】
前記超音波装置は、超音波画像を繰り返し生成するように構成され、前記実時間超音波画像は、繰り返し生成される超音波画像のうちの最も直近のものである、請求項１０に記載の装置。
【請求項１２】
前記超音波画像は３次元画像を有する、請求項１１に記載の装置。
【請求項１３】
当該装置は更に、前記事前収集画像内に表示される標的領域まで患者内を移動して標本を採取すること、及び前記標的領域で治療手順を実行すること、のうちの少なくとも一方を行うように構成された医療装置を有し、前記実時間超音波画像は前記医療装置の現在位置を示し、前記事前収集画像は前記標的領域を示す、請求項１０乃至１２の何れか一項に記載の装置。
【外国語明細書】
2014236998000001.pdf