(57)【要約】  温度イメージングは、様々な診断及びインターベンションの手順を向上し、電子回路及び電子製品の故障を予測かつ予防するものと認識されている。ＵＳ、ＣＴまたはＭＲスキャナからのデータストリームに温度データを融合し、マップして、医師または工業検査者に、温度マッピング能力によって補強された既知のＵＳ、ＣＴまたはＭＲシステムと仕事する印象を与えるシステム設計及び方法が開示される。
2008526399.tif 000002
【特許請求の範囲】
【請求項１】
第１の検知手段及び第１の処理手段を備え、検知される物体から、デジタル化された体内のマイクロウェーブ（ＭＷ）温度マップデータを提供する、第１のモノモーダル非侵襲マイクロウェーブイメージングサブシステムと、
第２の検知手段及び第２の処理手段を備え、前記検知される物体から、デジタル化された体内の構造マップデータを提供する、第２のモノモーダル非侵襲イメージングサブシステムと、
温度マップと構造マップの空間位置合わせ、マルチモーダルデータセットへのデータ融合、及び該マルチモーダルデータセットの視覚化を実行するマルチモーダル信号プロセッサ（４）とを有し、
前記マルチモーダル信号プロセッサ（４）は、入力画像の空間的な対応について最も関連のある画像特徴を検出かつ選択する特徴抽出を含むことを特徴とする仮想マルチモーダル非侵襲イメージング装置。
【請求項２】
前記プロセッサ（４）は、それぞれ、前記位置合わせプロセスに対して、前記温度マップ及び前記構造マップの対応する画像特徴を抽出し、または前記データ融合ステップに対して、前記温度マップ及び前記構造マップの相補的な画像特徴を抽出する、請求項１に記載の装置。
【請求項３】
前記プロセッサは、前記画像特徴間の情報理論的尺度を用いて、前記構造マップに対する前記温度マップの空間的な位置合わせを実行する、請求項１または２に記載の装置。
【請求項４】
前記画像特徴間の前記情報理論的尺度は、相互情報量、正規化エントロピーまたは特徴効率である、請求項１〜３の何れか一項に記載の装置。
【請求項５】
前記マルチモーダルデータセットの温度データは、色で符号化され、前記構造データにオーバレイされる、請求項１〜４の何れか一項に記載の装置。
【請求項６】
構成情報が、前記プロセッサシステムから前記イメージングサブシステムへ逆送される、請求項１〜５の何れか一項に記載の装置。
【請求項７】
前記マイクロウェーブイメージング装置（６，７）は、ディッケ型ゼロバランスラジオメータ（８）に関連付けられたマルチ周波数マイクロウェーブアンテナアレイ（７）と、アナログ−デジタルコンバータ（９）とを有する、請求項１〜６の何れか一項に記載の装置。
【請求項８】
前記マイクロウェーブイメージング装置は、ファイアワイヤ接続（５）によって前記プロセッサ（４）と接続される、請求項７に記載の装置。
【請求項９】
前記第２のイメージングサブシステムは、非侵襲超音波サブシステム（１、２）である、請求項１〜８の何れか一項に記載の装置。
【請求項１０】
前記超音波サブシステム（１、２）は、USB2接続（３）によって前記プロセッサと接続される、請求項９に記載の装置。
【請求項１１】
前記データを空間的に対応させるために、前記マイクロウェーブイメージング装置（６、７）のセンサすなわち前記第１の検知手段（７）と前記構造イメージング装置のセンサが機械的に接続される、請求項１〜１０の何れか一項に記載の装置。
【請求項１２】
前記データを空間的に対応させるために、生じ得る画像の回転及び位置ずれに関して、画像特徴間の情報理論的尺度を最大化することにより、ソフトウェアツールがこのタスクを実行する、請求項１〜１０の何れか一項に記載の装置。
【発明の詳細な説明】
【背景技術】
【０００１】
ここ数十年の間、工業及び医療における診断技術に最も変革をもたらしてきた工学技術分野の一つが非破壊検査（ＮＤＥ）である。ＭＲ（磁気共鳴）、ＣＴ（コンピュータトモグラフィ）、ＵＳ（超音波）及び他のＮＤＥ装置は、診断分野の広範囲にわたって標準的なツールとなっている。さらに、それらが持つ体内構造の視覚化能力は、執刀医がその診療行為の侵襲を最小化することを可能とするので、それらは、現在、医療手術を大きく変えつつある。ＮＤＥ技術は、それら自身高価ではあるものの、高価な患者の入院期間を大きく減らせるので、経済的な観点からも興味深いものがある。品質保証及び破壊予測について優れた性能を発揮することができる工業用ＮＤＥにも同様のことが言える。
【０００２】
一つのＮＤＥ装置から得た情報は、常に体内の特定の物理特性に制限される。例えば、ＭＲ装置またはＣＴスキャナによって描写される情報は、関連性を有するも、非常に異なるものである。医用ＭＲ装置が軟組織を画像化するのに対し、ＣＴスキャナは異なるタイプの軟組織を区別することはできず、その一方で患者の骨格構造についての情報を提供する。そのため、実際には、両方のイメージング装置で提供される相補的な情報を活用するために、両方の装置は、必要なときには同時に使用される。それは、マルチモーダル情報、すなわち、単一のシステムでは事実上提供することのできない情報をもたらす。
【０００３】
ここで使用する、「マルチモーダル」は、少なくとも二つの画像化モードを使用することを意味し、その少なくとも二つの画像化モードは、データ取得プロセスにおいてそれらが画像化するシーンの物理特性によって異なる。
【０００４】
昨今における研究の方向の主なものの一つは、さらなる体内特性を測定できる新規なイメージングモダリティを見出すことにある。これらの特性の一つは、工業用標本または患者の体内温度である。温度は、例えば癌組織または電子回路における設計ミスに対して、高い識別特性を持つ。温度の画像化について、幾つかのアプローチが提案されているが、実際に市場価値のあるところまで到達しているものはない。
【０００５】
温度マップのデータ取得が可能な装置には、ＭＲスキャナ（体内）、赤外線装置（表面）及びパッシブマイクロ波イメージング装置（体内）がある。温度マップは、有用な情報を与えると考えられている。医用イメージングの場合、イメージング装置によって取得された温度マップは、例えば、腫瘍の熱切除中における体内温度分布についての情報、または、人体内の癌組織の存在、非存在についての情報を与えることができる。工業用途の関連では、温度マップは、例えば、電化製品の回路故障の予測及び予防に対して、特に有用である。
【０００６】
しかし、温度それ自身は、体内温度マップを提供するだけでなく、患者または研究中の標本の物理構造にそれらを関連付けるために、ＵＳ、ＣＴまたはＭＲのような他のイメージングモダリティのデータと組み合わせなければ、有用性が非常に限られた値でしかない。例えば、体内温度の上昇は、生体細胞の不均質性のため、癌細胞の存在を結論付けるには不十分である。それは、生体細胞の局所的な炎症から生じることもある。そのため、この不均質性を反映する生体構造データが、取得された温度マップの診断特異性を大きく上昇させる。
【０００７】
このように、温度マップは、医師及び検査者に温度データを補間する情報を提供するために、生体構造画像若しくは構造画像と併用して、医用上、及び工業上、最も有用となる。癌検出の場合、例えばＵＳまたはＣＴ装置によって取得された生体構造画像は、癌組織を検出するだけでなく、それらの生体構造の完全な位置を規定して、医師がそれらの治療計画を最適化することを可能にすることを保証する。電子回路については、温度マップは、基礎となる回路設計と関連した表現を得る。
【０００８】
現在、温度マップと生体構造情報のような、異なるイメージングモダリティは、逐次的に提供されるだけであり、同時に提供することはできない。その結果、温度イメージングに対する現存のアプローチには、以下の欠点が挙げられる。
【０００９】
第１に、生体構造情報及び構造情報は、医療診断または工業的な品質検査中に、例えば、熱切除中に、感度のある生体構造を位置決めするために、あるいは、その後に向上できる、基礎となる回路設計に対する集積回路の故障感度領域に関連付けるために、医師及び検査者にとって基礎的な必須要件である。そのため、関連する構造情報を同時に有することなく、単なる温度マップにアクセスすることは、温度マップそれ自身が基礎となる構造についての如何なる情報も提供しないので、極めて制限的な要因となる。
【００１０】
第２に、医用用途の場合、医師は生体構造データを検査しており、新規な温度イメージング装置による温度マップを解釈することについての実践的な経験は殆ど持っていない。そのため、温度マップと従来の生体構造イメージングモダリティの適切な組み合わせは、取得された温度マップを解釈する医師の仕事を非常に容易にする。
【００１１】
第３に、温度及び構造情報が逐次的な手法で取得された場合、相互間の位置ずれのないマルチモーダルデータセットを融合し、視覚化できるようにするために、連続する画像化プロセス中及び画像化プロセス間において、患者または検査される工業標本を物理的に固定すること、及び、イメージング装置に関してターゲットの位置を完全に決定することが必要となる。
【００１２】
第４に、二つの異なるイメージング装置によって、物体の同一位置から両方のデータが同時に得られたとしても、その得られた画像を純粋に重ね合わせただけでは、冗長または無関係なデータも表示されるので、最適ではない。
【００１３】
第５に、体内温度の非侵襲検査に対して現在実際に使用できる唯一の装置はＭＲである。この装置は、非常に大きく、かつ非常に高価であり、大多数の医師にとって容易く利用できるものではない。
【発明の開示】
【００１４】
本発明は、別個のイメージング装置から得たデータを最適に融合し、視覚化する手段を提供することにより、上記の問題を解決するものである。
【００１５】
本発明の目的は、仮想マルチモーダル非侵襲イメージング装置にある。係る仮想マルチモーダル非侵襲イメージング装置は、第１の検知手段及び第１の処理手段を備え、検知される物体から、デジタル化された体内のマイクロウェーブ（ＭＷ）温度マップデータを提供する、第１のモノモーダル非侵襲マイクロウェーブイメージングサブシステムと、第２の検知手段及び第２の処理手段を備え、上記の検知される物体から、デジタル化された体内の構造マップデータを提供する、第２のモノモーダル非侵襲イメージングサブシステムと、温度マップと構造マップの空間位置合わせ、マルチモーダルデータセットへのデータ融合、及びそのマルチモーダルデータセットの視覚化を実行するマルチモーダル信号プロセッサとを有する。係るマルチモーダル信号プロセッサ（４）は、入力画像の空間的な対応について最も関連のある画像特徴を検出かつ選択する特徴抽出を含む。
【００１６】
ここで使用されているように、「空間位置合わせ（spatial registration）」は、二つのデータセットが空間的に対応すること、すなわち、一つのデータセットにおける各ポジションについて、第２のデータセットにおける対応ポジションが既知であることをいう。
【００１７】
このように、個々のイメージング装置からデータストリームを受信するプロセッサシステムは、複数の入力データストリームからの情報を仮想的に融合された単一のデータストリームにするために、信号調整、画像位置合わせ及びデータ融合を実行する。
【００１８】
上記のプロセッサは、位置合わせプロセスのために、上記の温度マップ及び構造マップの対応する画像特徴を抽出することが好ましい。得られたデータストリームは、異なるイメージング装置からの入力データストリームの空間的な対応を保証する。
【００１９】
また上記のプロセッサは、データ融合ステップのために、上記の温度マップ及び上記の構造マップの相補的な画像特徴を抽出することが好ましい。それにより、システムは、異なる入力データストリームから得た全ての情報を完全かつ非常にコンパクトに表す視覚化を保証するために、異なるデータストリームからの冗長な情報を除去する。
【００２０】
上記のマルチモーダルデータセットの温度データは、色で符号化され、構造データにオーバレイされることが好ましい。システムは、得られた単一のデータストリームをコンピュータスクリーン上に視覚化する。
【００２１】
上記のプロセッサシステムから上記のイメージングサブシステムへ、構成情報を逆送することが好ましい。
【００２２】
システムは、異なるイメージング装置に対する幾つかの入力を有し、そのうちの一つは温度データを提供し、その他は相補的な構造情報を提供する。温度イメージング装置と、１または２以上の構造イメージング装置からのデータストリームは、USB2、IEEE1394、イーサネット（登録商標）、S-Video若しくはその他のような、標準的なネットワーク及びデータ接続を通じてプロセッサシステムへストリームされる。S-Videoのようなアナログストリーミング接続の場合、最新のアナログ−デジタルコンバータまたはフレームグラバが、アナログデータをデジタル化し、得られたデジタル表現をプロセッサに渡す。
【００２３】
データを空間的に対応させるために、イメージング装置を機械的にリンクし、データを対応させる変換を予め求めるように較正してもよい。そして得られた変換をリアルタイムで適用することができる。あるいは、生じ得る画像の回転及び位置ずれに関して、画像特徴間の情報理論的尺度を最大化することにより、ソフトウェアツールでこの空間位置合わせのタスクを実行する。さらに、そのソフトウェアは、得られたデータを一つのマルチモーダルデータセットに融合する前に、異なるイメージングモダリティの最も相補的かつ関連のある画像特徴及び特性を抽出する。最後に、得られた画像を表現するマルチモーダル情報を、コンピュータスクリーン上で視覚化する。
【００２４】
ここで使用されるように、最終的なシステムの「リアルタイム」能力は、コア装置に接続された個々のイメージングサブシステムのリアルタイム能力と大きく違わないリアルタイム能力をいう。
【００２５】
またここで使用されるように、「情報理論的尺度」は、エントロピー、結合エントロピー、相互情報量などのような、情報理論的な統計量から構成される全ての関数をいう。
【００２６】
システムは、二つのデータストリーム、例えば、ＭＷ温度イメージング装置からの２Ｄ温度データ（T(x,y)と記す）と、構造イメージング装置からの２Ｄ構造データ（S(x',y')と記す）を信号プロセッサへストリームする。ここで、x、yは、それぞれ、温度ＭＷデータTの離散的な画像空間をパラメータ化したものであり、x'、y'は、それぞれ、構造データSの離散的な画像空間をパラメータ化したものである。マッピングｍα:(x',y')->(x,y)は、画像空間T及び画像空間Sの両方の間の空間的な対応を提供する。ここでαは、剛体位置合わせ又は非剛体位置合わせについての位置合わせパラメータであり、例えば、αは、２Ｄ構造データフレームを３Ｄへの変換及び回転をパラメータ化し、それらを温度マップと合わせる。同様に、温度画像空間から構造データ画像空間へのマッピングｍα':(x,y)->(x',y')を行ってもよい。このとき、α'は、２ＤのＭＷデータフレームの変換及び回転をパラメータ化する。マッピングパラメータαと、αの決定を可能にする画像特徴は、同時に求められなければならない。数学的に、特徴抽出は、それぞれ、画像マッピングkβ:T(x,y)->kβ(T(x,y))及びlγ:S(x',y')->lγ(S(x',y'))として定式化できる。ここで、β及びγは、それぞれ特徴抽出パラメータである。位置合わせプロセスに対して生画像データの代わりに画像特徴を用いる目的は、マルチモーダルデータに含まれる全ての情報が位置合わせプロセスに対して適切であるというわけではないという事実を反映している。画像特性によっては、例えば画像ノイズのように、一方のモダリティにのみ表れ、位置合わせプロセスに対して何等信頼できる入力を与えることができず、むしろアルゴリズムの信頼性を低下させる。そのため、マルチモーダル位置合わせプロセス内の特徴抽出ブロックは、入力画像の空間的な対応について最も関係のある画像特徴を検出し、この目的のために何等使用されないものを除去する。
【００２７】
最も関連のある画像特徴の抽出と最適な位置合わせパラメータαの決定を同時に可能にする最適化の対象は、
【数１】
2008526399.tif 000003
と表される。
【００２８】
この関数は、特徴効率と呼ばれる。I(.,.)は、相互情報量を表し、H(.,.)は、結合エントロピーを表す。FTは、温度データTの特徴から推定される確率密度pTを持つランダム変数であり、FSは、構造データSの特徴から推定される確率密度pSを持つランダム変数である。ヒストグラムを用いて、ランダム変数FS、FT及び結合ランダム変数FS,Tに対する確率密度pS、pT及び結合確率pS,Tをそれぞれ推定するために、以下の式を採用する。fS、fTは、それぞれ、データS及びTから抽出された特徴量である。
【数２】
2008526399.tif 000004
ここで、Nはデータセットから抽出された特徴数であり、δa,bは、a=bのとき、1となり、それ以外の場合は0となる、クロネッカーのδ関数である。パルツェン窓の確率推定のような、他の確率推定量を使用してもよい。この確率推定ステップは、図８の位置合わせプロセスに対して重要である。その後、情報理論的尺度を、これらの確率密度を用いて評価し、最適化することができる。
【００２９】
これらの定義を用いて、相互情報量及びエントロピーの完全な表現を与えることができる。
【数３】
2008526399.tif 000005
【００３０】
図８では、結合確率推定そのものがブロック図に含まれている。これは、周辺確率密度pS及びpTを、代わりに、ヒストグラムによって評価される結合確率密度pS,Tそれ自身から直接計算できるからである。
【００３１】
特徴効率の代替案として、正規化エントロピーを、最適化プロセスを駆動するために使用してもよい。それは次のように定義される。
【数４】
2008526399.tif 000006
【００３２】
特徴効率の場合、得られたデータの位置合わせプロセスは以下のように定式化できる。
【数５】
2008526399.tif 000007
【００３３】
図８にこのプロセスの概要を示す。位置合わせパラメータと画像特徴を適合する動作は、パラメータα、β及びγの適合を参照する。極大化のために、どのような適切な最適化アルゴリズムを使用してもよい。
【００３４】
前記のパラグラフで述べたように、画像位置合わせに関連する第１のデータ特徴抽出に対比して、データ融合のための第２の特徴抽出は、データセットから冗長な情報を除去しつつ、互いに最も相補的な初期データセットの特徴を抽出することを目的とする。その特徴抽出プロセスは、その実行するものが異なるとしても、数学的に前記のパラグラフと同様の方法で記述される。そのため、入力温度マップ及び構造マップからの特徴抽出は、それぞれ、マッピングoδ:T(mα(x,y))->oδ(T(mα(x,y)))、uε:S(x',y')->uε(S(x',y'))で表される。δ、εはまた、それぞれ、ＭＷ温度マップT(x,y)の特徴抽出パラメータ及び構造データ装置S(x',y')の特徴抽出パラメータを表す。その抽出プロセスは、前記のパラグラフのように、同一の最適化関数の最小化によって駆動される。数学的に、これは以下のように書ける。
【数６】
2008526399.tif 000008
【００３５】
その最適化プロセスに対しても、適合するどのようなアルゴリズムも採用することができる。
【００３６】
位置合わせについて最適化される対象は最大化されなければならない一方で、データ融合について最適化される対象は最小化されなければならないという事実は、データ融合が入力データの全ての有用な情報を保ちつつ、冗長な情報を除去することを目的としているという事実を反映している。位置合わせの場合、この冗長な情報、すなわち、両方の入力データセットに存在する情報こそが、位置合わせプロセスで最適な空間の対応を得られるようにすることができる。
【００３７】
得られたデータセットoδ(T(mα(x,y)))及びuε(S(x',y'))は、その後融合される。融合結果のおかげで医師または工業検査者が単一の物理システムと仕事している印象を受けるので、最終的なデータ融合は、システムの一般的な設計に関して基礎的なステップである。この目的のために、前述した信号処理ステップから得られた、温度マップデータoδ(T(mα(x,y)))は、色で符号化される。
【００３８】
得られたカラーマップ温度データを構造データuε(S(x',y'))にオーバレイして、仮想的な補強画像を得ることができる。このプロセスは、図９に示した「融合規則」と呼ばれるものの実装になる。それは、OpenGL（登録商標）またはDirectX（登録商標）のような、商用の視覚化ソフトウェアパッケージによりプログラムできる。また、これらのソフトウェアを、得られたマルチモーダルデータストリームのリアルタイム視覚化に採用することもできる。
【００３９】
本発明の他の特徴及び利点は、以下の特定の実施態様の説明と図から、当業者に明らかとなるであろう。
【発明を実施するための最良の形態】
【００４０】
図１は、システムの一般的な設計を表す。異なるイメージング装置からのデータは、USB2、IEEE1394若しくはイーサネット（登録商標）のような標準的なネットワークまたはデータストリーミング接続を通じて、プロセッサシステムへストリームされる。標準的なネットワーク接続を採用するので、システムのフレームキャプチャ能力の実装は、サブシステムまたはフレームグラバプロバイダの技術仕様に関連する。必要なデバイスドライバ及びアプリケーションインターフェース（API）は、商用サプライヤから提供されている。
【００４１】
イメージングサブシステムがそのような方法で設計される場合、検査者にサブシステムと直接対話する影響を与えるため、構成情報をプロセッサシステムからイメージングサブシステムへ戻す。入力装置からのデータは、プロセッサシステム内で処理され、融合された後、コンピュータスクリーン上に視覚化される。
【００４２】
図２に示した異なる画像処理ステップを、入力ネットワーク接続を通じてデータが到達するにつれて連続して実行することは、仮想マルチモーダルイメージング装置につながる。そのため、医師または工業検査者は、得られたマルチモーダルデータセットを同時に解釈することができ、また、サブシステムがそのように設計されている場合、異なるサブシステム、すなわち、ＭＷ装置及び構造学的装置と、それらが単一のデータストリームそのものを生成する、単一のマルチモーダル装置そのものであるかのように、対話することができる。
【００４３】
図２は、スクリーン上に視覚化する前に、プロセッサシステムで実行される異なる画像処理ステップの概要を示す。より詳細には、プロセッサシステムは、入力データストリームの空間的な対応を保証するためのデータの位置合わせと、検査者に対して最も関連のある情報及び唯一の関連のある情報を提供するためのデータ特徴抽出と、検査者に単一のイメージング装置のみを用いて仕事をしている印象を与えるためのデータ融合とを実行する。以下の例では、これらの個々のデジタル画像処理ステップを、特定の実装システムについて詳細に述べる。
【００４４】
例：熱による肝腫瘍切除に対する実装
図３において、肝腫瘍の熱切除を監視するための具体的なシステムセットアップの概要を説明する。肝臓は、西欧諸国で680,000ケース／年の発生率である、主な腫瘍の場所の一つである。肝臓癌の熱切除中、細い針を、その先端部が腫瘍容積内に到達するまで、経皮的に導入する。先端部において、無線周波数で腫瘍細胞を細胞が死ぬことが確実な温度まで熱する。この手順において、二つの特性がその治療の成功のための基礎となる。一つは、全ての癌細胞を殺さなければならないことであり、もう一つは、可能な限り健康な細胞を切除しないことである。このため、生体構造、針の位置及び温度プロファイルのリアルタイムの監視を、ここに提示する具体的なシステムは提供すべきである。
【００４５】
最新のパーソナルコンピュータ（ＰＣ）に実装されたプロセッサシステムに接続された二つのイメージングサブシステムがある。一つは、患者の２Ｄ体内温度マップを提供するマイクロウェーブ（ＭＷ）イメージング装置であり、もう一つは、患者の生体構造の２Ｄスライス及び針の位置を画像化する超音波（ＵＳ）イメージング装置である。図３、４及び５に概略的に示すように、両方のシステムは、生体構造データ及び温度マップをリアルタイムでストリームするリアルタイムネットワーク接続を通じてＰＣに接続される。このため、ＵＳ装置はUSB2接続を使用し、一方、ＭＷシステムはファイアワイヤ接続を採用する。
【００４６】
パーソナルコンピュータ（ＰＣ）は、以下の構成要素を備える。
・テレメドのUSB2通信用C++API及びＵＳ装置ドライバ（リファレンス［１］を参照）
・ユニブレーンのファイアワイヤドライバ及びC-API（リファレンス［６］を参照）
・マルチモーダルデータ位置合わせ用ソフトウェア
・データ融合及び視覚化用VTK（リファレンス［１２］を参照）
・グラフィカルユーザインターフェース用Qt（リファレンス［１３］を参照）
【００４７】
リファレンス［１］及びリファレンス［６］にその詳細が見られる、市販のドライバ及びC/C++アプリケーションインターフェース（API）を用いて、プロセッサシステムはリアルタイムで接続されたサブシステムからそれぞれのデータセットを受信する。個々のイメージングサブシステムからデータを個別、かつ同期した方法で受信するよう実装されたＰＣ４上の個々のＣスレッドから、APIは呼び出される。
【００４８】
採用されたＵＳサブシステムは、リトアニアのテレメドによって製造された市販のEcho Blaster１２８である（リファレンス［１］を参照）。２次元のＵＳフレームは、USB2接続３を通じてＵＳビーム形成器２からＰＣ４へストリームされ、構成の変更は、ＰＣ４からビーム形成器２へ逆送される。さらに、テレメドは、ハードウェアドライバ及びマイクロソフト（登録商標）のDirectX（登録商標）テクノロジーに基づくウインドウズ（登録商標）用C++アプリケーションインターフェース（API）を提供する。様々なＵＳトランスデューサ１もテレメドから提案されており、プログラマがＵＳ装置に基づいて完全に機能するＰＣを容易に実装することを可能としている。
【００４９】
図６は、ＭＷイメージングシステムのハードウェアの構成要素を示す。構成されるマイクロウェーブサブシステムは、リファレンス［２］においてヤコブセン及びスタウファーにより開示されたマルチ周波数螺旋ＭＷアンテナアレイ７を有する。個々のアンテナによって検知される信号は、リファレンス［３］においてヤコブセン等によって記載されたように、個々のディッケ型ゼロバランスラジオメータ８を通る。各ラジオメータ８からのアナログ信号は、異なる周波数で検知された位置における輝度温度に直接的に関連する。ORS-116（リファレンス［５］を参照）のような、オルシスの組み込み型アナログ−デジタルコンバータ９は、これらのアナログ輝度温度をそのデジタル表現に変換する。アナログ−デジタルコンバータ９は、幾つかのアナログ入力を持つため、異なるアンテナからの輝度温度を連続してデジタル化することができる。そして輝度温度の２次元グリッドが得られる。グリッド点の数は、個々のアンテナで検知できる周波数の数とアンテナアレイ７に接続されたアンテナの数により決定される。
【００５０】
輝度温度は、異なる位置における実際の体内温度に直接的に関連する。輝度温度から実際の体内温度の２次元グリッドを再構成するために、リファレンス［４］においてヤコブセン及びスタウファーによって開示されたアルゴリズムを、オルシスのアナログ−デジタルコンバータ９から出力グリッドに適用する。実際には、リファレンス［４］のアルゴリズムは１Ｄの温度プロファイルを再構成するので、それをアンテナアレイ７の個々のアンテナの輝度温度に連続して適用する。再構成された１Ｄの温度プロファイルの組み合わせは、２Ｄの温度マップとなる。リファレンス［４］の再構成アルゴリズムは、オルシスから販売されている、組み込み型Compact C6713システム１０（リファレンス［５］を参照）上に実装される。実際には、オルシスのアナログ−デジタルコンバータ９を、Compact C6713組み込み型システム１０のマイクロバスに直接接続することができる。２Ｄ温度マップの連続したフレームは、Compact C6713システムのファイアワイヤ接続５を通じてＰＣ４のファイアワイヤコネクタにストリームされ、一方システム構成パラメータは、ＰＣ４からCompact C6713デバイスへ逆送される。ＰＣ４では、ユニブレーンのファイアワイヤドライバ及びC-APIは、プログラマが完全に機能する温度監視イメージング装置を実現するためのツールを用いることを容易にする。
【００５１】
ＭＷ装置からの温度マップを、空間的な対応を保証しつつＵＳフレーム上にオーバレイするために、ＵＳトランスデューサ１は、ＭＷアンテナアレイ７に物理的にリンクされる。これは、両方のデータセットが同一の画像面内で得られ、両方の装置の画像化される領域が大きく重なることを保証する。図７に、二つのトランスデューサ間のリンクの概要を示す。二つのトランスデューサは、回転ジョイント１１を通じて接続され、それは患者の生体構造、例えば、曲線状または直線状の皮膚表面１２による回転角αに適合させることを可能とする。結果として、二つのデータセットは、ともに同一の画像平面にあるものの、それらは互いに対して角度αで回転している。ＭＷアンテナアレイ７の視野は１５で示され、ＵＳトランスデューサ１の視野は１６で示される。ＵＳトランスデューサ１とビーム形成器２間のアナログ接続は１４で示され、アンテナアレイ７とシステム６間のアナログ接続は１３で示される。そこで、空間的な対応をともなったデータのオーバレイを提供できるようになる前に、この角度αを、その回転の差を補償するために決定しなければならない。二つのデータセットを空間的に対応させるこのプロセスは、データの位置合わせを提供する。具体的な位置合わせアルゴリズムは、ＰＣ４上に実装される。
【００５２】
図８に、ＵＳとＭＷのスキャン間の回転オフセットαを補償することを可能とする位置合わせプロセスの概要を示す。システムは、接続５及び３を介して、一つはＭＷ装置６からの温度データ（T(x,y)と記す）と、もう一つはＵＳ装置２からの構造データ（S(x',y')と記す）を信号プロセッサＰＣ４へストリームする。ここで、前記のパラグラフで述べたように、x、yは、それぞれ、温度ＭＷデータTの離散的な画像空間をパラメータ化したものであり、x'、y'は、それぞれ、構造ＵＳデータSの離散的な画像空間をパラメータ化したものである。図７に示すように、ＭＷデータの画像空間と、ＵＳフレームの画像空間とは、回転角αだけ異なる。両方の空間的な対応を連続して見つけるために、可変角αを、それを補償するため、連続的に決定する。これは、αをマッピングの単一値の回転変換とした、マッピングｍα:(x',y')->(x,y)を決定することに対応する。データセットS及びTは、検査される患者について異なる情報を表す。以下に、このマッピングの決定を説明し、図８に、このマッピングの決定を概念的に示す。
【００５３】
実際には、回転角α及びαを決定することを可能にする画像特徴の両方を、同時に求めらなければならない。これは、二つのイメージングモダリティの性質により、生データが相互の位置合わせを直接可能にする対応情報を含まないためである。むしろ、回転角αの決定に関連のある情報を表すデータの特徴を決定しなければならない。本発明で開示されるように、位置合わせパラメータα及びαの決定に関連のある特徴の決定が同時になされる。
【００５４】
特徴抽出ステップは、例えば、抽出すべき特徴についての先の情報を考慮したり、離散的あるいは連続的にパラメータ化された特徴など、具体的な実装を様々に行うことができる。この例で述べる具体的な実装に関して、特徴抽出パラメータβ及びγは、リファレンス［７］でリンデンバーグにより述べられた尺度空間画像分解の特定尺度を表す。マルチモーダル位置合わせプロセス内の特徴抽出ブロックは、入力画像間の空間の対応の決定に最も関連のある画像特徴を検出し、使用されない画像特徴を除去する。この実装例では、画像特徴は初期データセットの尺度空間分解の特定尺度に制限されるという事実は、画像特徴が良好な位置合わせをもたらす既知の情報を反映している。また、尺度空間分解における最良の尺度が一定となることは保証されないので、開始時点から精密な尺度を固定しない。むしろ、例えば、テレメドがマルチ周波数トランスデューサを提供したことにより、ＵＳ画像の取得について使用される周波数を変更するといった、画像取得プロセスにおけるパラメータの変更とともに、それは変化することもある。
【００５５】
尺度区間画像分解の最良尺度、すなわち、空間位置合わせのために最良の特徴量の抽出と最適な位置合わせ角αの決定を同時に可能にする最適な対象は、特徴効率と呼ばれ、上記のように、
【数７】
2008526399.tif 000009
と書ける。リファレンス［８］における、トーマス．Ａ．コーバーの教示にしたがい、FTは、温度データTから推定され、FSは、構造データSから推定される。リファレンス［９］においてＴ．ブッツが述べているように、FS、FT及び結合ランダム変数FS,Tに対する確率推定量としてヒストグラムを採用する。これは、ランダム変数FS、FT及びランダム変数FS,Tのそれぞれに対して、確率密度pS、pT及びpS,Tを推定するために、以下の式を採用することを意味する。
【数８】
2008526399.tif 000010
ここで、Nはデータセットから抽出された特徴数である。δa,bは、a=bのとき、1となり、それ以外の場合は0となる、クロネッカーのδ関数である。パルツェン窓の確率推定のような、他の確率推定量を使用してもよい。情報理論的尺度を、これらの確率密度を用いて評価し、最適化することができるので、この確率推定ステップは、図８の位置合わせプロセスに対して重要である。
【００５６】
位置合わせパラメータと画像特徴を適合する動作は、パラメータα、β及びγの適合を参照する。極大化のために、パウエル法（リファレンス［１０］を参照）、遺伝的最適化（リファレンス［１１］を参照）のような最適化アルゴリズムを使用することができる。
【００５７】
前記のパラグラフで述べたように、画像位置合わせに関連するデータ特徴抽出に対比して、データ融合のための特徴抽出は、データセットから冗長な情報を除去しつつ、互いに最も相補的な初期データセットの特徴を抽出することを目的とする。入力温度マップ及びＵＳデータからの特徴抽出は、それぞれ、マッピングoδ:T(mα(x,y))->oδ(T(mα(x,y)))、uε:S(x',y')->uε(S(x',y'))で表される。δ、εは、それぞれ、初期のＭＷ温度マップT(x,y)及びＵＳ装置の生体構造データS(x',y')のリファレンス［７］による尺度空間分解の特定尺度を表す。その抽出プロセスは、前記のパラグラフのように、同一の最適化関数ｅの最小化によって駆動される。
【００５８】
最適化プロセスについても、パウエル法や遺伝的最適化のようなアルゴリズムを採用することができる。その後、得られたデータセットoδ(T(mα(x,y)))及びuε(S(x',y'))は融合される。
【００５９】
データ融合について、先に述べた信号処理ステップから得られた温度マップoδ(T(mα(x,y)))は、自然な解釈を反映するために、色で符号化される。例えば、ホットスポットは赤、コールドスポットは青にする。温度データt(x,y)=oδ(T(mα(x,y)))が、最初に［tmin,tmax］内のスケーラで表現される場合、そのような温度マッピングは、以下の色符号化式で実行される。
【数９】
2008526399.tif 000011
【００６０】
得られたカラーマップ温度データは、構造データuε(S(x',y'))上に半透過的にオーバレイされ、仮想的な補強画像を得ることができる。この例では、VTK（視覚化ツールキット）ソフトウェア（リファレンス［１２］を参照）を、データ融合及び視覚化パッケージとして採用する。
【００６１】
トロールテックの販売するソフトウェアQt（リファレンス［１３］を参照）を、グラフィカルユーザインターフェースを実装するために採用する。そのグラフィカルユーザインターフェースは、医師が、ＵＳ装置及びＭＷ装置にそれぞれ接続するUSB2及びファイアワイヤを通じてイメージングサブシステムと直接対話できるような方法で設計される。このように、異なる画像処理ステップを、入力ネットワーク接続を通じてデータが到達するにつれて連続して実行することは、仮想マルチモーダルイメージング装置につながる。そのため、医師は、得られたマルチモーダルデータセットを同時に解釈することができ、ＭＷサブシステム及びＵＳサブシステムと、それらが単一のデータストリームそのものを生成する、単一のマルチモーダル装置そのものであるかのように、対話することができる。
【００６２】
上記の発明は、工業検査者及び医師に、同時かつリアルタイムで、若しくはオフラインで、一方が構造データで他方が温度データの両データを提供する能力を有する。さらに、異なるイメージングモダリティからの情報がマルチモーダル信号プロセッサによって結合されるので、異なるモダリティからの、関連のある、相補的な情報も結合され、個々のサブシステムに対して高い価値を有する仮想的に補強された単一のシステムをもたらす。
【００６３】
個々のデータ取得システムとプロセッサ間のデータストリーム接続のオープンスタンダードテクノロジーは、工業検査者または医師の快適性及び必要に応じて、イメージングサブシステムの除去及び追加を可能とする。これは、１Ｄ、２Ｄ、３Ｄまたは混合データ及びデータシーケンスに適用する。
【００６４】
・リファレンス
［１］http://www.telemed.lt
［２］Ｓ．ヤコブセン、Ｐ．Ｒ．スタウファー、「一体型のウォーターボーラスとともにデュアルモードアンテナを用いた均質性劣化ファントムにおける温度プロファイルのマルチ周波数無線測定」、IEEE Transactions on Microwave Theory and Techniques、vol.50、no.7、pp.1737-1746、2002年7月
［３］Ｓ．ヤコブセン、Ｐ．Ｒ．スタウファー、「表面組織疾患の非侵襲温度測定及びマイクロウェーブヒーティング用デュアルモードアンテナの設計」、IEEE Transactions on Biomedical Engineering、vol.47、pp.1500-1509、2000年11月
［４］Ｓ．ヤコブセン、Ｐ．Ｒ．スタウファー、「少量の無線測定データにティホノフ正規化を用いた劣化メディアのノンパラメトリック１Ｄ温度再構成」、IEEE Transactions on Biomedical Engineering、vol.50、pp.178-188、2003年2月
［５］http://www.orsys.de
［６］http://www.unibrain.com
［７］Ｔ．リンドバーグ、「尺度空間理論：異なる尺度における構造解析の基礎ツール」、J. of Applied Statistics、vol. 21(2)、pp.224-270、1994年
［８］トーマス．Ａ．コーバー、「情報理論の基礎」、ワイリー・インターサイエンス
［９］Ｔ．ブッツ、「誤差確率から情報理論的信号及び画像処理へ」、論文No.2798、ITS、EPFL
［１０］ウィリアム  Ｈ．プレス著、「Numerical Recipes in C」、ケンブリッジ大学出版
［１１］http://lancet.mit.edu/ga/
［１２］http://www.vtk.org
［１３］http://www.trolltech.com
【図面の簡単な説明】
【００６５】
【図１】システム設計のブロック図である。
【図２】図１のプロセッサシステムの詳細を示すブロック図である。
【図３】図１のシステム設計の実装例を示す図である。温度の画像化はマイクロウェーブ（ＭＷ）装置によって実行され、一方、超音波（ＵＳ）装置が生体構造情報を提供する。
【図４】図３のＵＳサブシステムを表す図である。
【図５】図３のＭＷサブシステムを表す図である。
【図６】図５のＭＷサブシステムの詳細を表す図である。特に、ＭＷトランスデューサーを組み上げるマルチ周波数螺旋アンテナが示される。
【図７】ＵＳトランスデューサとＭＷトランスデューサをどのように接続するかを示す図である。
【図８】画像位置合わせプロセスのブロック図である。図において概要として示されるように、構造データが変換されるか、あるいは温度マップが構造データ上に空間的に変換される。
【図９】画像融合プロセスのブロック図である。温度マップ及び構造データは既に位置合わせされたデータを参照する。
【図１】
2008526399.tif 000012
【図２】
2008526399.tif 000013
【図３】
2008526399.tif 000014
【図４】
2008526399.tif 000015
【図５】
2008526399.tif 000016
【図６】
2008526399.tif 000017
【図７】
2008526399.tif 000018
【図８】
2008526399.tif 000019
【図９】
2008526399.tif 000020
【国際調査報告】
2008526399.tif 000021
2008526399.tif 000022
2008526399.tif 000023