(57)【特許請求の範囲】
【請求項１】
第１の３次元画像及び第２の３次元画像が階調ボクセル値の３次元配列により構成され、各３次元画像にボクセル値の周辺確率密度関数が与えられた、第１の３次元画像及び第２の３次元画像を位置合わせする方法であって、
一つ以上の事前確率密度関数推定値を得るため、第１の３次元画像及び第２の３次元画像に対し一つ以上の事前ボクセル値同時確率密度関数を決定する手順（ａ）と、
第１の３次元画像に対する第２の３次元画像の幾何学的関係を定義する第１の変換を選択する手順（ｂ）と、
一つ以上の事前確率密度関数推定値を用いて、幾何学的関係に対するクロス・エントロピーの尺度を計算する手順（ｃ）と、
第１の３次元画像に対する第２の３次元画像の幾何学的関係を定義する別の変換を選択する手順（ｄ）と、
クロス・エントロピーの最適化尺度を与える幾何学的関係に対応した最適な変換が計算されるまで、手順（ｃ）及び手順（ｄ）を反復的に繰り返し実行する手順（ｅ）と、
を有し、
前記事前確率密度関数推定値の個数は１個であり、
前記事前確率密度関数推定値は、起こり得る確率密度関数推定値であり、
クロス・エントロピーの最適化された尺度は、クロス・エントロピーの最小化された尺度である、方法。
【請求項２】
最適な変換を表わすデータを保持する手順と、
最適な変換を用いて第１の３次元画像と第２の３次元画像を位置合わせする手順と、
のうちから選択された少なくとも一方の手順を更に有する、
請求項１記載の方法。
【請求項３】
第１の３次元画像と第２の３次元画像から形成された複合画像を表示する手順を更に有する、
請求項１又は２記載の方法。
【請求項４】
階調ボクセル値の３次元配列により構成された第１の３次元画像及び第２の３次元画像を位置合わせする画像処理システムであって、
位置合わせプロセッサと、位置合わせされるべき複数の３次元画像表現を保持する関連したメモリと、
を含み、
位置合わせプロセッサは、
第１の３次元画像及び第２の３次元画像に対し、対応した一つ以上の事前確率密度関数推定値を得るため一つ以上の事前同時確率密度関数を決定する手段と、
一つ以上の事前確率密度関数推定値を用いて第１の３次元画像と第２の３次元画像の間の複数の幾何学的関係に対するクロス・エントロピーの尺度を計算するクロス・エントロピー計算器と、
第１の３次元画像と第２の３次元画像の間の幾何学的関係を定義する最適な変換を見つけるためクロス・エントロピーの尺度を最適化する最適化プロセッサと、
を具備し、
位置決めプロセッサに接続され、最適な変換を表わすパラメータを保持するメモリと、
第１の３次元画像及び第２の３次元画像から複合画像表現を形成する表示システムと、
が更に設けられており、
前記事前確率密度関数推定値の個数は１個であり、
前記事前確率密度関数推定値は、起こり得る確率密度関数推定値であり、
クロス・エントロピーの最適化された尺度は、クロス・エントロピーの最小化された尺度である、画像処理システム。
【請求項５】
診断映像用スキャナと、
第１の３次元画像及び第２の３次元画像の複合画像が表示されるディスプレイと、
第１の３次元画像及び第２の３次元画像の一つ以上の空間配置に対する事前同時確率統計値を保持するメモリと、
のうちの少なくとも一つを更に有する請求項４記載の画像処理システム。
【請求項６】
診断映像用スキャナは、磁気共鳴スキャナ、Ｘ線コンピュータ断層撮影スキャナ、陽電子放出断層撮影スキャナ、単光子放出コンピュータ断層撮影スキャナ、超音波スキャナ、並びに、これらの組合せのうちから選択される、請求項５記載の画像処理システム。
【発明の詳細な説明】
【０００１】  〔発明の背景〕
本発明は、画像処理システム及び方法に係り、特に、二つ以上の画像を複合画像に結合する画像位置合わせシステムに関する。本発明は、特に医用画像化の分野に適用されるが、本発明は、多数の画像が相互に関連付けられ、複合画像に結合されるタイプのその他の映像システムにも適用できることが認められるであろう。
【０００２】  多様な映像化方式による容積（３次元）画像の取得は、医用分野において周知である。このような方式には、たとえば、磁気共鳴映像化（ＭＲＩ）技術、Ｘ線コンピュータ断層撮影（ＣＴ）技術、陽電子放出断層撮影（ＰＥＴ）技術及び単光子放出コンピュータ断層撮影（ＳＰＥＣＴ）のような核映像化技術、並びに、超音波技術などが含まれる。このようにして取得された３次元画像は、典型的に、たとえば、コンピュータメモリに、ボクセル（体積要素）値の配列として、デジタル的に保持される。各ボクセルは、３次元空間内の位置（たとえば、ｘ、ｙ及びｚ座標）と関連付けられ、典型的に階調輝度値であるカラー値が割り当てられる。
【０００３】  画像融合、又は、複数の関連画像からのデータを統合する複合画像を形成するための複数の関連画像の結合は、屡々、臨床の場面で望まれる。殆どの場合に、結合画像は、画像を別々に観察することによっては得られなかったであろう識見を診断医に提供する。異なる映像化様式によって本質的に補完的な情報が得られる傾向があるので、多数の様式の画像融合は、屡々、有用である。たとえば、コンピュータ断層撮影（ＣＴ）映像化及び磁気共鳴（ＭＲ）映像化は、主として、解剖学的情報又は構造的情報を与えるのに対し、単光子放出断層撮影（ＰＥＴ）は、機能的情報及び代謝に関する情報を提供する。機能的又は代謝的な画像を、構造的又は解剖学的な画像と組み合わせることは、機能的な画像の場所を突き止める際に補助になる。たとえば、腫瘍学の領域において、機能的画像の正確な位置決めによって、臨床医は病変の進行及び／又は治療効果を判断できるようになる。また、このような診断調査結果は、精密な位置決めが標的細胞周辺の健康細胞への影響を最小限に抑えるために必要とされる外科及び／又は放射線療法的な計画に使用される。また、時には、同じ映像化様式からの画像を結合することが望ましい。たとえば、ＭＲ血管造影画像、コントラスト強調ＭＲ画像、或いは、機能的ＭＲＩ（ｆＭＲＩ）画像のような多数のＭＲスキャンの結果を、解剖学的ＭＲ画像のような別のＭＲ画像と組み合わせる方が望ましい場合がある。
【０００４】  多数の画像からのデータの意味のある統合のためには、画像が適切に位置合わせされていることが重要である。画像位置合わせには、画像が明白に結合されるように、画像を空間的に揃えることが含まれる。従来技術において、多数の画像位置合わせ技術が知られている。
【０００５】  ある画像位置合わせ技術では、画像に表現された対象の構造に習熟した人が、位置合わせされるべき各画像の中の目印の集まりにラベルを付ける必要が生じる。次に、二つの画像は、二つの画像の目印間の既知の関係に基づいて位置合わせされる。この画像位置合わせ方法の一つの限界は、位置合わせ精度が選択された目印の個数及び場所に依存することである。選択した目印が非常に少ない場合、位置合わせは不正確になる。非常に多数の目印を選択しても、必ずしも正確な位置合わせが保証されるわけではなく、逆に、位置合わせの計算的複雑さが増加する。また、人手による操作が必要とされ、時間がかかる。さらに、全ての画像で適切な構造上の目印を識別できるとは限らない。
【０００６】  最近、２種類の映像化方式が単一の映像化装置に組み込まれている。この画像位置合わせのための統合ハードウェア手法は、コスト面及び物流面の理由のため、画像位置合わせの問題に対する最適な解決策として不十分である。殆どの場合に、ハードウェアによる位置合わせは、非現実的であり、かつ、不可能であり、ソフトウェアに基づく位置合わせ技術に頼らざるを得ない。たとえば、このようなハードウェアによる技術は、たとえば、治療効果を時間的に監視するとき、又は、対象間での比較、若しくは、アトラス間の比較を伴うアプリケーションのように、異なる時間に取得された画像、又は、異なる対象から取得された画像の位置合わせに適用できない。ソフトウェアによる位置合わせは、ハードウェアに基づく解決法が位置合わせのために使用される場合であっても、必要になる場合がある。たとえば、ソフトウェアによる位置合わせは、ＰＥＴ及びＳＰＥＣＴにおけるトランスミッション及び放出スキャンのように同じ機械で行われた連続的なスキャンの間に生じた動きを訂正する場合、並びに、予め定められた処置計画に対する患者の位置を決める場合に必要である。
【０００７】  近年、完全な３次元ベースの位置合わせアルゴリズムが普及している。なぜならば、これらのアルゴリズムは、データ圧縮には依存せず、セグメンテーションが不要であり、かつ、殆ど或いは全くユーザの介入を伴わないからである。更に重要な点は、これらのアルゴリズムは、完全に自動化され、位置合わせ結果の定量的な推定値を与える点である。特に、相互情報アプローチであるエントロピーに基づくアルゴリズムは、完全な３次元ベースの位置合わせアルゴリズムの中で最も卓越したアルゴリズムである。殆どのアルゴリズムは、二つの方式からの画像データに関係する一部の目的関数を最適化する。しかし、これらの技術は、位置合わせされるべき画像ペアの事前知識を考慮に入れ、多数の事前推定値を組み合わせるための系統的な手法が欠けているので限界がある。
【０００８】  クロス・エントロピー（ＣＥ）は、相対エントロピー及びKullback-Leibler距離（情報量）としても知られているが、ランダム変数の二つの確率密度関数の間の差を定量化する尺度である。クロス・エントロピーは、スペクトル解析、画像再生、生化学、プロセス制御、非線形プログラミング、及び、電子密度推定などの領域に適用されているが、クロス・エントロピーは、尺度として、画像位置合わせには適用されていない・
したがって、本発明は、上述の問題点及びその他の問題点を解決する新しい改良型の画像処理システム及び方法を検討する。
【０００９】  〔発明の概要〕
本発明の第１の局面によれば、３次元画像が階調ボクセル値の３次元配列により構成される場合に、第１の３次元画像及び第２の３次元画像を位置合わせする方法が提供される。一つ以上の事前ボクセル値同時確率密度関数が、対応した一つ以上の事前確率密度関数推定値を得るため第１の３次元画像及び第２の３次元画像に対し決定される。第１の３次元画像に対する第２の３次元画像の幾何学的関係を定義する変換が選択され、選択された幾何学的関係に対するクロス・エントロピーの尺度は、一つ以上の事前確率密度関数推定値を用いて計算される。クロス・エントロピー計算は、クロス・エントロピーの最適化尺度を与える最適変換が計算されるまで、複数の異なる変換に対して反復形式で繰り返される。
【００１０】  他の局面において、第１の３次元画像及び第２の３次元画像を位置合わせする画像処理システムは、位置合わせプロセッサと、位置合わせされるべき複数の３次元画像表現を保持する関連したメモリと、を含み、位置合わせプロセッサは、（１）第１の３次元画像及び第２の３次元画像に対し、対応した一つ以上の事前確率密度関数推定値を得るため一つ以上の事前ボクセル値同時確率密度関数を決定し、（２）一つ以上の事前確率密度関数推定値を用いて第１の３次元画像と第２の３次元画像の間の複数の幾何学的関係に対するクロス・エントロピーの尺度を計算し、（３）第１の３次元画像と第２の３次元画像の間の幾何学的関係を定義する最適変換を見つけるためクロス・エントロピーの尺度を最適化する。画像処理システムは、位置決めプロセッサに接続され、最適変換を表わすパラメータを保持するメモリと、第１の３次元画像及び第２の３次元画像から複合画像表現を形成する表示システムと、を有する。
【００１１】  本発明の一つの効果は、データ圧縮を使用せず、セグメンテーション若しくはユーザ介入を必要としない点である。
【００１２】  本発明の別の効果は、使用可能な事前確率密度関数推定値の個数と種類にフレキシビリティが得られる点である。
【００１３】  本発明の更なる効果は、精度及びロバスト性が従来技術と同等、若しくは、場合によっては従来技術よりも優れている点である。
【００１４】  本発明の更に別の効果及び利点は、以下の好ましい実施例についての詳細な説明を読み、理解することによって当業者には明らかになるであろう。
【００１５】  本発明は、種々のコンポーネント、及び、コンポーネントの配置、並びに、種々のステップ及びステップの配列によって具現化される。添付図面は、好ましい実施例を例示することだけを意図し、本発明を限定するためのものではない。
【００１６】    〔好ましい実施例の詳細な説明〕
クロス・エントロピーは、任意の次数のランダム変数の確率密度関数に対し定義され得る。本実施例の画像位置合わせシステム及び方法の場合、ベクトル変数（ｕ，ｖ）を考える。ここで、ｕ及びｖは、二つの画像の対応した点におけるボクセル階調値又は輝度値、ｆ（ｘ，ｙ，ｚ）及びｇ（ｘ，ｙ，ｚ）である。
【００１７】  本発明は、関連する画像に関してある種の事前情報が存在することを前提とする。特に、事前情報は、二つの画像の同時ボクセル値確率密度関数（ｐｄｆ）の一つ以上の推定値である。この事前ｐｄｆ推定値は、起こり得るｐｄｆ推定値、又は、起こり得ないｐｄｆ推定値のどちらでも構わない。事前ｐｄｆ推定値は、”真”の（しかし、画像位置合わせの場合には、未知である）ｐｄｆに接近していることが合理的に期待できる場合に「起こり得る」と称される。真のｐｄｆは、正確に合わされた画像の同時ｐｄｆ、すなわち、二つの画像間の真の（しかし、画像位置合わせの場合には、未知である）関係に従う画像の同時ｐｄｆである。起こり得る事前ｐｄｆ推定値は、たとえば、前回の位置合わせ、たとえば、画像が適切な配置に接近していると思われる手動若しくはソフトウェアによる位置合わせ、に対するボクセル値の同時分布から決定され得る。起こり得る事前ｐｄｆが使用される場合、クロス・エントロピーを最小化する空間方向が探索される。
【００１８】  事前ｐｄｆ推定値は、”真”のｐｄｆに接近していないことが合理的に期待できる場合に、すなわち、真のｐｄｆの良くない推定値である可能性が高い場合に、「起こり得ない」と称される。起こり得ない事前ｐｄｆは、画像が全く関連していないか、又は、関連している可能性が低いという条件を定義する空間方向に基づいている。起こり得ない事前ｐｄｆ推定値は、位置合わせ誤りに対するボクセル値の同時分布から、たとえば、位置合わせ誤りを生じた事前位置合わせの企てから決定され得る。また、起こり得ない事前ｐｄｆ推定値は、画像のランダムに選択された空間方向から計算され得る。起こり得ない事前ｐｄｆが使用されるとき、クロス・エントロピーを最大化する空間方向が探索される。
【００１９】  起こり得ない事前ｐｄｆが使用されるとき、３通りの特殊ケースが現われる。第１の特殊ケースは、起こり得ないｐｄｆが均一分布であるときに生じ、クロス・エントロピー最大化は、同時エントロピー最小化に限定される。第２の特殊ケースは、起こり得ないｐｄｆが周辺分布のうちの一つに比例するときに生じ、このケースでは、クロス・エントロピー最大化は、条件付きエントロピー最小化に限定される。第３の特殊ケースは、起こり得ない分布が二つの周辺分布の積であるときに生じ、このケースでは、クロス・エントロピー最大化は、相互情報最大化に縮退する。
【００２０】  一部の実施例では、異なる各クロス・エントロピーは個別に最適化され、個別に最適化されたクロス・エントロピーは、画像位置合わせのための規準として別々に考慮される。他の実施例では、二つ以上の異なるクロス・エントロピーが、マルチオブジェクティブ最適化スキームを用いて、たとえば、クロス・エントロピー値の和及び／又は差を最適化することにより、画像位置合わせの規準として一体的に考慮される。
【００２１】  図１を参照するに、画像処理システム１００は、３次元画像データを取得及び／又は保持するため、第１の画像ソース１１０と、第２の画像ソース１１２と、を含む。第１の画像ソース１１０及び第２の画像ソース１１２は、好ましくは、ＭＥスキャナ、Ｘ線ＣＴスキャナ、核カメラ（たとえば、ＰＥＴ及び／又はＳＰＥＣＴスキャナ）、超音波スキャナなどのような医療診断映像化用スキャナと、関連したメモリである。第１の画像ソース１１０及び第２の画像ソース１１２は、同じ映像化様式でもよく、或いは、異なる映像化様式でもよく、また、異なる走査用ハードウェアから獲得してもよく、或いは、同じハードウェアから獲得してもよい。たとえば、第１の画像ソース１１０及び第２の画像ソース１１２は、複数の映像化様式を含む単一の装置でもよい。さらに、第１の画像ソース１１０及び第２の画像ソース１１２は、複数の画像が異なる時間に取得される単一の装置でもよい。
【００２２】  一部の実施例では、第１及び第２の両方の画像ソース１１０及び１１２は、診断映像化に関する分野の当業者に周知であるように、位置合わせされるべき画像を生成するため必要に応じて、センサと、データ取得回路と、画像再構成回路と、を含む。しかし、別の実施例では、画像ソース１１０及び１１２のうちの一方又は両方は、予め取得された画像でもよく、たとえば、コンピュータネットワーク上の記憶場所に設けられた、コンピュータメモリ、ランダムアクセスメモリ（ＲＡＭ）、ディスク記憶装置、テープ記憶装置、又は、その他の磁気若しくは光媒体のような電子メモリ、或いは、コンピュータ読取可能な記録媒体や、その他のアーカイブ型画像のソースに蓄積された画像表現である。かくして、本発明の画像処理システムは、位置合わせされるべき一方若しくは両方の画像を取得した走査用ハードウェアと直接的に接続してもよいが、必ずしも直接的に接続しなくてもよい。
【００２３】  画像処理システム１００は、画像ソース１１０及び１１２からの画像データを保持する画像メモリ１２０を更に有する。位置決めプロセッサ１３０は、画像メモリ１２０から二つの３次元画像を読み出し、二つの画像に関係した位置合わせ変換行列を生成するため、クロス・エントロピー最適化アルゴリズムを用いて画像を位置合わせする。クロス・エントロピーは、ランダム変数の二つのｐｄｆの間の差を定量化する尺度である。一つ以上の事前ｐｄｆ推定値を計算するための二つの画像の事前ｐｄｆ統計値を記憶する随意的なメモリ１４０が更に設けられる。或いは、事前ｐｄｆは、たとえば、事前ｐｄｆが入力画像の一方又は両方の周辺ｐｄｆと関連する場合、若しくは、検討中の画像に関連する場合、画像データから計算してもよい。クロス・エントロピーは、この事前ｐｄｆ推定値を使用して計算され、最適位置合わせは、最適化ルーチンを使用して、クロス・エントロピーが最適化されるまで、複数の位置合わせ若しくは変換パラメータに対するクロス・エントロピーを反復的に計算することにより見つけられる。たとえば、引用文献：Press外, "Numerical Recipes in C: the Art of Scientific Computing, 2nd ed.", Cambridge, Cambridge Univ. Press, 1999, Chapter 10に記載されているような技術を含む従来の最適化技術が使用される。
【００２４】  また、起こり得る事前ｐｄｆ推定値が使用されるとき、最適位置合わせは、クロス・エントロピーを最小化する変換を反復的に決定することによって決定される。起こり得ない事前ｐｄｆ推定値が使用されるとき、最適位置合わせは、クロス・エントロピーを最大化する変換を反復的に決定することによって決定される。
【００２５】  最適化された位置合わせ変換行列はメモリ１５０に保持される。このようにして決定された位置合わせ変換行列は、画像メモリ１２０から読み出された二つの画像を合わせるため、ディスプレイ若しくは映像プロセッサ１６０によって使用され、コンピュータ若しくはその他の人間が読み取り可能なディスプレイ１６２に、位置合わせ変換行列によって規定された複合画像として表示される。標準的なデータ処理技術及びプログラミング技術が、画像及び関連した行列、並びに、起こり得るｐｄｆ若しくは起こり得ないｐｄｆ、セグメンテーション限界などを、索引付け、ポインタの用途などの適切な画像と共に記憶するため使用される。
【００２６】  変換行列を記憶する代わりに、又は、変換行列を記憶するのに加えて、最適位置合わせが決定されると、複合画像が二つの画像から形成され、画像メモリ１２０に保持される。しかし、一般的に、変換行列を記憶するほうが好ましい。また、一方の画像は、位置合わせパラメータに基づいて、別の画像の空間内で再フォーマット化され、保持され得る。
【００２７】  画像融合以外の目的のための画像位置合わせについて考える。たとえば、本発明の教示による画像位置合わせは、多数の部分的に重なり合う画像に対しても、それらの画像から一つのより大きい３次元画像を生成するため実行される。
【００２８】  ある実施例では、位置決めプロセッサ１３０及び表示プロセッサ１６０は、通常のディスプレイに接続された通常のコンピュータ上のソフトウェアで実現される。
【００２９】  次に、図２を参照するに、位置合わせプロセッサ１３０のモジュール構成図が示されている。図１に示されるように、位置合わせプロセッサ１３０への入力は、位置合わせされるべき第１の画像１１０及び第２の画像１１２と、メモリ１４０からの事前確率密度関数（ｐｄｆ）統計値である。位置合わせプロセッサ１３０の出力は、位置合わせパラメータ１５０の集合、すなわち、変換行列の係数である。変換行列の係数は、一方の画像に適用されると、その画像をある固定座標系に関して変換し、二つの画像を揃える。
【００３０】  位置合わせプロセッサ１３０は、フレームメモリ１３２及び１３４と、クロス・エントロピー計算器１３６と、最適化プロセッサ又はエンジン１３８と、を含む。クロス・エントロピー計算器１３６及び最適化プロセッサ１３８は、統合処理システムのモジュールでもよく、或いは、並列処理の利点を得るため多数のプロセッサに分散させられてもよい。動作中に、位置決めプロセッサ１３０は、二つの画像をフレームメモリ１３２とフレームメモリ１３４に読み込み、現在の位置合わせに対するクロス・エントロピー値を計算する。最適化プロセッサ１３８は、フレームメモリ１３４内の画像を変換し、クロス・エントロピーがクロス・エントロピー計算器１３６によって再計算される。この手順は、クロス・エントロピーが最適化されるまで反復的に繰り返され、最適クロス・エントロピーを与える位置合わせに対する変換パラメータがメモリ１５０へ出力される。
【００３１】  クロス・エントロピー計算器１３６によって計算されたクロス・エントロピーは、後述の多数の方法によって計算され得る。使用される計算法は、関連した画像の間の関係に関する事前情報のタイプに依存する。
【００３２】  ランダム変数（ｕ，ｖ）の同時ｐｄｆは、ｐ（ｕ，ｖ）で表わす。また、ｐｄｆの事前推定値ｑ（ｕ，ｖ）が利用できる場合を考える。これにより、クロス・エントロピーは、コンパクト支持集合Ｄ＝Ｄｕ×Ｄｖ（但し、Ｄｕ及びＤｖは、それぞれ、ｕ及びｖの支持集合である）上で、次式のように表わされる。
【００３３】
【数１】
0005384779.tif 000002
真のｐｄｆの事前推定値と、真のｐｄｆについての観測値の集合とが与えられた場合、観測値に従う式（１）に定義されたクロス・エントロピーを、最小化することにより、真のｐｄｆの最適推定値を見つけることができる点に注意する必要がある。しかし、画像位置合わせの状況では、真のｐｄｆに関する観測値は得られない。したがって、ｐｄｆのある種の推定値を使用しなければならない。
【００３４】  第１の局面において、クロス・エントロピー最小化を利用するシステム及び方法が提供される。事前推定値ｑは、二つの位置合わせされた画像の（ｕ，ｖ）上の前の統計値に基づく。このような場合に、画像の種々の相対的な変換は、真の同時ｐｄｆの種々の推定値を与える。通常の最適化アルゴリズムのうちの一つを使用して、推定同時ｐｄｆが、式（１）に定義されるようなクロス・エントロピーを最小化する同時ｐｄｆの推定値を与える変換を見つけるまで、複数の変換に対して反復形式で計算される。この変換によって、最適位置合わせが達成されると考えられる。
【００３５】  本発明の更なる局面において、クロス・エントロピー最大化を使用するシステム及び方法が提供される。この局面では、真のｐｄｆに近接している可能性が高い事前推定値は必要とされない。例えば、ある種の場合に、事前知識は利用できない。その他の場合に、事前情報は利用可能ではあるが、たとえば、ボクセル値が取得時間に比例する（ＰＥＴ画像及びＳＰＥＣＴ画像のような）核医用画像と同様に、事前ｐｄｆ推定値が画像の内容に依存するため事前情報を適用できない場合がある。
【００３６】  クロス・エントロピー最大化の場合に、二つの画像が全く関連していないか、又は、関連している可能性が低いと考えられる（或いは、二つの画像は関連しているが、予測とは異なる態様で関連している）、ある種の条件が認定される。このような条件下での同時ｐｄｆは、望ましくない、予期しない、或いは、起こりえない事前推定値として計算され、使用される。
【００３７】  画像の種々の相対変換が調べられ、クロス・エントロピーを最大化する同時ｐｄｆの推定値を与える変換、すなわち、すなわち、ｐｄｆがクロス・エントロピーに関して、起こり得ない事前ｐｄｆからできる限り隔たっている同時ｐｄｆの推定値を与える変換が見つけられる。
【００３８】  第１の望ましくないｐｄｆは、均一分布をもつ。ｐｄｆがｑ＝ｃであると仮定し、以下の式：
【００３９】
【数２】
0005384779.tif 000003
を満たし、ｑを式（１）に代入することによって、以下の式（２）が得られる。
【００４０】
【数３】
0005384779.tif 000004
式（２）を最大化することは、同時ｐｄｆのエントロピーである以下の式：
【００４１】
【数４】
0005384779.tif 000005
を最大化することと等価である。式中、Ｈはランダム変数のエントロピーを示すため使用される。
【００４２】  二つの画像のボクセル階調値が統計的に独立である場合、位置合わせの根拠が存在しないので、二つの画像は位置合わせできない。統計的に、ボクセル値が独立であるのは、同時ｐｄｆが両方の画像の周辺ｐｄｆの積である場合に限られる。ｕ及びｖの周辺ｐｄｆが、それぞれ、ｈｆ（ｕ）及びｈｇ（ｖ）で表わされるとする。ｑ＝ｈｆ（ｕ）ｈｇ（ｖ）を式（１）に代入すると、次式（３）が得られる。
【００４３】
【数５】
0005384779.tif 000006
式（３）は相互情報の定義である。すなわち、この事前推定値の条件でクロス・エントロピーを最大化することは、相互情報の最大化に帰する。
【００４４】  二つの画像が位置合わせされたとき、一方の画像を他方の画像を説明するために使用したい場合がある。どちらの画像によってももう一方の画像を説明できないとき、二つの画像は位置合わせできない。同時ｐｄｆが周辺確率密度関数ｈｆ（ｕ）に比例するならば、すなわち、ｑ＝ｃｇｈｆ（ｕ）、但し、
【００４５】
【数６】
0005384779.tif 000007
であるならば、画像ｆのボクセル値は画像ｇの任意のボクセル値と等確率で対応するので、画像ｆは画像ｇを説明するため使用できない。このような状況を避けるために、クロス・エントロピー：
【００４６】
【数７】
0005384779.tif 000008
は最大化される。式（４）は、次式に簡約化される。
【００４７】
【数８】
0005384779.tif 000009
このように、式（４）を最大化することは、条件付きエントロピーＨ（Ｖ｜Ｕ）を最小化することと等価である。
【００４８】  同様に、以下の式（５）を最大化することが可能である。
【００４９】
【数９】
0005384779.tif 000010
但し、式中、
【００５０】
【数１０】
0005384779.tif 000011
である。
【００５１】  式（５）を最大化することは、条件付きエントロピーＨ（Ｕ｜Ｖ）を最小化することと等価である。
【００５２】  各クロス・エントロピーη１、η２、η３及びη４は、最適位置合わせを探索するため、独立に最大化し得る。或いは、クロス・エントロピーη１、η２、η３及びη４の任意の組合せを最大化することができる。これらのクロス・エントロピーの組合せを最適化すべき場合、マルチオブジェクティブ最適化アプローチが使用され得る。このアプローチを簡単化するため、目的の重み付けを使用するマルチオブジェクティブ最適化を考慮しているにもかかわらず、均等加重和が使用される。
【００５３】  たとえば、両方の画像が相互に巧く説明できるようにするため、η３及びη４が加算される。すなわち、
η００１１＝η３＋η４      （６）
式中、上付き添え字はビットパターンのように使用され、ビットがセットされた場合、対応したクロス・エントロピーが取り入れられる。画像解像度及びその他の画像関連因子に従って、それらは別々に重み付けされる。真のｐｄｆが後者の３通りの場合とは異なることが要求される場合、
η０１１１＝η２＋η３＋η４      （７）
である。η００１１又はη０１１１は、これらの必要条件下で最適位置合わせを見つけるため最大化され得る。η１１１１は、η００１１と等価であることに注意する必要がある。
【００５４】  また、使用される事前推定値のタイプとは無関係に、最適化されるべきクロス・エントロピーは類似した構造をもつことがわかる。かくして、これらは、同じように組み込むことが可能であり、以下の説明は、全てのタイプについて同様に当てはまる。
【００５５】  図３乃至５は、クロス・エントロピー最適化を使用して二つの画像を結合する処理の例３００、４００及び５００を示す図である。これらの処理は、スキャナ／画像処理統合システムの一部としてソフトウェアによって組み込むことができ、或いは、パーソナルコンピュータ、ワークステーション、若しくは、その他のタイプの情報処理システムのような自立型コンピュータに実現された別々の画像処理システムに組み込むことが可能である。以下では、主として、二つの画像を結合する処理について説明するが、この処理は、この実施例の教示に従って、全ての画像が位置合わせされるまで処理を連続的に繰り返すことによって、或いは、多変量クロス・エントロピー最適化を用いることによって、三つ以上の画像を結合する場合に容易に適合し得る。なぜならば、上述の通り、クロス・エントロピーは、任意の次数の変数に適用され得るからである。
【００５６】  図３は、クロス・エントロピー最小化を用いて二つの画像を位置合わせする第１の実施例による方法３００を説明するフローチャートである。位置合わせされるべき二つの画像は、最初に取得される（ステップ３０４及び３０８）。ステップ３１２において、二つの画像の初期相対方向が、ある種の予め指定されたパラメータ、又は、画像２に適用されたある種の初期変換に従ってセットされる。ステップ３１６において、未知の真のｐｄｆに近い可能性が高い、或いは、かなり近いと考えられる、真のｐｄｆの少なくとも一つの事前推定値が、たとえば、メモリ１４０（図１）から入力される。画像は、同じ映像化様式でも異なる映像化様式でも構わない。クロス・エントロピーは、ステップ３２０において、現在の空間向きに関して計算される。ステップ３２８において、現在の空間方向によって最小化されたクロス・エントロピーが得られたかどうかを判定する。
【００５７】  単一の起こり得る事前ｐｄｆ推定値が使用される場合、最小化されるべきクロス・エントロピー値は、式（１）に従って計算されたクロス・エントロピーである。
【００５８】  二つ以上の事前ｐｄｆ推定値が使用される場合、マルチオブジェクティブ最適化スキームが使用される。クロス・エントロピーは、事前ｐｄｆ毎に、式（１）に従って計算され、値が加算され、最小化されるべき値は、個別のクロス・エントロピー値の和である。この和は、重み付け無しの和である。或いは、たとえば、事前ｐｄｆ推定値の相対的重要性をセットすることが望ましい場合には、重み付き和を使用してもよい。同様に、最小化されるべき値は、個別のクロス・エントロピー値の単純平均でも加重平均でもよい。
【００５９】  最小化されたクロス・エントロピー値が未だ取得されていない場合、この処理は、ステップ３３２へ進み、異なる空間配置に対応する変換が最適化アルゴリズムに従って選択される。ｐｄｆは、必要に応じて更新される。たとえば、ｐｄｆが検討中の画像と関連している場合、処理はステップ３２０へ戻る。ステップ３２０、３２８及び３３２は、クロス・エントロピーを最小化する変換が見つけられるまで反復的に繰り返される。クロス・エントロピーが最小化されたと判定された場合（ステップ３２８）、最小化されたクロス・エントロピーを生ずる変換パラメータ、すなわち、最適位置合わせを実現する変換パラメータが出力される（ステップ３４４）。
【００６０】  図４は、クロス・エントロピー最大化を用いて二つの画像を位置合わせする第２の実施例による方法４００を説明するフローチャートである。位置合わせされるべき二つの画像は、最初に取得される（ステップ４０４及び４０８）。ステップ４１２において、二つの画像の初期相対方向が、ある種の予め指定されたパラメータ、又は、画像２に適用されたある種の初期変換に従ってセットされる。ステップ４１６において、未知の真のｐｄｆに近い可能性が低い一つ以上の事前ｐｄｆ推定値が、たとえば、メモリ１５０（図１）から入力される。起こり得ないｐｄｆ推定値は、先行する既知の位置合わせ誤りに対するボクセル統計値、或いは、画像の位置合わせ誤りを表現するために既知の条件に基づく場合がある。画像は、同じ映像化様式でも異なる映像化様式でも構わない。クロス・エントロピーは、ステップ４２０において、現在の空間向きに関して計算される。ステップ４３６において、最大化されたクロス・エントロピーを与える空間方向が見つかったかどうかを判定する。
【００６１】  単一の起こり得ない事前ｐｄｆ推定値が使用される場合、最大化されるべきクロス・エントロピー値は、式（１）に従って計算されたクロス・エントロピーである。
【００６２】  二つ以上の事前ｐｄｆ推定値が使用される場合、クロス・エントロピーは、事前ｐｄｆ毎に、式（１）に従って計算され、値が加算され、最大化されるべき値は、個別のクロス・エントロピー値の和である。この和は、重み付け無しの和である。或いは、たとえば、事前ｐｄｆ推定値の相対的重要性をセットすることが望ましい場合には、重み付き和を使用してもよい。同様に、最小化されるべき値は、個別のクロス・エントロピー値の単純平均でも加重平均でもよい。
【００６３】  ステップ４３６において、クロス・エントロピーが未だ最大化されていない場合、この処理はステップ４４０へ進み、異なる空間配置に対応する変換が最適化アルゴリズムに従って選択される。ｐｄｆは、必要に応じて更新される。たとえば、ｐｄｆが検討中の画像と関連している場合、処理はステップ４２０へ戻る。ステップ４２０、４３６及び４４０は、クロス・エントロピーを最大化する変換が見つけられるまで反復的に繰り返される。クロス・エントロピーが最大化されたと判定された場合（ステップ４３６）、最大化されたクロス・エントロピーを生ずる変換パラメータ、すなわち、最適位置合わせを実現する変換パラメータが出力される（ステップ４４４）。
【００６４】  図５は、クロス・エントロピー最小化又はクロス・エントロピー最大化を用いて二つの画像を位置合わせする第３の実施例による方法５００を説明するフローチャートである。位置合わせされるべき二つの画像は、最初に取得される（ステップ５０４及び５０８）。ステップ５１２において、二つの画像の初期相対方向が、ある種の予め指定されたパラメータ、又は、画像２に適用されたある種の初期変換に従ってセットされる。ステップ５１６において、真のｐｄｆの一つ以上の起こり得る事前推定値又は起こり得ない事前推定値が、たとえば、メモリ１５０（図１）から入力される。画像は、同じ映像化様式でも異なる映像化様式でも構わない。クロス・エントロピーは、ステップ５２０において計算される。
【００６５】  次に、ステップ５２４において、事前ｐｄｆ推定値が起こり得るか、又は、起こり得ないかが判定される。事前ｐｄｆ推定値が起こり得る推定値である場合、処理はステップ５２８へ進み、クロス・エントロピー最小化が最適化スキームとして使用される。現在の空間方向が、最適化スキームに従って、クロス・エントロピーを最小化する空間方向ではないと判定された場合（ステップ５２８）、処理はステップ５３２へ進み、異なる空間配置に対応する変換が最適化アルゴリズムに従って選択される。ｐｄｆは、必要に応じて更新される。たとえば、ｐｄｆが検討中の画像と関連している場合、処理はステップ５２０へ戻る。多数の起こり得る事前推定値が使用される場合、個別のクロス・エントロピーの和又は平均（加重平均若しくは単純平均）が上述のように最小化される。ステップ５２０、５２８及び５３２は、クロス・エントロピーを最小化する変換が見つけられるまで反復的に繰り返される。クロス・エントロピーが最小化されたと判定された場合（ステップ５２８）、最小化されたクロス・エントロピーを生ずる変換パラメータ、すなわち、最適位置合わせを実現する変換パラメータが出力される（ステップ５４４）。
【００６６】  事前確率が、ステップ５２４において、真のｐｄｆに近い可能性が少ない場合、処理はステップ５３６へ進み、クロス・エントロピー最大化が使用される。ステップ５３６において、ステップ５２０のクロス・エントロピー計算に基づいて、最大化されたクロス・エントロピーを生じる空間方向が見つけられたかどうかを判定する。クロス・エントロピーが未だ最大化されていない場合、処理はステップ５４０へ進み、異なる空間配置に対応する変換が最適化アルゴリズムに従って選択される。ｐｄｆは、必要に応じて更新される。たとえば、ｐｄｆが検討中の画像と関連している場合、処理はステップ５２０へ戻る。多数の起こり得ない事前推定値が使用される場合、個別のクロス・エントロピーの和又は平均（加重平均若しくは単純平均）が上述のように最大化される。ステップ５２０、５２４、５３６及び５４０は、クロス・エントロピーを最大化する変換が見つけられるまで反復的に繰り返される。クロス・エントロピーが最大化されたと判定された場合（ステップ５３６）、最大化されたクロス・エントロピーを生ずる変換パラメータ、すなわち、最適位置合わせを実現する変換パラメータが出力される（ステップ５４４）。
【００６７】  図６は、クロス・エントロピー最小化及びクロス・エントロピー最大化の両方を用いて二つの画像を位置合わせする第４の実施例による方法６００を説明するフローチャートである。位置合わせされるべき二つの画像は、最初に取得される（ステップ６０４及び６０８）。ステップ６１２において、二つの画像の初期相対方向が、ある種の予め指定されたパラメータ、又は、画像２に適用されたある種の初期変換に従ってセットされる。ステップ６１６において、一つ以上の事前の起こり得ないｐｄｆ推定値及び一つ以上の事前の起こり得るｐｄｆ推定値が、たとえば、メモリ１５０（図１）から入力される。起こり得るｐｄｆ推定値及び起こりえないｐｄｆ推定値は、上述の通り、事前の既知条件に対するボクセル統計値に基づく可能性がある。また、画像は、同じ映像化様式でも異なる映像化様式でも構わない。クロス・エントロピーは、ステップ６２０において、現在の空間方向に関して、ｐｄｆ毎に計算される。ステップ６２２において、起こり得る事前ｐｄｆ推定値に対するクロス・エントロピーと、起こり得ない事前ｐｄｆ推定値に対するクロス・エントロピーの差が計算され、処理は、クロス・エントロピー差（ΔＣＥ）の最適化のためステップ６３０へ進む。
【００６８】  起こり得るクロス・エントロピーと起こり得ないクロス・エントロピーとの差ΔＣＥは、２通りの方法で計算され得る。第１の方法では、起こり得ないクロス・エントロピー値が起こり得るクロス・エントロピー値から減算される。すなわち、
ΔＣＥ＝［ＣＥ（起こり得る）１＋・・・＋ＣＥ（起こり得る）ｎ］−
［ＣＥ（起こり得ない）１＋・・・＋ＣＥ（起こり得ない）ｍ］
のように表わされ、式中、ｎ及びｍは、１以上の整数である。この第１の方法において、クロス・エントロピーは、ΔＣＥを最小化することによって最適化される。
【００６９】  第２の方法では、起こり得るクロス・エントロピー値が起こり得ないクロス・エントロピー値から減算される。すなわち、
ΔＣＥ＝［ＣＥ（起こり得ない）１＋・・・＋ＣＥ（起こり得ない）ｎ］−
［ＣＥ（起こり得る）１＋・・・＋ＣＥ（起こり得る）ｍ］
のように表わされ、クロス・エントロピーは、ΔＣＥを最大化することによって最適化される。
【００７０】  他の一実施例では、被加算部分が重み付けされる。別の代替的な実施例では、加重差が使用される。更に別の実施例では、被加算部分は、加重平均又は非加重（単純）平均によって置き換えられる。
【００７１】  ステップ６２２で差を計算した後、処理はステップ６３０へ進み、最適化されたクロス・エントロピー、すなわち、上述の第１の方法が使用される場合には最小化されたΔＣＥ、上述の第２の方法が使用される場合には最大化されたΔＣＥ、を生じる空間方向が検出されたかどうかを判定する。
【００７２】  ステップ６３０において、ΔＣＥが未だ最適化されていない場合、この処理は、ステップ６３２へ進み、異なる空間配置に対応する変換が最適化アルゴリズムに応じて選択される。ｐｄｆは、必要に応じて更新される。たとえば、ｐｄｆが検討中の画像と関連している場合、処理はステップ６２０へ戻る。ステップ６２０、６２２、６３０及び６３２は、ΔＣＥを最適化する変換が見つけられるまで反復的に繰り返される。ΔＣＥが最適化されたと判定された場合（ステップ６３０）、最適化されたΔＣＥを生ずる変換パラメータ、すなわち、最適位置合わせを実現する変換パラメータが出力される（ステップ６４４）。
【００７３】  図７は、図３乃至６に示された何れかの処理を実行するように適合した本発明による第５の実施例による方法７００を説明するフローチャートである。位置合わせされるべき二つの画像は、最初に取得される（ステップ７０４及び７０８）。ステップ７１２において、二つの画像の初期相対方向が、ある種の予め指定されたパラメータ、又は、画像２に適用されたある種の初期変換に従ってセットされる。ステップ７１６において、一つ以上の起こり得る事前ｐｄｆ推定値、及び／又は、一つ以上の起こり得ない事前ｐｄｆ推定値が、たとえば、メモリ１４０（図１）から入力される。画像は、同じ映像化様式でも異なる映像化様式でも構わない。クロス・エントロピーは、ステップ５２０において、現在の空間方向に対して計算される。次に、ステップ７２４において、少なくとも一つの事前ｐｄｆ推定値が起こり得る事前ｐｄｆ推定値であると判定された場合、処理はステップ７２６へ進み、何れかの入力された事前ｐｄｆ推定値が起こり得ない推定値であるかどうかを判定する。何れの事前ｐｄｆ推定値も起こり得ない推定値ではない場合、処理はステップ７２８へ進み、図３を参照して説明したようにクロス・エントロピー最小化が使用される。
【００７４】  最小化されたエントロピー値（多数の起こり得る事前ｐｄｆ推定値の場合には加算若しくは平均化されている）が依然として獲得されない場合、処理はステップ７３２へ進み、異なる空間配置に対応する変換が最適化アルゴリズムに従って選択される。ｐｄｆは、必要に応じて更新される。たとえば、ｐｄｆが検討中の画像と関連している場合、処理はステップ７２０へ戻る。ステップ７２０、７２６、７２８及び７３２は、クロス・エントロピーを最小化する変換が見つけられるまで反復的に繰り返される。クロス・エントロピーが最小化されたと判定された場合（ステップ７２８）、最小化されたクロス・エントロピーを生ずる変換パラメータ、すなわち、最適位置合わせを実現する変換パラメータが出力される（ステップ７４４）。
【００７５】  しかし、少なくとも１個の起こり得る事前ｐｄｆ推定値（ステップ７２４）と、１個の起こり得ない事前ｐｄｆ推定値（ステップ７２６）が存在する場合、処理は、ステップ７２２へ進み、図６を参照して説明したようにΔＣＥが計算される。上述の一つの方法によってΔＣＥを計算した後（ステップ７２２）、処理はステップ７３０へ進み、最適化されたクロス・エントロピーを生じる空間方向が検出されたかどうかを判定する。
【００７６】  ステップ７３０において、ΔＣＥが未だ最適化されていない場合、この処理は、ステップ７３２へ進み、異なる空間配置に対応する変換が最適化アルゴリズムに応じて選択される。ｐｄｆは、必要に応じて更新される。たとえば、ｐｄｆが検討中の画像と関連している場合、処理はステップ７２０へ戻る。ステップ７２０、７２４、７２６、７２２、７３０及び７３２は、ΔＣＥを最適化する変換が見つけられるまで反復的に繰り返される。ΔＣＥが最適化されたと判定された場合（ステップ７３０）、最適化されたΔＣＥを生ずる変換パラメータ、すなわち、最適位置合わせを実現する変換パラメータが出力される（ステップ７４４）。
【００７７】  ステップ７２４において、事前ｐｄｆ推定値は、起こり得る推定値ではないと判定された場合、ｐｄｆ推定値は起こり得ない推定値であり、処理はステップ７３６へ進み、図４を参照して説明したようにクロス・エントロピー最大化が使用される。
【００７８】  最大化されたエントロピー値（多数の起こり得る事前ｐｄｆ推定値の場合には加算若しくは平均化されている）が依然として獲得されない場合、処理はステップ７４０へ進み、異なる空間配置に対応する変換が最適化アルゴリズムに従って選択される。ｐｄｆは、必要に応じて更新される。たとえば、ｐｄｆが検討中の画像と関連している場合、処理はステップ７２０へ戻る。ステップ７２０、７２４、７３６及び７４０は、クロス・エントロピーを最大化する変換が見つけられるまで反復的に繰り返される。クロス・エントロピーが最大化されたと判定された場合（ステップ７３６）、最大化されたクロス・エントロピーを生ずる変換パラメータ、すなわち、最適位置合わせを実現する変換パラメータが出力される（ステップ７４４）。
【００７９】  以上の通り、本発明は、剛体幾何学変換を使用して説明されているが、本発明は、たとえば、非線形変換、アフィン変換、ワープ変換などのようなより一般的な変換に拡張可能である。
【００８０】  剛体変換の場合、位置合わせパラメータは、６次元ベクトル（θｘ，θｙ，θｚ，ｔｘ，ｔｙ，ｔｚ）であり、θｘ、θｙ及びθｚがｘ軸、ｙ軸及びｚ軸、それぞれの周りの回転角度（単位度）を表わし、ｔｘ、ｔｙ及びｔｚは、それぞれ、ｘ軸方向、ｙ軸方向及びｚ軸方向の平行移動量を表わす。回転毎に、同時座標系内の回転に対応した４×４行列が存在する。回転を連続して適用することは、行列積に対応する。一般的に、行列積は、交換できないので、回転の順序は重要である。回転はオイラー回転の場合を考える。また、回転は、平行移動の前に行なわれるものとする。
【００８１】  上述の通り、二つの画像の重なり合う立体内で階調値ペアの周辺及び同時分布を推定することが必要である。以下では、周辺確率及び同時確率を推定する例示的な方法を説明する。
【００８２】  画像ｆの最大ボクセル値が最初に見つけられる。画像ｆ内のボクセル値は、次に、ｎｆ個の離散レベルに分割される。同様に、画像ｇ内のボクセル値は、ｎｇ個の離散レベルに分割される。ここで、ｎｆ及びｎｇは、同一でも、別々でもよい。変換中の重なり合う立体において、画像ｆ及び画像ｇ内のボクセル値、並びに、ボクセル対のヒストグラムが、ボクセル値及びボクセル対を区分することにより計算される。画像ｆに対するヒストグラムの区分数はｎｆであり、画像ｇに対するヒストグラムの区分数はｎｇであり、同時ヒストグラムの区分数は、ｎｆ×ｎｇである。正規化ヒストグラムは、周辺分布及び同時分布を与える。
【００８３】  変換後、一方の立体内のグリッド点は、一般的に、変換された空間内の別のグリッド点と厳密には一致しない。したがって、ボクセル値及びボクセル対を区分する前に、変換された空間内のグリッドにおけるボクセル値を獲得するため補間が実行される。限定されない例として、最近傍、トリリニア、及び、トリリニア部分体積分布を含む多数の補間方法を使用することが可能である。最近傍補間は、１ボクセルに満たない変位に対し感度が無いので、サブボクセル精度を達成するためには不十分であることに注意する必要がある。簡単のため、トリリニア補間が実行された。
【００８４】  変換中に、多次元方向セット最適化は、望ましくない事前情報が使用される場合に、無効なクロス・エントロピーを最小化するため（すなわち、クロス・エントロピーを最大化するため）使用され、良好な事前情報が利用可能であるならば、クロス・エントロピーを直接的に最小化する。方向行列は、ユニタリ行列に初期化される。ベクトルは、上述の通り（θｘ，θｙ，ｅｚ，ｔｘ，ｔｙ，ｔｚ）である。角度は度単位で表わされ、平行移動はｍｍ単位で表わされる。
【００８５】  真の大域的最適値を見つけるため、シミュレーティッド・アニーリングが利用され得る。シミュレーティッド・アニーリングは、２次元画像位置合わせへの適用に成功している。この方法は、確率論的手法であり、速度が遅く、３次元画像位置合わせだけに適用される。実際問題として、多重解像度若しくはサブサンプリング方式は、役に立つことが分かる。この方式は、最適化速度を高め、取得範囲を拡大し、アルゴリズムはかなりロバスト性がある。
【００８６】  多重解像度最適化は、本実施例の場合に好ましい方式である。画像は、最も粗い画像として８×８×８画像に収められる。一連の画像の解像度は、どの次元が最初に来るとしても、全ての次元で、完全な画像解像度、又は、６４×６４×６４に達するまで２倍にされる。６４×６４×６４を上回る精細解像度を使用してもよいが、殆どの場合に、位置合わせ精度にあまり大きな改善は見られず、また、成功率に影響を与えない。粗い画像を獲得するため、サンプリング用立体内のボクセル値は、平均化される。サブサンプリング方式よりも多少遅くなるが、実際上、より優れた位置合わせが実現される。
【００８７】  同時２次元ヒストグラムを推定するとき、階調値は、異なる区分に関してペアにされる。同時分布は、正規化２次元ヒストグラムによって、統計的な観点から推定されるので、大量のサンプルサイズが望ましい。多重解像度最適化方式において、粗い画像が使用されるとき、階調値ペアの個数は少ない。統計的バイアスは大きくなることが予想される。
【００８８】  画像サイズは、８×８×８である場合を考える。８ビット階調データの場合に、区分数は２５６に達する。２５６個は、平均として、各区分ごとに最大で２ペア存在することになるので、確かに良くない値である。同時確率の統計的誤りは、結果を悪くさせる。このような状況において、区分数は少ない方が望ましい。
【００８９】  精細解像度ステップにおいて、区分数が小さい値に固定されている場合、各区分には十分な個数の階調値ペアが存在する。下方の感度を犠牲にして、同時確率のより良い推定値を得ることができる。このパラドックスは、区分数を固定することが理想的ではなく、適応的な区分数、すなわち、解像度と共に変化する区分数の方が優れていることを示唆する。
【００９０】  テストでは、適応的な区分数が使用された。区分数は、解像度の値に発見的にセットされた。すんわち、解像度が３２である場合、区分数も３２である。各解像度で区分数の最適化は試みられなかった。
【００９１】  〔実証的テスト〕
本発明のクロス・エントロピー最適化方法の精度及びロバスト性を、以下のテストによって実証した。特に、合理的若しくは起こり得る事前推定値を使用するクロス・エントロピー最小化と、種々の起こり得ない事前推定値を使用するクロス・エントロピー最大化は、共に、このセクションで評価する。
【００９２】  ＭＲ／ＳＰＥＣＴ及びＣＴ／ＰＥＴの画像ペアは、テスト立体として使用された。テスト画像は、主として、頭部（脳）画像であり、首部及び胸部が部分的に含まれる。
【００９３】  画像データはスライス（断層像）により構成される。ｘ軸は、水平方向で右から左へ向かい、ｙ軸は、水平方向で前から後へ向かい、ｚ軸は、垂直方向で下から上へ向かう。
【００９４】  画像ペア１（ＭＲ／ＳＰＥＣＴ）：ＭＲ画像（Ｔ１矢状）のサイズは、２５６×２５６×１２８ボクセルであり、ボクセルサイズは、１．０×１．０×１．５ｍｍ３であった。最小ボクセル値は０であり、最大ボクセル値は５０４である。テクネチウム−９９ｍ  ヘキサメチル−プロピレンアミン−オキシム（Ｔｃ−９９ｍ  ＨＭＰＡＯ）を、ＳＰＥＣＴ画像取得用の薬剤として使用した。ＳＰＥＣＴ画像のサイズは、６４×６４×２４ボクセルであり、ボクセルサイズは、７．１２×７．１２×７．１２ｍｍ３であった。最小ボクセル値は０であり、最大ボクセル値は５４２５である。
【００９５】  画像ペア２（ＣＴ／ＰＥＴ）：ＣＴ画像のサイズは、５１２×５１２×３１ボクセルであり、ボクセルサイズは、０．４７×０．４７×４．９９ｍｍ３であった。最小ボクセル値は０であり、最大ボクセル値は８１９である。ＣＴ画像は、核ワークステーション上の表示特性に適合するように再度拡大縮小された。Ｆ１８は、ＰＥＴ画像取得用の薬剤として使用された。ＰＥＴ画像のサイズは、１２８×１２８×１２７ボクセルであり、ボクセルサイズは、２．３４×２．３４×２．３４ｍｍ３であった。最小ボクセル値は０であり、最大ボクセル値は７４５である。
【００９６】  全ての実験において、ＭＲ画像又はＣＴ画像は基準として使用され、ＳＰＥＣＴ又はＰＥＴは、移動性画像として使用された。すなわち、ＳＰＥＣＴ画像又はＰＥＴ画像がＭＲ画像又はＣＴ画像の空間へ変換された。
【００９７】  多種類の様式の位置合わせの場合、正確な位置合わせパラメータは未知である。位置合わせ精度を評価するため、特に、ファントム照合、オブザーバー評価、及び、信頼マークを含む多数の推定方法が使用された。本例では、修正型オブサーバー評価アプローチを使用した。
【００９８】  これらの画像ペアは、最初に、対話型（手動的）ソフトウェア位置合わせ方法を用いて、４人の臨床専門家によって位置合わせされた。各画像ペアに対するこれらの４通りの独立した位置合わせ結果の標準偏差は、ベクトル形式、すなわち、（θｘ，θｙ，θｚ，ｔｘ，ｔｙ，ｔｚ）の形式で表現すると、以下の通りである。
画像ペア１（ＭＲ／ＳＰＥＣＴ）：（３．４８，０．５３，３．１１，１．６８，２．９８，１．８３）
画像ペア２（ＣＴ／ＰＥＴ）：（２．７１，０，０，１．４５，４．３６，３．９３）
角度は度単位で表わされ、平行移動量はｍｍ単位である。臨床専門家の位置合わせの間には、ずれが存在するが、位置合わせパラメータの平均を標準として使用し、クロス・エントロピー最適化の位置合わせの結果をこれらの標準結果と比較した。
【００９９】  本発明の方法のロバスト性を評価するため、各画像ペアに対する初期位置合わせとして、３種類の位置合わせ誤りの組がランダムに生成された。５０個の位置合わせ誤りの第１の組（第１セット）の場合、回転角度と標準回転角度の差は、−１０乃至１０度の範囲に一様に分散し、平行移動量と標準平行移動量の差は、−１０ｍｍから１０ｍｍの範囲に一様に分散した。５０個の位置合わせ誤りの第２の組（第２セット）の場合、分布は−２０乃至２０°の範囲に一様に分散し、平行移動量の差は−２０乃至２０ｍｍの範囲に一様に分散した。５０個の位置合わせ誤りの第３の組（第３セット）の場合、分布は、−３０乃至３０度の範囲に一様に分散し、平行移動量の差は、−３０乃至３０ｍｍの範囲に一様に分散した。
【０１００】  臨床専門家は、ｘ及びｙの回転角度で２度、ｘ軸周りの回転角度で４度、ｘ及びｙ軸方向の平行移動量で２ｍｍ、並びに、ｚ軸方向の平行移動量で３ｍｍの位置合わせパラメータ差を検出し得ることが報告されている。本当の位置合わせパラメータは不明であるため、位置合わせが成功したかどうかを判断する際に、計算されたパラメータと標準パラメータの間の差に対して大きい閾値を設定した。これらの閾値は、上述の検出閾値の２倍、すなわち、ｘ及びｙ軸周りの回転角度に関して８度、ｚ軸周りの回転角度に関して４度、ｘ及びｙ軸方向の平行移動量に関して４ｍｍ、並びに、ｚ軸方向の平行移動量に関して６ｍｍになるように設定されたので、真のパラメータのかなりの部分をカバーした。
【０１０１】  式（６）及び（７）に示されたクロス・エントロピーを最大化するアルゴリズムは、それぞれ、ビットパターン００１１及び０１１１によって示されている。比較のため、相互情報最大化は、０１００として示されている。
【０１０２】  クロス・エントロピー最大化
位置合わせ誤りパラメータの統計値は、３通りの位置合わせ誤りの下で、二つの画像ペアに関して、表１及び表２に掲載されている。ここで、位置合わせ誤り量は、実際の位置合わせ結果と、標準位置合わせ結果の差として定義される。角度は度単位で表わされ、平行移動量はｍｍ単位で表わされ、時間は秒単位で表わされている。
【０１０３】
【表１】
0005384779.tif 000012
【０１０４】
【表２】
0005384779.tif 000013
ＭＲ／ＳＰＥＣＴ画像ペアの場合、３通りの規準に対する成功率は略同等である。３通りの規準の一部に速度の差が生じているが、この差はあまり重要ではない。これらの全ての技術は、手動による位置合わせに対して、系統的、かつ、適度なずれを示した。ｘ軸及びｙ軸周りの回転角度差、並びに、ｘ軸及びｙ軸方向の平行移動量差は、熟練した臨床専門家の検出閾値を下回った。他の差は、検出閾値を多少上回った。位置合わせパラメータは、３種類のアルゴリズムを通じて一貫していた。ｘ回転角度の差は、約３度であり、ｙ及びｚ方向平行移動量の差は、それぞれ、約２ｍｍ及び約１ｍｍであった。ｙ及びｚ軸周りの回転角度の差、並びに、ｘ軸方向の平行移動量の差は、殆ど無かった。０１１１によって生成された位置合わせパラメータは、０１００及び００１１によって与えられた位置合わせパラメータの値を組み合わせた値であった。これは、０１１１規準が０１００規準と００１１規準により構成されていることからも分かる。ボクセルサイズがかなり大きいという事実を考慮すると、この精度は許容可能である。
【０１０５】  ＣＴ／ＰＥＴ画像ペアの場合、００１１及び０１１１の成功率は、相互情報の成功率よりも一貫して優れていた。相互情報方法は最も遅かった。相互情報方法は、失敗率が高いので、それに基づく統計値の信頼性は低い。特に、相互情報は、第２セットにおいて１回しか成功しなかったので、第２セットに対する標準偏差は表２に掲載しなかった。さらに、これらのアルゴリズムは、手動による位置合わせに対して、系統的、かつ、適度なずれを示した。成功率が低い相互情報の場合を除いて、全ての差は、熟練した臨床専門家の検出閾値を下回った。位置合わせパラメータは、これらのアルゴリズムを通じて一貫していた。ｘ軸、ｙ軸及びｚ軸周りの回転角度の差は、それぞれ、約２度、１度及び２度であり、ｘ軸、ｙ軸及びｚ軸方向の平行移動量の差は、それぞれ、約２ｍｍ、３ｍｍ及び１．５ｍｍであった。
【０１０６】  クロス・エントロピー最小化
同時ボクセル値分布の優れた推定値が得られる場合、クロス・エントロピーは、最適位置合わせを見つけるため最小化することが可能である。適度に良好な事前推定値は、実際上、一般的に獲得することが困難であるが、以下では、その結果によって技術の有効性を確認する。実験は、画像ペア１（ＭＲ／ＳＰＥＣＴ）だけに対して実施した。
【０１０７】  同時ボクセル値分布は、平均化された手動による位置合わせパラメータに基づいて計算した。この分布は、次に、事前情報として使用した。予想通り、この分布は、多数の零成分を含み、これにより、最適化処理中にクロス・エントロピー計算にトラブルが生じ得る。たとえば、事前分布が零であり、かつ、同時分布が零ではない場合、クロス・エントロピーは無限大である。このような状況を取り扱うため、このような状況では、クロス・エントロピーに大きい値を割り当てることができる。このような大きい値を捕捉したとき、最適化処理の停止条件が考慮されるべきである。割り当てられた値が非常に大きい値である場合、最適化は、早めに終了する。このような項は無視し、値を０にセットした。ある種の正の値を用いてペナルティーを科す場合、クロス・エントロピー最小化の捕捉範囲は狭い。
【０１０８】  表３は、位置合わせ誤りパラメータの平均及び標準偏差を掲載した表である。角度は度単位、平行移動量はｍｍ単位、時間は秒単位で示されている。表３からわかるように、位置合わせパラメータは、手動による結果と非常に近く、これらの位置合わせパラメータ間の差は、熟練した専門家の検出閾値よりも十分に低かった。このことは、事前情報が手動による位置合わせ結果に基づいて計算されているので予想通りである。この最小化処理の実現例は、更に、たとえば、クロス・エントロピー関数に関するある種の平滑化及び安定化のために、ガウシアンカーネルと共にＰａｒｅｎ密度推定値を使用することにより、最適化することが可能である。
【０１０９】
【表３】
0005384779.tif 000014
以上の通り、二つの画像の最適位置合わせを見つけるため、クロス・エントロピー最適化を用いる画像位置合わせを行なう画像処理システム及び方法を説明した。実験結果は、本発明のクロス・エントロピー最適化技術が精度及びロバスト性の点で、相互情報最大化アプローチの精度及びロバスト性と同等であるか、或いは、場合によってはより優れていることを示す。
【０１１０】  本発明は、ある程度の具体例を用いて説明したが、本発明の構成要素は、本発明の精神及び範囲を逸脱することなく、当業者によって変更され得ることが認められるべきである。本発明の一実施例は、一つ以上のコンピュータシステムのメインメモリに置かれた命令セットとして実現可能である。コンピュータシステムによって要求されるまで、命令セットは、別のコンピュータ読取可能なメモリ、たとえば、ハードディスクドライブ装置、或いは、ＣＤ−ＲＯＭ若しくはＤＶＤドライブ装置で利用するための光ディスク、フレキシブルディスクドライブ装置で利用するためのフレキシブルディスク、又は、パーソナルコンピュータカードスロットで利用するためのパーソナルコンピュータメモリカードのような可搬型メモリに保持してもよい。さらに、命令セットは、別のコンピュータのメモリに保持し、ユーザからの要求に応じて、ローカル・エリア・ネットワーク、若しくは、インターネットのようなワイド・エリア・ネットワークを介して、伝送してもよい。その上、命令は、伝送前ではなくコンピュータシステムに伝送された後に変換されるアプレットの形式でネットワークを伝送させてもよい。当業者は、命令セット若しくはアプレットの物理的な記憶装置が、命令セット若しくはアプレットを電気的、磁気的、化学的、物理的、光学的、或いは、ホログラフィック的に蓄積する媒体に物理的な変更を加え、その結果として、媒体がコンピュータ読取可能な情報を伝搬させる、ということを認めるであろう。
【０１１１】  以上の通り、本発明の好ましい実施例を説明した。
【図面の簡単な説明】
【図１】  本発明による画像捕捉及び処理システムのブロック構成図である。
【図２】  本発明による３次元画像位置合わせプログラムのソフトウェアによる実現形態の種々のモジュールを説明するブロック図である。
【図３】  本発明による画像位置合わせ方法の概要を説明するフローチャートである。
【図４】  本発明による画像位置合わせ方法の概要を説明するフローチャートである。
【図５】  本発明による画像位置合わせ方法の概要を説明するフローチャートである。
【図６】  本発明による画像位置合わせ方法の概要を説明するフローチャートである。
【図７】  本発明による画像位置合わせ方法の概要を説明するフローチャートである。
【図１】
0005384779.tif 000015
【図２】
0005384779.tif 000016
【図３】
0005384779.tif 000017
【図４】
0005384779.tif 000018
【図５】
0005384779.tif 000019
【図６】
0005384779.tif 000020
【図７】
0005384779.tif 000021