(57)【要約】【課題】複数の候補画像の中から参照画像に最も近い画像を抽出する方法および装置を実現する。【解決手段】グラニュロメトリを利用して複数の画像の中から参照画像に類似する複数の候補画像を抽出し（２０６）、複数の候補画像を参照画像に合わせてトランスフォーメーションし（２０８）、トランスフォーメーション済みの各候補画像について参照画像とのミューチャルインフォメーションを計算し（２１０）、複数の候補画像のうちミューチャルインフォメーションが最大となるものを選択する（２１２）。【選択図】　　　図２
2004038860.tif 000002
【特許請求の範囲】
【請求項１】
グラニュロメトリを利用して複数の画像の中から参照画像に類似する複数の候補画像を抽出し、
前記複数の候補画像を前記参照画像に合わせてそれぞれトランスフォーメーションし、
前記トランスフォーメーション済みの各候補画像について前記参照画像とのミューチャルインフォメーションをそれぞれ計算し、
前記複数の候補画像のうち前記ミューチャルインフォメーションが最大となるものを選択する、
ことを特徴とする画像処理方法。
【請求項２】
前記トランスフォーメーションは倍率合わせを含む、
ことを特徴とする請求項１に記載の画像処理方法。
【請求項３】
前記トランスフォーメーションは重心合わせを含む、
ことを特徴とする請求項１または請求項２に記載の画像処理方法。
【請求項４】
前記参照画像および前記候補画像はいずれも医用画像である、
ことを特徴とする請求項１ないし請求項３のうちのいずれか１つに記載の画像処理方法。
【請求項５】
グラニュロメトリを利用して複数の画像の中から参照画像に類似する複数の候補画像を抽出する抽出手段と、
前記複数の候補画像を前記参照画像に合わせてそれぞれトランスフォーメーションするトランスフォーメーション手段と、
前記トランスフォーメーション済みの各候補画像について前記参照画像とのミューチャルインフォメーションをそれぞれ計算する計算手段と、
前記複数の候補画像のうち前記ミューチャルインフォメーションが最大となるものを選択する選択手段と、
を具備することを特徴とする画像処理装置。
【請求項６】
前記トランスフォーメーションは倍率合わせを含む、
ことを特徴とする請求項５に記載の画像処理装置。
【請求項７】
前記トランスフォーメーションは重心合わせを含む、
ことを特徴とする請求項５または請求項６に記載の画像処理装置。
【請求項８】
前記参照画像および前記候補画像はいずれも医用画像である、
ことを特徴とする請求項５ないし請求項７のうちのいずれか１つに記載の画像処理装置。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、画像処理方法および装置に関し、とくに、複数の画像の中から所定の条件に合致する画像を抽出する方法および装置に関する。
【０００２】
【従来の技術】
医用画像は患者の病状の診断等に重用される。医用画像はそれを撮影する装置の種類に応じてそれぞれ独特の情報を持つので、診断の目的に応じて適宜の種類の撮影装置で撮影した医用画像が用いられる。
【０００３】
多面的な情報に基づいてより的確な診断を行うために、Ｘ線ＣＴ（Ｃｏｍｐｕｔｅｄ　Ｔｏｍｏｇｒａｐｈｙ）装置、ＭＲＩ（Ｍａｇｎｅｔｉｃ　Ｒｅｓｏｎａｎｃｅ　Ｉｍａｇｉｎｇ）装置、ＰＥＴ（Ｐｏｓｉｔｒｏｎ　Ｅｍｉｓｓｉｏｎ　Ｔｏｍｏｇｒａｐｈｙ）装置あるいはＳＰＥＣＴ（Ｓｉｎｇｌｅ　Ｐｈｏｔｏｎ　Ｅｍｉｓｓｉｏｎ　Ｃｏｍｐｕｔｅｄ　Ｔｏｍｏｇｒａｐｈｙ）装置等、種類の異なる複数の撮影装置で撮影した複数種類の医用画像が併用される。
【０００４】
例えば、Ｘ線ＣＴ装置およびＰＥＴ装置によって同一患者の同一部位をそれぞれ撮影し、脳実質の構造を示すＸ線ＣＴ装置の画像と脳の活動状態を示すＰＥＴ装置の画像とを用いて、患部の構造および機能の両面から診断することが行われる。その際、構造と機能の同時把握を容易にするために、両画像を重ね合わせた合成画像が利用される。
【０００５】
そのような合成画像を作成するために、２つの画像の位置合わせが行われる。位置合わせはレジストレーション（ｒｅｇｉｓｔｒａｔｉｏｎ）とも呼ばれる。レジストレーションはコンピュータ（ｃｏｍｐｕｔｅｒ）によって行われる。
【０００６】
レジストレーションには、例えば、文献Ｗ．Ｍ．Ｗｅｌｌｓ　ＩＩＩ　ｅｔ　ａｌ．，　Ｍｕｌｔｉ−Ｍｏｄａｌ　Ｖｏｌｕｍｅ　Ｒｅｇｉｓｔｒａｔｉｏｎ
ｂｙ　Ｍａｘｉｍｉｚａｔｉｏｎ　ｏｆ　Ｍｕｔｕａｌ　Ｉｎｆｏｒｍａｔｉｏｎ，　ｈｔｔｐ／／ｓｐｌｗｅｂ．ｂｗｈ．ｈａｒｖａｒｄ．ｅｄｕ：８０００／ｐａｇｅｓ／ｐａｐｅｒｓ／ｓｗｅｌｌｓ／ｍｉａ−ｈｔｍｌ／ｍｉａ．ｈｔｍｌに記載の技法が用いられる。
【０００７】
概説すれば、レジストレーションは、参照画像ｕ（ｘ）と候補画像ｖ（ｘ）について、両者のミューチャルインフォメーション（Ｍｕｔｕａｌ　Ｉｎｆｏｒｍａｔｉｏｎ）を最大にするトランスフォーメーション（Ｔｒａｎｓｆｏｒｍａｔｉｏｎ）を求めることによって行われる。すなわち、
【０００８】
【数１】
2004038860.tif 000003
【０００９】
ここで、Ｔは、候補画像の座標系から参照画像の座標系へのトランスフォーメーションである。また、
【００１０】
【数２】
2004038860.tif 000004
【００１１】
はミューチャルインフォメーションであり、
【００１２】
【数３】
2004038860.tif 000005
【００１３】
で与えられる。なお、ｈ（・）はエントロピー（ｅｎｔｒｏｐｙ）であり、
【００１４】
【数４】
2004038860.tif 000006
【００１５】
【数５】
2004038860.tif 000007
【００１６】
で与えられる。
【００１７】
【発明が解決しようとする課題】
上記の技法によるレジストレーションは、２つの画像が同一部分を撮影したものであることが予め判明している場合には有効であるが、そうでない場合は、たとえミューチャルインフォメーションが最大になるトランスフォーメーションが得られたとしても、意味のあるレジストレーションになるとは限らない。
【００１８】
そこで、本発明の課題は、複数の候補画像の中から参照画像に最も近い画像を抽出する方法および装置を実現することである。
【００１９】
【００２０】
【課題を解決するための手段】
（１）上記の課題を解決するためのひとつの観点での発明は、グラニュロメトリを利用して複数の画像の中から参照画像に類似する複数の候補画像を抽出し、前記複数の候補画像を前記参照画像に合わせてそれぞれトランスフォーメーションし、前記トランスフォーメーション済みの各候補画像について前記参照画像とのミューチャルインフォメーションをそれぞれ計算し、前記複数の候補画像のうち前記ミューチャルインフォメーションが最大となるものを選択する、ことを特徴とする画像処理方法である。
【００２１】
（２）上記の課題を解決するための他の観点での発明は、グラニュロメトリを利用して複数の画像の中から参照画像に類似する複数の候補画像を抽出する抽出手段と、前記複数の候補画像を前記参照画像に合わせてそれぞれトランスフォーメーションするトランスフォーメーション手段と、前記トランスフォーメーション済みの各候補画像について前記参照画像とのミューチャルインフォメーションをそれぞれ計算する計算手段と、前記複数の候補画像のうち前記ミューチャルインフォメーションが最大となるものを選択する選択手段と、を具備することを特徴とする画像処理装置である。
【００２２】
（１）および（２）に記載の各観点での発明では、グラニュロメトリを利用して複数の画像の中から参照画像に類似する複数の候補画像を抽出し、それら候補画像を参照画像に合わせてそれぞれトランスフォーメーションし、トランスフォーメーション済みの各候補画像について参照画像とのミューチャルインフォメーションをそれぞれ計算し、複数の候補画像のうちミューチャルインフォメーションが最大となるものを選択するので、複数の候補画像の中から参照画像に最も近い画像を抽出することができる。
【００２３】
前記トランスフォーメーションは倍率合わせを含むことが、トランスフォーメーションを効果的に行う点で好ましい。
前記トランスフォーメーションは重心合わせを含むことが、トランスフォーメーションを効果的に行う点で好ましい。
【００２４】
前記参照画像および前記候補画像はいずれも医用画像であることが、組み合わせ画像による診断を可能にする点で好ましい。
【００２５】
【発明の実施の形態】
以下、図面を参照して本発明の実施の形態を詳細に説明する。なお、本発明は実施の形態に限定されるものではない。図１に画像処理装置のブロック（ｂｌｏｃｋ）図を示す。本装置は本発明の実施の形態の一例である。本装置の構成によって、本発明の装置に関する実施の形態の一例が示される。本装置の動作によって、本発明の方法に関する実施の形態の一例が示される。
【００２６】
図１に示すように、本装置は、コンピュータ１００を有する。コンピュータ１００には処理すべき画像が入力される。コンピュータ１００は記憶部１０２を有する。記憶部１０２は入力された画像を記憶する。また、コンピュータ１００のための各種のデータ（ｄａｔａ）やプログラム（ｐｒｏｇｒａｍ）等を記憶する。コンピュータ１００が記憶部１０２に記憶されたプログラムを実行することにより、画像処理に関わる各種のデータ処理が行われる。
【００２７】
コンピュータ１００は、また、表示部１０４および操作部１０６を有する。表示部１０４は、コンピュータ１００から出力される画像やその他の情報を表示する。操作部１０６は、使用者によって操作され、各種の指示や情報等をコンピュータ１００に入力する。使用者は表示部１０４および操作部１０６を使用してインタラクティブ（ｉｎｔｅｒａｃｔｉｖｅ）に本装置を操作する。
【００２８】
本装置の動作を説明する。図２に、本装置の動作のフロー（ｆｌｏｗ）図を示す。本装置の動作は、コンピュータ１００が記憶部１０２に記憶されたプログラムを実行することにより遂行される。
【００２９】
同図に示すように、ステップ（ｓｔｅｐ）２０２で、参照画像読込が行われる。これによって、例えば図３の（ａ）に示すような画像Ａを含む画像フレームが記憶部１０２に記憶される。画像Ａは例えばＰＥＴ装置で撮影した頭部断層像等である。画像Ａは脳の機能を示す中間調画像である。
【００３０】
次に、ステップ２０４で、入力画像読込が行われる。これによって、例えば図３の（ｂ）に示すような画像Ｂを含む画像フレーム（ｆｒａｍｅ）が記憶部１０２に記憶される。画像Ｂは例えばＸ線ＣＴ装置で撮影した頭部断層像等である。画像Ｂは脳実質の構造を示す中間調画像である。
【００３１】
入力画像読込は、外部の画像ファイル（ｆｉｌｅ）等に保存されている複数の画像について行われる。複数の画像は、それぞれ、例えば撮影のスライス位置等を異にするものである。
【００３２】
次に、ステップ２０６で、入力画像から参照画像に類似する候補画像を抽出する。候補画像の抽出には、形態学的演算（ｍｏｒｐｈｏｌｏｇｉｃａｌ　ｏｐｅｒａｔｉｏｎ）の一種であるグラニュロメトリ（ｇｒａｎｕｌｏｍｅｔｒｙ）が利用される。
【００３３】
グラニュロメトリは、例えば文献Ｇｒａｎｕｌｏｍｅｔｒｙ，　ｍａｔｈｅｍａｔｉｃａｌ　ｍｏｒｐｈｏｌｏｇｙ　ｉｎ　ｓｔａｔｉｓｔｉｃａｌ　ｓｅｎｓｅ，　ｈｔｔｐ：／／ｋｕｖａ．ｍｉｓ．ｈｉｒｏｓｈｉｍａ−ｕ．ａｃ．ｊｐ／〜ａｓａｎｏ・Ｋｏｕｇｉ／００ａ／Ｉｎｆｓｔａａｔｌｌ／１１−１０．ｐｄｆに記載されているように周知である。
【００３４】
グラニュロメトリは参照画像および複数の入力画像にそれぞれ適用される。グラニュロメトリの結果から、参照画像および複数の入力画像についてそれぞれパターンスペクトラム（ｐａｔｔｅｒｎ　ｓｐｅｃｔｒｕｍ）が求められる。そして、各入力画像のパターンスペクトラムについて、参照画像のパターンスペクトラムとの類似性の有無が調べられ、類似性を有するものが候補画像として抽出される。このようにパターンスペクトラムが類似するものだけを予め抽出することにより、この後の画像処理を効率化することができる。
【００３５】
次に、ステップ２０８で、候補画像のトランスフォーメーションが行われる。トランスフォーメーションは、候補画像の座標系から参照画像の座標系への幾何学的変換である。これには倍率合わせと重心合わせが含まれる。
【００３６】
倍率合わせは候補画像の大きさを参照画像と同じにする処理であり、次のようにして行われる。まず、参照画像および候補画像について２値化が行われる。２値化は、参照画像については画像Ａを含む画像フレーム中のすべての画素について、所定の閾値以上の画素値を１とし、閾値未満の画素値を０とする処理である。また、候補画像については画像Ｂを含む画像フレーム中のすべての画素について、所定の閾値以上の画素値を１とし、閾値未満の画素値を０とする処理である。
【００３７】
これによって、例えば図４の（ａ），（ｂ）に示すような画像フレームがそれぞれ得られる。これらの画像フレームにおいては、画像ａ，ｂの画素値がすべて１となり、それ以外の部分の画素値はすべて０となる。
【００３８】
一般的に、画像のモーメント（ｍｏｍｅｎｔ）が
【００３９】
【数６】
2004038860.tif 000008
【００４０】
で与えられるとき、画像ｂの大きさを画像ａに合わせる倍率は次式で与えられる。
【００４１】
【数７】
2004038860.tif 000009
【００４２】
ここで、Ｍ（０，０）は０次のモーメントである。このような倍率ｋが複数の候補画像についてそれぞれ求められる。それらの倍率ｋを各候補画像に適用することにより、いずれの候補画像も参照画像と同じ大きさにすることができる。
【００４３】
重心合わせを行うために、画像フレームにおける画像ａおよび画像ｂの重心の位置がそれぞれ求められる。重心の座標（ｍ，ｎ）は次式で与えられる。
【００４４】
【数８】
2004038860.tif 000010
【００４５】
【数９】
2004038860.tif 000011
【００４６】
ここで、Ｍ（１，０）およびＭ（０，１）はいずれも１次のモーメントである。これらの式を図４（ａ），（ｂ）の画像フレームに適用することにより、図５の（ａ），（ｂ）に示すように、画像ａ，ｂの重心ａ０，ｂ０の座標がそれぞれ求まる。これら重心は画像ａ，ｂの重心であるとともに画像Ａ，Ｂの重心でもある。
【００４７】
画像Ａ，Ｂの重心ａ０，ｂ０の座標が、例えば図６に示すように、それぞれ（ｉ０，ｊ０）および（ｉ０’，ｊ０’）として求まったとすると、重心位置の補正量は次式で与えられる。
【００４８】
【数１０】
2004038860.tif 000012
【００４９】
【数１１】
2004038860.tif 000013
【００５０】
ここで、ΔｉはＩ軸方向の重心位置補正量を表し、ΔｊはＪ軸方向の重心位置補正量を表す。このような重心位置補正量が複数の候補画像についてそれぞれ求められる。
【００５１】
上記のような、候補画像ごとの倍率ｋおよび重心位置補正量（Δｉ，Δｊ）を当該の候補画像に適用することにより、複数の候補画像はいずれも参照画像と同じ座標系の画像となる。すなわちトランスフォーメーションが行われる。トランスフォーメーションが行われた状態を図７に模式的に示す。
【００５２】
次に、ステップ２１０で、各候補画像について参照画像とのミューチャルインフォメーションを計算する。この計算に用いられる各候補画像はトランスフォーメーション済みのものである。
【００５３】
ミューチャルインフォメーションを計算するために、参照画像のエントロピーｈ（ａ）が求められる。また、各候補画像について、そのエントロピーｈ（ｂ）および参照画像とのジョイントエントロピーｈ（ａ，ｂ）が求められる。そして、それらエントロピーを用いて、ミューチャルインフォメーションが次式によって計算される。
【００５４】
【数１２】
2004038860.tif 000014
【００５５】
ミューチャルインフォメーションは、複数の候補画像のそれぞれについて求まる。複数の候補画像はトランスフォーメーションされているので、いずれも、参照画像に対して同一の幾何学的条件でミューチャルインフォメーションが求められる。
【００５６】
ミューチャルインフォメーションの大小は、参照画像に対する候補画像の近似の程度を表す。複数の候補画像は参照画像に対する幾何学的条件がすべて同一なので、ミューチャルインフォメーションの大小は正確に参照画像に対する候補画像の近似度を表す。したがって、ミューチャルインフォメーションが最大となる候補画像は参照画像に最も近い画像となる。
【００５７】
次に、ステップ２１２で、ミューチャルインフォメーションが最大となる候補画像を選択する。これによって、候補画像のうち参照画像に最も近い画像が得られる。この画像は参照画像と同じ断面を撮影した画像である可能性が最も高い。抽出された候補画像はすでにトランスフォーメーションされているので、自ずからレジストレーションも完了する。
【００５８】
入力画像の中には参照画像と同じ断面を撮影した画像が含まれているのが普通であるから、以上の処理によって、該当する画像が自動的に抽出され、かつ、レジストレーションが完成する。
【００５９】
図８に、以上のような動作を行う本装置の機能ブロック図を示す。同図に示すように、本装置は、候補抽出部３０２、トランスフォーメーション部３０４、ミューチャルインフォメーション計算部３０６および画像選択部３０８を有する。
【００６０】
候補抽出部３０２は、複数の入力画像の中から参照画像に類似する候補画像を抽出する。この機能ブロックはステップ２０６における処理に相当する。候補抽出部３０２は、本発明における抽出手段の実施の形態の一例である。
【００６１】
トランスフォーメーション部３０４は、各候補画像のトランスフォーメーションを行う。この機能ブロックはステップ２０８における処理に相当する。トランスフォーメーション部３０４は、本発明におけるトランスフォーメーション手段の実施の形態の一例である。
【００６２】
ミューチャルインフォメーション計算部３０６は、候補画像ごとに参照画像とのミューチャルインフォメーションを計算する。この機能ブロックはステップ２１０における処理に相当する。ミューチャルインフォメーション計算部３０６は、本発明における計算手段の実施の形態の一例である。
【００６３】
画像選択部３０８は、ミューチャルインフォメーションが最大となる候補画像を選択する。この機能ブロックはステップ２１２における処理に相当する。画像選択部３０８は、本発明における画像選択手段の実施の形態の一例である。
【００６４】
以上は、ＰＥＴ装置で撮影した画像に最も近い画像をＸ線ＣＴ装置で撮影した複数の画像の中から抽出する例であるが、Ｘ線ＣＴ装置やＰＥＴ装置に限らずその他の撮影装置で撮影した医用画像についても、同様にして互いに最も近い画像を抽出することができる。また、２次元画像ばかりでなく３次元画像についても適用可能である。また、画像は医用画像に限らないのはいうまでもない。
【００６５】
【発明の効果】
以上詳細に説明したように、本発明によれば、複数の候補画像の中から参照画像に最も近い画像を抽出する方法および装置を実現することができる。
【図面の簡単な説明】
【図１】本発明の実施の形態の一例の装置のブロック図である。
【図２】本発明の実施の形態の一例の装置の動作のフロー図である。
【図３】画像フレームの概念図である。
【図４】画像フレームの概念図である。
【図５】画像フレームの概念図である。
【図６】画像の重心の座標を示す図である。
【図７】画像フレームの概念図である。
【図８】本発明の実施の形態の一例の装置の機能ブロック図である。
【符号の説明】
１００　コンピュータ
１０２　記憶部
１０４　表示部
１０６　操作部
３０２　候補抽出部
３０４　トランスフォーメーション部
３０６　ミューチャルインフォメーション計算部
３０８　画像選択部
【図１】
2004038860.tif 000015
【図２】
2004038860.tif 000016
【図３】
2004038860.tif 000017
【図４】
2004038860.tif 000018
【図５】
2004038860.tif 000019
【図６】
2004038860.tif 000020
【図７】
2004038860.tif 000021
【図８】
2004038860.tif 000022
【手続補正書】
【提出日】平成14年7月10日(2002.7.10)
【手続補正１】
【補正対象書類名】明細書
【補正対象項目名】００１９
【補正方法】削除
【補正の内容】