(57)【要約】【課題】いか様な部位に対しても、安定的に２枚の画像を粗く重ねることができる画像処理装置を得ることを目的とする。【解決手段】２枚の画像の重なり度を第１のエネルギ関数の値として算出する第１のエネルギ計算回路１１３と、上記２枚の画像中のいずれか一方の座標を全体的に変更し、上記座標を変更する前の第１のエネルギ計算回路１１３で算出したエネルギと、上記座標を変更した後の第１のエネルギ計算回路１１３で算出したエネルギを比較し、当該比較結果に基づき上記変更前又は上記変更後の上記座標を選択し、第１のエネルギ計算回路１１３で計算されるエネルギが一定値以下又は所定回数に達するまで、逐次上記座標を変更し続ける判定手段とを備える。【選択図】　図１
2004088462.tif 000002
【特許請求の範囲】
【請求項１】
２枚の画像の重なり度を第１のエネルギ関数の値として算出する第１のエネルギ計算手段と、
上記２枚の画像中のいずれか一方の座標を全体的に変更し、上記座標を変更する前の上記第１のエネルギ計算手段で算出したエネルギと、上記座標を変更した後の上記第１のエネルギ計算手段で算出したエネルギを比較し、当該比較結果に基づき上記変更前又は上記変更後の上記座標を選択し、上記第１のエネルギ計算手段で計算されるエネルギが一定値以下又は所定回数に達するまで、逐次、上記座標を変更し続ける判定手段とを備えることを特徴とする画像処理装置。
【請求項２】
２枚の画像の重なり度をエネルギ関数の値として算出する第１のエネルギ計算手段と、
上記２枚の画像の重なり度を第２のエネルギ関数の値として算出する第２のエネルギ計算手段と、
上記２枚の画像中のいずれか一方の座標を全体的に変更し、上記座標を変更する前の上記第１のエネルギ計算手段で算出したエネルギと、上記座標を変更した後の上記第１のエネルギ計算手段で算出したエネルギを比較し、当該比較結果に基づき上記変更前又は上記変更後の上記座標を選択し、上記第１のエネルギ計算手段で計算されるエネルギが一定値以下又は所定回数に達するまで、逐次、上記座標を変更し続け、上記第１のエネルギ計算手段で算出したエネルギが上記一定値以下又は上記所定回数以下になった場合に、上記第２のエネルギ関数の値に切り替え、
上記２枚の画像中のいずれか一方の座標を全体的に変更し、上記座標を変更する前の上記第２のエネルギ計算手段で算出したエネルギと、上記座標を変更した後の上記第２のエネルギ計算手段で算出したエネルギを比較し、当該比較結果に基づき上記変更前又は上記変更後の上記座標を選択し、上記第２のエネルギ計算手段で計算されるエネルギが一定値以下又は所定回数に達するまで、逐次、上記座標を変更し続ける判定手段を備えることを特徴とする画像処理装置。
【請求項３】
上記判定手段で、上記座標変更前のエネルギと上記座標変更後のエネルギとを比較し、当該比較結果に基づき、上記変更前又は上記変更後の座標を選択する方法として、最急降下方法を用いることを特徴とする請求項１又は請求項２のいずれか１項に記載の画像処理装置。
【請求項４】
上記判定手段で、上記座標変更前のエネルギと上記座標変更後のエネルギを比較し、当該比較結果に基づき、上記変更前又は上記変更後の座標を選択する方法として、モンテカルロ方法を用いることを特徴とする請求項１又は請求項２のいずれか１項に記載の画像処理装置。
【請求項５】
上記第１のエネルギ計算手段又は上記第２のエネルギ計算手段でエネルギ算出に用いる画像を縮小画像とすることを特徴とする請求項１〜４のいずれか１項に記載の画像処理装置。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、経時サブトラクション画像を作成するために、異なる時間で作成された２枚の画像を全体的に重ねあわせる画像処理装置に関し、特に２枚の画像の重なり度をエネルギ関数で算出されるエネルギで表現し、このエネルギに基づき画像の座標を変更することで、画像を全体的に重ねあわすことのできる画像処理装置に関するものである。
【０００２】
【従来の技術】
一定期間を隔てて撮影された２枚の画像を比較診断することは病変の発生や進行等を診断する上で有効な情報を与える。このような視点から近年、一定期間を隔てて撮影された２枚の画像をデジタル化し、これら２枚の画像の同一領域が同一座標になるように重ねて両画像の差分を求め表示する画像処理方法（以下単に「サブトラクション方法」と呼ぶ。）が検討されている。
【０００３】
このようなサブトラクション方法では、２枚の画像を以下に精度良く合わせるかが診断上において極めて重要となる。
この２枚の画像を重ね合わせる方法として、第一の段階としてまず、２枚の画像を粗く重ね合わせ、第二の段階として粗く重ね合わせた画像を、細部に渡って詳細に位置合わせを行う方法が用いられることがある。
重ね合わせの初期の段階から細部に渡って詳細に２枚の画像の一致度を判定していたならば、計算時間がかかると共に、逆にローカルミニマムのようなエネルギ的な谷間にはまって重ねあわせがうまくいかなくなる場合があるからである。
【０００４】
そこで、第一の段階として粗く２枚の画像を重ね方法が用いられており、このような方法として、被写体中の特徴的な部分の座標を２枚の画像それぞれから算出し、その座標が重ね合わさるように２枚の画像を粗く重ねる方法が検討されはじめている。
【０００５】
【発明が解決しようとする課題】
しかし、上述のような、被写体中の特徴的な部分を算出する方法では、被写体中の特徴的な部分は算出精度に依存し、粗く２枚の画像を重ね合わせる精度が左右される問題がある。従って、特徴的な部分の算出に失敗した場合には重ね合わせがうまくいかない問題がある。
【０００６】
さらに、サブトラクションを行う部位が２以上ある場合には、それぞれの部位に対して特徴的な領域を抽出する方法を開発しなければならない。つまり、特徴的な領域を抽出する方法を開発している部位に対してしかサブトラクションを行うことが出来ない問題がある。
【０００７】
本発明は上記のような課題を解決するためになされたもので、如何なる部位に対しても、安定的に２枚の画像を粗く重ねることができる画像処理装置を得ることを目的とする。
【０００８】
【課題を解決するための手段】
請求項１記載の発明は、第１のエネルギ計算手段が２枚の画像の重なり度を第１のエネルギ関数の値として算出し、判定手段が２枚の画像中のいずれか一方の座標を全体的に変更し、座標を変更する前の第１のエネルギ計算手段で算出したエネルギと、座標を変更した後の第１のエネルギ計算手段で算出したエネルギを比較し、比較結果に基づき変更前又は変更後の座標を選択し、第１のエネルギ計算作成手段で計算されるエネルギが一定値以下又は所定回数に達するまで、逐次座標を変更し続けるものである。
【０００９】
請求項２記載の発明は、第１のエネルギ計算手段が２枚の画像の重なり度をエネルギ関数の値として算出し、判定回路が２枚の画像の重なり度を第２のエネルギ関数の値として算出する第２のエネルギ計算手段と、２枚の画像中のいずれか一方の座標を全体的に変更し、座標を変更する前の第１のエネルギ計算手段で算出したエネルギと、座標を変更した後の第１のエネルギ計算手段で算出したエネルギを比較し、比較結果に基づき変更前又は変更後の座標を選択し、第１のエネルギ計算作成手段で計算されるエネルギが一定値以下又は所定回数に達するまで、逐次座標を変更し続け、第１のエネルギ計算手段で算出したエネルギが一定値以下又は所定回数以下になった場合に、第２のエネルギ関数の値に切り替え、２枚の画像中のいずれか一方の座標を全体的に変更し、座標を変更する前の第２のエネルギ計算手段で算出したエネルギと、座標を変更した後の第２のエネルギ計算手段で算出したエネルギを比較し、比較結果に基づき変更前又は変更後の座標を選択し、第２のエネルギ計算手段で計算されるエネルギが一定値以下又は所定回数に達するまで、逐次座標を変更し続けるものである。
【００１０】
請求項３記載の発明は、判定手段で座標変更前のエネルギと座標変更後のエネルギを比較し、比較結果に基き変更前又は変更後の座標を選択する方法として最急降下方法を用いるものである。
【００１１】
請求項４記載の発明は、判定手段で座標変更前のエネルギと座標変更後のエネルギを比較し、比較結果に基き変更前又は変更後の座標を選択する方法としてモンテカルロ方法を用いるものである。
【００１２】
また、判定手段で座標変更前のエネルギと座標変更後のエネルギを比較し、比較結果に基づき変更前又は変更後の座標を選択する方法として一定エネルギまでは最急降下方法を用い、その後はモンテカルロ方法を用いるものである。
【００１３】
請求項５記載の発明は、第１のエネルギ算出回路又は第２のエネルギ算出回路でエネルギ算出に用いる画像を縮小画像とするものである。
【００１４】
【発明の実施の形態】
（第１の実施の形態）
以下、この発明の実施の一形態を説明する。
図１は、本発明の第１の実施の形態による画像処理装置を適用したＸ線撮影装置１００を示す。すなわち、Ｘ線撮影装置１００は、サブトラクション機能を有するものであり、前処理回路１０６、ＣＰＵ１０８、メインメモリ１０９、操作パネル１１０、画像表示器１１１、画像処理回路１１２を備えており、ＣＰＵバス１０７を介して互いにデータ授受されるようになされている。
【００１５】
また、Ｘ線撮影装置１００は、前処理回路１０６に接続されたデータ収集回路１０５と、データ収集回路１０５に接続された２次元Ｘ線センサ１０４及びＸ線発生回路１０１とを備えており、これらの各回路はＣＰＵバス１０７にも接続されている。
【００１６】
１１２は画像処理回路の構成を示すブロック図であり、図において、１１３は２枚の画像の重なり度を第１のエネルギ関数の値として算出する第１のエネルギ計算回路であり、１１４は２枚の画像の重なり度を第２のエネルギ関数の値として算出する第２のエネルギ計算回路であり、１１５は第１のエネルギ算出回路１１３又は、第２のエネルギ算出回路１１４で計算されたエネルギの値に基づき、重ね合わせようとしている２枚の画像のいずれか一方の座標を変更する座標変更回路である。
【００１７】
図２は、第１の本実施の形態の処理の流れを示すフローチャートである。
図３は、第１のエネルギ算出回路で用いる第１のエネルギ関数の算出値と２枚の画像間の座標との関係の一例を示した図であり、図４は、第２のエネルギ算出回路で用いる第２のエネルギ関数の算出値と２枚の画像間の座標との関係の一例を示した図である。
これらの図では縦軸をエネルギ、横軸を２枚の画像が最も重なった座標の位置を０と仮定し、その０点からの２枚の画像の相対的なずれを示す距離としている。
【００１８】
上述の様なＸ線撮影装置において、まず、メインメモリ１０９は、ＣＰＵ１０８での処理に必要な各種のデータなどが記憶されるものであると共に、ＣＰＵ１０８の作業用としてのワークメモリを含む。
ＣＰＵ１０８は、メインメモリ１０９を用いて、操作パネル１１０からの操作にしたがった装置全体の動作制御等を行う。これにより、Ｘ線撮影装置１００は、以下のように動作する。
【００１９】
先ず、Ｘ線発生回路１０１は、被検査体（被写体）１０３に対してＸ線ビーム１０２を放射する。
Ｘ線発生回路１０１から放射されたＸ線ビーム１０２は、被検査体１０３を減衰しながら透過して、２次元Ｘ線センサ１０４に到達し、２次元Ｘ線センサ１０４によりＸ線画像として出力される。ここでは、２次元Ｘ線センサ１０４から出力されるＸ線画像を、例えば人体部画像等とする。
【００２０】
データ収集回路１０５は、２次元Ｘ線センサ１０４から出力されたＸ線画像を電気信号に変換して前処理回路１０６に供給する。前処理回路１０６は、データ収集回路１０５からの信号（Ｘ線画像信号）に対して、オフセット補正処理やゲイン補正処理等の前処理を行う。
【００２１】
この前処理回路１０６で前処理が行われたＸ線画像信号は原画像として、ＣＰＵ１０８の制御により、ＣＰＵバス１０７を介して、メインメモリ１０９、画像処理回路１１２に転送される。ここであらかじめメインメモリ１０９に保存される原画像をｆ１（ｘ、ｙ）とする。
【００２２】
次に、画像処理回路１１２の動作について図２の処理の流れに従い説明する。ＣＰＵバス１０７を介して前処理回路１０６で処理された原画像ｆ２（ｘ、ｙ）をＣＰＵ１０８の制御により受信した画像処理回路１１２における第１のエネルギ計算回路１１３は、ｆ１（ｘ、ｙ）とｆ２（ｘ、ｙ）のエネルギを下記式（１）に従って計算する（ｓ２０１）。
【００２３】
これは、２画像ｆ１（ｘ、ｙ）、ｆ２（ｘ、ｙ）の重なり面積が大きくなるに従いエネルギＥ１が小さくなる関数形として定義したものである。ただし、説明を容易にするため簡回転は考慮しないこととする。
【００２４】
Ｅ１＝−∫ｓｇｎ（ｆ１（ｘ，ｙ））×ｓｇｎ（ｆ２（ｘ，ｙ））ｄｘｄｙ　　………　　式（１）
ただし、Ｄ１、Ｄ２：画像ｆ２（）のＸ座標、Ｙ座標での移動距離
ｉｆ　　ｘ＞０　　ｓｇｎ（ｘ）　＝　　１，　　その他　ｓｇｎ（ｘ）　＝　　０
とする。
【００２５】
次に、判別回路１１６は、Ｄ１，Ｄ２として−１，０，１のいずれかの値を任意に選択する（ｓ２０２）。つまり、画像ｆ２（ｘ、ｙ）が全体的に上下左右で１の座標範囲で移動することになる。そして、判別回路１１６では仮にＤ１、Ｄ２分画像をシフトした場合のエネルギＥ２を計算する（ｓ２０３）。
Ｅ２＝−∫ｓｇｎ（ｆ１（ｘ，ｙ））×ｓｇｎ（ｆ２（ｘ＋Ｄ１，ｙ＋Ｄ２））ｄｘｄｙ　……式（２）
【００２６】
さらにＥ２＞＝Ｅ１ならば新たなＤ１，Ｄ２の組を選択してもう一度新たなＥ２を計算する（ｓ２０４）。この場合、全てのＤ１，Ｄ２の組に対してＥ２を計算してもＥ２＞Ｅ１であるならば処理を終了する。
【００２７】
一方、Ｅ２＜Ｅ１ならばｆ２画像を全体的にＤ１，Ｄ２シフトした画像を新たなｆ２（ｘ、ｙ）画像とする。そしてＥ１をＥ２に置き換え（ｓ２０５）、このＥ１が所定値以下又はｆ２画像の座標を変更した回数が所定値以上ならば処理を終了し、それ以外ならｓ２０２〜ｓ２０６を繰り返す。
【００２８】
このような処理を繰り返すことにより、図３に示すようなエネルギ関数が最小である座標、つまり最も２枚の画像がかさなる位置にｆ２画像がシフトすることになる。上述のように２つのエネルギＥ１，Ｅ２を比較し、エネルギが低い方向に座標をシフトする方法を最急降下方法と呼ぶ。
【００２９】
この方法はエネルギ関数がローカルミニマムをもたない滑らかな形状をしている場合には、最も有効であり、計算回数を最小でグローバルミニマムの位置、即ち、最も画像が重なっている位置を算出することができる効果を有する。この様にエネルギ関数を用いて２枚の画像を重ね合わせる場合には、画像全体の位置情報（位置と画素値の関係情報）を用いることが可能であり、重ね合わせの精度があがる効果がある。また、エネルギ関数はなだらかな形状をしているため、重ね合わせに失敗する可能性も低いものである。
【００３０】
一方、エネルギ関数がローカルミニマムを含む場合や、未知なる部位の画像でネルギ関数形が予測できない場合には以下に述べるモンテカルロ方法を用いることが好ましい。最急降下方法よりも計算回数は増えるが、ローカルミニマムに引っかかることなくグローバルミニマムに達することができるからである。
【００３１】
まず、ΔＥ＝Ｅ２−Ｅ１　　　　　　　　　　　　　　　　　　　　　　　　………　　　式（３）
とし、遷移確率Ｐ（Ｅ１→Ｅ２）を式（４）で表す。
Ｐ（Ｅ１→Ｅ２）＝１／（１＋ｅｘｐ（△Ｅ／Ｔ））　………　　式（４）
ここでＴは温度といわれるものでＴ＝０の時に最急降下方法と同一になる。
【００３２】
また、画像ｆ１、ｆ２をあらかじめ縮小して用いたほうが、計算回数が短縮され計算時間が早くなる効果もある。さらに、あらかじめ被写体領域だけを抽出して、被写体領域だけを用いて同一の処理を行うことが、精度向上と計算時間の短縮の上で好ましい。
【００３３】
以上の様に第１の実施の形態によれが、画像全体の重なり度をエネルギ関数とすることで、２枚の画像を安定して重ね合わせることができる効果がある。また、最急効果方法を用いた場合には、計算回数を少なくして２画像が最も重なる位置に画像をシフトすることができる効果がある。
【００３４】
さらにモンテカルロ方法を用いた場合には、ローカルミニマムに落ち込むことなく安定してエネルギのグローバルミニマムの点を算出できるので、安定して２画像が最も重なる位置を算出できる効果がある。
さらに、縮小画像を用いた場合には、計算回数を短縮することが可能であり、計算時間を短縮できる効果がある。
【００３５】
（第２の実施の形態）
第２の実施の形態は、第２のエネルギ関数の算出値をも用いるものであり、第１の実施の形態と同一の処理については同一の番号を付して説明を省略する。図５が第２の実施の形態の流れを説明するためのフローチャートであり、この流れに従い第２の実施の形態を以下に説明する。
【００３６】
ステップ２０１から２０６までは、第１の実施の形態と全く同一の処理を行う。そして、エネルギＥ１が一定値以下となった場合には、ｆ１、ｆ２の画像座標はそのままとして、エネルギを以下に示す式（５）の第２のエネルギ計算回路１１４での第２のエネルギ関数に置き換えるものである。
【００３７】
2004088462.tif 000003
とする。第２のエネルギ計算回路１１４での第２のエネルギ関数に置き換えた後は第１の実施の形態と同様の処理を行う。
【００３８】
ここで、第１のエネルギ計算回路１１３での第１のエネルギ関数は、ローカルミニマムの存在しにくい関数形であり、最急効果方法を用いることにより、最短でほぼ２枚の画像を重ねることが可能となる。
一方、第２のエネルギ算出回路１１４での第２のエネルギ関数は、グローバルミニマムでの２枚の重なりを、第１のエネルギ関数よりも精度高く求めることが可能であるが、ローカルミニマムの存在しやすい関数形である。
【００３９】
従って、第１のエネルギ関数を用いて最急降下方法でほぼ２枚の画像を重ねあわせ、さらに精度の高い第２のエネルギ関数を用いてモンテカルロ方法によりグローバルミニマムの点を算出することで、第１のエネルギ関数だけを用いるよりも精度が上がり、第２のエネルギ関数だけを用いるよりも計算時間が短縮される効果がある。
【００４０】
以上、第２の実施の形態によれば、２種類のエネルギ関数を用いることで、計算時間の短縮と位置合わせ精度の向上を図ることができる効果がある。
【００４１】
【発明の効果】
請求項１記載の発明によれば、画像全体の重なり度をエネルギ関数とすることで、２枚の画像を安定して重ね合わせることができる効果がある。モンテカルロ方法を用いた場合には、ローカルミニマムに落ち込むことなく安定してエネルギのグローバルミニマムの点を算出できるので、安定して２画像が最も重なる位置を算出できる効果がある。さらに、縮小画像を用いた場合には、計算回数を短縮することが可能であり、計算時間を短縮できる効果がある。
【００４２】
請求項２記載の発明によれば、２種類のエネルギ関数を用いることで、計算時間の短縮と位置合わせ精度の向上を図ることができる効果がある。
【００４３】
請求項３記載の発明によれば、最急効果方法を用いた場合には、計算回数を少なくして２画像が最も重なる位置に画像をシフトすることができる効果がある。
【００４４】
請求項４記載の発明によれば、ローカルミニマムに落ち込むことなく安定してエネルギのグローバルミニマムの点を算出できるので、安定して２画像が最も重なる位置を算出できる効果がある。
【００４５】
請求項５記載の発明によれば、縮小画像を用いた場合には、計算回数を短縮することが可能であり、計算時間を短縮できる効果がある。
【図面の簡単な説明】
【図１】本発明の第１の実施の形態による画像処理装置のブロック図である。
【図２】本発明の第１の実施の形態による画像処理装置の処理手順を示すフローチャートである。
【図３】第１のエネルギ関数曲線の一例を示した図である。
【図４】第２のエネルギ関数曲線の一例を示した図である。
【図５】本発明の第２の実施の形態による画像処理装置の処理手順を示すフローチャートである。
【符号の説明】
１１３　　第１のエネルギ計算回路
１１４　　第２のエネルギ計算回路
１１５　　座標変更回路
１１６　　判定回路
【図１】
2004088462.tif 000004
【図２】
2004088462.tif 000005
【図３】
2004088462.tif 000006
【図４】
2004088462.tif 000007
【図５】
2004088462.tif 000008