(57)【特許請求の範囲】
【請求項１】
比較対象となる同一被写体についての２つの３次元画像間で対応位置関係を求める画像処理装置であって、
前記被写体を構成する複数の部位のそれぞれに対して、画像を変形する際に用いる変形手法と、２つの画像の類似度を評価する際に用いる評価尺度とを対応づけて記憶する記憶部と、
前記２つの３次元画像を構成する断層画像のそれぞれが前記被写体のいずれの部位を表す断層画像であるかの情報を取得する部位情報取得部と、
該取得された情報を用いて、前記２つの３次元画像において、同一の部位を表す断層画像の集合からなる部分画像の組を複数特定する部分画像特定部と、
該特定された各組の部分画像毎に、それらの部分画像に表されている部位に対応付けて記憶されている変形手法を用いて一方の３次元画像の部分画像内の各画素を所定の移動量で移動させることにより該部分画像を変形し、該変形後の部分画像と他方の３次元画像の部分画像との類似度を、それらの部分画像に表されている部位に対応付けて記憶されている評価尺度を用いて評価する処理を、前記変形における前記各画素に与えられる移動量を変化させながら繰り返し行い、該移動量の変化に対する前記類似度を評価した評価値の変化量が所定値以下となる場合の前記変形における前記各画素に与えられる移動量を求める移動量算出部と、
該求められた移動量を用いて前記２つの３次元画像間の対応位置関係を求める位置関係算出部とを備え、
前記移動量算出部が、前記一方の３次元画像において、複数の部位を表す断層画像の集合からなる部分画像の各画素については、該部分画像に表されている各部位毎に、該部位に対応付けられている変形手法および評価尺度を用いて前記移動量を求めるものであり、
前記位置関係算出部が、該各部位毎に求められた移動量を平均した値を前記求められた移動量として用いて前記２つの３次元画像間の対応位置関係を求めるものであることを特徴とする画像処理装置。
【請求項２】
前記位置関係算出部が、前記一方の３次元画像において、異なる変形手法および／または異なる評価尺度を用いて前記移動量を求めた部分画像同士が隣接する部分における各画素については、前記移動量算出部により求められた該画素の移動量を当該画素の近傍に位置する２つ以上の画素のそれぞれにおける移動量を用いて平均化し、該平均化された値を前記求められた移動量として用いて前記２つの３次元画像間の対応位置関係を求めるものであることを特徴とする請求項１記載の画像処理装置。
【請求項３】
前記位置関係算出部が、前記移動量算出部により求められた移動量を用いて前記一方の３次元画像中の前記特定された部分画像以外の部分における各画素の移動量の推定値を求め、該求められた推定値および前記求められた移動量を用いて前記２つの３次元画像間の対応位置関係を求めるものであることを特徴とする請求項１または２記載の画像処理装置。
【請求項４】
比較対象となる同一被写体についての２つの３次元画像間で対応位置関係を求める画像処理装置であって、
前記被写体を構成する複数の部位のそれぞれに対して、画像を変形する際に用いる変形手法と、２つの画像の類似度を評価する際に用いる評価尺度とを対応づけて記憶する記憶部と、
前記２つの３次元画像において、同一の部位が表されている部位画像の組を複数特定する部位画像特定部と、
該特定された各組の部位画像毎に、それらの部位画像に表されている部位に対応付けて記憶されている変形手法を用いて一方の３次元画像の部位画像内の各画素を所定の移動量で移動させることにより該部位画像を変形し、該変形後の部位画像と他方の３次元画像の部位画像との類似度を、それらの部位画像に表されている部位に対応付けて記憶されている評価尺度を用いて評価する処理を、前記変形における前記各画素に与えられる移動量を変化させながら繰り返し行い、該移動量の変化に対する前記類似度を評価した評価値の変化量が所定値以下となる場合の前記変形における前記各画素に与えられる移動量を求める移動量算出部と、
該求められた移動量を用いて前記一方の３次元画像中の前記特定された部位画像以外の部分における各画素の移動量の推定値を求め、該求められた推定値および前記求められた移動量を用いて前記２つの３次元画像間の対応位置関係を求める位置関係算出部と
を備えたことを特徴とする画像処理装置。
【請求項５】
前記位置関係算出部が、前記一方の３次元画像において、異なる変形手法および／または異なる評価尺度を用いて前記移動量を求めた部位画像同士が隣接する部分における各画素については、前記移動量算出部により求められた該画素の移動量を当該画素の近傍に位置する２つ以上の画素のそれぞれにおける移動量を用いて平均化し、該平均化された値を前記求められた移動量として用いて前記２つの３次元画像間の対応位置関係を求めるものであることを特徴とする請求項４記載の画像処理装置。
【請求項６】
前記位置関係算出部が、前記一方の３次元画像中の前記特定された部位画像以外の部分における各画素の移動量の推定値を当該画素の近傍に位置する２つ以上の画素のそれぞれにおける移動量を用いて補間により求めるものであることを特徴とする請求項４または５記載の画像処理装置。
【請求項７】
比較対象となる同一被写体についての２つの３次元画像間で対応位置関係を求める画像処理方法であって、
前記被写体を構成する複数の部位のそれぞれに対して、画像を変形する際に用いる変形手法と、２つの画像の類似度を評価する際に用いる評価尺度とを対応づけて記憶し、
前記２つの３次元画像を構成する断層画像のそれぞれが前記被写体のいずれの部位を表す断層画像であるかの情報を取得し、
該取得された情報を用いて、前記２つの３次元画像において、同一の部位を表す断層画像の集合からなる部分画像の組を複数特定し、
該特定された各組の部分画像毎に、それらの部分画像に表されている部位に対応付けて記憶されている変形手法を用いて一方の３次元画像の部分画像内の各画素を所定の移動量で移動させることにより該部分画像を変形し、該変形後の部分画像と他方の３次元画像の部分画像との類似度を、それらの部分画像に表されている部位に対応付けて記憶されている評価尺度を用いて評価する処理を、前記変形における前記各画素に与えられる移動量を変化させながら繰り返し行い、該移動量の変化に対する前記類似度を評価した評価値の変化量が所定値以下となる場合の前記変形における前記各画素に与えられる移動量を求め、
該求められた移動量を用いて前記２つの３次元画像間の対応位置関係を求めることを特徴とする画像処理方法であって、
前記移動量を求める処理が、前記一方の３次元画像において、複数の部位を表す断層画像の集合からなる部分画像の各画素については、該部分画像に表されている各部位毎に、該部位に対応付けられている変形手法および評価尺度を用いて前記移動量を求める処理であり、
前記位置関係を求める処理が、該各部位毎に求められた移動量を平均した値を前記求められた移動量として用いて前記２つの３次元画像間の対応位置関係を求める処理であることを特徴とする画像処理方法。
【請求項８】
前記位置関係を求める処理が、前記一方の３次元画像において、異なる変形手法および／または異なる評価尺度を用いて前記移動量を求めた部分画像同士が隣接する部分における各画素については、前記求められた該画素の移動量を当該画素の近傍に位置する２つ以上の画素のそれぞれにおける移動量を用いて平均化し、該平均化された値を前記求められた移動量として用いて前記２つの３次元画像間の対応位置関係を求める処理であることを特徴とする請求項７記載の画像処理方法。
【請求項９】
前記位置関係を求める処理が、前記求められた移動量を用いて前記一方の３次元画像中の前記特定された部分画像以外の部分における各画素の移動量の推定値を求め、該求められた推定値および前記求められた移動量を用いて前記２つの３次元画像間の対応位置関係を求める処理であることを特徴とする請求項７または８記載の画像処理方法。
【請求項１０】
比較対象となる同一被写体についての２つの３次元画像間で対応位置関係を求める画像処理方法であって、
前記被写体を構成する複数の部位のそれぞれに対して、画像を変形する際に用いる変形手法と、２つの画像の類似度を評価する際に用いる評価尺度とを対応づけて記憶し、
前記２つの３次元画像において、同一の部位が表されている部位画像の組を複数特定し、
該特定された各組の部位画像毎に、それらの部位画像に表されている部位に対応付けて記憶されている変形手法を用いて一方の３次元画像の部位画像内の各画素を所定の移動量で移動させることにより該部位画像を変形し、該変形後の部位画像と他方の３次元画像の部位画像との類似度を、それらの部位画像に表されている部位に対応付けて記憶されている評価尺度を用いて評価する処理を、前記変形における前記各画素に与えられる移動量を変化させながら繰り返し行い、該移動量の変化に対する前記類似度を評価した評価値の変化量が所定値以下となる場合の前記変形における前記各画素に与えられる移動量を求め、
該求められた移動量を用いて前記一方の３次元画像中の前記特定された部位画像以外の部分における各画素の移動量の推定値を求め、該求められた推定値および前記求められた移動量を用いて前記２つの３次元画像間の対応位置関係を求めることを特徴とする画像処理方法。
【請求項１１】
前記位置関係を求める処理が、前記一方の３次元画像において、異なる変形手法および／または異なる評価尺度を用いて前記移動量を求めた部位画像同士が隣接する部分における各画素については、前記求められた該画素の移動量を当該画素の近傍に位置する２つ以上の画素のそれぞれにおける移動量を用いて平均化し、該平均化された値を前記求められた移動量として用いて前記２つの３次元画像間の対応位置関係を求める処理であることを特徴とする請求項１０記載の画像処理方法。
【請求項１２】
前記位置関係を求める処理が、前記一方の３次元画像中の前記特定された部位画像以外の部分における各画素の移動量の推定値を当該画素の近傍に位置する２つ以上の画素のそれぞれにおける移動量を用いて補間により求める処理であることを特徴とする請求項１０または１１記載の画像処理方法。
【請求項１３】
コンピュータを、比較対象となる同一被写体についての２つの３次元画像間で対応位置関係を求める画像処理装置として機能させるためのプログラムであって、
前記コンピュータを、
前記被写体を構成する複数の部位のそれぞれに対して、画像を変形する際に用いる変形手法と、２つの画像の類似度を評価する際に用いる評価尺度とを対応づけて記憶する記憶部、
前記２つの３次元画像を構成する断層画像のそれぞれが前記被写体のいずれの部位を表す断層画像であるかの情報を取得する部位情報取得部、
該取得された情報を用いて、前記２つの３次元画像において、同一の部位を表す断層画像の集合からなる部分画像の組を複数特定する部分画像特定部、
該特定された各組の部分画像毎に、それらの部分画像に表されている部位に対応付けて記憶されている変形手法を用いて一方の３次元画像の部分画像内の各画素を所定の移動量で移動させることにより該部分画像を変形し、該変形後の部分画像と他方の３次元画像の部分画像との類似度を、それらの部分画像に表されている部位に対応付けて記憶されている評価尺度を用いて評価する処理を、前記変形における前記各画素に与えられる移動量を変化させながら繰り返し行い、該移動量の変化に対する前記類似度を評価した評価値の変化量が所定値以下となる場合の前記変形における前記各画素に与えられる移動量を求める移動量算出部、
該求められた移動量を用いて前記２つの３次元画像間の対応位置関係を求める位置関係算出部として機能させるための画像処理プログラムであって、
前記移動量算出部が、前記一方の３次元画像において、複数の部位を表す断層画像の集合からなる部分画像の各画素については、該部分画像に表されている各部位毎に、該部位に対応付けられている変形手法および評価尺度を用いて前記移動量を求めるものであり、
前記位置関係算出部が、該各部位毎に求められた移動量を平均した値を前記求められた移動量として用いて前記２つの３次元画像間の対応位置関係を求めるものであることを特徴とする画像処理プログラム。
【請求項１４】
コンピュータを、比較対象となる同一被写体についての２つの３次元画像間で対応位置関係を求める画像処理装置として機能させるためのプログラムであって、
前記コンピュータを、
前記被写体を構成する複数の部位のそれぞれに対して、画像を変形する際に用いる変形手法と、２つの画像の類似度を評価する際に用いる評価尺度とを対応づけて記憶する記憶部、
前記２つの３次元画像において、同一の部位が表されている部位画像の組を複数特定する部位画像特定部、
該特定された各組の部位画像毎に、それらの部位画像に表されている部位に対応付けて記憶されている変形手法を用いて一方の３次元画像の部位画像内の各画素を所定の移動量で移動させることにより該部位画像を変形し、該変形後の部位画像と他方の３次元画像の部位画像との類似度を、それらの部位画像に表されている部位に対応付けて記憶されている評価尺度を用いて評価する処理を、前記変形における前記各画素に与えられる移動量を変化させながら繰り返し行い、該移動量の変化に対する前記類似度を評価した評価値の変化量が所定値以下となる場合の前記変形における前記各画素に与えられる移動量を求める移動量算出部、
該求められた移動量を用いて前記一方の３次元画像中の前記特定された部位画像以外の部分における各画素の移動量の推定値を求め、該求められた推定値および前記求められた移動量を用いて前記２つの３次元画像間の対応位置関係を求める位置関係算出部
として機能させるための画像処理プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、比較対象となる同一被写体についての２つの３次元画像間で対応位置関係を求める画像処理装置、方法及びプログラムに関する。
【背景技術】
【０００２】
画像診断では、直近の検査で取得された被検体の画像を、過去の検査で取得された同じ被検体の画像と対比することにより、病状の変化を確認することができる。このとき、両画像の対比を容易にするため、画像間の位置合わせが行われている。具体的には、特許文献１および非特許文献１に示されているように、一方の画像にその空間を所定間隔で区切る制御点を設定し、この制御点の位置を変位させて変形した一方の画像と他方の画像との類似度を、所定の評価尺度を用いて評価したときに、その評価値が最大となる制御点の変位量を決定し、このときの制御点の変位量を用いて画像間の位置合わせを行う。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特表２００６−５０６１５３号公報
【非特許文献】
【０００４】
【非特許文献１】J. Masumoto et al.、“A similarity measure for nonrigid volume registration using known joint distribution of targeted tissue: Application to dynamic CT data of the liver” Medical Image Analysis 7 (2003）, pp. 553-564
【発明の概要】
【発明が解決しようとする課題】
【０００５】
ところで、従来は、診断において注目されている特定の部位を含む必要最小限の範囲だけを撮影していたため、得られた画像に対する位置合わせ処理においても、その特定の部位に特化した１つの評価尺度を用いるだけで充分であった。しかし、近年、被曝低減技術の進歩により、一回の撮影で多数の部位を含むより広範囲を撮影できるようになり、１回の検査で複数の部位について複合的な診断を行うことができるようになった。これに伴い、得られた画像に対する位置合わせ処理においても、多数の部位のそれぞれが充分な精度をもって位置合わせできる技術が要望されるようになってきた。
【０００６】
なお、上記特許文献１および非特許文献１にはいずれにも与えられた画像全体に対して注目されている特定の部位に特化した１つの評価尺度を適用して位置合わせを行う方法が提案されているにすぎず、これらの方法では上記の要望に答えることができない。
【０００７】
本発明は、上記事情に鑑み、比較対象となる同一被写体についての２つの３次元画像間においてより正確な対応位置関係を求めることができる画像処理装置、方法およびプログラムを提供することを目的とするものである。
【課題を解決するための手段】
【０００８】
本発明の画像処理装置は、比較対象となる同一被写体についての２つの３次元画像間で対応位置関係を求める画像処理装置であって、被写体を構成する複数の部位のそれぞれに対して、画像を変形する際に用いる変形手法と、２つの画像の類似度を評価する際に用いる評価尺度とを対応づけて記憶する記憶部と、２つの３次元画像を構成する断層画像のそれぞれが被写体のいずれの部位を表す断層画像であるかの情報を取得する部位情報取得部と、取得された情報を用いて、２つの３次元画像において、同一の部位を表す断層画像の集合からなる部分画像の組を複数特定する部分画像特定部と、特定された各組の部分画像毎に、それらの部分画像に表されている部位に対応付けて記憶されている変形手法を用いて一方の３次元画像の部分画像内の各画素を所定の移動量で移動させることにより該部分画像を変形し、変形後の部分画像と他方の３次元画像の部分画像との類似度を、それらの部分画像に表されている部位に対応付けて記憶されている評価尺度を用いて評価する処理を、前記変形における前記各画素に与えられる移動量を変化させながら繰り返し行い、該移動量の変化に対する前記類似度を評価した評価値の変化量が所定値以下となる場合の前記変形における前記各画素に与えられる移動量を求める移動量算出部と、該求められた移動量を用いて２つの３次元画像間の対応位置関係を求める位置関係算出部とを備えたことを特徴とするものである（第１の画像処理装置）。
【０００９】
ここで、「部分画像を変形する」というのは、部分画像中の少なくとも一部の画素の位置を変化させることを意味し、部分画像の外形に変化を伴う変形に限らず、平行移動のみまたは回転のみによる変形も含まれる。
【００１０】
また、「部位」の具体例としては、被写体が人体の場合、肺・腎臓・心臓・大腸等の臓器、血管・気管・気管支、皮膚、肋骨・椎体・頭蓋骨等の骨等の様々な解剖学的構造物や、頭部、頸部、胸部、腹部、骨盤部、脚部の他、前記各部のうち隣接する２つの部位の両方を含む複合部位、例えば頭頸部や胸腹部等が挙げられる。
【００１１】
なお、上記第１の画像処理装置において、移動量算出部は、前記一方の３次元画像において、複数の部位を表す断層画像の集合からなる部分画像の各画素については、部分画像に表されている各部位毎に、その部位に対応付けられている変形手法および評価尺度を用いて移動量を求めるものであり、位置関係算出部は、その各部位毎に求められた移動量を平均した値を前記求められた移動量として用いて２つの３次元画像間の対応位置関係を求めるものであってもよい。
【００１２】
また、位置関係算出部は、前記一方の３次元画像において、異なる変形手法および／または異なる評価尺度を用いて移動量を求めた部分画像同士が隣接する部分における各画素については、移動量算出部により求められた該画素の移動量を当該画素の近傍に位置する２つ以上の画素のそれぞれにおける移動量を用いて平均化し、平均化された値を前記求められた移動量として用いて２つの３次元画像間の対応位置関係を求めるものであってもよい。
【００１３】
また、位置関係算出部は、移動量算出部により求められた移動量を用いて前記一方の３次元画像中の前記特定された部分画像以外の部分における各画素の移動量の推定値を求め、求められた推定値および前記求められた移動量を用いて２つの３次元画像間の対応位置関係を求めるものであってもよい。
【００１４】
記憶部は、被写体を構成する複数の部位のそれぞれに対して、非剛体レジストレーション、剛体レジストレーションおよびサーフェスレジストレーションのいずれかを変形手法として記憶し、相関係数、相互情報量および画素値の差分のいずれかを評価尺度として記憶するものであってもよい。なお、記憶部は、ここで例示している変形部や評価尺度に限らず、各部位に適した他の変形部または評価尺度をその部位に対応付けて記憶するものであってもよい。たとえばMark Holdenらによる, “Voxel Similarity Measures for 3-D Serial MR Brain Image Registration”, IEEE Transactions on Medical Imaging, vol. 19, no. 2, February 2000, pp.94-102に紹介されているいずれかの評価尺度を対応付けて記憶するものであってもよい。
【００１５】
移動量算出部は、前記一方の３次元画像において、複数の部位を表す断層画像の集合からなる部分画像の各画素については、その部分画像に表されている複数の部位の中から選択されたいずれか１つの部位に対応付けて記憶されている変形手法および評価尺度を用いて移動量を求めるものであってもよい。
【００１６】
また、本発明の画像処理装置は、比較対象となる同一被写体についての２つの３次元画像間で対応位置関係を求める画像処理装置であって、被写体を構成する複数の部位のそれぞれに対して、画像を変形する際に用いる変形手法と、２つの画像の類似度を評価する際に用いる評価尺度とを対応づけて記憶する記憶部と、２つの３次元画像において、同一の部位が表されている部位画像の組を複数特定する部位画像特定部と、特定された各組の部位画像毎に、それらの部位画像に表されている部位に対応付けて記憶されている変形手法を用いて一方の３次元画像の部位画像内の各画素を所定の移動量で移動させることにより該部位画像を変形し、変形後の部位画像と他方の３次元画像の部位画像との類似度を、それらの部位画像に表されている部位に対応付けて記憶されている評価尺度を用いて評価する処理を、前記変形における前記各画素に与えられる移動量を変化させながら繰り返し行い、該移動量の変化に対する前記類似度を評価した評価値の変化量が所定値以下となる場合の前記変形における前記各画素に与えられる評価値が所定値以上となる前記変形における部位画像の各画素の移動量を求める移動量算出部と、求められた移動量を用いて前記一方の３次元画像中の前記特定された部位画像以外の部分における各画素の移動量の推定値を求め、求められた推定値および前記求められた移動量を用いて２つの３次元画像間の対応位置関係を求める位置関係算出部とを備えたことを特徴とするものである（第２の画像処理装置）。
【００１７】
ここで、位置関係算出部は、前記一方の３次元画像において、異なる変形手法および／または異なる評価尺度を用いて移動量を求めた部位画像同士が隣接する部分における各画素については、移動量算出部により求められた該画素の移動量を当該画素の近傍に位置する２つ以上の画素のそれぞれにおける移動量を用いて平均化し、平均化された値を前記求められた移動量として用いて２つの３次元画像間の対応位置関係を求めるものであってもよい。
【００１８】
位置関係算出部は、前記一方の３次元画像中の前記特定された部位画像以外の部分における各画素の移動量の推定値をその画素の近傍に位置する２つ以上の画素のそれぞれにおける移動量を用いて補間により求めるものであってもよい。
【００１９】
本発明の第１および第２の画像処理方法は、それぞれ上記第１および第２の画像処理装置の各部が行う処理を、少なくとも１台のコンピュータにより実行する方法である。
【００２０】
本発明の第１および第２の画像処理プログラムは、それぞれ上記第１および第２の画像表示装置の各部が行う処理を、少なくとも１台のコンピュータに実行させるプログラムである。このプログラムは、ＣＤ−ＲＯＭ，ＤＶＤなどの記録メディアに記録され、またはサーバコンピュータに付属するストレージやネットワークストレージにダウンロード可能な状態で記録されて、ユーザに提供される。
【発明の効果】
【００２１】
本発明の第１の画像処理装置、方法およびなプログラムによれば、比較対象となる同一被写体についての２つの３次元画像間で対応位置関係を求める際に、被写体を構成する複数の部位のそれぞれに対して、画像を変形する際に用いる変形手法と、２つの画像の類似度を評価する際に用いる評価尺度とを対応づけて記憶し、２つの３次元画像を構成する断層画像のそれぞれが被写体のいずれの部位を表す断層画像であるかの情報を取得し、取得された情報を用いて、２つの３次元画像において、同一の部位を表す断層画像の集合からなる部分画像の組を複数特定し、特定された各組の部分画像毎に、それらの部分画像に表されている部位に対応付けて記憶されている変形手法を用いて一方の３次元画像の部分画像内の各画素を所定の移動量で移動させることにより該部分画像を変形し、変形後の部分画像と他方の３次元画像の部分画像との類似度を、それらの部分画像に表されている部位に対応付けて記憶されている評価尺度を用いて評価する処理を、前記変形における前記各画素に与えられる移動量を変化させながら繰り返し行い、該移動量の変化に対する前記類似度を評価した評価値の変化量が所定値以下となる場合の前記変形における前記各画素に与えられる移動量を求め、求められた移動量を用いて２つの３次元画像間の対応位置関係を求めているので、複数の部位のそれぞれに対して適した変形手法および評価尺度を用いてその部位を表す画像部分同士の対応位置関係を求めることができ、２つの３次元画像の間において全体的により正確な対応位置関係を求めることができる。
【００２２】
なお、前記一方の３次元画像において、複数の部位を表す断層画像の集合からなる部分画像の各画素について、部分画像に表されている各部位毎に、その部位に対応付けられている変形手法および評価尺度を用いて移動量を求め、その各部位毎に求められた移動量を平均した値を前記求められた移動量として用いて２つの３次元画像間の対応位置関係を求めるものである場合には、その部分画像に表されている複数の部位の全てに平均的に適した対応位置関係を求めることができる。
【００２３】
また、前記一方の３次元画像において、異なる変形手法および／または異なる評価尺度を用いて移動量を求めた部分画像同士が隣接する部分における各画素について、移動量算出部により求められた該画素の移動量を当該画素の近傍に位置する２つ以上の画素のそれぞれにおける移動量を用いて平均化し、平均化された値を前記求められた移動量として用いて２つの３次元画像間の対応位置関係を求めるようにした場合には、異なる変形手法および／または異なる評価尺度を用いて移動量を求めた部分画像同士の対応位置関係を滑らかに連結することができる。
【００２４】
また、前記一方の３次元画像において、複数の部位を表す断層画像の集合からなる部分画像の各画素について、その部分画像に表されている複数の部位の中から選択されたいずれか１つの部位に対応付けて記憶されている変形手法および評価尺度を用いて移動量を求めるものである場合いは、選択された１つの部位について正確な対応位置関係を求めることができる。
【００２５】
本発明の第２の画像処理装置、方法およびなプログラムによれば、比較対象となる同一被写体についての２つの３次元画像間で対応位置関係を求める際に、被写体を構成する複数の部位のそれぞれに対して、画像を変形する際に用いる変形手法と、２つの画像の類似度を評価する際に用いる評価尺度とを対応づけて記憶し、２つの３次元画像において、同一の部位が表されている部位画像の組を複数特定し、特定された各組の部位画像毎に、それらの部位画像に表されている部位に対応付けて記憶されている変形手法を用いて一方の３次元画像の部位画像内の各画素を所定の移動量で移動させることにより該部位画像を変形し、変形後の部位画像と他方の３次元画像の部位画像との類似度を、それらの部位画像に表されている部位に対応付けて記憶されている評価尺度を用いて評価する処理を、前記変形における前記各画素に与えられる移動量を変化させながら繰り返し行い、該移動量の変化に対する前記類似度を評価した評価値の変化量が所定値以下となる場合の前記変形における前記各画素に与えられる移動量を求め、求められた移動量を用いて前記一方の３次元画像中の前記特定された部位画像以外の部分における各画素の移動量の推定値を求め、求められた推定値および前記求められた移動量を用いて２つの３次元画像間の対応位置関係を求めているので、複数の部位のそれぞれに対して適した変形手法および評価尺度を用いてその部位を表す画像部分同士の対応位置関係を求めることができ、２つの３次元画像の間において全体的により正確な対応位置関係を求めることができる。
【００２６】
なお、前記一方の３次元画像において、異なる変形手法および／または異なる評価尺度を用いて移動量を求めた部位画像同士が隣接する部分における各画素について、移動量算出部により求められた該画素の移動量を当該画素の近傍に位置する２つ以上の画素のそれぞれにおける移動量を用いて平均化し、平均化された値を前記求められた移動量として用いて２つの３次元画像間の対応位置関係を求めるようにした場合には、異なる変形手法および／または異なる評価尺度を用いて移動量を求めた部位画像同士の対応位置関係を滑らかに連結することができる。
【図面の簡単な説明】
【００２７】
【図１】第１の実施形態における画像生成装置の概略ブロック図
【図２】第１の実施形態における画像生成装置による処理を説明するための図
【図３】第１の実施形態における画像生成装置の動作を示すフローチャート
【図４】第２の実施形態における画像生成装置の概略ブロック図
【図５】第２の実施形態における画像生成装置による処理を説明するための図
【図６】第２の実施形態における画像生成装置の動作を示すフローチャート
【図７】第１の実施形態に使用されるテーブルの例を示す図
【図８】第２の実施形態に使用されるテーブルの例を示す図
【発明を実施するための形態】
【００２８】
以下、図面を参照して、本発明の第１の実施形態について説明する。図１は、画像処理装置１の概略構成を示すブロック図である。なお、図１のような画像処理装置１の構成は、補助記憶装置に読み込まれた画像処理プログラムをコンピュータ上で実行することにより実現される。このとき、この画像処理プログラムは、ＣＤ−ＲＯＭ等の記憶媒体に記憶され、もしくはインターネット等のネットワークを介して配布され、コンピュータにインストールされる。
【００２９】
画像処理プログラムは、コンピュータのＣＰＵに実行させる処理として、画像取得処理と、部位情報取得処理と、部分画像特定処理と、移動量算出処理と、位置関係算出処理と、画像生成処理と、表示制御処理とを規定しており、この規定にしたがって、ＣＰＵが上記各処理を実行することにより、コンピュータは、後述の画像取得部１２と、部位情報取得部１３と、部分画像特定部１４と、移動量算出部１５と、位置関係算出部１６と、画像生成部１７と、表示制御部１８として機能する。
【００３０】
また、画像処理装置１は、ハードディスクドライブなどの記憶装置１１を備えており、この記憶装置１１が、本発明の記憶部に相当する。さらに、画像処理装置１には、ディスプレイなどの表示装置３と、マウス、キーボードなどの入力装置４が接続されている。
【００３１】
記憶装置１１には、直近の検査でＣＴ、ＭＲＩ、ＰＥＴ、ＳＰＥＣＴ、超音波画像などの撮影装置により所定の被写体を撮影して得られた画像Ｖａ（以下、「第１画像Ｖａ」という）と、過去の検査で上記いずれかの撮影装置により同じ被写体を撮影して得られた画像Ｖｂ（以下、「第２画像Ｖｂ」という）とが記憶されている。第１画像Ｖａおよび第２画像Ｖｂは、同じモダリティにより撮影された画像であってもよいし、異なるモダリティにより撮影された画像であってもよい。
【００３２】
第１画像Ｖａおよび第２画像Ｖｂはそれぞれ、所定のスライス間隔およびスライス厚による軸位断画像（断層画像）の画像データの集合体として構成されるものであり、記憶装置１１には、それらの第１画像Ｖａおよび第２画像Ｖｂを構成する断層画像のうち、部位が認識されていない一部の断層画像を除いた全ての断層画像のそれぞれに対して、その断層画像が被写体のいずれの部位を表す断層画像であるかを表す部位情報が対応づけて記憶されている。図２は、第１画像Ｖａおよび第２画像Ｖｂおよびそれらの画像を構成する断層画像のそれぞれに対応づけて記憶されている部位情報を示すイメージ図である。図２に示すように、第１画像Ｖａおよび第２画像Ｖｂを構成する断層画像には、頭部を表す「Ｈｅａｄ」、頸部を表す「Ｎｅｃｋ」、胸部を表す「Ｔｈｏｒａｘ」、肝臓を表す「Ｌｉｖｅｒ」、下腹部を表す「Ａｂｄｏｍａｎ」などの部位情報が対応付けられている。
【００３３】
部位情報は、予め各断層画像に対して部位認識処理を行うことにより取得しておく。部位認識処理としては、例えば特開平２００８−２５９６８２号公報に記載された手法を用いることができる。特開平２００８−２５９６８２号公報に記載された手法は、入力された複数の断層画像を正規化し、正規化された断層画像から多数の特徴量を算出し、正規化した断層画像毎に算出された特徴量を、ＡｄａＢｏｏｓｔ手法によって得られた判別器に入力して、部位らしさを表す部位毎のスコアを算出し、算出された部位スコアを入力として、動的計画法を用いて、人体の体部の並び順が保たれるように各断層画像に表された部位を決定する手法である。また、カラーテンプレートマッチングによる方法（例えば特開２００２−２５３５３９号公報参照）および、各部位の固有画像を用いた方法（例えば特開２００３−１０１６６号公報参照）等を用いることもできる。
【００３４】
さらに、記憶装置１１には、被写体を構成する複数の部位のそれぞれに対して、画像を変形する際に用いる変形手法と、２つの画像の類似度を評価する際に用いる評価尺度とが対応づけたテーブルが記憶されている。図７は本実施形態に使用されるテーブルの例を示す図である。図７に示すように、テーブルＴ１には、複数の部位のそれぞれに対して変形手法と評価尺度が対応づけられている。具体的には、頭部には剛体レジストレーションと相関係数が、頸部にはサーフェスレジストレーションと相互情報量が、胸部には非剛体レジストレーションと画素値の差分の二乗が、肝臓部には非剛体レジストレーションと相互情報量が、下腹部にはサーフェスレジストレーションと相関係数が、下肢部にはサーフェスレジストレーションと表面間の最小二乗誤差がそれぞれ対応づけられている。
【００３５】
ここで、非剛体レジストレーションは、基準画像に合せて変形される対象画像が非剛体であるとの前提下で、すなわち対象画像内の任意の２点間の距離が可変であるとの前提下で、該対象画像を構成する各画素の位置を変化させる手法であり、剛体レジストレーションは、対象画像が剛体であるとの前提下で、すなわち対象画像内の任意の２点間の距離が常に一定であるとの前提下で、該対象画像を構成する各画素の位置を変化させる手法であり、サーフェスレジストレーションは、表面形状を有する対象画像上の点列と対応する基準画像上の点列との間において残差が最小になるように、該対象画像を構成する各画素の位置を変化させる手法である。
【００３６】
また、相関係数（ＮＣＣ：peason product-moment corss correlation）は、下記式（１）により算出される値であり、相互情報量（ＭＩ：mutual information）は、下記式（２）により算出される値であり、それらの評価尺度はいずれもその値が大きいほど類似度の評価値は大きくなる。なお、以下の式（１）〜（３）において、領域Ｘｏは基準画像Ｘを構成するＮｏ個の画素位置の部分集合を表し、ここで基準画像Ｘは、該基準画像Ｘに合せて変形される対象画像Ｘ´の変形後の空間上に存在する画像である。すなわち、
【数１】
0005832938.tif 000002
である。ここで、Ｔは変形関数である。また、ｆ（Ｘｏ）は基準画像Ｘ内の画素位置Ｘｏに位置する画素の画素値を表し、ｇ（Ｘｏ）はその画素に対応する変形後の対象画像Ｘ´内の画素の画素値を表し、Ｆ（Ｘｏ）とＧ（Ｘｏ）は、基準画像Ｘと変形後の対象画像Ｘ´のそれらの画像が重なり合う部分における画素値群を表す。
【００３７】
【数２】
0005832938.tif 000003
【００３８】
【数３】
0005832938.tif 000004
【００３９】
画素値の差分（ＭＳＤ：mean square difference of intensities）は、下記式（３）により算出される値であり、その値が小さいほど類似度の評価値は大きくなる。下記式（３）において、差分画像Ｄ（Ｘｏ）は、基準画像Ｘと変形後の対象画像Ｘ´が重なり合う部分における画素値の差を表す。すなわち、ｄ（Ｘｏ）＝ｆ（Ｘｏ）−ｇ（Ｘｏ）である。また、Ｐ（ｆａ）は、Ｆ（Ｘｏ）に画素値ｆａが現れる確率を表し、Ｐ（ｇｂ）は、Ｇ（Ｘｏ）に画素値ｇｂが現れる確率を表し、Ｐ（ｆａ，ｇｂ）は、Ｆ（Ｘｏ）に画素値ｆａが現れ、かつ、Ｇ（Ｘｏ）に画素値ｇｂが現れる確率を表す。
【００４０】
【数４】
0005832938.tif 000005
【００４１】
画像取得部１２は、記憶装置１１に記憶されている第１画像Ｖａおよび第２画像Ｖｂを取得し、部位情報取得部１３は、第１画像Ｖａおよび第２画像Ｖｂを構成する断層画像のそれぞれに対応づけて記憶装置１１に記憶されている部位情報を取得する。
【００４２】
部分画像特定部１４は、部位情報取得部１３により取得された部位情報を用いて、第１画像Ｖａおよび第２画像Ｖｂにおいて同一の部位を表す断層画像の集合からなる部分画像の組を複数特定する。具体的には、図２に示すように、対応づけられている部位情報に「Ｈｅａｄ」が含まれている、第１画像Ｖａ中の全ての断層画像からなる部分画像Ｒａ１と第２画像Ｖｂ中の全ての断層画像からなる部分画像Ｒｂ１の組と、対応づけられている部位情報に「Ｎｅｃｋ」が含まれている、第１画像Ｖａ中の全ての断層画像からなる部分画像Ｒａ２と第２画像Ｖｂ中の全ての断層画像からなる部分画像Ｒｂ２の組と、・・・、対応づけられている部位情報に「Ａｂｄｏｍａｎ」が含まれている、第１画像Ｖａ中の全ての断層画像からなる部分画像Ｒａ５と第２画像Ｖｂ中の全ての断層画像からなる部分画像Ｒｂ５の組とを特定する。
【００４３】
移動量算出部１５は、部分画像特定部１４により特定された各組の部分画像ＲａｉとＲｂｉ（ｉ＝１〜５）毎に、図７に示すようなテーブルＴ１を参照して、その組の部分画像に表されている部位に対応付けて記憶されている変形手法と、評価尺度とを特定し、特定された変形手法を用いて第１画像Ｖａの部分画像Ｒａｉ内の各画素を所定の移動量で移動させることにより該部位画像Ｒａｉを変形し、該変形後の部分画像Ｒａｉ´と第２画像Ｖｂの部分画像Ｒｂｉとの類似度を、特定された評価尺度を用いて評価する処理を、その変形における各画素Ｘｏ（Ｘｏ∈Ｒａｉ）に与えられる移動量ｍ（Ｘｏ）を変化させながら繰り返し行い、移動量の変化に対する前記類似度を評価した評価値の変化量が所定値以下となる場合の前記変形における前記各画素に与えられる移動量ｍ（Ｘｏ）を求める。ここで、移動量はｍ、移動の方向と距離を有するベクトル量であり、変形後の部分画像Ｒａｉ´は、部分画像Ｒａｉの各画素Ｘｏを移動量ｍ（Ｘｏ）だけ変位させることにより形成される画像である。また、以下の説明において、部分画像Ｒａｉ内の各画素Ｘｏを移動量ｍ（Ｘｏ）の集合を移動量ｍ（Ｒａｉ）という。
【００４４】
移動量算出部１５は、具体的には、移動量ｍ（Ｒａｉ）を前記評価値が高くなる方向に変化させながら、その移動量ｍ（Ｒａｉ）の変化に対する評価値の変化量を所定値と比較する処理を繰り返し行うことにより、評価値の変化量が所定値以下となる場合の移動量ｍ（Ｒａｉ）を特定する。ここで、所定値としては、移動量ｍ（Ｒａｉ）の変化に対する評価値の変化量が十分大きい値であると見なせる任意の値を設定してよい。
【００４５】
なお、これに代えて、たとえば移動量ｍ（Ｒａｉ）を変化させながら、その移動量ｍ（Ｒａｉ）の設定下において部分画像Ｒａｉ´と部分画像Ｒｂｉとの類似度を評価した評価値を所定値と比較する処理を繰り返し行うことにより、その類似度の評価値が所定値以上となる場合の移動量ｍ（Ｒａｉ）を特定してもよい。ここで、所定値としては、類似度の評価値が十分大きい値であると見なせる任意の値を設定してよい。また、たとえば複数の異なる移動量ｍ（Ｒａｉ）の設定に対して部分画像Ｒａｉ´と部分画像Ｒｂｉとの類似度を評価した評価値をそれぞれ算出して、算出した評価値のうち評価値が最大であるものを特定し、特定された最大評価値に対応する移動量ｍ（Ｒａｉ）を特定してもよい。
【００４６】
また、移動量算出部１５は、第１画像Ｖａにおいて、複数の部位を表す断層画像の集合からなる部分画像の各画素については、該部分画像に表されている各部位毎に、その部位に対応付けられている変形手法および評価尺度を用いて前記移動量を求める。つまり、図２に示すように、対応づけられている部位情報に「Ｔｈｏｒａｘ」と「Ｌｉｖｅｒ」の２つの部位が含まれている部分画像、すなわち部分画像Ｒａ３と部分画像Ｒａ４が重なる部分の画像については、胸部を表す部位画像としての移動量と、肝臓を表す部位画像としての移動量とをそれぞれ特定する。
【００４７】
位置関係算出部１６は、移動量算出部１５により各組の部分画像ＲａｉとＲｂｉ（ｉ＝１〜５）毎に求められた移動量ｍ（Ｒａｉ）を用いて第１画像Ｖａと第２画像Ｖｂ間の全ての画素の対応位置関係を求める。具体的には、第１画像Ｖａ内の全ての画素それぞれに対して移動量を与えるベクトル場を求める。このベクトル場は、各画素が、その画素に与えられた移動量だけ離れた位置の、第２画像Ｖｂ上の画素と対応関係があることを表す。
【００４８】
まず、部分画像Ｒａｉ（ｉ＝１〜５）の各画素Ｘｏに対して、移動量算出部１５により特定された移動量ｍ（Ｒａｉ）により定められる移動量ｍ（Ｘｏ）を与え、第１画像Ｖａ中の部分画像Ｒａｉ（ｉ＝１〜５）以外の部分（たとえば、図２に示す部分Ｒａｆなど）における各画素の移動量の推定値を、その画素の近傍に位置する２つ以上の画素のそれぞれに与えられている移動量を用いて補間により求め、該求められた推定値をその画素の移動量として与える。この補間処理には、線形補間、スプライン補間等の種々の空間補間技術を用いることができる。特にスプライン補間としては、たとえばSeungyong Leeらによる、“Scattered Data Interpolation with Multilevel B-Splines”, IEEE Transactions on Visualization and Computer Graphics, vol. 3,no. 3, July‐September 1997に記載された手法を用いることができる。
【００４９】
このとき、第１画像Ｖａにおいて、複数の部位を表す断層画像の集合からなる部分画像、すなわち本実施例における部分画像Ｒａ３と部分画像Ｒａ４が重なる部分の画像を構成する各画素については、移動量算出部１５においてその部分画像に表されている複数の部位についてそれぞれ特定された移動量を平均した値を求め、該求められた平均値をその画素の移動量として与える。
【００５０】
位置関係算出部１６は、上述のように第１画像Ｖａ内の全ての画素それぞれに対して移動量を与えた上で、さらに、異なる変形手法および／または異なる評価尺度を用いて前記移動量を求めた部分画像同士が隣接する部分における各画素について、前記与えられた画素の移動量をその画素の近傍に位置する２つ以上の画素のそれぞれにおける移動量を用いて平均化し、該平均化された値をその画素の移動量として与え直す。
【００５１】
画像生成部１７は、位置関係算出部１６により求められた対応位置関係を用いて、第１画像Ｖａを変形して変形後の画像Ｖａ´を生成する。表示制御部１８は、画像生成部１７により生成された画像Ｖａ´および第２画像Ｖｂを比較可能に表示装置３に表示させる。
【００５２】
図２は、画像生成装置１の動作を示すフローチャートである。図示のように、まず、画像取得部１２が、記憶装置１１に記憶されている第１画像Ｖａおよび第２画像Ｖｂを取得し（Ｓ１）、部位情報取得部１３が、第１画像Ｖａおよび第２画像Ｖｂを構成する断層画像のそれぞれに対応づけて記憶装置１１に記憶されている部位情報を取得する（Ｓ２）。次に、部分画像特定部１４が、ステップＳ２において取得された部位情報を用いて、第１画像Ｖａおよび第２画像Ｖｂにおいて同一の部位を表す断層画像の集合からなる部分画像の組を複数特定する（Ｓ３）。ここでは、特定された部分画像の組の総数をｎとする。
【００５３】
次に、移動量算出部１５が、カウントｉを初期値に設定し（Ｓ４）、テーブルＴ１を参照して、部分画像ＲａｉとＲｂｉに表されている部位に対応付けて記憶されている変形手法と評価尺度を特定し、該特定された変形手法を用いて部分画像Ｒａｉに対して任意の移動量ｍ（Ｒａｉ）を設定する（Ｓ５）。続いて移動量算出部１５が、ステップＳ５において設定された移動量ｍ（Ｒａｉ）だけ部分画像Ｒａｉを変形し（Ｓ６）、該変形後の部分画像Ｒａｉ´と第２画像Ｖｂの部分画像Ｒｂｉとの類似度の評価値を、ステップＳ５において特定された評価尺度を用いて評価し（Ｓ７）、その際の移動量ｍ（Ｒａｉ）の変化に対する評価値の変化量が所定値以下であるかを判断する（Ｓ８）。ステップＳ８が否定されると、移動量ｍ（Ｒａｉ）を変更し（Ｓ９）、ステップＳ６に戻る。一方、ステップＳ８が肯定されると、カウントｉがｎに達したか否かをさらに判断する（Ｓ１０）。ステップＳ１０が否定されると、ｉに１を加算し（Ｓ１１）、ステップＳ５に戻る。
【００５４】
一方、ステップＳ１０が肯定されると、位置関係算出部１６が、移動量算出部１５により各組の部分画像ＲａｉとＲｂｉ（ｉ＝１〜ｎ）毎に求められた移動量ｍ（Ｒａｉ）を用いて第１画像Ｖａと第２画像Ｖｂ間の全ての画素の対応位置関係を求める（Ｓ１２）。次に、画像生成部１７が、位置関係算出部１６により求められた対応位置関係を用いて、第１画像Ｖａを変形して変形後の画像Ｖａ´を生成し（Ｓ１３）、表示制御部１８が、画像生成部１７により生成された画像Ｖａ´および第２画像Ｖｂを比較可能に表示装置３に表示させ（Ｓ１４）、処理を終了する。
【００５５】
このように、上記実施の形態によれば、比較対象となる同一被写体についての２つの３次元画像間で対応位置関係を求める際に、被写体を構成する複数の部位のそれぞれに対して、画像を変形する際に用いる変形手法と、２つの画像の類似度を評価する際に用いる評価尺度とを対応づけて記憶しておき、２つの３次元画像において特定された同一の部位が表されている部分画像の組毎に、それらの部分画像に表されている部位に対応付けて記憶されている変形手法と評価尺度を用いて一方の３次元画像の部分画像を他方の３次元画像の部分画像に合せて変形する際の各画素の移動量を求め、求められた移動量を用いて２つの３次元画像間の対応位置関係を求めているので、複数の部位のそれぞれに対して適した変形手法および評価尺度を用いてその部位を表す画像部分同士の対応位置関係を求めることができ、２つの３次元画像の間において全体的により正確な対応位置関係を求めることができる。
【００５６】
なお、上記実施の形態では、部位情報が、別途の処理において予め取得されて記憶装置１１に記憶されていることを前提に、部位情報取得部１３が、その情報を記憶装置１１から取得するものである場合について説明したが、部位情報取得部１３は、直接部位認識処理を実行して、第１画像Ｖａおよび第２画像Ｖｂを構成する断層画像のそれぞれが被写体のいずれの部位を表す断層画像であるかの情報を取得するものであってもよい。
【００５７】
また、上記実施の形態では、複数の部位を表す断層画像の集合からなる部分画像の各画素については、移動量算出部１５が、該部分画像に表されている各部位毎に、その部位に対応付けられている変形手法および評価尺度を用いて移動量を求めるものであり、位置関係算出部１６が、各求められた複数の移動量の平均値を用いて画像間の対応位置関係を求めるものである場合について説明したが、移動量算出部１５は、その部分画像に表されている複数の部位の中から選択されたいずれか１つの部位に対応付けて記憶されている変形手法および評価尺度を用いて移動量を求めるものであり、位置関係算出部１６は、その求められた１つの移動量を用いて画像間の対応位置関係を求めるものであってもよい。
【００５８】
このとき、いずれか１つの部位の選択は、それらの部位に優先順位が与えられている場合、その優先度が高い方の部位が自動的に選択されるようにしてもよいし、ユーザによる直近の入力操作に基づいて最も注目されていると推測される１つの部位を決定し、該決定された部位が選択されるようにしてもよい。このようなユーザによる直近の入力操作の具体例としては、いずれか１つの部位を表す領域内の任意の点を指定する操作や、いずれか１つの部位が主として表されている画像を表示させる操作などが挙げられる。
【００５９】
また、上記実施の形態では、画像生成装置１が画像生成部１７や表示制御部１８を備えたものである場合について説明したが、それらの構成は必ずしも必要ではなく、必要に応じて設けるとよい。
【００６０】
以下、図面を参照して、本発明の第２の実施形態について説明する。図４は、画像処理装置１００の概略構成を示すブロック図である。なお、図４のような画像処理装置１００の構成は、補助記憶装置に読み込まれた画像処理プログラムをコンピュータ上で実行することにより実現される。このとき、この画像処理プログラムは、ＣＤ−ＲＯＭ等の記憶媒体に記憶され、もしくはインターネット等のネットワークを介して配布され、コンピュータにインストールされる。
【００６１】
この画像処理プログラムは、コンピュータのＣＰＵに実行させる処理として、画像取得処理と、部位画像特定処理と、移動量算出処理と、位置関係算出処理と、画像生成処理と、表示制御処理とを規定しており、この規定にしたがって、ＣＰＵが上記各処理を実行することにより、コンピュータは、後述の画像取得部１１２と、部位画像特定部１１４と、移動量算出部１１５と、位置関係算出部１１６と、画像生成部１１７と、表示制御部１１８として機能する。
【００６２】
また、画像処理装置１００は、ハードディスクドライブなどの記憶装置１１１を備えており、この記憶装置１１１が、本発明の記憶部に相当する。さらに、画像処理装置１００には、ディスプレイなどの表示装置３と、マウス、キーボードなどの入力装置４が接続されている。
【００６３】
記憶装置１１１には、直近の検査でＣＴ、ＭＲＩ、ＰＥＴ、ＳＰＥＣＴ、超音波画像などの撮影装置により所定の被写体を撮影して得られた画像Ｖｃ（以下、「第１画像Ｖｃ」という）と、過去の検査で上記いずれかの撮影装置により同じ被写体を撮影して得られた画像Ｖｄ（以下、「第２画像Ｖｄ」という）とが記憶されている。第１画像Ｖｃおよび第２画像Ｖｄは、同じモダリティにより撮影された画像であってもよいし、異なるモダリティにより撮影された画像であってもよい。
【００６４】
また、記憶装置１１１には、被写体を構成する複数の部位のそれぞれに対して、画像を変形する際に用いる変形手法と、２つの画像の類似度を評価する際に用いる評価尺度とが対応づけたテーブルが記憶されている。図８は本実施形態に使用されるテーブルの例を示す図である。図８に示すように、テーブルＴ２には、複数の部位のそれぞれに対して変形手法と評価尺度が対応づけられている。具体的には、頭部には剛体レジストレーションと相関係数が、肺には非剛体レジストレーションと画素値の差分の二乗が、皮膚にはサーフェスレジストレーションと表面間の最小二乗誤差が、大動脈には木構造マッチングと対応点間の距離が、肝臓には非剛体レジストレーションと相互情報量が、心臓には非剛体レジストレーションと相互情報量が、骨（個々に分割されたもの）には剛体レジストレーションとが素値の差分の二乗が、大腸には構造マッチングと対応点間の距離がそれぞれ対応づけられている。
【００６５】
ここで、構造マッチングは、対象画像と基準画像のそれぞれにおいてグラフ構造（木構造マッチングの場合には木構造を有するグラフ構造）を抽出し、それらの抽出されたグラフ構造上の対応する点同士が重なり合うように、対象画像を構成する各画素の位置を変化させる手法である。その他のテーブルＴ２に例示する各変形手法および評価尺度ついては前記第１の実施形態の記載を参照されたい。
【００６６】
画像取得部１１２は、記憶装置１１１に記憶されている第１画像Ｖｃおよび第２画像Ｖｄを取得する。部分画像特定部１１４は、画像取得部１１２により取得された第１画像Ｖｃおよび第２画像Ｖｄにおいて、同一の部位が表されている部位画像の組を複数特定する。たとえば被写体を構成する個々の部位について、第１画像Ｖｃおよび第２画像Ｖｄのそれぞれからその部位が表されている領域を抽出し、それらの抽出された領域を１つの部位画像の組として特定する。ここで、特定の部位が表された領域とは、その部位を表す領域を全部含み、かつ、それ以外の領域は含んでいない領域をいう。なお、対象の３次元画像（第１画像Ｖｃまたは第２画像Ｖｄ）から個々の部位が表されている領域を抽出する処理には、最適な抽出結果が得られるように、その部位に応じて適宜手法を変更するとよい。
【００６７】
たとえば部位が肝臓である場合、以下に説明する手法によりその領域を抽出することができる。まず、肝臓が表された断面画像に対するユーザによるポインティングデバイス等の操作に応じて、肝臓領域内の任意の点を設定する（以下、この点を「ユーザ設定点」という）。次に、ＡｄａＢｏｏｓｔ手法等の機械学習によって取得された識別器を用いて肝臓領域の輪郭の角ばった箇所を基準点として検出する。さらに、ユーザ設定点を中心として、肝臓を含む程度の大きさの３次元領域（以下、「処理対象領域」という）内の各点（ボクセル）について、ＡｄａＢｏｏｓｔ手法等の機械学習によって取得された識別器を用いて、肝臓の輪郭上の点かどうかを表す評価値を算出する。そして、処理対象領域の外周上の各点を肝臓領域外の背景領域内の点と予め判定するとともに、ユーザ設定点および基準点が肝臓領域内の点であると予め判定した上で、さらに処理対象領域内の各点の評価値を用いて、グラフカット法を適用することによって、対象の３次元画像から肝臓領域を抽出する。
【００６８】
また、部位が血管である場合には、以下に説明する手法によりその領域を抽出することができる。まず、対象の３次元画像内の局所領域ごとに、３×３のヘシアン（Hessian）行列の固有値を算出することにより線状構造の探索を行う。線状構造が含まれる領域では、ヘシアン行列の３つの固有値のうち１つは０に近い値となり、他の２つは相対的に大きな値となる。また、値が０に近い固有値に対応する固有ベクトルは、線状構造の主軸方向を示すものとなる。領域特定部１３は、この関係を利用して、局所領域ごとに、ヘシアン行列の固有値に基づいて線状構造らしさを判定し、線状構造が識別された局所領域については、その中心点を候補点として検出する。そして、探索により検出された候補点を、所定のアルゴリズムに基づいて連結する。これにより、候補点および候補点同士を連結する血管枝（エッジ）からなる木構造が構築される。検出された複数の候補点の座標情報や、血管枝の方向を示すベクトル情報は、候補点や血管枝の識別子とともにメモリに記憶される。続いて、検出された候補点ごとに、周辺の画素値に基づき、血管経路に垂直な断面において、血管の輪郭（血管の外壁）を識別する。形状の識別は、Ｇｒａｐｈ−Ｃｕｔｓに代表される公知のセグメンテーション手法を用いて行う。以上の処理により、対象の３次元画像から血管領域を抽出する。なお、血管領域については、閾値法、Ｒｅｇｉｏｎ Ｇｒｏｗｉｎｇ法や、Ｌｅｖｅｌ Ｓｅｔ法、その他の種々の画像処理を利用して抽出することもできる。
【００６９】
なお、一般的には、３次元画像において所定の構造物を認識する処理として、ＡｄａＢｏｏｓｔ、サポートベクターマシン（ＳＶＭ）、適合ベクターマシン（ＲＶＭ）、人工ニューラルネットワーク（ＡＮＮ）等を用いた機械学習によって得られる判別手段を用いることができる。
【００７０】
図５は、第１画像Ｖｃおよび第２画像Ｖｄを示すイメージ図である。図５に示す例では、第１画像Ｖｃおよび第２画像Ｖｄにおいて、頭部が表されている領域Ｒｃ１とＲｄ１の組と、肺が表されている領域Ｒｃ２とＲｄ２の組と、肝臓が表されている領域Ｒｃ３とＲｄ３の組と、皮膚が表されている領域Ｒｃ４とＲｄ４の組とが特定されている。
【００７１】
移動量算出部１１５は、部位画像特定部１１４により特定された各組の部位画像ＲｃｉとＲｄｉ（ｉ＝１〜４）毎に、図８に示すようなテーブルＴ２を参照して、その組の部位画像に表されている部位に対応付けて記憶されている変形手法と、評価尺度とを特定し、特定された変形手法を用いて第１画像Ｖｃの部位画像Ｒｃｉ内の各画素を所定の移動量で移動させることにより該部位画像Ｒｃｉを変形し、該変形後の部位画像Ｒｃｉ´と第２画像Ｖｄの部位画像Ｒｄｉとの類似度を、特定された評価尺度を用いて評価する処理を、その変形における各画素Ｘｏ（Ｘｏ∈Ｒｃｉ）に与えられる移動量ｍ（Ｘｏ）を変化させながら繰り返し行い、移動量の変化に対する前記類似度を評価した評価値の変化量が所定値以下となる場合の前記変形における前記各画素に与えられる移動量ｍ（Ｘｏ）を求める。ここで、移動量はｍ、移動の方向と距離を有するベクトル量であり、変形後の部位画像Ｒｃｉ´は、部位画像Ｒｃｉの各画素Ｘｏを移動量ｍ（Ｘｏ）だけ変位させることにより形成される画像である。また、以下の説明において、部位画像Ｒｃｉ内の各画素Ｘｏを移動量ｍ（Ｘｏ）の集合を移動量ｍ（Ｒｃｉ）という。
【００７２】
移動量算出部１１５は、具体的には、移動量ｍ（Ｒｃｉ）を前記評価値が高くなる方向に変化させながら、その移動量ｍ（Ｒｃｉ）の変化に対する評価値の変化量を所定値と比較する処理を繰り返し行うことにより、評価値の変化量が所定値以下となる場合の移動量ｍ（Ｒｃｉ）を特定する。ここで、所定値としては、移動量ｍ（Ｒｃｉ）の変化に対する評価値の変化量が十分大きい値であると見なせる任意の値を設定してよい。
【００７３】
なお、これに代えて、たとえば移動量ｍ（Ｒｃｉ）を変化させながら、その移動量ｍ（Ｒｃｉ）の設定下において部分画像Ｒｃｉ´と部分画像Ｒｄｉとの類似度を評価した評価値を所定値と比較する処理を繰り返し行うことにより、その類似度の評価値がが所定値以上となる場合の移動量ｍ（Ｒｃｉ）を特定してもよい。ここで、所定値としては、類似度の評価値が十分大きい値であると見なせる任意の値を設定してよい。また、たとえば複数の異なる移動量ｍ（Ｒｃｉ）の設定に対して部位画像Ｒｃｉ´と部位画像Ｒｄｉとの類似度を評価した評価値をそれぞれ算出して、算出した評価値のうち評価値が最大であるものを特定し、特定された最大評価値に対応する移動量ｍ（Ｒｃｉ）を特定してもよい。
【００７４】
位置関係算出部１１６は、移動量算出部１１５により各組の部位画像ＲｃｉとＲｄｉ（ｉ＝１〜４）毎に求められた移動量ｍ（Ｒｃｉ）を用いて第１画像Ｖｃと第２画像Ｖｄ間の全ての画素の対応位置関係を求める。具体的には、第１画像Ｖｃ内の全ての画素それぞれに対して移動量を与えるベクトル場を求める。このベクトル場は、各画素が、その画素に与えられた移動量だけ離れた位置の、第２画像Ｖｄ上の画素と対応関係があることを表す。
【００７５】
まず、部位画像Ｒｃｉ（ｉ＝１〜４）の各画素Ｘｏに対して、移動量算出部１１５により特定された移動量ｍ（Ｒｃｉ）により定められる移動量ｍ（Ｘｏ）を与え、第１画像Ｖｃ中の部位画像Ｒｃｉ（ｉ＝１〜４）以外の部分（たとえば、図５に示す部分Ｒｃｆなど）における各画素の移動量の推定値を、その画素の近傍に位置する２つ以上の画素のそれぞれに与えられている移動量を用いて補間により求め、該求められた推定値をその画素の移動量として与える。この補間処理には、線形補間、スプライン補間等の種々の空間補間技術を用いることができる。特にスプライン補間としては、たとえばSeungyong Leeらによる、“Scattered Data Interpolation with Multilevel B-Splines”, IEEE Transactions on Visualization and Computer Graphics, vol. 3,no. 3, July‐September 1997に記載された手法を用いることができる。
【００７６】
位置関係算出部１１６は、上述のように第１画像Ｖｃ内の全ての画素それぞれに対して移動量を与えた上で、さらに、異なる変形手法および／または異なる評価尺度を用いて前記移動量を求めた部位画像同士が隣接する部分における各画素について、前記与えられた画素の移動量をその画素の近傍に位置する２つ以上の画素のそれぞれにおける移動量を用いて平均化し、該平均化された値をその画素の移動量として与え直す。
【００７７】
画像生成部１１７は、位置関係算出部１１６により求められた対応位置関係を用いて、第１画像Ｖｃを変形して変形後の画像Ｖｃ´を生成する。表示制御部１１８は、画像生成部１１７により生成された画像Ｖｃ´および第２画像Ｖｄを比較可能に表示装置３に表示させる。
【００７８】
図６は、画像生成装置１００の動作を示すフローチャートである。図示のように、まず、画像取得部１１２が、記憶装置１１１に記憶されている第１画像Ｖｃおよび第２画像Ｖｄを取得し（Ｓ１０１）、部位画像特定部１１４が、第１画像Ｖｃおよび第２画像Ｖｄにおいて同一の部位を表す部位画像の組を複数特定する（Ｓ１０２）。ここでは、特定された部位画像の組の総数をｎとする。
【００７９】
次に、移動量算出部１１５が、カウントｉを初期値に設定し（Ｓ１０３）、テーブルＴ２を参照して、部位画像ＲｃｉとＲｄｉに表されている部位に対応付けて記憶されている変形手法と評価尺度を特定し、該特定された変形手法を用いて部位画像Ｒｃｉに対して任意の移動量ｍ（Ｒｃｉ）を設定する（Ｓ１０４）。続いて移動量算出部１１５が、ステップＳ１０５において設定された移動量ｍ（Ｒｃｉ）だけ部位画像Ｒｃｉを変形し（Ｓ１０５）、該変形後の部位画像Ｒｃｉ´と第２画像Ｖｄの部位画像Ｒｄｉとの類似度の評価値を、ステップＳ１０４において特定された評価尺度を用いて評価し（Ｓ１０６）、その際の移動量ｍ（Ｒｃｉ）の変化に対する評価値の変化量が所定値以下であるかを判断する（Ｓ１０７）。ステップＳ１０７が否定されると、移動量ｍ（Ｒｃｉ）を変更し（Ｓ１０８）、ステップＳ１０５に戻る。一方、ステップＳ１０７が肯定されると、カウントｉがｎに達したか否かをさらに判断する（Ｓ１０９）。ステップＳ１０９が否定されると、ｉに１を加算し（Ｓ１１０）、ステップＳ１０４に戻る。
【００８０】
一方、ステップＳ１０９が肯定されると、位置関係算出部１１６が、移動量算出部１１５により各組の部位画像ＲｃｉとＲｄｉ（ｉ＝１〜ｎ）毎に求められた移動量ｍ（Ｒｃｉ）を用いて第１画像Ｖｃと第２画像Ｖｄ間の全ての画素の対応位置関係を求める（Ｓ１１１）。次に、画像生成部１１７が、位置関係算出部１１６により求められた対応位置関係を用いて、第１画像Ｖｃを変形して変形後の画像Ｖｃ´を生成し（Ｓ１１２）、表示制御部１１８が、画像生成部１１７により生成された画像Ｖｃ´および第２画像Ｖｄを比較可能に表示装置３に表示させ（Ｓ１１３）、処理を終了する。
【００８１】
このように、上記実施の形態によれば、比較対象となる同一被写体についての２つの３次元画像間で対応位置関係を求める際に、被写体を構成する複数の部位のそれぞれに対して、画像を変形する際に用いる変形手法と、２つの画像の類似度を評価する際に用いる評価尺度とを対応づけて記憶しておき、２つの３次元画像において特定された同一の部位が表されている部位画像の組毎に、それらの部位画像に表されている部位に対応付けて記憶されている変形手法と評価尺度を用いて一方の３次元画像の部位画像を他方の３次元画像の部位画像に合せて変形する際の各画素の移動量を求め、求められた移動量を用いて２つの３次元画像間の対応位置関係を求めているので、複数の部位のそれぞれに対して適した変形手法および評価尺度を用いてその部位を表す画像部分同士の対応位置関係を求めることができ、２つの３次元画像の間において全体的により正確な対応位置関係を求めることができる。
【００８２】
なお、上記第１の実施形態では、部位情報取得部１３、部分画像特定部１４および移動量算出部１５の処理に用いられる、被写体を構成する複数の部位が、頭部、頸部、胸部、肝臓および下腹部の４つの部位であり、上記第２の実施形態では、部位画像特定部１１４および移動量算出部１１５の処理に用いられる、被写体を構成する複数の部位が、頭部、肺、肝臓および皮膚の４つの部位である場合について例示したが、いずれの実施形態においても、処理に用いる部位は必要に応じて適宜取捨選択することができる。たとえば、骨と肝臓が接触する領域においては、実際に不連続な変形を伴っている場合が考えられるので、骨は対象部位からはずすことにより、このような不連続点付近における、意図しない変形場の生成を防ぐことができる。
【００８３】
また、上記実施の形態では、画像生成装置１００が画像生成部１１７や表示制御部１１８を備えたものである場合について説明したが、それらの構成は必ずしも必要ではなく、必要に応じて設けるとよい。
【符号の説明】
【００８４】
１，１００    画像生成装置
３     表示装置
４     入力装置
１１，１１１  記憶装置
１２，１１２  画像取得部
１３   部位情報取得部
１４，１１４  部分画像特定部
１５，１１５  移動量算出部
１６，１１６  位置関係算出部
１７，１１７  画像生成部
１８，１１８  表示制御部
Ｖａ，Ｖｃ    第１画像
Ｖｂ，Ｖｄ    第１画像
Ｒａ１〜Ｒａ５        部分画像
Ｒｂ１〜Ｒｂ５        部分画像
Ｒｃ１〜Ｒｃ４        部位画像
Ｒｄ１〜Ｒｄ４        部位画像
【図１】
0005832938.tif 000006
【図２】
0005832938.tif 000007
【図３】
0005832938.tif 000008
【図４】
0005832938.tif 000009
【図５】
0005832938.tif 000010
【図６】
0005832938.tif 000011
【図７】
0005832938.tif 000012
【図８】
0005832938.tif 000013