(57)【特許請求の範囲】
【請求項１】
第一撮像モダリティにより得られた３次元画像である第一医用画像と、前記第一撮像モダリティとは異なる第二撮像モダリティにより得られた３次元画像である第二医用画像の位置合せを行う画像処理方法であって、
前記第一医用画像における第一血管画像及び前記第二医用画像における第二血管画像を抽出する抽出工程と、
前記抽出工程により抽出された前記第一血管画像及び第二血管画像それぞれについて、互いに近接または結合する複数の血管部分によって構成される血管部分構造体を１つ以上検出する検出工程と、
前記第一血管画像における血管部分構造体と前記第二血管画像における血管部分構造体とによる複数の組合せの各々について、血管部分構造体同士のずれが小さくなるように、前記第一血管画像及び第二血管画像のうち少なくとも一方に座標変換を行い、前記第一血管画像及び第二血管画像の間において、前記血管部分構造体を含む所定領域における類似度を算出する演算工程と、
前記類似度が最も高い座標変換を用いて、前記位置合せのための座標変換を行う変換工程とを備えた画像処理方法。
【請求項２】
第一撮像モダリティにより得られた３次元画像である第一医用画像と、前記第一撮像モダリティとは異なる第二撮像モダリティにより得られた３次元画像である第二医用画像の位置合せを行う画像処理装置であって、
前記第一医用画像における第一血管画像及び前記第二医用画像における第二血管画像を抽出する抽出手段と、
前記抽出手段により抽出された第一血管画像及び第二血管画像それぞれについて、互いに近接または結合する複数の血管部分によって構成される血管部分構造体を１つ以上検出する検出手段と、
前記第一血管画像における血管部分構造体と前記第二血管画像における血管部分構造体とによる複数の組合せの各々について、血管部分構造体間のずれが小さくなるように、前記第一血管画像及び第二血管画像のうち少なくとも一方に座標変換を行い、前記第一血管画像及び第二血管画像の間において、前記血管部分構造体を含む所定領域における類似度を算出する演算手段と、
前記類似度が最も高い座標変換を用いて、前記位置合せのための座標変換を行う変換手段とを備えた画像処理装置。
【請求項３】
前記複数の組合せは、前記第一血管画像における複数の血管部分構造体と、前記第二血管画像における複数の血管部分構造体との組合せである、請求項２に記載の画像処理装置。
【請求項４】
前記複数の組合せは、選択された前記第一血管画像における単一の血管部分構造体と、前記第二血管画像における複数の血管部分構造体との組合せである、請求項２に記載の画像処理装置。
【請求項５】
前記血管部分構造体は、血管分岐点と、該血管分岐点から枝分かれする二本の血管部分とを含む、請求項２から請求項４のいずれか一項に記載の画像処理装置。
【請求項６】
前記演算手段は、前記血管分岐点同士が重なり、かつ、前記二本の血管部分に近似する二直線を含む平面同士が重なるように、前記座標変換を行う、請求項５に記載の画像処理装置。
【請求項７】
前記血管部分構造体は、第一血管分岐点と、該第一血管分岐点から伸びる一本の第一血管部分と、前記第一血管分岐点とは異なる第二血管分岐点と、該第二血管分岐点から伸びる一本の第二血管部分とを含む、請求項２から請求項４のいずれか一項に記載の画像処理装置。
【請求項８】
前記演算手段は、前記第一血管分岐点、前記第二血管分岐点、または、前記第一血管部分及び第二血管部分に近似する二直線を最短距離で結ぶ線分の中点である所定の点同士が重なり、かつ、該二直線により規定される平面同士が重なるように、前記座標変換を行う、請求項７に記載の画像処理装置。
【請求項９】
前記血管部分構造体は、血管分岐を構成する血管部分とは異なる二本の血管部分を含む、請求項２から請求項４のいずれか一項に記載の画像処理装置。
【請求項１０】
前記演算手段は、前記二本の血管部分に近似する二直線を最短距離で結ぶ線分の中点同士が重なり、かつ、該二直線により規定される平面同士が重なるように、前記座標変換を行う、請求項９に記載の画像処理装置。
【請求項１１】
前記座標変換が行われた前記第一医用画像及び第二医用画像における画素値に係る特徴量に基づいて、該第一医用画像及び第二医用画像の少なくとも一方の座標変換を行って前記位置合せの調整を行う調整手段をさらに備えた、請求項２から請求項１０のいずれか一項に記載の画像処理装置。
【請求項１２】
前記位置合せの調整が行われた前記第一医用画像及び第二医用画像の各々における対応断面像を生成する生成手段と、
前記第一医用画像及び第二医用画像の各々における対応断面像を出力する出力手段とをさらに備えた、請求項２から請求項１１のいずれか一項に記載の画像処理装置。
【請求項１３】
前記検出手段は、前記第一血管画像及び第二血管画像において、最も太い血管部分側から追跡することにより、前記血管部分構造体を検出する、請求項２から請求項１２のいずれか一項に記載の画像処理装置。
【請求項１４】
前記第一医用画像及び第二医用画像の一方は、超音波診断装置による画像である、請求項２から請求項１３のいずれか一項に記載の画像処理装置。
【請求項１５】
前記第一医用画像及び第二医用画像は、肝臓を含む画像である、請求項２から請求項１４のいずれか一項に記載の画像処理装置。
【請求項１６】
前記第一血管画像及び第二血管画像は、門脈または肝静脈に対応する画像である、請求項１５に記載の画像処理装置。
【請求項１７】
前記抽出手段は、前記第一血管画像及び第二血管画像を、二値化画像として抽出する、請求項２から請求項１６のいずれか一項に記載の画像処理装置。
【請求項１８】
前記検出手段は、前記複数の血管部分を細線化した後に、前記血管部分構造体を検出する、請求項２から請求項１７のいずれか一項に記載の画像処理装置。
【請求項１９】
コンピュータを、請求項２から請求項１８のいずれか一項に記載の画像処理装置として機能させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、医用画像間の位置合せ技術に関する。
【背景技術】
【０００２】
従来、撮像装置として、磁気共鳴装置（ＭＲ：Magnetic Resonance）、放射線断層撮影装置（ＣＴ：Computed
Tomography）、超音波装置（ＵＳ：Ultra Sound）などが知られている。これらの撮像装置には、その撮像モダリティ（modality）ごとにそれぞれ長所/短所が存在し、ある特定の撮像モダリティによる画像だけでは診断における精度が不足する場合がある。このため、近年、特定の撮像モダリティによる画像だけでなく、複数の異なる撮像モダリティによる画像を用いて診断することで、診断精度の向上を図る試みが盛んに行われている。
【０００３】
複数の異なる撮像モダリティによる画像を用いた診断では、撮像モダリティごとに画像の座標系が異なる。そのため、これらの座標系の相違や臓器の変動・変形に起因する位置ズレを補正する技術、すなわち、画像間での位置合せ（Registration）技術が重要である。
【０００４】
ところで、互いに異なる複数の画像間での位置合せ手法としては、相互情報量（Mutual Information）を用いる手法が最も一般的である（例えば、非特許文献１等参照）。この手法は、広義においては、画像の輝度値に基づく手法（intensity based method）である。つまり、相互情報量を用いて位置合せを行うには、対象画像間で輝度値に関連性があることが前提となる。
【先行技術文献】
【特許文献】
【０００５】
【非特許文献１】IEEE Trans. on Med. Imaging, 16:187-198, 1997
【発明の概要】
【発明が解決しようとする課題】
【０００６】
しかしながら、ＵＳ画像においては、音響陰影（Acoustic shadow）が発生し、高反射体の後方の輝度値は本来の値よりも低下する。また血管の輝度値も血管の走行方向に依って変化する。このため、例えば、ＭＲ画像とＵＳ画像との位置合せ、あるいは、ＣＴ画像とＵＳ画像との位置合せにおいては、輝度値の関連性に乏しい状況がしばしば発生し、位置合せの精度が極端に悪くなるケース（case）がある。
【０００７】
このような事情により、医用画像間の位置合せをより高い精度にて行うことができる技術が望まれている。
【課題を解決するための手段】
【０００８】
第１の観点の発明は、
３次元画像である第一医用画像及び第二医用画像の位置合せを行う画像処理方法であって、
前記第一医用画像における第一血管画像及び前記第二医用画像における第二血管画像を抽出する抽出工程と、
前記抽出工程により抽出された前記第一血管画像及び第二血管画像それぞれについて、互いに近接または結合する複数の血管部分によって構成される血管部分構造体を１つ以上検出する検出工程と、
前記第一血管画像における血管部分構造体と前記第二血管画像における血管部分構造体とによる複数の組合せの各々について、血管部分構造体同士のずれが小さくなるように、前記第一血管画像及び第二血管画像のうち少なくとも一方に座標変換を行い、前記第一血管画像及び第二血管画像の間において、前記血管部分構造体を含む所定領域における類似度を算出する演算工程と、
前記類似度が最も高い座標変換を用いて、前記位置合せのための座標変換を行う変換工程とを備えた画像処理方法を提供する。
【０００９】
第２の観点の発明は、
３次元画像である第一医用画像及び第二医用画像の位置合せを行う画像処理装置であって、
前記第一医用画像における第一血管画像及び前記第二医用画像における第二血管画像を抽出する抽出手段と、
前記抽出手段により抽出された第一血管画像及び第二血管画像それぞれについて、互いに近接または結合する複数の血管部分によって構成される血管部分構造体を１つ以上検出する検出手段と、
前記第一血管画像における血管部分構造体と前記第二血管画像における血管部分構造体とによる複数の組合せの各々について、血管部分構造体間のずれが小さくなるように、前記第一血管画像及び第二血管画像のうち少なくとも一方に座標変換を行い、前記第一血管画像及び第二血管画像の間において、前記血管部分構造体を含む所定領域における類似度を算出する演算手段と、
前記類似度が最も高い座標変換を用いて、前記位置合せのための座標変換を行う変換手段とを備えた画像処理装置を提供する。
【００１０】
第３の観点の発明は、
前記複数の組合せが、前記第一血管画像における複数の血管部分構造体と、前記第二血管画像における複数の血管部分構造体との組合せである、上記第２の観点の画像処理装置を提供する。
【００１１】
第４の観点の発明は、
前記複数の組合せが、選択された前記第一血管画像における単一の血管部分構造体と、前記第二血管画像における複数の血管部分構造体との組合せである、上記第２の観点の画像処理装置を提供する。
【００１２】
第５の観点の発明は、
前記血管部分構造体が、血管分岐点と、該血管分岐点から枝分かれする二本の血管部分とを含む、上記第２の観点から第４の観点のいずれか一つの画像処理装置をする。
【００１３】
第６の観点の発明は、
前記演算手段が、前記血管分岐点同士が重なり、かつ、前記二本の血管部分に近似する二直線を含む平面同士が重なるように、前記座標変換を行う、上記第５の観点の画像処理装置を提供する。
【００１４】
第７の観点の発明は、
前記血管部分構造体が、第一血管分岐点と、該第一血管分岐点から伸びる一本の第一血管部分と、前記第一血管分岐点とは異なる第二血管分岐点と、該第二血管分岐点から伸びる一本の第二血管部分とを含む、上記第２の観点から第４の観点のいずれか一つ観点の画像処理装置を提供する。
【００１５】
第８の観点の発明は、
前記演算手段が、前記第一血管分岐点、前記第二血管分岐点、または、前記第一血管部分及び第二血管部分に近似する二直線を最短距離で結ぶ線分の中点である所定の点同士が重なり、かつ、該二直線により規定される平面同士が重なるように、前記座標変換を行う、上記第７の観点の画像処理装置を提供する。
【００１６】
第９の観点の発明は、
前記血管部分構造体が、血管分岐を構成する血管部分とは異なる二本の血管部分を含む、上記第２の観点から第４の観点のいずれか一つの観点の画像処理装置を提供する。
【００１７】
第１０の観点の発明は、
前記演算手段が、前記二本の血管部分に近似する二直線を最短距離で結ぶ線分の中点同士が重なり、かつ、該二直線により規定される平面同士が重なるように、前記座標変換を行う、上記第９の観点の画像処理装置を提供する。
【００１８】
第１１の観点の発明は、
前記座標変換が行われた前記第一医用画像及び第二医用画像における画素値に係る特徴量に基づいて、該第一医用画像及び第二医用画像の少なくとも一方の座標変換を行って前記位置合せの調整を行う調整手段をさらに備えた、上記第２の観点から第１０の観点のいずれか一つの観点の画像処理装置を提供する。
【００１９】
第１２の観点の発明は、
前記位置合せの調整が行われた前記第一医用画像及び第二医用画像の各々における対応断面像を生成する生成手段と、
前記第一医用画像及び第二医用画像の各々における対応断面像を出力する出力手段とをさらに備えた、上記第２の観点から第１１の観点のいずれか一つの観点の画像処理装置を提供する。
【００２０】
第１３の観点の発明は、
前記検出手段が、前記第一血管画像及び第二血管画像において、最も太い血管部分側から追跡することにより、前記血管部分構造体を検出する、上記第２の観点から第１２の観点のいずれか一つの観点の画像処理装置を提供する。
【００２１】
第１４の観点の発明は、
前記第一医用画像及び第二医用画像が、撮像モダリティが互いに異なる画像である、上記第２の観点から第１３の観点のいずれか一つの観点の画像処理装置を提供する。
【００２２】
第１５の観点の発明は、
前記第一医用画像及び第二医用画像の一方が、超音波診断装置による画像である、上記第１４の観点の画像処理装置を提供する。
【００２３】
第１６の観点の発明は、
前記第一医用画像及び第二医用画像が、肝臓を含む画像である、上記第２の観点から第１５の観点のいずれか一つの観点の画像処理装置を提供する。
【００２４】
第１７の観点の発明は、
前記第一血管画像及び第二血管画像が、門脈または肝静脈に対応する画像である、上記第１６の観点の画像処理装置を提供する。
【００２５】
第１８の観点の発明は、
前記抽出手段が、前記第一血管画像及び第二血管画像を、二値化画像として抽出する、上記第２の観点から第１７の観点のいずれか一つの観点の画像処理装置を提供する。
【００２６】
第１９の観点の発明は、
前記検出手段が、前記複数の血管部分を細線化した後に、前記血管部分構造体を検出する、上記第２の観点から第１８の観点のいずれか一つの観点の画像処理装置を提供する。
【００２７】
第２０の観点の発明は、
コンピュータ（computer）を、上記第２の観点から第１９の観点のいずれか一つの観点の画像処理装置として機能させるためのプログラム（program）を提供する。
【発明の効果】
【００２８】
上記観点の発明によれば、上記構成により、同一の被写体を表す画像間において、互いに対応する血管構造が実質的に同一であることを利用して、一部の血管構造が最もマッチング（matching）するように座標変換するので、位置合せの対象となる画像間で輝度値の関連性が小さい場合であっても、その影響を受けることなく位置合せを行うことができ、その結果、より精度の高い位置合せを行うことが可能になる。
【図面の簡単な説明】
【００２９】
【図１】第一実施形態に係る画像処理装置１の構成を概略的に示す機能ブロック図である。
【図２】同一被検者の肝臓を表すＭＲ画像ＧMR及びＵＳ画像ＧUSの一例を示す図である。
【図３】ＭＲ血管画像ＶMR、ＭＲ血管樹骨ＴＲMR、及びＭＲ血管分岐におけるベクトルＵ，Ｖ，Ｗの算出結果のそれぞれの一例を示す図である。
【図４】血管分岐点を検出する方法を説明するための図である。
【図５】血管分岐を形成する血管部分に対応したベクトルを求める方法を説明するための図である。
【図６】血管分岐のマッチング評価の概念図ある。
【図７】血管分岐を規定するベクトルを説明するための図である。
【図８】画像表示の一例を示す図である。
【図９】第一実施形態に係る画像処理装置１における処理の流れを示すフロー図である。
【図１０】第二実施形態における不完全血管分岐ペアの構成を説明するための図である。
【図１１】不完全血管分岐ペアを規定するベクトルを説明するための図である。
【図１２】第三実施形態における血管部分ペアの構成を説明するための図である。
【図１３】血管部分ペアを規定するベクトルを説明するための図である。
【発明を実施するための形態】
【００３０】
以下、発明の実施形態について説明する。なお、これにより、発明が限定されるものではない。
【００３１】
（第一実施形態）
図１は、本実施形態に係る画像処理装置１の構成を概略的に示す機能ブロック（block）図である。なお、画像処理装置１は、例えば、コンピュータに所定のプログラムを実行させることにより実現させることができる。
【００３２】
図１に示すように、画像処理装置１は、画像取得部２と、血管抽出部３と、血管部分構造体検出部４と、マッチング評価部５と、座標変換部６と、位置合せ調整部７と、対応断面像生成部８と、画像出力部９とを有している。なお、血管抽出部３、血管部分構造体検出部４、マッチング評価部５、座標変換部６、位置合せ調整部７、対応断面像生成部８、及び画像出力部９は、それぞれ、発明における抽出手段、検出手段、評価手段、変換手段、調整手段、生成手段、及び出力手段の一例である。
【００３３】
画像取得部２は、位置合せの対象となる２つの画像を取得する。通常は、ユーザ（user）の操作に応じて、入力された２つの３次元医用画像を、位置合せの対象となる２つの画像として取得する。画像取得部２は、これら２つの画像のうち一方の画像を、位置合せ処理において固定される目標画像に設定し、他方の画像を、位置合せ処理において座標変換される対象画像に設定する。本例では、位置合せの対象となる２つの３次元医用画像として、同一被検者の肝臓を表すＭＲ画像ＧMR及びＵＳ画像ＧUSを取得する。また、ＵＳ画像ＧUSを目標画像に設定し、ＭＲ画像ＧMRを対象画像に設定する。なお、ＭＲ画像ＧMR及びＵＳ画像ＧUSは、発明における第一医用画像及び第二医用画像の一例である。図２に、同一被検者の肝臓を表すＭＲ画像ＧMR及びＵＳ画像ＧUSの一例を示す。ただし、この図では、便宜上、３次元医用画像における所定の断面像を示している。
【００３４】
血管抽出部３は、ＭＲ画像ＧMR及びＵＳ画像ＧUSそれぞれについて、血管を表す血管画像を抽出する。血管画像の抽出には、既知の手法を用いる。例えば、非特許文献 Kirbus C and Quek
F: A review of vessel extraction technique and algorithms, ACM Computer Surveys
（CSUR）, 36（2）, 81-121, 2004.に記載されている手法を用いる。以下、ＭＲ画像ＧMRにおける血管画像をＭＲ血管画像ＶMRといい、ＵＳ画像ＧUSにおける血管画像をＵＳ血管画像ＶUSという。本例では、血管画像として、肝臓の門脈または肝静脈を表す画像を抽出する。また、血管画像は、二値化画像として抽出する。なお、ＭＲ血管画像ＶMR及びＵＳ血管画像ＶUSは、発明における第一血管画像及び第二血管画像の一例である。図３（ａ）に、血管画像の一例として、ＭＲ血管画像ＶMRのサンプル（sample）を示す。
【００３５】
血管部分構造体検出部４は、抽出されたＭＲ血管画像ＶMR及びＵＳ血管画像ＶUSそれぞれにおいて、１つ以上の血管部分構造体を検出する。血管部分構造体とは、互いに近接または結合する複数の血管部分により構成される構造体である。本例では、血管部分構造体として、血管分岐を検出する。血管分岐は、血管分岐点と、その血管分岐点から枝分かれする二本の血管部分とにより構成される。そのため、血管分岐は、血管分岐点の位置と、その血管分岐点から枝分かれする二本の血管部分の走行方向及び長さとにより特定され、識別される。血管部分構造体検出部４は、具体的には、次のような処理を行う。
【００３６】
まず、抽出されたＭＲ血管画像ＶMR及びＵＳ血管画像ＶUSに対して、スムージング（smoothing）処理を施す。これにより、境界（輪郭）が滑らかになった血管画像が得られる。スムージング処理には、例えば、３次元のガウシアンフィルタ（Gaussian Filter）や３次元のメディアンフィルタ（Median Filter）などを用いる。
【００３７】
次に、スムージング処理済みのＭＲ血管画像ＶMR及びＵＳ血管画像ＶUSに対して、スケルトン（skeleton）処理（３次元細線化処理）を施す。これにより、血管の走行方向に沿った軸だけが木の枝骨のように線状に表された「血管樹骨」が得られる。以下、ＭＲ血管画像から得られた血管樹骨をＭＲ血管樹骨ＴＲMRといい、ＵＳ血管画像から得られた血管樹骨をＵＳ血管樹骨ＴＲUSという。スケルトン処理としては、例えば、非特許文献 Lee et.al ,
Building skeleton models via 3-D medial surface/axis thinning algorithms.
Computer Vision, Graphics, and Image Processing, 56(6):462-478, 1994 に記載されている手法を用いる。図３（ｂ）に、血管樹骨の一例として、ＭＲ血管樹骨ＴＲMRのサンプルを示す。図３（ｂ）において、各血管部分に付された番号は、タグ（tag）番号である。
【００３８】
次いで、ＭＲ血管樹骨ＴＲMR及びＵＳ血管樹骨ＴＲUSそれぞれにおいて、１つ以上の血管分岐点を検出する。具体的には、図４に示すように、血管樹骨ＴＲの枝骨に沿って、その枝骨上の点を含む所定サイズ（size）の領域を解析領域Ａ１として設定する。解析領域Ａ１は、例えば、血管樹骨ＴＲの枝骨上の点に対応した画素を中心とする［３×３×３］画素の３次元領域とする。次いで、この解析領域Ａ１に対して解析を行い、血管分岐を形成する連続画素を検出する。解析は、血管樹骨の「幹」側から「枝先」側に向かって行われるよう、血管樹骨の元となる血管画像において最も太い血管部分に相当する枝骨の端部から解析を開始する。そして、連続画素が枝分かれする点を、血管分岐点ＢＰとして検出する。なお、血管分岐は、一本の血管が二本の血管に枝分かれする二叉分岐が主流であるが、一本の血管が同一の分岐点で三本以上の血管に枝分かれする三叉以上の分岐も存在する。三叉以上の分岐では、複数の二叉分岐として認識する。以下、ＭＲ血管樹骨ＴＲMRにおいて検出された各血管分岐点をＭＲ血管分岐点ＢＰMR,i（i=1,2,…）で表し、ＵＳ血管樹骨ＴＲUSにおいて検出された各血管分岐点をＵＳ血管分岐点ＢＰUS,j（j=1,2,…）で表す。
【００３９】
なお、血管分岐点を検出する際、簡略化のため、血管樹骨の全体において、血管分岐点から枝分かれした血管部分の長さが非常に小さい血管分岐点は排除し、枝分かれした血管部分の長さが所定の閾値を超える比較的大きめの血管分岐点のみを検出するようにしてもよい。
【００４０】
次に、ＭＲ血管分岐点ＢＰMR,i及びＵＳ血管分岐点ＢＰUS,jの各々について、その血管分岐点から枝分かれする二本の血管部分に対応した二つのベクトル（vector）を求める。具体的には、次のような処理を行う。
【００４１】
図５（ａ）に示すように、血管樹骨ＴＲ上で、血管分岐点ＢＰごとに、その血管分岐点ＢＰを含む所定サイズの領域を注目領域Ａ２として設定する。注目領域Ａ２は、例えば、血管分岐点ＢＰを中心とする［１０×１０×１０］画素の３次元領域とする。注目領域Ａ２内には、血管分岐点ＢＰから枝分かれする二本の血管部分ＢＶ1，ＢＶ2が含まれている。次に、図５（ｂ）に示すように、二本の血管部分ＢＶ1，ＢＶ2それぞれの走行方向と長さを表すベクトルｂ1，ｂ2を求める。血管分岐点ＢＰから枝分かれする血管部分ＢＶ1，ＢＶ2の走行方向と長さは、注目領域Ａ２内において、対象となる血管分岐点ＢＰから枝分かれする血管部分に次の血管分岐点ＢＮが現れる場合には、対象となる血管分岐点ＢＰとその次の血管分岐点ＢＮとを結ぶ線分の方向と長さとする。一方、対象となる血管分岐点ＢＰから枝分かれする血管部分に、終端点または注目領域Ａ２の境界面との交点である特定点ＢＣが現れる場合には、対象となる血管分岐点ＢＰと特定点ＢＣとを結ぶ線分の方向と長さとする。
【００４２】
このような処理により、ＭＲ血管樹骨ＴＲMR及びＵＳ血管樹骨ＴＲUSそれぞれにおいて、血管分岐を、血管分岐点に対応する画素の座標と、その血管分岐点から枝分かれする二本の血管部分に対応した二つのベクトルとで特定することができる。なお、以下、ＭＲ血管樹骨ＴＲMRにおける血管分岐をＭＲ血管分岐といい、ＵＳ血管樹骨ＴＲUSにおける血管分岐をＵＳ血管分岐という。
【００４３】
マッチング評価部５は、ＭＲ血管分岐とＵＳ血管分岐との組合せごとに、血管分岐同士のマッチング評価を行う。本例では、マッチング評価の対象となるＭＲ血管分岐とＵＳ血管分岐とが重なるように、スムージング処理済みのＭＲ血管画像ＶMRと、スムージング処理済みのＵＳ血管画像ＶUSとを位置合せする。次いで、位置合せされたＭＲ血管画像ＶMRとＵＳ血管画像ＶUSとの間において、マッチング評価の対象となるＭＲ血管分岐及びＵＳ血管分岐の周辺での類似度を算出する。類似度の値が大きいほど、血管分岐同士がよりマッチングしていると評価される。具体的には、マッチング評価の対象となるＭＲ血管分岐及びＵＳ血管分岐の組合せごとに、次のような処理を行う。
【００４４】
図６に、血管分岐のマッチング評価の概念図を示す。まず、スムージング処理済みのＭＲ血管画像ＶMR及びＵＳ血管画像ＶUSに座標変換を行って、これらの血管画像をマッチング評価の対象となるＭＲ血管分岐及びＵＳ血管分岐に共通の座標空間に置く。
【００４５】
この座標空間は、マッチング評価の対象となるＭＲ血管分岐のＭＲ血管分岐点と、マッチング評価の対象となるＵＳ血管分岐のＵＳ血管分岐点とが重なり、さらに、そのＭＲ血管分岐を形成する二本の血管部分に対応した二つのベクトルを含む平面と、そのＵＳ血管分岐を形成する二本の血管部分に対応した二つのベクトルを含む平面とが重なるように規定された座標空間である。以下、この座標空間を第一共通座標空間という。スムージング処理済みのＭＲ血管画像ＶMRを第一共通座標空間に置くには、マッチング評価の対象となるＭＲ血管分岐に対応した変換行列を求め、この変換行列を用いてＭＲ血管画像ＶMRの座標変換を行う。同様に、スムージング処理済みのＵＳ血管画像ＶUSを第一共通座標空間に置くには、マッチング評価の対象となるＵＳ血管分岐に対応した変換行列を求め、この変換行列を用いてＵＳ血管画像ＶUSの座標変換を行う。
【００４６】
ここで、変換行列の求め方について説明する。変換行列は、第一共通座標空間の中心となる原点と、血管分岐の姿勢（向き）を規定する回転行列とによって構成される。図７に示すように、血管分岐点をＰ＝[ｐx，ｐy，ｐz]とし、血管分岐点Ｐから枝分かれする血管部分に対応するベクトルをＵ及びＶ′とし、ＵＶ′面に垂直なベクトル、すなわち法線ベクトルをＷとする。また、ＷＵ面に垂直なベクトルをＶとする。すると、互いに直交するベクトルＵ，Ｖ，Ｗは、当該血管分岐の姿勢に応じて決定され、回転行列を規定する。図３（ｃ）に、ＭＲ血管分岐におけるベクトルＵ，Ｖ，Ｗの算出結果のサンプルを示す。
【００４７】
Ｕ＝[ｕx ｕy ｕz]，Ｖ′＝[ｖ’x ｖ’y ｖ’z]
Ｗ＝Ｕ×Ｖ′＝[ｗx ｗy ｗz]
Ｖ＝(Ｕ×Ｖ′)×Ｕ＝[ｖx ｖy ｖz]
【００４８】
変換行列は、ＭＲ血管樹骨ＴＲMRにおいて検出されたＭＲ血管分岐と、ＵＳ血管樹骨ＴＲUSにおいて検出されたＵＳ血管分岐との各々について求められる。ＭＲ血管分岐について求められる変換行列ＴMR-BFと、ＵＳ血管分岐について求められる変換行列ＴUS-BFとは、それぞれ次のように表すことができる。
【数１】
0005977214.tif 000002
【００４９】
なお、ＭＲ画像ＧMRとＵＳ画像ＧUSとの間にスケール（scale）の相違がある場合には、ＭＲ血管分岐またはＵＳ血管分岐の対応する変換行列に、スケール比scalを乗ずることで、このスケールの相違をキャンセル（cancel）することができる。ＭＲ画像ＧMRとＵＳ画像ＧUSとのスケール比の行列は、次のように表すことできる。
【数２】
0005977214.tif 000003
【００５０】
ここで、スケールパラメータ（scale parameter）ｆx，ｆy，ｆzは、ＭＲ画像ＧMRとＵＳ画像ＧUSとの間における対応実空間のスケール比から求められる。
【００５１】
スムージング処理済みのＭＲ血管画像ＶMR及びＵＳ血管画像ＶUSを、第一共通座標空間に置いたら、ＭＲ血管画像ＶMRとＵＳ血管画像ＶUSとの類似度を算出する。具体的には、第一共通座標空間において、ＭＲ血管画像ＶMR及びＵＳ血管画像ＶUSそれぞれについて、第一共通座標空間の原点を含む所定サイズの領域を評価領域として設定する。評価領域は、例えば、その原点を中心とした［６４×６４×６４］画素の３次元領域とする。そして、ＭＲ血管画像ＶMRとＵＳ血管画像ＶUSとの間における当該評価領域での類似度を算出する。類似度としては、例えば、相互相関係数を用いる。相互相関係数の算出に用いる相関関数は、既知のものでよい。
【００５２】
このようなＭＲ血管画像及びＵＳ血管画像の第一共通座標空間への座標変換と、類似度の算出とを、ＭＲ血管分岐及びＵＳ血管分岐の組合せごとにそれぞれ行う。すなわち、ＭＲ血管分岐の数をｍ個とし、ＵＳ血管分岐の数をｎ個とすると、ＭＲ血管分岐それぞれの変換行列と、ｎ個のＵＳ血管分岐それぞれの変換行列とは、次のように表すことができる。
【００５３】
｛Ｔ1MR-BF，Ｔ2MR-BF，…，ＴmMR-BF｝    ｛Ｔ1US-BF，Ｔ2US-BF，…，ＴnUS-BF｝
そして、上記したマッチング評価処理を、ＭＲ血管分岐とＵＳ血管分岐との組合せの数、すなわちｍ×ｎの数だけ行う。ただし、ＭＲ血管分岐のどちらの血管部分とＵＳ血管分岐のどちらの血管部分とが共通の同じ血管となる可能性があるのかは、マッチング評価を行うまで不明である。そのため、実際には、ＭＲ血管分岐とＵＳ血管分岐との組合せごとに、ＭＲ血管分岐またはＵＳ血管分岐のいずれかに対して、血管分岐を形成する二本の血管部分の一方と他方とを位置的に入れ換えた場合についても、マッチング評価を行う必要がある。したがって、厳密には、上記マッチング評価処理は、ｍ×ｎ×２の数だけ行うことになる。
【００５４】
マッチング評価部５は、さらに、算出された４４類似度を比較して、ベストマッチング（best matching）の血管分岐の組合せ、すなわち、類似度が最大となる血管分岐の組合せを、ＭＲ画像及びＵＳ画像に共通する同一の血管分岐を表すものとして特定する。そして、この組合せに対応した変換行列に基づいて、ＭＲ画像の座標変換に用いる変換行列を決定する。
【００５５】
粗い位置合せに最適な変換行列は、次式により求められる。
【００５６】
ＴMR-US＝[ＴMR-BF]best[ＴUS-BF]-1best[scal]
【００５７】
ここで、[ＴMR-BF]bestは、ベストマッチングとなったＭＲ血管分岐に対応する変換行列であり、[ＴUS-BF]-1bestは、ベストマッチングとなったＵＳ血管分岐に対応する変換行列の逆行列である。
【００５８】
座標変換部６は、この最適な変換行列ＴMR-USを用いて、ＭＲ画像ＧMRの座標変換を行うことにより、ＭＲ画像ＧMRをＵＳ画像ＧUSに粗く位置合せをする。
【００５９】
位置合せ調整部７は、粗く位置合せされたＭＲ画像ＧMR及びＵＳ画像ＧUSに対して、細かい位置合せを行う。細かい位置合せには、位置合せする画像間における画素値や、濃度勾配、エッジなどの特徴部分が合致するように座標変換を行う手法などを用いる。
【００６０】
本例における細かい位置合せに適した手法の一つとして、標準勾配場（Normalized Gradient Field：NGF）を用いる手法、例えば、非特許文献
Proceeding of SPIE Vol.7261, 72610G-1, 2009 に記載されている手法が挙げられる。標準勾配場とは、画像上の座標において各方向ｘ，ｙ，ｚの１次偏微分、すなわち勾配ベクトル（Gradient Vector）を算出した後、その勾配ベクトルをその勾配ベクトルの長さ（Vector
Norm）で規格化（normalized）したものである。つまり、標準勾配場は、画素値あるいは輝度値の大小や勾配の大きさに依存せず、勾配の方向だけを表す特徴量である。仮に、ある２つの画像において互いに対応する位置に同じ方向の標準勾配場が発生しているならば、これら２つの画像の位置は合っていると見なすことができる。したがって、この手法では、標準勾配場が示す方向の揃い具合を最適化することで、位置合せを行うことができる。
【００６１】
対応断面像生成部８は、位置合せが成されたＭＲ画像ＧMR及びＵＳ画像ＧUSにおいて、互いに対応する断面像を生成する。生成する断面像の断面位置は、例えば、操作者によって指定される。
【００６２】
画像出力部９は、生成された断面像を画面に表示させたり、画像データとして外部に出力したりする。このとき、ベストマッチングの血管分岐の組合せを、画像化して共に出力してもよい。例えば、ＭＲ血管樹骨ＴＲMRとＵＳ血管樹骨ＴＲUSとを並べて表示し、これらの画像の上に、ベストマッチングの血管分岐を構成する血管分岐点と、その血管分岐を形成する血管部分のベクトルとを、色づけするなどして強調して表示する。図８に、画像表示の一例を示す。図８において、上段左の画像は、ＵＳ血管分岐に対応するベクトルＵ，Ｖ，Ｗを求めて表示した結果を含むＵＳ血管樹骨ＴＲMR1であり、上段右の画像は、ＭＲ血管分岐に対応するベクトルＵ，Ｖ，Ｗを求めて表示した結果を含むＭＲ血管樹骨ＴＲUS1である。また、下段左の画像は、特定されたベストマッチングのＵＳ血管分岐を含む、座標変換済みＵＳ画像の所定断面像ＧUS1であり、下段中央の画像は、特定されたベストマッチングのＭＲ血管分岐を含む、座標変換済みＭＲ画像ＧMR1の所定断面像である。下段右の画像は、ＵＳ画像Ｇに粗い位置合せが成されたＭＲ画像の任意断面像ＧMR-USである。
【００６３】
これより、本実施形態に係る画像処理装置１における処理の流れについて説明する。図９は、本実施形態に係る画像処理装置１における処理の流れを示すフロー図である。
【００６４】
ステップ（step）Ｓ１では、画像取得部２が、同一被検者の肝臓を表すＭＲ画像ＧMR及びＵＳ画像ＧUSを取得する。本例では、ＵＳ画像ＧUSを目標画像とし、ＭＲ画像ＧMRを対象画像とする。
【００６５】
ステップＳ２では、血管抽出部３が、ＭＲ画像ＧMR及びＵＳ画像ＧUSそれぞれについて、肝臓の門脈または肝静脈に相当する血管を表す血管画像を抽出する。抽出には既知の手法を用いる。血管画像は二値化画像として抽出する。
【００６６】
ステップＳ３では、血管部分構造体検出部４が、ＭＲ画像ＧMRにおいて抽出されたＭＲ血管画像ＶMRと、ＵＳ画像ＧUSにおいて抽出されたＵＳ血管画像ＶUSのそれぞれに対して、スムージング処理及びスケルトン処理を施して、ＭＲ血管樹骨ＴＲMR及びＵＳ血管樹骨ＴＲUSを得る。
【００６７】
ステップＳ４では、血管部分構造体検出部４が、ＭＲ血管樹骨ＴＲMR及びＵＳ血管樹骨ＴＲUSそれぞれにおいて、枝骨に沿って追跡しながら解析を行う。この解析により、血管分岐点の位置と、その血管分岐点から枝分かれする二本の血管部分に対応するベクトルとを求めることにより、１つ以上の血管分岐を検出する。
【００６８】
ステップＳ５では、マッチング評価部５が、マッチング評価の対象となるＭＲ血管分岐とＵＳ血管分岐との組合せごとに、血管分岐同士が重なるように、スムージング処理済みのＭＲ血管画像ＶMRと、スムージング処理済みのＵＳ血管画像ＶUSとを位置合せする。そして、位置合せされたＭＲ血管画像ＶMRとＵＳ血管画像ＶUSとの間において、対象となるＭＲ血管分岐及びＵＳ血管分岐の周辺での類似度を算出する。
【００６９】
ステップＳ６では、マッチング評価部５が、最大の類似度が算出された血管分岐の組合せを、ベストマッチングの血管分岐の組合せとして特定する。
【００７０】
ステップＳ７では、マッチング評価部５が、ベストマッチングの血管分岐に対応した変換行列に基づいて、粗い位置合せのための画像の座標変換に用いる変換行列ＴMR-USを決定する。
【００７１】
ステップＳ８では、座標変換部６が、ＭＲ画像ＧMRを、ステップＳ７で決定した変換行列ＴMR-USを用いて座標変換を行うことにより、ＵＳ画像ＧUSに粗く位置合せをする。
【００７２】
ステップＳ９では、位置合せ調整部７は、粗く位置合せされたＭＲ画像ＧMR及びＵＳ画像ＧUSに対して、細かい位置合せを行い、位置合せの調整を行う。細かい位置合せには、位置合せの対象となる画像間における画素値や、濃度勾配、エッジ（edge）などの特徴部分が合致するように座標変換を行う手法などを用いる。
【００７３】
ステップＳ１０では、対応断面像生成部８が、位置合せが成されたＭＲ画像ＧMR及びＵＳ画像ＧUSにおいて、互いに対応する断面像を生成する。生成する断面像の断面位置は、例えば、操作者によって指定される。
【００７４】
ステップＳ１１では、画像出力部９が、生成された断面像を画面に表示させたり、画像データ（data）として外部に出力したりする。
【００７５】
（第二実施形態）
本実施形態に係る画像処理装置１′は、血管樹骨において、血管分岐点から枝分かれする血管部分が一本しか見つからないような場合であっても、画像の位置合せを可能にするものである。本実施形態では、第一実施形態による画像処理装置１をベース（base）として、血管部分構造体検出部４、及びマッチング評価部５が、第一実施形態とは異なる処理を行う。
【００７６】
血管部分構造体検出部４は、ＭＲ血管樹骨ＴＲMR及びＵＳ血管樹骨ＴＲUSそれぞれにおいて、１つ以上の血管部分構造体を検出する。本例では、その血管部分構造体として、不完全血管分岐ペア（pair）を検出する。不完全血管分岐ペアは、図１０に示すように、血管樹骨ＴＲにおいて、第一血管分岐点ＢＰ1と、この第一血管分岐点ＢＰ1から伸びる一本の第一血管部分ＶＰ1と、第一血管分岐点ＢＰ1に近接しており第一血管分岐点ＢＰ1とは異なる第二血管分岐点ＢＰ2と、この第二血管分岐点ＢＰ2から伸びる一本の第二血管部分ＶＰ2とにより構成される。そのため、不完全血管分岐ペアは、第一血管分岐点ＢＰ1の位置と、その第一血管分岐点ＢＰ1から伸びる第一血管部分ＶＰ1の走行方向及び長さ（ベクトルｕ）と、第二血管分岐点ＢＰ2の位置と、その第二血管分岐点からＢＰ2伸びる第二血管部分ＶＰ2の走行方向及び長さ（ベクトルｖ）とにより特定され、識別される。
【００７７】
なお、血管部分構造体検出部４は、血管樹骨において、血管の伸びる方向が急激に変化する位置を、血管分岐点として認識し、その位置から先に伸びる血管部分を、分岐点から枝分かれする血管部分として認識する。これにより、血管分岐点から伸びる血管部分が一本しか見つからない場合であっても、血管分岐点とこの分岐点から伸びる血管部分とを的確に検出することができる。
【００７８】
血管部分構造体検出部４は、具体的には、次のような処理を行う。
【００７９】
まず、第一実施形態と同じ要領で、ＭＲ画像ＧMR及びＵＳ画像ＧUSから、ＭＲ血管樹骨ＴＲMR及びＵＳ血管樹骨ＴＲUSとを得る。また、ＭＲ血管樹骨ＴＲMR及びＵＳ血管樹骨ＴＲUSそれぞれにおいて、２つ以上の血管分岐点を検出する。
【００８０】
次に、ＭＲ血管分岐点ＢＰMR,i及びＵＳ血管分岐点ＢＰUS,jの各々について、その血管分岐点から伸びる一本の血管部分に対応した一つのベクトルを求める。
【００８１】
このような処理により、ＭＲ血管樹骨ＴＲMR及びＵＳ血管樹骨ＴＲUSそれぞれにおいて、不完全血管分岐ペアを、第一血管分岐点に対応する画素の座標と、その第一血管分岐点から伸びる一本の第一血管部分に対応した一つのベクトルと、第二血管分岐点に対応する画素の座標と、その第二血管分岐点から伸びる一本の第二血管部分に対応した一つのベクトルとで特定することができる。なお、以下、ＭＲ血管樹骨ＴＲMRにおいて検出された不完全血管分岐ペアをＭＲ不完全血管分岐ペアといい、ＵＳ血管樹骨ＴＲUSにおいて検出された不完全血管分岐ペアをＵＳ不完全血管分岐ペアという。
【００８２】
マッチング評価部５は、ＭＲ不完全血管分岐ペアとＵＳ不完全血管分岐ペアとの組合せごとに、不完全血管分岐ペア同士のマッチング評価を行う。本例では、マッチング評価の対象となるＭＲ不完全血管分岐ペアとＵＳ不完全血管分岐ペアとが重なるように、スムージング処理済みのＭＲ血管画像ＶMRと、スムージング処理済みのＵＳ血管画像ＶUSとを位置合せする。位置合せされたＭＲ血管画像ＶMRとＵＳ血管画像ＶUSとの間において、マッチング評価の対象となるＭＲ不完全血管分岐ペア及びＵＳ不完全血管分岐ペアの周辺での類似度を算出する。そして、この類似度の値が大きいほど、よりマッチングしているとの評価を行う。具体的には、マッチング評価の対象となるＭＲ不完全血管分岐ペアとＵＳ不完全血管分岐ペアとの組合せごとに、次のような処理を行う。
【００８３】
まず、スムージング処理済みのＭＲ血管画像ＶMR及びＵＳ血管画像ＶUSを、マッチング評価の対象となるＭＲ不完全血管分岐ペア及びＵＳ不完全血管分岐ペアに共通の座標空間に置く。
【００８４】
この座標空間は、マッチング評価の対象となるＭＲ不完全血管分岐ペアにおける「第一血管分岐点」、「第二血管分岐点」、または「第一血管部分に沿って伸びる直線と第二血管部分に沿って伸びる直線とを最短距離で結ぶ線分の中点」のうちの所定の一点と、マッチング評価の対象となるＵＳ不完全血管分岐ペアにおける上記所定の一点とが重なり、さらに、マッチング評価の対象となるＭＲ不完全血管分岐ペアにおける第一血管部分に対応するベクトルと第二血管部分に対応するベクトルとを当該ＭＲ不完全血管分岐ペアにおける上記所定の一点に置いたときにこれらのベクトルを含む平面と、マッチング評価の対象となるＵＳ不完全血管分岐ペアにおける第一血管部分に対応するベクトルと第二血管部分に対応するベクトルとを当該ＵＳ不完全血管分岐ペアにおける上記所定の一点に置いたときにこれらのベクトルを含む平面とが重なるように規定された座標空間である。以下、この座標空間を第二共通座標空間という。
【００８５】
スムージング処理済みのＭＲ血管画像ＶMRを第二共通座標空間に置くには、マッチング評価の対象となるＭＲ不完全血管分岐ペアに対応した変換行列を求め、この変換行列を用いてＭＲ血管画像ＶMRの座標変換を行う。同様に、スムージング処理済みのＵＳ血管画像ＶUSを第二共通座標空間に置くには、マッチング評価の対象となるＵＳ不完全血管分岐ペアに対応した変換行列を求め、この変換行列を用いてＵＳ血管画像ＶUSの座標変換を行う。
【００８６】
ここで、変換行列の求め方について説明する。変換行列は、第二共通座標空間の中心となる原点と、不完全血管分岐ペアの姿勢（向き）を規定する回転行列とによって構成される。図１１（ａ）に示すように、第一血管分岐点をＰ0＝[ｐx，ｐy，ｐz]とし、第一血管分岐点Ｐ0から伸びる第一血管部分に対応するベクトルをｕ＝[ｕx，ｕy，ｕz]とする。また、第二血管分岐点をＱ0＝[ｑx，ｑy，ｑz]とし、第二血管分岐点Ｑ0から伸びる第二血管部分に対応したベクトルをｖ＝[ｖx，ｖy，ｖz]とする。そして、ベクトルｕに沿って伸びる直線とベクトルｖに沿って伸びる直線とを最短距離で結ぶ線分をＬとする。すると、第二共通座標空間の中心となる原点は、図１３（ｂ）に示すように、第一血管分岐点Ｐ0、第二血管分岐点Ｑ0、または、最短距離線分Ｌの中点Ｏとすることができる。また、ベクトルｕ及びｖは、第二共通座標空間の中心すなわち原点に移動して配置させることができる。ここでのベクトルｕ，ｖは、第一実施形態における二本の血管部分に対応したベクトルＵ，Ｖ′と同様に扱うことができる。あとは、第一実施形態と同様の方法を用いることで、不完全血管分岐ペアから、第二共通座標空間への座標変換のための変換行列を算出することができる。
【００８７】
なお、最短距離線分Ｌは、次のようにして求めることができる。
【００８８】
第一血管分岐点Ｐ０を通り、ベクトルＵに沿って伸びる３次元での線ベクトルの式は、次のように表すことができる。
【００８９】
Ｐ（ｓ）＝Ｐ0＋ｓ・ｕ
ここで、ｓは連続可変のパラメータ値である。
【００９０】
第一血管分岐点Ｐ0と第二血管分岐点Ｑ0との間の線ベクトルをＷとすると、
ｗ＝Ｐ0−Ｑ0
であるから、
Ｐ（ｓ）−Ｑ0＝ｗ＋ｓ・ｕ
という式が成り立つ。
【００９１】
同様に、
Ｑ（ｔ）−Ｐ0＝−ｗ＋ｔ・ｖ
という式が成り立つ。ここで、ｔは、連続可変のパラメータ値である。
【００９２】
これら２つの式を合成すると、
（Ｐ（ｓ）−Ｑ（ｔ））＋（Ｐ0−Ｑ0）＝２・ｗ＋ｓ・ｕ−ｔ・ｖ
（Ｐ（ｓ）−Ｑ（ｔ））＋ｗ＝２・ｗ＋ｓ・ｕ−ｔ・ｖ    （ｉ）
となる。
【００９３】
線ベクトルＰ（ｓ）と線ベクトルＱ（ｔ）とを結ぶ線分は、その線分が線ベクトルＰ（ｓ）及び線ベクトルＱ（ｔ）に対してそれぞれ直角となるときに最短距離を取る。ここで、線ベクトルＰ（ｓ）と線ベクトルＱ（ｔ）とを最短距離で結ぶ線分の両端点をＰ（ｓ１）,Ｑ（ｔ１）とする。すると、互いに直交する２つのベクトルの内積は０であるから、
ｕ・（Ｐ（ｓ１）−Ｑ（ｔ１））＝０
となる。
【００９４】
また、この式に、式（ｉ）を代入すると、
ｕ・（ｗ＋ｓ１・ｕ−ｔ１・ｖ）＝０
となる。
【００９５】
したがって、
ｓ１＝（ｕ・ｖ）[ｓ１・（ｕ・ｖ）＋ｖ・ｗ]−ｕ・ｗ
＝ｓ１・（ｕ・ｖ）2＋（ｕ・ｖ）（ｖ・ｗ）−ｕ・ｗ
ｓ１＝［（ｕ・ｖ）（ｖ・ｗ）−ｕ・ｗ］／[１−（ｕ・ｖ）2]
となる。
【００９６】
同様に、
ｔ１＝［ｖ・ｗ−（ｕ・ｖ）（ｕ・ｗ）］／[１−（ｕ・ｖ）2]
となる。
【００９７】
最短距離線分Ｌは、
Ｌ＝Ｐ（ｓ１）−Ｑ（ｔ１）
であり、ベクトルｕ，ｖ，ｗから求めることができる。
【００９８】
スムージング処理済みのＭＲ血管画像ＶMR及びＵＳ血管画像ＶUSを、第二共通座標空間に置いたら、ＭＲ血管画像ＶMRとＵＳ血管画像ＶUSとの相互相関係数を算出する。具体的には、第二共通座標空間において、ＭＲ血管画像ＶMR及びＵＳ血管画像ＶUSそれぞれについて、第二共通座標空間の原点を含む所定サイズの領域を評価領域として設定する。評価領域は、例えば、その原点を中心とした［６４×６４×６４］画素の３次元領域とする。そして、ＭＲ血管画像ＶMRとＵＳ血管画像ＶUSとの間における当該評価領域での類似度、例えば相互相関係数を算出する。
【００９９】
（第三実施形態）
本実施形態に係る画像処理装置１″は、血管樹骨において、血管分岐点が見つからず、互いに近接する血管部分しか見つからないような場合であっても、画像の位置合せを可能にするものである。本実施形態では、第一実施形態による画像処理装置１をベースとして、血管部分構造体検出部４、及びマッチング評価部５が、第一実施形態とは異なる処理を行う。
【０１００】
血管部分構造体検出部４は、ＭＲ血管樹骨ＴＲMR及びＵＳ血管樹骨ＴＲUSそれぞれにおいて、１つ以上の血管部分構造体を検出する。本例では、その血管部分構造体として、血管部分ペアを検出する。血管部分ペアは、図１２に示すように、血管樹骨ＴＲにおいて、第一血管部分ＶＰ1と、第一血管部分ＶＰ1に近接しており第一血管部分ＶＰ1とは異なる第二血管部分ＶＰ2とにより構成される。そのため、血管部分ペアは、第一血管部分端点ＫＰ1の位置と、その第一血管部分端点ＫＰ1から伸びる第一血管部分ＶＰ1の走行方向及び長さ（ベクトルｕ）と、第二血管部分端点ＫＰ2の位置と、その第二血管部分端点ＫＰ2から伸びる第二血管部分ＶＰ2の走行方向及び長さ（ベクトルｖ）とにより特定され、識別される。
【０１０１】
なお、血管部分構造体検出部４は、血管樹骨において、血管分岐点を含まない血管部分を認識し、その血管部分の端点を、血管部分端点として認識する。
【０１０２】
血管部分構造体検出部４は、具体的には、次のような処理を行う。
【０１０３】
まず、第一実施形態と同じ要領で、ＭＲ画像ＧMR及びＵＳ画像ＧUSから、ＭＲ血管樹骨ＴＲMR及びＵＳ血管樹骨ＴＲUSとを得る。また、ＭＲ血管樹骨ＴＲMR及びＵＳ血管樹骨ＴＲUSそれぞれにおいて、互いに異なる２つ以上の血管部分端点を検出する。
【０１０４】
次に、ＭＲ血管部分端点ＫＰMR,i及びＵＳ血管部分端点ＫＰUS,jの各々について、その血管部分端点から伸びる一本の血管部分に対応した一つのベクトルを求める。
【０１０５】
このような処理により、ＭＲ血管樹骨ＴＲMR及びＵＳ血管樹骨ＴＲUSそれぞれにおいて、血管部分ペアを、第一血管部分端点に対応する画素の座標と、その第一血管部分端点から伸びる一本の第一血管部分に対応した一つのベクトルと、第二血管部分端点に対応する画素の座標と、その第二血管部分端点から伸びる一本の第二血管部分に対応した一つのベクトルとで特定することができる。なお、以下、ＭＲ血管樹骨ＴＲMRにおいて検出された血管部分ペアをＭＲ血管部分ペアといい、ＵＳ血管樹骨ＴＲUSにおいて検出された血管部分ペアをＵＳ血管部分ペアという。
【０１０６】
マッチング評価部５は、ＭＲ血管部分ペアとＵＳ血管部分ペアとの組合せごとに、血管部分ペア同士のマッチング評価を行う。本例では、マッチング評価の対象となるＭＲ血管部分ペアとＵＳ血管部分ペアとが重なるように、スムージング処理済みのＭＲ血管画像ＶMRと、スムージング処理済みのＵＳ血管画像ＶUSとを位置合せする。位置合せされたＭＲ血管画像ＶMRとＵＳ血管画像ＶUSとの間において、マッチング評価の対象となるＭＲ血管部分ペア及びＵＳ血管部分ペアの周辺での類似度を算出する。そして、この類似度の値が大きいほど、よりマッチングしているとの評価を行う。具体的には、マッチング評価の対象となるＭＲ血管部分ペアとＵＳ血管部分ペアとの組合せごとに、次のような処理を行う。
【０１０７】
まず、スムージング処理済みのＭＲ血管画像ＶMR及びＵＳ血管画像ＶUSを、マッチング評価の対象となるＭＲ血管部分ペア及びＵＳ血管部分ペアに共通の座標空間に置く。
【０１０８】
この座標空間は、マッチング評価の対象となるＭＲ血管部分ペアにおける「第一血管部分に沿って伸びる直線と第二血管部分に沿って伸びる直線とを最短距離で結ぶ線分の中点」と、マッチング評価の対象となるＵＳ血管部分ペアにおける「第一血管部分に沿って伸びる直線と第二血管部分に沿って伸びる直線とを最短距離で結ぶ線分の中点」とが重なり、さらに、マッチング評価の対象となるＭＲ血管部分ペアにおける第一血管部分に対応するベクトルと第二血管部分に対応するベクトルとを当該ＭＲ血管部分ペアにおける上記最短距離線分の中点に置いたときにこれらのベクトルを含む平面と、マッチング評価の対象となるＵＳ血管部分ペアにおける第一血管部分に対応するベクトルと第二血管部分に対応するベクトルとを当該ＵＳ血管部分ペアにおける上記最短距離線分の中点に置いたときにこれらのベクトルを含む平面とが重なるように規定された座標空間である。以下、この座標空間を第三共通座標空間という。
【０１０９】
スムージング処理済みのＭＲ血管画像ＶMRを第三共通座標空間に置くには、マッチング評価の対象となるＭＲ血管部分ペアに対応した変換行列を求め、この変換行列を用いてＭＲ血管画像ＶMRの座標変換を行う。同様に、スムージング処理済みのＵＳ血管画像ＶUSを第三共通座標空間に置くには、マッチング評価の対象となるＵＳ血管部分ペアに対応した変換行列を求め、この変換行列を用いてＵＳ血管画像ＶUSの座標変換を行う。
【０１１０】
ここで、変換行列の求め方について説明する。変換行列は、第三共通座標空間の中心となる原点と、血管部分ペアの姿勢（向き）を規定する回転行列とによって構成される。図１３（ａ）に示すように、第一血管部分端点をＰ1＝[ｐx，ｐy，ｐz]とし、第一血管部分端点Ｐ1から伸びる第一血管部分に対応するベクトルをｕ＝[ｕx，ｕy，ｕz]とする。また、第二血管部分端点をＱ1＝[ｑx，ｑy，ｑz]とし、第二血管部分端点Ｑ1から伸びる第二血管部分に対応したベクトルをｖ＝[ｖx，ｖy，ｖz]とする。そして、ベクトルｕに沿って伸びる直線とベクトルｖに沿って伸びる直線とを最短距離で結ぶ線分をＬとする。すると、第三共通座標空間の中心となる原点は、図１３（ｂ）に示すように、最短距離線分Ｌの中点Ｏとすることができる。また、ベクトルｕ及びｖは、第三共通座標空間の中心すなわち原点に移動して配置させることができる。ここでのベクトルｕ，ｖは、第一実施形態における二本の血管部分に対応したベクトルＵ，Ｖ′と同様に扱うことができる。あとは、第一実施形態と同様の方法を用いることで、血管部分ペアから、第三共通座標空間への座標変換のための変換行列を算出することができる。
【０１１１】
スムージング処理済みのＭＲ血管画像ＶMR及びＵＳ血管画像ＶUSを、第三共通座標空間に置いたら、ＭＲ血管画像ＶMRとＵＳ血管画像ＶUSとの相互相関係数を算出する。具体的には、第三共通座標空間において、ＭＲ血管画像ＶMR及びＵＳ血管画像ＶUSそれぞれについて、第三共通座標空間の原点を含む所定サイズの領域を評価領域として設定する。評価領域は、例えば、その原点を中心とした［６４×６４×６４］画素の３次元領域とする。そして、ＭＲ血管画像ＶMRとＵＳ血管画像ＶUSとの間における当該評価領域での類似度、例えば相互相関係数を算出する。
【０１１２】
このように、上記の実施形態に係る画像処理装置によれば、同一の被写体を表す画像間において、互いに対応する血管構造が実質的に同一であることを利用して、一部の血管構造が最もマッチングするように座標変換するので、位置合せの対象となる画像間で輝度値の関連性が小さい場合であっても、その影響を受けることなく位置合せを行うことができ、その結果、より精度の高い位置合せを行うことが可能になる。
【０１１３】
なお、第二実施形態、第三実施形態による画像位置合せ手法は、完全な血管分岐を検出できない時にのみ行ってもよいし、完全な血管分岐を検出できるか否かに関係なく行ってもよい。
【０１１４】
また、上記実施形態では、マッチング評価を、ＭＲ血管画像におけるｍ個の血管部分構造体（血管分岐、不完全血管分岐ペア、または血管部分ペア）と、ＵＳ血管画像におけるｎ個の血管部分構造体との総当たりの組合せについて行っているが、これに限定されるものではない。例えば、マッチング評価を、ＵＳ血管画像におけるｎ個の血管部分構造体のうち、ユーザによって選択された単一の血管部分構造体と、ＭＲ血管画像におけるｍ個の血管構造体との組合せごとに行ってもよいし、ＭＲ血管画像におけるｍ個の血管部分構造体のうち、ユーザによって選択された単一の血管部分構造体と、ＵＳ血管画像におけるｎ個の血管構造体との組合せごとに行ってもよい。ユーザによって選択される単一の血管部分構造体は、例えば、ＭＲ画像またはＵＳ画像における腫瘤などを含む関心領域の近傍に存在する血管部分構造体とすることができる。このようにすれば、関心領域の周辺において特に高い精度での位置合せを期待することができ、診断効率をより向上させることが可能になる。
【０１１５】
また、位置合せを行う２つの画像の組合せとしては、ＭＲ画像とＵＳ画像の組合せだけでなく、ＣＴ画像とＵＳ画像や、ＭＲ画像とＣＴ画像の組合せなど、あらゆる撮像モダリティの画像に適用できる。ただし、本提案による位置合せ手法は、位置合せの対象となる２つの画像間で輝度値の関連性が薄い場合にも、その影響をほとんど受けずに位置合せを行うことができる。そのため、本提案による位置合せ手法は、位置合せ対象の画像として、特殊な描写形態・コントラスト（contrast）を有するＵＳ画像が含まれる場合に、特に有効である。
【０１１６】
また、上記実施形態は、発明を、撮像モダリティが互いに異なる画像同士の位置合せに適用した例であるが、撮像モダリティが同一であって撮像の時相が互いに異なる画像同士の位置合せにも適用することもできる。このような画像としては、例えば、手術前後の画像や造影撮影における早期相と後期相の画像などが考えられる。また、発明は、人体の医用画像だけでなく、動物の医用画像にも適用可能である。
【０１１７】
また、上記実施形態は、画像処理装置であるが、コンピュータをこのような画像処理装置として機能させるためのプログラムもまた発明の実施形態の一例である。
【符号の説明】
【０１１８】
１  画像処理装置
２  画像取得部
３  血管抽出部（抽出手段）
４  血管部分構造体検出部（検出手段）
５  マッチング評価部（演算手段）
６  座標変換部（変換手段）
７  位置合せ調整部（調整手段）
８  対応断面像生成部（生成手段）
９  画像出力部（出力手段）
【図１】
0005977214.tif 000004
【図４】
0005977214.tif 000005
【図５】
0005977214.tif 000006
【図７】
0005977214.tif 000007
【図９】
0005977214.tif 000008
【図１０】
0005977214.tif 000009
【図１１】
0005977214.tif 000010
【図１２】
0005977214.tif 000011
【図１３】
0005977214.tif 000012
【図２】
0005977214.tif 000013
【図３】
0005977214.tif 000014
【図６】
0005977214.tif 000015
【図８】
0005977214.tif 000016