(57)【要約】      （修正有）【課題】画像上の特定部位のマッチングを精度高く且つ自動的に行うことができる画像処理装置、画像処理方法および超音波診断装置を提供する。【解決手段】画像処理装置１００は、画像取得部１０と、認識部２０と、マッチング部３０とを備える。画像取得部は、時系列的に互いに異なるタイミングで撮像された、被検体内の特定部位を含む第１画像および第２画像を取得する。認識部は、画像取得部が取得した各画像における特定部位を認識し、第１画像における複数の第１特定部位候補および第２画像における複数の第２特定部位候補を認識する。マッチング部は、複数の第１特定部位候補のそれぞれの特徴量と、複数の第２特定部位候補のそれぞれの特徴量との違いに基づいて、各第１特定部位候補と各第２特定部位候補とのマッチングを行って、第１画像および第２画像において同一の特定部位を表す対応関係を特定する。【選択図】図１
2017097836.tif 000002
【特許請求の範囲】
【請求項１】
時系列的に互いに異なるタイミングで撮像された、被検体内の特定部位を含む第１画像および第２画像を取得する画像取得部と、
前記画像取得部が取得した各画像における前記特定部位を認識し、前記第１画像における複数の第１特定部位候補および前記第２画像における複数の第２特定部位候補を認識する認識部と、
前記複数の第１特定部位候補のそれぞれの特徴量と、前記複数の第２特定部位候補のそれぞれの特徴量との違いに基づいて、各第１特定部位候補と各第２特定部位候補とのマッチングを行って、前記第１画像および前記第２画像において同一の特定部位を表す対応関係を特定するマッチング部と
を備える、画像処理装置。
【請求項２】
前記マッチング部は、
前記第１特定部位候補と前記第２特定部位候補とのペアである特定部位ペアのそれぞれについて、前記特定部位ペアにおける前記第１特定部位候補の特徴量と前記第２特定部位候補の特徴量との差分を、複数の特徴量ごとに計算する特徴量差分計算部と、
前記特徴量差分計算部により計算された各特徴量の差分に基づいて、前記特定部位ペアそれぞれの総合指標を計算し、前記総合指標が最も小さい前記特定部位ペアを、前記第１画像および前記第２画像における同一の特定部位として特定する評価部と
を備える、請求項１に記載の画像処理装置。
【請求項３】
前記評価部は、前記特徴量差分計算部により計算された複数の特徴量の差分に対して正規化処理を行うことによって、前記総合指標を計算する、
請求項２に記載の画像処理装置。
【請求項４】
前記評価部は、前記特徴量差分計算部により計算された複数の特徴量の差分に対して、各特徴量の差分に反比例した重み付け係数をそれぞれ付与することによって、前記総合指標を取得する、
請求項２に記載の画像処理装置。
【請求項５】
前記特徴量は、分散値、平均輝度、エントロピー、ユークリッド距離、容積比、及び修正Jaccard係数のうち少なくとも一つの値である
請求項１または２に記載の画像処理装置。
【請求項６】
画像の座標変換により、前記画像取得部により取得される第１画像及び第２画像の座標系を一致させる座標変換を行う座標変換部を更に備え、
前記マッチング部は、前記座標変換後の座標系に基づいて、前記複数の第１特定部位候補のそれぞれと前記複数の第２特定部位候補のそれぞれとの特徴量の差分を求める
請求項１に記載の画像処理装置。
【請求項７】
前記マッチング部により特定された同一の特定部位に対応する第１特定部位候補及び第２特定部位候補のグレースケールのパラメータを用いて、前記第１特定部位候補及び前記第２特定部位候補の対応関係を再度マッチングするマッチング修正部を更に備える、
請求項１に記載の画像処理装置。
【請求項８】
前記画像取得部は、前記特定部位が撮像された超音波画像を第１画像として取得し、且つ、前記第１画像とは異なるタイミングで前記特定部位が撮像されたＣＴ画像を第２画像として取得する、
請求項１に記載の画像処理装置。
【請求項９】
時系列的に互いに異なるタイミングで撮像された、被検体内の特定部位を含む第１画像および第２画像を取得する画像取得ステップと、
前記画像取得ステップで取得した各画像における前記特定部位を認識し、前記第１画像における複数の第１特定部位候補および前記第２画像における複数の第２特定部位候補を認識する認識ステップと、
前記複数の第１特定部位候補のそれぞれの特徴量と、前記複数の第２特定部位候補のそれぞれの特徴量との違いに基づいて、各第１特定部位候補と各第２特定部位候補とのマッチングを行って、前記第１画像および前記第２画像において同一の特定部位を表す対応関係を特定するマッチングステップと
を含む、画像処理方法。
【請求項１０】
前記マッチングステップは、
前記第１特定部位候補と前記第２特定部位候補とのペアである特定部位ペアのそれぞれについて、前記特定部位ペアにおける前記第１特定部位候補の特徴量と前記第２特定部位候補の特徴量との差分を、複数の特徴量ごとに計算する特徴量差分計算ステップと、
前記特徴量差分計算ステップにより計算された各特徴量の差分に基づいて、前記特定部位ペアそれぞれの総合指標を計算し、前記総合指標が最も小さい前記特定部位ペアを、前記第１画像および前記第２画像における同一の特定部位として特定する評価ステップと
を含む、請求項９に記載の画像処理方法。
【請求項１１】
前記評価ステップは、前記特徴量差分計算ステップにより計算された複数の特徴量の差分に対し正規化処理を行うことによって、前記総合指標を計算する
請求項１０に記載の画像処理方法。
【請求項１２】
前記評価ステップでは、前記特徴量差分計算ステップにより計算された複数の特徴量の差分に対して、各特徴量の差分に反比例した重み付け係数をそれぞれ付与することによって、前記総合指標を取得する、
請求項１０に記載の画像処理方法。
【請求項１３】
前記特徴量は、分散値、平均輝度、エントロピー、ユークリッド距離、容積比、及び修正Jaccard係数のうち少なくとも一つの値である
請求項９または１０に記載の画像処理方法。
【請求項１４】
画像の座標変換により、前記画像取得ステップにより取得される第１画像及び第２画像の座標系を一致させる座標変換を行う座標変換ステップを更に含み、
前記マッチングステップでは、前記座標変換後の座標系に基づいて、前記複数の第１特定部位候補のそれぞれと前記複数の第２特定部位候補のそれぞれとの特徴量の差分を求める
請求項９に記載の画像処理方法。
【請求項１５】
前記マッチングステップにより特定された同一の特定部位に対応する第１特定部位候補及び第２特定部位候補の対応関係に基づいて、グレースケールのパラメータを用いて、前記第１特定部位候補及び前記第２特定部位候補の対応関係を再度マッチングするマッチング修正ステップを更に含む、
請求項９に記載の画像処理方法。
【請求項１６】
前記画像取得ステップは、前記特定部位が撮像された超音波画像を第１画像として取得し、且つ、前記第１画像とは異なるタイミングで前記特定部位が撮像されたＣＴ画像を第２画像として取得する、
請求項９に記載の画像処理方法。
【請求項１７】
時系列的に互いに異なるタイミングで撮像された、被検体内の特定部位を含む第１画像および第２画像を取得する画像取得部と、
前記画像取得部が取得した各画像における前記特定部位を認識し、前記第１画像における複数の第１特定部位候補および前記第２画像における複数の第２特定部位候補を認識する認識部と、
前記複数の第１特定部位候補のそれぞれの特徴量と、前記複数の第２特定部位候補のそれぞれの特徴量との違いに基づいて、各第１特定部位候補と各第２特定部位候補とのマッチングを行って、前記第１画像および前記第２画像において同一の特定部位を表す対応関係を特定するマッチング部と
を備える、超音波診断装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明の実施形態は、画像処理装置、画像処理方法および超音波診断装置に関する。
【背景技術】
【０００２】
従来、Ｘ線ＣＴ（Computed  Tomography）、超音波走査装置などの医用装置（医用画像診断装置）が広く利用されている。
【０００３】
実際に応用する場合に、それら医用装置により取得される画像に対して、治療前後などの異なる時刻に取得される画像を照合することにより、医師による読影を支援する必要がある。例えば、ある血管または腫瘍が存在する箇所などの特定部位を治療した後、当該特定部位の形態が変化することがある。この場合、異なる時刻の画像を照合する際、特定部位の複数の画像間でのマッチングが困難になる。いわゆる「マッチング」とは、異なる画像間の同一の領域を合わせるように、画像の地理的座標をマッチングすることをいう。
【０００４】
特に、画像を取得した環境の変化が大きいまたは時間間隔が長い、或いは、異なる装置で取得した画像を照合する場合、図１０に示すように、同一の被検体としても、治療前後の画像の間の違いが大きく、特に治療後の画像では、グレースケールによる画素照合を用いれば、治療前の画像上の特定部位と対応する部位を識別するのが困難であり、マッチングし難いという問題が存在する。
【０００５】
従来の方法において、それら誤差の大きい画像をマッチングするために、通常、操作者によって治療後の画像などの照合画像に、特定部位が存在する箇所または共通の関心領域が手動的に入力され、このような入力に基づいてマッチングが行われる。
【０００６】
例えば、特許文献１には、連係設備を用い異なる座標系を同一の座標系に変換する方法が開示されている。しかし、当該方法では依然として、画像における位置偏差が大きくなることが原因で、マッチングに失敗が発生するという問題を解決することができない。
【０００７】
また、特許文献２には、複数の医用装置ＭＲ、ＣＴなどで取得した画像について、予め設定した参照特徴ポイントを用い画像を取得することで、画像のマッチングを行う方法が開示されている。しかし、当該方法により、画像位置が違った際に発生するマッチングの誤差を避けることはできない。
【０００８】
更に、特許文献３には、超音波画像上にポイントクラウドを選択することにより、マッチングを行う方法が開示されている。しかし、当該方法には依然として、予め設定したポイントクラウドで位置決めする必要があり、データの正否を特定することはできない。
【０００９】
よって、従来の技術には、参照領域を予め設定する必要があり、且つ、変形の大きい（治療または呼吸運動などが原因で）、或いは、重畳部分が小さい画像を精確にマッチングし難いという問題が存在している。
【先行技術文献】
【特許文献】
【００１０】
【特許文献１】米国特許第８８３１７０８号明細書
【特許文献２】米国特許出願公開第２０１５／０２０９０１５号明細書
【特許文献３】米国特許第８７３１２６４号明細書
【発明の概要】
【発明が解決しようとする課題】
【００１１】
本発明が解決しようとする課題は、画像上の特定部位のマッチングを精度高く且つ自動的に行うことができる画像処理装置、画像処理方法および超音波診断装置を提供することである。
【課題を解決するための手段】
【００１２】
実施形態の画像処理装置は、画像取得部と、認識部と、マッチング部とを備える。画像取得部は、時系列的に互いに異なるタイミングで撮像された、被検体内の特定部位を含む第１画像および第２画像を取得する。認識部は、前記画像取得部が取得した各画像における前記特定部位を認識し、前記第１画像における複数の第１特定部位候補および前記第２画像における複数の第２特定部位候補を認識する。マッチング部は、前記複数の第１特定部位候補のそれぞれの特徴量と、前記複数の第２特定部位候補のそれぞれの特徴量との違いに基づいて、各第１特定部位候補と各第２特定部位候補とのマッチングを行って、前記第１画像および前記第２画像において同一の特定部位を表す対応関係を特定する。
【図面の簡単な説明】
【００１３】
【図１】図１は、第１の実施形態に係る画像処理装置の構成を示すブロック図である。
【図２】図２は、第１の実施形態に係るマッチング部の構成を示すブロック図である。
【図３】図３は、第１の実施形態に係る画像マッチング処理の流れを示すフローチャートである。
【図４】図４は、第１の実施形態に係る複数の特徴量の差分計算を例示するフローチャートである。
【図５】図５は、画像処理装置を複数の医用装置による連携システムに用いた構成を示す概略図である。
【図６】図６は、本実施形態における特定部位を特定する具体例を説明する説明図である。
【図７】図７は、第２の実施形態に係る画像処理装置の構成を示すブロック図である。
【図８】図８は、第２の実施形態に係る画像マッチング処理の流れを示すフローチャートである。
【図９】図９は、本実施形態と従来の技術とを対比する図である。
【図１０】図１０は、異なる時期での画像変動を説明する概略図である。
【発明を実施するための形態】
【００１４】
本実施形態の技術案に係る画像処理装置は、時系列的に互いに異なるタイミングで採られた、被検体内の特定部位を含む第１画像および第２画像を取得する画像取得手段と、前記画像取得手段が取得した各画像における前記特定部位を認識し、前記第１画像における複数の第１特定部位候補および前記第２画像における複数の第２特定部位候補を認識する認識手段と、前記複数の第１特定部位候補のそれぞれと、前記複数の第２特定部位候補のそれぞれとの特徴量の差分に基づき、同一の特定部位を表す第１特定部位候補及び第２特定部位候補の対応関係を特定するマッチング手段とを備える。
【００１５】
また、本実施形態の別の技術案に係る画像処理方法は、時系列的に互いに異なるタイミングで採られた、被検体内の特定部位を含む第１画像および第２画像を取得する画像取得ステップと、前記画像取得ステップで取得した各画像における前記特定部位を認識し、前記第１画像における複数の第１特定部位候補および前記第２画像における複数の第２特定部位候補を認識する認識ステップと、前記複数の第１特定部位候補のそれぞれと、前記複数の第２特定部位候補のそれぞれとの特徴量の差分に基づき、同一の特定部位を表す第１特定部位候補及び第２特定部位候補の対応関係を特定するマッチングステップとを含む。
【００１６】
各画像における特定部位候補を全面的に認識して、複数の特徴量の総合指標を用い選別する方式により、画像上の特定部位のマッチングを自動的に且つ精度高く行うことができ、画像間の誤差が大きい場合でも、参照ポイントまたは関心領域を指定することなく、マッチングを精度高く行うことが可能である。
【００１７】
上述した特徴及び効果があるため、本実施形態では更に、異なる画像処理装置からの画像間を照合することも可能になる。
【００１８】
本実施形態は、画像を処理する画像処理装置に関する。この画像処理装置は、画像収集装置に接続され独立したコンピュータなどのＣＰＵ（Central  Process  Unit）を有する装置で、画像処理装置の各機能を有するソフトウェアを実行することにより実現することができ、また、画像処理装置の各機能を実行可能な回路として、ハードウェアの方式により実現することもできる。且つ、本実施形態に係る画像処理装置は、ＣＴ（Computed  Tomography）装置または超音波装置などの医用画像収集装置における一部として、医用画像収集装置に予め組み込まれてもよい。
【００１９】
以下、本実施形態を実施するための形態について図面を参照して説明する。また、異なる実施形態では、同一の部材について同一の記号が用いられており、重複の説明を適当に省略する。
【００２０】
（第１の実施形態）
図１は、本実施形態の第１の実施形態に係る画像処理装置の構成を示すブロック図である。図１に示すように、画像処理装置１００は、画像取得部１０と、認識部２０と、マッチング部３０とを備える。
【００２１】
画像取得部１０は、時系列的に互いに異なるタイミングで撮像された、被検体内の特定部位を含む複数の画像を取得する。例えば、画像取得部１０が画像処理装置１００に接続された超音波装置から、超音波装置が異なる時期に収集した複数の超音波画像を取得し格納する。画像取得部１０は、上述した機能を実現できる回路またはソフトウェアモジュールであってもよい。なお、画像取得部１０により取得される各画像は、３次元の医用画像であるのが好適であるが、２次元の医用画像が含まれていてもよい。
【００２２】
認識部２０は、画像取得部１０が取得した各画像における特定部位を認識し、認識した複数の特定部位を各画像における特定部位候補とする。認識部２０は、上述した機能を実現できる回路またはソフトウェアモジュールであってもよい。
【００２３】
いわゆる特定部位とは、画像上の類似する特徴を有する領域をいい、被検体の医用画像上の特定部位を代表しており、例えば腫瘍が存在する箇所、血管部位、特定の組織集合、医療介入素子の部位などが挙げられる。
【００２４】
特定部位に対する認識には、画像特徴領域を抽出する従来の方法を用いてもよい。例えば、ＭＳＥＲ（Maximally  Stable  Extremal  Regions：最大安定極値領域）法により抽出することができる。具体的に、例えば、指標となるグレースケールの変化量、領域の最大面積、最大の変化率、安定領域の最小変換量などのうちのいずれかを用い、画像を構成する画素を解析して、選択指標に合う領域を特定部位として抽出する。
【００２５】
本実施形態では、操作者によって特定部位の入力または確認を行う必要がないため、画像を全面的に認識することにより、通常、複数の特定部位が認識される。認識指標に合うそれら特定部位を特定部位候補として格納する。例えば、認識部２０は、第１画像における複数の第１特定部位候補と、第２画像における複数の第２特定部位候補とをそれぞれ認識する。
【００２６】
マッチング部３０は、複数の第１特定部位候補のそれぞれの特徴量と、複数の第２特定部位候補のそれぞれの特徴量との違いに基づいて、異なるタイミングに撮像された複数の画像間でマッチングを行い、複数の画像間において同一の特定部位を表す対応関係を特定する。例えば、複数の画像のうち、治療前後の二枚の画像をマッチングする際、認識部２０により特定部位候補Ｒ１〜Ｒｎが１枚目の画像上に認識され、特定部位候補Ｆ１〜Ｆｍが２枚目の画像上に認識された（但し、ｎ，ｍは自然数である）とすると、マッチング部３０が特定部位候補Ｒ１〜ＲｎのうちのいずれかＲと、特定部位候補Ｆ１〜ＦｍのうちのいずれかＦとを一つの特定部位ペアとして、このように組み合わせられた特定部位ペア（Ｒ，Ｆ）毎に、ＲとＦとの特徴量の差分を計算し、特徴量の差分を用い照合することにより、二枚の画像上の同一の特定部位を表す特定部位ペアを特定する。画像処理装置１００は、マッチング部３０により得た同一の特定部位を表す特定部位ペアに基づいて、画像の位置合わせを行うことができ、その結果が後続の重畳または表示処理に用いられる。マッチング部３０は、上述した機能を実現できる回路またはソフトウェアモジュールであってもよい。なお、特定部位候補Ｒ１〜Ｒｎは第１特定部位候補の一例であり、特定部位候補Ｆ１〜Ｆｍは第２特定部位候補の一例である。
【００２７】
選択された特徴量は、予め設定され、例えば、特定部位を構成する画素の分散値、平均輝度、エントロピー、ユークリッド距離、容積比、修正Jaccard係数などから選ばれた少なくとも一つの値である。なお、精度よくマッチングを行うためには、マッチング部３０は、特定部位候補ごとに複数の特徴量を算出するのが好適である。
【００２８】
以下、特定部位ペアを特定する具体的な方法について説明する。例えば、マッチング部３０は、ある特徴量について特定部位ペア間の当該特徴量の差分を指標として計算し、各特定部位ペアの指標を比較することにより、指標が所定の閾値を超えた特定部位ペア、或いは、指標によって順序付けられた最上位の特定部位ペアを同一の特定部位を表す特定部位ペアとする。
【００２９】
また、本実施形態では更に、複数の特徴量を用い総合指標を形成して評価を行う方法が提案されている。マッチング部３０は、特定部位ペア毎に、画像上に取得可能な複数の特徴量の差分を用いて総合指標を計算し、総合指標が最も小さい特定部位ペアを同一の特定部位を表す特定部位ペアとすることができる。
【００３０】
図２は、上述した複数の特徴量により総合的に評価する方法を実行するマッチング部３０の構成を示すブロック図である。図２に示すように、マッチング部３０は、特徴量差分計算部３１と、評価部３２とを備える。
【００３１】
特徴量差分計算部３１は、特定部位ペアのそれぞれについて、特定部位ペアにおける第１特定部位候補の特徴量と第２特定部位候補の特徴量との差分を、複数の特徴量ごとに計算する。例えば、複数の特徴量の差分は、複数の特徴量毎に特定部位ペアにおけるＲとＦとの特徴量の差分をそれぞれ求めたものである。
【００３２】
選択された特徴量は、予め設定され、例えば、特定部位を構成する画素の分散値（ＳＤ）、平均輝度（Mean  Intensity）、エントロピー（Entropy）、ユークリッド距離（Euclidean  Distance）、容積比(Volume  Ratio)、修正Jaccard係数（Modified  Jaccard  similarity）などから選ばれた幾つかである。それら特徴量の計算方法として、従来の技術における方法を参照してもよく、例えば、下記の一般式が慣用のものとして挙げられる。
【００３３】
【数１−１】
2017097836.tif 000003
【数１−２】
2017097836.tif 000004
【数１−３】
2017097836.tif 000005
【数１−４】
2017097836.tif 000006
【数１−５】
2017097836.tif 000007
【数１−６】
2017097836.tif 000008
【００３４】
特徴量ごとの計算について、従来の技術における方法を参照してもよいので、詳しい説明は省略する。
【００３５】
特徴量差分計算部３１が指定された特徴量毎に、特定部位ペアのそれぞれにおける特定部位Ｒの特徴量と特定部位Ｆの特徴量を計算した後に、特定部位Ｒと特定部位Ｆとの対応する特徴量の差分を求める。例えば、特定部位Ｒのいずれかの特徴量の値をＶＲとし、特定部位Ｆの当該特徴量の値をＶＦとすると、特定部位Ｒと特定部位Ｆとの差分が（ＶＲ−ＶＦ）となる。
【００３６】
評価部３２は、特徴量差分計算部３１により計算された各特徴量の差分に基づいて、特定部位ペアそれぞれの総合指標を計算し、総合指標が最も小さい特定部位ペアを、第１画像および第２画像における同一の特定部位として特定する。
【００３７】
評価部３２は、例えば、下記の式（２）で総合指標Ｓ（Ｒ，Ｆ）を求めることができる。
【００３８】
【数２】
2017097836.tif 000009
【００３９】
但し、Ｎは複数の特徴量の種類数、ＶＲは特定部位Ｒのいずれかの特徴量の値、ＶＦは特定部位Ｆの同一の特徴量の値、Ｗｉはｉ個目の特徴量に付与された重みを表す。
【００４０】
ここで、二乗根を用い総合指標を計算する方式が例に挙げられているが、Ｓ（Ｒ，Ｆ）を求める方式は上記の例に限らず、他の計算方式を用いてもよい。
【００４１】
重みを決定する方法について、複数の特徴量の差分の和と各特徴量の差分との比を重みとしてもよい。例えば、２つの特徴量Ａ，Ｂが選択され、且つ、特徴量Ａの差分が９０、特量Ｂの差分が１０の場合、重み（Ａ）＝１００／９０、且つ、重み（Ｂ）＝１００／１０となる。
【００４２】
また、各重みに正規化重み係数を付与してもよい。例えば、４つの特徴量Ａ，Ｂ，Ｃ，Ｄが選択され、且つ、特徴量Ａの差分が９０、特徴量Ｂの差分が１０、特徴量Ｃの差分が５０、特徴量Ｄの差分が６０の場合、次の式でこの４つの値を区間（０，１）内に正規化する。即ち、Ｗｉ＝（ｉ個目の特徴量の差分−最も小さい差分）／（最も大きい差分−最も小さい差分）、となる。上述した例では、重み（Ａ）＝１、重み（Ｂ）＝０．００００１、重み（Ｃ）＝０．５、重み（Ｄ）＝０．６２５が求められる。
【００４３】
また、他の方法により重み値を設定してもよい。例えば、インタフェースを介して操作者または他の装置から重み値に対する入力を直接受け付けて決定することができる。
【００４４】
第１の実施形態では、画像取得部１０は「画像取得手段」に対応し、認識部２０は「認識手段」に対応し、マッチング部３０は「マッチング手段」に対応している。以下、画像処理装置１００による画像マッチング処理の流れについて説明する。
【００４５】
図３は、本実施形態の第１の実施形態に係る画像マッチング処理の流れを示すフローチャートである。図３に示すように、マッチング処理の開始時、まず、画像取得部１０が超音波装置などの医用装置から時系列的に互いに異なるタイミングで採られた、被検体内の特定部位を含む複数の画像を取得する（ステップＳ３０１）。例えば、図６に示されている画像が取得される。図６の（Ａ）及び（Ｂ）は、本実施形態により特定部位を特定する具体例を説明する説明図である。
【００４６】
次に、ステップＳ３０２では、認識部２０は、画像取得部１０により取得された各画像における特定部位を認識し、認識した複数の特定部位を各画像における特定部位候補とする。例えば、認識部２０が図６の（Ａ）における画像上に特定部位Ｒ１，Ｒ２，Ｒ３を認識し、図６の（Ｂ）における画像上に特定部位Ｆ１，Ｆ２を認識する。
【００４７】
続いて、ステップＳ３０３に移行する。ステップＳ３０３では、マッチング部３０が画像間の特定部位ペアの特徴量の差分を計算することで、同一の特定部位を表す特定部位ペアを確認する。
【００４８】
具体的な計算方法は上述のとおり、例えば、複数の特徴量を用いて特定部位のマッチングがなされる。図４は、本実施形態の第１の実施形態に係る複数の特徴量の差分計算を例示するフローチャートである。ステップＳ４０１では、マッチング部３０の特徴量差分計算部３１が特定部位ペア毎に、特定部位ペアのそれぞれにおける複数の特徴量の差分を求める。
【００４９】
続いて、ステップＳ４０２に移行する。ステップＳ４０２では、マッチング部３０の評価部３２は、特徴量差分計算部３１により計算された複数の特徴量の差分に基づき、特定部位ペアそれぞれの総合指標を計算し、総合指標の最も小さい特定部位ペアを、同一の特定部位を表す特定部位ペアとする。
【００５０】
図６に示す例では、特定部位Ｒ１，Ｒ２，Ｒ３と特定部位Ｆ１，Ｆ２との全ての組合せに対し、総合指標Ｓ（Ｒ，Ｆ）をそれぞれ計算して、表１に示すテーブルが得られた。
【００５１】
【表１】
2017097836.tif 000010
【００５２】
表１において、百分率は対応する特定部位ペア（Ｒ，Ｆ）の総合指標Ｓ（Ｒ，Ｆ）を表す。
【００５３】
表１に示すように、Ｆ２とＲ３とからなる特定部位ペアの総合指標が８６％であり、他の組合せに比べて遥かに高くなる。そのため、Ｆ２とＲ３とが対応しており、（Ｒ３，Ｆ２）が図６の（Ａ）と図６の（Ｂ）との間で同一の特定部位を表すことが確認される。ここまでに、マッチング処理が終了し、画像処理装置１００は、特定部位ペアに基づいて、医師による読影のために、二枚の画像間の位置合わせまたは重畳表示処理を行ってから医師に提示することができる。
【００５４】
図６には一例が示されているが、特定部位の対応関係に対する特定は上記の例に限らず、例えば、得られた総合指標と所定の閾値とを比較し、閾値を超えた特定部位ペアを同一の特定部位を表す特定部位ペアとして確認してもよい。
【００５５】
上述したマッチング処理によれば、異なる時期で取得される画像の形態または位置はたとえ違いが大きいとしても、画像から複数の特定部位を特定部位候補として抽出し、複数の特徴量を用い総合的に評価することで、特定部位の特定関係を自動的に見出すことができ、画像のマッチングを精度高く実行することが可能となる。
【００５６】
（第１の実施形態の変形例）
第１の実施形態では、同種類の医用画像に対してマッチングがなされたが、本実施形態は、異なる医用装置からの種類の異なる医用画像に対するマッチングにも適用できる。
【００５７】
図５は、画像処理装置を複数の医用装置による連携システムに用いた構成を示す概略図である。
【００５８】
図５に示すシステムにおいては、画像処理装置１００が組み込まれた装置がそれぞれＣＴ装置２００と超音波装置３００とに接続されることにより、ＣＴ装置２００からＣＴ画像を取得し、且つ、超音波装置３００から超音波画像を取得し、画像処理装置１００によってＸ線画像と超音波画像との間の特定部位をマッチングすることができる。
【００５９】
種類の異なる医用装置で収集する医用画像間の違いが大きいため、従来の方法を用いると、違った関心領域が特定部位として指定されやすくて、マッチングの効果に影響を及ぼすことは一般的である。
【００６０】
本実施形態に係る画像処理装置１００を用い複数の特定部位を自動的に認識し、複数の特徴量の総合指標を用い特定部位ペアをマッチングするのは、誤差の大きい画像間においてもマッチング可能であり、マッチングの精度を高めることができる。
【００６１】
例えば、ある疾患の診断においては、予め撮像されたＣＴ画像と、リアルタイムで撮像される超音波画像とを比較することが考えられる。このような場合、医師は、ＣＴ画像に描出された疾患部位やその周辺部位を目印として、超音波プローブの位置を決め、超音波画像の撮像を行う。ここで、撮像される超音波画像にはＣＴ画像と同一の疾患部位や周辺部位が描出されるものの、両画像の位置や向きは異なっている場合が多い。そこで、本実施形態に係る画像処理装置１００は、疾患部位や周辺部位を特定部位として両画像から認識し、認識した特定部位の候補群のなかから尤もらしい特定部位ペアを特定することで、両画像のマッチングを行う。このため、画像処理装置１００は、疾患部位やその周辺部位を基準として、ＣＴ画像と超音波画像の位置合わせを行うことが可能となり、医師による両画像の比較診断を支援することができる。
【００６２】
また、例えば、従来のマッチング手法では、画像全体を用いてマッチングを行うために、ローカルミニマムにトラップされてしまう場合があった。しかしながら、本実施形態に係る画像処理装置１００は、同一の特定部位が撮像された複数の画像のそれぞれから特定部位の候補を認識し、認識した特定部位の候補ごとにマッチングを行うことにより、ローカルミニマムにトラップされる可能性を低減させることができる。
【００６３】
なお、上記の例では、複数の画像として、ＣＴ画像と超音波画像とのマッチングが行われる場合を説明したが、実施形態はこれに限定されるものではない。例えば、複数の画像としては、磁気共鳴イメージング（Magnetic  Resonance  Imaging：ＭＲＩ）装置により撮像されたＭＲＩ画像等、他の医用画像診断装置によって撮像された画像が含まれてもよい。
【００６４】
（第２の実施形態）
第２の実施形態は第１の実施形態に基づいたものである。第１の実施形態に対する第２の実施形態の相違点は、マッチング処理に更なる精細なマッチングが追加され、画像に対し座標系の変換がなされたことにある。
【００６５】
以下、第２の実施形態と第１の実施形態との相違点について主に説明し、重複の説明を適当に省略する。
【００６６】
図７は、第２の実施形態に係る画像処理装置１００Ａの構成を示すブロック図である。図７に示すように、画像処理装置１００Ａは、画像取得部１０と、認識部２０と、座標変換部４０と、マッチング部３０と、マッチング修正部５０とを備える。
【００６７】
画像取得部１０は、時系列的に互いに異なるタイミングで撮像された、被検体内の特定部位を含む複数の画像を取得する。画像取得部１０は、上述した機能を実現できる回路またはソフトウェアモジュールであってもよい。
【００６８】
認識部２０は、画像取得部１０により取得された各画像における特定部位を認識し、認識した複数の特定部位を各画像における特定部位候補とする。認識部２０は、上述した機能を実現できる回路またはソフトウェアモジュールであってもよい。
【００６９】
座標変換部４０は、画像に対し座標変換を行い、異なる画像の座標系を一致させる。座標変換部４０は、上述した機能を実現できる回路またはソフトウェアモジュールであってもよい。
【００７０】
画像間の座標変換について、例えば、参照画像と照合画像とからなる一対の画像をマッチングする際に、座標変換部４０は、照合画像を移動または回転させることで座標変換を行うことにより、当該照合画像の座標系が参照画像の座標系と一致するように変換することができる。当然ながら、マッチングが必要とされる二枚の画像をともに同一の座標系に変換することも可能である。
【００７１】
座標変換の具体的な方法として、従来の方法を用いてもよい。例えば、超音波画像をマッチングする場合、超音波画像の磁場座標情報を用いマトリクス変換を行い、画素マトリクスに変位量を付与することにより、座標変換がなされる。
【００７２】
マッチング部３０は、認識部２０により認識された特定部位に基づいて、座標変換部４０により座標系が一致された画像をマッチングする。マッチング部３０は、特定部位候補からなる特定部位ペアごとの複数の特徴量の差分に基づき、同一の特定部位を表す特定部位ペアを特定する。マッチング部３０は、上述した機能を実現できる回路またはソフトウェアモジュールであってもよい。
【００７３】
マッチング部３０の具体的な構成及び特徴量に対する計算方法について、第１の実施形態において説明された総合指標の計算方法などを参照してもよい。
【００７４】
且つ、第２の実施形態では、複数の特徴パラメータを用い総合指標を計算することにより、座標変換部４０に用いられる磁場座標情報が不正確な状況に対応することもできる。それは、総合指標の計算において複数の特徴パラメータが用いられるので、ある誤りのパラメータによる影響を低下することができるからである。
【００７５】
マッチング修正部５０は、マッチング部３０で特定された特定部位ペアの対応関係に基づいて、グレースケールパラメータを用い、画像を再度マッチングする。マッチング修正部５０は、上述した機能を実現できる回路またはソフトウェアモジュールであってもよい。
【００７６】
つまり、マッチング修正部５０は、マッチング部３０で特定された同一の特定部位の二枚の画像間の対応関係を、従来の方法における特徴ポイントまたは特徴領域に対する指定として、従来のグレースケールマッチング方法を用い、画像に対し更なる精細なマッチングを行う。
【００７７】
マッチング修正部５０が依拠した特定部位の対応関係が、従来の操作者による手動的入力などの方法で受け付けられた対応関係に比べて一層正確であるので、グレースケールによるマッチング方法では、画像処理装置１００Ａのマッチング結果を更に最適化させることができる。
【００７８】
従来のグレースケールマッチング方法として、正規化相互相関（normalized  cross  correlation：ＮＣＣ）方法及びnelder-mead法などが挙げられる。ここでは、詳しい説明を省略する。
【００７９】
マッチング修正部５０は、画像処理装置１００Ａのマッチング結果を更に最適化させるものであるので、省略されてもよい。
【００８０】
第２の実施形態では、画像取得部１０は「画像取得手段」に対応し、認識部２０は「認識手段」に対応し、マッチング部３０は「マッチング手段」に対応し、座標変換部４０は「座標変換手段」に対応し、マッチング修正部５０は「マッチング補正手段」に対応している。以下、画像処理装置１００Ａによる画像マッチング処理の流れについて説明する。
【００８１】
図８は、第２の実施形態に係る画像マッチング処理の流れを示すフローチャートである。
【００８２】
図８に示すように、マッチング処理の開始時、まず、画像取得部１０が超音波装置などの医用装置から時系列的に互いに異なるタイミングで撮像された、被検体内の特定部位を含む複数の画像を取得する（ステップＳ８０１）。
【００８３】
次に、ステップＳ８０２では、認識部２０は、画像取得部１０により取得された各画像における特定部位を認識し、認識した複数の特定部位を各画像における特定部位候補とする。
【００８４】
そして、ステップＳ８０３に移行する。ステップＳ８０３では、座標変換部４０が照合画像に対し座標変換を行い、画素に変位量を付与し移動または回転させることにより、異なる画像の座標系を一致させる。
【００８５】
その後、ステップＳ８０４では、マッチング部３０が画像間の特定部位ペアの特徴量の差分を計算することで、同一の特定部位を表す特定部位ペアを確認する。具体的な流れについて、図４を参照してもよい。
【００８６】
最後に、ステップＳ８０５では、マッチング修正部５０が精細なマッチングを行う部分として、マッチング部３０が特定した特定部位ペアの対応関係を入力とし、グレースケールパラメータを用い、画像をグレースケールに基づき再度マッチングする。
【００８７】
図９は、本実施形態と従来の技術とを対比する図である。そのうち、図９の（Ａ）の左側で治療前の参照画像が示されており、画面の中心が病変領域である。且つ、図９の（Ａ）の右側で治療後の照合画像が示されている。
【００８８】
図９の（Ａ）に示すように、治療の効果及び被検体の運動などに起因する、参照画像と照合画像との違いが全体的に大きい。
【００８９】
図９の（Ｂ）は、操作者により関心領域が入力されて、従来のグレースケールマッチング方法を用いてマッチングされた結果を示している。位置を合わせた後の重畳表示において、黒い枠内の部位と参照画像における病変領域とが対応付けされているので、大きな誤差が存在する。
【００９０】
一方、図９の（Ｃ）は、本実施形態に係る画像処理装置によるマッチングの結果を示している。移動または回転による座標系変換、及び特定部位の認識、並びに、複数の特徴量による総合的評価により、図９の（Ｃ）における黒い枠で囲まれる部位と参照画像における病変領域とが対応付けされており、従来の技術に比べて、マッチングの精度が高くなっている。
【００９１】
（第２の実施形態の変形例）
第２の実施形態では、認識部２０が特定部位を認識した後に、座標変換部４０による座標系変換を行うことになるが、本実施形態はそれだけに限らず、認識部２０が特定部位を認識する前に、座標変換部４０による座標系変換を行っても良い。
【００９２】
本実施形態の画像処理装置は、各実施形態にて説明された機能を実現できる回路として、医用装置に組み込まれてもよいし、コンピュータが実行可能なプログラムとして、磁気ディスク（フロッピーディスク（登録商標：floppy）、ハードディスクなど）、コンパクトディスク（ＣＤ−ＲＯＭ、ＤＶＤなど）、光ディスク（ＭＯ）、半導体メモリなどの記憶媒体に記憶されて配布されてもよい。
【００９３】
且つ、記憶媒体からコンピュータにインストールされたプログラムによる指示に基づいてコンピュータ上に実行されるＯＳ（オペレイティングシステム）、データベース管理ソフトウェア、ネットワークソフトウェアなどのＭＷ（ミドルワーク）なども、上述した実施形態を実現するための各処理の一部を実行することができる。
【００９４】
本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他のさまざまな形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。
【符号の説明】
【００９５】
１００      画像処理装置
１０      画像取得部
２０      認識部
３０      マッチング部
【図１】
2017097836.tif 000011
【図２】
2017097836.tif 000012
【図３】
2017097836.tif 000013
【図４】
2017097836.tif 000014
【図５】
2017097836.tif 000015
【図６】
2017097836.tif 000016
【図７】
2017097836.tif 000017
【図８】
2017097836.tif 000018
【図９】
2017097836.tif 000019
【図１０】
2017097836.tif 000020