(57)【要約】  周期的に運動する運動臓器の運動を複数周期に亘って精度良くトラッキングできる医用画像診断装置を提供する。  一つの画像上で追跡点を含んで抽出されたテンプレートと他の画像とのマッチング演算を行うマッチング演算部と、前記マッチング演算により、前記他の画像から前記テンプレートと相関する領域を該他の画像のテンプレートとして抽出するテンプレート抽出部と、を有して、前記抽出されたテンプレートに基づいて前記追跡点の移動を追跡する構成において、前記テンプレート抽出部は、前記運動臓器の運動周期内の少なくとも１つの時相の画像上で設定された１以上の追跡点をそれぞれ含む領域をキーテンプレートとして抽出し、前記マッチング演算部は、前記キーテンプレートが抽出された時相の近傍では、該キーテンプレートを用いた前記マッチング演算を行う。
2008044572.tif 000002
【特許請求の範囲】
【請求項１】
被検体の周期的に運動する運動臓器の複数画像を取得する画像データ取得部と、
前記画像データ取得部によって取得された前記画像を表示する表示部と、
一つの画像上で追跡点を含んで抽出されたテンプレートと他の画像とのマッチング演算を行うマッチング演算部と、
前記マッチング演算により、前記他の画像から前記テンプレートと相関する領域を該他の画像のテンプレートとして抽出するテンプレート抽出部と、
前記テンプレートをそれが抽出された時相に対応づけて記憶する記憶部と、
前記各部を制御する制御部と、
を有して、前記抽出されたテンプレートに基づいて前記追跡点の移動を追跡する医用画像診断装置において、
前記テンプレート抽出部は、選択された少なくとも1つの前記運動臓器の時相の画像上で設定された1以上の追跡点をそれぞれ含む領域をキーテンプレートとして抽出し、
前記マッチング演算部は、前記キーテンプレートが抽出された時相の近傍では、該キーテンプレートを用いた前記マッチング演算を行うことを特徴とする医用画像診断装置。
【請求項２】
請求項1記載の医用画像診断装置において、
前記記憶部は、前記運動臓器の少なくとも1つの時相でそれぞれ抽出されたキーテンプレートをそれぞれの時相に対応付けて記憶し、
前記マッチング演算部は、前記マッチング演算を施す画像の時相に対応するキーテンプレートを前記記憶部から読み出し、該読み出されたキーテンプレートを用いて該画像における前記マッチング演算を行うことを特徴とする医用画像診断装置。
【請求項３】
請求項2記載の医用画像診断装置において、
前記テンプレート抽出部は、前記運動臓器の複数の時相で、各時相の画像上で設定された追跡点を含む領域をキーテンプレートとして抽出し、
前記マッチング演算部は、前記キーテンプレートが抽出された複数の時相の各近傍で、それぞれのキーテンプレートを用いた前記マッチング演算を行うことを特徴とする医用画像診断装置。
【請求項４】
請求項3記載の医用画像診断装置において、
前記テンプレート抽出部は、Ｒ波時相の画像からＲ波時相のキーテンプレートの抽出と、T波時相の画像からT波時相のキーテンプレートの抽出と、の内の少なくとも一方のキーテンプレートの抽出を行うことを特徴とする医用画像診断装置。
【請求項５】
請求項3記載の医用画像診断装置において、
前記テンプレート抽出部は、拡張末期時相の画像から拡張末期時相のキーテンプレートの抽出と、収縮末期時相の画像から収縮末期時相のキーテンプレートの抽出と、の内の少なくとも一方のキーテンプレートの抽出を行うことを特徴とする医用画像診断装置。
【請求項６】
請求項3記載の医用画像診断装置において、
前記表示部は、時相の異なる複数の画像において、それぞれ同数のキーテンプレートが互いに対応付けられて抽出されるように促すガイド情報を表示することを特徴とする医用画像診断装置。
【請求項７】
請求項1記載の医用画像診断装置において、
前記テンプレート抽出部は、設定された追跡点を含む40×40画素の小領域を前記キーテンプレートとして抽出することを特徴とする医用画像診断装置。
【請求項８】
請求項1記載の医用画像診断装置において、
前記マッチング演算部は、前記キーテンプレートを用いたマッチング演算を、該キーテンプレートが抽出された時相の前後2乃至5フレームの画像において行うことを特徴とする医用画像診断装置。
【請求項９】
請求項1記載の医用画像診断装置において、
前記マッチング演算部は、前記キーテンプレートが抽出された時相の近傍における該キーテンプレートを用いたマッチング演算を、複数の運動周期に亘って繰り返し行うことを特徴とする医用画像診断装置。
【請求項１０】
請求項1記載の医用画像診断装置において、
前記マッチング演算部は、前記キーテンプレートが抽出された時相の画像では、前記マッチング演算をスキップすることを特徴とする医用画像診断装置。
【請求項１１】
請求項1記載の医用画像診断装置において、
前記テンプレート抽出部は、前記キーテンプレートを用いたマッチング演算を施した画像から該キーテンプレートに相関する領域を該画像のテンプレートとして抽出し、
前記マッチング演算部は、前記テンプレートが抽出された画像の次画像において該テンプレートを用いた前記マッチング演算を行うことを特徴とする医用画像診断装置。
【請求項１２】
請求項11記載の医用画像診断装置において、
前記マッチング演算部は、前記キーテンプレートが抽出された時相近傍以外では、前画像において抽出された前記テンプレートを用いて、次画像における前記マッチング演算を行うことを特徴とする医用画像診断装置。
【請求項１３】
請求項1記載の医用画像診断装置において、
前記制御部は、前記マッチング演算に基づく相関値が所定の閾値以下の場合に、前記マッチング演算部によるマッチング演算を停止させて追跡点の移動追跡を停止させると共に、前記マッチング演算が停止中である旨の情報を前記表示部に表示させることを特徴とする医用画像診断装置
【請求項１４】
請求項13記載の医用画像診断装置において、
前記制御部は、前記表示部に表示されている実超音波画像の時相に対応するキーテンプレート又はテンプレートを前記記憶部から読み出して、該キーテンプレート又はテンプレートに含まれる追跡点を該実超音波画像にその時相に合わせて重畳表示させることを特徴とする医用画像診断装置。
【請求項１５】
請求項14記載の医用画像診断装置において、
前記テンプレート抽出部は、前記実超音波画像に重畳表示されている前記追跡点を含むテンプレートを抽出し、
前記マッチング演算部は、前記キーテンプレートが抽出された時相近傍において、前記実超音波画像に重畳表示されている追跡点を含んで抽出されたテンプレートと該キーテンプレートとのマッチング演算を行い、
前記制御部は、前記マッチング演算に基づく相関値が所定の閾値を超えた場合に、前記停止した追跡点の移動追跡を再開することを特徴とする医用画像診断装置。
【請求項１６】
請求項13記載の医用画像診断装置において、
前記表示部は、前記画像の取得の仕方を修正する必要がある旨のガイド情報を表示することを特徴とする医用画像診断装置。
【請求項１７】
請求項1記載の医用画像診断装置において、
前記マッチング演算部は、前記キーテンプレート又は前記テンプレートの内の時相の異なる複数を用いて、次画像におけるマッチング演算を行い、
前記テンプレート抽出部は、前記マッチング演算に基づく相関値が最大となる前記次画像の領域を該次画像のテンプレートとして抽出することを特徴とする医用画像診断装置。
【請求項１８】
請求項1記載の医用画像診断装置は、
前記運動臓器に対して超音波送受信を行う超音波プローブを備え、
前記画像データ取得部は、前記超音波プローブからの受信信号に基づいて、前記運動臓器の複数画像を取得する超音波画像診断装置であること。
【請求項１９】
被検体の周期的に運動する運動臓器についての複数画像に亘って、所望の追跡点を、テンプレートを用いたマッチング演算により追跡する追跡点追跡方法であって、
(a)1つの画像上で追跡点を設定するステップと、
(b)前記追跡点を含む領域をテンプレートとして抽出するステップと、
(c)前記テンプレートと他の画像とのマッチング演算により、該他の画像から該テンプレートと相関する領域を新たなテンプレートとして抽出するステップと、
(d)画像を変えて前記テンプレート抽出ステップ(c)を繰り返すステップと、
を有し、
前記ステップ(a)では、前記運動臓器の所望の時相の画像上で1以上の追跡点が設定され、
前記ステップ(b)では、前記所望の時相の画像上で設定された1以上の追跡点をそれぞれ含む領域がキーテンプレートとして抽出され、
前記ステップ(c)では、前記キーテンプレートを抽出した画像の時相近傍では、該キーテンプレートを用いて前記マッチング演算が行われることを特徴とする追跡点追跡方法。
【請求項２０】
請求項19記載の追跡点追跡方法において、
前記ステップ(c)は、
(e)前記キーテンプレートを用いて、前記他の画像上で該キーテンプレートに相関する領域をテンプレートとして抽出するステップと、
(f)前記テンプレートを用いて、前記他の画像の次画像上で該テンプレートに相関する領域を該次画像のテンプレートとして抽出するステップと、
(g)画像を変えて前記テンプレート抽出ステップ(f)を繰り返すステップと、
(h)前記キーテンプレートを抽出した時相近傍の画像で、該キーテンプレートを用いて前記マッチング演算を行うステップと、
を有することを特徴とする追跡点追跡方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、医用画像診断装置の画像上において運動臓器の動きを追跡するトラッキング技術に関する。
【背景技術】
【０００２】
血液の吐出量、心腔容積、心筋の厚みを定量評価することは、心臓病変の診断に有用である。このことから、超音波画像診断装置、磁気共鳴画像診断装置、及びX線CT画像診断装置などの医用画像診断装置によってこのような心機能の評価が行なわれている。【０００３】
例えば、超音波診断装置を用いた心機能の診断において、心筋の壁に設定した追跡点が心臓の拍動に伴って順次どの位置に移動したかを求めることにより、弁、心筋の壁などの運動、壁厚、心腔容積変化などの計測が行なわれている。この心臓の拍動に伴った追跡点の変位を求めることを、追跡点の追跡またはトラッキングと呼ぶ。そして、追跡点およびその近傍を含む任意形状の小領域を各画像上で抽出又は設定し、この小領域について画像間で相関処理して追跡点を追跡する方法がある。この方法はテンプレートマッチング法と称され、追跡点およびその近傍を含む任意形状の小領域はテンプレートと称される。【０００４】
心臓は、非剛体で拍動とともに複雑な動きを行い、かつ形態が複雑に変化するので、従来から行われているテンプレートマッチング法で追跡点を追跡すると、追跡演算誤差が非常に大きなものとなる。このため、従来のテンプレートマッチング法では、1心拍乃至3心拍程度の追跡が限界であった。【０００５】
また、テンプレートマッチング法による追跡点の追跡結果(追跡点の位置座標)には、標本化、量子化、ノイズ、画質変化および検者のプローブ操作による誤差が含まれており、多数のフレームを処理する過程でこの誤差が蓄積していく。その結果、追跡点にこれらの誤差が付加されて本来の位置からのズレが生じ、追跡点を正確に追跡することが困難となる。【０００６】
個々のテンプレートマッチング演算の誤差の問題に対して、移動方向の異なる臓器の画像データが同一テンプレート上に混在することを避けるため、テンプレートの大きさを可変して、非剛体である心臓上の追跡点の追跡演算の精度を向上させる方法が特許文献1に開示されている。【０００７】
【特許文献１】特開2004−313291号公報
【発明の開示】
【発明が解決しようとする課題】
【０００８】
しかし、特許文献1に開示された方法でも、上述のテンプレートマッチング演算の誤差が蓄積するという課題は解消されないと考えられる。【０００９】
すなわち、特許文献1に開示された方法は、心臓の複雑な変形を考慮してテンプレートの大きさを決定することにより、個々のテンプレートマッチング演算の誤差を小さくすることができるというものである。しかし、テンプレートの大きさを時間経過とともに変えても、一つ前のテンプレートを用いて次のテンプレートを求める処理を繰り返すので、演算誤差は必ず蓄積されることになり、時間が進むにつれて本来の追跡されるべき追跡点と演算により求められた追跡点との間に誤差が生じてしまう。その結果、追跡点に基づいて心機能を計測すると、計測精度が低下していく可能性があると考えられる。このため、心機能を正確に計測するためには、テンプレートマッチング法の更なる改良が必要と考えられる。【００１０】
本発明の目的は、周期的に運動する運動臓器の運動を複数周期に亘って精度良くトラッキングできる医用画像診断装置を提供することである。
【課題を解決するための手段】
【００１１】
本発明の医用画像診断装置は、上記課題を解決するために、被検体の周期的に運動する運動臓器の複数画像を取得する画像データ取得部と、一つの画像上で追跡点を含んで抽出されたテンプレートと他の画像とのマッチング演算を行うマッチング演算部と、前記マッチング演算により、前記他の画像から前記テンプレートと相関する領域を該他の画像のテンプレートとして抽出するテンプレート抽出部と、を有して、前記抽出されたテンプレートに基づいて前記追跡点の移動を追跡する構成において、
前記テンプレート抽出部は、前記運動臓器の運動周期内の少なくとも1つの時相の画像上で設定された1以上の追跡点をそれぞれ含む領域をキーテンプレートとして抽出し、
前記マッチング演算部は、前記キーテンプレートが抽出された時相の近傍では、該キーテンプレートを用いた前記マッチング演算を行うことを特徴としている。【００１２】
また、本発明の追跡点追跡方法は、上記課題を解決するために、被検体の周期的に運動する運動臓器についての動画を構成する複数画像に亘って、所望の追跡点を、テンプレートを用いたマッチング演算により追跡する追跡点追跡方法であって、
(a)1つの画像上で追跡点を設定するステップと、
(b)前記追跡点を含む領域をテンプレートとして抽出するステップと、
(c)前記テンプレートと他の画像とのマッチング演算により、該他の画像から該テンプレートと相関する領域を新たなテンプレートとして抽出するステップと、
(d)画像を変えて前記テンプレート抽出ステップ(c)を繰り返すステップと、
を有し、
前記ステップ(a)では、所望の時相の画像上で1以上の追跡点が設定され、
前記ステップ(b)では、前記所望の時相の画像上で設定された1以上の追跡点をそれぞれ含む領域がキーテンプレートとして抽出され、
前記ステップ(c)では、前記キーテンプレートを抽出した画像の時相近傍では、該キーテンプレートを用いて前記マッチング演算が行われることを特徴とする。
【発明の効果】
【００１３】
本発明の医用画像診断装置によれば、運動臓器の運動の時間経過とともに運動周期の1以上の時相においてキーテンプレートを用いてテンプレートマッチングを行うことで追跡誤差の蓄積を低減できるので、多周期の運動期間にわたってトラッキングの精度を維持することが可能となる。
【図面の簡単な説明】
【００１４】
【図１】本発明の超音波診断装置の一実施例のブロック図。
【図２】図1に示した本発明の第一の実施形態によるテンプレートマッチング法による追跡動作の概念を説明する図。
【図３】図2に示す追跡動作を実行するためのフローチャート。
【図４】本発明の第二の実施形態における追跡動作を実行するためのフローチャート。
【図５】本発明の第二の実施形態におけるテンプレートマッチングを説明する図。
【図６】テンプレートマッチングが実行不可能となったときの表示部画面を示す図。
【図７】R波時相画像とT波時相画像とで互いの対応をとってそれぞれキーテンプレートを抽出する手順を説明する図。
【図８】計測演算部で計測演算された追跡点を用いて計測された物理パラメータの表示形態を示す図。
【符号の説明】
【００１５】
1  超音波プローブ、2  画像データ生成部、3  入力部、4  制御部(CPU)、5  画像データ記憶部、6  追跡点設定部、7  テンプレート記憶部、8  テンプレートマッチング演算部、9  テンプレート抽出部、10  計測演算部、11  計測結果記録部
12  表示部、13  生体信号入力部、14  R波時相の画像、15  T波時相の画像、121  追跡処理停止マーク、122  プローブ保持方向修正ガイド、141  入力された追跡点、142  キーテンプレート、143  追跡点設定順番号
【発明を実施するための最良の形態】
【００１６】
以下本発明の医用画像診断装置の各実施例を、図面を参照しながら説明する。以下、医用画像診断装置の一例として、超音波画像診断装置（以下、超音波診断装置と略記する）に本発明を適用した例を説明するが、他の医用画像診断装置においても同様である。図1は本発明が適用されたトラッキング機能及びそのトラッキング機能を用いた心機能計測機能を有する超音波診断装置の一実施例の概略ブロック図である。【００１７】
図1に示す超音波診断装置は、超音波の送受信を行なう超音波プロ−ブ1と、超音波プローブで受信した超音波受信信号から画像データを生成する画像データ生成部2と、この画像データを保存する画像データ記憶部5と、全体の演算とそのタイミングを制御する制御部(CPU)4と、検者が装置の操作を行なうための入力部3と、表示部12を備えている。また、超音波診断装置には、図1に示すように、表示部12に表示された被検体の心臓が描出されている画像において、検者が心臓上の追跡すべき追跡点の位置を設定する追跡点設定部6と、画像上で設定された追跡点に対応して、その設定追跡点及びその追跡点近傍の画素を含む小画像領域を抽出したキーテンプレート及びテンプレートマッチング演算により抽出したテンプレートを格納するテンプレート記憶部7と、テンプレート記憶部7から読み出されたキーテンプレート及びテンプレートを使って、設定された追跡点についての追跡演算を行なうテンプレートマッチング演算部8と、テンプレートマッチング演算部8における演算結果を評価し、最適なテンプレートを抽出して、そのテンプレートから追跡点を確定することにより追跡結果を選択・確定するテンプレート抽出部9と、テンプレート抽出部9が確定した追跡点の座標位置である追跡結果から物理パラメータを演算する計測演算部10と、計測演算部10の計測結果を記録する計測結果記録部11と、画像データ生成部2、画像データ記憶部5からのデータに基づく超音波画像および計測結果記録部11に記録されているデータを表示する表示部12と、被検体に装着された心電計および／または心拍計によって計測された生体信号を取り込む生体信号入力部13から構成されている。【００１８】
超音波プローブ1は、被検体に対して超音波を送受信するものであり、セクタ型、リニア型、コンベックス型等の形状を持つもので、周知の構造から成る。【００１９】
画像データ生成部2は、上記超音波プローブ1において受信された超音波を電気信号に変換した後、Bモード画像データを生成するものである。超音波プローブ1から入力した信号は、画像データ生成部2を構成する前置増幅器、整相加算器、対数増幅器、包絡線検波器、A/D変換器、スキャンコンバータを通してBモード画像データに変換される。【００２０】
入力部3は、診断装置上に配置されている、キーボード、マウス、トラックボール等であり、検者が、画質の調整や、追跡点の設定入力、その他の情報の入力等に用いるものである。【００２１】
制御部(CPU)4は、各信号処理部における処理を制御するものであり、超音波送受信、画像生成の他に、後に説明するテンプレートマッチング演算並びにパラメータ演算に関するソフトウェアを格納するROMを備えている。【００２２】
画像データ記憶部5は、取得したBモード動画像データや汎用のPC(パーソナルコンピュータ)で再生可能な動画像形式のファイルを記憶しておくものであり、ハードディスク、汎用メモリ、フレームメモリ等である。【００２３】
追跡点設定部6は、検者によって入力部3から入力された追跡点の座標から表示部12に表示されている画像のどの位置(画素)を追跡させるかを設定するものである。
検者が、入力部3を介して、表示部12に表示されている画像上で追跡させたい位置を追跡点として設定する。【００２４】
テンプレート記憶部7は、入力部3と追跡点設定部6とによって設定された追跡点に対応して、その追跡点を含む小画像領域の画素の集合を抽出し、それをテンプレートとして記憶するものである。テンプレートの大きさは、画像上に設定される追跡点の数にもよるが、一例として画素サイズでは40画素×40画素で、実空間サイズに換算すると20mm×20mm程度である。また、その形状は画像の分解能に合わせて、円形、楕円形、扇形、長方形など任意の形状でも良いが、簡単のためここでは正方形として説明する。なお、本発明では1心拍の間にて追跡点の追跡誤差をテンプレートの切換えによって補正するために、1心拍内の少なくとも1つの特徴的心時相におけるテンプレートを必要とする。これらのテンプレートをここではキーテンプレートと称する。このために、術者は心臓の動画像を表示部12の画面へ心電波形と、ともに表示させ、心電波形の特徴的心時相、例えばR波、又はR波とT波の画像を表示部12の画面へフリーズさせ、R波の画像上、又はR波とT波の画像上から追跡点を入力する。これらのR波の画像上、又はR波とT波の画像上から入力された追跡点に対応して、それぞれの時相に対応したキーテンプレートが抽出され、テンプレート記憶部7へ記憶される。【００２５】
また、複数の時相でそれぞれキーテンプレートを抽出する場合は、各時相の画像上で同数のキーテンプレートをそれぞれ対応をとって抽出する。例えば、R波時相とT波時相のそれぞれでキーテンプレートを抽出する場合は、図7に示すように、R波時相の画像(14)上、又はR波時相の画像(14)とT波時相の画像(15)上から追跡点(141)を入力する。追跡点を含む周辺領域(142)がキーテンプレートである。R波時相とT波時相とで追跡点設定位置の順序の対応をとるために、追跡点の設定は、R波時相とT波時相ともに時計回りまたは反時計回り順で共通にする。あるいは、R波時相で追跡点を設定しながら設定順番号(143)を記憶および表示しておき、T波時相の画像を表示したと同時に、R波時相の画像で設定した追跡点位置に設定順番号(143)を表示し、この番号に従った順序でT波時相の画像上に追跡点を設定するよう検者に促すようにする。
なお、心臓の動きの特徴的時相としては、上記の如くR波、T波以外に、例えば心臓の拡張末期の心時相又は収縮末期の心時相或いは両方としても良い。この場合は術者が1心拍の心臓の動画像をBモード/Mモード同時計測、同時表示を行い、スローモーション再生しながら心臓の拡張末期の画像と収縮末期の画像をそれぞれフリーズし、フリーズされた画像上で追跡点を入力することで、テンプレートが心時相に対応して抽出される。抽出されたそれらのテンプレートは、キーテンプレートとしてテンプレート記憶部7へ記憶される。【００２６】
テンプレートマッチング演算部8は、追跡点追跡演算処理の開始に伴って、先に設定された追跡点およびその近傍の画素の集合をテンプレートとして、テンプレートマッチング演算により次のフレームでの追跡点の移動位置を計算するものである。テンプレートマッチング演算部8において追跡点の移動位置を計算する方法は、フレーム間差分やオプティカルフロー(非特許文献1)、或いはカルマンフィルタ(非特許文献2)等の追跡方法を用いることができる。
【非特許文献１】"電子情報通信ハンドブック",電子情報通信学会,1988 pp.1130
【非特許文献２】"電子情報通信ハンドブック",電子情報通信学会,1988 pp.315-316  テンプレート抽出部9は、テンプレートマッチング演算部8によって1ないし複数のテンプレートを使って追跡演算されたあるフレーム(画像)における追跡点およびその近傍を含む領域の1ないし複数のテンプレートを抽出する。つまり、前フレームのテンプレートと次フレームとの相関値が、所定の閾値以上であるか否かを評価し、閾値以上であればその相関値が大きい方のテンプレートを次フレームのテンプレートとして抽出し、そのテンプレートに含まれる追跡点の移動先位置を求める。
【００２７】
またテンプレート抽出部9は、演算したいづれの相関値も所定の閾値以下であった場合には、追跡を失敗したと評価し、テンプレートマッチング演算部8に追跡演算の一時停止を指示する。これと同時に表示部12には、検者に対して、超音波プローブの保持方向の補正を促す指示を表示する。また、その補正を支援するため、追跡演算一時停止前の正常時の一心拍分をカバーする確定された追跡点を、表示されている実超音波画像の時相に合わせて順々に重畳表示させる。【００２８】
計測演算部10は、テンプレートマッチング演算部8及びテンプレート抽出部9によって追跡された結果に基づいて、組織の変位、速度等の物理パラメータ、心臓の超音波画像においては、心筋壁厚、面積、心腔容積等を演算する。【００２９】
計測結果記録部11は、計測演算部10の計測結果を記録すると共に表示部12へ出力し、その画面上に計測値やこれらをグラフ化した画像を表示させるものである。
(第1の実施形態)
次に、上記本発明の超音波診断装置の第一の実施形態を説明する。本実施形態は、1以上の心時相のキーテンプレートを心時相に応じて切り換えて追跡演算を行うものである。図2及び図3を用いて表示部12の画面上に表示された被検体の関心領域である心臓の画像上の1ないし複数の点に設定された追跡点についての追跡演算処理を例にして、本実施形態を以下具体的に説明する。なお、本実施例は、1心拍中のR波及びT波の時相で追跡点の誤差補正が行われる例を示している。【００３０】
検者は、追跡処理を開始するに際して、まずその準備として、心周期のR波心時相とT波心時相において、キーテンプレートの取得操作を行う(S1)。キーテンプレートの取得操作は前述の通りであるので説明を省略する。なお、キーテンプレートは、R波及びT波、または心臓の拡張末期および収縮末期の他に、心電波形のP、Q、R、S、T、U波の各心時相における画像上で追跡点を指定することで抽出されたテンプレートや、任意の心時相における画像上で検者が追跡点の位置を入力部3によって指定することで抽出されたテンプレートや、また追跡点設定部6が自動的に追跡点を設定したタイミングの心時相におけるテンプレートであっても良い。このようにして取得された一つもしくは複数の心時相におけるキーテンプレートは、そのキーテンプレートを抽出した画像の時相と対応付けてテンプレート記憶部7に記憶される。【００３１】
なお、テンプレート記憶部7に記憶されたキーテンプレートが、真の追跡位置のテンプレートであると考えると、キーテンプレートを取得する時相が多いほど、追跡誤差を小さくする機会も多くなるので、より追跡誤差を小さくできるという効果が生じる。【００３２】
キーテンプレートの取得が終了すると、検者は、超音波診断装置の操作盤面の操作器、または表示部12の画面へ表示された追跡点の追跡開始スイッチを操作して、追跡点の追跡開始指令を入力する(S2)。追跡開始指令信号を受け取った制御部4は、画像データ記憶部5に1心拍以上の期間の画像が記憶されていることを確認し、R波から次のR波までの1心拍の期間の画像を順次画像データ記憶部5から読み出す(S3)。画像データ記憶部5に記憶された各画像データは心周期のどの時相に対応するかを示す情報が付与されているので、制御部4は読み出された画像がどの時相領域に属するものか、テンプレート記憶部7に記憶されたどのキーテンプレートを用いてテンプレートマッチング演算をするかを判定する(S4)。そして、制御部4は、判定結果に基づいて、テンプレートマッチング演算部8に対し、テンプレート記憶部7から対応するテンプレートを読み出させ、テンプレートマッチング演算を実行させる(S6、S7、S8)。つまり、読み出された画像がR波領域の時相に属すると判定した場合にはR波キーテンプレートを用いてマッチング演算を実行させ(S6)、読み出された画像がT波領域の時相に属すると判定した場合にはT波キーテンプレートを用いてマッチング演算を実行させ(S8)、読み出された画像が設定領域外の時相に属すると判定した場合には前フレーム(画像)のテンプレートを用いてテンプレートマッチング演算を実行させる(S7)。いずれの場合も、テンプレートマッチング演算を実行した画像から得られる新たなテンプレートは、その画像の時相と対応付けてテンプレート記憶部7に記憶される。なお、追跡点の追跡に供される画像は、画像データ記憶部2へ前もって取り込まれた画像ではなく、被検体へ超音波プローブ1を当接して撮像し、リアルタイムに順次取り込まれる画像であっても良い(S3)。【００３３】
図2は、心時相の進行とともにどのキーテンプレートを選択して使用するかを示し、図2(a)は、心時相に応じてキーテンプレートを切換えする概念を示す図である。すなわち、図2(a)に示す例では、心電図波形と対比して、R波〜R波間の一心拍期間中に、テンプレートマッチング演算部8は、R波時相の近くではR波時相のキーテンプレートを適用して追跡演算を行い(S6)、T波時相の近くではT波時相のキーテンプレートを適用して追跡演算を行う(S8)。また、テンプレートマッチング演算部8は、R波時相とT波時相のキーテンプレートを使用しない期間の時相では前画像のテンプレートを適用して追跡演算を行う(S7)。特に、S7では、R波時相領域最後の画像の次の画像においてR波時相キーテンプレートを用いたテンプレートマッチング演算により該次の画像のテンプレートが抽出され、このテンプレートがさらに次に画像においてテンプレートマッチング演算に使用される。以後T波時相領域に到達するまで、テンプレートマッチング演算を適用する画像では、前画像で抽出されたテンプレートを用いて、新たなテンプレートが抽出されることになる。ここで、R波時相のキーテンプレートを使用するフレーム数と、T波時相のキーテンプレートを使用するフレーム数を幾つにするかを設定する必要がある。それらは、超音波撮像のフレームレートと心臓の運動スピードとを考慮して決めれば良いと考える。例えば、超音波撮像のフレームレートが30フレーム/秒であると仮定すると、R波に近い時相では2〜5フレーム程度、T波の前部では2〜5フレーム程度、T波の後部では5〜10フレーム程度が適当である。ただし、心周期や拍動は個人差があるので、それらを適宜テンプレート抽出部9へ可変設定できるようにしておいても良い。【００３４】
以下、図2(a)に示すテンプレートマッチング法について説明する。先ず初めに、最初のR波時相の画像(第1フレーム)が読み出されるが、R波時相の画像は、検者が追跡点を設定しキーテンプレートが抽出された画像であるから、直ちに次の画像(第2フレーム)に対するテンプレートマッチング演算を行うように制御部4は指令をテンプレートマッチング演算部8他へ出力する。つまり、R波時相の画像においては、テンプレートマッチング演算がスキップされ、検者が設定した追跡点そのものが用いられる。すると、画像データ記憶部5から第2フレームが読み出され、上記の如く第2フレームに対してR波時相のキーテンプレートを用いてテンプレートマッチング演算が行われる。【００３５】
すなわち、第2フレームからR波時相のキーテンプレートと最も相関値の大きな小領域がテンプレートして抽出され、追跡点が追跡される(S6)。追跡点は抽出されたテンプレート内の中央の点とすることができる。この第2フレーム上で抽出された小領域はテンプレートとして第2フレームの時相と対応付けられてテンプレート記憶部7へ記憶される(S9)。R波時相のキーテンプレートを用いた追跡が行われる数フレーム分の時相を超えた心時相のフレームについては、それぞれ前のフレームで抽出されたテンプレートを用いて、そのテンプレートと最も相関値の大きな小領域が抽出され、追跡点が追跡される(S7)。そして、抽出された小領域がテンプレートとしてテンプレート記憶部7へ記憶される(S9)。そして、さらに心時相が進み、T波時相のキーテンプレートを用いてテンプレートマッチングを行うフレームとなると、テンプレート記憶部7からT波時相のキーテンプレートが読み出され、テンプレートマッチング演算が行われる。次いで、T波時相になると、T波時相の画像は、検者が追跡点を設定しキーテンプレートを抽出した画像であるから、テンプレートマッチングは行われず、直ちに次のフレームに対するテンプレートマッチング演算が行われても良い。【００３６】
つまり、R波時相の画像と同様にT波時相の画像においては、テンプレートマッチング演算がスキップされ、検者が設定した追跡点そのものが用いられる。このときT波時相の次のフレームも、T波の時相に近いのでT波時相のキーテンプレートを用いて上記と同様にテンプレートマッチング演算が行われる(S8)。そして更に数フレーム分の時相が進んで次のR波時相に近付くと、その心時相では前のフレームのテンプレートを用いてテンプレートマッチングを行うように設定された時相領域となり、前のフレームで抽出されたテンプレートを用いて、そのテンプレートと最も相関値の大きな小領域がテンプレートとして今回のフレームから抽出され、追跡点が追跡される(S7)。そして、抽出された小領域がテンプレートとして今回フレームの時相と対応付けられてテンプレート記憶部7へ記憶される(S9)。さらに心時相が進んで、R波時相に近付くと、R波時相のキーテンプレートを用いてテンプレートマッチング演算が行われ(S8)、キーテンプレートと最も相関値の大きな小領域が今回のフレームからテンプレートとして抽出され、今回フレームの時相と対応付けられてテンプレート記憶部7へ記憶される(S9)。そして、最初のR波から1心拍が経過したR波時相のフレームになると、R波時相のキーテンプレートを用いてテンプレートマッチング演算が行われる。なお、最初のR波から1心拍を経過したR波時相のフレームは、通常は最初のフレームと同一画像となるものであるから、テンプレートマッチング演算は行わずに、当該フレームには最初のフレームへ設定された追跡点の座標に追跡点を自動的に設定するようにしても良い。1心拍を経過したT波のフレームにおいても同様である。【００３７】
上記の如く第1心周期の追跡演算が終了すると、その後の第2心周期、第3心周期、第4心周期、・・・、第N心周期について追跡演算が実行される。これらの第2心周期以降についても第1心周期で使われたR波時相のキーテンプレート及びT波時相のキーテンプレートが用いられる。以上の追跡演算によって求められた追跡結果(追跡点)は、追跡演算が行われた画像の時相に対応付けられて計測結果記録部11へ記録され(S10)、画像データ記憶部5から読み出される画像データが終了すると(S11)、計測結果が表示部へ表示され(S12)、追跡フローが終了する(S13)。【００３８】
図2(a)の処理フローは種々変更が可能であり、その一例を図2(b)に示す。この例は、R波時相のテンプレートのみをキーテンプレートとするものである。すなわち、この例では、R波時相と、その前後の数フレームについてはR波時相のキーテンプレートを適用してテンプレートマッチング演算を行い、それら以外の心時相フレームについては前フレームにて抽出されたテンプレートを用いてテンプレートマッチング演算を行うものである。この例を実施することでも、従来技術と比較し、R波時相の近傍での誤差補正により心臓の拍動を連続的に精度良く追跡することが可能である。【００３９】
以上説明したように、本実施形態によれば、運動臓器の運動の時間経過とともに運動周期の所定時相においてキーテンプレートを用いてテンプレートプレートマッチングを行うことで追跡誤差の累積を低減できる。その結果、多周期の運動期間にわたってトラッキングの精度を維持することが可能となる。したがって、トラッキング結果に基づく各種計測値の精度を向上することが可能になる。【００４０】
(第2の実施形態)
次に、本発明の第二の実施形態を説明する。上記第一の実施形態は、1以上の心時相のキーテンプレートを心時相に応じて切り換えて追跡演算を行うものであるが、この第二の実施形態は、複数のキーテンプレートを用いながら任意の心時相のフレーム(画像)についてテンプレートマッチングを行うものである。以下、本実施形態を図4、図5を用いて説明する。テンプレートマッチングは、図3に示す処理フローと同様に、R波の心時相とT波の心時相のキーテンプレートを取得し、それらを各時相と対応づけてテンプレート記憶部7へ記憶する工程からスタートする(S101)。キーテンプレートの取得が終了すると、制御部4は追跡処理を開始(S102)し、画像データ記憶部5から心臓の超音波画像を読み出し、追跡すべき次のフレームが存在する(S103)とき、以下のように行われる。図5は、読み出された任意のフレーム(第nフレーム)のテンプレートTnの位置の追跡点から次のフレーム(第(n＋1)フレーム)へ追跡を行なう場合を示している。【００４１】
この演算について具体的に説明する。図5に示すテンプレートTnの位置は、追跡開始後の任意のフレーム(第nフレーム)に対する追跡演算で得られた追跡点の位置である。最初に、テンプレートマッチング演算部8は、第(n＋1)フレームに対してテンプレート記憶部7に記憶されているR波時相キーテンプレートTｒとT波時相キーテンプレートTｔを読み出し、それらのキーテンプレート用いて第(n＋1)フレームにおいてそれぞれ追跡処理を行なう(S104)。この追跡処理は、第(n＋1)フレームの画像内において第ｎフレームのテンプレートTｎの位置近傍でキーテンプレートTｒまたはキーテンプレートTｔに最も似ている小領域を見つける処理である。最も似ている小領域の位置が追跡結果(追跡点)となる。この追跡点を含む小領域は、R波時相キーテンプレートTｒで追跡した結果として第(n＋1)フレームの小領域T'r(n+1)と、T波時相キーテンプレートTｔで追跡した結果として第(n＋1)フレームの小領域T't(n+1)と、が得られる。(図5中のiの処理)。【００４２】
次にテンプレートマッチング演算部8は、第nフレーム(前フレーム)のテンプレートTnで追跡処理を行う(S105)。すなわち、第(n＋1)フレームにおいて第nフレームのテンプレートTnの位置近傍でテンプレートTnに最も似ている小領域を見つける処理を行う。最も似ている小領域の位置が追跡結果(追跡点)となる。この追跡点を含む小領域は、第nフレームのテンプレートTnで追跡した結果として第(n＋1)フレームの小領域T'(n+1)として得られる。(図5中のiiの処理)。【００４３】
次に、テンプレート抽出部9は、TnとT'r(n+1)の相関値と、TnとT't(n+1)の相関値、およびTnとT'(n+1)の相関値を計算する(S106)。これらの相関値のそれぞれについて所定の閾値より高いか低いかを評価する(S107)。閾値より高い相関値が存在する場合、第nフレームのテンプレートTnに対して最大の相関値を持つテンプレートが採用され、追跡点が確定される(S108)。すなわち、採用されたテンプレート中の追跡点が追跡結果として採用される。ここで相関値の計算には、一般の相互相関係数、差分絶対値総和、差分二乗総和などの公知の相関法を用いることができる。そして、追跡点を確定するために選択されたテンプレートは、次のフレームの追跡演算用テンプレートT(n+1)として、次のフレームの時相と対応付けてテンプレート記憶部7へ記憶される(S109)。【００４４】
以上の処理フローが順次読み出されたフレーム(画像)について繰り返して行われる。そして最後の画像に対する処理が終了すると、追跡点の計測結果が計測結果記録部11へ記録され、表示部12へ画像とともに表示され(S114)、処理フローが終了する(S115)。【００４５】
上記の相関値が所定の閾値を超える場合であって、TnとT'r(n+1)の相関値が最大であったとき、第(n＋1)フレームの時相はR波の時相に近く、R波における(仮定した)真の追跡位置に追跡点を近づけ、蓄積誤差を解消するように動作する。同様に、TnとT'ｔ(n+1)の相関値が最大であったとき、第(n＋1)フレームの時相はT波の時相に近く、T波における(仮定した)真の追跡位置に追跡点を近づけ、蓄積誤差を解消するように動作する。TnとT'n(n+1)の相関値が最大であったとき、第(n＋1)フレームの時相はR波、T波どちらの時相とも近くないため、第ｎフレームのテンプレートTnを用いて追跡演算を行う。【００４６】
本実施形態において、R波及びT波の時相における相関を見ると、当然R波における相関値はR波時相のキーテンプレートを含む相関が最大値を示し、T波における相関値はT波時相のキーテンプレートを含む相関が最大値を示すこととなる。【００４７】
上記本発明の第二実施形態では、任意の時相においてR波時相のキーテンプレートとT波時相のキーテンプレートを用いてテンプレートマッチングを行う例を示したが、心臓の動きの周期性から、例えば、現在の心拍のR波と次の心拍のR波における追跡点は同じ位置に戻ってくると考えても良い。したがって、R波時相における追跡はR波時相のキーテンプレートのみによって行い、その他の時相においてはR波時相のキーテンプレートとT波時相のキーテンプレートを用いて追跡を行うようにしても良い。また、以上の説明では、キーテンプレートを用いた追跡(S104)に続いて前フレームテンプレートを用いた追跡(S105)を行なう例を示したが、この順序は逆でも良いし、また心拍時相に応じて一方による追跡のみを行い他方は省略してもよい。【００４８】
以上説明した本発明の追跡点追跡演算は、常に時間順方向の処理なので、即ち、現データで過去のデータを修正する必要がない処理なので、リアルタイムで追跡点を追跡する手法として好適である。【００４９】
以上説明したように本実施形態によれば、複数のキーテンプレートを用いながら任意の心時相のフレーム(画像)についてテンプレートマッチングを行うので、前述の第1の実施形態の効果と比較して、追跡誤差の累積をより低減できることになる。その結果、多周期の運動期間にわたってトラッキングの精度を更に高めて、トラッキング結果に基づく各種計測値の精度を更に向上することが可能になる。【００５０】
(超音波プローブ保持方向等の修正支援)
次に、前述の第1の実施形態と第2の実施形態に共通に適用可能な、追跡が困難になった場合の超音波プローブ保持方向等の修正支援について説明する。以下、前述の第2の実施形態に適用する場合を例にして、図4並びに図6を参照しながら本修正支援について説明する。【００５１】
S107でいずれの相関値も所定の閾値以下と判断された場合は、テンプレートマッチングそのものの誤差が大きいと考えられる。このときは、検者がプローブの方向をずらしてしまうような誤操作があったと判断し、制御部4は、追跡処理を自動停止して、表示部12の画面へ追跡処理が停止中である旨の情報又はコメント121を表示させる(S110)。S110に次いで、制御部4は、検者にプローブの保持方向を修正する必要がある旨のガイド情報122を表示部12の画面へ表示させる(S111)。この時、画面上には、図6のように検者がプローブを当てている方向の実超音波画像が常に表示され続けており、これに追跡点(図6丸印)が重畳表示される。これら追跡点は追跡停止以前の正常時の一心拍分を現在の心拍に合わせて動画像で表示される。検者はこれを参照すると、追跡点が画像と一致していないこと、つまりプローブの方向がずれたことを認識し、追跡停止以前とほぼ同じ位置の画像が表示されるようにプローブの方向を調整する(S112)。プローブの方向を調整した後の画像において、例えば、キーテンプレートをR波時相テンプレートとした場合、重畳表示されている追跡点およびその近傍の小領域を取り出したテンプレートとR波時相キーテンプレートの相関値をとり、これが所定の闘値を超えたら自動的に追跡を再開する(S113)。または、S112において、1心拍分の動画を表示するのではなく、追跡停止以前の正常にトラッキングされていたときのR波時相における追跡点を表示し、実時間に表示している画像はR波時相のみを間欠的に表示してR波時相のみの情報を用いてプローブの方向を調整することも可能である。【００５２】
追跡演算処理は、検者が追跡停止の操作、例えば、入力部3のフリーズボタン等により指示を出すか、次に追跡すべきフレームが無くなるまで行なう。【００５３】
実際の検査の場合には、患者の動きがあるため、長時間プローブを同じ位置に置き、同じ位置の画像を撮り続けることは困難である。本発明の修正支援によれば、追跡処理の停止から、補正ガイドの表示、追跡処理の再開まで、検者はプローブ操作を行なうのみで良く、検者にとって負担の少ない検査を行なうことができる。【００５４】
(追跡処理結果に基づく計測)
追跡処理を行なうと同時に計測演算部10によって、追跡処理結果に基づき、組織の変位、速度、心臓においては、心筋壁厚、面積、心腔容積等の計測値が1心周期以上の期間に亘って計算される。計測値は計算後に直ちに計測結果記録部11によって記録され、表示部12に表示される。表示は、表やグラフを画面のBモード像上に重畳表示してもよい。【００５５】
これらの表示は、図8(a)のように、縦軸に注目部位の変位、速度、面積、容積、壁厚変化を横軸に時間またはフレームを取ってリアルタイムに表示することができる。また、図8(b)のように、心臓に負荷をかけて、負荷前後の心機能を観察する検査においては、縦軸の計測値には収縮末期容積と拡張末期容積、横軸には時間または心拍を取れば、心臓の収縮能と拡張能をリアルタイムに観察・評価可能になり、虚血性心疾患の診断に有用である。駆出率(EF:Ejection Fraction)、左室内径短縮率(%FS:Fractional Shortening)も同様に診断に有用である。また、心筋壁厚の変化率(%WT:Wall Thickening)を計測すれば、局所壁運動評価を行なうことができる。【００５６】
本発明の追跡処理結果に基づく計測によれば、1心周期以上の期間に亘って追跡演算精度を高く維持できるので、1心周期以上の期間に亘る各種計測値を高精度に取得することが可能になる。
【図１】
2008044572.tif 000003
【図２】
2008044572.tif 000004
【図３】
2008044572.tif 000005
【図４】
2008044572.tif 000006
【図５】
2008044572.tif 000007
【図６】
2008044572.tif 000008
【図７】
2008044572.tif 000009
【図８】
2008044572.tif 000010
【国際調査報告】
2008044572.tif 000011
2008044572.tif 000012
2008044572.tif 000013
2008044572.tif 000014