(57)【特許請求の範囲】
【請求項１】
被検体の生体組織を撮影した医用画像を複数得る画像情報取得部と、前記画像情報取得部によって複数得られた医用画像の時相が異なる同士の画素値から前記生体組織の運動情報を得る運動情報取得部と、前記画像情報取得部によって得られた医用画像から、前記被検体の形態情報を抽出する輝度抽出演算部と、
前記運動情報取得部より得られた運動情報と前記輝度抽出演算部により得られた形態情報の両方を行列形式に合わせたものに基本統計量の計算や特徴量の抽出を施したものに基づき、前記医用画像を所定の種類毎に分類する画像認識演算部を備えたことを特徴とする医用画像処理装置。
【請求項２】
心電計測装置、心磁計測装置、血管拍動計測装置、呼吸動計測装置を含む電磁気により前記生体組織の運動計測値を得る外部運動計測装置をさらに備え、
前記運動情報取得部は、前記外部運動計測装置によって計測される前記生体組織の運動計測値から前記生体組織の運動情報を得る請求項1に記載の医用画像処理装置。
【請求項３】
前記医用画像のうちの病変部を含む医用画像について診断情報が予め画像診断により付加され、その診断情報と該病変部を含む医用画像を対応付けて記憶する病変種類推定部をさらに備え、
前記画像認識演算部は、前記病変部を含む医用画像の形態情報と前記生体組織の運動情報とに基づき前記医用画像を前記病変部と推定される種類毎に分類する請求項1に記載の医用画像処理装置。
【請求項４】
前記生体組織の運動の抽出期間を可変設定する抽出期間可変設定部をさらに備え、
前記画像認識演算部は、前記可変設定された生体組織の運動の抽出期間にて前記医用画像を所定の種類毎に分類する請求項1に記載の医用画像処理装置。
【請求項５】
前記医用画像処理装置において前記生体組織の運動の抽出領域を対象画像の全体／局所の何れかに設定する抽出領域設定部をさらに備え、
前記画像認識演算部は、前記設定された生体組織の運動の抽出領域にて前記医用画像を所定の種類毎に分類する請求項1に記載の医用画像処理装置。
【請求項６】
前記画像認識演算部は、前記医用画像を所定の種類毎に分類するパターンを求める学習演算部と、求めたパターンを記憶する学習データ記憶部と、その後の事象のうちの前記パターンを更新すべき事象があったときに前記学習演算部に再度パターンを求めさせ、その再度求められたパターンを前記学習データ記憶部に更新記憶させる識別演算部と、をさらに備えた請求項1に記載の医用画像処理装置。
【請求項７】
前記画像認識演算部によって前記所定の種類毎に分類された医用画像を表示する画像表示部をさらに備えた請求項6に記載の医用画像処理装置。
【請求項８】
前記画像情報取得部は、被検体に超音波信号を送信し、前記被検体からの反射エコー信号を受信する探触子と、前記超音波信号を送信するために前記探触子を駆動する探触子駆動部と、前記反射エコー信号から超音波画像データへ変換する画像変換部と、を具備した超音波診断装置であって、
前記画像認識演算部は、前記超音波信号の振幅値を前記生体組織の形態情報とし、前記生体組織の動き情報と前記形態情報に基づき超音波画像を所定の種類毎に分類する請求項1に記載の医用画像処理装置。
【請求項９】
前記画像認識演算部は、設定された検索項目により検索された画像を表示することを特徴とする請求項1に記載の医用画像処理装置。
【請求項１０】
前記運動情報取得部は、前記画像情報取得部によって複数得られた医用画像の時相が異なる同士の局所領域の画素値から前記生体組織の運動情報を得ることを特徴とする請求項1に記載の医用画像処理装置。
【請求項１１】
画像情報取得部と運動情報取得部と輝度抽出演算部と画像認識演算部とを備えた医用画像処理装置における医用画像処理方法であって、
前記画像情報取得部によって、被検体の生体組織を撮影した医用画像を複数得るステップと、
前記運動情報取得部によって、複数得られた前記医用画像の時相が異なる同士の画素値から前記生体組織の運動情報を得、前記輝度抽出演算部によって、前記医用画像から前記被検体の形態情報を抽出するステップと、
前記画像認識演算部によって、前記運動情報と前記形態情報の両方を行列形式に合わせたものに基本統計量の計算や特徴量の抽出を施したものに基づき、前記医用画像を所定の種類毎に分類するステップを備えたことを特徴とする医用画像処理方法。
【請求項１２】
被検体の生体組織を撮影した医用画像を複数得る画像情報取得部と、前記画像情報取得部によって複数得られた医用画像の時相が異なる同士の画素値から前記生体組織の運動情報を得る運動情報取得部と、前記画像情報取得部によって得られた医用画像から、前記被検体の形態情報を抽出する輝度抽出演算部と、
前記運動情報取得部より得られた運動情報と前記輝度抽出演算部により得られた形態情報に基づき前記医用画像を所定の種類毎に分類する画像認識演算部と、
前記医用画像のうちの病変部を含む医用画像について診断情報が予め画像診断により付加され、その診断情報と該病変部を含む医用画像を対応付けて記憶する病変種類推定部を備え、
前記画像認識演算部は、前記病変部を含む医用画像の形態情報と前記生体組織の運動情報とに基づき前記医用画像を前記病変部と推定される種類毎に分類する医用画像処理装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、医用画像の断面情報や組織動態の種類を画像認識で分類する医用画像処理装置とその方法に関するものである。
【背景技術】
【０００２】
医用画像診断装置における画像診断では、検者(操作者)が画像診断により疾病を発見することなどを効率的に行うため、医用画像の断面情報や組織動態の種類により医用画像を分類している。【０００３】
この分類の手法は、断面情報や組織動態がその画像の形状に特徴があることから、画像認識技術を用いて医用画像を分類する。検者が分類した結果の画像を読影すれば逐一分類する場合と比較して効率的である。【０００４】
例えば、超音波診断装置では、心臓計測において、静止画像の輝度値の特徴量を利用した画像認識技術により心臓の断面の種類や組織の位置情報を取得して分類している。さらに、この心臓計測では、生体組織の動き解析を行い、その解析結果を画面表示し、誤って分類された医用画像を検者によって訂正できるようにしている(例えば、特許文献1)。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開2002−140689号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
しかしながら、特許文献1の開示は、前記生体組織の動き解析を行い、その解析結果を画面表示し、誤って分類された医用画像を検者によって訂正することに止まっている。【０００７】
よって、特許文献1では、運動する生体組織を含む医用画像の分類精度の向上については一切考慮されていない。【０００８】
本発明の目的は、運動する生体組織を含む医用画像の分類精度の向上が可能な医用画像処理装置及び医用画像処理方法を提供することにある。
【課題を解決するための手段】
【０００９】
上記目的を達成するため、本発明の医用画像処理装置は、被検体の生体組織を撮影した医用画像を複数得る画像情報取得部と、前記複数得られた医用画像の時相が異なる同士の画素値から前記生体組織の運動情報を得、前記運動情報に基づき前記医用画像を所定の種類毎に分類する画像認識演算部と、を備えたことを特徴とするものである。【００１０】
前記画像情報取得部が被検体の生体組織を撮影した医用画像を複数得、前記画像認識演算部が前記複数得られた医用画像の時相が異なる同士の画素値から前記生体組織の運動情報を得、前記運動情報に基づき前記医用画像を所定の種類毎に分類することにより、医用画像の画像認識の精度向上が可能となる。【００１１】
また、本発明の医用画像処理方法は、画像情報取得部により被検体の生体組織を撮影した医用画像を複数得るステップと、画像認識演算部により前記複数得られた医用画像の時相が異なる同士の画素値から前記生体組織の運動情報を得、前記運動情報に基づき前記医用画像を所定の種類毎に分類するステップと、を含むことを特徴とするものである。【００１２】
前記医用画像取得ステップが画像情報取得部により被検体の生体組織を撮影した医用画像を複数得、次いで医用画像分類ステップが画像認識演算部により前記複数得られた医用画像の時相が異なる同士の画素値から前記生体組織の運動情報を得、前記運動情報に基づき前記医用画像を所定の種類毎に分類することにより、医用画像の画像認識の精度向上が可能となる。
【発明の効果】
【００１３】
本発明によれば、運動する生体組織を含む医用画像の分類精度の向上が可能な医用画像処理装置及び医用画像処理方法を提供することができる。
【図面の簡単な説明】
【００１４】
【図１】本発明の実施例1における医用画像処理装置の概略を示すブロック図。
【図２】心エコー図検査で取得する基本断面と、画像の輝度値と組織の動きベクトルを抽出する例を示す図。
【図３】本発明の実施例2における医用画像処理装置の動作の概略を示すフローチャート。
【図４】本発明の実施例2における医用画像処理装置の概略を示すブロック図。
【図５】心筋領域の分割の原理を示す図。
【図６】本発明の実施例3における医用画像処理装置の概略を示すブロック図。
【図７】本発明の実施例4における医用画像処理装置の概略を示すブロック図。
【図８】本発明の実施例5における医用画像処理装置の概略を示すブロック図。
【図９】本発明の実施例5における医用画像処理装置の動作の概略を示すフローチャート。
【図１０】本発明の実施例6を説明するためのストレスエコー検査の表示例を示す図。
【図１１】本発明の実施例7における医用画像処理装置の画像検索の動作の概略を示すフローチャート。
【図１２】医用画像生成部からの画像に最も類似度が高い画像が表示される場合の表示例を示す図。
【図１３】医用画像生成部からの画像に類似する画像が複数存在する場合の表示例を示す図。
【図１４】図2、図5と異なる動きベクトル演算手法の例を示す図。
【発明を実施するための形態】
【００１５】
以下図面に基づいて、本発明の実施形態を詳細に説明する。
【００１６】
医用画像は超音波診断装置から得られる超音波画像とする。また、運動する生体組織の画像の対象は心臓画像とする。
【００１７】
ここでは、前記超音波診断装置において心臓の運動の抽出期間を可変設定し、前記可変設定された心臓の運動の抽出期間にて超音波画像を所定の種類毎に分類する例を説明する。
【実施例１】
【００１８】
図1は、本発明の実施例1における医用画像処理装置の概略を示すブロック図である。【００１９】
医用画像処理装置は、図1に示すに示すように、超音波画像生成部1と、超音波画像生成部1と信号伝達可能に接続される画像認識演算部3と、画像認識演算装置3と信号伝達可能に接続される画像表示部5とを備える。本願の明細書では。「信号伝達可能」とは、電磁気、光などあらゆる手段で被接続体と接続体とが信号伝達可能であると定義する。【００２０】
超音波画像生成部1は、超音波診断装置により超音波画像を生成する。超音波画像にはBモード像(断層像)、Mモード像、3Dモード像などがある。【００２１】
画像認識演算部3は、超音波画像の種類を識別するもので、具体的には超音波画像生成装置1から出力された画像を入力し、入力画像全体の動きの特徴量を抽出して、断面の種類を分類する処理を行っている。また、画像認識演算部3は、超音波画像生成部1と信号伝達可能に接続され生体組織の運動を抽出する運動抽出演算部31と、超音波画像生成部1と信号伝達可能に接続され生体組織の輝度を抽出する輝度抽出演算部32と、運動抽出演算部31及び輝度抽出演算部32のそれぞれと信号伝達可能に接続され前記抽出された運動の各抽出量を演算し、図示しない自身が保有するメモリに記憶する特徴抽出演算部33と、特徴抽出演算部33と信号伝達可能に接続され前記特徴量から入力された超音波画像の種類を識別する識別演算部36と、を有している。【００２２】
心エコー図検査で取得する断面には、5種類の基本断面がある。図2は心エコー図検査で取得する基本断面を示す図である。ここでいう基本断面とは、図2に示すように(a)傍胸骨長軸像、(b)傍胸骨短軸像、(c)心尖部2腔像、(d)心尖部長軸像、(e)心尖部4腔像である。
上記各画像の分類は、検者の手動でなく画像認識技術によりできるようにすれば、画像計測の際に検者の診断の工数の負担軽減に有用である。【００２３】
心臓の運動は、運動抽出演算部31において、抽出領域における運動抽出演算によって各点の動きベクトルの集合としての動きが例えば加算平均値などで計算される。例えば、ブロックマッチング法や勾配法を用いた運動計算法が用いられる。【００２４】
まず、ブロックマッチング法による動き検出は、先ず、対象となる連続する二つのフレームの一つにおいて，動きを検出したい画像が含まれる小領域をブロックとして記憶する。次に、他方のフレームにおいて，先のブロックと同じ大きさの領域で画像の類似度を演算する。更に、類似度演算をフレームの全体の領域に対して行う．この中からもっとも類似度が大きい領域が、動き検出をしたい物体の画像が移動した領域であるから、この領域の座標と先に記憶したブロックの座標から移動距離と移動方向を演算して終了する。ブロックマッチング法は、フレーム全体の領域で対象ブロックとの類似度を求めるため、処理
量は莫大になるが、精度良く動きを検出できる。【００２５】
また、勾配法は、時空間における各画素の輝度勾配の拘束を利用して対応点の探索を行うもので、画像の濃淡パターンが運動に対して不変に保たれるという仮定に基づいており、画像中の濃淡分布の空間的勾配と時間的勾配を関係つける式を基にした解析手法である。計算量が少なく、高速な処理が可能であるが、動きの大きな物体のフローを求めるにはノイズが多くなる傾向がある。【００２６】
心臓の運動を計算する期間は、被検者の心拍に個体差があるために、検者によって任意に設定可能でなければならない。この計算期間は、例えば心臓拡張末期から収縮末期のように最も動き量が大きい期間を抽出してもよい。次の画像データが存在すれば、同様に輝度値と動きを抽出する。
【００２７】
また、図2は拡張末期から収縮末期までの画像全体の動きベクトル(第1の動きベクトル)の例を示している。ここで動きベクトルとは、輝度値Ajが異なる時相間でどの程度移動するかを示すものである。動きベクトルは、それぞれ図面の水平方向(X方向)の移動成分xj,図面の垂直方向(Y方向)の移動成分yjによって表すことができる。
各断面において輝度値の特徴量と動きの特徴量は、この動きベクトルの演算によって得られる。【００２８】
ここでは、j番目の画像におけるベクトルをベクトルAjとし、断面の種類をVjとする。
動きベクトルAjは図面のx方向、y方向に分解してxj、yjとする。直交座標系でなく極座標であれば、径rj、角度θjとしても良い。これにより画像jから得られる情報Ijをベクトルとして式1のように表される。【００２９】
Ij＝(xj｜yj)・・・(式1)
輝度を併用する場合には、輝度抽出演算部32の出力を用いて式2のように表される。例えば、輝度抽出演算部32の出力は、前記超音波信号の振幅値を前記生体組織の形態情報とする。【００３０】
Ij＝(Aj｜xj｜yj)・・・(式2)
運動と輝度を併用すれば、心エコー図検査での何れの基本断面の識別精度の向上が期待できる。【００３１】
特徴抽出演算部33は、前記画像全体の情報Ijに対して画像として描出される各断面Vの特徴量を抽出する。例えば平均や分散等の基本統計量の計算や、超音波画像の全体の各画素における動きベクトルAjの主成分分析や独立成分分析による方法を適用して、画像として描出される各断面Vjの特徴量を抽出する。主成分分析等の対象は、動きベクトルAjがxy座標で示される場合は超音波画像の全体の各画素のxj、yjであり、動きベクトルAjが極座標で示される場合は超音波画像の全体の各画素のrj、θjである。【００３２】
識別演算部36は、前記各断面Vの特徴量を前記メモリから読み出し、その読み出された特徴量を用いて入力された超音波画像の種類を識別する。具体的には、識別演算部36は、図2(c)の例のように、前記特徴量から超音波画像の種類が心尖部2腔像と識別される。【００３３】
画像表示部5は、前記種類が識別された超音波画像を種類別に画面表示する。具体的には、画像表示部5は、前記種類が識別された心尖部2腔像を表示する。【００３４】
図3は、本発明の実施例1における医用画像処理装置の動作の概略を示すフローチャートである。【００３５】
超音波画像生成部1は、所定の時相の超音波画像を1フレーム分取得する(ステップS31)。
【００３６】
画像認識演算部3は、図示しない自身が保有する記憶部に前記超音波画像を記憶する(ステップS32)。【００３７】
超音波画像生成部1は、前記所定の時相と異なる時相(例えば、前記所定の時相の次の時相)の超音波画像を1フレーム分取得する(ステップS33)。
【００３８】
画像認識演算部3は、前記異なる時相の超音波画像と前記記憶された超音波画像とから上述した手法で動きベクトルを取得する。画像認識演算部3の運動抽出演算部31は、取得された動きベクトルの方向成分の解析処理を行う(ステップS34)。【００３９】
画像認識演算部3の特徴抽出演算部33は、前記情報Ijに対して、例えば平均や分散等の基本統計量の計算や、主成分分析や独立成分分析による方法を適用して、各断面Vの特徴量を抽出する。識別演算部36は、前記特徴量から心エコー図検査での何れの基本断面であるかを識別し、前記基本断面情報と前記超音波画像とを関連付けた表示フォーマットを生成する(ステップS35)。【００４０】
画像表示部5は、前記表示フォーマットに従い、前記基本断面情報と前記超音波画像を並置して表示する。なお、この表示ステップは、表示を行わずに超音波画像を分類して記憶部に記憶する場合には必須のステップではない(ステップ36)。【００４１】
本実施例によれば、運動する生体組織を含む医用画像の分類精度の向上ができる効果がある。また、本実施例の特有の効果は、必要最小限の構成要素であり、超音波画像が処理のために通過するパスが最短であるため、前記異なる時相の超音波画像が実時間で分類処理ができる。
【実施例２】
【００４２】
図4は、本発明の実施例2における医用画像処理装置の概略を示すブロック図である。【００４３】
医用画像処理装置は、図4に示すに示すように、図1に追加される構成として、超音波画像生成部1と信号伝達可能に接続される運動情報取得部2をさらに備える。【００４４】
運動情報取得部2は、コンピュータがプログラムを実行することによって超音波画像上で心臓の心筋領域を分割する。コンピュータは超音波画像生成部1からの超音波画像などのデータを記憶する記憶部(図示省略)と、前記コンピュータプログラムを実行してデータを処理し、画像認識演算部3へ出力するCPU(図示省略)を有している。【００４５】
画像認識演算部3は、運動情報取得部2から出力される分画毎に分割された局所の画像を入力し、分類された情報を出力するものである。【００４６】
ここで、検者は画像全体と画像の局所領域を設定(選択)することができる。具体例として、検者は臓器全体の動きを診断する場合は画像全体を選択し、心筋の一部の石灰化や虚血情報を診断する場合は画像の局所領域を選択する。【００４７】
図5は、心筋領域の分割の原理を示す図である。心筋領域の分割とは、図5に示すように、心筋をASE(AMerican Society of Echocardiography)が推奨する16分画または17分画に分割するものである。その分割の方法は、検者によるマニュアル操作または画像の形状を特徴量とする画像認識処理で行われる。【００４８】
ここでは、画像局所の動きベクトル(第2の動きベクトル)の例を示している。この動きベクトルは、輝度値Ajが異なる時相間でどの程度移動するかを示すもので、それぞれ図面の水平方向(X方向)の移動成分xj, 図面の垂直方向(Y方向)の移動成分yjによって表すことができることは、第1の動きベクトルと同じである。第1動きベクトルとの相違点は、第1動きベクトルが画像全体からの動き分析情報であるのに対して、第2動きベクトルが(c)心尖部2腔像の第13分画像(局所)のみの動き分析情報である。【００４９】
ここで、j番目の画像のk番目の分画において、任意の抽出位置順に輝度値を並べたベクトルをAjkとする。【００５０】
心臓の拡張末期から収縮末期までの画像全体の動きベクトルは、各断面において異なっているということができる。ここで、画像のj番目の画素において、任意の抽出位置順に輝度値を並べたベクトルをAjとする。また、断面の種類をVjとする。動きベクトルを直交に分解してxj、yjとする。極座標であれば、径rj、角度θjとしても良い。これにより画像jから得られる情報Ijをベクトルとして前出の式2のように示される。【００５１】
輝度だけを用いる場合には
Ij＝(Aj)…(式3)
としても良いし、動きだけを用いる場合には前出の式1としても良い。  
動きベクトルは直交に分解してxjk、yjkとする。動きベクトルは、また極座標で示すのであれば、径rjk、角度θjkとしても良い。これにより画像jの分画kから得られる情報Ijkをベクトルとして式4のように示される。【００５２】
Ijk＝(Ajk｜xjk｜yjk)…(式4)
輝度だけを用いる場合には式5としても良いし、動きだけを用いる場合には式6としても良い。【００５３】
Ijk＝(Ajk)…(式5)
Ijk＝(xjk｜yjk)…(式6)
いわば、第1動きベクトルはセクタ画像全体を対象としたマクロな動き解析である。マクロな分類での精度はさらに向上したい要求がある。そこで、第2動きベクトルはセクタ画像分割画像を対象としたミクロな動き解析で補う形で第1動きベクトルと第2動きベクトルを組み合わせてよい。【００５４】
本実施例のS32、S34が、次のプログラムを実行することとなる以外、実施例1と同じである。【００５５】
運動情報取得部2は、自身が保有する記憶部に前記超音波画像を記憶する(ステップS32)。【００５６】
運動情報取得部2は、前記異なる時相の超音波画像と前記記憶された超音波画像とから上記説明した手法で動きベクトルを取得する。画像認識演算部3の運動抽出演算部31は、取得された動きベクトルの方向成分の解析処理を行う(ステップS34)。【００５７】
本実施例によれば、運動する生体組織を含む医用画像の分類精度の向上ができる効果がある。また、本実施例の特有の効果は、運動情報取得部2が付加され、臓器の局所領域の運動の異常を解析することができる。
【実施例３】
【００５８】
医用画像処理装置は、図6に示すように、実施例2の構成に、運動情報取得部2と信号伝達可能に接続される外部運動計測部4をさらに備える。【００５９】
外部運動計測部4は、心電計測装置、心磁計測装置、血管拍動計測装置、呼吸動計測装置を含む電磁気により前記生体組織の運動計測値を得るものである。【００６０】
本実施例のステップS34が、次のプログラムを実行することになる以外、実施例1と同じである。【００６１】
運動情報取得部2は、前記異なる時相の超音波画像と前記記憶された超音波画像と心電計測装置などの外部運動計測部4によって計測された計測値とから上記で説明した図4での動きベクトルを取得する。前記計測値は心電による心筋の収縮／拡張の信号が画像計測に同期して得られるので、動きベクトルの計算に加味することができる。つまり、心電波形は心拍が早くなったり遅くなったりすることを検出することができるので、取得すべきタイミングがR波であれば、たとえ所定の時相と前記異なる時相が周期運動でなくなっていても、外部運動計測部4によって計測されたR波と同期した画像データでもって動きベクトルを計算することができる。運動抽出演算部31は、取得された動きベクトルの方向成分の解析処理を行う(ステップS34)。【００６２】
本実施例によれば、運動する生体組織を含む医用画像の分類精度の向上ができる効果がある。また、本実施例の特有の効果は、前記所定の時相と前記異なる時相が不定周期となっても、動きベクトルが計算できる。
【実施例４】
【００６３】
医用画像処理装置は、図7に示すに示すように、実施例1の構成に、画像認識演算部3と信号伝達可能に接続される病変種類推定部6をさらに備える。【００６４】
病変種類推定部6は、前記医用画像のうちの病変部を含む医用画像について診断情報が予め画像診断により付加され、その診断情報と該病変部を含む医用画像を対応付けて記憶しているものである。【００６５】
本実施例のステップS35、S36が、次のプログラムを実行することになる以外、実施例1と同じである。【００６６】
画像認識演算部3の特徴抽出演算部33は、前記情報Ijに対して、例えば平均や分散等の基本統計量の計算や、主成分分析や独立成分分析による方法を適用して、各断面Vの特徴量を抽出する。識別演算部36は、前記特徴量から心エコー図検査で何れの基本断面であるかを識別し、前記基本断面情報と前記超音波画像とを関連付けたデータを病変種類推定部6に出力する。病変種類推定部6は、例えば、公知の壁運動スコア指標(wall Motion csore index)と呼ばれる指標を計算する。この指標は、例えば、冠動脈疾患における冠動脈支配領域にある心筋が心筋梗塞を罹患しているか否かを計るために利用される。病変種類推
定部6はこのような指標を利用して得られた疾患情報を超音波画像に付加した表示フォーマットを生成する(ステップS35)。【００６７】
画像表示部5は、前記表示フォーマットに従い、前記指標と前記超音波画像を並置して表示する。なお、この表示ステップは、表示を行わずに超音波画像を分類して記憶部に記憶する場合には必須のステップではない(ステップ36)。【００６８】
本実施例によれば、運動する生体組織を含む医用画像の分類精度の向上ができる効果がある。また、本実施例の特有の効果は、前記疾患の分類を検者に提示することができる。
【実施例５】
【００６９】
医用画像処理装置は、図8に示すに示すように、実施例1の構成に、画像認識演算部3内に特徴量抽出部33と信号伝達可能に接続される学習演算部34と、学習演算部34及び識別演算部36と信号伝達可能に接続される学習データ記憶部35と、をさらに備える。【００７０】
学習演算部34は、ニューラルネットワークなどの公知の学習アルゴリズムを有しており、特徴抽出演算部33から出力された特徴量が入力され、学習演算を行う。【００７１】
学習データ記憶部35は、学習演算部34で演算された学習データを格納する記憶装置であり、ハードディスクやメモリなどである。【００７２】
識別演算部36は、学習データ記憶部35に記憶しておいた学習データに基づいて、新たに入力された画像から抽出された特徴を識別する。【００７３】
図9は、本発明の実施例5における医用画像処理装置の動作の概略を示すフローチャートである。【００７４】
本発明は、教師信号を有する学習アルゴリズムを想定しており、複数画像を使って学習する部分と、入力画像を学習データに基づいて認識する部分に分けられる。【００７５】
学習処理では、まず輝度抽出演算部32が画像の生体組織部分の輝度を抽出し、運動抽出演算部31が画像の生体組織部分の運動ベクトルを抽出する(ステップS91)。【００７６】
例えば、セクタ画像で輝度を抽出する場合を考える。画像全体の輝度と動きを計算しても良いが、計算量が多いので、例えばサンプリングした格子状に間隔をおいて計算してもよい。また、輝度は、輝度抽出演算部32において、画像の輝度値そのままの値を抽出しても良いし、ある程度の近傍での平均値を取っても良い。画像の時相は自由に選択可能であり、一般に最も時相を検出しやすいECG(electrocardiograM)のR波時相の画像を用いることができる。また、検者が心筋などの輝度値が高い部分のみに抽出位置を設定することにより、抽出点数を減らして計算時間を短縮させることができる。心臓の運動は、運動抽出
演算部31において、抽出位置における運動抽出演算によって計算される。例えば、ブロックマッチング法や勾配法を用いた動き計算法が用いられる。運動の計算期間は被検者の個体差に合わせるため任意に設定可能である。例えば、運動の計算期間は拡張末期から収縮末期のように最も動き量が大きい期間でもよい。次の画像データが存在すれば同様に輝度値と動きの抽出を行う(ステップS92)。【００７７】
特徴抽出演算部33は、画像jから得られる情報Ijに対して特徴抽出演算を行う(ステップS93)。【００７８】
特徴抽出演算部33は、例えば、平均や分散等の基本統計量の計算や、主成分分析や独立成分分析による方法を適用して、各断面Vの特徴を抽出する。学習演算部34は、抽出された特徴に対して学習演算を行う。学習されたデータは、学習データ記憶部35に保存され、学習処理終了する(ステップS94)。【００７９】
認識処理では、超音波画像生成部1から入力された医用画像に対して、学習時と同様に、まず輝度抽出演算部32が画像の生体組織部分の輝度を、運動抽出演算部31が画像の生体組織部分の運動ベクトルを抽出する(ステップS95)。
【００８０】
特徴抽出演算部33は、学習時と同様に、輝度と運動により、特徴抽出を行う(ステップS96)。【００８１】
識別演算部36は、学習データと入力画像の特徴を照合して、最も類似している断面に医用画像を分類する(ステップS97)。【００８２】
画像表示部5は、前記分類された断面の種類を超音波画像とともに表示し、認識処理を終了する(ステップS98)。【００８３】
さらに、断面種類を画像データに対応付けて記憶することできる。【００８４】
本実施例によれば、運動する生体組織を含む医用画像の分類精度の向上ができる効果がある。また、本実施例の特有の効果は、輝度と動きを特徴量とした学習アルゴリズムを適用することによって、また、輝度のみの認識に比べて、認識率を向上させることができる。また、運動の良し悪しを分類することも可能であるので、心臓動態の分類にも有用である。
【実施例６】
【００８５】
実施例6の医用画像処理装置は実施例5と同じハードウエアの構成で実施される。【００８６】
実施例6では、画像全体ではなく、心筋の局所ごとに認識処理を行う方法である。【００８７】
図10は、本発明の実施例6を説明するためのストレスエコー検査の表示例を示す図である。【００８８】
例えば、ストレスエコー検査では、図10のように、画面100に心筋を16分画に分割し、検者が心筋の動きを目視で確認し、その良し悪しを点数化して101、102で示されるエリアに表示し、記録する。点数は、評価不可(点数なし)、norMal(1点)、hypokinetic(2点)、akinetic(3点)、dyskinetic(4点)とされる。これら点数の合計を可視化された分画数で除した値をwall Motion score indexとして壁運動の総合評価が行われる。この操作は、断面を切り替えながら、かつ、分画毎に目視で検査するために、操作者には非常に煩雑な操作を強いられることになる。実施例6ではプローブの操作は検者が行うものの、断面の
種類の認識と点数付けを演算処理で行うことで、操作者の操作工数の低減を図っている。
【００８９】
本実施例のステップS91及びS95が、次のプログラムを実行することになる以外、実施例5と同じである。【００９０】
学習処理では、まず、特徴抽出演算部33が、輝度抽出演算部32から演算される画像の輝度、運動抽出演算部31から演算される心臓の運動により断面の種類が認識される。【００９１】
次に、運動情報取得部2によって区間ごとに区切られた心筋を分画毎に既存の自動輪郭抽出処理または手動によって分割する。【００９２】
次に、輝度抽出演算部32及び運動抽出演算部31は各分画内に計測点を配置して輝度と運動を実施例4と同様に計算する。すなわち、輝度抽出演算部32が画像の生体組織部分の輝度を抽出し、運動抽出演算部31が画像の生体組織部分の運動ベクトルを抽出する(ステップS91)。【００９３】
また、認識処理の最初のステップ95にも、前記ステップ91のすなわち以前の処理が付加される。【００９４】
本実施例によれば、運動する生体組織を含む医用画像の分類精度の向上ができる効果がある。また、本実施例の特有の効果は、心筋の分画ごとに動きの認識を行うことによって、静止画像では困難であった局所心筋の運動異常の自動定量化が可能になる。また、動きと輝度の両方の情報を使用することにより定量化の精度を向上することができる。
【実施例７】
【００９５】
実施例7の医用画像処理装置は、画像認識演算部3に画像検索機能が追加されている。その追加機能以外は実施例5と同じハードウエアの構成で実施される。【００９６】
実施例7の画像検索機能は、検査時における画像検索とサムネイル検索画面を用いた画像検索を行う。画像検索の手法は公知の画像認識技術によるものである。【００９７】
図11は本発明の実施例7における医用画像処理装置の画像検索の動作の概略を示すフローチャート、図12は医用画像生成部からの画像に最も類似度が高い画像が表示される場合の表示例、図13は医用画像生成部からの画像に類似する画像が複数存在する場合の表示例を、それぞれ示す図である。【００９８】
画像認識演算部3は、画像検索を開始すると、ある特定の範囲(例えば、同一患者、同一検査日、同一断面)において、検索項目122または136で設定された画像を検索し、検索対象画像が存在するか否かを検索する。検索項目122または136は、画面上のソフトスイッチやプルダウンメニューをポインティングデバイスで操作するにより、検者が任意に設定可能となっている(ステップS111)。【００９９】
画像表示部5は、検索範囲に画像が存在すれば、設定された検索項目が画像データに付加されているか確認するため表示する(ステップS112)。【０１００】
前記検索項目が付加されていない場合、画像認識演算部3は、検索項目に関する認識処理を実施形態1〜4によって行う(ステップS113)。
【０１０１】
画像認識演算部3は、分類された種類を画像データと一体で記憶する(ステップS104)。
画像認識演算部3は、設定された検索項目122または136と分類された種類を一体で記憶した画像データを照合する(ステップS115)。【０１０２】
画像認識演算部3は、検索項目122または136に合致したものを検索した結果として記憶する。画像表示部5は、設定された検索項目が付加されている画像データを表示する(ステップS116)。【０１０３】
本実施例によれば、運動する生体組織を含む医用画像の分類精度の向上ができる効果がある。また、本実施例の特有の効果は、次のように表示例毎に説明する。【０１０４】
図12の表示例では、Bモード像検査時のグラフイカルユーザインターフェース(GUI)120である。例えば、所定の被検者を検査している場面において、左側検索項目A122を心尖部2腔像とし、右側検索項目B122を心尖部4腔像と指定して検索することにより、過去に取得された各設定項目の画像が呼び出されて表示され2画面間の比較を行うことが可能になる。また、検索項目を動態異常の分類とすれば、類似病変の検索にも用いることが可能である。これにより、検者は多数の画像データや診断情報から目視で画像を選択する手間を減らすことが可能になる。【０１０５】
また図13の表示例では、サムネイル画像で検索する画面133である。例えば、左上の画像134が所定の被検者の参照元画像であるとする。検索項目136において検索項目を指定すると、参照元画像134の検索項目に関して、よく類似した候補の画像群が候補画面135に表示される。例えば、検索項目をwall Motion score indexをすると、参照元画像の前記indexに近い値を持つ画像が候補画面135に表示される。これにより、病変や動態の類似した画像との比較が容易になるため、検査の質が向上するとともに、検者の負担を軽減することが可能になる。【０１０６】
以上、特徴量の抽出は、超音波画像の全体の画素を対象にしたが、心壁のサンプル点とする次の方法でもよい。【０１０７】
具体例の一つとして、セクタ画像から図14の心尖部2腔像の特徴量を算出する場合を考える。図14は、図2、図5と異なる動きベクトル演算手法の例を示す図である。まず、セクタ画像全体には格子状に間隔をおいた抽出位置(×印)が存在する(抽出位置間の距離をdとする。)そして、セクタ画像中の心壁や心腔などと重なるあるいは近傍に位置する抽出位置からのA〜Fの第1動きベクトルを定義する。第1動きベクトルは心拍の収縮期と拡大期についてそれぞれの移動距離と、移動方向が計算される。例えば、A〜Fの第1動きベクトルの移動距離と移動方向との関係が次のとおりとなる。【０１０８】
第1ベクトルA  移動距離：d/2、移動方向：3時の方向
第1ベクトルB  移動距離：d/2、移動方向：3時の方向
第1ベクトルC  移動距離：d/2、移動方向：11時の方向
第1ベクトルD  移動距離：d/2、移動方向：1時の方向
第1ベクトルE  移動距離：d/2、移動方向：9時の方向
第1ベクトルF  移動距離：d/2、移動方向：9時の方向
これらの類型に計測されたセクタ画像が6つ全て一致すれば心尖部2腔像として当該セクタ画像を分類する。セクタ画像が5つ一致でも心尖部2腔像の候補として当該セクタ画像を分類する。4つ一致以下は心尖部2腔像以外の可能性もあるので、(a)傍胸骨長軸像、(b)傍胸骨短軸像、(d)心尖部長軸像、(e)心尖部4腔像において(c)心尖部2腔像と同様に抽出位置からのベクトル解析を行い、セクタ画像がどの画像に分類されるか判定する。【０１０９】
また、画像処理の対象が心臓である場合を説明したが画像処理の対象が心臓でない場合はその異なる生体組織に適する運動の抽出期間を設定することになる。【０１１０】
また、各実施例は、超音波の断層像(Bモード像)に適用する例で説明したが、弾性イメージング画像や、X線像、X線CＴ像、MRI像を撮像する各種医用画像診断装置への直接の適用又はリアルタイム・バーチャル・ソノグラフィ(RVS)像の参照画像にも適用できる技術である。【０１１１】
また、添付図面を参照して、本発明に係る医用画像処理装置等の好適ないくつかの実施例について説明したが、本発明はかかる例に限定されない。当業者であれば、本願で開示した技術的思想の範疇内において、各種の変更例又は修正例に想到し得ることは明らかであり、それらについても当然に本発明の技術的範囲に属するものと了解される。
【符号の説明】
【０１１２】
1  超音波画像生成部、3  画像認識演算部。
【図１】
0005438002.tif 000002
【図２】
0005438002.tif 000003
【図３】
0005438002.tif 000004
【図４】
0005438002.tif 000005
【図５】
0005438002.tif 000006
【図６】
0005438002.tif 000007
【図７】
0005438002.tif 000008
【図８】
0005438002.tif 000009
【図９】
0005438002.tif 000010
【図１０】
0005438002.tif 000011
【図１１】
0005438002.tif 000012
【図１２】
0005438002.tif 000013
【図１３】
0005438002.tif 000014
【図１４】
0005438002.tif 000015