(57)【要約】【課題】ボリュームデータを利用して、計測対象の輪郭を抽出し、輪郭から診断に有用な解剖学的構造としての計測情報を取得する。【解決手段】被検体のボリュームデータの入力（Ｓ３０１）がなされると、画像処理装置は、ボリュームデータ内に含まれる特徴点検出し（Ｓ３０２）、検出された特徴点と解剖学的定義に基づいて、ボリュームデータ内に含まれる複数の部分の輪郭を検出し（Ｓ３０３）、検出した複数の部分のうち、互いに接する部分の輪郭である境界線を最適化し、最適化された複数の部分の輪郭を組み合わせて、計測対象の輪郭を作成する（Ｓ３０４）。作成した輪郭から診断に有用な診断項目の計測を行い（Ｓ３０５）、得られた計測情報を計測結果として出力し（Ｓ３０６）、ディスプレイに表示する。【選択図】図３
2018051001.tif 000002
【特許請求の範囲】
【請求項１】
処理部を備えた画像処理装置であって、
前記処理部は、
ボリュームデータ内に含まれる計測対象の特徴点を検出し、検出した前記特徴点と解剖学的定義に基づいて、前記計測対象の複数の部分の輪郭を抽出し、抽出した前記複数の部分の輪郭のうち、互いに接する部分の輪郭を最適化することにより前記複数の部分を組み合わせて前記計測対象の輪郭を作成し、計測情報を取得する、
ことを特徴とする画像処理装置。
【請求項２】
請求項１に記載の画像処理装置であって、
前記処理部は、
抽出された前記複数の部分の輪郭のうち、前記互いに接する部分の輪郭の距離情報と形状情報に基づき、前記互いに接する部分の輪郭を最適化する、
ことを特徴とする画像処理装置。
【請求項３】
請求項１に記載の画像処理装置であって、
表示部を更に備え、
前記処理部は、
抽出された前記複数の部分の輪郭のうち、前記互いに接する部分の輪郭を最適化することによって、前記互いに接する部分の輪郭の変形を行い、前記変形を前記表示部に表示する、
ことを特徴とする画像処理装置。
【請求項４】
請求項３に記載の画像処理装置であって、
前記処理部は、
前記互いに接する部分の輪郭の一つを修正すると、互いに接する他の部分の輪郭を連動して変形し、前記変形を前記表示部に表示する、
ことを特徴とする画像処理装置。
【請求項５】
請求項３に記載の画像処理装置であって、
前記処理部は、
抽出された前記複数の部分の輪郭、及び前記計測対象の輪郭を前記表示部に表示する、
ことを特徴とする画像処理装置。
【請求項６】
請求項５に記載の画像処理装置であって、
前記処理部は、
前記計測対象の輪郭から、前記計測対象の特定部位間の距離を計測し、計測結果を前記表示部に表示する、
ことを特徴とする画像処理装置。
【請求項７】
請求項５に記載の画像処理装置であって、
入力部を更に備え、
前記処理部は、
前記入力部から入力される前記複数の部分の輪郭の修正指示に対応して、前記複数の部分の輪郭の変形を行う、
ことを特徴とする画像処理装置。
【請求項８】
請求項５に記載の画像処理装置であって、
前記処理部は、
前記表示部にパラメータ調整のコントロールバーを表示し、前記コントロールバーの調整による修正指示に対応して、前記複数の部分の輪郭の変形を行う、
ことを特徴とする画像処理装置。
【請求項９】
請求項５に記載の画像処理装置であって、
前記処理部は、
前記表示部に表示された前記複数の部分の輪郭の所望部位のドラッグアンドドロップに対応して、前記所望部位の変形を行う、
ことを特徴とする画像処理装置。
【請求項１０】
画像処理装置の画像処理方法であって、
前記画像処理装置は、
ボリュームデータ内に含まれる計測対象の特徴点を検出し、検出した前記特徴点と解剖学的定義に基づいて、前記計測対象の複数の部分の輪郭を抽出し、抽出した前記複数の部分の輪郭のうち、互いに接する部分の輪郭を最適化することにより前記複数の部分を組み合わせて前記計測対象の輪郭を作成し、計測情報を取得する、
ことを特徴とする画像処理方法。
【請求項１１】
請求項１０に記載の画像処理方法であって、
前記画像処理装置は、
抽出された前記複数の部分の輪郭のうち、前記互いに接する部分の輪郭の距離情報と形状情報に基づき、前記互いに接する部分の輪郭を最適化する、
ことを特徴とする画像処理方法。
【請求項１２】
請求項１０に記載の画像処理方法であって、
前記画像処理装置は表示部を備え、
前記画像処理装置は、
抽出された前記複数の部分の輪郭のうち、前記互いに接する部分の輪郭を最適化することによって、前記互いに接する部分の輪郭の変形を行い、前記変形を前記表示部に表示する、
ことを特徴とする画像処理方法。
【請求項１３】
請求項１２に記載の画像処理方法であって、
前記画像処理装置は、
前記互いに接する部分の輪郭の一つを修正すると、互いに接する他の部分の輪郭を連動して変形し、前記変形を前記表示部に表示する、
ことを特徴とする画像処理方法。
【請求項１４】
請求項１２に記載の画像処理方法であって、
前記画像処理装置は、
抽出された前記複数の部分の輪郭、及び前記計測対象の輪郭を前記表示部に表示する、
ことを特徴とする画像処理方法。
【請求項１５】
請求項１２に記載の画像処理方法であって、
前記画像処理装置は、
前記計測対象の輪郭から、前記計測対象の特定部位間の距離を計測し、計測結果を前記表示部に表示する、
ことを特徴とする画像処理方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は画像処理装置に係り、特に三次元情報から計測対象の輪郭を抽出して診断用の計測情報を取得する画像処理技術に関する。
【背景技術】
【０００２】
超音波診断装置などの超音波システムは、被検体を破壊せず被検体内部を観測できる特性がある。特に、人体に対しても開腹等の外科手術の必要がなく、内部組織を安全に観測できる手段として医療分野で広く用いられている。心臓は超音波システムにおける被検体の一つであり、近年高齢化社会になり、僧帽弁逆流などの心臓弁膜症が増加する傾向がある。弁膜症の治療法として弁形成術や自己弁温存手術が広く行われていたが、その手術を成功するために術前に心エコー検査による正確な疾患診断が不可欠である。
【０００３】
従来、ユーザである検者が２次元心臓弁画像を撮影し、断面画像を見ながら手動で心臓弁の輪郭を抽出し、弁輪径、弁高、弁口面積などの診断に必要な情報を計測する。しかし、手作業による輪郭の抽出および様々な項目の計測は、操作が複雑で且つ計測時間がかかる。また、２次元の断面画像から心臓弁などの複雑な３次元構造を明らかにすることも困難である。近年は、特殊な超音波探触子を用いて立体的な超音波心臓画像などの三次元情報であるボリュームデータを取得し、このボリュームデータの中から診断用の計測情報を自動的に取得するシステムが提案されている。
【０００４】
関連する先行技術文献としては、例えば特許文献１がある。特許文献１の技術は、心臓における僧帽弁の弁輪面積、高さなど、臨床で必要とされる情報を得るものである。３次元心臓弁画像を得るため、心エコー図検査装置でスキャンした２次元の心エコー断層画像から３次元の心エコー図を形成する。すなわち、３次元心臓弁画像をコンピュータ処理により自動抽出する方法において、心臓および弁輪の物理的形状を考慮したフィッティングモデルにおける弁輪のモデルのフィッティング評価関数（ポテンシャルエネルギー）をレプリカ交換法・拡張徐冷法で最適化する臨床で必要なデータを計測可能な３次元心臓弁画像自動抽出方法である。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】国際公開番号ＷＯ２００６/０６８２７１
【発明の概要】
【発明が解決しようとする課題】
【０００６】
特許文献１によれば、心臓弁を一個の形状としてボリュームデータから輪郭を抽出しているが、心臓弁などの計測対象は複雑な形状であるため、その全体の輪郭を一気に且つ高精度に抽出することが容易ではない。また、解剖学定義に基づいて心臓弁内に複数の部分があり、それぞれの部分が疾患の診断に有用であると報告された。そのため、計測対象全体の輪郭だけではなく、内部構造を示す部分間の境界線の抽出も必要である。しかし、特許文献１によれば、計測対象の部分間の境界線を抽出するための方法については開示されていない。
【０００７】
本発明の目的は、上記の課題を解決し、計測対象の診断に必要な輪郭および計測情報を高精度に抽出可能な画像処理装置、及びその方法を提供することにある。
【課題を解決するための手段】
【０００８】
上記の目的を達成するため、本発明においては、処理部を備えた画像処理装置であって、処理部は、ボリュームデータ内に含まれる計測対象の特徴点を検出し、検出した特徴点と解剖学的定義に基づいて、計測対象の複数の部分の輪郭を抽出し、抽出した複数の部分の輪郭のうち、互いに接する部分の輪郭を最適化することにより複数の部分を組み合わせて計測対象の輪郭を作成し、計測情報を取得する構成の画像処理装置を提供する。
【０００９】
また、上記の目的を達成するため、本発明においては、画像処理装置の画像処理方法であって、画像処理装置は、ボリュームデータ内に含まれる計測対象の特徴点を検出し、検出した特徴点と解剖学的定義に基づいて、計測対象の複数の部分の輪郭を抽出し、抽出した複数の部分の輪郭のうち、互いに接する部分の輪郭を最適化することにより複数の部分を組み合わせて計測対象の輪郭を作成し、計測情報を取得する画像処理方法を提供する。
【発明の効果】
【００１０】
本発明によれば、計測対象の高精度な輪郭と計測情報を取得することができる。
【図面の簡単な説明】
【００１１】
【図１】実施例１に係る、超音波撮像装置の全体構成の一例を示すブロック図。
【図２】実施例１に係る、超音波撮像装置のハードウェア構成の一例を示すブロック図。
【図３】実施例１に係る、心臓弁計測の処理フローの一例を示す図。
【図４】実施例１に係る、特徴点設定の一例を示す模式図。
【図５】実施例１に係る、心臓僧帽弁から複数の部分の輪郭を作成する一例を示す模式図。
【図６】実施例１に係る、部分の輪郭を抽出する一例を説明するための図。
【図７】実施例１に係る、境界線を最適化する一例を示す模式図。
【図８】実施例１に係る、境界線変形を表示する一例を示す模式図。
【図９】実施例２に係る、心臓弁計測の処理フローの一例を示す図。
【図１０】実施例２に係る、手動修正または形状パラメータ調整による輪郭変形の一例を示す図。
【図１１】実施例３に係る、心臓僧帽弁および大動脈弁抽出の処理フローの一例を示す図。
【図１２】実施例３に係る、心臓僧帽弁および大動脈弁輪郭抽出の一例を示す模式図。
【発明を実施するための形態】
【００１２】
以下、本発明の種々の実施例を図面に基づいて詳細に説明する。なお、実施例を説明するための全図において、同一部分には原則として同一の符号を付し、繰り返しの説明は省略する。本明細書において、被検体内部の特徴点や複数の部分とは、心臓弁などの被検体の臓器で解剖学的に意味があるとして人為的に設定した位置や部位を意味する。また、被検体内部の複数の部分の輪郭の内、互いに接する部分の輪郭を境界線と称する。
【実施例１】
【００１３】
実施例１は、超音波撮像装置の画像処理装置であって、処理部は、超音波を送受信して得られたボリュームデータ内に含まれる計測対象の特徴点を検出し、検出した特徴点と解剖学的定義に基づいて、計測対象の複数の部分の輪郭を抽出し、抽出した複数の部分の輪郭のうち、互いに接する部分の輪郭を最適化することにより複数の部分を組み合わせて計測対象の輪郭を作成し、計測情報を取得する構成の画像処理装置の実施例である。また、画像処理装置の画像処理方法であって、画像処理装置は、ボリュームデータ内に含まれる計測対象の特徴点を検出し、検出した特徴点と解剖学的定義に基づいて、計測対象の複数の部分の輪郭を抽出し、抽出した複数の部分の輪郭のうち、互いに接する部分の輪郭を最適化することにより複数の部分を組み合わせて計測対象の輪郭を作成し、計測情報を取得する画像処理方法の実施例である。
【００１４】
実施例１の超音波撮像装置の構成は、例えば、図１のように、超音波探触子７と、画像生成部１０７と、画像処理装置１０８とを備える。超音波探触子７は、被検体１２０に送受切替部１０１を介し超音波を送信し、被検体１２０からの超音波を受信する。画像生成部１０７は、超音波探触子７の受信信号から超音波画像を生成する。画像処理装置１０８は、画像生成部１０７から超音波のボリュームデータを被検体の三次元情報として受け取って処理する。なお、図１に示す超音波撮像装置の全体構成例は、他の実施例においても共通に用いられる。
【００１５】
＜装置構成及び動作＞
以下、本実施例の超音波撮像装置の具体的な構成について詳述する。本実施例の超音波撮像装置は、図１に示したように、超音波探触子７と、画像生成部１０７と、画像処理装置１０８に加え、更に送信部１０２、送受切替部１０１、受信部１０５、ユーザインタフェース（ＵＩ）１２１、および、制御部１０６を備えて構成される。また、画像表示部となるディスプレイ１６が装置に接続されている。
【００１６】
送信部１０２は、制御部１０６の制御下で送信信号を生成し、超音波探触子７を構成する複数の超音波素子ごとに受け渡す。これにより、超音波探触子７の複数の超音波素子は、それぞれ超音波を被検体１２０に向かって送信する。被検体１２０で反射等された超音波は、再び超音波探触子７の複数の超音波素子に到達して受信され、電気信号に変換される。超音波素子が受信した信号は、送受切替部１０１を経由し、受信部１０５によって、受信焦点の位置に応じた所定の遅延量で遅延させた後加算、すなわち整相加算される。このような送受信を複数の受信焦点ごとについて繰り返す。整相加算後の信号は、画像生成部１０７に受け渡される。送受切替部１０１は、送信部１０２または受信部１０５を選択的に超音波探触子７に接続する。
【００１７】
画像生成部１０７は、受信部１０５から受け取った整相加算信号を受信焦点に対応する位置に並べる等の処理を行い、ボリュームデータとして超音波画像を生成する。画像処理装置１０８は、画像生成部１０７からボリュームデータを受け取って、標準断面を抽出する。ここで、標準断面とは、標準断面取得に関するガイドラインに基づいた断面画像である。なお、図１の装置構成あっては、ディスプレイ１６が装置の外部に設置されているが、ディスプレイ１６は、図２に示すように、超音波撮像装置１００のユーザインタフェース１２１に含まれる構成であっても良い。
【００１８】
以下、図２に示す画像処理装置１０８とユーザインタフェース１２１のハードウェア構成例を用いて、画像処理装置１０８とユーザインタフェース１２１の構成と動作について詳しく説明する。図１同様、図２に示すハードウェア構成例は、後述する他の実施例においても共通に用いられる。
【００１９】
図２に示すように、画像処理装置１０８は、中央処理部（ＣＰＵ）１、不揮発性メモリ（ＲＯＭ）２、揮発性メモリ（ＲＡＭ）３、記憶装置４、および表示制御部１５で構成される。ユーザインタフェース１２１は、媒体入力部１１、入力制御部１３、入力装置１４、更にディスプレイ１６で構成される。媒体入力部１１、入力制御部１３、表示制御部１５、及び画像生成部１０７は、画像処理装置１０８のデータバス５によって相互に接続されている。表示制御部１５はディスプレイ１６に接続されディスプレイ１６の表示を制御し、例えばＣＰＵ１の処理で得られた標準断面などの画像データをディスプレイ１６に表示させる制御を行う。
【００２０】
ＲＯＭ２およびＲＡＭ３の少なくとも一方には、画像処理装置１０８の動作を実現するために必要とされる、ＣＰＵ１の演算処理用のプログラムと各種データが予め格納されている。ＣＰＵ１が、このＲＯＭ２およびＲＡＭ３の少なくとも一方に予め格納されたプログラムを実行することによって、後述する画像処理装置１０８の各種処理が実現される。なお、ＣＰＵ１が実行するプログラムは、例えば、光ディスクなどの記憶媒体１２に格納しておき、光ディスクドライブなどの媒体入力部１１がそのプログラムを読み込んでＲＡＭ３に格納する様にしてもよい。
【００２１】
また、記憶装置４にプログラムを格納しておき、記憶装置４からそのプログラムをＲＡＭ３にロードしてもよい。また、ＲＯＭ２にあらかじめ当該プログラムを記憶させておいてもよい。また、記憶装置４は、図示を省略した形状モデルデータベースを含む。この形状モデルデータベースには、後述する解剖学的な部分の輪郭に関する情報として、被検体の心臓弁などの検査対象の複数の部分の平均形状、及び主成分の形状パラメータなどが含まれている。このデータベース中の平均形状、及び主成分の形状を画像へフィッティングすることによって、対象の輪郭が抽出される。
【００２２】
ユーザインタフェース１２１の入力装置１４は、ユーザの操作を受け付ける装置であり、例えば、キーボード、トラックボール、操作パネル、フットスイッチなどを含む。入力制御部１３は、ユーザによって入力装置１４から入力された操作指示を受け付ける。入力制御部１３が受けた操作指示は、ＣＰＵ１によって実行処理される。
【００２３】
つぎに、図３に示す心臓弁計測の全体フローチャートを用いて、本実施例の画像処理装置１０８の処理を説明する。このフローチャートの処理は、上述したＣＰＵ１のプログラム実行により実現できる。
まず、ステップ３０１（以下、Ｓ３０１と表記する）において、画像生成部１０７から生成した超音波のボリュームデータが入力される。
【００２４】
Ｓ３０２において、入力されたボリュームデータから特徴点の検出が行われる。特徴点とは、後で図４を使って説明するように、被検体の対象臓器で解剖学的に意味があるとして人為的に設定した位置であり、医用画像上に存在する特徴量情報が豊富、且つ診断に有用な位置である。この特徴点検出には、後で説明する画像特徴量と特徴点の位置情報に基づいた機械学習の手法が用いられる。
【００２５】
Ｓ３０３において、解剖学的定義に基づいて対象臓器を複数の部分に分割し、それぞれの部分の輪郭の検出が行われる。複数の部分とは、例えば対象臓器が心臓僧帽弁の場合、後で説明する図５に示すように、前尖外側、後尖外側などの六つの解剖学的部分であり、それぞれの部分が疾患の診断に有用である。輪郭抽出の方法では、例えば、形状モデルに基づく方法がある。形状モデルとは、医用画像上に存在する臓器の輪郭線を構成する頂点の集合である。形状モデルには、後で図６を使って説明するように、頂点の周辺で画像特徴量がどのように見えるかを記述するプロファイルモデルと、シェイプ変動を記述するシェイプモデルがある。
【００２６】
記憶装置４内の形状モデルデータベースに、構築したプロファイルモデルとシェイプモデルが予め蓄積されている。これらのモデルを読み出し、入力された未知のボリュームデータに対して、ステップ３０２で検出された特徴点を初期位置として、シェイプモデルを画像へフィッティングする。つぎに、プロファイルモデルにより画像特徴量の制約とシェイプモデルにより形状の制約をもとに頂点の位置を最適化する。これをすべての頂点が安定位置に到達するまで繰り返すことで、解剖学的部分の形状を抽出することができる。
【００２７】
Ｓ３０４において、複数の部分のうち、互いに接する部分の輪郭、すなわち境界線の最適化が行われる。後で図７、式１を使って説明するように、最適化前の部分の輪郭から作成される境界線までの距離情報、および作成される境界線と記憶装置４に蓄積された平均形状の偏差情報を合わせて最適化することにより、最適な境界線が作成される。この最適化によって複数の部分の輪郭が決定され、得られた部分の輪郭から全体の輪郭を構成することができる。
【００２８】
Ｓ３０５において、作成された全体の輪郭から弁輪径、弁高、弁口面積などの診断に有用な診断項目の計測が行われ、必要な計測情報が取得できる。
【００２９】
Ｓ３０６において、画像処理装置１０８のＣＰＵ１は、部分の輪郭抽出Ｓ３０３で抽出した部分の輪郭、Ｓ３０４の境界線最適化で再構成された全体の輪郭、およびＳ３０５で計測された弁輪径、弁高、弁口面積などの計測情報を出力し、表示制御部１５からディスプレイ１６へ送信して表示する。
【００３０】
つぎに、図４を用いて本実施例のステップ３０２の特徴点検出について、詳しく説明する。図４は、心臓の僧帽弁の場合の特徴点の設定例を示す模式図である。図４中の丸印に示すように、僧帽弁４００の弁輪上にある左弁輪の中央部４０１、Ａ１Ａ２接合部４０２、前尖弁輪の中央部４０３、Ａ２Ａ３接合部４０４、右弁輪の中央部４０５、Ｐ２Ｐ３接合部４０６、後尖弁輪の中央部４０７、Ｐ１Ｐ２接合部４０８、左弁接合部４０９、右弁接合部４１０、前尖弁尖４１１、後尖弁尖４１２等、特徴情報が豊富な位置を、特徴点に設定する。この特徴点は、各解剖学的な部分の初期形状および位置を大まかに決定するために設定されるものである。
【００３１】
特徴点を検出する方法は、例えば、Ｈｏｕｇｈ Ｆｏｒｅｓｔ、Ｓｕｐｐｏｒｔ Ｖｅｃｔｏｒ Ｍａｃｈｉｎｅ (ＳＶＭ)などの方法が用いられる。Ｈｏｕｇｈ Ｆｏｒｅｓｔを用いる場合、ボリュームデータに存在する様々な特定部位間の方向、距離に関する細かい判定を実行する決定木を用意し、これを複数個組み合わせることで、未知のボリュームデータに対しても同様に任意の特徴点間の方向、距離を得ることが可能な特徴分類器を生成することができる。これにより、未知のボリュームデータを入力すると、入力した部位画像と対象部位との方向および距離関係が一致する決定木を順次通過することで、最終的に最も適切な探索特徴点へのベクトル情報に辿りつくことができる。
【００３２】
つぎに、本実施例のステップ３０３の複数の部分の輪郭の抽出について、詳しく説明する。図５に心臓僧帽弁の場合、解剖学的定義に基づいた複数の部分の設定例を示す。図５中の点線に示すように、心臓僧房弁を、前尖外側５０１、前尖中部５０２、前尖内部５０３、後尖外側５０４、後尖中部５０５、後尖内部５０６、六つの部分に分割する。この複数の部分に対して、事前にそれぞれの形状モデルデータベースを作成し、記憶装置４に蓄積しておく。入力された未知のボリュームデータに対して、これらの形状モデルを読み出し、それぞれの部分の輪郭を抽出する。
【００３３】
輪郭を抽出する方法は、例えば公知の動的形状モデルＡｃｔｉｖｅ Ｓｈａｐｅ Ｍｏｄｅｌ(ＡＳＭ)に基づく方法が用いられる。形状モデルとは、医用画像上に存在する臓器の輪郭線を構成する頂点の集合である。図６は、ＡＳＭ法を用いる場合の輪郭のモデル構築、および抽出の一例を説明するための図である。モデルは２つのパートから構成される。一つは頂点の周辺で画像特徴量がどのように見えるかを記述するプロファイルモデル６０１であり、もう一つはシェイプ変動を記述するシェイプモデル６０２である。
【００３４】
プロファイルモデル６０１は、輪郭線を構成する頂点６０３の局所領域６０４において、エッジ検出などの方法に基づいて画像特徴量を抽出する。シェイプモデル６０２は、主成分分析Ｐｒｉｎｃｉｐａｌ Ｃｏｍｐｏｎｅｎｔ Ａｎａｌｙｓｉｓ(ＰＣＡ)を用いて構築される。シェイプモデル６０２には、平均形状と、変化のタイプである形状主成分ベクトルが含まれている。平均形状は、全ての形状の平均を計算し、全ての僧帽弁が共通して持つ特性と考えることができる。変化のタイプは、各形から平均形を引き、平均形からどれだけ変化しているかを表している。そのため、特定部位の形状は、変化のタイプをいくつかのベースとし、これらのベースの値との組み合わせに平均形状を足すことで生成される。
【００３５】
構築したプロファイルモデル６０１とシェイプモデル６０２から輪郭の抽出は次のように行う。入力された未知のボリュームデータに対して、ステップ３０２で検出された特徴点を、図５の５０１〜５０６の丸に示したように、部分の初期輪郭決定に用いる。つぎに、プロファイルモデル６０１によって輪郭線を構成する頂点の特徴量を計算する。この特徴量と記憶装置４で蓄積されるプロファイルモデルのマッチスコアを計算する。つぎに輪郭線の頂点を含む曲線関数をマッチスコアが高いところにフィッティングする。そして、シェイプ制約のもと曲線関数を最適化することで新たな頂点位置を得る。これをすべての点が安定位置に到達するまで繰り返すことで、部分の輪郭６０５を抽出することができる。
【００３６】
なお、特定部位形状の抽出については、上述したＡＳＭ法に代え、公知の動的外観モデルＡｃｔｉｖｅ  Ａｐｐｅａｒａｎｃｅ Ｍｏｄｅｌ法、Ｃｏｎｓｔｒａｉｎｅｄ Ｌｏｃａｌ Ｍｏｄｅｌ（ＣＬＭ）法などの方法でも適用できる。
【００３７】
つぎに、図７を用いて、図３に示した本実施例の境界線最適化のステップ３０４において、ステップ３０３で抽出された複数の部分のうち、お互い接する部分の輪郭である境界線を最適化する処理を説明する。互いに接する部分７０１と部分７０２がそれぞれ抽出されるため、それらの接する部分の輪郭である境界線７０３と７０４が一致していない部分がある。そのため、複数の部分の輪郭から全体の輪郭を作成するために、境界線の最適化による変形が必要である。本実施例の構成における境界線の最適化方法では、例えば下式１を使って最小化関数φ(x)を表示する。
【００３８】
【数１】
2018051001.tif 000003
【００３９】
ここで、Ｘ＝（Ｘ１,Ｘ２, ... ,ＸＮ）は接する部分の輪郭である境界線７０５であり、Ｘiは境界線７０５上にｉ番目の頂点であり、Ｐiは部分７０１の境界線７０３上にｉ番目の頂点でありＱiは部分７０２の境界線７０４上にｉ番目の頂点であり、ＰiＸiは頂点Ｐiと頂点Ｘiの距離であり、ＱiＸiは頂点Ｑiと頂点Ｘiの距離であり、Ｓｉの上にバー は記憶装置に蓄積される部分７０１と部分７０２を接する境界線の平均形状であり、ε１,ε２は距離情報と平均形状から偏差の重みである。
【００４０】
式１の前半部は、境界線７０５から境界線７０３と境界線７０４までの距離情報を示す。式１の後半部は、境界線７０５と記憶装置４で蓄積される平均形状の偏差情報である形状情報を示す。この式１において、前半部の距離情報と後半部の形状情報とを合わせて最小化することで、境界線７０５を更新する。そして、関数φ(x)をある閾値以下に到達するまで繰り返すことで、最適な境界線７０７を取得することができる。すなわち、画像処理装置１０８の処理部は、抽出された複数の部分の輪郭のうち、互いに接する部分の輪郭の距離情報と形状情報に基づき、互いに接する部分の輪郭である境界線を最適化する。そして、このような境界線の最適化によって得られた複数の部分の輪郭を組み合わせて、複数の部分からなる計測対象の全体の輪郭７０６を構成することができる。
【００４１】
図８により、本実施例の装置構成において、境界線最適化Ｓ３０４によって互い接する部分の輪郭である境界線の変形をディスプレイ１６に表示する一例を示す。Ｓ３０３で抽出された複数の部分の輪郭８０１をディスプレイ画面に表示し、Ｓ３０４で境界線最適化によって複数の部分の輪郭８０１から全体の輪郭８０２を構成する。全体の輪郭８０２のうち、接する部分の輪郭である境界線８０３がＳ３０４の最適化によって変形が行われると、対応している部分輪郭の境界線８０４と境界線８０５も同時に変形して表示する。これにより、変形の動きをディスプレイ１６に表示できる。Ｓ３０４の境界線最適化後に、境界線の修正が必要と判断すれば、ユーザが手動で入力装置１４のマウスで境界線をドラッグアンドドロップすることで修正することができる。また、例えば境界線８０４を手動で修正すると、画像処理装置１０８の処理により、対応する境界線８０５および全体の輪郭中の境界線８０３も連動して修正して画面上に表示することができる。
【００４２】
このように、本実施例の画像処理装置の処理部は、抽出された複数の部分の輪郭、及び計測対象の全体の輪郭を表示部であるディスプレイに表示する。また、処理部は、抽出された複数の部分の輪郭のうち、互いに接する部分の輪郭である境界線を最適化することによって、互いに接する部分の輪郭の変形を行い、この変形をディスプレイに表示する。更に、処理部は、互いに接する部分の輪郭の一つを修正すると、互いに接する他の部分の輪郭を連動して変形し、この変形をディスプレイに表示することができる。
【００４３】
つぎに、抽出された輪郭から弁輪径、弁高、弁口面積などの診断に有用な項目の計測が行われる。例えば、弁輪径は弁輪上２点の最大径であり、弁高は弁輪スプライン上の最高点と最低点の距離である。作成された輪郭から弁輪の最大径や面積などを自動的に計算する。抽出された輪郭、および計測された弁輪径、弁高、弁口面積などの計測情報をディスプレイ１６へ送信して表示する。このように、画像処理装置の処理部は、計測対象の輪郭から、計測対象の特定部位間の距離を計測し、計測結果である計測情報を表示部に表示することができる。
【００４４】
以上説明した本実施例の超音波撮像装置により、被検体の三次元情報から計測対象の解剖学的定義に基づいた複数の部分の輪郭を抽出し、複数の部分のうち、互い接する部分の輪郭である境界線を最適化し、最適な輪郭から必要な診断項目を計測することで、ロバストかつ高精度な輪郭および計測情報を取得することができる。
【実施例２】
【００４５】
実施例２は、実施例１の超音波撮像装置の画像処理装置において、抽出された輪郭を画面上でユーザが確認して、修正の必要があれば、手動の調整あるいは形状パラメータの調整による半自動で輪郭の変形を行うことが可能な構成の実施例である。
【００４６】
図９は、実施例２の心臓弁計測の全体フローを示す図である。同図のＳ９０１〜Ｓ９０４において、実施例１の図３に示した処理フローと同様に、入力弁ボリュームデータから特徴点検出を行い、特徴点の位置と解剖学的定義に基づいて複数の部分の輪郭を検出し、検出した複数の部分のうち、お互い接する部分の輪郭である境界線を最適化することで部分の輪郭から全体の輪郭を構成する。そして、Ｓ９０５において、ユーザが後で説明する図１０のインタフェース画面上に表示された部分の輪郭を確認して、輪郭修正の要否を判定する。
【００４７】
輪郭修正の必要があると判定されると（ＹＥＳ）、図９のＳ９０６のインタフェースの手動修正、またはパラメータ調整等を使った半自動修正により輪郭修正を行う。この修正により、Ｓ９０４の境界線最適化により輪郭の変形が実行され、適切な計測対象の輪郭を抽出することが可能となる。一方、輪郭修正の必要がないと判断されれば（ＮＯ）、診断の項目計測Ｓ９０７に移る。Ｓ９０６で修正された輪郭、或いは修正が必要ないとされた輪郭に基づき項目の計測を行い、Ｓ９０８の計測結果出力で、ディスプレイ１６へ送信して計測結果を表示することができる。
【００４８】
図１０に、本実施例における画像表示部であるディスプレイ１６に表示される手動修正および形状パラメータ調整による半自動修正用のインタフェースの一例を図示した。インタフェース１０００は、表示する部分を選択する部分選択指示ボタン１００１、抽出された部分の輪郭を画像上に表示する表示領域１００２、手動修正指示ボタン１００３、半自動修正に用いる形状パラメータ調整用のコントロールバー１００４、計測数値表示領域１００８を備えている。なお、部分選択指示ボタン１００１が選択されると、部分選択指示ボタン１００５のようにハイライト表示される。
【００４９】
ユーザが抽出され、計測数値表示領域１００８に表示した形状の数値を画面上で確認して、修正の必要があれば、ユーザが手動で形状を微調整することができる。具体的にはユーザが手動補正指示ボタン１００３を押すことにより、予め記憶された手動補正用プログラムがＣＰＵ１上で実行状態になり、画像表示領域１００２に表示された特定部位形状１００７の所望の部位１００６を、ユーザがマウスでドラッグアンドドロップするなどして変形することに応答し、その部位の付近の局所的な輪郭を手動で修正することが可能となる。また、パラメータ調整で全体の形状を調整することができる。ユーザがコントロールバー１００４を調整すると、対応する僧帽弁の拡大縮小、回転および形状の変形などを半自動で行うことができる。つぎに、修正後の輪郭１００２から観測部位の大きさや面積などを計測し、これら計測した数値をインタフェース１０００の画面上の計測値表示領域１００８に再表示する。
【００５０】
このように、本実施例の画像処理装置は、インタフェース１０００などの入力部を備え、処理部は、入力部から入力される複数の部分の輪郭の修正指示に対応して、複数の部分の輪郭の変形を行う。また、画像処理装置の処理部は、画像表示部にパラメータ調整のコントロールバーを表示し、コントロールバーの調整による修正指示に対応して、複数の部分の輪郭の変形を行う。更に、画像処理装置の処理部は、表示部に表示された複数の部分の輪郭の所望部位のドラッグアンドドロップに対応して、所望部位の変形を行う。
【００５１】
本実施例によれば、抽出された輪郭を画面上でユーザが確認して、修正の必要があれば、手動修正または形状パラメータの調整による半自動で輪郭の修正を行うことができるので、より正確な輪郭を抽出し、診断の項目を計測することが可能となる。
【実施例３】
【００５２】
実施例３は、実施例１、２の超音波撮像装置の画像処理装置において、僧帽弁と大動脈弁などの２つまたは２つ以上の接する臓器を対象として、全体の輪郭を抽出し、診断に有用な計測情報を提供する構成の実施例である。
【００５３】
図１１は、心臓僧帽弁および大動脈弁抽出の処理フローの一例を示す図である。Ｓ１１０１において、心臓僧帽弁と大動脈弁が含まれるボリュームデータが入力される。Ｓ１１０２において、入力弁ボリュームデータから僧帽弁と大動脈弁に設定される特徴点の検出が行われる。つぎに、Ｓ１１０３において、実施例１の方法によって僧帽弁を複数の部分に分割して輪郭を抽出する。また、大動脈弁輪郭抽出Ｓ１１０４において、実施例１の方法と同様に、解剖学的定義に基づいて大動脈弁を複数の部分に分割して輪郭を抽出する。Ｓ１１０５において、抽出された僧帽弁と大動脈弁の輪郭のうち、互いに接する部分の輪郭である境界線に対し、実施例１のＳ３０４と同様な方法によって、境界線の最適化が行われる。境界線を最適化することによって、僧帽弁と大動脈弁を組み合わせて２つの臓器の全体の輪郭を作成することができる。つぎに、Ｓ１１０６〜Ｓ１１０９において実施例２のＳ９０５〜Ｓ９０８に示した処理フローと同様に、抽出された輪郭を画面上でユーザが確認して、修正の必要があれば、手動の調整および形状パラメータの調整による輪郭の変形を行う。Ｓ１１０７で手動／半自動修正された、或いは修正が必要ないとされた輪郭に基づき項目の計測を行い、Ｓ１１０９の計測結果出力で、ディスプレイ１６へ送信して計測結果を表示することができる。
【００５４】
図１２に、本実施例における心臓僧帽弁および大動脈弁輪郭抽出の一例を図示した。Ｓ１１０３で抽出された僧帽弁輪郭１２０１、およびＳ１１０４で抽出された大動脈弁輪郭１２０２において、お互いに接する部分の境界線１２０４に対して、実施例１のＳ３０４と同様に距離や形状の情報を用いて最適化を行い、僧帽弁と大動脈弁という２つの接する臓器の最適化された輪郭に基づき、全体の輪郭１２０３を抽出することができる。
【００５５】
なお、本発明は上記した実施例に限定されるものではなく、様々な臓器に対応する例が含まれる。例えば、上記した実施例は本発明のより良い理解のために詳細に説明したのであり、必ずしも説明の全ての構成を備えるものに限定されものではない。また、ある実施例の構成の一部を他の実施例の構成に置き換えることが可能であり、また、ある実施例の構成に他の実施例の構成を加えることが可能である。また、各実施例の構成の一部について、他の構成の追加・削除・置換をすることが可能である。
【００５６】
更に、上述した各構成、機能、処理部等は、それらの一部又は全部を実現するプログラムを作成して、ＣＰＵが実行する例を説明したが、それらの一部又は全部を例えば集積回路で設計する等によりハードウェアで実現しても良いことは言うまでもない。すなわち、画像処理装置の全部または一部の機能は、プログラムに代え、例えば、ＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ  Ｓｐｅｃｉｆｉｃ  Ｉｎｔｅｇｒａｔｅｄ  Ｃｉｒｃｕｉｔ）、ＦＰＧＡ（Ｆｉｅｌｄ  Ｐｒｏｇｒａｍｍａｂｌｅ  Ｇａｔｅ  Ａｒｒａｙ）などの集積回路などにより実現してもよい。
【符号の説明】
【００５７】
１  ＣＰＵ
２  ＲＯＭ
３  ＲＡＭ
４  記憶装置
５  バス
７  超音波探触子
１１  媒体入力部
１２  記憶媒体
１３  入力制御部
１４  入力装置
１５  表示制御部
１６  ディスプレイ
１００  超音波撮像装置
１０１  送受切替部
１０２  送信部
１０５  受信部
１０６  制御部
１０７  画像生成部
１０８  画像処理装置
１２０  被検体
１２１  ユーザインタフェース（ＵＩ）
６０１  プロファイルモデル
６０２  シェイプモデル
７０１、７０２  互いに接する部分
７０３、７０４、８０４、８０５  互いに接する部分の輪郭である境界線
７０５、８０３  境界線
７０６、８０２、１２０３  全体の輪郭
７０７、１２０４  最適化された境界線
８０１  複数の部分輪郭
１０００  インタフェース
１００１、１００５  部分選択指示ボタン
１００２  画像表示領域
１００３  手動修正指示ボタン
１００４  コントロールバー
１００６  部位
１００７  特定部位形状
１００８  計測数値表示領域
１２０１  僧房弁輪郭
１２０２  大動脈弁輪郭
【図１】
2018051001.tif 000004
【図２】
2018051001.tif 000005
【図３】
2018051001.tif 000006
【図４】
2018051001.tif 000007
【図５】
2018051001.tif 000008
【図６】
2018051001.tif 000009
【図７】
2018051001.tif 000010
【図８】
2018051001.tif 000011
【図９】
2018051001.tif 000012
【図１０】
2018051001.tif 000013
【図１１】
2018051001.tif 000014
【図１２】
2018051001.tif 000015