(57)【要約】【課題】心臓弁に対する器具の位置と進行方向とを視認可能な表示画像を生成すること。【解決手段】実施形態の超音波診断装置は、取得部と、決定部と、生成部と、表示制御部とを備える。取得部は、超音波プローブを用いて撮像された、被検体の心臓弁と前記被検体の心腔内に挿入されたカテーテルとを含む領域の３次元医用画像データを取得する。決定部は、前記カテーテルの先端部の形状を表す形状情報、及び、前記先端部の超音波の反射特性を表す反射特性情報のうち少なくとも一方を用いて、前記３次元医用画像データに含まれる前記先端部の位置及び姿勢情報を得ることにより、前記先端部の進行方向を決定する。生成部は、前記先端部の位置及び進行方向に基づいて、前記３次元医用画像データから表示画像を生成する。表示制御部は、前記表示画像を表示させる。【選択図】図１
2017153953.tif 000002
【特許請求の範囲】
【請求項１】
超音波プローブを用いて撮像された、被検体の心臓弁と前記被検体の心腔内に挿入されたカテーテルとを含む領域の３次元医用画像データを取得する取得部と、
前記カテーテルの先端部の形状を表す形状情報、及び、前記先端部の超音波の反射特性を表す反射特性情報のうち少なくとも一方を用いて、前記３次元医用画像データに含まれる前記先端部の位置及び姿勢情報を得ることにより、前記先端部の進行方向を決定する決定部と、
前記先端部の位置及び進行方向に基づいて、前記３次元医用画像データから表示画像を生成する生成部と、
前記表示画像を表示させる表示制御部と、
を備える、超音波診断装置。
【請求項２】
前記先端部は、僧帽弁に留置されるクリップ部又は人工弁を含む、
請求項１に記載の超音波診断装置。
【請求項３】
前記表示画像は、前記３次元医用画像データを３次元的に表現する画像である、請求項１に記載の超音波診断装置。
【請求項４】
前記表示画像は、ボリュームレンダリング画像又はサーフェスレンダリング画像である、請求項３に記載の超音波診断装置。
【請求項５】
前記表示画像は、前記先端部の位置に基づく視点と、前記先端部の進行方向に基づく視線とを用いて生成されたボリュームレンダリング画像又はサーフェスレンダリング画像である、請求項４に記載の超音波診断装置。
【請求項６】
前記生成部は、前記先端部の進行方向に沿った断面像を、前記表示画像として生成する、
請求項１〜５のいずれか一つに記載の超音波診断装置。
【請求項７】
前記心臓弁の位置及び姿勢に対して前記カテーテルが設置されるべき位置及び姿勢を推定する弁位置姿勢推定部を更に備える、
請求項１〜６のいずれか一つに記載の超音波診断装置。
【請求項８】
前記表示制御部は、前記推定部により推定された前記カテーテルの位置及び姿勢が、前記弁位置姿勢推定部により推定された前記カテーテルが設置されるべき位置及び姿勢に近づく方向ないし離れる方向を表す画像を前記表示画像と同時に表示させる、
請求項７に記載の超音波診断装置。
【請求項９】
異なる時刻における前記カテーテルの位置に基づいて、前記カテーテルの移動方向を決定する移動方向決定部を更に備え、
前記表示制御部は、前記移動方向決定部により決定された前記カテーテルの移動方向を表す画像を前記表示画像と同時に表示させる、
請求項１〜８のいずれか一つに記載の超音波診断装置。
【請求項１０】
前記表示制御部は、前記被検体を透過したＸ線に基づいて生成されたＸ線画像を、前記表示画像と同時に表示させる、
請求項１〜９のいずれか一つに記載の超音波診断装置。
【請求項１１】
前記取得部は、前記被検体に対する術前シミュレーションの結果から、前記カテーテルが前記被検体の心臓弁に設置されるまでの移動の軌跡を取得し、
前記表示制御部は、前記３次元医用画像データに対する前記移動の軌跡の位置合わせを行って、前記カテーテルの進路誘導を行うための画像を表示させる、
請求項１〜１０のいずれか一つに記載の超音波診断装置。
【請求項１２】
前記被検体に対する術前シミュレーションにより得られる前記心臓弁の動きのモデルに基づいて、前記先端部の留置位置がどの程度適切であるかの度合いを判定する判定部と、
前記判定部による判定結果を報知する報知部と、
を更に備える、
請求項１〜１１のいずれか一つに記載の超音波診断装置。
【請求項１３】
前記３次元医用画像データの３次元空間における位置を検知する検知部を更に備え、
前記表示制御部は、前記検知部により検知された前記３次元空間における位置と、前記３次元空間に対する被検体の位置とに基づいて、前記被検体の座標系における前記カテーテルの操作方向を表示させる、
請求項１〜１２のいずれか一つに記載の超音波診断装置。
【請求項１４】
前記３次元医用画像データの３次元空間における位置を検知する検知部を更に備え、
前記表示制御部は、前記検知部により検知された前記３次元空間における位置と、前記３次元空間に対する操作者の位置とに基づいて、前記操作者の座標系における前記カテーテルの操作方向を表示させる、
請求項１〜１２のいずれか一つに記載の超音波診断装置。
【請求項１５】
前記３次元医用画像データの３次元空間における位置を検知する検知部を更に備え、
前記表示制御部は、前記検知部により検知された前記３次元空間における位置と、前記３次元空間に対する前記Ｘ線画像の位置とに基づいて、前記Ｘ線画像の座標系における前記カテーテルの操作方向を表示させる、
請求項１０に記載の超音波診断装置。
【請求項１６】
前記生成部は、操作者の指示に応じて、前記先端部を視点とするボリュームレンダリング画像、若しくは前記先端部より後方の位置を視点とするボリュームレンダリング画像を生成する、
請求項１〜１５のいずれか一つに記載の超音波診断装置。
【請求項１７】
前記３次元医用画像データは、前記超音波プローブである経食道心エコーにより撮像されたデータである、
請求項１〜１６のいずれか一つに記載の超音波診断装置。
【請求項１８】
前記表示制御部は、前記先端部が留置された場合に、前記先端部を含む断面像を表示させる、
請求項１〜１７のいずれか一つに記載の超音波診断装置。
【請求項１９】
超音波プローブを用いて撮像された、被検体の心臓弁と前記被検体の心腔内に挿入されたカテーテルとを含む領域の３次元医用画像データを取得し、
前記カテーテルの先端部の形状を表す形状情報、及び、前記先端部の超音波の反射特性を表す反射特性情報のうち少なくとも一方を用いて、前記３次元医用画像データに含まれる前記先端部の位置及び姿勢情報を得ることにより、前記先端部の進行方向を決定し、
前記先端部の位置及び進行方向に基づいて、前記３次元医用画像データから表示画像を生成し、
前記表示画像を表示させる、
各処理をコンピュータに実行させる、画像処理プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明の実施形態は、超音波診断装置及び画像処理プログラムに関する。
【背景技術】
【０００２】
従来、心臓手術治療において、被検体内の画像を撮像することで治療を支援する技術が種々提案されている。例えば、僧帽弁閉鎖不全症の治療では、大腿部（大腿静脈）の血管から心臓の僧帽弁へカテーテルを挿入し、僧帽弁をクリップ形状の器具で留めることにより、逆流量を減らす治療が行われている。この治療においては、例えば、手術中に撮影されるＸ線透視像と経食道心エコー（ＴＥＥ：Transesophageal  Echocardiography）図とを用いて、僧帽弁に向かって挿入される器具（カテーテル）の位置を正確に表示する技術が提案されている。また、例えば、手術前に撮影されたＣＴ（Computed  Tomography）画像と手術中の画像とを位置合わせすることで、カテーテルの進路を誘導するための画像を表示する技術も提案されている。
【０００３】
また、穿刺針の移動に追従して視野を変える技術が提案されている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００４−２１５７０１号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
本発明が解決しようとする課題は、心臓弁に対する器具の位置と進行方向とを視認可能な表示画像を生成することができる超音波診断装置及び画像処理プログラムを提供することである。
【課題を解決するための手段】
【０００６】
実施形態の超音波診断装置は、取得部と、決定部と、生成部と、表示制御部とを備える。取得部は、超音波プローブを用いて撮像された、被検体の心臓弁と前記被検体の心腔内に挿入されたカテーテルとを含む領域の３次元医用画像データを取得する。決定部は、前記カテーテルの先端部の形状を表す形状情報、及び、前記先端部の超音波の反射特性を表す反射特性情報のうち少なくとも一方を用いて、前記３次元医用画像データに含まれる前記先端部の位置及び姿勢情報を得ることにより、前記先端部の進行方向を決定する。生成部は、前記先端部の位置及び進行方向に基づいて、前記３次元医用画像データから表示画像を生成する。表示制御部は、前記表示画像を表示させる。
【図面の簡単な説明】
【０００７】
【図１】図１は、第１の実施形態に係る超音波診断装置の例を示す図である。
【図２】図２は、第１の実施形態に係る記憶回路に記憶される情報の一例を説明するための図である。
【図３】図３は、第１の実施形態に係る推定機能の処理を説明するための図である。
【図４】図４は、第１の実施形態に係る生成機能により生成される表示画像の一例を示す図である。
【図５】図５は、第１の実施形態に係る超音波診断装置の処理手順を示すフローチャートである。
【図６】図６は、第１の実施形態の変形例１に係る生成機能により生成される表示画像の一例を示す図である。
【図７】図７は、第１の実施形態の変形例３に係る生成機能により生成される表示画像の一例を示す図である。
【図８】図８は、第２の実施形態に係る超音波診断装置の例を示すブロック図である。
【図９】図９は、第２の実施形態に係る表示制御機能により表示される表示画像の一例を示す図である。
【図１０】図１０は、第２の実施形態の変形例に係る超音波診断装置の例を示すブロック図である。
【図１１】図１１は、第３の実施形態の変形例に係る超音波診断装置の例を示すブロック図である。
【図１２】図１２は、第４の実施形態に係る超音波診断装置の例を示すブロック図である。
【発明を実施するための形態】
【０００８】
以下、図面を参照して、実施形態に係る超音波診断装置及び画像処理プログラムを説明する。
【０００９】
（第１の実施形態）
図１は、第１の実施形態に係る超音波診断装置１の例を示す図である。図１に示すように、第１の実施形態に係る超音波診断装置１は、超音波プローブ１０１と、入力装置１０２と、ディスプレイ１０３と、装置本体１００とを有する。超音波プローブ１０１、入力装置１０２、及びディスプレイ１０３は、装置本体１００と通信可能に接続される。なお、被検体Ｐは、超音波診断装置１の構成に含まれない。
【００１０】
超音波プローブ１０１は、超音波の送受信を行う。例えば、超音波プローブ１０１は、複数の圧電振動子（図示せず）を有する。これら複数の圧電振動子は、後述する装置本体１００が有する送受信回路１１０から供給される駆動信号に基づき超音波を発生する。また、超音波プローブ１０１が有する複数の圧電振動子は、被検体Ｐからの反射波を受信して電気信号に変換する。また、超音波プローブ１０１は、圧電振動子に設けられる整合層（図示せず）と、圧電振動子から後方への超音波の伝播を防止するバッキング材（図示せず）等を有する。なお、超音波プローブ１０１は、装置本体１００と着脱自在に接続される。
【００１１】
超音波プローブ１０１から被検体Ｐに超音波が送信されると、送信された超音波は、被検体Ｐの体内組織における音響インピーダンスの不連続面で次々と反射される。反射波は、超音波プローブ１０１が有する複数の圧電振動子に反射波信号として受信される。受信される反射波信号の振幅は、超音波が反射される不連続面における音響インピーダンスの差に依存する。なお、送信された超音波パルスが、移動している血流や心臓壁等の表面で反射された場合の反射波信号は、ドプラ効果により、移動体の超音波送信方向に対する速度成分に依存して、周波数偏移を受ける。
【００１２】
例えば、第１の実施形態に係る超音波プローブ１０１は、経食道心エコー用超音波（ＴＥＥ：Transesophageal  Echocardiography）プローブである。ＴＥＥプローブである超音波プローブ１０１は、被検体Ｐの体内に経口で挿入され、食道や胃等の上部消化管に当接される。そして、超音波プローブ１０１は、複数の圧電振動子を機械的に回転させることにより、任意の断面を撮像したり、３次元超音波画像データ（ボリュームデータ）を撮像したりする。あるいは超音波プローブ１０１は、複数の超音波振動子がマトリックス状に配置されることで、被検体Ｐを３次元で超音波走査することが可能な２次元アレイ超音波プローブである場合であってもよい。２次元アレイ超音波プローブは、超音波を電子的に集束して送受信することで、被検体Ｐを電子的に３次元で走査することが可能である。なお、３次元超音波画像データは、３次元医用画像データの一例である。
【００１３】
入力装置１０２は、マウス、キーボード、ボタン、パネルスイッチ、タッチコマンドスクリーン、フットスイッチ、トラックボール、ジョイスティック等の装置に対応する。入力装置１０２は、超音波診断装置１の操作者からの各種設定要求を受け付け、受け付けた各種設定要求を装置本体１００に対して送信する。
【００１４】
ディスプレイ１０３は、超音波診断装置１の操作者が入力装置１０２を用いて各種設定要求を入力するためのＧＵＩ（Graphical  User  Interface）や、装置本体１００において生成された超音波画像データ等を表示する。
【００１５】
装置本体１００は、超音波プローブ１０１が受信した反射波信号に基づいて超音波画像データを生成する。装置本体１００により生成される超音波画像データは、２次元の反射波信号に基づいて生成される２次元の超音波画像データであっても、３次元の反射波信号に基づいて生成される３次元の超音波画像データであってもよい。
【００１６】
装置本体１００は、図１に例示するように、送受信回路１１０と、信号処理回路１２０と、画像処理回路１３０と、画像メモリ１４０と、記憶回路１５０と、処理回路１６０とを備える。送受信回路１１０、信号処理回路１２０、画像処理回路１３０、画像メモリ１４０、記憶回路１５０、及び処理回路１６０は、互いに通信可能に接続される。
【００１７】
送受信回路１１０は、後述する処理回路１６０の指示に基づいて、超音波プローブ１０１が行う超音波送受信を制御する。送受信回路１１０は、パルス発生器（図示せず）、送信遅延回路（図示せず）、パルサ（図示せず）等を有し、超音波プローブ１０１に駆動信号を供給する。パルス発生器は、所定の繰り返し周波数（ＰＲＦ：Pulse  Repetition  Frequency）で送信超音波を形成するためのレートパルスを繰り返し発生する。また、送信遅延回路は、超音波プローブ１０１から発生される超音波をビーム状に集束し、かつ送信指向性を決定するために必要な圧電振動子ごとの遅延時間を、パルス発生器が発生する各レートパルスに対し与える。また、パルサは、レートパルスに基づくタイミングで、超音波プローブ１０１に駆動信号（駆動パルス）を印加する。すなわち、送信遅延回路は、各レートパルスに対し与える遅延時間を変化させることで、圧電振動子面から送信される超音波の送信方向を任意に調整する。
【００１８】
なお、送受信回路１１０は、後述する処理回路１６０の指示に基づいて、所定のスキャンシーケンスを実行するために、送信周波数、送信駆動電圧等を瞬時に変更することが可能である。特に、送信駆動電圧の変更は、瞬時にその値を切り替え可能なリニアアンプ型の発信回路（図示せず）、又は、複数の電源ユニット（図示せず）を電気的に切り替える機構によって実現される。
【００１９】
また、例えば、送受信回路１１０は、アンプ回路（図示せず）、Ａ／Ｄ（Analog／Digital）変換器（図示せず）、加算器（図示せず）、位相検波回路（図示せず）を有し、超音波プローブ１０１が受信した反射波信号に対して各種処理を行なって反射波データを生成する。アンプ回路は、反射波信号をチャンネルごとに増幅してゲイン補正処理を行う。Ａ／Ｄ変換器は、ゲイン補正された反射波信号をＡ／Ｄ変換し、デジタルデータに受信指向性を決定するのに必要な遅延時間を与える。加算器は、Ａ／Ｄ変換器によって処理された反射波信号の加算処理を行う。加算器の加算処理により、反射波信号の受信指向性に応じた方向からの反射成分が強調される。位相検波回路は、加算器の出力信号をベースバンド帯域の同相信号（Ｉ信号、Ｉ：In-phase）と直交信号（Ｑ信号、Ｑ：Quadrature-phase）とに変換する。そして、位相検波回路は、Ｉ信号及びＱ信号（ＩＱ信号）を後段の信号処理回路１２０に送る。なお、位相検波回路による処理前のデータは、ＲＦ信号とも呼ばれる。以下では、超音波の反射波に基づいて生成された「ＩＱ信号、ＲＦ信号」をまとめて、「反射波データ」と記載する。
【００２０】
信号処理回路１２０は、送受信回路１１０が反射波信号から生成した反射波データに対して、各種の信号処理を行う。信号処理回路１２０は、バッファから読み出した反射波データ（ＩＱ信号）に対して、対数増幅、包絡線検波処理、対数圧縮などを行って、多点の信号強度が輝度の明るさで表現されるデータ（Ｂモードデータ）を生成する。
【００２１】
また、信号処理回路１２０は、反射波データを周波数解析することで、走査範囲内にある移動体のドプラ効果に基づく運動情報を抽出したデータ（ドプラデータ）を生成する。具体的には、信号処理回路１２０は、移動体の運動情報として、平均速度、平均分散値、平均パワー値等を、複数のサンプル点それぞれで推定したドプラデータを生成する。ここで、移動体とは、例えば、血流や、心壁等の組織、造影剤である。本実施形態に係る信号処理回路１２０は、血流の運動情報（血流情報）として、血流の平均速度、血流の平均分散値、血流の平均パワー値等を、複数のサンプル点それぞれで推定したドプラデータを生成する。
【００２２】
画像処理回路１３０は、信号処理回路１２０が生成した各種データから超音波画像データを生成する。画像処理回路１３０は、信号処理回路１２０が生成した２次元のＢモードデータから反射波の強度を輝度で表した２次元のＢモード画像データを生成する。また、画像処理回路１３０は、信号処理回路１２０が生成した２次元のドプラデータから血流情報が映像化された２次元のドプラ画像データを生成する。２次元のドプラ画像データは、速度画像データ、分散画像データ、パワー画像データ、又は、これらを組み合わせた画像データである。画像処理回路１３０は、ドプラ画像データとして、血流情報がカラーで表示されるカラードプラ画像データを生成したり、１つの血流情報がグレースケールで表示されるドプラ画像データを生成したりする。なお、画像処理回路１３０は、画像生成部の一例である。
【００２３】
ここで、画像処理回路１３０は、一般的には、超音波走査の走査線信号列を、テレビに代表されるビデオフォーマットの走査線信号列に変換（スキャンコンバート）し、超音波画像データを生成する。具体的には、画像処理回路１３０は、超音波プローブ１０１による超音波の走査形態に応じて座標変換を行うことで、超音波画像データを生成する。また、画像処理回路１３０は、スキャンコンバート以外に、種々の画像処理を行ってもよい。例えば、画像処理回路１３０は、スキャンコンバート後の複数の画像フレームを用いて、輝度の平均値画像を再生成する画像処理（平滑化処理）や、画像内で微分フィルタを用いる画像処理（エッジ強調処理）を行う。また、画像処理回路１３０は、超音波画像データに、種々のパラメータの文字情報、目盛り、ボディーマーク等を合成する。
【００２４】
すなわち、Ｂモードデータ及びドプラデータは、スキャンコンバート処理前の超音波画像データであり、画像処理回路１３０が生成するデータは、スキャンコンバート処理後の超音波画像データである。なお、Ｂモードデータ及びドプラデータは、生データ（Raw  Data）とも呼ばれる。画像処理回路１３０は、スキャンコンバート処理前の２次元の超音波画像データから、２次元の超音波画像データを生成する。
【００２５】
更に、画像処理回路１３０は、信号処理回路１２０が生成した３次元のＢモードデータに対して座標変換を行うことで、３次元のＢモード画像データを生成する。また、画像処理回路１３０は、信号処理回路１２０が生成した３次元のドプラデータに対して座標変換を行うことで、３次元のドプラ画像データを生成する。
【００２６】
更に、画像処理回路１３０は、ボリュームデータをディスプレイ１０３にて表示するための各種の２次元画像データを生成するために、ボリュームデータに対してレンダリング処理を行う。画像処理回路１３０が行うレンダリング処理としては、例えば、断面再構成法（ＭＰＲ：Multi  Planer  Reconstruction）を行ってボリュームデータからＭＰＲ画像データを生成する処理がある。また、画像処理回路１３０が行うレンダリング処理としては、例えば、３次元の情報を反映した２次元画像データを生成するボリュームレンダリング（ＶＲ：Volume  Rendering）処理がある。
【００２７】
画像メモリ１４０は、画像処理回路１３０が生成した超音波画像データを記憶するメモリである。また、画像メモリ１４０は、信号処理回路１２０や信号処理回路１２０が生成したデータを記憶することも可能である。画像メモリ１４０が記憶するＢモードデータやドプラデータは、例えば、診断の後に操作者が呼び出すことが可能となっており、画像処理回路１３０を経由して超音波画像データとなる。また、画像メモリ１４０は、送受信回路１１０が出力した反射波データを記憶することも可能である。
【００２８】
記憶回路１５０は、超音波送受信、画像処理及び表示処理を行うための制御プログラムや、診断情報（例えば、患者ＩＤ、医師の所見等）や、診断プロトコルや各種ボディーマーク等の各種データを記憶する。また、記憶回路１５０は、必要に応じて、画像メモリ１４０が記憶する画像データの保管等にも使用される。また、記憶回路１５０が記憶するデータは、図示しないインターフェースを経由して、外部装置へ送信することができる。また、記憶回路１５０は、外部装置から図示しないインターフェースを経由して送信されたデータを記憶することも可能である。
【００２９】
処理回路１６０は、超音波診断装置１の処理全体を制御する。具体的には、処理回路１６０は、入力装置１０２を介して操作者から入力された各種設定要求や、記憶回路１５０から読み込んだ各種制御プログラム及び各種データに基づき、送受信回路１１０、信号処理回路１２０、及び画像処理回路１３０の処理を制御する。
【００３０】
また、処理回路１６０は、画像メモリ１４０や記憶回路１５０が記憶する超音波画像データを、表示用の超音波画像としてディスプレイ１０３にて表示するよう制御する。例えば、処理回路１６０は、画像処理回路１３０によって生成されたカラードプラ画像データを、表示用のカラードプラ画像としてディスプレイ１０３に表示させる。また、例えば、処理回路１６０は、画像処理回路１３０によって生成されたＢモードデータを、表示用のＢモード画像としてディスプレイ１０３に表示させる。
【００３１】
処理回路１６０は、取得機能１６１と、推定機能１６２と、決定機能１６３と、生成機能１６４と、表示制御機能１６５とを実行する。取得機能１６１、推定機能１６２、決定機能１６３、生成機能１６４、及び表示制御機能１６５が実行する各処理機能は、例えば、コンピュータによって実行可能なプログラムの形態で記憶回路１５０に記録されている。処理回路１６０は、各プログラムを記憶回路１５０から読み出し、実行することで各プログラムに対応する機能を実現するプロセッサである。各プログラムを記憶回路１５０から読み出した状態の処理回路１６０は、図１の処理回路１６０内に示された各機能を有することとなる。取得機能１６１、推定機能１６２、決定機能１６３、生成機能１６４、及び表示制御機能１６５が実行する処理については、後述する。
【００３２】
また、本実施形態においては、単一の処理回路１６０にて、上述した各処理機能が実現されるものとして説明するが、複数の独立したプロセッサを組み合わせて処理回路を構成し、各プロセッサがプログラムを実行することにより機能を実現するものとしても構わない。
【００３３】
上記説明において用いた「プロセッサ」という文言は、例えば、ＣＰＵ（Central  Processing  Unit）、ＧＰＵ(Graphics  Processing  Unit)、或いは、特定用途向け集積回路（Application  Specific  Integrated  Circuit：ＡＳＩＣ）、プログラマブル論理デバイス（例えば、単純プログラマブル論理デバイス（Simple  Programmable  Logic  Device：ＳＰＬＤ）、複合プログラマブル論理デバイス（Complex  Programmable  Logic  Device：ＣＰＬＤ）、及びフィールドプログラマブルゲートアレイ（Field  Programmable  Gate  Array：ＦＰＧＡ））等の回路を意味する。プロセッサは記憶回路に保存されたプログラムを読み出し実行することで機能を実現する。なお、記憶回路１５０にプログラムを保存する代わりに、プロセッサの回路内にプログラムを直接組み込むよう構成しても構わない。この場合、プロセッサは回路内に組み込まれたプログラムを読み出し実行することで機能を実現する。なお、本実施形態の各プロセッサは、プロセッサごとに単一の回路として構成される場合に限らず、複数の独立した回路を組み合わせて１つのプロセッサとして構成し、その機能を実現するようにしてもよい。更に、各図における複数の構成要素を１つのプロセッサへ統合してその機能を実現するようにしてもよい。
【００３４】
なお、以下の説明では、一例として、本実施形態に係る超音波診断装置１が僧帽弁閉鎖不全症のカテーテル治療で利用される場合を説明する。具体的には、心臓の左心房と左心室とを隔てる僧帽弁を、カテーテルにより挿入されるクリップ形状の器具で留めることにより、逆流量を減らすための治療に適用される場合を説明する。しかしながら、実施形態はこれに限定されるものではなく、例えば、左心室と大動脈とを隔てる大動脈弁、右心房と右心室とを隔てる三尖弁、右心室と肺動脈とを隔てる肺動脈弁等、任意の心臓弁の治療についても適用可能である。
【００３５】
記憶回路１５０は、カテーテルに関する情報を記憶する。例えば、記憶回路１５０は、カテーテルの先端の形状を表す形状情報、及び、カテーテルの先端の超音波の反射特性を表す反射特性情報を記憶する。つまり、記憶回路１５０は、超音波画像データであるボリュームデータにおいて、カテーテルがどのように描出されるかの要因となる要因情報を記憶する。なお、記憶回路１５０は、記憶部の一例である。また、カテーテルは、器具の一例である。
【００３６】
図２は、記憶回路１５０に記憶される情報の一例を説明するための図である。例えば、記憶回路１５０は、カテーテルの先端部１０に関する情報を記憶する。ここで、カテーテルの先端部１０は、例えば、クリップ部１１と、管状部１２とを含む。クリップ部１１は、僧帽弁を留めるための部分である。具体的には、クリップ部１１は、僧帽弁を構成する２つの弁を引き合わせることで、僧帽弁の閉鎖不全を改善する。また、管状部１２は、先端部１０に取り付けられたクリップ部１１を僧帽弁まで挿入させるために、カテーテルの操作者（術者）により操作される部分である。僧帽弁を留める場合、クリップ部１１は、管状部１２から分離され、被検体Ｐの体内に留置される。
【００３７】
例えば、記憶回路１５０は、カテーテルの先端部１０の形状情報と、反射特性情報とを記憶する。形状情報は、カテーテルの先端部１０の形状を表す情報である。例えば、形状情報は、カテーテルの先端部１０に含まれるクリップ部１１及び管状部１２の３次元的な形状の情報であり、細長さや球形度等に関する特徴量が含まれる。また、反射特性情報は、カテーテルの先端部１０の超音波の反射特性を表す情報である。例えば、反射特性情報は、超音波プローブ１０１からの送信超音波がクリップ部１１によって反射された場合の反射波信号の強度と、送信超音波が管状部１２によって反射された場合の反射波信号の強度とを含む。反射波信号の強度は、クリップ部１１及び管状部１２の組成（材質）によって異なる。
【００３８】
なお、上記の説明は一例に過ぎない。例えば、記憶回路１５０は、必ずしも形状情報及び反射特性の双方を記憶していなくてもよく、いずれか一方のみを記憶する場合であってもよい。また、図２では、クリップを用いたカテーテル治療への適用例を示したが、実施形態はこれに限定されるものではない。例えば、人工弁を用いたカテーテル治療に対しても適用可能である。この場合には、記憶回路１５０は、例えば、人工弁が先端に取り付けられたカテーテルの形状情報及び反射特性情報を記憶する。言い換えると、カテーテルの先端部は、僧帽弁に留置されるクリップ部又は人工弁を含む。
【００３９】
また、本実施形態は、クリップや人工弁に限らず、人工弁輪や人工腱索など、他の器具が用いられる場合にも適用可能である。人工弁輪は、例えば、弁輪が拡大することにより閉鎖不全となった場合に、弁輪の周囲に埋め込んで拡大した弁輪を収縮させるための器具である。また、人工腱索は、例えば、腱索の延長や切断により閉鎖不全となった場合に、弁尖と乳頭筋（若しくは心尖部付近）とを結びつけるための器具である。
【００４０】
取得機能１６１は、被検体Ｐの心臓弁と被検体Ｐの体内に挿入された器具とが超音波プローブ１０１を用いて撮像された３次元医用画像データを取得する。例えば、取得機能１６１は、僧帽弁とカテーテルの先端部１０とが撮像された時刻のボリュームデータを、画像メモリ１４０から取得する。なお、取得機能１６１は、取得部の一例である。言い換えると、取得機能１６１は、超音波プローブを用いて撮像された、被検体の心臓弁と前記被検体の心腔内に挿入されたカテーテルとを含む領域の３次元医用画像データを取得する。
【００４１】
例えば、僧帽弁閉鎖不全症のカテーテル治療において、操作者は、ＴＥＥプローブを被検体Ｐの体内に経口で挿入し、僧帽弁を含む領域の３次元走査を行う。３次元走査により収集された反射波データは、画像処理回路１３０によりボリュームデータとして生成され、画像メモリ１４０に格納される。取得機能１６１は、画像メモリ１４０に格納されたボリュームデータを取得する。
【００４２】
なお、上記の取得機能１６１の説明は一例に過ぎない。例えば、取得機能１６１は、他の心臓弁が撮像されたボリュームデータを取得しても良い。また、例えば、取得機能１６１は、ＴＥＥプローブ以外の任意の超音波プローブで心臓弁が撮像されたボリュームデータを取得しても良い。また、取得機能１６１は、動画像として生成されるボリュームデータを、フレームごとに取得してもよいし、静止画像として生成される１つのボリュームデータを取得してもよい。
【００４３】
推定機能１６２は、形状情報及び反射特性情報を用いて、３次元医用画像データに含まれる器具の位置及び姿勢を推定する。例えば、推定機能１６２は、記憶回路１５０に記憶された形状情報及び反射特性情報を用いて、ボリュームデータに含まれるカテーテルの位置及び姿勢を推定する。なお、推定機能１６２は、推定部の一例である。また、以下の説明において、位置及び姿勢を包含して「位置姿勢」と表記する場合がある。
【００４４】
例えば、推定機能１６２は、取得機能１６１により取得されたボリュームデータの座標系において、ボリュームデータに含まれる器具（カテーテル）の位置及び姿勢を推定する。ここで、器具の位置は、例えば、ボリュームデータの座標系における「器具の先端の３次元座標」である。また、器具の姿勢は、例えば、「器具の長手方向を示す方向ベクトル」である。
【００４５】
図３は、第１の実施形態に係る推定機能１６２の処理を説明するための図である。図３には、カテーテルが撮像されたボリュームデータが二値化された二値化画像２０を例示する。
【００４６】
図３に示すように、推定機能１６２は、カテーテルの位置及び姿勢を、画像処理により推定する。例えば、推定機能１６２は、記憶回路１５０に記憶されたカテーテルの反射特性情報を用いて、ボリュームデータを二値化する。ここで、超音波画像データから生成された画像上において、心臓付近に挿入されたカテーテルは、心臓領域の輝度に対して比較的高輝度で描出される。つまり、推定機能１６２は、カテーテルの先端部１０によって反射される反射波信号の強度に基づいて、心臓領域とカテーテル領域とを識別可能な輝度の閾値を設定する。そして、推定機能１６２は、設定した閾値を用いてボリュームデータを二値化して、図３に示す二値化画像２０を生成する。なお、二値化画像２０の座標系は、ボリュームデータの座標系と同一、若しくは対応付けられている。
【００４７】
続いて、推定機能１６２は、記憶回路１５０に記憶されたカテーテルの形状情報を用いて、二値化画像２０からカテーテルの位置及び姿勢を推定する。具体的には、推定機能１６２は、二値化画像２０に含まれる高輝度領域について、細長さや球形度等に関する特徴量を算出する。そして、推定機能１６２は、算出した特徴量をクリップ部１１の形状情報及び管状部１２の形状情報のそれぞれと比較することで、二値化画像２０におけるクリップ部１１の領域及び管状部１２の領域をそれぞれ抽出する。そして、推定機能１６２は、例えば、クリップ部１１の領域の重心２１の３次元座標を算出し、算出した３次元座標をカテーテルの位置として推定する。また、推定機能１６２は、例えば、クリップ部１１の領域及び管状部１２の領域の長軸方向を算出し、算出した長軸方向に対応するベクトルをカテーテルの姿勢として推定する。
【００４８】
このように、推定機能１６２は、カテーテルの位置及び姿勢を推定する。すなわち、推定機能１６２は、超音波画像データにおいてカテーテルがどのように描出されるかの要因情報を用いて、カテーテルの位置及び姿勢を推定する。
【００４９】
なお、上記の推定機能１６２の説明は一例に過ぎない。例えば、器具の位置は、クリップ部１１の先端の３次元座標であってもよい。また、器具の姿勢は、クリップ部１１の領域の方向ベクトルであってもよい。また、例えば、推定機能１６２は、必ずしも形状情報及び反射特性の双方を利用しなくても良い。例えば、推定機能１６２は、カテーテルの形状情報のみを用いて、ボリュームデータからカテーテルの位置及び姿勢を推定しても良い。すなわち、推定機能１６２は、形状情報及び反射特性情報のうち少なくとも一方を用いて、カテーテルの位置及び姿勢を推定しても良い。
【００５０】
また、例えば、推定機能１６２は、長軸方向に離れた２箇所における異なる特徴（組成）を利用して、カテーテルの位置及び姿勢を推定しても良い。例えば、推定機能１６２は、クリップ部１１及び管状部１２のそれぞれの形状情報を用いて、二値化画像２０からクリップ部１１及び管状部１２の領域をそれぞれ抽出する。そして、推定機能１６２は、抽出したクリップ部１１及び管状部１２の領域のそれぞれについて、重心を算出する。そして、推定機能１６２は、管状部１２の重心からクリップ部１１の重心へ向かう方向ベクトルを、カテーテルの姿勢として推定してもよい。また、例えば、推定機能１６２は、カテーテルの短軸方向（カテーテルの長軸方向に直行する方向）に離れた２箇所における異なる特徴を利用して、カテーテルの位置及び姿勢を推定しても良い。例えば、管状部１２の短軸方向の互いに非対称な位置に、特徴的な反射特性を有する組成（材質）を配置することで、管状部１２の外周方向（円周方向）を踏まえた位置及び姿勢を推定可能となる。
【００５１】
決定機能１６３は、器具の位置及び姿勢に基づいて、器具の進行方向を決定する。例えば、決定機能１６３は、カテーテルの位置及び姿勢に基づいて、カテーテルの進行方向を決定する。例えば、決定機能１６３は、カテーテルの位置を原点とし、カテーテルの姿勢に対応するベクトルの方向を、カテーテルの進行方向として決定する。例えば、カテーテルの姿勢に対応するベクトルは、カテーテルの長手方向を示す方向ベクトルである。なお、決定機能１６３は、決定部の一例である。言い換えると、決定機能１６３は、カテーテルの先端部の形状を表す形状情報、及び、先端部の超音波の反射特性を表す反射特性情報のうち少なくとも一方を用いて、３次元医用画像データに含まれる先端部の位置及び姿勢情報を得ることにより、先端部の進行方向を決定する。
【００５２】
図３の例では、決定機能１６３は、クリップ部１１の重心２１の３次元座標を原点として決定する。そして、決定機能１６３は、決定した原点からカテーテルの姿勢に対応するベクトルの方向を、カテーテルの進行方向として決定する。
【００５３】
なお、上記の決定機能１６３の説明は一例に過ぎない。例えば、決定機能１６３は、クリップ部１１及び管状部１２の領域の重心をカテーテルの位置として算出する。そして、決定機能１６３は、算出したクリップ部１１及び管状部１２の領域の重心を原点としてカテーテルの進行方向を決定してもよい。また、例えば、決定機能１６３は、管状部１２の重心を原点とし、原点からクリップ部１１の重心へ向かう方向ベクトルをカテーテルの姿勢として算出する。そして、決定機能１６３は、算出した方向ベクトルを進行方向として決定してもよい。なお、カテーテル全体としては体内を湾曲しながら進行するため、進行方向はカテーテルの先端領域の位置・姿勢に基づいて求められることが好ましい。
【００５４】
生成機能１６４は、器具の位置及び進行方向に基づいて、３次元医用画像データから表示画像を生成する。例えば、生成機能１６４は、器具の位置に基づく位置を視点とし、器具の進行方向を視線とするボリュームレンダリング（ＶＲ：Volume  Rendering）画像を、表示画像として生成する。なお、生成機能１６４は、生成部の一例である。言い換えると、生成機能１６４は、先端部の位置及び進行方向に基づいて、３次元医用画像データから表示画像を生成する。また、表示画像は、３次元医用画像データを３次元的に表現する画像である。
【００５５】
図４は、第１の実施形態に係る生成機能１６４により生成される表示画像の一例を示す図である。図４には、カテーテルの先端部１０の位置を視点とし、カテーテルの進行方向を視線とするＶＲ画像３０を例示する。なお、被検体Ｐの血管内に挿入されたカテーテルの先端部１０が視点となるので、ＶＲ画像３０は、血管内から血管内腔や心臓弁を見たかのように描出される。
【００５６】
図４に示すように、生成機能１６４は、例えば、取得機能１６１により取得されたボリュームデータに対してＶＲ処理を行って、ＶＲ画像３０を生成する。ここで、生成機能１６４は、ＶＲ処理の視点及び視線を、カテーテルの位置及び進行方向に基づいて設定する。例えば、生成機能１６４は、推定機能１６２によりカテーテルの先端部１０の位置として推定されたクリップ部１１の重心２１を、ＶＲ処理の視点として設定する。また、生成機能１６４は、決定機能１６３によりカテーテルの進行方向として決定された方向ベクトルを、ＶＲ処理の視線として設定する。そして、生成機能１６４は、設定したＶＲ処理の視点及び視線を用いて、ボリュームデータに対するＶＲ処理を実行することで、表示画像であるＶＲ画像３０を生成する。
【００５７】
ここで、ＶＲ画像３０は、カテーテルの先端部１０の位置を視点とし、カテーテルの進行方向を視線とする画像であるので、カテーテルの先端部１０から進行方向の血管内腔を覗き込んだかのような画像となる。進行方向に僧帽弁が位置している場合には、図４の領域３１に示すように、ＶＲ画像３０に僧帽弁が描出される。なお、カテーテルの進行方向から僧帽弁がずれている場合には、僧帽弁の位置もずれた位置に描出されるか、或いは全く描出されないこととなる。
【００５８】
このように、生成機能１６４は、カテーテルの位置及び進行方向に基づいて、ボリュームデータから表示画像を生成する。なお、上記の生成機能１６４の説明は一例に過ぎない。例えば、生成機能１６４は、必ずしもカテーテルの位置そのものをＶＲ処理の視点として設定しなくてもよい。例えば、生成機能１６４は、カテーテルの位置に基づく任意の位置を、ＶＲ処理の視点として設定可能である。例えば、生成機能１６４は、カテーテルの先端から進行方向に向かって所定距離離れた位置を、ＶＲ処理の視点として設定してよい。これにより、カテーテルの進行方向に対して斜め後方の位置を視点とすることで、カテーテル自体がＶＲ画像内に描出されるため、カテーテル先端部と進行方向の心臓の構造との位置関係が把握しやすくなる。また、例えば、カテーテルの位置そのものを視点とすると、カテーテルの動きが激しい場合にＶＲ像の動きも激しくなり、ＶＲ像の視認性が著しく低下する可能性があるが、カテーテルの位置そのものを視点としないことで、カテーテルの動きが激しい場合においても、安定したＶＲ像を提供できる。なお、生成機能１６４により生成される表示画像は、ＶＲ画像に限らず、例えば、二値化された画像から検出された僧帽弁などの生体組織の表面位置に関するサーフェスレンダリング画像であってもよい。つまり、表示画像は、ボリュームレンダリング画像又はサーフェスレンダリング画像である。また、これらの表示画像は、先端部の位置に基づく視点と、先端部の進行方向に基づく視線とを用いて生成されたボリュームレンダリング画像又はサーフェスレンダリング画像である。
【００５９】
表示制御機能１６５は、表示画像を表示させる。例えば、表示制御機能１６５は、生成機能１６４により生成されたＶＲ画像３０を、ディスプレイ１０３に表示させる。なお、表示制御機能１６５は、表示制御部の一例である。ここで、近年ではＶＲ画像に設定された光源が構造物に当たった後方の影を表示することで立体感を高める手法が知られている。本実施形態においては、カテーテルの影が弁や心筋に写るように光源を設定することで、位置関係の把握に付加的な情報を与えることが期待されるので、このような公知技術を併用したＶＲ画像を用いても構わない。
【００６０】
なお、上記の表示制御機能１６５の説明は一例に過ぎない。例えば、表示制御機能１６５は、ＶＲ画像３０の他に、ボリュームデータの任意断面における断面像や手術中に撮像されるＸ線透視像等と同時に表示されてもよい。なお、表示形態の他の例については、他の実施形態若しくは変形例にて後述する。
【００６１】
図５は、超音波診断装置１の処理手順を示すフローチャートである。図５に示す処理手順は、例えば、撮像を開始する旨の指示を操作者から受け付けた場合に開始される。
【００６２】
ステップＳ１０１において、撮像が開始したか否かを判定する。例えば、入力装置１０２は、撮像を開始する旨の指示を操作者から受け付け、受け付けた指示を装置本体１００の処理回路１６０へ送信する。処理回路１６０は、入力装置１０２により送信された指示を受け付けると、撮像が開始したものと判定し（ステップＳ１０１肯定）、ステップＳ１０２以降の処理を開始する。なお、撮像が開始されない場合には（ステップＳ１０１否定）、ステップＳ１０２以降の処理は開始されず、処理回路１６０の各処理機能は待機状態である。
【００６３】
ステップＳ１０１が肯定されると、ステップＳ１０２において、取得機能１６１は、３次元医用画像データ（ボリュームデータ）を取得する。例えば、取得機能１６１は、僧帽弁とカテーテルの先端部１０とが撮像されたボリュームデータを、画像メモリ１４０から取得する。
【００６４】
ステップＳ１０３において、推定機能１６２は、カテーテルの位置及び姿勢を推定する。例えば、推定機能１６２は、記憶回路１５０に記憶されたカテーテルの形状情報及び反射特性情報を用いて、ボリュームデータに含まれるカテーテルの位置及び姿勢を推定する。具体的には、推定機能１６２は、カテーテルの反射特性情報を用いてボリュームデータを二値化して、二値化画像２０を生成する。そして、推定機能１６２は、二値化画像２０に含まれる高輝度領域について、細長さや球形度等に関する特徴量を算出し、カテーテルの形状情報と比較することで、二値化画像２０におけるカテーテルの領域を抽出する。そして、推定機能１６２は、抽出したカテーテルの領域の３次元座標に基づいて、カテーテルの位置及び姿勢を推定する。
【００６５】
ステップＳ１０４において、決定機能１６３は、カテーテルの進行方向を決定する。例えば、決定機能１６３は、推定機能１６２により推定されたカテーテルの位置及び姿勢に基づいて、カテーテルの姿勢の進行方向を決定する。具体的には、決定機能１６３は、カテーテルの位置を原点とし、カテーテルの姿勢に対応するベクトルの方向を、カテーテルの進行方向として決定する。
【００６６】
ステップＳ１０５において、生成機能１６４は、カテーテルの位置及び進行方向に基づいて、表示画像を生成する。例えば、生成機能１６４は、カテーテルの位置を視点とし、カテーテルの進行方向を視線とするＶＲ処理をボリュームデータに対して実行し、表示画像としてのＶＲ画像３０を生成する。
【００６７】
ステップＳ１０６において、表示制御機能１６５は、表示画像を表示させる。例えば、表示制御機能１６５は、生成機能１６４により生成されたＶＲ画像３０を、ディスプレイ１０３に表示させる。
【００６８】
このように、超音波診断装置１は、ボリュームデータからカテーテルの位置を視点とし、カテーテルの進行方向とするＶＲ画像３０を生成し、表示する。なお、図５では、静止画像としてのＶＲ画像３０を表示する場合の処理手順を例示したが、動画像として表示する場合にも適用可能である。動画像として表示する場合には、処理回路１６０は、撮像を終了する旨の指示を受け付けるまで、ステップＳ１０２〜ステップＳ１０６の処理を繰り返し実行する。
【００６９】
上述したように、超音波診断装置１において、取得機能１６１は、僧帽弁（心臓弁）及び器具（カテーテル）が撮像されたボリュームデータを取得する。そして、推定機能１６２は、器具の形状情報及び反射特性情報を用いて、ボリュームデータに含まれる器具の位置及び姿勢を推定する。そして、決定機能１６３は、器具の位置及び姿勢に基づいて、器具の姿勢の進行方向を決定する。そして、生成機能１６４は、器具の位置及び進行方向に基づいて、表示画像を生成する。そして、表示制御機能１６５は、表示画像を表示させる。これによれば、第１の実施形態に係る超音波診断装置１は、心臓弁に対する器具の位置と進行方向とを視認可能な表示画像を生成することができる。
【００７０】
すなわち、第１の実施形態に係る超音波診断装置１は、カテーテルの先端部１０の位置を視点とし、カテーテルの進行方向を視線とするＶＲ処理によりＶＲ画像３０を生成する。これにより、超音波診断装置１は、カテーテルの先端部１０から進行方向の血管内腔を覗き込んだかのようなＶＲ画像３０を表示することができる。一例としては、超音波診断装置１は、操作者がカテーテルを僧帽弁に向かって移動させる様子をリアルタイムで画像化すると、僧帽弁に向かって血管内腔を進んでいるかのような画像を表示することが可能となる。また、操作者がカテーテルを進めたり戻したりする操作に応じて、血管内腔を描出する視点や視線が変化するので、操作者は、血管内腔におけるカテーテルの動きを直感的に把握することが可能となる。このため、僧帽弁に向かってカテーテルを移動させる場合に、操作者は、あたかも裁縫針の穴に糸を通すかのような感覚でカテーテルを操作することができる。この結果として、操作者は、カテーテルの先端部１０に取り付けられたクリップ部１１を僧帽弁に留置（留める）することが容易になるので、カテーテル治療に要する時間を削減しつつ治療精度を向上させることができる。
【００７１】
また、例えば、第１の実施形態に係る超音波診断装置１は、超音波画像データにおいて器具がどのように描出されるかの要因となる要因情報（形状情報及び反射特性情報）を用いて、画像中の器具の位置姿勢を推定する。このため、超音波診断装置１は、例えば、カテーテルのように器具自体が被検体内で湾曲する性質を有していても、その器具の位置姿勢を正確に推定することができる。具体的には、超音波診断装置１は、先端部１０に含まれるクリップ部１１及び管状部１２のように、器具の長軸方向に離れた２箇所における異なる特徴を利用して、器具の位置姿勢を推定する。このため、超音波診断装置１は、ＶＲ処理の視線となる器具の進行方向を正確に決定することができる。
【００７２】
（第１の実施形態の変形例１）
第１の実施形態では、超音波診断装置１が表示画像としてＶＲ画像３０を表示する場合を説明したが、実施形態はこれに限定されるものではない。例えば、超音波診断装置１は、断面像（ＭＰＲ画像）を生成してもよい。
【００７３】
生成機能１６４は、器具の進行方向に沿った断面像を表示画像として生成する。例えば、生成機能１６４は、決定機能１６３により決定されたカテーテルの進行方向を通る直行２断面の断面像を生成する。
【００７４】
図６は、第１の実施形態の変形例１に係る生成機能１６４により生成される表示画像の一例を示す図である。図６には、カテーテルの進行方向を通る所定方向の断面像４０と、進行方向を通り断面像４０に直行する断面像４１とを例示する。
【００７５】
図６に示すように、生成機能１６４は、断面像４０及び断面像４１を生成する。ここで、断面像４０及び断面像４１は、いずれもカテーテルの進行方向を通るので、カテーテル４２が描出される。
【００７６】
そして、表示制御機能１６５は、生成機能１６４により生成された断面像４０及び断面像４１を、表示画像としてディスプレイ１０３に表示させる。この場合、表示制御機能１６５は、ＶＲ画像３０、断面像４０、及び断面像４１を同時にディスプレイ１０３に表示してもよいし、ＶＲ画像３０を表示させずに、断面像４０及び断面像４１を表示してもよい。
【００７７】
このように、超音波診断装置１は、器具の進行方向に沿った断面像を生成し、表示する。これによれば、断面像には器具が描出されることとなるので、超音波診断装置１は、器具と、心臓弁等の構造物との位置関係をわかりやすく表示することができる。
【００７８】
なお、上記の生成機能１６４及び表示制御機能１６５の説明は一例に過ぎない。例えば、生成機能１６４は、必ずしもカテーテルの進行方向を通る直行２断面を生成しなくてもよい。具体的には、生成機能１６４により生成される断面像４０及び断面像４１は、直行断面に限らず、任意の角度で交わる断面であってもよい。また、生成機能１６４により生成される断面像は、２断面に限らず、任意数の断面であってもよい。また、例えば、生成機能１６４は、器具の進行方向に沿った断面像に限らず、例えば、心尖四腔（Ａ４Ｃ：apical  four-chamber）像、心尖二腔（Ａ２Ｃ：apical  two-chamber  ）像等であってもよい。
【００７９】
（第１の実施形態の変形例２）
また、例えば、超音波診断装置１は、カテーテル治療において撮影されるＸ線画像を、表示画像とともに表示してもよい。
【００８０】
例えば、カテーテル治療においては、ＴＥＥプローブによる超音波画像データとともに、Ｘ線診断装置を用いて被検体Ｐの透視が行われる場合が多い。この場合、超音波診断装置１において、表示制御機能１６５は、被検体Ｐを透過したＸ線に基づいて生成されたＸ線画像を、表示画像と同時に表示させる。具体的には、表示制御機能１６５は、Ｘ線診断装置によって撮影された透視画像（Ｘ線画像）を取得し、取得した透視画像をＶＲ画像３０や断面像４０，４１と同時にディスプレイ１０３に表示させる。
【００８１】
このように、超音波診断装置１は、Ｘ線画像を表示画像とともに表示する。カテーテル治療を行う医師は、Ｘ線画像を見慣れている場合が多いので、医師による読影効率の向上が期待される。
【００８２】
（第１の実施形態の変形例３）
また、第１の実施形態では、超音波診断装置１が一人称視点のＶＲ画像３０を生成する場合を説明したが、これに限定されるものではなく、三人称視点のＶＲ画像を生成可能な構成や、一人称視点のＶＲ画像と三人称視点のＶＲ画像とを切り替え可能な構成を備えていてもよい。なお、ここで言う一人称視点とは、器具の位置から見た場合の見え方であり、一般的には器具自体は描出されない。一方、三人称視点とは、器具とは異なる位置から見た場合の見え方であり、器具自体も描出される。この三人称視点は、器具よりも後方の位置を視点とすることで実現される。
【００８３】
生成機能１６４は、器具の先端より後方の位置を視点とするＶＲ処理を実行し、ＶＲ画像を生成する。例えば、生成機能１６４は、カテーテルの先端部１０から後方に所定距離離れた位置をＶＲ処理の視点として、ＶＲ処理を実行する。
【００８４】
図７は、第１の実施形態の変形例３に係る生成機能１６４により生成される表示画像の一例を示す図である。図７には、カテーテルの進行方向を視線とし、カテーテルの先端部１０から後方に所定距離離れた位置を視点とするＶＲ画像５０を例示する。
【００８５】
図７に示すように、生成機能１６４は、カテーテルの進行方向を視線とし、カテーテルの先端部１０から後方に所定距離離れた位置を視点とするＶＲ処理を実行して、ＶＲ画像５０を生成する。この結果、生成機能１６４は、例えば、カテーテルの先端の画像５１が描出されたＶＲ画像５０を生成する。
【００８６】
また、生成機能１６４は、一人称視点のＶＲ画像を生成する場合と、三人称視点のＶＲ画像を生成する場合とを、操作者による指示に応じて切り替える。すなわち、生成機能１６４は、操作者の指示に応じて、器具の先端を視点とするＶＲ画像、若しくは器具の先端より後方の位置を視点とするＶＲ画像を生成する。
【００８７】
このように、超音波診断装置１は、三人称視点のＶＲ画像を生成可能な構成、及び、一人称視点のＶＲ画像と三人称視点のＶＲ画像とを切り替え可能な構成を備えていてもよい。これによれば、例えば、操作者は、見やすいと思う視点を選択して、ＶＲ画像を表示することができる。
【００８８】
（第２の実施形態）
例えば、超音波診断装置１は、更に、器具が設置されるべき位置及び姿勢に、器具を誘導するための画像を表示可能である。
【００８９】
図８は、第２の実施形態に係る超音波診断装置１の例を示すブロック図である。第２の実施形態に係る超音波診断装置１は、図１に例示した超音波診断装置１と同様の構成を備え、処理回路１６０が弁位置姿勢推定機能１６６を更に備える点が相違する。そこで、第２の実施形態では、第１の実施形態と相違する点を中心に説明することとし、第１の実施形態において説明した構成と同様の機能を有する点については、図１と同一の符号を付し、説明を省略する。
【００９０】
弁位置姿勢推定機能１６６は、心臓弁の位置及び姿勢に対して器具が設置されるべき位置及び姿勢を推定する。なお、心臓弁の位置及び姿勢に対して器具が設置されるべき位置及び姿勢を、「弁の位置姿勢」とも表記する。
【００９１】
まず、推定機能１６２は、３次元医用画像データにおける被検体Ｐの心臓弁の位置及び姿勢を推定する。例えば、推定機能１６２は、教師あり機械学習アルゴリズムを用いて、ボリュームデータに含まれる特徴点を抽出する。ここで、教師あり機械学習アルゴリズムは、心臓弁に含まれる複数の特徴点が正しく配置された複数の教師画像を用いて構築されたものである。そして、推定機能１６２は、心臓弁に含まれる複数の特徴点の３次元的な位置関係を示すモデルと、抽出した特徴点とを比較することで、心臓弁の位置及び姿勢を推定する。
【００９２】
そして、弁位置姿勢推定機能１６６は、心臓弁の位置及び姿勢に対して器具が設置されるべき位置及び姿勢（弁の位置姿勢）を推定する。例えば、弁位置姿勢推定機能１６６は、心臓弁に対して器具が正しく設置された場合の３次元的な位置関係のモデルを用いて、弁の位置姿勢を推定する。具体的には、弁位置姿勢推定機能１６６は、推定機能１６２により推定された心臓弁の位置及び姿勢に対して、心臓弁に対して器具が正しく設置された場合の３次元的な位置関係のモデルを当てはめることで、器具が設置されるべき位置及び姿勢を推定する。
【００９３】
そして、表示制御機能１６５は、推定機能１６２により推定された器具の位置及び姿勢が、弁位置姿勢推定機能１６６により推定された器具が設置されるべき位置及び姿勢に近づく方向ないし離れる方向を表す画像を表示画像と同時に表示させる。
【００９４】
図９は、第２の実施形態に係る表示制御機能１６５により表示される表示画像の一例を示す図である。図９には、現在のカテーテルの位置姿勢が、カテーテルが設置されるべき位置姿勢に近づく方向を表す矢印画像６０を例示する。
【００９５】
図９に示すように、表示制御機能１６５は、現在のカテーテルの位置姿勢の３次元座標と、器具が設置されるべき位置姿勢の３次元座標とを用いて、現在のカテーテルの位置姿勢が、カテーテルが設置されるべき位置姿勢に近づく方向を決定する。そして、表示制御機能１６５は、決定した方向を表す矢印画像６０を生成し、現在のＶＲ画像３０とともに表示する。
【００９６】
このように、超音波診断装置１は、器具（カテーテル）が設置されるべき位置姿勢に近づく方向を表す画像を表示することができる。このため、操作者は、例えば、カテーテルをポジショニングすべき方向を直感的に把握することができる。なお、図９の例では、矢印画像６０が、カテーテルが設置されるべき位置姿勢に近づく方向を表す場合を説明したが、これに限らず、離れる方向を表す場合であってもよい。第１の実施形態及び変形例にて説明した内容は、第２の実施形態においても適用可能である。
【００９７】
（第２の実施形態の変形例）
また、例えば、超音波診断装置１は、実際に器具が移動した方向（移動方向）を、表示画像とともに表示してもよい。
【００９８】
図１０は、第２の実施形態の変形例に係る超音波診断装置１の例を示すブロック図である。第２の実施形態の変形例に係る超音波診断装置１は、図１に例示した超音波診断装置１と同様の構成を備え、処理回路１６０が移動方向決定機能１６７を更に備える点が相違する。そこで、第２の実施形態の変形例では、第１の実施形態と相違する点を中心に説明することとし、第１の実施形態において説明した構成と同様の機能を有する点については、図１と同一の符号を付し、説明を省略する。
【００９９】
移動方向決定機能１６７は、異なる時刻における器具の位置に基づいて、器具の移動方向を決定する。そして、表示制御機能１６５は、移動方向決定機能１６７により決定された器具の移動方向を表す画像を、表示画像と同時に表示させる。
【０１００】
例えば、移動方向決定機能１６７は、時系列のボリュームデータのそれぞれにおける器具の位置を用いて、ボリュームデータの座標系における器具の移動方向を決定する。具体的には、移動方向決定機能１６７は、現在のフレームのボリュームデータにおけるカテーテルの先端部１０の３次元座標と、１フレーム前のボリュームデータにおけるカテーテルの先端部１０の３次元座標とに基づいて、１フレーム前からのカテーテルの先端部１０の移動方向を決定する。そして、表示制御機能１６５は、移動方向決定機能１６７により決定された器具の移動方向を表す画像を、表示画像と同時に表示させる。なお、移動方向を表す画像は、例えば、図９に例示した矢印画像６０と同様であるので、図示を省略する。
【０１０１】
このように、超音波診断装置１は、実際に器具が移動した方向を表示画像とともに表示する。このため、例えば、操作者は、自分が動かしたカテーテルが表示画像内で実際にどのように移動したかを直感的に把握することができる。
【０１０２】
なお、上記の説明は一例に過ぎない。例えば、表示制御機能１６５は、カテーテルの実際の移動方向を表す画像とともに、カテーテルが設置されるべき位置姿勢に近づく方向を表す画像（図９の矢印画像６０）を表示してもよい。これによれば、操作者は、器具をポジショニングすべき方向と、実際の器具の移動方向とが一致しているか否かを、速やかに把握することができる。
【０１０３】
（第３の実施形態）
例えば、超音波診断装置１は、更に、器具が設置されるべき位置及び姿勢にポジショニングされるまでの移動の軌跡を、術前シミュレーションの結果に基づいて表示可能である。
【０１０４】
第３の実施形態に係る超音波診断装置１は、図１に例示した超音波診断装置１と同様の構成を備え、処理回路１６０の処理内容が一部相違する。そこで、第３の実施形態では、第１の実施形態と相違する点を中心に説明することとし、第１の実施形態において説明した構成と同様の機能を有する点については、図示を省略する。
【０１０５】
取得機能１６１は、被検体Ｐに対する術前シミュレーションの結果から、器具が被検体Ｐの心臓弁に設置されるまでの移動の軌跡を取得する。ここで、術前シミュレーションとは、カテーテル治療に先んじて実行されるシミュレーションであり、例えば、事前に撮影されたＣＴ（Computed  Tomography）画像を用いて行われる。術前シミュレーションの結果、例えば、カテーテルが被検体Ｐの僧帽弁に設置されるまでの移動の軌跡が出力される。取得機能１６１は、術前シミュレーションの結果から、カテーテルが被検体Ｐの僧帽弁に設置されるまでの移動の軌跡を取得する。なお、この移動の軌跡は、術前シミュレーションで用いられたＣＴ画像の座標系で示される情報である。
【０１０６】
表示制御機能１６５は、３次元医用画像データに対する移動の軌跡の位置合わせを行って、器具の進路誘導を行うための画像を表示させる。例えば、表示制御機能１６５は、術前シミュレーションで用いられたＣＴ画像と、ＴＥＥプローブにより撮像されたボリュームデータとの位置合わせを行って、移動の軌跡の座標系をボリュームデータの座標系に変換する。そして、表示制御機能１６５は、座標変換後の移動の軌跡を用いて、器具の進路誘導を行うための画像を生成する。一例としては、表示制御機能１６５は、器具の進路誘導を行うための画像として、移動の軌跡を表す線の画像（若しくは破線の画像）を、図４に示したＶＲ画像３０上に重畳表示する。また、他の例としては、表示制御機能１６５は、器具の進路誘導を行うための画像として、移動の軌跡を表す線の画像を、図６に示した断面像４０，４１上に重畳表示する。
【０１０７】
このように、超音波診断装置１は、器具の進路誘導を行うための画像を表示する。これに依れば、操作者は、器具が設置されるべき位置及び姿勢にポジショニングされるまでの移動の軌跡を閲覧することが可能となる。
【０１０８】
（第３の実施形態の変形例）
例えば、超音波診断装置１は、更に、器具の留置に適切な度合いを判定し、報知可能である。
【０１０９】
図１１は、第３の実施形態の変形例に係る超音波診断装置１の例を示すブロック図である。第３の実施形態の変形例に係る超音波診断装置１は、図１に例示した超音波診断装置１と同様の構成を備え、処理回路１６０が判定機能１６８及び報知機能１６９を更に備える点が相違する。そこで、第３の実施形態の変形例では、第１の実施形態と相違する点を中心に説明することとし、第１の実施形態において説明した構成と同様の機能を有する点については、図１と同一の符号を付し、説明を省略する。
【０１１０】
判定機能１６８は、被検体に対する術前シミュレーションにより得られる心臓弁の動きのモデルに基づいて、器具の留置位置がどの程度適切であるかの度合いを判定する。ここで、術前シミュレーションでは、例えば、心臓弁の動きの軌跡を動きモデルとして事前に算出される場合がある。この心臓弁の動きモデルは、心拍に伴って動く被検体Ｐの心臓弁の動きのモデルであり、例えば、心臓弁が閉じた状態や開いた状態等、心臓の動きに伴う様々な状態のパターンが含まれる。
【０１１１】
例えば、判定機能１６８は、ＴＥＥプローブにより撮像されたボリュームデータと、心臓弁の動きモデルとをパターン認識処理によって比較する。そして、判定機能１６８は、心臓弁が閉じた状態のパターンに対する尤度（類似度）を算出する。
【０１１２】
報知機能１６９は、判定機能１６８による判定結果を報知する。例えば、報知機能１６９は、判定機能１６８によって算出された心臓弁が閉じた状態のパターンに対する尤度に基づいて、器具の留置に適切な度合いを報知する。例えば、報知機能１６９は、算出された尤度を器具の留置に適切な度合いとしてディスプレイ１０３に表示させる。また、例えば、報知機能１６９は、算出された尤度の大きさに応じたスコア（評価）をディスプレイ１０３に表示させる。また、例えば、報知機能１６９は、尤度が閾値を超えた場合に、所定の音を報知する。
【０１１３】
このように、超音波診断装置１は、器具（カテーテル）の留置に適切な度合いを判定し、報知することができる。これによれば、操作者は、例えば、器具の留置に適切なタイミングを掴むことができる。
【０１１４】
（第４の実施形態）
例えば、超音波診断装置１は、更に、操作者にとってわかりやすい座標系で器具の操作方向を表示可能である。
【０１１５】
図１２は、第４の実施形態に係る超音波診断装置１の例を示すブロック図である。第４の実施形態に係る超音波診断装置１は、図１に例示した超音波診断装置１と同様の構成を備え、処理回路１６０が検知機能１７０を更に備える点が相違する。そこで、第４の実施形態では、第１の実施形態と相違する点を中心に説明することとし、第１の実施形態において説明した構成と同様の機能を有する点については、図１と同一の符号を付し、説明を省略する。
【０１１６】
検知機能１７０は、３次元医用画像データの３次元空間における位置を検知する。例えば、第４の実施形態において、ＴＥＥプローブである超音波プローブ１０１には、ジャイロセンサ等の加速度センサが取り付けられる。超音波プローブ１０１に取り付けられた加速度センサは、被検体Ｐの体内に挿入する前に、３次元空間（例えば、グローバル座標系）における３次元座標が登録される。例えば、加速度センサは、被検体Ｐの食道に挿入される直前、つまり被検体Ｐの口の位置の３次元座標が登録される。そして、加速度センサは、超音波プローブ１０１が被検体Ｐの食道に挿入されると、挿入による位置の変化を検知する。例えば、検知機能１７０は、超音波プローブ１０１が被検体Ｐの体内に挿入される前に登録された３次元座標と、加速度センサによって検知された位置の変化とに基づいて、超音波プローブ１０１の現在の位置の３次元座標を検知する。
【０１１７】
また、例えば、検知機能１７０は、被検体Ｐが撮影されたＸ線画像に超音波プローブ１０１が描出される場合には、このＸ線画像に基づいて、３次元空間における超音波プローブ１０１の位置の３次元座標を検知する。具体的には、検知機能１７０は、Ｘ線画像における超音波プローブ１０１の位置と、このＸ線画像の撮影に用いられたＸ線発生器及びＸ線検出器の３次元空間における位置とに基づいて、超音波プローブ１０１の位置の３次元座標を検知する。
【０１１８】
このように、検知機能１７０は、加速度センサ及びＸ線画像のうち少なくとも一方の情報を用いて、３次元空間における超音波プローブ１０１の位置の３次元座標を検知する。
【０１１９】
そして、表示制御機能１６５は、検知機能１７０により検知された３次元空間における位置と、３次元空間に対する被検体Ｐの位置とに基づいて、被検体Ｐの座標系における器具の操作方向を表示させる。ここで、３次元空間に対する被検体Ｐの位置は、被検体Ｐが横臥する寝台の位置等から取得される。
【０１２０】
これにより、表示制御機能１６５は、カテーテルの操作方向を、被検体Ｐの座標系で表示させる。例えば、表示制御機能１６５は、カテーテルの操作方向を、被検体の頭部側、脚部側、腹部側、背中側、左腕側、右腕側等、被検体Ｐの身体の部位を基準とした表現で表示することができる。
【０１２１】
（第４の実施形態の変形例１）
また、例えば、第４の実施形態に係る超音波診断装置１は、操作者の座標系における器具の操作方向を表示してもよい。
【０１２２】
例えば、表示制御機能１６５は、検知機能１７０により検知された３次元空間における位置と、３次元空間に対する操作者の位置とに基づいて、操作者の座標系における器具の操作方向を表示させる。ここで、３次元空間に対する操作者の位置は、操作者が存在する室内（手術室内）をカメラで撮影することにより取得される。
【０１２３】
これにより、表示制御機能１６５は、カテーテルの操作方向を、操作者の座標系で表示させる。例えば、表示制御機能１６５は、カテーテルの操作方向を、操作者から見た上方向、下方向、右方向、左方向等の表現で表示することができる。
【０１２４】
（第４の実施形態の変形例２）
また、例えば、第４の実施形態に係る超音波診断装置１は、Ｘ線画像の座標系における器具の操作方向を表示してもよい。
【０１２５】
例えば、表示制御機能１６５は、検知機能１７０により検知された３次元空間における位置と、３次元空間に対するＸ線画像の位置とに基づいて、Ｘ線画像の座標系における器具の操作方向を表示させる。ここで、３次元空間に対するＸ線画像の位置は、Ｘ線画像の撮影に用いられたＸ線発生器及びＸ線検出器の３次元空間における位置に基づいて取得される。
【０１２６】
これにより、表示制御機能１６５は、カテーテルの操作方向を、Ｘ線画像の座標系で表示させる。例えば、表示制御機能１６５は、カテーテルの操作方向を、Ｘ線画像上で上方向、下方向、右方向、左方向等の表現で表示することができる。
【０１２７】
（その他の実施形態）
上述した実施形態以外にも、種々の異なる形態にて実施されてもよい。
【０１２８】
（留置後の表示）
例えば、上記の実施形態では、カテーテルのクリップ部１１を僧帽弁に留置させるまでの表示について説明したが、留置後の表示を制御することも可能である。
【０１２９】
例えば、表示制御機能１６５は、器具が留置された場合に、器具を含む断面像を表示させる。例えば、表示制御機能１６５は、器具が留置されたことを検知する。具体的には、表示制御機能１６５は、上記の二値化画像２０において、カテーテルのクリップ部１１と管状部１２とが離れた場合に、クリップ部１１が留置されたことを検知する。そして、表示制御機能１６５は、クリップ部１１が留置されたことを検知すると、留置直前のカテーテルの進行方向に沿った断面像４０，４１を生成し、表示する。
【０１３０】
このように、超音波診断装置１は、器具が留置された場合においても、器具を含む断面像を表示させることができる。
【０１３１】
また、図示した各装置の各構成要素は機能概念的なものであり、必ずしも物理的に図示の如く構成されていることを要しない。すなわち、各装置の分散・統合の具体的形態は図示のものに限られず、その全部又は一部を、各種の負荷や使用状況等に応じて、任意の単位で機能的又は物理的に分散・統合して構成することができる。更に、各装置にて行なわれる各処理機能は、その全部又は任意の一部が、ＣＰＵ及び当該ＣＰＵにて解析実行されるプログラムにて実現され、或いは、ワイヤードロジックによるハードウェアとして実現され得る。
【０１３２】
また、上記の実施形態及び変形例において説明した各処理のうち、自動的に行なわれるものとして説明した処理の全部又は一部を手動的に行なうこともでき、或いは、手動的に行なわれるものとして説明した処理の全部又は一部を公知の方法で自動的に行なうこともできる。この他、上記文書中や図面中で示した処理手順、制御手順、具体的名称、各種のデータやパラメータを含む情報については、特記する場合を除いて任意に変更することができる。
【０１３３】
また、上記の実施形態及び変形例で説明した超音波イメージング方法は、予め用意された超音波イメージングプログラムをパーソナルコンピュータやワークステーション等のコンピュータで実行することによって実現することができる。この超音波イメージング方法は、インターネット等のネットワークを介して配布することができる。また、この超音波イメージング方法は、ハードディスク、フレキシブルディスク（ＦＤ）、ＣＤ−ＲＯＭ、ＭＯ、ＤＶＤ等のコンピュータで読み取り可能な記録媒体に記録され、コンピュータによって記録媒体から読み出されることによって実行することもできる。
【０１３４】
以上説明した少なくともひとつの実施形態によれば、心臓弁に対する器具の位置と進行方向とを視認可能な表示画像を生成することができる。
【０１３５】
本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれると同様に、特許請求の範囲に記載された発明とその均等の範囲に含まれるものである。
【符号の説明】
【０１３６】
１      超音波診断装置
１６０      処理回路
１６１      取得機能
１６２      推定機能
１６３      決定機能
１６４      生成機能
１６５      表示制御機能
【図１】
2017153953.tif 000003
【図２】
2017153953.tif 000004
【図３】
2017153953.tif 000005
【図４】
2017153953.tif 000006
【図５】
2017153953.tif 000007
【図６】
2017153953.tif 000008
【図７】
2017153953.tif 000009
【図８】
2017153953.tif 000010
【図９】
2017153953.tif 000011
【図１０】
2017153953.tif 000012
【図１１】
2017153953.tif 000013
【図１２】
2017153953.tif 000014