(57)【要約】      （修正有）【課題】位置合わせを高い成功率で容易に行うことができる超音波診断装置を提供する。【解決手段】超音波診断装置１は、位置情報取得部１０１と、超音波データ取得部１０２と、センサ位置合わせ部１０３と、画像位置合わせ部１０５とを含む。位置情報取得部は、超音波プローブ７０ないし超音波画像に関する位置情報を取得する。超音波データ取得部は、位置情報を取得した位置における超音波プローブからの超音波の送受信により得られる超音波画像データを、位置情報と対応付けて取得する。センサ位置合わせ部は、位置情報に関する第１座標系と医用画像データに関する第２座標系との対応付けを行う。画像位置合わせ部は、対応付けが行われた超音波画像データに基づく超音波画像と医用画像データに基づく医用画像との画像位置合わせを行う。【選択図】図１
2018057428.tif 000002
【特許請求の範囲】
【請求項１】
超音波プローブ、ないし超音波画像に関する位置情報を取得する位置情報取得部と、
前記位置情報を取得した位置における前記超音波プローブからの超音波の送受信により得られる超音波画像データを、前記位置情報と対応付けて取得する超音波データ取得部と、
前記位置情報に関する第１座標系と医用画像データに関する第２座標系との対応付けを行うセンサ位置合わせ部と、
前記対応付けが行われた前記超音波画像データに基づく超音波画像と前記医用画像データに基づく医用画像との画像位置合わせを行う画像位置合わせ部と、を具備する超音波診断装置。
【請求項２】
前記超音波画像と前記医用画像との少なくともいずれか一方において、前記画像位置合わせの基準となる領域情報を指定する領域指定部をさらに具備し、
前記画像位置合わせ部は、前記領域情報に基づいて前記画像位置合わせを行う請求項１に記載の超音波診断装置。
【請求項３】
超音波プローブ、ないし超音波画像に関する位置情報を取得する位置情報取得部と、
超音波プローブ、ないし超音波画像の位置情報の第１座標系と医用画像データに関する第２座標系との対応付けを行うセンサ位置合わせ部と、
前記超音波プローブ、ないし超音波画像の位置情報の第１座標系に基づく超音波画像と前記医用画像データの座標系に基づく医用画像との少なくともいずれか一方において、画像位置合わせの基準となる領域情報を指定する領域指定部と、
前記位置情報を取得した位置における前記超音波プローブからの超音波の送受信により得られる超音波画像データを、前記位置情報と対応付けて取得する超音波データ取得部と
前記対応付けと前記領域情報に基づいて、前記超音波画像データに基づく超音波画像と前記医用画像との画像位置合わせを行う画像位置合わせ部とを具備する超音波診断装置。
【請求項４】
超音波画像データを取得する超音波データ取得部と、
前記超音波画像データに基づく超音波画像と医用画像データに基づく医用画像との少なくともいずれか一方において、画像位置合わせの基準となる領域情報を指定する領域指定部と、
前記領域情報に基づいて、前記超音波画像と前記医用画像との画像位置合わせを行う画像位置合わせ部と、を具備する超音波診断装置。
【請求項５】
前記画像位置合わせが完了したことにより決定される第１座標系と第２座標系との対応関係に基づいて、超音波プローブによって新たに得られる超音波画像データに基づくリアルタイム超音波画像と、該リアルタイム超音波画像に対応する前記医用画像データに基づく医用画像とを同期して表示させる同期制御部をさらに具備する請求項１から請求項４のいずれか１項に記載の超音波診断装置。
【請求項６】
前記位置情報は、磁気センサ、赤外線センサ、画像認識処理、ジャイロセンサおよびロボットアームの少なくとも１つを利用した位置センサシステムにより取得される請求項１から請求項３のいずれか１項に記載の超音波診断装置。
【請求項７】
前記センサ位置合わせ部は、前記超音波プローブが操作されることで前記医用画像データに含まれる対象部位が超音波画像に描出される位置で、前記第１座標系と前記第２座標系とを対応付ける請求項１から請求項３のいずれか１項に記載の超音波診断装置。
【請求項８】
前記センサ位置合わせ部は、前記医用画像データが前記第１座標系と共通の座標系により取得された超音波画像データである場合、該共通の座標系を用いて前記対応付けを行う請求項１から請求項３のいずれか１項に記載の超音波診断装置。
【請求項９】
前記センサ位置合わせ部は、生体の体表にセンサが装着された点または該生体の体表において指定された点を、前記第１座標系の原点に設定する請求項１から請求項３のいずれか１項に記載の超音波診断装置。
【請求項１０】
前記超音波画像データは、２次元画像データ、３次元画像データ、４次元画像データのうちの少なくとも１つである請求項１から請求項４のいずれか１項に記載の超音波診断装置。
【請求項１１】
前記３次元画像データは、位置情報が対応付けられた２次元画像データを再構成して得られるデータである請求項１０に記載の超音波診断装置。
【請求項１２】
前記３次元画像データおよび前記４次元画像データは、メカニカル４次元プローブまたは２次元アレイプローブによる電子走査により収集された３次元画像データに、位置情報が対応づけられたデータである請求項１０に記載の超音波診断装置。
【請求項１３】
前記超音波画像データは、位置情報が対応付けられた３次元画像データまたは該位置情報が対応付けられた４次元画像データであり、
前記同期制御部は、３次元のリアルタイム超音波画像と、該３次元のリアルタイム超音波画像に対応する３次元の医用画像の対応断面とを同期して表示させる請求項５に記載の超音波診断装置。
【請求項１４】
前記領域情報として、前記超音波画像と前記医用画像とで対応する点または対応する対応領域をユーザに指定させるユーザインタフェースをさらに具備し、
前記領域指定部は、前記領域情報に基づいて、前記第１座標系と前記第２座標系との対応付けを補正する請求項２または請求項３に記載の超音波診断装置。
【請求項１５】
前記医用画像データにおいて所望の領域をユーザに指定させ、リアルタイムの超音波画像データの断面像において、前記所望の領域に対応する対応領域を前記ユーザに指定させるユーザインタフェースをさらに具備し、
前記領域指定部は、前記対応領域の座標に基づいて前記第１座標系と前記第２座標系との対応付けを補正し、
前記超音波データ取得部は、補正された対応付けに基づいて新たに超音波画像データを取得する請求項３に記載の超音波診断装置。
【請求項１６】
前記超音波画像と前記医用画像とを並列表示する表示処理部をさらに具備し、
前記領域指定部は、並列表示された前記超音波画像と前記医用画像とに対する前記対応領域の入力を支援する請求項１４または請求項１５に記載の超音波診断装置。
【請求項１７】
前記超音波画像と前記医用画像とを並列表示する表示処理部をさらに具備し、
前記超音波画像は、前記超音波画像と前記医用画像とが並列表示された後に取得される請求項１４または請求項１５に記載の超音波診断装置。
【請求項１８】
前記領域指定部は、ランドマークとなる領域の２次元画像パターンまたは３次元画像パターンを格納するデータベースを参照して、指定されたランドマークに対応する領域を超音波画像データおよび前記医用画像データからそれぞれ検出する請求項２から請求項４のいずれか１項に記載の超音波診断装置。
【請求項１９】
前記、画像位置合わせ部は、位置合わせの計算結果による位置ずれ推定の量、、該位置合わせの類似度関数の評価値、、画像間の類似度、、およびデータ間の重なりの量もしくは比率のうちの、少なくとも１つを表示させる請求項１から請求項４のいずれか１項に記載の超音波診断装置。
【請求項２０】
前記画像位置合わせ部は、前記画像位置合わせの計算結果として得られる位置ずれ量に基づいて、前記画像位置合わせを制御する請求項１から請求項１８のいずれか１項に記載の超音波診断装置。
【請求項２１】
前記画像位置合わせ部は、前記画像位置合わせの計算結果として得られる類似度に基づいて、前記画像位置合わせを制御する請求項１から請求項１８のいずれか１項に記載の超音波診断装置。
【請求項２２】
前記画像位置合わせ部は、前記医用画像データが超音波画像データである場合、超音波画像データ間の３次元空間における重畳度に基づいて、前記画像位置合わせを制御する請求項１から請求項１８のいずれか１項に記載の超音波診断装置。
【請求項２３】
前記画像位置合わせ部は、超音波画像データおよび前記医用画像データからノイズ領域をそれぞれ抽出し、前記画像位置合わせの計算において、該ノイズ領域を除外して計算する請求項１から請求項２２のいずれか１項に記載の超音波診断装置。
【請求項２４】
前記画像位置合わせ部は、超音波画像データおよび前記医用画像データから共通の構造を有する領域をそれぞれ抽出し、前記画像位置合わせの計算において、該共通の構造を有する領域を計算に用いる請求項１から請求項２３のいずれか１項に記載の超音波診断装置。
【請求項２５】
コンピュータを、
超音波プローブないし超音波画像に関する位置情報を取得する位置情報取得手段と、
前記位置情報を取得した位置における前記超音波プローブからの超音波の送受信により得られる超音波画像データを、前記位置情報と対応付けて取得する超音波データ取得手段と、
前記位置情報に関する第１座標系と医用画像データに関する第２座標系との対応付けを行うセンサ位置合わせ手段と、
前記対応付けが行われた超音波画像データに基づく超音波画像と前記医用画像データに基づく医用画像との画像位置合わせを行う画像位置合わせ手段と、して機能させるための超音波診断支援プログラム。
【請求項２６】
前記コンピュータを、
前記超音波画像と前記医用画像との少なくともいずれか一方において、前記画像位置合わせの基準となる領域情報を指定する領域指定手段としてさらに機能させ、
前記画像位置合わせ手段は、前記領域情報に基づいて前記画像位置合わせを行う請求項２５に記載の超音波診断支援プログラム。
【請求項２７】
コンピュータを、
超音波プローブ、ないし超音波画像に関する位置情報を取得する位置情報取得手段と、
超音波プローブ、ないし超音波画像の位置情報の第１座標系と医用画像データに関する第２座標系との対応付けを行うセンサ位置合わせ手段と、
前記超音波プローブ、ないし超音波画像の位置情報の第１座標系に基づく超音波画像と前記医用画像データの座標系に基づく医用画像との少なくともいずれか一方において、画像位置合わせの基準となる領域情報を指定する領域指定手段と、
前記位置情報を取得した位置における前記超音波プローブからの超音波の送受信により得られる超音波画像データを、前記位置情報と対応付けて取得する超音波データ取得手段と
前記対応付けと前記領域情報に基づいて、前記超音波画像データに基づく超音波画像と前記医用画像との画像位置合わせを行う画像位置合わせ手段として機能させるための超音波診断支援プログラム。
【請求項２８】
コンピュータを、
超音波画像データを取得する超音波データ取得手段と、
前記超音波画像データに基づく超音波画像と医用画像データに基づく医用画像との少なくともいずれか一方において、画像位置合わせの基準となる領域情報を指定する領域指定手段と、
前記領域情報に基づいて、前記超音波画像と前記医用画像との画像位置合わせを行う画像位置合わせ手段として機能させるための超音波診断支援プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明の実施形態は、超音波診断装置および超音波診断支援プログラムに関する。
【背景技術】
【０００２】
近年、医用画像診断において、医用画像診断装置（Ｘ線コンピュータ断層撮像装置、磁気共鳴イメージング装置、超音波診断装置、Ｘ線診断装置、核医学診断装置等）を用いて取得された３次元画像データ間の位置合わせが、種々の手法を用いて行われている。
例えば、超音波３次元（３Ｄ）画像データと他の医用３次元（３Ｄ）画像データとの位置合わせは、位置センサが装着された超音波プローブを用いて位置情報が付された３次元画像データを取得し、当該位置情報と他の医用３Ｄ画像データに付された位置情報とを用いて行われる。
また、３次元ＣＴ（Computed Tomography）画像データと３次元ＭＲ（magnetic resonance）画像データとの位置合わせは、それぞれの画像データを解析してランドマークとなる部位を特定し、特定された位置が対応するように位置合わせが行われる。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特許第４４６８４３２号明細書
【特許文献２】特開２０１４−２３６９９８号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかし、従来の手法による超音波３Ｄ画像データと医用３Ｄ画像データ（医用画像診断装置によって取得されたＣＴやＭＲの３次元画像データ）との位置合わせには、以下の問題がある。まず、超音波プローブを手技によってＣＴやＭＲ画像と位置合わせ操作しなければならないことから、主に角度成分にずれが生じ、関心領域全体で位置合わせのための精度が低下しやすい。また、ＣＴ画像やＭＲ画像と共通する構造を超音波３Ｄ画像データに見つけて位置合わせすることはユーザのスキルに依存するため、位置合わせの精度にばらつきが発生する。ＣＴ画像やＭＲ画像と超音波画像では、組織や血管・血液の見え方が異なる。超音波ではガスや骨の深部は構造を見ることができない。３Ｄの超音波画像は、そのボリューム領域が、ＣＴやＭＲに比べて非常に小さく、構造物の一部しか含まない。ＣＴやＭＴはベットにより画像の向きは一定している。
【０００５】
しかし、超音波の３Ｄデータは、超音波プローブの当て方により自由であり、ＣＴやＭＲとの位置合わせでは、位置ずれも角度ずれも大きくなり、位置合わせの検索範囲を広く設定する必要がある。検索範囲を大きくすると局所最適点にトラップされ、位置合わせに到達できない可能性が大きくなり、成功率が低下する。従って、画像位置合わせをＣＴやＭＲと超音波簡で行うことに困難さがある。研究機関や超音波診断装置で、ＣＴやＭＲと超音簡の画像位置合わせの試みがなされているが、成功しておらず、実用の品質が確保されていない。超音波診断装置が２次元断層像でほとんど診断されており、３Ｄ超音波データ自体があまり存在しないことも、ＣＴやＭＲと超音波簡の位置合わせの実施の障害になっている。さらに、超音波３Ｄデータ間での位置合わせを考えた場合は、小さいボリューム間の位置合わせとなり、位置や向きの自由度が大きく、データの重なりの確保も困難さがある。小さい重なりであることは、含まれる共通の構造体も少ないことを意味している。超音波３Ｄデータ間の画像位置合わせは、研究自体も少なく、実用化もされていない。
以上の点から、従来の手法による超音波３Ｄ画像データと医用３Ｄ画像データとの画像位置合わせは、その成功率が低く、実用的でないと言える。
【０００６】
本開示は、上述の課題を解決するためになされたものであり、超音波３Ｄ画像データと医用３Ｄ画像データとの位置合わせを画像位置合わせのアルゴリズムにより自動化して高い成功率で容易に正確に行うことができる超音波診断装置および超音波診断支援プログラムを提供することを目的とする。
【課題を解決するための手段】
【０００７】
本実施形態に係る超音波診断装置は、位置情報取得部と、超音波データ取得部と、センサ位置合わせ部と、画像位置合わせ部とを含む。位置情報取得部は、超音波プローブないし超音波画像に関する位置情報を取得する。超音波データ取得部は、前記位置情報を取得した位置における前記超音波プローブからの超音波の送受信により得られる超音波画像データを、前記位置情報と対応付けて取得する。センサ位置合わせ部は、前記位置情報に関する第１座標系と医用画像データに関する第２座標系との対応付けを行う。画像位置合わせ部は、前記対応付けが行われた前記超音波画像データに基づく超音波画像と前記医用画像データに基づく医用画像との画像位置合わせを行う。
【０００８】
また、本実施形態に係る超音波診断装置は、位置情報取得部と、第１超音波データ取得部と、センサ位置合わせ部と、領域指定部と、第２超音波データ取得部と、画像位置合わせ部とを含む。位置情報取得部は、超音波プローブないし超音波画像に関する位置情報を取得する。センサ位置合わせ部は、超音波プローブないし超音波画像の位置情報の第１座標系と医用画像データに関する第２座標系との対応付けを行う。領域指定部は、前記超音波プローブないし超音波画像の位置情報の第１座標系に基づく超音波画像と前記医用画像データの座標系に基づく医用画像との少なくともいずれか一方において、前記画像位置合わせの基準となる領域情報を指定する。超音波データ取得部は、前記位置情報を取得した位置における前記超音波プローブからの超音波の送受信により得られる超音波画像データを、前記位置情報と対応付けて取得する。第２超音波データ取得部は、前記領域情報に基づいて、画像位置合わせ用の第２超音波画像データを取得する。画像位置合わせ部は、前記対応付けと前記領域情報に基づいて、前記超音波画像データに基づく超音波画像と前記医用画像データに基づく医用画像との画像位置合わせを行う。
【０００９】
また、本実施形態に係る超音波診断装置は、超音波データ取得部と、領域指定部と、画像位置合わせ部とを含む。超音波データ取得部は、超音波画像データを取得する。領域指定部は、前記超音波画像データに基づく超音波画像と医用画像データに基づく医用画像との少なくともいずれか一方において、画像位置合わせの基準となる領域情報を指定する。画像位置合わせ部は、前記領域情報に基づいて、前記超音波画像と前記医用画像との画像位置合わせを行う。
【図面の簡単な説明】
【００１０】
【図１】本実施形態に係る超音波診断装置の構成を示すブロック図。
【図２】超音波画像データの３次元表示を示す概念図。
【図３】超音波画像データ間の位置合わせ処理を示すフローチャート。
【図４】画像位置合わせ処理を示すフローチャート。
【図５】超音波画像データ間での位置合わせ前の超音波画像表示の一例を示す図。
【図６】超音波画像データ間での位置合わせ後の超音波画像表示の一例を示す図。
【図７】第２の実施例に係る超音波画像データ間の位置合わせ処理を示すフローチャート。
【図８】センサ位置合わせが完了した後の超音波画像表示の一例を示す図。
【図９】超音波画像データと医用画像データとの位置合わせ処理を示すフローチャート。
【図１０Ａ】超音波画像データと医用画像データとのセンサ位置合わせの概念図。
【図１０Ｂ】超音波画像データと医用画像データとのセンサ位置合わせの概念図。
【図１０Ｃ】超音波画像データと医用画像データとのセンサ位置合わせの概念図。
【図１１Ａ】医師が肝臓の検査を行う場合の例の模式図。
【図１１Ｂ】超音波画像データと医用画像データとの対応付けの例を示す図。
【図１２】超音波画像データと医用画像データとの位置ずれの補正について説明する図。
【図１３】位置ずれの補正が完了した状態での超音波画像データの収集例を示す図。
【図１４】超音波画像データと医用画像データとの位置合わせ後の超音波画像表示の一例を示す図。
【図１５】超音波画像と医用画像との同期表示の一例を示す図。
【図１６】超音波画像と医用画像との同期表示の別例を示す図。
【図１７】超音波画像データと医用画像データとの位置合わせ処理の別例を示すフローチャート。
【図１８】超音波画像データと医用画像データとの位置合わせ前の表示例を示す図。
【図１９】超音波画像データと医用画像データとの位置合わせ後の表示例を示す図。
【図２０】超音波画像データと医用画像データとの位置合わせ後の表示の別例を示す図。
【図２１】位置センサシステムとして赤外線を利用する場合の超音波診断装置を示すブロック図。
【図２２】位置センサシステムとしてロボットアームを利用する場合の超音波診断装置を示すブロック図。
【図２３】位置センサシステムとしてジャイロセンサを利用する場合の超音波診断装置のブロック図。
【図２４】位置センサシステムとしてカメラを利用する場合の超音波診断装置のブロック図
【図２５】磁気センサによる位置センサシステムを示す概念図。
【図２６】超音波検査中に生体が移動した場合の、磁気センサによる位置センサシステムを示す概念図。
【図２７】体表に磁気センサを設置する場合の位置センサシステムを示す概念図。
【図２８】位置センサ付き２Ｄアレイプローブの操作例を示す超音波診断装置の概念図。
【図２９】リアルタイム３Ｄ位置合わせ表示の処理の流れを示す図。
【図３０】医用画像間の共通の構造を示す図。
【図３１】超音波３Ｄデータ間での位置合わせ品質の表示の一例を示す図。
【図３２】医用３Ｄ画像データと超音波３Ｄデータ間での位置合わせ品質の表示の一例を示す図。
【図３３】画像位置あわせ処理の別例を示すフローチャート。
【図３４】超音波３Ｄデータのノイズ領域の除外処理の一例を示す図。
【図３５】超音波３Ｄカラーデータによる血管構造の抽出処理の一例を示す図。
【発明を実施するための形態】
【００１１】
以下、図面を参照しながら本実施形態に係わる超音波診断装置および超音波診断支援プログラムについて説明する。以下の実施形態では、同一の参照符号を付した部分は同様の動作をおこなうものとして、重複する説明を適宜省略する。
【００１２】
図１は、本実施形態に係る超音波診断装置１の構成例を示すブロック図である。図１に示されるように、超音波診断装置１は、本体装置１０、超音波プローブ７０、及び位置センサシステム３０を具備する。本体装置１０は、ネットワーク１００を介して外部装置４０と接続される。また、本体装置１０は、表示機器５０および入力装置６０と接続される。
【００１３】
位置センサシステム３０は、超音波プローブ７０および超音波画像の３次元の位置情報を取得するためのシステムである。位置センサシステム３０は、位置センサ３１と位置検出装置３２とを含む。
【００１４】
位置センサシステム３０は、例えば、磁気センサ、赤外線センサまたは赤外線カメラ用のターゲット等を位置センサ３１として超音波プローブ７０に装着させることで、超音波プローブ７０の３次元の位置情報を取得する。なお、超音波プローブ７０にジャイロセンサ（角速度センサ）を内蔵させ、このジャイロセンサにより超音波プローブ７０の３次元の位置情報を取得してもよい。また、位置センサシステム３０は、超音波プローブ７０をカメラで撮影し、撮影した画像を画像認識処理することにより超音波プローブ７０の３次元の位置情報を取得してもよい。また、位置センサシステム３０は、超音波プローブ７０をロボットアームで保持し、ロボットアームの３次元空間の位置を超音波プローブ７０の位置情報として取得してもよい。
【００１５】
なお、以下では、位置センサシステム３０が磁気センサを用いて超音波プローブ７０の位置情報を取得する場合を例に説明する。具体的には、位置センサシステム３０は、例えば磁気発生コイルなどを有する磁気発生器（図示せず）をさらに含む。磁気発生器は、磁気発生器自身を中心として、外側に向かって磁場を形成する。形成された磁場には、位置精度が保証される磁場空間が定義される。よって、磁気発生器の配置は、超音波検査の対象となる生体が、位置精度が保証される磁場空間内に包含されるように配置されればよい。超音波プローブ７０に装着される位置センサ３１は、磁気発生器によって形成される３次元の磁場の強度および傾きを検出する。これにより、超音波プローブ７０の位置と向きとを取得することができる。位置センサ３１は、検出した磁場の強度および傾きを位置検出装置３２へ出力する。
【００１６】
位置検出装置３２は、位置センサ３１で検出された磁場の強度および傾きに基づき、例えば、所定の位置を原点とした３次元空間における超音波プローブ７０の位置（スキャン面の位置（ｘ、ｙ、ｚ）及び回転角度（θｘ、θｙ、θｚ））を算出する。このとき、所定の位置は、例えば、磁気発生器が配置される位置とする。位置検出装置３２は、算出した位置（ｘ、ｙ、ｚ、θｘ、θｙ、θｚ）に関する位置情報を本体装置１０へ送信する。
【００１７】
なお、上述のように取得した位置情報と超音波プローブ７０から送受信された超音波の超音波画像データとを時刻同期などで対応付けることにより、超音波画像データに位置情報を付与することができる。
【００１８】
超音波プローブ７０は、複数の圧電振動子、圧電振動子に設けられる整合層、及び圧電振動子から後方への超音波の伝播を防止するバッキング材等を有する。超音波プローブ７０は、本体装置１０と着脱自在に接続される。複数の圧電振動子は、本体装置１０が有する超音波送信回路１１から供給される駆動信号に基づき超音波を発生する。また、超音波プローブ７０には、後述するオフセット処理や、超音波画像のフリーズなどの際に押下されるボタンが配置されてもよい。
【００１９】
超音波プローブ７０から生体Ｐに超音波が送信されると、送信された超音波は、生体Ｐの体内組織における音響インピーダンスの不連続面で次々と反射され、反射波信号として超音波プローブ７０が有する複数の圧電振動子にて受信される。受信される反射波信号の振幅は、超音波が反射される不連続面における音響インピーダンスの差に依存する。なお、送信された超音波パルスが、移動している血流や心臓壁などの表面で反射された場合の反射波信号は、ドプラ効果により、移動体の超音波送信方向に対する速度成分に依存して、周波数偏移を受ける。超音波プローブ７０は、生体Ｐからの反射波信号を受信して電気信号に変換する。
【００２０】
本実施形態に係る超音波プローブ７０は、上述したように、位置センサ３１が装着されているので、生体Ｐを３次元で走査したときの位置情報を検出することが可能である。具体的には、本実施形態に係る超音波プローブ７０は、生体Ｐを２次元で走査する複数の超音波振動子を有する１次元アレイプローブである。なお、位置センサ３１が装着される超音波プローブ７０は、あるエンクロージャ内に１次元アレイプローブとプローブ揺動用モータを備え、超音波振動子を所定の角度（揺動角度）で揺動させることで煽り走査や回転走査を機械的に行い、生体Ｐを３次元で走査するメカニカル４次元プローブ（機械揺動方式の３次元プローブ）でもよい。さらに、複数の超音波振動子がマトリックス状に配置される２次元アレイプローブ、又は１次元に配列された複数の振動子が複数に分割される１．５次元アレイプローブであってもよい。
【００２１】
図１に示される本体装置１０は、超音波プローブ７０が受信した反射波信号に基づいて超音波画像を生成する装置である。本体装置１０は、図１に示すように、超音波送信回路１１、超音波受信回路１２、Ｂモード処理回路１３、ドプラ処理回路１４、３次元処理回路１５、表示処理回路１７、内部記憶回路１８、画像メモリ１９（シネメモリ）、画像データベース２０、入力インタフェース回路２１、通信インタフェース回路２２および制御回路２３を含む。
【００２２】
超音波送信回路１１は、超音波プローブ７０に駆動信号を供給するプロセッサである。超音波送信回路１１は、例えば、トリガ発生回路、遅延回路、及びパルサ回路等により実現される。トリガ発生回路は、所定のレート周波数で、送信超音波を形成するためのレートパルスを繰り返し発生する。遅延回路は、超音波プローブ７０から発生される超音波をビーム状に集束して送信指向性を決定するために必要な圧電振動子毎の遅延時間を、トリガ発生回路が発生する各レートパルスに対し与える。パルサ回路は、レートパルスに基づくタイミングで、超音波プローブ７０に駆動信号（駆動パルス）を印加する。遅延回路により各レートパルスに対し与える遅延時間を変化させることで、圧電振動子面からの送信方向が任意に調整可能となる。
【００２３】
超音波受信回路１２は、超音波プローブ７０が受信した反射波信号に対して各種処理を施し、受信信号を生成するプロセッサである。超音波受信回路１２は、例えば、アンプ回路、Ａ／Ｄ変換器、受信遅延回路、及び加算器等により実現される。アンプ回路は、超音波プローブ７０が受信した反射波信号をチャンネル毎に増幅してゲイン補正処理を行なう。Ａ／Ｄ変換器は、ゲイン補正された反射波信号をデジタル信号に変換する。受信遅延回路は、デジタル信号に受信指向性を決定するのに必要な遅延時間を与える。加算器は、遅延時間が与えられた複数のデジタル信号を加算する。加算器の加算処理により、受信指向性に応じた方向からの反射成分が強調された受信信号が発生する。
【００２４】
Ｂモード処理回路１３は、超音波受信回路１２から受け取った受信信号に基づき、Ｂモードデータを生成するプロセッサである。Ｂモード処理回路１３は、超音波受信回路１２から受け取った受信信号に対して包絡線検波処理、及び対数増幅処理等を施し、信号強度が輝度の明るさで表現されるデータ（Ｂモードデータ）を生成する。生成されたＢモードデータは、２次元的な超音波走査線上のＢモードＲＡＷデータとして不図示のＲＡＷデータメモリに記憶される。
【００２５】
ドプラ処理回路１４は、超音波受信回路１２から受け取った受信信号に基づき、ドプラ波形、及びドプラデータを生成するプロセッサである。ドプラ処理回路１４は、受信信号から血流信号を抽出し、抽出した血流信号からドプラ波形を生成すると共に、血流信号から平均速度、分散、及びパワー等の情報を多点について抽出したデータ（ドプラデータ）を生成する。
【００２６】
３次元処理回路１５は、Ｂモード処理回路１３、及びドプラ処理回路１４により生成されたデータに基づき、位置情報付きの３次元画像データを生成可能なプロセッサである。位置センサ３１が装着されている超音波プローブ７０が１次元アレイプローブ、又は１．５次元アレイプローブである場合、３次元処理回路１５は、ＲＡＷデータメモリに記憶されたＢモードＲＡＷデータに対し、位置検出装置３２で算出された超音波プローブ７０の位置情報を付加する。また、３次元処理回路１５は、ＲＡＷ−ピクセル変換を実行することで、ピクセルから構成される２次元画像データを生成し、生成した２次元画像データに対し、位置検出装置３２で算出された超音波プローブ７０の位置情報を付加してもよい。
【００２７】
また、３次元処理回路１５は、ＲＡＷデータメモリに記憶されたＢモードＲＡＷデータに対し、空間的な位置情報を加味した補間処理を含むＲＡＷ−ボクセル変換を実行することで、所望の範囲のボクセルから構成される３次元の画像データ（以下、ボリュームデータと称する。）を生成する。ボリュームデータには、位置検出装置３２で算出された超音波プローブ７０の位置情報が付加される。位置センサ３１が装着されている超音波プローブ７０がメカニカル４次元プローブ（機械揺動方式の３次元プローブ）、又は２次元アレイプローブの場合も同様に、２次元のＲＡＷデータ、２次元画像データ、及び３次元画像データに位置情報が付加される。
また、３次元処理回路１５は、発生したボリュームデータに対してレンダリング処理を施し、レンダリング画像データを生成する。
【００２８】
表示処理回路１７は、３次元処理回路１５において発生された各種画像データに対し、ダイナミックレンジ、輝度（ブライトネス）、コントラスト、γカーブ補正、及びＲＧＢ変換等の各種処理を実行することで、画像データをビデオ信号に変換する。表示処理回路１７は、ビデオ信号を表示機器５０に表示させる。なお、表示処理回路１７は、操作者が入力インタフェース回路２１により各種指示を入力するためのユーザインタフェース（ＧＵＩ：Graphical User Interface）を生成し、ＧＵＩを表示機器５０に表示させてもよい。表示機器５０としては、例えば、ＣＲＴディスプレイや液晶ディスプレイ、有機ＥＬディスプレイ、ＬＥＤディスプレイ、プラズマディスプレイ、又は当技術分野で知られている他の任意のディスプレイが適宜利用可能である。
【００２９】
内部記憶回路１８は、例えば、磁気的若しくは光学的記録媒体、又は半導体メモリ等のプロセッサにより読み取り可能な記録媒体等を有する。内部記憶回路１８は、超音波送受信を実現するための制御プログラム、画像処理を行うための制御プログラム、及び表示処理を行なうための制御プログラム等を記憶している。また、内部記憶回路１８は、診断情報（例えば、患者ＩＤ、医師の所見等）、診断プロトコル、ボディマーク生成プログラム、及び映像化に用いるカラーデータの範囲を診断部位毎に予め設定する変換テーブル等のデータ群を記憶している。また、内部記憶回路１８は、生体内の臓器の構造に関する解剖学図譜、例えば、アトラスを記憶してもよい。
【００３０】
また、内部記憶回路１８は、入力インタフェース回路２１を介して入力される記憶操作に従い、３次元処理回路１５で発生された２次元画像データ、ボリュームデータ、レンダリング画像データを記憶する。なお、内部記憶回路１８は、入力インタフェース回路２１を介して入力される記憶操作に従い、３次元処理回路１５で発生された位置情報付きの２次元画像データ、位置情報付きのボリュームデータ、位置情報付きのレンダリング画像データを、操作順番及び操作時間を含めて記憶してもよい。内部記憶回路１８は、記憶しているデータを、通信インタフェース回路２２を介して外部装置へ転送することも可能である。
【００３１】
画像メモリ１９は、例えば、磁気的若しくは光学的記録媒体、又は半導体メモリ等のプロセッサにより読み取り可能な記録媒体等を有する。画像メモリ１９は、入力インタフェース回路２１を介して入力されるフリーズ操作直前の複数フレームに対応する画像データを保存する。画像メモリ１９に記憶されている画像データは、例えば、連続表示（シネ表示）される。
【００３２】
画像データベース２０は、外部装置４０から転送される画像データを記憶する。例えば、画像データベース２０は、過去の診察において取得された同一患者に関する過去画像データを、外部装置４０から取得して記憶する。過去画像データには、超音波画像データ、ＣＴ（Computed Tomography）画像データ、ＭＲ画像データ、ＰＥＴ（Positron Emission Tomography）−ＣＴ画像データ、ＰＥＴ−ＭＲ画像データおよびＸ線画像データが含まれる。
【００３３】
なお、画像データベース２０は、ＭＯ、ＣＤ−Ｒ、ＤＶＤなどの記憶媒体（メディア）に記録された画像データを読み込むことで、所望の画像データを格納してもよい。
【００３４】
入力インタフェース回路２１は、入力装置６０を介して、ユーザからの各種指示を受け付ける。入力装置６０は、例えば、マウス、キーボード、パネルスイッチ、スライダースイッチ、トラックボール、ロータリーエンコーダ、操作パネルおよびタッチコマンドスクリーン（ＴＣＳ）である。入力インタフェース回路２１は、例えばバスを介して制御回路２３に接続され、操作者から入力される操作指示を電気信号へ変換し、電気信号を制御回路２３へ出力する。なお、本明細書において入力インタフェース回路２１は、マウス及びキーボード等の物理的な操作部品と接続するものだけに限られない。例えば、超音波診断装置１とは別体に設けられた外部の入力機器から入力される操作指示に対応する電気信号を無線信号として受け取り、この電気信号を制御回路２３へ出力する電気信号の処理回路も入力インタフェース回路２１の例に含まれる。
【００３５】
通信インタフェース回路２２は、位置センサシステム３０と例えば無線により接続し、位置検出装置３２から送信される位置情報を受信する。また、通信インタフェース回路２２は、ネットワーク１００等を介して外部装置４０と接続され、外部装置４０との間でデータ通信を行う。外部装置４０は、例えば、各種の医用画像のデータを管理するシステムであるＰＡＣＳ（Picture Archiving and  Communication System）のデータベース、医用画像が添付された電子カルテを管理する電子カルテシステムのデータベース等である。また、外部装置４０は、例えば、Ｘ線ＣＴ装置、及びＭＲＩ（Magnetic Resonance Imaging）装置、核医学診断装置、及びＸ線診断装置等、本実施形態に係る超音波診断装置１以外の各種医用画像診断装置である。なお、外部装置４０との通信の規格は、如何なる規格であっても良いが、例えば、ＤＩＣＯＭ（digital imaging and communication in medicine）が挙げられる。
【００３６】
制御回路２３は、例えば、超音波診断装置１の中枢として機能するプロセッサである。制御回路２３は、内部記憶回路に記憶されている制御プログラムを実行することで、当該プログラムに対応する機能を実現する。具体的には、制御回路２３は、位置情報取得機能１０１、超音波データ取得機能１０２、センサ位置合わせ機能１０３、領域指定機能１０４、画像位置合わせ機能１０５および同期制御機能１０６を実行する。
【００３７】
位置情報取得機能１０１を実行することで、制御回路２３は、位置センサシステム３０から通信インタフェース回路２２を介して超音波プローブ７０に関する位置情報を取得する。
【００３８】
超音波データ取得機能１０２を実行することで、制御回路２３は、３次元処理回路１５から超音波画像データを取得し、超音波画像データと位置情報とを対応付けて位置情報付き超音波画像データを生成する。
【００３９】
センサ位置合わせ機能１０３を実行することで、位置センサの座標系と医用３Ｄ画像データの座標系が関連付けられる。超音波画像データは、位置センサ座標系で位置情報が定義されたのち、位置情報付き超音波画像データと医用３Ｄ画像データが位置合わせされる。センサ位置合わせ機能１０３は、センサ座標系での医用３Ｄ画像間の位置合わせ機能である。医用３Ｄ画像と超音波３Ｄ画像間、あるいは、超音波３Ｄ画像間では、自由な向きと位置のデータであることから、画像位置合わせの検索範囲を広くする必要があるが、位置センサの座標系で位置合わせを行うことで、医用３Ｄ画像データ間の位置合わせの粗調整を行うことができる。医用３Ｄ画像データ間の位置や回転の差異を小さくした状態で、次のステップである画像位置合わせを実施することができる。言い換えると、センサ位置合わせは、医用３Ｄ画像間の位置や回転の差異を、画像位置合わせアルゴリズムのキャプチャーレンジ内に抑える役割がある。
【００４０】
領域指定機能１０４を実行することで、制御回路２３は、例えば、ユーザからの入力装置６０への入力を入力インタフェース回路２１を介して受け取り、当該入力に基づいて、超音波画像と医用画像との少なくともいずれか一方において、画像位置合わせの基準となる領域情報を指定する。
【００４１】
画像位置合わせ機能１０５を実行することで、制御回路２３は、センサ位置合わせ機能１０３により対応付けが行われた超音波画像データに基づく超音波画像と前記医用画像データに基づく医用画像との画像位置合わせを行う。
【００４２】
同期制御機能１０６を実行することで、制御回路２３は、画像位置合わせが完了したことにより決定される第１座標系と第２座標系との対応関係に基づいて、超音波プローブ７０によって新たに取得される超音波画像データに基づく画像であるリアルタイム超音波画像と、リアルタイム超音波画像に対応する前記医用画像データに基づく医用画像とを同期させ、連動して表示させる。
【００４３】
位置情報取得機能１０１、超音波データ取得機能１０２、センサ位置合わせ機能１０３、領域指定機能１０４、画像位置合わせ機能１０５および同期制御機能１０６は、制御プログラムとして組み込まれていてもよいし、制御回路２３自体または本体装置１０に制御回路２３が参照可能な回路として、各機能を実行可能な専用のハードウェア回路が組み込まれていてもよい。
【００４４】
制御回路２３は、これら専用のハードウェア回路を組み込んだ特定用途向け集積回路（Application Specific Integrated Circuit：ＡＳＩＣ）、フィールド・プログラマブル・ゲート・アレイ（Field Programmable Logic Device：ＦＰＧＡ）、他の複合プログラマブル論理デバイス（Complex Programmable Logic Device：ＣＰＬＤ）、又は単純プログラマブル論理デバイス（Simple Programmable Logic Device：ＳＰＬＤ）により実現されてもよい。
【００４５】
次に、超音波診断装置１で収集される超音波画像データの３次元表示（３Ｄ表示）および４次元表示（４Ｄ表示）について、図２を参照して説明する。なお、図２に示す処理は、３次元処理回路１５がおこなってもよいし、制御回路２３がおこなってもよい。
図２の上段は超音波データの収集から表示までの流れを各ステップで示し、図２の下段は各ステップで得られるデータの状態を示す。
【００４６】
ステップＳ２０１では、例えば、ユーザが超音波プローブ７０を３次元的に走査することにより、３次元の超音波画像データをスタックデータとして収集される。なお、超音波プローブ７０として、メカニカル４Ｄプローブや２次元アレイプローブを用いた電子走査により、３次元的な繰り返し走査が可能となるので、時間的に連続して収集された３次元画像データであって、時間軸を含む４次元の超音波画像データを収集することもできる。
【００４７】
ステップＳ２０２では、収集されたスタックデータである複数の２次元の超音波画像データ（断層画像）は、それぞれ異なる座標で収集されているため、各断層画像に共通に使用できる座標系を導入する。そのため、等方的なボクセルとして３次元の超音波画像データを再構成（リサンプリング）し、ボリュームデータを得る。
【００４８】
ステップＳ２０３では、ボリュームデータを、３次元から２次元平面上に投影表示（レンダリング）する。レンダリングの手法としては、例えば、ＭＰＲ（Multi-Planar Reconstruction/ Reformation）法、ＶＲ（Volume Rendering）法およびＶＲ（Volume Rendering）法が挙げられる。
【００４９】
ＭＰＲ法は、任意方向の断層像を作成する手法であり、指定した断層面近傍のボクセル値を補間することで画素値を求める。ＭＰＲ法は、通常の超音波撮像では見えない断面を観測できるという点で有用である。通常、立体構造を把握するために、指定断面と当該断面に直交する２断面を合わせた３断面を同時に表示する。
【００５０】
ＭＩＰ法は、視点と投影面との間の直線上に存在するボクセル値を調べ、その中の最大値を投影面に投影する表示手法である。カラードプラ法による血管像や超音波造影エコー法における造影エコー像の立体描出などに有用である。ただし、ＭＩＰ法では奥行き情報が消えるため、角度を変えて作成した像を回転させてシネ表示する必要がある。
【００５１】
ＶＲ法は、仮想スクリーンから一様な光が発せられ、発せられた光がボクセル値によって表現される3次元物体によって反射、減衰および吸収されるという仮想的な物理現象をシミュレーションした手法である。スタート点である仮想スクリーン上の点から、一定のステップ間隔で透過光および反射光を更新する。更新処理時に、ボクセル値に応じた不透明度（Ｏｐａｃｉｔｙ）を設定することで、生体の表面から内部構造まで多様な表現ができる。特に微細構造の抽出に優れている。
【００５２】
（超音波画像データ間での位置合わせ）
以下では、超音波画像データと医用画像データとの位置合わせ処理として、医用画像データが超音波画像データであり、取得時間が異なる超音波画像データ間の位置合わせ処理について、第一の実施例として、図３のフローチャートを参照して説明する。本実施形態では、例えば、肝臓ガンの治療の場合を想定し、治療前に肝臓ガン周辺の超音波画像データを取得し、治療後に再度、治療された肝臓ガン周辺の超音波画像データを取得し、治療前後の画像を比較して治療効果を判定するような場合を想定する。
【００５３】
ステップＳ３０１では、本実施形態に係る超音波診断装置の超音波プローブ７０が操作されることにより、超音波データ取得機能１０２を実行する制御回路２３が、治療対象となる肝臓ガン付近の生体部位（対象部位ともいう）の超音波画像データを取得する。位置情報取得機能１０１を実行する制御回路２３はまた、位置センサシステム３０から超音波画像データの取得時における超音波プローブ７０の位置情報を取得し、位置情報付き超音波画像データを生成する。
【００５４】
ステップＳ３０２では、制御回路２３または３次元処理回路１５が、超音波画像データおよび超音波プローブ７０の位置情報を用いて、図２に上述した手順により超音波画像データの３次元再構成を行い、位置情報付き超音波画像データのボリュームデータ（第１ボリュームデータともいう）を生成する。なお、治療前の位置情報付き超音波画像データであるため、過去の超音波画像データとして画像データベース２０に格納される。
【００５５】
その後、治療が進んで手術が終了し、治療効果の判定が行われる段階を想定する。
ステップＳ３０３では、位置情報取得機能１０１および超音波データ取得機能１０２を実行する制御回路２３が、ステップＳ３０１と同様に、超音波プローブ７０および超音波画像データの位置情報を取得する。治療前と同様に、治療後の対象部位に対して超音波プローブ７０が操作され、制御回路２３が、対象部位の超音波画像データを取得し、位置センサシステムから超音波プローブ７０の位置情報を取得し、位置情報付き超音波画像データを生成する。
【００５６】
ステップＳ３０４では、制御回路２３または３次元処理回路１５が、ステップＳ３０２と同様に、取得した超音波画像データおよび位置情報を用いて、位置情報付き超音波画像データのボリュームデータ（第２ボリュームデータともいう）を生成する。
【００５７】
ステップＳ３０５では、センサ位置合わせ機能１０３を実行する制御回路２３が、取得した超音波プローブ７０および超音波画像データの位置情報に基づいて、第１ボリュームデータの座標系（第１座標系ともいう）と第２ボリュームデータの座標系（第２座標系ともいう）とを、対象部位の位置が大略合うようにセンサ位置合わせを行う。超音波の第１ボリュームデータの位置も第2ボリュームデータの位置も、共通して位置センサ座標系の記述されている。従って、ボリュームデータに付帯する位置情報で直接位置合わせすることができる。
ステップＳ３０６では、第１ボリュームデータの取得から第2ボリュームデータの取得までの間に、生体が動かなければ、センサ位置合わせのみで良好な位置合わせ状態となる。その場合は、図３でステップＳ３０８の超音波画像の並列表示を行う。体動などにより、センサ座標系内で位置ずれが発生している場合、ステップＳ３０７の画像位置合わせを実施する。位置合わせ結果が良好であれば、ステップＳ３０８の超音波画像の並列表示を行う。
画像位置合わせの詳細については、図４を参照して後述する。
【００５８】
ステップＳ３０８では、制御回路２３が、例えば表示処理回路１７に指示することにより、治療前である第１ボリュームデータに基づく超音波画像と、治療後である第２ボリュームデータに基づく超音波画像を並列表示する。以上で超音波画像データ間の位置合わせ処理を終了する。
【００５９】
次に、ステップＳ３０７に示す画像位置合わせ機能が実現する制御回路２３による画像位置合わせ処理について図４のフローチャートを参照して説明する。
ステップＳ４０１では、制御回路２３が、第１ボリュームデータと第２ボリュームデータのうちの一方に関して、ここでは第２ボリュームデータに関して、座標を変換する。例えば、対象となる画像データに対して最低、Ｘ方向、Ｙ方向、Ｚ方向の回転と平行移動の６つのパラメータ、必要であれば３つのせん断方向も含めた９つのパラメータで座標変換すればよい。
【００６０】
ステップＳ４０２では、制御回路２３が、座標変換された領域をチェックする。具体的には、例えば、ボリュームデータ領域外のデータを除外する。領域内を１、領域外をゼロで表した配列を同時に生成してもよい。また、領域外を特定の画素値（例えば２５５）に設定し、輝度を０〜２５４により表現してもよい。
【００６１】
ステップＳ４０３では、制御回路２３が、第１ボリュームデータと第２ボリュームデータとの類似度に関する特徴量を計算する。例えば、ボクセルの輝度値などを特徴量として計算する。
【００６２】
ステップＳ４０４では、制御回路２３が、第１ボリュームデータと第２ボリュームデータとの位置ずれの評価関数を計算する。評価関数としては、例えば、ステップＳ４０３で算出した輝度値の輝度差分、相互相関、または、ボリュームデータ間の輝度の構造情報をあわせた後に類似度が最も高い領域を探索する等の相互情報量を用いればよい。
【００６３】
ステップＳ４０５では、制御回路２３が、評価関数が最適値基準を満たすかどうかを判定する。最適値基準を満たす場合、ステップＳ４０６に進み、最適値基準を満たさない場合、ステップＳ４０６に進む。最適値基準を満たすかどうかは、類似度の基準の向上をそれ以上望めなくなった時点で最適値基準を満たすとすればよい。
【００６４】
ステップＳ４０６では、制御回路２３が、最適値基準の結果に応じて、変換パラメータを変更する。類似度の基準値の向上が望めなくなった場合、局所解に陥っている可能性がある。当然のことながら、このときの類似度基準は最適解のそれよりも小さく、大きく位置がずれているときの画像の類似度基準との比を、経験的にわかっている最適解時のそれと比較することで判定することができる。もし、局所解に陥っていると判断した場合、その位置より、パラメータを少し変更して最適化を再度実行することで最適解に収束することが期待できる。パラメータの変更は、例えばｄｏｗｎｈｉｌｌ、ｓｙｍｐｌｅｘ法の場合であれば、初期設定するシンプレックスの位置を前回より大きくするなどで対応する。
【００６５】
ステップＳ４０７では、位置ずれ量を決定し、位置ずれ量の分だけ補正する。以上で画像位置合わせ処理を終了する。なお、図４に示す画像位置合わせは一例であり、画像位置合わせに関する一般的な手法を用いてもよい。
【００６６】
図３により説明してきた超音波３Ｄ画像データ間の位置合わせの一例を、図５に示す。  図５の左側の画像が治療前の第１ボリュームデータに基づく超音波画像であり、図５の右側の画像が治療後の第２ボリュームデータに基づく超音波画像である。図３のステップＳ３０５の状態にある。なお以下では、超音波画像は白黒反転表示で図示する。図５に示すように、超音波画像データを取得する時期が異なれば、同一の対象部位を走査した場合でも、体動などが原因で位置ずれが生じうる。
【００６７】
次に、ステップＳ３０８に示す画像位置合わせ後の超音波画像表示の一例について図６を参照して説明する。
図６の左側の画像が治療前の第１ボリュームデータに基づく超音波画像であり、図６の右側の画像が治療後の第２ボリュームデータに基づく超音波画像である。図６に示すように、治療前後の超音波画像データが位置合わせされ、第１ボリュームデータに基づく超音波画像が第２ボリュームデータに基づく超音波画像の位置に合わせて回転して並列表示される。図６のように、超音波画像間で位置合わせが完了しているので、ユーザはパネル操作などで、所望の断面を位置合わせした状態で検索して表示でき、対象部位の評価（治療部位の治療状態）を容易に把握することができる。
【００６８】
（体動や呼吸時相による位置ずれの補正）
第2の実施例を、図７にて説明する。  
【００６９】
治療中において体動により、超音波画像データ間で位置センサ座標系で大きな位置ずれが発生し、画像位置合わせでの補正可能な範囲を超えることがある。磁場強度の維持の観点で、磁場の送信機を患部に近い場所に移動させることもある。そのようなケースでは、センサ位置合わせ機能１０３により、センサの座標系を対応付けた後も、超音波画像データ間に大きな位置ずれが残存する場合も想定される。そのようなケースに対して、第２の実施例として図７のフローチャートがある。ユーザは、ステップＳ３０６でセンサ位置合わせ後も大きな位置ずれありと判断し、ステップＳ７０１のプロセスを行う。
【００７０】
ユーザが、第１ボリュームデータに基づく超音波画像と第２ボリュームデータに基づく超音波画像との間で対応する生体部位を示す対応点を、それぞれの超音波画像において指定する。対応点の指定方法は、例えば、表示処理回路１７が生成したユーザインタフェースにより、ユーザが操作パネルを用いて画面に表示されるカーソルを動かし、対応点を指定してもよいし、タッチスクリーンであれば、直接画面上で対応点をタッチしてもよい。図８の例では、ユーザによって、第１ボリュームデータに基づく超音波画像上の対応点８０１が指定され、第２ボリュームデータに基づく超音波画像上で、対応点８０１に対応する対応点８０２が指定される。制御回路２３は、指定された対応点８０１及び対応点８０２を、例えば「＋」のマークで表示させる。これによって、ユーザは対応点を容易に把握することができ、ユーザに対して対応点の入力を支援することができる。領域指定機能１０４を実行する制御回路２３は、それぞれ指定された対応点８０１間の位置ずれを計算し、位置ずれを補正する。位置ずれの補正は、例えば、対応点８０１と対応点８０２との相対距離をずれ量として計算し、ずれ量の分、第２ボリュームデータに基づく超音波画像を移動および回転させればよい。
【００７１】
なお、対応する生体部位における所定範囲の領域を対応領域として指定してもよく、対応領域が指定される場合でも対応点の場合と同様に処理すればよい。
さらに、体動や呼吸時相による位置ずれを補正する例を示したが、ユーザが画像位置合わせにおける関心領域（ＲＯＩ）を指定するために、対応点または対応領域を指定してもよい。
【００７２】
図７のステップＳ７０２により超音波画像間の位置ずれが補正された後、第１の実施形態と同様に、ユーザは画像位置合わせの指示を、例えば操作パネルによりまたは超音波プローブ７０に取り付けられるボタンを押下することにより指示する。図７のステップＳ７０３の画像位置合わせ機能は、位置ずれが補正された超音波画像データに基づいて、画像位置合わせを行えばよい。図３のフローチャートと同様に、図６に示した状態になる。
画像位置合わせの指示があった後、表示処理回路１７は、図７のステップＳ３０８にて位置合わせした超音波画像を並列表示させる。これにより、ユーザは超音波診断装置の操作パネルなどで画像の位置や向きを自由に変更して観察することができる、超音波３Ｄ画像データは、第１ボリュームデータと第２ボリュームデータの位置関係が連結され、ＭＰＲ断面が同期して移動・回転することができる。必要により、同期を解除して独立に観察することもできる。超音波診断装置の操作パネルに変えて、超音波プローブ７０をＭＰＲ断面の移動や回転のユーザインタフェースにすることもできる。超音波プローブ７０には磁気センサが設置されており、超音波システムは超音波プローブ７０の動き量・回転量・向きを検出できる。超音波プローブ７０の動きで、超音波３Ｄ画像データの第１ボリュームデータと第２ボリュームデータとの位置を同期させて移動・回転させることができる。
【００７３】
（超音波画像データと超音波画像以外の医用画像データとの間の位置合わせ）
第３の実施例を、説明する。
以下では、ＣＴ画像データ、ＭＲ画像データ、Ｘ線画像データ、ＰＥＴ画像データなどの他のモダリティにより得られた医用画像データと超音波プローブ７０を用いて現在取得される超音波画像データとの間の位置合わせを行う場合について説明する。なお、以下では医用画像データとしてＭＲＩ画像データを用いる場合を想定する。
【００７４】
超音波画像データと医用画像データとの位置合わせ処理について、図９のフローチャートを参照して説明する。なお、医用画像データとして３次元画像データを想定するが、必要に応じて、４次元画像データを医用画像データとしてもよい。
【００７５】
ステップＳ９０１では、制御回路２３が、画像データベース２０から医用３Ｄ画像データを読み出す。
ステップＳ９０２では、位置センサシステム３０のセンサ座標系と医用３Ｄ画像データの座標系との対応付けを行う。
ステップＳ９０３では、位置情報取得機能１０１および超音波データ取得機能１０２を実行する制御回路２３が、超音波プローブ７０で取得される位置情報と超音波画像データと、超音波画像データを取得したときの位置情報とを対応付けて位置情報付き超音波画像データとして取得する。
【００７６】
ステップＳ９０４では、位置情報付き超音波画像データのボリュームデータを生成する。
ステップＳ９０５では、画像位置合わせ機能１０５を実行する制御回路２３が、ステップＳ３０７と同様にボリュームデータと医用３Ｄ画像データとの間で画像位置合わせを行う。
ステップＳ９０６では、表示処理回路１７が、ボリュームデータに基づく超音波画像と医用３Ｄ画像データに基づく医用画像とを並列表示する。
【００７７】
次に、ステップＳ９０２に示すセンサ座標系と医用３Ｄ画像データの座標系との対応付けについて、図１０Ａから図１０Ｃを参照して説明する。図３のフローチャートのステップＳ３０６に相当するセンサ位置合わせのプロセスである。
【００７８】
図１０Ａは初期状態を表しており、図１０Ａに示すように、超音波画像データに付加される位置情報を生成するための位置センサシステムの位置センサ座標系１００１と、医用画像データの医用画像座標系１００２とが、独立して定義される。
図１０Ｂは、それぞれの座標系の軸合わせのプロセスを示している。位置センサ座標系１００１の座標軸と医用画像座標系１００２の座標軸とが同一の方向となるように揃える。すなわち、座標系の座標軸の向きを揃える。
図１０Ｃは、目印合わせのプロセスである。位置センサ座標系１００１と医用画像座標系１００２との座標を所定の基準点に従って合わせた場合を示し、座標系間で軸の向きだけでなく、座標の位置も一致させることができる。
【００７９】
センサ座標系と医用３Ｄ画像データの座標系との対応付けの実際の装置上で実現するプロセスについて、図１１Ａおよび図１１Ｂを参照して説明する。
図１１Ａは、医師が肝臓の検査を行う場合の例の模式図を示している。医師は、超音波プローブ７０を患者の腹部に水平方向に設置する。ＣＴやＭＲのアキシャル（Ａｘｉａｌ）画像と同じ向きの超音波断層像が得られるように、超音波プローブ７０は体軸に垂直で、かつ超音波断層像がお腹側から背中に向かって鉛直に設置する。これにより、図１１Ｂのような画像が得られる。本実施例では、ステップＳ９０１で画像データベース２０より３次元ＭＲ画像データを読み込み、モニタの左側に表示される３次元ＭＲ画像である。アイコン１１０１の位置で得られるアキシャル断面のＭＲ画像が、図１１Ｂに示すＭＲ画像１１０２であり、モニタの左側に表示される。さらに、モニタの右側には、ＭＲ画像１１０２に並列して、そのときのリアルタイムに更新されるリアルタイム超音波画像１１０３が表示される。図１１Ａのように超音波プローブ７０を腹部に設置することにより、ＭＲのＡｘｉａｌ面と同じ向きの超音波断層像が得られる。
【００８０】
ユーザは、超音波プローブ７０をアキシャル断面の方向で生体の体表に当接する。超音波プローブ７０がアキシャル断面の方向となっているかどうかは、ユーザが、目視により確認する。ユーザがアキシャル断面の方向に超音波プローブ７０を生体に当接した場合に、操作パネルによるクリックや、ボタンを押下するなどの登録処理を行うことで、制御回路２３は、この状態の超音波プローブ７０のセンサの位置情報のセンサ座標とＭＲデータのＭＰＲ面の位置のＭＲデータ座標とを取得して関連づける。生体のＭＲ画像データにおけるアキシャル断面を位置センサ座標に変換して認識することができる。これによって、図１１Ｂで示した軸合わせ（座標系の座標軸の向きの一致）が完了する。システムは、軸合わせの状態で、ＭＲのＭＰＲ像とリアルタイムの超音波断層像をセンサ座標で関連付けて、連動させて表示することができる。このとき、両座標系の軸は合っているので画像の向きは合うが、体軸方向の位置にずれが残っている。ユーザは、体軸方向の位置にずれがある状態で、超音波プローブ７０を動かすことで、ＭＲのＭＰＲ面とリアルタイムの超音波像を連動して観察することができる。
【００８１】
次に、図１１Ｃで示した目印合わせのプロセスの装置での実現の方法を、図１２を参照して説明する。
図１２は、モニタに表示される、図１１Ｂに示すＭＲ画像１１０２およびリアルタイム超音波画像１１０３の並列表示画面である。
【００８２】
軸合わせが完了したのち、ユーザは、体軸方向の位置にずれがある状態で、超音波プローブ７０を動かすことで、ＭＲのＭＰＲ面とリアルタイムの超音波像とを連動して観察することができる。
ユーザは、モニタに表示されるリアルタイム超音波画像１１０３を見ながら、超音波プローブ７０を走査することにより位置合わせをする領域の中心または構造物などの対象部位（またはＲＯＩ）をモニタに表示させる。その後、ユーザは、操作パネルなどにより対象部位を対応点１２０１として指定する。図１２の例では、指定された対応点を、「＋」で示す。この時、システムは対応点１２０１のセンサ座標系の位置情報を取得して記録する。
【００８３】
次に、ユーザは、超音波プローブ７０を動かすことでＭＲのＭＰＲ断面を動かし、ユーザにより指定された超音波画像の対応点１２０１を含む断面に対応するＭＲ画像の断面像を表示する。対応点１２０１を含む断面に対応するＭＲ画像の断面像が表示された場合、ユーザは、ＭＲ画像の断面像において指定された位置合わせをする領域の中心または構造物などの対象部位（またはＲＯＩ）を、操作パネルなどにより対応点１２０２として指定する。この時、システムは対応点１２０１のＭＲデータの座標系の位置情報を取得して記録する。
【００８４】
領域指定機能を実行する制御回路２３は、指定された対応点のセンサ座標系での位置とＭＲデータの座標系での位置に基づいて、ＭＲ画像データの座標系とセンサ座標系との位置ずれを補正する。具体的には、例えば、対応点１２０１と対応点１２０２との差分に基づいて、ＭＲ画像データの座標系とセンサ座標系のずれを補正して、座標系の位置合わせを行う。これにより、図１０Ｃの目印合わせのプロセスが完了し、図９のフローチャートのステップＳ９０２のステップが完了する。
【００８５】
次に、図９のフローチャートのＳ９０３のステップである、ＭＲデータの座標系とセンサ座標系の位置合わせがされた状態での超音波画像データの収集例について図１３の模式図にて説明する。
ユーザは、位置補正が完了したのち、３次元ＭＲ画像データを参照しながら、対象部位を含む領域について超音波プローブ７０を用手的に操作して、位置情報付き超音波画像データを収集する。図１３には、ユーザが腹部で超音波プローブ７０を用手的に動かす模式図を示す。
【００８６】
次に、ユーザは、画像位置合わせのスイッチを押下して、画像位置合わせを行う。これまでのプロセスで、ＭＲデータと超音波データの位置は概ね一致しており、両者に共通する対象を含んでいるので、画像位置合わせが良好に動作する。画像位置合わせ後の超音波画像表示の一例について図１４を参照して説明する。図９のステップＳ９０６のとおり、ＭＲ画像と位置合わせされた超音波画像は、並列に表示される。
図１４に示すように、画像位置合わせに応じて、超音波画像データの超音波画像１４０１が、ＭＲ３Ｄ画像データのＭＲ３Ｄ画像１４０２に対応するように観点して表示される。よって、超音波画像とＭＲ３Ｄ画像との位置関係が把握しやすくなる。超音波診断装置の操作パネルなどで画像の位置や向きを自由に変更して観察することができる、ＭＲ３Ｄデータと超音波３Ｄ画像データは、位置関係が連結され、ＭＰＲ断面が同期して移動・回転することができる。必要により、同期を解除して独立に観察することもできる。超音波診断装置の操作パネルに変えて、超音波プローブ７０をＭＰＲ断面の移動や回転のユーザインタフェースにすることもできる。超音波プローブ７０には磁気センサが設置されており、超音波システムは超音波プローブ７０の動き量・回転量・向きを検出できる。超音波プローブ７０の動きで、ＭＲ３Ｄデータと超音波３Ｄ画像データとの位置を同期させて移動・回転させることができる。
【００８７】
第三の実施例において、ＭＲ３Ｄデータを例に説明を行ったが、ＣＴ・Ｘ線・超音波・ＰＥＴ等の医用３Ｄ画像データに同様に適用できる。医用３Ｄデータの座標系と位置センサの座標系の関連付けは、図１０Ａ〜図１０Ｃに示した軸合わせと目印合わせとのステップにて説明したが、座標間の位置合わせは、様々な手法で可能である。両座標で３点以上を指定して、位置を合わせるなど、他の方法を持ちうることも可能である。さらに、位置ずれの補正が完了した後に位置情報付き超音波画像データを収集する代わりに、位置ずれの補正前に位置情報付き超音波画像データを取得してボリュームデータを生成し、超音波画像データのボリュームデータに基づく超音波画像と医用３Ｄ画像データに基づく医用画像との間で対応点を指定し、位置ずれの補正をしてもよい。
【００８８】
（超音波画像と医用画像との同期表示）
第四の実施例を示す。
【００８９】
上述したセンサ位置合わせおよび画像位置合わせが完了すると、医用画像の座標系（ここではＭＲ座標系）と位置センサ座標系との対応関係が決定される。表示処理回路１７は、位置合わせ処理が完了した後にユーザが自由に超音波プローブ７０を動かして得られるリアルタイム（ライブ）の超音波画像の位置情報を参照して、対応するＭＲのＭＰＲ断面を表示することができる。高精度に位置合わせが行われたＭＲ画像とリアルタイムの超音波画像との対応断面を連動させて表示（同期表示ともいう）させることができる。
超音波３Ｄ画像間でも同様の手法で同期表示することができる。すなわち、過去に取得した超音波３Ｄ画像とリアルタイムの超音波３Ｄ画像とについて同期表示させることができる。図３と図７のステップＳ３０８のステップ、および図９のステップＳ９０６のステップにて、医用３D画像と位置合わせされた超音波３D画像の並列の同期表示を例示してきたが、センサ座標を利用して、リアルタイムの超音波断層像を切り替えて表示することが可能である。
【００９０】
超音波画像と医用画像との同期表示の一例を図１５に示す。例えば、超音波プローブ７０を走査すると、リアルタイムの超音波画像１５０１と、対応するＭＲ３Ｄ画像１５０２と、位置合わせに用いた位置合わせ用超音波画像１５０３とが表示される。なお、図１６に示すように、位置合わせ用超音波画像１５０３を表示させず、リアルタイムの超音波画像１５０１とＭＲ３Ｄ画像１５０２とを並列表示してもよい。
【００９１】
第五の実施例を示す。
図１７のフローチャートが示すとおり、超音波３Ｄデータの取得の後に、センサ座標と医用３Ｄ画像データのデータ座標の関連づけを行っても良い。例えば、図１７のフローチャートのステップＳ１７０１およびステップＳ１７０２は、図１８に示すように、超音波データ取得機能を実行する制御回路２３は、３次元超音波データを読み込み、モニタの右側に超音波３Ｄ画像１８０１を表示させる。制御回路２３は、画像データベースから医用３Ｄ画像データの医用３Ｄ画像１８０２（ここでは、３次元ＣＴ画像データ）を読み込み、モニタの左側に表示する。
【００９２】
図１７のフローチャートのステップＳ１７０３は、図１８では、領域指定機能を実行する制御回路２３は、３次元ＣＴ画像の断面と超音波画像の断面とに対して領域情報、ここでは対応点または対応領域を指定する。図１８では、「＋」の印で指定場所を表示している。なお、対応点または対応領域ではなく、画像位置合わせの計算を行う際の領域を指定させることもできる。
領域指定機能１０４を実行する制御回路２３は、ＭＲのデータ座標での対応点の座標と位置センサ座標での対応点の座標とを関連づけて、センサ位置合わせを行う。
【００９３】
画像位置合わせ機能１０５を実行する制御回路２３は、領域情報に基づいて、超音波画像と医用画像との画像位置合わせを行う。ユーザは、センサ位置合わせがされた状態で、画像位置合わせを例えば、操作パネルより指示する。対応領域に基づいて３次元ＣＴ画像データと３次元超音波データを読み込み、画像位置合わせアルゴリズムによる処理を行う。
【００９４】
図１９は、画像位置合わせ処理後の画像の表示例を示す。図１９に示すように、超音波３Ｄ画像１８０１の位置に合わせて医用３Ｄ画像１８０２が回転して表示される。また、図２０も、画像位置合わせ処理後の画像の表示例であるが、３次元ＣＴ画像と超音波３Ｄ画像との対応する断面が重ね合わせ表示２００１として表示される。
【００９５】
以上に示した本実施形態によれば、位置センサシステムにより位置情報が付加された超音波プローブ７０を走査して得られる超音波画像データに基づいて、取得時期、取得場所が異なる超音波画像データを含む医用画像間の座標系の対応付けを行い、対応付けに基づいて画像位置合わせを行うことで、画像位置合わせの成功率が高まり、簡便で正確な位置合わせが行われた超音波画像と医用画像とをユーザに提示することができる。また、画像位置合わせが完了したセンサ座標系と医用画像の座標系とを間に同期が取れているため、超音波プローブ７０の走査に連動して医用３Ｄ画像のＭＰＲ断面とリアルタイムの超音波断層像を同期して表示することができる。医用画像と超音波画像との正確な比較が実現され、超音波診断の客観性を向上させることができる。
【００９６】
これまで記述した本実施例では、位置センサシステムとして磁気センサを利用した位置センサシステムを例示した。
図２１には、位置センサシステムとして、赤外線を利用した場合の実施例を示す。赤外線発生器２１０２より赤外線が少なくとも２方向より送信される。超音波プローブ７０に設置されたマーカー２１０１により赤外線が反射される。反射した赤外線を赤外線発生器２１０２が受信して、データが位置センサシステム３０に送信される。位置センサシステム３０は、複数方向から観察された赤外線情報よりマーカーの位置と向きを検出して、超音波診断装置に位置情報を送信する。
【００９７】
図２２には、位置センサシステムとして、ロボットアームを利用した場合の実施例を示す。ロボットアーム２２０１が、超音波プローブ７０を動かす。あるいは、超音波プローブ７０にロボットアーム２２０１が装着された状態で医師が超音波プローブ７０を動かす。ロボットアーム２２０１には位置センサが取り付けられており、ロボットアーム制御部２２０２にロボットアーム各所の位置情報が逐次送信される。ロボットアーム制御部２２０２は、超音波プローブ７０の位置情報に変換して、超音波診断装置に送信する。
【００９８】
図２３には、位置センサシステムとして、ジャイロセンサを利用した場合の実施例を示す。ジャイロセンサ２３０１が、超音波プローブ７０に内蔵されるか、超音波プローブ７０表面に設置される。ジャイロセンサ２３０１よりケーブルにより位置情報が、位置センサシステム３０に送信される。ケーブルは、超音波プローブ７０用のケーブルの一部を使用するか、専用のケーブルを使うことがある。位置センサシステム３０も、専用のユニットの場合と、超音波装置内のソフトウエアで実現する場合もある。ジャイロセンサでは、所定の初期位置に対して、加速度や回転情報を積分して、位置と向きの変化を検出することができる。ＧＰＳ情報により、位置を補正することも考えられる。あるいは、ユーザの入力により、初期位置設定や補正を行うことができる。位置センサシステム３０により、ジャイロセンサの情報が積分処理などにより位置情報に変換され、超音波診断装置に送信される。
【００９９】
図２４には、位置センサシステムとして、カメラを利用した場合の実施例を示す。カメラ２４０１より超音波プローブ７０周辺が複数方向より撮影される。撮影された画像は画像記録解析部２４０３に送られ、超音波プローブ７０を自動認識して位置を計算する。撮像制御部２４０２は、計算された位置を超音波プローブ７０の位置情報として、超音波診断装置に送信する。
【０１００】
（センサ位置合わせ部の変形例）
図１に示したセンサ位置合わせ機能には、様々な実施形態がある。第１の実施例から第４の実施例までの説明で述べられているが、その形態を改めて記述し、さらに変形例を述べる。
【０１０１】
本実施形態に係るセンサ位置合わせ部は、様々な実施形態がある。センサ位置合わせ部の第１の実施例は、医用３Ｄ画像データの位置合わせ対象領域を、超音波プローブ７０を動かして超音波画像で描出して、その超音波画像の位置センサ座標と対応する医用３Ｄ画像データの座標を関連づける。図９のフローチャートや図１２で説明を行った。
【０１０２】
センサ位置合わせ部の第２の実施例は、医用３Ｄ画像データが位置センサの位置情報付き超音波３Ｄ画像データの場合である。センサ位置合わせ部は、共通の位置センサ座標を利用して関連づけることが、図３のフローチャートに示されている。図２５に磁気センサによる位置センサシステムの模式図を示す。例えば、磁気の送信機２５０１に磁場空間の座標を定義する。この送信機座標で超音波プローブ７０に装着された超音波プローブ用磁気センサ２５０２の位置が定義できる。
超音波プローブ７０を動かして超音波３Ｄ画像データを取得する場合、共通の送信機座標で超音波３Ｄ画像データ間の位置や向きの関係を把握して、位置合わせを行うことができる。
【０１０３】
センサ位置合わせ部の第３の実施例は、体表にもう一つの磁気センサを設置するケースである。図２６に、超音波検査中に生体が移動した場合の模式図を示す。磁場の空間は、送信機座標系であり、生体の移動により超音波プローブ７０の位置が変化する。しかしながら、生体と超音波プローブ７０の位置関係に変化がないことがあり得る。その場合、第二の実施例のとおりに、共通の送信機座標で超音波３Ｄ画像データ間の位置合わせを行うと、生体の移動分のずれが発生する。図２７に、体表にもう一つの磁気センサ２７０１を設置し、体表の磁気センサ２７０１を原点とする磁場空間の座標系を定義する。図２６のように生体が動いても、図２７に示すとおり、体表の磁気センサ２７０１を原点とする体表センサ座標では、生体の動きの影響を除去することができる。図２７のとおり、体表センサ座標を共通の座標系として、超音波３Ｄ画像データ間の位置や向きの関係を把握して、位置合わせを行うことができる。
【０１０４】
図２２に示した位置センサシステムとして用いられるロボットアームは、１台に限定されない。位置センサシステムは、第２のロボットアームを備えてもよい。第２のロボットアームは、例えば、生体Ｐの体表における指定された点を追従するように制御される。ロボットアーム制御部（図示せず）は、第２のロボットアームの位置を把握しながら、第２のロボットアームの移動を制御する。制御回路２３は、第２のロボットアームが追従する位置を生体の指定された点であると認識する。なお、指定された点が体内に存在する場合には、第２のロボットアームが追従する位置と、超音波断層画像内の指定部位の位置とから、指定された点の位置を算出する。これにより、生体Ｐが検査中に動いた場合、及び検査中に生体Ｐの体位を変更する必要が生じた場合においても、継続して生体対象部位を認識し続けることが可能となる。
【０１０５】
（超音波画像データの変形例）
ここまで、超音波画像データとして、位置情報付きの超音波３Ｄ画像データを例示してきた。しかしながら、超音波画像データは、位置情報付きの２Ｄ断層像であっても良い。
図４の画像位置あわせ処理の流れにおいて、例えば、Ｖｏｌｕｍｅ２を２Ｄ断層像にすることができる。Ｖｏｌｕｍｅ１を位置情報付き超音波３Ｄ画像データとして、Ｖｏｌｕｍｅ２の２Ｄ断層像を座標変換でＶｏｌｕｍｅ１と重なる領域を変えながら類似度を評価する。位置ずれ評価関数が基準を満たした段階で位置合わせを終了し、Ｖｏｌｕｍｅ１の位置情報付き超音波３Ｄ画像データとＶｏｌｕｍｅ２の２Ｄ断層像の位置関係が決定される。
【０１０６】
超音波画像データは、位置情報付きの機械揺動式の４Ｄプローブ（メカニカル４Dプローブ）か、２Ｄアレイプローブによる電子走査により収集された超音波３Ｄ画像データ、あるいは超音波４Ｄ画像データでも良い。図２８には、２Ｄアレイプローブに位置センサを設置した実施例を示す。図１に示した第一の実施例では、用手的に超音波プローブ７０を動かして位置情報付きの超音波３Ｄ画像データを取得した、図２８では、２Ｄアレイプローブにて電子的制御にて超音波３Ｄ画像データを取得することができる。超音波３Ｄ画像データは繰り返し取得することが可能で、各超音波３Ｄ画像データには、位置情報が添付される。図４、あるいは図９で示した超音波３Ｄ画像データは、２Ｄアレイプローブにて電子的制御にて取得することができる。超音波３Ｄ画像データに添付された位置情報により、図５と同様にセンサ位置合わせを実施することができる。２Ｄアレイプローブは、連続的に超音波３Ｄ画像データを生成可能あることより、図５のようなセンサ位置合わせを連続的に行うことが可能である。さらに、画像位置合わせを連続的に実施し、モニタ上に、リアルタイムに位置合わせされた画像を並列に表示することができる。操作者は、超音波プローブ７０を動かして、観察場所を変えながら診断することができる。図２９に、リアルタイム３Ｄ位置合わせ表示の処理の流れを示す。
【０１０７】
図８や図１２や図１８のとおり、生体や臓器の動きなどにより、位置ずれが発生した場合は、位置合わせ中心位置をユーザが画像上で指定することにより、ずれを補正することができる。この位置補正が行われた状態で、画像位置合わせを連続的に実施し、モニタ上に、リアルタイムに位置合わせされた画像を並列に表示することができる。
【０１０８】
（領域指定機能の変形例）
図１に示した領域指定機能には、様々な実施形態がある。第１の実施例から第４の実施例までの説明で述べられているが、その形態を改めて記述し、さらに変形例を述べる。
【０１０９】
領域指定機能の第１の実施例は、図７に示されている。第１の実施例では、領域指定機能は、医用３Ｄ画像データと超音波３Ｄデータの対応する領域を指定するユーザインタフェースと、前記指定領域の座標情報より位置センサシステムの位置センサ座標と医用３Ｄ画像データの座標の関連づけを修正する機能にて構成される。
図８において、超音波３Ｄ画像データ間に大きな位置ずれが残っている場合は、操作パネル４を用いて、両方の超音波３Ｄ画像で対応する領域を指定する。図８では、「＋」の印で指定場所を表示している。領域指定機能は、この指定の情報を用いて、超音波３Ｄデータ間の位置関係の情報を補正する。補正により、図４と同様に、ずれが所定の大きさ以内の状態を実現し、表示される。
【０１１０】
図１８に、ＣＴの３Ｄ画像データと超音波３Ｄ画像データでの実施例を示す。超音波データ取得機能１０２を実行する制御回路２３より、超音波３Ｄデータを読み込み、モニタの右側に表示する。画像データベース２０より、ＣＴ３Ｄ画像データを読み込み、モニタの左側に表示する。操作者は、操作パネルより、各データの対応領域を含む断面を捜し、並列表示する。図１２のＭＲ３Ｄ画像の断面において対応領域を指定したように、図１８の場合においても、ＣＴ３Ｄ画像の断面と超音波断面の対応する領域を指定する。図１２では、「＋」の印で指定場所を表示している。画像位置合わせ計算を行う領域の範囲を指定させることもできる。領域指定機能は、この指定の情報を用いて、ＣＴ３Ｄ画像と超音波３Ｄデータ間の位置関係の情報を発生させる。
【０１１１】
領域指定機能の第２の実施例は、図１２に示されている。第２の実施例では、領域指定機能は、医用３Ｄ画像データの所望の対象領域を指定するユーザインタフェースと、超音波プローブ７０を動かし、超音波のリアルタイムの断層像で、医用画像３Ｄデータの対象領域を指定するユーザインタフェースと、前記指定領域の座標情報より位置センサシステムの位置センサ座標と医用３Ｄ画像データの座標の関連づけを修正する機能を有するセンサ位置合わせ部と、前記修正された座標関係の中で超音波画像データを取得する超音波データ取得部により構成される。
【０１１２】
図１２に、ＭＲの３Ｄ画像データと超音波３Ｄ画像データでの実施例を示す。図１２のとおり、超音波プローブ７０を走査することにより、位置合わせする領域の中心、あるいは領域内の構造物を、操作パネルなどにより指定する。次に、所定のユーザインタフェースにより、ＭＲ断面を動かし、指定された超音波断面の領域に対応するＭＲ断面を表示して、さらに位置合わせする領域の中心、あるいは領域内の構造物を指定する。図１２では、「＋」の印で指定場所を表示している。画像位置合わせ計算を行う領域の範囲を指定させることもできる。領域指定機能は、この指定の情報を用いて、ＭＲデータ座標と位置センサ座標間の位置関係を補正する。
【０１１３】
位置合わせのための領域情報を指定する領域指定機能において、予め、位置合わせに適した領域の画像パターンをデータベース化し、医用３Ｄ画像データより自動検索することが考えられる。図３０には、ＥＯＢ−ＭＲＩと超音波Ｂモード像との肝臓の例を示す。画像で、共通に肝静脈が良好に描出されている。画像位置合わせを行う上で、医用３Ｄ画像データ間の共通の構造は重要である。臨床において、医師は特徴的な構造を手がかりに、臓器と断層面の関係を把握している。医師が構造把握の手がかりにしている臓器構造の候補を予めデータベース化する。肝臓では、門脈や肝静脈、肝表面の構造が考えられる。心臓では、四腔構造の典型的な観察断面がある。四腔像・二腔像・短軸像など。他の臓器でも、事前に医師が診断で構造把握に利用する特徴的な構造が存在する。特徴的な構造の画像データベースを構築する。画像データベースを参照して、位置合わせを行う医用３Ｄ画像データより位置合わせを行う領域を自動検索する。図１８の例であれば、ＭＲおよび超音波の３Ｄデータより例えば、門脈の領域を自動検出して、候補断面を描出する。
【０１１４】
図１２の例であれば、ＭＲの３Ｄデータより、例えば、門脈の領域を自動検出して、それを参照しながら、リアルタイムの超音波断層像で、超音波プローブ７０を動かしながら、対応する断面を表示する。
図３１と図３２に位置合わせ結果を表示する実施例を示す。図３１は、超音波３Ｄデータ間での位置合わせ品質の表示３１０１の実施例である。図３２は、医用３Ｄ画像データと超音波３Ｄデータ間での位置合わせ品質の表示３２０１の実施例である。図４に示す画像位置合わせ計算による基準ボリュームに対する位置移動量と角度移動量が表示されている。位置合わせの類似像関数として相互情報量（ＭＩ値）が利用された場合、ＭＩ値を表示する。あるいは、位置合わせの類似度関数とは独立に、画像の輝度差分値など画像の類似度が表示される。位置合わせ前、あるいは位置合わせ後の３Ｄ画像データ間の重なり領域の比率が表示されている。超音波３Ｄ画像の領域は小さいので、重なりの量は、位置合わせ品質に大きく影響する。
【０１１５】
これにより、医師は、位置合わせの品質などに関する情報を得ることができる。品質情報より、医師の判断で、位置合わせ処理をキャンセルしたり、条件を変えて、再試行を行うことが考えられる。
さらに、システムが予め、位置移動量と角度移動量、位置合わせの類似像関数の評価値、画像の類似度、医用３Ｄ画像データ間の重なり領域の量や比率に判定のアルゴリズムを準備して、設定基準の範囲を超える場合は、自動的に位置合わせ処理をキャンセルする機能が考えられる。
【０１１６】
図３３に、処理のフローチャートの例を示す。すなわち、ステップＳ３２０１において、位置合わせ結果を許容する設定基準（最低値基準）を、満たすかどうかを判定する。位置合わせ結果を許容する設定基準は、例えば、「移動距離  ＜  ＊＊ｍｍ以内」、「回転量  ＜  ＊＊度以内、「類似度関数値  ＜  ＊＊以上」、「画像類似度  ＜  ＊＊以上」、「重なり比率  ＜  ＊＊以上」といった条件を設定すればよい。
類似度関数としては、相互情報量、相互相関量など様々な評価関数が考えられる。画像類似度として、輝度差分値など様々な評価関数が考えられる。
【０１１７】
画像位置合わせ機能を実行する制御回路２３は、医用３Ｄ画像データ、あるいは超音波画像データにおいて、ノイズ領域を検出して、位置合わせ計算より除外する機能が付加されていても良い。図３４に超音波３Ｄ画像データでの実施例を示す。治療前の超音波３Ｄ画像がモニタの左側に表示され、治療後の超音波３Ｄ画像がモニタの右側に表示される。図５に示した超音波画像において、所望の条件によりノイズ領域３４０１およびノイズ領域３４０２を定義して、画像処理によりノイズ領域を抽出する。検出されたノイズ領域３４０１およびノイズ領域３４０２は画像位置合わせ計算より除外する。ノイズ領域３４０１およびノイズ領域３４０２の抽出のアルゴリズムの例としては、輝度値のレベルや輝度値の分散などが指標として考えられる。また、超音波画像に対しては、超音波信号の送信をせず、受信のみで同様の３Ｄ画像を生成してノイズ画像の３Ｄ画像とする。超音波の送受信を行った３Ｄデータと比較してノイズの３Ｄ画像との輝度差分などを行い、類似の領域をノイズ領域と定義することもできる。画像位置合わせ処理より、ノイズ領域を除外することにより、位置合わせの精度が向上する。医用３Ｄ画像と超音波３Ｄ画像の位置合わせをする場合は、超音波３Ｄ画像のみ、上記のノイズ領域の計算より除外することも考えられる。
【０１１８】
画像位置合わせ機能１０５を実行する制御回路２３は、医用３Ｄ画像データ、あるいは超音波画像データにおいて、共通の構造を有する領域を検出して、画像位置合わせ計算を行うことも考えられる。画像位置合わせでは、血管構造は重要な位置合わせ構造である。
図３５に示すとおり、超音波３Ｄカラーデータ３５０１、３５０２および３５０４は、ＭＰＲ表示であり、ドプラ法により血管領域が抽出されている。超音波３Ｄ画像データ間の位置合わせでは、超音波３Ｄカラーデータ間で位置合わせを行うことが考えられる。ＣＴ３ＤデータやＭＲ３Ｄデータと超音波３Ｄデータとの位置合わせにおいて、ＣＴやＭＲでは、所望のセグメンテーション処理により、肝静脈や門脈を抽出することができる。抽出された血管同士での画像位置合わせが考えられる。
超音波３Ｄデータにおいても、輝度値などをベースに血管腔についてセグメンテーション処理を行い、画像位置合わせに利用することができる。血流情報が強調された造影超音波データ３５０４にセグメンテーション処理を行うことも考えられる。
【０１１９】
図３に示すフローチャートは、超音波画像データ間の位置合わせ処理の場合について説明したが、超音波画像データと他のモダリティによる医用画像データとの間の位置合わせ処理に適用してもよい。
【０１２０】
さらに、図７に示した、体動や呼吸時相による位置ずれの補正の処理についても、超音波画像データ間に限らず、超音波画像データと他のモダリティによる医用画像データとの間の位置合わせ処理においても適用できる。
【０１２１】
上記説明において用いた「プロセッサ」という文言は、例えば、ＣＰＵ（central processing unit）、ＧＰＵ(Graphics Processing Unit)、或いは、特定用途向け集積回路（Application Specific Integrated Circuit：ＡＳＩＣ））、プログラマブル論理デバイス（例えば、単純プログラマブル論理デバイス（Simple Programmable Logic Device：ＳＰＬＤ）、複合プログラマブル論理デバイス（Complex Programmable Logic Device：ＣＰＬＤ）、及びフィールドプログラマブルゲートアレイ（Field Programmable Gate Array：ＦＰＧＡ））等の回路を意味する。プロセッサは記憶回路に保存されたプログラムを読み出し実行することで機能を実現する。なお、本実施形態の各プロセッサは、プロセッサ毎に単一の回路として構成される場合に限らず、複数の独立した回路を組み合わせて１つのプロセッサとして構成し、その機能を実現するようにしてもよい。さらに、図１における複数の構成要素を１つのプロセッサへ統合してその機能を実現するようにしてもよい。
【０１２２】
上述の説明では、位置合わせを行う超音波画像データおよび医用画像データは、２つのデータ間の場合を想定していたが、これに限らず、３つ以上のデータ間、例えば、現在走査する超音波画像データと、過去に撮影した超音波画像データと３次元ＣＴ画像データとの位置合わせを行い、それぞれ並列表示するようにしてもよい。
【０１２３】
本発明の実施形態を説明したが、この実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。この実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれると同様に、特許請求の範囲に記載された発明とその均等の範囲に含まれるものである。
【符号の説明】
【０１２４】
１・・・超音波診断装置、１０・・・本体装置、１１・・・超音波送信回路、１２・・・超音波受信回路、１３・・・Ｂモード処理回路、１４・・・ドプラ処理回路、１５・・・３次元処理回路、１６・・・画像演算回路、１７・・・表示処理回路、１８・・・内部記憶回路、１９・・・画像メモリ、２０・・・画像データベース、２１・・・入力インタフェース回路、２２・・・通信インタフェース回路、２３・・・制御回路、３０・・・位置センサシステム、３１・・・位置センサ、３２・・・位置検出装置、４０・・・外部装置、５０・・・表示機器、６０・・・入力装置、７０・・・超音波プローブ、１００・・・ネットワーク、１０１・・・位置情報取得機能、１０２・・・超音波データ取得機能、１０３・・・センサ位置合わせ機能、１０４・・・領域指定機能、１０５・・・画像位置合わせ機能、１０６・・・同期制御機能、８０１、８０２、１２０１、１２０２・・・対応点、１００１・・・位置センサ座標系、１００２・・・医用画像座標系、１１０１・・・アイコン、１１０２・・・ＭＲ画像、１１０３・・・リアルタイム超音波画像、１４０１、１５０１・・・超音波画像、１４０２、１５０２・・・３次元ＭＲ画像、１５０３・・・位置合わせ用超音波画像、１８０１・・・超音波３Ｄ画像、１８０２・・・医用３Ｄ画像、２００１・・・重ね合わせ表示、２１０１・・・マーカー、２１０２・・・赤外線発生器、２２０１・・・ロボットアーム、２２０２・・・ロボットアーム制御部、２３０１・・・ジャイロセンサ、２３０２・・・撮影制御部、２４０１・・・カメラ、２４０２・・・撮像制御部、２４０３・・・画像記録解析部、２５０１・・・送信機、２５０２・・・超音波プローブ用磁気センサ、２７０１・・・体表の磁気センサ、３１０１、３２０１・・・品質の表示、３４０１，３４０２・・・ノイズ領域、３５０１，３５０２，３５０３・・・超音波３Ｄカラーデータ、３５０４・・・造影超音波データ。
【図１】
2018057428.tif 000003
【図２】
2018057428.tif 000004
【図３】
2018057428.tif 000005
【図４】
2018057428.tif 000006
【図５】
2018057428.tif 000007
【図６】
2018057428.tif 000008
【図７】
2018057428.tif 000009
【図８】
2018057428.tif 000010
【図９】
2018057428.tif 000011
【図１０Ａ】
2018057428.tif 000012
【図１０Ｂ】
2018057428.tif 000013
【図１０Ｃ】
2018057428.tif 000014
【図１１Ａ】
2018057428.tif 000015
【図１１Ｂ】
2018057428.tif 000016
【図１２】
2018057428.tif 000017
【図１３】
2018057428.tif 000018
【図１４】
2018057428.tif 000019
【図１５】
2018057428.tif 000020
【図１６】
2018057428.tif 000021
【図１７】
2018057428.tif 000022
【図１８】
2018057428.tif 000023
【図１９】
2018057428.tif 000024
【図２０】
2018057428.tif 000025
【図２１】
2018057428.tif 000026
【図２２】
2018057428.tif 000027
【図２３】
2018057428.tif 000028
【図２４】
2018057428.tif 000029
【図２５】
2018057428.tif 000030
【図２６】
2018057428.tif 000031
【図２７】
2018057428.tif 000032
【図２８】
2018057428.tif 000033
【図２９】
2018057428.tif 000034
【図３０】
2018057428.tif 000035
【図３１】
2018057428.tif 000036
【図３２】
2018057428.tif 000037
【図３３】
2018057428.tif 000038
【図３４】
2018057428.tif 000039
【図３５】
2018057428.tif 000040