(57)【特許請求の範囲】
【請求項１】
被検体に対し、第1の表示空間座標系に基づいて第１の範囲で予め第１画像データを取得する第１画像データ取得手段と、
前記被検体に対して前記第１の範囲の少なくとも一部を含む第２の範囲で第２の表示空間座標系に基づいて取得した第２画像データを入力される検査画像データ入力手段と、
前記第２画像データを前記第１の表示空間座標系に変換し変換第２画像データを得る第２画像データ変換手段と、
複数の前記変換第２画像データを前記第１画像データに合成するデータ合成手段と、
前記データ合成手段により合成される結果を時間的に変わる複数の画像として得る残像画像取得手段と、
前記残像画像取得手段により得た前記画像を表示する表示手段と、
を有することを特徴とする医用画像処理表示装置。
【請求項２】
被検体に対し、第1の表示空間座標系に基づいて第１の範囲で予め第１画像データを取得する第１画像データ取得手段と、
前記被検体に対して前記第１の範囲の少なくとも一部を含む第２の範囲で第２の表示空間座標系に基づいて取得した第２画像データと、この第２画像データの取得位置の基準位置に対する相対位置データとを、入力される検査画像データ入力手段と、
前記第２画像データに対し、前記相対位置データにより取得位置を補正した補正第２画像データを、前記第１の表示空間座標系に変換し変換第２画像データを得る第２画像データ変換手段と、
複数の前記変換第２画像データを前記第１画像データに合成するデータ合成手段と、
前記データ合成手段により合成される結果を時間的に変わる複数の画像として得る残像画像取得手段と、
前記残像画像取得手段により得た前記画像を表示するモニタ表示手段と、
を有することを特徴とする医用画像処理表示装置。
【請求項３】
前記検査画像データ入力手段に複数の第２画像データが入力され、前記第２画像データ変換手段により複数の変換第２画像データを得、
前記データ合成手段は、これらの変換第２画像データを前記第１画像データに繋げて合成することを特徴とする請求項１または２に記載の医用画像処理表示装置。
【請求項４】
被検体に対し、第１の表示空間座標系に基づいて第１の範囲で予め医用画像データを取得する医用画像データ取得手段と、
前記被検体に対して前記第１の範囲の少なくとも一部を含む第２の範囲で第２の表示空間座標系に基づいて取得した複数の超音波画像データと、これらの超音波画像データの取得位置の基準位置に対する相対位置データとを、入力される超音波画像データ入力手段と、
前記第２の表示空間座標系を前記第１の表示空間座標系に変換する変換行列を生成する変換行列生成手段と、
複数の前記超音波画像データに対し前記相対位置データにより取得位置を補正した補正超音波画像データそれぞれを、前記変換行列により前記第１の表示空間座標系に変換し複数の変換超音波画像データを得る超音波画像データ変換手段と、
前記第１の表示空間座標系において、複数の前記変換超音波画像データを繋げて前記医用画像データに合成するデータ合成手段と、
前記データ合成手段により合成される結果を時間的に変わる複数の画像として得る残像画像取得手段と、
前記残像画像取得手段により得た前記画像を表示するモニタ表示手段と、
を有することを特徴とする医用画像処理表示装置。
【請求項５】
被検体に対し、第１の時間空間座標系に基づいて第１の範囲で予め医用画像データを、前記被検体の心電図データと共に取得する医用動画像データ取得手段と、
前記被検体に対して前記第１の範囲の少なくとも一部を含む第２の範囲で第２の時間空間座標系に基づいて取得した複数の超音波画像データと、これらの超音波画像データの取得位置の基準位置に対する相対位置データ、及び前記被検体の心電図データとを、入力される超音波動画像データ入力手段と、
前記医用画像データおよび前記超音波画像データを共通に表示する共通基準座標系を生成する共通基準座標系生成手段と、
前記第１の時間空間座標系を前記共通基準座標系に前記心電図データの対応を含めて変換する第１の変換行列を生成する第１の変換行列生成手段と、
前記第２の時間空間座標系を前記共通基準座標系に前記心電図データの対応を含めて変換する第２の変換行列を生成する第２の変換行列生成手段と、
前記第１の時間空間座標系の前記医用画像データを、前記第１の変換行列により、前記共通基準座標系に変換し変換医用画像データを得る医用画像データ変換手段と、
複数の前記超音波画像データに対し前記相対位置データにより取得位置を補正した補正超音波画像データそれぞれを、前記第２の変換行列により、前記共通基準座標系に変換し複数の変換超音波画像データを得る超音波画像データ変換手段と、
前記共通基準座標系において、複数の前記変換超音波画像データを繋げて前記変換医用画像データに心電図データを同期して合成するデータ合成手段と、
前記データ合成手段によって合成した結果を表示するモニタ表示手段と、
を有することを特徴とする医用画像処理表示装置。
【請求項６】
前記データ合成手段は、前記対応を含め変換した心電図データの１心拍の所定の心拍タイミングにおける前記変換医用画像データに、複数の心拍における前記所定の心拍タイミングにおける複数の前記変換超音波画像データそれぞれを、所定の前記心拍タイミングに同期し、一括して繋げて合成する心拍同期合成画像生成手段と、
前記心拍タイミングの頻度、停止、及び繰返し周期時間を設定するタイミング設定手段と、を有し、前記所定の心拍タイミングに同期する複数の前記変換超音波画像データを並べて前記所定の心拍タイミングの変換医用画像データに表示することを特徴とする請求項５記載の医用画像処理表示装置。
【請求項７】
前記医用画像データは、ＣＴ装置もしくはＭＲＩ装置により取得した画像データであることを特徴とする請求項４または５に記載の医用画像処理表示装置。
【請求項８】
前記超音波画像データは、超音波診断装置により取得される、超音波断層像であるBモード画像データ、ドプラ効果の超音波ドプラ画像データ、超音波変位量計測のＭモード画像データもしくは移動長表示画像データ、あるいは心壁運動解析データの少なくとも１つであることを特徴とする請求項４または５に記載の医用画像処理表示装置。
【請求項９】
医用画像処理表示装置のコンピュータに実行させる処理プログラムであって、
被検体に対し、第1の表示空間座標系に基づいて第１の範囲で予め第１画像データを取得し、
前記被検体に対して前記第１の範囲の少なくとも一部を含む第２の範囲で第２の表示空間座標系に基づいて取得した第２画像データを入力され、
前記第２画像データを前記第１の表示空間座標系に変換し変換第２画像データを得、
複数の前記変換第２画像データを前記第１画像データと合成し、
合成される結果を時間的に変わる複数の画像として得、これらの画像を表示する、
ことを特徴とする、医用画像処理表示装置の処理プログラム。
【請求項１０】
医用画像処理表示装置のコンピュータに実行させる処理プログラムであって、
被検体に対し、第１の表示空間座標系に基づいて第１の範囲で予め第１画像データを取得する第１画像データ取得ステップと、
前記被検体に対して前記第１の範囲の少なくとも一部を含む第２の範囲で第２の表示空間座標系に基づいて取得した複数の第２画像データと、これらの第２画像データの取得位置の基準位置に対する相対位置データとを、入力される検査画像データ入力ステップと、
前記第２の表示空間座標系を、前記第１の表示空間座標系に変換する変換行列を生成する変換行列生成ステップと、
複数の前記第２画像データに対し、前記相対位置データにより取得位置を補正した補正超音波画像データそれぞれを、前記変換行列生成ステップにより生成した前記変換行列により前記第１の表示空間座標系に変換し複数の変換第２画像データを得る第２画像データ変換ステップと、
前記第１の表示空間座標系において、複数の前記変換第２画像データを繋げて前記第１画像データに合成するデータ合成ステップと、
前記データ合成ステップにより合成される結果を時間的に変わる複数の画像として得る残像画像取得ステップと、
前記残像画像取得ステップにより得た前記画像を表示するモニタ表示ステップと、
から成ることを特徴とする、医用画像処理表示装置の処理プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、異なる医用画像診断装置（もしくはモダリティと称する）により取得された複数の医用画像データの画像処理技術に係る医用画像処理表示装置、およびその処理プログラムに関する。
【背景技術】
【０００２】
近年、ＣＴ装置やＭＲＩ装置、さらには超音波診断装置による生体内形態画像の取得技術が向上し、リアルタイムに３次元（３Ｄと略す）空間座標の画像を撮影、収集することが可能になってきた。
【０００３】
超音波診断装置によれば、生体内の形態観察の他に、血流量あるいは血流速度、心臓弁運動速度、心壁運動解析、弁片の移動距離の時間変化など、他の医用画像装置では取得困難な生体機能の情報を、簡単な操作でしかもリアルタイムで得られる。
【０００４】
反面、現状の超音波診断装置では、超音波のスキャンニング特性上、広範囲で空間分解能と時間分解能が十分高い高画質の画像を得ることは困難である。そこで、視野角度を小さくして観察領域を絞り、空間分解能と時間分解能の高い小領域の画像を収集する撮影条件の設定が必要となり、心臓弁など高速運動する生体内の部位に対する実際の診断では、小領域に限ってリアルタイム３Ｄ超音波画像を得ている。
【０００５】
他方、他の医用画像装置であるＣＴ装置やＭＲＩ装置によれば被検者の生体内の広範囲にわたる画像データを得ることができる。その反面、これ等の出力画像データからは臓器の形態や位置に関する情報しか得られない。
【０００６】
したがって、医師は、複数のモダリティで得られた画像データのフィルム像やモニタ表示像をＳｉｄｅ ｂｙ Ｓｉｄｅの形態で表示し見比べて観察する。医師は、表示されたこれ等被検者の生体の画像における相対的な位置関係と時間経過を考慮して診断を行う。
【０００７】
また、異なるモダリティで得た被検体の画像データに処理を施した後、これ等を関連付けて表示することは知られている（例えば、特許文献１、特許文献２を参照。）。
【特許文献１】特開２００６−１９２１５１号公報
【特許文献２】特開２００７−１４５２５号公報
【発明の開示】
【発明が解決しようとする課題】
【０００８】
本発明が解決しようとする課題は、種々の医用画像診断装置による医用画像データが統合管理されずに提示されることとなり、診断などが煩雑となり、また診断結果が医師の技量や経験に左右されることである。また、超音波診断装置によれば広範囲の画像が得られないという問題もある。
【０００９】
本発明は、上記のような課題などに鑑みてなされたもので、被検者の生体内の広い範囲の画像が得られ、その要部については分解能の高い画像が得られ、しかもそれらの画像が統合して表示されることにより、容易にかつ客観的に診断を行うことが可能な、医用画像処理表示装置およびその処理プログラムを提供することを目的とする。
【課題を解決するための手段】
【００１０】
上記目的を達成するために、本願発明の請求項１記載の医用画像処理表示装置は、被検体に対し、第1の表示空間座標系に基づいて第１の範囲で予め第１画像データを取得する第１画像データ取得手段と、前記被検体に対して前記第１の範囲の少なくとも一部を含む第２の範囲で第２の表示空間座標系に基づいて取得した第２画像データを入力される検査画像データ入力手段と、前記第２画像データを前記第１の表示空間座標系に変換し変換第２画像データを得る第２画像データ変換手段と、複数の前記変換第２画像データを前記第１画像データに合成するデータ合成手段と、前記データ合成手段により合成される結果を時間的に変わる複数の画像として得る残像画像取得手段と、前記残像画像取得手段により得た前記画像を表示する表示手段と、を有することを特徴とする。
【発明の効果】
【００１６】
本発明によれば、被検者の生体内の広い範囲の画像が得られ、その要部については分解能の高い画像が得られ、しかもそれらの画像が統合して表示されることにより、容易にかつ客観的に診断を行うことが可能な、医用画像処理表示装置およびその処理プログラムを提供することができる。
【発明を実施するための最良の形態】
【００１７】
以下、本発明の医用画像処理表示装置の実施形態について図面を用いて説明する。
【００１８】
なお、以下の本実施形態の説明においては、比較的広範囲の診断画像である対象領域画像データをＣＴ装置あるいはＭＲＩ装置による被検者の胸部を観察する画像データとして提供し、この対象領域画像データの領域に比して、観察の領域が狭く心拍動のため比較的複雑で装置操作に手間や技量を要するとされる部位である心臓などを対象とした超音波診断装置による超音波画像データによって、検査、診断を実施する場合を説明するが、被対象部位はこれに限るものではない。
【００１９】
本願発明の画像処理による表示の対象は、超音波診断装置で臓器の断層像などの形態表示およびその観察が可能である部位、あるいはドプラ画像などによる血流状態や心壁運動、Ｍモード画像などによる移動長などの機能表示およびその観察が可能な部位である。そして、これ等の観察・診断対象部位を含むさらに広範な領域に対し対象領域画像データとして、ＣＴ装置あるいはＭＲＩ装置のいずれかによる画像観察が行われ、この広範な領域の状況が予め把握される。一般的には、超音波画像の観察視野は、ＣＴ画像あるいはＭＲＩ画像のそれの数分の１から１／２０と小さい。
【００２０】
以下では、本発明の対象領域画像データである広範囲の画像を提供する医用画像装置として、ＣＴ装置による場合を説明するが、ＣＴ装置に替えてこれをＭＲＩ装置によって行っても、本発明は同様に適用することができる。
【００２１】
（第１の実施形態）
医用画像処理を実行する本願発明の医用画像処理表示装置について、その第１の実施形態を構成する各処理機能部の基本構成を図１に示す。
【００２２】
図１に示す本実施形態の医用画像処理表示装置１００は、表示モニタ２と入力操作部３とから構成されるユーザ入出力（Ｉ／Ｏ）部４に接続されている。
【００２３】
医用画像処理表示装置１００は、制御管理部１１０、データ取得部１２０、出力画像管理部１３０、空間・時間設定部１４０、および表示画像生成部１５０により構成される。
【００２４】
制御管理部１１０は制御ＣＰＵ部１１１と処理プログラム記憶部（図示せず）とから成る。データ取得部１２０は、画像データ入力部１２１と撮影設定保存部１２２とにより構成される。空間・時間設定部１４０は時間同期部１４１と座標変換部１４２とから構成される。
【００２５】
表示画像生成部１５０は表示設定部１５１と画像合成部１５２と残像画像部１５３とにより構成される。更に出力画像管理部１３０は、出力画像構成部１３１と画像データ保存部１３２とから構成される。
【００２６】
本実施形態の処理結果を表示画像としてユーザに提示する表示モニタ２と、ユーザが操作やデータを入力するマウス、キーボード、あるいはトラックボールの入力操作部３とから成るユーザ入出力（Ｉ／Ｏ）部４は、医用画像処理表示装置１００に接続されている。
【００２７】
医用画像処理表示装置１００の制御管理部１１０は本装置全体、すなわちデータ取得部１２０、空間・時間設定部１４０、表示画像生成部１５０、出力画像管理部１３０、およびユーザ入出力（Ｉ／Ｏ）部を管理・制御する。
【００２８】
制御管理部１１０は制御ＣＰＵ部１１１によって構成される。この制御ＣＰＵ部１１１は収集、保存された画像データおよびそれらに付帯する時間情報、位置情報を、空間・時間設定部１４０や表示画像生成部１５０へ入力する。また、制御ＣＰＵ部１１１は、ユーザ入出力部からの入力、操作指示を、データ取得部１２０、空間・時間設定部１４０、表示画像生成部１５０、出力画像管理部１３０等へ伝達する。
【００２９】
図１に示す機能構成図、図２の処理概念を示す模式図、および図３に処理手順を示すフローチャートを用いて、第１の実施形態の具体的な動作における作用について説明する。
【００３０】
図２（ａ）に示すＣＴ装置から図２（ｂ）に示すようにＣＴ画像である対象領域画像データ（ＣＴ画像２２１ａ）が得られる一方、図２（ｃ）に示す超音波診断装置から、少しずつ撮影位置の異なる超音波画像１、超音波画像２、超音波画像３が、図２（ｄ）、図２（ｅ）、図２（ｆ）に示すように、得られる。図２（ｃ）では、超音波診断装置により超音波データとその超音波プローブの位置データ２４６ａが同時に得られる。
【００３１】
図２（ｃ）に示すプローブ位置データ２４６ａは、プローブの空間位置データと超音波放射面（超音波スライス断面)の方向データとから構成される。
【００３２】
超音波画像１、超音波画像２、超音波画像３は、プローブ位置データ２４６ａにより断層画像を取得するプローブの位置座標を補正した超音波画像の空間表示２３１、２３２、２３３において、図２（ｂ）に示す変換行列Ｔ２４５によって変換され、ＣＴ画像の座標空間、すなわち、図２（ｇ）に示す、共通の画像表示空間の画像データの表示空間（座標空間２１０）に表示される。
【００３３】
データ取得部１２０の画像データ入力部１２１には、図２に示すＣＴ装置２２０、若しくは図示していないＭＲＩ装置により対象領域画像データ２２１ａと、超音波診断装置２３０により超音波画像データ２３１ａ、２３２ａ、２３３ａとが、被検体の検査・診断対象の部位に対し取得され、本実施形態の処理対象となる画像データとして入力される。
【００３４】
なお、以下では、対象領域の画像データとしてＣＴ装置によるＣＴ画像データを処理対象の画像データとする場合について説明する。
【００３５】
図２に示すように、超音波診断装置２３０からの超音波画像データそれぞれには、プローブの空間位置およびその方向の計測データであるプローブ位置データ２４６ａが、超音波画像データ２３１ａ、２３２ａ、２３３ａそれぞれと同期して、付帯するデータとして共に入力される。このプローブ位置データ２４６ａにおいて、この位置データは画像を得るために操作する超音波プローブに取り付けられた位置センサ（図示せず）により計測される。この位置データは、超音波プローブが取得する画像データの超音波スライス（超音波断層画像面）の位置及び方向のデータである。
【００３６】
なお、超音波プローブの操作により取得される超音波画像データの一連の各超音波スライス（超音波断層画像面）には、一般的な超音波診断装置で行われると同様の取得順の時系列に関わる情報が付帯されている。所望の超音波画像データの設定や特定はこの情報を参照して行われる。
【００３７】
本実施形態において動画像データを処理対象とする場合は、各医用画像装置による画像データ取得時に同時に計測した被検者の心電図データが、付帯する時間情報として、画像データ入力部１２１への画像データに同期して同様に入力される。これ等の時間情報は、心電図波形の特徴的な周期波形により、相対的な時間経過の時系列データとして参照される。
【００３８】
画像データ入力部１２１に入力されるこれ等の画像データおよび付帯する情報は、各モダリティにより予め取得されて、例えば、医療機関内のセンター（図示せず）に管理される記憶装置に一旦保存され、その画像データおよび付帯情報が、この記憶装置から読み出されて入力されるようにしてよい。本実施形態は、同じ被検者から予め取得したこれ等の画像データに対して観察、検査を行う場合に好適である。
【００３９】
撮影設定保存部１２２には、各モダリティの例えばＣＴ装置２２０と、超音波診断装置２３０とにより取得した画像データの各装置における表示座標空間の空間位置に関する設定情報が、予め保存される。この表示座標空間に関する情報とは、各モダリティそれぞれにおいて、その機種毎、撮影設定条件毎、撮影対象部位毎などの被検査対象の画像表示位置に対する空間座標と、本実施形態の医用画像処理表示装置１００の処理結果として表示する基準表示空間２１０の空間座標との相対位置関係を示す情報である。
【００４０】
画像データ入力部１２１に入力される画像データには、画像データの属性データとして、モダリティの種別、機種名、撮影設定条件、撮影対象部位に関する各識別情報が付加される。これ等の付加された画像データが入力されると、先ずモダリティの種別が識別されて、撮影設定保存部１２２に保存されている機種別の座標空間の関係を示す情報が、制御管理部１１０を介して空間・時間設定部１４０へ送られる。
【００４１】
図１に示す空間・時間設定部１４０の時間同期部１４１では、図２に示す継時的な変化を伴う動画像の画像データ２３１や継続する時間の順に移動して取得された継続した連続性がある画像データ２３１ａ、２３２ａ、２３３ａである各データの出力タイミングを調整する。
【００４２】
医用画像処理表示装置１００に画像データを入力する複数の異なるモダリティ間で、表示範囲の大きいモダリティの画像データ、例えばＣＴ装置による対象領域画像データ２２１ａに対し、一方のモダリティの、例えば超音波画像データの例えば血管部位２３６ａ−１、−２、−３が動画像データの取得の時系列に同期して表示される。この表示は、取得時に付帯させたシーケンス情報すなわち取得順を参照して、対象領域画像と超音波画像それぞれの画像データの表示順である出力タイミングが調整される。
【００４３】
一方、空間・時間設定部１４０の座標変換部１４２は、異なるモダリティから入力される対象領域画像データおよび超音波画像データに対し、空間座標の変換を行う。この座標変換は、モダリティそれぞれで定義している表示座標空間２２１及び表示座標空間２３１、２３２、２３３を、制御ＣＰＵ部１１１の制御により、撮影設定保存部１２２が識別しているモダリティ毎の座標空間の関係を示す情報を基に、各画像データの表示空間座標２１０の統合・共通化を行う。
【００４４】
図３に本実施形態における統合表示の処理手順を示す。前半のステップＳ１〜Ｓ５では、データ取得部１２０による処理対象の画像データと付帯情報のデータを読み込む入力処理と、空間座標系を変換する超音波画像変換行列(変換行列Ｔと略称する)を算出する設定処理とが実行される。
【００４５】
先ずステップＳ１において、基準表示空間座標系が設定される。すなわち、撮影設定保存部１２２に種々のモダリティの機器特性情報として予め記憶保存されている各モダリティの画像表示空間座標系の表示座標空間に関する情報に基づいて、異なるモダリティの画像データを共通に表示する座標系である基準表示空間２１０（図２（ｇ）に示す共通の表示空間）として設定される。例えば、２つのモダリティの何れからも変換が容易な共通の基準表示空間座標系を、または表示域が大きい対象領域画像データを提供するＣＴ画像データを表示する座標系空間を基準表示空間座標系とする。なお、対象領域画像データのモダリティの座標系を基準表示空間座標系とすれば、座標変換の処理の一部が削減できる。
【００４６】
さらにステップＳ２において、画像表示のベース構成となる対象領域画像データ、例えばＣＴ画像データを読み込む。これをステップＳ３において、対象領域画像データ２２１ａとなる例えばＣＴ画像データを基準表示空間座標系（ＣＴ装置の画像表示空間座標系と同じ）に設定する。この設定により、図２（ｂ）に示すような注目している、例えば血管像１２６ａを含むＣＴ像２２１ａが表示される。
【００４７】
次のステップＳ４において、次に処理する超音波画像データ２３１ａ（図２（ｄ））、２３２ａ（図２（ｅ））、２３３ａ(図２（ｆ）)、・・・を、プローブ位置データや心電図データの付帯データ（図示せず）と共に順次読み込む。
【００４８】
この読み込まれる超音波画像データ及び付帯データは、ステップＳ５において変換行列Ｔを算出される。この変換行列Ｔは、撮影設定保存部１２２に保存される各モダリティの情報、すなわち、超音波画像データ取得した超音波診断装置の空間座標系の関係を示す情報を参照して、超音波画像データを読み込む超音波画像データ座標系から、ステップＳ１で設定した基準表示空間座標系へ変換する超音波画像の変換行列（変換行列Ｔと呼ぶ）を用いて、座標変換部１４２に設定される。
【００４９】
以上のステップS１〜Ｓ５の処理手順によって本実施形態の医用画像処理表示装置１００に入力される画像データに対する各機能構成部の処理が行われる。
【００５０】
次に、後半のステップＳ６〜Ｓ９について説明する。これらのステップでは、本実施形態の医用画像処理表示装置１００に入力され、観察及び診断の対象として画像データ入力部１２１に読み込まれる超音波画像データの処理が行われる。
【００５１】
まず、ステップＳ６では、超音波画像の位置を補正する。すなわち、超音波診断装置の空間座標系における超音波画像の絶対位置が、超音波画像取得のプローブ操作に伴なって変化する。図2に示す超音波診断装置から得る超音波画像データに付帯したプローブ位置データ２４６ａにより、その基準位置からのズレ位置から超音波プローブのスキャンニング操作による超音波スライス（超音波断層画像面）の位置情報の補正処理２４６を行い、処理結果を補正超音波画像データとする。
【００５２】
ステップＳ７では、ステップＳ６により位置補正した超音波画像補正データに対し、変換行列Ｔ（超音波画像の変換行列）により基準表示座標系へ変換する。そしてこの変換結果が、ステップＳ８において、基準表示空間座標へ設定されてこの基準表示空間座標を表示モニタ２に表示する。
【００５３】
さらに、ステップＳ９では、次の超音波画像データ（画像フレーム）が準備されているかを判定し、ステップＳ６へ戻る処理の繰返しを超音波画像データの未設定の画像データが無くなるまで行う。すなわち、画像データ入力部１２１に読み込まれた複数の超音波画像データが、プローブの方向に基づく画像位置を補正され、既にＣＴ画像データが変換されている基準表示座標系に、座標変換されて設定される。この複数の超音波画像データが変換されて設定される基準表示座標系における位置は、上述のプローブ位置データにより補正されて、表示対象の被検体の部分の像を取得した位置を再現している。したがって、被検体を辿るように超音波画像データを取得すれば、基準表示座標系においても被検体像を一連に繋げて設定する。
【００５４】
上述の処理手順により、異なるモダリティから入力される画像データが、基準表示空間座標系において統合されて、この基準表示空間座標内の画像データを、表示モニタなどの表示手段に表示できる。
【００５５】
上述の処理手順により基準表示空間座標において統合された画像データの表示を図１により説明する。
【００５６】
医用画像処理表示装置１００に接続される表示モニタ２に表示される画像の表示形態は、制御ＣＰＵ部１１１の制御により、表示画像生成部１５０が調整、決定する。この表示形態についての制御情報は、表示画像生成部１５０の表示設定部１５１に予め設定される。入力操作部３から指示された表示形態が、制御ＣＰＵ部１１１を介して表示設定部１５１に入力されて、指示に基づく制御情報によって異なるモダリティの画像データを共通に設定する表示空間を絶対座標により設定する。
【００５７】
この設定される共通の表示空間は、異なる２つのモダリティの表示空間からそれぞれの変換により共通の基準表示空間座標へ設定される。例えば、変換演算が容易で、新たな共通表示空間座標が設定されても良い。この共通表示空間座標の設定おいて、一方の変換処理を省いて、例えば広範囲を画像表示し、概要を把握する背景として対象領域画像データが定義する表示空間座標を共通表示空間座標として設定が行われて、表示画像が種々に変化する超音波画像データに対し座標変換を実施する構成にしてもよい。
【００５８】
また、被検者の生体の位置を絶対座標空間に定義できないモダリティあるいは機種により画像データが提供される場合には、そのモダリティあるいは機種による代表的な画像データにおける被検者の３箇所の共通する部位を指定して、この３指示点を絶対座標空間内に共有する共通表示空間座標系を、表示設定部１５１により設定するようにしてもよい。
【００５９】
この場合の表示画像生成部１５０の画像合成部１５２は、異なるモダリティによる2系列の画像データを共通表示空間あるいは広範囲を表示する一方の画像データの表示空間へ置き換える処理を行う。
【００６０】
さらに、残像画像部１５３は、これ等の合成後の画像データ表示において時間軸に関わる表示の順について処理する。この処理は、入力操作部３から指示された時間軸に関わる複数の表示形態の１つが、制御ＣＰＵ部１１１を介して残像画像部１５３に指示される。この表示形態の1つは、図２に示す超音波画像データ２３１ａ、２３２ａ、２３３ａをデータ取得の順に時系列を整合して表示する取得順表示である。
【００６１】
他の1つは、所定の条件の下、例えば前述の取得順表示で観察中に、入力操作部３から時系列順の第１の時点とその後の第２の時点を指示し、この２時点の間における複数の画像フレーム、例えば画像データのグループであるグループ画像データ２３２ａ、２３３ａを、その表示空間の変換位置で繰り返し、重ね書きして表示する残像表示とする時間軸処理を実施する表示形態である。
【００６２】
表示画像生成部１５０の処理結果が、出力画像管理部１３０の出力画像構成部１３１により、表示モニタ２に表示する画面構成、すなわち処理結果の表示位置、サイズ、被検者の生体の情報、対象画像データの情報などが設定されて、表示モニタ２へ映像信号を入力する。この入力によって、表示モニタ２に共通表示空間２１０の合成画像データ２２１ｂ、２２６ｂ、２３１ｂ、２３２ｂ、２３３ｂ、２３６ｂ−１、−２、−３が表示される。画像データ保存部１３２は、これ等の処理結果を保存記録する。
【００６３】
画像データ保存部１３２に記録される処理結果の共通表示空間の合成画像データは、一般的にボリューム画像と言われる３Ｄ画像データのデータ構造となっている。それゆえ、広範な領域に拡張された３Ｄ超音波画像データとして、投影２Ｄ画像、ＭＰＲ（Ｍｕｌｔｉ  Ｐｌａｎａｒ  Ｒｅｃｏｎｓｔｒａｃｔｉｏｎ）表示、ＰＶＲ（Ｐｅｒｓｐｅｃｔｉｖｅ  Ｖｏｌｕｍｅ  Ｒｅｎｄｅｒｉｎｇ）表示などの一般的な３Ｄ画像データ処理の手法を適用できる。合成処理データにこれ等の処理を行うことにより、注目する部位の細部にわたって、さらに詳細な観察、診断に供することができる。
【００６４】
上に述べた説明では、対象領域画像データをＣＴ装置により取得したＣＴ画像データにより対応する場合で示した。そかし本発明はこのＣＴ装置に替えてＭＲＩ装置により取得したＭＲ画像データを適用しても同様に行うことができ、同様の結果の合成画像データを得ることができる。
【００６５】
以上に説明したように、本実施形態により表示モニタ２に表示される画像は、比較的観察領域が広範囲に設定できる医用画像装置のＣＴ装置（もしくはＭＲＩ装置）から得た２次元あるいは３次元の対象領域画像データを背景画像として表示する。さらに、この画像データ空間に、比較的小領域において高精細の動画像データとして、被検者の生体内の広範な部位に対し、形態情報の他に機能情報も容易に、且つリアルタイムで得ることができる。本実施形態では、これ等の複数の超音波画像データを、注目する部位において取得し、これを共通表示空間座標への統合により、ベースにしたＣＴ画像（もしくはＭＲ画像）の当該の空間座標位置へ嵌め込みあるいは重畳して表示する。
【００６６】
本実施形態によれば、被検者の生体の画像表示において、観察・診断を行う広範な画像表示と、その生体内部の注目する部位における形態情報あるいは機能情報の詳細な画像表示とを、この広範な生体画像の表示内の注目する部位の部分に詳細な形態画像、あるいは機能情報を有する機能画像を同時に統合画像として表示する。したがって、本実施形態の医用画像処理表示装置は、生体の広範な状況状態と仔細な部分の挙動との関係を、操作者である医師や検査技師に対し、容易に比較、確認、把握できる表示画像を提供できる。
【００６７】
（第２の実施形態）
本願発明の第２の実施形態の医用画像処理表示装置には、比較的広範囲の診断画像を提供するＣＴ装置あるいはＭＲＩ装置で取得される被検者の生体に対する３Dの画像データに、同被検者に対し同時に取得された１心拍分以上の心電図データを時系列軸指標のタイミングデータとして付加した４Ｄ動画データが、対象領域の画像データとして入力される。
【００６８】
また、同被検者について、この対象領域画像データに含まれる注目する部分の部位に対し、超音波診断装置で取得する３Dの超音波画像データが、時系列軸指標のタイミングデータとして同じく被検者の心電図データを共に取得されて、４Ｄ超音波動画像データとして入力される。これ等の画像データに対し本実施形態による処理を行い、本実施形態の出力に接続された表示モニタには、この2つの画像データの処理結果画像の全体を動画像として表示する。なお、以降では、対象領域画像データは、ＣＴ装置により取得したＣＴ画像データの場合について説明する。
【００６９】
本願発明の第２の実施形態について、その機能構成図を図４に、その画像処理のフローチャートを図５に示す。また、本実施形態の医用画像処理表示装置１における処理について、図６に画像データの空間配置における処理概念図を、図７に画像データの時系列軸上における処理概念を、それぞれ模式的に示す。
【００７０】
図４に示すように、本実施形態の医用画像処理表示装置１には、表示モニタ２と入力操作部３と、予め被検者に対して検査取得した画像データを記録保管する画像データセンター５０とが接続される。
【００７１】
医用画像処理表示装置１は、システムＣＰＵ部１１と、これに接続されるプログラム記憶部１２、データ制御Ｉ／Ｆ部１３、撮影条件データ部１５、入力Ｉ／Ｆ部１４と、画像データセンター５０からのデータが入力される対象画像データバッファ部３５、超音波データバッファ部３１と、システムＣＰＵ部１１の制御の下で画像データを処理する時間同期部２１、座標軸調整部２２、対象画像座標変換部３６、超音波画像座標変換部３２、超音波プローブ位置補正部３３、表示空間／時間座標部２３、画像合成部２４、残像生成部２５と、処理結果を保存する表示画像バッファ部２６、処理結果データ保存部２７とから、構成される。
【００７２】
図４の構成図、および図５のフローチャートを用いて、本実施形態における動作、作用について説明する。
【００７３】
図４の左側に示すように、医用画像処理表示装置１は、異種の医用画像データ、例えば超音波診断装置から超音波画像データ５１と、ＣＴ装置からのＣＴ画像データである対象領域画像データ５２が入力されて、これらを処理する。図４には、ＣＴ装置からのＣＴ画像データによる対象領域画像データが入力される場合を例示している。本発明において、ＣＴ装置をＭＲＩ装置、ＣＴ画像データをＭＲ画像データに置き換えた対象領域画像データの構成によっても、同様の効果を有する処理を実行する医用画像処理表示装置が得られる。
【００７４】
これらの処理対象の医用画像データは、後述の処理概念でも説明するように、例えば図４に示すように、病院や診療所などの医療機関で、被検者に対し、超音波診断装置およびＣＴ装置それぞれによる画像取得が予め実施されて、これ等の画像データが、総合的に管理する画像データセンター５０の記憶手段に予め記録、保管する。これ等の保管されたデータが、入力される超音波画像データ５１および対象領域画像データ５２として提供されて、本実施形態の医用画像処理表示装置１による処理を実施することは、好適である。
【００７５】
画像データの提供は、上述の画像データセンター５０からの他に、これ等の異なるモダリティによる画像データおよびその付帯データが、一時的に保存されているハードディスク手段あるいは半導体メモリー手段から本実施形態の医用画像処理表示装置１に入力されるようにしてもよい。
【００７６】
また、上述の記憶手段に予め記録、保管されるデータの入力構成に替えて、リアルタイムのデータ入力を行う方式としてもよい。このデータ入力の方式は、医用画像処理表示装置１へのデータ入力について、対象領域画像データの入力部である対象画像データバッファ部３５に、上述と同様の被検者の生体に対し予め取得した比較的広範囲の診断画像を提供するＣＴ装置からの対象領域画像データ５２が入力されるように構成する。
【００７７】
一方、超音波データバッファ部３１には、別に設置された超音波診断装置(図示せず)から、その出力に直接接続する構成で、同被検者から取得した超音波画像データ５１およびプローブ位置データ５５が直接、またはリアルタイムで、本実施形態の医用画像処理表示装置１に提供されるように構成する。例えば、このリアルタイムで入力する構成によれば、本実施形態の医用画像処理表示装置１の処理出力による表示画像は、各部の処理速度が応答可能であれば、リアルタイム画像で超音波画像の表示が行える。
【００７８】
超音波画像データ５１および対象領域画像データ５２には、これ等画像データを取得した時点の心電図データ５１ａ、５２ａがそれぞれ測定されて、これ等の心電図データを画像データの時間経過のタイミングデータとして、画像データ入力と同時に、本願実施形態の医用画像処理表示装置１の前記超音波データバッファ部３１あるいは対象画像データバッファ部３５それぞれに入力される。
【００７９】
また、プローブ位置データ５５は、画像を得るために操作する超音波プローブ自体に取り付けられた位置センサ（図示せず）により、プローブの空間位置およびその方向の各データを計測して、超音波画像データ５１の入力と同期して、超音波断層画像面（スライス）の位置を特定するために超音波プローブ位置補正部３３に入力される。
【００８０】
上述の接続により、本実施形態の医用画像処理表示装置１に入力された超音波画像データ５１、対象領域画像データ５２は、システムＣＰＵ部１１の制御により、時間同期部２１により、心電図データ５１ａ、５２ａの例えばＲ波(心電図収縮期起始部波形)のタイミングを参照し、超音波画像データ５１および対象領域画像データ５２間の時間軸を心電図の心拍周期において調整し、同期させる。
【００８１】
なお、本実施形態の医用画像処理表示装置１に入力される対象領域画像データ（図４ではＣＴ画像データ）は、少なくも1心拍周期にわたる短時間の画像データである。したがって、超音波画像データ５１と心電図の心拍周期において同期タイミングを取るために、画像取得の一般的な操作時間が短いデータである対象領域画像データは、入力された少なくも１心拍周期の対象領域画像データ５２を繰返し適用して、不足する時間軸に対応する部分のデータを調整する処理が、本実施形態の時間同期部２１により行われる。
【００８２】
一方、操作者である医師や検査技師の指示あるいは設定は、タッチパネル、キーボード、あるいはトラックボールなどの入力操作部３から、入力Ｉ／Ｆ部１４を介してシステムＣＰＵ部１１に入力される。これ等の指示あるいは設定は、システムＣＰＵ部データセンター５０に保管される画像データや他の記憶データの選択、抽出、読み出しの制御信号となる。また、図示していない超音波診断装置あるいはＣＴ装置の画像データ出力を、超音波データバッファ部３１あるいは対象画像データバッファ部３５に直接入力することもできる。この場合には、これ等の機種識別、画像データ取得条件、装置設定データなどの操作制御情報の他に、これ等の画像撮影装置の設定及び作動状況情報が通信ラインにより相互に送受信される。
【００８３】
更に、システムＣＰＵ部１１は入力されたデータおよび情報に基づいて、表示空間／時間座標部２３に、両画像データを統合して表示する空間座標および時間座標とから成る共通基準座標系を生成する。また、システムＣＰＵ部１１は、超音波画像座標変換部３２および対象領域画像データに対応する対象画像座標変換部３６を作動させる。
【００８４】
これにより座標軸調整部２２から、表示空間／時間座標部２３が生成した画像空間の共通基準座標系へ、超音波画像データ５１および対象領域画像データ（図４ではＣＴ画像データ）５２が統合される。この共通基準座標系は画像合成部２４による位置関係を表示する表示空間座標と残像生成部２５による時間経過を表示する表示時間座標とから構成される。
【００８５】
表示空間／時間座標部２３に生成、設定されたこの共通基準座標系の画像データは、表示画像バッファ部２６を介して、表示モニタ２に表示され、さらに、処理結果データ保存部２７に記録保存される。
【００８６】
上述の構成による本実施形態の医用画像処理表示装置１における超音波画像データおよび対象領域画像データに対する画像データの処理について、その作用、動作を図５に示すフローチャートを用いて説明する。このフローチャートが示す処理手順は、コンピュータプログラムとして、例えば、システムＣＰＵ部１１に接続されるプログラム記憶部１２に記憶されて、本実施形態の医用画像処理表示装置１のシステムＣＰＵ部１１が制御、実行する処理手順として、これを読み出して実行する。
【００８７】
先ずステップＳ１１において、異なるモダリティの画像情報を統合して設定する共通基準座標系を設定する。すなわち、操作者による入力操作部３からの処理すべき画像データの所在を指定する入力操作により、システムＣＰＵ部１１がデータ制御Ｉ／Ｆ部１３および撮影条件データ部１５を介して、例えば、画像データセンター５０の画像データ記憶部から入力される記憶画像データに関する情報を検出する。さらに、その検出結果に基づいて、表示空間／時間座標部２３に入力される２種の画像データ系の画像種別を判別し、そのサイズの大きい方に適合する共通基準座標系を、表示空間／時間座標部２３に設定する。
【００８８】
次のステップＳ１２において、対象領域画像の各データを読み込む。例えば、入力画像データの構成がＣＴ画像データと超音波画像データの場合では、その画像データのカバーする観察領域が大きく主体構成となる対象領域画像データ５２として、図４に示す例えばＣＴ装置のＣＴ画像データ及び心電図データを対象画像データバッファ部３５に設定し、画像データを読み込む。さらにこの読み込まれた対象領域画像データの表示に対応する第１の時空間座標系が設定される。すなわち、図４の場合では、この第１の時空間座標系は、ＣＴ装置がＣＴ画像データの表示のために定義した画像空間である。
【００８９】
ステップＳ１３において、ＣＴ画像データを共通基準座標系に変換する第１変換行列を算出する。すなわち、対象画像座標変換部３６において、ステップＳ１２で読み込まれた第１の時空間座標系の対象領域画像データであるＣＴ画像データを、ステップＳ１１で設定した共通基準座標系に変換する第１変換行列を算出する。
【００９０】
ステップＳ１４では、ステップＳ１３で算出した第１変換行列を用いて、第１の時空間座標系のＣＴ画像データを共通基準座標系に変換する。すなわち本実施形態の表示のバックグランド画像となる対象領域画像データを算出する第１の座標変換が、座標軸調整部２２で行われる。
【００９１】
ステップＳ１５において、ステップＳ１４の変換結果を、表示空間／時間座標部２３の画像合成部２４により共通基準座標系に設定する。これにより、本実施形態の表示の背景像となる基準対象領域画像データを形成できる。
【００９２】
次にステップＳ１６では、超音波画像の各データを読み込む。すなわち、もう一方の画像データである超音波診断装置より取得た超音波画像データの表示に対応する第２の時空間座標系により表示される超音波画像データ５１およびその心電図データ５１ａを、超音波データバッファ部３１に読み込む。さらに、超音波プローブのプローブ位置データ５５を、この超音波プローブに取り付けられた位置センサから、超音波プローブ位置補正部３３に入力する。
【００９３】
ステップＳ１７では、超音波画像座標変換部３２により、超音波診断装置の超音波画像データの表示に対応する第２の時空間座標系の超音波画像データを、ステップＳ１１で設定した基準座標系に座標変換する第２変換行列を算出する。
【００９４】
ステップＳ１８では、プローブ位置データによる超音波画像位置の補正を行う。すなわち、超音波画像の取得におけるプローブ操作によって生じる超音波スライスの位置変化を、超音波画像表示の第２の時空間座標系へ対応させる補正として、超音波表示画像位置の相対補正を行う。なお、超音波プローブがメカニカルスキャンニングを行う場合は、そのスキャンニング設定関数データにより作成した位置データが適用されて、補正するようにしてもよい。
【００９５】
ステップＳ１９においては、共通基準座標系に変換されたＣＴ画像データと超音波画像データの表示の時間軸を、心電図に同期させる。すなわち、ステップＳ１４において第１の座標変換行列手段による座標変換を行ったＣＴ画像データの心電図タイミングと、ステップＳ１８でプローブ位置の変化に対し相対補正を既に施した超音波画像データの心電図タイミングとを同期させるために、同タイミングとなる既補正の超音波画像データを抽出する。
【００９６】
ステップＳ２０では、ステップＳ１９で抽出した超音波画像データに対し、座標軸調整部２２において、ステップＳ１７で算出した第２変換行列を適用し、ＣＴ画像データが既に変換されている共通の基準座標系に心電図の位相が同じ超音波画像データを共通基準座標系へ変換する。
【００９７】
ステップＳ２１で、ステップＳ２０の変換結果の超音波画像フレームを、ステップＳ１５においてＣＴ画像データが既に変換された共通基準座標系空間へ、表示空間／時間座標部２３の画像合成部２４により設定し、対象領域画像データと超音波画像データとの２つの画像データを共通基準座標系空間で合成する。
【００９８】
ステップＳ２２では、未処理の超音波画像の次フレームがあれば、ステップＳ１８〜Ｓ２１を繰返し実行して、心電図データのタイミングを同期させて、超音波画像データを順次処理する動画処理を行う。
【００９９】
このステップＳ２２により、ステップＳ１８〜Ｓ２１を繰返し実行して得られた基準座標系空間上の心電図に同期した動画像データは、表示画像バッファ部２６を介して表示モニタ２に表示される。
【０１００】
すなわち、ステップＳ２２により、ステップＳ１８〜Ｓ２１を繰返し実行した結果は、例えば、図６（ｇ）に示す基準座標空間３１０に設定された３Ｄの表示画像３１１のように対象領域画像が設定され、順次処理した超音波画像データの超音波像３３１ｂ、３３２ｂ、３３３ｂは、基準座標空間３１０のそれぞれの位置に設定される。この基準座標空間３１０では、一般的な立体画像データ処理の手法により、任意の位置における断面画像データ、３Ｄ距離計測、所定条件による領域抽出など３D画像の処理が適用、実施できる。すなわち、基準座標空間３１０には、超音波プローブの位置が異なる複数の３D超音波画像データが合成されて、しかもスキャン密度が高められた超音波画像データで構成されているので、一般的な単独の３Ｄ超音波画像を任意方向から観察する場合に比べて、高精細な画像で観察できると共に、種々の計測や断層面の観測ができる。
【０１０１】
また、上述のステップＳ１２〜Ｓ２２の処理を繰り返すことにより、表示モニタ２には、被検者の広範な生体像を表示するＣＴ画像による対象領域画像データ上に、超音波診断装置で一部の部位に対し、別途取得した超音波画像データが重畳されて、順次表示することができる。
【０１０２】
したがって、本実施形態によれば、超音波プローブの移動により、移動先のＣＴ画像の表示する対象部位の場所に、超音波画像データを重畳して繋がるように表示することができる。すなわち、本実施形態によれば、複数の超音波画像データそれぞれを基準座標空間のそれぞれの位置に設定、再現するので、広範囲の超音波画像を表示することができる。
【０１０３】
以上の説明では、超音波診断装置とＣＴ装置とによる場合を示した。しかし、本発明は、ＣＴ装置をＭＲＩ装置、ＣＴ画像データをＭＲ画像データと置き換えて、対象領域画像データとしてＭＲ画像データを採用しても、同様にＭＲ画像の対象領域画像データと超音波画像データとを、共通基準座標系において統合する結果を得ることができる。例えば、ＭＲ画像データを対象領域画像データとすれば、生体の骨部組織の影響が少ない対象領域画像を表示、提供できる。
【０１０４】
また、この表示される超音波画像は、当初の超音波画像データの取得における表示情報の形態の設定に基づいて、臓器の断層像（Ｂモード像）などの形態表示、あるいはドプラ画像などによる血流状態や心臓壁運動状況、およびＭモード像による心臓弁や血管壁の移動変移などの機能表示が設定される。これ等の超音波画像データは、ＣＴ画像あるいはＭＲ画像では観察が困難である生体の機能に関わる診断情報であり、本実施形態によれば、これらの有用な超音波画像データを表示することができる。
【０１０５】
本実施形態において、表示画像バッファ部２６におけるデータ保持の対応を、所定時間の表示後に、処理結果データ保存部２７からの読出しを表示する設定に変更することにより、リアルタイムの表示と異なる時間が経過した後にも、超音波画像データが残像のように３Ｄの共通基準座標系空間で合成画像データを表示し続ける残像表示となる動画像の画像表示を実施できる。すなわち、本実施形態によれば、処理結果データ保存部により、ＣＴ画像上の要所部位の位置で、取得した超音波画像データを残像のように表示ができる。
【０１０６】
本実施形態の画像データの空間配置における処理概念の模式図を図６に示す。この図６を用いて、本実施形態のデータ処理における動作、作用を説明する。
【０１０７】
本実施形態においては、例えば、被検体の心臓の重要な血管像３２６ａ(図６（ｆ）)を含む広範な生体のＣＴ画像データを、ＣＴ装置２２０により予め取得して、ＣＴ装置２２０の定義する座標空間３２１におけるＣＴ画像３２１ａとして画像データセンター５０の画像データ記憶部に保存する。この保存は、１回のスキャニングにより行われる。また、他のモダリティによる超音波画像データについても、同図の上段列に図示するように、別途、超音波診断装置２３０により、超音波プローブを操作して、例えば、前記の重要な血管の走行に沿った複数の要所に対し超音波画像データ(図６（ｂ）〜（ｄ）)をプローブの位置を変えながら多数回のスキャニングが行われて取得する。
【０１０８】
これ等の取得する超音波画像データは、一般的にはプローブ操作により移動する超音波診断装置の定義する座標空間３３１、３３２、３３３、・・・における被検者の生体の重要な前記血管を含む３Ｄの超音波画像１、２、３、・・・の画像データである。これらのデータは取得の時に、その操作に伴うそれぞれのプローブ位置データも共に同じく画像データセンター５０の画像データ記憶部に予め保管される。
【０１０９】
本実施形態では、これ等の画像装置それぞれの定義する座標空間は、例えばＣＴ装置による対象領域画像データに対しては第1の時空間座標系として、超音波診断装置の超音波画像に対しては第２の時空間座標系として区別して処理するが、一般的には、これ等の空間は、モダリティ毎、機種毎に設定されて、互いの座標系の関係は定義されていない。本実施形態においては、後述するように、この区別される第１、２の時空間座標系間の関係を定義して、それぞれの画像データを共通の基準座標系へ再設定する。
【０１１０】
これら保管された画像データが、本実施形態の医用画像処理表示装置１に読み込まれて、図６のＣＴ装置２２０に固有のＣＴ画像の座標空間３２１すなわち第1の時空間座標系を、本実施形態の第１座標変換行列３２５により共通の基準座標空間３１０へ変換する。例えば、画像データセンター５０からのＣＴ画像３２１に表示されていた重要な血管３２６a（図６（ｆ））は、第１座標変換行列３２５により共通基準座標空間３１０に変換されて、この共通基準座標空間を表示する表示モニタ２に、血管３２６ｂ（図６（ｇ））が映し出されて、これを観察できる。
【０１１１】
一方、超音波画像データは、図６（ｂ）〜（ｄ）に示す超音波診断装置側の処理に示すように、プローブ位置データにより補正した超音波診断装置の座標空間すなわち第２の時空間座標系３３１、３３２、３３３における血管像を含む例えば３Ｄの画像データが、順次、本実施形態の第２座標変換行列３３５により、ＣＴ画像の変換先と同じ、すなわち共通の基準座標空間３１０（図６（ｇ））へ超音波画像３３１ｂ、３３２ｂ、３３３ｂ、・・・として変換される。
【０１１２】
この変換により、共通基準座標空間３１０には、既に表示されているＣＴ画像３１１の血管像３２６ｂの上に、その血管像の一部を含む３Ｄの超音波画像１、２、３、・・・が書き込まれた表示画像３１１が、３Ｄの動画像として表示モニタ２により観察できる。これ等の共通基準座標空間の超音波画像１、２、３、・・・は、超音波診断装置における取得のときに行ったプローブの操作と同様に、血管に沿って観察する画像位置が繋がる超音波画像として表示される。
【０１１３】
超音波診断装置およびＣＴ装置それぞれの相対的な空間情報に基づいて、超音波画像データとＣＴ画像データとを統合する共通な基準座標空間にこれ等が表示される。しかし、この基準座標系の変換移動では、２つの画像データの時系列はそれぞれのタイミングで経過しているので、それぞれのモダリティでの取得の操作時間も異なる。一般的には広範囲を機械的に自動スキャンするＣＴ画像は１スキャンニングでもあり短時間で取得が終了する。
【０１１４】
本実施形態においては、入力される前記取得された対象領域画像データおよび超音波画像データには、さらに、心電図データが時系列軸指標として付帯する。この等の心電図データとそれぞれ画像データとの時間軸上における処理概念を図７に示す。この図７を用いて本実施形態のデータ処理における動作、作用を説明する。
【０１１５】
図７の上段に例示するＣＴ画像データ４２０（図７（ａ）〜（ｃ））と中段に示す超音波画像データ４３０（図７（ｄ）〜（ｆ））は、便宜のため上下同列に図示しているが、必ずしも同時に取得される必要はない。図７においては、それぞれが同一被検者の生体に対するそれぞれの画像データ観察時に画像と共に、下段に図示する心電図データ(図７（ｈ）)が、本実施形態では取得されることを模式的に示している。
【０１１６】
画像取得における同じ被検者の心電図データ４２０はＣＴ画像データと超音波画像データと共に取得される。心電図データ４２０は画像データの時系列タイミングを構成する。
【０１１７】
合成画像である共通な基準座標空間の表示画像４１１において、注目する部位の例えば血管像４２６ａを含むＣＴ画像データである対象領域画像データ４２１、４２２、４２３が、心電図（図ではＥＣＧと記載）のＲ波トリガ（Ｒ波信号によるトリガ信号）とするタイミング周期Ｔ１、Ｔ２、Ｔ３で表示されて、同図の右端に示す共通基準座標系である合成画像４１１の背景画像と注目する血管像４２６ｂとを形成し、表示される。
【０１１８】
一方、超音波画像データの心電図データ（ｔ１、ｔ２、・・・ｔｎ）が、図７の処理概念図の下段列に例示するように、心電図（ＥＣＧ）４１０の特徴的波形であるＲ波トリガにより繰り返すタイミングｔ１に同期する心拍周期となるので、複数の超音波フレームデータＰ（ｔ１、ｔ２、・・・ｔｎ）からなる超音波画像データＰ１、Ｐ２、Ｐ３、・・・として構成される。
【０１１９】
この超音波画像データＰ１、Ｐ２、Ｐ３、・・・は、第２の時空間座標系への座標変換処理において、同期（Ｒ波トリガ）タイミングｔ１を検出して、図７の中段に示すように、検知の時系列（画像取得装置のシステム時計による時刻）ｔ１、ｔ２、・・・ｔｎにより識別される１心拍分の超音波動画像４３１ａ、４３２ａ、４３３ａ、・・・それぞれを形成するグループＰ１、Ｐ２、Ｐ３、・・・として、心拍毎に拍動する超音波画像が構成される。この画像は、共通な基準座標空間の合成画像４１１において、注目する血管像４２６ｂの対応するそれぞれの位置において、背景の対象領域画像データの心拍周期と同期した拍動で表示される。
【０１２０】
既に説明したように、本実施形態では、対象領域画像データは、必ずしも同時に取得の操作がされることを必要条件としない。図７のＣＴ画像における心拍周期Ｔ１、Ｔ２、Ｔ３・・・と、超音波画像における心拍周期Ｐ１、Ｐ２、Ｐ３・・・とは、実時間では全く異なり、かけ離れた時間で実施され、取得対象となる心拍周期数も超音波画像データに対するものが多くなるのが通常である。したがって、対象領域画像データは、すなわち本実施形態で表示されるＣＴ画像データは、超音波画像データの共通基準座標系における表示において、その表示位置としての被検者の対象となる生体内の背景画像を構成するためにデータ取得されて、共通基準座標系の第４次元にあたる時間座標は、心拍周期に同期して繰り返すので、少なくも１心拍周期間を表示するデータを取得する。
【０１２１】
上述の本実施形態は、換言すれば、異なるモダリティから被検者の心電図データと共に得た２つの３Ｄの画像データに対し、その時系列軸を心拍周期で同期した２つのモダリティ画像の４Ｄ合成画像を提供する。
【０１２２】
特に、モダリティの一方となる超音波診断装置により表示される超音波画像は、当初の超音波画像データの取得における設定に基づいて、臓器の断層像（Ｂモード像）などの形態表示の他に、ドプラ画像などによる血流状態や心臓壁運動状況、およびＭモード像による心臓弁や血管壁の移動変移、移動長計測などの機能表示が設定できる。
【０１２３】
本実施形態によれば、処理結果データ保存部２７に記録される処理結果の合成画像データは、一般的なボリューム画像と言われる３Ｄ画像データのデータ構造となっている。例えば、図８（ａ）に示すように、血管１２６の走行方向を示す矢印３０１の方向から、血管内部を観察すると、同図（ｂ）に例示したように、高密度で、且つ複数の３Ｄ超音波画像データにより合成されて、血管腔から広範囲の血管の内壁像を観察できるＰＶＲ（Ｐｅｒｓｐｅｃｔｉｖｅ  Ｖｏｌｕｍｅ  Ｒｅｎｄｅｒｉｎｇ）表示の３Ｄ画像が動画像として提供されて、血管壁の形態やその表面の状況、構造が仔細に観察できる。
【０１２４】
（第３の実施形態）
本願発明の第３の実施形態は、図４に示すように構成される。この実施形態の処理は図９に示すフローチャートに基づいて行われる。本実施形態は、前述の第２の実施形態の共通基準座標空間における合成の形態、すなわち表示形態を変形したものである。本実施形態では、時間軸を参照する心電図データの心拍周期の同時相、すなわち同タイミングとなる複数の超音波画像フレームを同時に対象領域画像データ上に合成し、一括して表示する表示形態を心拍周期で繰り返す。
【０１２５】
本実施形態の医用画像処理表示装置１には、前述の第２の実施形態と同様に被検者の検査対象となる複数の要所部位に対し、これ等を包括する広い範囲にわたって動画像の対象領域画像データを予め取得する。一方、この対象領域画像データの取得と必ずしも同時でない他の時間において、この対象領域画像データに含まれる要所部位それぞれに対し、心電図データおよびプローブ位置データと共に取得した動画の超音波画像データが取得され、医用画像処理表示装置１に入力される。以下に本実施形態の作用、動作について図９により詳細を説明する。
【０１２６】
本実施形態における処理は、第２の実施形態のフローチャートである図５のステップＳ１１〜Ｓ１７における処理と同様に、図９のフローチャートに示すステップS３１〜Ｓ３７において行われる。すなわち、これ等ステップS３１〜Ｓ３７の処理により、共通基準座標系を定義、設定し（ステップＳ３１）、対象領域画像データおよびその付帯データを読み込み（ステップＳ３２）、これ等を共通基準座標系へ変換する第１変換行列を算出し（ステップＳ３３）、この変換行列によって共通基準座標系に変換し（ステップＳ３４）、この変換結果を共通基準座標に設定し（ステップＳ３５）、超音波画像データおよびその付帯データを読み込み（ステップＳ３６）、超音波画像座標系から共通基準座標系へ変換する第２変換行列を算出する（ステップＳ３７）。
【０１２７】
さらに、図９に示すステップＳ３８、Ｓ３９により、ステップＳ３６で読込まれた超音波画像データおよび付帯データのプローブ位置データを、同じく付帯データの心電図データのＲ波信号をトリガとする１心拍周期（図７（ｈ））を区分する。このように区分した後、ステップＳ３９により生成するデータフォルダに、ステップＳ４３において、心拍周期毎に仕分けする。この心拍周期毎の仕分けの概念を、図７（ｄ）、（ｅ）、（ｆ）に示す。
【０１２８】
本実施形態においては、この仕分けの処理の前に、ステップＳ４０〜Ｓ４２の処理が行われる。これ等のステップＳ４０〜Ｓ４２処理は、第２の実施形態の処理手順を示す図５のステップＳ１８〜Ｓ２０における処理と同様に行われる。すなわちこれ等の処理は、プローブ位置データにより超音波画像データのスライス（断層像）位置を補正し（ステップＳ４０）、対象領域画像データと超音波画像データを心電図データにより同期させ（ステップＳ４１）、超音波画像データを第２変換行列により共通基準座標系へ変換する（ステップＳ４２）。
【０１２９】
さらに、ステップＳ４３では、ステップＳ４２の変換結果を、ステップＳ３９により生成した心拍周期を区分するデータフォルダに、心拍周期内の心拍タイミングｔ１、ｔ２、ｔ３・・・を識別して、図４に示す対象画像座標変換部３６あるいは超音波画像座標変換部３２に設ける記憶手段に一時的に記録保存する。
【０１３０】
ステップＳ４４において、ステップＳ４２の共通基準座標系への変換結果が、この変換の処理の時系列で共通基準座標空間に設定されて、例えば、共通基準座標系を表示する表示モニタ２に変換結果、すなわち、被検者の対象となる生体に対し取得した動画の超音波画像データが、変換処理過程の状況として、表示できる。この処理は、ステップＳ４５により、超音波画像データの取得操作の終了、もしくは入力操作部３からの終了指示により、ステップＳ３６〜Ｓ４５のループ処理が終了する。
【０１３１】
すなわち、この処理は、図７に図示するＣＴ画像データＴ１、Ｔ２、Ｔ３・・・及び超音波画像データＰ１、Ｐ２、Ｐ３・・・・の各データが、第1変換行列３２５あるいは第2変換行列３３５により、合成画像を構成する共通基準空間座標系へ、変換される。さらにそれ等の時系列情報も、時間同期部２１によりそれぞれに付帯した心電図データが、Ｒ波トリガにより同期した心拍周期内の心拍タイミングｔ１、ｔ２、・・・ｔｎで識別された変換ＣＴ画像データ（変換対象領域画像データ）Ｔ（ｔ１、ｔ２、・・・ｔｎ）、及び変換超音波画像データＰ（ｔ１、ｔ２、・・・ｔｎ）として、保存される。
【０１３２】
また、変換超音波画像データＰは、観察時間が変換ＣＴ画像データに比べて長いので、複数の心拍周期を識別して、変換超音波画像データＰｉ（ｔ１、ｔ２、・・・ｔｎ）、ｉ＝１〜ｋが、変換対象領域画像データＴの繰り返しに対し、保存される。
【０１３３】
この保存されたそれぞれの変換画像データは、ステップＳ４６において、データの検索を容易にするため、心拍周期のタイミングｔ１、ｔ２、ｔ３・・・の各タイミングｔｎ毎に再配列にしたデータファイルを編成する。これは、長時間にわたる超音波画像データの収集が行われる場合には、タイミングｔｎを検索する処理時間を短縮するために行う処理ステップである。したがって、超音波画像データの収集が短時間で、超音波画像データ容量が小さい場合は、このステップＳ４６を実施しないようにしても、違和感の無い合成処理と表示処理が行える。
【０１３４】
本実施形態の心拍タイミングに同期して変換超音波画像データを一斉に表示する合成は、図９に示す本実施形態のフローチャートのステップＳ４７〜Ｓ５２によりなされる。なお、これ等の合成は、図４に示す医用画像処理表示装置１の空間／時間座標部２３の画像合成部２４に具備する心拍同期合成画像生成部（図示せず）及びタイミング設定部（図示せず）においてなされる。
【０１３５】
この処理は先ずステップＳ４７において、ステップＳ３９で生成した心拍毎の心拍フォルダに対し、ステップＳ４３で記録保存した変換超音波画像データの心拍タイミングｔｎに対応する変換結果、すなわち変換超音波画像データＰｉ（ｔｎ）をｉ＝１〜ｍで１つ抽出し、これ等を共通基準座標系において表示する。
【０１３６】
ステップＳ４８では、１心拍周期内の心拍タイミングｔｎをｔｎ＋１として１つ進めて、次のステップＳ４９で１心拍周期を越えない心拍タイミングにおける変換対象領域画像データと変換超音波画像データを得るように、ステップＳ４７へ戻る。
【０１３７】
一方、１心拍周期を越えるタイミングでは、ステップＳ５０へ進めて、このステップＳ５０において、心拍タイミングｔｎのリセットを行う。さらに、次のステップＳ５１で引き続く次のｉの１心拍周期へ進め、ステップＳ５２では次の１心拍の変換対象領域画像データであるＣＴ画像データの有無を判定する。データがあった場合には、ステップＳ４７〜Ｓ５２を再び繰り返す。データがない場合は、変換対象領域画像データが１心拍周期しか用意されてないので、同じ１心拍周期のデータが繰り返し使用するため、ステップＳ４７へ戻る。
【０１３８】
このステップＳ４７〜Ｓ５２の処理は、システムＣＰＵ部１１の制御の下に、画像合成部２４に備える心拍同期合成画像生成部により実施され、同じく画像合成部２４に備えるタイミング設定部により心拍タイミングｔｎの頻度あるいはタイミングパラメータｉの停止、繰り返しを設定する。これ等は、所定の固定値がタイミング設定部に予め設定されても、あるいは入力操作部３から操作者である医師や検査技師により指示入力されてもよい。
【０１３９】
これ等の処理により、複数の変換超音波画像データが繋がって広い範囲をカバーするように画像合成されるので、広範な領域の超音波画像を心電図による心拍に同期して表示することができる。
【０１４０】
この実施形態においても、合成表示対象となる超音波画像データは、被検者の対象部位に対する緻密な形態または位置の画像であるいわゆる超音波断層像（Bモード画像）の他に、機能超音波画像であるいわゆる超音波ドプラ画像、Mモード画像、または心壁運動解析画像などの超音波機能画像データを、対応させても良い。
【０１４１】
以上の説明では、前述の第１の実施形態の説明と同様に、超音波診断装置とＣＴ装置とによる場合を例として示した。しかし本実施形態においても、ＣＴ装置をＭＲＩ装置、ＣＴ画像データをＭＲ画像データに置き替えても、同様に行える。
【０１４２】
本実施形態によれば、広範な視野の確保が可能なＣＴ装置あるいはＭＲＩ装置により、ＣＴ画像データ表示、あるいはＭＲ画像データ表示として観察した被検者の生体の対象部位について、比較的視野領域が狭いが緻密な生体構造を動画性の良い形態表示で、あるいはドプラ信号計測などの同じく緻密な生体機能的情報量が多い機能表示で、それ等を複数同時に表示して観察、診断できる。したがって、従来の超音波診断装置による視野の狭い単独の超音波画像データの観察、診断に比べて、本発明のこの実施形態によれば詳細で豊富な医用情報を表示、提供することができる。
【０１４３】
そして、本実施形態が提供する情報は、ＣＴ画像データを表示している同一表示空間内で、異なる時間に取得した超音波画像データを、取得部位の位置に変換して表示する共に、これ等の複数の位置における超音波画像データそれぞれとして、心拍動周期の位相（タイミング）が同期した動画像として提供、表示される。したがって、合成画像全体が心電図に同期した動画像で表示されるので、被検者の広範な生体内の要所に対応付けて、特に超音波画像データとして超音波ドプラ流速データなどの超音波機能画像データを表示すれば、被検者の生体の要所部位におけるカーディアックダイナミクスを観察領域全体の状況と共に容易に観察できる。
【０１４４】
本実施形態の行うＣＴ画像データ上に重畳して超音波画像データを心拍動周期に同期した動画表示は、従来のこれ等異種の医用画像装置による複数の観察画像をマルチ画面表示形態で並べて表示するＳｉｄｅ−Ｂｙ−Ｓｉｄｅの表示形態に比べて、生体内各部位との対応が直感的で、視認性において勝る画像表示を、診断や検査を実施する医師あるいは検査技師に提供できる効果がある。
【０１４５】
なお、本発明において、第２の表示空間座標系に基づいて第２画像データ（超音波画像データ）が得られる第２の範囲は、第1の表示空間座標系に基づいて第１画像データ（対象領域画像データであるＣＴ画像データもしくはＭＲ画像データ）が得られる第１の範囲に完全に含まれていてもよい。しかし本発明において、必ずしもその必要はなく、少なくとも第２の範囲の一部が第１の範囲に含まれていればよい。
【０１４６】
本発明は上記実施形態に限られず、その技術思想の範囲内で種々変形して実施することが可能である。
【図面の簡単な説明】
【０１４７】
【図１】本願発明の第１の実施形態の医用画像処理表示装置における機能構成を示すブロック図。
【図２】本願発明の第１の実施形態の医用画像処理表示装置が行う処理を模式的に示す概念図。
【図３】本願発明の第１の実施形態における画像処理手順を示すフローチャート。
【図４】第２、３の実施形態の医用画像処理表示装置の機能構成を示すブロック図。
【図５】第２の実施形態における画像処理手順を示すフローチャート。
【図６】第２の実施形態が行う空間変換処理を模式的に示す概念図。
【図７】第２の実施形態が行う時系列処理を模式的に示す概念図。
【図８】本実施形態の医用画像処理表示装置により合成された３Ｄ超音波画像データによる血管内壁の観察画像の例。
【図９】第３の実施形態における画像処理手順を示すフローチャート。
【符号の説明】
【０１４８】
１、１００・・・医用画像処理表示装置、
２・・・表示モニタ、
３・・・入力操作手段、
４・・・ユーザ入出力（Ｉ／Ｏ）部、
１１・・・システムＣＰＵ部、
１２・・・プログラム記憶部、
１３・・・データ制御Ｉ／Ｆ部、
１４・・・入力操作Ｉ／Ｆ部、
１５・・・撮影条件データ部、
２１・・・時間同期部、
２２・・・座標軸調整部、
２３・・・表示空間/時間座標部、
２４・・・画像合成部、
２５・・・残像生成部、
２６・・・表示画像バッファ部、
２７・・・処理結果データ保存部、
３１・・・超音波データバッファ部、
３２・・・超音波画像座標変換部、
３３・・・超音波プローブ位置補正部、
３５・・・対象領域画像バッファ部、
３６・・・対象画像座標変換部、
５０・・・画像データセンター、
１１０・・・制御管理部、
１１１・・・制御ＣＰＵ部、
１２０・・・データ取得部、
１２１・・・画像データ入力部、
１２２・・・撮影設定保存部、
１３０・・・出力画像管理部、
１３１・・・出力画像構成部、
１３２・・・画像データ保存部、
１４０・・・空間/時間設定部、
１４１・・・時間同期部、
１４２・・・座標変換部、
１５０・・・表示画像生成部、
１５１・・・表示設定部、
１５２・・・画像合成部、
１５３・・・残像画像部。
【図１】
0005105981.tif 000002
【図２】
0005105981.tif 000003
【図３】
0005105981.tif 000004
【図４】
0005105981.tif 000005
【図５】
0005105981.tif 000006
【図６】
0005105981.tif 000007
【図７】
0005105981.tif 000008
【図８】
0005105981.tif 000009
【図９】
0005105981.tif 000010