(57)【特許請求の範囲】
【請求項１】
３次元配列からなる３次元ボリュームデータを保存する記憶装置と、該データを処理する処理装置と、処理結果を表示するディスプレイと、ディスプレイ上の位置情報を入力する装置とを備えた画像表示装置において、
前記データのレンダリングにおいて同一光線追跡線上の複数ボクセルの値を投影値に関与させるボリュームレンダリング法により３次元投影画像を計算する演算手段と、
前記ボリュームレンダリングで、同一光線追跡線上の表示に関与した複数のボクセルのうち、最大の関与量を示したボクセルの深さ値を光線追跡線上単一の表示正面深さ値として求める演算手段と、
同一の視線方向から計算された複数の３次元投影画像と前記表示表面深さ値を基に画像を合成表示する演算手段と
を備えたことを特徴とした３次元画像合成表示装置。
【請求項２】
３次元配列からなる３次元ボリュームデータを保存する記憶装置と、該データを処理する処理装置と、処理結果を表示するディスプレイと、ディスプレイ上の位置情報を入力する装置とを備えた画像表示装置において、
前記データのレンダリングにおいて同一光線追跡線上の複数ボクセルの値を投影値に関与させるボリュームレンダリング法により３次元投影画像を計算する演算手段と、
前記ボリュームレンダリングで、同一光線追跡線上の表示に関与した全てのボクセルの深さ値の平均をとり、該平均を光線追跡線上単一の表示正面深さ値として求める演算手段と、
同一の視線方向から計算された複数の３次元投影画像と前記表示表面深さ値を基に画像を合成表示する演算手段と
を備えたことを特徴とした３次元画像合成表示装置。
【請求項３】
請求項１もしくは請求項２のいずれかに記載の３次元画像合成表示装置において、
同一の視線方向から前記表示表面深さ値を求めて得た複数のボリュームレンダリング画像の合成において、該表示表面深さ値をそれぞれの投影画像の前後関係の判定に用い、画素ごとの表示優先度に関与させるように構成したことを特徴とした３次元画像合成表示装置。
【請求項４】
請求項１から請求項３のいずれかに記載の３次元画像合成表示装置において、
合成を行う各ボリュームレンダリング画像ごとにユーザの入力により不透明度を変更設定する制御手段を有し、各ボリュームレンダリング画像の深さ値に応じて前面より指定された不透明度に応じて表示の割合を指定するように構成したことを特徴とした３次元画像合成表示装置。
【請求項５】
請求項１から請求項４のいずれかに記載の３次元画像合成表示装置において、
３次元ボリュームデータから作成された前記表示表面深さ値を持つ複数のボリュームレンダリング画像と、ユーザーが設計した３次元座標により表現された３次元ベクトルデータから前記表示表面深さ値も併せて計算した３次元投影画像とを合成表示する演算手段を有することを特徴とした３次元画像合成表示装置。
【請求項６】
請求項１から請求項５のいずれかに記載の３次元画像合成表示装置において、
３次元投影画像を平行移動／回転／拡大・縮小して変形する制御手段を有し、
ユーザの入力により複数の３次元投影画像から任意の３次元投影画像を選択し、前記制御手段のパラメータを指定し、変形・移動結果を合成表示する
ように構成したことを特徴とした３次元画像合成表示装置。
【請求項７】
請求項１から請求項６のいずれかに記載の３次元画像合成表示装置において、
複数の３次元投影画像のうち、任意の３次元投影画像の表示表面深さ値を一様に変更する制御手段を有し、ユーザの入力により変更パラメータを指定することにより、３次元的な前後位置関係を変更し合成表示するように構成したことを特徴とした３次元画像合成表示装置。
【請求項８】
請求項１から請求項７のいずれかに記載の３次元画像合成表示装置において、
複数のボリュームレンダリング画像の画像合成結果と該画像合成結果の表示表面深さ値より画素ごとに対応する３次元機能データの注目座標を求め、
該注目座標の値に設定された色を画像投影値の色に指定し、機能合成画像を得るように構成したことを特徴とした３次元画像合成表示装置。
【請求項９】
複数のモダリティごとに設定した処理装置と、該処理装置間を結ぶネットワークと、該ネットワークに接続された画像合成表示装置とを備え、
各処理装置は、共通の座標系にレジストレーションする演算手段と、請求項１から請求項９のいずれかに記載の３次元画像合成表示装置における３次元投影画像を計算する演算手段と、請求項１から請求項９のいずれかに記載の３次元画像合成表示装置における表示表面深さ値を求める演算手段とを持ち、３次元ボリュームデータの処理結果をネットワークを介し画像合成表示装置に転送し、
該画像合成表示装置において、各処理装置から転送されてきた３次元ボリュームデータの処理結果を用いてマルチモダリティの合成表示を行うように構成したことを特徴とした画像合成表示システム。
【発明の詳細な説明】
【０００１】
【産業上の利用の分野】
本発明は、Ｘ線ＣＴ装置やＭＲＩ装置や３Ｄ超音波診断装置やＥｍｉｓｓｉｏｎ  ＣＴ装置により得られた複数の３次元ボリュームデータの３次元画像合成表示に関し、各データごとに同一の視線方向を合わせて表示表面深さ（Ｚバッファ）値を持つ３次元投影画像を計算する機能を備え、この３次元投影画像を複数用いることで３次元的に位置の正しい高画質な合成表示を得る３次元画像合成表示装置に関する。
【０００２】
【従来の技術】
本発明に関連する公知例として以下の文献が挙げられる。
（１）Ｍ．Ｌｅｖｏｙ：Ｅｆｆｉｃｉｅｎｔ  Ｒａｙ  Ｔｒａｃｉｎｇ  ｏｆ  Ｖｏｌｕｍｅ  Ｄａｔａ，  ＡＣＭ  Ｔｒａｎｓ．  ｏｎ  Ｇｒａｐｈｉｃｓ，Ｖｏｌ．９，  Ｎｏ．３，  （１９９０）    ｐｐ２４５−２６１
（２）Ｎｅｗｅｌｌ，  Ｍ．Ｅ．，Ｎｅｗｅｌｌ，    Ｒ．Ｇ．  ａｎｄ  Ｓａｎｃｈａ，  Ｔ．Ｌ．：Ａ  Ｎｅｗ  Ａｐｐｒｏａｃｈ  ｔｏ  ｔｈｅ  Ｓｈａｄｅｄ  Ｐｉｃｔｕｒｅ  Ｐｒｏｂｌｅｍ，Ｐｒｏｃ．ＡＣＭ．Ｎａｔ．Ｃｏｎｆ．，（１９７２）ｐｐ．４４３
（３）石井光雄：映像化マシン、オーム社ｐｐ１２
（４）西川克彦，桜庭孝弘，斉藤英樹，杉山淳一，松尾昭彦：高速高性能三次元システム「昴」−（４）高速描画機構−，１９９２年電子情報通信学会秋季大会講演論文集６，ｐｐ２０４
（５）特開昭６４−３７６７８号公報
（６）医用画像のディジタル化と三次元画像処理−旭化成情報システム（株）−，  映像情報（Ｍ）１９９４年５月，  ｐｐ６０６−６０７
文献（１）では、３次元データのボリュームレンダリングを説明している。ボリュームレンダリングにおける３次元データは、半透明のボクセルから構成されると考える。視点から物体に向かいレイトレースしていき、半透明のボクセルに光が透過するとき、光の透過量が変化する度合いとして、各ボクセルに対し不透明度を定義し、ボクセルから反射される光の量の総和を投影面のピクセル値として投影する。
ＣＧの技術として、透明、半透明の物体の合成を行う簡単な方法が（２）のＮｅｗｅｌｌの方法である。この方法は、背後の物体の色と透明な物体の色を混ぜ合わせることにより、透明感を表現するものである。
文献（３）では、物体モデルをレンダリングする隠面処理としてＺバッファの機能を用いている。ここでは、各物体モデルの表面位置とＺバッファの値と比較して、すでにレンダリングされている物体より手前の物体ならＺバッファとこの物体の投影値を書き換え、全ての物体について同様に計算し投影画像を得る。
文献（４）では、複数の描画機構を奥行きデータ制御機構を介して接続することにより、各描画機構で生成された画像を奥行き値に基づいて合成することができる。この方式では、３次元空間に定義される複数のプリミティブを複数の描画機構により分担し並列に複数の画像を生成し、それを合成し３次元画像を得るので、描画機能の台数により時間を短縮できる。
一般に複数の３次元データの合成表示する場合、それぞれのデータから表示したい部位を３次元的に抽出処理により、分離（セグメンテーション）し、統合したい３次元データに埋め込み、合成表示を行う必要があった。
このように、一つの３次元データに統一されたデータに対して、公知例（５）では、３次元データから任意の構造物を抽出し、その投影面からの距離を作成しておき、任意の形状に設定された切除領域の内外のサーフェス画像を一枚の画像に合成表示している。
文献（６）では、３Ｄ合成ソフト「Ｄｒ．Ｖｉｅｗ／Ｂｌｅｎｄｅｒ」を紹介しており、このソフトによれば自由な方向から見た表示が可能であり、その表示物体に割断面を入れることができ、この表示結果の３次元表面にモダリティの異なる画像をある割合で張り付けることができる。
【０００３】
【発明が解決しようとする課題】
Ｘ線ＣＴ装置で患部を撮影する場合、様々な血管造影を行い、患部やその周辺の血管の走行状態、骨などの３次元情報を得る。また、ＭＲＩでは、軟部組織の病変や、血流などの３次元情報を低侵襲で得ることができる。さらに、Ｅｍｉｓｓｉｏｎ
ＣＴでは、人体の生理機能を３次元情報として得ることができる。
このような様々な撮影方法により得られた３次元情報を有効利用し、互いのデータを補完し、合成表示を行い、診察や手術計画の際に役立てたいというニーズがある。
従来、単一の上記のような３次元データを高画質に可視化する方法として、文献（１）のような表示表面を一意に決めずに可視化するボリュームレンダリング法が知られているが、この方法では滑らかに変化する表示表面部の数ボクセルを投影値に関与させる可視化アルゴリズムなので表示表面深さ（Ｚバッファ）値を、一意に決定できない。また、複数の３次元データを合成するには、３次元空間に複数の３次元データを表現する必要がありメモリを多く消費する。さらに、この方法で各関心領域を半透明に表示するには、レンダリングパラメータが複雑になり最適なパラメータを得るのは非常に困難である。
また、公知例（５）は上記のように各々の３次元データから表示したい関心領域を抽出処理によりセグメンテーションし、統合したい３次元データの対応する位置に埋め込み、合成表示するものである。この方法では、異なるデータにセグメンテーションした結果を埋め込むため画像に不連続面が生じ、ボリュームレンダリングで合成表示する際、画質の悪化が予想される。
また、３次元ＣＧでは、文献（２）（３）（４）のような、様々な画像合成テクニックが提案されているが、これらの方法では複数の３次元データの関心領域ごとに表面位置データなどの３次元座標データに変更し、一つの３次元ベクトルデータとして表現し、レンダリング処理する必要があり、このため、個々の関心領域に対し、画質の良いボリュームレンダリング法を選択できなかった。
また、文献（６）のような三次元データの投影結果に異なるデータの投影結果をある割合で単純に張り付け、画像の合成を行う方法では、３次元的に前後関係の合った合成をすることは不可能である。
【０００４】
本発明の目的は、このような問題点を改善し、異なる複数の３次元データを統合し新たな３次元データを作成することなしに高画質なボリュームレンダリング合成表示を簡単に行うことが可能な、３次元画像合成表示装置を提供することにある。
さらに、各関心領域ごとに最適な可視化パラメータでボリュームレンダリングすることを可能とし、高画質なボリュームレンダリング画像の合成表示を行うことが可能とすることを目的とする。
さらに、各関心領域ごとにボリュームレンダリング画像作成時に最も表示に関与したボクセルの深さ値により表示表面深さ（Ｚバッファ）値を求めることができ、この値をもとにボリュームレンダリング合成表示を行うことで３次元的な前後関係の正しい３次元合成画像を得ることを目的とする。
さらに、各ボリュームレンダリング画像ごとに不透明度を任意に設定することで、任意の半透明合成画像や非透明合成画像を得ることを目的とする。
また、３次元機能データとの画像合成でも複数の３次元形態データから得たボリュームレンダリング合成画像上に画像合成できるようにすることを目的とする。
さらに、マルチモダリティデータの合成表示においては、各撮影装置ごとにボリュームレンダリングを行うプロセッサを持ち、それぞれの３次元投影画像を並列に計算可能にすることを目的とし、さらにその結果を画像合成装置に転送することで、画像合成ができ、データ量の大きい３次元ボリュームデータを転送しないことを目的とする。
【０００５】
【課題を解決するための手段】
上記目的を達成するため、本発明の３次元画像合成装置は、３次元データを保管するハードディスク（図１の１０４）と、ボリュームレンダリング及び投影画像合成を行う計算機（図１の１００）と、ディスプレイ（図１の１０３）と、ディスプレイの座標を入力する装置（図１の１０２）とを備えている。
さらに、計算機１００には、３次元データを可視化するための、ボリュームレンダリング機能（図２の２１１）と、関心領域の抽出機能（図２の２２０）及びその抽出領域に対しボリュームレンダリングする機能（図２の２２１）と、これらレンダリングの際に表示表面深さ（Ｚバッファ）値を求める機能（図２の２１１、２２１）とを備えている。
上記ボリュームレンダリング機能２１１、２２１は、位置合わせの済んだ各々の３次元データごとの関心領域ごとに最適なレンダリングパラメータで３次元投影画像（図９参照）を得ると同時に、投影画像の画素ごとにレンダリング輝度値とともにこの輝度値に最も関与した光線追跡線上のボクセルの深さ値として表示表面深さ（Ｚバッファ）値（図１０参照）を求めるものである。
さらに、複数の３次元データに対し、同一の視線方向からボリュームレンダリングし複数の３次元画像（Ｚバッファ付き）を得る機能と、同一の視線方向から複数のレンダリングパラメータで複数の３次元画像（Ｚバッファ付き）を得る機能を備えている。
さらに、このようなボリュームレンダリング機能により得た複数の同一の視線方向から投影計算された３次元投影画像を表示表面深さ（Ｚバッファ）値をもとに画素ごとに求めた前後関係と、各３次元投影画像ごとに設定された不透明度と、それぞれの画像の画素の輝度値とにより、合成画像の画素値への関与について計算を行い画像合成結果を得る機能（図１３参照）を備えている。
さらに、同様に得られた同一視線方向の３次元画像（Ｚバッファ付き）を合成表示する機能に対し、各画像ごとに不透明度を設定する機能（図６の３３１）と、各画像ごとに輝度値を変更する機能（図６の３６０、３７０）と、各画像ごとに任意に線形変形する機能（図１６の６３４、６３５）と、各画像ごとに表示表面深さ（Ｚバッファ）値を一様に変更する機能（図１６の６３７）とを備えている。
上記のように得られた合成画像に対し、合成された３次元画像の表示表面深さ（Ｚバッファ）値の最大値を取ることで合成画像の表示表面深さ（Ｚバッファ）値を求め、この値とこの合成画像を計算した視線方向より、合成画像の表面に３次元機能データの値を合成し、機能情報合成画像を得る機能（図１８参照）を備えている。
また、マルチモダリティの画像合成に対し、各撮影装置ごとにプロセッサ（図１９の８１０、８２０、８４０、８５０）を備え、このプロセッサは共通の座標系に位置合わせする機能と、画像合成装置の指示する視線方向のボリュームレンダリングを行い３次元画像を求める機能と、表示表面深さ（Ｚバッファ）値を求める機能と、求めた３次元画像と表示表面深さ（Ｚバッファ）値を画像合成装置に転送し、合成画像を求める機能（図２０参照）を備えている。
【０００６】
【作用】
本発明では、複数の３次元データに対し、それぞれのデータで個別に同一視線方向からの３次元画像を作成し、その得られた３次元画像に対し合成計算を行うため、複数の３次元データを統合する必要がなく、簡単に合成画像を得ることができる。
さらに、各関心領域ごとに３次元画像を作成するため、各関心領域ごとに最適なボリュームレンダリングパラメータを選択することができ、高画質な合成表示を行うことができる。
さらに、ボリュームレンダリングでは、一意に決められない表示表面深さ（Ｚバッファ）値を表示に最も関与したボクセルの深さ値から求め、画像合成の際にこの値により３次元的前後位置関係を判定しこの結果に応じた合成を行うため、３次元位置関係の正しい合成表示を行うことができる。
さらに、各３次元画像ごとに不透明度をユーザーの入力により対話的に設定することができるため、任意の半透明合成表示や非透明合成表示（手前にある画像の画素値最優先表示）を行うことができる。
さらに、複数の３次元データから合成された画像の表示表面に３次元機能データの機能情報を合成表示することができる。
さらに、複数のモダリティごとに処理装置を設けてネットワーク構成とすることにより、処理装置の処理結果をネットワークを介して画像合成表示装置に転送しマルチモダリティの合成表示を行うことができる。
【０００７】
【実施例】
本発明を実施例を用いて説明する。
図１は本発明のシステム構成の一例であって、各実施例における画像合成表示方法を適用するものである。
Ｘ線ＣＴ装置２０で計測された３次元データはネットワーク７０を介して、オンラインで３次元画像処理システム１００のハードディスク１０４に転送される。または、計測された３次元データは光磁気ディスクＭＯ１２に記録され、オフラインで３次元画像処理システム１００に接続されている光磁気ディスクＭＯ１０１より読み出され、ハードディスク１０４に転送される。
同様な経路で、ＭＲＩ装置１０、３Ｄ超音波診断装置４０、Ｅｍｉｓｓｉｏｎ  ＣＴ３０の各装置で計測された３次元データも３次元画像処理システム１００のハードディスク１０４に転送される。
３次元画像処理装置１００は、光磁気ディスク１０１と、ハードディスク１０４と、入力装置１０２と、ディスプレイ装置１０３を持つ。
【０００８】
（実施例１）
実施例１では、複数の３次元データのボリュームレンダリング結果の画像合成について説明する。
図２は３次元画像処理装置１００内での処理を示すフローチャートである。
ステップ２００：上記のような手段により、３次元データを３次元画像処理装置１００内に読み込む。
ステップ２０１：ステップ２００で読み込まれた複数のデータに対し、位置や分解能、軸方向を合わせる処理やデータごとに最適な階調に変換する処理を前処理として行う。
ステップ２１１：ステップ２０１で生成されたデータに対し、３次元画像処理装置１００でサポートしているボリュームレンダリング処理を行い、データごとの関心領域ごとに最適なパラメータでレンダリングを行い、３次元画像２１２を得る。
ステップ２２０：ステップ２０１で生成されたデータに対し、３次元画像処理装置１００でサポートしている関心領域抽出処理により、データごとに関心領域をセグメンテーションする。
ステップ２２１：ステップ２２０でセグメンテーションされた関心領域ごとに、３次元画像処理装置１００でサポートしているボリュームレンダリング処理を行い、３次元画像２２２を得る。
３次元画像２１２、２２２は、画素ごとに輝度を示す画素値と表示表面深さ（Ｚバッファ）値を持つ。また、この画像の輝度値は、画像の画素値とカラーマップテーブルにより任意の色の輝度値に決定されるものとする。このカラーマップテーブルは画像ごとにヘッダ情報として定義される。
こうして得られた３次元画像２１２、２２２を合成表示機能３００に入力する。
【０００９】
図３は合成表示に入力する３次元画像データの持つ表示表面深さ（Ｚバッファ）値の説明図である。
格子２３０は３次元データの任意のスライスのレンダリング座標系を示し、頭部のサジタル断面とする。この画像では脳領域の濃度値２３１を「１００」、脳以外の頭部領域の濃度値２３２を「９０」、空気領域の濃度値２３３を「０」とする。
矢印２４０はレンダリング処理の際の視線方向を示す。この方向からレンダリングした際の表示深さの目盛りを２４１に示した。
このようなデータを可視化する際、頭部を関心領域とする場合、レンダリングパラメータのしきい値を「８５」以上に設定することにより、表示関与領域は頭部に限定され、頭部を可視化することができる。このようにレンダリング方向２４０に沿って格子２３０点ごとの画素値をレイトレースしていき、最初のしきい値「８５」以上の座標点の表示表面深さ目盛り２４１の値を投影面のＺバッファに記憶する。このとき、投影面の画素ごとに表示表面深さ（Ｚバッファ）値を求めた値が２５０である。
同様に脳を関心領域とする場合、しきい値を「９５」以上に設定することにより、脳領域を可視化することができ、このとき、２６０のような表示表面深さ（Ｚバッファ）値を得る。
しかし、ＭＲＩやＸ線ＣＴなどの計測データに適用し、以上のような濃度しきい値以上のサーフェスレンダリングを行うと計測ノイズのため、滑らかな投影画像を得ることができない。このため、表示表面付近の数画素を投影画像に関与させるボリュームレンダリング法を用い、高画質な投影画像を得る。
【００１０】
ここで、ボリュームレンダリングについて説明する。
各ボクセルの不透明度αと反射度が等しく、光の透過率が（１ーα）であるとする。そして各点に配置されたボクセルで反射された光が投影面に対して前にある他のボクセルの透過率に従い透過して投影点に達するものとして、各ボクセルが投影値に影響を与える表示関与量Ｑを式１により求める。
【数１】
0003570576.tif 000002
ここで、ｉは、処理対象となったボクセルを表す。すなわち、ｉ−１は、前回の処理対象ボクセルを表す。
よって、Π（１ーα（ｊ）  ）は、ｉの手前に配置された各ボクセル透過率の積であり、点ｉのボクセルで反射した光α（ｉ）ｃ（ｉ）の投影面への透過率を示している。
この各ボクセルの投影値に与える表示関与量Ｑの総和が、ボリュームレンダリングの投影値となる。
以上で、投影面上の一つのピクセル値が求まったので、この計算をすべての投影面のピクセルに対し行い、ボリュームレンダリング画像を求める。
【００１１】
図４によって、このボリュームレンダリングとサーフェスレンダリングとを比較した。（ａ）はサーフェスレンダリング、（ｂ）は、ボリュームレンダリングを光線追跡断面のモデル図に示したものである。
投影点２７０のサーフェスレンダリングにおいて、表示表面は２７５のように一つの投影点に一つのボクセルとなり、光の反射は２７１のようになる。
一方、ボリュームレンダリングでは、先に述べたように、同一の投影点２７０のレンダリングにおいて、表示表面は、２８１〜２８４のように数ボクセルとなり、２９１〜２９４のそれぞれの光の反射量とそれぞれに到達する光の量の積の和により投影値が決まる。この例では、不透明度αは、対話的に指定する傾きパラメータとボクセル濃度値の一次関数とした。この際の各ボクセルごとの表示関与量Ｑを図５にグラフで示す。
上記のように、ボリュームレンダリングでは、表示表面が数ボクセルに及んでいるため、一意に決定する方法が求められる。以下の方法が考えられる。
（イ）最初に表示に関与したボクセルの表示表面ボクセルとする。
（ロ）表示に関与した全てのボクセルの深さ値の平均を取る。
（ハ）表示に関与したボクセルの最大の関与量を示すボクセルを表示表面ボクセルとする。
本実施例では、想定する表面と誤差が最も小さいと思われる（ハ）の方法により、表示表面深さ値を定義する。この例の場合は、表示に関与したボクセルのなかで最大の関与量を示すボクセル２８３が表示表面となり、表示表面深さ値は「９」となる。なお（イ）の方法では、ボクセル２８１が表示表面となり、表示表面深さ値は「５」となる。また（ロ）の方法は、表示に関与したボクセル２８１〜２８４の深さ値の平均を取る方法で、表示表面深さ値は「（５＋８＋９＋１０）／４＝８」となる。（イ）の方法が最もシンプルで処理も速く、（ハ）の方法が最も精度が高い合成表示が可能である。（ロ）の方法は、これらを折衷した方法である。
【００１２】
図６に合成表示機能の構成の一例を示し、図７にその合成表示機能のメインルーチンを示す。
この実施例ではオブジェクト指向の概念に基づき構築されており、マウスやキーボードのイベント４０１により、各機能ごとのルーチンが起動される。
ウインドウ３０１に画像合成結果を表示する。
ウインドウ３０２で、同一の視線方向からレンダリングした３次元画像（図２の２１２、２２２）を複数枚読み込む。
読み込まれた各３次元画像ごとに、ラベル３１１に３次元画像名を表示し、ウインドウ３２１に３次元画像を参照表示し、スライダ３３１により、対応する３次元画像ごとの不透明度を設定、画像合成イベントを発行する。
プッシュボタン３４０は、マウスのクリックにより３次元画像の読み込みイベントを発行する。
プッシュボタン３４５は、マウスのクリックによりウィンドウ３０１で表示している合成表示結果をファイルに保存するイベントを発行する。
プッシュボタン３５０は、マウスのクリックによりウィンドウ３０２に表示している３次元画像の画像合成イベントを発行する。
プッシュボタン３６０は、マウスのクリックにより、任意の読み込んだ３次元画像の色変更イベントを発行する。
プッシュボタン３７０は、マウスのクリックにより、任意の読み込んだ３次元画像のＬＵＴ変更イベントを発行する。なお、マウスをクリックすることにより、予め登録してある輝度値変更テーブルを選択変更できるように構成されているものとする。
プッシュボタン３８０は、マウスのクリックにより、任意の読み込んだ３次元画像の変形・移動イベントを発行する。
プッシュボタン３９０は、マウスのクリックにより、合成表示機能終了イベントを発行する。
【００１３】
図８に、画像読み込みイベントの処理ルーチンを示す。
ステップ４１０：画像読み込みイベントが発行されると（図７のステップ４０１）、まず、３次元画像選択ウィンドウを表示し、任意の３次元画像を選択する。
ステップ４１１：選択された３次元画像を合成表示機能（図２の３００）に読み込む。
ステップ４１２：読み込んだ３次元画像をヘッダのカラーマップ情報などによりＲＧＢデータに変換する。
ステップ４１３：読み込んだ３次元画像の表示表面深さ（Ｚバッファ）値により、各３次元画像の画素ごとの前後関係の順番をメモリ上に記録する。
【００１４】
図９に具体的な合成表示を適用する画像の例を示す。
それぞれ、３次元画像２１３を頭画像、３次元画像２１４を骨画像、３次元画像２２３を血管画像とする。
図１０に図９の眼孔の位置の縦軸平行線上の表示表面深さ（Ｚバッファ）値の変化の様子を示す。
ここでも、３次元画像２１３を頭の表示表面深さ（Ｚバッファ）値、３次元画像２１４を骨の表示表面深さ（Ｚバッファ）値、３次元画像２２３を血管の表示表面深さ（Ｚバッファ）値とする。さらに、合成投影点Ｂ５０１付近において、頭骨眼孔部を５０２とする。
図１１で合成表示処理における光量減衰の過程の例を示す。
ここで、頭画像２１３の不透明度を「０．５」、骨画像２１４の不透明度を「０．５」、血管画像２２３の不透明度を「１．０」とする。
合成投影点Ａ５００では、光量初期値「１．０」５１０が、まず、不透明度「０．５」の頭画像２１３を通るため、通過後の光量５１１は、（１．０−０．５）＝０．５となる。さらに、不透明度「０．５」の骨画像２１４を通るため、通過後の光量５１２は、０．５×（１．０−０．５）＝０．２５となる。
合成投影点Ｂ５００では、合成投影点Ａ５０１と同様に光量初期値「１．０」５１０が、まず不透明度「０．５」の頭画像２１３を通るため、通過後の光量５１１は、（１．０−０．５）＝０．５となる。合成投影点Ｂ５００では、眼孔部５０２であるため血管画像２２３の方が骨画像２１４より手前にあるため、不透明度「１．０」の血管画像２２３を通る。通過後の光量５１３は、０．５×（１．０−１．０）＝０．０となる。
それぞれの画像の合成計算値への関与値は、画像の輝度と通過してきた光量とその画像の不透明度値の積算となる。
合成画像の画素値は、各３次元画像の関与値の総和となる。なお、画像の合成計算は（式２）のようになる。
【数２】
0003570576.tif 000003
【００１５】
図１２に画像合成処理実行ルーチンの処理フローを示す。
ステップ４２１：注目合成画素に対する合成計算初期値を代入する。
ステップ４２２：総和計算の終了条件判定を行い、ステップ４２３〜４２５を画像の枚数分繰り返す。この繰り返しは、各表示表面深さ（Ｚバッファ）値を比較し、手前にある画像から順に処理を行う。
ステップ４２３：各画像の画素値の合成計算値への関与値を求め、合成計算値に関与値をインクリメントし、最終的には総和を求め合成画素値を得る。ここで、関与値は次のようになる。
（関与値）＝（画像の画素値）×（この画像に到達した光量）×（画像の不透明度）
なお、この画像に到達した光量は、初期値「１．０」として、ステップ４２４により、奥にある画像に対する光量程、前の画像の不透明度により減衰される。
ステップ４２４：対象となっている画像による光量の減衰結果を計算する。ここで、光量の減衰は次のようになる。
（減衰した光量）＝（光量）×（１．０−画像の不透明度）
ステップ４２５：対象画像を次の画像に移し、ステップ４２２に戻る。
ステップ４２６：画像合成計算終了の判定を行う。終了していなければステップ４２７に進む。終了していればステップ４２８に進む。
ステップ４２７：次の合成計算画素に注目点を移し、ステップ４２１に戻る。
ステップ４２８：画像合成計算結果を表示するため画像の正規化を行う。
この合成計算は各３次元画像に対応する不透明度変更スライダ３３１の変更イベントが発行されたときと合成計算イベント（図６の３５０）が発行されたとき実行され、合成計算結果ウインドウ（図６の３０１）に表示する。
【００１６】
図１３に回転指定を含む合成表示機能の処理フローを示す。
ステップ５００：合成計算の対象になっている３次元データを読み込む。
ステップ５０１：各関心領域表示のためのしきい値、ボリュームレンダリング不透明度、表示抽出領域、色（ＲＧＢの割合）などのパラメータをすべての関心領域にマルチに設定する。Ｘ線ＣＴデータを例に説明すると、皮膚表示に対ししきい値をＣＴ値「−３００」以上で色を肌色に設定し、骨表示に対ししきい値をＣＴ値「２００」以上で色を白色に設定し、血管表示に対しあらかじめ血管領域を抽出しておき、赤色を設定する。
ステップ５０２：同一の視線方向から各関心領域ごとに３次元画像を作成する。この結果を合成表示機能３００に渡す。
ステップ５０４：ステップ５０２の結果を画像合成する。
ステップ５０５：ステップ５０２の結果に対し、各３次元画像の不透明度を変更した場合、変更後のパラメータで画像合成を繰り返す。
ステップ５０６：視線方向パラメータの変更をした場合、ステップ５０２に戻り、各関心領域ごとに３次元画像を変更された視線方向で作成し、画像合成を繰り返す。
このような、フローにより、任意の視線方向からの合成結果を得る。
【００１７】
なお、図１４のような並列化により回転を含む画像合成を高速化が可能である。
ネットワーク５７０に接続された、いくつかのプロセッサ５６０で関心領域ごとにボリュームレンダリングの処理を分割し、並列にボリュームレンダリング画像を求める。この結果を特定の画像合成プロセッサ５８０に転送し、合成画像を得る。このとき、各ボリュームレンダリングプロセッサは、レンダリングが終了した投影画像の部分領域を逐次画像合成プロセッサに転送、画像合成プロセッサはデータの揃った画像の部分領域から合成を行うようにする。この結果、最も時間のかかる関心領域のボリュームレンダリング画像を求める時間とその画像転送時間と画像合成表示時間を足した時間で合成画像を求めることができる。
【００１８】
（実施例２）
実施例２では、３次元ベクトルデータとの画像合成について例を示す。これは、人工血管や人工骨等を形成する前に、ＣＴやＭＲＩ等の計測画像の３次元データの３次元画像上で人工血管等の３次元ベクトル（ＣＡＤ）データを合成表示する場合を考える。これにより、人工血管や人工骨等の人工オブジェクトの適用箇所への適応状況をシミュレーションすることができる。
図１５に３次元ベクトルデータと３次元データとの合成のフローチャートを示す。
ステップ６００〜６０２：３次元データを読み込み、ボリュームレンダリング、Ｚバッファ付き３次元画像を得る。
ステップ６０３：３次元ＣＡＤなどにより、形状をモデル化し、３次元ベクトルデータを作成する。
ステップ６０４：ステップ６０３のデータをステップ６０１のボリュームレンダリングの視線方向からレンダリングする。
このとき、表示表面深さ（Ｚバッファ）値も計算する。
ステップ６０５：Ｚバッファ付き３次元画像を得る。
ステップ６１０：（実施例１）と同様に画像を合成し、合成画像を得る。
ステップ６２０〜６２８に画像の変形、移動、干渉チェックなどの機能について説明する。
ステップ６２０：プッシュボタン（図６の３８０）により、変形・移動イベントが入力されたかチェックする。
ステップ６２１：画像変形・移動サブウィンドウを呼び出し、変形画像を指定する。
ステップ６２３：移動、回転、拡大・縮小、表示表面深さ（Ｚバッファ）値変更などの変形・移動の操作を行う。
ステップ６２４：変形対象画像に対し、変形・移動計算を行い、ステップ６２３の結果と変形対象外の３次元画像とを比較し、干渉し合っていないかチェックする。
ステップ６２５〜６２６：ステップ６２３の結果、干渉を受けている場合、変形・移動を停止し、干渉を受けている点をマーキングする。
ステップ６２８：受けていない場合、画像合成し、変形・移動の処理（ステップ６２３）を続ける。
【００１９】
図１６に変形・移動を行うサブウインドウを示す。
ウィンドウ６３０：変形後の結果合成画像を表示する。
ウィンドウ６３１：変形対象の画像を表示する。
プッシュボタン６３２：変形画像と変形対象以外の画像の合成画像とフリッカ表示（交互表示）を行う。
プッシュボタン６３４：拡大・縮小・回転指定イベントの発行を行う。
プッシュボタン６３５：平行移動指定イベントの発行を行う。
プッシュボタン６３４、６３５は、ウィンドウ６３１に対し、ポイントを指定し、変形・移動のパラメータを指定するため、どちらのパラメータを指定してするのかを切り替える役目を果たす。
トグルボタン６３６：干渉をチェックするかどうか切り替える。
スライダ６３７：変形画像の表示表面深さ（Ｚバッファ）値を一様に変更する変更量を指定する。
ラベル６３８：変形パラメータを数値で表示する。
【００２０】
図１７に変形のフローチャートを示す。（ａ）に拡大・縮小・回転のフローチャートを、（ｂ）に平行移動のフローチャートを示す。この変形はボリュームレンダリング画像だけでなく、表示表面深さ（Ｚバッファ）値に対しても同様の操作で行うことで、前後の位置関係を保持する。
ステップ６５０：拡大・回転のイベントの発行を受け、このルーチンに入る。
ステップ６５１：変更画像エリア内でのマウスイベントの入力待ち状態にはいる。
ステップ６５２：変更画像エリア内のマウスイベントが最初の一点とするとき、このマウスイベントの座標を変形中心点と設定する。
ステップ６５３：変更画像エリア内のマウスイベントが２番目のとき、マウスボタンの押された座標と離された座標を得る。
ステップ６５４：ステップ６５３で押された座標を変形基準座標とし、離された座標を基準座標の変形後の座標点とする。
ステップ６５６：ステップ６５２〜６５４で得た、変形パラメータをもとにアフィン変換を行う。
ステップ６５７：変形後の画像を変更画像エリアに表示、次の変形指定を待つ。ステップ６６０：平行移動の発行を受け、このルーチンに入る。
ステップ６６１：変更画像エリア内でのマウスイベントの入力待ち状態にはいる。
ステップ６６２：変更画像エリア内のマウスイベントが入ったとき、マウスボタンの押された座標と離された座標を得る。
ステップ６６３：ステップ６６２で押された座標を変形基準座標とし、離された座標を基準座標の変形後の座標点とする。
ステップ６６４：ステップ６５２〜６５３で得た、変形パラメータをもとに平行移動変換を行う。
ステップ６６５：変形後の画像を変更画像エリアに表示、次の変形指定を待つ。
以上のような操作で画像の変形を対話的に指定する。
【００２１】
（実施例３）
実施例３では、ＭＲＩやＸ線ＣＴなどの３次元形態データとＥｍｉｓｓｉｏｎＣＴなどの３次元機能データの合成表示について説明する。ここでは、各データ間の位置合わせ等は終了しているものとする。
図１８にそのフローチャートを示す。
ステップ７０１：ボリュームレンダリングの視線方向を指定する。
ステップ７０２：ステップ７０１で指定された視線方向より、複数の３次元データの複数の関心領域ごとにボリュームレンダリングを行い、Ｚバッファ付きのボリュームレンダリング画像を作成する。
ステップ７０３：ステップ７０２で作成されたボリュームレンダリング画像を合成し、Ｚバッファ付きで色指定のない合成画像を作成する。
ステップ７０４：ステップ７０１で指定された視線方向に機能データを回転する。
ステップ７０５：ステップ７０４で得た機能データにおいて、ステップ７０３で得た表示表面深さ（Ｚバッファ）の座標の持つ値に指定されている色をこのピクセルの色に設定し、機能情報合成画像を作成する。
以上のように、複数の３次元データと３次元機能データとの合成表示が可能となる。
【００２２】
（実施例４）
本実施例では、マルチモダリティの画像合成について説明する。図１９にシステムの構成例を示す。
Ｘ線ＣＴ装置２０で計測された３次元データは、計測装置に直接接続された処理装置８２０へ転送される。
同様に、ＭＲＩ装置１０、３Ｄ超音波診断装置４０、他計測装置８３０で計測されたそれぞれの３次元データはそれぞれの計測装置に直接接続された処理装置８１０、８４０、８５０に転送される。
転送されたそれぞれのデータは、処理装置により共通の座標系にレジストレーションされる。
各処理装置はＬＡＮ７０、ＷＡＮ８６０を介し、画像合成表示装置８００と接続されている。画像合成表示装置は結果を表示するディスプレイ１０３と、入力装置１０２を持つ。
【００２３】
図２０に図１９の構成例での画像合成表示方法のフローチャートを示す。
ステップ８７０：画像合成表示装置８００により、視線方向の指定を行う。
ステップ８８０：ステップ８７０で指定された視線方向パラメータを合成の対象となっている３次元データを持つ処理装置８１０、８２０、８４０、８５０にＬＡＮ７０、ＷＡＮ８６０を介して転送する。
ステップ８９０：ステップ８８０で送られてきた視線方向パラメータに基づき、各処理装置８１０、８２０、８４０、８５０にて、ボリュームレンダリングを行い、投影画像と表示表面深さ（Ｚバッファ）値を計算する。
ステップ９００：ステップ８９０で計算された投影画像と表示表面深さ（Ｚバッファ）値を画像合成表示装置８００に転送する。
ステップ９１０：それぞれの処理装置により転送された結果に基づき（ステップ９００）、画像合成表示装置において画像合成計算を行う。
ステップ９２０：ステップ９１０の画像合成結果をディスプレイ１０３に表示する。
【００２４】
【発明の効果】
以上で詳細に説明した如く、本発明によれば、３次元データ上でデータを統合することなしに、高画質なボリュームレンダリング画像に対し表示表面深さ（Ｚバッファ）値を求めることができ、この値を投影画像合成に用いることで３次元位置関係を正しく画像合成でき、また、関心領域ごとに最適なレンダリングパラメータを選択できるためそれぞれ高画質に画像を作り合成表示でき、さらに関心領域ごとに任意の不透明度の合成を行う装置を実現できるという顕著な効果を奏するものである。
【図面の簡単な説明】
【図１】本発明の第１乃至第３の実施例における３次元画像合成表示システムの構成図である。
【図２】本発明の第１の実施例における３次元データ取得から画像合成までの処理を示すフローチャートである。
【図３】本発明の第１の実施例における表示表面深さ（Ｚバッファ）値の説明図である。
【図４】本発明の第１の実施例におけるボリュームレンダリングとサーフェスレンダリングとの比較を示す説明図である。
【図５】本発明の第１の実施例におけるボリュームレンダリングの表示関与量の棒グラフ図である。
【図６】本発明の第１の実施例における画像合成機能の画面構成を示す図である。
【図７】本発明の第１の実施例における画像合成機能を示すメインルーチンフローチャートである。
【図８】本発明の第１の実施例における画像合成のためのデータ準備ルーチン（画像読み込みイベントの処理ルーチン）フローチャートである。
【図９】本発明の第１の実施例における合成表示対象の３次元画像を示す図である。
【図１０】図９の眼孔位置の縦軸平行線上の表示表面深さ（Ｚバッファ）値の変化を示す図である。
【図１１】図１０の画像合成計算時の光量減衰の過程の説明図である。
【図１２】本発明の第１の実施例における画像合成処理実行ルーチンを示すフローチャートである。
【図１３】本発明の第１の実施例における視線方向変更を含む画像合成表示機能の処理を示すフローチャートである。
【図１４】本発明の第１の実施例における並列プロセッサの説明図である。
【図１５】本発明の第２の実施例における変形・移動を含むＣＡＤデータと３次元データの画像合成を示すフローチャートである。
【図１６】本発明の第２の実施例における変形・移動サブウィンドウの構成図である。
【図１７】本発明の第２の実施例における変形・移動機能を示すフローチャートである。
【図１８】本発明の第３の実施例における３次元機能データと３次元データの画像合成を示すフローチャートである。
【図１９】本発明の第４の実施例における３次元画像合成表示システムの構成図である。
【図２０】本発明の第４の実施例における画像合成表示機能を示すフローチャートである。
【符号の説明】
１０：ＭＲＩ装置、２０：Ｘ線ＣＴ装置、３０：Ｅｍｉｓｓｉｏｎ  ＣＴ装置、４０：３Ｄ超音波診断装置、５０：画像データベース、６０：ＣＡＤ装置、１００：３次元画像処理装置、１１、２１、３１、４１、１０１：光磁気ディスク、１０２：入力装置、１０３：ディスプレイ装置、１０４：ハードディスク装置。
【図１】
0003570576.tif 000004
【図２】
0003570576.tif 000005
【図３】
0003570576.tif 000006
【図４】
0003570576.tif 000007
【図５】
0003570576.tif 000008
【図６】
0003570576.tif 000009
【図７】
0003570576.tif 000010
【図８】
0003570576.tif 000011
【図９】
0003570576.tif 000012
【図１０】
0003570576.tif 000013
【図１１】
0003570576.tif 000014
【図１２】
0003570576.tif 000015
【図１３】
0003570576.tif 000016
【図１４】
0003570576.tif 000017
【図１５】
0003570576.tif 000018
【図１６】
0003570576.tif 000019
【図１７】
0003570576.tif 000020
【図１８】
0003570576.tif 000021
【図１９】
0003570576.tif 000022
【図２０】
0003570576.tif 000023