(57)【要約】【課題】三次元画像表示装置では医用画像データの増大に伴って，磁気ディスク容量，磁気ディスクから画像メモリへの転送時間，画像メモリの所要量などに問題が発生している。【解決手段】画像データを圧縮画像データとして保持する画像メモリと，三次元画像処理エンジンが指定するボクセルデータを復元するために画像メモリから圧縮画像データを取得し，これを解凍することで，指定されたボクセルデータを三次元画像処理エンジンに提供する圧縮画像データ解凍エンジンと，三次元画像処理に使用するボクセルデータを圧縮画像データ解凍エンジンに順次要求する機能と，圧縮データ解凍エンジンが提供するボクセルデータを使用して三次元画像を作成する機能を持つ三次元画像処理エンジンとを具備し，三次元画像処理エンジンの要求に従って圧縮画像データを順次部分的に解凍することによって，圧縮画像データから直接三次元画像を作成することを可能にした三次元画像表示装置を実現した。【選択図】図１
2006338630.tif 000002
【特許請求の範囲】
【請求項１】
三次元画像の作成に使用する画像データを圧縮画像データとして保持する三次元画像処理用メモリと，三次元画像処理エンジンが指定したボクセル座標のボクセルデータの復元に使用する圧縮画像データを三次元画像処理用メモリから取得し，これを解凍処理することによって指定されたボクセル座標のボクセルデータを復元し，これを三次元画像処理エンジンに提供する機能を持つ圧縮画像データ解凍エンジンと，三次元画像処理に使用するボクセルデータの提供を圧縮画像データ解凍エンジンにボクセル座標を指定して順次要求する機能と，圧縮データ解凍エンジンから提供されるそのボクセルデータを使用して三次元画像処理を順次実行する機能を持つ三次元画像処理エンジンとを具備し，三次元画像の作成に使用する画像データを圧縮画像データとして三次元画像処理用メモリ上に保持し，三次元画像処理エンジンが三次元画像処理の進行に合わせて順次発行する要求に従って圧縮画像データを順次部分的に展開していくことによって，圧縮された画像データから三次元画像を作成することを可能にした三次元画像表示装置。
【請求項２】
請求項１において，三次元画像の作成に使用する画像データを圧縮画像データとして三次元画像処理用メモリ上に保持することで，三次元画像処理用メモリへ転送する画像データのデータ量を削減することを可能にし，これによって同一画像データに対する三次元画像処理用メモリの所要量の削減および同一メモリ量でより大きな画像データの三次元画像処理を可能にし，また画像データの三次元画像処理用メモリへの転送時間を短縮したことを特徴とする三次元画像表示装置。
【請求項３】
請求項１および請求項２において，三次元画像処理エンジンが三次元画像処理の進行に合わせて順次発行する要求に従って圧縮画像データを順次部分的に展開していくことによって，圧縮データの全部を解凍展開することを不要にし，解凍処理に要する時間を短縮したことを特徴とする三次元画像表示装置。
【請求項４】
請求項１および請求項２，請求項３において，
三次元画像処理用メモリ上の圧縮画像データから作成した部分解像度の三次元画像を使用して，三次元画像を作成するボクセルの空間領域，ボクセルの値領域，ボクセルの値に与える不透明度と色などの三次元画像処理パラメータを決定し，この三次元画像処理パラメータを使用して算出した三次元画像を作成するボクセルの空間領域およびボクセルの値領域に該当するボクセル座標をデータ解凍エンジンに指示し，この指示に基づいてデータ解凍エンジンが作成したボクセルデータを使用して三次元画像を作成する機能を具備し，圧縮された画像データから三次元画像を作成することを可能にした三次元画像表示装置。
【請求項５】
請求項１および請求項２，請求項３，請求項４には，データ解凍エンジンと三次元画像処理エンジンの両者をハードウェアで実現した三次元画像表示装置，および，データ解凍エンジンをハードウェアで，三次元画像処理エンジンをソフトウェアで実現した三次元画像表示装置，および，データ解凍エンジンをソフトウェアで，三次元画像処理エンジンをハードウェアで実現した三次元画像表示装置，および，データ解凍エンジンと三次元画像処理エンジンの両者をソフトウェアで実現した三次元画像表示装置を含む。
【発明の詳細な説明】
【技術分野】
【０００１】  本発明は，圧縮された画像データを三次元画像処理の進行に応じて順次部分解凍しながら三次元画像を作成する三次元画像表示装置に関する。
【背景技術】
【０００２】  Ｘ線ＣＴ装置は，寝台の天板の周囲を回るＸ線管から天板上に横臥している被検者にＸ線を照射し，被検者を透過したＸ線の強度をＸ線検出器で検出することによって被検者の横断面の投影データを収集する。次に寝台の天板を移動させた後に，同様に被検者の横断面の投影データを収集する。この天板の移動と投影データの収集を繰り返すことによって被検者の複数横断面の投影データを収集する。このようにして収集した被検者の複数横断面の投影データに対して画像再構成処理を行うことによって被検者の複数横断面の画像データを得る。【０００３】  初期のＸ線ＣＴ装置では，被検者が横臥している天板の移動とＸ線照射による被検者の投影データの収集を交互に行っていたが，最近のＸ線ＣＴ装置では，被検者が横臥している天板の移動を行いながら同時にＸ線照射を行って投影データを収集するようになった。このような投影データの収集方式はヘリカルスキャン方式と呼ばれている。【０００４】  初期のＸ線ＣＴ装置では，被検者を透過したＸ線の強度を検出するＸ線検出器は被検者の体軸方向に一列に配置した検出器で，被検者の一横断面の投影データを収集していた。Ｘ線ＣＴ装置の技術が急速に進歩し，最近のＸ線ＣＴ装置では被検者の体軸方向に複数列のＸ線検出器を配置した多列検出器を使用し，被検者の複数横断面の投影データを同時に収集している。この多列検出器方式とヘリカルスキャン方式とを同時に使用することによって，初期のＸ線ＣＴ装置よりも格段に多い投影データを収集するようになった。この多列検出器・ヘリカルスキャン方式では，初期のＸ線ＣＴ装置のような離散的な投影データの収集横断面は存在せず，一般に仮想的な横断面を設定して投影データの補間処理を行うことで仮想的な横断面上の投影データを求め，この仮想的な横断面の投影データを使用して画像再構成処理を行っている。この仮想的な横断面は自由に設定できるので，仮想的な横断面の設定次第で画像再構成処理によって得られる画像データの枚数や横断面の間隔を自由に選択できる。【０００５】  最近の多列検出器・ヘリカルスキャン方式のＣＴ装置では，初期のＸ線ＣＴ装置と比較して，Ｘ線検出器の雑音の低下とＸ線検出器の空間密度の向上，ヘリカルスキャンピッチ密度の向上によって，被検者の横断面および体軸方向の投影データを精細に収集することができる。このため，画像再構成を行う空間領域を小さくしても，雑音の少ない精密な画像を得ることが可能になった。したがって画像再構成領域を小さくすることによって，被検体の関心領域の画像の空間分解能を向上させることができる。また画像再構成面の厚さを狭くしても雑音の少ない意味のある画像を得ることができるので，画像再構成で画像再構成面の間隔を狭くし，画像再構成の画像枚数を増やすことによって，体軸方向の空間分解能を向上させることができる。【０００６】  Ｘ線ＣＴ検査においては，最近の多列検出器を使用したＸ線ＣＴ装置の普及によって，体軸方向の検査の精度が向上し，この精度向上に伴う画像再構成面の間隔の高密度化によって，細かいスライス間隔で画像データが作成されるようになった。これに伴い，一回の検査で作成される画像データの枚数は大幅に増加している。ＭＲ装置に��いても同様に，初期の装置と比較して一回の検査で作成されるＭＲ画像データの枚数が大幅に増加している。従来は，一回の検査で作成される画像データを画像としてフィルムに焼き付けて，このフィルムを観察することで読影が行われていた。しかし，一回の検査で作成される画像データの枚数が多くなると，フィルム上のすべての画像を観察することが困難になっている。このため，ルーチンの読影でも検査で得られた画像データから三次元画像を作成し，これを観察することが行われている。Ｘ線ＣＴ画像データを使用した三次元画像表示装置では，被検者の横断面の画像データを体軸方向に積み重ねることによってボクセルデータ作成し，これに三次元再構成処理を行うことによって，三次元画像を作成する。最近の多列検出器・ヘリカルスキャン方式のＸ線ＣＴ装置で得られたＸ線ＣＴ画像データを使用すると，高い空間分解能の精密な三次元画像を得ることが可能である。【０００７】  Ｘ線ＣＴ画像データから三次元画像を作成する場合，被検者の横断面の画像データを体軸方向に積み重ねることによってボリュームデータを作成する。横断面の画素数が例えば５１２×５１２画素で画素寸法が０．５ｍｍ×０．５ｍｍの画像データを体軸方向に例えば０．５ｍｍ間隔で５１２枚積み重ねると，２５６ｍｍ×２５６ｍｍ×２５６ｍｍの空間領域を持った５１２×５１２×５１２個のボクセルで構成される立方体が得られる。次に，このボクセルで構成される立方体のボリュームデータにサーフェスレンダリングやボリュームレンダリングの三次元再構成処理を行うことによって，三次元画像を作成する。この場合は，５１２×５１２×５１２個の１６ビットデータを扱うために，２５６ＭＢのデータを載せることができるメモリを持つことが必要になる。【０００８】  横断面の画素数が５１２×５１２画素で画素寸法が１．０ｍｍ×１．０ｍｍの画像データを体軸方向に１．０ｍｍ間隔で１０２４枚積み重ねると，５１２ｍｍ×５１２ｍｍ×１０２４ｍｍの空間領域を持った５１２×５１２×１０２４個のボクセルで構成される立方体が得られる。次に，このボクセルで構成される立方体のボリュームデータにサーフェスレンダリングやボリュームレンダリングの三次元再構成処理を行うことによって，三次元画像を作成する。この場合は，５１２×５１２×１０２４個の１６ビットデータを扱うために，５１２ＭＢのデータを載せることができるメモリを持つことが必要になる。さらに，最近では画素数が１０２４×１０２４画素で画素寸法が０．４ｍｍ×０．４ｍｍの画像データで体軸方向に０．４ｍｍ間隔で２０００枚とか４，０００枚を再構成することも行われている。この画像データで三次元画像を作成すると，１０２４×１０２４×４０９６個の１６ビットデータを扱うためことになり，４ＧＢの画像メモリが必要になる。【０００９】  被検者の心臓のデータを心電図同期で収集することが行われている。例えば一心拍を１０等分した１／１０心拍間隔で，投影データを１０位相の投影データに分類する。それぞれの位相の投影データを画像再構成した１０位相の画像データを使用して，１０位相の三次元画像を作成する。一位相あたり，例えば横断面の画素数が５１２×５１２画素で画素寸法が０．５ｍｍ×０．５ｍｍの画像データを体軸方向に０．５ｍｍ間隔で５１２枚積み重ねると，２５６ｍｍ×２５６ｍｍ×２５６ｍｍの空間領域を持つ，５１２×５１２×５１２個のボクセルの立方体になる。次に，このボクセルで構成される立方体のボリュームデータにボリュームレンダリングなどの三次元再構成処理を行うことによって，三次元画像を作成する。一位相あたり，５１２×５１２×５１２個の１６ビットデータを扱うためには，２５６ＭＢのデータを載せることができるメモリが必要になる。１０位相のデータでは，２５６ＭＢ／位相×１０位相＝２．５ＧＢとなる。一位相あたり２５６ＭＢのデータを１０位相使用して心臓の三次元画像を表示させるためには，２．５ＧＢのデータを載せることができるメモリが必要になる。【００１０】  ここで従来一般に使用されている三次元画像表示装置について説明する。図４は従来の三次元画像表示装置を示すブロック図である。
１０１は，Ｘ線ＣＴ装置，ＭＲ装置などの画像診断装置の例示である。
１０２は，ＰＡＣＳサーバーなどの画像データ保管システムの例示である。
１０３は，病院内のネットワークなどの例示である。
１１１は，三次元画像表示装置を示す。
１１２は，ネットワークインターフェースを示す。病院内ネットワーク１０３と接続されていて，１０１のＸ線ＣＴ装置，ＭＲ装置などや１０２のＰＡＣＳサーバーなどから画像データ２１１を受信する。
受信した画像データ２１２は圧縮されていない画像データの場合があり，またＪＰＥＧ２０００などの圧縮方式で可逆圧縮または非可逆圧縮されている場合がある。
１１４は，磁気ディスクで，画像データ２１３を保存する。
１１５は，三次元画像処理部，１１６は三次元画像処理用画像メモリ，１１８は三次元画像処理エンジンである。
三次元画像処理用画像メモリ１１６は，三次元画像の作成に使用する画像データを非圧縮のデータとして保持する。
三次元画像処理エンジン１１８は，画像メモリに，順次，ボクセル座標を指定して三次元画像処理に使用するボクセルデータの提供を要求する。
画像メモリ１１６は要求された画像データを，三次元画像処理エンジン１１８に提供する。
三次元画像処理エンジン１１８は，画像メモリ１１６から提供されるボクセルデータを使用して三次元画像処理を実行する。
この，三次元画像処理エンジン１１８による，画像メモリへの三次元画像処理に使用するボクセルデータの要求，画像メモリ１１６による三次元画像処理エンジン１１８へのボクセルデータの提供，三次元画像処理エンジン１１８によるボクセルデータを使用した三次元画像処理を順次繰り返すことにより，三次元画像が作成される。
２５１は，三次元画像を作成するために使用する画像データを指定するコンソールからの指示を示す。この指示に従って，装置は圧縮画像データ２１４を磁気ディスク１１４から読み込み，三次元画像処理用メモリ１１６に保持する。
２５２は，三次元画像を作成するために使用する三次元画像処理パラメータに関するコンソールからの指示を示す。三次元画像処理エンジン１１８は，三次元画像処理用メモリ１１６に読み込んだ画像データのＤＩＣＯＭ情報などから得られるパラメータとこの指示された三次元画像処理パラメータ２５２から三次元画像処理を開始する。【００１１】  ここで述べた従来の三次元画像表示装置では，５１２×５１２×５１２個の１６ビットデータを扱うために，２５６ＭＢのデータを載せることができるメモリを持つことが必要になる。また，５１２×５１２×１０２４個の１６ビットデータを扱うために，５１２ＭＢのデータを載せることができる画像メモリを持つことが必要になる。一位相あたり，５１２×５１２×５１２個の１６ビットデータを１０位相使用して心臓の三次元画像を表示させるためには，２．５ＧＢのデータを載せることができる画像メモリが必要になる。従来の三次元画像表示装置では，この大容量の画像データを取り扱うために大容量の画像メモリを確保する問題，大容量の磁気ディスクが必要となる問題などの外に，大容量の画像データを磁気ディスクから画像メモリに転送する時間も無視できない問題である。【００１２】  本発明では，三次元画像を作成するために必要となる画像メモリの所要量を低減させるため，可逆圧縮または非可逆圧縮した画像データから直接三次元画像を作成する方法を考案した。可逆圧縮で画像データを圧縮した場合には，一般にデータ量を１／２〜１／３に圧縮することができる。先に述べた，横断面の画素数が５１２×５１２画素の画像データを体軸方向に１０２４枚積み重ねる場合には，５１２×５１２×１０２４個の１６ビットデータを扱うために，５１２ＭＢのデータを載せることができる画像メモリが必要になる。可逆圧縮で１／３にデータ量を圧縮できると仮定すると，５１２ＭＢ×（１／３）＝１７０ＭＢに画像メモリの所要量を圧縮できる。
また，一心拍を１０等分した１／１０心拍間隔で，投影データを１０位相の投影データに分類し，これから画像再構成した一位相あたり５１２×５１２画素の画像データ５１２枚を１０位相分使用して，１０位相の三次元画像を作成する場合を考えると，一位相あたり５１２×５１２×５１２個の１６ビットのデータを扱うために２５６ＭＢ，１０位相では２．５ＧＢのデータを載せることができる画像メモリが必要になる。可逆圧縮で１／３にデータ量を圧縮できると仮定すると，２．５ＧＢ×（１／３）＝８５３ＭＢに画像メモリの所要量を圧縮できる。
ここでは画像データを可逆圧縮した例について説明したが，非可逆圧縮した場合でも十分に実用可能な三次元画像を作成できる。非可逆圧縮する場合には画像メモリの所要量をさらに大幅に削減できる。【００１３】  これまでは，Ｘ線ＣＴ装置を例に一回の検査で得られるＸ線ＣＴ画像データのデータ量が画像再構成面の間隔の高密度化と画像再構成画像枚数の増加によって，幾何級数的に増大しており，画像データの圧縮が不可避となっていることを説明したが，ＭＲ装置においても初期の装置と比較して一回の検査で収集されるＭＲ画像データのデータ量が同様に増加している。このように，医用画像診断装置が発生させる画像データのデータ量が増加しているので，画像データの圧縮が不可避となっている。三次元画像処理用ハードウェアを使用した三次元画像処理の場合においても，画像データを保存する磁気ディスクの保存容量の問題の外に，大きなデータを三次元画像処理用ハードウェア基板上のメモリに転送する時間についても問題が顕在化しつつある。この問題を解決するために，可逆圧縮した画像データを磁気ディスクに保存し，三次元画像を作成する時点で圧縮したままの画像データを三次元画像処理用ハードウェア基板上の画像メモリに転送し，三次元画像処理用ハードウェア基板上で三次元画像処理のプロセスに応じて解凍することを考案した。これにより，転送速度を高速化すること可能になる。三次元画像処理用ハードウェア基板のもう一つの問題は，三次元画像処理用ハードウェア基板上の画像メモリの制約である。これも，三次元画像処理用ハードウェア基板上のメモリに圧縮したままの画像データを置き，三次元画像処理のプロセスに応じて順次，部分的に解凍することにより，画像メモリの制約を改善できる。
本発明では，三次元画像処理用ハードウェア基板上に圧縮データ解凍処理エンジンを搭載し，三次元画像処理の進行に伴う三次元画像処理エンジンの要求に従って，画像メモリ上の圧縮データを逐次部分的に解凍し，三次元画像処理エンジンに提供する。三次元画像処理の一例としてボリュームレンダリング処理を使用した場合は，解凍処理エンジンは三次元画像処理エンジンの要求に従って画像メモリ上の圧縮データを最小単位ごと逐次解凍し，三次元画像処理エンジンに提供し，三次元画像処理エンジンはこのデータを使用してボリュームレンダリング処理を行う。累積計算を途中で打ち切るＥａｒｌｙ  ｒａｙ  ｔｅｒｍｉｎａｔｉｏｎ最適化や，空や透明なボクセルをスキップするＺｅｒｏ  Ｖｏｘｅｌ  Ｓｋｉｐ処理によってボリュームレンダリング処理を行わないサブボリュームについては，解凍処理を行う必要がない。これによって解凍処理性能への要求が相当に緩和される。
（１）ボリュームレンダリング処理を行う基板上の三次元画像処理用メモリの大幅な節約，または，同一メモリ容量で数倍大きなボリュームデータの展開が可能となる。
（２）必要のない累積計算を途中で打ち切るＥａｒｌｙ  ｒａｙ  ｔｅｒｍｉｎａｔｉｏｎ最適化や，空や透明なボクセルをスキップするＺｅｒｏ  Ｖｏｘｅｌ  Ｓｋｉｐ処理によって，すべてのボリュームデータを解凍処理する必要はなく，通常３〜１５％程度のみを解凍処理することになるので，解凍処理性能の要求が緩和され，解凍の為に必要なハードウェアへの要求が最小化される。
【発明の開示】
【発明が解決しようとする課題】
【００１４】  最近の医用画像診断装置の技術的進歩に伴って，一回の検査で得られる医用画像データのデータ量は，急激に増加している。例えば，Ｘ線ＣＴ検査においては，最近の多列検出器を使用したＸ線ＣＴ装置の普及によって，体軸方向の検査の精度が向上し，細かいスライス間隔でデータが作成されるようになった。これに伴い，一回の検査で作成される画像データの枚数は大幅に増加している。従来は，一回の検査で作成される画像データをフィルムに焼き付けるか，画像表示装置に表示して読影が行われていた。しかし，一回の検査で作成される画像データの枚数が多くなると，フィルムまたは画像表示装置ですべての画像を観察することが困難になっている。このため，検査で得られた画像データから三次元画像を作成し，これを観察することが行われている。大量の画像データから三次元画像を作成するために必要となる画像処理時間を短縮するために，専用の三次元画像処理用ハードウェアエンジンを搭載した三次元画像処理用基板を使用する場合がある。
この三次元画像処理用基板には一般に三次元画像処理の速度を高速化するために，専用の三次元画像処理用ハードウェアエンジンと三次元画像を作成するために使用する画像データを保持する三次元画像処理用画像メモリが搭載されている。三次元画像処理用ハードウェアを使用した三次元画像処理の場合においても，大量の画像データを保存する磁気ディスクの保存容量の問題の外に，大きな画像データを三次元画像処理用ハードウェア基板上の画像メモリに転送する時間についても問題が顕在化している。三次元画像処理用ハードウェア基板のもう一つの大きな問題は，三次元画像処理用ハードウェア基板上の画像メモリの制約である。三次元画像処理用ハードウェア基板上の画像メモリの容量によって，三次元画像処理を行うことができる画像データの枚数が決まってくる。
本発明では，医用画像データの増大に起因する磁気ディスク容量，磁気ディスクから三次元画像処理用メモリへの転送時間，三次元画像処理用画像メモリへの容量に関する問題に対応するために，画像データを圧縮し，圧縮した画像データを三次元画像処理の進行に応じて順次部分解凍しながら三次元画像を作成する三次元画像表示装置を考案した。
【課題を解決するための手段】
【００１５】  本発明は，医用画像データの増大に起因する磁気ディスク容量，磁気ディスクから三次元画像処理用メモリへの転送時間，三次元画像処理用メモリへの容量に関する問題に対応するために，画像データを圧縮し，圧縮した画像データを三次元画像処理の進行に応じて順次部分解凍しながら三次元画像を作成する三次元画像表示装置を考案した。可逆圧縮で画像データを圧縮した場合には，データ量を１／２〜１／３に圧縮することができる。これによって，磁気ディスク容量，磁気ディスクから三次元画像処理用メモリへの転送時間，三次元画像処理用メモリの所要量を１／２〜１／３に圧縮することができる。また，画像データを可逆圧縮した場合だけでなく，非可逆圧縮した場合でも十分に実用可能な三次元画像を作成できる。非可逆圧縮する場合には画像メモリの所要量をさらに大幅に削減できる。
本発明は，三次元画像処理用メモリと，圧縮画像データ解凍エンジンと，三次元画像処理エンジンを具備した。三次元画像処理用メモリは，三次元画像の作成に使用する画像データを可逆圧縮画像データまたは非可逆圧縮データとして保持する。圧縮画像データ解凍エンジンは，三次元画像処理エンジンが指定したボクセル座標のボクセルデータの復元に使用する圧縮画像データを三次元画像処理用メモリから取得し，これを解凍処理することによって指定されたボクセル座標のボクセルデータを復元し，これを三次元画像処理エンジンに提供する機能を持つ。三次元画像処理エンジンは，三次元画像処理に使用するボクセルデータの提供を圧縮画像データ解凍エンジンにボクセル座標を指定して順次要求する機能と，圧縮データ解凍エンジンから提供されるそのボクセルデータを使用して三次元画像を順次作成する機能を持つ。三次元画像の作成に使用する画像データを圧縮画像データとして三次元画像処理用メモリ上に保持し，三次元画像処理エンジンが三次元画像処理の進行に合わせて順次発行する要求に従って圧縮画像データを順次部分的に展開していく順序制御を使用することによって，圧縮された画像データから三次元画像を作成することを可能にした。圧縮した画像データを三次元画像処理の進行に応じて順次部分解凍しながら三次元画像を作成することによって，画像データを圧縮して扱い，医用画像データのデータ量の増大に起因する磁気ディスク容量が不足する問題，磁気ディスクから三次元画像処理用メモリへの転送時間の増大する問題，三次元画像処理用メモリの所要量が増大する問題に対応することが可能になった。【００１６】  三次元画像処理用画像メモリ上の圧縮画像データから作成した部分解像度の三次元画像を使用して，三次元画像を作成するボクセルの空間領域，ボクセルの値領域，ボクセルの値に与える不透明度と色などの三次元画像処理パラメータを決定し，この三次元画像処理パラメータを使用して算出した三次元画像を作成するボクセルの空間領域およびボクセルの値領域に該当するボクセル座標をデータ解凍エンジンに指示し，この指示に基づいてデータ解凍エンジンが作成したボクセルデータを使用して三次元画像を作成する機能を備えることによって，圧縮された画像データから三次元画像を作成することを可能にする三次元画像表示装置を実現した。
【発明の効果】
【００１７】  本発明では，三次元画像処理用メモリと，圧縮画像データ解凍エンジンと，三次元画像処理エンジンを具備し，圧縮した画像データを三次元画像処理の進行に応じて順次部分的に解凍しながら三次元画像を作成することによって，画像データを圧縮して扱い，医用画像データの増大に起因する磁気ディスク容量が不足する問題，磁気ディスクから三次元画像処理用メモリへの転送時間の増大する問題，三次元画像処理用メモリの所要量が増大する問題に対応することが可能になった。
三次元画像の作成に使用する画像データを圧縮画像データとして三次元画像処理用メモリ上に保持することで，磁気ディスクから三次元画像処理用メモリへ転送する画像データのデータ量を削減することができた。また，画像データの三次元画像処理用メモリへの転送時間を短縮できた。圧縮画像データとして三次元画像処理用メモリ上に保持することによって，同一画像データに対する三次元画像処理用画像メモリの所要量の削減および同一画像メモリ量でより大きな画像データの三次元画像処理が可能になった。
また，三次元画像処理エンジンが三次元画像処理の進行に合わせて順次発行する要求に従って，圧縮データ解凍エンジンが圧縮画像データを順次部分的に展開していく順序制御を使用することによって，圧縮データの全部を解凍展開することが不要になった。これによって，解凍処理に要する時間を短縮できた。【００１８】  本発明では，三次元画像を作成するために必要となる画像メモリの所要量を低減させるため，圧縮した画像データから直接三次元画像を作成する方法を考案した。可逆圧縮で画像データを圧縮した場合には，一般にデータ量を１／２〜１／３に圧縮することができる。
先に述べた，横断面の画素数が５１２×５１２画素の画像データを体軸方向に１０２４枚積み重ねた場合には，５１２×５１２×１０２４個の１６ビットデータを扱うために，５１２ＭＢのデータを載せることができるメモリを持つことが必要になるが，可逆圧縮で１／３にデータ量を圧縮できると仮定すると，５１２ＭＢ×（１／３）＝１７０ＭＢに画像メモリの所要量を低減できる。
また，一心拍を１０等分した１／１０心拍間隔で，投影データを１０位相の投影データに分類し，これを画像再構成した１０位相の画像データを使用して，１０位相の三次元画像を作成する場合を考えると，一位相あたり５１２×５１２画素の画像データ５１２枚を積み重ねた場合には，５１２×５１２×５１２個の１６ビットのデータを扱うために２５６ＭＢ，１０位相分では２．５ＧＢのデータを載せることができる画像メモリを持つことが必要になる。可逆圧縮で１／３にデータ量を圧縮できると仮定すると，２６２ＭＢ／位相×（１／３）×１０位相＝８５３ＭＢに画像メモリの所要量を低減できる。
ここでは画像データを可逆圧縮した例について説明したが，非可逆圧縮した場合でも十分に実用可能な三次元画像を作成できる。非可逆圧縮する場合には画像メモリの所要量をさらに大幅に削減できる。【００１９】  画像データを可逆圧縮画像データまたは非可逆圧縮画像データとして磁気ディスクに保存し，三次元画像の作成に使用する画像データが指定されると，この圧縮画像データを解凍せずに圧縮されたまま三次元画像処理用メモリに転送する。これによって磁気ディスクからメモリへ転送するデータ量を減らし，従って，磁気ディスクから画像メモリへの転送時間を短縮することができる。
三次元画像の作成に使用する画像データを可逆圧縮画像データまたは非可逆圧縮画像データとして三次元画像処理用メモリ上に保持することで，同一画像データに対する三次元画像処理用メモリの所要量を削減することができる。また，同一メモリ量でより大きな画像データを三次元画像処理することが可能になった。これによって三次元画像処理用メモリ必要量を削減できた。【００２０】  三次元画像処理では，Ｅａｒｌｙ  Ｒａｙ  ＴｅｒｍｉｎａｔｉｏｎやＺｅｒｏ  Ｖｏｘｅｌ  Ｓｋｉｐなどの三次元画像処理を高速化するための手法が考案されている。これらの手法は，三次元画像処理の対象ボリュームデータの中で，画像処理を行わなくても，処理結果の三次元画像に影響を与えないか，影響を無視できるボクセルを調べ，そのようなボクセルの処理をスキップする手法である。このようなスキップ可能なボクセルに対しては三次元画像処理を行わないので，圧縮画像データを復元する必要はない。三次元画像処理に必要なボクセルは，通常全ボリュームのボクセル数の３〜１５％程度である。三次元画像処理エンジンが三次元画像処理の進行に合わせて順次発行する要求に従って圧縮画像データを順次部分的に展開していく順序制御を使用することによって，スキップ可能なボクセルに対しては解凍を行わない。これによって，圧縮データの全部を解凍展開することを不要にし，全ボリュームのボクセル数の３〜１５％程度のみを解凍すればよいので，解凍処理性能の要求が相当に緩和され，また，解凍処理に要する時間を短縮できた。【００２１】  本発明では，可逆圧縮した画像データを磁気ディスクに保存し，必要に応じて圧縮したままのデータを三次元画像処理用ハードウェア基板上に転送し，三次元画像処理用ハードウェア基板上で必要に応じて解凍することにより，磁気ディスクから三次元画像処理用画像メモリへの転送速度を高速化することを可能にした。三次元画像処理用ハードウェア基板のもう一つの問題は，三次元画像処理用ハードウェア基板上の画像メモリの制約である。これも，三次元画像処理用ハードウェア基板上の画像メモリに圧縮したままのデータを置き，必要に応じて部分的に解凍することにより，画像メモリの制約を改善することができた。本発明では，三次元画像処理用ハードウェア基板上に圧縮データ解凍処理用のエンジンを搭載し，三次元画像処理の進行に伴う三次元画像処理エンジンの要求に従って圧縮データを逐次部分的に解凍する。三次元画像処理の一例としてボリュームレンダリング処理では，三次元画像処理用メモリ上の圧縮データを最小単位ごと逐次解凍しながらボリュームレンダリング処理を行うが，累積計算を途中で打ち切るＥａｒｌｙ  ｒａｙ  ｔｅｒｍｉｎａｔｉｏｎ最適化や，空や透明なボクセルに対するＺｅｒｏ  Ｖｏｘｅｌ  Ｓｋｉｐ処理によってボリュームレンダリング処理を行わないサブボリュームについては，解凍処理を行う必要がない。これによって解凍処理性能への要求を緩和することができた。本発明によって，ボリュームレンダリング処理を行う基板上の三次元画像処理用画像メモリの大幅な節約，または，同一画像メモリ容量で数倍大きなボリュームデータの展開が可能となった。
【発明を実施するための最良の形態】
【００２２】  本発明の実施の形態について説明する。図１は圧縮された画像データから三次元画像を作成する三次元画像表示装置を示すブロック図である。
１０１は，Ｘ線ＣＴ装置，ＭＲ装置などの画像診断装置の例示である。
１０２は，ＰＡＣＳサーバーなどの画像データ保管システムの例示である。
１０３は，病院内のネットワークなどの例示である。
１１１は，三次元画像表示装置を示す。
１１２は，ネットワークインターフェースを示し，１０３の病院内ネットワークと接続されており，１０１のＸ線ＣＴ装置，ＭＲ装置などの医用画像診断装置や１０２のＰＡＣＳサーバーなどから画像データ２１１を受信する。
受信した画像データ２１２は圧縮されていない画像データのことがあり，またＪＰＥＧ２０００などの圧縮方式で可逆圧縮または非可逆圧縮されている場合がある。
１１３は，データ圧縮処理機能で，画像データ２１２が圧縮されていない場合には，ＪＰＥＧ２０００などの圧縮方式で可逆圧縮または非可逆圧縮を行い，圧縮画像データ２１３を出力する。
１１４は，磁気ディスクで，圧縮された画像データ２１３を保存する。
１１５は，三次元画像処理部で，１１６は三次元画像処理用圧縮画像メモリ，１１７は圧縮画像データ解凍エンジン，１１８は三次元画像処理エンジンである。
三次元画像処理用圧縮画像メモリ１１６は，三次元画像の作成に使用する画像データを圧縮画像データとして保持する。
２５１は，三次元画像を作成するために使用する画像データを指定するコンソールなどからの指示を示す。
この指示に従って，三次元画像表示装置は圧縮画像データ２１４を磁気ディスク１１４から読み込み，三次元画像処理用メモリ１１６に保持する。
２５２は，三次元画像を作成するために使用する三次元画像処理パラメータに関するコンソールなどからの指示を示す。
三次元画像処理エンジン１１８は，三次元画像処理用メモリ１１６に読み込んだ画像データのＤＩＣＯＭ情報などから得られるパラメータと三次元画像処理パラメータ２５２から三次元画像の作成を開始する。【００２３】  処理の流れを説明する。
（１）三次元画像を作成するために使用する画像データを指定するコンソールなどからの指示２５１に従って，三次元画像表示装置は圧縮画像データ２１４を磁気ディスク１１４から読み込み，三次元画像処理用メモリ１１６に保持する。
（２）三次元画像処理エンジン１１８は，コンソールなどからの三次元画像処理パラメータに関する指示２５２と，三次元画像処理用圧縮画像メモリ１１６に読み込んだ画像データのＤＩＣＯＭ情報などから得られるパラメータに基づいて，指定された三次元画像を作成するために，三次元画像処理を開始する。
（３）三次元画像処理エンジン１１８は，ボクセル座標を指定して三次元画像処理に使用するボクセルデータの提供を，圧縮画像データ解凍エンジン１１７に要求する。
（４）圧縮画像データ解凍エンジン１１７は，三次元画像処理エンジン１１８から指定されたボクセル座標のボクセルデータを圧縮画像データから復元するために，復元に使用する圧縮画像データの存在する圧縮メモリ１１６上の位置を計算し，この計算で求めた位置の圧縮画像データを提供することを三次元画像処理用圧縮画像メモリ１１６に要求する。
（５）三次元画像処理用圧縮画像メモリ１１６は，圧縮画像データ解凍エンジン１１７から要求された位置の圧縮画像データを，圧縮画像データ解凍エンジン１１７に提供する。
（６）圧縮画像データ解凍エンジン１１７は，三次元画像処理用圧縮画像メモリ１１６から提供された圧縮画像データを解凍処理することによって復元し，三次元画像処理エンジン１１８から指定されたボクセル座標のボクセルデータを三次元画像処理エンジン１１８に提供する。
（７）三次元画像処理エンジン１１８は，圧縮データ解凍エンジン１１７から提供されるボクセルデータを使用して三次元画像処理を実行する。
（８）三次元画像処理エンジン１１８は，次に必要なボクセル座標を求め，（３）〜（７）の処理を順次繰り返す。【００２４】  一例として，三次元画像処理にレイキャスティング法を使用する場合について説明する。レイキャスティング法は，視点と三次元ボクセルで構成する三次元ボリュームと，視点と三次元ボリュームの中間に置いた二次元投影面を考え，視点から二次元投影面ヘレイを伸ばし，三次元ボリュームを構成するボクセルの中で，レイ上にあるボクセルのボクセル値と不透明度の積を順次加算した値を，二次元投影面のそのレイが交差する画素の値にする。
レイキャスティング法では順次各ボクセルの輝度値と不透明度との積を加算していき，不透明度の総和が１となるか，またはレイが対象としているボリュームから抜け出たときに，そのレイに関する処理を終了し，加算結果を二次元投影面のそのレイが交差する画素の値として表示する。このようにレイキャスティング法では不透明度の積分値が１になった時点で計算を打ち切るので，その座標より後のボクセルの値は不要である。従って，本発明の場合は，圧縮データを解凍する必要がない。
三次元画像処理エンジン１１８は，三次元画像を作成するために必要とするボクセルのボクセル座標を決め，このボクセル座標のボクセルデータのボクセル値を提供することを，圧縮画像データ解凍エンジン１１７に要求する。
圧縮画像データ解凍エンジン１１７は，三次元画像処理エンジン１１８から指定されたボクセル座標のボクセルデータを圧縮画像データから復元するために，指定されたボクセル座標のボクセルデータを圧縮画像データから復元するために使用する圧縮画像データのブロックが圧縮メモリ１１６上に存在する位置を計算し，この圧縮画像データのブロックを三次元画像処理用圧縮画像メモリ１１６に要求する。
三次元画像処理用圧縮画像メモリ１１６は圧縮画像データ解凍エンジン１１７に要求された位置の圧縮画像データのブロックを送る。
圧縮画像データ解凍エンジン１１７はこの圧縮画像データのブロックを解凍処理することによって復元し，指定されたボクセル座標のボクセルデータを三次元画像処理エンジン１１８に提供する。
三次元画像処理エンジン１１８は，圧縮画像データ解凍エンジン１１７から提供されるボクセルデータを使用して，三次元画像処理を行う。
その時点で不透明度の積分値が１になっていなければ，そのレイ上の次のボクセルの座標を指定して，ボクセル値を提供することを圧縮画像データ解凍エンジン１１７に要求し，不透明度の積分値が１になるまで処理を繰り返す。
その時点で不透明度の積分値が１になっていれば，そのレイに関する処理は終了し，次のレイの処理を開始する。【００２５】  通常のレイキャスティング処理では，三次元画像処理エンジンはレイを指定し，このレイ上でボクセル座標を順次指定し，メモリ上の画像データからそのボクセル座標のボクセル値を取得する。
本発明のレイキャスティング処理では，三次元画像処理エンジンはレイを指定し，このレイ上でボクセル座標を順次指定し，圧縮画像データ解凍エンジン１１７にそのボクセル座標のボクセル値を提供することを要求する。
圧縮画像データ解凍エンジン１１７は，三次元画像処理エンジン１１８から指定されたボクセル座標のボクセルデータを圧縮画像データから復元するために，指定されたボクセル座標のボクセルデータを圧縮画像データから復元するために使用する圧縮画像データのブロックの位置を計算し，この位置の圧縮画像データのブロックを三次元画像処理用圧縮画像メモリ１１６に要求する。
三次元画像処理用圧縮画像メモリ１１６は圧縮画像データ解凍エンジン１１７に，要求された圧縮画像データのブロックを送る。
圧縮画像データ解凍エンジン１１７はこの圧縮画像データのブロックを解凍処理することによって復元し，指定されたボクセル座標のボクセルデータを三次元画像処理エンジンに提供する。
ここで，圧縮画像データ解凍エンジン１１７を設けたことが，本発明の特徴である。本発明では，圧縮画像データ解凍エンジン１１７がメモリ上の圧縮画像データを取得し，これに解凍処理を行い，復元したデータを三次元画像処理エンジンに送る。これによって，三次元画像処理エンジンは，画像メモリ上の画像データが，非圧縮データであるか，圧縮データであるかを考慮せずに，三次元画像処理を実行することが可能になった。【００２６】  図２は本実施例を説明するフローチャートである。
（１）磁気ディスク１１４は，指定された圧縮画像データを圧縮画像メモリ１１６にロードする。
（２）三次元画像処理パラメータを指定する。
（３）三次元画像処理エンジン１１８は，三次元画像処理に使用するレイを選択する。
（４）三次元画像処理エンジン１１８は，解凍エンジン１１７にボクセル座標を指定して三次元画像処理に使用するボクセルデータを要求する。
（５）解凍エンジン１１７は，指定された座標のボクセルデータを作成するために，圧縮画像メモリ１１６に圧縮画像データを要求する。
（６）圧縮画像メモリ１１６は，指定された圧縮画像データを解凍エンジン１１７に送る。
（７）解凍エンジン１１７は圧縮画像データを解凍し，三次元画像処理エンジン１１８に送る。
（８）三次元画像処理エンジン１１８は，指定した座標のボクセルデータを使用して三次元画像処理を行う。
（９）レイ上の不透明度の和が１になるまで（４）〜（８）の処理を繰り返す。
（１０）必要な全てのレイに関する処理が済むまで，（３）〜（８）の処理を繰り返す。
（１１）画像表示装置１１９は三次元画像を表示する
（１２）希望する三次元画像が得られなかった場合は，（２）〜（１１）の処理を繰り返す。【００２７】  三次元画像処理エンジン１１８は解凍エンジン１１７に，三次元画像処理に使用するボクセルのボクセル座標を指定して三次元画像処理に使用するボクセルデータを要求する。
解凍エンジン１１７は指定された座標のボクセルデータを作成するために必要な圧縮画像データが格納されているメモリの位置を算出し，圧縮画像メモリ１１６に圧縮画像データを要求する。
この場合，解凍エンジン１１７は指定された座標のボクセルデータを作成するために必要な圧縮画像データとして，あるブロックの圧縮データを圧縮画像メモリ１１６に要求する場合もある。この場合は，解凍エンジン１１７は圧縮画像メモリ１１６から提供されたそのブロックの圧縮データを解凍して復元し，指定された画像データを三次元画像処理エンジン１１８に提供するが，使用しなかった画像データは一時的に保存しておき，その後の近傍のレイのレイキャスティング処理で三次元画像処理エンジン１１８から要求された場合に，それを使用する。すなわち，解凍エンジン１１７は，三次元画像処理エンジン１１８から要求されたデータがすでに解凍処理した画像データとして存在する場合は，圧縮画像メモリ１１６に圧縮画像データを要求することは行わないで，保有しているデータを三次元画像処理エンジン１１８に送る。【００２８】  ＪＰＥＧ２０００では，離散ウェーブレット変換係数をビットプレーンに分解し，各サブバンドで例えば６４×６４の符号化ブロックに分割した上で２値算術符号化する。符号化ブロック単位で独立に符号化処理することで，特定領域へのランダムアクセスが容易となる。従って，この実施例は，ＪＰＥＧ２０００の可逆圧縮または非可逆方式で圧縮した圧縮画像データと，本発明による圧縮画像データ解凍エンジンを使用して，容易に実現できる。
【実施例１】
【００２９】  図３は本発明の他の実施例を説明するフローチャートである。
この実施例では，最初の第一ステップで部分空間解像度の三次元画像を作成し，これに対して，三次元画像処理パラメータを変更しながら画像を表示することによって，最適な三次元画像処理パラメータを決定する。次の第二ステップでは，第一ステップで決定した，三次元画像処理パラメータを適用して全空間解像度の三次元画像を作成する。このように，部分空間解像度の三次元画像で最適な三次元画像処理パラメータを決定してから，その三次元画像処理パラメータを適用して全空間解像度の三次元画像を作成することで，三次元画像処理のストレスを軽減することが可能になる。
たとえば画素数５１２×５１２，画像枚数１０２４枚のＪＰＥＧ２０００で圧縮したデータでは，画素数２５６×２５６，画像枚数５１２枚または画素数１２８×１２８，画像枚数２５６枚のデータを容易に得ることができるので，これを部分空間解像度の三次元画像の作成に使用する。【００３０】  図３のフローチャートを説明する。
（１）磁気ディスク１１４は，指定された圧縮画像データを圧縮画像メモリ１１６にロードする。
（２）三次元画像処理パラメータを指定する。
（３）三次元画像処理エンジン１１８は，部分空間解像度の三次元画像処理に使用するレイを選択する。
（４）三次元画像処理エンジン１１８は，解凍エンジン１１７に部分空間解像度の三次元画像処理に使用するボクセルのボクセル座標を指定して三次元画像処理に使用するボクセルデータを要求する。
（５）解凍エンジン１１７は，指定された座標のボクセルデータを作成するために，圧縮画像メモリ１１６に圧縮画像データを要求する。
（６）圧縮画像メモリ１１６は，指定された圧縮画像データを解凍エンジン１１７に送る。
（７）解凍エンジン１１７は圧縮画像データを解凍し，三次元画像処理エンジン１１８に送る。
（８）三次元画像処理エンジン１１８は，指定した座標のボクセルデータを使用して部分空間解像度の三次元画像処理を行う。
（９）レイ上の不透明度の和が１になるまで（４）〜（８）の処理を繰り返す。
（１０）必要な全てのレイに関する処理が済むまで，（３）〜（８）の処理を繰り返す。
（１１）画像表示装置１１９は部分空間解像度の三次元画像を表示する
（１２）希望する三次元画像が得られなかった場合は，（２）〜（１１）の処理を繰り返す。
（１３）希望する三次元画像が得られた場合は，全空間解像度の三次元画像を作成する。
（１４）部分空間解像度の三次元画像を基に，全空間解像度の三次元画像の作成に寄与する空間領域・値領域のボクセルを決定し，三次元画像処理パラメータを決定する。
（１５）三次元画像処理エンジン１１８は，全空間解像度の三次元画像処理に使用するレイを選択する。
（１６）三次元画像処理エンジン１１８は，解凍エンジン１１７に全空間解像度の三次元画像処理に使用するボクセルのボクセル座標を指定して三次元画像処理に使用するボクセルデータを要求する。
（１７）解凍エンジン１１７は，指定された座標のボクセルデータを作成するために，圧縮画像メモリ１１６に圧縮画像データを要求する。
（１８）圧縮画像メモリ１１６は，指定された圧縮画像データを解凍エンジンに１１７に送る。
（１９）解凍エンジン１１７は圧縮画像データを解凍し，三次元画像処理エンジン１１８に送る。
（２０）三次元画像処理エンジン１１８は，指定した座標のボクセルデータを使用して全空間解像度の三次元画像処理を行う。
（２１）レイ上の不透明度の和が１になるまで（１６）〜（２０）の処理を繰り返す。
（２２）必要な全てのレイに関する処理が済むまで，（１５）〜（２０）の処理を繰り返す。
（２３）画像表示装置１１９は全空間解像度の三次元画像を表示する。【００３１】  画像データの圧縮にＪＰＥＧ２０００を使用した場合は，たとえば画素数５１２×５１２の画像データの圧縮を，画素数６４×６４のサブブロック単位で行うことができる。画素数５１２×５１２，画像枚数１０２４枚のＪＰＥＧ２０００で圧縮したデータでは，画素数２５６×２５６，画像枚数５１２枚または画素数１２８×１２８，画像枚数２５６枚のデータは容易に得ることができるので，これを部分空間解像度の三次元画像の作成に使用する。従って，この実施例は，ＪＰＥＧ２０００の可逆圧縮または非可逆方式で圧縮した圧縮画像データと，本発明による圧縮画像データ解凍エンジンを使用して，容易に実現できる。
【実施例２】
【００３２】  本発明の他の実施例を説明する。これまでの説明では，データ解凍エンジンと三次元画像処理エンジンの両者をハードウェアで実現した三次元画像表示装置について説明したが，本発明には，データ解凍エンジンをハードウェアで，三次元画像処理エンジンをソフトウェアで実現した三次元画像表示装置，および，データ解凍エンジンをソフトウェアで，三次元画像処理エンジンをハードウェアで実現した三次元画像表示装置，および，データ解凍エンジンと三次元画像処理エンジンの両者をソフトウェアで実現した三次元画像表示装置を含む。
現時点ではストレスの感じない処理時間で三次元画像を表示するためには専用ハードウェアが必要であるが，汎用コンピュータや汎用パーソナルコンピュータの演算速度の向上に従って，データ解凍エンジンや三次元画像処理エンジンをソフトウェア化した三次元画像表示装置も十分に実用的に使用できる。【００３３】  これまでの説明では，圧縮画像データ解凍エンジン１１７と三次元画像処理エンジン１１８を別のエンジンとして説明したが，この二つの機能を含み，一体化したものをハードウェアまたはソフトウェアで実現することが可能である。
【図面の簡単な説明】
【００３４】
【図１】本発明の実施例を説明するブロック図。
【図２】本発明の実施例を説明するフローチャート。
【図３】本発明の他の実施例を説明するフローチャート。
【図４】従来の三次元画像表示装置を説明するブロック図。
【符号の説明】
【００３５】１０１  Ｘ線ＣＴ装置，ＭＲ装置などの画像診断装置
１０２  ＰＡＣＳサーバーなど
１０３  病院内のネットワークなど
１１１  三次元画像表示装置
１１２  ネットワークインターフェース
１１３  データ圧縮処理機能
１１４  磁気ディスク
１１５  三次元画像処理部
１１６  三次元画像処理用圧縮画像メモリ
１１７  圧縮画像データ解凍エンジン
１１８  三次元画像処理エンジン
１１９  画像表示装置
２１１  Ｘ線ＣＴ装置，ＭＲ装置，ＰＡＣＳサーバーなどか送られる画像データ
２１２  受信された画像データ
２１３  データ圧縮処理機能で圧縮された圧縮画像データ
２１４  磁気ディスクから圧縮画像データ用メモリに転送される圧縮画像データ
２１６  圧縮画像データ用メモリから圧縮画像データ解凍エンジンへ転送される圧縮画像データ
２１７  圧縮画像データ解凍エンジンで解凍された画像データ
２１８  三次元画像データ
２５１  三次元画像を作成するために使用する画像データを指定するコンソールなどからの指示
２５２  三次元画像を作成するために使用する三次元画像処理パラメータに関する指示
【図１】
2006338630.tif 000003
【図２】
2006338630.tif 000004
【図３】
2006338630.tif 000005
【図４】
2006338630.tif 000006
【手続補正書】
【提出日】平成18年6月1日(2006.6.1)
【手続補正１】
【補正対象書類名】明細書
【補正対象項目名】００１０
【補正方法】変更
【補正の内容】
【００１０】
ここで従来一般に使用されている三次元画像表示装置について説明する。図４は従来の三次元画像表示装置を示すブロック図である。
１０１は，Ｘ線ＣＴ装置，ＭＲ装置などの画像診断装置の例示である。
１０２は，ＰＡＣＳサーバーなどの画像データ保管システムの例示である。
１０３は，病院内のネットワークなどの例示である。
１１１Ａは，三次元画像表示装置を示す。
１１２は，ネットワークインターフェースを示す。病院内ネットワーク１０３と接続されていて，１０１のＸ線ＣＴ装置，ＭＲ装置などや１０２のＰＡＣＳサーバーなどから画像データ２１１を受信する。
受信した画像データ２１２は圧縮されていない画像データの場合があり，またＪＰＥＧ２０００などの圧縮方式で可逆圧縮または非可逆圧縮されている場合がある。
１１４Ａは，磁気ディスクで，画像データ２１２を保存する。
１１５Ａは三次元画像処理部，１１６Ａは三次元画像処理用画像メモリ，１１８Ａは三次元画像処理エンジンである。
三次元画像処理用画像メモリ１１６Ａは，三次元画像の作成に使用する画像データを非圧縮のデータとして保持する。
三次元画像処理エンジン１１８Ａは，画像メモリに，順次，ボクセル座標を指定して三次元画像処理に使用するボクセルデータの提供を要求する２５３Ａ。三次元画像処理用画像メモリ１１６Ａは要求されたボクセルデータ２１７Ａを，三次元画像処理エンジン１１８Ａに提供する。
三次元画像処理エンジン１１８Ａは，画像メモリ１１６Ａから提供されるボクセルデータ２１７Ａを使用して三次元画像処理を実行する。
この,（１）三次元画像処理エンジン１１８Ａによる画像メモリへ１１６Ａの三次元画像処理に使用するボクセルデータの要求２５３Ａ，（２）画像メモリ１１６Ａによる三次元画像処理エンジン１１８Ａへのボクセルデータ２１７Ａの提供，（３）三次元画像処理エンジン１１８Ａによるボクセルデータ２１７Ａを使用した三次元画像処理，を順次繰り返すことにより，三次元画像が作成される。
２５１は，三次元画像を作成するために使用する画像データを指定するコンソールからの指示を示す。この指示に従って，装置は画像データ２１４または圧縮画像データを解凍した画像データ２１４を磁気ディスク１１４から読み込み，三次元画像処理用画像メモリ１１６Ａに保持する。
２５２は，三次元画像を作成するために使用する三次元画像処理パラメータに関するコンソールからの指示を示す。三次元画像処理エンジン１１８Ａは，三次元画像処理用画像メモリ１１６Ａに読み込んだ画像データのＤＩＣＯＭ情報などから得られるパラメータとこの指示された三次元画像処理パラメータ２５２から三次元画像処理を開始する。
【手続補正２】
【補正対象書類名】明細書
【補正対象項目名】００２２
【補正方法】変更
【補正の内容】
【００２２】
本発明の実施の形態について説明する。図１は圧縮された画像データから三次元画像を作成する三次元画像表示装置を示すブロック図である。
１０１は，Ｘ線ＣＴ装置，ＭＲ装置などの画像診断装置の例示である。
１０２は，ＰＡＣＳサーバーなどの画像データ保管システムの例示である。
１０３は，病院内のネットワークなどの例示である。
１１１は，三次元画像表示装置を示す。
１１２は，ネットワークインターフェースを示し，１０３の病院内ネットワークと接続されており，１０１のＸ線ＣＴ装置，ＭＲ装置などの医用画像診断装置や１０２のＰＡＣＳサーバーなどから画像データ２１１を受信する。
受信した画像データ２１２は圧縮されていない画像データのことがあり，またＪＰＥＧ２０００などの圧縮方式で可逆圧縮または非可逆圧縮されている場合がある。
１１３は，データ圧縮処理機能で，画像データ２１２が圧縮されていない場合には，ＪＰＥＧ２０００などの圧縮方式で可逆圧縮または非可逆圧縮を行い，圧縮画像データ２１３を出力する。
１１４は，磁気ディスクで，圧縮された画像データ２１３を保存する。
１１５は，三次元画像処理部で，１１６は三次元画像処理用圧縮画像メモリ，１１７は圧縮画像データ解凍エンジン，１１８は三次元画像処理エンジンである。
三次元画像処理用圧縮画像メモリ１１６は，三次元画像の作成に使用する画像データを圧縮画像データとして保持する。
２５１は，三次元画像を作成するために使用する画像データを指定するコンソールなどからの指示を示す。この指示に従って，三次元画像表示装置は圧縮画像データ２１４を磁気ディスク１１４から読み込み，三次元画像処理用圧縮画像メモリ１１６に保持する。
２５２は，三次元画像を作成するために使用する三次元画像処理パラメータに関するコンソールなどからの指示を示す。
三次元画像処理エンジン１１８は，三次元画像処理用圧縮画像メモリ１１６に読み込んだ画像データのＤＩＣＯＭ情報などから得られるパラメータと三次元画像処理パラメータ２５２から三次元画像の作成を開始する。
【手続補正３】
【補正対象書類名】明細書
【補正対象項目名】００２３
【補正方法】変更
【補正の内容】
【００２３】
処理の流れを説明する。
（１）三次元画像を作成するために使用する画像データを指定するコンソールなどからの指示２５１に従って，三次元画像表示装置は圧縮画像データ２１４を磁気ディスク１１４から読み込み，三次元画像処理用圧縮画像メモリ１１６に保持する。
（２）三次元画像処理エンジン１１８は，コンソールなどからの三次元画像処理パラメータに関する指示２５２と，三次元画像処理用圧縮画像メモリ１１６に読み込んだ画像データのＤＩＣＯＭ情報などから得られるパラメータに基づいて，指定された三次元画像を作成するために，三次元画像処理を開始する。
（３）三次元画像処理エンジン１１８は，ボクセル座標を指定して三次元画像処理に使用するボクセルデータの提供を，圧縮画像データ解凍エンジン１１７に要求する。
２５３は三次元画像処理エンジン１１８から圧縮画像データ解凍エンジン１１７へのこの要求を示す。
（４）圧縮画像データ解凍エンジン１１７は，三次元画像処理エンジン１１８から指定されたボクセル座標のボクセルデータを圧縮画像データから復元するために，復元に使用する圧縮画像データの存在する圧縮メモリ１１６上の位置を計算し，この計算で求めた位置の圧縮画像データを提供することを三次元画像処理用圧縮画像メモリ１１６に要求する。
２５４は、圧縮画像データ解凍エンジン１１７から三次元画像処理用圧縮画像メモリ１１６へのこの要求を示す。
（５）三次元画像処理用圧縮画像メモリ１１６は，圧縮画像データ解凍エンジン１１７から要求された位置の圧縮画像データを，圧縮画像データ解凍エンジン１１７に提供する。
２１６は、三次元画像処理用圧縮画像メモリ１１６から圧縮画像データ解凍エンジン１１７へ転送される圧縮画像データを示す。
（６）圧縮画像データ解凍エンジン１１７は，三次元画像処理用圧縮画像メモリ１１６から提供された圧縮画像データを解凍処理することによって復元し，三次元画像処理エンジン１１８から指定されたボクセル座標のボクセルデータを三次元画像処理エンジン１１８に提供する。
２１７は、圧縮画像データ解凍エンジン１１７で解凍され、三次元画像処理エンジン１１８へ送られる、このボクセルデータを示す。
（７）三次元画像処理エンジン１１８は，圧縮データ解凍エンジン１１７から提供されるボクセルデータを使用して三次元画像処理を実行する。
（８）三次元画像処理エンジン１１８は，次に必要なボクセル座標を求め，（３）〜（７）の処理を順次繰り返す。
【手続補正４】
【補正対象書類名】明細書
【補正対象項目名】００２４
【補正方法】変更
【補正の内容】
【００２４】
一例として，三次元画像処理にレイキャスティング法を使用する場合について説明する。レイキャスティング法は，視点と三次元ボクセルで構成する三次元ボリュームと，視点と三次元ボリュームの中間に置いた二次元投影面を考え，視点から二次元投影面へレイを伸ばし，三次元ボリュームを構成するボクセルの中で，レイ上にあるボクセルのボクセル値と不透明度の積を順次加算した値を，二次元投影面のそのレイが交差する画素の値にする。
レイキャスティング法では順次各ボクセルの輝度値と不透明度との積を加算していき，不透明度の総和が１となるか，またはレイが対象としているボリュームから抜け出たときに，そのレイに関する処理を終了し，加算結果を二次元投影面のそのレイが交差する画素の値として表示する。このようにレイキャスティング法では不透明度の積分値が１になった時点で計算を打ち切るので，その座標より後のボクセルの値は不要である。従って，本発明の場合は，圧縮データを解凍する必要がない。
三次元画像処理エンジン１１８は，三次元画像を作成するために必要とするボクセルのボクセル座標を決め，このボクセル座標のボクセルデータのボクセル値を提供することを，圧縮画像データ解凍エンジン１１７に要求する２５３。
圧縮画像データ解凍エンジン１１７は，三次元画像処理エンジン１１８から指定されたボクセル座標のボクセルデータを圧縮画像データから復元するために，指定されたボクセル座標のボクセルデータを圧縮画像データから復元するために使用する圧縮画像データのブロックが三次元画像処理用圧縮メモリ１１６上に存在する位置を計算し，この圧縮画像データのブロックを三次元画像処理用圧縮画像メモリ１１６に要求する２５４。
三次元画像処理用圧縮画像メモリ１１６は圧縮画像データ解凍エンジン１１７に要求された位置の圧縮画像データのブロックを送る。
２１６は、三次元画像処理用圧縮画像メモリ１１６から圧縮画像データ解凍エンジン１１７へ転送される、この圧縮画像データのブロックを示す。
圧縮画像データ解凍エンジン１１７はこの圧縮画像データのブロックを解凍処理することによって復元し，指定されたボクセル座標のボクセルデータを三次元画像処理エンジン１１８に提供する。
２１７は、圧縮画像データ解凍エンジンで解凍され、三次元画像処理エンジンへ送られる、このボクセルデータを示す。
三次元画像処理エンジン１１８は，圧縮画像データ解凍エンジン１１７から提供されるボクセルデータを使用して，三次元画像処理を行う。
その時点で不透明度の積分値が１になっていなければ，そのレイ上の次のボクセルの座標を指定して，ボクセル値を提供することを圧縮画像データ解凍エンジン１１７に要求し，不透明度の積分値が１になるまで処理を繰り返す。
その時点で不透明度の積分値が１になっていれば，そのレイに関する処理は終了し，次のレイの処理を開始する。
【手続補正５】
【補正対象書類名】明細書
【補正対象項目名】００２５
【補正方法】変更
【補正の内容】
【００２５】
通常のレイキャスティング処理では，三次元画像処理エンジンはレイを指定し，このレイ上でボクセル座標を順次指定し，メモリ上の画像データからそのボクセル座標のボクセル値を取得する。
本発明のレイキャスティング処理では，三次元画像処理エンジンはレイを指定し，このレイ上でボクセル座標を順次指定し，圧縮画像データ解凍エンジン１１７にそのボクセル座標のボクセル値を提供することを要求する２５３。
圧縮画像データ解凍エンジン１１７は，三次元画像処理エンジン１１８から指定されたボクセル座標のボクセルデータを圧縮画像データから復元するために，指定されたボクセル座標のボクセルデータを圧縮画像データから復元するために使用する圧縮画像データのブロックの位置を計算し，この位置の圧縮画像データのブロックを三次元画像処理用圧縮画像メモリ１１６に要求する２５４。
三次元画像処理用圧縮画像メモリ１１６は圧縮画像データ解凍エンジン１１７に，要求された圧縮画像データのブロックを送る。
圧縮画像データ解凍エンジン１１７はこの圧縮画像データのブロックを解凍処理することによってボクセルデータを復元し，指定されたボクセル座標のボクセルデータを三次元画像処理エンジンに提供する。
ここで，圧縮画像データ解凍エンジン１１７を設けたことが，本発明の特徴である。本発明では，圧縮画像データ解凍エンジン１１７がメモリ上の圧縮画像データを取得し，これに解凍処理を行い，復元したデータを三次元画像処理エンジンに送る。これによって，三次元画像処理エンジンは，画像メモリ上の画像データが，非圧縮データであるか，圧縮データであるかを考慮せずに，三次元画像処理を実行することが可能になった。
【手続補正６】
【補正対象書類名】明細書
【補正対象項目名】００２６
【補正方法】変更
【補正の内容】
【００２６】
図２は本実施例を説明するフローチャートである。
（１）磁気ディスク１１４は，指定された圧縮画像データを三次元画像処理用圧縮画像メモリ１１６にロードする。２１４は，磁気ディスクから三次元画像処理用圧縮画像メモリに転送される圧縮画像データ。
（２）三次元画像処理パラメータを指定する。
（３）三次元画像処理エンジン１１８は，三次元画像処理に使用するレイを選択する。
（４）三次元画像処理エンジン１１８は，解凍エンジン１１７にボクセル座標を指定して三次元画像処理に使用するボクセルデータを要求する２５３。
（５）解凍エンジン１１７は，三次元画像処理エンジン１１８から指定された座標のボクセルデータを作成するために，指定されたボクセル座標のボクセルデータを圧縮画像データから復元するために使用する圧縮画像データのブロックの位置を計算し，三次元画像処理用圧縮画像メモリ１１６にこの位置の圧縮画像データのブロックを要求する２５４。
（６）三次元画像処理用圧縮画像メモリ１１６は，指定された圧縮画像データを解凍エンジン１１７に送る。
２１６は三次元画像処理用圧縮画像メモリ１１６から圧縮画像データ解凍エンジン１１７へ転送される，この圧縮画像データを示す。
（７）解凍エンジン１１７は圧縮画像データを解凍し，指定されたボクセル座標のボクセルデータを三次元画像処理エンジン１１８に送る。
２１７は，圧縮画像データ解凍エンジンで解凍され，三次元画像処理エンジンへ送られる，このボクセルデータを示す。
（８）三次元画像処理エンジン１１８は，指定したボクセル座標のボクセルデータを使用して三次元画像処理を行う。
（９）レイ上の不透明度の和が１になるまで（４）〜（８）の処理を繰り返す。
（１０）必要な全てのレイに関する処理が済むまで，（３）〜（８）の処理を繰り返す。
（１１）画像表示装置１１９は三次元画像を表示する
（１２）希望する三次元画像が得られなかった場合は，（２）〜（１１）の処理を繰り返す。
【手続補正７】
【補正対象書類名】明細書
【補正対象項目名】００２７
【補正方法】変更
【補正の内容】
【００２７】
三次元画像処理エンジン１１８は解凍エンジン１１７に，三次元画像処理に使用するボクセルのボクセル座標を指定して三次元画像処理に使用するボクセルデータを要求する。
解凍エンジン１１７は指定された座標のボクセルデータを作成するために必要な圧縮画像データが格納されているメモリの位置を算出し，三次元画像処理用圧縮画像メモリ１１６に圧縮画像データを要求する。
この場合，解凍エンジン１１７は指定された座標のボクセルデータを作成するために必要な圧縮画像データとして，あるブロックの圧縮データを三次元画像処理用圧縮画像メモリ１１６に要求する場合もある。この場合は，解凍エンジン１１７は三次元画像処理用圧縮画像メモリ１１６から提供されたそのブロックの圧縮データを解凍して画像データを復元し，指定された画像データを三次元画像処理エンジン１１８に提供するが，使用しなかった画像データは一時的に保存しておき，その後の近傍のレイのレイキャスティング処理で三次元画像処理エンジン１１８から要求された場合に，それを使用する。すなわち，解凍エンジン１１７は，三次元画像処理エンジン１１８から要求されたデータがすでに解凍処理した画像データとして存在する場合は，三次元画像処理用圧縮画像メモリ１１６に圧縮画像データを要求することは行わないで，保有しているデータを三次元画像処理エンジン１１８に送る。
【手続補正８】
【補正対象書類名】明細書
【補正対象項目名】００３０
【補正方法】変更
【補正の内容】
【００３０】
図３のフローチャートを説明する。
（１）磁気ディスク１１４は，指定された圧縮画像データを三次元画像処理用圧縮画像メモリ１１６にロードする。
（２）三次元画像処理パラメータを指定する。
（３）三次元画像処理エンジン１１８は，部分空間解像度の三次元画像処理に使用するレイを選択する。
（４）三次元画像処理エンジン１１８は，解凍エンジン１１７に部分空間解像度の三次元画像処理に使用するボクセルのボクセル座標を指定して三次元画像処理に使用するボクセルデータを要求する。
（５）解凍エンジン１１７は，指定された座標のボクセルデータを作成するために，三次元画像処理用圧縮画像メモリ１１６に圧縮画像データを要求する。
（６）三次元画像処理用圧縮画像メモリ１１６は，指定された圧縮画像データを解凍エンジン１１７に送る。
（７）解凍エンジン１１７は圧縮画像データを解凍し，三次元画像処理エンジン１１８に送る。
（８）三次元画像処理エンジン１１８は，指定した座標のボクセルデータを使用して部分空間解像度の三次元画像処理を行う。
（９）レイ上の不透明度の和が１になるまで（４）〜（８）の処理を繰り返す。
（１０）必要な全てのレイに関する処理が済むまで，（３）〜（８）の処理を繰り返す。
（１１）画像表示装置１１９は部分空間解像度の三次元画像を表示する
（１２）希望する三次元画像が得られなかった場合は，（２）〜（１１）の処理を繰り返す。
（１３）希望する三次元画像が得られた場合は，全空間解像度の三次元画像を作成する。
（１４）部分空間解像度の三次元画像を基に，全空間解像度の三次元画像の作成に寄与する空間領域・値領域のボクセルを決定し，三次元画像処理パラメータを決定する。
（１５）三次元画像処理エンジン１１８は，全空間解像度の三次元画像処理に使用するレイを選択する。
（１６）三次元画像処理エンジン１１８は，解凍エンジン１１７に全空間解像度の三次元画像処理に使用するボクセルのボクセル座標を指定して三次元画像処理に使用するボクセルデータを要求する。
（１７）解凍エンジン１１７は，指定された座標のボクセルデータを作成するために，三次元画像処理用圧縮画像メモリ１１６に圧縮画像データを要求する。
（１８）三次元画像処理用圧縮画像メモリ１１６は，指定された圧縮画像データを解凍エンジンに１１７に送る。
（１９）解凍エンジン１１７は圧縮画像データを解凍し，三次元画像処理エンジン１１８に送る。
（２０）三次元画像処理エンジン１１８は，指定した座標のボクセルデータを使用して全空間解像度の三次元画像処理を行う。
（２１）レイ上の不透明度の和が１になるまで（１６）〜（２０）の処理を繰り返す。
（２２）必要な全てのレイに関する処理が済むまで，（１５）〜（２０）の処理を繰り返す。
（２３）画像表示装置１１９は全空間解像度の三次元画像を表示する。
【手続補正９】
【補正対象書類名】明細書
【補正対象項目名】００３５
【補正方法】変更
【補正の内容】
【００３５】
１０１  Ｘ線ＣＴ装置，ＭＲ装置などの画像診断装置
１０２  ＰＡＣＳサーバーなど
１０３  病院内のネットワークなど
１１１  本発明の三次元画像表示装置
１１２  ネットワークインターフェース
１１３  データ圧縮処理機能
１１４  磁気ディスク
１１５  本発明の三次元画像処理部
１１６  三次元画像処理用圧縮画像メモリ
１１７  圧縮画像データ解凍エンジン
１１８  三次元画像処理エンジン
１１９  画像表示装置
２１１  Ｘ線ＣＴ装置，ＭＲ装置，ＰＡＣＳサーバーなどか送られる画像データ
２１２  受信された画像データ
２１３  データ圧縮処理機能で圧縮された圧縮画像データ
２１４  磁気ディスクから三次元画像処理用圧縮画像メモリに転送される圧縮画像データ
２１６  三次元画像処理用圧縮画像メモリから圧縮画像データ解凍エンジンへ転送される圧縮画像データ
２１７  圧縮画像データ解凍エンジンから三次元画像処理エンジンに送られる，圧縮画像データ解凍エンジンで解凍された画像データ
２１８  三次元画像データ
２５１  三次元画像を作成するために使用する画像データを指定するコンソールなどからの指示
２５２  三次元画像を作成するために使用する三次元画像処理パラメータに関する指示
２５３  三次元画像処理エンジン１１８から圧縮画像データ解凍エンジン１１７に送られる，指定したボクセル座標のボクセル値を提供することを要求する指示
２５４  圧縮画像データ解凍エンジン１１７から三次元画像処理用圧縮画像メモリ１１６に送られる，指定した位置の圧縮画像データを提供することを要求する指示
１１１Ａ  従来の三次元画像表示装置
１１４Ａ  磁気ディスク
１１５Ａ  従来の三次元画像処理部
１１６Ａ  従来の三次元画像処理用画像メモリ
１１８Ａ  三次元画像処理エンジン
２１４Ａ  磁気ディスクから画像データ用メモリに転送される画像データ
２１７Ａ  三次元画像処理用画像メモリ１１６Ａから三次元画像処理エンジン１１８Ａに送られる，指定されたボクセルの画像データ
２５３Ａ  三次元画像処理エンジン１１８Ａから三次元画像処理用画像メモリ１１６Ａに送られる，指定したボクセル座標のボクセル値を提供することを要求する指示
【手続補正１０】
【補正対象書類名】図面
【補正対象項目名】図２
【補正方法】変更
【補正の内容】
【図２】
2006338630.tif 000007
【手続補正１１】
【補正対象書類名】図面
【補正対象項目名】図３
【補正方法】変更
【補正の内容】
【図３】
2006338630.tif 000008
【手続補正１２】
【補正対象書類名】図面
【補正対象項目名】図４
【補正方法】変更
【補正の内容】
【図４】
2006338630.tif 000009