(57)【要約】【課題】改善されたレンダリング速度を提供する。【解決手段】利用可能なディジタル画像のサイズの増加により、高い表示品位における対話的なレンダリングの速度は常に挑戦的な仕事であり続ける。本発明によれば、投影画像を生成するためのレイ・キャスティングのサンプリング周波数が、レンダリング中に３Ｄボリュームデータから導出した情報に応じて変化する。さらに、レイ・キャスティングを実行せずにスキップした画像中の画素について、この情報に基づく補間を実行する。本発明の利点は、出力画像を生成するために必要な演算時間を低減しつつ、画質の改善を可能にすることにある。
2006526834.tif 000002
【特許請求の範囲】
【請求項１】
三次元ボリューム・データセットをレンダリングする方法において、
投影画像におけるサンプリング周波数を、前記三次元ボリューム・データセットから導出した情報に応じて変化させるステップを具え、
前記情報を、前記レンダリング中に前記三次元ボリューム・データセットから導出することを特徴とする三次元ボリューム・データセットのレンダリング方法。
【請求項２】
前記レンダリングがレイ・キャスティングを含むことを特徴とする請求項１に記載の方法。
【請求項３】
前記情報が、深さ値、表面の法線、視覚方向、及び光ベクトルのうちの少なくとも１つに対応することを特徴とする請求項２に記載の方法。
【請求項４】
次の条件：
前記投影画像中の一対の画素間の、視覚ベクトルと表面の法線との間の角度の差が第１の所定しきい値を超える；
前記投影画像中の一対の画素間の深さ値の差が第２の所定しきい値を超える；
前記投影画像中の画素の深さ値が所定しきい値を超える；
の少なくとも１つが満たされる場合に、前記サンプリング周波数の変化を増加させることを特徴とする請求項２に記載の方法。
【請求項５】
前記投影画像のｎ画素毎にレイ・キャスティングを実行し、ここにｎ∈[2, 3, 4,...∞]であり、前記レイ・キャスティングの周波数を、深さ値及び光反射角の少なくとも一方に基づいて増加させることを特徴とする請求項２に記載の方法。
【請求項６】
前記投影画像中のレイ・キャスティングを実行していない画素を、前記レンダリング中に前記三次元ボリューム・データセットから導出した情報に基づいて補間することを特徴とする請求項６に記載の方法。
【請求項７】
三次元ボリューム・データセットをレンダリングする方法において、
レンダリング中に生成した投影画像が第１の数の画素を有し、
前記第１の数より小さい第２の数の画素に対してレイ・キャスティングを実行するステップと；
前記投影画像の前記第１の数の画素のうち前記レイ・キャスティングを実行していない画素を、前記レイ・キャスティング中に決定した情報から補間するステップと
を具えていることを特徴とする三次元ボリューム・データセットのレンダリング方法。
【請求項８】
前記情報が、深さ値、表面の法線、視覚方向、及び光ベクトルのうちの少なくとも１つに対応することを特徴とする請求項７に記載の方法。
【請求項９】
三次元ボリューム・データセットをレンダリングする画像処理装置において、
前記三次元ボリューム・データセット及び前記レンダリング中に生成した投影画像を記憶するためのメモリーと；
前記三次元ボリューム・データセットから導出した情報に応じて前記投影画像におけるサンプリング周波数を変化させる動作を実行すべく構成された画像プロセッサとを具え、
前記情報を、前記レンダリング中に前記三次元ボリューム・データセットから導出する
ことを特徴とする画像処理装置。
【請求項１０】
三次元ボリューム・データセットをレンダリングする画像処理装置において、
前記レンダリング中に生成した投影画像が第１の数の画素を有し、
前記処理装置が、
前記三次元ボリューム・データセット及び前記レンダリング中に生成した投影画像を記憶するためのメモリーと；
次の動作：
前記第１の数より小さい第２の数の画素に対してレイ・キャスティングを実行する動作；
前記投影画像の前記第１の数の画素のうち、前記レイ・キャスティングを実行していない画素を、前記レイ・キャスティング中に決定した情報から補間する動作；
を実行すべく構成された画像プロセッサと
を具えていることを特徴とする画像処理装置。
【請求項１１】
三次元ボリューム・データセットをレンダリングするためのコンピュータプログラムにおいて、
前記コンピュータプログラムが、プロセッサ上で実行された際に、前記プロセッサに、前記三次元ボリューム・データセットから導出した情報に応じて投影画像におけるサンプリング周波数を変化させる動作を実行させるべく構成され、前記情報は、前記レンダリング中に前記三次元ボリューム・データセットから導出されることを特徴とするコンピュータプログラム。
【請求項１２】
三次元ボリューム・データセットをレンダリングするためのコンピュータプログラムにおいて、
前記レンダリング中に生成された投影画像が第１の数の画素を有し、
前記コンピュータプログラムが、プロセッサ上で実行された際に、次の動作：
前記第１の数より小さい第２の数の画素に対してレイ・キャスティングを実行する動作；
前記投影画像の前記第１の数の画素のうち、前記レイ・キャスティングを実行していない画素を、前記レイ・キャスティング中に決定した情報から補間する動作；
を実行すべく構成されていることを特徴とするコンピュータプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、ディジタル・イメージング（画像処理）、特にボリューム・レンダリング（三次元物体の二次元画像化）を三次元データの可視化に用いるディジタル・イメージングに関するものである。特に本発明は、三次元ボリューム・データセットをレンダリングする方法、三次元ボリューム・データセットをレンダリングする処理装置、及び三次元ボリューム・データセットをレンダリングするコンピュータプログラムに関するものである。
【背景技術】
【０００２】
ボリューム・レンダリングは、三次元空間でサンプリングした関数を、半透明ボリュームの２Ｄ（二次元）投影図を計算することによって可視化する技法である。ボリューム・レンダリングは、ボリューム・データセットを二次元（２Ｄ）画像平面またはフレームバッファ上に投影する。ボリューム・レンダリングは、生物医学、地理、計算流体力学、有限要素モデル、及びコンピュータ化された化学のような種々の学術分野からの三次元データを視覚し分析するために利用することができる。ボリューム・レンダリングは、バーチャルリアリティー（ＶＲ：virtual reality）、コンピュータ支援設計（ＣＡＤ：computer added design）、コンピュータゲーム、コンピュータグラフィックス、特殊効果、等のような３Ｄ（三次元）グラフィックスの応用にも有用である。しかし、これら種々の応用は、ボリューム・データセットを記述するために、３Ｄデータセット、３Ｄ画像、ボリューム画像、２Ｄ画像のスタック（積層）、等のような多種の項目を使用することがある。
【０００３】
画像サイズの増加により、例えば医療領域では、高い表示品位における対話的レンダリングの速度は、コンピュータの演算性能が増加しつつあっても、常に挑戦的な仕事であり続ける。
【０００４】
対話的な可視化の応用を促進するために、解像度を低下させた画像を生成して、後に所望の高解像度にスケーリング（数値変換、拡張）することができる。しかし、その結果は低下した画質である、というのは、詳細部がぼけて、あるいは劣化して見えることがあるからである。
【発明の開示】
【発明が解決しようとする課題】
【０００５】
本発明の目的は、改善されたレンダリング速度を提供することにある。
【課題を解決するための手段】
【０００６】
請求項１に記載の本発明の好適例によれば、上記目的は、投影画像におけるサンプリング周波数を三次元ボリューム・データセットから導出した情報に応じて変化させる、三次元ボリューム・データセットをレンダリングする方法によって達成することができる。本発明の一態様によれば、この情報はレンダリング中に三次元ボリューム・データセットから導出する。
【０００７】
換言すれば、本発明の好適例によれば、投影画像におけるサンプリングの変化は、レンダリング中に三次元ボリューム・データセットから導出した情報に基づく。
【０００８】
本発明の好適例によれば、高い画質を維持しつつ、高速での対話的な可視化が促進されることが有利である。例えば画像のアップサンプリング（増加した周波数でのサンプリング）と比べれば、本発明のこの好適例は、性能損失なしに、あるいは無視できる程度の性能損失のみで改善された画質をもたらす。全解像度でのサンプリングに比べて、本発明のこの好適例は、３倍の速度向上（各次元における２倍のアップサンプリングに対して；サンプリング倍率がより高いほど、速度向上がより大きい）をもたらすことができる。しかし、速度向上はそれぞれのハードウェアに付随して異なり得るので、異なる速度向上が達成され得る。
【０００９】
請求項２及び３に記載の本発明の好適例によれば、前記レンダリングがレイ・キャスティング（投光）を含み、このレイ・キャスティングは、深さ値及び光反射角の計算または決定を含む。本発明の一態様によれば、投影画像におけるサンプリング周波数は、深さ値、表面法線、視覚方向（視角）、及び光ベクトルのうちの少なくとも１つに合わせて変化する。
【００１０】
本発明のこれらの好適例によれば、レイ・キャスティングを用いて、解像度を低下させた投影画像を生成する。レイ・キャスティング中に決定した深さ値及び光反射角に応じて、投影画像の細部を示す領域を識別して、これらの領域についてサンプリング周波数を増加させ、即ち、これらの領域の解像度を向上させるべく追加的な光線を投光する。
【００１１】
請求項４に記載の本発明の他の好適例によれば、投影画像中の一対の画素間の、視覚ベクトルと表面法線との間の角度の差が第１の所定しきい値を超える場合に、投影画像中の一対の画素間の深さ値の差が第２の所定しきい値を超える場合に、あるいは投影画像中のある画素の深さ値が所定しきい値を超える場合に、サンプリング周波数の変化を増加させる。本発明の好適例によれば、投影画像中の、解像度を増加させるためにサンプリング周波数を増加させなければならず追加的な光線を投光すべき領域を識別するための、非常に高速かつ効率的な方法が提供され、これらの領域は、低いサンプリング周波数では不十分な領域であるか、あるいはサンプリング周波数をさらに低減することのできる領域である。
【００１２】
請求項５または６に記載の本発明の好適例によれば、投影画像の第２画素、第３画素、第４画素等毎にレイ・キャスティングを実行する。本発明のこれらの好適例の一態様によれば、投影画像中のレイ・キャスティングを実行していない画素を、レンダリング中に三次元データセットから導出した情報、例えばレイ・キャスティングを実行した隣接する画素の深さ値及び反射角に基づいて補間する。換言すれば、本発明のこれらの好適例によれば、追加的なレイ・キャスティングを実行しておらず画像情報が得られていない画素が存在する画像中の領域では、これらの画素を包囲する画素の深さ値及び光反射角を補間し、画素シェーディング（陰影付け）を適用して欠けている画素を生成し、即ち欠けている画素の情報を決定する。
【００１３】
レンダリング中に導出した情報に基づく補間により、特にレイ・キャスティングにおいて、改善された最終画像をぼけ及び劣化なしに提供することができることが有利である。
【００１４】
請求項７に記載の本発明の好適例によれば、レンダリング中に生成した投影画像が第１の数の画素を有する方法が提供される。本発明の一態様によれば、第２の数の画素に対してレイ・キャスティングを実行し、この第２の数は前記第１の数より小さい。空間的な三次元を最終的な２Ｄ投影で表示するために必要な計算の労力を低減しつつ改善された画質を可能にするために、レイ・キャスティングを実行していない画素について、レイ・キャスティング中に三次元ボリューム・データセットから導出した情報に基づく補間を行う。請求項８に記載の本発明の好適例によれば、この情報は深さ値及び光反射角の少なくとも一方に対応する。
【００１５】
本発明の好適例によれば、高速での対話的な可視化が促進される。さらに、例えば画像のアップサンプリングに比べて改善された画質を有する画像を、非常に短時間で計算することができる。全解像度でのレンダリングに比べて、上記の本発明の好適例は、非常に良好な画質を維持しつつ、少なくとも３倍、あるいはそれ以上の大幅な速度向上を可能にする。
【００１６】
請求項９及び１０に記載の本発明の好適例によれば、各々がメモリー及びプロセッサを具えた画像処理装置が提供される。本発明によれば、これらの画像処理装置は本発明による方法を実行すべく構成されている。本発明の好適例によれば、三次元空間でサンプリングした関数の２Ｄ投影における非常に高速な可視化を可能にする。さらに、必要な計算ステップ量が低減されることにより、低い演算能力のプロセッサを使用して、本発明による画像処理装置のコストを大幅に低減することができる。
【００１７】
請求項１１及び１２に記載の本発明の好適例によれば、コンピュータプログラムをプロセッサ上で実行した際に、本発明による方法に対応する動作をプロセッサに実行させるプログラムが提供される。これらのコンピュータプログラムは、例えばＣ＋＋のようなあらゆる適切なプログラミング言語で記述することができ、そして、例えばＣＤ−ＲＯＭのようなコンピュータ読取可能媒体上に記憶することができる。また、これらのコンピュータプログラムは、ワールドワイド・ウェブ（ＷＷＷ）のようなネットワークから入手可能であり、こうしたネットワークから画像処理ユニットまたはプロセッサ、あるいは何らかの適切なコンピュータにダウンロードすることができる。
【００１８】
本発明の好適例の要点として、投影画像のサンプリングは、レンダリング中に三次元ボリューム・データセットから導出した情報に応じて変化する、ということが見られる。さらに本発明の一態様によれば、投影画像中のスキップした（飛ばした）画素を、レンダリング中に導出したこの情報に基づいて補間する。この情報は例えば、少なくとも深さ値または光反射角に対応する。
【００１９】
本発明のこれら及び他の態様は、以下に記載の実施例の説明より明らかになる。
【００２０】
以下、本発明の好適な実施例について図面を参照しながら説明する。
【発明を実施するための最良の形態】
【００２１】
図１に、本発明による画像処理装置の好適な実施例を示す。図１に示す画像処理装置は、メモリー９を有する画像処理兼制御プロセッサ１を具え、メモリー９には、三次元ボリューム・データセット及びレンダリング中に生成した投影画像を記憶することができる。画像処理兼制御プロセッサ（ＣＰＵ）１は、バスシステム３を介して撮像装置（図１には示さず）、例えばＭＲ（magnetic resonance：磁気共鳴）装置、ＵＳ（ultrasonic：超音波）装置、あるいはＣＴ（computerized tomography：コンピュータ断層撮影）装置に結合することができる。画像処理兼制御プロセッサ１によって生成した画像は、画像処理兼制御プロセッサ１に接続したモニター７上でオペレータ（操作者）に対して表示することができる。オペレータは、キーボード５、あるいは例えばマウスまたはトラックボール他の入力手段（図１には示さず）を介して画像処理兼制御プロセッサ１にアクセスすることができる。
【００２２】
以下では、結腸を通るハエ（蝿）を示す映画を生成して結腸壁の異常を斑点で示す簡易な方法を提供する仮想的な内視術あるいは仮想的な結腸内視術の例を参照しながら本発明を説明する。しかし、本発明はこの例あるいは他の医療用途に限定されず、三次元またはより高次元のサンプルデータとして表現される物体またはモデルを扱うあらゆる種類の用途に適用及び利用することができる。
【００２３】
図２に、ボリュームデータから２Ｄ画像を生成する方法を簡略化した表現で示す。
【００２４】
図２の参照番号２は、三次元ボリューム・データセット、即ちボリュームデータを表わす。既に上述したように、ボリュームデータは、例えば超音波装置、ＣＴ装置、あるいはＭＲＩ（magnetic resonance imaging：磁気共鳴撮像）装置から取得することができる。しかし、上述したように、この三次元ボリューム・データセットは、コンピュータによって生成してコンピュータグラフィックスで表現することもできる。最初のステップでは、三次元ボリューム・データセット２から、投影画像を表現する中間データ４を生成する。このことはレイ・キャスティングによって行うことができ、ここではレイ・キャスティングを投影画像の各画素Ｓ0,0〜Ｓ4,4に対して実行して、視点から対応する表面上の点までの距離、及び視覚ベクトルとこの点における表面の法線との間の角度を計算する。
【００２５】
【非特許文献１】”Display of Surfaces from Volume Data”, IEEE Computer Graphics and Application, Vol. 8, No. 5, 1988
【００２６】
こうした方法は、例えばM. Levoy著、”Display of Surfaces from Volume Data”, IEEE Computer Graphics and Application, Vol. 8, No. 5（1988年）の29〜37頁にさらに詳細に記載され、その内容は参考文献として本明細書に含める。
【００２７】
図２に見られるように、各画素Ｓ0,0〜Ｓ4,4は、深さ値、光反射角、及び前記点における表面の法線のうちの少なくとも１つに関する情報を含むことができる。また、視覚方向及び光ベクトルに関する情報を含むこともできる。
【００２８】
【非特許文献２】”Illumination for Computer-Generated Pictures”, Communications of ACM, Vol. 18, No. 3, 1975年
【００２９】
次に、これに続くステップでは、中間データ４即ち投影画像を、シェーディング（陰影付け）モデルに基づいて、グレー値またはカラー値８に変換して、現実的な解剖の印象を与えることができる。適切なシェーディングモデルは、例えばPhong, Bui-Tuong著、”Illumination for Computer-Generated Pictures”, Communications of ACM, Vol. 18, No. 3（1975年）の311〜317頁より知ることができ、その内容は参考文献として本明細書に含める。
【００３０】
複雑性の観点から、三次元ボリューム・データセットと中間データ４との間のレイ・キャスティングは、速度に関して最も厳しいステップである、というのは、トリリニア補間またはトリキューブ補間を含む大きな三次元データセットの処理を含むからである。さらに、このステップは高コストで不規則なメモリーアクセスを必要とする。シェーディングに必要なＣＰＵ時間は、三次元ボリューム・データセット２と中間データ４との間のレイ・キャスティングに必要なＣＰＵ時間に比べれば無視できる、というのは、処理すべきデータの総量が１オーダー小さく、即ち三次元の代わりに二次元であるからである。
【００３１】
図３に、本発明の好適な実施例による図１の画像処理装置を動作させる方法を更に説明するための簡略化した表現を示す。図３を参照して説明する方法は、例えばＣ＋＋のような適切なプログラミング言語で記述したコンピュータプログラムとして実現することもできる。こうしたコンピュータプログラムは、ＣＤ−ＲＯＭのようなコンピュータ読取可能媒体上に記憶することができ、あるいはワールドワイド・ウェブのようなネットワーク経由で提供することができ、このコンピュータプログラムはこうしたネットワークからプロセッサ、適切なコンピュータ、あるいは適切な画像処理装置のメモリーにダウンロードすることができる。
【００３２】
図３に見られるように、三次元ボリューム・データセット２の取得後に、適応レイ・キャスティングを実行して中間データ４即ち投影画像を得て、こうしたレイ・キャスティングは例えば、M. Levoy著、”Display of Surfaces from Volume Data”, IEEE Computer Graphics and Application, Vol. 8, No. 5（1988年）の29〜37頁にさらに詳細に記載され、その内容は参考文献として本明細書に含める。しかし、図３に見られるように、レイ・キャスティングはまず投影画像のｎ画素毎（ｎ−１画素おき）にのみ実行し、ここにｎ∈[2; 3; 4;...∞]である。図３の例では、レイ・キャスティングは最初に、投影画像の両次元、即ち投影画像のｘ及びｙ次元について２画素毎（１画素おき）にのみ実行し、従って投影画像の総画素数の25%のみに対して実行する。次に、本発明によれば、これに続くステップにおいて、こうしたアンダーサンプリング（低減した周波数でのサンプリング）が画質に大きな損失を生じさせる投影画像中の領域を特定する。換言すれば、このステップでは、投影画像中の、低減したサンプリング周波数が許容でき画質の劣化を生じさせない領域と、こうした周波数を低減したサンプリングまたはアンダーサンプリングが画質に大きな損失を生じさせ、従ってサンプリング周波数の増加が必要な領域とを識別する。アンダーサンプリングが画質に大きな損失を生じさせる領域は、例えば、
−表面の向きの変化が大きい領域、
−エッジ（端）を含む領域、例えば表面のしわ、及び、
−遠近法（透視）の投影の結果として表面構造が小さく見える、最終的な画像中の遠く離れた領域。
【００３３】
これらの領域は次のように識別することができる：
投影画像Ｓ0,0〜Ｓ4,4の画素中の所定画素ｐについて、αpは視覚ベクトルと表面の法線との間の角度であり、画像傾度とも称する。量ｚpはこの画素の深さ値を表わす。さらに、Δｚp及びΔαpは、隣接画素間のそれぞれの値の最大差である。これらの値αp、ｚp、Δｚp及びΔαpは、レイ・キャスティングのステップの結果から決定することができる。
【００３４】
その後の画素ｐの補間が画質を損なわせないこと、即ち、最終的な画像にぼけ及び歪みを生じさせないを保証するために、アンダーサンプリングが画質に大きな損失を生じさせる上記領域を識別することができることに基づいて、次の基準を公式化する。また、これらの基準は、その後の補間が、レイ・キャスティングを実行せずスキップした画素ｐの十分良好な補間を可能にすることを保証する。
【００３５】
第１の基準によれば、一対の画素間の、視覚ベクトルと表面の法線との間の角度αpの差Δαpが所定限度Δαmaxを超えることである。換言すれば、この基準を満たす一対の画素間にある画素、あるいはこの基準を満たす少なくとも２つの画素に囲まれた画素に対して、サンプリング周波数を増加させて追加的なレイ・キャスティングを実行し、即ち、これら一対または２つの画素間の、視覚ベクトルと表面の法線との間の角度の差がしきい値を超える。この基準は次式のように公式化することができる：
Δαp＞Δαmax
【００３６】
第２の基準は、一対の画素間の深さ値の差に基づくものである。この基準によれば、一対の画素間の深さ値の差が所定の限度またはしきい値を超える場合に、この基準を満たすこれら一対の画素に隣接する画素、あるいはこれら一対の画素の付近の画素に対して、サンプリング周波数を増加させて追加的なレイ・キャスティングを実行する。この第２の基準は次式のように公式化することができる：
Δｚp＞Δｚmax
【００３７】
第３の基準は深さ値に基づくものである。この基準によれば、深さ値が所定の限度またはしきい値より大きい場合にサンプリング周波数を増加させる。第１及び第２の基準とは対照的に、この基準は一対の画素ではなく単一の画素について公式化される。数学的には、この基準は次式によって記述することができる：
ｚp＞ｚmax
【００３８】
なお、画素対に関する代わりに、上記の方法は３、４個、あるいは複数の画素に容易に拡張することができる。
【００３９】
なお、本発明は平行投影にも適用することができる。この場合には第３の基準は用いない。
【００４０】
上述したように、図３における最初のレイ・キャスティングは、両次元において２画素毎にのみ実行している。投影画像中にバー（−）で示す残りの画素に対してはレイ・キャスティングを実行していない。次に、サンプリング周波数を低減したレイ・キャスティングの後に、投影画像について上記３つの基準をチェックする。図３に見られるように、画素Ｓ3,0については上記基準のうちの１つが満たされている。本発明によれば、上記３つの基準のうちの少なくとも１つが満たされていることにより、この画素Ｓ3,0に対して、サンプリング周波数を増加させて破線６で示す追加的なレイ・キャスティングを実行する。換言すれば、Ｓ3,0については、深さ値ｚ3,0、及び視覚ベクトルと表面の法線との間の角度α3,0がレイ・キャスティングによって正確に決まる。
【００４１】
次に、これに続くステップでは、図３の投影画像または中間データ４中にバー（−）で示すレイ・キャスティングを実行していない画素についての補間を実行する。この補間中には、本発明の一態様によれば、レイ・キャスティング中に特定した情報から、これらの画素Ｓ’0,1, Ｓ’0,3, Ｓ’1,0, Ｓ’1,1, Ｓ’1,2, Ｓ’1,3, Ｓ’1,4, Ｓ’2,1, Ｓ’2,3, Ｓ’3,1, Ｓ’3,2, Ｓ’3,3, Ｓ’3,4, Ｓ’4,1, 及びＳ’4,3を補間する。換言すれば、これらの画素値を、深さ値及び光反射角の少なくとも一方に基づいて、レイ・キャスティングを実行した周囲の画素から決定する。
【００４２】
これに続くステップでは、レイ・キャスティングを実行していない画素についての残りのｚ及びαの値を補間した後に、全解像度でのシェーディングを実行して、モニター７上でオペレータに対して表示する最終的な画像８を生成する。適切なシェーディング方法は、例えばPhong, Bui-Tuong著、”Illumination for Computer-Generated Pictures”, Communications of ACM, Vol. 18, No. 3（1975年）の311〜317頁に記載され、その内容は参考文献として本明細書に含める。
【００４３】
上述した方法によれば、投影画像におけるサンプリングは、レンダリング中、即ちレイ・キャスティング中に三次元ボリューム・データセットから導出した情報に基づいて変化する。さらに、本発明によれば、スキップした画素の補間を実行して、レイ・キャスティングを実行していないこれらのスキップした画素についての情報を決定する。換言すれば、レイ・キャスティングを用いて、例えば解像度を低減した表面レンダリングを生成する。レイ・キャスティングのステップからの深さ値及び光反射角に応じて、細部を示す領域を識別して追加的な光線を投光（レイ・キャスティング）して解像度を増加させる。他の領域では、深さ値及び光反射角を補間し画素シェーディングを適用して、欠けた画素を生成する。
【００４４】
画像のアップサンプリングに比べて、上述した本発明の好適な実施例は、性能損失または速度損失なしに、あるいは無視できる程度の性能損失または速度損失のみで、改善された画質を可能にする。例えば全解像度でのレンダリングに比べて、上述した方法は、例えば各次元における２倍のアップサンプリングに対して、少なくとも３倍の速度向上を促進することができる。一般に、より大きいアップサンプリング倍率がより高い速度向上を生じさせる。しかし、より小さい速度向上倍率を達成することもできる。
【００４５】
図３を参照して説明した方法では、まず、投影画像のすべての正確な画素を決定し、次に基準をチェックして、追加的なレイ・キャスティングによってさらなる画素を決定する。最後に補間を実行する。
【００４６】
本発明の一態様によれば、これらのステップを別個に次々に実行せずに、投影画像の選択した（部分）領域に対して、これらのステップを組み合わせて実行する。
【００４７】
上述したように、サンプリング周波数は、深さ値、表面の法線、視覚方向、及び光ベクトルのうちの少なくとも１つに基づいて変化させることができる。本発明の好適な実施例によれば、表面の傾斜ベクトル、即ち表面の法線と視覚方向との間の角度、及び深さ値に基づいてサンプリング周波数を変化させる。
【００４８】
図５に内視鏡画像の例を示し、この画像に上述した方法を適用した。図４に、正確に計算した光線の密度を示し、図４の比較的暗い領域は、増加したサンプリング周波数を用いていない領域を示し、図４の比較的明るい領域は、増加したサンプリング周波数を用いた領域を示す。画像のサイズは3002画素であり、上述した本発明の好適な実施例によれば、最初のレイ・キャスティングは、各次元における画素が２つ毎（１つおき）にレイ・キャスティングによってカバーされるように実行した。従って、レイ・キャスティングは全画素の25%に対して実行した。残りの画素の約12%は、上述した３つの基準のうちの１つを満たした。従って、これらの12%の画素に対して追加的なレイ・キャスティングを実行し、即ち、これらの画素についてはサンプリング周波数を増加させた。従って、図４及び５の各画素に対してレイ・キャスティングを実行する全解像度でのレンダリングに比べれば、高価なレイ・キャスティングの動作の63%が解消され、これによりレンダリング動作の大幅な速度向上が可能になった。図４及び５の場合には、このことが約３倍の速度向上につながる。
【００４９】
上述したように、本発明は２つのメカニズム、即ち可変サンプリング周波数の適応レイ・キャスティング、及び中間データ４、即ち投影画像におけるデータ補間を用いる。本発明の一態様によれば、両方のメカニズムを組み合わせて用いる必要はない。適応サンプリングは、例えば最大輝度投影（ＭＩＰ：maximum intensity projection）または直接的なボリューム・レンダリングのような他のレンダリング技法と組み合わせて用いることができる。
【００５０】
中間データの補間は、画像領域の再フォーマット化の代わりとしても用いることができ、そしてより良好な画質を提供することができる、というのは、中間画像の表現は、最終画像において失われた情報を含むからである。
【００５１】
また、本発明によるメカニズムは、二次元画像の圧縮、及び３Ｄデータセットからのレンダリングによって生成した映画に適用することもできる。
【図面の簡単な説明】
【００５２】
【図１】本発明の好適な実施例による画像処理装置を図式的に示す図であり、本発明による方法の好適な実施例を実行すべく構成されている。
【図２】本発明の好適な実施例をさらに説明するための簡略化した表現である。
【図３】本発明の好適な実施例をさらに説明するための他の簡略化した表現である。
【図４】図５において、本発明の好適な実施例によるサンプリング周波数を増加させてサンプリングを実行した領域を示す図である。
【図５】本発明の好適な実施例によって決定した内視鏡画像の例を示す図である。
【図１】
2006526834.tif 000003
【図２】
2006526834.tif 000004
【図３】
2006526834.tif 000005
【図４】
2006526834.tif 000006
【図５】
2006526834.tif 000007
【手続補正書】
【提出日】平成17年12月13日(2005.12.13)
【手続補正１】
【補正対象書類名】図面
【補正対象項目名】図１
【補正方法】変更
【補正の内容】
【図１】
2006526834.tif 000008
【手続補正２】
【補正対象書類名】図面
【補正対象項目名】図２
【補正方法】変更
【補正の内容】
【図２】
2006526834.tif 000009
【手続補正３】
【補正対象書類名】図面
【補正対象項目名】図３
【補正方法】変更
【補正の内容】
【図３】
2006526834.tif 000010
【国際調査報告】
2006526834.tif 000011
2006526834.tif 000012
2006526834.tif 000013