(57)【要約】【課題】ボリュームレンダリング法によって生成される擬似３次元画像のリアリティを向上させる。【解決手段】任意の視点Ｅと、任意の光源Ｓにより照明された３次元画像Ｖが投影される投影面Ｆ上の各画素とを結ぶ複数の視線Ｅｊに沿って、３次元画像をサンプリングした各探査点Ｐｊｉにおける輝度値を用いて、投影面上の画素の画素値を決定する。光源Ｓと各探査点とを結ぶ複数の光線に沿ってその３次元画像をサンプリングした各計算点における不透明度に基づいて、各探査点における照度を算出し、算出された照度に基づいてその探査点における輝度値を決定する。【選択図】図４
2008259699.tif 000002
【特許請求の範囲】
【請求項１】
任意の視点と、任意の光源により照明された３次元画像が投影される投影面上の各画素とを結ぶ複数の視線に沿って、前記３次元画像をサンプリングした各探査点における輝度値を用いて、前記投影面上の画素の画素値を決定するボリュームレンダリング法によって、擬似３次元画像を生成する画像処理方法において、
前記光源と前記各探査点とを結ぶ複数の光線に沿って前記３次元画像をサンプリングした各計算点における不透明度に基づいて、前記各探査点における照度を算出し、
算出された前記照度に基づいて、前記各探査点における輝度値を決定することを特徴とする画像処理方法。
【請求項２】
前記各視線を視線Ｅｊ（ｊ＝１、２、…、Ｌ）とし、
前記視線Ｅｊに沿って前記３次元画像をサンプリングした各探査点を探査点Ｐｊｉ（ｉ＝１、２、…、ｎ）とし、
前記光源と前記探査点Ｐｊｉとを結ぶ光線に沿って前記３次元画像をサンプリングした各計算点を計算点ｑｋ（ｋ＝１、２、…、ｍ）とし、
前記計算点ｑｋにおける不透明度がα（ｑｋ）であるとき、
前記探査点Ｐｊｉにおける照度Ｄ（Ｐｊｉ）の算出が、下記式（１）により行われることを特徴とする請求項１記載の画像処理方法。
【数１】
2008259699.tif 000010
前記Ｌは、前記視線の数
前記ｎは、前記視線Ｅｊ上の探査点の数
前記ｍは、前記光源と前記探査点Ｐｊｉとを結ぶ光線上の計算点の数
【請求項３】
任意の視点と、任意の光源により照明された３次元画像が投影される投影面上の各画素とを結ぶ複数の視線に沿って、前記３次元画像をサンプリングした各探査点における輝度値を用いて、前記投影面上の画素の画素値を決定するレイキャスティング手段を備えた、ボリュームレンダリング法によって擬似３次元画像を生成する画像処理装置において、
前記光源と前記各探査点とを結ぶ複数の光線に沿って前記３次元画像をサンプリングした各計算点における不透明度に基づいて、前記各探査点における照度を算出する照度算出手段と、
算出された前記照度に基づいて、前記各探査点における輝度値を決定する輝度値決定手段とを備えたことを特徴とする画像処理装置。
【請求項４】
前記各視線を視線Ｅｊ（ｊ＝１、２、…、Ｌ）とし、
前記視線Ｅｊに沿って前記３次元画像をサンプリングした各探査点を探査点Ｐｊｉ（ｉ＝１、２、…、ｎ）とし、
前記光源と前記探査点Ｐｊｉとを結ぶ光線に沿って前記３次元画像をサンプリングした各計算点を計算点ｑｋ（ｋ＝１、２、…、ｍ）とし、
前記計算点ｑｋにおける不透明度がα（ｑｋ）であるとき、
前記照度算出手段が、前記探査点Ｐｊｉにおける照度Ｄ（Ｐｊｉ）の算出を、下記式（１）により行うものであることを特徴とする請求項３記載の画像処理装置。
【数２】
2008259699.tif 000011
前記Ｌは、前記視線の数
前記ｎは、前記視線Ｅｊ上の探査点の数
前記ｍは、前記光源と前記探査点Ｐｊｉとを結ぶ光線上の計算点の数
【請求項５】
コンピュータに、任意の視点と、任意の光源により照明された３次元画像が投影される投影面上の各画素とを結ぶ複数の視線に沿って、前記３次元画像をサンプリングした各探査点における輝度値を用いて、前記投影面上の画素の画素値を決定するボリュームレンダリング法によって、擬似３次元画像を生成する画像処理を実行させるためのプログラムにおいて、
前記光源と前記各探査点とを結ぶ複数の光線に沿って前記３次元画像をサンプリングした各計算点における不透明度に基づいて、前記各探査点における照度を算出し、
算出された前記照度に基づいて、前記各探査点における輝度値を決定することを特徴とするプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、ボリュームレンダリング法によって、多数の２次元画像の群からなる３次元画像データから擬似３次元画像を生成する画像処理方法および装置ならびにプログラムに関するものである。
【背景技術】
【０００２】
被写体の３次元的な構造等の把握を容易にするため、ＣＴ装置、ＭＲＩ装置、超音波診断装置等により取得された多数の２次元画像の群からなる被写体の３次元画像データを、コンピュータグラフィックスの技術等を用いて２次元平面上に立体的に可視化した擬似３次元画像を生成・表示する処理が行われている。
【０００３】
このような擬似３次元画像を生成する方法としては、たとえば特許文献１に示されているように、３次元画像を構成する各ボクセルに不透明度（Opacity）およびＲ、Ｇ、Ｂの色情報を割付け、観察する側から投影面の各画素へのボクセル追跡（レイキャスティング）を行い、被写体の組織間の境界面のみならず内部の情報構造も多重に透かして可視化するボリュームレンダリング法が知られている。
【０００４】
このようなボリュームレンダリング法においては、任意の光源を設定し、その光源により照明された３次元画像中の任意の点に対して、光源からその点に入射される光の入射方向と、その点における画素値の勾配値により規定された面の傾斜との関係に基づいて、立体感を表現する「陰影づけ」処理が行われている。具体的には、３次元画像中の任意の点ＰＶにおける輝度値ｂ(ＰＶ)の算出を、下記の式（２）に示すように、予め被検体の組織毎（ＣＴ値等の入力画素値毎）に定義された色情報に基づいて割り当てられた色情報ｃ(ＰＶ)に、その点ＰＶにおける画素値の勾配により規定される面の法線ベクトルＮ(ＰＶ)と、点ＰＶから光源への単位ベクトルＬとのベクトル内積を積算することにより行う。ここで、ｈは拡散反射によるシェーディング係数である。
【数１】
2008259699.tif 000003
【特許文献１】特開２００６−０００３３８号公報
【発明の開示】
【発明が解決しようとする課題】
【０００５】
しかし、上記従来の技術における陰影処理では、光源から発せられた光が３次元画像中の各点へ照射されるとき、任意の他の被写体の像により遮られて生ずる照度の減衰が考慮されていないため、たとえば、図６（ａ）に示すように、被写体Ｂを照射する光源Ｓから発せられた光の一部が被写体Ａにより遮られ、被写体Ｂ上に被写体Ａの影が現れるはずの場合にも、図６（ｂ）に示すように、ボリュームレンダリングにより生成された擬似３次元画像Ｉ２は、そのような影が表現されない不自然な画像となるという問題がある。
【０００６】
本発明は、上記事情に鑑み、ボリュームレンダリング法によって生成される擬似３次元画像のリアリティを向上させる画像処理方法および装置並びにそのためのプログラムを提供することを目的とするものである。
【課題を解決するための手段】
【０００７】
本発明の画像処理方法は、任意の視点と、任意の光源により照明された３次元画像が投影される投影面上の各画素とを結ぶ複数の視線に沿って、その３次元画像をサンプリングした各探査点における輝度値を用いて、投影面上の画素の画素値を決定するボリュームレンダリング法によって、擬似３次元画像を生成する画像処理方法において、光源と各探査点とを結ぶ複数の光線に沿ってその３次元画像をサンプリングした各計算点における不透明度に基づいて、各探査点における照度を算出し、算出された照度に基づいてその探査点における輝度値を決定することを特徴とするものである。
【０００８】
ここで「３次元画像」というのは、多数の２次元画像の群からなる３次元画像データにより構成される仮想的３次元画像であり、「擬似３次元画像」というのは、ボリュームレンダリング法によって生成され、３次元的に可視表示される２次元画像を意味する。
【０００９】
本発明の画像処理装置は、任意の視点と、任意の光源により照明された３次元画像が投影される投影面上の各画素とを結ぶ複数の視線に沿って、その３次元画像をサンプリングした各探査点における輝度値を用いて、投影面上の画素の画素値を決定するレイキャスティング手段とを備えた、ボリュームレンダリング法によって擬似３次元画像を生成する画像処理装置において、光源と各探査点とを結ぶ複数の光線に沿ってその３次元画像をサンプリングした各計算点における不透明度に基づいて、各探査点における照度を算出する照度算出手段と、算出された照度に基づいてその各探査点における輝度値を決定する輝度値決定手段を備えたことを特徴とするものである。
【００１０】
本発明の画像処理プログラムは、上記画像処理方法をコンピュータに実行させるものである。
【００１１】
上記方法および装置ならびにプログラムは、上記各視線を視線Ｅｊ（ｊ＝１、２、…、Ｌ）とし、視線Ｅｊに沿って３次元画像をサンプリングした各探査点を探査点Ｐｊｉ（ｉ＝１、２、…、ｎ）とし、光源と探査点Ｐｊｉとを結ぶ光線に沿って３次元画像をサンプリングした各計算点を計算点ｑｋ（ｋ＝１、２、…、ｍ）とし、計算点ｑｋにおける不透明度がα（ｑｋ）であるとき、探査点Ｐｊｉにおける照度Ｄ（Ｐｊｉ）の算出を、下記式（１）により行うものとすることができる。
【数２】
2008259699.tif 000004
【００１２】
ここで、Ｌは、視線の数であり、ｎは、視線Ｅｊ上の探査点の数であり、ｍは、光源と探査点Ｐｊｉとを結ぶ光線上の計算点の数である。
【発明の効果】
【００１３】
本発明の画像処理方法および装置ならびにプログラムによれば、ボリュームレンダリング法によって擬似３次元画像を生成する際に、光源から発せられた光が３次元画像中の各点へ照射されるとき、任意の他の被写体の像により遮られて生ずるその点における照度の減衰が考慮された陰影処理が行われるようにしたので、リアリティの高い擬似３次元画像を生成することができる。
【発明を実施するための最良の形態】
【００１４】
以下、図面を参照して、本発明の一実施の形態について説明する。
【００１５】
図１は、３次元医用画像処理システムの概要を示すハードウェア構成図である。図に示すように、このシステムでは、モダリティ１と、画像保管サーバ２と、画像処理ワークステーション３とが、ネットワーク９を経由して通信可能な状態で接続されている。
【００１６】
モダリティ１は、被検体を表す３次元医用画像Ｖを取得するものであり、具体的には、ＣＴ装置やＭＲＩ装置、超音波診断装置等である。
【００１７】
画像保管サーバ２は、モダリティ１で取得された３次元医用画像Ｖや画像処理ワークステーション３での画像処理によって生成された医用画像を画像データベースに保存・管理するコンピュータであり、大容量外部記憶装置やデータベース管理ソフトウェア（たとえば、ＯＲＤＢ(Object Relational Database)管理ソフトウェア）を備えている。
【００１８】
画像処理ワークステーション３は、読影者からの要求に応じて、モダリティ１や画像保管サーバ２から取得した３次元医用画像Ｖに対して画像処理を行い、生成された画像を表示するコンピュータであり、特に、読影者からの要求を入力するキーボードやマウス等の入力装置と、取得した３次元医用画像Ｖを格納可能な容量の主記憶装置と、生成された画像を表示するディスプレイとを備えている。
【００１９】
画像データの格納形式やネットワーク９経由での各装置間の通信は、ＤＩＣＯＭ（Digital Imaging and Communications in Medicine）等のプロトコルに基づいている。
【００２０】
図２は、画像処理ワークステーション３のボリュームレンダリング機能に関連する部分を示すブロック図である。図に示すように、画像処理ワークステーション３は、読影者からの要求に応じて、読影対象の患者の３次元医用画像Ｖをモダリティ１や画像保管サーバ２から取得する画像取得手段１０、任意の視点と投影面上の各画素とを結ぶ複数の視線に沿って、３次元医用画像Ｖを所定の間隔でサンプリングした複数の探査点の輝度値と不透明度とを用いて、投影面上の画素の画素値を決定し、ボリュームレンダリング画像（擬似３次元画像）を生成するレイキャスティング手段６０、および生成されたボリュームレンダリング画像をディスプレイに表示する画像表示手段７０から構成されており、レイキャスティング手段６０は、各探査点における輝度値と不透明度をそれぞれ決定する輝度値決定手段４０と不透明度決定手段５０とを備える。また、輝度値決定手段４０は、光源と各探査点とを結ぶ複数の光線に沿って３次元医用画像Ｖをサンプリングした各計算点における不透明度に基づいて、その各探査点における照度を算出する照度算出手段４２、および算出された照度に基づいて、その各探査点における輝度値を算出する輝度値算出手段４３から構成されている。
【００２１】
次に、この医用画像処理システム、特に画像処理ワークステーション３によって、ボリュームレンダリング画像を生成する処理の流れについて説明する。
【００２２】
まず、画像取得手段１０が、読影者からの要求に応じて、読影対象の患者の３次元医用画像Ｖをモダリティ１や画像保管サーバ２から取得する。この３次元医用画像Ｖは、マルチスライス画像をボクセルに分割し、３次元座標空間内に配列してなるものであり、各ボクセルの位置は、被写体の左右方向をｘ軸、前後方向をｙ軸、上下方向をｚ軸とする３次元座標系で定義され、各ボクセルの画素値は、そのボクセルの位置の座標と関連づけられている。
【００２３】
次に、レイキャスティング手段６０が、ボリュームレンダリング画像を構成する画素の画素値（出力画素値）を求める。まず、初期設定ファイルや読影者によるキーボードやマウス等からの入力等により設定された視点Ｅ、光源Ｓ、投影面Ｆ（大きさ、位置、画素数）により、たとえば、図３に示すように、その視点Ｅと投影面Ｆ上の投影画素の各々とを結ぶ複数の視線Ｅｊ（ｊ＝１、２、…、Ｌ；Ｌは、視線の数）に沿って３次元医用画像Ｖを所定の間隔でサンプリングした複数の探査点Ｐｊｉ（ｉ＝１、２、…、ｎ；ｎは、視線Ｅｊ上の探査点の数）を設定する。次に、各視線Ｅｊに沿って、各探査点Ｐｊｉにおける輝度値ｂ(Ｐｊｉ)と不透明度α(Ｐｊｉ)とを後述する輝度値決定手段４０および不透明度決定手段３０により順次取得し、次の式（３）に示すように、それらの積を加算していき、不透明度αの累積が所定の閾値となるか、またはレイが対象としている３次元医用画像Ｖから抜け出たとき、その視線Ｅｊに対する処理を終了し、加算結果をその視線Ｅｊが通る投影面上の投影画素の出力画素値Ｃｊとして決定する。
【数３】
2008259699.tif 000005
【００２４】
このような処理を各視線について行い、投影面上のすべての投影画素の出力画素値を決定し、ボリュームレンダリング画像を生成する。生成されたボリュームレンダリング画像は、画像表示手段７０によって画像処理ワークステーション３のディスプレイに表示される。
【００２５】
次に、輝度値決定手段４０によって、各探査点Ｐｊｉにおける輝度値ｂ(Ｐｊｉ)を決定する処理の流れについて説明する。
【００２６】
輝度値決定手段４０は、照度算出手段４２、および輝度値算出手段４３から構成されており、まず、照度算出手段４２が、各探査点Ｐｊｉにおける光源からの照度Ｄ（Ｐｊｉ）を算出する。図４に示すように、光源Ｅと各探査点Ｐｊｉとを結ぶ光線Ｂｊｉに沿って、３次元医用画像Ｖをサンプリングした各計算点ｑｋ（ｋ＝１、２、…、ｍ；ｍは、光線Ｂｊｉ上の計算点の数）を設定し、設定された各計算点ｑｋにおける不透明度α(ｑｋ)を用いて、下記式（１）により、各探査点Ｐｊｉにおける光源からの照度Ｄ（Ｐｊｉ）を算出する。ここで、算出された照度Ｄ（Ｐｊｉ）は、光源Ｓから各探査点Ｐｊｉへ照射される光が、任意の他の被写体の像により遮られて減衰することによる、照度の低下が反映されたものである。
【数４】
2008259699.tif 000006
【００２７】
次に、輝度値算出手段４３が、照度算出手段４２において算出された各探査点Ｐｊｉにおける照度に基づいて、その探査点の輝度値ｂ(Ｐｊｉ)を、たとえば、次の式（４）により算出する。
【数５】
2008259699.tif 000007
【００２８】
ここで、ｈは、拡散反射によるシェーディング係数である。なお、本実施形態では、環境光や鏡面反射光については考慮していない。また、Ｎ(Ｐｊｉ)は、探査点Ｐｊｉにおける法線ベクトルであり、次の式（５）により算出される。
【数６】
2008259699.tif 000008
【００２９】
ここで、∇ｆ(Ｐｊｉ)は、探査点Ｐｊｉにおける画素値の勾配であり、探査点Ｐｊｉがらｘ軸方向、ｙ軸方向、又はｚ軸方向に近接する６つの近傍点における画素値を用いて、次の式（６）により求めることができる。
【数７】
2008259699.tif 000009
【００３０】
ここで、ｆはその点における画素値を表すものであり、上記各近傍点の画素値は、その近傍点が含まれる格子を構成する８つのボクセルの画素値を線形補間して求める。また、ここでは、簡単のため、Ｐｊｉ＝（ｘ、ｙ、ｚ）としている。
【００３１】
さらに、Ｌは、探査点Ｐｊｉから光源Ｓへの単位方向ベクトル、「・」はベクトルの内積、ｃ(Ｐｊｉ)は、予め被検体の組織毎（ＣＴ値等の入力画素値毎）に定義された色情報に基づき、割り当てられた色情報である。
【００３２】
なお、ここでは、各探査点における画素値の勾配により規定される面の法線ベクトルをその探査点における法線ベクトルとして決定する場合について説明したが、その探査点における画素値の勾配値に限らず、その探査点における不透明度の勾配値により規定される面に基づいて法線ベクトルを決定するなど、他の方法により法線ベクトルを決定してもよい。
【００３３】
次に、不透明度決定手段５０によって、上記各探査点Ｐｊｉにおける不透明度α(Ｐｊｉ)を決定する処理について説明する。各探査点Ｐｊｉにおける不透明度α(Ｐｊｉ)は、予め被検体の組織毎（ＣＴ値等の入力画素値毎）に定義された不透明度に基づき、その探査点Ｐｊｉおける画素値により決定される。なお、各探査点Ｐｊｉの画素値は、その探査点が含まれる格子を構成する８つのボクセルの画素値を線形補間して求める。
【００３４】
なお、上記輝度値の決定処理と不透明度の決定処理とは、互いに独立した処理のため、直列処理で行う場合にはどちらの処理を先に行ってもよいし、並列処理により同時並行で行ってもよい。
【００３５】
このように本発明による画像処理の実施形態となる３次元医用画像処理システムでは、ボリュームレンダリング法によって擬似３次元画像を生成する際に、光源から発せられた光が３次元画像中の各点へ照射されるとき、任意の他の被写体の像により遮られて生ずるその点における照度の減衰が考慮された陰影処理が行われるようにしたので、たとえば、図５（ａ）に示すように、被写体Ｂを照射する光源Ｓから発せられた光の一部が被写体Ａにより遮られ、被写体Ｂ上に被写体Ａの影が現れる場合、図５（ｂ）に示すように、ボリュームレンダリングにより生成された擬似３次元画像Ｉ１に、そのような影が表現でき、リアリティの高い擬似３次元画像を生成することができる。
【００３６】
上記の実施形態では、画像処理ワークステーション３で画像処理と画像表示の両方を行うようにしたが、画像処理サーバを別途設けてネットワーク９に接続し、画像処理はこの画像処理サーバに行なわせるようにしてもよい。これにより、分散処理が図られ、たとえば、画像の表示を複数の端末で行なう場合には、高性能の画像処理ワークステーションを複数台設置する必要がなくなり、システム全体のコストの低減に資する。
【図面の簡単な説明】
【００３７】
【図１】本発明の実施の形態となる３次元医用画像処理システムの概略構成図
【図２】図１の画像処理ワークステーションのボリュームレンダリング機能を示すブロック図
【図３】レイキャスティング手段６０による探査点の設定処理を説明するための図
【図４】照度算出手段４２による照度の算出処理を説明するための図
【図５】本発明の画像処理により生成された擬似３次元画像の一例を示す図
【図６】従来の画像処理方法により生成された擬似３次元画像の一例を示す図
【符号の説明】
【００３８】
１      モダリティ
２      画像保管サーバ
３      画像処理ワークステーション
９      ネットワーク
４０    輝度値決定手段
４２    照度算出手段
４３    輝度値算出手段
５０    不透明度決定手段
６０    レイキャスティング手段
Ｅ      視点
Ｆ      投影面
Ｓ      光源
Ｅｊ     視線
Ｐｊｉ    探査点
ｑｋ     計算点
【図１】
2008259699.tif 000012
【図２】
2008259699.tif 000013
【図３】
2008259699.tif 000014
【図４】
2008259699.tif 000015
【図５】
2008259699.tif 000016
【図６】
2008259699.tif 000017