(57)【特許請求の範囲】
【請求項１】
積み上げ三次元画像の内部へ次々に視点を更新設定する第１のステップと、
各視点毎にその視点を起点とする円筒形の腹控鏡モデルの設定及びこのモデルの前方への投影面の設定を行う第２のステップと、
この腹控鏡モデルの内部用と外部用とで互いに異なる抽出条件を設定する第３のステップと、
各視点毎に、その視点からこの腹控鏡モデルを中心投影法によって上記第２のステップによって設定された投影面に中心投影を行うと共に、この中心投影に際して、腹控鏡モデルの円筒形内部の画像領域と円筒形外部の画像領域とで、上記第３のステップによって設定された異なる抽出条件にて、投影対象となる画素を抽出しておき、かくして抽出した画素に対して陰影化を行う第４のステップと、
を備える擬似三次元画像構成法。
【請求項２】
上記円筒形外部の画素の抽出条件は内臓抽出条件、円筒形内部の画素の抽出条件はその内臓内部の血管抽出条件とする請求項１の擬似三次元画像構成法。
【請求項３】
積み上げ三次元画像を格納する記憶手段と、この記憶手段の三次元画像を投影処理して擬似三次元画像を得、表示する処理手段と、を備える投影画像表示装置において、
上記処理手段は、
積み上げ三次元画像の内部へ次々に視点を更新設定する第１の手段と、
各視点毎にその視点を起点とする円筒形の腹控鏡モデルの設定及びこのモデルの前方への投影面の設定を行う第２の手段と、
この腹控鏡モデルの内部用と外部用とで互いに異なる抽出条件を設定する第３の手段と、
各視点毎に、その視点からこの腹控鏡モデルを中心投影法によって上記第２の手段によって設定された投影面に中心投影を行うと共に、この中心投影に際して、腹控鏡モデルの円筒形内部の画像領域と円筒形外部の画像領域とで、上記第３の手段によって設定された異なる抽出条件にて、投影対象となる画素を抽出しておき、かくして抽出した画素に対して陰影化を行う第４の手段と、
この陰影化して得た擬似三次元画像を表示画面に表示させる第５の手段と、
を備えた投影画像表示装置。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、内視鏡や腹腔鏡で内部を観察するような疑似三次元画像の表示に好適な疑似三次元画像の構成方法及び表示装置に関する。
【０００２】
【従来の技術】
Ｘ線ＣＴ画像を積み上げて三次元画像を得、これを投影面に投影して疑似三次元画像を得る技術がある。手術の支援や治療計画の作成支援に使われる技術である。投影法には平行投影法と中心投影法とがある。
【０００３】
【発明が解決しようとする課題】
外形的な形状や切断形状を観察するには平行投影法が適するが、内視鏡的な動きを模擬した投影画像を得たい場合には、中心投影法が適する。例えば内視鏡や腹腔鏡ではそれを前進させてゆくと、視界がどんどん変化してゆく。然も、内視鏡の先端は小さく、この小さな出力から変化する視界を観察することが要求される。こうした内視鏡であたかも観察しているかの如き、模擬的な疑似三次元画像を得るには、中心投影法が最適である。
【０００４】
出願人は、かかる観点、特に内視鏡的な観察を行った如き投影疑似三次元画像を得るものとして特願平６−３４９２号の出願を行った。ここで、疑似三次元画像とは、積み上げ三次元画像を投影面に投影した画像であるが、投影に際して遠いものは小さく、近いものは大きくする陰影づけアルゴリズムに従っての陰影処理を行い、且つ重ね合う画像位置にあっては遠いものは表示せず最も近い画素のみを表示させるとの隠面化処理を行って得た画像のことである。陰影づけアルゴリズムにはデプス法、サーフェース法、ボリュームレンダリング法等がある。デプス法は、積み上げ三次元画像上の画素位置とその画素位置からの投影面上の投影点との距離Ｒ（中心投影法にあっては距離Ｒとは視点と断層面投影対象点との距離となる）を基準にして、距離Ｒが大きい程、投影点での画素値を小さい値にし、距離Ｒが小さい程、投影点での画素値を大きい値にする処理を云う。サーフェース法は、距離Ｒの代わりに、積み上げ三次元画像の画素周囲の画素値の大小（即ち傾斜の大小）によって投影点の画素値を付与するやり方をとる。ボリュームレンダリング法は、奥行き方向にみた各断層面毎にその透明度を考慮して、透明度に基づく反射と透過とを利用して反射してきたと想定できる画素値を投影点の画素値とするやり方をとる。
【０００５】
投影面への投影に際しては、積み上げ三次元画像の画素位置と投影面の投影点との間での座標変換が不可欠である。この座標変換は、中心投影法に従ったものとなる。尚、投影面とは座標系Ｘ−Ｙで座標化（アドレス化）された投影メモリである。
【０００６】
図８は、中心投影法の説明図である。断層像３０は、Ｘ線ＣＴ画像であり、積み上げられた断層像の中の１つの例を示している。積み上げ断層面は、互いに平行である。積み上げ三次元画像の座標系をｘ、ｙ、ｚとし、ｙ軸が積み上げ位置を示し、ｘ−ｚ平面がＸ線ＣＴ画像の断層平面であって、この平面上の座標位置が（ｘ、ｚ）で定義できることになる。従って、座標値ｙでＣＴ画像の積み上げ位置（実際はＣＴ画像番号と等価）が示され、そのＣＴ画像の画素位置が（ｘ、ｚ）で示される。
【０００７】
図８の投影面２０は、Ｘ線ＣＴ画像３０に比して任意の傾きを持つ。典型的な例がＸ線ＣＴ画像３０に平行であり、一般的には平行でない。どんな投影画像を得たいか、観察目的はどうか等によってその傾きは決まる。図では、投影面２０は、角度α、βで定義した。角度αは、原点から投影面２０に下ろした垂線をｚ−ｘ面に投影した線が、ｘ軸となす角度、角度βは上記垂線がｘ−ｚ面となす角度である。
【０００８】
図８で視点ｅは中心投影法での視点であって、座標は、ｅ（ｘ１、ｙ１、ｚ１）としている。視点ｅから投影面２０に下ろした、投影面との直交点をｃ１（ｘｃ１、ｙｃ１、ｚｃ１）とし、断層像３０の任意の一点画素位置Ｓ（ｘ０、ｙ０、ｚ０）の、投影面２０への投影点をＰ（ｘ、ｙ、ｚ）としている。投影点Ｐに対向する画素位置Ｓを投影対象点と呼ぶ。更に、投影面２０の座標系をＸ、Ｙで示す。又、投影面２０はｘ、ｙ、ｚの各軸と交わるが、そのｘ、ｙ、ｚ軸毎の交点までの距離をａ、ｂ、ｃとしている。
【０００９】
以上の座標関係のもとでの、画素位置Ｓ（ｘ０、ｙ０、ｚ０）を投影点Ｐ（ｘ、ｙ、ｚ）に投影するための投影対象点Ｓと投影点Ｐとの関係及びＰ（ｘ、ｙ、ｚ）を投影面上の座標系の座標Ｐ（Ｘ、Ｙ）に変換する変換式について以下説明する。
まず、投影面２０はｘ、ｙ、ｚ座標系で定義すると、
【数１】
0003595042.tif 000002
で表される。
またｅ点（ｘ１、ｙ１、ｚ１）とＰ点（ｘ、ｙ、ｚ）を通る直線２２はｘ、ｙ、ｚ座標系では、
【数２】
0003595042.tif 000003
で与えられる。
投影面２０がＣ１点（ｘｃ１、ｙｃ１、ｚｃ１）で視点と直交することから、
【数３】
0003595042.tif 000004
としてＰ（ｘ、ｙ、ｚ）のｘ、ｙ、ｚと、この点Ｐの投影面Ｘ、Ｙ座標系での座標をＰ（Ｘ、Ｙ）とするときのＸ、Ｙとの関係は以下となる。
【数４】
0003595042.tif 000005
ここで、上記Ｃ１点（ｘｃ１、ｙｃ１、ｚｃ１）には、例えば、視点ｅ（ｘ１、ｙ１、ｚ１）から投影面２０に下ろした垂線と投影面２０の交わる点（この点と視点ｅ間の距離はｈ）として、
【数５】
0003595042.tif 000006
を使ってもよい。
【００１０】
尚、投影面と表示画面との関係は以下の通りである。投影面とは座標系Ｘ−Ｙで定義した投影メモリであり、この投影メモリの全部又は切り取った一部を表示メモリに送りそれを表示画面で表示する。
【００１１】
投影面２０に投影された画像を表示装置の表示画面（図示せず）上に、縦５１２画素×横５１２画素で表示するとき、Ｘ、Ｙは−２５６から＋２５６までの値をとる。それぞれのＸ、Ｙに対して（数４）によりｘ、ｙ、ｚが決まる。ｅ点のｘ１、ｙ１、ｚ１は任意に与えるので、（数６）により、ｙ０＝ｄ０の断層像上で画素Ｓ点の座標ｘ０、ｚ０が決まる。
【数６】
0003595042.tif 000007
積み上げているために、Ｐ点とｅ点との間には断層像３０が複数存在し、それに伴って、ｄ０も複数個あるので、１組のＸ、Ｙに対して複数の投影すべき点ｘ０、ｚ０が決まる。この複数の投影対象点をそのまま投影点に陰影化して投影すれば重なった表示となり、隠面化処理すれば一番手前の投影対象点の陰影化後の画素値のみが投影されることになる。
【００１２】
尚、図８中のＬは視点ｅからのＳ点までの距離を示すもので、このＬはＰ点の画素値（輝度）を求める際のパラメータ（デプス法上での距離Ｒ）となる。Ｐ点の画素値は陰影化した画素値である。例えば前述のデプス法であればＰ点の画素値は、設定された画素値（輝度）の最大値Ｌｍａｘから上記Ｌを引き算した値に比例する。
以上のような座標変換を、表示画面に相当する投影面２０上の全ての点について行う。且つ、全ての断層像３０について行う。
この方法によれば、投影面２０上に投影されて表示される疑似三次元画像は、あたかも、対象物内部を内視鏡で見ているような画像となる。
【００１３】
しかし上述方法は、食道、気管、腸などのように、対象内部に元々あいている空間内に視点ｅが置かれることを前提としたもので、小さい穴から内部（広がりのある内部）を覗き込んだような疑似三次元画像、特に図９に示すように、腹腔鏡６０で観察しながらそれを被検体６１内に挿入してゆくときに見えるような疑似三次元画像を構成することはできず、そのような画像を得たいという要望を満たすことができなかった。
【００１４】
そこで、特願平６−１７３９７２号で示される三次元画像構成方法が考えられた。これは、ボリューム画像を含む複数の断層像を積み上げて積み上げ三次元画像を得、これを任意の方向から見た二次元画像に陰影づけを行って三次元画像として構成する方法であって、投影面への各断層像の投影に当たり、各断層像の画素座標の投影面上の座標への変換は中心投影法を用いて行い、陰影づけアルゴリズムに従って前記投影面上での各画素座標に画素値を与えて陰影づけを行い、三次元画像として構成する座標画像構成方法において、視点を含む一定の領域を予め設定しておき、前記領域内の画像座標については前記座標変換及び陰影づけをせず、領域外の画素座標についてのみ前記座標変換及び陰影づけを行うものである。
【００１５】
視点を含んで設定された一定の広がり領域が、腹腔鏡から内部を覗き込んだ場合での小さい覗き穴の如き役割を果たし、且つ断層像の画素座標変換には中心投影法を使うので、上記穴の大きさに相当する内部領域を表示（無情報ということ）できるだけでなく、中心投影法で拡大された視野を持つ故に、上記穴の大きさよりも大きなものが見えるようになる。
これにより、小さい穴から内部（広がりのある内部）を覗き込んだような三次元画像、特に図９に示すように、腹腔鏡６０で観察しながらそれを被検体６１内に挿入してゆく時に見えるような三次元画像が得られることになる。
しかしこの方法によると、視点を含んで設定された領域内は、座標変換及び陰影づけを行わないため無情報となり無視されてしまう。かくしてこの領域が持つはずの情報を消去して表示されないことになる。
【００１６】
本発明の目的は、腹腔鏡で実際に覗き込んだ時に得られるような疑似三次元画像の構成方法及び表示装置を提供するものである。
【００１７】
特に、腹腔鏡では被検体内に挿入してゆくとき周囲に血管が現れることから、こうした血管の如き特定物をも表示可能な構成方法及び表示装置を提供するものである。
【００１８】
本発明は、積み上げ三次元画像の内部へ次々に視点を更新設定する第１のステップと、
各視点毎にその視点を起点とする円筒形の腹控鏡モデルの設定及びこのモデルの前方への投影面の設定を行う第２のステップと、
この腹控鏡モデルの内部用と外部用とで互いに異なる抽出条件を設定する第３のステップと、
各視点毎に、その視点からこの腹控鏡モデルを中心投影法によって上記第２のステップによって設定された投影面に中心投影を行うと共に、この中心投影に際して、腹控鏡モデルの円筒形内部の画像領域と円筒形外部の画像領域とで、上記第３のステップによって設定された異なる抽出条件にて、投影対象となる画素を抽出しておき、かくして抽出した画素に対して陰影化を行うステップと、
を備える擬似三次元画像構成法を開示する。
更に本発明は、上記円筒形外部の画素の抽出条件は内臓抽出条件、円筒形内部の画素の抽出条件はその内臓内部の血管抽出条件とする擬似三次元画像構成法を開示する。
【００１９】
更に本発明は、積み上げ三次元画像を格納する記憶手段と、この記憶手段の三次元画像を投影処理して擬似三次元画像を得、表示する処理手段と、を備える投影画像表示装置において、
上記処理手段は、
積み上げ三次元画像の内部へ次々に視点を更新設定する第１の手段と、
各視点毎にその視点を起点とする円筒形の腹控鏡モデルの設定及びこのモデルの前方への投影面の設定を行う第２の手段と、
この腹控鏡モデルの内部用と外部用とで互いに異なる抽出条件を設定する第３の手段と、
各視点毎に、その視点からこの腹控鏡モデルを中心投影法によって上記第２の手段によって設定された投影面に中心投影を行うと共に、この中心投影に際して、腹控鏡モデルの円筒形内部の画像領域と円筒形外部の画像領域とで、上記第３の手段によって設定された異なる抽出条件にて、投影対象となる画素を抽出しておき、かくして抽出した画素に対して陰影化を行う第４の手段と、
この陰影化して得た擬似三次元画像を表示画面に表示させる第５の手段と、
を備えた投影画像表示装置を開示する。
【００２０】
更に本発明は、積み上げ三次元画像を格納する第１の手段と、視点を起点とする視点方向を含む一定の領域を設定する第２の手段と、該一定の領域の内外の画素の投影対象となる画素の抽出条件を異ならしめる第３の手段と、上記第１の手段の画像に対して上記抽出条件に従って抽出した画素のみを、視点方向から投影面に中心投影及び陰影化して投影する第４の手段と、この投影面に得る疑似三次元画像を表示する手段と、より成る投影画像表示装置を開示する。
【００２１】
【発明の実施の形態】
本発明の実施の形態の考え方を図１、図２を用いて述べる。
図２は、腹腔鏡画像モデル２１と断層像３０と投影面２０との関係を示す図である。腹腔鏡画像モデル２１とは、腹腔鏡を押し当てて進ませてゆく中で被検体を観察した如き投影像を得るための、腹腔鏡と同様の円筒外形を持つ円筒モデル図である。簡単のために、腹腔鏡画像モデル２１の先端面２１Ａは、投影面２０に平行であるとする。端面２１Ｂは手前の断層像との接触面を示す。モデル２１の中心線は投影面２０の点２０Ａに直交する。視点ｅから前方を見た時に、この視点から前方に属し、且つモデル２１内部及びモデル２１の外周線上からの投影画像がモデル２１から観察できる領域である。図では、その投影画像の任意の一点を（Ｘ、Ｙ）とし、点２０Ａからの距離をＲ、この一点（Ｘ、Ｙ）への中心線Ｑからの角度をδとしている。図１０にはモデル２１と複数断層像３０との斜視図を示す。４０がモデル２１の通過口である。
【００２２】
本発明の実施の形態の考え方を図１を用いて説明する。モデル２１の形状を円筒形（又は円柱形。以下同じ）とし、その半径をｒ、視点ｅから円筒（領域２１）の先端までの距離をｄとする。
【００２３】
図１（イ）は、抽出条件１、２の設定例であり、モデル２１の外部は抽出条件１（閾値条件１）とし、モデル２１の内部（モデル２１の外周線上を含む）は抽出条件２（閾値条件２）とする例である。抽出条件１と２とは、視点からの投影線の角度γが、モデル２１の左端部輪郭点Ｃ１への角度γ１よりも大きいか小さいか、及び投影線上のＣＴ断層点の正弦値又は余弦値の大きさがｒ又はｄよりも大きいか小さいかで選ぶようにした。
【００２４】
これを図１（ロ）、（ハ）で説明する。図１（ロ）は、投影線の角度γがγ＞γ１の時の投影点Ｐ、Ｐ１、Ｐ２の様子を示す。Ｐ１は視点に最も近いＣＴ断層面３０（＃１）の一点、Ｐは２番目の断層面３０（＃２）の一点、Ｐ２は３番目の断層面３０（＃３）の一点である。これら３つの断層面３０（＃１〜＃３）はいずれもモデル２１と交差している。一方、４番目の断層面３０（＃４）は、モデル２１とは交差していない。
【００２５】
そして視点ｅと各点Ｐ１、Ｐ、Ｐ２との間の距離をそれぞれＬとし、各点からの正弦値Ｌｓｉｎγを求める。この正弦値Ｌｓｉｎγとモデル２１の半径の大きさｒとの大小を比較する。
【００２６】
（１）、Ｌｓｉｎγ＞ｒであれば、その投影点はＰ２の如くモデル２１の外部に存在する。
（２）、Ｌｓｉｎγ＜ｒであれば、その投影点はＰ１の如くモデル２１の内部に存在する。
（３）、Ｌｓｉｎγ＝ｒであれば、その投影点はＰの如くモデル２１の輪郭点となる。
そこで、（１）のＬｓｉｎγ＞ｒであれば抽出条件１を適用し、（２）、（３）のＬｓｉｎγ≦ｒであれば抽出条件２を適用する。
【００２７】
図１（ハ）は、γ＜γ１の事例を示す。Ｐ３が断層面３０（＃４）上の投影点、Ｐ４が断層面３０（＃３）上の投影点を示す。そこで、この場合、各点からの余弦値Ｌｃｏｓγを求め、この余弦値Ｌｃｏｓγとモデル２１の、視点ｅと左側端面との距離ｄとの大小を比較する。
（１）、Ｌｃｏｓγ＞ｄであれば、その投影点はＰ３の如くモデル２１の外部に存在する。
（２）、Ｌｃｏｓγ＜ｄであれば、その投影点はＰ４の如くモデル２１の内部に存在する。
（３）、Ｌｃｏｓγ＝ｄであれば、その投影点はモデル２１の左側端面上に存在する。
そこで、（１）のＬｃｏｓγ＞ｄであれば抽出条件１を適用し、（２）、（３）のＬｃｏｓγ≦ｄであれば抽出条件２を適用する。
【００２８】
図１（イ）には、図１（ロ）、（ハ）の結論を示す。視点ｅから前方でモデル２１の内部（モデル２１の外周線上を含む）領域Ｅ３については抽出条件２を適用し、モデル２１の外部領域Ｅ１、Ｅ２（但し、Ｅ１は図１（ロ）の投影点Ｐ２の如き例、Ｅ２は図１（ハ）の投影点Ｐ３の如き例）については抽出条件１を適用する。
【００２９】
尚、視点ｅの位置が定まり、断層面３０が定まると、各投影点Ｐ（Ｐ１やＰ２も含む概念）はその断層面３０上の各点である故に、各投影点Ｐと視点ｅとの距離Ｌも一義的に定まる。従って、計算上は、各投影点Ｐでの視点ｅとの距離Ｌについて、ｓｉｎγ、ｃｏｓγを右辺に移行して、距離Ｌと（ｒ／ｓｉｎγ）、（ｄ／ｃｏｓγ）との大小を比較するやり方をとればよい。
以上を纏めると以下の如く（１）、（２）、（３）となる。
【００３０】
（１）、投影点ｐが円筒モデル２１の外側の領域Ｅ１にある場合、即ち９０゜＞γ＞γ１の場合、
Ｌ＞（ｒ／ｓｉｎγ）、即ちＬｓｉｎγ＞ｒ
ならば抽出条件１を指定して座標変換及び陰影づけを行い、そうでなければ（３）に跳ぶ。
【００３１】
（２）、投影点ｐが円筒モデル２１の外側面の領域Ｅ２にある場合、即ちγ＜γ１の場合、
Ｌ＞（ｄ／ｃｏｓγ）
ならば抽出条件１を指定して座標変換及び陰影づけを行い、そうでなければ（３）に跳ぶ。
【００３２】
（３）、上記（１）、（２）以外の場合、即ちモデル２１の内部（外周線上を含む）領域Ｅ３では、
Ｌ≦（ｒ／ｓｉｎγ）もしくはＬ≦（ｄ／ｃｏｓγ）
であり、血管を見たいならば抽出条件２を指定して座標変換及び陰影づけを行う。
【００３３】
ここで
【数７】
0003595042.tif 000008
である。
【００３４】
このようにモデル２１の形状を円筒形としたとき、上記（１）、（２）、（３）の場合のみがモデル２１外及びモデル２１内に目的とする画素が存在しているもので、この場合にのみ座標変換及び陰影づけをするものである。尚、投影の仕方や座標変換や陰影づけは後述の図７のやり方と基本的に変わりない。
【００３５】
ここで、第１の抽出条件である第１の閾値条件とは、例えば内臓抽出用であればそのための抽出用閾値であり、第２の抽出条件である第２の閾値条件とは、上記内臓が対象であれば、その内臓に形成されている血管抽出用閾値である。その他、この第１、第２の閾値条件は、腹腔鏡の進行させる如き全ての部位に適用できる。
【００３６】
座標変換は前述中心投影法で行われる。陰影づけには、所定の陰影づけアルゴリズム、例えばデプス法やボリュームレンダリング法が用いられるもので、その陰影づけアルゴリズムに従って前記投影面２０上での各画素座標に画素値を与えるものである。
【００３７】
図３は、本発明による三次元画像構成方法の一実施例を示すフローチャートである。
ステップ２０
投影面上の座標（Ｘ、Ｙ）をＸ＝−２５６、Ｙ＝−２５６とする。
ステップ２１
座標ｙを視点ｅに最も近い断層像３０（＃１）の位置とする。
ステップ２２
座標（Ｘ、Ｙ）と視点ｅを結ぶ直線（これは投影線）と断層像３０との交点ｐ（ｚ、ｘ）を求め、視点ｅから交点ｐまでの距離Ｌを求める。
【００３８】
ステップ２３
交点ｐが円筒モデル領域２１の側面Ｅ１か先端面Ｅ２かを判定する。側面であるときにはステップ２４に、先端面Ｅ２であるときにはステップ２５に跳ぶ。
ステップ２４
交点ｐが円筒（領域２１）の側面Ｅ１の場合には、Ｌ＞（ｄ／ｃｏｓγ）かどうかを判定する。これを満たせばステップ２６に、満たされなければステップ２８に跳ぶ。
【００３９】
ステップ２５
交点ｐが円筒モデル２１の側面Ｅ１の場合には、Ｌ＞（ｒ／ｓｉｎγ）かどうかを判定する。これを満たせばステップ２７に、満たされなければステップ２８に跳ぶ。
【００４０】
ステップ２６、２７
抽出条件１に合う画素があれば、それに従い抽出する。
ステップ２８
視点ｅから交点ｐまでの間において、血管である画素を抽出条件２により抽出する。
ステップ２９
前述座標変換及び陰影づけ処理をする。
ステップ３０
次の断層像３０について処理をするためにｙを更新する。
ステップ３１
全ての断層像３０について上記処理が終了したかどうかを判定する。終了していなければステップ２２に跳ぶ。
【００４１】
ステップ３２
投影点のＸ位置を１画素ずらす。
ステップ３３
Ｘが最大値（＋２５６）かどうかを判定する。最大値でなければステップ２１に戻り、最大値になるまで処理を繰り返す。
ステップ３４
投影点を次のライン上にして（Ｙに１を加えて）、Ｘ＝−２５６とする。
ステップ３５
Ｙが最大値（＋２５６）かどうかを判定する。最大値でなければステップ２１に戻り、最大値になるまで処理を繰り返し、最大値で全ての処理を終了する。
【００４２】
以上により、小さい穴から内部（広がりのある内部）を覗き込んだような三次元画像中に三次元的に前記領域内を走っている血管表示が構成される。
【００４３】
図４は、他の実施の形態の説明図である。ここではモデル２１（この場合は第１の実施の形態とは異なり腹腔鏡モデルとは限らない）の上下の側面のみから見える部分のみ第２の抽出条件とし、左端面から見える部分は第１の抽出条件としたものである。この図４は角度δと抽出条件との関係を説明するための図である。ここでは抽出条件とは閾値とする。モデル２１の先端面２１Ａの円周端部の輪郭点をＰ１とし、視点方向から最前面にある断層像をモデル２１により開いた時のその開いた円の輪郭点をＰ２とする。輪郭点Ｐ２とは、円筒側面での閾値の変更点である。視点ｅと点Ｐ１とを結ぶ直線の、中心線Ｑに対する角度をδ１とする。視点ｅとＰ２とを結ぶ直線の、中心線Ｑに対する角度をδ２とする。
【００４４】
Ｐ１、Ｐ２点、即ちδ１、δ２を基準として以下の如き閾値を与えるものとする。
（１）、投影線（視点と投影対象点と投影点とを結ぶ直線のこと）が、円周端部の点Ｐ１よりも内側の位置Ｐｉ１を通過する如き場合（即ちδ＜δ１の場合）。
そのδ＜δ１を満足する角度δ位置を満足するすべての投影線にあっては、その投影線上の各投影対象点についての画素抽出は、第１の閾値条件を満足する画素値を抽出して投影するものとする。
（２）、投影線がＰ２とＰ１との間の位置Ｐｉ２を通過する如き場合（即ちδ１≦δ≦δ２の場合）。
δ１≦δ≦δ２を満足する角度δ位置を満足するすべての投影線にあっては、その投影線上の各投影対象点についての画素抽出は、第２の閾値条件を満足する画素値を抽出して投影するものとする。
（３）、投影線Ｐ２よりも外側の位置Ｐｉ３を通過する如き場合（即ちδ２＜δの場合）。
δ２＜δを満足する角度δ位置を満足するすべての投影線にあっては、その投影線上の各投影対象点についての画素抽出は、第３の閾値条件を満足する画素値を抽出して投影するものとする。
【００４５】
以上の（１）、（２）、（３）での投影すべき断層像と角度２つの角度δ＝δｉ１、δ＝δｉ２との関係を図５に示す。簡単のため、中心線Ｑと直交する方向に断層像３０Ａ〜３０Ｄが積み上げられているものとしているが、実際上は中心線Ｑとは直交以外の任意の角度をとる。図５では、３つの断層像３０Ａ、３０Ｂ、３０Ｃが視点ｅと投影面２０との間に存在し、断層像３０Ｄが視点ｅの手前にある例としている。そこで、角度δｉ１及びδｉ２での投影に際し、断層像３０Ｄが視点ｅの手前にあるため投影はなされず、断層像３０Ａ、３０Ｂ、３０Ｃが投影対象の画像となる。更に、断層像３０Ａ、３０Ｂ、３０Ｃの全ての画素位置が投影されるのではなく、角度δ＝δｉ１ではこの角度δｉ１に一致する画素位置ａ〜ｇの画素が投影される。角度δ＝δｉ２ではこの角度δｉ２の投影線上の画素位置ａ′〜ｇ′の画素が投影される。但し、ａ〜ｇ、ａ′〜ｇ′とは、図６に示すａ、ａ′の如く円周上点（輪郭点）であり、実際には画素区画に沿って３点以上の複数の画素位置が投影対象となっている。
【００４６】
更に、δ＝δｉ１では、δ１≦δ≦δ２を満足（図４のＰｉ２位置通過）することから、その投影線上の投影対象点については、第２の閾値条件が画素抽出用に選択され、δ＝δｉ２ではδ＜δ１を満足することから第１の閾値条件が選択される。
【００４７】
ここで、閾値と画素抽出との関係を述べる。今１つの投影線上について３つの投影対象位置があり、その画素値（ＣＴ値のこと）をＣＴ１、ＣＴ２、ＣＴ３であるとする。そして閾値がＣＴ０１であるとする。例えば閾値ＣＴ０１よりも大きいＣＴ値を抽出したい場合にはＣＴ１、ＣＴ２、ＣＴ３の中でＣＴ０１よりも大きいＣＴ値を抽出する。ＣＴ０１よりも小さいＣＴ値を抽出したい例もある。こうして抽出した画素値が真の投影対象点の投影対象画素値となる。
【００４８】
尚、（１）、（２）、（３）の区分に際し、角度δ１、δ２、δを使ったが、これらの角度は、視点ｅと交点２０Ａとの距離Ｄ、及び視点ｅからのδ１、δ２、δの角度の直線と投影面との交点と、中心線交点２０との距離ｒと、で表現できる故に、こうしたＤ及びｒを使って、（１）、（２）、（３）の区分分けが可能である。
【００４９】
以上の実施の形態によれば、δ＜δ１であれば第１の閾値条件、δ１≦δ≦δ２であれば第２の閾値条件、δ＜δ２であれば第３の閾値条件が選択され、それらの選択条件にあった画素値の画素が抽出される。そして、この抽出した画素に対して陰影化処理、隠面化処理が施され、中心投影法に基づく疑似三次元画像を得ることができる。尚、第１の閾値条件と第３の閾値条件とを同一とし且つこの閾値条件を内臓の内壁画像を抽出するような閾値条件とし、第２の閾値条件を血管抽出するような閾値条件とすれば、投影面に得られる投影画像は、腹腔鏡を使った時の如く、被検体に穴を開けて覗き込んだ時の如き画像となる。そして腹腔鏡の前方への進行につれて現在の画像は後方へと押しやられ、新しい画像が次々に前方に出現する如き、現実的な画像を得ることができる。ここで、後方へと押しやられてゆく様子がδ２＜δでの投影画像であり、δ１＞δでの投影画像が新しく前方に現れてくる画像となる。
【００５０】
図７には、δ＞δ２による第３の閾値条件をδ＜δ１による第１の閾値条件に一致させ、δ１≦δ≦δ２での第２の閾値条件を血管検出用の閾値とした場合での処理フローを示す。
【００５１】
ステップＳ１
投影面２０上の座標（Ｘ、Ｙ）をＸ＝−２５６、Ｙ＝−２５６とする。この座標（−２５６、−２５６）が開始点となる。投影面はＸ＝−２５６〜＋２５６、Ｙ＝−２５６〜＋２５６に区分されている。
【００５２】
ステップＳ２
投影点（Ｘ、Ｙ）での角度δを求める。この投影点（Ｘ、Ｙ）となる投影線上の全断層像の投影対象点（ｘ、ｙ）を求める。図５の例では、１つの投影点に対して３個の断層像が、視点との間にあるため、投影対象点（ｘ、ｙ）はこの３個の断層像に交わる３点となる。
【００５３】
ステップＳ３
事前に設定した角度δ１、δ２とステップＳ２で求めた角度δとの大小比較を行う。この比較は投影点（Ｘ、Ｙ）の角度が図４のＰｉ１、Ｐｉ２、Ｐｉ３のいずれかに相当するかを判定するためである。
【００５４】
ステップＳ４、Ｓ６
δ＜δ１であれば、その投影点（Ｘ、Ｙ）は、図４のＰｉ１の如き位置に対応していることになり、その投影対象の画素位置の画素値が、第１の閾値条件を満足している時のみ、この満足する画素値を抽出する（ステップＳ４）。δ２＜δであれば、その投影点（Ｘ、Ｙ）は図４のＰｉ３の如き位置に対応していることになり、その投影対象の画素位置の画素値が、第１の閾値条件を満足している時のみ、この満足する画素値を抽出する（ステップＳ６）。
【００５５】
ステップＳ５
δ１≦δ≦δ２であればその投影点（Ｘ、Ｙ）は図３のＰｉ２の如き位置に対応していることになり、その投影対象の画素位置の画素値が第２の閾値条件を満足している時のみ、この満足する画素値を抽出する。
【００５６】
ステップＳ７
ステップＳ４〜Ｓ６で抽出した画素値の陰影づけ処理を行って投影点（Ｘ、Ｙ）に投影する。陰影づけ処理とは、先に述べたボクセル法等による処理であり、例えば図５の例では３つの断層像３０Ａ、３０Ｂ、３０Ｃの交点ａ、ｂ、ｃの中で上記閾値条件を満足する画素値についてのみ、その画素値の画素位置の遠いものは小さい画素値に、近いものは大きい画素値にして投影点（Ｘ、Ｙ）の画素値とする処理である。但し図ではａ、ｂ、ｃの３点が重なるため、隠面化処理により奥側の画素位置は取り除き、抽出画素位置の中で一番手前の画素位置のみの投影を行う。
【００５７】
ステップＳ８、Ｓ９
投影点（Ｘ、Ｙ）の中でＸをＸ＋１に更新する。更新は最大値（Ｘ＝＋２５６）になるまで続ける。
【００５８】
ステップＳ１０、Ｓ１１
投影点（Ｘ、Ｙ）の中でＸをＹ＋１に更新する。更新は最大値（Ｙ＝＋２５６）になるまで続ける。
【００５９】
以上の図７は、１つの視点ｅであったが、視点ｅを前進させてゆく如き例にあっはては、各視点ｅ毎に図１の処理を行う。
図７で閾値条件２を血管抽出用の閾値とすれば、ステップＳ５による処理では、血管のみが抽出できる。閾値条件１は、一般的な内臓の画素抽出用の閾値とすれば、ステップＳ４、Ｓ６による処理ではその一般的な内臓の画像が抽出される。
【００６０】
図１１には、本発明の投影表示装置のシステム図を示す。この投影表示装置は、ＣＰＵ５３、主メモリ５１、磁気ディスク５２、表示メモリ５３、ＣＲＴ５４、コントローラ５５、マウス５６、及び共通バス５７から成る。磁気ディスク５２には、各断層像が格納されており、主メモリ５１の投影表示ソフトウェア（図３又は図７）に従ってＣＰＵ５３が所定の処理を行う。この処理ではマウス５６や、コントローラ５５に付加されているキーボードを利用して入出力処理や処理操作が行われる。積み上げ三次元画像は表示メモリ５３を介してＣＲＴ５４に表示され、オペレータの操作を利用して図３や図７の処理がなされ、第１、第２の閾値条件に合った画像が腹腔鏡等の画像モデルに沿って得られる。又、腹腔鏡等の画像モデルの移動進行につれて内視鏡的にみた画像が次々に画面に出現し、各種の治療計画情報を操作者に提供できる。又、表示内容は磁気ディスク５２に格納され、再表示に利用される。
【００６１】
閾値によって抽出条件を異ならしめるとしたが、ボリュームレンダリング法にあっては透明度の値によって抽出条件を異ならしめるやり方をとればよい。更に図３でモデル２１の内外の抽出条件１、２、図７でのモデル２１の端面と側面での抽出条件１、２の例としたが、これらは一例であって、モデル２１の内外の任意の領域と他の領域との抽出条件の区分等種々設定可能である。またモデル２１も円筒以外の例もある。
尚、断層像をＸ線ＣＴ装置画像としたがＭＲＩ画像にも適用できる。
【００６２】
【発明の効果】
本発明によれば、小さい穴から内部（広がりのある内部）を覗き込んだような三次元画像、特に、腹腔鏡で観察しながらそれを被検体内部に挿入してゆく時に見えるような三次元画像中に、視点を含む本来消去されるはずの領域に三次元的に抽出画像を表示することができる。
【図面の簡単な説明】
【図１】本発明の第１の実施の形態の説明図である。
【図２】腹腔鏡画像モデルによる断層像と投影面との関係を示す図である。
【図３】本発明のフローチャートである。
【図４】本発明の腹腔鏡画像モデルでの閾値処理例を示す図である。
【図５】本発明腹腔鏡画像モデルでの各種投影対象点を示す図である。
【図６】本発明の角度δｉ１と断層像上との関係を示す図である。
【図７】本発明の他のフローチャートである。
【図８】視点と断層像と投影面との関係を示す図である。
【図９】腹腔鏡画像モデルの斜視図である。
【図１０】腹腔鏡画像モデルと断面図とを示す図である。
【図１１】本発明の投影表示装置の一例を示す図である。
【符号の説明】
２０    投影面
２１  腹腔鏡画像モデル
３０  断層像（面）
【図１】
0003595042.tif 000009
【図２】
0003595042.tif 000010
【図３】
0003595042.tif 000011
【図４】
0003595042.tif 000012
【図５】
0003595042.tif 000013
【図６】
0003595042.tif 000014
【図７】
0003595042.tif 000015
【図８】
0003595042.tif 000016
【図９】
0003595042.tif 000017
【図１０】
0003595042.tif 000018
【図１１】
0003595042.tif 000019