(57)【特許請求の範囲】
【請求項１】
視点からの視線方向に三次元原画像、投影面の順で配置し、その配置状態で前記投影面に前記三次元原画像を投影して疑似三次元画像を形成し、該形成された疑似三次元画像を表示装置に表示する工程と、該表示された疑似三次元画像内に現視点とは異なる位置に視点移動方向を設定する点を入力する工程と、前記現視点と前記視点移動方向設定点とを結ぶライン上に基準点を設定する工程と、該設定された基準点を通る仮想平面を求める工程と、前記仮想平面内に新たな視点を設定する工程と、を含むことを特徴とする三次元画像表示方法。
【発明の詳細な説明】
【０００１】
【産業上の利用分野】
本発明は、三次元原画像の内視鏡的映像化を行う疑似三次元画像を形成して表示する方法に関し、特に新たな視点位置の入力に関する。
【０００２】
【従来の技術】
従来、三次元原画像の内視鏡的映像化を行い、形状観察のために三次元空間内の視点を変える際の視点と投影面の更新は、三次元の視点位置、視線方向、視点と投影面の距離を試行錯誤しながら設定し、キー入力することで行われてきた。
【０００３】
【発明が解決しようとしている課題】
キー入力による視点位置の更新では、画像上での視点と画像の対応関係がつきにくく、視点の更新がやりにくいという問題があった。そこで、画面上で画像との位置関係を把握しながら自由に視点を設定し、視点更新を行えることが必要となる。
【０００４】
本発明の目的は、表示画面上の画像に対し、マウスによって二次元ＣＲＴ上で次の三次元空間内の視点位置を入力する方法を提供し、キー入力なしで画面の更新を行えるようにすることである。
【０００５】
【課題を解決するための手段】
上記目的は、視点からの視線方向に三次元原画像、投影面の順で配置し、その配置状態で前記投影面に前記三次元原画像を投影して疑似三次元画像を形成し、該形成された疑似三次元画像を表示装置に表示する工程と、該表示された疑似三次元画像内に現視点とは異なる位置に視点移動方向を設定する点を入力する工程と、前記現視点と前記視点移動方向設定点とを結ぶライン上に基準点を設定する工程と、該設定された基準点を通る仮想平面を求める工程と、前記仮想平面内に新たな視点を設定する工程と、を含むことで達成される。
【０００６】
【作用】
上記達成手段は、以上のような構成を有しているので、基準点を表示された三次元画像内に任意に設定し、この基準点と現に表示されている三次元画像の視点とに基づいて設定した視点設定平面とを表示し、この視点設定平面上に新たな視点を設定するから、キー入力なしで画面の更新を行える。
【０００７】
【実施例】
図１は、本発明の処理の流れである。ただし、ステップ１の初期画面設定は、上記公報に記載した既存の手順による。
各ステップを説明する。
【０００８】
ステップ１では、疑似三次元画像の初期画像を表示する。疑似三次元画像は、中心投影法により視点と投影面との間に介在する三次元画像を投影面に投影した画像を、陰影化処理して得た画像である。表示方法は特願平６−３４９２号に記載の方法を用いる。
初期画像の表示において、視点と視線方向と投影面は初期設定されたものである。
また、表示画面には、図２に示すように、「設定」「再構成」「終了」の３つのアイコンを表示する。
【０００９】
ステップ２では、終了アイコンが選択されたか否かの判断を行う。終了アイコンが選択された場合、プログラムを終了させる。この選択は操作者が行う。
【００１０】
ステップ３では、設定アイコンが選択されたか否かの判断を行う。設定アイコンが選択された場合、ステップ５に移る。この選択は操作者が行う。
【００１１】
ステップ４では、再構成アイコンが選択されたか否かの判断を行う。このステップで再構成アイコンが選択された場合は無視する。この選択は操作者が行う。
【００１２】
ステップ５では、次に見たいと思う方向の任意点Ａを指定する。この指定は操作者が行う。
【００１３】
ステップ６では、新視点を設定するための画面の表示を行う。図２に、新視点の設定のための表示画面遷移図を示す。マウスで画面上の視点を移動させたい方向Ａを指定する（図２（ａ））。現視点の投影面である画面中心ＣとＡを結ぶ線分を表示し、線分上に仮想設定のためのＭ点と直線Ｊ，Ｋを表示する（図２（ｂ））。Ｍをドラックすることで仮想平面を任意に設定する（図２（ｃ））。仮想平面に新視点Ｅ’を設定する（図２（ｄ））。
仮想平面を表す直線Ｊ，Ｋを表示する際、直線Ｊ，Ｋの位置がＣＴ断層像より視点の近くにあるか、遠くにあるかで、区別して表示することにする。投影面上と空間上の位置関係の変換は、以下のように行う。
視点と断層像、投影面、座標軸の位置関係を図３に示す。これは特願平６−３４９２号に示された図であり、三次元座標系と投影面座標系の変換も特願平６−３４９２号に示された変換式を用いて行う。
【００１４】
図３において、座標変換は次のように行われる。
ここで、
ａはｘ軸と投影面２１の交わる点、ｂはｙ軸と投影面２１の交わる点、ｃはｚ軸と投影面２１の交わる点である。
また、αは原点から投影面２１に降ろした垂線をｚ−ｘ面に投影した線がｘ軸となす角度、βは前記垂線がｘ−ｚ面となす角度である。
ｅ点（ｘ１，ｙ１，ｚ１）は視点ｅの位置、Ｐ点（（ｘ，ｙ，ｚ）は投影面（表示画面に相当する）２１上の点、Ｓ点（ｘ０，ｙ０，ｚ０）はｅ点（ｘ１，ｙ１，ｚ１）とＰ点（（ｘ，ｙ，ｚ）を通る直線２２と断層像２３の交わる点とすると、投影面Ｃ１点（ｘｃ１，ｙｃ１，ｚｃ１）を通るとき、特願平６−３４９２号より、
ｋ１＝ｓｉｎ  α
ｋ２＝ｃｏｓ  α／ｓｉｎ  β
ｋ３＝ｃｏｓ  α・ｃｏｓ  α／ｓｉｎ  β
ａｉ＝１／ａ
ｂｉ＝１／ｂ
ｃｉ＝１／ｃ
として、
【数１】
0003623276.tif 000002
【数２】
0003623276.tif 000003
【数３】
0003623276.tif 000004
を用いて（Ｘ，Ｙ）から（ｘ，ｙ，ｚ）へ変換を行う。
【００１５】
さらに、これに新視点設定のための平面が加わると、図４のような位置関係になる。
直線Ｊ，Ｋで示される平面Ｑは、三次元座標系では、投影面上の点Ｍに投影されたｍは、点Ａに投影されたＣＴ画像上の点Ａ０と視点ｅを結ぶ線分Ａ０ｅを、投影面上でのＡＭ：ＭＣの割合で分割する点として定義する。
直線Ｊ，Ｋは、投影面上において点Ｍで直交して表示する。
投影面上の直線上の点（ＸＪ，ＹＪ）の投影前の位置（ｘＪ，ｙＪ，ｚＪ）は、点（ＸＪ，ＹＪ）の三次元座標（ｘＪ，ｙＪ，ｚＪ）を通り、点Ｍと点ｍを結ぶ直線に平行直線が、平面Ｑと交わる点として算出する。算出した点と視点の距離を求め、現在表示されている像より、視点に近い位置の場合、直線をかく。
【００１６】
以下、具体的に説明する。
画面の表示課程を図５に示す。
【００１７】
ステップ５０では、指定された点Ａと画面中央の点Ｃの、表示面での座標値を用いて、線分ＡＣを表示する。
【００１８】
ステップ５１では、ステップ５０で表示した線分ＡＣの中点Ｍ点の初期位置トロイダルして表示する。
【００１９】
ステップ５２では、点Ａに対応するＣＴ画像上の点Ａ０（ｘＡ０，ｙＡ０，ｚＡ０）を算出する。
（数１）〜（数３）を用いて点Ａの投影面上の座標（ＸＡ，ＹＡ）から三次元座標値（ｘＡ，ｙＡ，ｚＡ）を算出する。また、輝度値として保存されている値から、視点と断層像上の点Ａ０の距離を算出して、視点ｅと点Ａの間を線分ＡＡ０：線分Ａ０ｅに分割する座標として、点Ａ０（ｘＡ０，ｙＡ０，ｚＡ０）を求める。
【００２０】
ステップ５３では、点ｍの座標点を求める。
点Ａ（ＸＡ，ＹＡ）、点Ｃ（ＸＣ，ＹＣ）、点Ｍ（ＸＭ，ＹＭ）とし、以下の（数４）、（数５）にてＡＭとＣＭの長さを求める。
【数４】
0003623276.tif 000005
【数５】
0003623276.tif 000006
さらに、現視点ｅ（ｘ１，ｙ１，ｚ１）と点Ａ０（ｘＡ０，ｙＡ０，ｚＡ０）を結ぶ線分Ａ０ｅをＡＭ：ＣＭで分ける点ｍ（ｘｍ，ｙｍ，ｚｍ）を以下から算出する。
【数６】
0003623276.tif 000007
【数７】
0003623276.tif 000008
【数８】
0003623276.tif 000009
【００２１】
ステップ５４では、点Ｍ（ＸＭ，ＹＭ）の三次元座標（ｘＭ，ｙＭ，ｚＭ）を（数１）〜（数３）を用いて算出する。
【００２２】
ステップ５５では、直線Ｍｍの式を求める。点ｍ（ｘｍ，ｙｍ，ｚｍ）から直線Ｍｍは（数９）で表される。
【数９】
0003623276.tif 000010
【００２３】
ステップ５６では、点ｍを通り線分Ａ０ｅに垂直な平面Ｑを求める。点ｍ（ｘｍ，ｙｍ，ｚｍ）を通り、法線ベクトルが（ｘ１−ｘＡ０ｅ，ｙ１−ｙＡ０ｅ，ｚ１−ｚＡ０ｅ）である平面なので、（数１０）で表される。
【数１０】
0003623276.tif 000011
【００２４】
ステップ５７では、投影面上で仮想平面を表す直線上の点（ＸＪ，ＹＪ）を、三次元座標上の座標（ｘＪ，ｙＪ，ｚＪ）に変換する。
【００２５】
ステップ５８では、ステップ５７で求めた座標をとり、直線Ｍｍに平行直線を求める。直線Ｍｍに平行であるから方向ベクトルが同じであり、ステップ５７で求めた座標も通るので、
【数１１】
0003623276.tif 000012
のようになる。
【００２６】
ステップ５９では、平面Ｑとステップ５８で求めた直線の交点を求める。
（数１１）＝ｔとおくと、
【数１２】
0003623276.tif 000013
【数１３】
0003623276.tif 000014
【数１４】
0003623276.tif 000015
これらで求めたｘ，ｙ，ｚで（数１０）をみたすものが交点となる。（数１２）〜（数１４）を（数１０）に代入して、ｔの値を求めると、以下のようになる。
【数１５】
0003623276.tif 000016
このｔの値を、（数１２）〜（数１４）に代入して得られた交点を投影面上の直線Ｊ（あるいは直線Ｋ）上のある点の、投影前の三次元位置とする。
【００２７】
ステップ６０では、ステップ５９で求めた点の視点からの距離を求める。
【００２８】
ステップ６１では、ステップ６０で求めた距離が、ＣＴ画像の位置より視点に近い場合、投影面に直線を引く。
【００２９】
ステップ７では、終了アイコンが選択されたか否かの判断を行う。終了アイコンが選択された場合、プログラムを終了させる。この選択は操作者が行う。
【００３０】
ステップ８では、点Ｍが移動したかどうかを判断する。Ｍの移動は、操作者がＭ上をクリックしながら線分ＡＣ上を動かすことで行う（図２（ｃ））。移動した場合、ステップ９へ移る。
【００３１】
ステップ９では、Ｍの移動に合わせ、Ｍで直交するＪ，Ｋを移動して、仮想平面を移動する。移動した際の、Ｍと仮想平面の再表示は、上記ステップ５１〜６１と同様に行う。
【００３２】
ステップ１０では、仮想平面上の点がクリックされたかどうかを判断する。仮想平面上の点のクリックは、操作者が行う。仮想平面上の点がクリックされた場合は、ステップ１１に移る。
【００３３】
ステップ１１では、仮想平面上でクリックされた点を新視点位置として、画面上に表示する（図２（ｄ））。
【００３４】
ステップ１２では、新視点位置で画像の再構成を行うかの判断をする。再構成が選択された場合、ステップ１３に移る。
【００３５】
ステップ７からステップ１２の間で「設定」がクリックされても無視する。
ステップ１３では、仮想平面上の指定点から三次元空間内の視点位置を算出し、画像の再構成を行う。再構成の際、指定点から三次元空間内の視点位置を算出する方法は、上記、投影面状の直線の各点の三次元位置を求める方法と同じく、指定点Ｅ’を通り直線Ｍｍに平行な直線と平面と交点を新視点ｅ’の位置とする。
【００３６】
新投影面を決めるためには、ｘｙｚ座標系の原点から投影面に降ろした垂線のｚ−ｘ面への投影線がｘ軸となす角αと、前記垂線がｘ−ｚ面となす角βの値が必要となる。視線方向はｅ’Ａ０となるので、そこからα、βの値を求める。その後、初期画面表示と同様の処理にて、画像を表示する。
【００３７】
図６は再構成処理の流れである。各ステップを説明する。
【００３８】
ステップ１３０では、投影面上の線分ＡＭとＣＭの長さの比を（数４）、（数５）にて求める。
【００３９】
ステップ１３１では、点Ａに対応するＣＴ画像上の点Ａ０の座標を計算する。
【００４０】
ステップ１３２では、現視点ｅ（ｘ１，ｙ１，ｚ１）と点Ａ０（ｘＡ０，ｙＡ０，ｚＡ０）を結ぶ線分Ａ０ｅをＡＭ：ＣＭで分ける点ｍ（ｘｍ，ｙｍ，ｚｍ）を（数４）、（数５）、（数６）、（数７）、（数８）によって算出する。
【００４１】
ステップ１３３では、点ｍを通り線分Ａ０ｅに垂直な平面Ｑを（数１０）から求める。
【００４２】
ステップ１３４では、直線Ｍｍを（数９）から求める。
【００４３】
ステップ１３５では、新視点Ｅ’のｘｙｚ座標（ｘＥ’，ｙＥ’，ｚＥ’）を上記（数１）、（数２）、（数３）にて求める。この際、Ｘ＝ＸＥ’，Ｙ＝ＹＥ’である。
【００４４】
ステップ１３６では、直線Ｍｍに平行で点Ｅ’を通る直線Ｒを求める。直線Ｍｍに平行であるから方向ベクトルが同じであり、点Ｅ’をとおるから、以下で表される。
【数１６】
0003623276.tif 000017
【００４５】
ステップ１３７では、平面Ｑ（数１０）と直線Ｒ（数１６）の交点を求める。（数１６）＝ｔとおくと、
【数１７】
0003623276.tif 000018
【数１８】
0003623276.tif 000019
【数１９】
0003623276.tif 000020
これら、ｘ，ｙ，ｚで（数１０）をみたすものが交点となる。（数１７）〜（数１９）を（数１０）に代入してｔの値を求めると、以下のようになる。
【数２０】
0003623276.tif 000021
【００４６】
ステップ１３８では、このｔの値を、（数１７）〜（数１９）に代入して得られた交点を新視点ｅ’の座標（ｘｅ’，ｙｅ’，ｚｅ’）とする。
【００４７】
ステップ１３９では、新視点ｅ’とＣＴ画像上の点Ａ０を結んだ方向を新しい視線方向とし、新たな投影面のα、βは、図７のような位置関係になる。
【数２１】
0003623276.tif 000022
【数２２】
0003623276.tif 000023
とおくと、
【数２３】
0003623276.tif 000024
【数２４】
0003623276.tif 000025
であるから、
【数２５】
0003623276.tif 000026
【数２６】
0003623276.tif 000027
以上により、α、βが定まる。
【００４８】
ステップ１４０では、上記ステップにて算出された  パラメータを用いて、新しい投影面を算出し投影像を作り、陰影化、陰面化処理を行い表示する。手順はステップ１の初期画面の設定と同様である。
【００４９】
図８は本発明が適用可能なハードウエア構成例を示すブロック図である。この図８において、７０はＣＰＵ、７１は主メモリ、７２は磁気ディスク、７３は表示メモリ、７５はマウスコントローラで、これらは共通バス７７に接続されている。磁気ディスク７２には、複数の断層像および座標変換や陰影づけのためのプログラムなどが格納されている。
ＣＰＵ７０は、これら複数の断層像および座標変換や陰影づけのためのプログラムを読み出し、主メモリ７１を用いて三次元画像を再構成し、その結果を表示メモリ７３に送り、ＣＲＴモニタ７４に表示させる。マウスコントローラ７５に接続されてマウス７６は、表示された三次元画像に対し、視点位置の再指定に用いる。得られた画像は、必要に応じて磁気ディスク７２に格納される。
【００５０】
上記実施例では、視点設定平面を法線から求めたが、法線でなくても、ｍ点を通って、かつ視点設定平面が画面に表示でき、マウスによってその平面の一点をポイントできる如何なる場合も含む。例えば、視点決定平面を投影面に平行に配置される場合がある。
【００５１】
また、仮想視点設定平面を十字カーソルとしたのは、仮想視点設定平面が決定医されて視点設定平面となるまで移動させる必要が有るので、描画速度が遅くなることと、いくつも平面が表示されると画像が見づらくなるからであるが、描画速度はプロセッサの処理速度の問題であり高速処理ができるようになれば解決され、平面を多重させて表示することは表示色、表示濃度の組合せで対応することができる。さらに、十字カーソールとしないで、仮想視点設定平面を示せるものであれば、どのような表示でもよい。
【００５２】
さらに、マウスをポインティングデバイス入力の手段としたが、画面上を点入力できるものであれば、全ての入力手段による上記実施例の実施ができる。前記入力手段の一例を挙げれば、トラック・ボール、ジョイ・スティック、タッチパネル、ライトペンなどがある。
【００５３】
【発明の効果】
本発明によれば、キー入力なしで画面の更新を行える。
また、二次元である投影面上で、画像との位置関係を踏まえながら、次の視点を指定することができるようになる。
【図面の簡単な説明】
【図１】本発明の流れを示すフローチャートである。
【図２】新しい視点を指定するため、仮想平面を表示した場合のＣＲＴモニタ画面を示す図である。
【図３】断層像の画素座標の投影面上の座標への変換を説明するための図である。
【図４】投影面と新しい視点の存在する平面との位置関係を示す図である。
【図５】図２に示す仮想平面の画面表示を行うための手順を示すフローチャートである。
【図６】新しい視点で画像の再構成を行う場合の処理を示すフローチャートである。
【図７】新たな投影面の視線方向を表す図である。
【図８】本発明が適応可能なハードウエア構成を示すブロック図である。
【符号の説明】
ｘ          ｘ軸
ｙ          ｙ軸
ｚ          ｚ軸
２１        投影面
２２        直線
２３        断層像
２４        平面Ｑ
ｅ          視点（視点の位置）
Ｐ          投影面上の点
Ｓ          ｅとＰを通る直線と断層像の交わる点
Ｘ          投影面上のＸ軸
Ｙ          投影面上のＹ
Ｃ１        視点から投影面に下ろした垂線と投影面との交点
α          原点から投影面２１に下ろした垂線をｚ−ｘ面に投影した線がｘ軸となす角
β          原点から投影面２１に下ろした垂線がｘ−ｚ面となす角
ａ          ｘ軸と投影面２１の交わる点
ｂ          ｙ軸と投影面２１の交わる点
ｃ          ｚ軸と投影面２１の交わる点
Ａ          投影面上の任意の指定点
Ａ０        断層像上の点
Ｃ          画面中心点（視点の投影点）
Ｍ          投影面上の線分ＡＣ上の点
Ｋ，Ｊ      仮想平面
Ｅ’        投影面上で指定した新視点
ｅ’        新視点（新視点の位置）
ｍ          Ｍに対応する空間上の点
【図１】
0003623276.tif 000028
【図２】
0003623276.tif 000029
【図３】
0003623276.tif 000030
【図４】
0003623276.tif 000031
【図５】
0003623276.tif 000032
【図６】
0003623276.tif 000033
【図７】
0003623276.tif 000034
【図８】
0003623276.tif 000035