(57)【特許請求の範囲】
【請求項１】
視点、複数の断層像を積み上げた積上げ画像及び投影面の順にそれぞれ配置し、その積上げ画像の内部に前記視点を設定するステップと、
前記視点と前記投影面との位置関係を維持しながら前記視点と前記投影面の位置を順次更新するステップと、
該順次更新された位置の視点から見た積上げ画像を投影面に中心投影法により順次投影するステップと、
前記投影面に投影された積上げ画像情報に基づいて陰影処理を行って順次更新された視点から見た前記積上げ画像の内部の擬似三次元画像を順次得るステップと、
該順次得られた擬似三次元画像を順次表示するステップと、
前記順次表示された擬似三次元画像の構成に寄与する積上げ画像のうち、前記更新された視点からの距離が最大値又は極大値となる画素位置を有する断層像を選択するステップと、
前記選択された断層像の前記画素位置と前記視点を結ぶ直線上の所望の位置に更新視点を設定するステップと、
前記設定された更新視点から中心投影法により更新された擬似三次元画像を構成し、表示するステップと、
前記断層像を選択するステップ乃至更新された擬似三次元画像を構成し、表示するステップを繰り返し、更新された各視点から中心投影法により更新された擬似三次元画像を構成、表示することを特徴とする三次元画像表示方法。
【請求項２】
視点、複数の断層像及び投影面の順にそれぞれ配置し、前記視点と前記投影面との位置関係を維持しながら前記視点の位置の順次更新及び視点毎の疑似三次元画像を得て、表示する三次元画像表示方法であって、
更新前の視点で得て画面に表示中の疑似三次元画像の構成に寄与する複数の断層像のうち、前記更新前の視点からの距離が最大値又は極大値となる画像位置を有する断層像を選択する選択ステップと、
前記選択された断層像の前記画素位置と前記更新前の視点を結ぶ直線上の所望の位置に更新視点を設定する設定ステップと、
前記設定された更新視点からこの更新視点に対応する投影面への、中心投影法により、疑似三次元画像を得て、表示する表示ステップとを備えた、
ことを特徴とする三次元画像表示方法。
【請求項３】
視点、複数の断層像及び投影面の順にそれぞれ配置し、前記視点と前記投影面との位置関係を維持しながら前記視点の位置の順次更新及び陰影処理を行って視点毎の疑似三次元画像を得て表示する三次元画像表示方法であって、
更新前の視点で得て画面に表示中の疑似三次元画像の最小濃度の画素位置を検索する検索ステップと、
前記検索された最小濃度の画素位置に対応する画素位置を有する断層像を前記積上げ画像から選択する選択ステップと、
前記選択された断層像の前記画素位置と前記更新前の視点を結ぶ直線上の所望の位置に更新視点を設定する設定ステップと、
前記更新視点からこの更新視点に対応する更新投影面への、中心投影法により、更新された疑似三次元画像を得て、表示する表示ステップとを備えた、
ことを特徴とする三次元画像表示方法。
【請求項４】
前記表示ステップは、前記更新視点とともに視線を設定し、その視線方向と垂直に更新投影面を設定することを特徴とする請求項２又は３に記載の三次元画像表示方法。
【請求項５】
前記表示ステップは前記疑似三次元画像を得る処理ステップを有すると共に、この処理ステップは、その時の視点位置からそれの投影面に下した垂線位置を中心位置として投影像の表示範囲を切り出し、この切り出された投影像について視点から前記投影面に投影される断層像の画素位置までの距離に基づいて陰影処理を行って順次更新された視点から見た前記積上げ画像の内部の擬似三次元画像を順次得ることを特徴とする請求項２又は３に記載の三次元画像表示方法。
【請求項６】
前記選択ステップにあっては、前記最大値又は極大値が２つ以上存在するときにはその旨の情報を表示するステップを備えたことを特徴とする請求項２に記載の三次元画像表示方法。
【請求項７】
前記選択ステップは、最小値が２つ以上存在するときにはその旨の情報を表示するステップを備えた請求項３に記載の三次元画像表示方法。
【請求項８】
前記設定ステップは投影面を設定するステップを具え、このステップは距離の最大値又は極大値の画素位置が投影面の中心位置となるように更新投影面を設定することを特徴とする請求項２に記載の三次元画像表示方法。
【請求項９】
前記設定ステップは投影面を設定するステップを具え、このステップは、最小濃度の画素位置が投影面の中心位置となるように更新投影面を設定することを特徴とする請求項３に記載の三次元画像表示方法。
【請求項１０】
複数の断層像を積み上げた積上げ画像を記憶する記憶手段と、
この記憶手段に記憶される積上げ画像を介して、投影面と前記積上げ画像の内部に視点を設定し、それぞれ設定される前記視点と前記投影面との位置関係を維持しながら前記視点の位置を順次更新し、該順次更新された視点から見た前記積上げ画像を前記投影面に中心投影法により順次投影し、前記積上げ画像の擬似三次元画像を順次得る制御手段と、
この制御手段によって順次得られた擬似三次元画像を順次表示する表示手段と、
この表示手段によって順次表示された擬似三次元画像の構成に寄与する積上げ画像のうち、前記更新された視点からの距離が最大値又は極大値となる画素位置を有する断層像を選択する選択手段と、
この選択手段によって選択された断層像の前記画素位置と前記視点を結ぶ直線上の所望の位置に更新視点を設定する設定手段とを備え、
前記制御手段は、前記選択手段による断層像の選択、前記設定手段により設定された更新視点からの中心投影法による擬似三次元画像の構成及び前記構成された擬似三次元画像の前記表示手段への表示の各操作を繰り返すことにより、更新された各視点から擬似三次元画像を構成、表示することを特徴とする三次元画像表示装置。
【請求項１１】
複数の断層像を積み上げた積上げ画像を記憶する記憶手段と、
この記憶手段に記憶される積上げ画像を介して、投影面と前記積上げ画像の内部に視点を設定し、それぞれ設定される前記視点と前記投影面との位置関係を維持しながら前記視点の位置を順次更新し、該順次更新された視点から見た前記積上げ画像を前記投影面に中心投影法により順次投影し、陰影処理を行って前記積上げ画像の擬似三次元画像を順次得る制御手段と、
この制御手段によって順次得られた擬似三次元画像を順次表示する表示手段と、
この表示手段によって順次表示された擬似三次元画像の構成に寄与する積上げ画像のうち、前記疑似三次元画像の最小濃度の画素位置を検索し、前記検索された最小濃度の画素位置に対応する画素位置を有する断層像を選択する選択手段と、
この選択手段によって選択された断層像の前記画素位置と前記視点を結ぶ直線上の所望の位置に更新視点を設定する設定手段とを備え、
前記制御手段は、前記選択手段による断層像の選択、前記設定手段により設定された更新視点からの中心投影法による擬似三次元画像の構成及び前記構成された擬似三次元画像の前記表示手段への表示の各操作を繰り返すことにより、更新された各視点から擬似三次元画像を構成、表示することを特徴とする三次元画像表示装置。
【請求項１２】
前記表示手段は、前記更新視点とともに視線を設定し、その視線方向と垂直に更新投影面を設定することを特徴とする請求項１０又は１１に記載の三次元画像表示装置。
【請求項１３】
前記制御手段は、前記更新視点位置からその更新視点と対応する更新投影面に下した垂線位置を中心位置として投影像の表示範囲を切り出し、この切り出された投影像について前記更新視点から前記更新投影面に投影される断層像の画素位置までの距離に基づいて陰影処理を行うことを特徴とする請求項１０又は１１に記載の三次元画像表示装置。
【発明の詳細な説明】
【０００１】
【産業上の利用分野】
本発明は、三次元原画像の内視鏡的映像化を行う疑似三次元画像の形成方法及び装置、表示方法及び装置に関する。
【０００２】
【従来の技術】
医用画像は、Ｘ線ＣＴ画像やＭＲＩ画像、超音波断層像等の種々の画像より成る。疑似三次元画像を得るには、Ｘ線ＣＴ画像では断層面の画像を積み上げるやり方をとる。ＭＲＩ画像では三次元的な画像計測を行うことができるため、それらを配列処理することで三次元原画像を得る。
【０００３】
一方、視点と投影面とを与えて、視点と投影面との間に存在する三次元原画像を、その投影面に、視点からみたように投影する投影法が存在する。投影法には、平行投影法と中心投影法とが知られている。平行投影法は、視点が面又は線で構成されており、この視点から平行に投影面に投影を行うものであり、三次元画像化した臓器などの対象物をその外側からみた画像として構成する映像化には適している。中心投影法は、数学上では知られているが、疑似三次元画像化した医用画像の投影法としては、未だ採用されていない。
【０００４】
【発明が解決しようとする課題】
医用疑似三次元画像の映像化にあっては、外形的な形状も大切であるが内視鏡的な観察を行ったような映像化も必要である。平行投影法ではその実現は困難であった。そこで、本件出願人は、先に、中心投影法を採用した三次元画像構成法について出願を行った（特願平６−３４９２号）。
この先願は、三次元画像に対して視点を面や線ではなく点とし、且つこの点としての視点を中心として位置づけ、視点と投影面との間に存在する三次元原画像を、視点を中心位置として中心投影して投影面に投影しようとしたものである。投影面が二次元表示面とすれば、二次元表示面には、視点から中心投影法で得た三次元画像が二次元化されて表示される。
【０００５】
ここで、内視鏡的に観察できる理由は以下の通りである。三次元原画像が腸内部を含む画像であるとすると、視点をこの腸内部に持ってくる。そして視点からその腸内部に向けて視線を移せば、視点から奥側にある腸内部は拡がりを持って観察できるはずである。こうした様相を実現するために、視点を中心位置として、視点よりも奥側を、中心投影法により、投影面である表示面に投影すれば、この表示面の投影画像は丁度内視鏡で腸内部を観察したかの如き映像となる。これが先願の主たる特徴である。
【０００６】
更に上記先願では、中心投影法による投影結果をそのまま表示したのでは、画素の遠近が考慮されず、且つ三次元原画像上での視点からみての手前側と奥側との区別もつかないものとなり、画像のリアルティがなくなる。そこで、先願では、画素の遠近を考慮すべく陰影づけアルゴリズム法を開示した。例えば、デプス法の例では、視点と各画素との距離Ｒを考慮し、投影後の画素濃度（階調度）Ｉを下記の如くとる。Ｃは定数、Ｉｍａｘは最大階調度（設定した定数）である。
【数１】
0003632862.tif 000002
これによって、距離Ｒが大きい程暗くなり、小さい程明るくなる。
【０００７】
一方、手前側と奥側との区別は、例えばＺバッファ法を採用する。Ｚバッファ法とは、隠れた面を消去する方法であり、過去には平行投影法で採用されていた。平行投影法において、各画素から投影面に垂線を下し、その交点と画素までの距離Ｚ（これは、垂線方向がＺ軸と定義していたためであり、このＺ軸成分が距離Ｚとなる。距離Ｚは奥行き距離とも呼ばれている）を求める。そして、投影面上の同一位置に２つ以上の画素が重なって存在する場合には、各画素のＺをみて、最小のＺの値をＺバッファメモリに記憶し、その他の画素は陰れ画素として消去する。かくして、最小のＺ、即ち一番手前側の画素のみが選択され、これを表示することで、手前側の画素のみが観察できる。この平行投影法のＺバッファ法を、中心投影法としても採用できる。即ち、Ｚバッファの中味のデータをＺとするのではなく、点としての視点と投影面の各画素位置との距離Ｒとする。これにより、投影面の画素位置に、２つ以上の画素が重なって投影されている場合には、距離Ｒの最小の画素を選び、残りの画素は消去する。この結果を表示すれば、隠面処理された二次元画像が表示面上に得られる。勿論、デプス法やＺバッファは一例にすぎない。
【０００８】
ここで、中心投影法を図２を用いて説明する。簡単のため、２つの平行な面ＰＬ１、ＰＬ２を考える。手前の面ＰＬ１が三次元原画像を構成する１つの面であり、いわゆる被投影面である。奥側の面ＰＬ２が投影面である。手前の面ＰＬ１の更に手前に点としての視点Ｅを与える。視点Ｅから投影面ＰＬ２にむけて中心投影を行うと、視点Ｅから投影面ＰＬ２にむけて放射状にのびる数多くの中心投影線Ｐ（Ｐ１、Ｐ２、……）が得られる。中心投影線Ｐと被投影面との交点Ｑ（Ｑ１、Ｑ２、……）が被投影画素位置となる。そして交点Ｑをつきぬけて投影面ＰＬ２と交わる。その交点Ｎ（Ｎ１、Ｎ２、……）が、被投影画素位置Ｑの投影画素位置となる。被投影画素位置Ｑと投影画素位Ｎとは、視点Ｅと被投影面ＰＬ１と投影面ＰＬ２とが幾何学的に定まれば座標変換を示す関数で規定できる。
【０００９】
図２は理解しやすくするための図であり、一般的には、図３の如く面ＰＬ１とＰＬ２とは平行とは限らず、視点Ｅの位置も種々である。しかし、いずれの態様であれ、ＥとＰＬ１とＰＬ２とは幾何学的に規定できるものであり、座標変換関数も、一義的に数式で規定できる故、何ら問題はない。そして、投影後の画素位置に関してはコンピュータを利用して座標変換の処理を行い、画素濃度については、デプス法やＺバッファ法を利用することでリアルティを持たせることで、二次元表示画面上には、疑似三次元画像を内視鏡的にみた映像がリアルティを持って表示できることになった。
【００１０】
尚、三次元原画像は、２値化した画像の例もあれば、多階調の画像の例もある。２値化画像とは、関心領域のみを“１”とし、他は“０”とする如き例である。そして“１”となっている部位のみを（数１）使って陰影処理を行い、Ｚバッファ処理を行う。多階調の画像とは、２値化する前の画像である。
【００１１】
更に出願人は、腸などの内視鏡的な画像表示のための第２の先願である特許出願を行っている（特願平５−２５９５８１号）。この先願は、腸などの折れ曲がった画像を動画として表示しようとするものであり、視点を前進させてその腸に沿って内視鏡であたかも観察するかの如き表示を行わせる。前進ではなく、後退して表示させる例も開示する。更に、腸の折れ曲がりに沿って追跡してゆく例も開示する。これらの動画を得るために、三次元原画像を平行投影法で投影して投影画像を得、動画表示に際してはそれらの投影画像を動画として選択するやり方も開示する。
【００１２】
第１の先願である特願平６−３４９２号は、視点位置をマウスやトラックボールを使って人間の指示によって動かす例を開示する。これによって腸などの内部を内視鏡を動かしながら見ているような投影画像が得られる。
しかし、第１の先願は、視点位置の移動にあたって、忠実に腸などの内部を内視鏡で追従させるやり方については開示していない。
【００１３】
第２の先願である特願平５−２５９５８１号は、内視鏡で観察する如き投影画像の動画表示について開示し、その投影画像の平行投影は述べているが、中心投影法による記載はない。
【００１４】
本発明はこうした先願を発展させたものであって、その目的は、点としての視点位置を腸などの内部に沿って忠実に移動可能にする疑似三次元画像形成法及び装置を提供するものである。
【００１５】
更に本発明の目的は、中心投影法を採用して視点位置の腸などの内部に沿って忠実に移動可能にする疑似三次元画像形成法及び装置を提供するものである。
【００１６】
【課題を解決するための手段】
本発明は、視点、複数の断層像を積み上げた積上げ画像及び投影面の順にそれぞれ配置し、その積上げ画像の内部に前記視点を設定するステップと、
前記視点と前記投影面との位置関係を維持しながら前記視点と前記投影面の位置を順次更新するステップと、
該順次更新された位置の視点から見た積上げ画像を投影面に中心投影法により順次投影するステップと、
前記投影面に投影された積上げ画像情報に基づいて陰影処理を行って順次更新された視点から見た前記積上げ画像の内部の擬似三次元画像を順次得るステップと、
該順次得られた擬似三次元画像を順次表示するステップと、
前記順次表示された擬似三次元画像の構成に寄与する積上げ画像のうち、前記更新された視点からの距離が最大値又は極大値となる画素位置を有する断層像を選択するステップと、
前記選択された断層像の前記画素位置と前記視点を結ぶ直線上の所望の位置に更新視点を設定するステップと、
前記設定された更新視点から中心投影法により更新された擬似三次元画像を構成し、表示するステップと、
前記断層像を選択するステップ乃至更新された擬似三次元画像を構成し、表示するステップを繰り返し、更新された各視点から中心投影法により更新された擬似三次元画像を構成、表示することを特徴とする三次元画像表示方法を開示する。
【００１７】
更に本発明は、視点、複数の断層像及び投影面の順にそれぞれ配置し、前記視点と前記投影面との位置関係を維持しながら前記視点の位置の順次更新及び視点毎の疑似三次元画像を得て、表示する三次元画像表示方法であって、
更新前の視点で得て画面に表示中の疑似三次元画像の構成に寄与する複数の断層像のうち、前記更新前の視点からの距離が最大値又は極大値となる画像位置を有する断層像を選択する選択ステップと、
前記選択された断層像の前記画素位置と前記更新前の視点を結ぶ直線上の所望の位置に更新視点を設定する設定ステップと、
前記設定された更新視点からこの更新視点に対応する投影面への、中心投影法により、疑似三次元画像を得て、表示する表示ステップとを備えた、
ことを特徴とする三次元画像表示方法を開示する。
【００１８】
更に本発明は、視点、複数の断層像及び投影面の順にそれぞれ配置し、前記視点と前記投影面との位置関係を維持しながら前記視点の位置の順次更新及び陰影処理を行って視点毎の疑似三次元画像を得て表示する三次元画像表示方法であって、
更新前の視点で得て画面に表示中の疑似三次元画像の最小濃度の画素位置を検索する検索ステップと、
前記検索された最小濃度の画素位置に対応する画素位置を有する断層像を前記積上げ画像から選択する選択ステップと、
前記選択された断層像の前記画素位置と前記更新前の視点を結ぶ直線上の所望の位置に更新視点を設定する設定ステップと、
前記更新視点からこの更新視点に対応する更新投影面への、中心投影法により、更新された疑似三次元画像を得て、表示する表示ステップとを備えた、
ことを特徴とする三次元画像表示方法を開示する。
【００１９】
更に本発明は、前記表示ステップは、前記更新視点とともに視線を設定し、その視線方向と垂直に更新投影面を設定することを特徴とする三次元画像表示方法を開示する。
【００２０】
更に本発明は、前記表示ステップは前記疑似三次元画像を得る処理ステップを有すると共に、この処理ステップは、その時の視点位置からそれの投影面に下した垂線位置を中心位置として投影像の表示範囲を切り出し、この切り出された投影像について視点から前記投影面に投影される断層像の画素位置までの距離に基づいて陰影処理を行って順次更新された視点から見た前記積上げ画像の内部の擬似三次元画像を順次得ることを特徴とする三次元画像表示方法を開示する。
【００２１】
更に本発明は、複数の断層像を積み上げた積上げ画像を記憶する記憶手段と、
この記憶手段に記憶される積上げ画像を介して、投影面と前記積上げ画像の内部に視点を設定し、それぞれ設定される前記視点と前記投影面との位置関係を維持しながら前記視点の位置を順次更新し、該順次更新された視点から見た前記積上げ画像を前記投影面に中心投影法により順次投影し、前記積上げ画像の擬似三次元画像を順次得る制御手段と、
この制御手段によって順次得られた擬似三次元画像を順次表示する表示手段と、
この表示手段によって順次表示された擬似三次元画像の構成に寄与する積上げ画像のうち、前記更新された視点からの距離が最大値又は極大値となる画素位置を有する断層像を選択する選択手段と、
この選択手段によって選択された断層像の前記画素位置と前記視点を結ぶ直線上の所望の位置に更新視点を設定する設定手段とを備え、
前記制御手段は、前記選択手段による断層像の選択、前記設定手段により設定された更新視点からの中心投影法による擬似三次元画像の構成及び前記構成された擬似三次元画像の前記表示手段への表示の各操作を繰り返すことにより、更新された各視点から擬似三次元画像を構成、表示することを特徴とする三次元画像表示装置を開示する。
【００２２】
更に本発明は、複数の断層像を積み上げた積上げ画像を記憶する記憶手段と、
この記憶手段に記憶される積上げ画像を介して、投影面と前記積上げ画像の内部に視点を設定し、それぞれ設定される前記視点と前記投影面との位置関係を維持しながら前記視点の位置を順次更新し、該順次更新された視点から見た前記積上げ画像を前記投影面に中心投影法により順次投影し、陰影処理を行って前記積上げ画像の擬似三次元画像を順次得る制御手段と、
この制御手段によって順次得られた擬似三次元画像を順次表示する表示手段と、
この表示手段によって順次表示された擬似三次元画像の構成に寄与する積上げ画像のうち、前記疑似三次元画像の最小濃度の画素位置を検索し、前記検索された最小濃度の画素位置に対応する画素位置を有する断層像を選択する選択手段と、
この選択手段によって選択された断層像の前記画素位置と前記視点を結ぶ直線上の所望の位置に更新視点を設定する設定手段とを備え、
前記制御手段は、前記選択手段による断層像の選択、前記設定手段により設定された更新視点からの中心投影法による擬似三次元画像の構成及び前記構成された擬似三次元画像の前記表示手段への表示の各操作を繰り返すことにより、更新された各視点から擬似三次元画像を構成、表示することを特徴とする三次元画像表示装置を開示する。
【００２３】
更に本発明は、前記表示手段は、前記更新視点とともに視線を設定し、その視線方向と垂直に更新投影面を設定することを特徴とする三次元画像表示装置を開示する。
【００２４】
更に本発明は、前記制御手段は、前記更新視点位置からその更新視点と対応する更新投影面に下した垂線位置を中心位置として投影像の表示範囲を切り出し、この切り出された投影像について前記更新視点から前記更新投影面に投影される断層像の画素位置までの距離に基づいて陰影処理を行うことを特徴とする三次元画像表示装置を開示する。
【００２５】
【実施例】
本実施例で使用する各用語を先ず説明する。
三次元原画像…立体的に形成された画像のすべてを指し、具体的には、立体的な各位置と各位置毎の画素濃度とでデータ化された画像を云う。医用画像にあっては、複数のＣＴ画像（スライス画像とも云う）を積み上げて得た積み上げ三次元画像、ＭＲＩで得た三次元画像、超音波で得た三次元画像等がある。これらの三次元画像のデータには、計測して得られたものの他に、計測内容から補間して得られた三次元画素データを含む。
中心投影法…図２で述べたやり方をとる。更に、三次元原画像に対して、点としての視点とこの視点からの視線方向と投影面とを対にして更新する。
単位三次元画像…更新毎に定まる視点と投影面との間に介在する三次元原画像を指す。単位三次元画像は三次元原画像の一部であり、更新毎に単位三次元画像も更新し、変更される。
【００２６】
視点とこの視点からの視線方向と投影面との対にしての更新…これは、三次元原画像に対してその奥行き方向に点としての視点を移しながら更新する、との意味である。例えば、奥行き方向に管路（腸や気管）が形成されている如き三次元原画像に対して、その管路の奥側を内視鏡的にみたい場合、奥行き方向に画像を追って観察できるようにすれば都合がよい。その奥行き方向へ画像を追うために、視点と視線方向と投影面とを対にして更新してゆくのである。投影面は視線方向に直角になるように定めることが好ましい。視線方向に直角とは、視線方向の中心線が投影面の垂線となる如く、投影面を定めることである。更新ピッチ距離は大きくとると粗く進み、小さくとると細かく進む。これらは観察目的に応じて定める。更新ピッチ時間は短い程よいが、更新毎に所定のデータ処理（視点と視線方向と投影面との更新処理、陰影化処理、隠面化処理等）を行うだけの時間は必要である。
擬似三次元画像…単位三次元画像の中心投影画像を陰影化処理及び隠面化処理して得た二次元配列の画像である。擬似とは、陰影化処理と隠面化処理により、あたかも三次元の如き奥行き感のあるリアルティで得た画像が得られるために使った用語である。
【００２７】
図１は、本発明の処理フローを示す。図１（イ）が操作者とのインターフェースを受け持つプログラムの手順、図１（ハ）が単位三次元画像、擬似三次元画像を得るためのプログラムの手順を示す。図１（ロ）は、図１（イ）と図１（ハ）のプログラムの処理の中継を行う共有メモリ９である。
先ず、図１（イ）の各ステップを説明する。
ステップ１…擬似三次元画像の初期画像を表示するステップである。この初期画像の表示にあっては、視点と視線方向と投影面とは初期設定されたものである。この初期画面には、「自動アイコン、手動アイコン、終了アイコン」のアイコンモードと、「複数ポイント選択アイコン」（ポイントとは点の他に領域を含む）とが表示されている。アイコンモードにおける「手動アイコン」とは、これをＯＮすることで手動によって視点、視線方向、投影面とを対にして更新可能な状態にする表示スイッチである。「自動アイコン」とは、これをＯＮすることで自動によって視点、視線方向、投影面とを対にして更新可能な状態にする表示スイッチである。「終了アイコン」とは、これをＯＮすることで図１（イ）のプログラムが終了することを指す表示スイッチである。「複数ポイント選択アイコン」とは、奥行き方向に進むべきポイントが複数個（例えばＰ１、Ｐ２）存在するときに、その番号を（例えば１、２）表示しておき、どれか１つを選択させるアイコンである。進むべきポイントが複数個存在すると、内視鏡的な自動更新が不可となり、どれか１つを選択させることにしたのある。この選択は操作者が行う。図４には、その一例を示す。
【００２８】
図４において、表示画面１００には擬似三次元画像１０１を表示してある。この画像１０１には、２つの異なる奥行き方向のポイントＰ１とＰ２とが存在する例を示してある。例えば、気管支が２つに分岐する部位の画像や２つの血管が近接して走っている部位の画像が相当する。こうした画像の表示に併せて、アイコン１０２、１０３を表示しておく。アイコン１０２では３つのアイコン「自動、手動、終了」の中のいずれかをＯＮすることで、それに該当するフラグが“１”となる。アイコン１０３では、Ｐ１を選択しようとすれば「１」をＯＮにし、Ｐ２を選択しようとすれば「２」をＯＮにする。これらのＯＮにより計算機内では、対応するフラグが“１”となる。尚、１０４はマウスである。
【００２９】
ステップ２…視点、視線方向、投影面の対による更新を、自動で行うか手動で行うかの指示を操作者にさせるステップである。１ビットの自動フラグを与えておき、これが“１”であれば自動、“０”であれば手動とのやり方をとる。この手動か自動かの指示は、図４の手動アイコンか自動アイコンかのいずれかをＯＮすることで行う。
ステップ３…自動か手動かの判定を、自動フラグが“１”か“０”かをみることで行う。手動であればステップ４に移り、自動であればステップ５に移る。
ステップ４…手動による視点、視線方向、投影面の更新を行って擬似三次元画像を得る処理を行う。この手動による処理とはマウスを使っての対話形式による更新を云う。
【００３０】
ステップ５…自動の指示であれば、終了アイコンがＯＮしているか否かをチェックする。これは終了フラグが“１”か“０”かでわかる。“１”であれば、処理を終了する。ステップ４内でも終了アイコンがＯＮか否かのチェックを行っていることはいうまでもない。
ステップ６…共有メモリ９からのステータスの読み込みを行う。ステータスとは、図１（ハ）のプログラムによってセットされるものであって、奥行き方向が複数個あるか否か、複数個ある場合の状態を示すデータである。具体的には、選択フラグ（複数個あれば“１”、１個であれば“０”となるフラグのこと）、選択数、選択肢１、２、…より成る。選択肢１、２、…とは、図４のＰ１、Ｐ２、…に相当する。選択数は総数であり、図４では２となる。
ステップ７…ステータスを画面に表示させて、どの奥行き方向を選ぶかの選択を操作者に行わせる。
ステップ８…その選択結果を図１（ロ）の共有メモリ９に書き込む。
【００３１】
図１（ハ）のプログラムのステップを説明する。
ステップ１０…共有メモリ９上の自動フラグを読み込む。
ステップ１１…自動フラグが“１”か否かをチェックする。“１”であれば図１（ハ）のプログラムの全体が走り出す。尚、図１（ハ）の開始条件に、自動フラグが“１”であることを加味してもよい。
ステップ１２…共有メモリ９上の終了フラグを読み込む。
ステップ１３、１４…終了フラグが“１”であればステップ１４で図１（ハ）のプログラムの走りを停止する。
【００３２】
ステップ１５…疑似三次元画像をサーチして、その時の視点から最も遠い距離にある画素位置を自動的に見つける。この疑似三次元画像とは、初期時ではステップ１で設定した画面上の画像、それ以降においては更新毎に得られる疑似三次元画像である。ここで、視点から最も遠い距離とは、視点から最も遠い画面上の位置との意味ではなく、疑似三次元画像即ち隠面化処理で得た画像の画素濃度が視点からの距離で示していることから（正確な表現としては視点からの距離が大きい程画素濃度を小さくしていること）、この距離が最も大きい、隠面化処理画像上の画素位置を選び出すとの意である。このステップ１５の処理内容は後述の図５に示す通りである。
【００３３】
ステップ１６…ステップ１５で得た視点から最も遠い距離が予め規定した一定値以下か否かを自動的にチェックする。これは更新の結果、三次元原画像の最も奥まで更新してしまった場合にはそれ以上の奥行きには画像は存在しないので、このことを距離が一定値以内か否かで判定するのである。また、着目した管路がある画素位置で終了しそれ以上の先は存在しない時にも、このステップ１６の処理でわかる。一定値以下になれば、処理は終了する。
【００３４】
ステップ１８…管路が複数領域に分かれているか否かを自動的に見つける。複数領域に分かれているとは図４のＰ１、Ｐ２の如き例である。このＰ１、Ｐ２の如き例を自動的にみつけるには、ステップ１５によって視点からの距離を、疑似三次元画像の全画素について求めておき、その中の最大遠距離と思われるものが２個以上存在するときに、複数領域が存在すると判定する。ここで、最大距離とはあるしきい値内の値とすることが好ましい。しきい値を考慮すれば、最大距離とは極大値でもよい。複数領域に分かれていればステップ１９へ移り、分かれていなければ（即ち１個の管路のみ）、ステップ２０へ移る。
【００３５】
ステップ１９，１９Ａ…複数領域存在時には、それに関するステータスを共有メモリ９にセットする。ステータスとは、選択フラグを“１”とし、選択数を領域数分セットし、選択肢をその番号でセットした内容を指す。このステータスに対しては図１（イ）のステップ７で操作者が選択する。ステップ１９Ａで選択結果を読み込む。
ステップ２０…図１（イ）ステップ７で選択したステータスの選択結果で選ばれた１つの領域又は、単一の領域の時のその領域上の最大遠距離画素位置に近づくように、視点、視線方向、投影面を自動的に更新する。この詳細フローは後述の図５に詳述する。
【００３６】
ステップ２１…ステップ２０で更新された視点、視線方向、投影面に従って、この視点と投影面との間に新しく介在することになった単位三次元画像に対して中心投影処理を行い、中心投影画像を得る。更に、中心投影画像に対して陰影化処理及び隠面化処理を行い、擬似三次元画像を得る。この詳細フローは後述の図６に示す。
ステップ２２…ステップ２１で算出した擬似三次元画像を階調ウィンドレベルに従って表示画面に表示する。ここで、階調ウィンドレベルレベルとは表示装置の表示階調と擬似三次元画像の画素階調との関係を規定したものである。表示階調数が６４階調とした場合、この６４階調で表示できるように擬似三次元画像の画素階調を変換する。この変換式は擬似三次元階調を横軸で表示し、縦軸に表示階調を示した場合、一次関数であったり、折れ線関数であったり、二次関数であったりの種々の関数となる。
【００３７】
以上の図１（ハ）の処理を繰り返すことで更新が行われ、その更新の都度、擬似三次元画像が得られ、表示画面に表示される。そして、更新ピッチ時間が無視できる程小さい時には、更新した擬似三次元画像を次々に表示すれば、動画的表示となる。この他の動画的表示を実現するには、上記更新した擬似三次元画像を補助メモリに格納しておき、先の第２の先願である特願平５−２５９５８１号の発明を利用するやり方がある。
【００３８】
図５は図１（ハ）のステップ１５とステップ２０との具体的処理フローを示す図である。簡単化のため省略しているが、図１（ハ）のステップ１６〜１９Ａは、実際上は図５のステップ３１と３２との間に挿入するのが好ましい。図５の各ステップを説明する。
ステップ３０…擬似三次元画像を形成し、表示画面に表示するステップである。この画像は、図１（イ）のステップ１の初期画面の画像又は、図１（ハ）のステップ２１の処理で得た画像のいずれかである。
ステップ３１…ステップ３０で表示した画像の全画素をチェックして、その時の視点から奥行き方向への距離Ｒの最大値又は極大値Ｒｍａｘを求める。これは、表示中の画像は、陰影化処理し隠面化処理した画像であり、各画素濃度Ｉには、Ｉ＝Ｉｍａｘ−Ｃ・Ｒの式に従う距離Ｒが保存されていることから、この距離ＲをＲ＝（Ｉｍａｘ−Ｉ）／Ｃで求めることで、最大値又は極大値を求める。最大値とは奥行き方向に一画素のみが続いている場合に利用し、奥行き方向に複数画素が続いている場合や複数領域（図１（ハ）のステップ１８）に分かれている場合には極大値を利用する。
【００３９】
ステップ３２…複数領域があれば選択（図１（イ）のステップ７）にしてこのステップに入る。ステップ３２では、画面中心から最大値点又は極大値点までの距離ｄＸ、ｄＹを算出する。距離ｄＸ、ｄＹの基準位置を画面中心としたのは、この擬似三次元画像を算出したとき、その視点からの視線方向に対して、投影面を直角になるように設定したことによる。視線方向に対して投影面が直角とは、視線が視点からの中心投影線に相当していることからこの中心投影線の真中の位置にある中心線に対して、直角になるように投影面を定めたことを意味する。更に、中心線は投影面の中心位置に交わるようにしてある。この時の投影面を、表示画面そのものに対応させておけば、表示画面の中心が視線からの中心投影の中心線に一致する。従って、画面中心からの距離ｄＸ、ｄＹを算出することで、視線の中心からどれだけ最大値点又は極大値点がずれているかをみつける。このずれ量は新しい視点と視線方向の算出に利用する。尚、ｄＸ、ｄＹのＸ、Ｙとは、投影面の座標系である。
【００４０】
図７は、視点ｅ１と投影面との座標関係を示す図である。
ＣＴ画像は、現視点ｅ１と投影面との間に介在する単位三次元画像の一部を示すものである。絶対座標系としてｘ、ｙ、ｚを使用し、投影面がＸ、Ｙ座標系としている。現視点ｅ１からの放射状に広がる多数の投影線の中で、その中央に位置する中心線が、投影面の中心位置に交わり且つその交わり方が直角になるように、投影面を選ぶ。中心線は視点ｅ１からの垂線である。投影面は表示面に一致させたものとする。こうした状態で、ステップ３１、３２で最大値点又は極大値点を求めてｄＸ、ｄＹを算出したとすると、その様子を図７に示す。最大値点又は極大値点Ｃ１′が奥行きの座標位置であり、これに向けて視点及び視線方向及び投影面を更新する。この更新のフローを示したのが後述のステップ３３〜３７である。図７では更新後の新視点をｅ２で示している。尚、現視点ｅ１が投影面の中心位置でないように見えるが、実際上は投影面の中心位置に現視点ｅ１が存在する。
【００４１】
図７を用いて更新の考え方を説明する。現在の投影面は図７に示した通りである。これに対して現視点ｅ１からの最大値点又は極大値点Ｃ１′が投影面の中心位置からずれた。そこで、視点を現視点ｅ１から最大値点又は極大値点Ｃ１′に近づくように、新視点ｅ２を定める。更に、この視点ｅ２から新視線方向を決定する。新視線方向は、新視点ｅ２から最大値点又は極大値点Ｃ１′へ中心投影線の中心線が点Ｃ１′を通るようにする。更に、この中心線と点Ｃ１′で直交するように且つこの新しい投影面の中心位置が点Ｃ１′になるように、新投影面を設定する。
【００４２】
尚、図７で図９と同様にａ、ｂ、ｃは投影面とｘｙｚ座標系との位置関係を示す数値であり、ａは投影面とｘ軸との交わる点のｘ軸成分、ｂは投影面とｙ軸との交わる点のｙ軸成分、ｃは投影面とｚ軸との交わり点のｚ軸成分である。更に、図７に関しては、ｘｙｚ座標系の原点から投影面に下した垂線を、ｚ−ｘ面に投影した線がｘ軸となす角（これをαとする）、及びこの垂線がｘ−ｚ面となす角（これをβとする）を求めておくことが必要である。これによって、ａ、ｂ、ｃと異なる次元のα、βで投影面とｘｙｚ座標系との関係を律することができる。
【００４３】
ステップ３３…新交点Ｃ１′のｘｙｚ座標系での位置を求める。先ず図８において、旧交点Ｃ１から新交点Ｃ１′への変位分を求めると、以下となる。
【数２】
0003632862.tif 000003
（数２）は、投影面（表示画面）上の座標系（ＸＹ）で画面中央からｄＸ、ｄＹの変位があった場合のｘｙｚ座標系での変位ｄｘ、ｄｙ、ｄｚを示す。次に、旧交点Ｃ１の座標を（ｘｃ１、ｙｃ１、ｚｃ１）としたとき、近似的新交点Ｃ１′の座標（ｘｃ１′、ｙｃ１′、ｚｃ１′）を下式で求める。
【数３】
0003632862.tif 000004
【００４４】
ステップ３４…新たな視点位置ｅ２を決める。新視点位置ｅ２は、現視点ｅ１と新交点Ｃ１′を結ぶ直線Ｌ上であって新交点Ｃ１′に近づくような位置に設定する。新視点位置ｅ２（ｘ１′、ｙ１′、ｚ１′）は下記で求める。
【数４】
0003632862.tif 000005
ここで、ｘ１、ｙ１、ｚ１は現視点ｅ１の座標であり、Ｌ１は直線Ｌの長さ（長さがｈでないので新交点Ｃ１′は一時的使用のための近似点である。後述するように正確な新直交点は新ａ、ｂ、ｃを使って求める値）、Ｑは交点Ｃ１′の最大値又は極大値Ｒｍａｘに対してある割合率ｍを乗算して得た値である。
【数５】
0003632862.tif 000006
ｍは予めキー入力した値である。１＞ｍ＞０に選ぶ。これによって、ｅ１よりも奥側のｍで定まる位置に新視点ｅ２が定まる。
【００４５】
ステップ３５…新視点からの視線方向を定めるステップである。先ず図７の説明で示した角度α、βの変化量を下記で求める。
【数６】
0003632862.tif 000007
ここで、ｄｘ、ｄｙ、ｄｚは（数２）で求めた値である。ｄαを｜β｜が９０゜に近づく時に小さくする理由は、図８の（ロ）の視点１から視点２に近づくにつれて、ｄｘが変化してもαに対する効果が少なくなるからである（小さくしたいこと）。
ステップ３６…角度α、βの前回の値をα１、  β１とすると、今回の変化分による角度α、βは
【数７】
0003632862.tif 000008
となる。これによって新視点からの視線方向が定まる。
【００４６】
ステップ３７…このステップでは、新視線方向の中心線に直交する投影面を求める。投影面は図７に示したようにａ、ｂ、ｃで表わされることから、このａ、ｂ、ｃを求める処理がステップ３７である。即ち、新視点（ｘ１′、ｙ１′、ｚ１′）から視線方向がα、βの直線と距離ｈで直交する投影面のｘ、ｙ、ｚ軸と交わる点ａ、ｂ、ｃは下記となる。
【数８】
0003632862.tif 000009
新ａ、ｂ、ｃが決まることにより、正確な新直交点は（数１２）により求まる。前述したように以前に求めたＣ１′は一時的使用のための新交点である。
【００４７】
図６は、図１（ハ）のステップ２１の詳細フローである。即ち、視点と視線方向と投影面とが定まると、視点と投影面との間に介在する、新たな三次元原画像の一部の画像が、新しい単位三次元画像となる。この新しい単位三次元画像をその視点から視線方向に向けて中心投影し、その中心投影画像を陰影化処理し、隠面化処理し、新しい擬似三次元画像を得る。これを実現するのが図６の処理フローである。
ステップ４０…投影面のメモリの全画素濃度をゼロクリアする（初期化する）。
ステップ４１…投影面から表示画面を切り出す。投影面のサイズと表示画面のサイズとが同一であれば、投影面は表示画面と一致する。しかし、投影面のサイズは、表示画面のサイズより大きくしている例が多く、その場合には、投影面から表示画面相当分の切り出しが必要となる。また、両サイズが一致している場合でも、投影面の一部の領域のみを表示画面に表示したいこともある。こうした場合も、投影面からの切り出しが必要となる。そこで、ステップ４１では、切り出し中心位置（Ｘｃ、Ｙｃ）を与えて、この中心から表示画面の切り出しサイズ（例えば表示画面の大きさの切り出しであれば画面サイズ）相当分を切り出すことにした。ここで切り出し中心位置を交点Ｃ１′とすれば、奥行き方向が表示画面の中心となり、好ましい。このステップ４１を設けたことで、表示メモリのアドレス（Ｘ、Ｙ）が指定可能となる。最初に指定するアドレス（Ｘ、Ｙ）は、この切り出しサイズ相当の投影面領域の左上である。アドレス更新は左から右、上から下へのラスタスキャンに従って行う（ステップ４８、５０）。
【００４８】
ステップ４２…単位三次元画像の投影のためのスキャン開始ステップである。以下、単位三次元画像を、ＣＴ画像の積み上げ三次元原画像の一部とした例で説明する。この例を図９に示す。新視点ｅに対して投影面２１が与えられ、その間に単位三次元画像が介在する。単位三次元画像は、ＣＴ画像を積み上げて得た三次元原画像の一部であり、複数枚のＣＴ画像を積み上げて得たものである。そして、その中の視点に最も近い１枚のＣＴ画像２３（＃１）を先ず選ぶ。この際積み上げＣＴ画像は、絶対座標系ｘ、ｙ、ｚに対してｙ軸に平行に積み上げたものとしている。この視点に最も近いＣＴ断層像は、ＣＴ断層像番号がわかることから、ｙ成分もＣＴ断層番号から自動的にわかる。これをｙ０とする。
【００４９】
ステップ４３…視点に最も近いＣＴ断層像の画素の中から、表示メモリのアドレス（Ｘ、Ｙ）に投影される、断層像の対応する画素位置（ｘ０、ｙ０、ｚ０）を算出する。但し、ｙ０はスライス像をｙ軸上に並べたので、予めわかっている（計測時には「スライス間隔」として相対的な値がわかる）。従って実際にはｘ０とｚ０とを算する。この算出は、中心投影変換式（数９）によって行う。表示メモリの全アドレス（Ｘ、Ｙ）について、対応する画素位置（ｘ０、ｙ０、ｚ０）を算出する。ここで、図９において、投影面２１上のＰ点が表示メモリのアドレス（Ｘ、Ｙ）に相当し、断層像２３上のＳ点が、対応する断層像の画素位置に相当する。但し、図９では投影面上の任意点Ｐは、絶対座標系ｘｙｚの座標（ｘ、ｙ、ｚ）で示している。また、Ｃ１点（ｘｃ１、ｙｃ１、ｚｃ１）は投影面２３への視点ｅからの垂線交点である。その他、α、β、ａ、ｂ、ｃは図７の定義と同じである。
中心投影変換式は、大きく２つに分かれる。第１は、Ｘ、Ｙ座標系からｘｙｚ系への変換式であり、第２はＳ点の座標の決定式である。Ｘ、Ｙ系からｘｙｚ系への変換が（数９）である。
【数９】
0003632862.tif 000010
即ち、（数９）の（１）からｙを取り出し、これを（数９）の（２）にｙとして代入し、ｘ、ｚを求め、且つそれからｙを求めると（数９）の（３）が得られる。更に、投影面２１は、
【数１０】
0003632862.tif 000011
で表現し、ｅ点（ｘ１、ｙ１、ｚ１）とＰ点（ｘ、ｙ、ｚ）を通る直線２２は、
【数１１】
0003632862.tif 000012
で表現する。
尚、Ｃ１点（ｘｃ１、ｙｃ１、ｚｃ１）には、例えば視点ｅ（ｘ１、ｙ１、ｚ１）から投影面２１に下した垂線と投影面２１との交わる点（この点と視点ｅ間の距離ｈ）として、
【数１２】
0003632862.tif 000013
を使ってもよい。
【００５０】
投影された画像を投影面２１に相当する表示画面（図示せず）上に、縦５１２画素×横５１２画素で表示するとき、Ｘ、Ｙは−２５６から＋２５６までの値を取る。それぞれのＸ、Ｙに対して上掲（数９）式によりｘ、ｙ、ｚが決まる。ｅ点のｘ１、ｙ１、ｚ１は手動モードの時、キー入力等により任意に与えるもので、（数１３）式により、ｙ０＝ｄ０の断層像上で画素Ｓ点の座標ｘ０、ｚ０が決まる。これがｘ０、ｚ０の決定式である。
【数１３】
0003632862.tif 000014
以上は１枚の断層像＃１の例であったが、実際上は断層像は複数（＃１、＃２、…）であって、ｄ０も複数個であるので、１組のＸ、Ｙに対して複数の投影すべき点ｘ０、ｚ０が決まる。この中から１つの断層像の投影すべき点ｘ０、ｚ０を選ぶ。選び方は、Ｚバッファ法（但し、Ｚ成分の代わりに距離Ｒを使う）を使ってもよいが、本実施例では別のやり方を使う。そこで、ステップ４４、４５、４６を設けておく。
【００５１】
ステップ４４、４５、４６…ステップ４４では画素点（ｘ０、ｚ０）のしきい値処理をする。これは、関心部位を抽出するためであり、しきい値はその抽出用のしきい値である。関心部位とは、例えば臓器の種類（腸とか気管支とか）であり、臓器抽出用のしきい値を与えておくことで、関心臓器の自動抽出がなされる。その画素点（ｘ０、ｚ０）でしきい値を満足しなければ、ステップ４５で次のＣＴ画像（即ち、視点からみて次に近いＣＴ画像）＃２を指定し、ステップ４１で指定したアドレス（Ｘ、Ｙ）に対応するｙ＝ｙ０での画素点（ｘ０、ｚ０）をステップ４３で見つけ出し（ｙ０は指定ＣＴ画像から自動算出）、ステップ４４で再びしきい値以上の画素濃度か否かを判定する。しきい値の範囲外の画素濃度であれば再びステップ４５で次に近いＣＴ画像を指定する。以下、ステップ４１で指示した（Ｘ、Ｙ）に投影する、全ＣＴ画像にしきい値範囲内の画素濃度がなければ、ステップ４６を経てステップ４７へ移る。しきい値範囲内の画素濃度があるＣＴ画像＃ｉのｙ＝ｙ０での画素点（ｘ０、ｚ０）が存在すれば、それ以上の奥側のＣＴ画像＃（ｉ＋１）、＃（ｉ＋２）、…はサーチしない。そしてステップ４７へと移る。
【００５２】
ステップ４７…ステップ３４で作った新視点（ｘ１′、ｙ１′、ｚ１′）とｙ＝ｙ０での画素点（ｘ０、ｚ０）との距離Ｒを下記で求める。
【数１４】
0003632862.tif 000015
算出したＲから濃度Ｉを下記で求める。
【数１５】
0003632862.tif 000016
ここでＩｍａｘは規定の最大値である。この濃度Ｉはデプス法による濃度であるが同時に一種のＺバッファで処理された隠面処理後の濃度である。かくして、１点（Ｘ、Ｙ）についての陰影処理及び隠面処理がなされ、これをメモリアドレス（Ｘ、Ｙ）に擬似三次元画像の画素濃度として格納する。
ステップ４８…表示切り出しアドレスＸを＋１更新する。
ステップ４９…Ｘが表示切り出しアドレスの最大値になったかをチェックする。最大値に達していなければ、ステップ４２へ戻る。最大値に達していれば、ステップ５０へ移る。
ステップ５０…表示切り出しアドレスのＸが最大値に達したことにより、アドレスを１行更新すべく、表示切り出しアドレスのＹを１だけ更新する。アドレスＸも初期値へと戻す。
ステップ５１…表示切り出しアドレスのＹが最大値に達したか否かをチェックし、達していなければステップ４２に戻り、達していれば全体の処理を終了する。
【００５３】
図１０（イ）は、投影面２１と平行に複数の断層面２３Ａ〜２３Ｅより成る三次元原画像（これは積み上げ三次元原画像である）の、中心投影を説明する図である。複数の断層面２３Ａ〜２３Ｅの中で中心投影に利用するのは、断層面２３Ａ〜２３Ｄであり、これが単位三次元画像となる。２３Ｅは視点ｅよりも外側（手前側）にあるため、中心投影の対象からはずす。今、断層面２３ＢにはＢ１、Ｂ２、Ｂ３の如き映像があり、断層面２３ＣにはＣ１、Ｃ２の如き映像があるものとする。ここで、映像とは、着目臓器であり、その臓器抽出用のしきい値を与えて、しきい値範囲内の濃度の画素を着目臓器として抽出し、その抽出画素に“１”を与えた画像である。抽出臓器以外の画素は“０”にする。視点ｅからの視線方向を決定し、これに直交する投影面を決定する。視線方向は、視点から投影面へ中心投影する方向であり、具体的には、視線方向の中心線０が投影面の垂線となるように、視線方向を定める。この視線方向と投影面との関係は、視点と視線方向と投影面とが更新されても、その更新毎に成り立つようにしている。即ち、視点から視線方向を定め、この定まった視線方向の中心線が投影面の垂線となるように投影面を定めることにしたものである。
【００５４】
図１０（イ）において、視線方向からの中心投影像は、投影面２１上では図のように、視点から放射状に投影して得られる。Ｂ１→Ｂ１′、Ｂ２→Ｂ２′、Ｂ３→Ｂ３′、Ｃ１→Ｃ１′、Ｃ２→Ｃ２′となって、投影像Ｂ１′、Ｂ２′、Ｂ３′、Ｃ１′、Ｃ２が得られる。尚、図でＢ３′、Ｃ２′とが若干の距離を隔てて表記しているが、これは、投影像をわかりやすくするためであって、実際上は重なったものとなる。尚、図１０で使用したＣ１、Ｃ１′は図８、９で使用したものとは意味が異なる。更に、図１０（イ）で断層面２３Ａ〜２３Ｅは計測ＣＴ断層像の面の他に、補間等の計算処理で求めた断層面を含む。
【００５５】
図１０（ロ）は、複数の断層面２３Ａ〜２３Ｅと投影面２１とが図３のようにある傾きを持った関係にある場合の図である。図２のような単純な関係にするには、断層面２３Ａ〜２３Ｅを、視線方向の中心線０に直交するような断層面２３ａ〜２３ｅとし、投影面２１に投影させる。断層面２３ａ〜２３ｅは、断層面２３Ａ〜２３Ｅ（及び他の断層面も含まれる）からの計算処理で求める。この計算処理には、断層面の画素位置計算とその画素位置への画素濃度計算とがある。画素濃度計算は、補間処理を利用する。
【００５６】
以上の図１０（イ）は、図１のステップ１での初期画面の時に用いられる。視点と投影面とが奥行き方向に更新してゆく本実施例にあっては、この初期画面以降の更新毎の、視点と投影面と単位三次元画像とはほとんどが図１０（ロ）の如き関係となる。
【００５７】
図１１は、管路を持つ三次元原画像に対し奥行き方向に視点と投影面とを更新してゆくことの模式図である。最初に視点１と視線方向１と投影面１とを与えて、投影面１に視点１からの中心投影像を得る。この中心投影像は投影面１に挟まれた単位三次元画像１を中心投影したものである。次に、視点１よりも奥行き方向に近づく位置に視点２を与え、視線方向２を求め、対向する投影面２に中心投影像を得る。以下、同様にして視点と視線方向と投影面とを、画像の奥行き方向に更新してゆく。視点ｉはその任意の更新位置を示している。更に、視点ｊは、管路が２つに分岐した例を示す。これは図４に示した例に該当する。どちらか一方を選択することになる。図１で説明した通りである。
【００５８】
図１２は投影面と表示面との関係を示す図である。投影面とは、数学的には投影されるべき面であるが、画像処理上では、二次元配列のバッファメモリを該当させている。一方、表示面とはＣＲＴ等の表示画面であるが、実際上は、二次元配列の表示メモリの内容をそのままスキャンして表示することから、この二次元配列の表示メモリが該当するとみてよい。投影面である二次元配列のバッファメモリと二次元配列の表示メモリとは、そのサイズ（縦×横の大きさ）によって、以下の如き使い方がある。
（イ）、第１は、バッファメモリサイズと表示メモリサイズとが同一である場合。
これは、図１２（イ）に示す例であり、実線の投影面と点線の表示面とが互いに全く重なった関係にある。この場合には、投影面に得た中心投影像をすべて表示面に表示させて使う。尚、同一サイズでも表示切取りサイズがバッファメモリの一部であって、これを表示メモリの対応した一部又は対応しない一部に表示させる例もある。
（ロ）、第２は、バッファメモリサイズが表示メモリサイズよりも大きい場合。
これは、図１２（ロ）に示す例である。この場合には、表示すべき対象を選択することになる。表示面１とは左上側を選択した例、表示面２とは中央よりも右下側を選択した例である。中央付近を選択する例もありうる。この選択は、自動も手動もありうる。
【００５９】
図１１、及び図１２での投影面への中心投影像は、単位三次元画像をそのまま投影したものではなく、単位三次元画像に陰影処理を施して得た陰影処理画像である。この陰影処理とは、視点から投影対象となる画素位置までの距離Ｒを求め、この距離Ｒに逆比例するように、その画素位置の投影濃度Ｉを決定する処理である。例えば（数１）で計算する。
【００６０】
更に、図１１、図１２の投影面に相当するバッファには、その画素位置に、２つ以上の濃度が重なって投影されることがある。図１０（イ）のＢ３′とＣ２′とが一部重複している画素位置の如き場合である。こうした場合、距離Ｒの手前の画素位置の濃度を残し、その他の遠い画素位置のものは消去する。これは一種のＺバッファ法である。図１０（イ）の例では、重複している画素位置にあってはＣ２′が手前の距離のため、Ｃ２′を残すことになる。こうしたＺバッファ法で処理された二次元配列の画像が最終的に投影面に相当するバッファメモリに得られる。こうした最終的に投影面に相当するバッファメモリに得られた二次元配列画像が表示対象となり、図１２（イ）や（ロ）に従って表示される。
【００６１】
投影面は、位置と傾きで規定する。以下の態様がある。
（１）、投影面の位置…投影面の中心位置を図７のｘｙｚ座標系のどの位置におくかを決めるやり方がある。その他に、投影面の右上端位置等の特徴的な位置をｘｙｚ座標系のどの位置におくかを決めるやり方もある。いずれでも、新視点とこの位置との距離が一定値になるように決める。かくして更新毎に、その時の新視点が得られれば、自動的に投影面の位置が定まる。
（２）、投影面の傾き…どの位置を基準にして傾きを定義するかが前提である。この基準位置は、（１）で述べた投影面の位置を使うことが好ましい。投影面の傾きは、本来任意の値であってよいが、視線方向に直交するような値とすることが好ましい。
【００６２】
図１のステップ１５で述べた最も遠い点（又は極大値点）について追記する。最も遠い部分が点ではなく一定の広がりを持った領域や面として得られている例がある。こうした場合、最も遠い点がその領域や面に沿って複数個存在することが考えられる。そこで、統計的な処理を行って、その領域や面の中の中心位置や重心位置を求め、これを最も遠い点として決めるやり方もある。例えば、図４で領域Ｐ１とＰ２に大きな極大値点があり、領域Ｐ１付近をさらに細かくみると極大値点が複数個（Ｐ１１、Ｐ１２、Ｐ１３、……）存在し、領域Ｐ２付近にも極大値点が複数個（Ｐ２１、Ｐ２２、Ｐ２３、……）存在する場合（いずれも図示せず）である。極大値点の数を減らす一方法は画像の平滑化である。これを次に記す。
【００６３】
平滑化画像は例えば、横５画素、縦５画素の合計１５画素の画素値をくわえて２５で割り、５ｘ５画素領域の中心画素の新たな画素値とする（もちろん、平滑化まえのメモリと平滑化後のメモリは異なる）ことで得られる。極大値点の数が減ったところで、極大値点の間の距離を求める。この相互の距離のうち、予め設定した値（例えば、気管支を見ている場合は、見たい気管支の直径の１ｃｍ程度）より小さいものがあれば、さらに平滑化をする。前記のすべての距離が、予め設定した値より大きければ、そこで改めて極大値点が幾つかあるかを調べる。一つなら自動更新が可能であり、複数個なら操作者に問い合わせる。また最初に見つかった任意の一点のみを選んで最も遠い点とするやり方もある。
関心領域について述べる。関心領域には以下の態様がある。
（１）、臓器そのものを関心領域とする例である。
（２）、病巣部を関心領域とする例である。
（３）、表示画面に切り取る対象を、関心領域とする例である。
【００６４】
図１のステップ４での手動による画面更新では、三次元原画像を表示させながらマウスやキーボードを使って、操作員の指示に従って行う。例えば、図５のステップ３２のｄＸ、ｄＹを手動で入力する。またはもっと簡単にα、βとｈをキー入力する。
尚、陰影づけのアルゴリズムとしては、ボリュームレンダリング法（例えば  Ｍａｅｃ  Ｌｅｖｏｙ著「Ｄｉｓｐｌａｙ  ｏｆ  Ｓｕｒｆａｃｅｓ  ｆｒｏｍ  Ｖｏｌｕｍｅ  Ｄａｔｅ」、ＩＥＥＥ  Ｃｏｍｐｕｔｅｒ  Ｇｒａｐｈｉｃｓ  ＆  Ａｐｐｌｉｃａｔｉｏｎｓ  Ｍａｙ  １９８８、２９〜３７Ｐ）を用いてもよい。これは、第１の先願である特願平６−３４９２号の図６で述べたものである。
【００６５】
図１３には、本発明の表示装置の実施例を示す。図１３において、ＣＰＵ１は、全体の管理及び更新処理（図１、図５、図６）を行うものであり、主メモリ２はそれに必要なプログラムのラッチ及び各種の作業用データを記憶する。磁気ディスク３は、三次元原画像を記憶しており、これをＣＰＵ１に送り更新処理の対象とする。また更新の処理後の擬似三次元画像を含む各種の処理経過画像が再利用すべき各種の画像を記憶する。マウス８は、コントローラ７を介してＣＲＴ上にマウスの表示を行わせ、自動更新や手動更新に利用される。表示メモリ５は、ＣＲＴ６に表示するための画像や各種マイコンをラッチする。共通バス４はそれらの共通インターフェース線である。
【００６６】
オペレーション上の特殊な場合について、図８で説明する。
図１４（イ）でｄＹを変化させるとβが変化し、断層像（ＣＴ像）をＧ３、Ｇ４方向に傾けたと同じ効果が得られる（β変化する）。同じ効果をｄＸにも持たせたい。本来、ｄＸは画像をｙ軸の回りに回転させる（αが変化する）効果を持つが、全く別の意味を持たせたい場合がある。即ち、ｄＸを変化させたときＧ３、Ｇ４とは直角方向のＧ１、Ｇ２方向に傾ける効果を持たせたいときがある。しかも画像は、あまり回転させたくない。これに対する、近似的で便宜的な手段を以下に説明する。例えば、ｄＹ＝０、ｄＸがゼロでないとき、Ｇ１、Ｇ２方向に傾けるには、投影面をα方向に９０度回転させて（βはそのまま）、ｄＹの大きさをｄＸと等しくし、強制的にｄＸ＝０と置き換えると、ｄＸはゼロなのでｙ軸の回りに回せず（αはそのまま）、しかもｄＹは大きさがゼロでなくなり方向がＧ１、Ｇ２の方向をむくのでＧ１、Ｇ２の方向に傾いた（βが変化する）疑似三次元画像が得られることになる。但し、上記のように投影面を回転させて、見る方向を９０度回転させたので、疑似三次元画像の構成後にｘ＝ｙ＝ｚ＝０の投影点のまわりに回転して元に戻さなければならない。通常はｄＸ、ｄＹともにゼロでないので、以下のように近似的な処理をする。図１４（ロ）のように、ｄＹをｓｑｒｔ（ｄＸ２＋ｄＹ２）、ｄＸをゼロと置き換えて、同時にα方向に−ξだけ回転しておいて（ここで、ξ＝ａｒｃｔａｎ（ｄＸ／ｄＹ）である）、疑似三次元画像を構成する。これによりＧ５、Ｇ６方向の傾きが含まれることになる。但し、−ξだけ角度を回転させているので、疑似三次元画像を構成したあとで、原点ｘ＝ｙ＝ｚ＝０の投影点のまわりに＋ξだけ回転して元に戻す必要がある。図１５にはこの手順を示す。
【００６７】
尚、各実施例では、奥行き方向への視点の更新例としたが、これとは逆に奥から手前の視点の更新をも、ほぼ同じ考え方で可能であることは云うまでもない。
【００６８】
図１６は、視点及び投影面の更新例の説明図である。人間の気管支の断層像（ＣＴ画像）＃１〜＃ｋを用意しておき、これに気管支の手前から内視鏡的に近づき、分岐した気管支Ａ、Ｂの一方の気管支Ｂ内を更に内視鏡的に進ときの様子を示している。視点１→２→３が断層面に直角方向に視点を更新した例であり、視点４→５が気管支Ｂ内を進むときの視点の更新例を示す。これらの視点１〜５に合わせて投影面１〜５も更新される。
【００６９】
図１７〜図２１には、図１６での視点１〜５による具体的な表示画像例を示す。尚、図で補間とは補間処理で得た画像とのことであり、図に示す個所以外にも図の精度上から適当に作られて表示に使われる。
【００７０】
【発明の効果】
本発明によれば、点としての視点位置が、腸などの内部に沿って忠実に移動なように更新することができるようになった。
更に視点からの中心投影を行わせたことで、腸などの内部であたかも移動するような擬似三次元画像を得ることができた。
【図面の簡単な説明】
【図１】本発明の視点自動更新のフローチャートである。
【図２】中心投影を説明する図である。
【図３】中心投影を説明する図である。
【図４】選択画像が２つの存在する例を示す図である。
【図５】本発明の視点、視線方向、投影面の更新のフローチャートである。
【図６】本発明の陰影化、隠面化処理のフローチャートである。
【図７】視点と投影面との関係を示す図である。
【図８】現視点と新視点との位置関係を示す図である。
【図９】視点と投影面との関係を示す図である。
【図１０】視点と投影面と単位三次元画像とを示す図である。
【図１１】奥行き方向に視点を更新する説明図である。
【図１２】投影面と表示面との各種対応例図である。
【図１３】本発明の表示装置の実施例図である。
【図１４】本発明の他の実施例図である。
【図１５】この他の実施例の処理フローチャートである。
【図１６】視点と投影面との更新例を示す図である。
【図１７】視点１による表示画像例図である。
【図１８】視点２による表示画像例図である。
【図１９】視点３による表示画像例図である。
【図２０】視点４による表示画像例図である。
【図２１】視点５による表示画像例図である。
【符号の説明】
１    ＣＰＵ
２  主メモリ
３  補助メモリ
４  共通バス
５  表示メモリ
６  ＣＲＴ
７  コントローラ
８  マウス
１００  表示画面
１０２、１０３  アイコン
【図１】
0003632862.tif 000017
【図２】
0003632862.tif 000018
【図３】
0003632862.tif 000019
【図４】
0003632862.tif 000020
【図５】
0003632862.tif 000021
【図６】
0003632862.tif 000022
【図７】
0003632862.tif 000023
【図８】
0003632862.tif 000024
【図９】
0003632862.tif 000025
【図１０】
0003632862.tif 000026
【図１１】
0003632862.tif 000027
【図１２】
0003632862.tif 000028
【図１３】
0003632862.tif 000029
【図１４】
0003632862.tif 000030
【図１５】
0003632862.tif 000031
【図１６】
0003632862.tif 000032
【図１７】
0003632862.tif 000033
【図１８】
0003632862.tif 000034
【図１９】
0003632862.tif 000035
【図２０】
0003632862.tif 000036
【図２１】
0003632862.tif 000037