(57)【特許請求の範囲】
【請求項１】
視点の位置を更新するメモリへその視点の位置からみた三次元画像を構成する画素データを格納すると共に、各視点の位置毎に得られたメモリから画素データを処理手段によって検索処理し、次の視点の位置を自動設定する三次元画像における視点の位置自動設定方法において、
処理手段は、各視点毎の設定されたラベル化の回数を設定しておき、各視点毎に得られたメモリからの処理手段による検索処理にあっては、ラベル化毎にラベル化の回数を計数し、設定されたラベル回数に達したときにそれ以降のラベル化を停止すると共に、各ラベル化にあってはそのメモリ上の画素データの中の最小画素値（又は最大画素値）の画素位置の検索及びこの画素位置を含むその近傍画素位置のラベル化処理を行い、
その後のメモリ上の上記最小画素値（又は最大画素値）の検索にあっては、それ迄の視点毎に得られたラベル化された画素位置群に属するその時のメモリ上の画素データを除いた残りの画素データの中から選ぶようにして検索を行い、
更に処理手段は、各視点毎に検索した最小画素値（又は最大画素値）の画素位置と現在の視点の位置との間に視点の位置を自動設定する処理を行うものとした、
ことを特徴とする三次元画像における視点の位置自動設定方法。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、三次元原画像の内視鏡的映像化を行う擬似三次元画像の視点位置算出方法及び視点移動の際に適用可能な位置特定法に関する。
【０００２】
【従来の技術】
従来、血管や気管支などの管状物体の内腔を三次元再構成する際にキー入力やマウス入力などの指定方法で視点位置を変えながら再構成し、複数枚の管状物体の内腔擬似三次元画像を得て、それらを連続表示して内視鏡的映像化を行ってきた。
しかし、多くの再構成像が必要であり、再構成のための視点を１つ１つキー入力やマウス入力をしていたのでは作業量が膨大となり、効率が悪いという問題があった。
【０００３】
【発明が解決しようとする課題】
そこで、計算機上で自動的に視点の位置を計算し、再構成像を作成できれば作業量が減り、効率よく画像を作成できることになる。
本発明の目的は、擬似三次元画像の輝度値を用いて、管状物体の内部を追跡する視点位置を計算機上で算出するための位置特定法及び視点位置算出方法を提供することである。
【０００４】
【課題を解決するための手段】
本発明は、視点の位置を更新するメモリへその視点の位置からみた三次元画像を構成する画素データを格納すると共に、各視点の位置毎に得られたメモリから画素データを処理手段によって検索処理し、次の視点の位置を自動設定する三次元画像における視点の位置自動設定方法において、
処理手段は、各視点毎の設定されたラベル化の回数を設定しておき、各視点毎に得られたメモリからの処理手段による検索処理にあっては、ラベル化毎にラベル化の回数を計数し、設定されたラベル回数に達したときにそれ以降のラベル化を停止すると共に、各ラベル化にあってはそのメモリ上の画素データの中の最小画素値（又は最大画素値）の画素位置の検索及びこの画素位置を含むその近傍画素位置のラベル化処理を行い、
その後のメモリ上の上記最小画素値（又は最大画素値）の検索にあっては、それ迄の視点毎に得られたラベル化された画素位置群に属するその時のメモリ上の画素データを除いた残りの画素データの中から選ぶようにして検索を行い、
更に処理手段は、各視点毎に検索した最小画素値（又は最大画素値）の画素位置と現在の視点の位置との間に視点の位置を自動設定する処理を行うものとした、
ことを特徴とする三次元画像における視点の位置自動設定方法を開示する。
【０００５】
【発明の実施の形態】
図１は、位置特定処理の流れである。この処理の前提として、図２（ａ）の如く、モニタＭ上に疑似三次元画像が表示されており、且つこの表示のために、メモリ（主メモリ又はキャッシュメモリ等）に疑似三次元画像データが格納されているものとする。
この処理のための各種の前提事項は以下の通りである。
（イ）、ＣＴ画像を積み上げておき、これを任意の視点から中心投影法で、投影面へ投影する。
【０００６】
（ロ）、投影面への投影に際しては、デプス法で陰影化を行う。穏面化処理も行う。陰影化とは、視点から遠い投影対象点の投影画素値を小さく、近い投影対象点の投影画素値を大きく設定する処理法を指す。即ち、遠くのものは暗く、近くのものは明るくする輝度決定法であり、穏面化とは、１つの投影線に２つ以上の投影対象点がありそれ故に２つ以上の投影画素値がその投影点に重なる際に、この重なりを防止するものである。例えば奥側の投影対象点は無視し、一番手前側の投影対象点を、その投影線の唯一の投影対象点とする方法である。
デプス法では、視点と投影対象点と距離をＲとするとき、この投影対象点からの投影点の画素値Ｄを
【数１】
Ｄ＝Ｄmax−ｋＲ
とする。ｋは定数、Ｄmaxは、Ｒ＝０の時の最大設定画素値（定数）である。
【０００７】
（ハ）、かくして得られる投影面上の画像（これが疑似三次元画像である）データは、メモリ（主メモリ、又はバッファメモリ）に格納されており、このメモリ上の全部又は切り取った一部がオペレータの眼前にあるモニタに表示されている。図２のモニタＭ及びそれに表示中の画像Ｐが、管状物体の疑似三次元画像である。管状物体とは、気管支や血管等を指す。図２では、３つの奥行きのある画像Ｐ1、Ｐ2、Ｐ3の表示例を示す。画像Ｐ1、Ｐ2、Ｐ3はいずれも等高線表示形式をとっている。
【０００８】
（ニ）、画像Ｐ1、Ｐ2、Ｐ3は、それぞれ中心に行く程、画素値は小さくなっているものとする。図２（ｂ）には、図２（ａ）のＡ−Ａ′断面での画素値の分布例を示す。画像Ｐ1ではＲ点で極小画素値、画像Ｐ2ではＳ点で極小画素値、画素Ｐ3ではＱ点で極小画素値を持つものとしている。
【０００９】
以上の（イ）〜（ロ）の前提事項をもとにして図１の処理フローを説明する。ステップ１では、表示中の図２（ａ）の画面をみて検出する特定点の個数を設定する。特定点とは（即ち視点の進む方向としての候補点）視点としての候補点であり、例えば図２（ａ）では３つの画像Ｐ1、Ｐ2、Ｐ3が存在し、各画像毎に１つの特定点を付与しようとすれば、特定点の個数として「３」を設定する。画像Ｐ2を除いて視点を設定しようとすれば「２」を設定する。勿論、特定点は、１つの画像Ｐ1やＰ3の中に２つ以上出現することもあり、個数はこうした事例を含めて設定する。
ステップ２では、メモリ上の疑似三次元画像を走査し全画面上での最小画素値を持つ画素を検出し、特定点を求める。この特定点の求め方は後述する。最小画素値ではなく、最大画素値を持つ画素を、特定点とするやり方もある。
ステップ３では求めた特定点の座標位置（メモリ上の位置、表示画面上での位置）を記録する。
ステップ４では、ステップ２で１つの特定点を求める毎に、＋１の更新を行い、算出特定点をカウントする。
ステップ５では、設定検出個数を満たしたか判断する。満たしていれば処理を終了し、満たしていなければ、ステップ６に移る。
ステップ６では、特定点の近傍をラベル付けして検索対象外とし、ステップ２からの処理を繰り返す。
【００１０】
次に、ステップ２での、複数特定点の抽出法を説明する。
（イ）、図３に示すようにメモリ（画面対応）（横ｉ、縦ｊ）について、左上から右側、そして左上から下側へとラスタ方式によるスキャンを行う。１行分の左側から右側に行くラインが１本の走査線である。実際上はこの走査線の現在の走査点を注目点（注目画素）とし、この注目点を含めた３×３の画素サイズでスキャンを行わせるものとする。
【００１１】
（ロ）、先ず、メモリ上の全画素をスキャンして最小画素値の画素位置をサーチする。このスキャンは１点毎のラスタスキャンでよい。図４には、８×９の画素サイズのメモリ例を示す。等高線と画素値とは合致していないが、本来は等高線に沿う画素位置の画素値はすべて同一画素値であり、等高線が変われば対応して画素値も変わる。図４で中央付近（ｉ＝６、ｊ＝６）にある画素値＝１が最小画素値として検出される。この画素値の位置（６、６）をラベル化する。
【００１２】
（ハ）、次に、メモリの左上から３×３の画素サイズで全画面のラスタスキャンを行う。そして注目画素に対して、その周囲８個の画素に１つ以上ラベル付けされた画素が存在するか否かチェックし、存在すればそのラベル付けされた画素の画素値と、注目画素の画素値との大小を比較する。
【数２】
（注目画素値Ａ）−（ラベル付け画素値Ｂ）＞０
Ａ＞Ｂであれば、その注目画素位置を同一ラベル付けする。Ａ≦Ｂであれば、その注目画素位置のラベル付けは行わない。
【００１３】
図５には、図４のメモリに対する、ラスタスキャンによる最初のラベル付け注目画素の検出例を示している。左上から右上そして左上から左下へとのラスタスキャンで、周囲８個の画素にラベル付の出現する画素位置は（５、５）の位置である。左ななめ下方向が、すでにラベル付けられた（６、６）位置であるからである。
【００１４】
（ニ）、図６には、（ハ）以降の残り画面スキャン結果を示す。斜線部分が最小値１と同じラベル付けられた画素位置を示す。
【００１５】
（ホ）、次に、メモリについて第２回目の全画面スキャンを行う。この第２回目の全画面スキャン対象は、図６に示す第１回目の全画面スキャン結果の、ラベル付けされたデータである。第２回目の全画面スキャンでも第１回目の全画面スキャンと同じく、各注目画素毎に（数２）の比較、及びラベル付けが新しくその周辺に対して行われる。図７にはこの第２回目の全画面スキャン結果を示す。図６に比して周辺部に新しくラベル付けられた画素が追加形成されたことがわかる。例えば、位置（４、４）、（５、４）等がそれである。
【００１６】
（ヘ）、次に、第２回目の全画面スキャン終了後第３回目の全画面スキャンを行う。この第３回目の全画面スキャン対象は図７に示す第２回目の全画面スキャン結果のラベル付けされたデータである。この第３回目の全画面スキャン結果を図８に示す。図８では、図７に比して、新たに位置（３、２）等の６個所が同一ラベル付けられた画素位置となり、それ以外の位置では新しく同一ラベル付けされる画素位置は存在しない。
【００１７】
（ト）、更に第４回目の全画面スキャンを図８のメモリ内容に対して行う。このスキャンでは図８のメモリ内容に対して新たにラベル付けされる画素はない。
【００１８】
（チ）、各回の全画面スキャン毎に、ラベル付けされた画素位置の総数をカウンタに計数しておく。例えば、図６の例では、
第１回目のラベル付画素位置数Ｃ1＝２３（図６）
第２回目のラベル付画素位置数Ｃ2＝３２（図７）
第３回目のラベル付画素位置数Ｃ3＝３３（図８）
第４回目のラベル付画素位置数Ｃ4＝３３（図示せず）
となる。そして、隣り合う走査回数との間で増加許容閾値ε以上増加したか否かをチェックし、ε未満であれば、それ以降の全画面スキャンを打ち切る。例えばε＝２であれば、
Ｃ1−Ｃ2＝９
Ｃ2−Ｃ3＝６
Ｃ4−Ｃ3＝０
であり、第５回目の全画面スキャンは行わない。
【００１９】
（リ）、この第５回目の全画面スキャンを行わないことが決定した後で、最小画素値＝１の近辺の同一ラベル付画素位置（これは図８に示すラベル付けされたものである）を次の特定点検出処理から除外する。次の特定点検出処理とはステップ２からの処理の繰り返しである。ステップ５では検出回数を満たしていなければ、次のラベル付け処理を行う。この、次のラベル付け処理とは、図２に示す極小画素値Ｒを含むその周囲のラベル付けである。この時、極小画素値Ｒが全画面中の最小画素値となる。この新しいラベル付け処理でも、先ず最小画素値＝２を位置（２、６）で検出する。この後で、先に述べたような全画面スキャンを何回か繰り返し、位置（２、６）の周囲について（数２）の論理で第２のラベル付けする。
【００２０】
（ヌ）、例えば、ステップ１で検出個数＝２であれば、Ｑ、Ｒの二点が特定点として検出されたことになり、ステップ５で検出個数＝２になったとして処理を終了する。
【００２１】
（ル）、同一最小画素値が２以上存在する例もある。図９にはその一例を示す。最小画素値＝１が中央付近に１２個存在している。こうした場合、１２個の画素位置に対して座標（ｉ、ｊ）の平均値をとり、その平均値の座標位置を特定点として指定する。また、同一最小画素値が、図９のように集中しておらず分散している場合には、分散の度合に応じて平均化法を採用したり、ある程度相互に離れている位置について２以上の特定点を特別に抽出を許したりする条件を付加しておけばよい。
【００２２】
具体的な処理の流れを図１０に示す。
ステップ６０１では、特定点にそれと分かるラベルをつけるか、あるいは本実施の形態例においては最大輝度値（検出の対象とならない値）で置き換える。
ステップ６０２では、画像を左上から順に走査する。
ステップ６０３では、注目画素の８近傍でラベルのつけられた画素が１つ以上存在するか調べる。存在した場合はステップ６０４へ移り、存在しない場合はステップ６０７に移る。
ステップ６０４では、条件の判定を行う。この実施の形態では、
（注目画素値）−（ラベル付けされた画素値）＞０
という条件を満たす場合はステップ６０５へ移り、それ以外はステップ６０７に移る。
ステップ６０５では、注目画素にラベルをつける。
ステップ６０６では、ラベル付けされた画素の個数をカウントする。
ステップ６０７では、走査が画像の最後まで行われたかを判断する。最後まで行われた場合はステップ６０８へ移り、途中の場合はステップ６０９へ移る。
ステップ６０８では、ラベル付けされた画素の個数が増えているか判断する。増えている場合はステップ６０２に戻り、ラベル付けの処理を繰り返す。増えていなければ、これ以上ラベル付けされる画素は存在しないので、処理を終了する。
ステップ６０９では、注目画素を次の画素に移す。
【００２３】
図１１は、管状物体の奥に視点を移動する際に、上記位置特定処理を用いて行う視点位置算出処理の流れである。
ステップ１１では、位置特定処理により管状物体の奥を表す特定点を複数個（あるいは１個）検出する。
ステップ１２では、特定点が複数個か１個か判断し、複数ならステップ１３へ移り、１個ならステップ１４へ移る。
ステップ１３では、複数の特定点の中から処理に用いる特定点を１個（例えば図２の例ではＱとＲとのうちの１点）だけ操作者が指定する。
ステップ１４では、特定点を用いて新しい視点の位置を算出する。図１２にその処理の流れを示す。
【００２４】
ステップ１４１では、特定点の二次元座標を三次元座標系の座標に変換する。
ステップ１４２では、ステップ１４１で求めた特定点の座標位置と、現視点位置とを結ぶ先分を設定し、その線分上に任意に新しい視点をおく。例えば、線分上の比率Ｌ1：Ｌ2（但しＬ1＋Ｌ2＝１）を定めておき、この比率に相当する、線分上の一点に視点をおく。
【００２５】
図１３に、位置関係を示す。Ａは投影面Ｔ（擬似三次元画像）上の１つに決まった特定点、Ａ′はＡに投影された断層像Ｓ上の点、Ｅは現視点、Ｅ′は線分Ａ′Ｅ上に決まる新視点である。Ｅ′を線分Ａ′Ｅ上のどの位置に設定するかは、任意に設定する。
ステップ１４３では、新しい視点を用いて再構成処理を行う。具体的方法は、特願平６−３４９２号の三次元画像の構成方法を用いる。
【００２６】
図１４は、本発明が適用可能なハードウエア構成例を示すブロック図である。図１４において、２１はＣＰＵ、２２は主メモリ、２３は磁気ディスク、２４は表示メモリ、２６はマウスコントローラ、２８はキーボードで、これらは共通バス２９に接続されている。磁気ディスク２３には複数の断層像、再構成のためのプログラム、位置特定のプログラム、視点算出のためのプログラムなどが格納されている。
【００２７】
ＣＰＵ２１はこれら複数の断層像及び再構成のプログラムを読み出し、主メモリ２２を用いて三次元再構成を行い、その結果を表示メモリ２４に送りＣＲＴモニタ２５に表示させる。さらにＣＰＵ２１は位置特定のプログラムを読み出し、主メモリ２２を用いて位置の特定を行い、視点算出のプログラムを読み出して視点位置算出を行う。マウスコントローラ２６に接続されたマウス２７は、複数個の特定点の１つを指定する際に用いる。キーボード２８は、検出する特定点の個数を入力する際に用いる。
特定点の座標、得られた画像は磁気ディスク２３に格納される。
尚、特定点を最大画素値とする場合、（数２）に代わって、
（注目画素値）−（ラベル付けされた画素値）＜０
を使う。又、最小、最大以外に中間的な画素値を基準にする例もある。
尚、ラベル付けはぬりつぶすやり方をとったが、同一サイズの別メモリを設けておき、この中にラベル＝１等のラベルデータを格納しておくやり方もある。
【００２８】
また、特定点の検出の例以外に、画素値の凹部や凸部の検出及び一画面上（メモリ上）での存在する凹部や凸部の分布の検出にも利用できる。この際、画素値としては、デプス法による画素値以外に、ＴＶカメラで撮像した画像の例や画像処理対象となる各種の画像の例にも区別なく適用できる。ここで、凹部とは最小値（極小値を含む）を基準にしてラベル付けする例（図８の如き例）、凸部とは最大値（極大値を含む）を基準にしてラベル付けする例である。一画面上に表示している画像の中に、凹部や凸部が複数個存在する例があるが、こうした事例に対して、先の実施例を適用すればその中の１つの凹部又は凸部の検出や、その複数個の凹部や凸部が区分したラベル番号でラベル区分化ができる。尚、ラベル付けは、先の実施例で述べた画素値をぬりつぶすやり方以外に、画素値メモリ（図８の如き例）以外に、同サイズのメモリを持ち、この同サイズのメモリにラベル番号を画素毎に格納させるやり方が好ましい。こうすればラベル管理と画素値管理とを効率的に達成できる。ラベル付けは、画像の特徴抽出の一例であり、統計処理、画像解析や画像判別、その他各種の画像処理に利用できる。
【００２９】
【発明の効果】
本発明によれば、計算機上で条件を満たす画素の位置を特定でき、それにより三次元再構成の際の視点位置の算出を計算機上で行えることとなり、視点更新処理の自動化の実現手段の１つとなる。
【図面の簡単な説明】
【図１】本発明の流れを示すフローチャートである。
【図２】特定点検出のためのラベル付けを説明する図である。
【図３】注目点と３×３の画素サイズの走査例図である。
【図４】メモリ上のラベル付けの最小画素位置を示す図である。
【図５】第１回目の全画面スキャン例を示す図である。
【図６】第１回目の全画面スキャン結果を示す図である。
【図７】第２回目の全画面スキャン結果を示す図である。
【図８】第３回目の全画面スキャン結果を示す図である。
【図９】他のメモリデータ例を示す図である。
【図１０】ラベル付けの流れを示すフローチャートである。
【図１１】本発明を用いた視点位置算出処理の流れを示すフローチャートである。
【図１２】視点位置算出過程を示すフローチャートである。
【図１３】視点算出の際の位置関係を説明する図である。
【図１４】本発明に適用可能なハードウエア構成例のブロック図である。
【符号の説明】
Ｍ  モニタ
Ｐ  管状物体の擬似三次元像
Ｑ  最小輝度値の画素
Ｒ  二番目に小さい輝度値の画素
Ｓ  断層像
Ｔ  投影面
Ａ  特定点
Ａ′  断層像上の点
Ｅ  視点
Ｅ′  新視点
【図１】
0003708600.tif 000002
【図２】
0003708600.tif 000003
【図３】
0003708600.tif 000004
【図４】
0003708600.tif 000005
【図５】
0003708600.tif 000006
【図６】
0003708600.tif 000007
【図７】
0003708600.tif 000008
【図８】
0003708600.tif 000009
【図９】
0003708600.tif 000010
【図１０】
0003708600.tif 000011
【図１１】
0003708600.tif 000012
【図１２】
0003708600.tif 000013
【図１３】
0003708600.tif 000014
【図１４】
0003708600.tif 000015