(57)【特許請求の範囲】
【請求項１】
画像上の観察対象の内部を内視鏡的に観察するために該画像上の観察対象の内部に視点を設定すると共にこの視点から所定距離の位置に投影面を設定する手段と、
前記画像上の観察対象を示す複数の断層像又はボリューム画像を用い、前記設定する手段によって任意の視点が設定されると、その視点から前記各断層像を前記投影面に投影するとともに陰影付けしてなる三次元画像であって、前記視点から前記観察対象の内部を内視鏡的に描画し、前記視点は描画しない内視鏡的画像を作成する第１の画像作成手段と、
前記複数の断層像又はボリューム画像と前記設定された視点とに基づいて、ｘｙ平面、ｙｚ平面、ｚｘ平面にそれぞれ平行な断面像、又は任意角度で前記画像上の観察対象をカットした任意断面像上に、前記視点の位置を描画することにより、前記断面像上かつ観察対象全体の中における前記視点の位置が認識可能なガイド画像を作成する第２の画像作成手段と、
前記第１の画像作成手段によって作成された内視鏡的画像と前記第２の画像作成手段によって作成されたガイド画像とを同時に表示又は前記内視鏡的画像と前記ガイド画像とを切り替えて表示することができる手段と、
を特徴とする三次元画像表示装置。
【請求項２】
前記手段によって前記内視鏡的画像と前記ガイド画像とを同時表示又は切替表示する表示手段をさらに備えることを特徴とする請求項１に記載の三次元画像表示装置。
【請求項３】
画像上の観察対象の内部を内視鏡的に観察するために該画像上の観察対象の内部に視点を設定すると共にこの視点から所定距離の位置に投影面を設定する手段と、
前記画像上の観察対象を示す複数の断層像又はボリューム画像を用い、前記設定する手段によって任意の視点が設定されると、その視点から前記各断層像を前記投影面に投影するとともに陰影付けしてなる三次元画像であって、前記視点から前記観察対象の内部を内視鏡的に描画し、前記視点は描画しない内視鏡的画像を作成する第１の画像作成手段と、
前記複数の断層像又はボリューム画像と前記設定された視点とに基づいて、ｘｙ平面、ｙｚ平面、ｚｘ平面にそれぞれ平行な断面像、又は任意角度で前記画像上の観察対象をカットした任意断面像上に、前記視点の位置を描画することにより、前記断面像上かつ観察対象全体の中における前記視点の位置が認識可能な種類の異なる複数のガイド画像を作成する第２の画像作成手段と、
前記第１の画像作成手段によって作成された内視鏡的画像と前記第２の画像作成手段によって複数作成されたガイド画像とを同時に又は切り替えて表示する表示手段と、
を備えたことを特徴とする三次元画像表示装置。
【請求項４】
前記第２の画像作成手段は、前記視点が存在する断層像を前記複数の断層像の中から算出し、該断層像上での視点の位置を求め、前記算出した断層像上に描画することによりガイド画像を作成する、
ことを特徴とする請求項１乃至３のいずれか一つに記載の三次元画像表示装置。
【請求項５】
ガイド画像を作成するための再構成に際に必要なパラメータが入力され、
前記ガイド画像を作成するための再構成演算を行う第一の処理と
前記観察対象の三次元座標が前記第一の処理で作成されたガイド画像の表示画像のどの位置に投影されたかを示すデータを保存する第二の処理と、
前記内視鏡的画像の再構成の際の視点位置から、前記第二の処理で保存されたデータを元に前記ガイド画像上での視点の位置を求める第三の処理と、
前記ガイド画像上に前記視点の位置を描画する第四の処理と、が実行されて、前記第２の画像作成手段によりガイド用三次元画像が再構成されると共に、該ガイド用三次元画像は、前記第一の処理乃至第四の処理が繰り返し実行されることにより任意に回転して表示される、
ことを特徴とする請求項１乃至４のいずれか一つに記載の三次元画像表示装置。
【請求項６】
前記設定する手段による視点の位置の設定は、前記各断面像の表示画面上、及び前記内視鏡的画像の表示画面上のいずれにおいても行うことができる、
ことを特徴とする請求項１乃至５のいずれか一つに記載の三次元画像表示装置。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明はガイド画像付き三次元画像表示装置に係り、特に観察対象の内部を内視鏡で見たような画像（以下、内視鏡的画像という）として表示することができる三次元画像表示装置に関する。
【０００２】
【従来の技術】
医用画像は、Ｘ線ＣＴ画像やＭＲＩ画像、超音波断層像等の種々の画像より成る。疑似三次元画像を得る方法として、視点と投影面とを与え、視点と投影面との間に存在する三次元原画像（複数の断層像）を、その投影面に、視点から見たように投影する投影法が存在する。投影法には、平行投影法と中心投影法とが知られている。
【０００３】
内視鏡的画像を得るためには、視点を観察対象の内部に設定することができる中心投影法を用いる。この内視鏡的画像を得る中心投影法は、特開平７−２１０７０４号公報、及び特開平７−２９６１８４号公報に記載されている。
【０００４】
【発明が解決しようとする課題】
しかしながら、上記中心投影法によって得られる内視鏡的画像は、視点が観察対象の内部に設定されるため、観察対象全体の中のどの位置に視点がおかれ、どの部位を観察しているかを把握するのが困難であるという問題があった。尚、内視鏡的画像を見ながら視点を所望の位置に移動させていくためには、視点が観察対象の内部のどの位置にあるかを直ぐに把握する必要がある。
【０００５】
又、本願の特許出願人が提出した特願平８−７６９３３号には、所謂ガイド画像が１つしか対応表示されてなく、視点又は視線を立体的に把握するための配慮がなされていない問題があった。
本発明はこれらのような事情に鑑みてなされたもので、内視鏡的画像の視点の位置が観察対象のどの位置にあるかを容易に認識することができる三次元画像表示装置を提供することを目的としている。また、視点の位置を立体的に把握できるガイド像を有する三次元画像表示装置を提供することを目的としている。
【０００６】
【課題を解決する為の手段】
本発明は前記目的を達成するために、画像上の観察対象の内部を内視鏡的に観察するために該画像上の観察対象の内部に視点を設定すると共にこの視点から所定距離の位置に投影面を設定する手段と、前記画像上の観察対象を示す複数の断層像又はボリューム画像を用い、前記設定する手段によって任意の視点が設定されると、その視点から前記各断層像を前記投影面に投影するとともに陰影付けしてなる三次元画像であって、前記視点から前記観察対象の内部を内視鏡的に描画し、前記視点は描画しない内視鏡的画像を作成する第１の画像作成手段と、前記複数の断層像又はボリューム画像と前記設定された視点とに基づいて、ｘｙ平面、ｙｚ平面、ｚｘ平面にそれぞれ平行な断面像、又は任意角度で前記画像上の観察対象をカットした任意断面像上に、前記視点の位置を描画することにより、前記断面像上かつ観察対象全体の中における前記視点の位置が認識可能なガイド画像を作成する第２の画像作成手段と、前記第１の画像作成手段によって作成された内視鏡的画像と前記第２の画像作成手段によって作成されたガイド画像とを同時に表示又は前記内視鏡的画像と前記ガイド画像とを切り替えて表示することができる手段と、を特徴としている。
また、前記手段によって前記内視鏡的画像と前記ガイド画像とを同時表示又は切替表示する表示手段をさらに備えてもよい。
また、画像上の観察対象の内部を内視鏡的に観察するために該画像上の観察対象の内部に視点を設定すると共にこの視点から所定距離の位置に投影面を設定する手段と、前記画像上の観察対象を示す複数の断層像又はボリューム画像を用い、前記設定する手段によって任意の視点が設定されると、その視点から前記各断層像を前記投影面に投影するとともに陰影付けしてなる三次元画像であって、前記視点から前記観察対象の内部を内視鏡的に描画し、前記視点は描画しない内視鏡的画像を作成する第１の画像作成手段と、前記複数の断層像又はボリューム画像と前記設定された視点とに基づいて、ｘｙ平面、ｙｚ平面、ｚｘ平面にそれぞれ平行な断面像、又は任意角度で前記画像上の観察対象をカットした任意断面像上に、前記視点の位置を描画することにより、前記断面像上かつ観察対象全体の中における前記視点の位置が認識可能な種類の異なる複数のガイド画像を作成する第２の画像作成手段と、前記第１の画像作成手段によって作成された内視鏡的画像と前記第２の画像作成手段によって複数作成されたガイド画像とを同時に又は切り替えて表示する表示手段と、を備えてもよい。
また、前記第２の画像作成手段は、前記視点が存在する断層像を前記複数の断層像の中から算出し、該断層像上での視点の位置を求め、前記算出した断層像上に描画することによりガイド画像を作成してもよい。
また、ガイド画像を作成するための再構成に際に必要なパラメータが入力され、前記ガイド画像を作成するための再構成演算を行う第一の処理と、前記観察対象の三次元座標が前記第一の処理で作成されたガイド画像の表示画像のどの位置に投影されたかを示すデータを保存する第二の処理と、前記内視鏡的画像の再構成の際の視点位置から、前記第二の処理で保存されたデータを元に前記ガイド画像上での視点の位置を求める第三の処理と、前記ガイド画像上に前記視点の位置を描画する第四の処理と、が実行されて、前記第２の画像作成手段によりガイド用三次元画像が再構成されると共に、該ガイド用三次元画像は、前記第一の処理乃至第四の処理が繰り返し実行されることにより任意に回転して表示されてもよい。
また、前記設定する手段による視点の位置の設定は、前記各断面像の表示画面上、及び前記内視鏡的画像の表示画面上のいずれにおいても行ってもよい。
【０００７】
本発明によれば、前記第１の画像作成手段によってある視点から観察対象の内部を内視鏡的に観察したような三次元画像を作成するとともに、第２の画像作成手段によってその視点が観察対象の内部のどの位置にあるかを把握できるようなガイド画像を作成する。そして、前記表示手段によって内視鏡的画像を示す三次元画像とガイド画像とを同時に、又は切り替えて表示するようにしている。これれより、内視鏡的画像を得ることができるとともに、ガイド画像によってその内視鏡的画像の視点が観察対象の内部のどの位置にあるかを把握することができる。
【０００８】
【発明の実施の形態】
以下添付図面に従って本発明に係る三次元画像表示装置の好ましい実施の形態について詳説する。
図１は本発明に係るガイド画像付き三次元画像表示装置における処理の概要を示すフローチャートである。
【０００９】
同図において、ステップ１では、観察対象を示す三次元原画像（断層像）から中心投影法によって内視鏡的画像を再構成する。
ここで、中心投影による内視鏡的画像の再構成方法について説明する。
まず、中心投影による座標変換について述べる。中心投影による投影面への各断層像の投影に際し、各断層像の画素座標の投影面上の座標への変換は次のように行われる。
【００１０】
図１０に示す例では、説明を簡単化するため投影面６と断層像８Ａ、更にはｘ−ｙ面が各々平行であるように座標系をとっている。この図１０において、ｘ，ｙ，ｚは三次元座標系（ｘ，ｙ，ｚ）の各軸、ｅ点（ｘ１，ｙ１，ｄ１）は視点ｅの位置、Ｐ点（Ｘ，Ｙ）は投影面（表示画面に相当する）６上の点、Ｓ点（ｘ０，ｙ０，ｄ０）はｅ点（ｘ１，ｙ１，ｄ１）とＰ点（Ｘ，Ｙ）を通る直線７と断層像８Ａと交わる点である。
【００１１】
また、Ｄは投影面６の位置（ｚ軸上）で、任意に設定可能である。
ｄ０は断層像８Ａの位置（ｚ軸上）で、計測時に決まる。
ｄ１は視点ｅのｚ座標である。
これによれば、次の式が成り立つ。
【００１２】
【数１】
Ｘ＝｛（Ｄ−ｄ１）／（ｄ０−ｄ１）｝×（ｘ０−ｘ１）＋ｘ１  …（１）
【数２】
Ｙ＝｛（Ｄ−ｄ１）／（ｄ０−ｄ１）｝×（ｙ０−ｙ１）＋ｙ１  …（２）
【数３】
ｘ０＝｛（ｄ０−Ｄ）／（ｄ１−Ｄ）｝×（ｘ１−ｘ）＋Ｘ      …（３）
【数４】
ｙ０＝｛（ｄ０−Ｄ）／（ｄ１−Ｄ）｝×（ｙ１−ｙ）＋Ｙ      …（４）
投影された画像を投影面６に相当する表示画面（図示せず）上に、縦５１２画素×横５１２画素で表示するとき、Ｘ，Ｙは−２５６から＋２５６までの値を取る。それぞれのＸ，Ｙに対してｄ０の断層像８Ａ上では上記（３），（４）式によりｘ０，ｙ０が決まり、どの点が投影すべきかが決まる。断層像８Ａは複数あって、ｄ０も複数個あるので、１組のＸ，Ｙに対して複数の投影すべき点ｘ０，ｙ０が決まる。
【００１３】
同様の座標系において、断層像８Ａの他にも断層像８Ｂ〜８Ｅを用意し、ｙ軸方向から見た図を図１１（ａ）に示す。この図１１（ａ）において、断層像８Ａ〜８Ｅは同一対象物について同一方向に等間隔で得られた断層像（図示例では等間隔であるが、必ずしも等間隔である必要はない）であり、断層像８Ｂには、臓器領域Ｂ１，Ｂ２，Ｂ３が強調して書いてある。臓器領域Ｂ１，Ｂ２，Ｂ３を投影面６に投影するとＢ１’，Ｂ２’，Ｂ３’となる。同様に、断層像８Ｃの臓器領域Ｃ１，Ｃ２を投影面６に投影するとＣ１’，Ｃ２’となる。ここで、投影データ（ここでは、Ｂ１’，Ｂ２’，Ｂ３’；Ｃ１’，Ｃ２’）を表示メモリ（図示せず）に書く時は、三次元的効果を出すために、視点ｅから見てより遠くに存在する投影データを先に書き込み、それより近くの投影データは後から上書きする。従って、ここでは、投影データＣ１，Ｃ２より投影データＢ１，Ｂ２，Ｂ３の方が視点ｅより遠くに存在するので、投影データＢ１’，Ｂ２’，Ｂ３’を先に書いて、投影データＣ１′，Ｃ２′は後から上書きすることになる。尚、図１１（ａ）では、投影データＢ１’，Ｂ２’，Ｂ３’；Ｃ１’，Ｃ２’は各々投影面６から離して示しているが、これは表示メモリに書き込み投影データＢ１’，Ｂ２’，Ｂ３’；Ｃ１’，Ｃ２’の順番を判り易くしたために過ぎず、最初に書かれる投影データＢ１’，Ｂ２’，Ｂ３’も、それに上書きされる投影データＣ１’，Ｃ２’も実際には投影面６上に書かれる。
【００１４】
図１１（ｂ）は図１１（ａ）よりも一般化して示したもので、投影面と断層像面が平行でない場合の例である。この場合は、断層像８Ａ，８Ｂ，８Ｃ…から補間演算で投影面６と平行な面に向けられた断層像８ａ，８ｂ，８ｃ…を作っておく必要がある。その他は、図１１（ａ）の場合と同様である。なお、ｂ１’；ｃ１’，ｃ２’；ｄ１’は、補間演算された断層像８ｂ，８ｃ，８ｄ上の臓器領域ｂ１；ｃ１，ｃ２；ｄ１の投影データである。
【００１５】
図１２は視点、断層像及び投影面がより複雑な位置関係をもった場合の中心投影による座標変換を説明するための図で、断層像８上のＳ点（ｘ０，ｚ０，ｙ０）の投影結果が投影平面上のＰ点（ｘ，ｙ，ｚ）になることを示す。
この図１２において、中心投影による投影平面６への断層像８の投影に際し、断層像８の画素座標の投影平面６上の座標への変換は次のように行われる。
【００１６】
ここで、
ａはｘ軸と投影平面６の交わる点、
ｂはｙ軸と投影平面６の交わる点、
ｃはｚ軸と投影平面６の交わる点、
である。また、
αは原点から投影平面６に下ろした垂線をｚ−ｘ面に投影した線がｘ軸となす角、
βは前記垂線がｘ−ｚ面となす角、
ｅ点（ｘ１，ｙ１，ｚ１）は視点ｅの位置、
Ｐ点（ｘ，ｙ，ｚ）は投影面（表示画面に相当する）６上の点、
Ｓ点（ｘ０，ｚ０，ｙ０）はｅ点（ｘ１，ｙ１，ｚ１）とＰ点（ｘ，ｙ，ｚ）
を通る直線７と断層像８Ａの交わる点、
とすると、次の式が成り立つ。
【００１７】
まず、投影平面６は、
【００１８】
【数５】
（ｘ／ａ）＋（ｙ／ｂ）＋（ｚ／ｃ）＝１            …（５）
で表わされる。
また、ｅ点（ｘ１，ｙ１，ｚ１）とＰ点（ｘ，ｙ，ｚ）を通る直線７は
【００１９】
【数６】
（ｘ０−ｘ）／（ｘ１−ｘ）＝（ｙ０−ｙ）／（ｙ１−ｙ）＝（ｚ０−ｚ）／（ｚ１−ｚ）                    …（６）
で与えられる。
投影平面６がＣ１点（ｘｃ１，ｙｃ１，ｚｃ１）を通るとき、
ｋ１＝ｓｉｎα
ｋ２＝ｃｏｓα／ｓｉｎβ
ｋ３＝ｃｏｓα・ｃｏｓβ／ｓｉｎβ
ａｉ＝１／ａ
ｂｉ＝１／ｂ
ｃｉ＝１／ｃ
として、
【００２０】
【数７】
ｚ＝［Ｘ・ｋ１−Ｙ・ｋ２−ｙｃｌ・ｋ３−｛（ｃｉ・ｋ３・ｚｃｌ）／ｂｉ｝＋｛（ａｉ・ｋ３・Ｘ）／（ｂｉ・ｃｏｓα）｝−｛（ａｉ・ｋ３・ｘｃｌ）／ｂｉ｝］／［１−｛（ｃｉ・ｋ３）／ｂｉ｝＋｛（ａｉ・ｋ３・ｓｉｎα）／（ｂｉ・ｃｏｓα）｝］                              …（７）
【数８】
ｘ＝（Ｘ−ｚ・ｓｉｎα）／ｃｏｓα                …（８）
【数９】
ｙ＝［ｙｃｌ＋｛−ｃｉ・（ｚ−ｚｃｌ）−ａｉ・（ｘ−ｘｃｌ）｝］／ｂｉ…（９）
ここで、上記Ｃ１点（ｘｃｌ，ｙｃｌ，ｚｃｌ）には、例えば、視点ｅ（ｘ１，ｙ１，ｚ１）から投影平面６に下ろした垂線と投影平面６の交わる点（この点と視点ｅ間の距離はｈ）として、
【００２１】
【数１０】
ｚｃｌ＝ｚ１＋−［ｈ／ｓｑｒｔ｛１＋（ｃ2 ／ａ2 ）＋（ｃ2 ／ｂ2 ）｝］（「ｚｌ＋−」の「−」はｚ０＜ｚｃｌのとき）      …（１０）
【数１１】
ｘｃｌ＝ｘ１＋｛ｃ・（ｚ１−ｚｃｌ）／ａ｝        …（１１）
【数１２】
ｙｃｌ＝ｙ１＋｛ｃ・（ｚ１−ｚｃ１）／ｂ｝        …（１２）
を使ってもよい。
【００２２】
投影された画像を投影平面６に相当する表示画面（図示せず）上に、縦５１２画素×横５１２画素で表示するとき、Ｘ，Ｙは−２５６から＋２５６までの値を取る。それぞれのＸ，Ｙに対して上記（７）、（８）、（９）式によりｘ，ｙが決まる。ｅ点のｘ１，ｙ１，ｚ１は任意に与えるので、下記の（１３）、（１４）式により、ｙ０＝ｄ０の断層像上で画素Ｓ点の座標ｘ０，ｚ０が決まる。
【００２３】
【数１３】
ｘ０＝｛（ｄ０−ｙ）／（ｙ１−ｙ）｝×（ｘ１−ｘ）＋ｘ    …（１３）
【数１４】
ｘ０＝｛（ｄ０−ｙ）／（ｙ１−ｙ）｝×（ｚ１−ｚ）＋ｚ    …（１４）
断層像は複数あって、ｄ０も複数個あるので、１組のＸ，Ｙに対して複数の投影すべき点ｘ０，ｙ０が決まる。
【００２４】
なお、図１２中のＲは視点ｅからＳ点までの距離を示すもので、このＲはＰ点の画素値（輝度）を求める際のパラメータとなる。Ｐ点の画素値は、設定された画素値（輝度）の最大値Ｒｍａｘから上記Ｒを引算した値に比例する。このＰ点は表示メモリ上では（η，ξ）点に対応するので（η，ξ）点に前記画素値を格納する。
【００２５】
以上のような座標変換を、表示画面に相当する投影面６上の全ての点について行う。また、全ての断層像８について行う。更に、構成された結果像である三次元画像に対して行っても、あるいは構成前の１枚、１枚の断層像に対して行ってもよい。このようにして視点ｅの位置及び投影面を設定すると、三次元画像（内視鏡的画像）を再構成することができる。尚、内視鏡的画像の陰影付けは、表示メモリに格納された各画素値の大きさに基づいて行われる。
【００２６】
図１のステップ１によって上述したように内視鏡的画像の再構成演算が行われると、ステップ１の再構成演算に使用した視点ｅの位置（ｘ，ｙ，ｚ）を保存する（ステップ２）。
次に、ステップ３により、ガイド画像の作成を行う。ガイド画像としては、例えば、１枚の断層像、ｘｙ平面、ｙｚ平面、ｚｘ平面にそれぞれ平行な断面像、任意角度で観察対象をカットした任意断面像、及び三次元画像が考えられる。尚、この三次元画像は、視点の位置関係が容易に把握できる程度の視野で再構成されたものである。
【００２７】
ステップ３でガイド画像を得た後、ステップ２で保存した視点の位置（ｘ，ｙ，ｚ）からガイド画像上での視点の位置を求め、その位置を視認できるように描画する。
ステップ４は、ステップ１で演算した結果の内視鏡的画像を表示し、ステップ５は、ステップ３で作成したガイド画像を表示する。そして、視点を移動させる毎に上記処理を繰り返し、視点の位置を操作者に呈示する。
【００２８】
次に、ガイド画像の作成手順及び各画像を表示する画面構成例について説明する。
図２は体軸方向に垂直な断層像をガイド画像とする際のガイド画像の作成手順を示すフローチャートである。また、図３は再構成の際の座標系と複数の断層像、視点及び投影面の関係の一例を示す図である。
【００２９】
図２において、ステップ１１は、体軸方向に該当する座標から視点が存在する断層像を特定する。ここで、体軸方向に該当する座標とは、断層像をｙ軸方向に積み重ねてた場合はｙ座標である。
いま、図３に示すように体軸方向に該当する座標軸をｙとし、視点が存在する断層像をＭ枚目、断層像の全枚数をＮ枚、分解能から決定できる定数をＳとすると、再構成演算は座標系の原点を観察対象の中心（Ｎ／２）としているため、視点が存在する断層像のｙ座標値は、次式、
【００３０】
【数１５】
ｙ＝（Ｎ／２−Ｍ＋１）＊Ｓ            …（１５）
となる。この（１５）式は、次式、
【００３１】
【数１６】
Ｍ＝Ｎ／２＋１−ｙ／Ｓ                …（１６）
に書き替えることができる。従って、視点の位置（ｘ，ｙ，ｚ）のｙ座標を上記（１６）式に代入してＭを求めることにより、視点がＭ枚目の断層像上に存在することが分かる。
【００３２】
図２のステップ１２は、視点の位置（ｘ，ｚ）から上記のようにして特定した断層像上での視点の位置を求める。尚、図３上では、視点の位置（ｘ，ｚ）は、画像中心を原点とした座標値となっている。視点の画像描画の際の位置座標は、画像の左上が原点であるため、それに対応するように変換する。
ステップ１３は、ステップ１１で求めたガイド画像（断層像）上にステップ１２で求めた視点位置を描画する。
【００３３】
図６は内視鏡的画像と上記ガイド画像（断層像）とをモニタ画面上に表示した画面構成例を示す。
操作者は、図６に示すガイド画像から内視鏡的画像の視点の位置を把握することができ、内視鏡的画像を見ながら視点を所望の位置に移動させる場合にガイド画像を参考にすることができる。
【００３４】
次に、視点を設定する方法（視点を移動させる方法）の一例について説明する。
図６に表示されている内視鏡的画像の視点は、その表示画面の中心位置で、その画面よりも手前にある。この視点を上下左右、前後に移動させる場合には、例えば表示画面内の位置を示すカーソルをマウスによって移動させてクリックし、視点の上下左右の移動量を設定する。また、視点を前後に移動させる場合には、上記のようにして表示画面内での視点の位置を設定したのち、マウスを上下させて視点の前後方向の移動量を設定する。
【００３５】
このようにして視点の位置を設定したのち図１に示した処理を実行させることにより、新たな内視鏡的画像及びガイド画像が作成され、これらの画像が表示される。そして、新たな内視鏡的画像及びガイド画像を使用して再度上記のようにして視点の位置を指定すると、その視点の位置に基づいて更に新たな内視鏡的画像及びガイド画像が作成され、これらの画像が表示される。このようにして順次視点の位置を移動させることにより、視点を観察対象の内部の所望の位置に移動させることができる。
【００３６】
図４はｘｙ平面、ｙｚ平面、ｘｚ平面にそれぞれ平行な断面像をガイド画像とする際のガイド画像の作成手順を示すフローチャートである。
ステップ２１は、図３の座標系において、図１のステップ２で保存した視点の位置（ｘ，ｙ，ｚ）を通り、ｘｙ平面、ｙｚ平面、ｘｚ平面にそれぞれ平行な断面像を求める。これらの断面像がガイド画像となる。ステップ２２は、それぞれの断面像上での視点の位置を求める。ステップ２３は、各断面像上に視点の位置を描画する。
【００３７】
図７は内視鏡的画像と上記ガイド画像（各断面像）とをモニタ画面上に表示した画面構成例を示す。
同図に示すように、ｘｙ平面に平行な断面像から視点の位置（ｘ，ｙ）を把握することができ、ｙｚ平面に平行な断面像から視点の位置（ｙ，ｚ）を把握することができ、ｘｚ平面に平行な断面像から視点の位置（ｘ，ｚ）を把握することができる。
【００３８】
また、視点の位置の設定は、各断面像の表示画面上で行うようにしてもよい。例えば、ｘｙ平面に平行な断面像の表示画面上に描画されている視点の位置を、その表示画面上で移動させる操作を行うことにより、視点の位置（ｘ，ｙ）を変更する。これによれば、視点を観察対象の内部の所望の位置に比較的速く設定することができる。尚、視点の位置をより正確に設定する場合や、視点の位置を少しずつ移動させる場合には、前述したように内視鏡的画像の表示画面を利用する方が好ましい。
【００３９】
更に、ガイド画像とする断面像としては、ｘｙ平面、ｙｚ平面、又はｘｚ平面に平行な断面像に限らず、視点の位置を通り、任意角度で観察対象をカットした任意断面像でもよい。この任意断面像としては、視点から観察対象を見る視線方向と直交する断面像や、視線方向と平行な断面像等が考えられ、この場合の任意断面像は、視線方向（即ち、投影面）の設定に伴って自動的に設定することができる。
【００４０】
図５は三次元画像をガイド画像とする際のガイド画像の作成手順を示すフローチャートである。
ステップ３１では、ガイド画像を作成するための再構成の際に必要なパラメータを入力し、ステップ３２では、ガイド画像を作成するための再構成演算を行う。このガイド画像（三次元画像）の再構成の方法には、例えばサーフェイスレンダリングやボリュームレンダリング等がある。
【００４１】
ステップ３３では、観察対象の三次元座標（ｘ，ｙ，ｚ）が、ステップ３２で作成されたガイド画像の表示画像（Ｘ，Ｙ）のどの位置に投影されたかを保存しておく。
ステップ３４では、内視鏡的画像再構成の際の視点位置（図１のステップ２で保存した視点の位置（ｘ，ｙ，ｚ））から、ステップ３３で保存しておいたデータを元にガイド画像上での視点の位置を求める。
【００４２】
ステップ３５では、ガイド画像上に視点の位置を描画する。
上記ガイド画像は、操作者が任意に回転させることができ、ガイド画像を回転させる場合には、各回転位置毎にステップ３２からステップ３５の処理を繰り返す。尚、回転の指示方法には、マウスドラッグによる方法、数値入力による方法、スケール移動による方法等がある。
【００４３】
図８は内視鏡的画像と上記ガイド画像（三次元画像）とをモニタ画面上に表示した画面構成例を示す。
同図に示すように、ガイド画像上に描画された視点の位置は、ガイド画像上の位置しか把握できず、視点の奥行き方向の位置（図８上の紙面と直交する方向）が不明であるが、ガイド画像を回転させることにより、観察対象の内部における視点の位置を把握することができる。
【００４４】
尚、上述した各種のガイド画像は、操作者の意図によって自由に切り替えて表示することができ、また、複数枚同時に表示することも可能である。例えば図１３のように、三次元の第１のガイド像と断層像の第２のガイド像を同時に表示する。また、ガイド画像上に、視点位置から視線方向に矢印を表示し、視点の位置と視線方向とを同時に表示することもできる。更に、視線の位置を示す描画は、○、×等見やすい形に任意に変えることができる。
【００４５】
また、この実施の形態では、内視鏡的画像とガイド画像とをモニタの同一画面上に表示するようにしたが、これに限らず、切り替え表示できるようにしてもよい。
図９は本発明に係るガイド画像付き三次元画像表示装置のハードウェア構成例を示すブロック図である。
【００４６】
同図に示すように、このガイド画像付き三次元画像表示装置は、主として磁気ディスク４１と、主メモリ４２と、中央処理装置（ＣＰＵ）４３と、表示メモリ４４と、ＣＲＴモニタ４５と、各種の操作指令、位置指令、メニュー選択指令を入力するためのキーボード４６、マウス４７、マウスコントローラ４８と、これらの各構成要素を接続する共通バス４９とから構成されている。
【００４７】
磁気ディスク４１には、複数の断層像、画像再構成プログラム、ガイド画像作成プログラム等が格納され、主メモリ４２には、装置の制御プログラムが格納されるとともに、演算処理用の領域等が設けられている。
ＣＰＵ４３は、複数の断層像や各種のプログラムを読み出し、主メモリ４２を用いて内視鏡的画像やガイド画像等の作成を行い、その作成した画像を示す画像データを表示メモリ４４に送り、ＣＲＴモニタ４５に表示させる。
【００４８】
【発明の効果】
以上説明したように本発明によれば、内視鏡的画像の視点位置が認識可能なガイド画像を、内視鏡的画像と同時に又は切り替えて表示するようにしたため、内視鏡的画像の視点の位置が観察対象のどの位置にあるかを容易に認識することができ、これにより視点の移動操作がやり易くなる。
【図面の簡単な説明】
【図１】図１は本発明に係るガイド画像付き三次元画像表示装置における処理の概要を示すフローチャートである。
【図２】図２は体軸方向に垂直な断層像をガイド画像とする際のガイド画像の作成手順を示すフローチャートである。
【図３】図３は再構成の際の座標系と複数の断層像、視点及び投影面の関係の一例を示す図である。
【図４】図４はｘｙ平面、ｙｚ平面、ｘｚ平面にそれぞれ平行な断面像をガイド画像とする際のガイド画像の作成手順を示すフローチャートである。
【図５】図５は三次元画像をガイド画像とする際のガイド画像の作成手順を示すフローチャートである。
【図６】図６は内視鏡的画像と図２に示した手順で作成したガイド画像（断層像）とをモニタ画面上に表示した画面構成例を示す。
【図７】図７は内視鏡的画像と図４に示した手順で作成したガイド画像（各断面像）とをモニタ画面上に表示した画面構成例を示す。
【図８】図８は内視鏡的画像と図５に示した手順で作成したガイド画像（三次元画像）とをモニタ画面上に表示した画面構成例を示す。
【図９】図９は本発明に係るガイド画像付き三次元画像表示装置のハードウェア構成例を示すブロック図である。
【図１０】図１０は内視鏡的画像の構成方法における断層像画素座標の投影面上の座標への変換を説明するための図である。
【図１１】図１１は複数の断層像についての画素座標の投影面上の座標への変換を説明するための図である。
【図１２】図１２は視点、断層像及び投影面がより複雑な位置関係をもった場合の中心投影による座標変換を説明するための図である。
【図１３】図１３は内視鏡的画像と図６、図７のガイド画像とをモニタ画像に表示した画面構成例を示す。
【符号の説明】
６…投影面
８、８Ａ〜８Ｅ、８ａ〜８ｅ…断層像
４１…磁気ディスク
４２…主メモリ
４３…ＣＰＵ
４４…表示メモリ
４５…ＣＲＴモニタ
４６…キーボード
４７…マウス
４８…マウスコントローラ
ｅ…視点
【図１】
0004110226.tif 000002
【図２】
0004110226.tif 000003
【図３】
0004110226.tif 000004
【図４】
0004110226.tif 000005
【図５】
0004110226.tif 000006
【図６】
0004110226.tif 000007
【図７】
0004110226.tif 000008
【図８】
0004110226.tif 000009
【図９】
0004110226.tif 000010
【図１０】
0004110226.tif 000011
【図１１】
0004110226.tif 000012
【図１２】
0004110226.tif 000013
【図１３】
0004110226.tif 000014