(57)【要約】【課題】医療用の内視鏡に係る画像を、患部を見つけ易い態様で表示可能な技術を提供する。【解決手段】制御部２０において、患者の身体に相当する３次元領域における内視鏡６の相対的な位置及び姿勢の情報に応じて、ボリュームレンダリングの画像生成条件を設定する。そして、当該画像生成条件に従って、ボリュームデータＴＤに基づいて仮想内視鏡画像を生成する。次に、仮想内視鏡画像について、エッジを抽出して、当該エッジのうち曲率が所定値よりも大きいエッジに囲まれた画像領域を、所定の形状条件を満たす第１の画像領域として検出する。そして、内視鏡６によって取得されたカラー内視鏡実画像について、第１の画像領域に対応する第２の画像領域と周囲の画像領域とのそれぞれの画素の表示態様を相互に異ならせた表示用画像を生成する。【選択図】図１
2006061274.tif 000002
【特許請求の範囲】
【請求項１】
コンピュータにおいて実行されることにより、３次元データに基づいて表示用画像を生成する画像処理装置として前記コンピュータを機能させるプログラムであって、
前記画像処理装置が、
患者の身体に相当する３次元領域に係る３次元データと、所定の内視鏡によって取得された前記３次元領域に係る実画像と、所定の位置姿勢検出手段によって検出された前記３次元領域における前記所定の内視鏡の位置及び姿勢に係る位置姿勢情報とを所定の記憶手段に読み込む読込手段と、
前記位置姿勢情報に応じた画像生成条件を設定する条件設定手段と、
前記画像生成条件に従い、前記３次元データに基づいたサーフェースレンダリングにより３次元表面画像を生成する表面画像生成手段と、
テクスチャーマッピングにより前記実画像を前記３次元表面画像に対してマッピングすることで、表示用画像を生成する表示用画像生成手段と、
を備えることを特徴とするプログラム。
【請求項２】
コンピュータにおいて実行されることにより、３次元データに基づいて表示用画像を生成する画像処理装置として前記コンピュータを機能させるプログラムであって、
前記画像処理装置が、
患者の身体に相当する３次元領域に係る３次元データと、所定の内視鏡によって取得された前記３次元領域に係る実画像と、所定の位置姿勢検出手段によって検出された前記３次元領域における前記所定の内視鏡の位置及び姿勢に係る位置姿勢情報とを所定の記憶手段に読み込む読込手段と、
前記位置姿勢情報に応じた画像生成条件を設定する条件設定手段と、
前記画像生成条件に従い、前記３次元データに基づいて３次元画像を生成する３次元画像生成手段と、
前記３次元画像のうち所定の形状条件を満たす第１の画像領域を検出する領域検出手段と、
前記実画像について、前記第１の画像領域に対応する第２の画像領域を周囲の画像領域とは異なる視覚的表現形式とすることによって表示用画像を生成する表示用画像生成手段と、
を備えることを特徴とするプログラム。
【請求項３】
コンピュータにおいて実行されることにより、３次元データに基づいて表示用画像を生成する画像処理装置として前記コンピュータを機能させるプログラムであって、
前記画像処理装置が、
患者の身体に相当する３次元領域のうち所定の形状条件を満たす所定形状領域に所定のデータが付与された前記３次元領域に係る３次元データと、所定の内視鏡によって取得された前記３次元領域に係る実画像と、所定の位置姿勢検出手段によって検出された前記３次元領域における前記所定の内視鏡の位置及び姿勢に係る位置姿勢情報とを所定の記憶手段に読み込む読込手段と、
前記位置姿勢情報に応じて、画像生成条件を設定する条件設定手段と、
前記画像生成条件に従い、前記３次元データに基づいて３次元画像を生成する３次元画像生成手段と、
前記３次元画像のうち前記所定形状領域に対応する第１の画像領域を検出する領域検出手段と、
前記実画像について、前記第１の画像領域に対応する第２の画像領域を周囲の画像領域とは異なる視覚的表現形式とすることによって表示用画像を生成する表示用画像生成手段と、
を備えることを特徴とするプログラム。
【請求項４】
請求項２または請求項３に記載されたプログラムであって、
前記表示用画像生成手段は、
前記表示用画像として、前記第２の画像領域と前記周囲の画像領域とのそれぞれの画素の表示態様を相互に異ならせた画像を生成することを特徴とするプログラム。
【請求項５】
請求項４に記載されたプログラムであって、
前記表示用画像生成手段は、
前記表示用画像として、前記第２の画像領域と前記周囲の画像領域とのそれぞれの画素を相互に異なる色表現で表示したカラー画像を生成することを特徴とするプログラム。
【請求項６】
請求項２または請求項３に記載されたプログラムであって、
前記表示用画像生成手段は、
前記第２の画像領域を指示するマーキングを前記実画像に付加して前記表示用画像を生成することを特徴とするプログラム。
【請求項７】
コンピュータにおいて実行されることにより、３次元データに基づいて表示用画像を生成する画像処理装置として前記コンピュータを機能させるプログラムであって、
前記画像処理装置が、
患者の身体に相当する３次元領域に係る３次元データと、所定の内視鏡によって取得された前記３次元領域に係る実画像と、所定の位置姿勢検出手段によって検出された前記３次元領域における前記所定の内視鏡の位置及び姿勢に係る位置姿勢情報とを所定の記憶手段に読み込む読込手段と、
前記位置姿勢情報に応じた画像生成条件を設定する条件設定手段と、
前記画像生成条件に従い、前記３次元データに基づいて３次元画像を生成する３次元画像生成手段と、
前記３次元画像のうち所定の形状条件を満たす第１の画像領域を検出する領域検出手段と、
前記３次元画像を基礎として、前記実画像の各画素値を、前記実画像の各画素に対応する前記３次元画像の各画素に割り当てつつ、前記第１の画像領域を周囲の画像領域とは異なる視覚的表現形式とすることによって表示用画像を生成する表示用画像生成手段と、
を備えることを特徴とするプログラム。
【請求項８】
コンピュータにおいて実行されることにより、３次元データに基づいて表示用画像を生成する画像処理装置として前記コンピュータを機能させるプログラムであって、
前記画像処理装置が、
患者の身体に相当する３次元領域のうち所定の形状条件を満たす所定形状領域に所定のデータが付与された前記３次元領域に係る３次元データと、所定の内視鏡によって取得された前記３次元領域に係る実画像と、所定の位置姿勢検出手段によって検出された前記３次元領域における前記所定の内視鏡の位置及び姿勢に係る位置姿勢情報とを所定の記憶手段に読み込む読込手段と、
前記位置姿勢情報に応じて、画像生成条件を設定する条件設定手段と、
前記画像生成条件に従い、前記３次元データに基づいて３次元画像を生成する３次元画像生成手段と、
前記３次元画像のうち前記所定形状領域に対応する第１の画像領域を検出する領域検出手段と、
前記３次元画像を基礎として、前記実画像の各画素値を、前記実画像の各画素に対応する前記３次元画像の各画素に割り当てつつ、前記第１の画像領域を周囲の画像領域とは異なる視覚的表現形式とすることによって表示用画像を生成する表示用画像生成手段と、
を備えることを特徴とするプログラム。
【請求項９】
請求項７または請求項８に記載されたプログラムであって、
前記表示用画像生成手段は、
前記表示用画像として、前記第１の画像領域と前記周囲の画像領域とのそれぞれの画素の表示態様を相互に異ならせた画像を生成することを特徴とするプログラム。
【請求項１０】
請求項９に記載されたプログラムであって、
前記表示用画像生成手段は、
前記表示用画像として、前記第１の画像領域と前記周囲の画像領域とのそれぞれの画素を相互に異なる色表現で表示したカラー画像を生成することを特徴とするプログラム。
【請求項１１】
請求項７または請求項８に記載されたプログラムであって、
前記表示用画像生成手段は、
前記第１の画像領域を指示するマーキングを前記３次元画像に付加して前記表示用画像を生成することを特徴とするプログラム。
【請求項１２】
請求項２から請求項１１のいずれかに記載されたプログラムであって、
前記所定の形状条件が、
判断対象となる画像領域の輪郭の曲率が所定値よりも大きいという条件であることを特徴とするプログラム。
【請求項１３】
コンピュータにおいて実行されることにより、３次元データに基づいて表示用画像を生成する画像処理装置として前記コンピュータを機能させるプログラムであって、
前記画像処理装置が、
患者の身体に相当する３次元領域に係る３次元データと、所定の内視鏡によって取得された前記３次元領域に係る実画像と、所定の位置姿勢検出手段によって検出された前記３次元領域における前記所定の内視鏡の位置及び姿勢に係る位置姿勢情報とを所定の記憶手段に読み込む読込手段と、
前記位置姿勢情報に応じた画像生成条件を設定する条件設定手段と、
前記画像生成条件に従い、前記３次元データに基づいて３次元画像を生成する３次元画像生成手段と、
前記実画像と前記３次元画像との位置合わせを行いつつ、当該実画像と当該３次元画像とを重畳させた表示用画像を生成する表示用画像生成手段と、
を備えることを特徴とするプログラム。
【請求項１４】
内視鏡システムであって、
患者の身体に相当する３次元領域に係る実画像を取得する内視鏡と、
前記３次元領域における前記内視鏡の位置及び姿勢に係る位置姿勢情報を取得する位置姿勢情報取得装置と、
前記３次元領域に係る３次元データに基づいて表示用画像を生成する画像処理装置と、
前記表示用画像を可視的に出力する画像出力装置と、
を備え、
前記画像処理装置が、
前記３次元データと、前記実画像と、前記位置姿勢情報とを所定の記憶手段に読み込む読込手段と、
前記位置姿勢情報に応じた画像生成条件を設定する条件設定手段と、
前記画像生成条件に従い、前記３次元データに基づいたサーフェースレンダリングにより３次元表面画像を生成する表面画像生成手段と、
テクスチャーマッピングにより前記実画像を前記３次元表面画像に対してマッピングすることで、表示用画像を生成する表示用画像生成手段と、
前記表示用画像を前記画像出力装置に対して出力する出力手段と、
を有することを特徴とする内視鏡システム。
【請求項１５】
内視鏡システムであって、
患者の身体に相当する３次元領域に係る実画像を取得する内視鏡と、
前記３次元領域における前記内視鏡の位置及び姿勢に係る位置姿勢情報を取得する位置姿勢情報取得装置と、
前記３次元領域に係る３次元データに基づいて表示用画像を生成する画像処理装置と、
前記表示用画像を可視的に出力する画像出力装置と、
を備え、
前記画像処理装置が、
前記３次元データと、前記実画像と、前記位置姿勢情報とを所定の記憶手段に読み込む読込手段と、
前記位置姿勢情報に応じた画像生成条件を設定する条件設定手段と、
前記画像生成条件に従い、前記３次元データに基づいて３次元画像を生成する３次元画像生成手段と、
前記３次元画像のうち所定の形状条件を満たす第１の画像領域を検出する領域検出手段と、
前記実画像について、前記第１の画像領域に対応する第２の画像領域を周囲の画像領域とは異なる視覚的表現形式とすることによって表示用画像を生成する表示用画像生成手段と、
前記表示用画像を前記画像出力装置に対して出力する出力手段と、
を有することを特徴とする内視鏡システム。
【請求項１６】
内視鏡システムであって、
患者の身体に相当する３次元領域に係る実画像を取得する内視鏡と、
前記３次元領域における前記内視鏡の位置及び姿勢に係る位置姿勢情報を取得する位置姿勢情報取得装置と、
前記３次元領域に係る３次元データに基づいて表示用画像を生成する画像処理装置と、
前記表示用画像を可視的に出力する画像出力装置と、
を備え、
前記３次元データが、
前記３次元領域のうち所定の形状条件を満たす所定形状領域に所定のデータが付与された前記３次元領域に係る３次元データであり、
前記画像処理装置が、
前記３次元データと、前記実画像と、前記位置姿勢情報とを所定の記憶手段に読み込む読込手段と、
前記位置姿勢情報に応じて、画像生成条件を設定する条件設定手段と、
前記画像生成条件に従い、前記３次元データに基づいて３次元画像を生成する３次元画像生成手段と、
前記３次元画像のうち前記所定形状領域に対応する第１の画像領域を検出する領域検出手段と、
前記実画像について、前記第１の画像領域に対応する第２の画像領域を周囲の画像領域とは異なる視覚的表現形式とすることによって表示用画像を生成する表示用画像生成手段と、
前記表示用画像を前記画像出力装置に対して出力する出力手段と、
を有することを特徴とする内視鏡システム。
【請求項１７】
内視鏡システムであって、
患者の身体に相当する３次元領域に係る実画像を取得する内視鏡と、
前記３次元領域における前記内視鏡の位置及び姿勢に係る位置姿勢情報を取得する位置姿勢情報取得装置と、
前記３次元領域に係る３次元データに基づいて表示用画像を生成する画像処理装置と、
前記表示用画像を可視的に出力する画像出力装置と、
を備え、
前記画像処理装置が、
前記３次元データと、前記実画像と、前記位置姿勢情報とを所定の記憶手段に読み込む読込手段と、
前記位置姿勢情報に応じた画像生成条件を設定する条件設定手段と、
前記画像生成条件に従い、前記３次元データに基づいて３次元画像を生成する３次元画像生成手段と、
前記３次元画像のうち所定の形状条件を満たす第１の画像領域を検出する領域検出手段と、
前記３次元画像を基礎として、前記実画像の各画素値を、前記実画像の各画素に対応する前記３次元画像の各画素に割り当てつつ、前記第１の画像領域を周囲の画像領域とは異なる視覚的表現形式とすることによって表示用画像を生成する表示用画像生成手段と、
前記表示用画像を前記画像出力装置に対して出力する出力手段と、
を有することを特徴とする内視鏡システム。
【請求項１８】
内視鏡システムであって、
患者の身体に相当する３次元領域に係る実画像を取得する内視鏡と、
前記３次元領域における前記内視鏡の位置及び姿勢に係る位置姿勢情報を取得する位置姿勢情報取得装置と、
前記３次元領域に係る３次元データに基づいて表示用画像を生成する画像処理装置と、
前記表示用画像を可視的に出力する画像出力装置と、
を備え、
前記３次元データが、
前記３次元領域のうち所定の形状条件を満たす所定形状領域に所定のデータが付与された前記３次元領域に係る３次元データであり、
前記画像処理装置が、
前記３次元データと、前記実画像と、前記位置姿勢情報とを所定の記憶手段に読み込む読込手段と、
前記位置姿勢情報に応じて、画像生成条件を設定する条件設定手段と、
前記画像生成条件に従い、前記３次元データに基づいて３次元画像を生成する３次元画像生成手段と、
前記３次元画像のうち前記所定形状領域に対応する第１の画像領域を検出する領域検出手段と、
前記３次元画像を基礎として、前記実画像の各画素値を、前記実画像の各画素に対応する前記３次元画像の各画素に割り当てつつ、前記第１の画像領域を周囲の画像領域とは異なる視覚的表現形式とすることによって表示用画像を生成する表示用画像生成手段と、
前記表示用画像を前記画像出力装置に対して出力する出力手段と、
を有することを特徴とする内視鏡システム。
【請求項１９】
内視鏡システムであって、
患者の身体に相当する３次元領域に係る実画像を取得する内視鏡と、
前記３次元領域における前記内視鏡の位置及び姿勢に係る位置姿勢情報を取得する位置姿勢情報取得装置と、
前記３次元領域に係る３次元データに基づいて表示用画像を生成する画像処理装置と、
前記表示用画像を可視的に出力する画像出力装置と、
を備え、
前記画像処理装置が、
前記３次元データと、前記実画像と、前記位置姿勢情報とを所定の記憶手段に読み込む読込手段と、
前記位置姿勢情報に応じた画像生成条件を設定する条件設定手段と、
前記画像生成条件に従い、前記３次元データに基づいて３次元画像を生成する３次元画像生成手段と、
前記実画像と前記３次元画像との位置合わせを行いつつ、当該実画像と当該３次元画像とを重畳させた表示用画像を生成する表示用画像生成手段と、
前記表示用画像を前記画像出力装置に対して出力する出力手段と、
を有することを特徴とする内視鏡システム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、医療分野において、３次元データに基づいて表示用画像を生成する技術に関する。
【背景技術】
【０００２】
３次元の構造を示すデータ（３次元データ）を視覚化して表示する手法として、ボリュームレンダリング(Volume Rendering)やサーフェースレンダリング(Surface Rendering)等といった手法が知られている。これらの手法は、例えば、医療分野において診断等を行う目的で、医療用の画像である３次元画像を表示する際に利用される。
【０００３】
ところで、最近、内視鏡を使った手術において、予めＣＴスキャン（Computed Tomography Scan）等により、患者の身体に係る３次元データを取得しておき、当該３次元データに基づく仮想的な内視鏡の画像と、実際の内視鏡の画像との両方を画面上に並べて表示させた状態で手術をすることが研究されている。
【０００４】
そして、この仮想的な内視鏡の画像では、仮想的な色を付与されるのが一般的である（例えば、非特許文献１）。
【０００５】
このような技術に関する先行技術文献としては、以下のようなものがある。
【０００６】
【非特許文献１】”いつでもどこでも３Ｄ Ｒｅａｌ ＩＮＴＡＧＥ basic edition”[online]、住商エレクトロニクス株式会社、[平成１６年７月８日検索]、インターネット＜http://www.netscience.ne.jp/banners/real＿intage/＞。
【発明の開示】
【発明が解決しようとする課題】
【０００７】
しかしながら、仮想的な内視鏡の画像では実際の内視鏡の画像とは異なる仮想的な色が付与されているため、両画像の対比が難しく、手術の対象等となる患部を見つけ難い。
【０００８】
本発明は、上記課題に鑑みてなされたものであり、医療用の内視鏡に係る画像を、患部を見つけ易い態様で表示可能な技術を提供することを目的とする。
【課題を解決するための手段】
【０００９】
上記の課題を解決するために、請求項１の発明は、コンピュータにおいて実行されることにより、３次元データに基づいて表示用画像を生成する画像処理装置として前記コンピュータを機能させるプログラムであって、前記画像処理装置が、患者の身体に相当する３次元領域に係る３次元データと、所定の内視鏡によって取得された前記３次元領域に係る実画像と、所定の位置姿勢検出手段によって検出された前記３次元領域における前記所定の内視鏡の位置及び姿勢に係る位置姿勢情報とを所定の記憶手段に読み込む読込手段と、前記位置姿勢情報に応じた画像生成条件を設定する条件設定手段と、前記画像生成条件に従い、前記３次元データに基づいたサーフェースレンダリングにより３次元表面画像を生成する表面画像生成手段と、テクスチャーマッピングにより前記実画像を前記３次元表面画像に対してマッピングすることで、表示用画像を生成する表示用画像生成手段とを備えることを特徴とする。
【００１０】
また、請求項２の発明は、コンピュータにおいて実行されることにより、３次元データに基づいて表示用画像を生成する画像処理装置として前記コンピュータを機能させるプログラムであって、前記画像処理装置が、患者の身体に相当する３次元領域に係る３次元データと、所定の内視鏡によって取得された前記３次元領域に係る実画像と、所定の位置姿勢検出手段によって検出された前記３次元領域における前記所定の内視鏡の位置及び姿勢に係る位置姿勢情報とを所定の記憶手段に読み込む読込手段と、前記位置姿勢情報に応じた画像生成条件を設定する条件設定手段と、前記画像生成条件に従い、前記３次元データに基づいて３次元画像を生成する３次元画像生成手段と、前記３次元画像のうち所定の形状条件を満たす第１の画像領域を検出する領域検出手段と、前記実画像について、前記第１の画像領域に対応する第２の画像領域を周囲の画像領域とは異なる視覚的表現形式とすることによって表示用画像を生成する表示用画像生成手段とを備えることを特徴とする。
【００１１】
また、請求項３の発明は、コンピュータにおいて実行されることにより、３次元データに基づいて表示用画像を生成する画像処理装置として前記コンピュータを機能させるプログラムであって、前記画像処理装置が、患者の身体に相当する３次元領域のうち所定の形状条件を満たす所定形状領域に所定のデータが付与された前記３次元領域に係る３次元データと、所定の内視鏡によって取得された前記３次元領域に係る実画像と、所定の位置姿勢検出手段によって検出された前記３次元領域における前記所定の内視鏡の位置及び姿勢に係る位置姿勢情報とを所定の記憶手段に読み込む読込手段と、前記位置姿勢情報に応じて、画像生成条件を設定する条件設定手段と、前記画像生成条件に従い、前記３次元データに基づいて３次元画像を生成する３次元画像生成手段と、前記３次元画像のうち前記所定形状領域に対応する第１の画像領域を検出する領域検出手段と、前記実画像について、前記第１の画像領域に対応する第２の画像領域を周囲の画像領域とは異なる視覚的表現形式とすることによって表示用画像を生成する表示用画像生成手段とを備えることを特徴とする。
【００１２】
また、請求項４の発明は、請求項２または請求項３に記載されたプログラムであって、前記表示用画像生成手段は、前記表示用画像として、前記第２の画像領域と前記周囲の画像領域とのそれぞれの画素の表示態様を相互に異ならせた画像を生成することを特徴とする。
【００１３】
また、請求項５の発明は、請求項４に記載されたプログラムであって、前記表示用画像生成手段は、前記表示用画像として、前記第２の画像領域と前記周囲の画像領域とのそれぞれの画素を相互に異なる色表現で表示したカラー画像を生成することを特徴とする。
【００１４】
また、請求項６の発明は、請求項２または請求項３に記載されたプログラムであって、前記表示用画像生成手段は、前記第２の画像領域を指示するマーキングを前記実画像に付加して前記表示用画像を生成することを特徴とする。
【００１５】
また、請求項７の発明は、コンピュータにおいて実行されることにより、３次元データに基づいて表示用画像を生成する画像処理装置として前記コンピュータを機能させるプログラムであって、前記画像処理装置が、患者の身体に相当する３次元領域に係る３次元データと、所定の内視鏡によって取得された前記３次元領域に係る実画像と、所定の位置姿勢検出手段によって検出された前記３次元領域における前記所定の内視鏡の位置及び姿勢に係る位置姿勢情報とを所定の記憶手段に読み込む読込手段と、前記位置姿勢情報に応じた画像生成条件を設定する条件設定手段と、前記画像生成条件に従い、前記３次元データに基づいて３次元画像を生成する３次元画像生成手段と、前記３次元画像のうち所定の形状条件を満たす第１の画像領域を検出する領域検出手段と、前記３次元画像を基礎として、前記実画像の各画素値を、前記実画像の各画素に対応する前記３次元画像の各画素に割り当てつつ、前記第１の画像領域を周囲の画像領域とは異なる視覚的表現形式とすることによって表示用画像を生成する表示用画像生成手段とを備えることを特徴とする。
【００１６】
また、請求項８の発明は、コンピュータにおいて実行されることにより、３次元データに基づいて表示用画像を生成する画像処理装置として前記コンピュータを機能させるプログラムであって、前記画像処理装置が、患者の身体に相当する３次元領域のうち所定の形状条件を満たす所定形状領域に所定のデータが付与された前記３次元領域に係る３次元データと、所定の内視鏡によって取得された前記３次元領域に係る実画像と、所定の位置姿勢検出手段によって検出された前記３次元領域における前記所定の内視鏡の位置及び姿勢に係る位置姿勢情報とを所定の記憶手段に読み込む読込手段と、前記位置姿勢情報に応じて、画像生成条件を設定する条件設定手段と、前記画像生成条件に従い、前記３次元データに基づいて３次元画像を生成する３次元画像生成手段と、前記３次元画像のうち前記所定形状領域に対応する第１の画像領域を検出する領域検出手段と、前記３次元画像を基礎として、前記実画像の各画素値を、前記実画像の各画素に対応する前記３次元画像の各画素に割り当てつつ、前記第１の画像領域を周囲の画像領域とは異なる視覚的表現形式とすることによって表示用画像を生成する表示用画像生成手段とを備えることを特徴とする。
【００１７】
また、請求項９の発明は、請求項７または請求項８に記載されたプログラムであって、前記表示用画像生成手段は、前記表示用画像として、前記第１の画像領域と前記周囲の画像領域とのそれぞれの画素の表示態様を相互に異ならせた画像を生成することを特徴とする。
【００１８】
また、請求項１０の発明は、請求項９に記載されたプログラムであって、前記表示用画像生成手段は、前記表示用画像として、前記第１の画像領域と前記周囲の画像領域とのそれぞれの画素を相互に異なる色表現で表示したカラー画像を生成することを特徴とする。
【００１９】
また、請求項１１の発明は、請求項７または請求項８に記載されたプログラムであって、前記表示用画像生成手段は、前記第１の画像領域を指示するマーキングを前記３次元画像に付加して前記表示用画像を生成することを特徴とする。
【００２０】
また、請求項１２の発明は、請求項２から請求項１１のいずれかに記載されたプログラムであって、前記所定の形状条件が、判断対象となる画像領域の輪郭の曲率が所定値よりも大きいという条件であることを特徴とする。
【００２１】
また、請求項１３の発明は、コンピュータにおいて実行されることにより、３次元データに基づいて表示用画像を生成する画像処理装置として前記コンピュータを機能させるプログラムであって、前記画像処理装置が、患者の身体に相当する３次元領域に係る３次元データと、所定の内視鏡によって取得された前記３次元領域に係る実画像と、所定の位置姿勢検出手段によって検出された前記３次元領域における前記所定の内視鏡の位置及び姿勢に係る位置姿勢情報とを所定の記憶手段に読み込む読込手段と、前記位置姿勢情報に応じた画像生成条件を設定する条件設定手段と、前記画像生成条件に従い、前記３次元データに基づいて３次元画像を生成する３次元画像生成手段と、前記実画像と前記３次元画像との位置合わせを行いつつ、当該実画像と当該３次元画像とを重畳させた表示用画像を生成する表示用画像生成手段とを備えることを特徴とする。
【００２２】
また、請求項１４の発明は、内視鏡システムであって、患者の身体に相当する３次元領域に係る実画像を取得する内視鏡と、前記３次元領域における前記内視鏡の位置及び姿勢に係る位置姿勢情報を取得する位置姿勢情報取得装置と、前記３次元領域に係る３次元データに基づいて表示用画像を生成する画像処理装置と、前記表示用画像を可視的に出力する画像出力装置とを備え、前記画像処理装置が、前記３次元データと、前記実画像と、前記位置姿勢情報とを所定の記憶手段に読み込む読込手段と、前記位置姿勢情報に応じた画像生成条件を設定する条件設定手段と、前記画像生成条件に従い、前記３次元データに基づいたサーフェースレンダリングにより３次元表面画像を生成する表面画像生成手段と、テクスチャーマッピングにより前記実画像を前記３次元表面画像に対してマッピングすることで、表示用画像を生成する表示用画像生成手段と、前記表示用画像を前記画像出力装置に対して出力する出力手段とを有することを特徴とする。
【００２３】
また、請求項１５の発明は、内視鏡システムであって、患者の身体に相当する３次元領域に係る実画像を取得する内視鏡と、前記３次元領域における前記内視鏡の位置及び姿勢に係る位置姿勢情報を取得する位置姿勢情報取得装置と、前記３次元領域に係る３次元データに基づいて表示用画像を生成する画像処理装置と、前記表示用画像を可視的に出力する画像出力装置とを備え、前記画像処理装置が、前記３次元データと、前記実画像と、前記位置姿勢情報とを所定の記憶手段に読み込む読込手段と、前記位置姿勢情報に応じた画像生成条件を設定する条件設定手段と、前記画像生成条件に従い、前記３次元データに基づいて３次元画像を生成する３次元画像生成手段と、前記３次元画像のうち所定の形状条件を満たす第１の画像領域を検出する領域検出手段と、前記実画像について、前記第１の画像領域に対応する第２の画像領域を周囲の画像領域とは異なる視覚的表現形式とすることによって表示用画像を生成する表示用画像生成手段と、前記表示用画像を前記画像出力装置に対して出力する出力手段とを有することを特徴とする。
【００２４】
また、請求項１６の発明は、内視鏡システムであって、患者の身体に相当する３次元領域に係る実画像を取得する内視鏡と、前記３次元領域における前記内視鏡の位置及び姿勢に係る位置姿勢情報を取得する位置姿勢情報取得装置と、前記３次元領域に係る３次元データに基づいて表示用画像を生成する画像処理装置と、前記表示用画像を可視的に出力する画像出力装置とを備え、前記３次元データが、前記３次元領域のうち所定の形状条件を満たす所定形状領域に所定のデータが付与された前記３次元領域に係る３次元データであり、前記画像処理装置が、前記３次元データと、前記実画像と、前記位置姿勢情報とを所定の記憶手段に読み込む読込手段と、前記位置姿勢情報に応じて、画像生成条件を設定する条件設定手段と、前記画像生成条件に従い、前記３次元データに基づいて３次元画像を生成する３次元画像生成手段と、前記３次元画像のうち前記所定形状領域に対応する第１の画像領域を検出する領域検出手段と、前記実画像について、前記第１の画像領域に対応する第２の画像領域を周囲の画像領域とは異なる視覚的表現形式とすることによって表示用画像を生成する表示用画像生成手段と、前記表示用画像を前記画像出力装置に対して出力する出力手段とを有することを特徴とする。
【００２５】
また、請求項１７の発明は、内視鏡システムであって、患者の身体に相当する３次元領域に係る実画像を取得する内視鏡と、前記３次元領域における前記内視鏡の位置及び姿勢に係る位置姿勢情報を取得する位置姿勢情報取得装置と、前記３次元領域に係る３次元データに基づいて表示用画像を生成する画像処理装置と、前記表示用画像を可視的に出力する画像出力装置とを備え、前記画像処理装置が、前記３次元データと、前記実画像と、前記位置姿勢情報とを所定の記憶手段に読み込む読込手段と、前記位置姿勢情報に応じた画像生成条件を設定する条件設定手段と、前記画像生成条件に従い、前記３次元データに基づいて３次元画像を生成する３次元画像生成手段と、前記３次元画像のうち所定の形状条件を満たす第１の画像領域を検出する領域検出手段と、前記３次元画像を基礎として、前記実画像の各画素値を、前記実画像の各画素に対応する前記３次元画像の各画素に割り当てつつ、前記第１の画像領域を周囲の画像領域とは異なる視覚的表現形式とすることによって表示用画像を生成する表示用画像生成手段と、前記表示用画像を前記画像出力装置に対して出力する出力手段とを有することを特徴とする。
【００２６】
また、請求項１８の発明は、内視鏡システムであって、患者の身体に相当する３次元領域に係る実画像を取得する内視鏡と、前記３次元領域における前記内視鏡の位置及び姿勢に係る位置姿勢情報を取得する位置姿勢情報取得装置と、前記３次元領域に係る３次元データに基づいて表示用画像を生成する画像処理装置と、前記表示用画像を可視的に出力する画像出力装置とを備え、前記３次元データが、前記３次元領域のうち所定の形状条件を満たす所定形状領域に所定のデータが付与された前記３次元領域に係る３次元データであり、前記画像処理装置が、前記３次元データと、前記実画像と、前記位置姿勢情報とを所定の記憶手段に読み込む読込手段と、前記位置姿勢情報に応じて、画像生成条件を設定する条件設定手段と、前記画像生成条件に従い、前記３次元データに基づいて３次元画像を生成する３次元画像生成手段と、前記３次元画像のうち前記所定形状領域に対応する第１の画像領域を検出する領域検出手段と、前記３次元画像を基礎として、前記実画像の各画素値を、前記実画像の各画素に対応する前記３次元画像の各画素に割り当てつつ、前記第１の画像領域を周囲の画像領域とは異なる視覚的表現形式とすることによって表示用画像を生成する表示用画像生成手段と、前記表示用画像を前記画像出力装置に対して出力する出力手段とを有することを特徴とする。
【００２７】
また、請求項１９の発明は、内視鏡システムであって、患者の身体に相当する３次元領域に係る実画像を取得する内視鏡と、前記３次元領域における前記内視鏡の位置及び姿勢に係る位置姿勢情報を取得する位置姿勢情報取得装置と、前記３次元領域に係る３次元データに基づいて表示用画像を生成する画像処理装置と、前記表示用画像を可視的に出力する画像出力装置とを備え、前記画像処理装置が、前記３次元データと、前記実画像と、前記位置姿勢情報とを所定の記憶手段に読み込む読込手段と、前記位置姿勢情報に応じた画像生成条件を設定する条件設定手段と、前記画像生成条件に従い、前記３次元データに基づいて３次元画像を生成する３次元画像生成手段と、前記実画像と前記３次元画像との位置合わせを行いつつ、当該実画像と当該３次元画像とを重畳させた表示用画像を生成する表示用画像生成手段と、前記表示用画像を前記画像出力装置に対して出力する出力手段とを有することを特徴とする。
【発明の効果】
【００２８】
請求項１に記載の発明によれば、患者の身体に相当する３次元領域における内視鏡の位置及び姿勢に係る情報に応じた画像生成条件を設定し、当該画像生成条件に従い、上記３次元領域に係る３次元データに基づいたサーフェースレンダリングにより３次元表面画像を生成して、当該３次元表面画像に対して内視鏡によって取得された実画像をテクスチャマッピングすることで、表示用画像を生成するような構成により、３次元データから生成された仮想的な画像を、内視鏡で実際に取得された実画像と同様な色で表示することができるため、例えば、仮想的な画像と実画像との対比が容易となる。したがって、医療用の内視鏡に係る画像を、患部を見つけ易い態様で表示させることができる。
【００２９】
また、請求項２に記載の発明によれば、患者の身体に相当する３次元領域における内視鏡の位置及び姿勢に係る情報に応じた画像生成条件に従い、上記３次元領域に係る３次元データに基づいて３次元画像を生成して、当該３次元画像のうち、所定の形状条件を満たす第１の画像領域を検出し、実画像について、第１の画像領域に対応する第２の画像領域を周囲の画像領域とは異なる視覚的表現形式とすることによって表示用画像を生成するような構成により、患部に相当する所定の形状条件を満たす領域が可視的に見つけ易い態様となる。すなわち、医療用の内視鏡に係る画像を、患部を見つけ易い態様で表示させることができる。
【００３０】
また、請求項３に記載の発明によれば、患者の身体に相当する３次元領域のうち所定の形状条件を満たす所定形状領域に所定のデータが付与された３次元データを読み込み、上記３次元領域における内視鏡の位置及び姿勢に係る情報に応じた画像生成条件に従い、上記３次元データに基づいて３次元画像を生成して、当該３次元画像のうち、上記所定形状領域に対応する第１の画像領域を検出し、実画像について、第１の画像領域に対応する第２の画像領域を周囲の画像領域とは異なる視覚的表現形式とすることによって表示用画像を生成するような構成により、患部に相当する所定の形状条件を満たす領域が可視的に見つけ易い態様となる。すなわち、医療用の内視鏡に係る画像を、患部を見つけ易い態様で表示させることができる。
【００３１】
また、請求項４に記載の発明によれば、実画像について、第２の画像領域と周囲の画像領域とのそれぞれの画素の表示態様を相互に異ならせた表示用画像を生成するような構成により、患部に相当する所定の形状条件を満たす領域が確実に視覚的に見つけ易くなる。
【００３２】
また、請求項５に記載の発明によれば、実画像について、第２の画像領域と周囲の画像領域とのそれぞれの画素を相互に異なる色表現で表示したカラー画像を、表示用画像として生成するような構成により、患部に相当する所定の形状条件を満たす領域が更に視覚的に見つけ易くなる。
【００３３】
また、請求項６に記載の発明によれば、第２の画像領域を指示するマーキングを実画像に付加して表示用画像を生成するような構成により、患部に相当する所定の形状条件を満たす領域が確実に視覚的に見つけ易くなる。
【００３４】
また、請求項７に記載の発明によれば、患者の身体に相当する３次元領域における内視鏡の位置及び姿勢に係る情報に応じた画像生成条件に従い、上記３次元領域に係る３次元データに基づいて３次元画像を生成して、当該３次元画像のうち、所定の形状条件を満たす第１の画像領域を検出し、３次元画像を基礎として、内視鏡によって取得される実画像の各画素値を、実画像の各画素に対応する３次元画像の各画素に割り当てつつ、第１の画像領域を周囲の画像領域とは異なる視覚的表現形式とすることによって表示用画像を生成するような構成により、患部に相当する所定の形状条件を満たす領域が可視的に見つけ易い態様となる。すなわち、医療用の内視鏡に係る画像を、患部を見つけ易い態様で表示させることができる。
【００３５】
また、請求項８に記載の発明によれば、患者の身体に相当する３次元領域のうち所定の形状条件を満たす所定形状領域に所定のデータが付与された３次元データを読み込み、上記３次元領域における内視鏡の位置及び姿勢に係る情報に応じた画像生成条件に従い、上記３次元データに基づいて３次元画像を生成して、当該３次元画像のうち、上記所定形状領域に対応する第１の画像領域を検出し、３次元画像を基礎として、内視鏡によって取得される実画像の各画素値を、実画像の各画素に対応する３次元画像の各画素に割り当てつつ、第１の画像領域を周囲の画像領域とは異なる視覚的表現形式とすることによって表示用画像を生成するような構成により、患部に相当する所定の形状条件を満たす領域が可視的に見つけ易い態様となる。すなわち、医療用の内視鏡に係る画像を、患部を見つけ易い態様で表示させることができる。
【００３６】
また、請求項９に記載の発明によれば、３次元画像を基礎として、第１の画像領域と周囲の画像領域とのそれぞれの画素の表示態様を相互に異ならせた表示用画像を生成するような構成により、患部に相当する所定の形状条件を満たす領域が確実に視覚的に見つけ易くなる。
【００３７】
また、請求項１０に記載の発明によれば、３次元画像を基礎として、第１の画像領域と周囲の画像領域とのそれぞれの画素を相互に異なる色表現で表示したカラー画像を、表示用画像として生成するような構成により、患部に相当する所定の形状条件を満たす領域が更に視覚的に見つけ易くなる。
【００３８】
また、請求項１１に記載の発明によれば、第１の画像領域を指示するマーキングを３次元画像に付加して表示用画像を生成するような構成により、患部に相当する所定の形状条件を満たす領域が確実に視覚的に見つけ易くなる。
【００３９】
また、請求項１２に記載の発明によれば、第１の画像領域を検出するための所定の形状条件を、判断対象となる画像領域の輪郭の曲率が所定値よりも大きいという条件とすることで、例えば、曲率が大きな表面形状を有する患部を可視的に見つけ易い態様とすること等ができる。
【００４０】
また、請求項１３に記載の発明によれば、患者の身体に相当する３次元領域における内視鏡の位置及び姿勢に係る情報に応じた画像生成条件に従い、上記３次元領域に係る３次元データに基づいて３次元画像を生成して、当該３次元画像と内視鏡によって取得された実画像とを重畳させた表示用画像を生成するような構成により、表示用画像において各部の表面形状が認識し易い態様となる。その結果、医療用の内視鏡に係る画像を、患部を見つけ易い態様で表示させることができる。
【００４１】
また、請求項１４に記載の発明によれば、請求項１と同様な効果を奏する。
【００４２】
また、請求項１５に記載の発明によれば、請求項２と同様な効果を奏する。
【００４３】
また、請求項１６に記載の発明によれば、請求項３と同様な効果を奏する。
【００４４】
また、請求項１７に記載の発明によれば、請求項７と同様な効果を奏する。
【００４５】
また、請求項１８に記載の発明によれば、請求項８と同様な効果を奏する。
【００４６】
また、請求項１９に記載の発明によれば、請求項１３と同様な効果を奏する。
【発明を実施するための最良の形態】
【００４７】
以下、本発明の実施形態を図面に基づいて説明する。
【００４８】
＜第１実施形態＞
＜内視鏡システムの概要＞
図１は、本発明の実施形態に係る内視鏡システム１の概要を例示する図である。
【００４９】
内視鏡システム１は、パーソナルコンピュータ（以下単に「パソコン」と称する）２と、モニター３と、操作部４と、装着部５と、内視鏡６と、位置姿勢検出器７とを備えて構成される。
【００５０】
パソコン２は、制御部２０と、入出力Ｉ／Ｆ２１と、記憶部２２とを備えている。
【００５１】
入出力Ｉ／Ｆ２１は、パソコン２と、パソコン２の各周辺機器（モニター３、操作部４、装着部５、内視鏡６、及び位置姿勢検出器７）との間でそれぞれデータの送受信を行うためのインターフェース（Ｉ／Ｆ）である。また、入出力Ｉ／Ｆ２１は、制御部２０との間でデータの送受信を行うため、制御部２０とパソコン２の周辺機器との間でデータの送受信が可能である。
【００５２】
記憶部２２は、例えばハードディスク等で構成されており、ＣＴスキャン（Computed Tomography Scan）等によって検出された患者の３次元の体内構造（例えば、食道や胃の内部構造等）を含む身体に係るデータ（「３次元データ」とも称する）ＴＤや、当該３次元データＴＤに基づいて、あたかも内視鏡で撮影されたかのような仮想的な３次元画像データ（「仮想内視鏡画像」とも称する）を生成したり、その他画像処理等を行う画像処理プログラムＰＧ等を格納している。なお、本実施形態では、一般的なボリュームレンダリング(Volume Rendering)の手法により、３次元データに基づいて仮想内視鏡画像を生成する。
【００５３】
ここで、３次元データは、例えば、いわゆる「ボリュームデータ」と呼ばれるものである。このボリュームデータを得る際には、対象となる物体を非常に小さい立方体（又は直方体）を要素とする集合により表現するボクセル表現と呼ばれる手法が用いられる。そして、この要素としての立方体（又は直方体）がボクセルと呼ばれる。
【００５４】
一般に、Ｘ線を利用したＣＴスキャン（Computed Tomography Scan）等を使用することにより、人体を輪切りにした時の映像を得ることができる。そして、この輪切りの位置をずらすことにより、また切断方向を上下、前後、左右とすることにより、ボクセルデータ内にＸ線の吸収量を蓄えたデータが得られる。このように３次元空間内の濃度や密度の分布を表したデータが「ボリュームデータ」と呼ばれる。このボリュームデータは、ボリュームデータが表現する物体（ここでは、患者の身体）の３次元領域が複数のボクセルに分割されて、各ボクセルに対して１つのボクセル値（ここでは、Ｘ線の吸収量を示す値）が与えられたデータとなっている。そして、このボリュームデータに係る３次元領域が、ボリュームレンダリングにおける演算処理の対象となる。ここでは、ボリュームデータに係る３次元領域が、患者の身体（体内構造を含む）に相当する３次元領域であるものとする。
【００５５】
制御部２０は、主にＣＰＵ、ＲＯＭ２０ａ、及びＲＡＭ２０ｂ等を有し、パソコン２の各部を統括制御する部位である。そして、この制御部２０は、記憶部２２に格納されるボリュームデータＴＤをＲＡＭ２０ｂに読み込むとともに、画像処理プログラムＰＧを読み込んでＣＰＵで実行することにより、ボリュームデータに基づく仮想内視鏡画像の作成や、その他の画像処理等を行ったり、各種画像データを入出力Ｉ／Ｆ２１を介してモニター３に出力する。なお、ボリュームデータＴＤは、後述するメモリカード５１の記憶媒体に格納されていても良い。このように、パソコン２は、３次元データに基づいて、モニター３に可視的に出力するための表示用の画像データ（「表示用画像」とも称する）を生成したり、その他の画像処理等を実行する画像処理装置として働く。
【００５６】
モニター３は、例えばＣＲＴで構成され、制御部２０で生成される各種画像を可視的に出力する。
【００５７】
操作部４は、キーボードやマウス等から構成され、ユーザーの各種操作にしたがって各種電気信号を入出力Ｉ／Ｆ２１に送信する。また、装着部５は、メモリカード５１等の記憶媒体を着脱自在に装着することができる。そして、装着部５に装着されたメモリカード５１に格納される各種データやプログラム等を入出力Ｉ／Ｆ２１を介して制御部２０や記憶部２２に取り込むことができる。
【００５８】
内視鏡６は、患者の身体の内部（例えば、食道や胃の内部等）を撮影することで、体内の各部位における内壁の構造等についてのカラー画像データ（「カラー内視鏡実画像」とも称する）を取得するものである。内視鏡６では、例えば毎秒３０フレームのカラー内視鏡実画像を取得することで、体内の各部位における内壁の構造等に係る動画を得ることができる。内視鏡６によって取得されたカラー内視鏡実画像は、入出力Ｉ／Ｆ２１を介して、制御部２０のＲＡＭ２０ｂに読み込まれて一時的に記憶され、後述する画像処理が施されてモニター３において可視的に出力される。
【００５９】
また、内視鏡６は、図２に示すように、光ファイバー、又はリレーレンズ系を用いた管体６ａの先端に結合光学系６ｂを備えている。また、内視鏡６は、管体６ａの先端部側面に、体内の組織（例えば、腫瘍部の組織）を挟み込んで切除するハサミ部６ｃが設けられている。更に、光源６０は、管体６ａを介して観察対象物（例えば、食道や胃の内部等）を照射するための光源である。
【００６０】
位置姿勢検出器７は、患者の身体内における内視鏡６の先端部に設けられる結合光学系６ｂの位置や角度等を検出するものであり、例えば、超音波等を利用した一般的なエコー装置等で構成される。この位置姿勢検出器７では、例えば、エコー装置本体が上下左右方向に自在に移動させることができ、所定の位置を基準点とした所定の３次元座標系（ＸＹＺ直交座標系）において、エコー装置本体の座標位置を検出することができる。例えば、所定の固定点から延設されるアームの先端にエコー装置本体が設置され、アームを電動式で駆動させることでエコー装置本体の位置を変更させ、その際に電動式のアームの駆動量を計測可能なものとすることで、エコー装置本体の座標位置及び向き等を検出することができる。
【００６１】
また、エコー装置本体は、内視鏡６の特徴的な先端の形状を検出することで、エコーによる検出領域における結合光学系６ｂの占める位置と、結合光学系６ｂの向きや角度とを検出することができる。そして、３次元座標系の基準点を、例えば、患者の特定の部位の位置に設定することで、患者の身体に相当する３次元領域（以下「身体３次元領域」とも称する）における結合光学系６ｂの相対的な位置に係る情報（位置情報）、及び結合光学系６ｂの向きや角度等といった姿勢に係る情報（姿勢情報）等を取得することができる。その結果、ボリュームデータに係る３次元領域と、内視鏡６との相対的な位置関係及び角度関係等といったパラメータ（「外部パラメータ」とも称する）を検出することができる。つまり、身体３次元領域における内視鏡６の相対的な位置及び姿勢を検出することができる。
【００６２】
なお、内視鏡６の外部パラメータを検出する位置姿勢検出器７としては、内視鏡６の先端等にジャイロ等のセンサを設けるものも考えられる。
【００６３】
上述ようにして位置姿勢検出器７によって検出された身体３次元領域における内視鏡６の相対的な位置及び姿勢に係る情報（「位置姿勢情報」とも称する）は、入出力Ｉ／Ｆ２１を介して、制御部２０のＲＡＭ２０ｂに読み込まれて一時的に記憶される。
【００６４】
また、焦点距離、画素サイズ、画素の縦ラインと横ラインとがなす角度、画像の中心などといった内視鏡６の内部的なパラメータ（「内部パラメータ」とも称する）は、内視鏡６の設計によって決まる。
【００６５】
よって、制御部２０が、位置姿勢検出器７で取得された外部パラメータに係る情報すなわち位置姿勢情報と、内部パラメータとに合わせた条件下で、ボリュームレンダリングによるボリュームデータに基づいて３次元画像（仮想内視鏡画像）を生成すると、内視鏡６で取得されるカラー内視鏡実画像と、仮想内視鏡画像の構図が全く同様となる。
【００６６】
ここで、内部パラメータは固定のものであるとともに、既知であるとすると、制御部２０は、時間を経る毎に変化する外部パラメータ（すなわち位置姿勢情報）に応じて、カラー内視鏡実画像と仮想内視鏡画像との構図（すなわち相対的な被写体の位置関係）が合致するように、仮想内視鏡画像を生成する条件（「画像生成条件」とも称する）を設定することができる。そして、制御部２０が、設定した画像生成条件に従い、ボリュームデータに基づいたボリュームレンダリングにより仮想内視鏡画像を生成する。
【００６７】
なお、カラー内視鏡実画像を取得する際の内視鏡６の内部パラメータおよび外部パラメータより、カラー内視鏡実画像の射影行列を求めることができる。この射影行列は、所定のカメラの座標系をワールド座標系（基準となる座標系）に変換する３行×４列からなる変換行列である。そして、この変換行列が入力されることで、画像生成条件が自動的に決定されるものもあり、このような方式によって、画像生成条件を決定するようにしても良い。
【００６８】
＜表示用画像の生成および出力＞
モニター３に出力するための画像データ（表示用画像）の生成及び出力について説明する。
【００６９】
本実施形態に係る内視鏡システム１では、ボリュームデータに基づいて患部に相当する表面形状の曲率が所定値よりも大きな箇所を検出し、カラー内視鏡実画像のうち、検出された曲率が所定値よりも大きな箇所に対応する画像領域が周囲の画像領域とは相互に異なる表示態様となるような表示用画像を生成して、モニター３において可視的に出力させることで、患部を見つけ易くする。
【００７０】
以下、表示用画像の生成および出力に係る動作について、具体的に説明する。
【００７１】
図３は、表示用画像の生成及び出力に係る動作フローを示すフローチャートである。本動作フローは、制御部２０に画像処理プログラムＰＧが読み込まれて実行されることで実現される。まず、ユーザーが操作部４を適宜操作することで、内視鏡６による撮影、及びボリュームデータＴＤに基づくボリュームレンダリングの開始が指示されると、図３のステップＳ１に進む。
【００７２】
ステップＳ１では、記憶部２２に格納されるボリュームデータＴＤが制御部２０によって読み出されて取得され、ステップＳ２に進む。
【００７３】
ステップＳ２では、記憶部２２が、内視鏡６から１フレームのカラー内視鏡実画像を取得し、ステップＳ３に進む。図４は、ステップＳ２で取得されるカラー内視鏡実画像の一例を示す模式図である。内視鏡６による撮影対象としては、胃や腸の内壁等の体内の各部の内壁面が考えられるが、図４及び図４以降では、一例として内視鏡６によって腸の内壁を撮影している様子を示している。
【００７４】
ステップＳ３では、位置姿勢検出器７により、内視鏡６の位置及び姿勢を検出し、ステップＳ４に進む。ここでは、ステップＳ２においてカラー内視鏡実画像を取得した時点における内視鏡６の位置及び姿勢として、内視鏡６の位置及び姿勢が検出される。そして、内視鏡６の位置及び姿勢に係る情報（位置姿勢情報）が制御部２０に出力される。
【００７５】
ステップＳ４では、ステップＳ３において得られた位置姿勢情報すなわち内視鏡６の位置及び姿勢に従って、ボリュームレンダリングの条件（視点や投影面の位置、視点から投影面上の複数点を通過する視線等の条件等）が設定され、ステップＳ５に進む。ここでは、ステップＳ２で取得されたカラー内視鏡実画像と同一の構図となる仮想内視鏡画像が生成されるようなボリュームレンダリングの条件が設定される。なお、ここでは、腸の内壁等の状態を正確に表示させるために、一般的なボリュームレンダリングにおいて与えられる不透明度としては１に極めて近い値を与える。
【００７６】
ステップＳ５では、一般的なボリュームレンダリングの手法によりステップＳ１で取得したボリュームデータに基づいて仮想内視鏡画像を生成し、ステップＳ６に進む。ここで生成される仮想内視鏡画像には、仮想的な色が付される。図５は、ステップＳ６で生成される仮想内視鏡画像の一例を示す模式図である。図５に示すように、ここでは、ステップＳ２で取得された図４に示すカラー内視鏡実画像と同一の構図を有する仮想内視鏡画像が生成される。なお、図５では図示を省略するが、仮想内視鏡画像には、仮想的な色が付されている。そして、図５で示す仮想内視鏡画像では、腫瘍に相当する突起物が腸の内壁に形成されている様子が示されている。
【００７７】
ステップＳ６では、ステップＳ５で生成された仮想内視鏡画像のうち所定の形状に係る条件（所定の形状条件）を満たす特徴的な形状を検出し、ステップＳ７に進む。ここでは、例えば、仮想内視鏡画像についてエッジ抽出を行い、曲率が所定値よりも大きなエッジ（輪郭）を検出して、当該エッジで囲まれる画像領域（「第１の画像領域」とも称する）Ｒ１を所定の形状条件を満たす特徴的な形状として検出することができる。ここでは、腫瘍が形成されている患部は、一般に表面形状の曲率が周囲の表面形状よりも大きなことを利用して、第１の画像領域Ｒ１が、腫瘍が形成されている患部に相当する画像領域として検出される。つまり、判断対象となる画像領域の輪郭の曲率が所定値よりも大きいか否かにより、第１の画像領域Ｒ１か否かを判断して検出する。なお、上述した所定の形状条件については、種々のものが考えられるが、医療分野等で、形状に基づいて患部を検出する種々の方法を採用することができる。
【００７８】
ステップＳ７では、カラー内視鏡実画像のうち、ステップＳ６で検出された特徴的な形状に相当する第１の画像領域Ｒ１に対応する画像領域の画素値を変更して、カラー内視鏡実画像を基礎とした表示用の画像データ（「表示用実画像」とも称する）を生成し、ステップＳ８に進む。図６は、表示用実画像の一例を示す模式図である。このステップＳ７では、カラー内視鏡実画像のうち、第１の画像領域Ｒ１に対応する画像領域（図６中の斜線ハッチング部、「第２の画像領域」とも称する）Ｒ２を、例えば、緑色で示したり、輝度を上げる等して、画素値を変更する。つまり、第２の画像領域Ｒ２と周囲の画像領域とのそれぞれの画素の表示態様が相互に異なるように、第２の画像領域Ｒ２に係る画素値を変更する。なお、ここで、第２の画像領域Ｒ２を緑色とする例を挙げたのは、人間の体内の種々の器官は、通常赤色に近い色を呈する場合が多く、緑色を呈するものはほとんどないため、緑色で画像領域Ｒ２を表示することで、周囲の他の画像領域とは区別可能な表示態様とすることができるためである。
【００７９】
ステップＳ８では、ステップＳ５において生成された仮想内視鏡画像のうち、ステップＳ６で検出された特徴的な形状に相当する画像領域（ここでは、図５中の第１の画像領域Ｒ１）に係る画素値を、所定の色（例えば、緑色等）を示す画素値に変更する。そして、第１の画像領域Ｒ１以外の周囲の画像領域（ここでは、図５中の画像領域Ｒ１１）については、当該画像領域（「周辺画像領域」とも称する）Ｒ１１の各画素に対して、対応するカラー内視鏡実画像の各画素に係る画素値（色値）を割り当てる。そうすることで、仮想内視鏡画像を基礎とした表示用の画像データ（「表示用仮想画像」とも称する）を生成し、ステップＳ９に進む。図７は、表示用仮想画像の一例を示す模式図である。図７に示すように、図５で示した仮想内視鏡画像の第１の画像領域Ｒ１については、所定の色とするとともに（図７中の斜線ハッチング部）、その他の周囲の第２の画像領域Ｒ１１については、図４に示すカラー内視鏡実画像の画素値が割り当てられて（図７中の砂地ハッチング部）、表示用仮想画像が生成される。
【００８０】
このようにすることで、仮想内視鏡画像に対して実際の色を付与した表示用仮想画像を生成することができる。
【００８１】
ステップＳ９では、ステップＳ７とステップＳ８とにおいてそれぞれ生成された表示用実画像と表示用仮想画像とを同時にモニター３において可視的に出力させて、ステップＳ２に戻る。このステップＳ９では、例えば、図８に示すように、表示用実画像に基づく表示画像と表示用仮想画像に基づく表示画像とが空間的に横に並べられたような画面がモニター３に表示される。なお、図８では、表示用実画像に基づく表示画像が図８中左方に、表示用仮想画像に基づく表示画像が図８中右方に配置された画面が例示されている。
【００８２】
また、ステップＳ９からステップＳ２に戻るため、ステップＳ２からステップＳ９の処理が繰り返されることとなる。そして、ここで、毎秒３０フレームのカラー内視鏡実画像が得られるとすると、１／３０秒毎にステップＳ２からステップＳ９の処理が行われ、表示用画像（ここでは、表示用実画像および表示用仮想画像）が１／３０秒毎に新たに作成されて、モニター３において可視的に出力される。
【００８３】
以上のように、第１実施形態に係る内視鏡システム１では、制御部２０において、ボリュームデータに係る３次元領域（身体３次元領域）における内視鏡６の相対的な位置及び姿勢の情報（位置姿勢情報）に応じて、ボリュームレンダリングの画像生成条件を設定する。そして、当該画像生成条件に従って、ボリュームデータに基づいて３次元画像（ここでは、仮想内視鏡画像）を生成する。次に、仮想内視鏡画像について、エッジを抽出して、当該エッジのうち曲率が所定値よりも大きいエッジに囲まれた画像領域を、所定の形状条件を満たす第１の画像領域Ｒ１として検出する。そして、内視鏡６によって取得されたカラー内視鏡実画像について、第１の画像領域Ｒ１に対応する第２の画像領域Ｒ２と周囲の画像領域とのそれぞれの画素の表示態様を相互に異ならせた表示用実画像（すなわち表示用画像）を生成する。このような構成により、患部に相当する箇所の表示態様が周囲とは異なるため、患部に相当する所定の形状条件を満たす領域が可視的に見つけ易い態様となる。すなわち、医療用の内視鏡に係る画像を、患部を見つけ易い態様で表示させることができる。
【００８４】
また、第２の画像領域Ｒ２の画素値を緑色等の色表現に係る画素値に変更することで、第２の画像領域Ｒ２と周囲の画像領域とのそれぞれの画素を相互に異なる色表現で表示したカラー画像（すなわち表示用画像）を生成する。このような構成により、患部に相当する所定の形状条件を満たす領域が更に見つけ易くなる。
【００８５】
また、患部に相当する第１の画像領域Ｒ１を検出するための所定の形状条件を、判断対象となる画像領域の輪郭の曲率が所定値よりも大きいという条件とすることで、例えば、曲率が大きな表面形状を有する患部を可視的に見つけ易い態様とすること等ができる。その結果として、医療用の内視鏡に係る画像を、患部を見つけ易い態様で表示させることができる。
【００８６】
＜第２実施形態＞
第１実施形態に係る内視鏡システム１では、ボリュームレンダリングによりボリュームデータに基づいて仮想内視鏡画像を作成し、患部に相当する第１の画像領域を検出して、カラー内視鏡実画像について、当該検出された第１の画像領域に対応する第２の画像領域の表示態様を周囲の画像領域とは相互に異ならせるように画素値を変更した。これに対して、第２実施形態に係る内視鏡システム１Ａでは、サーフェースレンダリングによりボリュームデータに基づいてポリゴンで構成される３次元画像すなわち仮想内視鏡画像（「３次元表面画像」とも称する）を生成し、カラー内視鏡実画像と重畳させた表示用画像を生成して、可視的に出力することで、患部が見つけ易くなるようにする。
【００８７】
なお、第２実施形態に係る内視鏡システム１Ａは、ボリュームデータに基づく仮想内視鏡画像の作成方式がサーフェースレンダリングである点や、表示用画像の作成等といった画像処理に係る内容が、第１実施形態に係る内視鏡システム１と異なるのみで、その他の部分については同様となる。そのため、同様となる構成等については同じ符合を付して説明を省略し、以下、内視鏡システム１とは異なる画像処理の内容にあたる、内視鏡システム１Ａに係る表示用画像の生成及び出力について説明する。
【００８８】
＜表示用画像の生成および出力＞
図９は、第２実施形態に係る表示用画像の生成と出力に係る動作フローを示すフローチャートである。本動作フローは、制御部２０に画像処理プログラムＰＧが読み込まれて実行されることで実現される。まず、ユーザーが操作部４を適宜操作することで、内視鏡６による撮影、及びボリュームデータＴＤに基づくボリュームレンダリングの開始が指示されると、図９のステップＳ２１に進む。
【００８９】
ステップＳ２１では、記憶部２２に格納されるボリュームデータＴＤが制御部２０によって読み出されて取得され、ステップＳ２２に進む。
【００９０】
ステップＳ２２では、制御部２０が、ボリュームデータＴＤに係るボクセル値を２値化して、ステップＳ２３に進む。ここでは、ボリュームデータＴＤに係るボクセル値を所定の値域範囲に含まれるものと、そうでないものとで二値化することで、ボリュームデータＴＤに係る３次元領域を観察対象となる物体が存在する領域と、そうでない領域との２つの領域に区別する。このような処理を予め実行しておくことで、後述するサーフェースレンダリングが容易に実行することができる。
【００９１】
ステップＳ２３では、図３のステップＳ２と同様に、制御部２０が、内視鏡６から１フレームのカラー内視鏡実画像を取得し、ステップＳ２４に進む。ここでも、例えば、図４で示したようなカラー内視鏡実画像を取得することができる。
【００９２】
ステップＳ２４では、図３のステップＳ３と同様に、位置姿勢検出器７によって、内視鏡６の位置及び姿勢を検出し、ステップＳ２５に進む。つまり、制御部２０が、内視鏡６に係る位置姿勢情報を取得する。
【００９３】
ステップＳ２５では、ステップＳ２４において得られた位置姿勢情報すなわち内視鏡６の位置及び姿勢に従って、サーフェースレンダリングの条件（視点や画角や視線の方向等の条件）が設定され、ステップＳ２６に進む。ここでは、ステップＳ２３で取得されたカラー内視鏡実画像と同一の構図となる仮想内視鏡画像が生成されるようなサーフェースレンダリングの条件が設定される。
【００９４】
ステップＳ２６では、一般的なサーフェースレンダリングの手法によりステップＳ２１で取得したボリュームデータに基づいて仮想内視鏡画像を生成し、ステップＳ２７に進む。ここで生成される仮想内視鏡画像には、一般的なサーフェースレンダリングのシェーディングにより、図５で示した仮想内視鏡画像と同様に仮想的な色が付される。以下、ここでは、図５で示したような仮想内視鏡画像が取得されたものと仮定して、説明を続ける。
【００９５】
ステップＳ２７では、ステップＳ２６で生成された仮想内視鏡画像に対して、ステップＳ２３で取得されたカラー内視鏡実画像を一般的なテクスチャーマッピングの手法によってマッピングすることで、表示用仮想画像を生成し、ステップＳ２８に進む。
【００９６】
図１０は、ステップＳ２７におけるテクスチャーマッピングについて説明する図である。図１０（ａ）は、ステップＳ２６において生成された仮想内視鏡画像を例示しており、図１０（ｂ）は、ステップＳ２３において取得されたカラー内視鏡実画像を例示している。そして、図１０に示すように、仮想内視鏡画像（図１０（ａ））を構成する各ポリゴンに対して、カラー内視鏡実画像（図１０（ｂ））をマッピングすることで、表示用仮想画像（図１０（ｃ））を生成することができる。このテクスチャーマッピングの手法としては、公知の方法を用いることができる。
【００９７】
ステップＳ２８では、ステップＳ２３において取得されたカラー内視鏡実画像と、ステップＳ２７で生成された表示用仮想画像とをモニター３において可視的に出力して、ステップＳ２３に戻る。このステップＳ２８では、例えば、図１１に示すように、カラー内視鏡実画像に基づく表示画像と表示用仮想画像に基づく表示画像とが空間的に横に並べられたような画面がモニター３に表示される。なお、図１１では、カラー内視鏡画像に基づく表示画像が図１１中左方に、表示用仮想画像に基づく表示画像が図１１中右方に配置された画面が例示されている。
【００９８】
また、ステップＳ２８からステップＳ２３に戻るため、ステップＳ２３からステップＳ２８の処理が繰り返されることとなる。そして、ここで、毎秒３０フレームのカラー内視鏡実画像が得られるとすると、１／３０秒毎にステップＳ２３からステップＳ２８の処理が行われ、表示用画像（ここでは、カラー内視鏡実画像および表示用仮想画像）が１／３０秒毎に新たに作成されて、モニター３において可視的に出力される。
【００９９】
以上のように、第２実施形態に係る内視鏡システム１Ａでは、制御部２０において、ボリュームデータに係る３次元領域（身体３次元領域）における内視鏡６の相対的な位置及び姿勢の情報（位置姿勢情報）に応じて、サーフェースレンダリングの画像生成条件を設定し、当該画像生成条件に従って、ボリュームデータに基づいて３次元画像（ここでは、仮想内視鏡画像）を生成する。次に、ポリゴンで構成されて、体内の構造（ここでは、腸の内壁の表面構造）の凹凸を精度良く表す仮想内視鏡画像に対して、カラー内視鏡実画像がテクスチャーマッピングの手法によってマッピングされて表示用仮想画像が生成される。更に、カラー内視鏡実画像に基づく表示画像と表示用実画像に基づく表示画像とが同時に空間的に横に並べられた画面がモニター３に表示される。このような構成により、ボリュームデータから生成された仮想内視鏡画像に基づく表示画像が、内視鏡で実際に取得された実画像と同様な色で表示されつつ、凹凸（特に、表面形状の曲率が大きな部位の形状）も明確に示される。そのため、例えば、表示用仮想画像に基づく表示画像とカラー内視鏡実画像に基づく表示画像との対比がし易くなる。その結果、医療用の内視鏡に係る画像を、患部を見つけ易い態様で表示させることができる。
【０１００】
＜変形例＞
以上、この発明の実施形態について説明したが、この発明は上記説明した内容のものに限定されるものではない。
【０１０１】
◎例えば、上述した第１実施形態では、図８に示すように、カラー内視鏡実画像を基礎とした表示用実画像に基づく表示画像と、仮想内視鏡画像を基礎とした表示用仮想画像に基づく表示画像とを空間的に横に並べたような画面を表示したが、これに限られず、例えば、図６に示すような表示用実画像に基づく表示画像、又は、図７に示すような仮想内視鏡画像に基づく表示画像のみをモニター３に表示させるようにしても良い。このような構成としても、双方の表示画像とも、患部に相当する所定の形状条件を満たす領域が可視的に見つけ易い態様のものとなっているため、第１実施形態と同様な効果を得ることができる。更に、実際の色を有効に利用した、患部を明確に示す表示態様となった１つの画像を大きくモニター３に表示させることができるため、更に、患部が見つけ易くなる。
【０１０２】
◎また、上述した第１実施形態では、カラー内視鏡実画像について、患部にあたる所定の形状条件を満たす第２の画像領域を周囲の画像領域とは色を変える等して表示態様を変更したが、これに限られず、例えば、図１２に示すように、仮想内視鏡画像およびカラー内視鏡実画像に対して第１及び第２の画像領域それぞれを指示するマーキング（例えば、緑色の矢印等）ＭＧを付加して表示用仮想画像及び表示用実画像をそれぞれ生成するようにしても良い。すなわち、仮想内視鏡画像およびカラー内視鏡画像のそれぞれについて、第１及び第２の画像領域を周囲の画像領域とは異なる視覚的表現形式とするようにしても良い。このような構成によっても、第１実施形態と同様に、マーキングの存在により、患部に相当する所定の形状条件を満たす領域が確実に見つけ易くなる。すなわち、医療用の内視鏡に係る画像を、患部を見つけ易い態様で表示させることができる。
【０１０３】
◎また、上述した第１実施形態では、カラー内視鏡実画像及び仮想内視鏡画像について、患部に相当する画像領域を周囲の画像領域とは色を変える等して表示態様を変更したが、これに限られず、例えば、カラー内視鏡実画像及び仮想内視鏡画像のうち、患部にあたる画像領域の輪郭を緑色等の所定の色で強調するように画素値を変更させて良い。つまり、例えば、仮想内視鏡画像のうち、所定の形状条件を満たすエッジ（輪郭）を第１の画像領域とし、カラー内視鏡実画像のうち、当該第１の画像領域に対応する画像領域を第２の画像領域としても良い。このような構成によっても、第１実施形態と同様な効果を得ることができる。
【０１０４】
◎また、上述した第１実施形態では、仮想内視鏡画像のうち患部に相当する第１の画像領域以外の周囲の周辺画像領域については、各画素に対して、カラー内視鏡実画像の対応する各画素に係る画素値を割り当てた。しなしながら、このような構成に限られず、例えば、周辺画像領域については、仮想内視鏡画像を生成した際に仮に与えられた色のままとして、表示用仮想画像を生成し、図１３に示すように、モニター３において可視的に出力しても良い。このような構成としても、カラー内視鏡画像及び表示用仮想画像の双方において、患部に相当する画像領域と周囲の画像領域とのそれぞれの画素の表示態様を相互に異ならせているため、患部を見つけ易い態様でモニター３に表示画像を表示させることができる。
【０１０５】
◎また、上述した第２実施形態では、ポリゴンで形成された仮想内視鏡画像に対してカラー内視鏡実画像をマッピングすることで表示用仮想画像を生成したが、これに限られず、例えば、図１４に示すように、仮想内視鏡画像を半透明化させたもの（図１４（ａ））を、カラー内視鏡実画像（図１４（ｂ））に対して位置合わせをしつつ、重畳させて表示用画像（図１４（ｃ））を生成するようにしても良い。なお、逆に、カラー内視鏡画像を半透明化させたものを仮想内視鏡画像に対して重畳させることで表示用画像を生成しても良い。また、仮想内視鏡画像については、各ポリゴンの輪郭だけを線で描いた線画として、仮想的な色を付さないようにしても良い。
【０１０６】
このような構成により、表面の凹凸状態が明確な仮想内視鏡画像がカラー内視鏡実画像に対して重畳された表示用画像を、モニター３において可視的に出力することで、表面構造の曲率が大きな患部に相当する箇所を強調した表示画像を表示することができる。すなわち、表示用画像において各部の表面形状が認識し易い態様となる。その結果、医療用の内視鏡に係る画像を、患部を見つけ易い態様で表示させることができる。
【０１０７】
◎また、上述した第１実施形態では、図８に示すように、カラー内視鏡実画像を基礎とした表示用実画像と、仮想内視鏡画像を基礎とした表示用仮想画像とを隣に並べたような表示用画像を作成した。しかしながら、この構成に限られず、例えば、ボリュームレンダリングによって生成された仮想内視鏡画像及びカラー内視鏡実画像のうちの一方を半透明化させつつ、位置合わせを行って両画像を重畳させることで表示用画像を生成するようにしても良い。このように構成により、表面の凹凸状態が明確な仮想内視鏡画像がカラー内視鏡実画像に対して重畳された表示用画像を、モニター３において可視的に出力することで、表面構造の曲率が大きい患部に相当する箇所を強調した表示態様とすることができる。すなわち、医療用の内視鏡に係る画像を、患部を見つけ易い態様で表示させることができる。
【０１０８】
◎また、上述した第１実施形態では、仮想内視鏡画像を生成した後に、仮想内視鏡画像についてエッジ抽出及びエッジの形状認識等の手法を用いて、所定の形状条件を満たす第１の画像領域を検出した。しかしながら、これに限られず、例えば、ボリュームデータに係る３次元領域から、ボリュームデータのボクセル値に基づいて、体内の構造のうち所定の形状条件を満たす領域（「第１検出領域」とも称する）を検出して、当該第１検出領域を他の領域とは区別して示すことができるように、第１検出領域に係るデータを変更した３次元データ（「変更後３次元データ」とも称する）を生成し、当該変更後３次元データを読み込んで、ボリュームレンダリングを行い、第１検出領域に係る画像領域と周囲の画像領域とのそれぞれの画素を相互に異なる色表現とする等して、患部に相当する第１検出領域に係る画像領域と周囲の画像領域とのそれぞれの画素の表示態様を相互に異ならせて仮想内視鏡画像を生成するようにしても良い。つまり、元々のボリュームデータから、患者の身体に相当する３次元領域のうち所定の形状条件を満たす領域（「所定形状領域」とも称する）に対して所定のデータを付与した形に、ボリュームデータ（３次元データ）を変更して、一旦、ＲＡＭ２０ｂに読み込んで一時的に記憶し、その後、仮想内視鏡画像を生成するようにしても良い。
【０１０９】
具体的には、ボリュームデータに係る３次元領域から、ボリュームデータのボクセル値に基づいて、体内の各種内面構造のうち曲率が所定値よりも大きな領域を第１検出領域として検出し、当該第１検出領域に係るボクセルに対して所定の色値（例えば、緑色を示す画素値）を割り当てることで、変更後３次元データを生成し、変更後３次元データに基づくボリュームレンダリングによって生成される仮想内視鏡画像が、第１検出領域に対応する画像領域に対して所定の色値が割り当てられて、周囲の画像領域とは相互に異なる表示態様となるようにしても良い。
【０１１０】
そして、仮想内視鏡画像における第１の画像領域（所定形状領域に対応する画像領域）は、周囲の画像領域とは相互に異なる表示態様となっている箇所を抽出することで、検出することができる。また、第１検出領域に係るボクセルに与えられた所定のデータを直接的に検出することで、第１の画像領域を検出することもできる。
【０１１１】
このような構成によっても、第１実施形態と同様な効果を得ることができる。
【０１１２】
また、このような構成を採用する場合であっても、勿論、図１２に示すように、カラー内視鏡実画像及び仮想内視鏡画像について、所定形状領域に対応する第１及び第２の画像領域をそれぞれ指示するマーキングが付加された表示状態となるように画素値を変更するようにしても良い。
【０１１３】
◎なお、上述した実施形態における「患者」には、人間だけでなく、各種動物等も含まれる。
【図面の簡単な説明】
【０１１４】
【図１】本発明の実施形態に係る内視鏡システムの概要を例示する図である。
【図２】内視鏡の構成を示す模式図である。
【図３】表示用画像の生成と出力に係る動作フローを示すフローチャートである。
【図４】カラー内視鏡実画像の一例を示す模式図である。
【図５】仮想内視鏡画像の一例を示す模式図である。
【図６】表示用実画像の一例を示す模式図である。
【図７】表示用仮想画像の一例を示す模式図である。
【図８】表示画像の一例を示す模式図である。
【図９】第２実施形態に係る表示用画像の生成と出力に係る動作フローを示すフローチャートである。
【図１０】テクスチャーマッピングについて説明する図である。
【図１１】表示画像の一例を示す模式図である。
【図１２】変形例に係る表示画像の一例を示す模式図である。
【図１３】変形例に係る表示画像の一例を示す模式図である。
【図１４】変形例に係る表示用画像の生成を説明するための図である。
【符号の説明】
【０１１５】
１，１Ａ  内視鏡システム
２  パソコン
３  モニター
６  内視鏡
６ａ  管体
６ｂ  結合光学系
６ｃ  ハサミ部
７  位置姿勢検出器
２０  制御部
２０ａ  ＲＯＭ
２０ｂ  ＲＡＭ
２２  記憶部
５１  メモリカード
ＭＧ  マーキング
ＰＧ  画像処理プログラム
Ｒ１  第１の画像領域
Ｒ２  第２の画像領域
ＴＤ  ボリュームデータ
【図１】
2006061274.tif 000003
【図２】
2006061274.tif 000004
【図３】
2006061274.tif 000005
【図４】
2006061274.tif 000006
【図５】
2006061274.tif 000007
【図６】
2006061274.tif 000008
【図７】
2006061274.tif 000009
【図８】
2006061274.tif 000010
【図９】
2006061274.tif 000011
【図１０】
2006061274.tif 000012
【図１１】
2006061274.tif 000013
【図１２】
2006061274.tif 000014
【図１３】
2006061274.tif 000015
【図１４】
2006061274.tif 000016