(57)【要約】【課題】仮想内視鏡の視点位置と構造物との距離に応じて、構造物を適切に視認できるようにする。【解決手段】構造物抽出部２４が、３次元医用画像Ｍから構造物を抽出し、視点決定部２６が、仮想内視鏡画像の視点位置および視線方向を決定する。画像生成部２７が、視点位置Ｐ１と抽出した構造物との距離を算出し、距離に応じてカラーテンプレートに定義された不透明度を変更し、不透明度が変更されたカラーテンプレートにより表される構造物を含む、視点位置Ｐ１および視線方向Ｖ１の仮想内視鏡画像を３次元医用画像Ｍから生成する。表示制御部２８が、仮想内視鏡画像Ｇ０をＷＳディスプレイ１０に表示する。【選択図】図２
2014064721.tif 000002
【特許請求の範囲】
【請求項１】
複数の構造物を含む被検体の３次元画像を取得する画像取得手段と、
前記３次元画像から少なくとも１つの構造物を抽出する構造物抽出手段と、
前記被検体の体腔内における仮想的な視点位置および視線方向を決定する視点決定手段と、
前記複数の構造物のそれぞれに対して定義した、前記視点位置からの距離に応じて不透明度が変化する表示属性を記憶する記憶手段と、
前記視点位置と前記抽出した構造物との距離に応じて、前記表示属性の前記不透明度を変更し、該不透明度が変更された前記表示属性の前記構造物を含む、前記視点位置および前記視線方向の仮想内視鏡画像を前記３次元画像から生成する画像生成手段とを備えたことを特徴とする仮想内視鏡画像生成装置。
【請求項２】
前記不透明度は、前記距離が第１のしきい値以上および第２のしきい値以下で０となり、該第１および第２のしきい値の間の第３のしきい値で１となるように変化することを特徴とする請求項１記載の仮想内視鏡画像生成装置。
【請求項３】
前記画像生成手段は、前記視点位置と前記抽出した構造物との最短距離を算出する手段であることを特徴とする請求項１または２記載の仮想内視鏡画像生成装置。
【請求項４】
前記画像生成手段は、前記視点位置と前記抽出した構造物の重心との距離を算出する手段であることを特徴とする請求項１または２記載の仮想内視鏡画像生成装置。
【請求項５】
前記仮想内視鏡画像を表示手段に表示する表示制御手段をさらに備えたことを特徴とする請求項１から４のいずれか１項記載の仮想内視鏡画像生成装置。
【請求項６】
複数の構造物を含む被検体の３次元画像を取得し、
前記３次元画像から少なくとも１つの構造物を抽出し、
前記被検体の体腔内における仮想的な視点位置および視線方向を決定し、
前記視点位置と前記抽出した構造物との距離に応じて、前記複数の構造物のそれぞれに対して定義した、前記視点位置からの距離に応じて不透明度が変化する表示属性の前記不透明度を変更し、該不透明度が変更された前記表示属性の前記構造物を含む、前記視点位置および前記視線方向の仮想内視鏡画像を前記３次元画像から生成することを特徴とする仮想内視鏡画像生成方法。
【請求項７】
複数の構造物を含む被検体の３次元画像を取得する手順と、
前記３次元画像から少なくとも１つの構造物を抽出する手順と、
前記被検体の体腔内における仮想的な視点位置および視線方向を決定する手順と、
前記視点位置と前記抽出した構造物との距離に応じて、前記複数の構造物のそれぞれに対して定義した、前記視点位置からの距離に応じて不透明度が変化する表示属性の前記不透明度を変更し、該不透明度が変更された前記表示属性の前記構造物を含む、前記視点位置および前記視線方向の仮想内視鏡画像を前記３次元画像から生成する手順とを有する仮想内視鏡画像生成方法をコンピュータに実行させることを特徴とするプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、被検体の体腔内に挿入された内視鏡下での手術および検査等における、内視鏡観察を支援するための、被検体の体腔内を表す仮想内視鏡画像を生成する装置および方法並びにプログラムに関するものである。
【背景技術】
【０００２】
近年、腹腔鏡手術や胸腔鏡手術等の内視鏡下で行われる手術が注目されている。この内視鏡手術では、開腹や開胸等を行うことなく、内視鏡と処置具を刺入するための数センチ程度の穴を２、３個開けるだけで済むため、患者の負担が極めて小さいというメリットがある。一方で、内視鏡の限られた視野で手術を実施することは技術的難易度が高く、執刀を行う医師は熟練を要する。もし患者の血管や臓器を誤って傷つけてしまい、出血してしまった場合には、開腹、開胸等を伴う従来の手法による手術に移行せざるを得ない。
【０００３】
一方、ＣＴ等での撮影によって得られた３次元ボリューム画像から内視鏡と類似した画像を生成する仮想内視鏡技術が知られている。この技術は、とくに大腸の腫瘍を発見するために、内視鏡検査をすることなくＣＴ撮影のみで腫瘍を発見する方法として北米で普及している。そして、仮想内視鏡画像を用いて内視鏡手術あるいは検査等を安全かつ迅速に行うための手法が提案されている。
【０００４】
例えば、特許文献１には、内視鏡の位置をセンサで検出し、検出位置を視点とし、内視鏡よりも広い画角を有する仮想内視鏡画像を生成し、内視鏡撮影で得られた実内視鏡画像と仮想内視鏡画像とを重畳表示する装置が記載されている。
【０００５】
しかしながら、特許文献１に記載された手法では、内視鏡の狭い視野を仮想内視鏡画像によって補うことはできるものの、仮想内視鏡画像は実内視鏡画像と同じ視点、同じ観察方向の画像であるから、手術対象部位等の注目箇所と内視鏡との位置関係によっては、仮想内視鏡画像あるいは実内視鏡画像中に注目箇所が表示されない可能性があり、内視鏡と注目箇所との位置関係が把握できないこともありうる。
【０００６】
このため、例えば特許文献２に、仮想内視鏡の視点位置からの距離に応じて仮想内視鏡画像の色を変化させるためのカラーテンプレートを構造物毎に定義しておき、視点からの距離に応じて構造物の色を変化させる手法が提案されている。また、特許文献３には、仮想内視鏡の視点位置と注目構造物との間に他の構造物が存在する場合に注目構造物が表示されなくなることを防止するために、各構造物に対して各部を半透明にする不透明度を定義したカラーテンプレートを用いる手法が提案されている。特許文献３の手法によれば、仮想内視鏡の視点位置と注目構造物との間に他の構造物が存在する場合であっても、仮想内視鏡画像において注目構造物を確認することができる。
【先行技術文献】
【特許文献】
【０００７】
【特許文献１】特開２００２−２６３０５３号公報
【特許文献２】特開２０１１−２１２２４５号公報
【特許文献３】特開２０１１−２１２２４４号公報
【発明の概要】
【発明が解決しようとする課題】
【０００８】
しかしながら、特許文献３に記載された手法は、全ての構造物に対して半透明となる不透明度を定義したカラーテンプレートを適用するものであるため、仮想内視鏡画像に含まれる全ての構造物が半透明となってしまう。このため、注目構造物も半透明となってしまうことから、注目構造物の確認がし難くなるおそれがある。
【０００９】
本発明は上記事情に鑑みなされたものであり、仮想内視鏡の視点位置と構造物との距離に応じて、構造物を適切に視認できるようにすることを目的とする。
【課題を解決するための手段】
【００１０】
本発明による仮想内視鏡画像生成装置は、複数の構造物を含む被検体の３次元画像を取得する画像取得手段と、
３次元画像から少なくとも１つの構造物を抽出する構造物抽出手段と、
被検体の体腔内における仮想的な視点位置および視線方向を決定する視点決定手段と、
複数の構造物のそれぞれに対して定義した、視点位置からの距離に応じて不透明度が変化する表示属性を記憶する記憶手段と、
視点位置と抽出した構造物との距離に応じて、表示属性の不透明度を変更し、不透明度が変更された表示属性の構造物を含む、視点位置および視線方向の仮想内視鏡画像を３次元画像から生成する画像生成手段とを備えたことを特徴とするものである。
【００１１】
「構造物」の具体例としては、内視鏡下での手術対象部位や、手術において注意を要する解剖学的構造物、すなわち、血管や、臓器、腫瘍等が挙げられる。これらの構造物の位置の具体的な特定方法は、公知の画像認識技術を用いた自動的方法、ユーザの手動操作による方法、あるいは両者を組み合わせた方法のいずれであってもよい。
【００１２】
「表示属性」としては、不透明度の他、実内視鏡画像に表された体腔内各部とほぼ同じ外観の仮想内視鏡画像が得られるように定義されたカラーテンプレートを含むものであってもよい。また、構造物に対する陰の有無、および環境光あるいは拡散光といった光源の種類を、表示属性に含めてもよい。
【００１３】
なお、本発明による仮想内視鏡画像生成装置においては、不透明度を、距離が第１のしきい値以上および第２のしきい値以下で０となり、第１および第２のしきい値の間の第３のしきい値で１となるように変化するものとしてもよい。
【００１４】
また、本発明による仮想内視鏡画像生成装置においては、画像生成手段を、視点位置と抽出した構造物との最短距離を算出する手段としてもよい。
【００１５】
また、本発明による仮想内視鏡画像生成装置においては、画像生成手段を、視点位置と抽出した構造物の重心との距離を算出する手段としてもよい。
【００１６】
また、本発明による仮想内視鏡画像生成装置においては、仮想内視鏡画像を表示手段に表示する表示制御手段をさらに備えるものとしてもよい。
【００１７】
本発明による仮想内視鏡画像生成方法は、複数の構造物を含む被検体の３次元画像を取得し、
３次元画像から少なくとも１つの構造物を抽出し、
被検体の体腔内における仮想的な視点位置および視線方向を決定し、
視点位置と抽出した構造物との距離に応じて、複数の構造物のそれぞれに対して定義した、視点位置からの距離に応じて不透明度が変化する表示属性の不透明度を変更し、不透明度が変更された表示属性の構造物を含む、視点位置および視線方向の仮想内視鏡画像を３次元画像から生成することを特徴とするものである。
【００１８】
なお、本発明による仮想内視鏡画像生成方法をコンピュータに実行させるためのプログラムとして提供してもよい。
【発明の効果】
【００１９】
本発明の仮想内視鏡画像生成装置および方法によれば、複数の構造物を含む被検体の３次元画像が取得され、３次元画像から少なくとも１つの構造物が抽出され、被検体の体腔内における仮想的な視点位置および視点方向が決定される。そして、視点位置と抽出した構造物との距離に応じて、複数の構造物のそれぞれに対して定義した、視点位置からの距離に応じて不透明度が変化する表示属性の不透明度が変更される。さらに、不透明度が変更された表示属性の構造物を含む仮想内視鏡画像が３次元画像から生成される。このため、視点位置から遠すぎる構造物あるいは近すぎる構造物については不透明度を０、観察に適切な距離にある構造物については不透明度を１とする等、視点位置からの距離に応じて、構造物の不透明度を変更することができる。したがって、仮想内視鏡の視点位置および視線方向に応じて、構造物を適切に視認することができる。
【図面の簡単な説明】
【００２０】
【図１】本発明の実施形態による仮想内視鏡画像生成装置を適用した内視鏡観察支援システムのハードウェア構成図
【図２】本発明の実施形態における内視鏡観察支援システムの機能ブロック図
【図３】本実施形態における内視鏡観察支援処理の流れを表したフローチャート
【図４】本実施形態において実内視鏡の視野と構造物の位置に基づいて決定された仮想内視鏡の視野の一例を模式的に表した図
【図５】仮想内視鏡の視点位置と構造物との距離の算出を説明するための図
【図６】カラーテンプレートに定義された距離に応じた不透明度を示す図
【図７】カラーテンプレートに定義された距離に応じた不透明度を示す図
【図８】視点位置に応じた構造物の見え方を説明するための図
【図９】視点位置に応じた構造物の見え方を説明するための図
【図１０】視点位置に応じた構造物の見え方を説明するための図
【図１１】視点位置に応じた構造物の見え方を説明するための図
【図１２】本実施形態における実内視鏡画像と仮想内視鏡画像とを並べた表示の一例を模式的に示す図
【図１３】３次元医用画像において内視鏡の移動経路を設定した状態を示す図
【発明を実施するための形態】
【００２１】
以下、図面を参照して本発明の実施形態について説明する。図１は、本発明の実施形態による仮想内視鏡画像生成装置を適用した内視鏡観察支援システムの概要を示すハードウェア構成図である。図１に示すように、このシステムは、内視鏡１、デジタルプロセッサ２、光源装置３、実内視鏡画像用ディスプレイ４、モダリティ５、処置具６、内視鏡用マーカー７、位置センサ８、画像処理ワークステーション９、画像処理ワークステーション用ディスプレイ（以下、ＷＳディスプレイ）１０から構成されている。
【００２２】
本実施形態では、内視鏡１は腹腔用の硬性鏡であり、被検体の腹腔内に挿入される。光源装置３から光ファイバーで導かれた光が内視鏡１の先端部から照射され、内視鏡１の撮像光学系により被検体の腹腔内の画像が得られる。デジタルプロセッサ２は、内視鏡１で得られた撮像信号をデジタル画像信号に変換し、ホワイトバランス調整やシェーディング補正等のデジタル信号処理によって画質の補正を行った後、ＤＩＣＯＭ（Digital Imaging and Communications in Medicine）規格で規定された付帯情報を付加して、実内視鏡画像データＧ０を出力する。出力された実内視鏡画像データＧ０は、ＤＩＣＯＭ規格に準拠した通信プロトコルに従って、ＬＡＮ経由で画像処理ワークステーション９に送信される。また、デジタルプロセッサ２は、実内視鏡画像データＧ０をアナログ信号に変換して実内視鏡画像用ディスプレイ４に出力し、実内視鏡画像用ディスプレイ４には実内視鏡画像Ｇ０が表示される。内視鏡１での撮像信号の取得は所定のフレームレートで行われるため、実内視鏡用ディスプレイ４では、実内視鏡画像Ｇ０が腹腔内を表す動画として表示される。さらに、内視鏡１では、ユーザの操作に応じて静止画撮影も可能である。
【００２３】
モダリティ５は、被検体の検査対象部位を撮影することにより、その部位を表す３次元医用画像の画像データＭを生成する装置であり、ここではＣＴ装置とする。この３次元医用画像データＭにもＤＩＣＯＭ規格で規定された付帯情報が付加されている。また、３次元医用画像データＭも、ＤＩＣＯＭ規格に準拠した通信プロトコルに従って、ＬＡＮ経由で画像処理ワークステーション９に送信される。
【００２４】
内視鏡用マーカー７および位置センサ８は公知の３次元位置計測装置を構成する。内視鏡用マーカー７は、内視鏡１の手元付近に設けられており、光学式の位置センサ８によって、所定の時間間隔でマーカー７の３次元位置が検出される。内視鏡用マーカー７は複数のマーカー片から構成されているため、位置センサ８は、各マーカー片の位置関係から内視鏡１の姿勢も検出可能である。ここで、内視鏡１の姿勢は、内視鏡が挿入された向きを表すものであり、内視鏡の視野の中心における視線の向きと一致するため、以下では、内視鏡１の姿勢のことを内視鏡１の向きまたは中心視線ベクトルともいう。また、オフセット計算によって、内視鏡１の先端部の３次元位置(内視鏡検出位置)Ｐ０を算出することができる。位置センサ８は、算出された内視鏡１の視点位置Ｐ０を表す３次元位置データおよび姿勢Ｄ０を表す３次元姿勢データを、ＵＳＢインターフェースを介して画像処理ワークステーション９に送信する。
【００２５】
画像処理ワークステーション９は、ＣＰＵ、主記憶装置、補助記憶装置、入出力インターフェース、通信インターフェース、データバス等の周知のハードウェア構成を備えたコンピュータであり、入力装置（ポインティングデバイス、キーボード等）や、ＷＳディスプレイ１０が接続されている。また、画像処理ワークステーション９は、デジタルプロセッサ２やモダリティ５とはＬＡＮ接続されており、位置センサ８とはＵＳＢ接続されている。さらに、画像処理ワークステーション９は、周知のオペレーティングシステムや各種アプリケーション・ソフトウェア等がインストールされたものであり、本実施形態の内視鏡観察支援処理を実行させるためのアプリケーションもインストールされている。これらのソフトウェアは、ＣＤ−ＲＯＭ等の記録媒体からインストールされたものであってもよいし、インターネット等のネットワーク経由で接続されたサーバの記憶装置からダウンロードされた後にインストールされたものであってもよい。
【００２６】
図２は、本発明の実施形態における内視鏡観察支援システムを機能レベルで分割したブロック図である。図２に示すように、本実施形態による内視鏡観察得支援システムは、内視鏡１、実内視鏡画像形成部２、実内視鏡画像用ディスプレイ４、３次元医用画像形成部５、ＷＳディスプレイ１０、内視鏡位置姿勢検出部１１、実内視鏡画像取得部２２、３次元医用画像取得部２３、構造物抽出部２４、内視鏡画角取得部２５、視点決定部２６、画像生成部２７、表示制御部２８および記憶部２９から構成されている。
【００２７】
なお、図１に示すハードウェア機器と図２に示す各機能ブロックとが概ね１対１に対応する場合には同じ符号を付している。すなわち、実内視鏡画像形成部２の機能は図１のデジタルプロセッサによって実現され、３次元医用画像形成部５の機能は図１のモダリティによって実現される。一方、内視鏡位置姿勢検出部１１の機能は、内視鏡用マーカー７および位置センサ８によって実現される。また、破線枠は画像処理ワークステーション９を示しており、破線枠内の各処理部の機能は、画像処理ワークステーション９で所定のプログラムを実行することによって実現される。さらに、実内視鏡画像Ｇ０、内視鏡検出位置Ｐ０、内視鏡姿勢Ｄ０、内視鏡画角Ａ０、仮想内視鏡の視点位置Ｐ１、仮想内視鏡の中心視線ベクトルＶ１、仮想内視鏡画角Ａ１、３次元医用画像Ｍ、仮想内視鏡画像Ｇ１は、各々、破線枠内の各処理部によって、画像処理ワークステーション９の所定のメモリ領域に対して読み書きされるデータである。
【００２８】
次に、図３に示すフローチャートを用いて、本実施形態の内視鏡観察支援システムで行われるユーザの操作や、上記各処理部で行われる処理の概略的な流れを説明する。
【００２９】
まず、内視鏡１を用いた被検体の腹腔内の観察に先立って、３次元医用画像形成部５による被検体の腹腔内の撮像により、３次元医用画像Ｍが形成される。画像処理ワークステーション９では、３次元医用画像取得部２３が、３次元医用画像形成部５によって形成された３次元医用画像Ｍを取得した後（ステップＳＴ１）、構造物抽出部２４が、３次元医用画像Ｍに表された体腔内の構造物（例えば手術対象部位）の指定操作を受け付けるユーザインターフェースを提示し、ユーザによる構造物の指定を受け付け、３次元医用画像Ｍから指定された構造物を抽出する（ステップＳＴ２）。なお、指定および抽出される構造物は、１つであっても複数であってもよい。
【００３０】
そして、図３のフローチャートの右側に付記したように、内視鏡下手術中、すなわち内視鏡１を用いた被検体の腹腔内の観察中は、観察が終了するまで（すなわちステップＳＴ８が肯定されるまで）、実内視鏡画像形成部２は、所定のフレームレートで、体腔内に挿入された内視鏡１による実内視鏡画像Ｇ０を繰り返し形成し、形成された実内視鏡画像Ｇ０を実内視鏡画像用ディスプレイ４にスルー動画としてリアルタイムに表示する。また、内視鏡位置姿勢検出部１１は、所定の時間間隔で、体腔内に挿入された内視鏡１の位置Ｐ０および姿勢Ｄ０を繰り返しリアルタイムに検出する。
【００３１】
画像処理ワークステーション９では、実内視鏡画像取得部２２が、実内視鏡画像形成部２で形成された実内視鏡画像Ｇ０を取得し（ステップＳＴ３）、内視鏡画角取得部２５が、画像処理ワークステーション９の所定のメモリ領域から内視鏡１の画角Ａ０を取得する（ステップＳＴ４）。これとほぼ同じタイミングで、視点決定部２６が、内視鏡位置姿勢検出部１１で検出された内視鏡検出位置Ｐ０および姿勢Ｄ０を取得し、取得された内視鏡位置Ｐ０および姿勢Ｄ０を３次元医用画像Ｍの座標系における位置および姿勢に変換して、仮想内視鏡の視点位置Ｐ１および視線方向（中心視線ベクトル）Ｖ１を取得する。さらに、視点決定部２６は、視点位置Ｐ１に配置された仮想内視鏡についての仮想視野を、視点位置Ｐ０、姿勢Ｄ０および画角Ａ０に基づいて、内視鏡１の視野に対応する３次元医用画像中での視野である内視鏡対応視野と連続性を有するように決定し、仮想内視鏡の視点位置Ｐ１、視線方向Ｖ１および仮想内視鏡の画角Ａ１を出力する（ステップＳＴ５）。
【００３２】
画像生成部２７は、３次元医用画像取得部２３によって取得された３次元医用画像Ｍを入力として、視点決定部２６により決定された、仮想内視鏡の視点位置Ｐ１、中心視線ベクトルＶ１、画角Ａ１に基づいて、内視鏡位置Ｐ０(Ｐ１)を視点とし、仮想視野を有する仮想内視鏡画像Ｇ１を生成する（ステップＳＴ６）。
【００３３】
そして、表示制御部２８は、実内視鏡画像取得部２２によって取得された実内視鏡画像Ｇ０と、画像生成部２７によって生成された仮想内視鏡画像Ｇ１とをＷＳディスプレイ１０に表示させる（ステップＳＴ７）。
【００３４】
画像処理ワークステーション９では、観察終了を指示する操作が行われない限り（ステップＳＴ８否定）、ステップＳＴ３〜ステップＳＴ７の処理が繰り返し行われる。これにより、ＷＳディスプレイ１０では、実内視鏡画像Ｇ０と仮想内視鏡画像Ｇ１とが時間的に同期した連続表示が実現される。一方、観察終了を指示する操作が行われた場合には（ステップＳＴ８肯定）、画像処理ワークステーション９は処理を終了する。
【００３５】
次に、画像処理ワークステーション９内の各処理部で行われる処理の詳細について説明する。
【００３６】
実内視鏡画像取得部２２は、実内視鏡画像形成部（デジタルプロセッサ）２との通信により、実内視鏡画像Ｇ０を受信し、画像処理ワークステーション９の所定のメモリ領域の格納する通信インターフェースであり、実内視鏡画像取得部２２からの要求に基づいて実内視鏡画像形成部２から実内視鏡画像Ｇ０が転送される。
【００３７】
３次元医用画像取得部２３は、３次元医用画像形成部５から３次元医用画像Ｍを受信し、画像処理ワークステーション９の所定のメモリ領域に格納する通信インターフェース機能を有する。
【００３８】
構造物抽出部２４は、公知のＭＰＲ法により３次元医用画像Ｍから生成された所定の断面を表す断面画像中に、画像処理ワークステーション９のポインティングデバイスやキーボードを用いて注目構造物の指定する操作を受け付けるユーザインターフェースを提示する。例えば、ポインティングデバイスによって、断面画像中の構造物がクリックされると、構造物抽出部２４は、クリックにより指定された構造物を３次元医用画像Ｍから抽出し、画像処理ワークステーション９の所定のメモリ領域に格納する。
【００３９】
なお、構造物として、手術対象の部位や手術時における要注意箇所等が、ユーザの所望に応じて指定される。例えば、３次元医用画像Ｍが被検体の腹部を撮影することにより取得したものである場合、体表、肝臓、肝臓内の門脈および腎臓等がユーザにより指定され、３次元医用画像Ｍから抽出される。
【００４０】
ここで、体表、肝臓および腎臓の抽出には、３次元医用画像Ｍにおける体表、肝臓および腎臓が存在するＣＴ値の範囲を推定し、その値を用いてしきい値処理を行い、これにより抽出された領域に、モフォロジーフィルタを適用する手法等、任意の手法を用いることができる。また、とくに肝臓を抽出する手法として、「“非剛体レジストレーションを適用した多時相腹部造影ＣＴ画像からの肝臓領域自動抽出法“、コンピュータ支援画像診断学会論文誌、Vol.7, No.4-1, Jun. 2003.」に記載されたように、時系列で撮影された複数の肝臓フェーズ画像を用いて、肝臓領域の造影パターンを検出し、それを用いて肝臓領域を抽出する手法、「“A Liver Level Set (LLS) Algorithm for Extracting Liver’s Volume Containing Disconnected Regions Automatically”, IJCSNS International Journal of Computer Science and Network Security, VOL.8 No.12, December 2008」および「”Level set methodを用いた肝臓領域抽出方法の開発と評価”、コンピュータ支援診断学会論文誌、Vol.7, No.4-2, Jun. 2003」に記載されたレベルセット法等を用いることができる。
【００４１】
門脈を抽出する手法としては、例えば特開２０１０−２２０７４２号公報に記載された、線状構造からなる対象組織を表す複数の候補点の位置情報と主軸方向を算出し、算出された位置情報および主軸方向に基づいた変数とするコスト関数を用いて、複数の候補点が接続されるように再構築する手法、あるいは特開２０１１−２１２３１４号公報に記載された、自動で血管を区別して抽出する手法を用いることができる。
【００４２】
なお、ユーザがマニュアル操作により、構造物を抽出するようにしてもよい。
【００４３】
内視鏡画角取得部２５は、プログラムの起動パラメータや設定ファイル等に内視鏡１の仕様に基づいて予め設定されている内視鏡１の画角Ａ０の情報を取得する。なお、内視鏡１の画角Ａ０の情報が実内視鏡画像Ｇ０の付帯情報として付帯されている場合には、内視鏡画角取得部２５は、この付帯情報を解析して内視鏡１の画角Ａ０の情報を取得してもよい。
【００４４】
視点決定部２６は、内視鏡位置姿勢検出部１１との通信により内視鏡検出位置Ｐ０および姿勢Ｄ０を取得する通信インターフェースとしての機能と、取得した内視鏡検出位置Ｐ０および姿勢Ｄ０を位置センサ８の３次元座標系から３次元医用画像Ｍの３次元座標系の座標値で表現された仮想内視鏡の視点位置Ｐ１および視線方向（中心視線ベクトル）Ｖ１に変換して画像処理ワークステーション９の所定のメモリ領域に格納する機能とを有する。前者の通信インターフェース機能では、視点決定部２６からの要求ベースで内視鏡位置姿勢検出部１１から内視鏡検出位置Ｐ０および姿勢Ｄ０が取得される。
【００４５】
また、後者の座標変換機能では、位置センサの３次元座標系における各座標軸と３次元医用画像Ｍの３次元座標系における各座標軸との向きの対応関係に基づいて、座標軸の回転量を予め求めておくとともに、３次元医用画像Ｍの原点に相当する被検体中の位置の、位置センサ８の３次元座標系における座標値を予め計測しておき、この原点の座標値に基づいて、両座標軸の平行移動量を求めておけば、その回転量の回転とその平行移動量の平行移動を行う行列を用いて、位置センサ８の３次元座標系で表現された内視鏡検出位置Ｐ０および姿勢Ｄ０を、３次元医用画像Ｍの３次元座標系の座標値で表現された仮想内視鏡の視点位置Ｐ１および視線方向（中心視線ベクトル）Ｖ１に変換することができる。
【００４６】
これにより、図４に模式的に示すように、仮想内視鏡と内視鏡１との視点位置および中心視線ベクトルの向きが一致される。すなわち、内視鏡位置姿勢検出部１１によって得られた内視鏡検出位置Ｐ０が仮想内視鏡の視点位置Ｐ１に決定されるとともに、内視鏡位置姿勢検出部１１によって得られた内視鏡１の姿勢Ｄ０に基づく内視鏡１の芯線方向が、仮想内視鏡の視線方向（中心視線ベクトル）Ｖ１に決定される。
【００４７】
また、視点決定部２６は、仮想内視鏡の画角Ａ１を、内視鏡１の画角Ａ０よりも広くなるように決定する。具体的には、画角Ａ０をθとすると、仮想内視鏡の画角Ａ１は、内視鏡１の画角Ａ０と２θの大きい方の値に定数を加えたり、所定の１より大きい係数を乗じたりすることによって求めることができる。以上のようにして決定された仮想内視鏡の視点位置Ｐ１、中心視線ベクトルＶ１、画角Ａ１は、所定のメモリ領域に書き込まれる。
【００４８】
画像生成部２７は、３次元医用画像Ｍを入力として、図４に示すように、仮想内視鏡の中心視線ベクトルＶ１の向きを視野の中心を通る視線ベクトルの向きとして、画角Ａ１の範囲内で、仮想内視鏡の視点位置Ｐ１からの放射状の複数の視線を設定し、公知の中心投影によるボリュームレンダリング法により、各視線上の画素値を投影した仮想内視鏡画像Ｇ１を生成する。ここで、ボリュームレンダリングの際には、実内視鏡画像Ｇ０に表された腹腔内各部とほぼ同じ外観の画像が得られるように色および透明度が予め定義されたカラーテンプレートが用いられる。また、構造物に対する陰の有無、および環境光あるいは拡散光といった光源の種類を、カラーテンプレートとともに表示属性として定義しておいてもよい。なお、カラーテンプレートあるいは表示属性は記憶部２９に記憶されている。
【００４９】
ここで、本実施形態においては、不透明度は、視点位置Ｐ１から構造物までの距離に応じて変化するように定義されている。なお、構造物までの距離は、視点位置Ｐ１と視線方向Ｖ１に存在する構造物の表面との最短距離とする。具体的には、図５に示すように、視点位置Ｐ１から視線方向Ｖ１に伸ばした直線と構造物の表面との交点Ｐｋを設定した場合における、３次元医用画像Ｍ上での視点位置Ｐ１から交点Ｐｋまでの距離が、視点位置Ｐ１から構造物までの距離となる。
【００５０】
図６は距離と不透明度との関係を示す図である。図６において横軸が視点位置Ｐ１と構造物との距離であり、距離が離れる方向を＋、距離が近づく方向を−にて示している。図６に示すように、視点位置Ｐ１と構造物との距離がしきい値Ｔｈ１以上の場合には不透明度αが０となり、視点位置Ｐ１が構造物に近づくに連れて不透明度αが大きくなり、視点位置Ｐ１と構造物との距離がしきい値Ｔｈ２となると不透明度αが１となる。さらに、視点位置Ｐ１が構造物に近づくと、不透明度αが徐々に小さくなり、視点位置Ｐ１が構造物まで到達して、視点位置Ｐ１と構造物との距離が０となると不透明度αが０となる。なお、視点位置Ｐ１が構造物からさらに先に進むと、その構造物については不透明度αは０のままとなる。なお、距離に応じた不透明度αの変化は図６に示すように高次曲線的であってもよく、線形に変化するものであってもよい。また、構造物の種類に応じて不透明度αの変化の仕方を変更してもよい。例えば構造物が体表である場合は、図７に示すように、視点位置Ｐ１と構造物との距離がしきい値Ｔｈ２以上の場合に不透明度αを１としてもよい。
【００５１】
このように距離と不透明度αの関係を規定することにより、視点位置Ｐ１に応じて仮想内視鏡画像に含まれる構造物の不透明度αが異なるものとなるため、仮想内視鏡画像Ｇ１を表示した際の構造物の見え方が視点位置Ｐ１からの距離に応じて異なるものとなる。図８〜図１１は視点位置Ｐ１に応じた構造物の見え方を説明するための図である。なお、図８〜図１１には、体表Ｋ０内に体表側から順に３つの構造物Ｋ１〜Ｋ３が示されており、各図において仮想内視鏡画像の視点位置Ｐ１と構造物との距離は、図６に示すしきい値Ｔｈ２であるものとする。また、図８〜図１１においては、構造物が不透明であることを実線で、透明であることを破線で示している。
【００５２】
まず、図８に示すように、仮想内視鏡画像の視点位置Ｐ１が体表Ｋ０よりも外側にある場合、仮想内視鏡画像には体表Ｋ０のみが含まれる。この状態においては、構造物Ｋ１〜Ｋ３は透明であるため、仮想内視鏡画像においては視認できない。この状態から視点位置Ｐ１を移動して、視点位置Ｐ１と体表Ｋ０との距離がしきい値Ｔｈ２未満となり、視点位置Ｐ１が体表Ｋ０に近づくと、体表Ｋ０が徐々に透明となり、視点位置Ｐ１が体表Ｋ０に到達すると、体表Ｋ０の不透明度は０となるため体表Ｋ０は透明となり、仮想内視鏡画像において視認できなくなる。
【００５３】
次に図９に示すように、視点位置Ｐ１が体表Ｋ０を通過して構造物Ｋ１に近づくと、それまで透明で見えなかった構造物Ｋ１の不透明度αが徐々に大きくなり、視点位置Ｐ１と構造物Ｋ１との距離がしきい値Ｔｈ２となると、構造物Ｋ１が仮想内視鏡画像において、完全に視認できるようになる。この状態においては、体表Ｋ０および構造物Ｋ２，Ｋ３は透明であるため、仮想内視鏡画像においては視認できない。この状態から視点位置Ｐ１を移動して、視点位置Ｐ１と構造物Ｋ１との距離がしきい値Ｔｈ２未満となり、視点位置Ｐ１が構造物Ｋ１にさらに近づくと、構造物Ｋ１が徐々に透明となり、視点位置Ｐ１が構造物Ｋ１に到達すると、構造物Ｋ１の不透明度は０となるため構造物Ｋ１は透明となり、仮想内視鏡画像において視認できなくなる。
【００５４】
次に図１０に示すように、視点位置Ｐ１が構造物Ｋ１を通過して構造物Ｋ２に近づくと、それまで透明で見えなかった構造物Ｋ２の不透明度αが徐々に大きくなり、視点位置Ｐ１と構造物Ｋ２との距離がしきい値Ｔｈ２となると、構造物Ｋ２が仮想内視鏡画像において、完全に視認できるようになる。この状態においては、体表Ｋ０および構造物Ｋ１，Ｋ３は透明であるため、仮想内視鏡画像においては視認できない。この状態から視点位置Ｐ１を移動して、視点位置Ｐ１と構造物Ｋ２との距離がしきい値Ｔｈ２未満となり、視点位置Ｐ１が構造物Ｋ２にさらに近づくと、構造物Ｋ２が徐々に透明となり、視点位置Ｐ１が構造物Ｋ２に到達すると、構造物Ｋ２の不透明度は０となるため構造物Ｋ２は透明となり、仮想内視鏡画像において視認できなくなる。
【００５５】
さらに図１１に示すように、視点位置Ｐ１が構造物Ｋ２を通過して構造物Ｋ３に近づくと、それまで透明で見えなかった構造物Ｋ３の不透明度αが徐々に大きくなり、視点位置Ｐ１と構造物Ｋ３との距離がしきい値Ｔｈ２となると、構造物Ｋ３が仮想内視鏡画像において、完全に視認できるようになる。この状態においては、体表Ｋ０および構造物Ｋ１，Ｋ２は透明であるため、仮想内視鏡画像においては視認できない。この状態から視点位置Ｐ１を移動して、視点位置Ｐ１と構造物Ｋ３との距離がしきい値Ｔｈ２未満となり、視点位置Ｐ１が構造物Ｋ３にさらに近づくと、構造物Ｋ３が徐々に透明となり、視点位置Ｐ１が構造物Ｋ３に到達すると、構造物Ｋ３の不透明度は０となるため構造物Ｋ３は透明となり、仮想内視鏡画像において視認できなくなる。
【００５６】
表示制御部２８は、実内視鏡画像Ｇ０と仮想内視鏡画像Ｇ１とを並べた表示画面を生成し、ＷＳディスプレイ１０に出力する。これにより、ＷＳディスプレイ１０には、図１２に示すように、実内視鏡画像Ｇ０と仮想内視鏡画像Ｇ１とを並べた表示画面が表示される。なお、特許文献３に記載されたように、公知のアルファブレンディング法等を用いて両画像を重ね合わせて表示してもよい。
【００５７】
このように、本実施形態においては、複数の構造物を含む被検体の３次元医用画像Ｍから構造物を抽出し、被検体の体腔内における仮想的な視点位置Ｐ１および視点方向Ｖ１を決定し、視点位置Ｐ１と抽出した構造物との距離に応じて不透明度を変更し、変更された不透明度により構造物を描画した仮想内視鏡画像Ｇ１を３次元医用画像Ｍから生成するようにしたものである。このため、視点位置から遠すぎる構造物あるいは近すぎる構造物については不透明度を０、観察に適切な距離にある構造物については不透明度を１とする等、視点位置からの距離に応じて、構造物の不透明度を変更することができる。したがって、仮想内視鏡の視点位置Ｐ１に応じて、構造物を適切に視認することができる。
【００５８】
なお、上記実施形態においては、不透明度を図６，７に示すように変化させているが、これに限定されるものではない。例えば、構造物の位置に近づくまで徐々に不透明度αが大きくなり、構造物の位置において不透明度αが１となり、構造物の位置の通過後は０となるあるいは徐々に０に近づくように、不透明度を変更してもよい。
【００５９】
また、上記実施形態においては、実内視鏡画像と仮想内視鏡画像との視点位置および視線方向を一致させているが、例えば、３次元医用画像Ｍから生成されたＭＰＲ画像あるいはボリュームレンダリング画像を表示し、表示された画像上において、ユーザによる視点位置および視線方向の指定を受け付けるようにしてもよい。この場合、指定される視点位置および視線方向は、３次元医用画像Ｍの座標系であるため、指定された視点位置および視線方向を、仮想内視鏡画像を生成するための視点位置Ｐ１および視線方向Ｖ１として用いることができる。
【００６０】
この場合、図１３に示すように３次元医用画像Ｍをおよび３次元医用画像Ｍに設定された内視鏡の移動経路Ｒ０を表示し、移動経路Ｒ０上に指定された視点位置Ｐ１および視線方向Ｖ１における仮想内視鏡画像Ｇ１を３次元医用画像Ｍと並べて表示するようにしてもよい。
【００６１】
また、上記実施形態においては、視点位置Ｐ１と構造物との距離として、視点位置Ｐ１と構造物の表面との最短距離を用いているが、視点位置Ｐ１と構造物の重心位置との距離を、視点位置Ｐ１と構造物との距離として用いてもよい。
【００６２】
なお、上記の各実施形態はあくまでも例示であり、上記の全ての説明が本発明の技術的範囲を限定的に解釈するために利用されるべきものではない。
【００６３】
この他、上記実施形態におけるシステム構成、ハードウェア構成、処理フロー、モジュール構成、ユーザインターフェースや具体的処理内容等に対して、本発明の趣旨から逸脱しない範囲で様々な改変を行ったものも、本発明の技術的範囲に含まれる。
【００６４】
例えば、システム構成については、上記実施形態においては、図１のハードウェア構成では、モダリティ５と画像処理ワークステーション９とが直接接続されているが、画像保管サーバをＬＡＮ上に接続し、モダリティ５で形成された３次元医用画像Ｍは、いったん画像保管サーバのデータベースに格納されるようにし、画像処理ワークステーション９からの要求に応じて、画像保管サーバから画像処理ワークステーション９に３次元医用画像Ｍが転送されるようにしてもよい。
【００６５】
また、内視鏡１は、硬性鏡ではなく、軟性鏡やカプセル型内視鏡を用いてもよい。
【００６６】
モダリティ５は、上記のＣＴ装置や超音波診断装置の他、ＭＲＩ装置等を用いてもよい。
【００６７】
さらに、観察部位は腹腔内ではなく、胸腔内等、内視鏡下での観察に適した被検体の他の部位であってもよい。
【符号の説明】
【００６８】
１    内視鏡
２    デジタルプロセッサ
３    光源装置
４    実内視鏡画像用ディスプレイ
５    モダリティ
６    処置具
７    内視鏡用マーカー
８    位置センサ
９    画像処理ワークステーション
１０    画像処理ワークステーション用ディスプレイ
１１    内視鏡位置姿勢検出部
２２    実内視鏡画像取得部
２３    ３次元医用画像取得部
２４    構造物抽出部
２５    内視鏡画角取得部
２６    視点決定部
２７    画像生成部
２８    表示制御部
２９    記憶部
【図１】
2014064721.tif 000003
【図２】
2014064721.tif 000004
【図３】
2014064721.tif 000005
【図４】
2014064721.tif 000006
【図５】
2014064721.tif 000007
【図６】
2014064721.tif 000008
【図７】
2014064721.tif 000009
【図８】
2014064721.tif 000010
【図９】
2014064721.tif 000011
【図１０】
2014064721.tif 000012
【図１１】
2014064721.tif 000013
【図１２】
2014064721.tif 000014
【図１３】
2014064721.tif 000015