(57)【特許請求の範囲】
【請求項１】
被検体の３次元画像データを取得する３次元画像データ取得手段と、
該３次元画像データ取得手段によって取得された３次元画像データから前記被検体内の管状組織の形状を表す管状組織形状データを抽出して取得する管状組織形状データ取得手段と、
前記被検体内に挿入された内視鏡の経路を表す内視鏡経路データを取得する内視鏡経路データ取得手段と、
前記管状組織形状データと前記内視鏡経路データとの位置合わせ処理を行うマッチング手段とを備えたことを特徴とする内視鏡画像診断支援装置。
【請求項２】
前記３次元画像データと前記内視鏡経路データと前記マッチング手段における位置合わせ処理結果とに基づいて、前記被検体内における内視鏡の経路を前記管状組織の３次元立体画像内に表示する表示制御手段を備えたことを特徴とする請求項１記載の内視鏡画像診断支援装置。
【請求項３】
前記３次元画像データと前記内視鏡経路データと前記マッチング手段における位置合わせ処理結果とに基づいて、前記被検体内における内視鏡の経路を前記管状組織の断面画像内に表示する表示制御手段を備えたことを特徴とする請求項１記載の内視鏡画像診断支援装置。
【請求項４】
前記マッチング手段が、前記被検体内における内視鏡の経路が変化した場合に、前記位置合わせ処理をリアルタイムに行うものであることを特徴とする請求項１から３いずれか１項記載の内視鏡画像診断支援装置。
【請求項５】
前記マッチング手段が、前記被検体内における内視鏡の経路が変化した場合に、該形状の変化量を取得し、該変化量を用いて前記位置合わせ処理を行うものであることを特徴とする請求項４記載の内視鏡画像診断支援装置。
【請求項６】
前記管状組織形状データ取得部が、前記管状組織形状データとして木構造データを取得するものであり、
前記マッチング手段が、前記木構造データを用いて前記位置合わせ処理を行うものであることを特徴とする請求項１から５いずれか１項記載の内視鏡画像診断支援装置。
【請求項７】
前記内視鏡経路データ取得手段が、前記内視鏡経路データとして線分構造データを取得するものであり、
前記マッチング手段が、前記線分構造データと前記木構造データとの曲率極大点同士の位置合わせを行うものであることを特徴とする請求項６項記載の内視鏡画像診断支援装置。
【請求項８】
前記マッチング手段が、前記被検体における前記内視鏡の挿入口から前記被検体内に挿入された内視鏡の先端までの距離情報を取得し、該距離情報を用いて前記位置合わせ処理を行うものであることを特徴とする請求項１から７いずれか１項記載の内視鏡画像診断支援装置。
【請求項９】
前記表示制御手段が、前記管状組織をサーフェスモデルとして表示するものであることを特徴とする請求項２または３記載の内視鏡画像診断支援装置。
【請求項１０】
前記表示制御手段が、前記管状組織をボクセルモデルとして表示するものであることを特徴とする請求項２または３記載の内視鏡画像診断支援装置。
【請求項１１】
前記マッチング手段における位置合わせ処理結果に基づいて、前記３次元画像データの座標上での前記内視鏡の先端位置情報を取得する先端位置情報取得手段と、
該先端位置情報取得手段によって取得された先端位置情報と前記３次元画像データとに基づいて、前記内視鏡の先端位置において撮影を行ったものとして仮想的に生成された仮想内視鏡画像データを取得する仮想内視鏡画像データ取得手段と、
前記仮想内視鏡画像データに基づく仮想内視鏡画像と、前記内視鏡によって実際に撮影された実内視鏡画像とを表示する表示制御手段とを備えたものであることを特徴とする請求項１記載の内視鏡画像診断支援装置。
【請求項１２】
前記マッチング手段における位置合わせ処理結果に基づいて、前記３次元画像データの座標上での前記内視鏡の先端位置情報を取得する先端位置情報取得手段と、
該先端位置情報取得手段によって取得された先端位置情報と前記３次元画像データとに基づいて、前記内視鏡の先端位置において撮影を行ったものとして仮想的に生成された仮想内視鏡画像データを取得する仮想内視鏡画像データ取得手段とを備え、
前記表示制御手段が、前記仮想内視鏡画像データに基づく仮想内視鏡画像と、前記内視鏡によって実際に撮影された実内視鏡画像とを表示するものであることを特徴とする請求項２または３記載の内視鏡画像診断支援装置。
【請求項１３】
前記表示制御手段が、前記仮想内視鏡画像と前記実内視鏡画像とを並べて表示するものであることを特徴とする請求項１１または１２記載の内視鏡画像診断支援装置。
【請求項１４】
前記表示制御手段が、前記実内視鏡画像の表示画面内に前記仮想内視鏡画像を表示するものであることを特徴とする請求項１１または１２記載の内視鏡画像診断支援装置。
【請求項１５】
前記表示制御手段が、前記実内視鏡画像と前記仮想内視鏡画像をブレンディング表示するものであることを特徴とする請求項１１または１２記載の内視鏡画像診断支援装置。
【請求項１６】
前記内視鏡が、気管支鏡、大腸内視鏡、小腸内視鏡またはカプセル内視鏡であることを特徴とする請求項１から１５いずれか１項記載の内視鏡画像診断支援装置。
【請求項１７】
前記管状組織が、気管支、大腸または小腸であることを特徴とする請求項１から１６記載の内視鏡画像診断支援装置。
【請求項１８】
前記３次元画像データが、ＣＴ画像データであることを特徴とする請求項１から１７いずれか１項記載の内視鏡画像診断支援装置。
【請求項１９】
前記３次元画像データは、ＭＲ画像データであることを特徴とする請求項１から１７いずれか１項記載の内視鏡画像診断支援装置。
【請求項２０】
３次元画像データ取得手段と、管状組織形状データ取得手段と、内視鏡経路データ取得手段と、マッチング手段とを備えた内視鏡画像診断支援装置の作動方法であって、
前記３次元画像データ取得手段が、被検体の３次元画像データを取得し、
前記管状組織形状データ取得手段が、前記３次元画像データから前記被検体内の管状組織の形状を表す管状組織形状データを抽出して取得し、
前記内視鏡経路データ取得手段が、前記被検体内への内視鏡の挿入によって検出された前記内視鏡の経路を表す内視鏡経路データを取得し、
前記マッチング手段が、前記管状組織形状データと前記内視鏡経路データとの位置合わせ処理を行うことを特徴とする内視鏡画像診断支援装置の作動方法。
【請求項２１】
コンピュータを、
被検体の３次元画像データを取得する３次元画像データ取得手段と、
該３次元画像データ取得手段によって取得された３次元画像データから前記被検体内の管状組織の形状を表す管状組織形状データを抽出して取得する管状組織形状データ取得手段と、
前記被検体内に挿入された内視鏡の経路を表す内視鏡経路データを取得する内視鏡経路データ取得手段と、
前記管状組織形状データと前記内視鏡経路データとの位置合わせ処理を行うマッチング手段として機能させることを特徴とする内視鏡画像診断支援プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、予め取得された被検体の３次元画像上における実際の内視鏡の先端位置を特定することができる内視鏡画像診断支援装置および方法並びにプログラムに関するものである。
【背景技術】
【０００２】
近年、患者の大腸、小腸および気管支等の管状組織を内視鏡を用いて観察または処置を行う技術が注目されている。
【０００３】
しかし、内視鏡画像は、ＣＣＤ（Charge Coupled Device）等の撮像素子により管状組織内部の色や質感が鮮明に表現された画像が得られる一方で、管状組織の内部を２次元の画像に表すものであるため、管状組織内のどの位置を表している画像かを把握することが困難である。
【０００４】
そこで、ＣＴ（Computed Tomography）装置等のモダリティによる断層撮影で予め得られた３次元画像データを用いて管状組織内の目標とする地点までの経路を予め取得するとともに、上記３次元画像データを用いて実際に内視鏡によって撮影した画像と類似した仮想内視鏡画像を生成し、この仮想内視鏡画像を用いて目標とする地点までの経路をナビゲーションする技術が提案されている（特許文献１、特許文献２参照）。
【０００５】
そして、上記のような仮想内視鏡画像を表示する際には、実際に管状組織内に挿入された内視鏡の先端位置に対応する３次元画像データ上の位置を特定する必要がある。そこで、たとえば非特許文献１においては、管状組織内における実際の内視鏡の先端位置を特定するために、光学センサや磁気センサを用いることが提案されている。
【０００６】
また、非特許文献１のように光学センサや磁気センサで内視鏡の位置を特定するために、内視鏡にセンサで検知可能なマーカを設け、このマーカを検出することによってカメラ位置を特定する方法も多く提案されている。
【０００７】
また、特許文献１から特許文献５においては、体内に挿入された軟性内視鏡がどのような形状になっているかをセンシングする方法が提案されている。
【０００８】
そして、従来は、たとえば内視鏡の先端位置を磁気センサなどでトラッキングし、術前画像と術中画像との相対位置関係を考慮にいれながら、術中の内視鏡の先端位置と同じと考えられる術前画像の位置を特定し、その特定した位置の仮想内視鏡画像を表示するようにしていた。
【先行技術文献】
【特許文献】
【０００９】
【特許文献１】特開２００６−１９８０３１号公報
【特許文献２】特開２０００−１３５２１５号公報
【特許文献３】特開２００６−１４９９７２号公報
【特許文献４】特開２００７−００７１８０号公報
【特許文献５】特開２００３−２４５２４２号公報
【特許文献６】特開２００４−０００５５１号公報
【特許文献７】特開２００２−３６９７９０号公報
【非特許文献】
【００１０】
【非特許文献１】“斜視内視鏡ナビゲーションのための仮想および実内視鏡像の連動表示システム”、電子情報通信学会技術研究報告．MI，医用画像 103(213)，43-46，2003-07-11
【発明の概要】
【発明が解決しようとする課題】
【００１１】
しかしながら、大腸などの管状組織が術前と術中とで動かないことが前提であれば、上記の方法によって実際の内視鏡の先端位置に対応する位置の仮想内視鏡画像を表示することができるが、大腸のような軟組織は変形を伴うため、しばしば実際の内視鏡の先端位置と仮想内視鏡画像の位置とがずれるという問題が発生していた。
【００１２】
また、大腸などの管状組織の場合、被検体の前後左右方向に複雑に曲がった形状であり、また被検体の前後方向について２重、３重に折り重なった形状であるため、上記のようなセンシングの技術を用いても内視鏡の先端位置しか特定できないので、術前画像の折り重なった部分などにおいては、実際の内視鏡の先端位置を正確に特定することが非常に困難であった。
【００１３】
本発明は、上記事情に鑑み、予め取得された被検体の３次元画像上における内視鏡の先端位置をより正確に特定することができる内視鏡画像診断支援装置および方法並びにプログラムを提供することを目的とするものである。
【課題を解決するための手段】
【００１４】
本発明の内視鏡画像診断支援装置は、被検体の３次元画像データを取得する３次元画像データ取得手段と、３次元画像データ取得手段によって取得された３次元画像データから被検体内の管状組織の形状を表す管状組織形状データを抽出して取得する管状組織形状データ取得手段と、被検体内に挿入された内視鏡の経路を表す内視鏡経路データを取得する内視鏡経路データ取得手段と、管状組織形状データと内視鏡経路データとのマッチングを行うマッチング手段とを備えたことを特徴とする。
【００１５】
また、上記本発明の内視鏡画像診断支援装置においては、３次元画像データと内視鏡経路データとマッチング手段におけるマッチング結果とに基づいて、被検体内における内視鏡の経路を管状組織の３次元立体画像内に表示する表示制御手段を設けることができる。
【００１６】
また、３次元画像データと内視鏡経路データとマッチング手段におけるマッチング結果とに基づいて、被検体内における内視鏡の経路を管状組織の断面画像内に表示する表示制御手段を設けることができる。
【００１７】
また、マッチング手段を、被検体内における内視鏡の経路が変化した場合に、マッチングをリアルタイムに行うものとできる。
【００１８】
また、マッチング手段を、被検体内における内視鏡の経路が変化した場合に、その形状の変化量を取得し、その変化量を用いてマッチングを行うものとできる。
【００１９】
また、管状組織形状データ取得部を、管状組織形状データとして木構造データを取得するものとし、マッチング手段を、木構造データを用いてマッチングを行うものとできる。
【００２０】
また、内視鏡経路データ取得手段を、内視鏡経路データとして線分構造データを取得するものとし、マッチング手段を、線分構造データと木構造データとの曲率極大点同士のマッチングを行うものとできる。
【００２１】
また、マッチング手段を、被検体における内視鏡の挿入口から被検体内に挿入された内視鏡の先端までの距離情報を取得し、その距離情報を用いてマッチングを行うものとできる。
【００２２】
また、表示制御手段を、管状組織をサーフェスモデルとして表示するものとできる。
【００２３】
また、表示制御手段を、管状組織をボクセルモデルとして表示するものとできる。
【００２４】
また、マッチング手段におけるマッチング結果に基づいて、３次元画像データの座標上での内視鏡の先端位置情報を取得する先端位置情報取得手段と、先端位置情報取得手段によって取得された先端位置情報と３次元画像データとに基づいて、内視鏡の先端位置において撮影を行ったものとして仮想的に生成された仮想内視鏡画像データを取得する仮想内視鏡画像データ取得手段と、仮想内視鏡画像データに基づく仮想内視鏡画像と、内視鏡によって実際に撮影された実内視鏡画像とを表示する表示制御手段とを設けることができる。
【００２５】
また、表示制御手段を、仮想内視鏡画像と実内視鏡画像とを並べて表示するものとできる。
【００２６】
また、表示制御手段を、実内視鏡画像の表示画面内に仮想内視鏡画像を表示するものとできる。
【００２７】
また、表示制御手段を、実内視鏡画像と仮想内視鏡画像をブレンディング表示するものとできる。
【００２８】
また、内視鏡として、気管支鏡、大腸内視鏡、小腸内視鏡またはカプセル内視鏡を用いることができる。
【００２９】
また、管状組織を気管支、大腸または小腸とすることができる。
【００３０】
また、３次元画像データとしてＣＴ画像データを用いることができる。
【００３１】
また、３次元画像データとしてＭＲ画像データを用いることができる。
【００３２】
本発明の内視鏡画像診断支援方法は、被検体の３次元画像データを取得し、３次元画像データから被検体内の管状組織の形状を表す管状組織形状データを抽出して取得し、被検体内に挿入された内視鏡の経路を表す内視鏡経路データを取得し、管状組織形状データと内視鏡経路データとのマッチングを行うことを特徴とする。
【００３３】
本発明の内視鏡画像診断支援プログラムは、コンピュータを、被検体の３次元画像データを取得する３次元画像データ取得手段と、３次元画像データ取得手段によって取得された３次元画像データから被検体内の管状組織の形状を表す管状組織形状データを抽出して取得する管状組織形状データ取得手段と、被検体内に挿入された内視鏡の経路を表す内視鏡経路データを取得する内視鏡経路データ取得手段と、管状組織形状データと内視鏡経路データとのマッチングを行うマッチング手段として機能させることを特徴とする。
【発明の効果】
【００３４】
本発明の内視鏡画像診断支援装置および方法並びにプログラムによれば、被検体の３次元画像データを取得し、その３次元画像データから被検体内の管状組織の形状を表す管状組織形状データを抽出して取得し、かつ被検体内に挿入された内視鏡の経路を表す内視鏡経路データを取得し、その取得した管状組織形状データと内視鏡経路データとのマッチングを行うようにしたので、従来は内視鏡の先端位置しか分からなかったものが、内視鏡が通過してきた管状組織内の経路も特定することができ、この経路を表す内視鏡経路データと管状組織形状データとのマッチングを行うことによって、術中における大腸などの軟組織の変形の影響を少なくして、実際の内視鏡の先端位置に対応する３次元画像上の位置をより正確に特定することができる。
【００３５】
また、上記本発明の内視鏡画像診断支援装置において、３次元画像データと内視鏡経路データとマッチング結果とに基づいて、被検体内における内視鏡の経路を管状組織の３次元立体画像内または断層画像内に表示するようにした場合には、視覚的に内視鏡の正確な先端位置を把握することができる。
【００３６】
また、被検体内における内視鏡の経路が変化した場合に、その形状の変化量を取得し、その変化量を用いてマッチングを行うようにした場合には、その変化量の範囲でのみマッチングを行うようにできるので、内視鏡経路データ全体についてマッチングを行う場合と比較するとマッチングを高速化することができる。
【００３７】
また、被検体における内視鏡の挿入口から被検体内に挿入された内視鏡の先端までの距離情報を取得し、その距離情報を用いてマッチングを行うようにした場合には、たとえばその距離情報から所定の範囲についてマッチングを行うようにすれば、明らかに誤ったマッチングを行うことを回避することができる。
【００３８】
また、マッチング結果に基づいて、３次元画像データの座標上での内視鏡の先端位置情報を取得し、その先端位置情報と３次元画像データとに基づいて、内視鏡の先端位置において撮影を行ったものとして仮想的に生成された仮想内視鏡画像データを取得し、その仮想内視鏡画像データに基づく仮想内視鏡画像と、内視鏡によって実際に撮影された実内視鏡画像とを表示するようにした場合には、実際の内視鏡の先端位置に対応する位置の仮想内視鏡画像を表示することができるので、より正確なナビゲーションを行うことができる。
【図面の簡単な説明】
【００３９】
【図１】本発明の第１の実施形態を用いた内視鏡画像診断支援システムの概略構成を示すブロック図
【図２】大腸形状データと内視鏡経路データとのマッチング方法の一例を説明するための図
【図３】大腸形状データと内視鏡経路データとのマッチング方法の一例を説明するための図
【図４】本発明の第１の実施形態を用いた内視鏡画像診断支援システムの作用を説明するためのフローチャート
【図５】大腸全体の３次元立体画像の正面図の一例を示す図
【図６】大腸全体の３次元立体画像の側面図の一例を示す図
【図７】大腸全体の３次元立体画像の正面図に木構造画像を重ねた画像を示す図
【図８】大腸全体の３次元立体画像の側面図に木構造画像を重ねた画像を示す図
【図９】内視鏡経路画像データによって表される内視鏡経路画像の正面図の一例を示す図
【図１０】内視鏡経路画像データによって表される内視鏡経路画像の側面図の一例を示す図
【図１１】大腸全体の３次元立体画像内に内視鏡経路画像を重ねた正面図の一例を示す図
【図１２】大腸全体の３次元立体画像内に内視鏡経路画像を重ねた側面図の一例を示す図
【図１３】本発明の第２の実施形態を用いた内視鏡画像診断支援システムの概略構成を示すブロック図
【図１４】実際に撮影された実内視鏡画像ＲＩと、仮想内視鏡画像ＶＩとを並べて表示する形態の一例を示す図
【図１５】実際に撮影された実内視鏡画像ＲＩの表示画面内に仮想内視鏡画像ＶＩを表示する形態の一例を示す図
【発明を実施するための形態】
【００４０】
以下、本発明の内視鏡画像診断支援装置、内視鏡画像診断支援プログラムおよび内視鏡画像診断支援方法の第１の実施形態を用いた内視鏡画像診断支援システムについて、図面を参照しながら詳細に説明する。図１は、第１の実施形態を用いた内視鏡画像診断支援システムの概略構成を示すブロック図である。
【００４１】
本内視鏡画像診断支援システム１は、図１に示すように、内視鏡画像診断支援装置１０と、内視鏡装置２０と、内視鏡経路検出装置３０と、モニタ４０と、入力部５０と、３次元画像データ保管サーバ６０とを備えている。
【００４２】
内視鏡画像診断支援装置１０は、コンピュータに内視鏡画像診断支援プログラムをインストールすることによって構成されたものである。 
そして、内視鏡画像診断支援装置１０は、中央処理装置（ＣＰＵ）および半導体メモリや上述した内視鏡画像診断支援プログラムがインストールされたハードディスクやＳＳＤ(Solid State Drive)等のストレージデバイスなどを備えており、これらのハードウェアによって、図１に示すような３次元画像データ取得部１１（３次元画像データ取得手段）、管状組織形状データ取得部１２（管状組織形状データ取得手段）、内視鏡経路データ取得部１３（内視鏡経路データ取得手段）、マッチング部１４（マッチング手段）および表示制御部１５（表示制御手段）が構成されている。そして、ハードディスクにインストールされた内視鏡画像診断支援プログラムが中央処理装置によって実行されることによって上記各部がそれぞれ動作する。
【００４３】
３次元画像データ取得部１１は、内視鏡装置２０を用いた手術前または検査前などに予め撮影された被検体の３次元画像データを取得するものである。３次元画像データとしては、たとえばＣＴ装置やＭＲＩ（Magnetic Resonance Imaging）装置などから出力されたスライスデータから再構成されたボリュームデータや、ＭＳ（Multi Slice）ＣＴ装置やコーンビームＣＴ装置から出力されたボリュームデータなどがある。３次元画像データは、３次元画像データ保管サーバ６０に被検体の識別情報とともに予め保管されており、３次元画像データ取得部１１は、入力部５０において入力された被検体の識別情報に対応する３次元画像データを３次元画像データ保管サーバ６０から読み出すものである。
【００４４】
管状組織形状データ取得部１２は、３次元画像データ取得部１１によって取得された３次元画像データが入力され、その入力された３次元画像データから被検体内の管状組織の形状を表す管状組織形状データを抽出して取得するものである。上記管状組織としては、たとえば大腸、小腸または気管支などがあるが、これに限らずその他の管状組織でもよい。本実施形態においては大腸の形状データを抽出して取得するものとする。
【００４５】
大腸形状データを抽出する方法としては、具体的には、まず、３次元画像データに基づいて体軸に垂直な断面（軸位断；axial）の軸位断画像データを複数生成し、その各軸位断画像データに対して、公知の手法により、体表を基準に体外と体内領域を分離する処理を行う。たとえば、入力された軸位断画像データに対して二値化処理を施し、輪郭抽出処理により輪郭を抽出し、その抽出した輪郭内部を体内(人体)領域として抽出する。次に、体内領域の軸位断画像データに対して閾値による二値化処理を行い、各軸位断画像データにおける大腸の領域の候補を抽出する。具体的には、大腸の管内には空気が入っているため、空気のＣＴ値に対応する閾値（たとえば、−６００以下）を設定して二値化処理を行い、各軸位断画像データの体内の空気領域を大腸領域候補として抽出する。最後に、各軸位断画像データ間で、抽出された体内の大腸領域候補がつながる部分のみを大腸領域として抽出することによって、大腸領域の３次元画像データを取得する。なお、大腸領域の３次元画像データを取得する方法としては、上記の方法に限らず、その他にもRegion Growing法やLevel Set法など公知な方法を用いるようにしてもよい。
【００４６】
そして、管状組織形状データ取得部１２は、上記のようにして取得された大腸領域の３次元画像データを細線化させて大腸の中心線を推定することによって大腸の木構造データを大腸形状データとして取得する。なお、細線化処理については、公知な方法を採用することができ、たとえば“安江正宏,森 健策,齋藤豊文,他:3次元濃淡画像の細線化法と医用画像への応用における能力の比較評価.電子情報通信学会論文誌J79‐D‐H(10):1664-1674,1996”や、“齋藤豊文,番正聡志,鳥脇純一郎:ユークリッド距離に基づくスケルトンを用いた3次元細線化手法の改善−ひげの発生を制御できる−手法.電子情報通信学会論文誌(E日刷中),2001”などに記載の方法を用いることができる。
【００４７】
内視鏡経路データ取得部１３は、内視鏡経路検出装置３０によって検出された被検体内における内視鏡装置２０の検出情報を取得し、この検出情報に基づいて内視鏡経路データを取得するものである。具体的には、本実施形態においては、後で詳述するように内視鏡経路検出装置３０によって内視鏡装置２０に設けられた磁気マーカの検出情報が取得されるが、内視鏡経路データ取得部１３は、その磁気マーカの検出情報をスプライン曲線で近似した線分構造データを内視鏡経路データとして取得するものである。
【００４８】
なお、本実施形態においては、内視鏡装置２０として大腸を観察するための軟性内視鏡装置を用いるので、上述した内視鏡経路データは内視鏡装置２０の形状を表す内視鏡形状データでもある。なお、内視鏡装置２０としていわゆるカプセル内視鏡装置を用いる場合には、そのカプセル内視鏡装置が大腸内を通過した経路を表すデータが、上述した内視鏡経路データとして取得されるものとする。
【００４９】
マッチング部１４は、管状組織形状データ取得部１２から出力された大腸形状データと内視鏡経路データ取得部１３から出力された内視鏡経路データを取得し、その取得した大腸形状データと内視鏡経路データとのマッチングを行うものである。ここでいうマッチングとは、手術前または検査前などに予め取得された大腸領域の３次元画像データによって表される大腸と、手術中または検査中において被検体に挿入された内視鏡装置２０の大腸内における実際の位置との位置合わせを行う処理である。
【００５０】
具体的には、図２に示すように、内視鏡経路（線分構造）上に５ｍｍ〜１ｃｍ程度の十分細かい範囲間隔でマッチング候補点Ｐ１，Ｐ２，Ｐ３，・・・を設定するとともに、大腸形状（木構造）上に同様の範囲間隔でマッチング候補点Ｐ１’，Ｐ２’，Ｐ３’・・・を設定する。
【００５１】
そして、内視鏡経路上の各マッチング候補点について、そのマッチング候補点の前後数点のマッチング候補点の座標値を利用して曲率を算出する。すなわち、たとえば内視鏡経路上のマッチング候補点Ｐ４の前後のマッチング候補点Ｐ１，Ｐ２，Ｐ３，Ｐ５，Ｐ６，Ｐ７の座標値を用いてマッチング候補点Ｐ４の曲率を算出するといったように、各マッチング候補点について曲率を算出する。
【００５２】
次に、このようにして算出した各マッチング候補点の曲率を用いて、図３に示すようなマッチング候補点の極大点Ｐｍａｘ１，Ｐｍａｘ２，Ｐｍａｘ３・・・を算出する。そして、この極大点Ｐｍａｘ１，Ｐｍａｘ２，Ｐｍａｘ３・・・のうち、予め設定された閾値以上のものをマッチング対象点として取得する。すなわち、図３の場合、極大点Ｐｍａｘ１，Ｐｍａｘ２，Ｐｍａｘ３のうち、極大点Ｐｍａｘ１，Ｐｍａｘ２だけがマッチング対象点として取得される。
【００５３】
一方、大腸形状上の各マッチング候補点についても、上記と同様にして曲率を算出した後、マッチング候補点の極大点を算出し、その極大点のうちの閾値以上のものをマッチング対象点として取得する。
【００５４】
そして、内視鏡経路のマッチング対象点群と、大腸形状のマッチング対象点群とを内視鏡挿入位置Ｓ，Ｓ’から順番に対応づけることによってマッチングを行う。上述した曲率の極大点は、内視鏡装置２０や大腸が曲がった点や、その他の管状組織が分岐している点を示している可能性が高く、このような大腸の曲がった点などは被検体内においてほとんど移動しない部分であるため、これを内視鏡装置２０と大腸の形状の特徴量として用いることができる。
【００５５】
なお、このマッチングにおいて、明らかに誤ったマッチングが行われるのを回避するため、内視鏡装置２０が被検体内に実際に挿入された長さと、大腸形状データにおける内視鏡装置２０の挿入口からの距離との関係も考慮して確からしいマッチングを行うようにしてもよい。具体的には、大腸の伸び縮みを考慮して、内視鏡装置２０が実際に挿入された長さの位置から１０ｃｍ前後に存在するマッチング対象点同士のマッチングを行うようにしてもよい。内視鏡装置２０が実際に挿入された長さについては、内視鏡装置２０の体内挿入部にセンサなどを設けることによって自動的に取得するようにしてもよいし、体内挿入部に目盛などの指標を設け、その目盛を使用者が読み取った値を入力部５０を用いて入力するようにしてもよい。
【００５６】
また、マッチング部１４におけるマッチングは、被検体内における内視鏡装置２０の体内挿入部の経路が変化した場合にリアルタイムを行われる。具体的には、内視鏡経路が予め設定された所定の長さだけ増加する毎にリアルタイムに行われる。
【００５７】
また、マッチング部１４におけるマッチングは、必ずしも大腸形状データと内視鏡経路データとの全体についてリアルタイムに行う必要はなく、被検体内における内視鏡装置２０の体内挿入部の経路が変化した場合、具体的には内視鏡経路の長さが増加した場合に、その増加量を取得し、その増加した範囲内でのみマッチングを行い、その他の範囲ではマッチングを行わないようにしてもよい。たとえば内視鏡経路の挿入口からの距離が２０ｃｍから３０ｃｍに変化した場合、内視鏡経路のうちの２０ｃｍ〜３０ｃｍの範囲のみについてマッチングを行い、０〜２０ｃｍまでの範囲については新たにマッチングを行うことなく前回までのマッチング結果を利用するようにしてもよい。このようにすることによってマッチングを高速化することができる。
【００５８】
また、内視鏡経路データと大腸形状データとの間のマッチングの方法としては上述した方法に限らず、その他の公知な方法も用いることができる。
【００５９】
表示制御部１５は、管状組織形状データ取得部１２において取得された大腸領域の３次元画像データが入力され、その３次元画像データに対してボリュームレンダリングやサーフェスレンダリングを施して、大腸全体の３次元立体画像をボクセルモデルまたはサーフェスモデルによってモニタ４０に表示するものである。そして、さらに内視鏡経路データ取得部１３によって取得された内視鏡経路データが入力され、この内視鏡経路データとマッチング部１４におけるマッチング結果とに基づいて、大腸全体の３次元立体画像内に内視鏡装置２０の経路（形状）画像を表示するものである。
【００６０】
具体的には、表示制御部１５は、マッチング部１４におけるマッチング結果に基づいて、内視鏡経路データの座標を３次元立体画像上の座標に変換し、その変換した座標を用いて内視鏡装置２０の経路画像をモニタ４０に表示する。
【００６１】
なお、本実施形態においては、大腸全体の３次元立体画像内に内視鏡装置２０の経路を表示するようにしたが、これに限らず、大腸の断面画像内に内視鏡装置２０の経路画像を表示するようにしてもよい。大腸の断面画像としては、任意の断面の画像を採用することができ、すなわちアキシャル断面、サジタル断面、コロナル断面などの直交断面はもちろんのこと、任意のオブリーク断面も採用することができる。また、内視鏡装置２０の経路（形状）画像の表示方法としては、断面に全ての経路画像を射影するようにしてもよいし、経路画像のうちの断面に近い部分のみを断面に射影することによって見易く表示するようにしてもよい。
【００６２】
また、表示制御部１５は、内視鏡装置２０によって撮影された大腸内の実内視鏡画像をモニタ４０に表示させるものである。
【００６３】
内視鏡装置２０としては、気管支鏡、大腸内視鏡、小腸内視鏡などの軟性内視鏡装置や、カプセル内視鏡装置を用いることができる。また、小腸内視鏡としては、ダブルバルーンやシングルバルーンを備えたものを用いることができる。なお、本実施形態においては、上述したとおり大腸内視鏡装置を用いるものとする。
【００６４】
そして、内視鏡装置２０には、内視鏡経路検出装置３０の構成に対応した構成が設けられている。たとえば内視鏡経路検出装置３０が磁気センサを用いて内視鏡装置２０の経路情報を検出するものである場合には、内視鏡装置２０の体内挿入部に一定間隔で磁気マーカが設けられる。なお、この例に限らず、内視鏡装置２０には、内視鏡経路検出装置３０によって内視鏡装置２０の経路情報を検出するためにその他の構成が設けられるものとする。
【００６５】
内視鏡経路検出装置３０は、内視鏡装置２０の経路情報を検出するものであり、具体的には、たとえば上述したような磁気センサを備え、被検体の体表に設定された上記磁気センサによって内視鏡装置２０の体内挿入部に設けられた磁気マーカを検出することによって内視鏡装置２０の経路（形状）情報を検出するものである。なお、内視鏡経路検出装置３０としては、上述したような磁気センサによって内視鏡装置２０を検出するものに限らず、その他にも光学的なセンサによって内視鏡装置２０の経路情報を検出するものとしてもよい。また、内視鏡装置２０としてカプセル内視鏡装置を用いる場合には、たとえばカプセル内視鏡装置に設けられた加速度センサの検出結果を無線通信などによって受信し、その受信結果に基づいてカプセル内視鏡装置の経路情報を検出するようにしてもよい。
【００６６】
入力部５０は、使用者の所定の情報の入力を受け付けるものであり、たとえばキーボードやマウスなどのポインティングデバイスによって構成されるものである。
【００６７】
次に、本発明の第１の実施形態を用いた内視鏡画像診断支援システムの作用について、図４に示すフローチャートを参照しながら説明する。
【００６８】
まず、入力部５０において被検体の識別情報が入力され、内視鏡画像診断支援装置１０の３次元画像データ取得部１１は、その入力された被検体の識別情報に対応する３次元画像データを３次元画像データ保管サーバ６０から読み出して取得する（Ｓ１０）。
【００６９】
３次元画像データ取得部１１によって取得された３次元画像データは、管状組織形状データ取得部１２に入力され、管状組織形状データ取得部１２は、入力された３次元画像データに基づいて大腸形状データを抽出して取得する（Ｓ１２）。
【００７０】
一方、内視鏡装置２０の体内挿入部が被検体の大腸に挿入され、内視鏡装置２０による大腸内の撮影が開始される。そして、このとき内視鏡装置２０の経路（形状）の情報が内視鏡経路検出装置３０によって検出され、その検出情報が内視鏡経路データ取得部１３によって取得される。具体的には、たとえば内視鏡経路検出装置３０の磁気センサによって内視鏡装置２０に設けられた磁気マーカが検出され、その検出情報が内視鏡経路データ取得部１３によって取得され、内視鏡経路データ取得部１３は、上記検出情報に基づいて内視鏡経路データを生成して取得する（Ｓ１４）。
【００７１】
そして、管状組織形状データ取得部１２によって取得された大腸形状データと、内視鏡経路データ取得部１３によって取得された内視鏡経路データとが、マッチング部１４に入力され、マッチング部１４は、これらのデータを用いてマッチングを行う（Ｓ１６）。マッチング部１４におけるマッチングの方法については上述したとおりである。
【００７２】
次に、管状組織形状データ取得部１２において取得された大腸領域の３次元画像データが表示制御部１５に入力され、表示制御部１５は、この大腸領域の３次元画像データに対してボリュームレンダリングやサーフェスレンダリングを施して大腸全体の３次元立体画像をモニタ４０に表示させる。図５は、大腸全体の３次元立体画像の正面図の一例を示すものであり、図６は、大腸全体の３次元立体画像の側面図の一例を示すものである。図５に示す正面図と図６に示す側面図とは、並べて表示するようにしてもよいし、入力部５０において使用者による表示切り替え指示を受け付けることによって切り替えて表示するようにしてもよい。また、図７および図８に示すように、大腸全体の３次元立体画像に対して上述した木構造データによって表される木構造画像を重ねて表示するようにしてもよい。
【００７３】
また、表示制御部１５にはマッチング部１４において取得された内視鏡経路データが入力され、表示制御部１５は、入力された内視鏡経路データに基づいて内視鏡経路画像データを生成する。図９は、内視鏡経路画像データによって表される内視鏡経路画像の正面図の一例を示すものであり、図１０は、内視鏡経路画像データによって表される内視鏡経路画像の側面図の一例を示すものである。
【００７４】
そして、表示制御部１５は、上記内視鏡経路画像データとマッチング部１４におけるマッチング結果とに基づいて、大腸全体の３次元立体画像内に内視鏡経路画像を重ねて表示する（Ｓ１８）。図１１は、大腸全体の３次元立体画像内に内視鏡経路画像を重ねた正面図の一例を示すものであり、図１２は、大腸全体の３次元立体画像内に内視鏡経路画像を重ねた側面図の一例を示すものである。図１１に示す正面図および図１２に示す側面図についても、並べて表示するようにしてもよいし、入力部５０において使用者の表示切り替え指示を受け付けることによって切り替えて表示するようにしてもよい。
【００７５】
また、表示制御部１５は、上述した３次元立体画像や内視鏡経路画像とともに、内視鏡装置２０によって撮影された大腸の内視鏡画像も表示する。３次元立体画像および内視鏡経路画像と、大腸の内視鏡画像とについても並べて表示するようにしてもよいし、入力部５０において使用者の表示切り替え指示を受け付けることによって切り替えて表示するようにしてもよい。
【００７６】
上記本発明の第１の実施形態を用いた内視鏡画像診断支援システムによれば、内視鏡経路データと管状組織形状データとのマッチングを行うようにしたので、術中における大腸などの軟組織の変形の影響を少なくして、実際の内視鏡の先端位置に対応する３次元画像上の位置をより正確に特定することができる。そして、図１１および図１２に示すような画像を表示させることによって、実際の内視鏡装置２０の先端位置に対応する３次元画像上の位置を視覚的により正確に把握することができる。特に、図１１および図１２に示すように大腸が前後方向に３重に折り重なっている場合には、内視鏡の先端位置の座標だけでは３重部分のどの位置に実際の内視鏡装置２０の先端が位置するのか把握しづらいが、上述したように内視鏡経路データと管状組織形状データとのマッチングを行うことによって、図１２に示すように、３重に重なっている部分の真ん中の部分に内視鏡装置２０の先端が位置することを容易に把握することができる。
【００７７】
また、３次元立体画像内に表示される内視鏡経路画像については、入力部５０において使用者による表示切り替え指示を受け付けることによって表示と非表示とを切り替えるようにしてもよい。
【００７８】
次に、本発明の第２の実施形態を用いた内視鏡画像診断支援システムについて説明する。図１３は、本発明の第２の実施形態を用いた内視鏡画像診断支援システムの概略構成を示すブロック図である。
【００７９】
第２の実施形態の内視鏡画像診断支援システム２は、第１の実施形態の内視鏡画像診断支援システムとは、仮想内視鏡画像を表示する点で異なるものである。それ以外の構成については第１の実施形態の内視鏡画像診断支援システム１と同様であるのでこの異なる点を中心に説明する。
【００８０】
第２の実施形態の内視鏡画像診断支援システム２における内視鏡画像診断支援装置７０は、第１の実施形態の内視鏡画像診断支援装置１０に対してさらに先端位置情報取得部１６（先端位置情報取得手段）と仮想内視鏡画像データ取得部１７（仮想内視鏡画像データ取得手段）とを備えたものである。
【００８１】
先端位置情報取得部１６は、マッチング部１４におけるマッチング結果に基づいて、大腸の３次元立体画像の座標上での内視鏡装置２０の体内挿入部の先端位置の座標を先端位置情報として取得するものである。
【００８２】
仮想内視鏡画像データ取得部１７は、管状組織形状データ取得部１２において取得された大腸領域の３次元画像データが入力されるとともに、先端位置情報取得部１６によって取得された先端位置情報が入力されるものである。そして、先端位置情報取得部１６によって取得された先端位置情報を視点として、その視点から放射線状に伸ばした複数の視線上の３次元画像データを所定の投影面に投影した中心投影による投影画像データを取得する。この投影画像データは、先端位置情報取得部１６によって取得された内視鏡の先端位置において撮影を行ったものとして仮想的に生成された仮想内視鏡画像データとなる。なお、中心投影の具体的な方法としては、たとえば公知のボリュームレンダリング手法等を用いることができる。また、仮想内視鏡画像データの画角（視線の範囲）や視野の中心（投影方向の中心）は、使用者による入力などによって予め設定されているものとする。
【００８３】
そして、上記のようにして取得された仮想内視鏡画像データは、表示制御部１５に入力され、表示制御部１５は、入力された仮想内視鏡画像データに基づいて仮想内視鏡画像をモニタ４０に表示させる。
【００８４】
なお、このとき図１４に示すように、内視鏡装置２０によって実際に撮影された実内視鏡画像ＲＩと、仮想内視鏡画像ＶＩとを並べて表示するようにしてもよいし、図１５に示すように、実際に撮影された実内視鏡画像ＲＩの表示画面内に仮想内視鏡画像ＶＩを表示するようにしてもよい。もしくは、実内視鏡画像ＲＩに対して半透明処理を施した仮想内視鏡画像を重ねて表示することによってブレンディング表示するようにしてもよい。
【００８５】
なお、仮想内視鏡画像ＶＩにおいては、たとえば大腸内の病変部が強調して表示されたり、内視鏡装置２０の体内挿入部が進むべき方向のガイドの表示が行われたりする。
【００８６】
また、上記第２の実施形態の内視鏡画像診断支援システムにおいて、大腸の３次元立体画像および内視鏡経路画像と、大腸の実内視鏡画像ＲＩおよび仮想内視鏡画像ＶＩとを並べて表示するようにしてもよいし、入力部５０において使用者の表示切り替え指示を受け付けることによって４つの各画像の表示または非表示をそれぞれ切り替えるようにしてもよい。
【００８７】
上記本発明の第２の実施形態の内視鏡画像診断支援システムによれば、マッチング結果に基づいて、３次元画像データの座標上での内視鏡の先端位置情報を取得し、その先端位置情報と３次元画像データとに基づいて、仮想内視鏡画像データを取得し、その仮想内視鏡画像データに基づく仮想内視鏡画像と、内視鏡によって実際に撮影された実内視鏡画像とを表示するようにしたので、実際の内視鏡の先端位置に対応する位置の仮想内視鏡画像を表示することができ、より正確なナビゲーションを行うことができる。
【符号の説明】
【００８８】
１，２ 内視鏡画像診断支援システム
１０   内視鏡画像診断支援装置
１１   ３次元画像データ取得部
１２   管状組織形状データ取得部
１３   内視鏡経路データ取得部
１４   マッチング部
１５   表示制御部
１６   先端位置情報取得部
１７   仮想内視鏡画像データ取得部
２０   内視鏡装置
３０   内視鏡経路検出装置
４０   モニタ
５０   入力部
６０   ３次元画像データ保管サーバ
７０   内視鏡画像診断支援装置
【図１】
0005918548.tif 000002
【図２】
0005918548.tif 000003
【図３】
0005918548.tif 000004
【図４】
0005918548.tif 000005
【図９】
0005918548.tif 000006
【図１０】
0005918548.tif 000007
【図１３】
0005918548.tif 000008
【図５】
0005918548.tif 000009
【図６】
0005918548.tif 000010
【図７】
0005918548.tif 000011
【図８】
0005918548.tif 000012
【図１１】
0005918548.tif 000013
【図１２】
0005918548.tif 000014
【図１４】
0005918548.tif 000015
【図１５】
0005918548.tif 000016