(57)【特許請求の範囲】
【請求項１】
被検体の分岐構造を有する管状構造物を含む３次元画像から、前記管状構造物を表す管状構造物画像を生成する管状構造物画像生成手段と、
前記管状構造物に挿入された内視鏡の位置情報を取得する位置情報取得手段と、
前記位置情報を用いて、前記管状構造物における前記内視鏡の通過位置を表す通過位置情報を取得する通過位置情報取得手段と、
前記管状構造物における前記内視鏡の通過可能な部分および通過不可能な部分を表す通過可否情報を、前記管状構造物の各位置の径と前記内視鏡の径とを比較することにより取得する通過可否情報取得手段と、
前記通過位置情報を用いて、前記管状構造物画像における前記内視鏡が通過した部分と未通過の部分との表示状態を変更し、前記通過可否情報を用いて、前記管状構造物画像における前記内視鏡が通過可能な部分と通過不可能な部分との表示状態を変更して、前記管状構造物画像を表示手段に表示する表示制御手段とを備えたことを特徴とする内視鏡検査支援装置。
【請求項２】
前記表示制御手段は、前記管状構造物の径に応じて、該管状構造物の表示状態を変更する請求項１記載の内視鏡検査支援装置。
【請求項３】
前記表示状態の変更は、色、明るさ、コントラスト、不透明度および鮮鋭度の少なくとも１つの変更である請求項１または２記載の内視鏡検査支援装置。
【請求項４】
前記表示制御手段は、前記管状構造物画像における前記内視鏡が通過した経路の途中に分岐があり、該分岐から先の部分が未通過の場合、該通過した部分または該未通過の部分の表示状態をさらに変更する請求項１から３のいずれか１項記載の内視鏡検査支援装置。
【請求項５】
前記管状構造物画像における前記内視鏡が通過した部分と未通過の部分との表示状態の変更は、前記内視鏡が通過した部分にマークを付与することである請求項１から４のいずれか１項記載の内視鏡検査支援装置。
【請求項６】
前記通過位置情報取得手段は、前記被検体の呼吸に同期させたサンプリング間隔で前記通過位置情報を取得する請求項１から５のいずれか１項記載の内視鏡検査支援装置。
【請求項７】
前記通過位置情報取得手段は、前記被検体の動きを検出し、該動きに応じて前記通過位置情報を修正する請求項１から６のいずれか１項記載の内視鏡検査支援装置。
【請求項８】
前記表示制御手段は、前記管状構造物における前記分岐構造により区切られる分岐間区画ごとに、前記通過可否情報を用いて、前記管状構造物画像における前記内視鏡が通過可能な部分と通過不可能な部分との表示状態を変更する請求項１から７のいずれか１項記載の内視鏡検査支援装置。
【請求項９】
管状構造物画像生成手段が、被検体の分岐構造を有する管状構造物を含む３次元画像から、前記管状構造物を表す管状構造物画像を生成し、
位置情報取得手段が、前記管状構造物に挿入された内視鏡の位置情報を取得し、
通過位置情報取得手段が、前記位置情報を用いて、前記管状構造物における前記内視鏡の通過位置を表す通過位置情報を取得し、
通過可否情報取得手段が、前記管状構造物における前記内視鏡の通過可能な部分および通過不可能な部分を表す通過可否情報を、前記管状構造物の各位置の径と前記内視鏡の径とを比較することにより取得し、
表示制御手段が、前記通過位置情報を用いて、前記管状構造物画像における前記内視鏡が通過した部分と未通過の部分との表示状態を変更し、前記通過可否情報を用いて、前記管状構造物画像における前記内視鏡が通過可能な部分と通過不可能な部分との表示状態を変更して、前記管状構造物画像を表示手段に表示することを特徴とする内視鏡検査支援装置の作動方法。
【請求項１０】
被検体の分岐構造を有する管状構造物を含む３次元画像から、前記管状構造物を表す管状構造物画像を生成する手順と、
前記管状構造物に挿入された内視鏡の位置情報を取得する手順と、
前記位置情報を用いて、前記管状構造物における前記内視鏡の通過位置を表す通過位置情報を取得する手順と、
前記管状構造物における前記内視鏡の通過可能な部分および通過不可能な部分を表す通過可否情報を、前記管状構造物の各位置の径と前記内視鏡の径とを比較することにより取得する手順と、
前記通過位置情報を用いて、前記管状構造物画像における前記内視鏡が通過した部分と未通過の部分との表示状態を変更し、前記通過可否情報を用いて、前記管状構造物画像における前記内視鏡が通過可能な部分と通過不可能な部分との表示状態を変更して、前記管状構造物画像を表示手段に表示する手順とをコンピュータに実行させることを特徴とする内視鏡検査支援プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、気管支等の分岐構造を有する管状構造物の内視鏡検査を支援する内視鏡検査支援装置、内視鏡検査支援装置の作動方法および内視鏡検査支援プログラムに関するものである。
【背景技術】
【０００２】
近年、患者の大腸や気管支等の管状構造物を内視鏡を用いて観察または処置を行う技術が注目されている。しかしながら、内視鏡画像は、ＣＣＤ（Charge Coupled Device）等の撮像素子により管状構造物内部の色や質感が鮮明に表現された画像が得られる一方で、管状構造物の内部を２次元の画像に表すものである。このため、内視鏡画像が管状構造物内のどの位置を表しているものかを把握することが困難である。とくに、気管支用の内視鏡は、径が細く視野が狭いため、内視鏡の先端を目的とする位置まで到達させることは困難である。
【０００３】
そこで、ＣＴ（Computed Tomography）装置あるいはＭＲＩ（Magnetic Resonance Imaging）装置等のモダリティによる断層撮影により取得された３次元画像を用いて、実際に内視鏡によって撮影した画像と類似した仮想内視鏡画像を生成する手法が提案されている。この仮想内視鏡画像は、内視鏡を管状構造物内の目標とする位置まで導くためのナビゲーション画像として用いられる。しかしながら、ナビゲーション画像を用いても、気管支のような多段階に分岐する経路を有する構造物の場合、内視鏡の先端を目標とする位置まで短時間で到達させるのは熟練した技術を要する。とくに、気管支のような分岐構造を有する管状構造物の検査においては、構造物の全体の検査である全枝検査を行う場合がある。このような全枝検査において、全ての経路を残らず検査するには大変な労力を要する。また、管状構造物は多数の分岐を有するため、未検査の部分が残ってしまう可能性もある。
【０００４】
このため、管状構造物の３次元画像である管状構造物画像を表示し、表示された管状構造物画像において、内視鏡による検査済みの部分と未検査の部分とを識別可能に表示することにより、未検査の部分を容易に認識するための手法が提案されている（特許文献１参照）。また、内視鏡を気管支に挿入する際に正確な経路の識別を補助するために、ナビゲーション画像において、内視鏡の先端が移動した経路の履歴を記録する手法が提案されている（特許文献２参照）。また、３次元画像から気管支画像を抽出し、気管支画像を分岐により区切られる区画ごとに異なる色で表示し、さらに表示される仮想内視鏡画像の縁を、内視鏡先端が位置する区画の色により縁取りする手法が提案されている（特許文献３参照）。
【０００５】
また、気管支は末端ほど細くなる。その一方で、内視鏡の径はあらかじめ定められているため、使用する内視鏡の径によっては、検査できない気管支の部分が存在する。このため、気管支画像において、径に応じて気管支を色分けして表示する手法が提案されている（特許文献４参照）。さらに、気管支画像上における気管支の径に応じて、使用可能な内視鏡の種類を提示する手法も提案されている（特許文献５参照）。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開２０１４−５０６８４号公報
【特許文献２】特表２００５−５２２２７４号公報
【特許文献３】特開２０１２−２００４０３号公報
【特許文献４】特開２００７−８３０３４号公報
【特許文献５】特開２００４−８９４８３号公報
【発明の概要】
【発明が解決しようとする課題】
【０００７】
特許文献４に記載された手法によれば、気管支の３次元画像を観察することにより、気管支の径を容易に識別することができる。しかしながら、使用中の内視鏡が、気管支のどの部分を通過でき、どの部分を通過できないかは、特許文献４に記載された手法により表示された気管支画像を見ても認識することができない。
【０００８】
また、特許文献５に記載された手法によれば、使用可能な内視鏡の種類が提示されているため、使用中の内視鏡により検査が可能な気管支の部分を容易に認識することができる。しかしながら、特許文献５に記載された手法は、検査前の内視鏡の選択のために使用可能な内視鏡の種類を提示するためのものである。このため、特許文献５の手法では、検査中に気管支のどの部分が通過可能であるか否かを判断することはできない。
【０００９】
本発明は上記事情に鑑みなされたものであり、気管支等の管状構造物へ内視鏡を挿入することにより管状構造物の検査を行うに際し、内視鏡が通過できる部分と通過できない部分とを容易に認識できるようにすることを目的とする。
【課題を解決するための手段】
【００１０】
本発明による内視鏡検査支援装置は、被検体の分岐構造を有する管状構造物を含む３次元画像から、管状構造物を表す管状構造物画像を生成する管状構造物画像生成手段と、
管状構造物に挿入された内視鏡の位置情報を取得する位置情報取得手段と、
位置情報を用いて、管状構造物における内視鏡の通過位置を表す通過位置情報を取得する通過位置情報取得手段と、
管状構造物における内視鏡の通過可能な部分および通過不可能な部分を表す通過可否情報を、管状構造物の各位置の径と内視鏡の径とを比較することにより取得する通過可否情報取得手段と、
通過位置情報を用いて、管状構造物画像における内視鏡が通過した部分と未通過の部分との表示状態を変更し、通過可否情報を用いて、管状構造物画像における内視鏡が通過可能な部分と通過不可能な部分との表示状態を変更して、管状構造物画像を表示手段に表示する表示制御手段とを備えたことを特徴とするものである。
【００１１】
「表示状態を変更する」とは、管状構造物画像を見る者の視覚に訴える、管状構造物の状態を変更することを意味する。例えば、管状構造物画像における管状構造物の色、明るさ、コントラスト、不透明度および鮮鋭度等を変更することを意味する。
【００１２】
なお、本発明による内視鏡検査支援装置においては、表示制御手段は、管状構造物の径に応じて、管状構造物の表示状態を変更するものとしてもよい。
【００１３】
また、本発明による内視鏡検査支援装置においては、表示状態の変更は、色、明るさ、コントラスト、不透明度および鮮鋭度の少なくとも１つの変更としてもよい。
【００１４】
また、本発明による内視鏡検査支援装置においては、表示制御手段は、管状構造物画像における内視鏡が通過した部分の途中に分岐があり、分岐から先の部分が未通過の場合、通過した部分または未通過の部分の表示状態をさらに変更するものとしてもよい。
【００１５】
また、本発明による内視鏡検査支援装置においては、管状構造物画像における内視鏡が通過した部分と未通過の部分との表示状態の変更は、内視鏡が通過した部分にマークを付与することであってもよい。
【００１６】
また、本発明による内視鏡検査支援装置においては、通過位置情報取得手段は、被検体の呼吸に同期させたサンプリング間隔で通過位置情報を取得するものとしてもよい。
【００１７】
また、本発明による内視鏡検査支援装置においては、通過位置情報取得手段は、被検体の動きを検出し、動きに応じて通過位置情報を修正するものとしてもよい。
【００１８】
また、本発明による内視鏡検査支援装置においては、表示制御手段は、管状構造物における分岐構造により区切られる分岐間区画ごとに、通過可否情報を用いて、管状構造物画像における内視鏡が通過可能な部分と通過不可能な部分との表示状態を変更するものとしてもよい。
【００１９】
本発明による内視鏡検査支援方法は、被検体の分岐構造を有する管状構造物を含む３次元画像から、管状構造物を表す管状構造物画像を生成し、
管状構造物に挿入された内視鏡の位置情報を取得し、
位置情報を用いて、管状構造物における内視鏡の通過位置を表す通過位置情報を取得し、
管状構造物における内視鏡の通過可能な部分および通過不可能な部分を表す通過可否情報を、管状構造物の各位置の径と内視鏡の径とを比較することにより取得し、
通過位置情報を用いて、管状構造物画像における内視鏡が通過した部分と未通過の部分との表示状態を変更し、通過可否情報を用いて、管状構造物画像における内視鏡が通過可能な部分と通過不可能な部分との表示状態を変更して、管状構造物画像を表示手段に表示することを特徴とするものである。
【００２０】
なお、本発明による内視鏡検査支援方法をコンピュータに実行させるためのプログラムとして提供してもよい。
【発明の効果】
【００２１】
本発明によれば、管状構造物に挿入された内視鏡の位置情報を用いて、管状構造物における内視鏡の通過位置を表す通過位置情報が取得される。また、管状構造物における内視鏡の通過可能な部分および通過不可能な部分を表す通過可否情報が、管状構造物の各位置の径と内視鏡の径とを比較することにより取得される。そして、通過位置情報を用いて、管状構造物画像における内視鏡が通過した部分と未通過の部分との表示状態が変更され、通過可否情報を用いて、管状構造物画像における内視鏡が通過可能な部分と通過不可能な部分との表示状態が変更されて、３次元画像から生成した管状構造物画像が表示される。このため、管状構造物画像を観察することにより、内視鏡が通過した経路および未通過の経路を容易に認識でき、かつ管状構造物における内視鏡が通過可能な部分および通過不可能な部分を容易に認識することができる。したがって、内視鏡を用いた管状構造物の検査を効率よく行うことができる。
【図面の簡単な説明】
【００２２】
【図１】本発明の実施形態による内視鏡検査支援装置を適用した、診断支援システムの概要を示すハードウェア構成図
【図２】コンピュータに内視鏡検査支援プログラムをインストールすることにより実現される内視鏡検査支援装置の概略構成を示す図
【図３】マッチングを説明するための図
【図４】通過可否情報の取得を説明するための図
【図５】ディスプレイに表示された気管支画像、実内視鏡画像および仮想内視鏡画像を示す図
【図６】本実施形態において行われる処理を示すフローチャート
【図７】気管支の径に応じて色分けがなされた気管支画像を示す図
【図８】気管支画像における内視鏡先端が通過した経路の途中に分岐があり、その分岐から先の経路が未通過の経路の場合に、通過した経路の表示状態をさらに変更した気管支画像を示す図
【発明を実施するための形態】
【００２３】
以下、図面を参照して本発明の実施形態について説明する。図１は、本発明の実施形態による内視鏡検査支援装置を適用した、診断支援システムの概要を示すハードウェア構成図である。図１に示すように、このシステムでは、内視鏡装置３、３次元画像撮影装置４、画像保管サーバ５および内視鏡検査支援装置６が、ネットワーク８を経由して通信可能な状態で接続されている。
【００２４】
内視鏡装置３は、被検体の管状構造物の内部を撮影する内視鏡スコープ３１、撮影により得られた信号に基づいて管状構造物の内部の画像を生成するプロセッサ装置３２、並びに内視鏡スコープ３１の先端の位置および向きを検出する位置検出装置３４等を備える。
【００２５】
内視鏡スコープ３１は、操作部３Ａに被検体の管状構造物内に挿入される挿入部が連続して取り付けられたものであり、プロセッサ装置３２に着脱可能に接続されたユニバーサルコードを介してプロセッサ装置３２に接続されている。操作部３Ａは、挿入部の先端３Ｂが所定の角度範囲内で上下方向および左右方向に湾曲するように動作を指令したり、内視鏡スコープ３１の先端に取り付けられた穿刺針を操作して組織のサンプルの採取を行ったりするための各種ボタンを含む。本実施形態では、内視鏡スコープ３１は気管支用の軟性鏡であり、被検体の気管支内に挿入される。そして、プロセッサ装置３２に設けられた不図示の光源装置から光ファイバーで導かれた光が内視鏡スコープ３１の挿入部の先端３Ｂから照射され、内視鏡スコープ３１の撮像光学系により被検体の気管支内の画像が取得される。なお、内視鏡スコープ３１の挿入部の先端３Ｂについて、説明を容易なものとするために、以降の説明においては内視鏡先端３Ｂと称するものとする。
【００２６】
プロセッサ装置３２は、内視鏡スコープ３１で撮影された撮影信号をデジタル画像信号に変換し、ホワイトバランス調整およびシェーディング補正等のデジタル信号処理によって画質の補正を行い、内視鏡画像Ｔ０を生成する。なお、生成される画像は、例えば３０ｆｐｓ等の所定のサンプリングレートにより表される動画像である。内視鏡画像Ｔ０は、画像保管サーバ５あるいは内視鏡検査支援装置６に送信される。ここで、以降の説明において、内視鏡装置３により撮影した内視鏡画像Ｔ０を、後述する仮想内視鏡画像と区別するために実内視鏡画像Ｔ０と称するものとする。
【００２７】
位置検出装置３４は、被検体の体内における内視鏡先端３Ｂの位置および向きを検出する。具体的には、被検体の特定部位の位置を基準とした３次元座標系の検出領域を有するエコー装置により、内視鏡先端３Ｂの特徴的な形状を検出することで、被検体の体内における内視鏡先端３Ｂの相対的な位置および向きを検出し、検出した内視鏡先端３Ｂの位置および向きの情報を位置情報Ｑ０として内視鏡検査支援装置６に出力する（例えば、特開２００６−６１２７４号公報参照）。検出した内視鏡先端３Ｂの位置および向きは、撮影して得られた内視鏡画像の視点および視線方向にそれぞれ該当する。ここで、内視鏡先端３Ｂの位置は、上述した被検体の特定部位の位置を基準とした３次元座標により表される。なお、以降の説明において、位置および向きの情報を単に位置情報と称するものとする。また、位置情報Ｑ０は、実内視鏡画像Ｔ０と同様のサンプリングレートにより内視鏡検査支援装置６に出力される。
【００２８】
３次元画像撮影装置４は、被検体の検査対象部位を撮影することにより、その部位を表す３次元画像Ｖ０を生成する装置であり、具体的には、ＣＴ装置、ＭＲＩ装置、ＰＥＴ(Positron Emission Tomography)、および超音波診断装置等である。この３次元画像撮影装置４により生成された３次元画像Ｖ０は画像保管サーバ５に送信され、保存される。本実施形態では、３次元画像撮影装置４は、気管支を含む胸部を撮影した３次元画像Ｖ０を生成する。
【００２９】
画像保管サーバ５は、各種データを保存して管理するコンピュータであり、大容量外部記憶装置およびデータベース管理用ソフトウェアを備えている。画像保管サーバ５は、ネットワーク８を介して他の装置と通信を行い、画像データ等を送受信する。具体的には内視鏡装置３で取得された実内視鏡画像Ｔ０および３次元画像撮影装置４で生成された３次元画像Ｖ０等の画像データをネットワーク経由で取得し、大容量外部記憶装置等の記録媒体に保存して管理する。なお、実内視鏡画像Ｔ０は、内視鏡先端３Ｂの移動に応じて撮影される動画像データとなる。このため、実内視鏡画像Ｔ０は、画像保管サーバ５を経由することなく、内視鏡検査支援装置６に送信されることが好ましい。なお、画像データの格納形式やネットワーク８経由での各装置間の通信は、ＤＩＣＯＭ（Digital Imaging and Communication in Medicine）等のプロトコルに基づいている。
【００３０】
内視鏡検査支援装置６は、１台のコンピュータに、本発明の内視鏡検査支援プログラムをインストールしたものである。コンピュータは、診断を行う医師が直接操作するワークステーションあるいはパソコンでもよいし、もしくは、それらとネットワークを介して接続されたサーバコンピュータでもよい。内視鏡検査支援プログラムは、ＤＶＤ（Digital Versatile Disc）あるいはＣＤ−ＲＯＭ（Compact Disk Read Only Memory）等の記録媒体に記録されて配布され、その記録媒体からコンピュータにインストールされる。もしくは、ネットワークに接続されたサーバコンピュータの記憶装置、あるいはネットワークストレージに、外部からアクセス可能な状態で記憶され、要求に応じて内視鏡検査支援装置６の使用者である医師が使用するコンピュータにダウンロードされ、インストールされる。
【００３１】
図２は、コンピュータに内視鏡検査支援プログラムをインストールすることにより実現される内視鏡検査支援装置の概略構成を示す図である。図２に示すように、内視鏡検査支援装置６は、標準的なワークステーションの構成として、ＣＰＵ（Central Processing Unit）１１、メモリ１２およびストレージ１３を備えている。また、内視鏡検査支援装置６には、ディスプレイ１４と、マウス等の入力部１５とが接続されている。
【００３２】
ストレージ１３には、ネットワーク８を経由して内視鏡装置３、３次元画像撮影装置４および画像保管サーバ５等から取得した実内視鏡画像Ｔ０、３次元画像Ｖ０および内視鏡検査支援装置６での処理によって生成された画像および情報等が記憶されている。
【００３３】
また、メモリ１２には、内視鏡検査支援プログラムが記憶されている。内視鏡検査支援プログラムは、ＣＰＵ１１に実行させる処理として、プロセッサ装置３２が生成した実内視鏡画像Ｔ０および３次元画像撮影装置４で生成された３次元画像Ｖ０等の画像データを取得する画像取得処理、３次元画像Ｖ０から気管支のグラフ構造を表す３次元の気管支画像Ｂ０を生成する気管支画像生成処理、気管支に挿入された内視鏡先端３Ｂの位置情報を取得する位置情報取得処理、位置情報を用いて、気管支における内視鏡先端３Ｂの通過位置を表す通過位置情報を取得する通過位置情報取得処理、気管支における内視鏡の通過可能な部分および通過不可能な部分を表す通過可否情報を、気管支の各位置の径と内視鏡先端３Ｂの径とを比較することにより取得する通過可否情報取得処理、３次元画像Ｖ０から仮想内視鏡画像を生成する仮想内視鏡画像生成処理、並びに通過位置情報を用いて、管状構造物画像における内視鏡が通過した部分と未通過の部分との表示状態を変更し、通過可否情報を用いて、気管支画像Ｂ０における内視鏡が通過可能な部分と通過不可能な部分との表示状態を変更して、気管支画像Ｂ０をディスプレイ１４に表示する表示制御処理を規定する。
【００３４】
そして、ＣＰＵ１１がプログラムに従いこれらの処理を実行することで、コンピュータは、画像取得部２１、気管支画像生成部２２、位置情報取得部２３、通過位置情報取得部２４、通過可否情報取得部２５、仮想内視鏡画像生成部２６および表示制御部２７として機能する。なお、内視鏡検査支援装置６は、画像取得処理、気管支画像生成処理、位置情報取得処理、通過位置情報取得処理、通過可否情報取得処理、仮想内視鏡画像生成処理、および表示制御処理をそれぞれ行う複数のプロセッサを備えるものであってもよい。ここで、気管支画像生成部２２が管状構造物画像生成手段に対応する。
【００３５】
画像取得部２１は、内視鏡装置３により気管支内を所定の視点位置において撮影した実内視鏡画像Ｔ０および３次元画像Ｖ０を取得する。画像取得部２１は、実内視鏡画像Ｔ０および３次元画像Ｖ０が既にストレージ１３に記憶されている場合には、ストレージ１３から取得するようにしてもよい。実内視鏡画像Ｔ０は、気管支の内側の表面、すなわち気管支内壁を表す画像である。実内視鏡画像Ｔ０は表示制御部２７に出力されてディスプレイ１４に表示される。
【００３６】
気管支画像生成部２２は、３次元画像Ｖ０から気管支の構造を抽出することにより、３次元の気管支画像Ｂ０を生成する。具体的には、気管支画像生成部２２は、例えば特開２０１０−２２０７４２号公報等に記載された手法を用いて、入力された３次元画像Ｖ０に含まれる気管支領域のグラフ構造を、３次元の気管支画像Ｂ０として抽出する。以下、このグラフ構造の抽出方法の一例を説明する。
【００３７】
３次元画像Ｖ０においては、気管支の内部の画素は空気領域に相当するため低い画素値を示す領域として表されるが、気管支壁は比較的高い画素値を示す円柱あるいは線状の構造物として表される。そこで、画素ごとに画素値の分布に基づく形状の構造解析を行って気管支を抽出する。
【００３８】
気管支は多段階に分岐し、末端に近づくほど気管支の径は小さくなっていく。気管支画像生成部２２は、異なるサイズの気管支を検出することができるように、３次元画像Ｖ０を多重解像度変換して解像度が異なる複数の３次元画像を生成し、各解像度の３次元画像ごとに検出アルゴリズムを適用することにより、異なるサイズの管状構造物を検出する。
【００３９】
まず、各解像度において、３次元画像の各画素のヘッセ行列を算出し、ヘッセ行列の固有値の大小関係から管状構造物内の画素であるか否かを判定する。ヘッセ行列は、各軸（３次元画像のｘ軸、ｙ軸、ｚ軸）方向における濃度値の２階の偏微分係数を要素とする行列であり、下式のように３×３行列となる。
【００４０】
【数１】
0006371729.tif 000002
任意の画素におけるヘッセ行列の固有値をλ１、λ２、λ３としたとき、固有値のうち２つの固有値が大きく、１つの固有値が０に近い場合、例えば、λ３、λ２≫λ１、λ１≒０を満たすとき、その画素は管状構造物であることが知られている。また、ヘッセ行列の最小の固有値（λ１≒０）に対応する固有ベクトルが管状構造物の主軸方向に一致する。
【００４１】
気管支はグラフ構造で表すことができるが、このようにして抽出された管状構造物は、腫瘍等の影響により、全ての管状構造物が繋がった１つのグラフ構造として検出されるとは限らない。そこで、３次元画像Ｖ０全体からの管状構造物の検出が終了した後、抽出された各管状構造物が一定の距離内にあり、かつ抽出された２つの管状構造物上の任意の点を結ぶ基本線の向きと各管状構造物の主軸方向とがなす角が一定角度以内であるかについて評価することにより、複数の管状構造物が接続されるものであるか否かを判定して、抽出された管状構造物の接続関係を再構築する。この再構築により、気管支のグラフ構造の抽出が完了する。
【００４２】
そして、気管支画像生成部２２は、抽出したグラフ構造を、開始点、端点、分岐点および辺に分類し、開始点、端点および分岐点を辺で連結することによって、気管支を表す３次元のグラフ構造を気管支画像Ｂ０として得ることができる。なお、グラフ構造の生成方法としては、上述した方法に限定されるものではなく、他の方法を採用するようにしてもよい。
【００４３】
位置情報取得部２３は、位置検出装置３４が検出した位置情報Ｑ０を取得する。
【００４４】
通過位置情報取得部２４は、位置情報Ｑ０を用いて、気管支における内視鏡先端３Ｂの通過位置を表す通過位置情報Ｑ１を取得する。このため、通過位置情報取得部２４は、気管支画像Ｂ０の座標系の基準点と位置情報Ｑ０の座標系の基準点とを一致させることにより、気管支画像Ｂ０の座標系と位置情報Ｑ０の座標系とを一致させる。これにより、位置情報Ｑ０を用いて、気管支画像Ｂ０における内視鏡先端３Ｂの位置に対応する位置を特定することができる。通過位置情報取得部２４は、気管支画像Ｂ０における位置情報Ｑ０に対応する位置の３次元座標を通過位置情報Ｑ１として取得する。なお、気管支画像Ｂ０の座標系と、位置情報Ｑ０の座標系とが一致していれば、通過位置情報Ｑ１は位置情報Ｑ０と一致する。また、通過位置情報Ｑ１は、位置情報Ｑ０と同様のサンプリングレートにより取得されるものとする。
【００４５】
なお、被検体の呼吸に同期させたタイミングで通過位置情報Ｑ１を取得してもよい。例えば、呼気のタイミングあるいは吸気のタイミングで通過位置情報Ｑ１を取得してもよい。これにより、呼吸による位置情報Ｑ０のズレを補償することができるため、通過位置情報Ｑ１を精度よく取得することができる。
【００４６】
また、被検体の動きを検出し、動きに応じて通過位置情報Ｑ１を修正してもよい。この場合、被検体の動きを検出するモーションセンサを用意し、被検体の胸にモーションセンサ（以下単にセンサとする）を貼り付けて、センサにより被検体の動きを検出する。動きは、被検体の動きを３次元のベクトルで表したものとなる。そして、通過位置情報取得部２４において、位置情報Ｑ０に基づいて取得した通過位置情報Ｑ１を、センサが検出した動きに応じて補正すればよい。なお、センサが検出した動きに応じて、位置検出装置３４において位置情報Ｑ０を補正してもよい。この場合、通過位置情報取得部２４は、位置情報Ｑ０に応じて取得された通過位置情報Ｑ１は、被検体の動きが補正されたものとなる。
【００４７】
また、例えば、特開２０１３−１５０６５０号公報に記載された、気管支画像Ｂ０と実内視鏡画像Ｔ０とのマッチングを行うことにより、通過位置情報Ｑ１を取得してもよい。ここで、マッチングとは、気管支画像Ｂ０によって表される気管支と、内視鏡先端３Ｂの気管支内における実際の位置との位置合わせを行う処理である。このために、通過位置情報取得部２４は、内視鏡先端３Ｂの気管支内における経路情報を取得する。具体的には、位置検出装置３４が検出した内視鏡先端３Ｂの位置を、スプライン曲線等により近似した線分を経路情報として取得する。そして、図３に示すように、内視鏡経路上に５ｍｍ〜１ｃｍ程度の十分に細かい範囲間隔でマッチング候補点Ｐｎ１，Ｐｎ２，Ｐｎ３，・・・を設定するとともに、気管支形状上に同様の範囲間隔でマッチング候補点Ｐｋ１，Ｐｋ２，Ｐｋ３・・・を設定する。
【００４８】
そして、通過位置情報取得部２４は、内視鏡経路のマッチング候補点と、気管支形状のマッチング候補点とを内視鏡挿入位置Ｓｎ，Ｓｋから順番に対応づけることによってマッチングを行う。これにより、気管支画像Ｂ０上における現在の内視鏡先端３Ｂの位置を特定することができる。通過位置情報取得部２４は、特定した位置の３次元座標を、通過位置情報Ｑ１として取得する。
【００４９】
通過可否情報取得部２５は、気管支における内視鏡先端３Ｂが通過可能か否かを表す通過可否情報を取得する。詳細には、内視鏡先端３Ｂが通過可能であることを表す通過可能情報Ｑ２および内視鏡先端３Ｂが通過不可能であることを表す通過不可能情報Ｑ３を取得する。なお、通過可能情報Ｑ２および通過不可能情報Ｑ３をまとめて通過可否情報と称する。本実施形態においては、気管支の分岐位置の間の区画である分岐間区画ごとに、通過可否情報を取得する。
【００５０】
図４は通過可否情報の取得を説明するための図である。図４に示すように、通過可否情報取得部２５は、気管支画像Ｂ０上に分岐位置Ｍ１，Ｍ２，Ｍ３．．．（以下、Ｍｉとする）を設定し、２つの分岐位置の間に、通過可否情報を取得する分岐間区画Ｃ１，Ｃ２，Ｃ３．．．（以下、Ｃｊとする）を設定する。そして、通過可否情報取得部２５は、各分岐間区画において、５ｍｍ〜１ｃｍ程度の十分に細かい範囲間隔で、気管支の断面積を算出し、断面積が最小となる断面を求める。ここで、気管支の断面は楕円形状をなしているため、通過可否情報取得部２５は、求めた断面の短軸を求める。通過可否情報取得部２５は、求めた短軸を対象とする分岐間区画Ｃｊの気管支径ｄｊとする。
【００５１】
さらに、通過可否情報取得部２５は、各分岐間区画Ｃｊの気管支径ｄｊと内視鏡先端３Ｂの直径ｄ１とを比較し、ｄｊ＞ｄ１であれば、対象とする分岐間区画Ｃｊについて、内視鏡先端３Ｂの通過が可能である旨の通過可能情報Ｑ２を取得する。ｄｊ≦ｄ１であれば、対象とする分岐間区画Ｃｊについて、内視鏡先端３Ｂの通過が不可能である旨の通過不可能情報Ｑ３を取得する。
【００５２】
通過可否情報取得部２５は、気管支画像Ｂ０における全ての分岐間区画Ｃｊについて通過可否情報を取得する。なお、気管支は末端に向かうほどその径は小さくなる。このため、通過可否情報取得部２５は、気管支の入り口（すなわち人体の口に近い部分）から気管支の末端に向けて通過可否情報の取得を行う。そして、ある分岐間区画Ｃｊにおいて通過不可能情報Ｑ３が取得された場合、そこよりも先の気管支の分岐間区画については、通過可否情報を取得することなく、通過不可能情報Ｑ３を割り当てるようにしてもよい。これにより、通過可否情報の取得のための演算量を低減することができる。
【００５３】
なお、分岐間区画Ｃｊごとに通過可否情報を取得することに代えて、気管支画像Ｂ０の全体において、５ｍｍ〜１ｃｍ程度の十分に細かい範囲間隔で、通過可否情報を取得するようにしてもよい。この場合においても、気管支の入り口から気管支の末端に向けて通過可否情報の取得を行い、ある位置において通過が不可能である旨の通過不可能情報Ｑ３が取得された場合、そこよりも先の気管支については、通過不可能情報Ｑ３を割り当てるようにしてもよい。
【００５４】
仮想内視鏡画像生成部２６は、３次元画像Ｖ０から、実内視鏡画像Ｔ０の視点に対応する３次元画像Ｖ０中の視点から見た、気管支内壁を描写した仮想内視鏡画像Ｋ０を生成する。以下、仮想内視鏡画像Ｋ０の生成について説明する。
【００５５】
仮想内視鏡画像生成部２６は、まず、通過位置情報取得部２４が取得した最新の通過位置情報Ｑ１を用いて、気管支画像Ｂ０における通過位置情報Ｑ１により表される位置、すなわち内視鏡先端３Ｂの位置を視点として、その視点から放射線状に伸ばした複数の視線上の３次元画像を所定の投影面に投影した中心投影による投影画像を取得する。この投影画像は、内視鏡の先端位置において撮影を行ったものとして仮想的に生成された仮想内視鏡画像Ｋ０となる。なお、中心投影の具体的な方法としては、例えば公知のボリュームレンダリング手法等を用いることができる。また、仮想内視鏡画像Ｋ０の画角（視線の範囲）および視野の中心（投影方向の中心）は、使用者による入力等によってあらかじめ設定されているものとする。生成された仮想内視鏡画像Ｋ０は表示制御部２７に出力される。
【００５６】
表示制御部２７は、気管支画像Ｂ０、実内視鏡画像Ｔ０および仮想内視鏡画像Ｋ０をディスプレイ１４に表示する。この際、表示制御部２７は、通過位置情報Ｑ１に基づいて、内視鏡先端３Ｂが通過した位置と未通過の位置との表示態様を変更して、気管支画像Ｂ０を表示する。本実施形態においては、表示制御部２７は、内視鏡先端３Ｂが通過した位置、すなわち通過位置情報Ｑ１が取得された位置に、黒丸のドットを表示することにより、内視鏡先端３Ｂが通過した位置と未通過の位置との表示態様を変更する。なお、ドットに代えて、内視鏡先端３Ｂが通過した位置に、あらかじめ定められたマークを付与してもよく、模様を付与するようにしてもよい。また、気管支画像Ｂ０において、内視鏡先端３Ｂが通過した位置と未通過の位置との色または模様を変更してもよい。また、内視鏡先端３Ｂが通過した位置と未通過の位置との明るさ、コントラスト、不透明度および鮮鋭度の少なくとも１つを変更するようにしてもよい。
【００５７】
また、表示制御部２７は、通過可否情報に基づいて、気管支画像Ｂ０における内視鏡先端３Ｂが通過可能な部分と通過不可能な部分との表示態様を変更して、気管支画像Ｂ０をディスプレイ１４に表示する。本実施形態においては、表示制御部２７は、気管支画像Ｂ０における内視鏡が通過可能な部分と通過不可能な部分との色を変更して、気管支画像Ｂ０をディスプレイ１４に表示する。なお、色の変更に代えて、付与する模様を変更してもよい。また、通過可能な部分と通過不可能な部分との明るさ、コントラスト、不透明度および鮮鋭度の少なくとも１つを変更するようにしてもよい。
【００５８】
図５はディスプレイ１４に表示された気管支画像Ｂ０、実内視鏡画像Ｔ０および仮想内視鏡画像Ｋ０を示す図である。図５に示すように、気管支画像Ｂ０には、内視鏡先端３Ｂが通過した位置を表す、ドット状の複数のマーク４０が付与されている。また、内視鏡先端３Ｂが通過可能な気管支と通過不可能な気管支の色が異なるものとされている。なお、図５においては、通過不可能な気管支のみグレーにて表すことにより、通過可能な気管支と通過不可能な気管支とで色が異なることを示している。
【００５９】
次いで、本実施形態において行われる処理について説明する。図６は本実施形態において行われる処理を示すフローチャートである。なお、３次元画像Ｖ０は画像取得部２１により取得されてストレージ１３に保存されているものとする。まず、気管支画像生成部２２が、３次元画像Ｖ０から気管支画像Ｂ０を生成する（ステップＳＴ１）。なお、気管支画像Ｂ０はあらかじめ生成してストレージ１３に保存しておくようにしてもよい。また、通過可否情報取得部２５が、気管支における内視鏡先端３Ｂが通過可能か否かを表す通過可否情報を取得する（ステップＳＴ２）。なお、通過可否情報はあらかじめ生成してストレージ１３に保存しておくようにしてもよい。また、気管支画像Ｂ０の生成と通過可否情報の取得とを並列に行ってもよく、通過可否情報の取得を気管支画像Ｂ０の生成よりも先に行ってもよい。
【００６０】
そして、画像取得部２１が実内視鏡画像Ｔ０を取得し（ステップＳＴ３）、位置情報取得部２３が、位置検出装置３４が検出した位置情報Ｑ０を取得し（ステップＳＴ４）、通過位置情報取得部２４が、位置情報Ｑ０を用いて、気管支における内視鏡先端３Ｂの通過位置を表す通過位置情報Ｑ１を取得する（ステップＳＴ５）。次いで、仮想内視鏡画像生成部２６が、３次元画像Ｖ０から、実内視鏡画像Ｔ０の視点に対応する３次元画像Ｖ０中の視点から見た、気管支内壁を描写した仮想内視鏡画像Ｋ０を生成する（ステップＳＴ６）。そして、表示制御部２７が、気管支画像Ｂ０、実内視鏡画像Ｔ０および仮想内視鏡画像Ｋ０をディスプレイ１４に表示し（画像表示：ステップＳＴ７）、ステップＳＴ３にリターンする。なお、ディスプレイ１４に表示された気管支画像Ｂ０においては、図５に示すように、内視鏡先端３Ｂが通過した位置にマーク４０が付与され、内視鏡先端３Ｂが通過可能な部分と通過不可能な部分との色が変更されている。
【００６１】
このように、本実施形態においては、通過位置情報Ｑ１を用いて、気管支画像Ｂ０における内視鏡先端３Ｂが通過した部分と未通過の部分との表示状態を変更し、通過可否情報を用いて、気管支画像Ｂ０における内視鏡先端３Ｂが通過可能な部分と通過不可能な部分との表示状態を変更して、気管支画像Ｂ０を表示するようにしたものである。このため、表示された気管支画像Ｂ０を観察することにより、内視鏡先端３Ｂが通過した経路および未通過の経路を容易に認識でき、かつ気管支における内視鏡先端３Ｂが通過可能な部分および通過不可能な部分を容易に認識することができる。したがって、内視鏡を用いた気管支の検査を効率よく行うことができる。
【００６２】
なお、上記実施形態においては、気管支画像Ｂ０において、気管支の径に応じて気管支の表示状態を変更してもよい。例えば、上述した分岐間区画ごとに断面積が最小となる面の短軸を気管支の径として求め、求めた径の大きさに応じて、気管支画像Ｂ０における分岐間区画の色を異なるものとしてもよい。この場合、気管支の径が２ｍｍ未満の場合には赤、２ｍｍ以上５ｍｍ未満の場合には青、５ｍｍ以上の場合には黄色というように色分けをしてもよい。図７は気管支の径に応じて色分けがなされた気管支画像を示す図である。なお、図７においては、赤色を濃いグレー、青色を薄いグレー、黄色を無色により表している。これにより、気管支画像Ｂ０を見れば、気管支の径を容易に認識することができる。また、気管支の径の色分けは３段階に分けるものに限定されるものではなく、２段階に分けてもよく、４段階以上に分けてもよい。また、気管支の径に応じた色の変更に代えて、気管支の明るさ、コントラスト、不透明度および鮮鋭度の少なくとも１つを変更するようにしてもよい。
【００６３】
また、上記実施形態において、気管支画像Ｂ０における内視鏡先端３Ｂが通過した経路の途中に分岐があり、その分岐から先の経路が未通過の経路の場合、通過した経路の表示状態をさらに変更してもよい。例えば、図８に示す気管支画像Ｂ０において、内視鏡先端３Ｂが通過した経路にはマーク４０が付与されており、内視鏡先端３Ｂは、２つの気管支４４，４５に分かれる分岐位置４６を通過し、気管支４４の方向に進んでいる。この場合、気管支４５は未検査の状態にある。このため、気管支画像Ｂ０における未検査の気管支４５の部分の色を変更することが好ましい。ここで、図８においては、未検査の部分の色を変更することを、未検査の部分にハッチングを付与することにより示している。これにより、気管支画像Ｂ０を見れば、未検査の気管支を容易に認識することができる。なお、未検査の部分の色を変更することに代えて、検査済みの部分の色を変更してもよい。また、色の変更に代えて、気管支の明るさ、コントラスト、不透明度および鮮鋭度の少なくとも１つを変更するようにしてもよい。
【００６４】
また、上記実施形態においては、通過位置情報取得部２４において、３次元画像Ｖ０と実内視鏡画像Ｔ０とのマッチングを行うことにより、通過位置情報Ｑ１を取得するようにしてもよい。このようなマッチングを行う場合、気管支の分岐位置以外の位置においては、３次元画像Ｖ０とのマッチングを正確に行うことができない。このため、３次元画像Ｖ０と実内視鏡画像Ｔ０とのマッチングを行う場合、気管支の分岐位置においてのみマッチングを行って、通過位置情報Ｑ１を取得することが好ましい。
【００６５】
また、上記実施形態においては、３次元画像Ｖ０から気管支画像Ｂ０を抽出し、気管支画像Ｂ０を用いて仮想内視鏡画像Ｋ０を生成しているが、気管支画像Ｂ０を抽出することなく、３次元画像Ｖ０から仮想内視鏡画像Ｋ０を生成してもよい。
【００６６】
また、上記実施形態においては、本発明の内視鏡検査支援装置を気管支の観察に適用した場合について説明したが、これに限定されるものではなく、血管のような分岐構造を有する管状構造物を内視鏡により観察する場合にも、本発明を適用できる。
【００６７】
以下、本発明の実施態様の作用効果について説明する。
【００６８】
管状構造物の径に応じて、管状構造物の表示状態を変更することにより、管状構造物の径を容易に認識することができる。
【００６９】
管状構造物画像における内視鏡が通過した部分の途中に分岐があり、分岐から先の部分が未通過の場合、通過した部分または未通過の部分の表示状態をさらに変更してもよい。これにより、未検査の部分が残っていることを認識できるため、検査のし忘れを防止することができる。
【００７０】
被検体の呼吸に同期させたサンプリング間隔で通過位置情報を取得することにより、呼吸による管状構造物の位置の変化を抑制でき、その結果、通過位置情報を精度よく取得することができる。
【００７１】
被検体の動きを検出し、動きに応じて通過位置情報を修正することにより、被検体の動きによる管状構造物の位置の変化を抑制でき、その結果、通過位置情報を精度よく取得することができる。
【００７２】
管状構造物における分岐構造により区切られる区画ごとに、通過可否情報を用いて、管状構造物画像における内視鏡が通過可能な部分と通過不可能な部分との表示状態を変更してもよい。これにより、分岐により区切られる区画ごとに、内視鏡の通過の可否を認識することができる。
【符号の説明】
【００７３】
３    内視鏡装置
４    ３次元画像撮影装置
５    画像保管サーバ
６    内視鏡検査支援装置
１１    ＣＰＵ
１２    メモリ
１３    ストレージ
１４    ディスプレイ
１５    入力部
２１    画像取得部
２２    気管支画像生成部
２３    位置情報取得部
２４    通過位置情報取得部
２５    通過可否情報取得部
２６    仮想内視鏡画像生成部
２７    表示制御部
【図１】
0006371729.tif 000003
【図２】
0006371729.tif 000004
【図３】
0006371729.tif 000005
【図４】
0006371729.tif 000006
【図５】
0006371729.tif 000007
【図６】
0006371729.tif 000008
【図７】
0006371729.tif 000009
【図８】
0006371729.tif 000010