(57)【特許請求の範囲】
【請求項１】
人体を撮影して得られた３次元画像を取得する３次元画像取得部と、
前記３次元画像に含まれる管状構造物を抽出する管状構造物抽出部と、
前記管状構造物に含まれる分岐点を体軸方向に直交する２次元平面上に投影した分岐点投影画像を生成する分岐点投影画像生成部とを備えたことを特徴とする医用画像診断支援装置。
【請求項２】
前記管状構造物における所定の始点から終点までの経路を設定する経路設定部を備え、
前記分岐点投影画像生成部が、前記管状構造物に含まれる分岐点のうち、前記経路上の分岐点を含む一部の分岐点のみを投影した前記分岐点投影画像を生成するものであることを特徴とする請求項１記載の医用画像診断支援装置。
【請求項３】
前記分岐点投影画像生成部が、前記管状構造物の開始点から予め設定した範囲の前記分岐点と前記経路上の分岐点のみを投影した前記分岐点投影画像を生成するものであることを特徴とする請求項２記載の医用画像診断支援装置。
【請求項４】
前記分岐点投影画像生成部が、前記経路上の分岐点をその他の分岐点とは異なる表示態様として前記分岐点投影画像を生成するものであることを特徴とする請求項２または３記載の医用画像診断支援装置。
【請求項５】
前記分岐点投影画像生成部が、前記経路上の分岐点の前記体軸方向の位置に応じて該分岐点の表示態様を変化させて前記分岐点投影画像を生成するものであることを特徴とする請求項２から４いずれか１項記載の医用画像診断支援装置。
【請求項６】
前記３次元画像に基づいて、前記人体内に挿入された内視鏡によって撮影を行ったものとして仮想的に生成された仮想内視鏡画像を取得する仮想内視鏡画像生成部を備え、
該仮想内視鏡画像生成部が、前記経路上に沿って仮想的な前記内視鏡の視点位置を変化させた前記仮想内視鏡画像を生成するものであり、
前記分岐点投影画像生成部が、前記仮想的な内視鏡の視点位置が通過した後の前記経路上の分岐点を通過前の前記経路上の分岐点とは異なる表示態様として前記分岐点投影画像を生成するものであることを特徴とする請求項２から５いずれか１項記載の医用画像診断支援装置。
【請求項７】
前記経路上における前記仮想的な内視鏡の視点位置の移動指示を受け付ける移動指示受付部を備えたことを特徴とする請求項６記載の医用画像診断支援装置。
【請求項８】
前記分岐点投影画像を表示画面内に表示させる表示制御部を備え、
前記表示制御部が、前記体軸方向と前記表示画面の画面奥行方向とが一致するようにして前記分岐点投影画像を表示させるものであることを特徴とする請求項１から７いずれか１項記載の医用画像診断支援装置。
【請求項９】
前記表示制御部が、前記管状構造物の開始点に対応する前記分岐点投影画像の基準点が前記表示画面の中心に位置するように前記分岐点投影画像を表示させるものであることを特徴とする請求項８記載の医用画像診断支援装置。
【請求項１０】
前記表示制御部が、前記管状構造物の開始点から各分岐点までの距離情報を前記分岐点投影画像とともに表示させるものであることを特徴とする請求項８または９記載の医用画像診断支援装置。
【請求項１１】
前記分岐点投影画像生成部が、前記管状構造物に含まれる複数の分岐点のそれぞれについて、該分岐点からの分岐先を該分岐点を含む２次元平面上に投影した投影画像を生成し、該生成した分岐点毎の投影画像を前記分岐点投影画像に重ね合せるものであることを特徴とする請求項１から１０いずれか１項記載の医用画像診断支援装置。
【請求項１２】
前記管状構造物が、気管支であることを特徴とする請求項１から１１記載の医用画像診断支援装置。
【請求項１３】
前記分岐点投影画像が、前記分岐点を表す画像と該分岐点を表す画像間を結ぶ線画像とを含む請求項１から１２いずれか１項記載の医用画像診断支援装置。
【請求項１４】
人体を撮影して得られた３次元画像を取得し、
該取得した３次元画像に含まれる管状構造物を抽出し、
該抽出した管状構造物に含まれる分岐点を体軸方向に直交する２次元平面上に投影した分岐点投影画像を生成することを特徴とする医用画像診断支援方法。
【請求項１５】
コンピュータを、
人体を撮影して得られた３次元画像を取得する３次元画像取得部と、
前記３次元画像に含まれる管状構造物を抽出する管状構造物抽出部と、
前記管状構造物に含まれる分岐点を体軸方向に直交する２次元平面上に投影した分岐点投影画像を生成する分岐点投影画像生成部として機能させることを特徴とする医用画像診断支援プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、被検体を撮影して得られた３次元画像を用いて気管支のような体内の管路への内視鏡の挿入を支援する医用画像診断支援装置および方法並びにプログラムに関するものである。
【背景技術】
【０００２】
近年、医療現場では画像による診断が広く行われるようになり、Ｘ線ＣＴ（Computed Tomography）装置などで撮影された被検体の３次元画像を用いて患部の診断が行われるようになってきた。ＣＴ装置は、被検体を中心に対向するように設けられたＸ線照射部と検出部を、連続的に回転させつつ被検体を体軸方向に移動させることにより、被検体を中心にした螺旋状の連続スキャンを行い、連続するスライスの断層像から３次元のボリュームデータを作成し、このボリュームデータに画像処理を施して診断に利用される。
【０００３】
例えば、胸部を撮影したボリュームデータにボリュームレンダリング処理を施すことにより肺の気管支の３次元画像を生成することができる。この気管支の３次元画像は、肺癌等が疑われる異常部の位置を３次元的に把握するのに利用され、その異常部の位置まで気管支内視鏡を挿入し、生検鉗子等で組織のサンプルを採取して生検が行われる。しかし、気管支のような多段階に分岐する管路内を通って、気管支の末端に近い異常部まで内視鏡の先端を短時間で到達させるのは困難である。
【０００４】
そこで、ボリュームデータに基づいて気管支の３次元画像を作成し、３次元画像上で管路に沿って気管支の入り口から目的部位まで到着する経路を求め、経路に沿った管路内の気管支の分岐点の仮想内視鏡画像を作成し、その仮想内視鏡画像を表示することで、気管支内視鏡を目的部位までナビゲーションする装置が提案されたものがある。
【０００５】
上述の通り気管支は多段階に分岐しているため経路上には複数の分岐点があるが、分岐点の画像はいずれも類似しているため、単に経路上の分岐点の仮想内視鏡画像を表示しても、どの位置の分岐点の画像であるかの区別がつかない。
【０００６】
そこで、入り口と目的部位を結ぶ複数の経路を作成し、経路毎に存在する複数の分岐点の仮想内視鏡画像の縮小画像（サムネイル）を作成して並べて表示し、その複数の縮小画像の中から現在位置の仮想内視鏡画像の縮小画像を選択してその選択した縮小画像の枠を太枠もしくはカラー表示することによって、現在、どの経路のどの分岐点に挿入中であるかを明確に示すことができる内視鏡挿入支援装置が提案されている。（例えば、特許文献１）。
【先行技術文献】
【特許文献】
【０００７】
【特許文献１】特開２００９−０５６１４３号公報3
【発明の概要】
【発明が解決しようとする課題】
【０００８】
しかしながら、上述した方法によって表示される仮想内視鏡画像から把握することができるのは、現在位置において次に進むべき分岐方向だけであって、気管支全体の中における現在位置や進行方向を即座に把握することは困難である。気管支全体の中における現在位置や進行方向を把握するために気管支の３次元画像を同時に表示することも考えられるが、このような表示をしたとしても、やはり現在位置と進行方向とを同時に認識することは困難である。
【０００９】
本発明は、上記事情に鑑み、たとえば内視鏡の挿入シミュレーションを行う場合などにおいて、気管支全体の中における仮想内視鏡画像の現在位置や進行方向を即座に把握することができる医用画像診断支援装置および方法並びにプログラムを提供することを目的とするものである。
【課題を解決するための手段】
【００１０】
本発明の医用画像診断支援装置は、人体を撮影して得られた３次元画像を取得する３次元画像取得部と、３次元画像に含まれる管状構造物を抽出する管状構造物抽出部と、管状構造物に含まれる分岐点を体軸方向に直交する２次元平面上に投影した分岐点投影画像を生成する分岐点投影画像生成部とを備えたことを特徴とする。
【００１１】
また、上記本発明の医用画像診断支援装置においては、管状構造物における所定の始点から終点までの経路を設定する経路設定部を設け、分岐点投影画像生成部を、管状構造物に含まれる分岐点のうち、経路上の分岐点を含む一部の分岐点のみを投影した分岐点投影画像を生成するものとできる。
【００１２】
また、分岐点投影画像生成部を、管状構造物の開始点から予め設定した範囲の分岐点と経路上の分岐点のみを投影した分岐点投影画像を生成するものとできる。
【００１３】
また、分岐点投影画像生成部を、経路上の分岐点をその他の分岐点とは異なる表示態様として分岐点投影画像を生成するものとできる。
【００１４】
また、分岐点投影画像生成部を、経路上の分岐点の体軸方向の位置に応じてその分岐点の表示態様を変化させて分岐点投影画像を生成するものとできる。
【００１５】
また、３次元画像に基づいて、人体内に挿入された内視鏡によって撮影を行ったものとして仮想的に生成された仮想内視鏡画像を取得する仮想内視鏡画像生成部を設け、仮想内視鏡画像生成部を、経路上に沿って仮想的な内視鏡の視点位置を変化させた仮想内視鏡画像を生成するものとし、分岐点投影画像生成部を、仮想的な内視鏡の視点位置が通過した後の経路上の分岐点を通過前の経路上の分岐点とは異なる表示態様として分岐点投影画像を生成するものとできる。
【００１６】
また、経路上における仮想的な内視鏡の視点位置の移動指示を受け付ける移動指示受付部を設けることができる。
【００１７】
また、分岐点投影画像を表示画面内に表示させる表示制御部を設け、表示制御部を、上記体軸方向と表示画面の画面奥行方向とが一致するようにして分岐点投影画像を表示させるものとできる。
【００１８】
また、表示制御部を、管状構造物の開始点に対応する分岐点投影画像の基準点が表示画面の中心に位置するように分岐点投影画像を表示させるものとできる。
【００１９】
また、表示制御部を、管状構造物の開始点から各分岐点までの距離情報を分岐点投影画像とともに表示させるものとできる。
【００２０】
また、分岐点投影画像生成部を、管状構造物に含まれる複数の分岐点のそれぞれについて、分岐点からの分岐先をその分岐点を含む２次元平面上に投影した投影画像を生成し、その生成した分岐点毎の投影画像を分岐点投影画像に重ね合せるものとできる。
【００２１】
また、管状構造物を気管支とすることができる。
【００２２】
本発明の医用画像診断支援方法は、人体を撮影して得られた３次元画像を取得し、その取得した３次元画像に含まれる管状構造物を抽出し、その抽出した管状構造物に含まれる分岐点を体軸方向に直交する２次元平面上に投影した分岐点投影画像を生成することを特徴とする。
【００２３】
本発明の医用画像診断支援プログラムは、コンピュータを、人体を撮影して得られた３次元画像を取得する３次元画像取得部と、３次元画像に含まれる管状構造物を抽出する管状構造物抽出部と、管状構造物に含まれる分岐点を体軸方向に直交する２次元平面上に投影した分岐点投影画像を生成する分岐点投影画像生成部として機能させることを特徴とする。
【発明の効果】
【００２４】
本発明の医用画像診断支援装置および方法並びにプログラムによれば、人体を撮影して得られた３次元画像を取得し、その３次元画像に含まれる管状構造物を抽出し、その管状構造物に含まれる分岐点を体軸方向に直交する２次元平面上に投影した分岐点投影画像を生成するようにしたので、たとえば、この分岐点投影画像を用いて仮想内視鏡画像の現在位置を表示するようにすれば、気管支などの管状構造物全体の中における仮想内視鏡画像の視点の現在位置や進行方向を即座に把握することができる。また、管状構造物全体における分岐点の相対的位置関係を即座に把握することができる。
【００２５】
また、上記本発明の医用画像診断支援装置において、管状構造物に含まれる分岐点のうち、経路上の分岐点を含む一部の分岐点のみを投影した分岐点投影画像を生成するようにした場合には、分岐点が多すぎて分岐点投影画像が煩雑になるのを防止することができる。
【００２６】
また、経路上の分岐点をその他の分岐点とは異なる表示態様として分岐点投影画像を生成するようにした場合には、経路上における分岐点を即座に把握することができる。
【００２７】
また、経路上の分岐点の体軸方向の位置に応じてその分岐点の表示態様を変化させて分岐点投影画像を生成するようにした場合には、たとえば手前側の分岐点から奥側の分岐点に向かって分岐点の色を薄くするようにした場合には、奥行感のある分岐点投影画像を生成することができる。
【００２８】
また、仮想的な内視鏡の視点位置が通過した後の経路上の分岐点を通過前の経路上の分岐点とは異なる表示態様として分岐点投影画像を生成するようにした場合には、仮想内視鏡画像の視点の現在位置をより即座に把握することができる。
【００２９】
また、管状構造物の開始点から各分岐点までの距離情報を分岐点投影画像とともに表示すようにした場合には、各分岐点までの距離も即座に把握することができる。
【００３０】
また、管状構造物に含まれる複数の分岐点のそれぞれについて、分岐点からの分岐先をその分岐点を含む２次元平面上に投影した投影画像を生成し、その生成した分岐点毎の投影画像を分岐点投影画像に重ね合せるようにした場合には、各分岐点の分岐先の様子についても即座に把握することができる。
【図面の簡単な説明】
【００３１】
【図１】本発明の医用画像診断支援装置の一実施形態を用いた内視鏡画像診断支援システムの概略構成を示すブロック図
【図２】グラフ構造の一例を示す図
【図３】分岐点投影画像の一例を示す図
【図４】気管支３次元画像の一例を示す図
【図５】仮想内視鏡画像の一例を示す図
【図６】本発明の医用画像診断支援装置の一実施形態を用いた内視鏡画像診断支援システムの作用を説明するための図
【図７】分岐点投影画像の更新の様子を説明するための図
【図８】本発明の医用画像診断支援装置のその他の実施形態を用いた内視鏡画像診断支援システムの概略構成を示すブロック図
【図９】所定の分岐点の投影画像を生成する方法を説明するための図
【図１０】所定の分岐点の投影画像の一例を示す図
【図１１】距離情報が付加された分岐点投影画像の一例を示す図
【発明を実施するための形態】
【００３２】
以下、本発明の医用画像診断支援装置および方法並びにプログラムの一実施形態を用いた内視鏡画像診断支援システムについて、図面を参照しながら詳細に説明する。図１は、本実施形態の内視鏡画像診断支援システムの概略構成を示すブロック図である。
【００３３】
本実施形態の内視鏡画像診断支援システム１は、図１に示すように、内視鏡画像診断支援装置１０と、モニタ２０と、入力装置３０と、３次元画像保管サーバ４０とを備えている。
【００３４】
内視鏡画像診断支援装置１０は、コンピュータに本実施形態の医用画像診断支援プログラムをインストールすることによって構成されたものである。 
そして、内視鏡画像診断支援装置１０は、中央処理装置（ＣＰＵ）および半導体メモリや上述した医用画像診断支援プログラムがインストールされたハードディスクやＳＳＤ(Solid State Drive)等のストレージデバイスなどを備えており、これらのハードウェアによって、図１に示すような３次元画像取得部１１、グラフ構造生成部１２（管状構造物抽出部に相当する）、経路設定部１３、分岐点投影画像生成部１４、仮想内視鏡画像生成部１５、気管支３次元画像生成部１６および表示制御部１７が構成されている。そして、ハードディスクにインストールされた医用画像診断支援プログラムが中央処理装置によって実行されることによって上記各部がそれぞれ動作する。
【００３５】
３次元画像取得部１１は、内視鏡装置を用いた手術前または検査前などに予め撮影された被検体の３次元画像を取得するものである。３次元画像としては、たとえばＣＴ装置やＭＲＩ（Magnetic Resonance Imaging）装置などから出力されたスライスデータから再構成されたボリュームデータや、ＭＳ（Multi Slice）ＣＴ装置やコーンビームＣＴ装置から出力されたボリュームデータなどがある。３次元画像は、３次元画像保管サーバ４０に被検者の識別情報とともに予め保管されており、３次元画像取得部１１は、入力装置３０において入力された被検者の識別情報に対応する３次元画像を３次元画像保管サーバ４０から読み出すものである。
【００３６】
グラフ構造生成部１２は、３次元画像取得部１１によって取得された３次元画像が入力され、その入力された３次元画像に含まれる管状構造物のグラフ構造を生成するものである。本実施形態においては、３次元画像に含まれる気管支のグラフ構造を生成する。以下、このグラフ構造の生成方法の一例を説明する。
【００３７】
３次元画像に含まれる気管支は、気管支の内部の画素は空気領域に相当するためＣＴ画像上では低いＣＴ値（画素値）を示す領域として表れるが、気管支壁は比較的高いＣＴ値を示す円柱あるいは線状の構造物であると考えられる。そこで、各画素ごとにＣＴ値の分布に基づく形状の構造解析を行なって気管支を抽出する。
【００３８】
気管支は多段階に分岐し末端に近づくほど気管支の径は小さくなっていく。異なるサイズの気管支（管状構造物）を検出することができるように、予め、三次元画像を多重解像度変換したガウシアンピラミッド画像、つまり異なる解像度の複数の三次元画像を生成し、その生成したガウシアンピラミッドの各画像ごとに検出アルゴリズムを走査することで異なるサイズの管状構造物を検出する。
【００３９】
まず、各解像度の三次元画像の各画素のヘッセ行列を算出し、ヘッセ行列の固有値の大小関係から管状構造物内の画素であるかを判定する。ヘッセ行列は、各軸（三次元画像のｘ軸、ｙ軸、ｚ軸）方向における濃度値の２階の偏微分係数を要素とする行列であり、下式のように３×３行列となる。
【数１】
0005785120.tif 000002
【００４０】
任意の画素におけるヘッセ行列の固有値をλ１、λ２、λ３としたとき、固有値のうち２つの固有値が大きく、１つの固有値が０に近い場合、例えば、λ３、λ２≫λ１、λ１≒０を満たすとき、その画素は管状構造物であることが知られている。また、ヘッセ行列の最小の固有値（λ１≒０）に対応する固有ベクトルが管状構造物の主軸方向に一致する。
【００４１】
気管支はグラフ構造で表すことができるが、このようにして抽出された管状構造物は、腫瘍などの影響により、全ての管状構造物が繋がった１つのグラフ構造として検出されるとは限らない。そこで、三次元画像全体の判別が終了後、検出された管状構造物が一定の距離内にあり、かつ抽出された二つの管状構造物上の任意の点を結ぶ基本線の向きと各管状構造物の主軸方向とが成す角が一定角度以内であるかについて評価することにより、複数の管状構造物が接続されるものであるか否かを判定して抽出された管状構造物の接続関係を再構築する。この再構築により、気管支のグラフ構造の抽出が完了する（詳細は、特開２０１０-２２０７４２号公報などを参照）。
【００４２】
そして、抽出したグラフ構造を、開始点・端点・分岐点・辺に分類し、開始点・端点・分岐点を辺で連結することによって、気管支を表すグラフ構造を得ることができる。本実施形態においては、このグラフ構造の各位置における気管支の径や各辺の長さ（気管支の分岐点間の長さ）などの特徴量もグラフ構造とともに取得する。図２は、グラフ構造の一例を示すものである。図２では、分岐点を白丸、端点を黒丸、辺を線で表している。
【００４３】
なお、グラフ構造の生成方法としては、上述した方法に限らず、その他の方法を採用するようにしてもよい。
【００４４】
経路設定部１３は、グラフ構造生成部１２において生成されたグラフ構造における所定の始点から終点までの経路を設定するものである。具体的には、本実施形態における経路設定部１３は、グラフ構造の開始点を始点とし、肺に存在する腫瘍の位置を終点として経路を設定する。肺の腫瘍の位置については、画像処理などを用いて腫瘍を自動的に抽出することによって設定するようにしてもよいし、モニタ２０に表示された気管支の３次元画像上においてユーザがマウスなどの入力装置３０を用いて腫瘍の位置を指定することによって取得するようにしてもよい。なお、ここでいうグラフ構造の開始点は、気管支の入り口に相当することになる。
【００４５】
そして、経路設定部１３は、上述したようにグラフ構造の開始点と腫瘍の位置とが設定されると、その設定された開始点から腫瘍の位置に到達するまでの経路を探索する。なお、経路の探索には、従来から行われている種々の経路探索法を用いることができるが、探索する際、気管支の径・気管支の分岐先が曲がっている角度等に応じてコストを割り当てて、内視鏡の挿入に適した経路を探索するようにしてもよい。また、たとえば腫瘍の大きさがある程度大きい場合には、複数の経路を探索し、その複数の経路のうちの１つの経路を自動的に選択またはユーザによって選択するようにしてもよい。そして、経路設定部１３において設定された経路の情報は、分岐点投影画像生成部１４、仮想内視鏡画像生成部１５および気管支３次元画像生成部１６に出力される。
【００４６】
分岐点投影画像生成部１４は、グラフ構造生成部１２において生成された気管支のグラフ構造が入力され、その気管支のグラフ構造に含まれる複数の分岐点を体軸方向に直交する２次元平面上に投影した分岐点投影画像を生成するものである。
【００４７】
図３は、本実施形態において生成される分岐点投影画像の一例を示すものである。図３に示すｘ−ｙ平面が上述した体軸方向に直交する２次元平面であり、図３の紙面垂直方向（ｚ方向）が体軸方向である。
【００４８】
図３に示すように、分岐点投影画像は模式的に表された画像であり、グラフ構造における分岐点が円などで表され、グラフ構造における辺が直線で表される。そして、グラフ構造における開始点、すなわち気管支の入り口が分岐点投影画像における基準点として設定され、この基準点が表示画面（図３においては四角枠で表している）内において中心に位置するように生成される。
【００４９】
また、本実施形態の分岐点投影画像生成部１４は、グラフ構造に含まれる分岐点のうち、経路設定部１３において設定された経路上の分岐点を含む一部の分岐点のみを分岐点投影画像上に表すものである。すなわち、グラフ構造に含まれる全ての分岐点を投影するようにしたのでは、その数が多すぎて煩雑となるので、上述したように一部の分岐点のみを投影するようにする。表示対象となる一部の分岐点としては、たとえば、上述したように経路上の分岐点と、基準点から予め設定された数までの分岐点、たとえば基準点から３つ目までの分岐点や基準点から４つ目までの分岐点などとを含めるようにすればよい。なお、図３に示す分岐点投影画像は、説明のために見易いように簡略化して表したものであり、分岐点の数は正確なものではない。
【００５０】
また、本実施形態の分岐点投影画像生成部１４は、経路設定部１３において設定された経路上の分岐点および辺を、その他の分岐点および辺とは異なる表示態様として分岐点投影画像を生成するものである。具体的には、たとえば、図３に示すように経路上の分岐点および辺を、その他の分岐点および辺よりも太い線で表示したり、もしくはその他の分岐点および辺とは異なる色で表示したりする。
【００５１】
また、本実施形態の分岐点投影画像生成部１４は、後述する仮想内視鏡画像生成部１５における視点位置の移動に応じて経路上の分岐点の表示態様を変化させるものであるが、その作用については後で詳述する。
【００５２】
分岐点投影画像生成部１４において生成された分岐点投影画像は、表示制御部１７に出力される。
【００５３】
仮想内視鏡画像生成部１５は、３次元画像取得部１１によって取得された３次元画像が入力され、その入力された３次元画像に基づいて、気管支の内側から内視鏡を用いて撮影したと仮定した場合の仮想内視鏡画像をボリュームレンダリングにより取得するものである。そして、仮想内視鏡画像生成部１５によって取得された仮想内視鏡画像は、表示制御部１７に出力される。図５は仮想内視鏡画像の一例を示すものである。なお、仮想内視鏡画像の生成方法については、既に公知であるので詳細な説明は省略する。
【００５４】
仮想内視鏡画像の視点位置は、経路設定部１３において設定された経路に沿って移動するものである。視点位置を移動させる方法としては、たとえば経路の開始点から終点まで自動的に移動させるようにしてもよいし、もしくはモニタ２０に表示された気管支の３次元画像上において、ユーザがマウスなどの入力装置３０を用いて経路に沿ってカーソルを移動させることによって視点位置を移動させるようにしてもよい。なお、入力装置３０は、ユーザの所定の設定入力を受け付けるものであるが、上述したとおり移動指示受付部の機能も有するものである。
【００５５】
そして、仮想内視鏡画像生成部１５において設定された視点位置の情報は、分岐点投影画像生成部１４にも入力される。分岐点投影画像生成部１４は、入力された視点位置の情報に基づいて、視点位置が通過した後の経路上の分岐点および辺と、通過前の経路上の分岐点および辺とを異なる表示態様で表示させる。具体的には、たとえば、視点位置が通過した後の経路上の分岐点および辺と、通過前の経路上の分岐点および辺とを異なる色で表示するようにしてもよいし、異なるコントラストで表示するようにしてもよい。
【００５６】
気管支３次元画像生成部１６は、グラフ構造生成部１２において生成された気管支のグラフ構造に基づいて、気管支をボリュームレンダリングした気管支３次元画像を生成するものである。そして、気管支３次元画像生成部１６は、気管支３次元画像上に、経路設定部１３において設定された経路の画像を重ねたものを表示制御部１７に出力するものである。
【００５７】
表示制御部１７は、分岐点投影画像生成部１４から出力された分岐点投影画像と、仮想内視鏡画像生成部１５から出力された仮想内視鏡画像と、気管支３次元画像生成部１６から出力された経路の画像を含む気管支３次元画像とが入力され、これらを並べてモニタ２０に表示させるものである。
【００５８】
分岐点投影画像が表示される際には、図３に示すように、分岐点投影画像の投影方向（体軸方向）が表示画面の画面奥行方向（ｘ方向およびｙ方向に直交するｚ方向）と一致するように表示されるとともに、上述したように分岐点投影画像の基準点が表示画面の中心に位置するように表示される。
【００５９】
また、気管支３次元画像が表示される際には、図４に示すように、気管支３次元画像の体軸方向が表示画面の画面奥行方向（ｘ方向およびｙ方向に直交するｚ方向）と一致するように表示されるとともに、気管支３次元画像の入り口が表示画面の中心に位置するように表示される。
【００６０】
また、仮想内視鏡画像としては、気管支３次元画像に重ねて表示された経路上において設定された視点位置に基づいて生成されたものが表示される。
【００６１】
次に、本実施形態の内視鏡画像診断支援システム１の作用について、図６に示すフローチャートを参照しながら説明する。なお、以下の説明は、内視鏡装置による検査や手術の前における仮想内視鏡画像を用いた内視鏡挿入シミュレーション方法を説明したものである。
【００６２】
まず、ユーザによって入力装置３０を用いて被検者の識別情報が入力され、３次元画像取得部１１は、その入力された識別情報に対応する３次元画像を３次元画像保管サーバ４０から読み出して取得する（Ｓ１０）。
【００６３】
３次元画像取得部１１によって取得された３次元画像はグラフ構造生成部１２に出力され、グラフ構造生成部１２は、入力された３次元画像に含まれる気管支のグラフ構造を生成する（Ｓ１２）。
【００６４】
グラフ構造生成部１２において生成されたグラフ構造は気管支３次元画像生成部１６に出力され、気管支３次元画像生成部１６は、入力されたグラフ構造に基づいて、気管支のボリュームレンダリングを行って気管支３次元画像を生成し、これを表示制御部１７に出力する。そして、表示制御部１７は、図１１に示すような気管支３次元画像をモニタ２０に表示させる（Ｓ１４）。なお、このとき、図１１に示すように気管支３次元画像とともに腫瘍についても表示するようにしてもよい。
【００６５】
次いで、経路設定部１３は、グラフ構造生成部１２において生成されたグラフ構造の開始点を始点とし、肺に存在する腫瘍の位置を終点として経路を設定する（Ｓ１６）。
【００６６】
そして、経路設定部１３において設定された経路情報は表示制御部１７に出力され、表示制御部１７は、図４に示すように気管支３次元画像上に、入力された経路の情報を画像として表示させる。
【００６７】
次に、モニタ２０に表示された気管支３次元画像上において、ユーザによって入力装置３０を用いて気管支の入り口が仮想内視鏡画像の最初の視点位置として指定される（Ｓ１８）。そして、ユーザによって指定された視点位置の情報は、仮想内視鏡画像生成部１５と分岐点投影画像生成部１４とに出力される。
【００６８】
仮想内視鏡画像生成部１５は、視点位置が入力されると、その視点位置から経路に沿った方向を見た仮想内視鏡画像を生成し、その生成した仮想内視鏡画像を表示制御部１７に出力する（Ｓ２０）。
【００６９】
また、分岐点投影画像生成部１４にグラフ構造生成部１２において生成された気管支のグラフ構造が入力され、分岐点投影画像生成部１４は、その入力されたグラフ構造に含まれる複数の分岐点を体軸方向に直交する２次元平面上に投影した分岐点投影画像を生成する（Ｓ２０）。
【００７０】
そして、このとき分岐点投影画像生成部１４には、経路設定部１３において設定された経路の情報も入力され、分岐点投影画像生成部１４は、その経路の情報に基づいて、経路上の分岐点および辺をその他の分岐点および辺とは異なる表示態様として分岐点投影画像を生成する。具体的には、たとえば、図７（ａ）に示すように経路上の分岐点および辺を太い線とし、その他の分岐点および辺を細い線とする。
【００７１】
さらに分岐点投影画像生成部１４は、入力された仮想内視鏡画像の視点位置の情報に基づいて、気管支の入り口に対応する基準点の表示態様をその他の経路上の分岐点は異なる表示態様として分岐点投影画像を生成する。具体的には、たとえば、図７（ａ）に示すように基準点の色を青とし、その他の経路上の分岐点を赤とする。
【００７２】
そして、仮想内視鏡画像生成部１５によって生成された仮想内視鏡画像と分岐点投影画像生成部１４によって生成された分岐点投影画像とが表示制御部１７に出力される。表示制御部１７は、入力された分岐点投影画像と仮想内視鏡画像とを気管支３次元画像とともにモニタ２０に並べて表示する（Ｓ２２）。
【００７３】
次に、ユーザによって入力装置３０を用いて仮想内視鏡画像の視点位置が経路に沿って移動される（Ｓ２４）。この視点位置の移動にともなって、仮想内視鏡画像生成部１５は、その移動先の視点位置の仮想内視鏡画像を順次生成し、その生成した仮想内視鏡画像を表示制御部１７に順次出力する。表示制御部１７は、入力された仮想内視鏡画像に基づいて、モニタ２０に表示された仮想内視鏡画像を順次更新する（Ｓ２６）。
【００７４】
また、分岐点投影画像生成部１４は、仮想内視鏡画像の視点位置の移動にともなって、視点位置が通過した後の経路上の分岐点および辺と、通過前の経路上の分岐点および辺とを異なる表示態様とした分岐点投影画像を順次生成し、その生成した分岐点投影画像を表示制御部１７に順次出力する。具体的には、たとえば、図７（ａ）〜図７（ｄ）に示すように視点位置が通過した後の経路上の分岐点および辺を青とし、通過前の経路上の分岐点および辺とを赤とした分岐点投影画像を順次生成する。表示制御部１７は、入力された分岐点投影画像に基づいて、モニタ２０に表示された分岐点投影画像を順次更新する（Ｓ２６）。
【００７５】
上記実施形態の内視鏡画像診断支援システム１によれば、人体を撮影して得られた３次元画像を取得し、その３次元画像に含まれる気管支を抽出し、その気管支に含まれる分岐点を体軸方向に直交する２次元平面上に投影した分岐点投影画像を生成し、この分岐点投影画像を用いて仮想内視鏡画像の視点の現在位置を表示するようにしたので、気管支全体の中における仮想内視鏡画像の現在位置や進行方向を即座に把握することができる。
【００７６】
また、分岐点投影画像を観察することによって、気管支における分岐点同士の相対的位置関係を即座に把握することができ、また、所定の分岐点に到達した後の分岐の数や、経路上にある分岐点数を把握することができる。
【００７７】
また、気管支の入り口を基準点とすることによって基準点を分岐点との相対的位置関係を把握することができ、気管支の入り口からの進行方向を把握することができる。
【００７８】
また、視点位置が通過した後の経路上の分岐点および辺と、通過前の経路上の分岐点および辺とを異なる表示態様としたので、経路の終点までの残りの分岐点数を把握することができる。
【００７９】
また、上記の内視鏡画像診断支援システム１の作用の説明は、内視鏡装置による検査や手術の前における仮想内視鏡画像を用いた内視鏡挿入シミュレーションの方法を説明したものであるが、上述した分岐点投影画像は、内視鏡装置を用いて実際に検査や手術を行う際にも用いることができる。
【００８０】
図８に示す実施形態の内視鏡画像診断支援システム２は、内視鏡装置を用いて実際に検査や手術を行う際に分岐点投影画像を用いることを想定して構成されたものである。具体的には、図８に示す実施形態の内視鏡画像診断支援システム２には、内視鏡装置５０における体腔内に挿入される挿入部の先端の位置情報を取得する内視鏡先端位置情報取得部１８が設けられている。なお、内視鏡装置５０の挿入部の先端には、たとえば加速度センサや磁気センサなどといった挿入部の先端の位置情報を検出するものが設けられているものとする。
【００８１】
そして、内視鏡先端位置情報取得部１８によって取得された内視鏡先端の位置情報は、分岐点投影画像生成部１４に出力される。そして、分岐点投影画像生成部１４は、仮想内視鏡画像の視点位置が移動して順次入力された場合と同様に、内視鏡先端の位置の移動にともって、内視鏡先端位置が通過した後の経路上の分岐点および辺と、通過前の経路上の分岐点および辺とを異なる表示態様とした分岐点投影画像を順次生成し、その生成した分岐点投影画像を表示制御部１７に順次出力する。なお、内視鏡先端位置情報取得部１８によって取得される内視鏡先端の位置情報のｘｙｚ座標系と、分岐点投影画像生成部１４において生成される分岐点投影画像のｘｙｚ座標系とは予め一致させているものとする。
【００８２】
そして、表示制御部１７は、入力された分岐点投影画像に基づいて、モニタ２０に表示された分岐点投影画像を順次更新する。また、内視鏡装置５０によって撮像されたライブ画像も表示制御部１７に入力され、表示制御部１７は、そのライブ画像をモニタ２０に表示させる。
【００８３】
上記のように構成した場合には、分岐点投影画像を観察することによって、内視鏡装置５０の挿入部先端の気管支全体の中における現在位置と進行方向とを即座に把握することができる。
【００８４】
また、上記実施形態の内視鏡画像診断支援システム１，２において、分岐点投影画像の各分岐点の奥行方向（ｚ方向）の相対的な位置関係を把握しやすいように、各分岐点の奥行方向の位置に応じて各分岐点の表示態様を変化させるようにしてもよい。具体的には、たとえば基準点から分岐点までの奥行方向の距離が大きいほど分岐点の色を薄くして表示するようにしてもよい。これにより奥行感のある分岐点投影画像を表示することができ、各分岐点の奥行方向の相対的な位置関係を把握しやすくなる。
【００８５】
また、上記実施形態の内視鏡画像診断支援システム１，２においては、気管支のグラフ構造をｚ方向（体軸方向）に直交するｘ−ｙ平面上に投影した分岐点投影画像を生成して表示するようにしたが、さらに、気管支のグラフ構造をｘ−ｚ平面上に投影した分岐点投影画像と、気管支のグラフ構造をｙ−ｚ平面上に投影した分岐点投影画像とを生成し、ｘ−ｙ平面上に投影した分岐点投影画像とともに表示するようにしてもよい。これにより基準点、終点（腫瘍の位置）、分岐点および経路の３次元位置を即座に把握することができる。
【００８６】
また、上記実施形態の内視鏡画像診断支援システム１，２における分岐点投影画像生成部１４において、分岐点投影画像の各分岐点について、その分岐先の様子をより把握し易い画像をさらに生成するようにしてもよい。
【００８７】
具体的には、分岐点投影画像に含まれる複数の分岐点のそれぞれについて、その分岐点からの分岐先をその分岐点を含む２次元平面上に投影した投影画像を生成する。そして、その生成した分岐点毎の投影画像を分岐点投影画像に重ね合せたものを生成する。
【００８８】
上述した投影画像を生成する方法については、図９に示すように、分岐点投影画像における所定の分岐点について、分岐前の辺の方向ベクトルＶ１と、分岐先の辺の方向ベクトルＶ２，Ｖ３とを求め、分岐先の方向ベクトルＶ２，Ｖ３の終点を、方向ベクトルＶ１に対して垂直な２次元平面上に投影する。そして、図９および図１０に示すように、２次元平面上における投影点Ｐ２，Ｐ３を中心とした分岐先の気管支の径を有する投影画像Ｂ１を取得する。なお、上記方向ベクトルＶ２，Ｖ３の長さについては分岐前の気管支の径と同じ長さに設定されるものとする。
【００８９】
そして、上述したようにして生成した投影画像Ｂ１を、図１０に示すように分岐点投影画像上の各分岐点の画像内に重ねるようにすればよい。
【００９０】
なお、投影画像Ｂ１の形状については必ずしも円でなくてもよく、分岐先の気管支の形状に基づいて楕円などにしてもよい。また、投影画像Ｂ１の径ついては、たとえば元の分岐点から分岐先の分岐点までの間の気管支の径の平均などを用いるようにすればよい。
【００９１】
また、上記実施形態の内視鏡画像診断支援システム１，２において、分岐点投影画像の各分岐点の基準点からの距離情報を取得し、図１１に示すように、その距離情報Ｄ１〜Ｄ３を分岐点投影画像に付加して表示するようにしてもよい。
【００９２】
なお、上記実施形態においては、人体の気管支を対象として分岐点投影画像や仮想内視鏡画像を生成するようにしたが、気管支と同様の解剖学的・画像的特徴を有するその他の管状構造物にも本発明を適用することができる。
【符号の説明】
【００９３】
１     内視鏡画像診断支援システム
１０   内視鏡画像診断支援装置
１１   ３次元画像取得部
１２   グラフ構造生成部
１３   経路設定部
１４   分岐点投影画像生成部
１５   仮想内視鏡画像生成部
１６   気管支３次元画像生成部
１７   表示制御部
１８   内視鏡先端位置情報取得部
２０   モニタ
３０   入力装置
４０   次元画像保管サーバ
５０   内視鏡装置
【図１】
0005785120.tif 000003
【図２】
0005785120.tif 000004
【図３】
0005785120.tif 000005
【図６】
0005785120.tif 000006
【図７】
0005785120.tif 000007
【図８】
0005785120.tif 000008
【図９】
0005785120.tif 000009
【図１０】
0005785120.tif 000010
【図１１】
0005785120.tif 000011
【図４】
0005785120.tif 000012
【図５】
0005785120.tif 000013