(57)【要約】【課題】解剖学的構造物を表す２次元画像において解剖学的構造物中に含まれて直接視認できない対象領域を好適に把握可能に、３次元画像に基づいて、参照画像を生成して表示する。【解決手段】３次元画像と解剖学的構造物の表面を表す２次元画像を取得し、取得した２次元画像の撮像位置と撮像方向に対応する３次元画像の対応撮像位置と対応撮像方向を取得し、３次元画像から解剖学的構造物の表面を表す擬似３次元画像を生成し、擬似３次元画像と２次元画像が互いに位置合わせされるように、擬似３次元画像を変形する変形量を表す変形情報に基づいて、対応撮像方向と直交する方向に３次元画像を３次元変形したさらなる３次元画像を生成し、さらなる３次元画像から、対象領域を視認可能に表示した擬似３次元画像である参照画像を生成し、２次元画像と参照画像を比較表示または重畳表示させる。【選択図】図５Ａ
2014226430.tif 000002
【特許請求の範囲】
【請求項１】
所望の対象領域を内包する患者の解剖学的構造物を表す第１の３次元画像を取得する３次元画像取得部と、
取得した前記第１の３次元画像中の前記対象領域を特定する対象領域情報を取得する対象領域取得部と、
第１の撮像時に撮像された前記患者の前記解剖学的構造物の表面を表す第１の２次元画像を取得する２次元画像取得部と、
前記取得した第１の２次元画像の撮像位置および前記第１の２次元画像の撮像方向を表す第１の撮像位置情報を取得する撮像位置取得部と、
前記第１の撮像位置情報の前記撮像位置に対応する前記第１の３次元画像の対応撮像位置と前記第１の撮像位置情報の前記撮像方向に対応する前記第１の３次元画像の対応撮像方向を表す第１の対応位置情報を取得し、取得した該第１の対応撮像位置情報に基づいて、前記第１の３次元画像から前記解剖学的構造物の表面を表す第１の擬似３次元画像を生成する画像生成部と、
前記第１の擬似３次元画像と前記第１の２次元画像が互いに位置合わせされるように、前記第１の擬似３次元画像を変形する変形量を表す第１の変形情報を取得する変形情報取得部と、
取得された前記第１の変形情報に基づいて、前記第１の対応撮像位置情報の前記対応撮像方向に直交する方向に前記第１の３次元画像を３次元変形した第２の３次元画像を生成する変形部と、
前記第１の２次元画像と第１の参照画像を比較表示または重畳表示する表示制御を行う表示制御部とを備え、
前記画像生成部は、前記第１の対応撮像位置情報と前記対象領域情報とに基づいて、前記第２の３次元画像から、前記対象領域を視認可能に表示した擬似３次元画像である前記第１の参照画像を生成する画像表示装置。
【請求項２】
前記画像生成部は、前記対応撮像位置方向とは異なる前記第１の３次元画像の第１の参照方向を取得し、取得した該第１の参照方向に基づいて、前記第２の３次元画像から、前記対象領域を視認可能に表示した擬似３次元画像である第２の参照画像をさらに生成する請求項１記載の画像表示装置。
【請求項３】
前記２次元画像取得部が、前記第１の撮像時とは異なる第２の撮像時に撮像された前記解剖学的構造物の表面を表す第２の２次元画像を取得し、
前記撮像位置取得部が、前記取得した第２の２次元画像の撮像位置および前記第２の２次元画像の撮像方向を表す第２の撮像位置情報を取得し、
前記変形情報取得部が、前記第１の２次元画像と前記第２の２次元画像が位置合わせされるように、前記第１の２次元画像を変形する変形量を表す第２の変形情報を取得し、
前記変形部が、前記第２の変形情報に基づいて、前記対応撮像方向に直交する方向に前記第２の３次元画像をさらに３次元変形した第３の３次元画像を生成し、
前記画像生成部は、前記第２の対応撮像位置情報と前記対象領域情報とに基づいて、前記第３の３次元画像から、前記対象領域を視認可能に表示した擬似３次元画像である第３の参照画像を生成する請求項１または２記載の画像表示装置。
【請求項４】
前記画像生成部は、前記対応撮像位置方向とは異なる前記第３の３次元画像の第２の参照方向を取得し、取得した該第２の参照方向に基づいて、前記第３の３次元画像から、前記対象領域を視認可能に表示した擬似３次元画像である第４の参照画像をさらに生成する請求項３記載の画像表示装置。
【請求項５】
前記２次元画像取得部が、前記第１の撮像時とは異なる第３の撮像時に撮像された前記解剖学的構造物の表面を表す第３の２次元画像を取得し、
前記変形情報取得部が、前記第１の２次元画像と前記第３の２次元画像が位置合わせされるように、前記第１の２次元画像を変形する変形量を表す第３の変形情報を取得し、
前記変形部が、前記第３の変形情報に基づいて、前記対応撮像方向に直交する方向に前記第１の参照画像を２次元変形した第５の参照画像を生成する請求項１から３のいずれか１項記載の画像表示装置。
【請求項６】
前記対象領域取得部が、前記解剖学的構造物に内包される、さらなる解剖学的構造物領域を対象領域として取得する構造物取得部および／または前記解剖学的構造物に内包される病変領域を対象領域として取得する病変領域取得部を備える請求項１から５のいずれか１項記載の画像表示装置。
【請求項７】
前記解剖学的構造物が臓器であり、前記対象領域が前記臓器に含まれる血管である請求項６記載の画像表示装置。
【請求項８】
画像表示装置を作動させるための画像表示方法であって、
所望の対象領域を内包する患者の解剖学的構造物を表す第１の３次元画像を取得する３次元画像取得ステップと、
取得した前記第１の３次元画像中の前記対象領域を特定する対象領域情報を取得する対象領域取得ステップと、
第１の撮像時に撮像された前記患者の前記解剖学的構造物の表面を表す第１の２次元画像を取得する２次元画像取得ステップと、
前記取得した第１の２次元画像の撮像位置および該第１の２次元画像の撮像方向を表す第１の撮像位置情報を取得する撮像位置取得ステップと、
前記第１の対応撮像位置情報の撮像位置に対応する前記第１の３次元画像の対応撮像位置と前記第１の対応撮像位置情報の前記撮像方向に対応する前記第１の３次元画像の対応撮像方向を表す第１の対応位置情報を取得し、取得した該第１の対応撮像位置情報に基づいて、前記第１の３次元画像から前記解剖学的構造物の表面を表す第１の擬似３次元画像を生成する画像生成ステップと、
前記第１の擬似３次元画像と前記第１の２次元画像が互いに位置合わせされるように、前記第１の擬似３次元画像を変形する変形量を表す第１の変形情報を取得する変形情報取得ステップと、
取得された前記第１の変形情報に基づいて、前記第１の前記対応撮像方向に直交する方向に前記第１の３次元画像を３次元変形した第２の３次元画像を生成する変形ステップと、
前記第１の前記対応撮像位置情報と前記対象領域情報とに基づいて、前記第２の３次元画像から、前記対象領域を視認可能に表示した擬似３次元画像である前記第１の参照画像を生成するステップと、
前記第１の２次元画像と第１の参照画像を比較表示または重畳表示する表示制御を行う表示制御部ステップを有する画像表示方法。
【請求項９】
コンピュータを、
所望の対象領域を内包する患者の解剖学的構造物を表す第１の３次元画像を取得する３次元画像取得部と、
取得した前記第１の３次元画像中の前記対象領域を特定する対象領域情報を取得する対象領域取得部と、
第１の撮像時に撮像された前記患者の前記解剖学的構造物の表面を表す第１の２次元画像を取得する２次元画像取得部と、
前記取得した第１の２次元画像の撮像位置および撮像方向を表す撮像位置情報を取得する撮像位置取得部と、
前記取得した第１の２次元画像の撮像位置および該第１の２次元画像の撮像方向を表す第１の撮像位置情報を取得する撮像位置取得部と、
前記第１の対応撮像位置情報の撮像位置に対応する前記第１の３次元画像の対応撮像位置と前記第１の対応撮像位置情報の前記撮像方向に対応する前記第１の３次元画像の対応撮像方向を表す第１の対応位置情報を取得し、取得した該第１の対応撮像位置情報に基づいて、前記第１の３次元画像から前記解剖学的構造物の表面を表す第１の擬似３次元画像を生成する画像生成部と、
前記第１の擬似３次元画像と前記第１の２次元画像が互いに位置合わせされるように、前記第１の擬似３次元画像を変形する変形量を表す第１の変形情報を取得する変形情報取得部と、
取得された前記第１の変形情報に基づいて、前記第１の前記対応撮像方向に直交する方向に前記第１の３次元画像を３次元変形した第２の３次元画像を生成する変形部と、
前記第１の２次元画像と第１の参照画像を比較表示または重畳表示する表示制御を行う表示制御部として機能させる画像表示プログラムであって、
前記画像生成部は、前記第１の前記対応撮像位置情報と前記対象領域情報とに基づいて、前記第２の３次元画像から、前記対象領域を視認可能に表示した擬似３次元画像である前記第１の参照画像を生成する画像表示プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像表示装置および画像表示方法、並びに画像表示プログラムに関し、特に臓器等の解剖学的構造物に含まれる対象領域を疑似３次元画像として表示する画像表示装置および画像表示方法、並びに画像表示プログラムに関する。
【背景技術】
【０００２】
近年、マルチスライスＣＴ（ＭＤＣＴ）等のモダリティの進歩により、質の高い３次元画像データが取得できるようになり、これらの画像データを用いた画像診断では、高精細な断面画像が用いられるだけでなく、被検体の仮想的・疑似的な３次元画像も用いられるようになってきる。さらに、画像認識技術を用いた３次元画像からの臓器構造の抽出等も行われており、より構造が識別された３次元画像から仮想的・疑似的な３次元画像を生成することが可能になり、生成された画像は、手術前のプランニング、シミュレーションや手術中のナビゲーションのためにも利用されている。
【０００３】
被検体の仮想的・疑似的な３次元画像を生成する手法としては、ボリュームレンダリングやサーフェスレンダリング等のレンダリング技術を用いた手法が知られている。
【０００４】
例えば、特許文献１、２には、内視鏡装置で撮影された内視鏡画像を取得し、ＣＴ画像などの３次元画像から内視鏡画像に類似する仮想内視鏡画像を生成して抽出し、内視鏡画像で視認できない病変領域を、内視鏡画像、または、内視鏡画像と類似するものとして抽出された仮想内視鏡画像中に重畳表示するという技術が開示されている。また、特許文献３には、内視鏡画像と、内視鏡画像と位置合わせされるように変形した仮想内視鏡画像とを比較可能に表示する技術が開示されている。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２００３−２６５４０８号公報
【特許文献２】特開２０１１−１５２３２３号公報
【特許文献３】特開２００８−０９３４４３号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
しかし、手術の際に、手術対象の臓器などの解剖学的構造物を内視鏡などの撮像装置で撮像して得た２次元画像を観察しながら、解剖学的構造物内の直接視認できない手術上注目すべき領域について、上記２次元画像に対応する位置や形状をより正確に把握したいという要求がある。しかしながら、特許文献１ないし３に記載された手法では、上記要求に応えることは困難である。
【０００７】
本発明は上記事情に鑑みてなされたものであり、解剖学的構造物を表す２次元画像において解剖学的構造物中に含まれて直接視認できない対象領域について、患者の３次元画像に基づいて、２次元画像に対応する対象領域の位置や形状を好適に把握できるようにする参照画像を生成して表示する画像表示装置および画像表示方法、並びに画像表示プログラムを提供することを目的とするものである。
【課題を解決するための手段】
【０００８】
本発明の画像表示装置は、所望の対象領域を内包する患者の解剖学的構造物を表す第１の３次元画像を取得する３次元画像取得部と、取得した第１の３次元画像中の対象領域を特定する対象領域情報を取得する対象領域取得部と、第１の撮像時に撮像された患者の解剖学的構造物の表面を表す第１の２次元画像を取得する２次元画像取得部と、取得した第１の２次元画像の撮像位置および第１の２次元画像の撮像方向を表す第１の撮像位置情報を取得する撮像位置取得部と、第１の撮像位置情報の撮像位置に対応する第１の３次元画像の対応撮像位置と第１の撮像位置情報の撮像方向に対応する第１の３次元画像の対応撮像方向を表す第１の対応位置情報を取得し、取得した第１の対応撮像位置情報に基づいて、第１の３次元画像から解剖学的構造物の表面を表す第１の擬似３次元画像を生成する画像生成部と、第１の擬似３次元画像と第１の２次元画像が互いに位置合わせされるように、第１の擬似３次元画像を変形する変形量を表す第１の変形情報を取得する変形情報取得部と、取得された第１の変形情報に基づいて、第１の対応撮像位置情報の対応撮像方向に直交する方向に第１の３次元画像を３次元変形した第２の３次元画像を生成する変形部と、第１の２次元画像と第１の参照画像を比較表示または重畳表示する表示制御を行う表示制御部とを備え、画像生成部は、第１の対応撮像位置情報と対象領域情報とに基づいて、第２の３次元画像から、対象領域を視認可能に表示した擬似３次元画像である第１の参照画像を生成するようにしたものである。
【０００９】
本発明の画像表示方法は、上記画像表示装置を作動させるための画像表示方法であって、所望の対象領域を内包する患者の解剖学的構造物を表す第１の３次元画像を取得する３次元画像取得ステップと、取得した第１の３次元画像中の対象領域を特定する対象領域情報を取得する対象領域取得ステップと、第１の撮像時に撮像された患者の解剖学的構造物の表面を表す第１の２次元画像を取得する２次元画像取得ステップと、取得した第１の２次元画像の撮像位置および第１の２次元画像の撮像方向を表す第１の撮像位置情報を取得する撮像位置取得ステップと、第１の対応撮像位置情報の撮像位置に対応する第１の３次元画像の対応撮像位置と第１の対応撮像位置情報の撮像方向に対応する第１の３次元画像の対応撮像方向を表す第１の対応位置情報を取得し、取得した第１の対応撮像位置情報に基づいて、第１の３次元画像から解剖学的構造物の表面を表す第１の擬似３次元画像を生成する画像生成ステップと、第１の擬似３次元画像と第１の２次元画像が互いに位置合わせされるように、第１の擬似３次元画像を変形する変形量を表す第１の変形情報を取得する変形情報取得ステップと、取得された第１の変形情報に基づいて、第１の対応撮像方向に直交する方向に第１の３次元画像を３次元変形した第２の３次元画像を生成する変形ステップと、第１の２次元画像と第１の参照画像を比較表示または重畳表示する表示制御を行う表示制御部ステップを有する画像表示方法であって、画像生成ステップは、第１の対応撮像位置情報と対象領域情報とに基づいて、第２の３次元画像から、対象領域を視認可能に表示した擬似３次元画像である第１の参照画像を生成するステップを有するようにしたものである。
【００１０】
本発明の画像表示プログラムは、コンピュータを上記投影画像生成装置として機能させるために、上記投影画像生成装置の各手段を処理ステップとしてコンピュータに実行させるものである。
【００１１】
上記「擬似３次元画像」とは、Ｘ線ＣＴ装置やＭＲＩ装置等から得られる３次元画像に基づいて、３次元画像中の解剖学的構造物や病変領域などの対象領域を投影面上に立体的に陰影付けして投影した画像を意味する。例えば、擬似３次元画像として、ボリュームレンダリング画像、サーフィスレンダリング画像があげられる。
【００１２】
上記「対象領域」は、解剖学的構造物内に解剖学的構造物の表面によって視認できない態様で一部または全体が含まれている領域であればいかなるものも含む。例えば、対象領域を、解剖学的構造物の表面によって視認できない態様で含まれているさらなる解剖学的構造物としてもよい。また、対象領域を、解剖学的構造物の治療の対象となる病変領域としてもよい。また、「解剖学的構造物」は、所望の対象領域を視認できない態様で内包する患者の解剖学的構造物であれば、臓器や血管などあらゆるものを含む。一例として、解剖学的構造物が臓器であり、対象領域が臓器に含まれる血管とすることが好ましい。
【００１３】
本発明に係る画像表示装置において、画像生成部は、対応撮像位置方向とは異なる第１の３次元画像の第１の参照方向を取得し、取得した第１の参照方向に基づいて、第２の３次元画像から、対象領域を視認可能に表示した擬似３次元画像である第２の参照画像をさらに生成することが好ましい。
【００１４】
本発明に係る画像表示装置において、２次元画像取得部が、第１の撮像時とは異なる第２の撮像時に撮像された解剖学的構造物の表面を表す第２の２次元画像を取得し、撮像位置取得部が、取得した第２の２次元画像の撮像位置および第２の２次元画像の撮像方向を表す第２の撮像位置情報を取得し、変形情報取得部が、第１の２次元画像と第２の２次元画像が位置合わせされるように、第１の２次元画像を変形する変形量を表す第２の変形情報を取得し、変形部が、第２の変形情報に基づいて、対応撮像方向に直交する方向に第２の３次元画像をさらに３次元変形した第３の３次元画像を生成し、画像生成部は、第２の対応撮像位置情報と対象領域情報とに基づいて、第３の３次元画像から、対象領域を視認可能に表示した擬似３次元画像である第３の参照画像を生成することが好ましい。
【００１５】
本発明に係る画像表示装置において、画像生成部は、対応撮像位置方向とは異なる第３の３次元画像の第２の参照方向を取得し、取得した第２の参照方向に基づいて、第３の３次元画像から、対象領域を視認可能に表示した擬似３次元画像である第４の参照画像をさらに生成することが好ましい。
【００１６】
本発明に係る画像表示装置において、２次元画像取得部が、第１の撮像時とは異なる第３の撮像時に撮像された解剖学的構造物の表面を表す第３の２次元画像を取得し、変形情報取得部が、第１の２次元画像と第３の２次元画像が位置合わせされるように、第１の２次元画像を変形する変形量を表す第３の変形情報を取得し、変形部が、第３の変形情報に基づいて、対応撮像方向に直交する方向に第１の参照画像を２次元変形した第５の参照画像を生成してもよい。
【００１７】
本発明に係る画像表示装置において、対象領域取得部が、解剖学的構造物に内包される、さらなる解剖学的構造物領域を対象領域として取得する構造物取得部および／または解剖学的構造物に内包される病変領域を対象領域として取得する病変領域取得部を備えることが好ましい。
【発明の効果】
【００１８】
本発明では、所望の対象領域を内包する患者の解剖学的構造物を表す第１の３次元画像を取得し、取得した第１の３次元画像中の対象領域を特定する対象領域情報を取得し、第１の撮像時に撮像された患者の解剖学的構造物の表面を表す第１の２次元画像を取得し、取得した第１の２次元画像の撮像位置および撮像方向を表す撮像位置情報を取得し、取得した第１の２次元画像の撮像位置および第１の２次元画像の撮像方向を表す第１の撮像位置情報を取得し、第１の対応撮像位置情報の撮像位置に対応する第１の３次元画像の対応撮像位置と第１の対応撮像位置情報の撮像方向に対応する第１の３次元画像の対応撮像方向を表す第１の対応位置情報を取得し、取得した第１の対応撮像位置情報に基づいて、第１の３次元画像から解剖学的構造物の表面を表す第１の擬似３次元画像を生成し、第１の擬似３次元画像と第１の２次元画像が互いに位置合わせされるように、第１の擬似３次元画像を変形する変形量を表す第１の変形情報を取得し、取得された第１の変形情報に基づいて、第１の対応撮像方向に直交する方向に第１の３次元画像を３次元変形した第２の３次元画像を生成し、第１の対応撮像位置情報と対象領域情報とに基づいて、第２の３次元画像から、対象領域を視認可能に表示した擬似３次元画像である第１の参照画像を生成し、第１の２次元画像と第１の参照画像を比較表示または重畳表示する表示制御を行うことができる。このため、第１の参照画像と解剖学的構造物の表面を表す２次元画像の比較表示または重畳表示を参照することにより、２次元画像では直接視認できない対象領域の形状や位置をより正確に把握することが可能となる。
【図面の簡単な説明】
【００１９】
【図１】第１の実施の形態における画像表示機能が実装された医用画像診断システムの概略構成図
【図２】第１の実施形態における画像表示機能を実現する構成および処理の流れを模式的に示したブロック図
【図３】第１の実施形態における画像表示装置の処理の流れを表したフローチャート
【図４Ａ】第１の実施形態における患者の内視鏡画像と同患者の３次元画像から生成される第１および第２の参照画像を説明するための図
【図４Ｂ】第１の実施形態における患者の内視鏡画像と同患者の３次元画像から生成される擬似３次元画像の例を模式的に表した図
【図５Ａ】本発明の第１の実施形態における内視鏡画像と第１および第２の参照画像の表示例を模式的に表した図
【図５Ｂ】本発明の第１の実施形態における肝臓に対する第１の参照画像の対応撮像方向と、第２の参照画像の投影方向とを示す図
【図６Ａ】第２および第３の実施形態における画像表示装置の処理の流れを表したフローチャート（その１）
【図６Ｂ】第２の実施形態における画像表示装置の処理の流れを表したフローチャート（その２）
【図６Ｃ】第３の実施形態における画像表示装置の処理の流れを表したフローチャート（その２）
【図７Ａ】第２および第３の実施形態における患者の内視鏡画像と同患者の３次元画像から生成される第３および第４の参照画像（または第５の参照画像）を説明するための図
【図７Ｂ】第３の実施形態における患者の内視鏡画像と同患者の３次元画像から生成される第５の参照画像の例を模式的に表した図
【発明を実施するための形態】
【００２０】
図１は、本発明の第１の実施形態となる手術シミュレーション機能が実装された手術ナビゲーションシステム１０の概要を示すハードウェア構成図である。図１に示したように、このシステムは、内視鏡１０１、モダリティ１０５、処置具１０６、内視鏡用マーカー１０７、位置センサ１０８、画像処理ワークステーション１００から構成されている。
【００２１】
本実施形態では、内視鏡１０１は腹腔用の硬性鏡であり、被検体の腹腔内に挿入される。光源装置１０３から光ファイバーで導かれた光が内視鏡１０１の先端部から照射され、内視鏡１０１の撮像光学系により被検体の腹腔内の画像が得られる内視鏡１０１での撮像信号の取得は所定のフレームレートで行われるので、ディスプレイ３では、内視鏡画像Ｅが腹腔内を表す動画として表示される。さらに、内視鏡１０１では、ユーザの操作に応じて静止画撮影も可能である。
【００２２】
モダリティ１０５は、被検体の検査対象部位を撮像することにより、その部位を表す３次元画像の画像データ（３次元画像Ｖ）を生成し、その画像データにＤＩＣＯＭ（Digital Imaging and Communications in Medicine）規格で規定された付帯情報を付加して、画像情報として出力する装置が含まれる。具体例としては、ＣＴ、ＭＲＩなどが挙げられる。
【００２３】
本実施形態では、ＣＴで被検体である人体の体軸方向にスキャンすることによって人体の肝臓を含む腹部の３次元画像データを生成する場合について説明する。
【００２４】
図１に示すモダリティ１０５によって形成された３次元画像データＶは、画像処理ワークステーション１００を介して、ＬＡＮ経由で送信されて、不図示の画像保管サーバに記憶される。なお、画像保管サーバは、モダリティ１０５で取得された医用画像データや画像処理ワークステーション１００での画像処理によって生成された医用画像の画像データを画像データベースに保存・管理するコンピュータであり、大容量外部記憶装置やデータベース管理用ソフトウェア（たとえば、ＯＲＤＢ（Object Relational Database）管理ソフトウェア）を備えている。画像表示装置１は、ＤＩＣＯＭ規格に準拠した通信プロトコルに従って、必要に応じて観察対象患者の３次元画像ＶをＬＡＮ経由で画像保管サーバから取得し、画像表示装置１に内蔵された主記憶装置である３次元画像記憶部１１に記憶する。
【００２５】
内視鏡用マーカー１０７および位置センサ１０８は、公知の３次元位置計測装置を構成する。内視鏡用マーカー１０７、内視鏡１０１の手元付近に設けられており、光学式の位置センサ１０８によって、所定の時間間隔で内視鏡用マーカー１０７の３次元位置が検出される。内視鏡用マーカー１０７は、複数のマーカー片から構成されているので、位置センサ１０８は、各マーカー片の位置関係から内視鏡１０１の向きも検出可能であり、オフセット計算によって、内視鏡１０１の先端部の３次元画像Ｖにおける対応撮像位置情報ＳＶｔを算出することができる。位置センサ１０８は、算出された内視鏡の撮像位置ｗＥｔおよび撮像方向ｒＥｔを撮像位置情報ＳＥｔとして取得し、ＵＳＢインターフェースを介して画像処理ワークステーション１００に送信する。
【００２６】
画像処理ワークステーション１００は、ＣＰＵ、主記憶装置、補助記憶装置、入出力インターフェース、通信インターフェース、データバス等の周知のハードウェア構成を備えたコンピュータであり、コンピュータ本体である画像表示装置１、入力装置４（ポインティングデバイス、キーボード等）や、ＷＳディスプレイ３を備えている。また、画像処理ワークステーション１００は、内視鏡１０１とモダリティ１０５とはＬＡＮ接続されており、位置センサ１０８とはＵＳＢ接続されている。さらに、画像処理ワークステーション１００は、周知のオペレーティングシステムや各種アプリケーション・ソフトウェア等がインストールされたものであり、本発明の画像処理を実行させるためのアプリケーションもインストールされている。これらのソフトウェアは、ＣＤ−ＲＯＭ等の記録媒体からインストールされたものであってもよいし、インターネット等のネットワーク経由で接続されたサーバの記憶装置からダウンロードされた後にインストールされたものであってもよい。
【００２７】
図２は、第１の実施形態における画像表示装置１を機能レベルで分割したブロック図である。
【００２８】
図２に示したように、第１の実施形態における画像表示装置１は、血管領域および病変領域（対象領域）を内包する患者の臓器である肝臓（解剖学的構造物）を表す３次元画像Ｖ（第１の３次元画像）を記憶する３次元画像記憶部１１と、３次元画像Ｖを取得する３次元画像取得部１２と、３次元画像Ｖ中の対象領域を特定する対象領域情報を取得する対象領域取得部２１と、第１の撮像時ｔに撮像された患者の肝臓の表面を表す第１の２次元画像Ｅｔを取得する２次元画像取得部２０と、取得した２次元画像Ｅｔの撮像位置ｗＥｔおよび２次元画像Ｅｔの撮像方向ｒＥｔを表す撮像位置情報ＳＥｔを取得する撮像位置取得部１９と、撮像位置情報ＳＥｔの撮像位置ｗＥｔに対応する第１の３次元画像の対応撮像位置ｗＶｔと第１の撮像位置情報の撮像方向ｒＥｔに対応する第１の３次元画像Ｖの対応撮像方向ｒＶｔを表す第１の対応位置情報ＳＶｔを取得し、取得した第１の対応撮像位置情報ＳＶｔに基づいて、第１の３次元画像Ｖから解剖学的構造物の表面を表す第１の擬似３次元画像ＰＡｔを生成する画像生成部１３と、第１の擬似３次元画像ＰＡｔと第１の２次元画像ＥＡｔが互いに位置合わせされるように、第１の擬似３次元画像ＰＡｔを変形する変形量を表す第１の変形情報Ｆｔを取得する変形情報取得部１６と、取得された第１の変形情報Ｆｔに基づいて、第１の対応撮像位置情報ＳＶｔの対応撮像方向ｒＶｔに直交する方向に第１の３次元画像Ｖを３次元変形した第２の３次元画像ＶＡｔを生成する変形部１７と、第１の２次元画像Ｅｔと第１の参照画像ＰＢｔを比較表示または重畳表示する表示制御を行う表示制御部１８とから構成されている。また、対象領域取得部２１は、肝臓に内包される、血管領域Ｋを対象領域として取得する構造物取得部１４と解剖学的構造物に内包される病変領域Ｑを対象領域として取得する病変領域取得部１５を備えている。なお、図１に示したハードウェア機器と図１４に示した各機能ブロックとが概ね１対１に対応する場合には同じ符号を付している。
【００２９】
本明細書の各実施形態では、患者の解剖学的構造物である肝臓を内視鏡１０１で撮像して得られた内視鏡画像Ｅと、同患者の３次元画像Ｖとに基づいて、肝臓内に視認できない態様で内包される血管領域Ｋと病変領域Ｑを表す参照画像を生成する例として、画像表示装置で行われる画像表示方法を説明する。図３は、本実施形態における画像表示処理の流れを表すフローチャートである。図４Ａは、患者の解剖学的構造物の表面を表す２次元画像である内視鏡画像Ｅと３次元画像Ｖに対して実施される各処理を説明するための概略図である。また図４Ａにおいて、破線Ｈ１より左側が内視鏡画像を示し、破線Ｈ１より右側が３次元画像に関する画像を示している。以下、図３に示したフローチャートと図４Ａを用いて、本実施形態における画像表示処理の流れを説明する。
【００３０】
なお、内視鏡１０１を用いた観察対象患者の腹腔内の観察に先立って、モダリティ１０５によって患者の胸部と腹部を撮像した３次元画像Ｖが形成されて不図示の画像保管サーバに記憶される。そして、画像処理ワークステーション１００では、不図示の画像保管サーバから患者の３次元画像Ｖが取得されて、画像処理ワークステーション１００の主記憶装置である３次元画像記憶部１１に記憶される。
【００３１】
まず、３次元画像取得部１２が、３次元画像記憶部１１から観察対象患者の３次元画像Ｖを取得する(Ｓ０１)。
【００３２】
次に、構造物領域取得部１４が、３次元画像Ｖ内の肝臓に内包される構造物領域Ｋを特定するデータである構造物領域情報を取得する（Ｓ０２）。本実施形態では、構造物領域取得部１４は、周知の血管抽出方法により、血管領域の位置を特定する構造物領域情報を取得する。
【００３３】
次に、病変領域取得部１５が、３次元画像Ｖから周知の手法により予め抽出された病変領域Ｑの位置を特定する病変情報データを取得する（Ｓ０３）。
【００３４】
次に、２次元画像取得部２０が、患者の腹腔内において第１の撮像時ｔに肝臓を撮像した内視鏡画像Ｅｔを取得する（Ｓ０４）。内視鏡画像Ｅｔには、図４Ａおよび図５に示されるように肝臓の外表面が表されている。
【００３５】
また、撮像位置取得部１９が、位置センサ１０８から、第１の撮像時ｔにおける内視鏡１０１の撮像位置ｗＥｔ、撮像方向ｒＥｔからなる撮像位置情報ＳＥｔを取得する（Ｓ０５）。
【００３６】
なお、撮像位置取得部１９は、位置センサの３次元座標系における各座標軸と３次元画像Ｖの３次元座標系における各座標軸との向きの対応関係に基づいて、座標軸の回転量を予め求めておくとともに、３次元画像Ｖの原点に相当する被検体中の位置の、位置センサ１０８の３次元座標系における座標値を予め計測している。そして、この原点の座標値に基づいて、両座標軸の平行移動量を求めて、その回転量の回転とその平行移動量の平行移動を行う行列を用いて、位置センサ１０８の３次元座標系で表現された撮像位置ｗＥｔと撮像方向ｒＥｔを３次元画像Ｖの３次元座標系の座標値で表現された対応撮像位置ｗＶｔと対応撮像方向ｒＶｔに変換することができる。
【００３７】
続いて、画像生成部１３は、３次元画像Ｖの対応撮像位置ｗＶｔと、対応撮像方向ｒＶｔとを表す対応撮像位置情報ＳＶｔに基づいて、対応撮像位置ｗＶｔを視点とし、対応撮像方向ｒＶｔに基づいて、３次元画像Ｖから肝臓の表面を表す仮想内視鏡画像である第１の擬似３次元画像ＰＡｔを生成する（Ｓ０６）。本実施形態は、第１の擬似３次元画像ＰＡｔは、サーフィスレンダリング画像として生成されるものとするが、これに替えてボリュームレンダリング画像として生成してもよい。
【００３８】
具体的には、画像生成部１３は、対応撮像方向ｒＶｔに基づいて、対応撮像方向ｒＶｔを、デフォルトの座標系のＺ軸方向と一致させるように座標系を回転させる回転行列ＲＶｔを求める。そして、下記式（１）によって、回転行列ＲＶｔの逆行列を用いて、デフォルトの３次元座標系における座標ｘＶを、上記対応撮像位置ｗＶｔを原点とし、対応撮像方向ｒＶｔをＺ軸とする３次元座標系の座標ｘＰｔに変換する。同様に各座標について式（１）の変換を施して、変換した座標系を算出し、変換された座標系においてｘｙ平面に平行な投影面に、肝臓表面に位置する画素を平行に投影することにより第１の擬似３次元画像ＰＡｔが生成される。この際、変換した座標系の原点と投影面との距離d、投影対象の座標の位置を(x, y, z)とすると、投影面に投影される位置は(x, y, d)となる。図４Ｂに、内視鏡画像Ｅｔと、内視鏡画像Ｅｔの撮影位置に対応する対応撮影位置情報に基づいて生成された擬似３次元画像である第１の擬似３次元画像ＰＡｔの例を示す。
【数１】
2014226430.tif 000003
【００３９】
なお、ここでは、平行投影変換による擬似３次元画像の生成手法を説明しているが、これに替えて、透視投影変換によって擬似３次元画像を生成してもよい。透視投影変換により擬似３次元画像を生成する場合には、デフォルトの３次元座標系における各座標に対して、上記同様に式（１）による変換を行う。そして、変換された座標系においてｘｙ平面に平行な投影面に、所望の画素を透視投影して第１の擬似３次元画像ＰＡｔが生成される。この際、変換した座標系の原点と投影面との距離d、投影対象の座標の位置を(x, y, z)とすると、投影面に投影される位置は(x×d/z, y×d/z, d)となる。
【００４０】
次に、変形情報取得部１６が、非剛体レジストレーション手法を用いて、第１の擬似３次元画像ＰＡｔと内視鏡画像Ｅｔが互いに位置合わせされるように、第１の擬似３次元画像ＰＡｔを変形する変形量を表す第１の変形情報Ｆｔを取得する（Ｓ０７）。
【００４１】
ここでは、第１の擬似３次元画像ＰＡｔの各画素にそれぞれの変形量を設定し、各変形量を徐々に変化させながら、第１の擬似３次元画像ＰＡｔの各画素を各変形量に基づいて変形した画像と内視鏡画像Ｅｔとの類似度を表す所定の関数を最大化（最小化）することにより、第１の擬似３次元画像ＰＡｔと内視鏡画像Ｅｔが互いに位置合わせされる各画素の変形量を取得する。そして、第１の擬似３次元画像ＰＡｔの各画素の変形量を規定する関数ｆｔを変形情報Ｆｔとして取得する。なお、変形後の第１の擬似３次元画像ＰＡｔの画素の座標ｘＰＡｔと、内視鏡画像Ｅｔの座標ｘＥｔは、式（２）のように対応付けられる。
【数２】
2014226430.tif 000004
【００４２】
なお、非剛体レジストレーション手法とは、一方の画像の各画素を各変形量に基づいて移動させて、２つの画像の類似度を判定する所定の関数を最大化（最小化）することにより、２つの画像を互いに一致させるための上記一方の画像の各画素の変形量を算出する方法である。本実施形態に、２つの画像を互いに位置合わせする非剛体レジストレーション手法であれば、例えば、Rueckert D Sonoda LI，Hayesc，Ｅt al.、「Nonrigid Registration Using Free-Form Deformations：application to breast MR Images」、IEEE transactions on Medical Imaging、1999年、vol.18，No.8，pp.712-721等種々の周知の手法を適用することができる。
【００４３】
次に、変形部１７は、取得された第１の変形情報Ｆｔに基づいて、３次元画像Ｖの対応撮像方向ｒＶｔに直交する方向に３次元画像Ｖを３次元変形した第２の３次元画像ＶＡｔを生成する（Ｓ０８）。
【００４４】
ここで、内視鏡画像Ｅｔと第１の擬似３次元画像ＰＡｔは共に２次元画像であるため、変形情報取得部１６によって特定された変形情報Ｆｔは、第１の擬似３次元画像ＰＡｔの投影面に平行な方向についての変形量である。このため、図４Ａの第２の３次元画像ＶＡｔに示すように、対応撮像方向ｒＶｔをｚ軸方向とした３次元画像の座標系において、３次元画像Ｖはｚ方向には変形されず、ｘ、ｙ方向（上記対応撮像方向ｒＶｔに直交する方向）に変形される。
【００４５】
変形部１７は、３次元画像Ｖの画素の座標をｘＶ、対応撮像位置をｗＶｔ、先述の回転行列をＲＶｔ、先述の第１の擬似３次元画像ＰＡｔの各画素の変形量を規定する関数をｆｔとすると、第２の３次元画像ＶＡｔの画素の座標ｘＶＡｔを、下記式（３）に基づいて算出する。
【数３】
2014226430.tif 000005
【００４６】
次に、画像生成部１３は、第２の３次元画像ＶＡｔを取得し、対応撮像位置情報ＳＶｔと構造物領域情報と病変領域情報とに基づいて、第２の３次元画像ＶＡｔから、肝臓表面を半透明に表し、構造物領域Ｋと病変領域Ｑを不透明に表すサーフィスレンダリング画像である第１の参照画像ＰＢｔを生成する（Ｓ０９）。生成された第１の参照画像ＰＢｔは、内視鏡画像Ｅｔの表面の情報である第１の変形情報Ｆｔに基づいて、対応撮像方向ｒＶｔと直交する方向に、内視鏡画像Ｅｔに位置合わせされて、肝臓の内部についても変形されているため、肝臓に含まれる構造物領域Ｋおよび病変領域Ｑも変形されて表示される。
【００４７】
また、画像生成部１３は、対応撮像位置情報ＳＶｔと異なる参照位置情報を取得し、参照位置情報と構造物領域情報と病変領域情報とに基づいて、第２の３次元画像ＶＡｔから、肝臓表面を半透明に表し、構造物領域Ｋと病変領域Ｑを不透明に表すサーフィスレンダリング画像である第２の参照画像ＰＣｔを生成する（Ｓ１０）。図５Ｂに、肝臓に対する第１の参照画像ＰＢｔの対応撮像方向Ｈ２と、第２の参照画像ＰＣｔの投影方向Ｈ３とを示す。画像生成部１３は、解剖学的構造物内部の対象領域を視認可能であれば任意の方向を投影方向として第２の参照画像ＰＣｔを生成することができる。ここでは、肝臓内部の構造物領域Ｋと病変領域Ｑを容易に観察可能に表すように投影方向Ｈ３が適宜設定され、第２の参照画像ＰＣｔが生成されている。
【００４８】
表示制御部１８は、内視鏡画像Ｅｔと第１の参照画像ＰＢｔと第２の参照画像ＰＣｔをディスプレイ３に表示させる表示制御を行う（Ｓ１１）。図５Ａに、内視鏡画像Ｅｔと第１の参照画像ＰＢｔと第２の参照画像ＰＣｔの表示例を示す。
【００４９】
そして、図３に示すように、表示終了の指示を画像表示装置１が受け付けるまで（Ｓ１２、Ｎ）、２次元画像取得部２０は、撮像時ｔを所定間隔後の撮像時ｔ＋１に更新して（Ｓ１３）、Ｓ４−Ｓ１２の処理を繰り返す。一方、表示終了の指示を受け付けると（Ｓ１２、Ｙ）、表示処理を終了する。
【００５０】
上記の実施形態によれば、図５に示すように、３次元画像Ｖの撮像時と解剖学的構造物の表面を示す内視鏡画像Ｅｔの撮像時とで解剖学的構造物の形状が変形していても、内視鏡画像Ｅｔの撮像方向と対応する３次元画像Ｖの対応撮像方向と直交する方向については、解剖学的構造物の表面の変形に基づいて、解剖学的構造物内部の対象領域（ここでは、構造物領域Ｋおよび病変領域Ｑ）を、内視鏡画像Ｅｔと位置合わせして表示することができる。このため、第１の参照画像ＰＢｔと内視鏡画像Ｅｔとを比較することにより、解剖学的構造物内に含まれ、内視鏡画像Ｅｔでは視認できない対象領域の形状や位置をより正確に把握することが可能となる。また、第１の参照画像ＰＢｔを内視鏡画像Ｅｔ上に重畳表示してもよく、この場合には、内視鏡画像Ｅｔの解剖学的構造物の形状を把握しつつ、内視鏡画像Ｅｔで解剖学的構造物内に含まれ、内視鏡画像Ｅｔでは視認できない対象領域の形状や位置をより正確に把握することが可能となる。
【００５１】
また、変形した３次元画像ＶＡｔを生成することにより、３次元画像ＶＡｔに基づいて、ユーザの要求に応じて、投影方向や表示パラメータを種々に異ならせたさらなる参照画像を生成して表示することができる。
【００５２】
第１の実施形態のように、対応撮像方向とは異なる投影方向に、対象領域（ここでは、構造物領域Ｋおよび病変領域Ｑ）を含むように、第２の参照画像ＰＣｔを生成して表示した場合には、別角度からの参照画像ＰＣｔも表示することで、解剖学的構造物内の対象領域をより立体的に容易に把握することができる。
【００５３】
また、第１の実施形態のように、対象領域取得部２１が、解剖学的構造物に内包される、さらなる解剖学的構造物の構造物領域Ｋ（ここでは血管領域）を対象領域として取得する構造物領域取得部１４および解剖学的構造物に内包される病変領域Ｑを対象領域として取得する病変領域取得部１５を備える場合には、病変領域Ｑが切除などの処置対象の場合に、病変領域Ｑへの解剖学的構造物へ処置具を接近させる経路を確認場合するなど、病変領域Ｑを確認しつつ注目すべき構造物領域Ｋを医師らが好適に把握することができる。例えば、肝臓の病変領域Ｑを削除する手術の際に、病変領域Ｑに処置具を接近させる経路などを確認する場合など、病変領域Ｑと血管領域を対象領域とすることで、病変領域Ｑに対する血管領域の相対的な位置や形状を医師らが好適に精度良く把握することができる。
【００５４】
また、第１の実施形態のように、所定間隔で解剖学的構造物の表面を表すさらなる２次元画像を取得し、さらなる２次元画像に基づいて、Ｓ０４―Ｓ１２の処理を繰り返して、さらなる第１の参照画像ＰＢｔを生成して表示するため、内視鏡の撮影位置や撮影方向が時間の経過と共に変化する場合であっても、各撮影位置と撮影方向に応じて好適に位置合わせされた第１の参照画像ＰＢｔを参照することができる。
【００５５】
以下、第２の実施形態について説明する。図６Ａ、６Ｂは第２の実施形態における画像処理装置の処理の流れを表したフローチャートを示す。また、図７Ａに、第２の実施形態における第１の内視鏡画像Ｅｔ−１、第２の内視鏡画像Ｅｔ（さらなる内視鏡画像Ｅｔ）と、３次元画像から生成される各画像を模式的に示している。第２の実施形態について、さらなる内視鏡画像Ｅｔ（解剖学的構造物の表面を表すさらなる２次元画像）を受け付けた後の変形情報取得部１６と変形部１７の処理が第１の実施形態と異なり、その他の部分については、第１の実施形態と図１に示す各構成要素の機能はほぼ共通している。このため、第２の実施形態では、第１の実施形態と異なる部分を中心に説明し、共通する部分は重複説明を避けるため説明を省略する。
【００５６】
以下、図６Ａと図６Ｂと図７Ａを用いて、第２の実施形態における処理の流れを説明する。
【００５７】
まず、第２の実施形態における画像表示装置１は、第１の実施形態と同様に、Ｓ３１−Ｓ４１の処理を行う。なお、図６ＡのＳ３１−Ｓ４１に示す処理は、図３に示すＳ０１−Ｓ１１と対応する処理である。
【００５８】
次に、画像表示装置１は、撮像時ｔを所定間隔後の撮像時ｔ＋１に更新する（Ｓ４２）。そして、図６Ｂおよび図４Ａに示すように、２次元画像取得部２０が、内視鏡１０１から第２の撮像時ｔに撮像された肝臓の表面を表すさらなる内視鏡画像Ｅｔ（第２の２次元画像）を取得すると（Ｓ４３、Ｙ）、撮像位置取得部１９が、位置センサ１０８から、第２の撮像時ｔにおける内視鏡１０１の撮像位置ｗＥｔ、撮像方向ｒＥｔからなる第２の撮像位置情報ＳＥｔを取得する（Ｓ４４）。
【００５９】
次いで、変形情報取得部１６は、内視鏡画像Ｅｔ−１（第１の２次元画像）と内視鏡画像Ｅｔが位置合わせされるように、さらなる内視鏡画像Ｅｔを変形する変形量を表す第２の変形情報Ｆｔを取得する（Ｓ４５）。
【００６０】
変形情報取得部１６は、内視鏡画像Ｅｔ−１の各画素にそれぞれの変形量を設定し、各変形量を徐々に変化させながら、内視鏡画像Ｅｔ−１の各画素を各変形量に基づいて変形した画像と内視鏡画像Ｅｔとの類似度を表す所定の関数を最大化（最小化）することにより、内視鏡画像Ｅｔ−１と内視鏡画像Ｅｔが互いに位置合わせされる各画素の変形量を取得する。そして、内視鏡画像Ｅｔ−１の各画素の変形量を規定する関数ｆＥｔを変形情報ＦＥｔとして取得する。内視鏡画像Ｅｔ−１の座標ｘＥｔ−１と、さらなる内視鏡画像Ｅｔの座標ｘＥｔは、下記式（４）のように対応付けられる。なお、内視鏡画像Ｅｔ−１とさらなる内視鏡画像Ｅｔは共に２次元画像であるため、内視鏡画像Ｅｔ−１の各画素の変形量を規定する上記関数ｆＥｔは、内視鏡画像Ｅｔ−１の撮像方向ｒＥｔ−１と直交する方向の変形量を規定している。また、位置合わせの対象となる画像が第１の実施形態とは異なることを除いて、第２の変形情報Ｆｔの取得方法は、第１の変形情報Ｆｔの取得方法と同様である。
【数４】
2014226430.tif 000006
【００６１】
次に変形部１７が、第２の変形情報ＦＥｔに基づいて、第１の実施形態のＳ０８と同様に、対応撮像方向ｒＶｔに直交する方向に第２の３次元画像ＶＡｔ−１をさらに３次元変形した第３の３次元画像ＶＡｔを生成する（Ｓ４６）。
【００６２】
変形部１７は、第２の撮像位置情報ＳＥｔに基づいて、３次元画像Ｖにおける第２の撮像時ｔの対応撮像位置ｗＶｔと第２の撮像時ｔの対応撮像方向ｒＶｔを取得する。さらに、変形部１７は、第１の撮像時ｔ−１の対応撮像位置ｗＶｔ-１と、第１の撮像時ｔ−１の対応撮像方向ｒＶｔ−１をデフォルトの座標系のＺ軸方向と一致させるように座標系を回転させる回転行列ＲＶｔ-1と、第２の撮像時ｔの対応撮像方向ｒＶｔをデフォルトの座標系のＺ軸方向と一致させるように座標系を回転させる回転行列ＲＶｔと、先述の内視鏡画像Ｅｔ−１の各画素の変形量を規定する関数をｆＥｔとを取得する。そして、変形部１７は、これらに基づいて、第２の３次元画像ＶＡｔ-１の画素の座標をｘＶＡｔ-１とすると、第２の３次元画像ＶＡｔの画素の座標ｘＶＡｔを、下記式（５）に基づいて算出する。
【数５】
2014226430.tif 000007
【００６３】
そして、式（５）に基づいて、図４Ａの第３の３次元画像ＶＡｔに示すように、対応撮像方向ｒＶｔ−１をｚ軸方向とすると、３次元画像ＶＡｔ−１はｚ方向には変形されず、ｘ、ｙ方向（上記対応撮像方向ｒＶｔ−１に直交する方向）に変形されて、第３の３次元画像ＶＡｔが生成される。
【００６４】
そして、画像生成部１３は、第１の実施形態のＳ０９と同様に、対応撮像位置ｗＶｔと構造物領域情報と病変領域情報とに基づいて、第３の３次元画像ＶＡｔから、肝臓に含まれる対象領域（ここでは、構造物領域Ｋおよび病変領域Ｑ）を視認可能に表示したサーフィスレンダリング画像である第３の参照画像ＰＢｔを生成する（Ｓ４７）。
【００６５】
また、画像生成部１３は、第１の実施形態のＳ１０と同様に、対応撮像方向ｒＶｔとは異なる第３の３次元画像ＶＡｔの参照方向を取得し、取得した第２の参照方向に基づいて、第３の３次元画像から、肝臓に含まれる対象領域（ここでは、構造物領域Ｋおよび病変領域Ｑ）を視認可能に表示したサーフィスレンダリング画像である第４の参照画像ＰＣｔを生成する（Ｓ４８）。画像生成部１３は、解剖学的構造物内部の対象領域を視認可能であれば任意の方向を投影方向として第４の参照画像ＰＣｔを生成することができる。ここでは、肝臓内部の構造物領域Ｋと病変領域Ｑを容易に観察可能に表すように、投影方向が適宜設定され、第４の参照画像ＰＣｔが生成されている。
【００６６】
表示制御部１８は、内視鏡画像Ｅｔと第３の参照画像ＰＢｔと第４の参照画像ＰＣｔをディスプレイ３に表示させる表示制御を行う（Ｓ４９）。この場合も、図５Ａに示す例のように、内視鏡画像Ｅｔと第３の参照画像ＰＢｔと第４の参照画像ＰＣｔが表示される。
【００６７】
一方、図６Ｂに示すように、さらなる２次元画像Ｅｔ＋１がない場合には（Ｓ４３、Ｎ）、表示終了の指示を画像表示装置１が受け付けるまで（Ｓ５０、Ｎ）、Ｓ４２−Ｓ４９の処理を繰り返す。一方、表示終了の指示を受け付けると（Ｓ５０、Ｎ）、表示処理を終了する。
【００６８】
第２の実施形態によれば、内視鏡画像Ｅｔ−１からさらなる内視鏡画像Ｅｔへの画像の変形に応じて、解剖学的構造物に内包されて直接視認できない対象領域（ここでは、構造物領域Ｋおよび病変領域Ｑ）の位置や形状を精度良く把握可能な第３の参照画像ＰＢｔを生成表示できる。また、過去の参照画像ＰＢｔ−１の作成経過で生成された３次元画像ＶＡｔ−１を利用して、さらなる内視鏡画像Ｅｔに対応する３次元画像ＶＡｔを生成することで、さらなる内視鏡画像Ｅｔに対応する第３の参照画像ＰＢｔの生成処理の処理負担を低減できる。なお、撮像方向が大きく変動しない場合に第２の実施形態を適用することが好ましい。
【００６９】
また、さらなる内視鏡画像Ｅｔに対応するように変形した３次元画像ＶＡｔを生成することにより、３次元画像ＶＡｔに基づいて、さらなる画像を生成して表示することができるため、ユーザの要求に応じて、撮像方向や表示パラメータを種々に異ならせたさらなる参照画像を生成して表示することができる。
【００７０】
第２の実施形態のように、対応撮像方向とは異なる投影方向に、対象領域を含むように、第４の参照画像ＰＣｔを生成して表示した場合には、別角度からの参照画像ＰＣｔも表示することで、解剖学的構造物内の対象領域をより立体的に容易に把握することができる。
【００７１】
また、第２の実施形態において、さらなる内視鏡画像Ｅｔを受け取った場合に（Ｓ４３、Ｙ）、内視鏡画像Ｅｔ−１とさらなる内視鏡画像Ｅｔとの差異が大きいことを示す所定の判定条件を満たす場合には、さらなる内視鏡画像Ｅｔに対して、Ｓ３３−Ｓ４１に示す処理を行い、上記判定条件を満たさない場合には、Ｓ４４−Ｓ４９に示す処理を行うようにしてもよい。この場合には、内視鏡画像Ｅｔ−１とさらなる内視鏡画像Ｅｔとの差異に応じて、より好適に内視鏡画像Ｅｔに対応する参照画像ＰＢｔを生成表示することができる。判定条件として、例えば、内視鏡画像Ｅｔ−１の撮像位置とさらなる内視鏡画像Ｅｔの撮像位置との差が所定値より大きいという条件、あるいは、内視鏡画像Ｅｔ−１の撮像方向とさらなる内視鏡画像Ｅｔ撮像方向の角度が所定値よりも大きいなどの条件を用いることができる。
【００７２】
以下、第３の実施形態について説明する。図６Ａ、６Ｃは第３の実施形態における画像処理装置の処理の流れを表したフローチャートを示す。第３の実施形態では、変形部１７が第２の変形情報に基づいて変形させる対象画像が第２の実施形態と異なり、その他の部分については、図１に示す各構成要素の機能は第２の実施形態と共通している。このため、第３の実施形態では、第２の実施形態と異なる部分を中心に説明し、第２の実施形態と共通する部分は重複説明を避けるため説明を省略する。
【００７３】
以下、図６Ａと図６Ｃと図７Ａを用いて、第３の実施形態における処理の流れを説明する。なお、図７Ａにおいて、第３の実施形態で生成される画像の概念図が例示される。
【００７４】
まず、第３の実施形態における画像表示装置１は、第２の実施形態と同様に、Ｓ３１−Ｓ４１の処理を行う。なお、図６ＡのＳ３１−Ｓ４１に示す処理は、図３に示すＳ０１−Ｓ１１と対応する処理である。
【００７５】
続いて、図６Ｃおよび図４Ａに示すように、画像表示装置１は、撮像時ｔを所定間隔後の撮像時ｔ＋１に更新する（Ｓ６１）。そして、２次元画像取得部２０が、内視鏡１０１から第２の撮像時ｔに撮像された肝臓の表面を表すさらなる内視鏡画像Ｅｔ（第３の２次元画像）を取得すると（Ｓ６２、Ｙ）、変形情報取得部１６は、内視鏡画像Ｅｔ−１（第１の２次元画像）と内視鏡画像Ｅｔが位置合わせされるように、さらなる内視鏡画像Ｅｔを変形する変形量を表す第３の変形情報ＦＥｔを取得する（Ｓ６３）。なお、図６ＣのＳ６１−Ｓ６３に示す処理は、図６Ｂに示すＳ４２、Ｓ４３、Ｓ４５とそれぞれ対応する処理である。
【００７６】
次に、画像生成部１３は、図７Ａの矢印Ｈ４に示すように、第３の変形情報ＦＥｔに基づいて、対応撮像方向ｒＶｔ−１に直交する方向に第１の参照画像ＰＢｔ−１を２次元変形した第５の参照画像ＰＢｔを生成する（Ｓ６４）。
【００７７】
なお、第２の実施形態でも述べたように、内視鏡画像Ｅｔ−１と内視鏡画像Ｅｔは共に２次元画像であるため、変形情報取得部１６によって特定された第３の変形情報Ｆｔにおける変形量は、内視鏡画像Ｅｔ−１の撮像方向ｒＥｔ−１と直交する方向の変形量を表していると考えられる。内視鏡画像Ｅｔ−１に位置合わせされて作成された参照画像ＰＢｔ−１は、すでに内視鏡画像Ｅｔ−１とは、互いに対応する座標および撮像方向ｒＥｔ−１に対応する対応撮像方向ｒＶｔ−１が位置合わせされている。このため、第３の実施形態では、第３の変形情報ＦＥｔとして得られた、内視鏡画像Ｅｔ−１の座標系（内視鏡１０１の座標系）における、内視鏡画像Ｅｔ−１を内視鏡画像Ｅｔに位置合わせする変形量を規定する関数ｆＥｔを、上記参照画像ＰＢｔ−１の変形量を規定する関数として用いて、この参照画像ＰＢｔ−１を変形することで、内視鏡画像Ｅｔ−１から内視鏡画像Ｅｔへの画像変形を、第１の参照画像ＰＢｔに反映する。すなわち、下記式（６）に示すように、参照画像ＰＢｔ−１の座標ｘＰＢｔ−１に、内視鏡画像Ｅｔ−１を内視鏡画像Ｅｔに位置合わせする変形量を規定する関数ｆＥｔを適用して、第５の参照画像ＰＢｔの座標ｘＰＢｔを算出する。
【数６】
2014226430.tif 000008
【００７８】
そして、表示制御部１８は、内視鏡画像Ｅｔと第５の参照画像ＰＢｔをディスプレイ３に表示させる表示制御を行う（Ｓ６５）。図７Ｂに、第３の実施形態の内視鏡画像Ｅｔと第５の参照画像ＰＢｔの表示例を示す。
【００７９】
そして、図６Ｃに示すように、さらなる内視鏡画像Ｅｔがない場合には（Ｓ６２、Ｎ）、表示終了の指示を画像表示装置１が受け付けるまで（Ｓ６６、Ｎ）、Ｓ６１−Ｓ６５の処理を繰り返す。一方、表示終了の指示を受け付けると（Ｓ６６、Ｙ）、表示処理を終了する。
【００８０】
第３の実施形態によれば、内視鏡画像Ｅｔ−１からさらなる内視鏡画像Ｅｔへの画像の変形に応じて、解剖学的構造物に内包されて直接視認できない対象領域（ここでは、構造物領域Ｋおよび病変領域Ｑ）の位置や形状を精度良く把握可能な第５の参照画像ＰＢｔを生成表示できる。また、過去に作成された参照画像ＰＢｔ−１が内視鏡画像Ｅｔ−１とがすでに位置合わせされていることを利用して、過去に生成された第１の参照画像ＰＢｔ−１を変形してさらなる内視鏡画像Ｅｔに対応する第５の参照画像ＰＢｔを生成するため、第５の参照画像ＰＢｔの生成処理の処理負担を低減できる。なお、撮像方向が大きく変動しない場合に第３の実施形態を適用することが好ましい。
【００８１】
また、第３の実施形態において、さらなる内視鏡画像Ｅｔを受け取った場合に（Ｓ６３、Ｙ）、内視鏡画像Ｅｔ−１とさらなる内視鏡画像Ｅｔとの差異が大きいことを示す所定の判定条件を満たす場合には、さらなる内視鏡画像Ｅｔに対して、Ｓ３３−Ｓ４１に示す処理を行い、上記判定条件を満たさない場合には、Ｓ６３−６５に示す処理を行うようにしてもよい。この場合には、内視鏡画像Ｅｔ−１とさらなる内視鏡画像Ｅｔとの差異に応じて、より好適に内視鏡画像Ｅｔに対応する参照画像ＰＢｔを生成表示することができる。判定条件として、例えば、内視鏡画像Ｅｔ−１の撮像位置とさらなる内視鏡画像Ｅｔの撮像位置との差が所定値より大きいという条件、あるいは、内視鏡画像Ｅｔ−１の撮像方向とさらなる内視鏡画像Ｅｔ撮像方向の角度が所定値よりも大きいなどの条件を用いることができる。
【００８２】
なお、本明細書の各実施形態では、２次元画像取得部２０は、撮像時ｔを更新するごとに、内視鏡１０１から取得される動画像のうち撮像時ｔに対応するフレーム画像をさらなる内視鏡画像Ｅｔとしている。なお、本各実施形態に限定されず、第２の撮像時ｔは第１の撮像時ｔ−１と異なるものであればよい。また、上記各実施形態において、さらなる２次元画像を、一定の時間間隔でなく、それぞれ任意のタイミングで撮像したものとすることができる。
【００８３】
上記第２及び第３の実施形態において、第１の撮像時に撮像された２次元画像として、さらなる内視鏡画像Ｅｔの直前に取得された内視鏡画像Ｅｔ−１を用いたが、これに替えて、第１の撮像時に撮像された内視鏡画像として、過去に撮影された内視鏡画像のうち任意の内視鏡画像Ｅｔ−ｊ（０≦ｊ＜ｔ）を用いてよい。
【００８４】
また、ハードウェア構成については、図１のモダリティ１０５は、上記のＣＴ装置のほか、超音波診断装置やＭＲＩ装置等を用いてもよい。また、図１の内視鏡１０１は、硬性鏡ではなく、軟性鏡やカプセル型内視鏡を用いてもよい。さらに、撮像位置取得部１９やは、磁気式のものを用いてもよいし、例えば特開２００５−２１３５３号公報に記載されているように、ジャイロやロータリーエンコーダ等を用いてもよい。
【００８５】
また、上記各実施形態において、対象領域情報は、公知の画像認識技術を用いた自動的方法によって抽出されたものであってもよく、ユーザの手動操作によって抽出されたものであってもよく、両者を組み合わせた方法で抽出されたものであってもよい。また、対象領域取得部２１は、予め３次元画像Ｖの付帯情報として関連づけられた対象領域（本実施形態においては病変領域Ｑおよび／または構造物領域Ｋ）の情報を取得してもよく、３次元画像Ｖから方法によって対象領域を抽出して取得するようにしてもよい。
【００８６】
また、上記各実施形態において、病変領域取得部１５または構造物領域取得部１４のいずれかを省略した構成としてもよい。また、上記実施形態において、肝臓を肺などの他の臓器や、他の解剖学的構造物としてもよい。なお、上記実施形態に限定されず、対象領域取得部２１は、解剖学的構造物内に含まれる注目すべき領域など対象領域を任意に設定することができる。
【００８７】
上記各実施形態において、各参照画像を、透視投影法により生成されたものとしても良く、平行投影法により生成されたものとしてもよい。
【００８８】
「撮像位置」は、ユーザの手動操作によって設定された位置としてもよいし、３次元画像の座標空間における、撮像位置取得手段によってリアルタイムに検出された被検体の体腔内に挿入された内視鏡の位置に対応する位置としてもよい。
【００８９】
各実施形態において、内視鏡画像Ｅｔと位置合わせされるように生成された参照画像ＰＢｔを、内視鏡画像Ｅｔと比較表示してもよく、２次元画像上と参照画像ＰＢｔに基づいて、２次元画像上の解剖学的構造物上に対象領域が擬似３次元な画像として重畳表示されるようにしてもよい。
【００９０】
また、上記各実施形態において、内視鏡画像を例に用いているが、解剖学的構造物の表面を表す２次元画像であれば、内視鏡装置以外の種類のカメラによって撮像されたものでもよい。
【００９１】
上記の各実施形態はあくまでも例示であり、上記のすべての説明が本発明の技術的範囲を限定的に解釈するために利用されるべきものではない。
【００９２】
また、上記の実施形態におけるシステム構成、ハードウェア構成、処理フロー、モジュール構成、ユーザインターフェースや具体的処理内容等に対して、本発明の趣旨から逸脱しない範囲で様々な改変を行ったものも、本発明の技術的範囲に含まれる。
【符号の説明】
【００９３】
１  画像表示装置
３  ディスプレイ
１０  手術ナビゲーションシステム
１１  ３次元画像記憶部
１２  ３次元画像取得部
１３  画像生成部
１４  構造物領域取得部
１５  病変領域取得部
１６  変形情報取得部
１７  変形部
１８  表示制御部
１９  撮像位置取得部
２０  ２次元画像取得部
２１  対象領域取得部
１０１  内視鏡
１０５  モダリティ
１０６  処置具
１０７  内視鏡用マーカー
１０８  位置センサ
１００  画像処理ワークステーション
Ｆｔ    第１の変形情報、第２の変形情報
Ｋ      血管領域（対象領域）
ＰＡｔ 第１の擬似３次元画像（仮想内視鏡画像）
ＰＢｔ 第１、第３、第５の参照画像（内視鏡画像と位置合わせされた擬似３次元画像）
ＰＣｔ 第２、第４の参照画像
Ｑ     病変領域（対象領域）
ｒＥｔ 撮像方向
ｒＶｔ 対応撮像方向
ＳＥｔ 撮像位置情報
ＳＶｔ 対応撮像位置情報
ｔ      撮像時
Ｖ     ３次元画像
ＶＡｔ 第１の３次元画像
ＶＢｔ 第２の３次元画像
ｗＥｔ 撮像位置
ｗＶｔ 対応撮像位置
【図１】
2014226430.tif 000009
【図２】
2014226430.tif 000010
【図３】
2014226430.tif 000011
【図６Ａ】
2014226430.tif 000012
【図６Ｂ】
2014226430.tif 000013
【図６Ｃ】
2014226430.tif 000014
【図４Ａ】
2014226430.tif 000015
【図４Ｂ】
2014226430.tif 000016
【図５Ａ】
2014226430.tif 000017
【図５Ｂ】
2014226430.tif 000018
【図７Ａ】
2014226430.tif 000019
【図７Ｂ】
2014226430.tif 000020