(57)【要約】【課題】内視鏡画像の表示において、その画像が被写体のどの部分を撮影したものであるかを認識可能にする。【解決手段】内視鏡10により現時点までに撮影された画像のうち、画像同士で重なり合う領域を有する２以上の画像を合成して背景画像Bを生成する。内視鏡10により現時点tsで撮影された現在画像P(ts)と、背景画像Bを構成する２以上の画像のうち１つである基準画像P(tb)の両方に存在する特徴点を、現在画像P(ts)および基準画像P(tb)のそれぞれにおいて検出する。基準画像上における特徴点の位置Qbからの現在画像上における特徴点の位置Qsのズレに基づいて、背景画像B上における現時点での内視鏡の位置L(ts)を取得する。背景画像B上にその取得した内視鏡の位置L(ts)を表した位置表示画像30を生成し、内視鏡により現時点で撮影された画像とともにディスプレイ５の画面に表示する。【選択図】図２
2010279539.tif 000002
【特許請求の範囲】
【請求項１】
内視鏡により現時点までに撮影された画像のうち、画像同士で重なり合う領域を有する２以上の画像を合成して背景画像を生成する背景画像生成手段と、
前記内視鏡により前記現時点で撮影された現在画像と、前記背景画像を構成する画像である２以上の基準画像のうちの１つの両方に存在する特徴点を、前記現在画像および前記１つの基準画像のそれぞれにおいて検出する特徴点検出手段と、
前記基準画像上における前記検出された前記特徴点の位置からの前記現在画像上における前記検出された前記特徴点の位置のズレに基づいて、前記背景画像上における前記現時点での前記内視鏡の位置を取得する内視鏡位置取得手段と、
前記背景画像生成手段により生成した背景画像上に前記内視鏡位置取得手段により取得した内視鏡の位置を表した位置表示画像を生成する位置表示画像生成手段と、
該位置表示画像生成手段により生成した位置表示画像を前記内視鏡により前記現時点で撮影された画像とともに画面に表示する画像表示手段と
を備えたことを特徴とする診断支援装置。
【請求項２】
前記位置取得手段が、前記特徴点の位置のズレに基づいて、前記１つの基準画像の撮影時点における前記内視鏡の位置からの前記現時点における前記内視鏡の位置のズレを取得することにより、前記内視鏡の位置を取得するものであることを特徴とする請求項１記載の診断支援装置。
【請求項３】
前記位置表示画像生成手段が、前記背景画像上の前記取得した内視鏡の位置に内視鏡の絵を合成することにより、前記位置表示画像を生成するものであることを特徴とする請求項１または２記載の診断支援装置。
【請求項４】
前記内視鏡の付属器具の操作状況を検知する検知手段を備え、
前記位置表示画像生成手段が、前記検知された付属器具の操作状況に基づき、前記背景画像上に前記現時点における前記付属器具の様子をさらに表した前記位置表示画像を生成するものであることを特徴とする請求項１から３のいずれか1項記載の診断支援装置。
【請求項５】
前記生成した位置表示画像を前記現在画像に対応付けて記録する記録手段を備え、
前記画像表示手段が、前記記録手段に記録されている位置表示画像を前記内視鏡により前記現時点で撮影された画像とともに前記画面に表示する機能をさらに有するものであることを特徴とする請求項１から４のいずれか1項記載の診断支援装置。
【請求項６】
前記生成した背景画像と前記取得した内視鏡の位置とを前記内視鏡により前記現時点で撮影された画像に対応付けて記録する記録手段を備え、
前記位置表示画像生成手段が、前記記録手段に記録されている背景画像と内視鏡の位置とを用いて前記位置表示画像を生成する機能をさらに有するものであることを特徴とする請求項１から４のいずれか1項記載の診断支援装置。
【請求項７】
内視鏡により現時点までに撮影された画像のうち、画像同士で重なり合う領域を有する２以上の画像を合成して背景画像を生成する工程、
前記内視鏡により前記現時点で撮影された現在画像と、前記背景画像を構成する画像である2以上の基準画像のうちの１つの両方に存在する特徴点を、前記現在画像および前記１つの基準画像のそれぞれにおいて検出する工程、
前記基準画像上における前記検出された前記特徴点の位置からの前記現在画像上における前記検出された前記特徴点の位置のズレに基づいて、前記背景画像上における前記現時点での前記内視鏡の位置を取得する工程、
前記生成した背景画像上に前記取得した内視鏡の位置を表した位置表示画像を生成する工程、
および前記生成した位置表示画像を前記内視鏡により前記現時点で撮影された画像とともに画面に表示する工程からなることを特徴とする診断支援方法。
【請求項８】
前記内視鏡の位置を取得する工程が、前記特徴点の位置のズレに基づいて、前記１つの基準画像の撮影時点における前記内視鏡の位置からの前記現時点における前記内視鏡の位置のズレを取得することにより、前記内視鏡の位置を取得するものであることを特徴とする請求項７記載の診断支援方法。
【請求項９】
コンピュータを、
内視鏡により現時点までに撮影された画像のうち、画像同士で重なり合う領域を有する２以上の画像を合成して背景画像を生成する背景画像生成手段と、
前記内視鏡により前記現時点で撮影された現在画像と、前記背景画像を構成する画像である２以上の基準画像のうちの１つの両方に存在する特徴点を、前記現在画像および前記１つの基準画像のそれぞれにおいて検出する特徴点検出手段と、
前記基準画像上における前記検出された前記特徴点の位置からの前記現在画像上における前記検出された前記特徴点の位置のズレに基づいて、前記背景画像上における前記現時点での前記内視鏡の位置を取得する内視鏡位置取得手段と、
前記背景画像生成手段により生成した背景画像上に前記内視鏡位置取得手段により取得した内視鏡の位置を表した位置表示画像を生成する位置表示画像生成手段と、
該位置表示画像生成手段により生成した位置表示画像を前記内視鏡により前記現時点で撮影された画像とともに画面に表示する画像表示手段として機能させる診断支援プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、医療分野での利用に適した発明で、内視鏡により撮影された画像による画像診断を支援する装置および方法並びにコンピュータプログラムに関するものである。
【背景技術】
【０００２】
本体に光学系を内蔵し、体内に挿入することによって内部の映像を手元で見ることができる内視鏡が広く用いられている。このような内視鏡には、細長い形状を有するスコープ式の内視鏡やカプセル状の内視鏡（カプセル内視鏡）がある。また、観察以外に、ある程度の手術や標本採取ができるものもある。
【０００３】
そして、たとえば、特許文献１においては、ユーザによる内視鏡画像の観察負担を軽減させるため、カプセル内視鏡で長時間に亘って撮影して得た多数の画像を画像診断に提供する際、個々の画像ではなく、その各画像を繋ぎ合せてなる１枚の展開画像として提供することが提案されている。
【０００４】
また、特許文献２においては、内視鏡に内蔵されている複数個の光学系で撮影して得られた複数個の画像をモニターに並べて表示する際に、撮影範囲が重なる２以上の光学系で撮影した画像間の重なり領域が重複して表示されないようにすることにより、内視鏡画像の観察性能を向上させることが提案されている。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２００７−２３６７００号公報
【特許文献２】特開２０００−３２５３０７号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
通常内視鏡は体腔内や細い管内の撮影に用いるので、撮影された画像だけでは被写体のどの部位を撮影しているのかがわかりにくいという問題がある。
【０００７】
本発明は、改良された診断支援装置および方法ならびにプログラムを提供することにより、診断を行う医師が、内視鏡により撮影された画像が被写体のどの部分を撮影しているのかを認識できるようにすることを目的とする。
【課題を解決するための手段】
【０００８】
本発明の診断支援装置は、内視鏡により現時点までに撮影された画像のうち、画像同士で重なり合う領域を有する２以上の画像を合成して背景画像を生成する背景画像生成手段と、内視鏡により現時点で撮影された現在画像と、背景画像を構成する画像である２以上の基準画像のうちの１つの両方に存在する特徴点を、現在画像およびその１つの基準画像のそれぞれにおいて検出する特徴点検出手段と、基準画像上における検出された特徴点の位置からの現在画像上における検出された特徴点の位置のズレに基づいて、背景画像上における現時点での内視鏡の位置を取得する内視鏡位置取得手段と、背景画像生成手段により生成した背景画像上に内視鏡位置取得手段により取得した内視鏡の位置を表した位置表示画像を生成する位置表示画像生成手段と、該位置表示画像生成手段により生成した位置表示画像を内視鏡により現時点で撮影された画像とともに画面に表示する画像表示手段とを備えたことを特徴とするものである。
【０００９】
ここで、現時点とは、内視鏡により撮影した画像とともにその撮影時点での内視鏡の位置を取得・表示しようとする場合における、その撮影時点をいう。
【００１０】
また、現時点までに撮影された画像には、現時点で撮影された画像、すなわち現在画像も含まれる。
【００１１】
また、内視鏡の位置は、内視鏡がスコープ式である場合には、例えば光学系等が設けられている先端部の位置をいい、カプセル内視鏡である場合には、例えばそのカプセル本体の位置をいう。
【００１２】
また、位置表示画像は、内視鏡の位置が背景画像中のどこであるかが分かるような画像であればよく、必ずしも背景画像上に内視鏡そのものの絵を書き込んだものである必要はない。
【００１３】
また、「画像同士で重なり合う領域を有する２以上の画像」とは、いずれの画像も、他の画像のうち少なくとも１つと重なり合う領域を有する２以上の画像を意味する。
【００１４】
また、「２以上の画像を合成して背景画像を生成する」は、現時点までに撮影した各画像で表わされる全領域について背景画像を生成するものであってもよいし、全領域中のある一部分の領域についてのみ背景画像を生成するものであってもよい。ただし、少なくとも現時点における内視鏡の位置に対応する背景部分を含むものである必要がある。
【００１５】
また、画面に表示される、内視鏡により現時点で撮影された画像は、前記現在画像であってもよいし、あるいはそれとは違うカメラで撮影された画像であってもよい。
【００１６】
上記装置において、位置取得手段は、特徴点の位置のズレに基づいて、前記１つの基準画像の撮影時点における内視鏡の位置からの現時点における内視鏡の位置のズレを取得することにより、内視鏡の位置を取得するものであってもよい。
【００１７】
位置表示画像生成手段は、背景画像上の前記取得した内視鏡の位置に内視鏡の絵を合成することにより、位置表示画像を生成するものであってもよい。
【００１８】
内視鏡の付属器具の操作状況を検知する検知手段を備え、位置表示画像生成手段は、検知された付属器具の操作状況に基づき、背景画像上に現時点における付属器具の様子をさらに表した位置表示画像を生成するものであってもよい。
【００１９】
位置表示画像生成手段により生成した位置表示画像を現在画像に対応付けて記録する記録手段を備え、画像表示手段は、記録手段に記録されている位置表示画像を内視鏡により現時点で撮影された画像とともに画面に表示する機能をさらに有するものであってもよい。
【００２０】
背景画像生成手段により生成した背景画像と内視鏡位置取得手段により取得した内視鏡の位置とを内視鏡により現時点で撮影された画像に対応付けて記録する記録手段を備え、位置表示画像生成手段は、記録手段に記録されている背景画像と内視鏡の位置とを用いて位置表示画像を生成する機能をさらに有するものであってもよい。
【００２１】
本発明の診断支援方法は、内視鏡により現時点までに撮影された画像のうち、画像同士で重なり合う領域を有する２以上の画像を合成して背景画像を生成する工程、内視鏡により現時点で撮影された現在画像と、背景画像を構成する画像である２以上の基準画像のうち１つの両方に存在する特徴点を、現在画像およびその１つの基準画像のそれぞれにおいて検出する工程、基準画像上における検出された特徴点の位置からの現在画像上における検出された特徴点の位置のズレに基づいて、背景画像上における現時点での内視鏡の位置を取得する工程、背景画像上にその取得した内視鏡の位置を表した位置表示画像を生成する工程、および生成した位置表示画像を内視鏡により現時点で撮影された画像とともに画面に表示する工程からなることを特徴とするものである。
【００２２】
上記方法において、内視鏡の位置を取得する工程は、特徴点の位置のズレに基づいて、前記１つの基準画像の撮影時点における内視鏡の位置からの現時点における内視鏡の位置のズレを取得することにより、現時点における内視鏡の位置を取得するものであってもよい。
【００２３】
また、本発明の診断支援プログラムは、コンピュータを、上記診断支援装置における、背景画像生成手段、特徴点検出手段、内視鏡位置取得手段、位置表示画像生成手段および画像表示手段として機能させるプログラムである。このプログラムは、CD−ROM，DVDなどの記録メディアに記録され、またはサーバコンピュータの内蔵ディスクやネットワークストレージにダウンロード可能な状態で記録されて、ユーザに提供される。
【発明の効果】
【００２４】
本発明の診断支援装置および方法並びにプログラムによれば、内視鏡により現時点までに撮影された画像のうち、画像同士で重なり合う領域を有する２以上の画像を合成して背景画像を生成し、内視鏡により現時点で撮影された現在画像と、背景画像を構成する画像である２以上の基準画像のうち１つの両方に存在する特徴点を、現在画像およびその１つの基準画像のそれぞれにおいて検出し、基準画像上における検出された特徴点の位置からの現在画像上における検出された特徴点の位置のズレに基づいて、背景画像上における現時点での内視鏡の位置を取得し、背景画像上にその取得した内視鏡の位置を表した位置表示画像を生成し、その生成した位置表示画像を内視鏡により現時点で撮影された画像とともに画面に表示するようにしているので、診断を行う医師が、内視鏡により撮影された画像を用いて画像診断等を行なう際に位置表示画像を参照することにより、その内視鏡画像が被写体のどの部分を撮影しているのかを認識できる。
【図面の簡単な説明】
【００２５】
【図１】本発明の診断支援装置の一実施形態を示す概略構成図
【図２】内視鏡の先端部の構造を示す斜視図
【図４】側面画像を用いて背景画像を生成する処理を説明するための図
【図３】内視鏡の正面カメラと側面カメラの撮影範囲の関係を示す図
【図５】側面画像及び正面画像を用いて背景画像を生成する処理を説明するための図
【図６】基準画像から検出された特徴点の一例を示す図
【図７】現在画像から検出された特徴点の一例を示す図
【図８】内視鏡の移動ベクトルを示す図
【図９】位置表示画像生成処理によって生成された位置表示画像の一例を示す図
【図１０】診断支援装置によってディスプレイに表示される画面の一例を示す図
【図１１】内視鏡の先端部に設けられたステレオカメラの配置例を示す図
【図１２】内視鏡の先端部に設けられたステレオカメラの配置例を示す図
【図１３】付属器具の操作状況を検知するセンサの一例を示す図
【図１４】付属器具の様子をさらに表した位置表示画像の一例を示す図
【発明を実施するための形態】
【００２６】
以下、本発明の診断支援装置および方法並びに診断支援プログラムの実施形態について、図面を参照しながら詳細に説明する。
【００２７】
図１は、内視鏡画像診断システムの概略構成を示すブロック図である。図に示すように、このシステムは、被検者の体腔内に挿入され、観察部位を撮像する内視鏡10と、内視鏡10によって取得された画像に基づいて、診断用の画像を提供する診断支援装置１とを備えている。
【００２８】
内視鏡10は、被検者の体腔内に挿入される挿入部11と、操作者による所定の操作指示を受け付けるスイッチなどを有し、挿入部11に一体的に設けられた操作部12と、操作部12と診断支援装置1とを接続するためのケーブル13とを備えている。
【００２９】
挿入部11の先端部には、図２の斜視図に示すように、光源からの光りで撮影範囲を照らす照明窓11b、光軸が挿入部11の軸方向と一致または平行となるように設けられた高解像度の正面カメラCf、およびその方向と直行する上下左右の側面にそれぞれ設けられた側面カメラCu、Cd、Cr、Clのほか、鉗子口14と連結した鉗子出口11c、洗浄水やエアーを噴出・吸引するノズル11aなどが設けられている。
【００３０】
操作部12には、送気・送水の操作指示を受け付ける第１の操作スイッチ12aと、吸引の操作指示を受け付ける第２の操作スイッチ12bと、撮像タイミングを受け付けるシャッターボタンである操作ボタン12cと、挿入部11の先端部の方向の指示を受け付ける回転コントローラ12dとを備えている。
【００３１】
診断支援装置1は、コンピュータに、診断支援プログラムをインストールしたものである。コンピュータは、診断を行う医師が直接操作するワークステーションやパソコンでもよいし、もしくは、それらとネットワークを介して接続されたサーバコンピュータでもよい。診断支援プログラムは、DVD、CD−ROM等の記録メディアに格納されて配布され、その記録媒体からコンピュータにインストールされる。もしくは、ネットワークに接続されたサーバコンピュータの記憶装置、あるいはネットワークストレージに、外部からアクセス可能な状態で記憶され、要求に応じて医師が使用するコンピュータにダウンロードされ、インストールされる。
【００３２】
診断支援装置１は、標準的なワークステーションの構成として、CPU２、メモリ３およびハードディスク４を備えている。また、診断支援装置１には、ディスプレイ５と、マウス６等の入力装置が接続されている。
【００３３】
ハードディスク４には、内視鏡10よって順次取得された画像データのほか、その画像データに対してCPU２が後述する各種処理を施すことにより得られたデータ（たとえば、位置表示画像データ、背景画像データ、内視鏡の位置データ）が記憶されている。
【００３４】
また、メモリ３には、診断支援プログラムが記憶されている。診断支援プログラムは、CPU２に実行させる処理として、背景画像生成処理、特徴点検出処理、内視鏡位置取得処理、位置表示画像生成処理、画像表示処理および画像記録処理を規定している。そして、CPU２がプログラムに従いこれらの処理を実行することで、汎用のワークステーションは、背景画像生成手段、特徴点検出手段、内視鏡位置取得手段、位置表示画像生成手段、画像表示手段および画像記録手段（記録手段）として機能することになる。
【００３５】
次に、診断支援装置１が、診断用の画像を提供するために行う具体的な処理について説明する。はじめに、診断支援装置１は背景画像生成処理を実行する。背景画像生成処理において、診断支援装置１は、まず、内視鏡10において撮影を開始してから現時点まで、側面カメラCu、Cd、Cr、Clによって取得された画像を繋ぎ合わせ（合成して）、背景画像Bを生成する。具体的には、図３に示すように、撮影時点t0において各側面カメラCu、Cd、Cr、Clによりによって取得した画像Pu(t0)、Pd(t0)、Pr(t0)、Pl(t0)を繋ぎ合わせ、展開画像P(t0)を作成する。また、他の各撮影時点t1、t2、・・・、tkにおいても同様な処理により展開画像P(t1)、P(t2)、・・・、P(tk)を作成する。次に、それらの展開画像P(t0)〜P(tk)をさらに繋ぎ合わせ、背景画像Bを生成する。なお、この背景画像Bの生成処理では、各画像内の血管パターンおよび臓器の構造物パターンを抽出し、その抽出結果に基づいて、画像の繋ぎ合わせを行う。これにより生成された背景画像は、管腔臓器の内壁を一方向から捉えた画像となる。
【００３６】
なお、ここでは、側面カメラCu、Cd、Cr、Clによって取得された画像（以下、側面画像という）を用いて背景画像Bを生成する場合について説明したが、正面カメラCfによって取得された画像（以下、正面画像という。）を用いて生成するようにしてもよい。具体的には、管腔臓器は円筒構造であり、正面カメラCfの光軸はその管腔臓器の芯線に略一致していると仮定し、特定に時点における正面画像の各画素をその円筒構造上に割り付ける幾何学的な変換処理を行なうことにより、各時点で取得した正面画像から展開画像を作成した上で、それらの展開画像をさらに繋ぎ合わせ、背景画像Bを生成すればよい。
【００３７】
ただし、通常側面カメラはその光軸が管腔臓器の内壁に対して垂直に近く、その側面カメラによって取得された側面画像は正面画像に比べて幾何学的歪が小さくなる傾向があるので、背景画像の生成には、側面画像を正面画像に優先して用いることが好ましい。一方、図４に示すように、側面カメラのみでは、その管腔臓器の芯線方向の視野範囲がr1に限られるので、正面カメラによって取得される、挿入部11の前方、管腔臓器のさらに奥の部分（視野範囲r2）の画像をさらに用いるようにすれば、より広い範囲の背景画像を生成することができる。図５に、撮影時点t1〜tkにおける側面画像のみから生成した図３の背景画像に、撮影時点tkにおける正面画像の展開画像Pf(tk)をさらに繋ぎ合わせて生成した背景画像Bを示す。
【００３８】
また、ここでは、内視鏡10において撮影を開始してから現時点までに（側面カメラおよび／または正面カメラによって）撮影された画像を全て合成して背景画像を生成する場合を例示して説明したが、たとえば、現時点で撮影された現在画像を含む、隣り合う画像同士で重なり合う領域を有する２以上の画像（たとえば、現在画像を含む過去Ｎコマ分の画像、ここでＮは、２以上で設定変更可）を合成して背景画像を生成するようにしてもよいし、現時点以前に撮影された、隣り合う画像同士で重なり合う領域を有する２以上の画像を合成して背景画像を生成するようにしてもよい。
【００３９】
なお、１つの背景画像を生成するにあたり、欠落エリアが発生しない様に画像同士で重なるエリアが存在すればよいので、背景画像作成に利用する撮影画像は撮影タイミングが連続する必要はなく、画像同士で重なり合う領域を有するように設定した時間間隔で撮影されたものであってもよい。
【００４０】
なお、上記背景画像の生成処理は、所定の時間間隔で行われるようにしてもよいし、直前の背景画像生成処理時点からの内視鏡の移動ベクトルが所定量以上になる度に行われるようにしてもよいし、操作者がマウス６等の入力装置によりマニュアルで指定したタイミングで行われるようにしてもよい。
【００４１】
以下、背景画像として採用された各撮影画像を、基準画像と表現する。撮影時の画角が一定であるので、１つの基準画像における内視鏡の相対的位置関係は固定であるから、背景画像全体において、背景画像を構成する各基準画像に対応する内視鏡の位置（背景画像中の位置）を特定できる。
【００４２】
次に、診断支援装置１が行う特徴点検出処理の具体例について、図６、７を参照して説明する。特徴点検出処理において、診断支援装置１は、まず、内視鏡10により現時点で撮影された現在画像Pl(ts)において血管パターンを抽出し、血管の分岐点Qsを特徴点として検出する。さらに、背景画像を構成する画像である２以上の基準画像のうちの１つの基準画像Pl(tb)において血管パターンを抽出し、抽出した血管パターンに基づいて特徴点Qsに対応する特徴点Qbを検出する。
【００４３】
ここで、対応する特徴点Qbの検出は、現在画像Pl(ts)においてその特徴点Qsを含む所定サイズのブロック領域（図中では、点線の矩形の領域で表示）を決定し、その画素値の分布特性と最も一致する画素値の分布特性を有するブロック領域を基準画像Pl(tb)から検出することにより行えばよい。具体的には、所定サイズのブロックを基準画像Pl(tb)上に走査させ、そのブロック領域の各画素と現在画像Pl(ts)において決定したブロック領域の各画素の差分二乗和を算出し、その値が最小となるブロック領域を検出する（特開2009-104284参照）。
【００４４】
また、現在画像Pl(ts)においてその特徴点Qsを含むように決定したブロック領域内の血管パターンと一致する血管パターンを有するブロック領域を基準画像Pl(tb)から検出することにより対応する特徴点Qbを検出してもよい。ここで、血管パターンの照合（一致する血管パタンの検出）は、特開2008-097109に記載の血管パターンによる個人認証アルゴリズムや、特開平11-195119に記載の指紋パターンによる個人認証アルゴリズム等を適用して行なえばよい。なお、対応する特徴点Qbを検出する基準画像としては、隣接する複数の基準画像を用いてもよい。
【００４５】
ここで、血管パターンの抽出は、その対象となる画像に対し所定のマトリクス演算を施すことにより該画像中に含まれる血管パターンが強調された分光画像を生成し、生成された分光画像の色情報を２値化（白黒化）するフィルタリング処理施し、血脈が黒色領域として現れた２値化画像を血管パターンとすることにより行える。なお、分光画像は、特開2003−93336号公報に記載されているように、RGBのそれぞれのカラー感度特性を数値データ化したものと、特定の狭帯域バンドパスの分光特性を数値データ化したものとの関係をマトリクスデータ（係数セット）として求め、対象となる内視鏡画像のRGB信号にこのマトリクスデータによる演算を施すことにより形成する。
【００４６】
なお、基準画像Pl(tb)は、現在画像Pl(ts)と重なり合う領域を有し、かつ、その撮影時点tbにおいて内視鏡10の位置が既知であるものであればよく、現在画像Pl(ts)と時間的に連続して撮影されてなる画像であることを要しない。
【００４７】
次に、診断支援装置１が行う内視鏡の位置取得処理について、図７、８を参照して説明する。内視鏡の位置取得処理において、診断支援装置１は、まず、基準画像Pl(tb)上における特徴点の位置Qbからの現在画像Pl(ts)上における検出された特徴点の位置QsのズレQs−Qb（＝−Ｗ）を取得する。そして、その特徴点の位置ズレから反対に、それらの画像上における内視鏡の位置のずれ、即ち移動ベクトルＷ(wx,wy)を求める。さらに、下記式（１）により、それらの画像上における内視鏡の移動ベクトルＷ(wx,wy)を、実空間における内視鏡の移動ベクトルＶ(vx,vy)に変換する。また、基準時点tbにおける内視鏡の位置L(tb)に、上記演算により求められた内視鏡の移動ベクトルＶ(vx,vy)を足して、背景画像上における現時点tsでの内視鏡の位置L(ts)を取得する。
Ｖ=Ａ×Ｗ×(d/d0)    （１）
ここで、ｄは現画像の被写体距離であり、d0は被写体距離の基準値であり、Ａは被写体距離がd0のときの画素間距離と実空間上の距離の変換係数である。なお、被写体距離ｄについては、所定の固定値として上記変換処理を行なってもよいし、オートフォーカスの結果から導出してもよい。
【００４８】
なお、撮影倍率βを変更可能である場合には、予め各撮影倍率βの値に対応する変換係数Ａを記憶しておき、これに基づいて上記演算を行なうとよい。また、カメラにおける撮影レンズの歪み特性を予め記憶しておき、これに基づいてレンズの歪み特性による画像の幾何学的歪みを補正した上で、上記内視鏡の位置取得処理を行なうようにするとよい。
【００４９】
続いて、診断支援装置１は、背景生成処理によって生成した背景画像B上に、上記位置取得処理によって取得した現時点における内視鏡の位置L(ts)を表した位置表示画像30を生成する位置表示画像生成処理を行う。たとえば、図９に示すような、背景画像Ｂ上の上記位置取得処理において取得した内視鏡の位置L(ts)に内視鏡の絵Ｅを合成した位置表示画像30を生成する。これにより生成された位置表示画像30は、被検者の体腔内における内視鏡を外部から鳥瞰したようなＣＧ画像であり、その視点位置を設定・変更することによって、あらゆる方向から被検者の体腔内における内視鏡を鳥瞰した位置表示画像を生成できる。
【００５０】
なお、位置表示画像30は、内視鏡の位置が背景画像中のどこであるかが分かるような画像であればよく、必ずしも背景画像Ｂ上に内視鏡そのものの絵Ｅを書き込んだものに限らず、たとえば、背景画像Ｂ上に内視鏡の撮影範囲に該当する領域を他の領域と異なる色等で表示したものや、背景画像Ｂ上の内視鏡の位置に所定の標識を付したもの等をも含む。
【００５１】
また、図９に示す位置表示画像30では、内視鏡の絵Ｅのほか、内視鏡の絵Ｅの前方にその正面カメラによる撮影範囲Er(ts)が表示している。なお、位置表示画像30において正面カメラによる撮影範囲Er(ts)を表示する際には、操作者による回転コントローラ12dの回転量を検出し、その回転量に対応する挿入部11の先端部の曲げ角度をさらに取得し、それに基づいて撮影範囲Er(ts)を調整するとよりよい。さらに、その撮影範囲Er(ts)内の画像が、現時点tsで正面カメラによって実際に撮影して取得した正面画像と一致するように、その撮影範囲Er(ts)を調整するとよい。
【００５２】
続いて、診断支援装置１は、生成した位置表示画像30を現時点tsで正面カメラCfによって取得した現在正面画像とともにディスプレイ５の画面に表示する画像表示処理を行う。たとえば図10に示すように、正面画像７と、上からのCG鳥瞰画像８および右からのCG鳥瞰画像９をディスプレイ５の画面に表示する。
【００５３】
また、診断支援装置１は、位置表示画像30を現時点tsで正面カメラCfによって取得した現在正面画像に対応付けてハードディスク４に記録する画像記録処理を行う。これにより、録画による診断時などに、ハードディスク４に記録されている位置表示画像30と現在正面画像とをディスプレイ５の画面に再表示させることができる。
【００５４】
なお、診断支援装置１は、上記画像記録処理において、位置表示画像30そのものを記録することに代えて、その位置表示画像30の作成に必要なパラメータをハードディスク４に記録しておき、位置表示画像を再表示する際に、そのパラメータを用いて位置表示画像を生成し、現在正面画像とともにディスプレイ５の画面に再表示させるようにしてもよい。ここで、位置表示画像の作成に必要なパラメータとしては、たとえば、時刻ｔ毎の背景画像（全体版）と、内視鏡の位置（背景画像に対する相対位置）、先端部傾きデータ（オペレータ操作による曲げ角度）、付属器具の操作情報などがある。
【００５５】
本実施形態の診断支援装置およびプログラムによれば、診断を行う医師は、内視鏡により撮影された画像を用いて画像診断等を行なう際に位置表示画像を参照することにより、その内視鏡画像が被写体のどの部分を撮影しているのかを認識できるので、効率よく診断を行うことができる。
【００５６】
なお、上記実施の形態では、内視鏡10に設けられている各カメラがそれぞれ異なる視野範囲を撮影するものであり、その各カメラによって取得した画像の映像を平面的に捉え、その平面上での特徴点の位置ズレを取得し、それに基づいて内視鏡の位置を取得する場合について説明したが、図11、図12に示すように、内視鏡10の先端部の側面に、光軸が平行で、視野範囲の重なりが大きくなるように並設された２個のカメラCd1、Cd2（Cd1’、Cd2’）が設けられている場合には、これらのカメラによって取得されたステレオ画像を画像解析することにより、管腔臓器の内壁の各組織部位までの距離やその組織表面の傾きを導出できるので、生体組織と内視鏡の位置関係をより精度よくシミュレーションできる。たとえば内視鏡のカメラ部と生態組織表面の傾きの変化を利用して、内視鏡10の先端部の傾き具合も位置表示画像に加味できる。また、管腔臓器の構造を３次元的に再構成することにより、より立体的な背景画像を生成することも可能である。
【００５７】
なお、上記実施の形態において、内視鏡10の付属器具の操作状況を検知するセンサ（検知手段）をさらに備え、診断支援装置１における位置表示画像生成処理において、そのセンサによって検知された付属器具の操作状況に基づき、背景画像上に現時点における付属器具の様子をさらに表した位置表示画像を生成するようにしてもよい。たとえば図13に示すように、光学式または磁気式の目盛り（目印）が付されたプローブ15が、その目盛りを検知するためのセンサ14aが設けられている内視鏡の鉗子口14から鉗子チャンネルを挿通して体内に挿入されると、そのセンサ14aによって検知したプローブ15の挿入長から内視鏡の先端部から突出したプローブ15の長さaを取得し、それに基づいて内視鏡の先端からその取得した長さaで伸びたプローブ15の様子をＣＧで表現し、位置表示画像に表示する。また、先端部がハサミ状のプローブを挿入する場合には、そのハサミの開閉操作を行う操作部の制御量を検知するセンサを設置しておくことで、その操作部の制御量からハサミの開閉量を検知し、その開閉の様子をＣＧで表現し、位置表示画像に表示する。図14は、先端部がハサミ状のプローブの様子Mをさらに表した位置表示画像の一例を示す図である。
【００５８】
その他、内視鏡挿入部に目盛り（光学式あるいは磁気式）を設置し、内視鏡挿入部で目盛りを読み取るセンサを設置してリアルタイムで挿入長を計測できるシステムが可能である。この場合、背景画像を作成する際に、所定の挿入長間隔毎に基準画像を選択してもよい。また、背景画像および各撮影画像と、挿入長データを関連付けて、表示画像データを作成することもできる。
【００５９】
また、上記実施の形態では、特徴点検出処理において、血管パターンの分岐点を特徴点Qsとして検出する場合を例示して説明したが、これに限らず、たとえば生体組織の表面パターン（濃度または色味の変化）や、表面凹凸による陰影パターン、又は内視鏡検査用薬剤(特開2008-273900)による染色結果の模様パターン等に基づいて特徴的な点（特徴点）を検出するようにしてもよい。なお、特徴点検出処理の際には、微分処理、２値化、濃度範囲の正規化等、各種の画像処理技術を適用することにより、その検出性能を向上させることができる。
【００６０】
また、上記実施の形態では、特徴点検出処理において、現在画像と、背景画像を構成する画像である２以上の基準画像のうちの１つの両方に存在する特徴点を、現在画像と基準画像のそれぞれにおいて検出する場合について説明したが、現在画像と背景画像の両方に存在する特徴点を、現在画像と背景画像のそれぞれにおいて検出するようにしてもよい。その場合、診断支援装置１が行う内視鏡の位置取得処理においては、背景画像上における特徴点の位置からの現在画像上における特徴点の位置のズレに基づいて、背景画像上における現時点tsでの内視鏡の位置L(ts)を取得することとなる。
【符号の説明】
【００６１】
１   診断支援装置
２   ＣＰＵ
３   メモリ
４   ハードディスク
５   ディスプレイ
10   内視鏡
12   操作部
14   鉗子口
Cf   正面カメラ
Cu、Cd、Cr、Cl      側面カメラ
B    背景画像
E    内視鏡の絵
P(ts)        現在画像
P(td)        基準画像
Qs、Qd       特徴点
15   プローブ（付属器具）
【図１】
2010279539.tif 000003
【図２】
2010279539.tif 000004
【図３】
2010279539.tif 000005
【図４】
2010279539.tif 000006
【図５】
2010279539.tif 000007
【図６】
2010279539.tif 000008
【図７】
2010279539.tif 000009
【図８】
2010279539.tif 000010
【図９】
2010279539.tif 000011
【図１１】
2010279539.tif 000012
【図１２】
2010279539.tif 000013
【図１３】
2010279539.tif 000014
【図１４】
2010279539.tif 000015
【図１０】
2010279539.tif 000016