(57)【要約】  内視鏡を使用して実施される大腸内視鏡検査手技を追跡及び評価するシステムは、追跡サブシステムと処理サブシステムとディスプレイサブシステムとを含む。追跡サブシステムは、手技中に、患者の結腸内の内視鏡場所を示す情報を提供する。処理サブシステムは、手技中に内視鏡によって生成される画像から可視化メトリクスを生成する。ディスプレイサブシステムは、関連する結腸場所において、可視化メトリクスを示す情報と共に、患者の結腸の視覚ディスプレイを生成するために、追跡サブシステムおよび処理サブシステムに結合する。
2012509715.tif 000002
【特許請求の範囲】
【請求項１】
内視鏡を使用して実施される大腸内視鏡検査手技を追跡及び評価するシステムであって、
前記手技中に、患者の結腸内の前記内視鏡の場所を示す情報を提供する追跡サブシステムと、
前記手技中に前記内視鏡によって生成される画像から可視化メトリクスを生成する処理サブシステムと、
前記追跡サブシステムおよび前記処理サブシステムに結合するディスプレイサブシステムであって、関連する結腸場所において、前記可視化メトリクスを示す情報と共に、前記患者の結腸の視覚ディスプレイを生成するためのディスプレイサブシステムと、を含むシステム。
【請求項２】
前記可視化メトリクスは、画像品質メトリクスを含む請求項１に記載のシステム。
【請求項３】
前記画像品質メトリクスは、領域の先鋭度を含む請求項２に記載のシステム。
【請求項４】
前記可視化メトリクスは、結腸物質（たとえば、糞便および気泡のうちの少なくとも一方）メトリクスを含む請求項１に記載のシステム。
【請求項５】
前記可視化メトリクスは、輝度解析、観察深度解析、および観察方向解析の１つまたは複数を含む請求項１に記載のシステム。
【請求項６】
前記可視化メトリクスは、距離、サイズ、形状、およびテクスチャなどのメトリクスベクトルを含む請求項１に記載のシステム。
【請求項７】
前記内視鏡場所情報は、前記結腸中心線に対して正規化される請求項１に記載のシステム。
【請求項８】
前記内視鏡場所情報の関数として結腸のモデルを生成する結腸モデルサブシステムをさらに含み、
前記ディスプレイサブシステムは、前記結腸モデルサブシステムによって生成される前記結腸のモデルの視覚ディスプレイを生成する請求項７に記載のシステム。
【請求項９】
前記結腸モデルシステムは、定義済みモデルおよび定義済み中心線の一方を使用して前記結腸モデルを生成する請求項８に記載のシステム。
【請求項１０】
前記患者の結腸の前記視覚ディスプレイは、前記関連する結腸場所における前記視覚化を示すために色分けされる請求項１に記載のシステム。
【請求項１１】
前記患者の結腸の前記視覚ディスプレイは、前記結腸の場所で観察されるビデオの量を示す情報を含む請求項１に記載のシステム。
【請求項１２】
内視鏡を使用して実施される大腸内視鏡検査手技を評価するシステムであって、
前記手技中に前記患者の結腸内で前記内視鏡の場所および向きのうちの少なくとも一方を示す位置データを受信する追跡入力と、
前記手技中に前記内視鏡からビデオデータを受信するビデオ入力と、
前記追跡入力および前記ビデオ入力に結合するプロセッサであって、前記ビデオデータの関数として視覚化メトリクスを生成し、前記視覚化メトリクスおよび前記位置データの関数として、関連する結腸場所において前記視覚化メトリクスを示す評価ディスプレイ情報を生成するプロセッサと、
前記評価ディスプレイ情報を出力するために前記プロセッサに結合するディスプレイ出力と、を含むシステム。
【請求項１３】
前記プロセッサによって生成される前記視覚化メトリクスは画像品質メトリクスを含む請求項１２に記載のシステム。
【請求項１４】
前記プロセッサによって生成される前記視覚化メトリクスは結腸物質メトリクスを含む請求項１２に記載のシステム。
【請求項１５】
前記プロセッサによって生成される前記視覚化メトリクスは、輝度解析、観察深度解析、および観察方向解析の１つまたは複数を含む請求項１２に記載のシステム。
【請求項１６】
前記プロセッサによって生成される前記評価ディスプレイ情報は、結腸モデルおよび前記結腸モデル上の関連する場所における視覚化メトリクスの視覚ディスプレイを示す情報を含む請求項１２に記載のシステム。
【請求項１７】
前記プロセッサは、前記手技中に、リアルタイムにまたはほぼリアルタイムに前記評価ディスプレイ情報を生成する請求項１６に記載のシステム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、一般に、大腸内視鏡検査手技および装置に関する。より詳細には、本発明は、大腸内視鏡検査手技を追跡及び評価し、手技中にリアルタイムに可視化および評価を示すディスプレイを提供する方法および装置である。
【背景技術】
【０００２】
大腸内視鏡検査は、結腸直腸がん用の最も広まっているスクリーニングツールである。しかしながら、その有効性は、結腸全体が検査中に可視化される程度に影響を受ける。結腸壁全体の不完全な観察の一因となる可能性があるいくつかの因子が存在する。これらの因子としては、結腸内の粒状物質、被検者の不快／動き、医師の注意、内視鏡が引抜かれる速度、および複雑な結腸の形態が挙げられる。したがって、大腸内視鏡検査中に結腸の視覚化を強化する方法および装置について継続的な必要性が存在する。
【発明の概要】
【発明が解決しようとする課題】
【０００３】
本発明は、上記した懸案を鑑みてなされたものである。
【課題を解決するための手段】
【０００４】
本発明は、内視鏡を使用して実施される大腸内視鏡監査手技を評価するシステムである。本発明の一実施形態は、追跡入力とビデオ入力とプロセッサとディスプレイ出力とを含む。追跡入力は、手技中に患者の結腸内で内視鏡の場所および／または向きを示す位置データを受信する。ビデオ入力は、手技中に内視鏡からビデオデータを受信する。プロセッサは、追跡入力およびビデオ入力に結合し、ビデオデータの関数として視覚化メトリクスを、視覚化メトリクスおよび位置データの関数として、関連する結腸場所において視覚化メトリクスを示す評価ディスプレイ情報を生成する。ディスプレイ出力は、評価ディスプレイ情報を出力するためにプロセッサに結合する。
【図面の簡単な説明】
【０００５】
【図１】本発明の一実施形態による大腸内視鏡検査追跡および評価システムの図である。
【図２】図１に示すシステムによって実施され得る画像および信号処理の一実施形態の図である。
【図３】図１に示すシステムによって実施され得る結腸モデル再構成の一実施形態の図である。
【図４】先鋭度およびぼけの評価のための、図１に示すシステムによって処理された画像の図である。
【図５】識別された糞便が色で強調された、図１に示すシステムによって生成され得る結腸内のビデオ画像の図である。
【図６】画像が複数領域に分割された、図１に示すシステムによって生成され得る結腸内のビデオ画像の図である。
【図７】観察視野を示す、結腸内の図１に示すシステムによる内視鏡の図である。
【図８】内視鏡中心線および内視鏡経路に対する結腸および内視鏡観察ベクトルの図である。
【図９Ａ】本発明の一実施形態による、内視鏡内のトラッカ、システム、およびインタフェースの図である。
【図９Ｂ】本発明の一実施形態による、内視鏡内のトラッカ、システム、およびインタフェースの図である。
【図１０】図１に示すシステムによって生成され得るディスプレイの一実施形態の図である。
【図１１】図１に示すシステムによって生成され得る結腸の画像の一実施形態の図である。
【発明を実施するための形態】
【０００６】
本発明の一実施形態による強化型大腸内視鏡検査は、磁気的なまたは他の追跡技術、大腸内視鏡からのビデオデータ、および信号処理ソフトウェアの組合せを含む。強化型大腸内視鏡検査の使用は、検査中に見落とすかまたは不適切に観察された可能性がある結腸の領域を識別する。他の実施形態では、先行するＣＴコロノグラフィスキャン（ＣＴ  ｃｏｌｏｎｏｇｒａｐｈｙ  ｓｃａｎ）（１スキャンが実施された場合）からのデータの追加が組み込まれ、利用可能である場合さらなる利益を提供することになる。このために、ＣＴスキャン、ＭＲスキャン、または核医学スキャンを含む、前もって取得された任意のデータが使用されて、構造情報（たとえば、結腸の形状）および機能情報（たとえば、考えられる病変部）が提供され得る。ソフトウェアは、ＣＴコロノグラフィデータを使用して、ＣＴコロノグラフィ上で識別される病変部に内視鏡が近づくときを、大腸内視鏡医に知らせることになる。しかしながら、ＣＴコロノグラフィは、コストを増加させ、この強化手技を少数の臨床サイトおよび症例に制限するため、システムは、手技の前に、ＣＴスキャンを必要とすることなく、結腸のほぼ１００％の観察を達成するように、内視鏡医を誘導することになる。本発明は、複数の製造業者からの既存の大腸内視鏡検査システムに統合され得る、または、独立型システムとして実装され得る。
【０００７】
手技中、追跡される内視鏡は、大腸内視鏡コンピュータならびに追跡およびビデオデータを収集する外部コンピュータシステムに接続される。図１は取得システムの図である。ガイダンスシステム２０の図示された実施形態は、４つの入力と１つの出力を有する。１つの入力は、内視鏡トラッカ（複数可）２２からである。トラッカ２２は、内視鏡２４のアクセスポートを通して内視鏡の先端に導入されてもよい、内視鏡内に統合されてもよい、または、内視鏡を覆う大きな「コンドーム（ｃｏｎｄｏｍ）」タイプのスリーブを介して取付けられてもよい（図示しない）。別の入力は、患者２９にテープで固定される患者参照トラッカ２６からである。磁気参照２８は、磁場信号を生成するために、患者に非常に接近して患者テーブル３０に取付けられ、その磁場信号をトラッカシステムが使用して、手技中に参照トラッカ２６を介して内視鏡２４および患者２９の位置が確定される。内視鏡ビデオケーブル３２は、標準的な大腸内視鏡システム３４の出力から、ガイダンスシステム２０内に位置するデジタイザカードに接続される。ガイダンスシステム２０は、リアルタイムに（または、適宜な情報を提供するのに十分に低いレーテンシで）データを処理し、処理されたビデオデータストリームを生成し、ビデオデータストリームは、標準的なＬＣＤ  ＴＶ３６または（全てではない場合）ほとんどの大腸内視鏡の組において見出される他のディスプレイに接続される。他の実施形態（図示せず）は、機械式追跡（たとえば、シェイプテープ）および撮像（たとえば、Ｘ線透視）を含む代替の追跡技術を使用する。
【０００８】
内視鏡医は、標準的なＬＣＤ  ＴＶ３６を使用して、決められた方法で大腸内視鏡検査を行う。ガイダンスシステム２０は、内視鏡位置とビデオデータの両方を記録及び処理し、そして、３Ｄで結腸を近似的に示す可視化を生成し、見落としたかまたはうまく観察されなかった結腸の領域に関するフィードバックを提供し得る。ディスプレイは、リアルタイムに、またはそうでなければ、内視鏡医が、通常の検査ルーチンを乱すことなくディスプレイからの情報を利用することを可能にするのに十分に速く生成され得る。本明細書で述べる可視化情報を提供する他のディスプレイ手法は、本発明の他の実施形態で使用され得る。
【０００９】
トラッカデータとビデオデータを協調させ得るいくつかの技術的コンポーネントがこの手法に存在する。これらは、（１）結腸中心線と腔内表面を再構成すること、（２）ビデオデータ特性を再構成された結腸にマッピングすること、（３）ビデオデータストリームの品質を評価すること、および（４）結腸の見落としたかまたはうまく観察されなかった領域を内視鏡医が検査するように誘導できる方法でデータを提示することを含む。図２は、本発明と共に使用され得る画像および信号処理手法の一実施形態のフローチャートである。他の実施形態は他の手法を使用し得る。
【００１０】
記載された実施形態の各処理コンポーネントは、以下で述べる一般的な記号を使用する。
Ｆｔ  時間ｔにおいて取得されたビデオフレーム
ＩＭｔ  フレームＦｔについての画像メトリクス（１，２，…，Ｎ）のベクトル
ｒｅｆｔ  時間ｔにおける参照パッチからのサンプリングされた３Ｄ位置（ｘ，ｙ，ｚ）
ｓｃｏｐｅｔ  時間ｔにおける内視鏡からのサンプリングされた３Ｄ位置（ｘ，ｙ，ｚ）
Ｐｔ  ｓｃｏｐｅｔおよびｒｅｆｔから計算された内視鏡の患者補正位置
｛Ｐ｝  フィルタリングに続く順序付けされた点収集
【００１１】
【数１】
2012509715.tif 000003
｛Ｃ｝  中心線の全ての点の順序集合
Ｍ  ３Ｄ結腸モデル内の頂点および対応するエッジの順序集合
【００１２】
【数２】
2012509715.tif 000004
取得中に、３つの協調した信号−ビデオフレーム（Ｆｔ）、内視鏡先端の位置（ｓｃｏｐｅｔ）、および患者の背面上に位置する参照パッチの位置（ｒｅｆｔ）が取得される。患者トラッカ位置は、内視鏡トラッカ位置から減算されて、内視鏡の患者補正位置Ｐｔがもたらされる。これは、いずれの全体的な患者の動きも、内視鏡の動きとみなされないことを保証する。磁気参照がテーブルに取付けられているため、テーブルの動きは、磁気参照に対してその位置が固定されるため問題にならない。処理は、少数の点から、内視鏡によって横切られる全経路までの範囲にあり得る、集合（｛Ｐ｝）内に収集された所定の数の点が存在するときに始まる。（たとえば、複数のセンサまたはＸ線透視などの撮像法から）単一時点で取得される複数のトラッカ点を利用する他の実施形態（図示せず）は、同様な方法を使用し得る。これらのような実施形態では、添え字「ｔ」は、所定時間にわたってではなく１回で収集される点の順序サンプルを指す添え字「ｎ」によって置換され得る。
【００１３】
患者補正内視鏡位置点の集合は、追跡されるデータの品質に応じてノイズを低減するフィルタリングを必要とする可能性がある。存在するノイズのタイプに応じて、線形フィルタリングと非線形フィルタリングが共に、単独でまたは組合せて使用され得る。
【００１４】
線形フィルタリングは、（トラッカからのシステムノイズなどの）高周波ノイズを一様に除去するために使用され得る。サイズＮの移動平均フィルタは、
【００１５】
【数３】
2012509715.tif 000005
として実装され得る。
【００１６】
非線形フィルタリングは、単一サンプルが仕様から完全にはずれるデータからのスプリアスノイズを除去するために使用され得る。たとえば
【００１７】
【数４】
2012509715.tif 000006
である。
【００１８】
再構成の目的は、収集された点を使用して、検査中に内視鏡の位置に基づいて結腸の近似モデルを生成することである。これは、図３に示される。このプロセスを通して、方法は、後続の処理において必要とされる結腸の中心線（｛Ｃ｝）を生成する。一方法では、中心線は定義済みモデルから作成され得る、または、モデルは定義済み中心線から作成され得る。
【００１９】
定義済み中心線を使用するとき、中心線｛Ｃ｝は、サンプリングされた内視鏡位置データから近似され得る。以下の手法を含む、中心線を生成するいくつかの手法が存在する。
【００２０】
【数５】
2012509715.tif 000007
の１対１マッピング：フィルタリングされた点は、中心線の近似
【００２１】
【数６】
2012509715.tif 000008
として直接使用され得る。
【００２２】
スプラインフィッティング：スプラインは、同様に平滑化しながら
【００２３】
【数７】
2012509715.tif 000009
内の点の数を減らすために使用されてもよい。
【００２４】
統計的中心線計算：この手法では、中心線は、
【００２５】
【数８】
2012509715.tif 000010
から作成される統計的容積から計算される。統計的容積を作成する１つのこうした手法は、パルゼン窓関数
【００２６】
【数９】
2012509715.tif 000011
による。
【００２７】
結果として得られる容積は、結腸の内部の場所の尤度マップを提供する。マップは、内視鏡が移動した場所のマスクを生成するために閾値処理され、結腸の内部を画定する。マスクから中心線を生成するために、最短経路法が使用され得る。
【００２８】
中心線が作成されると、モデルは、たとえば｛Ｃ｝内の点に沿って基本形状を抽出することによって生成され得る。このモデルの一実施態様では、基本要素は、円
｛ｃｉｒｃｌｅ｝＝｛（ｘ，ｙ）：ｘ＝ｒ・ｃｏｓ（０…２π），ｙ＝ｒ・ｓｉｎ（０…２π）｝
を記述する、固定半径（ｒ）の順序点のディスクリート集合として定義され；
抽出されるモデルは：
Ｍ＝｛Ｃｔ：Ｃｔ＝Ｔ・ｃｉｒｃｌｅ、式中、Ｔは、（Ｃｔ−Ｃｔ−１）によって規定される変換行列である｝
である。
【００２９】
結腸の定義済みモデルを使用するとき、結腸のモデルは、追跡データにフィットされ得る。定義済みモデルは、トラッカデータにフィットするように変形される。軟部組織の変形を反映するために、仮想モデルは、トラッカデータにフィットするように伸張され得るかまたはねじられ得るように、仮想の意味で「柔軟性がある（ｐｌｉａｂｌｅ）」ものであり得る。トラッカデータ登録するために、患者固有の仮想モデルまたは解剖学的汎用仮想モデルが使用され得る。このフィッティングタスクは
【００３０】
【数１０】
2012509715.tif 000012
の空間内で所定のモデル（およびその対応する中心線｛Ｃ｝）−既存の汎用データまたは患者の画像データから導出され得る−を初期化することになる。定義済みモデルを位置データ
【００３１】
【数１１】
2012509715.tif 000013
に位置合わせするタスクは、ランドマークおよび表面フィッティングを含むいくつかの方法を用いて達成され得る。
【００３２】
ランドマークフィッティングを使用して、盲腸の虫垂開口部および回腸部弁、右結腸曲、横行結腸の三角形外観部、左結腸曲、および直腸の下側境界の肛門縁などの解剖学的ランドマーク（または結腸の特定領域）が、
【００３３】
【数１２】
2012509715.tif 000014
からの特定点
【００３４】
【数１３】
2012509715.tif 000015
を、モデル内の対応する点に位置合わせするために使用され得る。
【００３５】
表面フィッティングを使用して、所定モデルは、モデルの内部に入る
【００３６】
【数１４】
2012509715.tif 000016
からの
【００３７】
【数１５】
2012509715.tif 000017
の数を最大にするように、（制約有りでまたは制約なしで）変形され得る。
【００３８】
再構成に続いて、モデル（Ｍ）および対応する中心線（｛Ｃ｝）は、オリジナルの点｛Ｐ｝をモデル内にマッピングするために使用される。
別法としてまたは付加的に、トラッカデータは、結腸の中心線の近似を計算するために使用され得る。計算された中心線が生成された後、汎用表面が、円断面が固定半径を有する状態で作成され得る。これらの手法は、特に、結腸の真の正確な幾何形状を再構成しない場合があるが、真の表面幾何形状は、本発明に従って手技を誘導するために必要とされない。
【００３９】
いくつかの画像品質メトリクス（ベクトルＩＭｔとして示す）の任意のメトリクスが、ビデオデータから確定され得る。これらは、輝度、先鋭度、色、テクスチャ、形状、反射、粒状性、スペックルなどを含む。システムによるリアルタイム処理を実現するために、メトリクスは、計算効率のために、近似されるかまたは粗くサンプリングされ得る。たとえば輝度は、有用な品質メトリックとして役立つ可能性がある。すなわち、より暗い領域的輝度は低品質領域であり、一方、より高い領域的輝度は良好な画像データである。
【００４０】
【数１６】
2012509715.tif 000018
として計算される領域的先鋭度は、画像データの品質を確定するために使用され得る。すなわち、より高い先鋭度は、ぼけが少ないデータである。図４では、領域的先鋭度が、良好な画像を示す画像Ａ１において高い。色特徴付けが、視野内の糞便を識別するために使用され得る。図５は、黄と緑で強調された糞便を示す。こうした色の差は、マルチスペクトル解析法によって確定され、特徴付けられ得る。観察視野内に見られることがある気泡は、色またはテクスチャによって特徴付けられ得る。（画像内のエッジ曲率から推定される）テクスチャおよび形状は、異常または病状を分類するために使用され得る。これらの画像特徴の組合せについてのマルチスペクトル解析は、おそらく、画像品質分類の頑健性を増大させ得る。
【００４１】
関心領域（ＲＯＩ）の解析は、品質解析の画像分類をさらに洗練するために使用され得る。たとえば、各ビデオ画像はまた、図６に示すように９の領域ａ〜ｉに分割され得る。各領域は、遠視野が近視野より暗いという仮定を使用して、画像輝度に基づいて評価される。同時に、輝度領域は、観察深度と共に観察方向を確定するために使用され得る。たとえば、領域ａ、ｂ、およびｃが暗く、一方、領域ｇ、ｈ、およびｉが明るい場合、カメラが、右を向き、ａ、ｂ、およびｃが遠視野にあることが示唆される。任意の数の視野深度が定義され得るが、３つの視野深度−近視野、中間視野、および遠視野が、ビデオ品質をマッピングすることについて適切な忠実度を提供し得る。この場合、その差は、遠視野データが、ぼんやりし過ぎて適切に観察できない可能性があり、近視野が、近過ぎ、したがって、ぼけ過ぎる可能性があり、好ましい観察距離が、一実施形態では中間視野であることになる。ビデオデータの品質が計算されるため、各領域は、内視鏡の先端（近視野）、わずかの距離出た所（中間視野）、または長い距離離れた所（遠視野）において、処理されたデータを中心線にマッピングすることになる。近視野と遠視野のデータのほとんどは、低い品質であることが予想される。図７は、その対応する中心線位置に関連する近視野、中間視野、および遠視野を示す。
【００４２】
モデル、オリジナルデータ、およびビデオデータの結果の融合は、パラメトリックマッピングコンポーネントを構成する。仮想モデル上にビデオデータをマッピングすることに備えて、トラッカデータが、結腸の中心線に対して正規化されて、内視鏡からの「標準的な視図（ｓｔａｎｄａｒｄ  ｖｉｅｗ）」が生成される。その利益は、同じセクションが、異なる角度から複数回観察される場合、対応する「標準的な視図」が同じとなることである。
【００４３】
患者トラッカ位置は、内視鏡トラッカ位置から減算されて、いずれの全体的な患者の動きも、内視鏡の動きとみなされないことを保証する。磁気参照がテーブルに取付けられているため、テーブルの動きは、磁気参照に対するテーブル位置が変化しないため、効果的に削除される。各内視鏡トラッカ点は、トラッカデータによって規定されたベクトルに対する最接近中心線点を確定することによって定義済み中心線にマッピングされ得る。したがって、内視鏡が、左または右などの側面に対して動くのではなく、その側面に面する場合、全ての取得ビデオフレームは、異なる観察角度であるが、同じ中止線点に関連することになる。
【００４４】
マッピングは、他の手法が使用され得るが、本発明の一実施形態では次の通りである。最初にサンプリングされた点
【００４５】
【数１７】
2012509715.tif 000019
の各点は、中心線
【００４６】
【数１８】
2012509715.tif 000020
に沿う点に投影される。これは、各
【００４７】
【数１９】
2012509715.tif 000021
に対して最小距離である中心線上の点として計算される。図８は、このステップを示す。Ｆｔから計算されたメトリックベクトルＩＭｔは、その後、対応する投影点ｑｔと共に格納される。複数のフレームが同じｑｔに投影される可能性があるため、メトリクスは、共に集約されてもよい。
ＩＭ’ｔ＝ａｇｇｒｅｇａｔｅ（ｑｔにおけるＩＭｔ）
式中、集約関数は、平均、最大、最小、中央値、または他の関数であってよい。定義済み色尺度を使用して、｛ＩＭ’ｔ｝集合が、その後、各頂点においてＭの表面上に色付けするために使用される。
【００４８】
処理された信号および画像データの提示は、結腸の仮想モデルによって主に進められる。モデルは、結腸の近似の患者固有の表現を提供する。結腸の表面上で、色パッチが、高品質データおよび低品質データの領域を識別するために表示される。パッチの色は、定義済み色尺度に従って変動し得る。白は、全く観察されなかった結腸領域で使用されてもよい。赤領域は、低品質画像だけが収集されたことを示唆し、一方、緑パッチは、高品質画像（糞便および気泡がなく、適切な照明および色を有する先鋭な画像）の領域を示す可能性がある。図１１は、本発明の方法およびシステムによって生成される結腸画像の例であり、赤エリアは低品質画像領域を示し、緑エリアは高品質画像領域を示し、青エリアは、ビデオに基づく観察の視覚確認がない結腸領域を示す。さらに、色パッチの輝度は、結腸内のその位置で観察されるフレーム数を指示するために使用され得る。さらに、サブ領域解析は、中心線位置の周りに放射状に分布した色パッチを表示し得る。仮想モデルは、サンプル点の任意の部分集合を使用して構築されてもよい。しかしながら、一部の実施形態では、挿入中にモデルを構築し、除去中に誘導するために使用することが有利である。図１０は、ＬＣＤ  ＴＶ上に提示され得るディスプレイの図である。仮想モデルの検討中に、以前に取得されたビデオフレームもまた、検討のために表示され得る。
【００４９】
一実施形態では、システムは、大腸内視鏡検査の開始前に手技室内に持ち込まれ得る移動カート上で実施される。他のバージョンは、手技室内に完全に統合され得る。図９は、内視鏡内のトラッカ、全体のシステム、およびインタフェースの一実施形態を示す。この場合、計算コンポーネントは、大量のメモリおよびディスクを有するマルチコアコンピュータ（たとえば、クワドコアＤｅｌｌコンピュータ）である。中間距離磁気トラッカ（たとえば、Ａｓｃｅｎｓｉｏｎ  Ｔｅｃｈｎｏｌｏｇｉｅｓ  ＭｉｃｒｏＢｉｒｄトラッカ）が、内視鏡と患者の両方を追跡するために使用される。送信機が、手技中に、患者テーブルに取付けられるスタンドに取付けられる。システムは、大腸内視鏡検査システムからのデータの全てを取得するハイエンドビデオ取込みカード（たとえば、ＥＰＩＸシステム）を含む。内視鏡上の追跡用センサは、実配線され得る、または、無線にされ得る。内視鏡の軸に沿って１つまたは複数のセンサが存在し得る。内視鏡の軸に沿う複数のセンサは、挿入中に内視鏡／腸の「ルーピング（ｌｏｏｐｉｎｇ）」を検出するために使用され得る。いずれの最新の内視鏡に対してもセンサを改造するために、センサは、スリーブまたはコンドーム内に取付けられ得る／埋め込まれ得る。
【００５０】
一実施形態では、ソフトウェアは、トラッカデータとビデオデータの両方をリアルタイムに同時に取得するマルチスレッドアプリケーションである。データの全てをディスクに格納することに加えて、データは、リアルタイムに処理され、スクリーンに描かれる。同じディスプレイはまた、手技室内のＬＣＤ  ＴＶに送られる。
【００５１】
本発明は、セグメント解析を使用して実施され得る。この実施形態では、結腸は、複数のセグメントに分割されることになる。これらのセグメントは、盲腸、近位から中央上行結腸まで、中央上行結腸から右結腸曲まで、右結腸曲、近位から中央横行結腸まで、中央横行結腸から左結腸曲まで、左結腸曲、近位下行結腸から中央下行結腸まで、中央下行結腸から近位Ｓ状結腸まで、Ｓ状結腸、および直腸を含み得るが、それに限定されない。各セグメントは、少なくとも２回可視化され、可視化の程度を判定するために、データ画像が解析され、比較され得る。たとえば、掃引１と２との間の１００％の一致は、粘膜の１００％が可視化されたことを意味するものと解釈されることができ、一方、より低レベルの一致は、可視化率の減少を指示する可能性がある。これらのデータ集合は、リアルタイムにまたはほぼリアルタイムに計算され、結果を手技の実施者に知らせ、粘膜の適切な可視化に関して意思決定を行うのを補助するための情報が、視覚および／または聴覚を含む種々の手段で提供されることになる。
【００５２】
検査前に、データが、本発明の他の実施形態に組み込まれ得る。たとえば、検査前に、２つの情報源からのデータが使用され得る。過去（ｐｒｉｏｒ）データの１つの情報源は、複数の内視鏡医からのプールドデータである。このデータは、結腸の所与のセグメント内の粘膜が、ぼけのない画像によって可視化されたという統計的尤度および９５％ＣＩ（信頼間隔）を提供し得る。このツールを提供するために使用されるデータは、可視化された粘膜表面が、２人以上の検査医によって、または、ＣＴコロノグラフィなどの別の技術との相関によって検証された検査を含み得る。尤度を修正する可能性がある他の関連データは、引抜き速度、特定の解剖学的セグメント（異なるセグメントにおける可変尤度）、セグメントが横切られた回数などを含み得る。過去データの第２の情報源は、特定の内視鏡医による検査である。完全な粘膜可視化の尤度についての内視鏡医固有の変更子は、引抜き速度、および、特定の内視鏡医の総合ポリープ検出率などのような、おそらく関連しないと思われるいくつかの因子を含み得る（すなわち、一部の内視鏡医は、他の内視鏡医に比べてより多くの精度ハンディキャップを必要とする可能性がある）。
【００５３】
適合性フィードバックもまた、本発明に組み込まれ得る。この特徴を含む実施形態では、コンピュータシステムによって提供される情報は、ある時間的ブロックおよび／または空間的ブロック内で可視化の程度および品質を指示するときに非破壊的であるが強制的であるように調節される。これは、適合性フィードバックフレームワークを通して達成され、そのフレームワークにおいて、システムは、内視鏡医の後続の応答の関数として、可視化の程度／品質キューの有効性を測定し、その後、改善されたキューイングを繰返し達成するために、この情報を使用する。
【００５４】
システムは、程度／品質キューを、最近可視化されたセグメントに提供し、そのキューが検査に関連するか関連しないか、および、そのキューがどの程度検査に関連するかまたは関連しないかについて内視鏡医の後続のアクションを客観的に解釈する。システムは、その後、品質および／またはカバリジの仮定される考えを内視鏡医の考えに適応させることを学習する。フィードバックは、貪欲的ユーザモードと協調的ユーザモードの両方で動作する。貪欲的ユーザモードでは、システムは、最近可視化された全ての領域についてフィードバックを提供する。セグメントが、複数の掃引で繰返し可視化される協調的ユーザモードでは、フィードバックは、連続的にその判断を学習し、学習せず、再学習する。
【００５５】
適合性フィードバックを達成するための計算方策は、意思決定において最大の情報利得または最小のエントロピー／不確実性を達成するために、程度／品質に敏感な特徴の「積極的な学習（ａｃｔｉｖｅ  ｌｅａｒｎｉｎｇ）」または「選択的なサンプリング（ｓｅｌｅｃｔｉｖｅ  ｓａｍｐｌｉｎｇ）」を含む。積極的な学習は、検査中に、時間ごとに、セグメントごとに、内視鏡医ごとに、患者ごとに、知識の蓄積、層別化、およびマッピングを提供する。そのスペクトラムにわたって学習される結果として得られるマッピングは、最適な検査になる可能性がある、検査内適合性フィードバックループをおそらく最小にし得る。
【００５６】
加速度計が、本明細書で述べる本発明の実施形態に組み込まれ得る。たとえば、大腸内視鏡の先端にまたは先端の近くに埋め込まれた加速度計は、内視鏡の動きに関するフィードバックを提供することになる。特に、内視鏡の「前方の（ｆｏｒｗａｒｄ）」および「後方の（ｂａｃｋｗａｒｄ）」動きは、内視鏡医のアクションに関して有用な情報を提供する。「前方の」アクション（全てではないがほとんどの場合）は、結腸を通して内視鏡を給送するために挿入中に使用され、「後方の」動き（全てではないがほとんどの場合）は、内視鏡の除去であり、結腸を観察することに関連することが多い。コンピュータ支援ガイダンスのために、内視鏡の経路は、挿入中のみに構成され、一方、画像解析は、除去中に起こる可能性がある。あるいは、前方および後方の複数の動きは、襞の直接の問い掛けを指示する可能性があり、または、他の動きは、自動化解析を混乱させることになる。これは、加速度計データから判定され得る。さらなる加速度計は、内視鏡の長さに沿って配置され得る。柔軟チューブモデルを使用して、加速度計の組合せは、内視鏡の形状の一部の特徴を推測するために使用され得る。特に、複数の隣接するセンサは、内視鏡のルーピングを検出するために使用され得る。さらに、挿入または引抜き中に、複数の加速度計の反復した取込みは、内視鏡全体の経路を再構成するために使用され得る。慣性ナビゲーションシステム（ｉｎｅｒｔｉａｌ  ｎａｖｉｇａｔｉｏｎ  ｓｙｓｔｅｍ）（ＩＮＳ）−一般に、加速度計とジャイロスコープを含む６ＤＯＦ（自由度）測定デバイス−はまた、局所動き推定値を提供し、他のＩＮＳデバイスと組合されて、内視鏡の形状を含む内視鏡全体の特徴が推測され得る。
【００５７】
立体視的観察／レーザレンジファインダは、本発明に組み込まれ得る。局所３Ｄ幾何形状の再構成は、いくつかの異なる方法によって達成され得る。立体観察と画像処理（テクスチャ／特徴部アライメント）の組合せは、シーンから３Ｄ幾何形状を再構成するために使用され得る。たとえば、立体光学部品が、大腸内視鏡に組み込まれ得る。あるいは、立体視的観察を達成するために、特製レンズが内視鏡の先端に取付けられ得る。これは、レンチキュラーレンズまたはおそらくカメラの前面に交換可能に配置される複数レンズによって達成され得る。可視光フィルタは、（レーザ表面スキャナおよび／またはレーザレンジファインダと同様な方法で）３Ｄ表面を再構成するために、シーンにわたって掃引され得る。追跡式カメラからの複数の視図の組合せはまた、結腸の内部表面を再構成するために使用され得る。再構成された３Ｄ表面は、（曲率に基づいて）ポリープなどの疾病を検出し、結腸壁の正常、異常、および襞形成の程度を評価し、病変部サイズを精密に測定するために使用され得る。
【００５８】
ガス注入はまた、本発明に関連して使用され得る。結腸の不十分なガス注入は、（特に、襞の後ろの）結腸壁の不十分な観察をもたらす。十分なガス注入を自動的に判定することは、システムに組み込むべき重要なプロセスである。３Ｄ表面再構成を使用して、結腸壁の一様性は、適切なガス注入についてのメトリックとして使用され得る。襞の程度はまた、ビデオデータから推定され得る。具体的には、輝度勾配などの局所画像特徴は、観察視野内の襞の形状および程度を確定するために使用され得る。非常に接近して位置する多数の画像勾配を見出すことは、結腸壁内の襞を示唆する。あるいは、ガス注入圧をわずかに変動させることによって、画像特徴部の変化（勾配など）は、襞の場所および襞の程度の推定値を提供し得る。
【００５９】
本発明は、好ましい実施形態を参照して述べられたが、本発明の趣旨および範囲から逸脱することなく、形態および細部において変更が行われ得ることを当業者は認識するであろう。
【図１】
2012509715.tif 000022
【図２】
2012509715.tif 000023
【図３】
2012509715.tif 000024
【図４】
2012509715.tif 000025
【図５】
2012509715.tif 000026
【図６】
2012509715.tif 000027
【図７】
2012509715.tif 000028
【図８】
2012509715.tif 000029
【図９Ａ】
2012509715.tif 000030
【図９Ｂ】
2012509715.tif 000031
【図１１】
2012509715.tif 000032
【図１０】
2012509715.tif 000033
【国際調査報告】
2012509715.tif 000034
2012509715.tif 000035