(57)【要約】  内視鏡31によって生成される解剖学的領域の内視鏡画像33と、腹腔鏡超音波プローブ41によって生成される解剖学的領域の超音波画像43との画像ベースの融合のための画像融合ワークステーションが開示される。画像融合ワークステーションは、解剖学的領域の内視鏡31の視野32内の腹腔鏡超音波プローブ41の超音波融合コントローラ50による検出から導出される腹腔鏡超音波プローブ41の超音波画像空間と内視鏡31の内視鏡画像空間との間の画像変換に基づいて、内視鏡画像33と超音波画像43との間の融合を制御する画像融合コントローラ50を使用する。画像融合ワークステーションは更に、内視鏡画像33及び超音波画像43の画像融合コントローラ50による融合の表示を制御する表示コントローラ60を使用する。
2019517291.tif 000002
【特許請求の範囲】
【請求項１】
内視鏡によって生成される解剖学的領域の内視鏡画像と、腹腔鏡超音波プローブによって生成される前記解剖学的領域の超音波画像との画像ベースの融合のための画像融合ワークステーションであって、前記画像融合ワークステーションは、
画像融合コントローラであって、
前記内視鏡画像及び前記超音波画像の通信に応答して、前記画像融合コントローラは、前記解剖学的領域の前記内視鏡の視野内の前記腹腔鏡超音波プローブの前記超音波融合コントローラによる検出から導出される前記腹腔鏡超音波プローブの超音波画像空間と前記内視鏡の内視鏡画像空間との間の画像変換に基づいて、前記内視鏡画像と前記超音波画像との間の前記融合を制御する、
画像融合コントローラと、
表示コントローラであって、
前記表示コントローラは、前記内視鏡画像及び前記超音波画像の前記画像融合コントローラによる前記融合の表示を制御する、
表示コントローラと
を有する、画像融合ワークステーション。
【請求項２】
前記画像融合コントローラ及び前記表示コントローラは、前記腹腔鏡超音波プローブからの前記超音波画像の深度のユーザインタラクティブ選択をさらに制御する、
請求項1に記載の画像融合ワークステーション。
【請求項３】
前記画像融合コントローラ及び前記表示コントローラは、前記解剖学的領域内に挿入される器具に対する前記超音波画像の表示をさらに制御する、
請求項1に記載の画像融合ワークステーション。
【請求項４】
前記画像融合コントローラ及び前記表示コントローラは、前記超音波画像の前記表示の透視ビューをさらに制御する、
請求項1に記載の画像融合ワークステーション。
【請求項５】
前記解剖学的領域の解剖学的モデルの通信に応答して、前記画像融合コントローラは、前記解剖学的モデルのボリュメトリック画像空間と前記内視鏡の前記内視鏡画像空間との間の画像変換に基づいて、前記解剖学的領域の前記解剖学的モデルと前記超音波画像及び前記内視鏡画像の前記融合との間のレジストレーションを制御する、
請求項1に記載の画像融合ワークステーション。
【請求項６】
前記解剖学的モデルは、撮像モダリティによって生成される前記解剖学的領域のボリューム画像である、
請求項5に記載の画像融合ワークステーション。
【請求項７】
前記解剖学的モデルは、前記解剖学的領域内の解剖学的構造の解剖学的アトラスである、
請求項5に記載の画像融合ワークステーション。
【請求項８】
前記画像融合コントローラ及び前記表示コントローラは、前記内視鏡画像、前記超音波画像、及び前記内視鏡画像と前記超音波画像との前記融合の少なくとも1つの表示上に重ね合わされる前記解剖学的モデルの少なくとも1つの基準平面ビューの表示を更に制御する、
請求項5に記載の画像融合ワークステーション。
【請求項９】
前記画像融合コントローラ及び前記表示コントローラは、前記解剖学的領域の前記解剖学的モデルと前記超音波画像及び前記内視鏡画像の前記融合との間の前記レジストレーションに基づいて、前記腹腔鏡超音波プローブによって生成される前記解剖学的領域の複数の超音波画像のうちの標的超音波画像の表示を更に制御する、
請求項5に記載の画像融合ワークステーション。
【請求項１０】
前記画像融合コントローラ及び前記表示コントローラは、前記解剖学的領域の前記解剖学的モデルと前記超音波画像及び前記内視鏡画像の前記融合との間の前記レジストレーションに基づいて、前記解剖学的モデルの表示とともに前記超音波画像及び前記仮想腹腔鏡プローブの表示をさらに制御する、
請求項5に記載の画像融合ワークステーション。
【請求項１１】
前記画像融合コントローラ及び前記表示コントローラは、前記解剖学的領域内で行われる外科的プロシージャの状態を示す前記超音波画像の表示をさらに制御する、
請求項1に記載の画像融合ワークステーション。
【請求項１２】
前記画像融合コントローラ及び前記表示コントローラは、前記解剖学的領域内で行われる外科的プロシージャの状態を示す前記解剖学的モデルの少なくとも1つの基準平面ビューの表示をさらに制御する、
請求項5に記載の画像融合ワークステーション
【請求項１３】
前記画像融合コントローラ及び前記表示コントローラは、前記解剖学的領域の前記解剖学的モデルと前記超音波画像及び前記内視鏡画像の前記融合との間の前記レジストレーションに基づいて、前記解剖学的モデルに対する前記腹腔鏡超音波プローブの少なくとも1つの所望の位置の仮想表示をさらに制御する、
請求項5に記載の画像融合ワークステーション。
【請求項１４】
内視鏡によって生成される解剖学的領域の内視鏡画像と腹腔鏡超音波プローブによって生成される前記解剖学的領域の超音波画像との画像ベースの融合のための画像融合コントローラであって、前記画像融合コントローラは、
前記内視鏡の視野内の前記腹腔鏡超音波プローブの検出を制御するプローブ検出器と、
前記内視鏡の前記視野内の前記腹腔鏡超音波プローブの前記プローブ検出器による前記検出から導出される前記腹腔鏡超音波プローブの超音波画像空間と前記内視鏡の内視鏡画像空間との間の画像変換の計算を制御する画像変換器と、
前記画像変換部により計算される前記画像変換に基づいて、前記内視鏡画像と前記超音波画像との前記融合を制御する画像インテグレータと
を有する、画像融合コントローラ。
【請求項１５】
前記解剖学的領域の解剖学的モデルの通信に応答して、前記画像インテグレータは、前記解剖学的モデルのボリュメトリック画像空間と前記内視鏡の前記内視鏡画像空間との間の画像変換に基づいて、前記解剖学的領域の前記解剖学的モデルと前記超音波画像及び前記内視鏡画像の前記融合との間のレジストレーションを更に制御する、
請求項14に記載の画像融合コントローラ。
【請求項１６】
内視鏡によって生成される解剖学的領域の内視鏡画像と、腹腔鏡超音波プローブによって生成される前記解剖学的領域の超音波画像との画像ベースの融合のための方法であって、前記方法は、
画像融合ワークステーションが、前記解剖学的領域の前記内視鏡の視野内で前記腹腔鏡超音波プローブを検出するステップと、
前記画像融合ワークステーションが、前記内視鏡の内視鏡画像空間と前記腹腔鏡超音波プローブの超音波画像空間との間の画像変換を計算するステップであって、
前記画像融合ワークステーションは、前記解剖学的領域の前記内視鏡の視野内の前記腹腔鏡超音波プローブの前記検出から前記画像変換を導出する、
ステップと、
前記画像変換ワークステーションが、前記画像変換に基づいて前記内視鏡画像と前記超音波画像とを融合するステップと
を有する、方法。
【請求項１７】
前記画像融合ワークステーションが、前記内視鏡画像と前記超音波画像との前記融合を表示するステップであって、
前記画像融合コントローラは、
前記腹腔鏡超音波プローブからの前記超音波画像の深度のユーザ選択、
前記超音波画像の前記表示の透視ビュー、
前記解剖学的領域内に挿入される器具に対する前記超音波画像の表示、及び
前記解剖学的領域内で行われる外科的プロシージャの状態を示す前記超音波画像の表示
の少なくとも1つを制御する、
ステップ
を更に有する、請求項16に記載の方法。
【請求項１８】
前記画像融合ワークステーションが、前記解剖学的モデルのボリュメトリック画像空間と前記内視鏡の前記内視鏡画像空間との間の画像変換に基づいて、前記解剖学的領域の前記解剖学的モデルと前記超音波画像及び前記内視鏡画像の前記融合との間のレジストレーションを制御するステップ
を更に有する、請求項16に記載の方法。
【請求項１９】
前記画像融合ワークステーションが、前記内視鏡画像と前記超音波画像との融合に対する前記解剖学的モデルの前記レジストレーションを表示するステップであって、
前記画像融合コントローラは、
前記内視鏡画像、前記超音波画像、及び前記内視鏡画像と前記超音波画像との前記融合の少なくとも1つの表示上に重ね合わされる前記解剖学的モデルの少なくとも1つの基準平面ビューの表示、
前記解剖学的領域の前記解剖学的モデルと、前記内視鏡画像及び前記超音波画像の前記融合との間の前記レジストレーションに基づいて、前記腹腔鏡超音波プローブによって生成される前記解剖学的領域の複数の超音波画像のうちの標的超音波画像の表示、
前記解剖学的領域の前記解剖学的モデルと、前記内視鏡画像及び前記超音波画像の前記融合との間の前記レジストレーションに基づく、前記解剖学的モデルの表示と一緒の仮想腹腔鏡プローブ及び前記超音波画像の表示、
前記解剖学的領域内で行われる外科的プロシージャの状態を示す前記解剖学的モデルの少なくとも1つの基準平面ビューの表示、及び
前記解剖学的領域の前記解剖学的モデルと、前記内視鏡画像及び前記超音波画像の前記融合との間の前記レジストレーションに基づく、前記解剖学的モデルに対する前記腹腔鏡的超音波プローブの少なくとも1つの所望の位置の仮想表示
の少なくとも1つを制御する、
ステップ
を更に有する、請求項18に記載の方法。
【請求項２０】
前記画像融合ワークステーションが、前記解剖学的領域に対して前記腹腔鏡超音波プローブの異なる位置で、前記内視鏡の前記内視鏡画像空間と前記腹腔鏡超音波プローブの前記超音波画像空間との間の前記画像変換を計算する、
請求項16に記載の方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本開示は、概して、解剖学的領域の腹腔鏡撮像例えば、心臓手術、腹腔鏡手術、自然開口部経管外科手術、単回切開腹腔鏡手術、肺/気管支鏡手術及び診断介入の内視鏡像を含む最小侵襲性プロシージャに関する。本開示は、より詳細には、内視鏡画像と解剖学的領域の超音波画像の画像ベースの融合に関する。
【背景技術】
【０００２】
内視鏡及び腹腔鏡は薄くて細長いカメラアセンブリであり、医師が直接的な視野のために解剖学的構造を外科的に露出する必要なしに患者の内部解剖学的構造を見ることを可能にする。内視鏡は、狭い自然の開口部又は皮膚の小さな切開部を通じて適合することができ、その結果、開放手術と比較して患者に対する外傷が減少する。
【０００３】
腹腔鏡超音波(LUS)は、ポート(又は自然の開口部)を介して患者の内部解剖学的構造に導入され、内部器官を撮像するために使用される何れかの超音波撮像装置を指す。 LUSプローブの2つの例には、Philips  L10-4lapプローブ及びPhilips  C9-3ioプローブが含まれる。
【０００４】
より詳細には、LUSは、内部器官を評価し、手術標的(例えば、腫瘍)を同定し、それらの器官(例えば、血管)内の感受性構造を同定するために使用される。臨床現場では、LUSプローブは外科用器具のポートの1つを介して体内に導入される。器官は、様々な構造及び標的の位置を評価するためにスキャンされる。評価の後、LUSプローブをポートから取り外し、器具をポートを通って体内に導入してプロシージャを完了する。後で必要になった場合は、LUSプローブは、異なる時間に体に再び導入される。
【発明の概要】
【発明が解決しようとする課題】
【０００５】
当業者に実施される追跡ベースの融合は、主として、腹腔鏡超音波プローブの追跡と超音波内視鏡画像融合の両方のための外部追跡装置(例えば、光学追跡及び/又は電磁追跡)に依存しており、したがってこの実施は最小侵襲プロシージャ中に利用するのに非常に複雑で厄介である。
【０００６】
さらに、LUSの外科的使用にはいくつかの主要な問題がある。
【０００７】
第1に、オペレータは、内視鏡及びLUSプローブが追跡されるとき、LUSプローブによる解剖学的領域のオペレータスキャン時にのみ、内視鏡画像と超音波画像との間の追跡に基づく対応を知る。 LUSスキャンが完了し、LUSプローブが体から取り除かれると、内視鏡画像と超音波画像との間の関係は失われる。
【０００８】
第2に、LUSプローブの細長い性質及び単一の進入点の周りのLUSプローブの制限された動きを可能にする支点効果のために、LUSプローブの取り扱いが複雑である。
【０００９】
第3に、LUSプローブの追跡は問題のいくつかを解決することができるが、ワークフローを損なう操作シアタ内に多くの機器が必要になる。さらに、光学追跡を使用する場合、外部マーカーを使用してLUSプローブの位置を正確に推測することは困難である。
【課題を解決するための手段】
【００１０】
本開示は、最小侵襲プロシージャ中の解剖学的領域の腹腔鏡撮像の利点及び利益を改善するために、解剖学的領域の内視鏡画像を解剖学的領域の腹腔鏡超音波(LUS)画像と統合し、解剖学的領域のオペレータスキャン中に、又は手術中の何れかの他の時間に、統合された情報を表示するシステム、ワークステーション、コントローラ及び方法を提供する。本開示のシステム、ワークステーション、コントローラ及び方法は、内視鏡画像と超音波画像との画像ベースの融合を実施し、追加の追跡デバイス(例えば、光学追跡及び/又は電磁追跡)の必要性を排除する。本開示の撮像ベースの融合は、LUSプローブのより直感的な使用を可能にし、プロシージャ(例えば、心臓手術、腹腔鏡手術、自然開口部経管外科手術、単一切開腹腔鏡手術、肺/気管支鏡手術及び診断介入)の間のよりよいターゲッティングを可能にする。
【００１１】
本開示の1つの形態は、内視鏡によって生成された解剖学的領域の内視鏡画像(例えば、解剖学的領域内の解剖学的器官の内視鏡ビュー)及び腹腔鏡超音波プローブによって生成された解剖学的領域の超音波画像(例えば、解剖学的領域内の解剖学的器官の超音波ビュー)の画像ベースの融合のための画像融合ワークステーションである。画像融合ワークステーションは、内視鏡の内視鏡画像空間と、内視鏡の視野内の腹腔鏡超音波プローブの超音波融合コントローラによる検出から導出される腹腔鏡超音波プローブの超音波画像空間との間の画像変換に基づいて、内視鏡画像と超音波画像との間の融合を制御する画像融合コントローラを使用する。ワークステーションはさらに、内視鏡画像と超音波画像との画像融合コントローラによる融合の表示例えば、内視鏡画像への超音波画像のレジストレーションされた重ね合わせ、又は内視鏡画像の表示に対する超音波画像のレジストレーションされたウィンドウ表示を制御する表示コントローラを使用する。
【００１２】
本開示の第2の形態は、プローブ検出器、画像変換器及び画像インテグレータを使用する画像融合コントローラである。プローブ検出器は、内視鏡の視野内の腹腔鏡超音波プローブの検出を制御する。画像変換器は、内視鏡の内視鏡画像空間と、内視鏡の視野内の腹腔鏡超音波プローブのプローブ検出器による検出から導出される腹腔鏡超音波プローブの超音波画像空間との間の画像変換の計算を制御する。画像インテグレータは、画像変換器によって計算された画像変換に基づいて、内視鏡画像と超音波画像との融合を制御する。
【００１３】
本開示の発明の第3の形態は、内視鏡によって生成された解剖学的領域の内視鏡画像(例えば、解剖学的領域内の解剖学的器官の内視鏡ビュー)と腹腔鏡超音波プローブによって生成された解剖学的領域の超音波画像（例えば、解剖学的領域内の解剖学的器官の超音波ビュー）の画像ベースの融合のための方法である。この方法は、内視鏡の視野内で腹腔鏡超音波プローブを検出し、内視鏡の内視鏡画像空間と腹腔鏡超音波プローブの超音波画像空間との間の画像変換を計算する画像融合ワークステーションを含み、画像融合ワークステーションは、内視鏡の視野内の腹腔鏡超音波プローブの検出から画像変換を導出する。この方法はさらに、画像変換に基づいて内視鏡画像と超音波画像とを融合する画像融合ワークステーションを含む。
【００１４】
本開示の全ての発明は、さらに、
（1）撮像モダリティ（例えば、コンピュータ断層撮影（CT又はXperCT）、磁気共鳴画像MRI、陽電子放出断層撮影法PETなど解剖学的領域内の解剖学的器官のビュー）によって生成された解剖学的領域のボリューム画像、又は
（2）解剖学的領域内の解剖学的器官の解剖学的アトラス
の形態で内視鏡/超音波画像の融合を解剖学的モデルに組み込む。
【００１５】
解剖学的モデルレジストレーションから、内視鏡/超音波画像の融合の表示は、
（1）内視鏡画像（例えば、内視鏡画像上の解剖学的モデルの基準面のレジストレーションされたオーバーレイ）と共に表示される解剖学的モデル、
（2）超音波画像（例えば、解剖学的モデル上の超音波画像のレジストレーションされたオーバーレイ）と共に表示される解剖学的モデル、及び/又は
（3）内視鏡/超音波画像（例えば、内視鏡画像上の解剖学的モデルの超音波画像と基準面との両方のレジストレーションされたオーバーレイ）の融合によって表示される解剖学的モデル
である。
【００１６】
本開示のために、限定されないが、「融合」、「解剖学的領域」、「解剖学的器官」、「内視鏡」、「内視鏡画像」、「視野」、 「腹腔鏡超音波プローブ」、「超音波画像」、「画像変換」、「レジストレーション」、「画像空間」、「表示」、「ボリューム画像」、「撮像モダリティ」、及び「解剖学的アトラス」を含む用語は、本開示の技術分野で理解され、本明細書に例示的に記載されるように解釈される。
【００１７】
より詳細には、本開示の目的のために、用語「内視鏡」は、本開示の技術分野で理解され、本明細書で例示的に説明されるように、体の内部から撮像する能力を用いて構造的に構成される何れかの装置を広く包含する。
【００１８】
内視鏡の例は、可撓性又は剛性の何れかのタイプのスコープ（例えば、内視鏡、関節鏡、気管支鏡、胆道鏡、結腸鏡、膀胱鏡、十二指腸鏡、胃鏡、子宮鏡、腹腔鏡、喉頭鏡、神経鏡、耳鏡、プッシュ腸内視鏡、鼻咽頭鏡、S状結腸鏡、胸鏡、膣鏡、胸腔鏡、神経内視鏡など）及び画像システムを備えたスコープに類似する何れかの装置を含むが、これらに限定されない。撮像は局所的であり、表面画像は、光ファイバー、レンズ、及び小型化された（例えば、CCDベースの）撮像システム（例えば、腹腔鏡超音波）で光学的に得られる。
【００１９】
本開示の目的のために、「コントローラ」という用語は、後に続く本発明の様々な発明原理の適用を制御するために、ワークステーション内にハウジングされるか、又はワークステーションにリンクされる、特定用途向けメインボード又は特定用途向け集積回路のすべての構造構成を広く包括的に包含し、ここに記載される。コントローラの構造的構成には、プロセッサ、コンピュータ使用可能/コンピュータ可読記憶媒体、オペレーティングシステム、アプリケーションモジュール、周辺装置コントローラ、スロットとポートが含まれる。
【００２０】
本明細書のコントローラ（例えば、「内視鏡コントローラ」、「LUSプローブコントローラ」、「画像融合コントローラ」及び「表示コントローラ」）の記述ラベルは、何れかの追加の限定を用語「コントローラ」に明示又は暗示することなく、ここに記載のコントローラを特定する役割を果たす。
【００２１】
ワークステーションの例は、限定されないが、1つ又は複数のコンピューティングデバイス、1つ又は複数の入力デバイス（たとえば、キーボード、ジョイスティック及びマウス）及び1つ又は複数のディスプレイ/モニタ（例えば、クライアントコンピュータ、デスクトップ、ラップトップ、タブレット）を含む。
【００２２】
本開示の目的のために、用語「アプリケーションモジュール」は、特定のアプリケーションを実行するための電子回路及び/又は実行可能プログラム（例えば、実行可能なソフトウェア及び/又は非一時的コンピュータ可読媒体に記憶されたファームウェア）からなるコントローラのコンポーネントを広く含む。本明細書におけるアプリケーションモジュール（例えば、「プローブ検出器」、「画像変換器」及び「画像統合器」）の記述ラベルは、何れかの追加の限定を用語「アプリケーションモジュール」に明示又は暗示することなく、本明細書で説明され特許請求される特定のアプリケーションモジュールを特定する役割を果たす。
【００２３】
本開示の本発明の前述の形態及び他の形態ならびに本開示の本発明の様々な特徴及び利点は、添付の図面に関連して理解される本開示の本発明の様々な実施形態の以下の詳細な説明からさらに明らかになるであろう。詳細な説明及び図面は、本開示の本発明の範囲を限定するのではなく、本開示の発明の単なる例示であり、本開示の本発明の範囲は、添付の特許請求の範囲及びその等価物によって定義される。
【図面の簡単な説明】
【００２４】
【図１】本開示の本発明の原理による最小侵襲性プロシージャ及びコントローラスイートの例示的な実施形態を示す。
【図２】本開示の本発明の原理による最小侵襲性制御システムの例示的な実施形態を示す。
【図３】本開示の本発明の原理による画像ベースの融合方法の例示的な実施形態を表すフローチャートを示す。
【図４Ａ】本開示の本発明の原理による内視鏡画像と超音波画像の画像ベースの融合を示す。
【図４Ｂ】本開示の本発明の原理による他の内視鏡画像と超音波画像の画像ベースの融合を示す。
【図５】当該技術分野において周知の内視鏡画像及び術前ボリューム画像のレジストレーションを示す。
【図６】本開示の本発明の原理による、内視鏡画像と超音波画像との画像ベースの融合を解剖学的アトラスにレジストレーションする例示的な実施形態を示す。
【図７】本開示の本発明の原理による、内視鏡画像と超音波画像との画像ベースの融合の表示の例示的な実施形態を示す。
【図８】本開示の本発明の原理による、内視鏡画像と超音波画像との画像ベースの融合の表示の他の例示的な実施形態を示す。
【図９】本開示の本発明の原理による、内視鏡画像と超音波画像との画像ベースの融合の表示の他の例示的な実施形態を示す。
【図１０】本開示の本発明の原理による、内視鏡画像と超音波画像との画像ベースの融合の表示の他の例示的な実施形態を示す。
【図１１】本開示の本発明の原理による、内視鏡画像と超音波画像との画像ベースの融合の表示の他の例示的な実施形態を示す。
【図１２】本開示の本発明の原理による、内視鏡画像と超音波画像との画像ベースの融合の表示の他の例示的な実施形態を示す。
【図１３】本開示の本発明の原理による、内視鏡画像と超音波画像との画像ベースの融合の表示の他の例示的な実施形態を示す。
【図１４】本開示の本発明の原理による、内視鏡画像と超音波画像との画像ベースの融合の表示の他の例示的な実施形態を示す。
【図１５】本開示の本発明の原理による、内視鏡画像と超音波画像との画像ベースの融合の表示の他の例示的な実施形態を示す。
【図１６】本開示の本発明の原理による、内視鏡画像と超音波画像との画像ベースの融合の表示の他の例示的な実施形態を示す。
【図１７Ａ】本開示の本発明の原理による画像ベース融合ワークステーションの例示的な実施形態を示す。
【図１７Ｂ】本開示の本発明の原理による画像ベース融合ワークステーションの他の例示的な実施形態を示す。
【発明を実施するための最良の形態】
【００２５】
本開示の理解を容易にするために、図1及び図2の以下の記載は、コントローラネットワーク20によって達成される最小侵襲性プロシージャのための解剖学的領域の超音波画像及び内視鏡画像の画像ベースの融合10の基本的な発明原理を教示する。この説明から、当業者は、本開示の画像ベースの融合を様々なタイプの最小侵襲性プロシージャに組み込むために、本開示の本発明の原理を適用する方法を理解するであろう。
【００２６】
図1に示すように、画像ベース融合10は、解剖学的領域（例えば、腹部領域）を含む最小侵襲性プロシージャ内に組み込まれた内視鏡撮像フェーズ11、腹腔鏡超音波（LUS）撮像フェーズ12及び画像融合フェーズ13を含む。
【００２７】
一般に、内視鏡撮像フェーズ11は、本開示の技術分野において周知のように、患者のポートを介して内視鏡を解剖学的領域に導入することを含み、これにより、内視鏡は、図２に関連して更に示されるように解剖学的領域（例えば、解剖学的領域内の器官の内視鏡ビュー）の内視鏡画像を生成するように操作される。
【００２８】
内視鏡撮像フェーズ11の前、同時または後に,LUS撮像フェーズ12は、一般に、本開示の技術分野で周知のように、患者の別のポートを通じたLUSプローブの解剖学的領域への導入を含み、それによりLUSプローブは、図２に関連して更に記載されるように、解剖学的領域の2D平面超音波画像（例えば、解剖学的領域内の器官の2D超音波視野）又は2D平面超音波画像の空間シーケンスからなる解剖学的領域の3Dスキャン超音波画像（例えば、解剖学的領域内の器官の3次元超音波ビュー）を生成するように操作される。
【００２９】
生成された内視鏡/超音波画像から、画像融合フェーズ13は、図２に関連して更に示されるように内視鏡の視野内のLUSプローブの検出を前提とした、本開示の本発明の原理による画像ベースの融合を含む。
【００３０】
内視鏡/超音波画像の最初の融合時に、LUSプローブは、本開示の技術分野において周知のように解剖学的領域から除去され、それにより外科的/診断的器具は解剖学的領域内に導入され、画像ベースの融合された内視鏡/超音波画像は、解剖学的領域内の手術/診断器具のナビゲーション及び操作をサポートする。その後、フェーズ11乃至13は最小侵襲性プロシージャを完了するために、必要に応じて個々に/まとめて繰り返されることができる。
【００３１】
画像ベースの融合10を実施するために、コントローラネットワーク20は、内視鏡コントローラ30、LUSプローブコントローラ40、画像融合コントローラ50、及び表示コントローラ60を使用する。
【００３２】
一般に、内視鏡コントローラ30は、内視鏡画像を生成する際に内視鏡の動作を制御するために、本開示の技術分野で周知のように構造的に構成されており、LUSプローブコントローラ40は、超音波画像を生成する際のLUSプローブの動作を制御するために当該技術分野において周知のように構造的に構成され、表示コントローラ60は、ディスプレイ/モニタの動作を制御するために当該技術分野において周知のように構造的に構成される。
【００３３】
画像融合コントローラ50は、図2に関連して本明細書でさらに説明するように内視鏡の視野内のLUSプローブの検出を前提とした、内視鏡画像と超音波画像との画像ベースの融合を制御するために、本開示の本発明の原理に従って構造的に構成される。
【００３４】
表示コントローラ60は、画像融合コントローラ50にユーザインタラクティブコマンドを提供するためにグラフィカルユーザインタフェースを表示し、それによって超音波画像及び内視鏡画像の画像ベースの融合の表示を操作するために、本開示の発明原理に従ってさらに構造的に構成されてもよい。
【００３５】
実際には、コントローラネットワーク20は、単一のワークステーション内に組み込まれてもよく、又は複数のワークステーション間で何れかの方法で分散されてもよい。
【００３６】
図2は、腹部領域ARを含む最小侵襲性プロシージャのためのコントローラネットワーク20による画像ベースの融合10の例示的な実装を示す。
【００３７】
図1及び図2を参照すると、内視鏡コントローラ30は、本開示の技術分野において周知のように内視鏡31による内視鏡画像の生成を制御する。より具体的には、内視鏡31は、内視鏡コントローラ30によって固定され、又は調整可能な視野32を有し、内視鏡コントローラ30は、内視鏡31からの内視鏡ビデオ信号を、内視鏡画像を示すコンピュータ可読時間フレームシーケンスに変換するためのビデオキャプチャ装置を使用する。実際には、ビデオキャプチャ装置は、内視鏡ビデオ信号から個々のデジタル静止内視鏡画像フレーム(「EIF」)33をキャプチャするための何れかのタイプのフレームグラバを使用することができる。
【００３８】
LUSプローブコントローラ40は、本開示の技術分野で周知のように、LUSプローブ41による1つ以上の超音波画像の生成を制御する。より詳細には、LUSプローブ41は、超音波の短パルスを撮像面42内で縦方向に送信し、超音波画像を示す反射音(「超音波エコー」)を受信するためのトランスデューサヘッド41hを有する。 LUSプローブ41は撮像中に静止して単一の2D平面超音波画像43をもたらすか、又はLUSプローブ41はポートに対してピボットされて2D平面超音波画像43の空間シーケンスからなる3Dスキャン超音波画像をもたらす。
【００３９】
画像融合コントローラ50は、プローブ検出器51、画像変換器52及び画像インテグレータ53を使用する。
【００４０】
プローブ検出器51は、図３に関連してさらに説明するように、内視鏡画像フレーム33の処理を制御して、内視鏡31の視野32内の腹腔鏡超音波プローブ41を検出する。
【００４１】
画像変換器52は、内視鏡画像フレーム33及び超音波画像43の処理を制御して、内視鏡31の内視鏡画像空間(例えば、視野31又はその一部)と、図３に関連してさらに説明するように内視鏡31の視野内のLUSプローブ41のプローブ検出器51による検出から導出されるLUSプローブ41の超音波画像空間(例えば、撮像面42又はその一部)との間の画像変換ENDOSCOPETLUS  PROBEを計算する。
【００４２】
画像インテグレータ53は、内視鏡画像フレーム33及び超音波画像43の処理を制御して、図３に関連してさらに説明するように、画像変換器52によって計算された画像変換に基づいて内視鏡画像及び超音波画像を融合する。
【００４３】
表示コントローラ60は、個々に又は画像インテグレータ53によって融合されるように、内視鏡画像及び超音波画像43を示すために、本開示の技術分野で周知のようにディスプレイ/モニタ62の動作を制御する。融合される内視鏡画像/超音波画像に関して、画像インテグレータ５２は、画像融合データ(「IFD」)54を表示コントローラ60に提供し、それによって表示コントローラ60は、ディスプレイ/モニタ62による表示のために融合される内視鏡画像/超音波画像(「FEUI」)61を生成する。インタラクティブであれば、表示コントローラ60は、ディスプレイ/モニタ62によって融合内視鏡画像/超音波画像61の表示を操作する画像インテグレータ53へのグラフィカルユーザインタフェース（図示せず）を介してインタラクティブ画像コマンド(「IIC」)63を提供する。
【００４４】
本開示のさらなる理解を容易にするために、図３の以下の説明は、図２の制御ネットワークと関連して、本開示の画像ベースの融合方法の基本的な発明原理を教示する。この説明から、当業者は、本開示の多数の追加の制御ネットワーク実施形態に画像ベースの融合方法の本発明の原理を適用する方法を理解するであろう。
【００４５】
図3は、本開示の1つの画像ベースの融合方法を表すフローチャート70を示す。
【００４６】
図3を参照すると、フローチャート70のステージS72は、内視鏡31の視野32内のLUSプローブ41を検出するプローブ検出器51(図2)を包含する。
【００４７】
ステージS72の一実施形態では、プローブ検出器41は、トランスデューサヘッド41hのパターン、トランスデューサヘッド41の特定の形状/色/テクスチャ、又はトランスデューサヘッド41h上の補足/追加パターンの検出に基づいて当該技術分野で公知の技術を実行することによって、内視鏡31の視野32内のLUSプローブの遠位トランスデューサヘッド41hを自動的に検出する。
【００４８】
ステージS72の第2の実施形態では、プローブ検出器41は、内視鏡画像及び/又は超音波画像(例えば、オプティカルフロー、背景抽出など)内での動きの検出に基づいて、本開示の技術分野で周知の検出技術を実行することによって、内視鏡31の視野32内のLUSプローブ41の遠位変換器ヘッド41hを自動的に検出する。
【００４９】
フローチャート70のステージS74は、トランスデューサヘッド41hに基準フレーム44を取り付ける画像変換器52(図2)を含み、それにより、内視鏡31の内視鏡画像空間34とLUSプローブ41の超音波画像空間42との間の画像変換ENDOSCOPETLUS  PROBEを計算するために当該技術分野において周知の2D-3Dレジストレーション(例えば、RANSACレジストレーション)を実行する。
【００５０】
フローチャート70のステージS76は、内視鏡画像と超音波画像とを融合させる画像インテグレータ53(図2)を包含し、これにより、限定されないが、超音波画像の内視鏡画像へのレジストレーションされたオーバーレイ又は内視鏡画像の表示に対する超音波画像のレジストレーションされたウィンドウ表示を含む、融合された内視鏡/超音波画像の同時表示を容易にする。
【００５１】
ステージS76の一実施形態では、本開示の技術分野で周知の画像ブレンディング技術が画像インテグレータ53によって実行されることができ、これにより、この融合プロセスは、2D平面超音波画像の透視変換又は3Dスキャン超音波画像の3D変換を含むことができる。
【００５２】
実際には、ステージS72乃至S76は、解剖学的領域内のLUSプローブ41の各撮像位置、若しくは特定の時間マーカー(例えば5秒)でのLUSプローブ41の撮像位置、又はオペレータによって選択されたLUSプローブ41の撮像位置について実行され得る。
【００５３】
変換ENDOSCOPETLUSは、スキャン中のLUSプローブ41の各撮像位置又はオペレータによって選択されるLUSプローブ41の撮像位置について、超音波画像とともに画像融合コントローラ50によって保存されることができる。
【００５４】
LUSプローブ41が解剖学的領域(例えば、図1に示される腹部領域AR)から除去されると、オペレータは、限定されないが、スクリーン上のマウス(又は他の入力装置)のクリック、保存される位置(例えば、A、B、C)を含む何れかの対話方法を利用することによって、又は割り当てられた名前によって、保存された変換ENDOSCOPETLUS、内視鏡画像及び超音波画像の組合せを介して、融合される内視鏡/超音波画像の表示を開始し得る。
【００５５】
図4A及び図4Bは、以下を含むフローチャート70の例示的な実行を示す。
1.ステージS72a：肝臓の形態の解剖学的器官の内視鏡像を示す内視鏡画像33aの視野内のLUSプローブ41のトランスデューサヘッド41hの自動パターン検出。
2.ステージ74a：内視鏡31の内視鏡画像空間(ピクセル)と、肝臓のセグメントの超音波ビューを提供する超音波画像43aを生成するLUSプローブ41の超音波画像空間との間のマッピング。
3.ステージ74b：超音波画像43aの輪郭45の描画。
4A.ステージ76a1：内視鏡画像33a上の超音波画像43aの透視的オーバーレイの形態の内視鏡/超音波画像33a/43aの融合を表示する輪郭45の利用。
4B.ステージ76a2：内視鏡画像33aの左上隅の超音波画像43aのウィンドウ表示の形態の内視鏡/超音波画像33a/43aの融合を表示するための輪郭45の利用。
【００５６】
再び図3を参照すると、フローチャート70のステージS76は、限定されないが、解剖学的領域のボリューム画像及び解剖学的領域内の解剖学的器官の解剖学的アトラスを含む解剖学的モデルへの、内視鏡/超音波画像の更なる融合を実行する画像統合53をさらに含むことができる。
【００５７】
ボリューム画像レジストレーション。内視鏡ビューは、本開示の技術分野において周知の方法(例えば、米国特許第9095252B2号)を使用して術前3D画像(例えば、CT、XperCT、MRI、PETなど)にレジストレーションされることができる。例えば、図5は、術前CT画像80のボリュメトリック空間81と内視鏡31の内視鏡画像空間34との間のレジストレーションENDOSCOPETCTを示し、これにより、図7-16に関連してさらに説明されるように、内視鏡/超音波の融合に基づいて術前CT画像80からの3D画像及び構造が同時に表示されることができる。
【００５８】
ENDOSCOPETCTレジストレーションは、関心平面で取得される本開示の技術分野において周知の画像ベースのレジストレーション方法(例えば、相互情報)を使用して精緻化されることができる。 ENDOSCOPETCT及びENDOSCOPETLUSから、超音波及びCT画像空間の間の変換は、
2019517291.tif 000003
で計算されることができる。
【００５９】
解剖学的アトラスレジストレーション。内視鏡/超音波画像の融合は、集団の間の解剖学的器官の形状を捕捉する解剖学的器官の解剖学的アトラスにレジストレーションされることができる。そのようなレジストレーションは、解剖学的器官に関してLUSプローブ41の大まかな局在化のみを可能にする。例えば、図6は、内視鏡画像にレジストレーションされる超音波画像43b乃至43dに示される、予め定義される迅速に識別可能な解剖学的基準点92のセットを使用することによって、肝臓の解剖学的アトラス90のモデル空間91と内視鏡検査との間のレジストレーションMODELTENDOSCOPEを示す。これらの基準点92は、器官特有の大きな血管の分岐部又は表面のランドマークであってもよい。
【００６０】
本開示のさらなる理解を容易にするために、図5乃至16の以下の記載は、内視鏡ビュー又はベース画像としての役割を果たす解剖モデルによる、本開示の内視鏡画像及び超音波画像の画像融合の表示の基本的な発明原理を教示する。この説明から、当業者であれば、内視鏡画像及び超音波画像の画像融合を表示するための本開示の多数の追加の実施形態について本発明の原理を適用する方法を理解するであろう。
【００６１】
超音波画像の深度。この表示の実施形態では、3Dスキャン超音波画像の特定の2D平面超音波画像はオペレータの好みに合わせて表示されることができる。より詳細には、オペレータは、3次元スキャン超音波画像の特定の2次元平面超音波画像を、内視鏡ビュー又はベース画像としての役割を果たす解剖学的モデル表示に重ね合わせることを決定することができる。
【００６２】
例えば、図7A及び図7Bが例示するように、オペレータは、肝臓のベース画像100(例えば、内視鏡ビュー又は解剖学的モデルビュー表示)と融合される肝臓の3Dスキャン超音波画像の特定の深度43b及び43cの間で選択するようにグラフィカルスライダ64を操作することができる。
【００６３】
超音波画像/器具ビュー。この表示の実施形態では、以前に記録され、保存された2D平面超音波画像は、プロシージャの間及び3Dスキャン超音波画像を生成する超音波スキャン後に器具下に表示されることができる。 2D平面超音波画像は、さらに、2D平面超音波画像を器具の透視で置くように変換されることができる。
【００６４】
例えば、図8A及び8Bに例示されるように、肝臓の標的領域の予め記録及び保存される2D平面超音波画像43eは変換され、プロシージャ中及びスキャン後に器具46下にベース画像100(例えば、内視鏡ビュー、セグメント化されるボリュームビュー、又は解剖学的アトラスビュー)上のオーバーレイとして表示される。
【００６５】
超音波画像透視変換。この表示の実施形態では、スキャン中又はプロシージャ中のいずれかにおいて、超音波画像が歪みのない透視で示されるように、ベース画像(例えば、内視鏡ビュー、セグメント化ボリュームビュー又は解剖学的アトラスビュー)は再計算され、透視を用いて変換されることができる。これは、本開示の技術分野でよく知られている逆透視変換を使用して達成されることができる。
【００６６】
例えば、図9A及び図9Bは、歪みのない透視で超音波画像43eを示すように再計算及び変換される内視鏡画像33bを示す。
【００６７】
内視鏡ビューのモデル基準。この表示の実施形態では、前述の解剖学的モデル変換を使用して、各々のスキャンされる2D平面超音波画像(又はオペレータによって選択される各2D平面超音波画像)は、解剖学的モデル(例えば、術前CTモデル又は解剖学的アトラス)の内容で表示されてもよい。解剖学的モデルで選択される追加の基準面は、2D平面超音波画像のより良い使用及び選択を容易にするために表示されることができる。 2D平面超音波画像は、内視鏡ビュー、解剖学的モデルビュー、又はその両方で視覚化されることができる。
【００６８】
例えば、図10Aは、内視鏡画像33c上の超音波画像43gと組み合わせて重畳される術前CT情報の基準面101a乃至101cを示しており、図10Bは、超音波画像43gに重畳される術前CT情報を備える超音波画像43gを示す。
【００６９】
さらなる例として、図11は、CT画像83の基準面101a乃至101cに対応する内視鏡画像33dにおける基準面101d乃至101fを示している。
【００７０】
LUSスキャニング。本開示の技術は、1回のスキャンの実行中又はスキャンの再訪中に、同じ/類似の平面の再訪を容易にする。オペレータは、超音波画像を配置するように、内視鏡ビューにおける保存LUSスキャン位置を使用することができる。内視鏡画像の2Dの性質のため、撮像の正しい面を見つけることは難しいことがある。図12に例示されるこの表示の実施例において、オペレータは、所望の撮像面(2D問題)に近い位置にLUSプローブヘッド41hを粗く位置決めする。配置後、オペレータは矢印で示すようにLUSプローブヘッドをピボットさせ、撮像融合コントローラ50は超音波画像のシーケンス43gを収集する。本開示の技術分野でよく知られている類似性メトリック(例えば、相互情報)を使用して、撮像融合コントローラ50は、所望の画像位置に最も類似した超音波画像を見つけ、いつピボットを停止するかをオペレータに通知する。
【００７１】
仮想LUSプローブ。この実施形態では、仮想プローブが解剖学的モデル(例えば、器官表面及び内部構造の3D再構成)と共に表示される。さらに(又はその代わりに)、超音波ボリューム/平面の輪郭は解剖学的モデルと併せて表示され、オペレータのためにより良好な空間方向決めを容易にすることができる。更に(又はその代わりに)、超音波画像又はボリュームは解剖学的モデル又は3D再構成の上に重ね合わされることができる。例えば、 図13は、そのとき解剖学的モデル104(例えば、CT画像又は解剖学的アトラス)に重ね合わされる仮想プローブ141の表示に後続される解剖学的構造103の3D再構成を示す。
【００７２】
外科的視覚化。この表示の実施形態では、外科プロシージャのプロセスは、腫瘍を含む現在及び以前に訪問/治療される基準面を視覚化することによって追跡される。最初に、内視鏡ビューが解剖学的モデル(例えば、図5及び図6に関連して先に説明したように術前3D画像又は解剖学的アトラス)にレジストレーションされる。第2に、このレジストレーションに基づいて、オペレータは手術中に基準面を取得し保存することによって腫瘍位置をマークする。第3に、システムは、現在及び/又は以前に治療される腫瘍を視覚化することによってプロシージャのプロセスを追跡する。現在の平面は、点滅している赤い平面として視覚化することができ、治療(切除)される腫瘍を含む平面は黒く表示することができる。
【００７３】
例えば、図15A及び図15Bは、ベース画像100(例えば、内視鏡画像、セグメント化されるボリューム画像又は解剖学的アトラスビュー)上に重ね合わされる基準面101g乃至101iを示す。図15Aは、具体的には、現在の手術基準面として基準面101gを示し、図15Bは、具体的には、治療領域を表す基準面101gを示し、基準面101iは、現在の外科手術基準面である。
【００７４】
投影LUSビュー。所望の解剖学的領域又は病変を視覚化するために、腹腔鏡プローブは特定の位置及び方向に配置されなければならない。これは、LUSプローブ41、患者、及び解剖学的モデルビューの間の座標系の鏡像化される動き及び不一致に起因する最小侵襲的な設定における困難な課題になり得る。この表示実施形態は、関連するビュー、例えば図１５に示される解剖学的モード画像104(例えば、セグメント化されるCT画像又は解剖学的アトラス)に対する投影位置111a乃至111d及び現在位置110を達成するプローブ位置及び方向のオーバーレイと共に解剖学的器官の解剖学的モデル例えば、セグメント化されるCT画像又は解剖学的アトラスを提供することによってこの困難を軽減する。これらの位置及び方向は、手動で以前に見つかったビューから、又は関心領域の位置の知識から計算されるビューから保存されることができる。さらに、腹腔鏡プローブが追跡される場合、現在の位置及び方向は、プローブの配置をさらに助けるために、アトラスに対して重ね合わされることができる。
【００７５】
変換投影LUSビュー。前の実施形態に続いて、アトラス視点は、現在位置110及び投影位置111a乃至111dとともに図１６に示される解剖学的モデル画像104(例えば、セグメント化されるCT画像又は解剖学的アトラス)の鳥瞰図、ユーザコンソール視点、又は腹腔鏡視点などの直感的な透視に変換されることができる。このような変換により、臨床医は自身の基準フレームにプローブ運動を示すことができ、これらの方向は解剖学的モデル座標系の適切な動きに変換される。逆に、解剖学的モデル座標系において所望の視野を得るために必要なプローブの動きは、臨床医の基準のフレーム内の動きに変換されることができる。
【００７６】
実際には、画像融合コントローラ50(図1)は、ワークステーション内に設置されてもよいし、ワークステーションにリンクされてもよい。
【００７７】
例えば、図17Aは、モニタ201、インタフェースプラットフォーム202(例えば、キーボード、ボタン、ダイヤル、ジョイスティックなど)、クライアントコンピュータ203、及びワークステーションコンピュータ203内に設置されるコントローラネットワーク204を使用する画像融合ワークステーション200を示す。
【００７８】
コントローラネットワーク204は、本開示の本発明の原理による内視鏡コントローラ205、LUSプローブコントローラ206、画像融合コントローラ207、及び表示コントローラ208を含む。実際には、コントローラ205乃至208は、クライアントコンピュータ203内の何れかの程度で分離及び/又は統合されることができる。代わりに図17Bに示されるように、内視鏡コントローラ205は、(モニタ211、インタフェースプラットフォーム212及びクライアントコンピュータ213を有する)内視鏡検査ワークステーション210内に設置され、LUSプローブコントローラ206は、(モニタ221、プラットフォーム222及びクライアントコンピュータ223を有する)n LUSワークステーション220内に設置され、画像融合コントローラ207及び表示コントローラ208は、ワークステーション210及び220にリンクされるワークステーションタブレット230内に設置される。
【００７９】
図１乃至１７を参照すると、当業者は、限定されるものではないが、解剖学的領域の超音波画像及び内視鏡画像の画像ベースの融合を含む、本開示の多くの利点を、解剖学的領域の超音波画像と内視鏡画像との追跡に基づく融合を含む最小侵襲性プロシージャに組み込まれる既存のシステム、ワークステーション、コントローラ及び方法に対する改良として理解するであろう。
【００８０】
さらに、当業者であれば、本明細書で提供される教示に鑑みて、本開示/明細書及び/又は図面に記載される特徴、要素、構成要素などは、様々な組み合わせの電子ハードウェア、実行可能なソフトウェア及び実行可能なファームウェアを含み、単一の要素又は複数の要素に組み合わせることができる機能を提供する。例えば、図面に図示/図示/図示した様々な特徴、要素、構成要素等の機能は、専用のハードウェアならびに適切なソフトウェアに関連してソフトウェアを実行することができるハードウェアを使用して提供することができる。プロセッサによって提供される場合、機能は、単一の専用プロセッサ、単一の共有プロセッサ、又は複数の個別プロセッサによって提供されることができ、それらのうちのいくつかは共有及び/又は多重化することができる。さらに、「プロセッサ」という用語を明示的に使用することは、ソフトウェアを実行することができるハードウェアを排他的に指すものと解釈すべきではなく、暗黙的に、デジタル信号プロセッサ(DSP)ハードウェア、メモリ(例えば、ランダムアクセスメモリ「RAM」、不揮発性記憶装置など)及び実質的に何れかの手段及び/又は機械(ハードウェア、ソフトウェア、ファームウェア、回路、それらの組み合わせなどを含む)を格納するための「ROM」プロセスを実行(及び/又は制御)することができる及び/又は構成可能である。
【００８１】
さらに、本発明の原理、態様及び実施形態、ならびにその特定の例を記載する本明細書におけるすべての記述は、それらの構造的及び機能的等価物の両方を包含するように意図される。さらに、そのような均等物には、現在知られている等価物及び将来開発される等価物(例えば、構造にかかわらず、同じ又は実質的に類似の機能を果たすことができるように開発される何れかの要素)が含まれることが意図される。したがって、例えば、本明細書で提示される何れかのブロック図が、本発明の原理を具体化する例示的なシステム構成要素及び/又は回路の概念図を表すことができることを、当業者は理解するであろう。同様に、当業者であれば、本明細書で提供される教示を考慮すれば、フローチャート、流れ図などは、コンピュータ可読記憶媒体に実質的に表現され、コンピュータ、プロセッサ又はそのようなコンピュータ又はプロセッサが明示的に示されるか否かにかかわらず、処理能力を有する他の装置を含む。
【００８２】
さらに、本開示の例示的な実施形態は、プログラムコード及び/又は命令を提供するコンピュータ使用可能及び/又はコンピュータ可読記憶媒体からアクセス可能なコンピュータプログラム製品又はアプリケーションモジュールの形態をとることができる。 コンピュータ又は何れかの命令実行システムを含む。本開示によれば、コンピュータ使用可能又はコンピュータ読み取り可能な記憶媒体は、命令実行システム、装置又はシステムによって又はそれと関連して使用するために、例えばプログラムを格納、通信、伝播又は転送することができる何れかの装置であり得る。そのような例示的な媒体は、例えば、電子、磁気、光学、電磁気、赤外線又は半導体システム(又は装置又はデバイス)又は伝搬媒体であり得る。コンピュータ可読媒体の例には、例えば、半導体又はソリッドステートメモリ、磁気テープ、リムーバブルコンピュータディスケット、ランダムアクセスメモリ(RAM)、リードオンリメモリ(ROM)、フラッシュドライブ磁気ディスク、光ディスクなどが挙げられる。現在の光ディスクの例には、コンパクトディスクリードオンリメモリ(CD-ROM)、コンパクトディスクリードライト(CD-R/W)及びDVDが含まれる。さらに、今後開発される何れかの新しいコンピュータ可読媒体は、本開示の例示的な実施形態及び開示に従って使用又は参照され得るコンピュータ可読媒体と考えられるべきであることを理解される。
【００８３】
内視鏡画像と解剖学的領域の超音波画像との新規で発明的な画像ベースの融合(この実施形態は例示的であって限定的ではないことが意図される)の好ましい例示的な実施形態について説明したが、変更及び変形を行うことができる図面を含む本明細書で提供される教示に照らして当業者によって理解されるべきである。したがって、本明細書に開示される実施形態の範囲内にある本開示の好ましい実施形態及び例示的な実施形態に変更を加えることができることを理解される。
【００８４】
さらに、本開示に従った装置において使用されるか又は実装され得る、装置を組み込む及び/又は実装する対応する及び/又は関連するシステムもまた、企図され、本開示の範囲内にあると考えられることが企図される。 さらに、本開示によるデバイス及び/又はシステムを製造及び/又は使用するための対応する及び/又は関連する方法もまた、企図され、本開示の範囲内にあるとみなされる。
【図１】
2019517291.tif 000004
【図２】
2019517291.tif 000005
【図３】
2019517291.tif 000006
【図４Ａ】
2019517291.tif 000007
【図４Ｂ】
2019517291.tif 000008
【図５】
2019517291.tif 000009
【図６】
2019517291.tif 000010
【図７Ａ】
2019517291.tif 000011
【図７Ｂ】
2019517291.tif 000012
【図８Ａ】
2019517291.tif 000013
【図８Ｂ】
2019517291.tif 000014
【図９Ａ】
2019517291.tif 000015
【図９Ｂ】
2019517291.tif 000016
【図１０Ａ】
2019517291.tif 000017
【図１０Ｂ】
2019517291.tif 000018
【図１１】
2019517291.tif 000019
【図１２】
2019517291.tif 000020
【図１３】
2019517291.tif 000021
【図１４Ａ】
2019517291.tif 000022
【図１４Ｂ】
2019517291.tif 000023
【図１５】
2019517291.tif 000024
【図１６】
2019517291.tif 000025
【図１７Ａ】
2019517291.tif 000026
【図１７Ｂ】
2019517291.tif 000027
【国際調査報告】
2019517291.tif 000028
2019517291.tif 000029