(57)【特許請求の範囲】
【請求項１】
装置の動作方法であって：
比較手段によって、追跡されるスコープのカメラで撮影された複数のリアルタイム画像を、ある特徴を撮影した術前画像と比較して、前記術前画像に最もよく一致するリアルタイム画像を見出す段階であって、前記術前画像は前記スコープを追跡するための追跡子と位置合わせされている、段階と；
位置合わせ手段によって、前記最もよく一致するリアルタイム画像を前記術前画像に位置合わせして、前記術前画像の位置と前記追跡子によって与えられる前記リアルタイム画像の位置との間の変換行列を決定する段階と；
決定手段によって、前記術前画像の位置と前記リアルタイム画像の位置との間の前記変換行列に基づきかつ前記術前画像と前記追跡子の前記位置合わせに基づいて、前記追跡子と前記カメラの座標系との間の変換を決定する段階とを含む、
方法。
【請求項２】
請求項１記載の方法であって、前記リアルタイム画像は電磁追跡のある内視鏡カメラを使って収集される、方法。
【請求項３】
請求項１記載の方法であって、前記比較手段が、前記リアルタイム画像と前記術前画像との間の相互情報に基づいて、前記最もよく一致するリアルタイム画像を見出す、方法。
【請求項４】
請求項１記載の方法であって、前記術前画像についての仮想カメラ姿勢を決定し、その術前の姿勢を前記最もよく一致した現実の画像の現実のカメラ姿勢と相関させて、前記術前画像の位置と前記リアルタイム画像の位置との間の前記変換行列を決定することをさらに含む、方法。
【請求項５】
手順の間にリアルタイム画像を収集するカメラを含む内視鏡であって、該内視鏡の先端を位置特定するための追跡子を含む、内視鏡と；
コンピュータ実装されるプログラムを記憶しているメモリ媒体に結合されたコンピュータとを有するシステムであって、前記プログラムは前記コンピュータに、
前記カメラによって撮影された一組のリアルタイム画像を、同じ被験体についての術前画像と比較して、前記リアルタイム画像と前記術前画像との間の最もよく一致するリアルタイム画像を見出す段階であって、前記術前画像は前記追跡子と位置合わせされている、段階と；
前記最もよく一致するリアルタイム画像を前記術前画像に位置合わせして、前記術前画像の位置と前記追跡子によって与えられる前記リアルタイム画像の位置との間の変換行列を決定する段階と；
前記術前画像の位置と前記リアルタイム画像の位置との間の前記変換行列に基づきかつ前記術前画像と前記追跡子の前記位置合わせに基づいて、前記追跡子と前記カメラの座標系との間の変換を決定する段階とを実行させるものである、
システム。
【請求項６】
請求項５記載のシステムであって、前記最もよく一致するリアルタイム画像を見出す段階が、前記リアルタイム画像と前記術前画像との間の相互情報に基づく、システム。
【請求項７】
装置の動作方法であって：
操作者が内視鏡の追跡子を使って複数のマーカーのそれぞれにタッチすることの情報を受領手段によって受領する段階と；
前記タッチすることの情報に基づいて、位置合わせ手段によって、術前画像空間を前記追跡子で追跡される位置に位置合わせする段階と；
前記追跡子の第一の位置に関連付けられるカメラ画像および前記追跡子の前記第一の位置の情報を受領手段によって受領する段階と；
メモリに記憶されている術前画像の集合のうちから、前記追跡子の前記第一の位置に関連付けられる術前画像を決定手段によって決定する段階と；
前記カメラによって得られる画像が、前記追跡子の第二の位置において前記術前画像と一致するまで前記内視鏡の操作者による調整の情報を受領手段によって受領する段階と；
前記追跡子を前記カメラに対して較正するよう、前記第一の位置と第二の位置の間の回転および並進行列を決定手段によって決定する段階とを含む、
方法。
【請求項８】
前記マーカーが基準マーカーを含み、前記位置合わせが基準ベースの位置合わせである、請求項７記載の方法。
【請求項９】
回転および並進行列を決定する段階が、前記カメラの座標を前記追跡子画像に対して較正するために用いられ、前記較正および術前画像との位置合わせが、前記術前画像を、前記カメラによって撮影されるリアルタイム画像と一緒に更新することを許容する、請求項７記載の方法。
【請求項１０】
案内された内視鏡法のためのカメラ位置較正システムであって：
手順の間にリアルタイム画像を収集するカメラを含む内視鏡であって、該内視鏡の先端を位置特定するための追跡子を含む、内視鏡と；
メモリとを有しており、前記メモリは：
（ｉ）マーカーを使って収集された術前画像であって、前記追跡子を使って前記マーカーのそれぞれをタッチすることによって前記追跡子の座標と位置合わせされた座標をもつ術前画像と；
（ｉｉ）第一の位置から第二の位置へ前記内視鏡を調整する動きによって導出された回転および並進行列であって、前記第一の位置は第一のカメラ姿勢を含み、前記第二の位置は参照術前画像によりよくマッチする第二のカメラ姿勢を含み、前記行列は前記追跡子と前記カメラの間の較正を与える、回転および並進行列とを記憶している、
システム。
【請求項１１】
請求項１０記載のシステムであって、前記マーカーが基準マーカーを含み、前記術前画像の座標の、前記追跡子の座標との前記位置合わせが、基準ベースの位置合わせである、請求項１０記載のシステム。
【請求項１２】
前記回転および並進行列を使ってカメラ座標系を前記追跡子の座標系に変換するプロセッサをさらに有する、請求項１０記載のシステム。
【発明の詳細な説明】
【技術分野】
【０００１】
本開示は、撮像ツールに、より詳細には内視鏡手順の際に内視鏡を位置合わせおよび較正するためのシステムおよび方法に関する。
【背景技術】
【０００２】
内視鏡法は、肺気道や胃腸系といった内部構造の視覚的検査のために身体中にカメラを挿入する低侵襲的なリアルタイム画像化モダリティーである。典型的には、内視鏡は長い可撓性の光ファイバー・システムであって、患者の身体外の近位端において光源に、患者の身体内の遠位端においてレンズに接続される。さらに、いくつかの内視鏡は、操作者が吸引を実行したりブラシ、生検針または鉗子といった器具を通したりすることができる作業チャンネルを含む。ビデオ・フィードバックは医師または技師に、内視鏡を目標領域まで操作するための手がかりを与える。
【０００３】
伝統的な内視鏡に対し、画像に案内された内視鏡法は、介入手順が実行される際の肺の三次元（3D）的なロードマップへのリアルタイムの接続という利点を享受する。よって、多くの肺応用について価値あるツールとして認識されてきた。この型の内視鏡法は、内視鏡の位置を、手術前コンピュータ断層撮影（CT:  computer  tomography）画像と関連付け、融合画像を表示するために、グローバル座標系での内視鏡の先端の追跡を必要とする。
【０００４】
気管支鏡〔ブロンコスコープ〕位置特定の研究では、内視鏡〔エンドスコープ〕の先端を追跡する三つの方法がある。タイプ（ａ）は、内視鏡の先端に取り付けられた位置センサーに基づいて追跡する；タイプ（ｂ）はライブの画像位置合わせに基づいて追跡する；タイプ（ｃ）はタイプ（ａ）および（ｂ）の組み合わせである。電磁（EM）案内内視鏡法（タイプ（ａ）システム）は、多くの肺応用について価値あるツールとして認識されてきたが、補足的な案内デバイスを用いる必要がある。タイプ（ａ）よりタイプ（ｂ）のほうが、補足案内デバイスを用いないので望ましいが、コンスタントなフレームごとの位置合わせは時間がかかることがあり、たとえば気道内の流体がビデオ画像をかすませる場合など、誤りが生じやすい。
【０００５】
内視鏡に電磁（EM）位置センサーを導入すること（たとえばタイプ（ａ）のシステムにおいて）でこの障害を克服しうる。内視鏡手順のために（内視鏡カメラによって捕捉される）最適な画像とCT画像との間の精確なデータ融合を提供するために、内視鏡システムは較正され、位置合わせされる必要がある。較正は、カメラ座標系と内視鏡の先端に取り付けられるEM追跡子（tracker）との間の座標オフセットを決定するための手順をいう（カメラ固有のパラメータはすでに得られているとして）。位置合わせは、EM追跡子とCT画像空間との間の座標変換行列を決定することをいう。
【０００６】
較正：EM空間とカメラ空間の間でデータを統合するため、内視鏡に取り付けられたEM追跡子の位置および配向を、カメラ座標（光軸および投影中心が位置する座標）に対して決定するために較正が用いられる。この較正の結果は、６つのオフセット定数の形を取る。回転用の三つおよび並進用の三つである。介入内視鏡手順における較正の目的は、取り付けられた内視鏡追跡子のEM読み取りに基づいてカメラの姿勢を動的に決定できることにある。
【０００７】
一般に、較正はオフライン手順である。すなわち、較正パラメータは、既知の幾何学的属性をもつEM追跡される（市松模様のような較正パターンをもつ）ファントムを、EM追跡される内視鏡を使って撮像することによって得ることができる。これは、面倒な工学手順を伴う。このコンテキストにおいて所望される変換はカメラ座標と内視鏡追跡子の間であるが、較正手順のアレイは、較正ファントムの各ユニットにおいて必要とされる。たとえば、カメラ座標とEM追跡子座標との間の目標較正に到達するためには、ポインター追跡子の較正、試験グリッドと該グリッド上の参照追跡子との間の較正、カメラ座標と試験グリッドとの間の較正（カメラ較正）がみな必要とされる。
【０００８】
位置合わせ：EM案内される内視鏡法介入のためのもう一つの手順は、EM空間を手術前CT空間と整列させることである。歴史的に、三つの型の位置合わせ方法が実装されうる：（１）外部基準（fiducial）ベース、（２）内部基準ベースおよび（３）基準なし方法である。既存の位置合わせ方法の利点および欠点は次の表に見出せる（表１）。
【０００９】
【表１】
0005836267.tif 000002
【発明の概要】
【発明が解決しようとする課題】
【００１０】
上記の基準なしの位置合わせ方法では、内視鏡追跡子からのEM読みと、CT画像から抽出された中線経路との間の空間的距離を最小にすることによって、変換行列を見出すことができる。これは、位置合わせのタスクを実行するためには、操作者が、データを位置合わせのために有用にするようある線に沿って安定して（steadily）動く必要があることを意味する。また、操作者がスコープをサブ分枝のほうにひねったり壁を調べるためにカメラをわきにそらしたりしようとするとき、内視鏡の軌跡が「オフトラック」（もはや中心軸にない）になることが避けられない。これらのデータはもはや位置合わせのために使用可能ではなく、内視鏡がトラックに（すなわち中心線上に）戻るまで破棄される必要がある。このデータ制約（使用可能なフレームの選択性）は、リアルタイムの位置合わせを難しくする。
【課題を解決するための手段】
【００１１】
本願の原理によれば、（カメラ固有のパラメータはすでに得られているものとして）カメラ座標と内視鏡追跡子との間のオフセット変換行列だけを計算することによって、面倒なオフライン較正を迂回するための単純化された較正方法が提供される。ある実施形態では、通路（たとえば気道）の、フライスルー（fly-through）〔中を飛行するような〕腔内ビューが3D  CT画像または仮想画像（たとえば、仮想気管支鏡（VB:  virtual  bronchoscopic））画像からレンダリングされる。ソフトウェア・プログラムが、一連の候補となる現実の姿勢のうちから、手術前画像に最も似た現実の画像（たとえば、現実の気管支鏡（RB:  real  bronchoscopic）画像）を同定できる最適化方式をもって構成される。EM位置センサー（内視鏡の先端に位置される）の位置が決定され、それが現実の画像と関連付けられる。該位置は、手術前画像と相関付けられて、現実の画像を仮想または手術前画像にどのように関連付けるかを示す変換行列を決定する。
【００１２】
オンライン較正およびマーカーなしの位置合わせを達成できるシステムが提起される。これら二つの手順が同じ原理を使って独立に実行されることを注意しておく。たとえば、仮想カメラによって取り込まれた二次元画像および現実のカメラによって取り込まれたビデオ画像を用い、これらを位置合わせして所望の変換行列を得ることができる。オンライン較正手順がうまく実施されるためには、位置合わせ変換行列が前もって得られている必要がある；同様に、このコンテキストにおいて提起されるマーカーなしの位置合わせ手順のためには、較正行列がすでに使用準備ができていると想定する必要がある。本システムは、EMとスコープ・カメラの間、およびEM空間とCT空間の間の所望される変換行列を手術中に達成するよう設計される。このアプローチは、EM追跡される内視鏡用途のためにデータ統合手順を合理化する。
【００１３】
本願の諸実施形態は、内視鏡カメラからの二次元（2D）ビデオ画像と、CT画像から導出される仮想的なフライスルー腔内ビューとの間の画像ベースの位置合わせを、単純なオンライン較正方法およびマーカーなしの位置合わせ方法に関して用いうる。
【００１４】
操作者がいかなる表面基準マーカーにも内部解剖学的目印にもタッチすることなく、EM空間とCT空間を一致するよう整列させるためのマーカーなしの位置合わせ方法が提供される。本願の原理は操作者独立であり、位置合わせのために、スコープがいかなる外部マーカーにも解剖学的目印にもタッチすることを必要としない。さらに、スコープは気道の中線やトラックに沿って進められる必要がない。
【００１５】
EMからCTへの位置合わせ行列およびCTからカメラへの較正行列を得るために二次元の現実の画像から仮想画像への整列を利用するシステムおよび方法が提起される。これは、手術前画像における特徴を位置特定し、リアルタイム画像を、その特徴を撮影した手術前画像と比較して、手術前画像によく一致するリアルタイム画像を見出すことを含む。最もよく一致するリアルタイム画像が手術前画像に位置合わせされて、手術前画像の仮想カメラの姿勢とリアルタイム画像の現実のカメラの姿勢との間の変換行列を決定する。この変換行列は、（較正行列が知られている場合）EM空間とCT空間との間の位置合わせ行列になり、（位置合わせ行列が知られている場合）較正行列になる。提起されるシステムは、マーカーなしの位置合わせおよびオンライン較正を許容し、それにより画像案内される内視鏡応用のためのデータ統合手順を合理化する。
【００１６】
画像間の画像ベースの位置合わせのためのシステムおよび方法は、手術前画像における特徴を位置特定し、スコープで得られたリアルタイム画像を、その特徴を撮影した手術前画像と比較して、手術前画像によく一致するリアルタイム画像を見出すことを含む。最もよく一致するリアルタイム画像が手術前画像に位置合わせされて、手術前画像の位置とリアルタイム画像の位置との間の変換行列を、該変換行列が手術前画像空間においてリアルタイム画像座標を追跡することを許容するよう、決定する。
【００１７】
本開示のこれらおよびその他の目的、特徴および利点は、付属の図面との関連で読まれるべき、その例示的な実施形態の以下の詳細な説明から明白になるであろう。
【００１８】
本開示は、以下の図面を参照しつつ好ましい実施形態を以下に詳細に説明する。
【図面の簡単な説明】
【００１９】
【図１】ある実施形態に基づく、画像位置合わせのための例示的な方法を示す流れ図である。
【図２】ある実施形態に基づく、肺気道内部の手術前バーチャル画像の例示的な例である。
【図３】図２のバーチャル画像に関連付けられる特定の姿勢で画像を撮影する内視鏡を描く例示的な図である。
【図４】本願の原理に基づく、カメラ、追跡子および仮想画像空間についての座標系を示す例示的な図である。
【図５】本願の原理に基づく、手術前画像とビデオ・リアルタイム画像との間の一致を示す例示的な図である。
【図６】ある実施形態に基づく、ビデオと手術前画像との間の画像ベースの位置合わせのための方法を示す流れ図である。
【図７】本願の原理に基づく、ビデオと手術前画像の間の画像ベースの位置合わせのためのシステムを示すブロック図である。
【図８】本願の原理に基づく、ファントム参照を使っての、基準ベースの位置合わせを用いてオンライン較正を行うシステムを示す例示的な図である。
【図９】もう一つの実施形態に基づく、案内された内視鏡法のためのオンライン較正のための方法を示す流れ図である。
【発明を実施するための形態】
【００２０】
本開示は、スコープ較正および位置合わせのためのシステムおよび方法を記述する。電磁（EM）案内される内視鏡システムを較正するための単純な方法が、カメラ座標と内視鏡追跡子との間のオフセットのための変換行列を計算する。カメラ系と内視鏡追跡子系との間のオフセット距離は、現実のビデオ画像と仮想フライスルー画像との間の2D投影画像における視差に反映される。人間の眼やコンピュータを使って、この空間的な差を区別して、空間的な対応を再構築する。その空間的オフセットが較正結果となる。
【００２１】
内視鏡システムおよび方法は、マーカーなしの、画像ベースの位置合わせを使って、内視鏡上のカメラからの単一の2Dビデオ画像を、CT画像または他の仮想画像とマッチさせて、CT空間とEM（電磁追跡）空間との間の変換行列を見出す。（たとえば気管支鏡の形の）本願の諸実施形態は：（１）気管支鏡の先端に位置されるEM位置センサー、（２）CTスキャン（または他の技術、たとえばMRI、ソノグラムなど）からの再構成された仮想気管支鏡（VB）画像および（３）一連の候補となるRB姿勢のうちで、VBに最もよく似た、現実の気管支鏡（RB）画像を同定するための最適化方式をもつソフトウェアを含んでいてもよい。気道の中線に沿ってのみ気管支鏡を進めることは必要とされない。患者の表面上または患者内のマーカーは必要とされない。本システムおよび方法は、操作者独立であり、位置合わせを実行するためにスコープがいかなる外部マーカーにも解剖学的目印にもタッチすることを必要としない。
【００２２】
特に有用な実施形態では、スコープ（scope）は気管支鏡または肺、消化系または他の低侵襲手術ビューのためのいかなるスコープをも含みうる。他の実施形態では、内視鏡などが他の医療手順のためにも用いられる。これらの手順は、低侵襲内視鏡下垂体外科、内視鏡頭蓋底腫瘍外科、脳室内神経外科、関節鏡外科、腹腔鏡外科などを含んでもよい。他のスコープ応用も考えられる。
【００２３】
本発明は気管支鏡に関して記述されるが、本発明の教示はずっと広いものであり、分岐する、曲がった、コイル状になった、または他の形のシステム（たとえば、消化系、循環系、配管系、通路、坑道、空洞など）の内部ビューにおいて用いることができることは理解しておくべきである。本稿に記載される実施形態は、好ましくは、ディスプレイ・モニタ上で閲覧のために表示される。そのようなモニタは、いかなる好適な表示装置を含んでいてもよく、それには、これに限られないが、ハンドヘルド・ディスプレイ（たとえば携帯情報端末（personal  digital  assistant）、電話機などの）、コンピュータ・ディスプレイ、テレビ、指定されたモニタなどが含まれる。スコープに依存して、ディスプレイは、システムの一部として設けられてもよいし、あるいは別個のユニットまたは装置であってもよい。さらに、仮想画像は、CTスキャン技術を使って生成されてもよい。ただし、たとえばソノグラム、磁気共鳴画像、コンピュータ生成画像などといった他の撮像技術を用いることもできる。
【００２４】
光学スコープは、該スコープに接続されたまたは該スコープに付随する複数の異なる装置を含んでいてもよいことも理解しておくべきである。そのような装置は、光源、カット（cutting）装置、ブラシ、真空ライン、カメラなどを含みうる。これらのコンポーネントは、スコープの遠位端部分で頭部と一体的に形成されてもよい。光学スコープは、スコープの先端に配置されたカメラを含んでいてもよいし、あるいはカメラが該先端と反対側の光学ケーブルの末尾に配置されてもよい。諸実施形態は、ハードウェア要素、ソフトウェア要素またはハードウェアおよびソフトウェア両方の要素を含んでいてもよい。ある好ましい実施形態では、本発明は、ソフトウェアで実装される。ソフトウェアは、これに限られないが、ファームウェア、常駐ソフトウェア、マイクロコードなどを含む。
【００２５】
さらに、本願の原理は、コンピュータまたは任意の命令実行システムによってまたはそれらとの関連で使用するためのプログラム・コードを提供するコンピュータ使用可能なまたはコンピュータ読み取り可能な媒体からアクセスできるコンピュータ・プログラム・プロダクトの形を取ることができる。コンピュータ使用可能なまたはコンピュータ読み取り可能な媒体は、命令実行システム、装置またはデバイスによってまたはそれとの関連で使うためのプログラムを含む、記憶する、通信する、伝搬させるまたは搬送することをなしうる任意の機構であることができる。媒体は、電子的、磁気的、光学的、電磁的、赤外線または半導体システム（または装置またはデバイス）であることができる。コンピュータ読み取り可能な媒体の例は、半導体または固体メモリ、磁気テープ、取り外し可能コンピュータ・ディスケット、ランダム・アクセス・メモリ（RAM）、読み出し専用メモリ（ROM）、剛体の磁気ディスクおよび光ディスクを含む。光ディスクの現在の例は、コンパクトディスク読み出し専用メモリ（CD-ROM）、書き換え可能コンパクトディスク（CD-R/W）およびDVDを含む。
【００２６】
プログラム・コードを記憶および／または実行するのに好適なデータ処理システムは、システム・バスを通じてメモリ要素に直接または間接的に結合された少なくとも一つのプロセッサを含んでいてもよい。プロセッサまたは処理システムは、スコープ・システムと一緒に提供されてもよく、あるいはスコープ・システムとは独立に提供されてもよい。メモリ要素は、プログラム・コードの実際の実行の間に用いられるローカル・メモリ、大容量記憶装置および実行中に大容量記憶装置からコードが取得される回数を減らすために少なくとも若干のプログラム・コードの一時的な記憶を提供するキャッシュ・メモリを含むことができる。入出力またはI/O装置（これに限られないが、キーボード、ディスプレイ、ポインティング・デバイスなどを含む）は、直接に、または介在するI/Oコントローラを通じてシステムに結合されてもよい。
【００２７】
データ処理システムが、介在する専用または公共のネットワークを通じて他のデータ処理システムまたはリモート・プリンタまたは記憶装置に結合されることを可能にするために、ネットワーク・アダプターがシステムに結合されていてもよい。モデム、ケーブル・モデムおよびイーサネット（登録商標）カードは、現在利用可能な型のネットワーク・アダプターのほんの一部である。
【００２８】
本願の原理によれば、三つの局所座標系が、それらの間のイベントのマッピングを許容するために相互接続される必要がある。これらはカメラ座標系（投影の中心および光軸はこの座標系に位置する）、EMセンサー座標系およびCT座標系を含む。
【００２９】
pCT＝TCamCTpCam＝TEMCTTCamEMPCam      (1)
ここで、pctはCT空間における位置（姿勢）であり、pcamはカメラ空間における位置（姿勢）である。最終的には、内視鏡手順を案内するのに手術前CTロードマップを使うために、関係TCamCT（CT空間とカメラ空間の間の変換）を同定する必要がある。行列TEMCTは、内視鏡先端のEMセンサーとカメラ座標系の間の較正行列であり、行列TCamEMはEMとCT空間の間の位置合わせ行列である。TEMCTおよびTCamEMが、所望される行列TCamCTを得るために用いられる。
【００３０】
ここで図面を参照する。図面において、同様の参照符号は同じまたは類似の要素を表す。まず図１を参照するに、変換TCamCTを求める方法が示されている。これは、ブロック１２において一つの手術前画像（たとえばCT画像）を取得することによって実行される。手術前位置の姿勢はPvとして記録される。ブロック１４で、内視鏡上のカメラを使って一組の現実の画像が撮影される。現実の画像は、たとえば第一の分岐位置（たとえば肺における竜骨）のような何らかの目印位置に近い。操作者は、内視鏡を、手術前画像にマッチするよう十分近くに動かす。スコープの姿勢に関して満足したら、操作者は、（初期姿勢位置Piについて）姿勢Pi-NないしPi+Nから一連の画像を取得するのを開始できる。
【００３１】
ブロック１６において、手術前画像と最もよく似た現実の画像を与えるカメラの姿勢を探し出すことによって、変換行列が推定される。ブロック１８では、相互情報に基づく位置合わせ方法を用いて、最もよく似た画像を見出す。その姿勢をPRと表す。PvとPRの間の変換行列が所望される位置合わせ結果となり、現実の画像の空間から手術前画像空間へ追跡するために使うことができる。
【００３２】
図２および図３を参照するに、肺の竜骨位置における仮想画像２０が示されている。仮想位置（VB）におけるカメラ姿勢がPvとして記録される。操作者は、画像VBにマッチするのに十分近い画像を集めるため、カメラとともに内視鏡２２を動かす。VBカメラ姿勢は知られており、メモリに記憶される。操作者がスコープの姿勢に満足すると、操作者は、姿勢PiからPi+N（またはPi-Nから）の一連の画像を取得することを開始できる。相互情報に基づく位置合わせ方法を用いて、最もよく似た画像を見出す。その姿勢をPRと表す。カメラ姿勢PRはVBと選択されたRBとの間の最良マッチに対応する。PvとPRの間の変換行列が構築され、所望される位置合わせ結果となる。画像の類似性は、コンピュータ実装されるソフトウェア・ツールを使って決定されてもよいし、あるいは状況に依存して人間の操作者によって実行されてもよい。
【００３３】
図４を参照するに、EM追跡子座標系４０、カメラ座標系４２およびCT座標系４４の間の関係が例示的に描かれている。三つの局所座標系４０、４２、４４は、カメラ座標系４２（投影中心および光軸が位置する座標系）、EMセンサー座標系４０およびCT座標系４４の間の変換を許容するよう相互接続される必要がある。これは、式(1)に記されるように表現できる。内視鏡手順を案内するのに手術前CTロードマップを使うために、関係TCamCT（CT空間とカメラ空間の間の変換）を同定する必要がある。ある実施形態では、EMをCT空間と整列させてTEMCTを得るために位置合わせが用いられる。TCamEMは内視鏡の先端上のEMセンサーとカメラ座標系との間の較正行列である。これは較正手順を通じて決定できる。本願の原理のある側面によれば、普通なら基準ベースの方法を介してでしか取得できないTEMCTを得る方法が提供される（式(2)参照）。
【００３４】
TEMCT＝TCamCTTEMCam      (2)
変換TCamCTは所与の取り込まれたVBの姿勢を見出し、その仮想画像に最もよく似た現実の画像を与えるカメラの姿勢を探し出すことによって推定される。
【００３５】
人間の操作者は、VB画像とRB画像の間の類似性を調べ、比較することによって、スコープをVB姿勢に十分近くするだけでよい。すると、初期化点Piを中心とする近傍（たとえば図３における姿勢Pi-NないしPi+N）においていくつかのRBフレームが集められる。RBとVBの間の位置合わせは、CCDカメラ４５によって撮影されるビデオ（RB画像）などと（CT空間４７における）仮想画像との間の正規化された相互情報（NMI:  normalized  mutual  information）を最大化することによってなされる。この極大を同定するために、逐次反復的な最適化技法が使用できる（図５参照）。
【００３６】
図５を参照するに、いくつかの現実の（RB）画像５６が集められ、仮想または事前収集された（VB）画像５８と比較される。これが最大類似性が見出されるまで続けられる。次いで、それらの画像は、画像（５４）を互いに対して動かすことによって位置合わせされる。この動きは、行列に記憶され、それぞれの座標系を関係付ける一回での変換を提供する。本願の諸実施形態は、たとえば手術前CT空間とEM追跡空間（現実のビデオ画像）との間の位置合わせを使ういかなるEM追跡される内視鏡システムにも適用できる。
【００３７】
図６を参照するに、画像間の画像ベースの位置合わせのための方法が、ある例示的な実施形態に基づき、例示的に示されている。ブロック３０２では、被験体のコンピュータ断層撮影（CT）（または他の手術前の）画像が収集または提供される。有利には、CT画像においてマーカーは必要とされない。ブロック３０４では、特定の手術前画像に対応するビデオ画像（たとえば、内視鏡のカメラで撮影されたリアルタイム画像）において、解剖学的参照または特徴が位置特定される。これは、電磁追跡により内視鏡を追跡することを含んでいてもよい。
【００３８】
ブロック３０６では、前記仮想または手術前画像の姿勢を再現しようとして、前記特徴のまわりで一連のビデオ画像が収集される。次いで、ブロック３０７において、ビデオ画像がCT画像と比較されて、ビデオ画像とCT画像の間の最も近いマッチが見出される。これは、CT画像に最もよくマッチした現実の画像を決定するために画像間の最大類似性を見出すマッチング手順を最適化することを含んでいてもよい。ブロック３０８では、CT画像とマッチした現実の画像に関連付けられた姿勢位置を使って、ビデオ画像がCTマッチ画像に位置合わせされ、追跡子の姿勢を手術前画像の姿勢と整列させるために必要とされる回転および並進に基づいて変換行列が生成される。CT空間と画像追跡空間との間の変換行列は決定され、画像位置合わせにのみ基づく。本方法は操作者独立であり、位置合わせのために追跡子が接触する必要のあるいかなる外部マーカーも解剖学的目印もない。変換行列は、内視鏡手順の間に、CT画像の座標を、電磁追跡座標と位置合わせするために用いられる。内視鏡の進行は、観察される通路の中線に沿ったものでなくてもよい。
【００３９】
図７を参照するに、画像間の画像ベースの位置合わせのためのシステム４００が例示的に示されている。システム４００はコンピュータ断層撮影（CT）スキャナ４０２（または他の手術前イメージャまたはスキャナ）を含んでいるが、CT画像はメモリ４０４に記憶され、記憶媒体またはネットワーク接続を使ってシステム４００に転送されてもよいので、スキャナ４０２は必須ではない。メモリ４０４および／またはスキャナは、手術を受ける患者のような被験体のCT画像を記憶／収集するために用いられる。内視鏡４０６は、手順中のリアルタイム画像を収集するためのカメラ４０８を含む。内視鏡４０６は追跡子システム４１０、たとえば内視鏡の先端を位置特定するための電磁（EM）追跡子を含む。追跡子システム４１０は、その座標系が、CT座標系にマッピングされるか、変換される必要がある。追跡子システム４１０は、内視鏡４０６の進行を追跡するためにNDIフィールド生成器４１１を用いる。
【００４０】
コンピュータ実装されるプログラム４１２がコンピュータ装置４１４のメモリ４０４に記憶されている。プログラム４１２は、カメラ４０８によって撮影されたリアルタイム・ビデオ画像４５２を、CT画像４５０と比較して、リアルタイム画像とCT画像の間の最も近いマッチを見出すよう構成されている。プログラム４１２は、最も近いマッチのCT画像を決定するために最大類似性を見出すよう構成された最適化モジュール４２２を含んでいる。プログラム４１２は、最も近いマッチしたリアルタイム画像をCT空間の手術前画像と位置合わせして、CT空間と画像追跡空間との間の変換行列４２０を見出すよう構成される。この際、変換行列４２０は単に画像位置合わせにのみ基づき、操作者独立であり、位置合わせを実行するためにいかなる外部マーカーも解剖学的目印もない。変換行列４２０は、内視鏡手順の間に、CT画像の座標を、電磁追跡座標に位置合わせするために用いられる。ディスプレイ４５６は、リアルタイムおよび／または仮想／手術前画像を手順中に見るために用いられてもよい。ディスプレイ４５６は、手術前画像空間において内視鏡の進行を示すよう構成される。このマーカーなしの位置合わせプロセスは、カメラ座標系と追跡（EM）座標系との間の関係を決定するためにあらかじめ較正プロセスが用いられることを想定している。
【００４１】
もう一つの実施形態によれば、較正を与えるために位置合わせを使うアプローチが提供される。この実施形態での位置合わせは、基準マーカー位置合わせを含む任意の型の位置合わせを含む。較正は、較正行列を含み、また、カメラまたは他のパラメータ較正をも含んでいてもよい（たとえば、焦点距離など）。カメラ系と内視鏡追跡子系との間のオフセット距離は、現実のビデオ画像と（CTスキャンからの）仮想フライスルー画像との間の2D投影画像における視差に反映される。人間の眼およびコンピュータには、これらの空間的な差を区別し、空間的対応を再構築する能力がある。
【００４２】
本願の原理は、（１）EM追跡システム、（２）EM追跡可能な基準物を表面上にもつファントム、（３）内視鏡を保持し、安定化させる機械アーム（任意的）、（４）内視鏡追跡子の前と後の姿勢を収集するソフトウェアをもつコンピュータ、（５）現実の内視鏡（例えば気管支鏡）画像（RB）を仮想内視鏡（気管支鏡）画像（VB）とマッチさせるための、人間の操作者の立体感覚からの入力、および（６）VB画像とRB画像の間の最大類似性を見出すための最適化法を実行するソフトウェアを利用することを含む。
【００４３】
基準ベースの位置合わせのために設計された同じファントムが、較正および位置合わせのタスク両方に使用されるので、データ統合手順は合理化される。カメラ較正（カメラの内部および外部パラメータの推定）とは独立な較正手順が達成される。
【００４４】
EM-CT位置合わせ行列がすでに取得されているとして、画像ベースの方法を使って、オンライン較正方法が提起される。この場合、まず、CT空間とEM追跡される内視鏡検査法との間で画像を位置合わせするために、基準ベースの位置合わせ方法がまず用いられる。この位置合わせは、CT座標と追跡子座標を一致させる。
【００４５】
再び図５を参照するに、現実の気管支鏡画像（RB）５６を仮想気管支鏡画像（VB）５８とマッチさせるEM追跡された内視鏡の微調整が実施される。この結果、前および後の内視鏡追跡姿勢を計算することによって、所望される較正行列が得られる。この場合は、それらの間の空間的オフセットが（先述した位置合わせ結果ではなく）較正結果となる。
【００４６】
図５では、RB５６は現実の気管支鏡ビデオ画像であり、VB５８はCTデータから再構成された仮想気管支鏡画像である。RB５６およびVB５８が以前に基準ベースのアプローチ（または他の方法）を介して位置合わせされ終わっていてもよいことを注意しておく。RB５６およびVB５８は小さな空間的変位を呈する。操作者は、RB５６がVB５８に、より近くマッチするまでスコープを調整（５４）する。最大の類似性が見出されるまで、最適化方式を使って、いくつかのRBフレームがVB５８と比較される。これは、較正されたRB５４を与える。この例から、内視鏡はおそらく、反時計回りに回転し、後方に後退する必要がある。内視鏡の追跡データは、調整の前および後に記録される。
【００４７】
EMセンサー座標系とカメラ座標系との間の関係は較正を与え、一方、位置合わせはCT座標系をEMセンサー座標系およびカメラ座標系に結合させる。これら三つの局所的座標系は、それらの間で位置を追跡するために相互位置合わせを使う。手術前のCTロードマップを手術中の内視鏡ビデオと関連付けるには、関係TCamCT（式(2)）を同定する必要がある。基準ベースの位置合わせは、EM空間をCT空間と整列させ、変換行列TEMCTに到達するために用いられうるプロセスである。
【００４８】
通例は基準ベースの位置合わせ後に、CT系およびEM系はほぼ整列されている。しかしながら、これらのフレームは、未知のTCamEMのため、小さな空間的変位を呈することがありうる。（たとえば、内視鏡先端のEMセンサーがカメラ座標系を用いて較正されていない。）
図８を参照するに、本願の原理によれば、オンライン較正システム１００は、内視鏡追跡子１０４の前および後の姿勢を収集するソフトウェア１１２を有するコンピュータ１１０を含む。画像間の食い違いを判別するために、人間の操作者の立体感覚またはコンピュータ・プログラムが提供される。ソフトウェア・プログラム１１２は、仮想画像と現実の画像の間の最大類似性を見出すための最適化法を実行する。これは、既知の画像解析ソフトウェアを使ってフレームごとの比較によって実行されてもよい。
【００４９】
コンピュータ断層撮影（CT）スキャナ（図示せず）が、基準マーカー１２２を有する被験体の手術前CT画像（または仮想マップまたは画像を生成、収集および記憶するための他の技術）を収集するよう構成されてもよい。手術前画像は、メモリ１１１に記憶されてもよく、記憶媒体またはネットワーク接続を使ってシステム１００に転送されてもよい。メモリ１１１および／またはスキャナは、手術を受ける患者のような被験体のCT画像を記憶／収集するために用いられる。内視鏡１０８は、手順中にリアルタイム画像を収集するためのカメラ１３０を含む。内視鏡１０８は、内視鏡１０８の先端を位置特定するための電磁追跡子１０４を含む。
【００５０】
ファントム参照１２０は、手術前のスキャン画像をEM追跡された位置に位置合わせするのを支援するために用いられる。追跡子デバイス１０４を使ってマーカー１２２のそれぞれにタッチすることによって、CT画像は、追跡子１０４によって得られるEM追跡された位置に位置合わせされる。較正されたポインター追跡子（EM追跡子１０４）が、各表面基準１２２にタッチするために使われ、それにより点ベースの位置合わせによってCT空間をEM位置と整列させ、それにより内視鏡上の追跡子が気道中で送り出されるとき、手術前またはCT（VB）画像が、現実の（RB）画像と一緒に更新される。較正および位置合わせにおいて支援する二重の役割を実行するため、肺ファントム１２０が用いられる。
【００５１】
較正のためには、内視鏡１０８が気管支１２３に挿入され、若干数の表面基準１２２をもつ肺ファントム１２０を使って、較正を実行するための位置が決定される。その位置において、現実の画像（RB）および最も近い対応するCT画像（VB）が与えられる（姿勢１におけるVB画像が決定されるまたは取り込まれる）。VB画像とRB画像の間のわずかな変位のため、操作者は、RBがVBにより緊密にマッチするまで、スコープを調整する。これは、較正されたRB（姿勢２）を与える。姿勢１は、基準ベースの位置合わせ後のRB姿勢をいい、姿勢２はVB画像を用いて較正されたRB姿勢をいう。姿勢２からのRBビデオ画像は、VB画像に最も近くマッチする。姿勢２から姿勢１への回転および並進行列が目標とする較正結果となる。図５の例から、内視鏡１０８は、わずかな後方への退却とともに、反時計回りの回転を必要とすることがありうる。内視鏡１０８の追跡データは、調整の前および後に記録される。
【００５２】
コンピュータ装置１１０およびそのメモリ１１１は、追跡子１０４に関連付けられたカメラ１３０によって得られる画像が位置合わせされるCT画像とマッチするまで内視鏡１０８を調整することによって追跡子１０４をカメラ画像に較正するための回転および並進情報を、行列１１３に格納する。回転および並進行列１１３は、カメラ１３０の座標を追跡子１０４に較正するために用いられる。手順中にリアルタイムおよび／または仮想画像を見るためにディスプレイ１１５が用いられてもよい。
【００５３】
図９を参照するに、内視鏡検査法のためのオンライン較正方法が、ある例示的な実施形態に基づいて例示的に示されている。ブロック３５０では、マーカーをもつ被験体のコンピュータ断層撮影（CT）画像（または異なる技術から生成される仮想画像）が収集または提供される。ブロック３５２では、追跡子デバイスが各マーカーと接触させられ（たとえば各マーカーにタッチし）、CT画像と追跡子によって得られる画像を位置合わせして、たとえば基準ベースの位置合わせを得る。
【００５４】
ブロック３５４では、現実の画像が第一の位置において内視鏡を用いて取り込まれる。ブロック３５６では、カメラによって得られる画像が同じ領域の第二の位置におけるCT画像とマッチするまで、内視鏡が調整される。スコープの調整は、操作者による調整を含んでいてもよい。
【００５５】
ブロック３５８では、調整段階（ブロック３５６）の間になされる動きに基づいて追跡子を較正するための回転および並進行列が決定される。回転および並進行列は、カメラの座標を追跡子に対して較正し、CT画像がリアルタイム画像と一緒に更新されるようにするために用いられる。
【００５６】
付属の請求項を解釈するに当たって、以下のことを理解しておくべきである：
ａ）「有する」の語は所与の請求項に挙げられている以外の要素または動作の存在を排除しない。
ｂ）要素の単数形の表現はそのような要素の複数の存在を排除しない。
ｃ）請求項に参照符号があったとしてもそれは特許請求の範囲を限定するものではない。
ｄ）いくつかの「手段」は同一の項目、すなわちハードウェアまたはソフトウェアで実装される構造または機能によって表現されていてもよい。
ｅ）特に示さない限り、動作のいかなる特定の序列も必要であるとは意図されていない。
【００５７】
諸システムおよび諸方法について好ましい実施形態を記載してきたが（これらは限定ではなく例示的であることが意図されている）、上記の教示に照らして当業者によって修正および変形ができることを注意しておく。したがって、開示される開示の特定の実施形態に変更がなされてもよく、それが付属の請求項によって記載される開示される実施形態の範囲内であることは理解しておくものとする。特許法によって要求される詳細および具体化を記述してきたが、特許請求され、特許状によって保護されることが望まれるものは、付属の請求項において記載される。
いくつかの態様を記載しておく。
〔態様１〕
画像間の画像ベースの位置合わせ方法であって：
術前画像において特徴を位置特定する段階と；
追跡されるスコープで撮影されたリアルタイム画像を、前記特徴を撮影した前記術前画像と比較して、前記術前画像によく一致するリアルタイム画像を見出す段階と；
最もよく一致するリアルタイム画像を前記術前画像に位置合わせして、前記術前画像の位置と追跡子によって与えられる前記リアルタイム画像の位置との間の変換行列を、該変換行列が、前記追跡子を使って術前画像空間においてリアルタイム画像座標を追跡することを許容するよう、決定する段階とを含む、
方法。
〔態様２〕
態様１記載の方法であって、前記リアルタイム画像は電磁追跡のある内視鏡カメラを使って収集される、方法。
〔態様３〕
態様２記載の方法であって、前記内視鏡カメラを、観察される通路の中線に沿う以外の仕方で進めることを更に含む、方法。
〔態様４〕
態様１記載の方法であって、前記比較が、前記現実の画像と前記術前画像との間の最大類似性を最適化することを含む、方法。
〔態様５〕
態様１記載の方法であって、前記変換行列が、内視鏡手順の間に、前記述前画像空間を電磁追跡空間と整列させるために決定される、方法。
〔態様６〕
内視鏡カメラを追跡デバイスに対して初期較正することをさらに含む、態様１記載の方法。
〔態様７〕
態様１記載の方法であって、前記術前画像についての仮想カメラ姿勢を決定し、前記術前姿勢を前記最もよく一致した現実の画像の現実のカメラ姿勢と相関させて前記変換行列を決定することをさらに含む、方法。
〔態様８〕
画像間の画像ベースの位置合わせシステムであって：
手順の間にリアルタイム画像を収集するカメラを含む内視鏡であって、該内視鏡の先端を位置特定するための追跡子を含む、内視鏡と；
メモリ媒体に記憶されたコンピュータ実装されたプログラムであって、前記カメラによって撮影された一組のリアルタイム画像を、同じ被験体についての術前画像と比較して、前記リアルタイム画像と前記術前画像との間の最も近い一致を見出すよう構成されており、さらに、接触マーカーを使うことなく、術前画像空間を使って内視鏡追跡を可能にする変換行列を決定するよう構成されているプログラムとを有する、
システム。
〔態様９〕
態様８記載のシステムであって、観察される通路の中線に沿う以外の内視鏡の進行が追跡される、システム。
〔態様１０〕
態様８記載のシステムであって、前記プログラムがさらに、画像間の最も近い一致を決定するよう最大類似性を見出すよう構成されている、システム。
〔態様１１〕
態様８記載のシステムであって、前記変換行列が、内視鏡手順の間に、述前画像の座標を電磁追跡座標と位置合わせするために用いられる、システム。
〔態様１２〕
術前画像空間において内視鏡の進行を示すよう構成されたディスプレイをさらに有する、態様８記載のシステム。
〔態様１３〕
案内された内視鏡法のためのカメラ位置較正方法であって：
マーカーを有する被験体の術前画像を収集する段階と；
追跡子を使って前記マーカーのそれぞれにタッチして、前記術前画像と前記追跡子に関連付けられる諸カメラ画像を位置合わせする段階と；
前記追跡子によって決定される第一の位置における内視鏡位置に関連付けられる術前画像を決定する段階と；
前記カメラによって得られる画像が、前記追跡子によって決定される第二の位置において前記術前画像一致するまで前記内視鏡を調整する段階と；
前記追跡子を前記カメラに対して較正するよう、前記第一の位置と第二の位置の間の回転および並進行列を決定する段階とを含む、
方法。
〔態様１４〕
前記マーカーが基準マーカーを含み、前記追跡子を使って前記マーカーのそれぞれにタッチすることが基準ベースの位置合わせを含む、態様１３記載の方法。
〔態様１５〕
前記スコープを調整する段階が、操作者の調整によって実行される、態様１３記載の方法。
〔態様１６〕
回転および並進行列を決定する段階が、前記カメラの座標を前記追跡子画像に対して較正するために用いられ、前記較正および術前画像との位置合わせが、前記術前画像を、前記カメラによって撮影されるリアルタイム画像と一緒に更新することを許容する、態様１３記載の方法。
〔態様１７〕
前記カメラ較正が手順の間にオンラインで実行される、態様１３記載の方法。
〔態様１８〕
案内された内視鏡法のためのカメラ位置較正システムであって：
手順の間にリアルタイム画像を収集するカメラを含む内視鏡であって、該内視鏡の先端を位置特定するための追跡子を含む、内視鏡と；
マーカーを使って収集された術前画像であって、前記追跡子を使って前記マーカーのそれぞれをタッチすることによって前記追跡子の座標と位置合わせされた座標をもつ術前画像と；
メモリに記憶された、第一の位置から第二の位置へ前記内視鏡を調整する動きによって導出された回転および並進行列であって、前記第一の位置は第一のカメラ姿勢を含み、前記第二の位置は参照術前画像によりよくマッチする第二のカメラ姿勢を含み、前記行列は前記追跡子と前記カメラの間の較正を与える、変換行列とを有する、
システム。
〔態様１９〕
態様１８記載のシステムであって、前記マーカーが基準マーカーを含み、追跡子を使って前記マーカーのそれぞれにタッチすることが基準ベースの位置合わせを含む、態様１８記載のシステム。
〔態様２０〕
前記内視鏡が、操作者の調整によって調整される、態様１８記載のシステム。
〔態様２１〕
前記行列を使ってカメラ座標系が前記追跡子の座標系に変換される、態様１８記載のシステム。
【図１】
0005836267.tif 000003
【図２】
0005836267.tif 000004
【図３】
0005836267.tif 000005
【図４】
0005836267.tif 000006
【図５】
0005836267.tif 000007
【図６】
0005836267.tif 000008
【図７】
0005836267.tif 000009
【図８】
0005836267.tif 000010
【図９】
0005836267.tif 000011