(57)【特許請求の範囲】
【請求項１】
特定の場所が内視鏡によって既に探査されている第１または「基準探査」の後の少なくとも１つの「新しい探査」中に、前記特定の場所に可撓性内視鏡の手動または自動の再位置決めを可能にする医療システムにして、
ｉ）撮像装置（３）が少なくとも装備される可撓性内視鏡（２）、および場合によっては少なくとも１つのツールまたは器具と、
ｉｉ）表示手段（３’）、および前記内視鏡（２）と関連した移動制御手段（３″）と、
ｉｉｉ）電磁追跡デバイスまたは光ファイバー追跡デバイスなどの、内視鏡（２）の先端（２’）の位置および向きを提供する追跡デバイスまたはシステム（４）と、
ｉｉｉｉ）コンピュータ手段（５）および関連した格納手段と
を備え、
内視鏡（２）の前端または先端（２’）には、電磁センサ（４’）または同様な追跡デバイスが設けられ、電磁センサ（４’）または同様な追跡デバイスが、可撓性内視鏡（２）の先端（２’）にはり付けられまたは取り付けられ、対応する追跡システム（４）が、３Ｄ位置の追跡、およびまた前記先端の向きの追跡を可能にする、医療システム（１）であって、
前記格納手段が、対応する内視鏡先端（２’）の姿勢と共に、その「基準探査」中に可撓性内視鏡を通して取得されるビデオを格納するのに適応しており、前記医療システム（１）が、「新しい探査」可撓性内視鏡ビデオ、および格納された「基準探査」ビデオを１つまたは複数のスクリーン上で、並行して、または、２つの異なるウィンドウ内で表示することができる手段（５、３）をさらに備え、「基準探査」と「新しい探査」との間の内視鏡先端（２’）のライブの向き誤差を計算するように、かつ、コンピュータ手段（５）によって行われ、前述の向き誤差を補償するように画像を回転させ、被験者の身体内で内視鏡（２）の現在の場所に空間的に合致させる「基準探査」の対応する画像を選択する、適応同期アルゴリズムを使用して、人間のユーザによって手動でまたはロボットシステムによって自動的に、ライブの「新しい探査」と格納された「基準探査」との間の同期処理を実現することによって「基準探査」中に既に探査された特定の場所において可撓性内視鏡（２）の再位置決めを行なうように、捕捉されたビデオ画像フレームの各々が、同期して記録される内視鏡先端の姿勢と関連することを特徴とする、医療システム。
【請求項２】
使用される追跡システム（４）または他の追跡システムによってその位置が記録され得る少なくとも２つのマーカー（６）をまた備え、これが、被験者の所与の解剖学的場所に配置されることができ、前記場所が、探査される管状器官に依存し、好ましくは被験者が姿勢を変え得るときに顕著な変形または変位を受けず、前記マーカー（６）が、以前のおよびその後の探査において基準点を与えることを特徴とする、請求項１に記載の医療システム。
【請求項３】
第１または基準探査とその後のまたは新しい探査の両方の間に視認可能な類似の特徴の抽出およびマッチングを行なう、リアルタイム内視鏡ビデオ解析を実現する手段を備えることを特徴とする、請求項１または２に記載の医療システム。
【請求項４】
探査される被験者の身体において特定の対象点を示す第１または基準探査可撓性内視鏡ビデオの１つまたは複数の画像の対話式の仮想タグ付けを行なうために、マウス、パッド、トラックボール、ジョイスティック、または光トラッキングによってなど、ビデオの画素または画素のグループを正確に選択することを可能にするヒューマンインターフェース装置を備え、この仮想タグ付けが、ビデオの任意の選択された画像にタグを付加することを可能にする特定の「基準探査」ビデオ読み出しによって実現されることを特徴とする、請求項１から３のいずれか一項に記載の医療システム。
【請求項５】
探査される被験者の身体における解剖学的、病理学的、または外科的な特定の特徴などの、視認可能な対象点を抽出し、前記特定の対象点を示す「基準探査」可撓性内視鏡ビデオの１つまたは複数の画像に自動仮想タグ付けを実現することができる、ビデオ解析アルゴリズム手段を備えることを特徴とする、請求項１から３のいずれか一項に記載の医療システム。
【請求項６】
基準探査ビデオの画像にタグ付けされる探査される被験者の身体の同じ特定の対象点を、その後の「新しい探査ビデオ」で位置特定させ、これらの仮想タグの重ね合わせによって、同期化されたその後の「新しい探査」ビデオの同じ場所にこれを付加するために、その後の「新しい探査ビデオ」の解析を実現することができる手段をまた備えることを特徴とする、請求項４または請求項５に記載の医療システム。
【請求項７】
その後の探査中に時刻ｔにおけるビデオ画像で管腔位置を解析する画像処理を行い、同様な管腔位置によって「新しい探査」中にその後のライブ位置に近い位置と関連する「基準探査」から画像を選択する手段を備えることを特徴とする、請求項１から６のいずれか一項に記載の医療システム。
【請求項８】
解剖学的および／または病理学的な構造の３Ｄ身体モデルの仮想レンダリングを使った拡張現実技術を用いて、２つの同期化された可撓性内視鏡ビデオを融合することができる手段を備え、この３Ｄモデルが、被験者の身体の「新しい探査」前に実現される術前医用画像から抽出されることを特徴とする、請求項１から７のいずれか一項に記載の医療システム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、被験者の身体に行われる（一部または全摘出後の）連続する管腔内もしくは管腔外の探査、または同様の処置中に、既に探査されている特定の場所に可撓性内視鏡（また同様の医療デバイス）を迅速かつ正確に再位置決めするための方法およびシステムに関する。
【背景技術】
【０００２】
術間での生検部位を位置特定し追跡することは、標的化治療を行うための重要な課題を提起する。本発明は、予め標的化された部位に可撓性内視鏡を正確に再位置決めするために、案内ナビゲーションを医療施術者または外科医に提供する。
【０００３】
本発明は、より詳細には、被験者の幾分柔軟な管状器官、またはこのような被験者の身体内の少なくとも管状の長い通路に位置する標的部位に関する。
【０００４】
第一に、しかし限定的ではないが、予想される器官は、食道および結腸である。
【０００５】
第１の好ましい言及された実施についての本発明の分野に関して、食道腺癌（ＯＡＣ）が米国および西欧諸国で急速に頻度増加していることが知られている。胃食道逆流性疾患、慢性的な状態として食道に入る胃酸に起因する良性合併症は、バレット食道（ＢＥ）を引き起こす。これは、下部食道の細胞の変質形成を指し、ほとんどの場合、ＯＡＣの前駆物質である。ＢＥの腺癌への進展は、低度から高度の異形成に進行することが認められている。
【０００６】
医療ガイドラインは、年につき最低２回の生検を用いた異形成の程度に応じて異なるレベルの監視間隔を規定している。通常の監視処置は、食道の遠位端の方へ、かつ被疑領域において２ｃｍごとに４象限生検を採用することを必要とする。生検組織は、評価のために病理に送られる。プローブ式共焦点レーザ内視鏡装置などの装置の導入の場合は、リアルタイム可視化および被疑領域の診断が、手術中に行われ得る。また、高解像度狭帯域画像化が、粘膜および上皮下組織の目視探査によって診断および監視のために使用されている。
【０００７】
これらの場合の各々において、追跡診査中に、胃腸の（ＧＩ）専門家は、予め生検が実施され精査された箇所を特定することが要求される。この問題は文字通り、位置の再特定問題と称されている。通常、ＧＩ専門家は、内視鏡に印刷マーキング（一般に、柔軟な身体に沿って５ｃｍまたは１０ｃｍごとに１つのマーク）を使用し、これは、非常に信頼できない場合があり、かつこれは、内視鏡および光学生検プローブを正確に再位置決めする、したがって疾患を効果的に追跡する彼または彼女の能力を制限する。術間でのこの種の位置の再特定を可能にするための決定論的手段を欠くために、ＧＩ専門家は、罹患食道領域全体を精査しまたは生検を施さなければならず、それにより、標的化治療が妨げられる。
【０００８】
発明者らの知見によれば、手術中に可撓性内視鏡の位置の再特定のこの問題に取り組む以前の努力または提案はない。しかし、手術中に生検箇所を追跡するいくつかのアプローチが存在し、すなわち、Ｂａｐｔｉｓｔｅ  Ａｌｌａｉｎら、Ｂｉｏｐｓｙ  ｓｉｔｅ  ｒｅ−ｌｏｃａｌｉｚａｔｉｏｎ  ｂａｓｅｄ  ｏｎ  ｔｈｅ  ｃｏｍｐｕｔａｔｉｏｎ  ｏｆ  ｅｐｉｐｏｌｅｒ  ｌｉｎｅｓ  ｆｒｏｍ  ｔｗｏ  ｐｒｅｖｉｏｕｓ  ｅｎｄｏｓｃｏｐｅ  ｉｍａｇｅｓ、Ｉｎｔｅｒｎａｔｉｏｎａｌ  Ｃｏｎｆｅｒｅｎｃｅ  ｏｎ  Ｍｅｄｉｃａｌ  Ｉｍａｇｅ  Ｃｏｍｐｕｔｉｎｇ  ａｎｄ  Ｃｏｍｐｕｔｅｒ−Ａｓｓｉｓｔｅｄ  Ｉｎｔｅｒｖｅｎｔｉｏｎ（ＭＩＣＣＡＩ）において、１２巻、４９１〜４９８頁、Ｓｐｒｉｎｇｅｒ、Ｈｅｉｄｅｌｂｅｒｇ、２００９年１月；Ｐｅｔｅｒ  Ｍｏｕｎｔｎｅｙら、Ｏｐｔｉｃａｌ  ｂｉｏｐｓｙ  ｍａｐｐｉｎｇ  ｆｏｒ  ｍｉｎｉｍａｌｌｙ  ｉｎｖａｓｉｖｅ  ｃａｎｃｅｒ  ｓｃｒｅｅｎｉｎｇ、Ｉｎｔｅｒｎａｔｉｏｎａｌ  Ｃｏｎｆｅｒｅｎｃｅ  ｏｎ  Ｍｅｄｉｃａｌ  Ｉｍａｇｅ  Ｃｏｍｐｕｔｉｎｇ  ａｎｄ  Ｃｏｍｐｕｔｅｒ  Ａｓｓｉｓｔｅｄ  Ｉｎｔｅｒｖｅｎｔｉｏｎ（ＭＩＣＣＡＩ）において、１２巻、４８３〜４９０頁、Ｓｐｒｉｎｇｅｒ、Ｈｅｉｄｅｌｂｅｒｇ、２００９年１月；Ｂａｐｔｉｓｔｅ  Ａｌｌａｉｎら、Ａ  ｓｙｓｔｅｍ  ｆｏｒ  ｂｉｏｐｓｙ  ｓｉｔｅ  ｒｅ−ｔａｒｇｅｔｉｎｇ  ｗｉｔｈ  ｕｎｃｅｒｔａｉｎｔｙ  ｉｎ  ｇａｓｔｒｏｅｎｔｅｒｏｌｏｇｙ  ａｎｄ  ｏｒｏｐｈａｒｙｎｇｅａｌ  ｅｘａｍｉｎａｔｉｏｎｓ、Ｉｎｔｅｒｎａｔｉｏｎａｌ  Ｃｏｎｆｅｒｅｎｃｅ  ｏｎ  Ｍｅｄｉｃａｌ  Ｉｍａｇｅ  Ｃｏｍｐｕｔｉｎｇ  ａｎｄ  Ｃｏｍｐｕｔｅｒ−Ａｓｓｉｓｔｅｄ  Ｉｎｔｅｒｖｅｎｔｉｏｎ（ＭＩＣＣＡＩ）において、１３巻、５１４〜５２１頁、２０１０年１月、である。
【０００９】
これらの各々は、これらが内視鏡フレームの視野の中におよびその中から移動する際に、生検部位をマッピングし追跡するように、解剖学の３Ｄ構造の復元を利用する。これらの知られている解決策は、エピポーラ幾何を用いるか、または同時位置特定およびマッピング（ＳＬＡＭ）に基づく方法を提案している。Ｓｅｌｅｎ  Ａｔａｓｏｙら（「Ｐｒｏｂａｂｉｌｉｓｔｉｃ  ｒｅｇｉｏｎ  ｍａｔｃｈｉｎｇ  ｉｎ  ｎａｒｒｏｗ−ｂａｎｄ  ｅｎｄｏｓｃｏｐｙ  ｆｏｒ  ｔａｒｇｅｔｅｄ  ｏｐｔｉｃａｌ  ｂｉｏｐｓｙ」、Ｉｎｔｅｒｎａｔｉｏｎａｌ  Ｃｏｎｆｅｒｅｎｃｅ  ｏｎ  Ｍｅｄｉｃａｌ  Ｉｍａｇｅ  Ｃｏｍｐｕｔｉｎｇ  ａｎｄ  Ｃｏｍｐｕｔｅｒ−Ａｓｓｉｓｔｅｄ  Ｉｎｔｅｒｖｅｎｔｉｏｎ（ＭＩＣＣＡＩ）において、１２巻、４９９〜５０６頁、Ｓｐｒｉｎｇｅｒ、Ｈｅｉｄｅｌｂｅｒｇ、２００９年１月）は、アフィン変換の不変異方性特徴検出器から得られる特徴一致を用いることによって狭帯域画像における確率的な領域のマッチング法を提案している。
【００１０】
最近になって、Ｓｅｌｅｎ  Ａｔａｓｏｙら（「Ｅｎｄｏｓｃｏｐｉｃ  ｖｉｄｅｏ  ｍａｎｉｆｏｌｄｓ  ｆｏｒ  ｔａｒｇｅｔｅｄ  ｏｐｔｉｃａｌ  ｂｉｏｐｓｙ」、ＩＥＥＥ  ｔｒａｎｓａｃｔｉｏｎｓ  ｏｎ  ｍｅｄｉｃａｌ  ｉｍａｇｉｎｇ、３１（３）：６３７〜６５３頁、２０１２年３月）は、画像マニフォールド学習処理として位置の再特定を定式化することを提案している。低次元空間に内視鏡画像を投影することによって、彼らは、管理可能なセグメントの中に多重干渉中に収集される画像を分類しクラスタ化することを提案しており、彼らが主張することは、生検部位の位置の再特定を助けるであろう。しかし、彼らは、術間で抽出されたセグメントのいかなる空間的関係も提供しておらず、したがって、位置の再特定の臨床状況において十分に彼らの結果の使用を明確にしているわけではない。
【００１１】
本発明者らは、特に、非常に変形しやすい内視鏡シーンと結合される多数の処置にわたる組織テクスチャの経時変化により、多重干渉の全域でマッピングされなければならない、情報抽出のための画像ベース情報のみに依拠することは、非常に信頼できない場合もあり、その場合、特徴の抽出、一致、および追跡の再現性が、重要な課題を提起するという見解を持っている。
【００１２】
また、人体内に器具または内視鏡を位置決めするようにしておく追加の方法およびシステムが、たとえば米国特許第７９４５３１０号明細書、米国特許出願公開第２００５／００８５７１８号明細書、および米国特許出願公開第２００７／００５５１２８号明細書によって知られている。
【００１３】
それにもかかわらず、これらの他の知られている解決策は、外部撮像システムによって提供される手術前の仮想２Ｄまたは３Ｄ画像を利用する。
【００１４】
したがって、これらの解決策は、重要な予備データ処理を必要とし、組織テクスチャの変化、あるいは標的シーンのまたは前記シーンの環境の変形を考慮に入れることができない。
【先行技術文献】
【特許文献】
【００１５】
【特許文献１】米国特許第７９４５３１０号明細書
【特許文献２】米国特許出願公開第２００５／００８５７１８号明細書
【特許文献３】米国特許出願公開第２００７／００５５１２８号明細書
【非特許文献】
【００１６】
【非特許文献１】Ｂａｐｔｉｓｔｅ  Ａｌｌａｉｎら、Ｂｉｏｐｓｙ  ｓｉｔｅ  ｒｅ−ｌｏｃａｌｉｚａｔｉｏｎ  ｂａｓｅｄ  ｏｎ  ｔｈｅ  ｃｏｍｐｕｔａｔｉｏｎ  ｏｆ  ｅｐｉｐｏｌｅｒ  ｌｉｎｅｓ  ｆｒｏｍ  ｔｗｏ  ｐｒｅｖｉｏｕｓ  ｅｎｄｏｓｃｏｐｅ  ｉｍａｇｅｓ、Ｉｎｔｅｒｎａｔｉｏｎａｌ  Ｃｏｎｆｅｒｅｎｃｅ  ｏｎ  Ｍｅｄｉｃａｌ  Ｉｍａｇｅ  Ｃｏｍｐｕｔｉｎｇ  ａｎｄ  Ｃｏｍｐｕｔｅｒ−Ａｓｓｉｓｔｅｄ  Ｉｎｔｅｒｖｅｎｔｉｏｎ（ＭＩＣＣＡＩ）において、１２巻、４９１〜４９８頁、Ｓｐｒｉｎｇｅｒ、Ｈｅｉｄｅｌｂｅｒｇ、２００９年１月
【非特許文献２】Ｐｅｔｅｒ  Ｍｏｕｎｔｎｅｙら、Ｏｐｔｉｃａｌ  ｂｉｏｐｓｙ  ｍａｐｐｉｎｇ  ｆｏｒ  ｍｉｎｉｍａｌｌｙ  ｉｎｖａｓｉｖｅ  ｃａｎｃｅｒ  ｓｃｒｅｅｎｉｎｇ、Ｉｎｔｅｒｎａｔｉｏｎａｌ  Ｃｏｎｆｅｒｅｎｃｅ  ｏｎ  Ｍｅｄｉｃａｌ  Ｉｍａｇｅ  Ｃｏｍｐｕｔｉｎｇ  ａｎｄ  Ｃｏｍｐｕｔｅｒ  Ａｓｓｉｓｔｅｄ  Ｉｎｔｅｒｖｅｎｔｉｏｎ（ＭＩＣＣＡＩ）において、１２巻、４８３〜４９０頁、Ｓｐｒｉｎｇｅｒ、Ｈｅｉｄｅｌｂｅｒｇ、２００９年１月
【非特許文献３】Ｂａｐｔｉｓｔｅ  Ａｌｌａｉｎら、Ａ  ｓｙｓｔｅｍ  ｆｏｒ  ｂｉｏｐｓｙ  ｓｉｔｅ  ｒｅ−ｔａｒｇｅｔｉｎｇ  ｗｉｔｈ  ｕｎｃｅｒｔａｉｎｔｙ  ｉｎ  ｇａｓｔｒｏｅｎｔｅｒｏｌｏｇｙ  ａｎｄ  ｏｒｏｐｈａｒｙｎｇｅａｌ  ｅｘａｍｉｎａｔｉｏｎｓ、Ｉｎｔｅｒｎａｔｉｏｎａｌ  Ｃｏｎｆｅｒｅｎｃｅ  ｏｎ  Ｍｅｄｉｃａｌ  Ｉｍａｇｅ  Ｃｏｍｐｕｔｉｎｇ  ａｎｄ  Ｃｏｍｐｕｔｅｒ−Ａｓｓｉｓｔｅｄ  Ｉｎｔｅｒｖｅｎｔｉｏｎ（ＭＩＣＣＡＩ）において、１３巻、５１４〜５２１頁、２０１０年１月
【非特許文献４】Ｓｅｌｅｎ  Ａｔａｓｏｙら、「Ｐｒｏｂａｂｉｌｉｓｔｉｃ  ｒｅｇｉｏｎ  ｍａｔｃｈｉｎｇ  ｉｎ  ｎａｒｒｏｗ−ｂａｎｄ  ｅｎｄｏｓｃｏｐｙ  ｆｏｒ  ｔａｒｇｅｔｅｄ  ｏｐｔｉｃａｌ  ｂｉｏｐｓｙ」、Ｉｎｔｅｒｎａｔｉｏｎａｌ  Ｃｏｎｆｅｒｅｎｃｅ  ｏｎ  Ｍｅｄｉｃａｌ  Ｉｍａｇｅ  Ｃｏｍｐｕｔｉｎｇ  ａｎｄ  Ｃｏｍｐｕｔｅｒ−Ａｓｓｉｓｔｅｄ  Ｉｎｔｅｒｖｅｎｔｉｏｎ（ＭＩＣＣＡＩ）において、１２巻、４９９〜５０６頁、Ｓｐｒｉｎｇｅｒ、Ｈｅｉｄｅｌｂｅｒｇ、２００９年１月
【非特許文献５】Ｓｅｌｅｎ  Ａｔａｓｏｙら、「Ｅｎｄｏｓｃｏｐｉｃ  ｖｉｄｅｏ  ｍａｎｉｆｏｌｄｓ  ｆｏｒ  ｔａｒｇｅｔｅｄ  ｏｐｔｉｃａｌ  ｂｉｏｐｓｙ」、ＩＥＥＥ  ｔｒａｎｓａｃｔｉｏｎｓ  ｏｎ  ｍｅｄｉｃａｌ  ｉｍａｇｉｎｇ、３１（３）：６３７〜６５３頁、２０１２年３月
【発明の概要】
【発明が解決しようとする課題】
【００１７】
本発明の目的は、前に引用された先行技術の限界を克服することである。
【課題を解決するための手段】
【００１８】
これを受けて、本発明の主な目的は、１つまたは複数の連続する管腔内もしくは管腔外のその後のまたは「新しい探査」あるいは同様の処置中に、可撓性内視鏡を、第１または「基準探査」中に既に探査されている特定の位置に場合によっては数回再位置決めするための方法であって、再位置決めが、人間のユーザによって手動で、あるいは１つまたは複数のスクリーン上に２つの異なるウィンドウ上もしくは内に並行して表示される「新しい探査」可撓性内視鏡ビデオと「基準探査」可撓性内視鏡ビデオとの間の同期処理からまたはそれを使ったロボットシステムによって自動的に実現される、方法である。
【００１９】
本明細書において、探査、インターベンション、または処置に関して、用語「第１の」、「以前の」、または「基準」は、等価な意味を有し、同じタイプの「新しい」、「その後の」、または「現在の」探査、インターベンション、または処置に対して通常、予め（遅れずに）行われている探査、インターベンション、または処置を指し、そのデータは、（全体的に、または部分的にのみ）記録され格納されている。
【００２０】
新しい、その後の、または現在の探査、インターベンション、または処置は、ライブの（リアルタイムの現在の）もの、あるいは記録されたデータにまた基づく探査、インターベンション、または処置であってもよく、したがって、必ずしも後刻実施とは限らない。
【００２１】
好ましくは、同期処理は、第１または基準探査と、電磁気、光ファイバー、または任意の他の同様なタイプの追跡デバイスなどの固定された外部基準フレームに従って内視鏡の前記先端の位置および向きを提供する追跡デバイスからのその後のまたは新しい探査との間に記録される可撓性内視鏡の先端の位置およびあるいは向きの位置合わせのみに基づいている。
【００２２】
したがって、たとえば可撓性内視鏡の先端に電磁（ＥＭ）センサを取り付けることによって、身体内のその移動は、固定された外部基準フレームに対して追跡され得る。２つの連続するインターベンションについてＥＭセンサ位置の間の一致を計算することによって、ガイデッドビューが、ＧＩ専門家に提供される。このガイデッドビューは、その後の、たとえばライブビューされているインターベンションと最もよく一致する予め記録されたインターベンションから抽出されたマッチング画像から成る。
【００２３】
あるいは、同期処理は、第１または基準探査と、第１または基準探査とその後のまたは新しい探査の両方の間に視認可能な類似の特徴の抽出およびマッチングを行う、リアルタイム内視鏡ビデオ解析によって改善される追跡デバイスからのその後のまたは新しい探査との間に記録される可撓性内視鏡の先端の位置および向きの位置合わせに基づくことができる。
【００２４】
この実施形態と関連して、人は、同期を改善するように特徴記述子を用いることを考えることができる。
【００２５】
基本的な実施は、ビデオ同期を行うように単一のアルゴリズムを利用することができる。このアルゴリズムは、以前の探査の６ＤＯＦセンサの記録された位置および向き、およびその後の探査中の前記センサのライブ位置および向きのみを使用する。食道または同様な管状器官がいくらかの変形を受ける場合には、または位置合わせステップが不正確な場合には、同期アルゴリズムは、現時点での技術的水準の技術による画像解析を用いて改善され、よりロバストにされ得る。たとえば、特徴記述子は、Ｄａｖｉｄ  Ｇ．Ｌｏｗｅ、「Ｄｉｓｔｉｎｃｔｉｖｅ  Ｉｍａｇｅ  Ｆｕｔｕｒｅｓ  ｆｒｏｍ  Ｓｃａｌｅ−Ｉｎｖａｒｉａｎｔ  Ｋｅｙｐｏｉｎｔｓ」Ｉｎｔｅｒｎａｔｉｏｎａｌ  Ｊｏｕｒｎａｌ  ｏｆ  Ｃｏｍｐｕｔｅｒ  Ｖｉｓｉｏｎ、６０巻、Ｎｏ．２、２００４年、９１〜１１０頁、またはＨｅｒｂｅｒｔ  Ｂａｙ、Ａｎｄｒｅａｓ  Ｅｓｓ、Ｔｉｎｎｅ  Ｔｕｙｔｅｌａａｓ、Ｌｕｃ  Ｖａｎ  Ｇｏｏｌ、「ＳＵＲＦ：Ｓｐｅｅｄ  Ｕｐ  Ｒｏｂｕｓｔ  Ｆｅａｔｕｒｅｓ」、Ｃｏｍｐｕｔｅｒ  Ｖｉｓｉｏｎ  ａｎｄ  Ｉｍａｇｅ  Ｕｎｄｅｒｓｔａｎｄｉｎｇ（ＣＶＩＵ）、１１０巻、Ｎｏ．３、３４６〜３５９頁、２００８年、に開示されるものなどの、以前の探査の各記録された画像について記録され得る。次いで、その後の探査中に、最良の特徴記述子が、ライブ画像から抽出され、以前の探査から画像の部分集合に一致されることができ、これは、センサ位置および向き情報のみを用いて選択されている画像に（距離的に）近い。明らかに、いかなる種類の特徴記述子もこのために使用され得る。したがって、一致記述子および一致品質の数の解析は、センサ位置および向き情報のみから本来選択されるものよりも類似して見える画像を選択するように使用され得る。
【００２６】
有利なことに、２つの同期化された可撓性内視鏡ビデオは、特定の対象点を示す仮想タグによって向上され、これらの仮想タグは、ユーザによる対話形式での第１または基準探査可撓性内視鏡ビデオに基づいて、および２つの同期化されたビデオの比較に基づく画像解析により自動的にその後のまたは新しい探査可撓性内視鏡ビデオで定義される。
【００２７】
あるいは、２つの同期化された可撓性内視鏡ビデオは、特定の対象点を示す仮想タグによって向上され、これらの仮想タグは、たとえば解剖学的、病理学的、または外科的な特定の特徴などの、対象の視認可能な点を抽出する自動ビデオ画像解析による自動的な第１または基準探査可撓性内視鏡ビデオに基づいて、およびその後のまたは新しい探査可撓性内視鏡ビデオにおいて対象の同じ視認可能な点を抽出する自動ビデオ画像解析と２つの同期化されたビデオの比較アルゴリズムを組み合わせる画像解析により自動的にその後のまたは新しい探査可撓性内視鏡ビデオで定義される。
【００２８】
たとえば、以前の実施形態に関して、人は、基準探査および新しい探査中に生検部位の自動タグ付けを行うように画像解析および特徴記述子を用いることを考えることができる。
【００２９】
基準探査全体が記録され得るので、これはまた、器具が組織試料を切断し回収するように（または、Ｍａｕｎａｋｅａ  Ｔｅｃｈｎｏｌｏｇｙの共焦点顕微鏡装置を用いて光学試料を実行するように）内視鏡動作チャネルの１つに挿入される生検の方法を含む。現時点での技術的水準の画像解析は、Ａｌｌａｎ，Ｍ．、Ｏｕｒｓｅｌｉｎ，Ｓ．，Ｔｈｏｍｐｓｏｎ，Ｓ，、Ｈａｗｋｅｓ，Ｄ．Ｊ．、Ｋｅｌｌｙ，Ｊ．、Ｓｔｏｙａｎｏｖ，Ｄ．（２０１３）、Ｔｏｗａｒｄ  ｄｅｔｅｃｔｉｏｎ  ａｎｄ  ｌｏｃａｌｉｚａｔｉｏｎ  ｏｆ  ｉｎｓｔｒｕｍｅｎｔｓ  ｉｎ  ｍｉｎｉｍａｌｌｙ  ｉｎｖａｓｉｖｅ  ｓｕｒｇｅｒｙ、ＩＥＥＥ  Ｔｒａｎｓ  Ｂｉｏｍｅｄ  Ｅｎｇ６０（４）、１０５０〜１０５８、に開示されるようなビデオ画像において器具位置を追跡することを可能にする。したがって、器具サイズおよびカメラ較正が知られている場合は、カメラフレームに対するその３Ｄ位置もまた知られる。これは、（その先端に取り付けられる）センサ（ＥＭ）フレームに対するカメラフレームの位置が（たとえば、Ｆ．ＤｏｒｎａｉｋａおよびＲ．Ｈｏｒａｕｄ、Ｓｉｍｕｌｔａｎｅｏｕｓ  ｒｏｂｏｔ−ｗｏｒｌｄ  ａｎｄ  ｈａｎｄ−ｅｙｅ  ｃａｌｉｂｒａｔｉｏｎ、Ｒｏｂｏｔｉｃｓ  ａｎｄ  Ａｕｔｏｍａｔｉｏｎ、ＩＥＥＥ  Ｔｒａｎｓａｃｔｉｏｎｓ、１４（４）：６１７〜６２２、１９９８年、に説明されている方法を用いて）予め較正されていることを条件として、生検部位は、基準探査ビデオの解析から追跡（ＥＭ）フレームにおいて自動的に計算され得るということを意味する。
【００３０】
いったん生検部位が基準探査においてすべてタグ付けされていると、この場合、新しい探査においてそれらの位置を推定するように特徴記述子を用いることができる。実際、特徴記述子検出の第１のステップは、生検部位を含む基準探査フレームにおいて行われ得る。次いで、画素座標（ｕ、ｖ）を持つ画像において認識される各生検部位について、同じ画像における検出された記述子に対するその相対位置が記録される。その後、記述子は、新しい探査フレームにおいて検出され、基準探査のものに一致される。生検を含むフレームの記述子と一致される少なくとも３つの記述子を含む新しい探査におけるフレームＦｅｘｐすべてについて、位置合わせ手法を用いてＦｅｘｐにおける画素生検部位を推定することができる。この位置合わせステップについて多くの可能性がある。重心座標の使用は、３つの記述子が一致されている場合には標準的な選択肢である。しかし、少なくとも４つの記述子が生検部位の周りに見出されている場合には、同相位置合わせがより関連性のある場合がある（同相は、４つまたそれ以上の点を用いて透視歪みをモデリングすることを可能にする）。
【００３１】
本発明の可能な実施形態によれば、特定の対象点を示す仮想タグによって向上されるかまたはされない、２つの同期化された可撓性内視鏡ビデオは、解剖学的および／または病理学的構造の３Ｄ身体モデルの仮想レンダリングを使った拡張現実技術を用いて融合され、この３Ｄモデルは、被験者の身体のその後のまたは新しい探査前に実現される術前医用画像から抽出される。
【００３２】
拡張現実情報を手術前の３Ｄモデルから新しい探査画像に加えることは、たとえば、下に説明されるように行われ得る。
【００３３】
術前画像または患者（通常、３Ｄ  ＣＴスキャンまたはＭＲＩ画像）が利用できる場合には、術前画像フレームＦｐｒｅｏｐと（ＥＭ）追跡システムフレームＦＥＭとの間のリンク（回転＋並進)を計算することができる。この計算は、たとえば、Ｆｐｒｅｏｐにおける術前画像から手動でまたは自動的に抽出される食道中心線を用いて行われることができ、ＦＥＭにおいて新しい探査中に評価される食道の軌道に位置合わせされる。これに関連して、食道の軌道は、両フレームにおいて、食道と胃との間の遷移点、および喉の一部を含まなければならない。
【００３４】
２つのＥＭマーカーが患者の胸部に貼り付けられる場合は、Ｆｐｒｅｏｐにおける術前画像から、２つのＥＭマーカーに自動的に対応する２つの点と食道における１つの点とを手動でまた自動的に抽出することは容易である。この場合、これらの３つの点は、フレームＦｐｒｅｏｐおよびＦＥＭを位置合わせするために予め説明されたように使用され得る。
【００３５】
いったんＦｐｒｅｏｐおよびＦＥＭの相対位置が知られていると、（その先端に取り付けられる）ＥＭセンサフレームに対するカメラフレームの位置が（たとえば、Ｆ．ＤｏｒｎａｉｋａおよびＲ．Ｈｏｒａｕｄ、Ｓｉｍｕｌｔａｎｅｏｕｓ  ｒｏｂｏｔ−ｗｏｒｌｄ  ａｎｄ  ｈａｎｄ−ｅｙｅ  ｃａｌｉｂｒａｔｉｏｎ、Ｒｏｂｏｔｉｃｓ  ａｎｄ  Ａｕｔｏｍａｔｉｏｎ、ＩＥＥＥ  Ｔｒａｎｓａｃｔｉｏｎｓ、１４（４）：６１７〜６２２、１９９８年、に説明されている方法を用いて）予め較正されていることを条件として、内視鏡ビデオフレームにおいて術前画像（３Ｄ表面モデルまたはボリュームレンダリング）から抽出される情報をそのまま重ね合わせる。
【００３６】
本発明の方法の同期処理は、より正確には次の３つのステップ処理、すなわち、
第１のステップ：磁気、光ファイバー、または同様な追跡デバイスなどの固定された外部基準フレームによる内視鏡の先端の位置および向きを提供する追跡システムと、管腔内または管腔外の第１または基準探査中に結合されている可撓性内視鏡ビデオとを用いて、可撓性内視鏡の先端の位置を記録するステップ、
第２のステップ：磁気、光ファイバー、または同様な追跡デバイスなどの固定された外部基準フレームによる内視鏡の先端の位置および向きを提供する追跡システムと、管腔内または管腔外のその後のまたは新しい探査中に結合されている可撓性内視鏡ビデオとを用いて、可撓性内視鏡の先端の位置を処理するステップ、特に位置合わせするステップ、
第３のステップ：リアルタイムのその後の探査と第１の探査との間の可撓性内視鏡の先端位置の位置合わせからまたはそれを用いて、その後のまたは新しい探査ビデオおよび第１または基準探査ビデオを同期させるステップ
から成ることができる。
【００３７】
以前に説明された同期処理の１つまたはいくつかのステップの次の（１から３の）部分的に選択可能な実施形態が予想されることができ、すなわち、
１）同期の第３のステップは、第１の基準探査およびリアルタイムのその後の探査の両方において視認可能な類似の特徴（複数可）を抽出しかつマッチングする、リアルタイム可撓性内視鏡ビデオ解析によって改善される、リアルタイム探査と基準探査との間の可撓性内視鏡の先端位置の位置合わせからまたはそれを用いて、その後のまたは新しい探査ビデオおよび第１または基準探査ビデオを同期させるステップを含む。
【００３８】
２）同期処理は、より正確には、次の４つのステップ処理、すなわち、
第１のステップ；以前に説明されたような、
第２のステップ：探査される被験者の身体において特定の対象点を示す第１または基準探査可撓性内視鏡ビデオの１つまたは複数の画像の対話式の仮想タグ付けを付加するステップであり、この仮想タグ付けが、マウス、パッド、トラックボール、ジョイスティック、または光トラッキングなどの、ビデオの画素または画素のグループを正確に選択するようにしておく任意の相互作用またはヒューマンインターフェース装置を通してビデオの任意の選択された画像にタグを付加するようにしておく特定の第１または基準探査ビデオ読み出しによって実現される、ステップ、
第３のステップ：前に説明された第２のステップと等価なまたは同一のステップ、
第４のステップ：前に説明された第３のステップ（３つのステップ処理）を行うステップであり、位置合わせ処理が、第２のステップでタグ付けされる探査される被験者の身体の同じ特定の対象点をこのビデオで位置特定させるその後のまたは新しい探査ビデオの解析を付加し、かつこれらの仮想タグの重ね合わせによって、同期化されたその後のまたは新しい探査ビデオの同じ位置にこれを付加することによって改善される、ステップから成る。
【００３９】
３）同期処理は、より正確には、次の４つのステップ処理、すなわち、
第１のステップ：前に述べたのと同じ、
第２のステップ：探査される被験者の身体において特定の対象点を示す第１または基準探査可撓性内視鏡ビデオの１つまたは複数の画像に自動的な仮想タグ付けを付加するステップであり、この仮想タグ付けが、好ましくは、たとえば色、輝度、コントラスト、および特徴追跡、ならびに解剖学的、病理学的、または外科的な特定の特徴などの、特徴追跡、対象の視認可能な抽出点に基づく、特定のビデオ解析アルゴリズムを通して自動的に実現される、ステップ、
第３のステップ：前に述べた第２のステップ（３つのステップ処理）と等価なまたは同一のステップ、
第４のステップ：前に述べた第３のステップ（３つのステップ処理）を行うステップであり、位置合わせ処理が、第２のステップでタグ付けされる探査される被験者の身体の同じ特定の対象点をこのビデオで位置特定させるその後の新しい探査ビデオの解析を付加し、かつこれらの仮想タグの重ね合わせによって、同期化されたその後の新しい探査ビデオの同じ位置にこれを付加することによって改善され、第２のステップに使用される対象の点の検出の同じアルゴリズムが、前に説明された第３のステップ（３つのステップ処理）に規定される他の位置合わせアルゴリズムと場合によっては組み合わされる、ステップから成る。
【００４０】
本発明の典型的な用途として、可撓性内視鏡を使った探査は、食道または結腸などの、ヒト被験体の管状器官に行われる。
【００４１】
本発明による方法は、被験者の姿勢が変化していないままであるかまたは以前の探査とその後の探査との間でほぼ再現され得る場合には、いかなる追加のマーカーの使用もなしに実施され得る。
【００４２】
それにもかかわらず、そうでない場合には、本発明は、その位置が使用される追跡システムまたは他の追跡システムによって記録され得る少なくとも２つのマーカーが、予め被験者の所与の解剖学的場所に配置され、探査される管状器官に依存しかつ好ましくは被験者が姿勢を変え得る場合に顕著な変形または変位を受けない前記場所が、好ましくは、少なくとも１つの他の内部の容易に認識可能な解剖学的特徴点と共に以前のおよびその後の探査の基準点を与えるように使用されることを予測することができる。
【００４３】
再配置の正確さを増加させるために、基準点は、フレームを定義し取り付けるのに使用され、または第１のおよびその後の探査において被験者と関連のあることができる。
【００４４】
必要とされる計算資源を制限し、再配置処理を加速するために、本発明による同期処理は、最終探査段階で、すなわち内視鏡の先端が対象の領域に達した場合に集中され得る。したがって、第１のまたは以前の探査中に、限られた数の画像が記録されまたは選択され、これは、好ましくはマーキングされまたはタグ付けされる関連情報を含み、その後の探査中に、現在のまたはライブ内視鏡位置が関連情報を含む画像と関連する位置に近い場合にのみ、ビデオ画像処理および同期ステップが行われ、ガイダンス情報が提供される。
【００４５】
本発明の他の特徴によれば、管状器官が探査される場合に、画像処理が行われ、この画像処理は、その後の探査中にビデオ画像で管腔位置を解析し、同様の管腔位置によってその後のライブ位置に近い位置と関連する以前の探査から画像を選択する。
【００４６】
有利なことに、探査される器官が結腸である場合は、腹壁に取り付けられることが知られている結腸の３つの点または部分は、固定の基準点または場所として使用され、その後の探査中に標的に達することは、逆方向動きを通じて行われることが好ましい。
【００４７】
また、再配置処理は、必要とされる場合には内視鏡の回転を考慮に入れることができる。したがって、可撓性内視鏡の先端の向きは、記録され、その３Ｄ位置に加えて追跡システムによって利用されて、基準探査とその後の探査との間の内視鏡の向きの回転差を評価する。
【００４８】
実際的な観点から本発明を考える場合には、人は、可撓性内視鏡の先端の正確な再配置は２つの連続する操作ステップ、すなわち、
前に説明されたように、予め行われた処置で決定される生検部位などの基準点または位置に近い可撓性内視鏡の先端の近似位置決めを行うことによる、全体の位置特定ステップ、
その後のまたは現在のインターベンション時にビデオ画像上への以前の処置中に得られる、標的部位または点のマッピングを参照することによる、精密位置決めステップ
を通して行われると考えることができる。
【００４９】
また、本発明は、以前に本明細書において説明された方法を実施することができる医療システムを含んでいる。
【００５０】
本発明は、その非限定的な実施例として与えられる前記発明の実施形態についでの次の説明および図面によってよりよく理解されるであろう。
【図面の簡単な説明】
【００５１】
【図１】人の食道の探査中の、本発明の実施形態による可撓性内視鏡および追跡システムを備える医療システムの概略図である。
【図２】人の食道の探査中の、本発明の実施形態による可撓性内視鏡および追跡システムを備える医療システムの概略図である。
【図３Ａ】本発明の好ましい実施形態による再配置方法の主要なステップを示す概略的な機能図である。
【図３Ｂ】本発明の好ましい実施形態による再配置方法の主要なステップを示す概略的な機能図である。
【図３Ｃ】本発明の好ましい実施形態による再配置方法の主要なステップを示す概略的な機能図である。
【図４】第１のまたは以前の探査の前進移動中、前記第１のまたは以前の探査の後退移動中、および管状器官たとえば食道の、たとえばライブのその後の探査中に可撓性内視鏡の先端の異なる軌道（連続する位置）を示す１部分の図式表現の図である。その後の探査位置と以前の探査位置との間の点線がユークリッド距離に基づく同期処理に対応し、その後の探査からの位置を考慮すれば、以前の探査から表示されるビデオフレームが以前の探査から最も近い位置と関連するものである図である。
【図５】図４によって行われる前進探査中、および後退探査中に得られる管腔の画像を示す図である。
【図６】食道および対応する一致の可撓性内視鏡の先端の以前におよびその後のライブ軌道を示す図である。
【図７】ライブビュー（左）の、および以前に記録された探査からの最もよく一致する画像（右）の画像を示し、丸で囲んだ部位が内視鏡の熱傷ツールを用いることによって作られるマーキングを示す図である。
【図８】列に配置された複数の内視鏡画像を示し、第１の列がライブビデオからのフレームを示し、第２の列が最も近い一致を示し、列３、列４、および列５が、同期処理から得られる２０個の最も良好な一致からランダムに選択されたフレームを示す図である。
【図９】（部分的に示される）可撓性内視鏡によって探査を受ける人体の結腸の概略図である。
【図１０Ａ】第１のまたは以前の探査中のロールでの較正および補正を示す、可撓性内視鏡の端部（先端）の部分的な概略図である。
【図１０Ｂ】その後のまたは現在の探査（参照のためのｘ、ｙ、ｚがカメラのレンズに付けられ、参照のためのｘ’、ｙ’、ｚ’がセンサに付けられている）中のロールでの較正および補正を示す、可撓性内視鏡の端部（先端）の部分的な概略図である。
【発明を実施するための形態】
【００５２】
図１および図２、および部分的に図９は、被験者７の管状器官に導入されることができ、本発明による方法を実施することができる可撓性内視鏡２を備える、本発明による医療システム１を示している。
【００５３】
より正確には、前記医療システム１は、
ｉ）撮像装置３が少なくとも装備される可撓性内視鏡２、および場合によっては少なくとも１つのツールまたは器具と、
ｉｉ）表示手段３’、および前記内視鏡３と結合された移動制御手段３″と、
ｉｉｉ）電磁追跡デバイスまたは可撓性光学追跡デバイスなどの、内視鏡２の先端２’の位置および向きを提供する追跡デバイスまたはシステム４と、
ｉｉｉｉ）コンピュータ手段（５）および結合された格納手段と
を主として備え、
内視鏡（２）の前端または先端（２’）には、電磁センサ４’または同様な追跡デバイスが設けられ、前記医療システム１は、以前に説明されたような方法を実施することができる手段、特にコンピュータ手段５内のソフトウェア手段をさらに備える。
【００５４】
可撓性内視鏡２の先端２’に固定されまたは取り付けられるセンサ４’および対応する追跡システム４は、少なくとも３Ｄ位置の追跡、好ましくはまた前記先端の向きの追跡を可能にする。
【００５５】
本発明のシステムの第１の実施によれば、かつ図１に示されるように、（たとえば、電磁式または光学式の）いかなる外部マーカーも、以前の探査中のＥＭフレームとその後の探査中のＥＭフレームとの間の位置合わせを行うことが必要とされない。実際、本方法は、喉および食道形状推定に完全に依拠することができ、これは、以前のおよびその後の探査中に行われる。しかし、有効であるべきこの技術の場合、以前のおよびその後の探査中の肩に対する患者の頭の向きがほぼ同じであるべきであり、医療専門家は、胃エントリーポイントに到達しなければならず、これは、（たとえば、食道の中間の大きな腫瘍による食道閉塞の場合は）恐らくは拘束しており、またはある患者に対して実行できない場合がある。
【００５６】
この問題を解決するために、本発明は、後に提示され、図２に示される追加のマーカー６を使用することができる。より正確には、少なくとも２つの補足ＥＭマーカーの使用に基づいていることができ、このマーカーは、容易に後方に見出され得る解剖学的特徴点の上の、好ましくは胸骨に沿って患者の胸部に貼り付けられ、これは、以前のおよびその後の探査中に患者が同じ姿勢を有していない場合に重要な変形を受けない（患者は、仰向けになった姿勢に、かつ次いで横方への臥床姿勢に横になることができる）。頸切痕は、胸骨終端点ばかりでなく、著しく静的な解剖学的特徴点でもあったことが分かっている。
【００５７】
これに関連して、以前の探査中に、２つのマーカー６が、好ましくはインターベンション中に患者７に貼り付けられ、そのうえそれらの位置が記録される。記録される位置は、両方の点について１つのみの取得か、または患者がインターベンション中に動かないはずであることが仮定されているので平均された各マーカーについて取得の集合であり得る。次いで、その後の探査中に、２つのマーカー６は、ほぼ同じ解剖学的な位置において患者７に貼り付けられ、それらの位置は記録される。次いで、位置合わせを行うための第１のアプローチが、各探査中に認識される２つの点のトリプレットを用いて、３Ｄ／３Ｄ点位置合わせ（Ａｒｕｎ  ＫＳ、Ｈｕａｎｇ  ＴＳ、Ｂｌｏｓｔｅｉｎ  ＳＤ．「Ｌｅａｓｔ−ｓｑｕａｒｓ  ｆｉｔｔｉｎｇ  ｏｆ  ｔｗｏ  ３−ｄ  ｐｏｉｎｔ  ｓｅｔｓ」、ＩＥＥＥ  ｔｒａｎｓａｃｔｉｏｎｓ  ｏｎ  Ｐａｔｔｅｒｎ  Ａｎａｌｙｓｉｓ  ａｎｄ  Ｍａｃｈｉｎｅ  Ｉｎｔｅｌｌｉｇｅｎｃｅを参照されたい）を行うことになる。このトリプレットは、２つのマーカー位置および食道形状推定時の点Ｐｃｌｏｓｅｓｔ（これは、ほぼ、患者の喉近傍において湾曲した、ライン形状を持つ点の集合である）であることができ、これは、頸切痕に貼り付けられるマーカーに最も近い。
【００５８】
しかし、本発明者らは、（胸骨に沿って）胸骨終端点を反復して見出す際に、ある不確実性があることに気付いた。そのうえ、本発明者らはまた、頸切痕に最も近い点Ｐｃｌｏｓｅｓｔの相対位置が数ミリメートルという以前の探査とその後の探査との間で変化し得ることを認めた。したがって、３Ｄ／３Ｄ位置合わせは、あまり正確でなく、その代わりとして、以前のおよびその後の探査中に規定され得る次に続くフレームＦを位置合わせすることが提案されている。フレームＦ中心は、頸切痕に貼り付けられるマーカーによって規定され、そのＸ軸は、頸切痕マーカーと胸骨終端点との間のベクトルＭｊＭｓによって規定され、そのＹ軸は、ＭｊＭｓと、頸切痕マーカーとＰｃｌｏｓｅｓｔとの間のベクトルとの間のクロス乗積によって規定され、次いで、そのＺ軸は、Ｘ軸とＹ軸との間のクロス乗積から計算される。その分野の専門家は、２つの点トリプレットの代わりに２つのフレームを位置合わせすることが、胸骨マーカー位置のおよび位置合わせ結果のＰｃｌｏｓｅｓｔの、不確実性の影響を劇的に減少させることを容易に理解するであろう。
【００５９】
本発明は、基本的には、以前の探査からフレームを表示することを目的としており、食道および同様な管状器官のその観点は、ライブの／その後の探査の観点に場合によっては近くにある。最も適応したフレームを見出すことは、計算上コストが高い場合もある。より簡単な実施が可能であり、この実施は、今でも医療専門家のための案内ツールを提供するが、記録された画像フレームの小さいまたは減少した集合を使用するのみである。
【００６０】
以前の探査段階中に、医療専門家は、彼が関連すると考える画像に注釈をつける。彼がその上に（矢印または円が関連情報を示すように画像に重ね合わされ得る）関連情報の位置を示す、ｉが（たとえば、生検情報または病理学情報を含む）範囲［１−５０］に属する、約５０個の関連画像Ｒｉがあると仮定しよう。その後の探査中に、システムは、１つのスクリーンにその後の探査のライブ画像を示し、ライブ内視鏡位置が重ね合わせステップ後に関連画像Ｒｉと関連する位置に近い場合（たとえば、内視鏡位置とＲｉと関連する位置との間の距離が閾値、たとえば３ｍｍの範囲内である場合）にのみ、関連画像Ｒｉを表示することになる。また、システムは、（前進または後進の）その方向において内視鏡がＲｉと関連する点に近づくように移動されるべきであることを示すことができる。この指示は、有向の矢印、文字（たとえば、ＦまたはＢ）、あるいは色インジケータによって与えられ得る。
【００６１】
また、本発明は、記録されたフレームの滑らかでない位置を扱う問題を考えることができる。
【００６２】
明らかに、いくつかの関連画像が点と関連しており、これは、非常に密接であり、したがって閾値より小さい距離によって分離される。この場合は、システムは、スクリーンにモザイク表現で関連画像すべてを表示することができ、または、システムは、医療専門家に、彼が到達することを望んでいるいくつかの関連画像の中のその関連画像を尋ねることができる。
【００６３】
以前の探査中に、システムは、処置中に、対応する画像と関連する（ＥＭ）センサを介した内視鏡位置を反復して同時に記録する。したがって、多くの対  位置＋画像が食道または同様な管状器官における特定の深さについて記録されるが、その結果、前記器官において内視鏡の異なる横方向の位置が生じる。この場合は、かつ本明細書において後ほど説明されるように、その後のライブ探査中に内視鏡の現在の位置に対応する以前の探査からの画像を選択する基本的なアプローチは、医療専門家にとって違和感がある場合がある。実際、時刻ｔにおける表示される画像は、時刻ｔ＋１における画像と非常に異なる場合があり、食道または同様な管状器官における内視鏡の観点は、非常に異なり、この場合、画像流れは、滑らかでない。この現象は、通常、医療専門家が前後探査全体を記録している場合に生じ、図４に示されている。図５で理解できるように、管腔は、同じ探査処置内で、内視鏡の前進運動中にビデオ画像の左側（ｔ０−ｔ２００）に、および内視鏡の後退運動中にビデオ画像の右側（ｔ２００−ｔ４００）にあり得る。
【００６４】
また、この現象は、複数の生検が同様な深さにおいてであるが器官の反対の側で行われる場合に生じ得る。この問題を解決するために、画像処理アプローチが採用されることができ、これは、時刻ｔにおける画像内の管腔位置を解析し、図５に示されるように、同様な管腔位置を持つライブ位置に近い位置と関連する以前の探査から画像を選択する。
【００６５】
本発明によって扱われ得るもう１つの問題は、内視鏡の回転を考慮に入れることである。
【００６６】
実際、その後の探査中に、医療専門家は、以前の探査中の向きと異なり得るその軸を中心とする向き（通常、ロールと呼ばれる）を持つ内視鏡を導入する。経験を積んだ医療専門家は、通常、内視鏡でいくつかの特定のマークを注視することによって、おおよそ以前の探査とその後の探査との間で同じ向きを有することができる。しかし、これは、時間がかかり、初心者医療専門家にとってそう容易なことではない。内視鏡の向きが同じでない場合は、本方法は、もちろん、２つの探査ビデオを同期させることができるが、画像の向きは、同じでないことになり、したがって、両方のビデオに同じ解剖学的構造を認めることは、医療専門家にとってあまり容易でないであろう。
【００６７】
この点について、本発明の方法は、以前の探査とその後の探査との間のライブの向き誤差を計算するように改善され得る。いったん向き誤差が計算されると、システムは、回転誤差が低減されるように内視鏡が回転されるべきであるその方向に、ライブビデオスクリーン上に矢印で指示を出すことができる。また、度での回転誤差が表示され、更新され得る。
【００６８】
いったん向き誤差が計算されると、システムはまた、以前の探査ビデオに対する、またはその後の探査ビデオに対する誤差を補償する回転を自動的に加えることができる。
【００６９】
以下に、以前の探査とその後の探査との間のライブの向き誤差がいかに計算され得るかが、例示として説明される。食道または同様な管状器官内部の可撓性内視鏡を追跡するために、６ＤＯＦ電磁センサが、内視鏡の先端にセットされる。以前の探査中の記録ステップは、内視鏡先端の３Ｄ位置ばかりでなく、その向き（ロール、ヨー、ピッチ）も含む。また、その後の探査中に、内視鏡先端の向きが取得される。
【００７０】
次の２つの場合が起こり得る。すなわち、
内視鏡先端のカメラと６ＤＯＦセンサとの間の相対的な向きが以前の探査中とその後の探査中とで同じである（すなわち、以前の探査中に使用されている内視鏡がその後の探査中と同じであるか、または各製造された内視鏡が内視鏡先端のカメラと６ＤＯＦセンサとの間で同じ相対的な向きを有することを内視鏡製造業者が保証している）場合には、向き誤差は、ライブ内視鏡位置の６ＤＯＦセンサ向きとライブ内視鏡位置に一致されている以前の探査からの位置における記録された６ＤＯＦセンサ向きとの間のロール差によって与えられ得る。
【００７１】
これに反して、内視鏡先端のカメラと６ＤＯＦセンサとの間の相対的な向きが以前の探査中とその後の探査中とで同じでない場合には、予備較正ステップが、以前の探査中の内視鏡カメラフレーム（そのｚ軸は、通常、カメラ視点に沿って選択される）と６ＤＯＦセンサフレーム（そのｚ軸は、通常、ＥＭセンサコイルに沿っており、したがってこのような状況ではカメラｚ軸にほとんど平行である）との間のロール差Ｒ１、および、その後の探査中の内視鏡カメラフレームと６ＤＯＦセンサフレームとの間のロール差Ｒ２を計算するために必要である（これは、図１０Ａおよび図１０Ｂに示されている）。この場合、Ｒ１とＲ２との差により、カメラと６ＤＯＦセンサとの間の同じ相対位置を持つ同じ内視鏡が以前のおよびその後の探査中に使用されていることを模擬することができる。したがって、前に説明された方法は良好に使用され得る。
【００７２】
本発明の実用的な実施形態が、食道探査に関して、例示としてより正確に説明されることになる。
【００７３】
システム構成１は、おおよそ患者７の胸部の上方に配置され、チタニウムアームを用いて適切な位置に固定される適応した作業範囲を持つＥＭ場発生器４から成る。６ＤＯＦ  ＥＭセンサ４’が、可撓性内視鏡２の作業チャネルに挿入され、内視鏡の先端２’に固定される。ＥＭＴＳおよび内視鏡２は、ラップトップ型のまたは同様なコンピュータ関係５に接続され、これは、データを同期的に記録する。インターベンションの記録は、内視鏡２から捕捉される対応する画像フレームを持つ、ＥＭセンサ姿勢のリスト（内視鏡の先端２’の軌道）から成る。可能なライブのその後の処置中に、以前に行われたインターベンションの記録を考慮すれば、対応する画像が、記録に見出されることができ、これは、食道における内視鏡の現在の位置に空間的に一致する。
【００７４】
図３Ａ〜図３Ｃは、本発明の方法のワークフローの概観を与えている。使用される処理は、３つの部分または段階に分割される。すなわち、
取得段階：記録されたデータがタグ付けされ、さらなる処理のために格納される段階、
位置合わせ段階：ライブ処置のＥＭＴＳ基準フレームの位置合わせ、および案内ビューを与えるために選択された以前に記録されたインターベンションを行うための段階、および
同期段階：ライブインターベンションの軌道と以前に位置合わせされた記録との間の空間的同期を行うための段階
である。
【００７５】
取得段階は、図３Ａに概略的に示されている。
【００７６】
この段階中に、ＧＩ専門家は、インターベンションの記録および関連画像のタグ付けを行う。可撓性内視鏡は、食道を通ってゆっくり案内され、同時に、内視鏡から取得されるＥＭセンサ姿勢および対応する画像が、データベースに記録される。記録は、バブル、モーションブラー、スペキュラーハイライト、および焦点外画像のある、多くの情報価値のないフレームを含む。第１に、これらの情報価値のないフレームは検出され、Ｍ  Ｋ  Ｂａｓｈａｒら、Ａｕｔｏｍａｔｉｃ  ｄｅｔｅｃｔｉｏｎ  ｏｆ  ｉｎｆｏｒｍａｔｉｏｎ  ｆｒａｍｅｓ  ｆｒｏｍ  ｗｉｒｅｌｅｓｓ  ｃａｐｓｕｌｅ  ｅｎｄｏｓｃｏｐｙ  ｉｍａｇｅｓ、Ｍｅｄｉｃａｌ  ｉｍａｇｅ  ａｎａｌｙｓｉｓ、１４（３）：４４９−７０、６月２０１、に説明されている方法を用いてさらなる処理から除外される。ＧＩ専門家は、括約筋が位置合わせ段階においてランドマークとして使用されるので、括約筋を含む画像にタグ付けする。括約筋は、これが安定であり、良好な繰返し精度で到達され得るので解剖学的ランドマークとして使用される。生検処置を含む内視鏡フレームはタグ付けされ、オフラインステップにおいて、専門家は、タグ付けされた生検画像を見直し、処置に最も関連性のある生検画像を選択する。この段階において、専門家は、補足情報を記録の画像に追加するように選択することができ、これは、同期段階中に利用できるであろう。
【００７７】
位置合わせ段階は、図３Ｂに示されている。
【００７８】
ＥＭＴＳの構成は常に術間で変更されることになるので、位置合わせは、ライブインターベンションのＥＭＴＳ基準フレームとガイデッドビューを提供するために選択される以前のインターベンションの記録との間で行われなければならない。好ましくは、オンラインの位置合わせが、手術室に更なる制約を導入することなく使用される。これを達成するために、第１に、ＧＩ専門家が内視鏡を食道に導き、括約筋まで内視鏡を案内している時にＥＭセンサ位置が記録される。食道はかなり直線的であり、非常に最小の横方向移動を示すという関連知識が使用される。したがって、ライブ軌道および以前のインターベンションの軌道の最も大きい主成分が、各軌道についてベクトルＺ＝［００１］Ｔに沿って３Ｄ方位合わせを得るように使用され得る。次いで、タグ付けされた括約筋位置が、翻訳ｔを取得するように使用されることができ、Ｒに加えて、これは、さらなる位置合わせ改良のためにイテラティブ  クローゼスト  ポイント（ＩＣＰ）のための初期設定を提供する。
【００７９】
同期段階は、図３Ｃに示されている。
【００８０】
いったん基準フレームが位置合わせされると、現在のインターベンションからのセンサ位置と以前に記録されたインターベンションとの間の空間的一致が計算される。バイナリツリーとして以前のインターベンションの軌道を分割することによって、現在のセンサ位置に対する（ユークリッドの意味における）最も近い隣接点の探索が行われる。ナビゲーション中の食道の局所的な変形により、軌道は、滑らかでなく、（ベクトルｚに沿って、喉を括約筋に接続する）中心食道線からずれを示し（図６）、これは、マーキングされた深さの差との誤一致を引き起こす場合もある。軌道はベクトルｚに沿って位置合わせされるので、探索空間は、Δｚ（およそ２ｍｍ）内にあるように拘束される。最も近い隣接点は、以前の処置中に取得される食道における領域の対応する最良のマッチング画像を与える。特に、生検部位の位置を含むようにタグ付けされた一致した画像は、見直しのためにより局所的な領域をＧＩ専門家に提供する。図７は、同期段階の結果を不満に思っている。ＩＣＰは、ベクトルｚに沿って回転に至るまで変形を見つけ出すが、探索空間はこの方向に沿って拘束されるので、最も近い隣接点の決定は、これによって影響を受けない。
【００８１】
本発明者らは、ＮＤＩ＼ｃｏｐｔｒｉｇｈｔ  Ａｕｒｏｒａ  ＥＭＴＳ（所与の作業量において０．５ｍｍの精度）を用いて、本発明の方法およびシステムに基づく実験を行った。
【００８２】
本発明の方法は、各組が４つの記録から成る、異なるブタに生体内での配列の３つの組で試験された。事前のマーキングが、生検部位を模擬するように２ｃｍごとにデュアルナイフを用いて食道に対して行われた。異なる時刻に行われる現実的な手術処置を複製するために、ＥＭ場エミッタが、各記録の前にランダムに再位置決めされた。予め説明されたステップは、基準としての第１の記録、および追跡して行う処置を模倣する３つの他の記録を使って行われた。アプローチの品質評価が、同期段階の出力を５人の専門家に提示することによって行われた。
【００８３】
図７に示されるように、２つの画像、すなわちライブストリームをインターベンションから評価するフレームを表示する１つの画像、および対応するマッチングフレームを予め記録されたインターベンションから表示する第２の画像が提示された。デュアルナイフによって行われたマーキングと基準として他の視認可能なランドマークとを用いて、専門家は、本発明者らのアプローチを用いて提示された一致した画像の妥当性および品質を評価した。それらの経験のフィードバックが定量化された。評価実験は、明らかに、本発明のシステムが模擬された生検部位を位置を再特定させるのに非常に有用であることを専門家が見出したことを示している。しかし、一致した画像が必ずしも理想的視点（図８、結果ａ、ｂ、およびｅ）を提供したわけではないことが示唆された。加えられた調査時に、発明者らは、２０個の最良の隣接点を考えることによって、最良の画像の選択が、最良の視点を受け入れるようにさらに精密にし得ることを認めた。図８は、これらのフレームのサンプルを示している。
【００８４】
このアプローチは、ＧＩ専門家に、より進んだガイダンスを既に提供しているが、フレーム選択は、これらの最良の隣接点に対して画像解析を行うことによってさらに改善され得る。
【００８５】
本発明の例示的な実用的な実施形態のこれまでの説明は、より詳細には、食道に対する適用にある。
【００８６】
次に、予め同様に示されているように、本発明の方法およびシステムは、既に探査された特定の場所において、他の管状の幾分変形可能な器官に可撓性内視鏡を迅速かつ正確に再位置決めまたは再配置するように使用され適用され得る。
【００８７】
これは、たとえば、非常に伸張性のあり変形可能であり、また決して形状が真っ直ぐでないことが知られている結腸の場合に当てはまる。
【００８８】
結腸のこの特定の特徴により、本発明の方法は、結腸の解剖について次の情報を考慮に入れる。すなわち、腹壁に取り付けられ、したがって基準ランドマークとして考慮され得る結腸の３つの部分が存在し、すなわち、右および左結腸曲、腸移行の盲腸である。これらの３つの部分は、医療専門家によって容易に認識されることができ、それらの位置は（以前のおよびその後の）探査中に記録されるので、この場合、以前の探査時の各中間軌道のサイズをその後の探査時の対応するものにマッピングすることができる。医療専門家（手術者）は、第１に、現在の探査時の３つの固定点に達し、コンピュータは、以前のおよびその後の探査時の各一致した部分の長さが同じ値を有するように、各部分の長さに対する比率を適用することによって３つの結腸部分を一致させる。次いで、医療専門家は、彼が関連部位に接近していることを本発明の方法が示すまで、内視鏡を僅かに移動することによって以前の探査中に注釈をつけられまたは記録された関連部位に達することができる。医療専門家が結腸において前方に移動させることによって本発明の方法を使用して標的に達しようとする場合に、本システムによって提供される情報は正確であり得ない可能性があることを強調することが重要である。実際、結腸の予測できない弾性変形が、主として、前進運動中に、ほとんど後退運動中ではなく起こることがよく知られている。
【００８９】
これは前述の明細書に由来するように、本発明は、全く単刀直入な方法およびシステムを提案しており、実時間（５０Ｈｚ〜１００Ｈｚでの軌跡マッチング）の作業が、手術室プロトコルに対して最小の変化で使用されることができ、オフラインステップの大半は、容易に自動化され得る。そのうえ、本システムは、時間的にスケーラブルなので、記録が、情報の損失なしでＧＩ専門家の間で共有され得る。最後に、本発明の方法は、画像の品質に依拠していないので、術間での比較について通常の内視鏡画像アーチファクトに対してロバストである。
【００９０】
本発明は、もちろん、本明細書において説明され提示された好ましい実施形態に限定されるものではなく、本発明の範囲を逸脱することなく、変更が行われることができ、または均等物が使用され得る。
【図１】
0006348130.tif 000002
【図２】
0006348130.tif 000003
【図３Ａ】
0006348130.tif 000004
【図３Ｂ】
0006348130.tif 000005
【図３Ｃ】
0006348130.tif 000006
【図４】
0006348130.tif 000007
【図５】
0006348130.tif 000008
【図６】
0006348130.tif 000009
【図７】
0006348130.tif 000010
【図８】
0006348130.tif 000011
【図９】
0006348130.tif 000012
【図１０Ａ】
0006348130.tif 000013
【図１０Ｂ】
0006348130.tif 000014