(57)【要約】  以下の諸工程を含む身体に対して対象を追跡するための方法：該身体の三次元モデルを準備する工程；該対象の三次元モデルを準備する工程；および該身体の該三次元モデルにおける該対象の位置を、該身体および該対象の三次元表面を繰返し測定するセンサに基いて追跡する工程。
2016512973.tif 000002
【特許請求の範囲】
【請求項１】
身体に対して対象を追跡するための方法であって、以下の工程：
該身体の三次元モデルを準備する工程；
該対象の三次元モデルを準備する工程；
該身体の三次元モデルにおける該対象の位置を、該身体および対象の三次元表面を繰返し測定するセンサに基いて追跡する工程
を含むことを特徴とする、前記方法。
【請求項２】
前記追跡工程が、前記身体および対象の三次元表面に対して、以下の工程：
該身体の三次元表面を検出し、かつ該身体および対象の三次元表面における該対象の三次元表面を検出する工程；
上記身体の三次元モデルにおける、該身体の検出された三次元表面の大まかな位置を決定する工程；および
該身体の三次元モデルにおける該身体の三次元表面の正確な位置を、該身体の検出された三次元表面および該身体の三次元モデルにより決定された該身体の表面に基く、反復アルゴリズムにより決定する工程、ここで該反復アルゴリズムは、該身体の三次元モデルにおける該身体の検出された3つの表面の大まかな位置に基いて開始され；および/または
以下の工程：
上記対象の三次元モデルにおける該対象の検出された三次元表面の大まかな位置を決定する工程；
該対象の三次元モデルにおける該対象の三次元表面の正確な位置を、該対象の検出された三次元表面および該対象の三次元モデルによって決定された該対象の表面に基く、反復アルゴリズムにより決定する工程、ここで該反復アルゴリズムは、該対象の三次元モデルにおける該対象の検出された3つの表面の大まかな位置に基いて開始され；
該対象の三次元モデルの座標から、該身体の三次元モデルの座標への変換を決定する工程を含む、請求項1記載の方法。
【請求項３】
前記対象の三次元モデルにおける前記対象の検出された三次元表面の前記大まかな位置が、該対象の三次元表面上で検出され、かつ該対象の三次元モデル内に印された少なくとも3つの同一平面上にない点に対応する、少なくとも3つの同一平面上にない点に基いて決定され；および/または
前記身体の三次元モデルにおける該身体の前記検出された三次元表面の前記大まかな位置が、該身体の三次元表面上で検出され、かつ該身体の三次元モデル内に印された少なくとも3つの同一平面上にない点に対応する、少なくとも3つの同一平面上にない点に基いて決定される、請求項2記載の方法。
【請求項４】
前記対象または身体の三次元表面上の前記少なくとも3つの同一平面上にない点が、該対象または身体上の局所解剖学的に異なる点に基いて検出される、請求項3記載の方法。
【請求項５】
前記局所解剖学的に異なる点が、前記対象または身体上に固定された、局所解剖学的に異なるマーカー上にある、請求項4記載の方法。
【請求項６】
前記局所解剖学的に異なる点が、前記身体または対象の局所解剖学的に異なる部分に基いて決定される、請求項4記載の方法。
【請求項７】
前記対象または身体の三次元表面上の前記少なくとも3つの同一平面上にない点が、ビデオカメラにより測定された該対象または身体上の光学的に異なる点に基いて検出され、該ビデオカメラが、該対象または身体の三次元表面上の点に対して、該ビデオカメラの各画素について既知の関係を有している、請求項3記載の方法。
【請求項８】
前記ビデオカメラが、前記三次元表面を測定するための前記センサと同一のハウジング内にある、請求項7記載の方法。
【請求項９】
前記対象または身体の三次元モデルにおける該対象または身体の三次元表面の前記正確な位置が、該対象または身体の前記検出された三次元表面のサブ表面および該対象または身体の三次元モデルによって決定されるその表面のサブ表面に基いて決定され、ここで該対象または身体の検出された三次元表面の該サブ表面が、該対象または身体の三次元表面上の前記少なくとも3つの点に基いて決定される、請求項3〜8の何れかに記載の方法。
【請求項１０】
前記センサが前記対象上に固定されている、請求項1〜9の何れかに記載の方法。
【請求項１１】
前記センサが前記身体上に固定されている、請求項1〜8に記載の方法。
【請求項１２】
前記センサが前記追跡ゾーン内に固定されている、請求項1〜8に記載の方法。
【請求項１３】
前記追跡工程が以下の工程：
前記センサによって前記三次元表面を測定する工程；
該測定された三次元表面内で、前記身体の少なくとも一つの三次元サブ表面および前記対象の少なくとも一つの三次元サブ表面を検出する工程；
該身体の少なくとも一つの三次元サブ表面および該対象の少なくとも一つの三次元サブ表面に基いて、該身体の三次元モデルにおける該対象の相対的な位置を計算する工程、
を含む、請求項1記載の方法。
【請求項１４】
前記相対的な位置を検出する工程が、前記身体の少なくとも一つの三次元サブ表面に基いて、前記センサの座標系における前記身体の三次元モデルの位置を決定し、および前記対象の少なくとも一つの三次元サブ表面に基いて、該センサの座標系における前記対象の三次元モデルの位置を決定することを含む、請求項13記載の方法。
【請求項１５】
前記身体の少なくとも一つの三次元サブ表面が、測定された前記身体の三次元表面の真のサブセットであり、および/または前記対象の少なくとも一つの三次元サブ表面が、測定された前記対象の三次元表面の真のサブセットである、請求項13または14記載の方法。
【請求項１６】
更に、前記身体および/または対象の位置を追跡するために、前記身体の三次元モデルおよび/または前記対象の三次元モデルにおける、少なくとも一つの点を規定する工程をも含み、ここで各点が、前記センサによって測定された前記三次元表面における点を検出することにより規定される、請求項1〜15の何れかに記載の方法。
【請求項１７】
各点が、徴候を示す事象を検出した時点における、前記センサにより測定された三次元表面におけるインジケータ手段の点を検出することによって規定される、請求項16記載の方法。
【請求項１８】
前記インジケータ手段が、手の一本の指であり、かつ徴候を示す事象が、該手のもう一つの指の予め決められた動きまたは位置である、請求項17記載の方法。
【請求項１９】
前記点が、前記対象および/または身体上に固定された既知の局所解剖学的マーカーを検出することにより、自動的に検出される、請求項16記載の方法。
【請求項２０】
前記点を、前記対象の三次元モデルに関連するデータベースから受取る、請求項16記載の方法。
【請求項２１】
前記対象の三次元モデルを準備する前記工程が、対象に関する記録されたモデルと、前記センサにより測定された前記三次元表面と比較する工程を含む、請求項1〜20の何れかに記載の方法。
【請求項２２】
前記対象の三次元モデルを準備する前記工程が、該対象上の識別子を検出し、かつ前記対象のモデルを、検出された該識別子に基いてローディングする工程を含む、請求項1〜21の何れかに記載の方法。
【請求項２３】
前記識別子が、前記センサによって検出される、局所解剖学的マーカーを含む、請求項22記載の方法。
【請求項２４】
前記識別子が、前記センサと共に共通のハウジング内に含まれている光学カメラによって検出される、光学カラーおよび/または光学パターンを含む、請求項22または23記載の方法。
【請求項２５】
前記対象の位置に基いて、前記身体の三次元モデルを表示する工程を含む、請求項1〜24の何れかに記載の方法。
【請求項２６】
前記対象の三次元モデルの異なる点を検索する工程を含み、ここで前記身体の三次元モデルが、該点に基いて表示される、請求項25記載の方法。
【請求項２７】
前記異なる点を通過する前記身体の三次元モデルに関する軸面、矢状面および前頭面の視野が表示される、請求項26記載の方法。
【請求項２８】
前記身体および対象の三次元的なレンダリングシーンが表示される、請求項25〜27の何れかに記載の方法。
【請求項２９】
前記センサのハウジングが、第二の追跡システムに対するマーカーを含み、かつ該第二の追跡システムが、該センサ上の該マーカーの前記位置を追跡する、請求項1〜28の何れかに記載の方法。
【請求項３０】
前記センサが、前記三次元表面の第一の視野を検出するための第一のセンサおよび該三次元表面の第二の視野を検出するための第二のセンサを含み、ここで該第一のセンサが、前記身体、前記対象および前記追跡スペースの一つに取付けられており、かつ該第二のセンサが、該身体、該対象および該追跡スペースの他の一つに取付けられている、請求項1〜29の何れかに記載の方法。
【請求項３１】
前記身体が、ヒトの身体またはヒト身体の一部である、請求項1〜30の何れかに記載の方法。
【請求項３２】
前記身体が、動物の身体または動物身体の一部である、請求項1〜31の何れかに記載の方法。
【請求項３３】
前記対象が、手術用器具である、請求項1〜32の何れかに記載の方法。
【請求項３４】
前記対象が、前記手術台、自動支持または保持デバイスおよび医療ロボットの少なくとも一つである、請求項1〜33の何れかに記載の方法。
【請求項３５】
前記対象が可視化デバイス、特に内視鏡、超音波プローブ、コンピュータ断層撮影スキャナ、X-線装置、ポジトロン放出断層撮影スキャナ、X-線透視装置、磁気共鳴画像診断装置または手術室用顕微鏡である、請求項1〜34の何れかに記載の方法。
【請求項３６】
前記センサが、イメージセンサを含む前記可視化デバイス上に固定されている、請求項35記載の方法。
【請求項３７】
前記身体の三次元モデルの少なくとも1つの点の前記位置が、前記センサによって測定された前記三次元表面に基いて、前記イメージセンサにより作り出されたイメージ内で決定される、請求項35または36記載の方法。
【請求項３８】
前記身体の三次元モデルを準備する前記工程が、該身体のデータを測定し、かつ該測定データに基いて該身体の三次元モデルを決定する工程を含む、請求項1〜37の何れかに記載の方法。
【請求項３９】
前記データが、コンピュータ断層撮影法、磁気共鳴画像診断法および超音波法の少なくとも一つにより測定される、請求項38記載の方法。
【請求項４０】
前記データが、前記三次元モデルにおける前記対象の相対的な位置を追跡する前に測定される、請求項38および39の何れかに記載の方法。
【請求項４１】
前記データが、前記三次元モデルにおける前記対象の相対的な位置を追跡している間に測定される、請求項38および39の何れかに記載の方法。
【請求項４２】
前記身体の三次元モデルを準備する前記工程が、メモリーまたはネットワークからの該三次元モデルを受取る工程を含む、請求項1〜43の何れかに記載の方法。
【請求項４３】
プロセッサ上で実行する際の、請求項1〜42の1項に記載の方法を実施するように構成された、一時的でないコンピュータプログラム。
【請求項４４】
前記身体の三次元モデルを記憶するための身体データ記憶装置；
前記対象の三次元モデルを記憶するための対象データ記憶装置；
該身体および対象の三次元表面を繰返し測定するためのセンサ；および
前記身体および対象の前記測定された三次元表面に基いて、該身体の三次元モデルにおける該対象の位置を追跡するための対象追跡器、
を含むことを特徴とする、追跡装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像誘導手術のための、身体に対して対象を追跡するための方法およびシステムに関する。
【背景技術】
【０００２】
目下のところ、主に赤外(IR)カメラを基本とする(US581105)および電磁追跡を基本とする(US8239001)手術ナビゲーションシステムがある。これらは、患者の解剖学的構造上に厳密に固定すべき特別に設計されたマーカーを必要とする。これらシステムに関する記録せおよび較正法は、貴重な術間時間を浪費する。これは、結果として有益な手術室(OR)および外科医の時間の喪失をもたらす。更に、手術ナビゲーションシステムは、該ORのかなりのスペースを占有し、また結果としてその病院は、これらシステムのために有益なORスペースを確保する必要がある。
【発明の概要】
【０００３】
本発明によれば、これらの目的は、添付した独立請求項に従う追跡装置および方法によって実現される。
添付した従属請求項は、本発明の更なる態様に関連する。
一態様において、本発明の追跡工程は、上記センサによって上記三次元表面を測定する工程；測定された該三次元表面内の上記身体の少なくとも一つの三次元表面および上記対象の少なくとも一つの三次元表面を検出する工程；および上記身体の三次元モデルにおける該身体の相対的な位置を、上記身体の少なくとも一つの三次元サブ表面および上記対象の少なくとも一つの三次元サブ表面に基いて計算する工程を含む。好ましくは、本態様において、該相対的な位置を計算する該工程は、該センサの座標系における該身体の三次元モデルの位置を、該身体の少なくとも一つの該三次元サブ表面に基いて決定する工程、および該センサの座標系における該対象の三次元モデルの位置を、該対象の少なくとも一つの該三次元サブ表面に基いて決定する工程を含む。
一態様において、上記センサは上記対象上に固定される。
一態様において、上記センサは上記身体上に固定される。
一態様において、上記センサは、上記追跡ゾーン内に、即ち上記身体または対象の動きに対して独立な第三の座標系に固定される。
【０００４】
一態様において、上記追跡工程は、上記センサにより上記三次元表面を測定する工程；上記身体の少なくとも一つの三次元サブ表面を検出する工程；および該身体の少なくとも一つの三次元サブ表面に基いて、上記身体の三次元モデルにおける上記対象の相対的な位置を計算する工程を含み、ここで該センサは該対象上に固定されている。この態様において、好ましくは、該相対的な位置を計算する工程は、該身体の少なくとも一つの三次元サブ表面に基いて、該センサの座標系における該身体の三次元モデルの位置を決定することを含む。
一態様において、上記追跡工程は、上記センサにより上記三次元表面を測定する工程；上記対象の少なくとも一つの三次元サブ表面を検出する工程；および上記身体の少なくとも一つの三次元サブ表面に基いて、該身体の上記三次元モデルにおける該対象の相対的な位置を計算する工程を含み、ここで該センサは該対象上に固定されている。この態様において、好ましくは、該相対的な位置を計算する工程は、上記対象の少なくとも一つの三次元サブ表面に基いて、上記センサの座標系における上記対象の三次元モデルの位置を決定することを含む。
一態様において、上記身体の少なくとも一つの三次元サブ表面は、測定された上記身体の少なくとも一つの三次元表面の真のサブセットであり、および/または上記対象の少なくとも一つの三次元サブ表面は、測定された上記対象の三次元表面の真のサブセットである。
一態様において、上記身体および/または対象の上記少なくとも一つの三次元サブ表面の少なくとも一つは、該身体および/または対象に固定された局所解剖学的マーカーである。
【０００５】
一態様において、上記身体および/または対象の少なくとも一つの三次元サブ表面は、更に上記センサと共に共通のハウジング内に含まれている光学カメラにより検出される。
一態様において、少なくとも一つのカラーまたはパターンマーカーが、上記身体および/または対象の少なくとも一つの三次元サブ表面各々の領域内に固定されており、また上記光学カメラは、該少なくとも一つのカラーまたはパターンマーカーを検出する。
一態様において、上記方法は、上記身体の三次元モデルおよび/または上記対象の三次元モデルにおける少なくとも一つの点を規定する工程、および上記測定された三次元表面内の上記規定された少なくとも一つの点に対応する、該身体および/または対象の少なくとも一つの三次元サブ表面を検出する更なる工程をも含む。
一態様において、上記方法は、上記身体の三次元モデルおよび/または上記対象の三次元モデルにおける少なくとも一つの点を、該身体および/または対象の上記位置を追跡するために規定する、更なる工程をも含む。
一態様において、各点は、上記センサにより測定された上記三次元表面内の点を検出することによって規定される。
一態様において、各点は、徴候を示す事象の検出時点における、上記センサによって測定された上記三次元表面内のインジケータ手段の点を検出することにより規定される。好ましくは、該インジケータ手段は手の1本の指であり、かつ徴候を示す事象は、手のもう一つの指の予め決められた動きまたは位置である。
【０００６】
一態様において、上記点は、上記対象上におよび/または上記身体上に固定された既知の局所解剖学的マーカーを検出することにより、自動的に検出される。
一態様において、上記点は、上記対象の三次元モデルに関連するデータベースから受取られる。
一態様において、各点は、上記センサと共に共通のハウジング内に含まれているカメラによって検出された、光学カラーおよび/または光学パターンを検出することにより規定される。
一態様において、上記対象の三次元モデルを準備する上記工程は、対象の記録されたモデルと、上記センサにより測定された上記三次元表面とを比較する工程を含む。
一態様において、上記対象の三次元モデルを準備する上記工程は、該対象上の識別子を検出し、かつ該検出された識別子に基いて、該対象のモデルをローディングする工程を含む。
一態様において、上記識別子は上記センサによって検出される局所解剖学的マーカーを含む。
一態様において、上記識別子は、上記センサと共に共通のハウジング内に含まれている光学カメラによって検出される、光学カラーおよび/または光学パターンを含む。
一態様において、上記方法は、上記対象の位置に基いて、上記身体の三次元モデルを表示する工程を含む。
一態様において、上記方法は、上記対象の三次元モデルの異なる点を検索する工程を含み、上記身体の三次元モデルが該点に基いて表示される。
【０００７】
一態様において、上記異なる点を通過する上記身体の三次元モデルに関する軸面、矢状面および前頭面の視野が表示される。
一態様において、上記身体および対象の三次元的なレンダリングシーンが表示される。
一態様において、上記センサのハウジングは第二の追跡システム用のマーカーを含み、かつ該第二の追跡システムは、該センサ上の該マーカーの位置を追跡する。
一態様において、上記センサは、第一のセンサおよび第二のセンサを含み、該第一のセンサは、上記身体、上記対象および上記追跡スペースの一つに取付けられており、かつ該第二のセンサは、該身体、該対象および該追跡スペースの他の一つに取付けられている。
一態様において、上記身体はヒトの身体またはヒト身体の一部である。
一態様において、上記身体は動物の身体または動物身体の一部である
一態様において、上記対象は手術用器具である。
一態様において、上記対象は上記手術台、自動支持または保持デバイスおよび医療ロボットの少なくとも一つである。
一態様において、上記対象は可視化デバイス、特に内視鏡、超音波プローブ、コンピュータ断層撮影スキャナ、X-線装置、ポジトロン放出断層撮影スキャナ、X-線透視装置、磁気共鳴画像診断装置または手術室用顕微鏡である。
一態様において、上記センサは、イメージセンサを含む上記可視化デバイス上に固定されている。
【０００８】
一態様において、上記身体の三次元モデルの少なくとも1つの点の位置は、上記センサによって測定された上記三次元表面に基いて、上記イメージセンサにより作り出されたイメージ内で決定される。
一態様において、上記身体の三次元モデルを準備する上記工程は、該身体のデータを測定し、かつ該測定データに基いて該身体の三次元モデルを決定する工程を含む。
一態様において、上記データは、コンピュータ断層撮影法、磁気共鳴画像診断法および超音波法の少なくとも一つにより測定される。
一態様において、上記データは、上記三次元モデルにおける上記対象の相対的な位置を追跡する前に測定される。
一態様において、上記データは、上記三次元モデルにおける上記対象の相対的な位置を追跡している間に測定される。
一態様において、上記身体の三次元モデルを準備する上記工程は、メモリーまたはネットワークから該三次元モデルを受取る工程を含む。
本発明は、例として与えられ、また添付図により図解される態様に関する説明の助けにより、より良く理解されるであろう。該図面は以下の通りである：
【図面の簡単な説明】
【０００９】
【図１】図1は、追跡法の一態様を示す；
【図２】図2は、マーカーを含まない追跡装置の一態様を示す；
【図３】図3は、マーカーを含まない追跡法の一態様を示す；
【図４】図4は、該身体の3Dモデルに対して、該身体の3D表面メッシュを記録するための方法の一態様を示す；
【図５】図5は、該身体の固定手段を用いた、追跡装置および追跡法の一態様を示す；
【図６】図6は、開放膝手術のための追跡装置および追跡法に関する一態様を示す；
【図７】図7は、光学マーカーを備えた追跡装置に関する一態様を示す；
【図８】図8は、光学マーカーを備えた追跡法に関する一態様を示す；
【図９】図9は、光学マーカーを備えた追跡法に関する一態様を示す；
【図１０】図10は、典型的な光学マーカーを示す；
【図１１】図11は、コードにより器具を確認するための方法を示す；
【図１２】図12は、コードを備えた器具を示す；
【図１３】図13は、コードを備えた器具を示す；
【図１４】図14は、コードを備えた頭部を示す；
【図１５】図15は、コードを備えた膝を示す；
【図１６】図16は、該身体に取付けられた、局所解剖学的にコード化されたマーカーを用いた、追跡装置に関する一態様を示す；
【図１７】図17は、親指の動き/ジェスチャーによる、該3D表面メッシュにおける点および線を選択するための方法を示す；
【図１８】図18は、親指の動き/ジェスチャーによる、該3D表面メッシュにおける点および線を選択するための方法を示す；
【図１９】図19は、親指の動き/ジェスチャーによる、該3D表面メッシュにおける点および栓を選択するための方法を示す；
【図２０】図20は、親指の動き/ジェスチャーによる、該3D表面メッシュにおける点および線を選択するための方法を示す；
【図２１】図21は、局所解剖学的にコード化されたマーカーを用いた追跡法に関する一態様を示す；
【図２２】図22は、局所解剖学的にコード化されたマーカーに関する一態様を示す；
【図２３】図23は、局所解剖学的にコード化されたマーカーに関する一態様を示す；
【図２４】図24は、該身体上に固定された局所解剖学的マーカーを用いた、該追跡装置および該追跡法の座標変換に関する一態様を示す；
【図２５】図25は、該身体上に取付けられている該3D表面メッシュ発生装置を備えた、該追跡装置に関する一態様を示す；
【図２６】図26は、該身体上に取付けられている該3D表面メッシュ発生装置を備えた、該追跡装置に関する一態様を示す；
【図２７】図27は、該対象上に取付けられている該3D表面メッシュ発生装置を備えた、該追跡装置に関する一態様を示す；
【図２８】図28は、追跡に適している該頭部上のゾーンを示す；
【図２９】図29は、該器具の上に取付けられた該3D表面メッシュ発生装置を用いた、追跡法に関する一態様を示す；
【図３０】図30は、該器具の上に取付けられた該3D表面メッシュ発生装置を用いた、該追跡装置および追跡法の座標変換に関する一態様を示す；
【図３１】図31は、2つの3D表面発生装置を用いる、追跡装置に関する一態様を示す；
【図３２】図32は、該器具の上に取付けられた該3D表面メッシュ発生装置を備えている、追跡装置に関する一態様を示す；
【図３３】図33は、3D表面メッシュ追跡とIR追跡とを組み合わせた、追跡装置に関する一態様を示す；
【図３４】図34は、3D表面メッシュ追跡と電磁追跡とを組み合わせた、追跡装置に関する一態様を示す；および
【図３５】図35は、該コントローラの一態様を示す。
【発明を実施するための形態】
【００１０】
本発明の提案したナビゲーションシステムは、利用し得る場合には、該患者の自然発生的な局所解剖学的に異なる領域を用いて、該患者の座標を設定する(例えば、図2参照)。あるいはまた、小さな局所解剖学的にコード化されるマーカーを、該患者の解剖学的構造に固定して、該座標系を設定することもできる(図16)。しかし、該解剖学的構造に対して該局所解剖学的にコード化されるマーカーを厳密に固定する必要はない。というのは、該マーカーと解剖学的構造との間の変換は、任意の相対的な動きを検出した後に、容易に更新することができるからである。これらの局所解剖学的にコード化されるマーカーおよびコード化される外科用ポインタは、オフザシェルフ(off-the-shelf)3Dプリンタを用いて容易に印刷することができる。このシステムは小型であるから、これを直接該患者上にまたは外科用器具上に取付けることができ、結果としてスペースが節約され、また他のシステム等との視野方向(line-of-sight)の維持に関する問題を減じる。これらの準備段階の多くは、自動化することができ、そのために有益なORおよび外科医師の時間を節減することができる。
【００１１】
図1は、本発明の追跡法の一態様に関する諸工程を示す。第一工程においては、手術野の3D表面メッシュが、実時間で作り出される。第二工程においては、その関連する領域の表面メッシュがセグメント化される。該関連領域は該身体の領域および該対象の領域であり、該対象はここでは器具である。第三工程においては、該セグメント化された表面が、術前画像(例えば、CT、MRI、超音波)から、術前に作り出されたその各3Dモデルに対して、即ち該身体の3Dレンダリングモデルに対して、および使用した該器具のCADモデルに対して記録される。第四工程においては、器具先端と該術前画像ボリューム(image volume)との間の変換が、該表面の各モデルに対するその記録に基いて設定される。第五工程においては、患者に対して記録された術前データに対する該器具先端の相対的な位置が、局所解剖学的にコード化された(自然のまたはマーカー)領域を追跡することにより、実時間で更新される。第六工程においては、該器具先端が、ナビゲーションのために該術前画像上に重ねられる。
図2は、身体に対して対象を追跡するための上記追跡装置に関する第一の態様を示すものであり、該装置は、マーカーレスナビゲーションを可能とする。上記表面は、該患者または器具上に如何なるマーカーをも固定することなしに同定され、記録され、また追跡される。
上記身体は、一態様においては、ヒトの身体である。この身体という用語は、完全な身体のみならず、その頭部、鼻、膝、肩等のような該身体の個々のサブパーツ(sub-parts)をも含むものとする。上記対象は該身体に対して相対的に動き、また本発明の目標は、経時に伴う該身体に相対的な該対象の三次元的な位置を追跡することにある。これは、該身体に対して相対的な該対象の向きおよび動きに関する情報を与えてくれる。
【００１２】
上記対象は、一態様においては、手術用器具である。図2において、該対象はポインタ-131である。あるいはまた、該対象は上記身体または更なる身体の一部、例えば外科医の手であってもよい。しかし、該対象は、該身体に対して相対的に動いている他の何物かであり得る。この対象という用語は、完全な対象のみならず、該対象のサブパーツをも含むものとする。
上記追跡装置は、3D表面メッシュ発生装置122、123；ビデオカメラ124；コントローラ101；出力手段102；および入力手段(図示せず)を含む。
3D表面メッシュ発生装置122、123は、実時間で3D表面メッシュ発生装置122、123の視野内の、任意の対象または身体の三次元表面を測定するように構成されている。得られる該測定された3D表面メッシュは、接続107によってコントローラ101に送られる。一態様において、該三次元表面は、飛行時間(time-of-flight)測定によって測定される。
【００１３】
ビデオカメラ124は、時間の経過に伴う画像データを測定し、また該画像データを接続107によってコントローラ101に送る。この態様において、ビデオカメラ124の視野は、実際のカラー情報を該測定された3D表面メッシュに加え得るように、3D表面メッシュ発生装置122、123の視野と同一である。もう一つの態様において、ビデオカメラ124および3D表面メッシュ発生装置122、123の視野は異なっており、また測定された該3D表面メッシュに関連するこれら画像情報のみを、後に使用することができる。ビデオカメラ124は、本発明にとって随意でありかつ必須のものではないが、測定された該3D表面メッシュの画素に関する実際のカラー情報を付加するという利点を持つ。本態様において、ビデオカメラ124および3D表面メッシュ発生装置122、123は、同一のハウジング121内に配列され、これらの光学軸間に決められた関係を有している。この態様において、ビデオカメラ124および3D表面メッシュ発生装置122、123の該光学軸は、同一の視野を持つために、相互に平行となっている。ビデオカメラ124は、本態様における該追跡のために必須ではない。というのは、如何なる光学マーカーも検出されないからである。しかし、ビデオカメラ124は、該3D表面メッシュのカラーを表示するために使用することができる。
コントローラ101は、本発明の追跡装置を制御する。本態様において、コントローラ101は、ケーブル107を介してハウジング121、即ちビデオカメラ124および3D表面メッシュ発生装置122、123と接続されている、パーソナルコンピュータである。しかし、コントローラ101は、小型集積回路、この追跡装置のみを制御するための特別な装置、タブレット等であってもよい。本態様において、コントローラ101は、ハウジング121とは別のハウジング内に配列される。しかし、コントローラ101を、ハウジング121内に配列することもできる。
【００１４】
図35は、コントローラ101の機能的設計を概略的に示す。コントローラ101は、3D身体データ入力手段201、3D対象データ入力手段202、3D表面メッシュ入力手段203、ビデオデータ入力手段204、較正手段205、身体表面セグメントセレクタ206、対象表面セグメントセレクタ207、表面セグメント追跡器208、対象追跡器209および出力インタフェース210を含む。
3D身体データ入力手段201は、3D身体データを受け取り、かつこれら3D身体データに基いて3D身体モデルを作り出すように構成されている。一態様において、該3D身体モデルは、ボクセルモデルである。一態様において、該3D身体データは、例えば磁気共鳴断層撮影デバイスまたはコンピュータ断層撮影デバイス等の如き任意の3D撮像デバイスからの3D撮像データである。後者の態様において、3D身体データ入力手段201は、これらの画像データに基いて該3Dモデルを作り出すよう構成されている。もう一つの態様において、3D身体データ入力手段201は、該身体の3Dモデルに関するデータを直接受け取る。
3D対象データ入力手段201は、3D対象データを受け取り、かつこれら3D身体データに基いて3D身体モデルを作り出すように構成されている。一態様において、該3D対象モデルはCADモデルである。一態様において、該3D対象データは3D測定データである。もう一つの態様において、3D対象データ入力手段201は、該対象の3Dモデルに関するデータを直接受け取る。該3Dモデルは、好ましくはボクセルモデルである。
【００１５】
3D表面メッシュ入力手段203は、実時間で3D表面メッシュ発生装置122、123からの上記3D表面メッシュデータを受取るようになっている。ビデオデータ入力手段204は、実時間でビデオカメラ124のビデオデータを受取るように構成されている。
較正手段205は、ビデオカメラ124を較正して、そのイメージセンサの固有パラメータを得るように作られている。これらのパラメータは、現実世界の対象のイメージからその正確な測定値を得るのに必要である。122-123と124とを相互に記録することにより、3D表面メッシュ発生装置122、123によって発生された表面メッシュのボクセル間の、ビデオカメラ124により作り出された画素に対する関係を確立することが可能となる。
身体表面セグメントセレクタ206は、該身体表面上の複数の点を選択するように作られている。一態様において、4個またはそれ以上の点が、該身体の向きの安定な追跡のために選択される。これらの点は、この点の周りのその表面トポグラフィーが、測定された該3D表面メッシュにおいて検出されるために特徴的であり、かつ良好であるように選択すべきである。例えば、鼻、耳、口等を選択することができる。身体表面セグメントセレクタ206は、更に該選択された点を該身体の3Dモデルに記録するように構成されている。
【００１６】
対象表面セグメントセレクタ207は、上記対象の表面上に複数の点を選択するように構成されている。一態様において、4個またはそれ以上の点が、該対象の向きの安定な追跡のために選択される。これらの点は、この点の周りのその表面トポグラフィーが、測定された該3D表面メッシュにおいて検出されるために独特であり、かつ良好であるように選択すべきである。例えば、器具の先端および該器具により形成される特別な局所解剖学的マーカーが、対象の点として使用し得る。対象表面セグメントセレクタ207は、更に該対象の3Dモデルに対して該選択された点を記録するように構成されている。
表面セグメント追跡器208は、3D表面メッシュ発生装置122、123から受取った上記表面メッシュにおける上記身体の複数の点および上記対象の複数の点を追跡するように構成されている。該追跡は、これら点の周りの2組の点または2組のセグメント領域に減じられるので、該追跡は実時間で効率的に行うことができる。
対象追跡器209は、上記対象の複数の点に相対的な、上記身体の複数の点の位置に基いて、該身体に対して相対的な該対象の3D位置を計算するように構成されている。
【００１７】
出力インタフェース210は、上記身体の3Dモデルにおける該身体に対する上記対象の相対的な位置を示す、表示シグナルを作り出すように構成されている。これは、該身体に相対的な該対象の3D位置と共3D画像を示す該表示シグナルによって実現し得る。一態様において、該身体の表面は、上記ビデオカメラのカラー情報を用いて組織化する(textured)ことができ、ここで該表面メッシュは、該ビデオカメラの視野内にある(また3D障害物の陰影内ではない)。あるいはまた、もしくは該3Dイメージに付加的に、これは、該対象の1点により決定される該3Dモデルの交点を示すことにより実現し得る。一態様において、該交点を決定するこの点は、上記器具の先端である。一態様において、該交点は該対象により決定された該1点を通して該3Dモデルの3つの直交する交点であり、好ましくは軸面、矢状面および前頭面の交点である。もう一つの態様において、該交点は、該対象の1点および1つの向きにより決定し得る。
上記追跡装置は、更に上記表示シグナルを表示するためのディスプレイ手段102をも含む。図2において、該表示シグナルは、上記身体および対象に関する、上述の3つの交点および3Dイメージを示す。
図2において、上記対象は、上記表面メッシュ発生カメラによって該対象を容易く追跡するための、一体化されたかつ特有な局所解剖学的特徴を持つように設計されたポインタ131である。ポインタ131の先端は、上記術前画像データの軸面103、矢状面104および前頭面105の視野に関するモニタ102上のマーカー109として表示される。これは、また患者の術前データに関する3Dレンダリングシーン106上にも表示される。
【００１８】
図3は、図2における態様の機能化に関与する諸工程を説明する。工程613、617および620は、この全ナビゲーションシステムを自動化するために、自動的な工程により置換えることができる。テンプレートベースの点群識別アルゴリズム(template based point cloud identification algorithm)は、該自動化のための工程に含めることができる。
工程618においては、コンピュータ断層撮影法、磁気共鳴、超音波、その他等の術前画像データを得または測定することができ、また上記身体の3Dモデルが作り出される。工程619においては、外科表面(surgical surface)の3Dモデルが、該術前画像データに基いて計算される。工程620においては、該身体の3Dモデル上に4つの点が選択され、そこには該身体の座標系を作り出すために、独特な局所解剖学的な特徴がある。工程621においては、これら点を囲む該表面のパッチが抽出され、これらは該3D表面メッシュの将来のフレーム(future frames)においてこれらの点を検出するための、独特の局所解剖学的特徴を含んでいる。あるいはまた、これらの点は該3D表面メッシュ上で選択することもできる。
工程611において、上記ポインタの3Dモデルは、そのCADモデルにより得られる。工程612において、上記器具先端の位置は、手動選択により、該モデル内に記録される。あるいはまた、この工程は、該器具先端が、既に上記対象のCADモデル内に記録されている場合には、自動的に行うことも可能である。工程613において、該対象の3Dモデル表面上の4つの点が選択され、そこには独特の局所解剖学的特徴が存在する。工程614において、これら点を囲む表面のパッチが抽出され、これらは該独特の局所解剖学的特徴を含んでいる。
【００１９】
これらの工程611〜615および618〜621は、上記追跡工程に先立って実行される。上記諸工程616〜617および622〜624は、実時間で実行される。
工程615においては、3D表面メッシュ発生装置122、123が設置され、結果として外科部位は、その視野(FOV)内にある。工程616においては、該手術野における表面が、3D表面メッシュ発生装置122、123により発生され、またコントローラ101に送られる。工程617において、工程620および613において選択された上記特定の点は、本発明の追跡工程を開始するために、大まかに選択される。これは、手作業でまたは自動的に実行し得る。
工程622において、工程620および613において決定された表面のパッチは、上記3D表面メッシュ上のその対応する表面に対して記録される。
工程623において、手術野における表面は、3D表面メッシュ発生装置122、123により発生され、またコントローラ101に送られ、そしてまた該表面のパッチは該3D表面メッシュにおいて追跡され、そしてこれらパッチの記録は、上記身体の3Dモデルにおいて更新される。工程623は、連続的におよび実時間で実行される。
工程624において、上記器具先端は、上記対象の4つの座標に相対的な、上記身体の4つの点の座標に基いて、術前画像ボリューム(該身体の3Dモデル)に変換され、結果として該身体の3Dモデルにおける該器具先端の位置が実現される。
【００２０】
図4は、上記3D表面メッシュが如何にして上記身体の3Dモデルに関して記録し得るか、即ち3D表面メッシュ発生装置122、123の座標系において、該身体の3D表面メッシュの座標が如何にして該身体の3Dモデルの座標に変換され得るかを示している。工程1.31においては、表面メッシュが、手術野から作り出される。工程1.32においては、該身体の関連するメッシュがセグメント化される。工程1.33においては、該身体の座標系が、一つの局所解剖学的に異なる領域を選択することにより設定される。この局所解剖学的に異なる領域上の4つの点が、この系の座標系を規定する。このような領域は、鼻、歯等であり得る。工程1.34においては、術前CT/MRIからの該3Dモデルが、該設定された座標系の座標に対して記録される。好ましくは、これは、先ず、該身体の3Dモデル表面における、該3D表面メッシュの座標系の該4つの点を同定することにより実行される。これは、該3Dモデル上の該3D表面メッシュの近似的な位置を与える。これは、ペアードポイントベース(paired point based)の記録によって実現し得る。第二の段階において、該身体の3Dモデルにおける該身体の3D表面メッシュの正確な位置は、該3D表面メッシュおよび該身体の3Dモデルの該身体表面を基にして決定される。これは、該身体の3D表面メッシュの点群および該身体の3Dモデル表面の点群に関する反復最近点アルゴリズム(iterative closest point algorithm)によって実行し得る。工程1.35においては、該局所解剖学的に異なる領域が連続的に追跡され、また座標が、該3D表面メッシュ発生装置の次のフレームに対して、工程1.34を繰返すことにより更新される。工程1.36では、該更新された座標が、上記ナビゲーションサポートに対して使用される。該対象のCADモデルにおける該対象の3D表面メッシュの正確な位置を検出するための工程は、図4の工程に対応する。
【００２１】
図5は、器具802の相対的な位置を追跡するために身体801に属する固定位置にある、局所解剖学的なマーカー809を用いる、追跡装置を示す。この図示された態様において、該身体は、患者の頭部である。頭部801は、固定手段809によって手術のために固定されており、該手段は該頭部を、例えば手術台808に固定する。頭部801は固定手段809に関して固定された関係にあるので、該固定手段の局所解剖学的特徴は、同様に、該身体の局所解剖学的特徴の代わりに、該3D表面メッシュにおける該身体の位置および向きを決定するためにも使用することができる。
【００２２】
工程812においては、手術野からの関連する表面のメッシュが、その相対的な位置と共に作り出される。工程814においては、術前画像データが測定されまたは受取られ、また工程815では、3Dモデルが、これらの術前画像データに基いて作り出される。工程816では、ここにおいては頭部である、3D表面メッシュ発生装置122、123によって作り出された該身体のメッシュが、工程815において作り出された該身体の3Dモデルと共に記録される。これは、前の態様について説明されたように、該3Dモデル内の、かつ該身体の3Dモデル内の該3D表面メッシュに関する近似的な位置に対する表面上の少なくとも3つの同一平面上にない点を選択することにより実現し得る。次いで、該正確な位置は、出発点として該近似的な位置を用いた反復アルゴリズムによって検出される。工程817においては、該固定手段の3D表面メッシュまたはその別の部分(ここでは2で示されている)が、該固定手段の3D表面メッシュに相対的な該身体の3D表面メッシュの位置に基いて、該身体の3Dモデルに記録される。好ましくは、該固定手段のCADモデルが与えられる。該固定手段の3D表面メッシュは、該固定手段のCADモデルを用いて記録される。これは、該身体表面の該身体の3Dモデルに対する記録と同様に行うことができる。そのように、該CADモデルから3D表面メッシュ発生装置122、123の座標への変換は、既知となる。該身体および固定手段を該3D表面メッシュ座標に変換したことにより、該固定手段と比較した該身体の固定された位置が既知のものとなる。工程818において、器具802の3D表面メッシュは、上記CADモデルに対して記録される。工程819において、器具802の器具先端は、上記術前画像ボリューム(該身体の3Dモデル)を用いて記録される。工程810において、該固定手段および該器具の3D表面メッシュが、実時間で追跡される。工程810においては、該固定手段の3Dモデルにおける該手段の3D表面の位置設定(これは該身体の3Dモデルに対して既知の関係を持つ)および該対象のCADモデルにおける対象表面の位置設定が、定期的に行われる。前に説明したように、該位置を決定するためには、先ず上記近似的な位置を、制限された数の位置に定め、正確な位置を、反復アルゴリズムを利用することにより、多数の位置に基いて決定する。この追跡の結果に基いて、工程812では、該術前画像データのイメージが、器具802の先端に基いて示される。該身体と該固定手段との間の固定化された関係のために、該追跡は、該局所解剖学的に異なる固定手段まで減じることができる。工程814〜819は、該追跡法を開始するためにのみ実施される。しかし、該身体の位置が該固定手段に関して変化するか否かを検出することができる。この場合、このような位置変化が検出され、工程816および817は、該固定手段に対する該身体の新たな位置を新しくするために、更新することができる。
【００２３】
工程816、817および818は、自動化されたまたはほぼ手作業の選択の何れかであり得、引続きペアードポイントベースの記録を行うことができる。一旦手作業で開始されたこれらの工程は、次のサイクルにおいて、前のサイクルにおけるこれらメッシュのアプリオリな位置情報を利用して、該表面を連続的に追跡することにより自動化することができる。
図6は、マーカーレス追跡装置および追跡手順が、骨の切断をナビゲートするために、膝の手術に対して使用される。図6は、開放膝手術(open knee surgery)中に露呈される、大腿骨433の関節表面および脛骨434の関節表面を示す。表面メッシュ発生装置121(ここでは、ビデオカメラ124なし)は、大腿骨433の関節表面および手術用鋸955の3D表面メッシュを表現しており、該手術用鋸の端部は、該骨を切断する目的でナビゲートされる必要がある。ナビゲーションを与えるために含まれる工程が、図6において求められている。工程1.51および1.52においては、該大腿骨関節および該器具の3D表面メッシュを、表面メッシュ発生装置121によって取込み、かつ上記コントローラに送る。該大腿骨関節の3D表面メッシュを、工程1.54において該3Dモデルに対して記録し、該器具の3D表面メッシュを、工程1.53において該器具のCADモデルに対して記録する。工程1.55において、該器具端部と上記術前画像ボリュームとの間の変換は、該器具の表面メッシュと大腿骨表面メッシュとの間の相対的な3D位置に基いて計算される。工程1.56において、該器具端部は、ナビゲーションのために該術前画像内に示される。
【００２４】
図7は、2Dマーカーと関連付けられる第二の態様に従う追跡装置を示す。一例として、頭部の周りの外科手術(耳、鼻および咽喉の外科手術、顎顔面手術、歯科手術および神経外科手術)が示されている。3D表面メッシュ発生装置122、123およびビデオカメラ124を含むデバイス121が、該手術野から関連する表面を作り出すために使用される。術前的に、該ビデオカメラ(124)および3D表面メッシュ発生装置(122、123)のセンサが較正され、かつ記録される。外科手術に先立って、患者は着色されたマーカー111、112、113、114を使って固定される。これらのマーカーは、カラーに基くセグメント化によりビデオ画像内で容易にセグメント化し得る。これらマーカーは、それらの中心が該セグメント化されたイメージ内で容易に計算できるように設計される(例えば、バイナリ―イメージ内でその重心を見積もる)。該個々のマーカーは、122-123により作り出された対応する表面メッシュ領域におけるその特定のサイズおよび形状に基いて確認し得る。該マーカーを個々に確認することは、該患者の上に座標系を自動的に設定するために、これらマーカー間の表面メッシュを抽出する上で役立つであろう。該座標系は、上記4つのカラーマーカーに基いて、または該4つのカラーマーカーに基いて決定される該3D表面メッシュ上の4つの点に基いてのみ決定することができる。第二の段階において、該身体の3Dモデル上の該3D表面メッシュの正確な位置は、該身体の表面メッシュおよび該3Dモデルの表面に基いて計算される。該3D表面メッシュの近似的な位置のために、この第二の段階は、実時間で実行することができる。また、ポインタ131は該ビデオ画像におけるそのセグメント化を助け、またその表面メッシュを得るために、着色されたマーカー132、133、134を備えている。各カラーマーカーの中心点が正確でなかったとしても、それは、該CADモデルにおける該器具の近似的な位置を決定するのに十分である。これは、また該ポインタ上に座標系を自動的に設定する上で役立つであろう。ポインタ135の先端は、該術前画像データの軸面103、矢状面104、前頭面105の視野に渡る、モニタ102上のマーカー109として表示される。これは、また該患者の術前データの3Dレンダリングシーン106上にも表示される。
【００２５】
図7に示された追跡装置の追跡法に関する諸工程は、図8に示されている。工程151においては、3D表面メッシュ発生装置122、123および上記ビデオカメラが較正され、また該較正データは、ビデオカメラ124により撮影されたカラーポイントを、該3D表面メッシュの点に関連付けるために記録される。工程152において、カラーマーカー111、112、113、114は、外科手術に関連する表面上に張付けられ、その結果局所解剖学的に異なる領域は、マーカー111、112、113、114の中間にある。工程153において、該関連領域は、該カラーマーカーに基いて確認される。工程154においては、該身体の表面メッシュが得られる。工程155においては、該身体/患者Pの座標系が、該3D表面メッシュ上またはこれらの位置に基いて決定される位置上のカラーコード化領域の位置に基いて設定される。工程156においては、術前撮影を由来とする3Dモデルが、身体Pの座標系に対して記録される。該身体の3Dモデルにおける該身体の3D表面メッシュの正確な位置は、該身体の3D表面メッシュおよび該身体の3Dモデルからの3D表面に基いて計算される。該3Dモデルと該身体との間の変換は、工程157において更新される。換言すれば、3D表面メッシュ発生装置122、123から該3Dモデルへの変換が決定される。工程161においては、該ポインタの表面メッシュが、ビデオカメラ124から得られた該ポインタのカラー情報と共に、3D表面メッシュ発生装置122、123から得られる。該ポインタの座標系Tは、該3D表面メッシュ上のカラーコード132、133、134の位置に基いて、あるいは工程162においてこれらの位置に基いて決定される位置に基いて設定される。工程163において、ポインタ131のCADモデルは、二段階法によりポインタ131の表面メッシュに対して記録される。先ず、該座標系を規定する点、例えば上記カラーコードの位置は、上記対象の3Dモデルにおける該3D表面メッシュの近似的な位置に関する、該対象の3Dモデル内に見出される(例えば、ペアードポイントベースの記録による)。第二段階において、該正確な位置は、該器具の3D表面メッシュおよび該器具の3Dモデルからの該器具の表面に基いて決定される。工程164においては、該CADモデルとTとの間の変換が更新される。換言すれば、該CADモデルの座標系の3D表面メッシュ発生装置122、123の座標系への変換が決定される。工程165においては、該ポインタ先端が、該CADモデルから3D表面メッシュ発生装置122、123への変換および3D表面メッシュ発生装置122、123から該患者の3Dモデルへの変換を利用して、患者の座標へと変換される。工程158においては、工程157および164の変換が、実時間で更新される。工程159においては、該器具先端の位置が、該術前画像データに重ね合わされる。
【００２６】
図9は、カラーマーカーを用いる上記追跡法の諸工程を再度示す。工程181においては、着色されたマーカーが、上記身体上に付着される。工程182においては、マーカーが、上記ビデオ画像において着色に基く分割によってセグメント化される。工程183においては、該セグメント化されたカラーブロブの中心が得られる。工程184においては、上記3D表面メッシュにおける該ブロブ中心の対応する点が、その較正データに基いて実現される。工程184においては、これら点間の表面メッシュが得られる。工程188、189においては、該身体の3Dモデルが、術前撮影に基いて作り出される。工程190において、該3Dモデル上の点は、これらが該身体に付着されたマーカーの位置にほぼ対応するように選択される。工程194においては、これら点間に、該3Dモデルの3D表面メッシュが得られる。工程191では、該3Dモデル上の近似的な点および該カラーブロブの中心点に基いて、該身体の3Dモデルにおける該身体の3D表面メッシュの近似的な位置が決定される。好ましくは、これは、これら2つの点群の、ペアードポイントベースの記録によって行われる。工程192では、この近似的な位置に基いて、該身体の3D表面メッシュと該3Dモデルの3D表面との間の近似的な変換が得られる。工程193では、工程186における正確な位置/変換を決定するために、この近似的な変換またはこの近似的な位置が、反復アルゴリズムのスタート/開始点を決定するために用いられる。工程186においては、反復アルゴリズムが、上記近似的な位置に基いて工程193において決定された開始と共に、工程194および185の表面メッシュに基いて、該身体の3Dモデルにおける該身体の3D表面メッシュの正確な位置を見出すために使用される。好ましくは、この反復アルゴリズムは、反復最近点アルゴリズムである。工程187では、上記術前データが、該身体の3D表面メッシュに対して記録される。
【００２７】
同一の方法を、上記外科用ポインタのCADモデルを、その表面メッシュに対して記録するために、引続き行うことができる。
図4は、上記術前データを、3D局所解剖学的に異なる領域について上記患者に対して記録することを含む諸工程の詳細を示す。しかし、上記カラーポイントが、該異なる局所解剖学的領域の上記4つの点により置換えられる場合には、図9の工程も、3D局所解剖学的に異なる領域により、該患者に対して該術前データを記録するために使用し得る。同様な方法は、上記外科用ポインタのCADモデルを、3D局所解剖学的に異なる点を持つその表面メッシュに記録する工程を伴うことができる。
図10は、上記表面メッシュをセグメント化し、かつ記録するために、上記身体(患者の解剖学的構造)上で着色されたストリップを使用する可能性を示す。411および412は、該着色されたマーカーストリップであり、これらは該患者の皮膚に張付けることができる。同様に、ストリップを、また手術中に、露出した骨質の表面において使用し、該生成された表面メッシュに対して、その3Dモデルを記録するための座標系を設定することも可能である。
図11は、与えられた器具に関する各コンピュータ支援設計(CAD)モデルの自動的な確認を実行する方法を示す。該器具には、また確認のための正方形のタッグまたはバーコードを固定し得る。第一の段階において、該外科用器具は可視コード、例えばバーコードを備えており、これはデータベースにおける該器具のCADモデルと関連している。該器具は、3D表面メッシュ発生装置122、123により読取られ、また該器具の3D表面メッシュが生出される。同時に、該器具のビデオ画像が、ビデオカメラ124により生出される。該可視コードは、該ビデオ画像内でセグメント化され、かつ確認される。該確認されたビデオコードが読み出され、該関連するCADモデルがデータベースにおいて検索される。次に、該確認されたCADモデルは、該器具の表面メッシュに対して記録される。
【００２８】
図12は、バイナリ―コードを備えた正方形のマーカー301を持つ器具302を示す。該器具の端部における局所解剖学的なTは、上記3D表面メッシュにおける該器具の正確な位置の検出を容易にする。
図13において、器具304には、バーコード303が固定され、また該器具の局所解剖学的形状は異なっている。
図14および15はシナリオを示し、そこではバイナリ―コードを備えた正方形のマーカーが、該表面の記録を確認し、また初期化するために使用されている。これらのマーカーはビデオカメラ124によって確認され、かつ追跡される。正方形マーカー6Dの位置、即ち3D位置および向きの初期評価は、該ビデオ画像を処理することにより行われる。この情報は、該表面の記録を初期化するために使用される。該バイナリ―コードは、個々のマーカーに対して特異的である。この特異性は、記録すべき該表面を自動的に選択する上で役立つであろう。図14は、上記患者の前額部に付着された、正方形のバイナリ―コード化マーカーを示す。図15は、マーカーの使用を示しており、ここでは骨質の表面が露呈されている。マーカー431および432は、夫々大腿骨433および脛骨434に張付けられている。
【００２９】
図16は、局所解剖学的にコード化された3Dマーカーを用いた、追跡装置および追跡方法を示す。局所解剖学的にコード化されたマーカーを用いる、この提案されたナビゲーションシステムは、上記患者の解剖学的構造上に厳密に配置される。これは、例えば頭部周辺の外科手術におけるシナリオを図解するものである。局所解剖学的に異なる特徴を持つマーカー201は、これを固定するためのヘッドバンド202により該前額部上に配置される。該マーカーの3つのアームは、特有の表面記録を可能とするために、異なる長さのものとなっている。また、ポインタ131は、明確に確認し得る局所解剖学的特徴がその形状に組込まれるように設計される。この明確な表面の形状的特徴は、座標系の設定、その各3Dモデルの記録および追跡において役立つ。
図17は、外科医の手951、特に人差し指の先端を追跡し、および記録の誘因としての親指の内転ジェスチャー(adduction gesture)953を確認することにより、該患者の解剖学的構造に対する該3D表面の記録を開始するための方法を示す。例えば、該人差し指は、表面の点201a、201b、201cおよび201d上に配置でき、また記録は、親指の内転ジェスチャーにより誘発される。同様に、同一の種類の方法が、図18における点131a、131b、131cに該人差し指を配置することにより、ポインタ131の3Dモデルを実時間表面メッシュに対して、記録するために使用し得る。該先端は、図18に示されたものと同一の方法を利用して較正することができる。図19に示されたように、器具端部を記録するために、該先端を使用することもでき、ここでは人差し指が、端部956の一端に維持され、記録は、親指の内転動作により開始される。該人差し指は、該親指を内転した状態に保ちつつ、端部954上をゆっくりと滑り、該全端部を記録する。該人差し指が該端部の他端に到達した際に、この記録工程を終了させるために、親指を外転させる。図20は、骨の表面、例えば膝関節433の大腿骨関節表面が、同様な方法で記録される、もう一つの例を示す。
【００３０】
目に見えるようにコード化されたマーカーを、自動的な表面記録の初期化のために、上記コード化されたマーカーおよびポインタ上に張付けることができる。その6D情報は上記ビデオ画像を処理することにより得ることができる。これは、上記表面メッシュと上記3Dモデルとの間の記録を初期化する際に使用できる。
図21は、3D局所解剖学的マーカーを用いる本発明の追跡方法の諸工程を示す。工程3.51において、局所解剖学的にコード化されたマーカーは、外科手術にとって適切な上記身体の部分に対して相対的に余り動くことのない、患者の解剖学的構造上に、好ましくは一つの位置おいて固定される。この場合において、該局所解剖学的マーカーは、頭部頭蓋骨に比して、最小限のみの皮膚の移動を示す、前部に配置される。その座標系は、該身体の3Dモデルに記録される。これは、該身体の3Dモデルに該身体の3D表面を記録することにより行い得る(最小限の3点を選択し、近似的な位置を検出し、正確な位置を検出し、変換を決定する)。次いで、該局所解剖学的にコード化されたマーカーの3D表面を、そのCADモデル本体に記録する(最小限の3点を選択し、近似的な位置を検出し、正確な位置を検出し、変換を決定する)。該2つの決定された変換により、該局所解剖学的にコード化されたマーカーのCADモデルの正確な位置が、該身体の3Dモデルにおいて既知となる。結果として、該マーカーのCADモデルにおける該局所解剖学的にコード化されたマーカーの3D表面メッシュの位置のみを追跡できる(該マーカーの3D表面メッシュ上の、前に規定された少なくとも3つの点を検出し、近似的な位置を検出し、正確な位置を検出し、変換を決定する)。該マーカーは局所解剖学的に異なっているので、その位置の決定は、とりわけ明確な特徴のない領域においては、該身体の特徴よりも一層正確となり、また一層迅速となる。この態様は、図5の態様と類似している。また、該身体と該マーカーとの間の位置における変化を検出し、またこの位置を自動的に更新することも可能である。
【００３１】
図22は、図16および17にも示した如く、ヘッドバンドを用いて前額部上に固定された上記局所解剖学的にコード化されたマーカーのもう一つの図を示す。このマーカーを該解剖学的構造に厳密に固定する必要はない。というのは、該マーカーと該解剖学的表面との間の記録は、あらゆる相対的な動きに対して定期的に更新されかつ点検されるからである。これは、上記3D局所解剖学的マーカーにより決定された座標系が、該3Dモデルにおける3D表面メッシュの近似的な位置に対してのみ役立つからであり、該近似的な位置は、次に上記正確な位置を決定するために利用される。工程3.52および3.53においては、該身体および該局所解剖学的にコード化されたマーカーの3D表面メッシュが生成される。工程3.54においては、該局所解剖学的にコード化されたマーカーが検出された際に、該局所解剖学的にコード化されたマーカーに基いて該座標系が決定される。該座標系は、該局所解剖学的にコード化されたマーカーの4つの特徴的な点によって設定することができる。
図23は、使用することのできる局所解剖学的にコード化されたマーカーのもう一つの構想を示す。
【００３２】
図24は、局所解剖学的に異なるデザインを持つ局所解剖学的なマーカー201およびポインタ131を用いる、ナビゲーション機構に関連する様々な座標を示す。Pはマーカー201上の座標系であり、Oは3D表面メッシュ発生装置121上の座標系であり、Rはポインタ131上の座標系であり、Iは上記術前画像データに関する座標である。該ポインタの先端は、その表面メッシュをそのCAD 3Dモデルに対して旋回しまたは記録することにより、Rに記録される(ポインタの較正)。少なくとも4つの異なる点(G1)が画像データI内で選択され、結果としてこれらは該ポインタ先端を用いて、患者110上で容易に使うことができる。較正されたポインタ131を用いて、該患者上の対応する点(G2)を、マーカーPに対して記録する。G1とG2との間のペアードポイント(paired point)記録によって、近似的な変換T(P,I)が確立される。次いで、正確な変換T(P,I)が、既に前において説明されたような反復最近点アルゴリズムによって得られる。変換T(O,P)およびT(O,R)は、マーカーおよびポインタのCAD 3Dモデルを、これらの各メッシュ表面に対して記録することによって得られる。これは自動的に、または手作業で、該表面に基く記録の初期化および追跡により行うことができる。ナビゲーションのために、該ポインタ先端は、以下の式に従って該画像データ上に表示される。
K(I) = T(P,I)-1T(O,P)-1T(O,R)K(R)                      (E1)
ここで、K(R)はR座標における該ポインタの先端であり、またK(I)はイメージ座標Iにおけるその変換である。変換T(O,P)およびT(O,R)を連続的に更新することにより、また実時間で発生させた表面メッシュのどのフレームに対しても、ナビゲーションサポートを提供することができる。該変換T(P,I)は、ただ一回のみ決定される。
【００３３】
図25は、上記身体に取付けられた3D表面メッシュ発生装置122、123を備えた追跡装置を示す。光学的情報が利用される場合においても、ビデオカメラ124が、該身体上に3D表面メッシュ発生装置122、123と共に取り付けられている。図25は一機構を図解しており、ここでは3D表面メッシュ発生装置122、123が、この場合には患者の頭部である身体110に取付けられていて、本例においては内視鏡905である上記外科用器具を追跡する。該内視鏡のレンズ904のCADモデルを、生成される該3D表面メッシュに対して記録することにより、連続的に追跡される該局所解剖学的特徴に対して、該内視鏡の先端が記録される。これは、前に記載したように、該器具の3D表面メッシュにおける該器具の4つの点を検出し、該CADモデルにおける器具905の位置を計算し、これら4つの点と、該CADモデルにおける4つの対応する点とを比較し、また出発点として該4つの点に基いて、該位置の大まかな見積りを利用する反復アルゴリズムにより、該器具のCADモデルにおける該器具の3D表面メッシュの正確な位置を計算することによって実行される。
上記身体のCADモデルにおける該身体の3D表面メッシュの位置は、一回のみ決定される必要がある。というのは、3D表面メッシュ発生装置122、123が、該身体上に一つの固定された位置を持つからである。
【００３４】
上記対象の3D表面モデルにおける該対象の3D表面メッシュの正確な位置および上記身体の3D表面モデルにおける該身体の3D表面メッシュの正確な位置から、上記CADモデルから知られる該器具の正確な位置を、上記術前データを用いて、該身体の3Dモデルにおける正確な位置に変換することができる。内視鏡先端の該術前データへの変換が、前に説明した如く、手術中、例えば本例においてはENTおよび神経外科手術中のナビゲーションサポートを与えるように計算され、かつモニタ102で重ね合される。
図26は、機械式マウント502を用いて、上記患者の解剖学的構造上に、本例においては上顎骨上に直接3D表面メッシュ発生装置501を取り付けている例を図解する。該患者の上唇がリトラクター504を用いて後退させられ、結果として歯の表面が露呈されている。該露呈された歯の表面は、局所解剖学的特徴に富むものである。これらの局所解剖学的特徴は、該身体の3Dモデルにおける該身体の3D表面メッシュの位置を、大まかに見積るために、4つの点を選択するのに使用される。従って、該術前データは、該身体の3D表面メッシュに対して効果的に記録し得る。これは、歯科、ENT(耳、鼻および咽喉)、顎顔面外科および神経外科手術におけるナビゲーションを提供するために使用し得る。
【００３５】
図27は一つの追跡装置を示し、そこにおいて、3D表面メッシュ発生装置は、ここでは外科用器具/機械である上記対象自体の上に取付けられている。その内視鏡の先端は、121の座標に記録されている。本例においては顔面である、身体110の3D表面メッシュが生成される。該顔面の厳密な領域(図28を参照)、例えば前額部110Aまたは鼻梁領域110Bを表す該メッシュのサブ表面が確認され、かつセグメント化される。これらサブ表面の確認は、図17に図解したように手で指し示すことにより、あるいは前節において説明したように、カラーコード化されたパッチを張付けることにより行うことができる。このように確認され、かつセグメント化されたサブ表面パッチは、図17および20において図解した如く、親指-人差し指ジェスチャー法を利用する前に確認された該3Dモデル上の対応する領域に対して記録される。これら2つの表面に関する表面対表面記録は、内視鏡先端を、上記術前画像ボリューム(例えば、CT/MRI)の座標に変換するために必要な変換マトリックスを与える。該先端は、該術前画像データの軸面103、矢状面104および前頭面105および3Dレンダリングシーン106上に重ね合せることができる。次の段階において、該局所解剖学的に富む領域(例えば、110B)の一つのみを追跡し、また実時間で該変換を更新することによって、ナビゲーションサポートを執刀医に与えることができる。同様な機構を、超音波ガイド針生検における針をナビゲートするのに使用し得る。3D表面メッシュ発生装置122、123を、超音波(US)プローブに取付け、またその撮像面をその座標内に記録することができる。該針は、我々が上記ポインタを追跡している際と同様な方法で追跡され、また該針の軌道はナビゲーションを与えるように該USイメージと重ね合される。
【００３６】
図29は、上記器具に取付けられた3D表面メッシュ発生装置122、123を用いた追跡方法に関する諸工程を示す。第一工程4.32において、表面メッシュ発生装置122、123は、該器具に取付けられており、また該器具の先端は、3D表面発生装置122、123の座標系内に記録されている。工程4.33において、フレームが、3D表面メッシュ発生装置122、123から得られる。工程4.34において、該医師は、親指-人差し指ジェスチャーによって、関連する領域を指示する。工程4.35において、これらの領域はセグメント化され、また対応する表面メッシュパッチを受入れる。工程4.36において、該医師は、局所解剖学的に富む該パッチの一つを確認して、座標系を設定し、また更に追跡を行う。工程4.37において、該セグメント化されたパッチは、術前データ由来の3Dモデル上のこれらに対応する領域に対して記録される。工程4.38においては、上記内視鏡の先端が、該術前画像ボリューム内で重ね合される。工程4.39においては、前に確認された局所解剖学的に富むパッチが、連続的に追跡され、また該設定された座標の3D位置が、実時間で更新される。工程4.40においては、該術前画像ボリューム内で重ね合された該内視鏡の先端が、実時間で更新される。この場合において、必要な対象の検出はない。というのは、該対象は、3D表面メッシュ発生装置122、123と同一の座標系内にあるからである。
【００３７】
図30は、表面メッシュ発生装置121が医療デバイス、例えば内視鏡905に取付けられている装置を示す。身体/患者110は、局所解剖学的マーカーと共に固定されており、該マーカーは座標系Pを有している。上記術前画像ボリュームは、前に記載した如く、表面ベースの記録を伴うペアードポイント記録により、Pに対して記録される。Eは、該内視鏡の光学的座標系である。Vは該内視鏡からのビデオ画像である。該患者の術前画像データ上の任意の点PPは、以下の式により該ビデオ画像VP上に補うことが可能である：
V(p) = C T(E,O)T(O,P)T(P,I)P(P)                   (E2)
ここで、T(E,O)は、上記光学的座標Eを上記表面メッシュ発生装置(121)に対して記録することにより得ることができる、記録マトリックスである。Cは、上記内視鏡の較正マトリックスである。該較正マトリックスは、該内視鏡カメラのイメージセンサの固有パラメータを含む。同一の式E2を使用することにより、該術前画像においてセグメント化された任意の構造を、該ビデオ画像上に補うことができる。同様に、該術前画像ボリュームにおいて選び出された腫瘍境界、血管および神経の軌跡を、執刀医に対してナビゲーションサポートを与えるために、該内視鏡のビデオ画像上に補うことができる。同様に、外科用プローブまたは器具の位置を、これらのビデオ画像上に補うことができる。
内視鏡を任意の他の医療デバイス、例えば医療用顕微鏡、超音波プローブ、X-線透視装置、X-線装置、MRI、CT、PET CTで置換えることにより、同一のシステムを使用することができる。
【００３８】
図31は上記システムを描写しており、ここで多数の3D表面メッシュ発生装置(121a、121b)を、手術ボリューム(operative volume)および該システムの精度を増大するために接続することができる。このような機構は、該表面メッシュ発生装置の一つに露呈されていない解剖学的領域に達する上でも役立つであろう。
図32は、3D表面メッシュ発生装置121が外科用鋸135上に直接取り付けられている機構を示す。この機構は、露呈された骨433の表面上での切断をナビゲートするために使用することができる。
図33および34は、他の追跡カメラを組み合わせた3D表面メッシュ発生装置122、123を使用する、追跡装置を示す。
図33において、追跡装置は、赤外線ベースの追跡器(パッシブおよび/またはアクティブ)と組合されている。3D表面メッシュ発生装置121bは、表面を記録するために使用し得る。赤外線ベースの追跡器143は、上記術前データにおける3D表面メッシュの近似的な位置に対する、該3D表面メッシュ上の点を自動的に検出するのに役立つ(ビデオカメラ124により読み取られるカラーブロップ(colour blops)に類似)。追跡器143により追跡し得るマーカー143bは、121b上に取付けられており、また121bの座標は、それに対して記録されている。この機構を用いて、121bにより生成される表面は、143の座標に変換し得る。これは、該表面を自動的に記録するのに使用し得る。
図34は、3D表面メッシュ発生装置121が電磁追跡器141を用いて表面を記録するために使用し得る、機構を図解している。追跡器141により追跡し得るセンサ141aは、3D表面メッシュ発生装置121上に取付けられており、また装置121の座標は、それに対して記録されている。この機構を用いて、装置121により生成される表面は、追跡器141の座標に変換し得る。これは、該表面を自動的に記録するのに使用し得る。
【００３９】
本発明は、実時間でおよび極めて高い解像度で、身体の3Dモデルにおける対象の追跡を可能とする。本発明は、4点/mm2またはこれを超える表面メッシュの解像を可能とする。本発明は、更に1秒あたり20またはこれを超えるフレームの実現を可能とし、ここで該各フレームに対して、患者身体との関連で対象/対象の位置(誤差<2mm)が、ナビゲーションサポートを与えるように検出される。
【図１】
2016512973.tif 000003
【図２】
2016512973.tif 000004
【図３】
2016512973.tif 000005
【図４】
2016512973.tif 000006
【図５】
2016512973.tif 000007
【図６】
2016512973.tif 000008
【図７】
2016512973.tif 000009
【図８】
2016512973.tif 000010
【図９】
2016512973.tif 000011
【図１０】
2016512973.tif 000012
【図１１】
2016512973.tif 000013
【図１２】
2016512973.tif 000014
【図１３】
2016512973.tif 000015
【図１４】
2016512973.tif 000016
【図１５】
2016512973.tif 000017
【図１６】
2016512973.tif 000018
【図１７】
2016512973.tif 000019
【図１８】
2016512973.tif 000020
【図１９】
2016512973.tif 000021
【図２０】
2016512973.tif 000022
【図２１】
2016512973.tif 000023
【図２２】
2016512973.tif 000024
【図２３】
2016512973.tif 000025
【図２４】
2016512973.tif 000026
【図２５】
2016512973.tif 000027
【図２６】
2016512973.tif 000028
【図２７】
2016512973.tif 000029
【図２８】
2016512973.tif 000030
【図２９】
2016512973.tif 000031
【図３０】
2016512973.tif 000032
【図３１】
2016512973.tif 000033
【図３２】
2016512973.tif 000034
【図３３】
2016512973.tif 000035
【図３４】
2016512973.tif 000036
【図３５】
2016512973.tif 000037
【国際調査報告】
2016512973.tif 000038
2016512973.tif 000039
2016512973.tif 000040
2016512973.tif 000041