(57)【特許請求の範囲】
【請求項１】
照射手段、画像獲得手段、及び制御手段を備え、手術画像を整合することを行う装置の制御方法であって、前記手術画像を整合することは、前記装置が行う
手術前に患者の手術部位の３次元基準画像を獲得する段階と、
前記手術部位に格子パターン光を照射する段階と、
前記格子パターン光の前記手術部位からの第１反射イメージを獲得する段階と、
前記獲得された第１反射イメージを用いて３次元形状を測定し、前記３次元形状から第１測定画像を獲得する段階と、
前記獲得された第１測定画像及び前記獲得された３次元基準画像を互いに事前整合する段階と、
前記手術部位が切開された後、前記手術部位に対応する骨に格子パターン光を照射する段階と、
前記格子パターン光の前記手術部位に対応する骨からの第２反射イメージを獲得する段階と、
前記獲得された第２反射イメージを用いて３次元形状を測定し、前記３次元形状から第２測定画像を獲得する段階と、
前記獲得された第２測定画像及び前記獲得された３次元基準画像を前記事前整合の結果に基づいて精密整合する段階と、
を含むことを特徴とする手術画像を整合することを行う装置の制御方法。
【請求項２】
前記手術画像を整合することは、
前記精密整合する段階以後に、前記装置が行う
前記精密整合によって生成された仮象画面において前記手術部位に対応する骨に検証ツールが接触されているかをチェックする段階をさらに含むことを特徴とする請求項１に記載の手術画像を整合することを行う装置の制御方法。
【請求項３】
前記患者の手術部位は耳部位を含み、
前記手術部位に対応する骨は前記患者の耳の後ろ部分に位置した骨を含むことを特徴とする請求項１に記載の手術画像を整合することを行う装置の制御方法。
【請求項４】
照射手段、画像獲得手段、及び制御手段を備え、手術画像を整合することを行う装置の制御方法であって、前記手術画像を整合することは、前記装置が行う
手術前に患者の手術部位に対して３次元基準画像を獲得する段階と、
前記手術部位が切開された後、前記手術部位に対応する骨に格子パターン光を照射する段階と、
前記格子パターン光の前記手術部位に対応する骨からの反射イメージを獲得する段階と、
前記獲得された反射イメージを用いて３次元形状を測定し、前記３次元形状から測定画像を獲得する段階と、
前記獲得された測定画像及び前記獲得された３次元基準画像の事前整合を行うと共に作業者から入力を受ける段階と、
前記測定画像及び前記３次元基準画像を精密整合する段階と、
を含むことを特徴とする手術画像を整合することを行う装置の制御方法。
【請求項５】
前記手術画像を整合することは、
前記精密整合する段階以後に、前記装置が行う
前記精密整合によって生成された仮象画面において前記手術部位に対応する骨に検証ツールが接触されているかをチェックする段階をさらに含むことを特徴とする請求項４に記載の手術画像を整合することを行う装置の制御方法。
【請求項６】
前記患者の手術部位は耳部位を含み、
前記手術部位に対応する骨は前記患者の耳の後ろ部分に位置した骨を含むことを特徴とする請求項４に記載の手術画像を整合することを行う装置の制御方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は手術画像の整合方法に関わり、より詳細には短い時間に安い費用で正確な整合結果を獲得することのできる手術画像の整合方法に関する。
【背景技術】
【０００２】
最近、患者の患部を治療する手術において、既撮影された画像を用いた手術が多く活用されている。特に、耳鼻咽喉科手術の場合、患者身体内の重要な神経と主要臓器を避けながら手術を進行しなければならないので、既撮影された画像に基づいて正確度の高い手術を進行することが要求される。
【０００３】
一般的に、既撮影された画像はＭＲＩ撮影、ＣＴ撮影などの３次元画像を含み、このような３次元画像と手術の際実時間で撮影される患者の３次元画像とを互いに正確に整合することのできるように、多様な整合方法、例えば、皮膚表面にマーカ（marker）を装着する方法、テンプレートを用いる方法、ステンプ（STAMP、Surface  Template−Assisted  Marker  Position）方法などが研究されつつきた。
【０００４】
しかし、前記のような従来の方法は、マーカを皮膚に付着することによって惹起される皮膚変化による誤差、手術前にステンプを製作しなければならない煩わしさ、製作に所要される高い費用、整合のための多くの時間などのような多様な問題点があった。
【０００５】
従って、従来とは異なり、より短い時間に安い費用で正確な整合結果を獲得することのできる整合方法の開発が要請されている。
【発明の概要】
【発明が解決しようとする課題】
【０００６】
従って、本発明が解決しようとする課題は、短い時間に安い費用で正確な整合結果を獲得することのできる手術画像の整合方法を提供することにある。
【課題を解決するための手段】
【０００７】
本発明の一実施例による手術画像を整合するために、まず、手術前に患者の手術部位に対して３次元基準画像を獲得する。次に、前記手術部位に格子パターン光を照射する。次に、前記格子パターン光による前記手術部位に対する第１反射イメージを獲得する。続いて、前記獲得された手術部位に対する第１反射イメージにバケットアルゴリズムを適用して３次元画像を測定し、前記３次元形状から第１測定画像を獲得する。次に、前記獲得された第１測定画像及び前記既獲得された３次元基準画像を互いに事前整合（preliminary  registration）する。続いて、前記手術部位が切開された後、前記手術部位に対応する骨に格子パターン光を照射する。次に、前記格子パターン光による前記手術部位に対応する骨に対する第２反射イメージを獲得する。次に、獲得された前記手術部位に対応する骨に対する前記第２反射イメージにバケットアルゴリズムを適用して３次元形状を測定し、前記３次元形状から第２測定画像を獲得する。次に、獲得された前記第２測定画像及び既獲得された前記３次元基準画像を前記事前整合の結果に基づいて互いに精密整合する。
【０００８】
獲得された前記第２測定画像及び既獲得された前記３次元基準画像を前記事前整合の結果に基づいて互いに精密整合する段階以後に、前記手術部位に対応する骨に検証ツール（tool）を接触させた後、前記精密整合によって生成された仮象画面において前記検証ツールが接触されているかをチェックして整合結果を検証することができる。
【０００９】
一実施例として、前記患者の手術部位は耳部位を含み、前記手術部位に対応する骨は前記患者の耳の後ろ部分に位置した骨を含んでいてもよい。
【００１０】
本発明の一実施例による手術画像の整合方法は、手術前に患者の手術部位に対して３次元基準画像を獲得する段階と、前記手術部位が切開された後、前記手術部位に対応する骨に格子パターン光を照射する段階と、前記格子パターン光による前記手術部位に対応する骨に対する反射イメージを獲得する段階と、獲得された前記手術部位に対応する骨に対する前記反射イメージにバケットアルゴリズムを適用して３次元形状を測定し、前記３次元形状から測定画像を獲得する段階と、獲得された前記測定画像及び既獲得された前記３次元基準画像の事前整合を作業者から入力を受ける段階と、前記測定された前記測定画像及び既獲得された前記３次元基準画像をＩＣＰ（iterative  closest  points）アルゴリズムを用いて互いに精密整合する段階を含む。
【００１１】
前記測定された前記測定画像及び既に獲得された前記３次元基準画像をＩＣＰアルゴリズムを用いて互いに精密整合した以後に、獲得された前記第２測定画像及び既獲得された前記３次元基準画像を前記事前整合の結果に基づいて互いに精密整合した以後に、前記手術部位に対応する骨に検証ツールを接触させた後、前記精密整合によって生成された仮象画面において前記検証ツールが接触されているかをチェックして整合結果を検証することができる。
【００１２】
一実施例として、前記患者の手術部位は耳部位を含み、前記手術部位に対応する骨は前記患者の耳の後ろ部分に位置した骨を含んでいてもよい。
【発明の効果】
【００１３】
本発明によると、手術前に患者の手術部位に対してＣＴのような３次元基準画像を予め獲得した後、格子パターン光によるパターン画像を用いたバケットアルゴリズムを適用して手術部位の３次元画像を測定した後、測定された画像を３次元基準画像と整合する。この際、手術部位の切開前に測定された測定画像を用いて事前整合を、手術部位の切開後に測定された測定画像を用いて精密整合をすることができ、これとは異なり、手術部位の切開後に、測定された測定画像を用いるものの、作業者から整合を受動で入力受け事前整合を、ＩＣＰアルゴリズムを用いて精密整合をすることができる。
【００１４】
これにより、測定画像と基準画像を事前整合と精密整合の２段階に渡って実施することでより正確な整合結果を獲得することができる。
【００１５】
また、格子パターン光によるパターン画像を用いたバケットアルゴリズムを適用して測定画像を獲得する。特別な準備過程なしに手術室内で迅速に整合過程が遂行できるので、別途に準備を要する他の方法に比べて費用を節減することができ、整合時間を短縮することができる。
【００１６】
また、別途の検証過程を経る場合、より正確な整合結果を獲得することができる。
【図面の簡単な説明】
【００１７】
【図１】本発明の一実施例による手術画像の整合方法を示す流れ図である。
【図２】図１において患者の手術部位を撮影して測定画像を獲得する過程を説明するための３次元形状測定装置の概念図である。
【図３】図１において事前整合する過程を説明するための概念図である。
【図４】図１において精密整合する過程を説明するための概念図である。
【図５】図１において精密整合を検証する過程を説明するための概念図である。
【図６】本発明の他の実施例による手術画像の整合方法を示す流れ図である。
【図７】図６において事前整合する過程を説明するための概念図である。
【発明を実施するための形態】
【００１８】
本発明は多様な変更を加えることができ、多様な形態を有することできる。ここでは、特定の実施形態を図面に例示し本文に詳細に説明する。しかし、これは本発明を特定の開示形態に限定するものではなく、本発明の思想及び技術範囲に含まれる全ての変更、均等物乃至代替物を含むこととして理解されるべきである。
【００１９】
第１、第２などの用語は多用な構成要素を説明するのに使用されることがあるが、前記構成要素は前記用語によって限定解釈されない。前記用語は一つの構成要素を他の構成要素から区別する目的のみとして使用される。例えば、本発明の権利範囲を外れることなく第１構成要素を第２構成要素ということができ、類似に第２構成要素も第１構成要素ということができる。
【００２０】
本出願において使用した用語は単なる特定の実施形態を説明するために使用されたもので、本発明を限定しようとする意図ではない。単数の表現は文脈上明白に示さない限り、複数の表現を含む。本出願において、「含む」または「有する」などの用語は明細書に記載された特徴、数字、ステップ、段階、動作、構成要素、部品またはこれらを組み合わせたものが存在することを意味し、一つまたはそれ以上の他の特徴や数字、ステップ、段階、動作、構成要素、部品またはこれらを組み合わせたものの存在または付加可能性を予め排除しないこととして理解されるべきである。
【００２１】
特別に定義しない限り、技術的、科学的用語を含んでここで使用される全ての用語は本発明が属する技術分野で通常の知識を有する者によって一般的に理解されるのと同一の意味を有する。
【００２２】
一般的に使用される辞書に定義されている用語と同じ用語は関連技術の文脈上有する意味と一致する意味を有すると解釈されるべきであり、本出願で明白に定義しない限り、理想的またも過度に形式的な意味に解釈されない。
【００２３】
以下、図面を参照して本発明の好適な一実施例をより詳細に説明する。
【００２４】
図１は本発明の一実施例による手術画像の整合方法を示す流れ図である。
【００２５】
図１を参照すると、本発明の一実施例によって手術画像の整合をするために、まず、手術前３次元基準画像を獲得する（Ｓ１１０）。
【００２６】
具体的には、手術前に予め患者の手術部位、例えば、患者の耳部位に対して３次元基準画像を獲得する。前記３次元基準画像は診断及び治療のために病院で一般的に獲得するＣＴ（コンピューター単層撮影、computed  tomography）画像を含んでいてもよい。これとは異なり、前記３次元基準画像はＭＲＩ（磁気共鳴画像、magnetic  resonance  imaging）などのような他の３次元画像を含んでいてもよい。
【００２７】
続いて、前記手術部位に格子パターン光を照射して第１測定画像を獲得する（Ｓ１２０）。
【００２８】
具体的には、前記手術部位に格子パターン光を照射し、前記格子パターン光による前記手術部位に対する第１反射イメージを獲得した後、前記獲得された手術部位に対する第１反射イメージにバケットアルゴリズムを適用して３次元形状を測定し、前記３次元形状から第１測定画像を獲得する。
【００２９】
図２は図１において患者の手術部位を撮影して測定画像を獲得する過程を説明するために３次元画像測定装置の概念図である。
【００３０】
図２を参照すると、前記手術部位に格子パターン光を照射して第１測定画像を獲得するための３次元形状測定装置１００は投影部１１０、画像撮影部１２０及び中央制御部（図示せず）を含んでいてもよい。
【００３１】
前記投影部１１０は前記手術部位１０に対して傾斜するように配置され、前記手術部位１０に格子パターン光を照射する。一実施例として、前記投影部１１０は前記格子パターン光を照射するために、光源ユニット、格子ユニット、格子移送ユニット及び集光レンズを含んでいてもよい。前記光源ユニットは光を発生させる。前記格子ユニットは前記光源から発生された光を格子パターンを有する前記格子パターン光に変更させる。前記格子移送ユニットは前記格子ユニットと連結されて前記格子ユニットを移送させ、一実施例としてＰＺＴ（Piezoelectric）移送ユニットや微細直線移送ユニットのうちいずれか一つを採用することができる。前記集光レンズは前記格子ユニットの下部に配置され前記格子ユニットを通過した前記格子パターン光を前記手術部位１０に集光させる。
【００３２】
一実施例として、前記投影部１１０は前記格子移送ユニットが前記格子ユニットをＮ回順次に移動しながら前記手術部位１０にＮ個の格子パターン光を照射する時、後術される前記画像撮影部１２０は前記手術部位１０から反射された前記Ｎ個の格子パターン光を順次に印加を受け、Ｎ個のパターン画像を撮影することができる。前記Ｎは自然数で、一例で、３または４であってもよい。
【００３３】
前記投影部１１０は前記のようなＰＺＴ移送ユニットを用いたアナログパターン走査装置を採用してもよく、これとは異なり、ＤＭＤ（digital  micromirrir  device）を用いたデジタルパターン走査装置を採用してもよい。
【００３４】
前記投影部１１０は複数であってもよい。この場合、前記手術部位１０に照射される格子パターン光が多様な範囲から照射され、多様な種類のパターン画像が撮影でき、前記手術部位１０の形状によって暗く発生する影領域や明るく輝く飽和領域のによる誤謬を防止することができる。例えば、三つの投影部１１０が前記画像撮影部１２０を中心に正三角形形態に配置される場合、三つの格子パターン光が互いに異なる方向から前記手術部位１０に印加され、四つの投影部１１０が前記画像撮影部１２０を中心に正四角形形態に配置される場合、四つの格子パターン光が互いに異なる方向から前記手術部位１０に印加される。
【００３５】
これとは異なって、前記投影部１１０は一つであってもよい。この場合、前記手術部位１０に照射される格子パターン光は一方向から照射されるので、影領域や飽和領域によって一部分において誤謬が発生し得るが、後術する整合のために必要な分だけを毀損するほどの誤謬は発生しないこともある。
【００３６】
前記画像撮影部１２０は前記手術部位１０の上部に配置され、前記手術部位１０から反射された光の印加を受け前記手術部位１０に対する画像を撮影する。即ち、前記画像撮影部１２０は前記投影部１１０から照射された前記手術部位１０から反射された光の印加を受け、前記手術部位１０の平面画像を撮影する。
【００３７】
一実施例として、前記画像撮影部１２０はカメラ、結像レンズ及びフィルターを含んでいてもよい。前記カメラは前記手術部位１０から反射される光の印加を受け前記手術部位１０の平面画像を撮影し、一例で、ＣＣＤカメラやＣＭＯＳカメラのうちいずれか一つが採用される。前記結像レンズは前記カメラの下部に配置され、前記手術部位１０から反射される光を前記カメラから結像させる。前記フィルターは前記結像レンズの下部に配置され、前記手術部位１０から反射される光を濾過させ前記結像レンズに提供し、一例で、周波数フィルター、カラーフィルター、及び光強度調節フィルターのうち、いずれか一つを含んでいてもよい。
【００３８】
前記制御部は前記投影部１１０及び前記画像撮影部１２０と連結され前記投影部１１０及び前記画像撮影部１２０の動作を制御し、前記画像撮影部１２０から撮影されたパターン画像を用いて前記手術部位１０の３次元画像を測定、算出する。
【００３９】
一方、図示していないが、前記３次元形状測定装置１００は前記した構成を固定するためのジグ部をさらに含んでいてもよい。
【００４０】
また、前記３次元形状測定装置１００は正確な焦点を合わせるために、アナログパターン走査装置を採用する場合オフセットレーザ（offset−axis  laser）を使用してレーザのスポット（spot）がカメラの中心に来るように調整することができ、デジタルパターン走査装置を採用する場合前記投影部１１０から直接スポットを走査して前記スポットがカメラの中心に来るように調整することができる。
【００４１】
再度、図１を参照すると、次に、第１測定画像及び３次元基準画像を事前整合する（Ｓ１３０）。
【００４２】
具体的には、前記手術部位１０に格子パターン光を照射して第１測定画像を獲得する段階（Ｓ１２０）から獲得された前記第１測定画像と前記手術前３次元基準画像を獲得する段階（Ｓ１１０）から獲得された前記３次元基準画像を１次的に整合する。このような１次的な整合は後術される精密整合以前に遂行される事前整合であり、大略的なマッチング（coarse  matching）に該当される。
【００４３】
図３は図１において事前整合する過程を説明するための概念図である。
【００４４】
図３を参照すると、一例で、前記手術部位１０が耳部位である場合、前記耳部位に格子パターン光を照射して獲得した前記耳部位に対する第１測定画像１０ａと手術前獲得したＣＴ画像である前記耳部位に対する３次元基準画像１５ａを事前整合する。
【００４５】
再度、図１を参照すると、続いて、骨に格子パターン光を照射して第２測定画像を獲得する（Ｓ１４０）。
【００４６】
具体的には、手術のために、前記手術部位１０が切開された後、前記手術部位１０に対応する骨に格子パターン光を照射し、前記格子パターン光による前記手術部位に対応する骨に対する第２反射イメージを獲得した後、前記獲得された手術部位に対応する骨に対する第２反射イメージにバケットアルゴリズムを適用して３次元形状を測定し、前記３次元形状から第２測定画像を獲得する。
【００４７】
前記第２測定画像を獲得する過程は測定対象が前記手術部位１０が切開された後前記手術部位１０に対応する骨である点を除いては、図２で説明された第１測定画像を獲得する過程と実質的に同一であるので、重複される詳細な説明は省略する。
【００４８】
再度、図１を参照すると、次に、第２測定画像及び３次元基準画像を事前整合結果に基づいて精密整合する（Ｓ１５０）。
【００４９】
具体的には、前記手術部位１０に対応する骨に格子パターン光を照射して第２測定画像を獲得する段階（Ｓ１４０）から獲得された前記第２測定画像と前記手術前３次元基準画像を獲得する段階（Ｓ１１０）から獲得された前記３次元基準画像を２次的に整合する。このような２次的な整合は精密なマッチング（fine  matching）に該当する。
【００５０】
図４は図１において精密整合する過程を説明するための概念図である。
【００５１】
図４を参照すると、一例で前記手術部位１０が耳部位である場合、前記耳部位を切開した後格子パターン光を照射して獲得した前記耳部位に対応する骨に対する第２測定画像１０ｂと手術前獲得したＣＴ画像である前記耳部位に対応する骨に対する３次元基準画像１５ｂを精密整合する。
【００５２】
再度、図１を参照すると、選択的に前記精密整合による整合結果を検証することができる（Ｓ１６０）。
【００５３】
具体的には、前記手術部位１０に対応する骨に検証ツール（tool）を接触させた後、前記精密整合によって生成された仮象画面において前記検証ツールが正常的に接触されたこととして示されると、前記整合が有効であると判断できる。
【００５４】
図５は図１において精密整合を検証する過程を説明するための概念図である。
【００５５】
図５を参照すると、一例で、前記手術部位１０が耳部位である場合、前記耳部位に対応する骨に検証ツール２０を接触させた後（１０ｃ）、手術前獲得したＣＴ画像である前記耳部位に対応する骨に対する３次元基準画像１５ｂに検証ツール２０が正常的に接触されて示される（１５ｃ）かを検証する。
【００５６】
図６は本発明の他の実施例による手術画像の整合方法を示す流れ図である。
【００５７】
図６を参照すると、本発明の他の実施例によって手術画像の整合をするために、まず、手術前３次元基準画像を獲得する（Ｓ２１０）。
【００５８】
本段階は図１において説明された手術前３次元基準画像を獲得する段階（Ｓ１１０）と実質的に同一であるので重複される詳細な説明は省略する。
【００５９】
続いて、骨に格子パターン光を照射して測定画像を獲得する（Ｓ２２０）。
【００６０】
本段階は図１で説明された第２測定画像を獲得する段階（Ｓ１４０）と実質的に同一であるので重複される詳細な説明は省略する。
【００６１】
次に、測定画像及び３次元基準画像を事前整合する（Ｓ２３０）。
【００６２】
具体的には、前記手術部位１０に対応する骨に格子パターン光を照射して前記測定画像を獲得する段階（Ｓ２２０）から獲得された前記測定画像と前記手術前３次元基準画像を獲得する段階（Ｓ２１０）から獲得された前記３次元基準画像を１次的に整合するものの、前記作業者から整合の入力を受ける。このような１次的な整合は大略的なマッチングに該当する。
【００６３】
図７は図６において事前整合する過程を説明するための概念図である。
【００６４】
図７を参照すると、一例で、前記手術部位１０が耳である場合、前記耳部位を切開した後、格子パターン光を照射して獲得した前記耳部位に対応する骨に対する測定画像１０ｂと手術前獲得したＣＴ画像である前記耳部位に対応する骨に対する３次元基準画像１５ｂを事前整合するものの、前記整合を作業者から入力受ける。
【００６５】
再度、図６を参照すると、続いて、測定画像及び３次元基準画像を事前整合結果に基づいてＩＣＰ（iterative  closest  points）アルゴリズムを用いて精密整合する（Ｓ２４０）。
【００６６】
前記ＩＣＰ（iterative  closest  points）アルゴリズムは３次元場面の整合のためのアルゴリズムとして多用な応用分野において活用される公知のアルゴリズムであるので、具体的な説明は省略する。
【００６７】
次に、選択的に前記精密整合による整合結果を検証することができる（Ｓ２５０）。
【００６８】
本段階は図１において説明された精密整合による整合結果を検証する段階（Ｓ１６０）と実質的に同一であるので重複される詳細な説明は省略する。
【００６９】
前記のような本発明によると、手術前に患者の手術部位に対してＣＴのような３次元基準画像を予め獲得した後、格子パターン光によるパターン画像を用いたバケットアルゴリズムを適用して手術部位の３次元形状を測定した後、測定された画像を３次元基準画像と整合する。この際、手術部位の切開前に測定された測定画像を用いて事前整合を、手術部位の切開後に測定された測定画像を用いて精密整合をすることができ、これとは異なり、手術部位の切開の後、測定された測定画像を用いるものの、作業者から整合を受動で入力受けて事前整合を、ＩＣＰアルゴリズムを用いて精密整合をすることができる。
【００７０】
これにより、測定画像と基準画像を事前整合と精密整合の２段階に渡って実施することでより正確な整合結果を獲得することができる。
【００７１】
また、格子パターン光によるパターン画像を用いたバケットアルゴリズムを適用して測定画像を獲得するものの、特別な準備過程なしに手術室内で迅速に遂行できるので、別途の準備を要する他の方法対比費用を節減することができ、整合時間を短縮することができる。
【００７２】
また、別途の検証過程を経る場合、より正確な整合結果を獲得することができる。
【００７３】
以上、本発明の実施形態によって詳細に説明したが、本発明はこれに限定されず、本発明が属する技術分野において通常の知識を有する者であれば、本発明の思想と精神を離れることなく、本発明を修正または変更できる。従って、前述した説明及び下記の図面は本の技術思想を限定するのではなく本発明を例示するものとして解釈されるべきである。
【図１】
0005902724.tif 000002
【図２】
0005902724.tif 000003
【図３】
0005902724.tif 000004
【図４】
0005902724.tif 000005
【図５】
0005902724.tif 000006
【図６】
0005902724.tif 000007
【図７】
0005902724.tif 000008