(57)【要約】【課題】術具を用いて切削される切削部位を見ながら、手術中の適切なナビゲーションを実施することが可能な手術支援装置および手術支援プログラムを提供する。【解決手段】手術支援システム１００のパーソナルコンピュータ１は、ボリュームレンダリング演算部１３において生成された３次元画像中に、術具３３の先端を示す画像（術具画像３３ａ）と術具先端から切削部位までの距離とを合成して表示しながら手術中のナビゲーションを行う。【選択図】図３
2013202313.tif 000002
【特許請求の範囲】
【請求項１】
内視鏡画像を見ながら切削用の術具を用いて行われる手術中に、断層画像情報から生成される３次元のシミュレーション画像を表示しながらナビゲーションを行う手術支援装置であって、
患者の断層画像情報を取得する断層画像情報取得部と、
前記断層画像情報取得部に接続されており、前記断層画像情報のボクセル情報を格納するメモリと、
前記メモリに接続されており、前記ボクセル情報に基づいて、視線に対して垂直の方向においてボクセル情報をサンプリングするボリュームレンダリング演算部と、
前記内視鏡および前記術具の３次元位置を逐次検出する内視鏡・術具位置検出部と、
前記ボリュームレンダリング演算部によって生成された３次元画像の座標と前記内視鏡・術具位置検出部において検出される前記内視鏡および前記術具の座標とを座標統合するレジストレーション演算部と、
前記ボリュームレンダリング演算部において生成された３次元画像上において仮想的に切削された手術を予定している切削部分を前記ボクセル情報上に関連付けて前記メモリに記憶させるシミュレーション部と、
前記３次元画像上の前記術具の処置部と前記第２メモリに保存された前記切削部分を示す前記ボクセル情報との距離を算出する距離算出部と、
前記術具の手術中の座標を用いて前記３次元画像上の前記術具の前記処置部を表示させ、前記処置部と前記メモリに保存された前記切削部分を示す前記ボクセル情報との距離を、術中に表示される内視鏡画像とともに表示させるナビゲーション部と、
を備えている手術支援装置。
【請求項２】
前記シミュレーション部は、術前の切削時において、対象部位の深さを検出して不連続性あるいは深さの変化度合いを演算し、変化度合いが所定の閾値を超えた場合には、切削を中止する、あるいは切削データを更新しない、
請求項１に記載の手術支援装置。
【請求項３】
前記ナビゲーション部は、前記３次元画像上における前記術具の処置部を、マルチポイントモデルによってモデリングを行う、
請求項１または２に記載の手術支援装置。
【請求項４】
前記ナビゲーション部は、前記距離のベクトルとして、前記術中の術具が前記切削した部分を示すボクセル情報の方向の成分とするベクトルを用いる、
請求項１から３のいずれか１項に記載の手術支援装置。
【請求項５】
前記ナビゲーション部は、前記切削部分から等距離ごとにボクセルの色を変更して表示させる、
請求項１から４のいずれか１項に記載の手術支援装置。
【請求項６】
前記レジストレーション演算部は、前記内視鏡および前記術具の座標と前記３次元画像の座標とを座標統合した後、座標統合の精度を確認し、その精度が所定の範囲を超えている場合には、座標統合のずれを補正する、
請求項１から５のいずれか１項に記載の手術支援装置。
【請求項７】
前記ナビゲーション部は、前記ボリュームレンダリング演算部によって生成された前記内視鏡によって取得される第１表示エリアと、実際の手術中において前記術具によって表示が制限される第２表示エリアとを設定して表示させる、
請求項１から６のいずれか１項に記載の手術支援装置。
【請求項８】
前記３次元画像、前記術具の先端を示す画像、および前記距離を表示する表示部を、さらに備えている、
請求項１から７のいずれか１項に記載の手術支援装置。
【請求項９】
内視鏡画像を見ながら切削用の術具を用いて行われる手術中に、断層画像情報から生成される３次元のシミュレーション画像を表示しながらナビゲーションを行う手術支援プログラムであって、
患者の断層画像情報を取得するステップと、
前記断層画像情報のボクセル情報を格納するステップと、
前記ボクセル情報に基づいて、視線に対して垂直の方向においてボクセル情報をサンプリングするステップと、
前記内視鏡および術具の３次元位置を逐次検出するステップと、
前記３次元画像の座標と前記内視鏡および前記術具の座標とを座標統合するステップと、
前記３次元画像上において仮想的に切削された手術を予定している切削部分を前記ボクセル情報上に関連付けて前記メモリに記憶させるステップと、
前記３次元画像上の前記術具の処置部と前記第２メモリに保存された前記切削部分を示す前記ボクセル情報との距離を算出するステップと、
前記術具の手術中の座標を用いて前記３次元画像上の前記術具の前記処置部を表示させ、前記処置部と前記メモリに保存された前記切削部分を示す前記ボクセル情報との距離を、術中に表示される内視鏡画像とともに表示させるステップと、
を備えている手術支援方法をコンピュータに実行させる手術支援プログラム。
【請求項１０】
内視鏡画像を見ながら切削用の術具を用いて行われる手術中に、断層画像情報から生成される３次元のシミュレーション画像を表示しながらナビゲーションを行う手術支援装置であって、
患者の断層画像情報のボクセル情報を視線に対して垂直の方向においてサンプリングして生成された３次元画像上において、仮想的に切削された手術を予定している切削部分を前記ボクセル情報上に関連付けて記憶させるシミュレーション部と、
前記３次元画像上の前記術具の処置部と前記第２メモリに保存された前記切削部分を示す前記ボクセル情報との距離を算出し、前記術具の手術中の座標を用いて前記３次元画像上の前記術具の前記処置部を表示させ、前記処置部と前記切削部分を示す前記ボクセル情報との距離を、術中に表示される内視鏡画像とともに表示させるナビゲーション部と、
を備えている手術支援装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、手術中のナビゲーションを行う手術支援装置および手術支援プログラムに関する。
【背景技術】
【０００２】
医療現場において、より適切な手術を行うために、手術のシミュレーションを行うことが可能な手術支援装置が活用されている。
従来の手術支援装置は、例えば、Ｘ線ＣＴ画像や核磁気共鳴画像（ＭＲＩ画像）、ＰＥＴ（陽電子放射断層法）によって取得された画像等の断層画像情報を取得する断層画像情報取得部と、断層画像情報取得部に接続されたメモリと、メモリに接続されたボリュームレンダリング演算部と、ボリュームレンダリング演算部の演算結果を表示するディスプレイと、ディスプレイに表示された表示対象物に対して切削指示を行う入力部と、を備えていた。
【０００３】
例えば、特許文献１には、実際に使用される内視鏡の３次元位置の座標と、断層画像を用いて生成される３次元ボリューム画像データの座標とを統合し、内視鏡の映像に重畳して表示することで、内視鏡や術具の変化に応じてリアルタイムで内視鏡画像にその位置における手術対象領域の画像を重畳して表示することが可能な手術支援装置について開示されている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特許第４１５２４０２号公報（平成２０年７月１１日登録）
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、上記従来の手術支援装置では、以下に示すような問題点を有している。
すなわち、上記公報に開示された手術支援装置では、リアルタイムで内視鏡画像にその位置における手術対象領域の画像を重畳して表示することができるため、術具先端と特定領域との距離を算出することができる。しかし、ここで開示されているのは、あくまで術具が接触してはならない血管や臓器等の部位との距離表示および警告であって、手術中のナビゲーションにはなっていない。
【０００６】
本発明の課題は、術具を用いて切削される切削部位を見ながら、手術中の適切なナビゲーションを実施することが可能な手術支援装置および手術支援プログラムを提供することにある。
【課題を解決するための手段】
【０００７】
第１の発明に係る手術支援装置は、内視鏡画像を見ながら切削用の術具を用いて行われる手術中に、断層画像情報から生成される３次元のシミュレーション画像を表示しながらナビゲーションを行う手術支援装置であって、断層画像情報取得部と、メモリと、ボリュームレンダリング演算部と、内視鏡・術具位置検出部と、レジストレーション演算部と、シミュレーション部と、距離算出部と、ナビゲーション部と、を備えている。断層画像情報取得部は、患者の断層画像情報を取得する。メモリは、断層画像情報取得部に接続されており、断層画像情報のボクセル情報を格納する。ボリュームレンダリング演算部は、メモリに接続されており、ボクセル情報に基づいて、視線に対して垂直の方向においてボクセル情報をサンプリングする。内視鏡・術具位置検出部は、内視鏡および術具の３次元位置を逐次検出する。レジストレーション演算部は、ボリュームレンダリング演算部によって生成された３次元画像の座標と内視鏡・術具位置検出部において検出される内視鏡および術具の座標とを座標統合する。シミュレーション部は、ボリュームレンダリング演算部において生成された３次元画像上において仮想的に切削された手術を予定している切削部分をボクセル情報上に関連付けてメモリに記憶させる。距離算出部は、３次元画像上の術具の処置部と第２メモリに保存された切削部分を示すボクセル情報との距離を算出する。ナビゲーション部は、術具の手術中の座標を用いて３次元画像上の術具の処置部を表示させ、処置部とメモリに保存された切削部分を示すボクセル情報との距離を、術中に表示される内視鏡画像とともに表示させる。
【０００８】
ここでは、例えば、複数のＸ線ＣＴ画像を用いて作成した３次元画像を用いて特定の骨や血管、臓器等の周辺を表示した状態で切削シミュレーションを実施した後、内視鏡を用いた手術を行う際に、実際に手術で使用する内視鏡や術具の３次元位置を逐次検出し、複数のＸ線ＣＴ画像から形成される３次元画像の座標と内視鏡や術具の実際の３次元位置の座標とを統合する。そして、３次元画像を用いて行われた切削シミュレーションにおいて切削される部位に対する実際の術具の先端（処置部）の距離を算出して、その距離を３次元画像とともに表示して術者に知らせることで、切削シミュレーションの実施からシームレスに手術ナビゲーションを行う。
【０００９】
ここで、上記断層画像には、例えば、Ｘ線ＣＴやＭＲＩ、ＰＥＴ等の医用機器を用いて取得された２次元画像が含まれる。また、上記術具には、内臓や骨等を切削する切削器具等が含まれる。また、上記処置部とは、骨や臓器等を切除する術具の歯の部分等を意味している。
これにより、例えば、内視鏡を用いて特定の臓器を切削する手術において、術者は切削対象となる部位まで術具の先端があとどのくらいの距離があるのかを正確に把握しながら、切削器具等の術具を切削部位に近づけていくことができる。よって、術者は術具を挿入していく際に、術具先端と切削部位までの距離が分からずに不安を感じることなく、適切なナビゲーションを実施することができる。
【００１０】
第２の発明に係る手術支援装置は、第１の発明に係る手術支援装置であって、シミュレーション部は、術前の切削シミュレーションを実施する際に、切削部位の深さを検出して不連続性あるいは深さの変化度合いを演算し、予め変化度合いが閾値を超えた場合には、切削を中止する、あるいは切削データを更新しない。
ここでは、シミュレーション部において、仮想的な切削動作の閾値を設定し、切削シミュレーションを実施する際の制約を設けている。
これにより、深さの変化度合い等が閾値を超えた場合には、シミュレーション上の画面においてその部位について切削後の状態で表示されないようにすることができる。また、閾値を更新しながら切削シミュレーションを実施する際に、閾値の値が小さくなりすぎて、切削を中止しすぎてしまうことを回避することができる。
【００１１】
第３の発明に係る手術支援装置は、第１または第２の発明に係る手術支援装置であって、ナビゲーション部は、３次元画像上における術具の処置部を、マルチポイントモデルによってモデリングを行う。
ここで、マルチポイントモデルとは、衝突が予測される部位の外縁に服す点をサンプリングするモデルである。
これにより、例えば、実際の術具の所定の位置に術具に位置や角度等の検知するセンサを設けたとすると、そのセンサの位置を基準にして仮想空間上にマルチポイントにより術具を表現し、このマルチポイントから切削部分までの距離を算出して表示することができる。
【００１２】
第４の発明に係る手術支援装置は、第１から第３の発明のいずれか１つに係る手術支援装置であって、ナビゲーション部は、距離のベクトルとして、術中の術具が切削した部分を示すボクセル情報の方向の成分とするベクトルを用いる。
これにより、術具が切削部位に対して接近していく方向にサンプリングしながら、マルチポイントが接近する速度、加速度および方向に応じて表示モードを変更する等、術者に対して術具先端と切削部位との位置関係についてより効果的な表示を行うことができる。
【００１３】
第５の発明に係る手術支援装置は、第１から第４の発明のいずれか１つに係る手術支援装置であって、ナビゲーション部は、切削部分から等距離ごとにボクセルの色を変更して表示させる。
ここでは、手術中のナビゲーション画面において、切削部分を中心にした等距離の範囲を色の異なる球として表示する。
これにより、手術中のナビゲーションにおいて、術者に対して、切削を行う部分から術具先端までの距離を分かり易く表示することができ、ナビゲーションの補助とすることができる。
【００１４】
第６の発明に係る手術支援装置は、第１から第５の発明のいずれか１つに係る手術支援装置であって、レジストレーション演算部は、内視鏡および術具の座標と３次元画像の座標とを座標統合した後、座標統合の精度を確認し、その精度が所定の範囲を超えている場合には、座標統合のずれを補正する。
ここでは、複数のＸ線ＣＴ画像等に基づいて作成された３次元画像の座標と内視鏡および術具の実際の座標とを統合するレジストレーションの精度を検証し、所定の精度を満たしていない場合には、再度、レジストレーションを実施する。
これにより、３次元画像中に表示される内視鏡や術具の位置を、より正確に３次元画像中に表示することができる。
【００１５】
第７の発明に係る手術支援装置は、第１から第６の発明のいずれか１つに係る手術支援装置であって、ナビゲーション部は、ボリュームレンダリング演算部によって生成された内視鏡によって取得される第１表示エリアと、実際の手術中において術具によって表示が制限される第２表示エリアとを設定して表示させる。
ここでは、手術中にモニタ画面等に表示される３次元画像において、内視鏡が挿入される術具によって制限される視野の部分まで反映させた表示を行う。
これにより、レトラクタ等の筒状の術具によって制限される部分については見えないように、例えば、マスキングした状態で表示させることで、実際の内視鏡画像と近似した状態で３次元画像を表示することができる。
【００１６】
第８の発明に係る手術支援装置は、第１から第７の発明のいずれか１つに係る手術支援装置であって、３次元画像、術具の先端を示す画像、および距離を表示する表示部を、さらに備えている。
ここでは、手術支援装置として、モニタ等の表示部を備えている。
これにより、内視鏡を用いた手術中に、実際の内視鏡の映像と近似した状態の３次元画像を表示部に表示させながら、手術支援を行うことができる。
【００１７】
第９の発明に係る手術支援プログラムは、内視鏡画像を見ながら切削用の術具を用いて行われる手術中に、断層画像情報から生成される３次元のシミュレーション画像を表示しながらナビゲーションを行う手術支援プログラムであって、患者の断層画像情報を取得するステップと、断層画像情報のボクセル情報を格納するステップと、ボクセル情報に基づいて視線に対して垂直の方向においてボクセル情報をサンプリングするステップと、内視鏡および術具の３次元位置を逐次検出するステップと、３次元画像の座標と内視鏡および術具の座標とを座標統合するステップと、内視鏡によって取得される映像に含まれる切削部位と術具の先端との距離を算出するステップと、３次元画像中に術具の先端を示す画像と術具の先端と切削部位との距離とを合成して表示させながら手術中のナビゲーションを行うステップと、を備えている手術支援方法をコンピュータに実行させる。
【００１８】
ここでは、例えば、複数のＸ線ＣＴ画像を用いて作成した３次元画像を用いて特定の骨や血管、臓器等の周辺を表示した状態で切削シミュレーションを実施した後、内視鏡を用いた手術を行う際に、実際に手術で使用する内視鏡や術具の３次元位置を逐次検出し、複数のＸ線ＣＴ画像から形成される３次元画像の座標と内視鏡や術具の実際の３次元位置の座標とを統合する。そして、３次元画像を用いて行われた切削シミュレーションにおいて切削される部位に対する実際の術具の先端の距離を算出して、その距離を３次元画像とともに表示して術者に知らせることで、切削シミュレーションの実施からシームレスに手術ナビゲーションを行う。
【００１９】
ここで、上記断層画像には、例えば、Ｘ線ＣＴやＭＲＩ、ＰＥＴ等の医用機器を用いて取得された２次元画像が含まれる。また、上記術具には、内臓や骨等を切削する切削器具等が含まれる。
これにより、例えば、内視鏡を用いて特定の臓器を切削する手術において、術者は切削対象となる部位まで術具の先端があとどのくらいの距離があるのかを正確に把握しながら、切削器具等の術具を切削部位に近づけていくことができる。よって、術者は術具を挿入していく際に、術具先端と切削部位までの距離が分からずに不安を感じることなく、適切なナビゲーションを実施することができる。
【００２０】
第１０の発明に係る手術支援装置は、内視鏡画像を見ながら切削用の術具を用いて行われる手術中に、断層画像情報から生成される３次元のシミュレーション画像を表示しながらナビゲーションを行う手術支援装置であって、シミュレーション部と、ナビゲーション部と、を備えている。シミュレーション部は、患者の断層画像情報のボクセル情報を視線に対して垂直の方向においてサンプリングして生成された３次元画像上において、仮想的に切削された手術を予定している切削部分をボクセル情報上に関連付けて記憶させる。ナビゲーション部は、３次元画像上の術具の処置部と第２メモリに保存された切削部分を示すボクセル情報との距離を算出し、術具の手術中の座標を用いて３次元画像上の術具の処置部を表示させ、処置部と切削部分を示すボクセル情報との距離を、術中に表示される内視鏡画像とともに表示させる。
【発明の効果】
【００２１】
本発明に係る手術支援装置によれば、術具を用いて切削される切削部位を見ながら、手術中の適切なナビゲーションを実施することができる。
【図面の簡単な説明】
【００２２】
【図１】本発明の一実施形態に係るパーソナルコンピュータ（手術支援装置）を含む手術支援システムの構成を示す図。
【図２】図１の手術支援システムに含まれるパーソナルコンピュータを示す斜視図。
【図３】図２のパーソナルコンピュータの制御ブロック図。
【図４】図３の制御ブロックに含まれるメモリ内の内視鏡パラメータ格納部の構成を示すブロック図。
【図５】図３の制御ブロックに含まれるメモリ内の術具パラメータ格納部の構成を示すブロック図。
【図６】（ａ），（ｂ）は、図１の手術支援システムに含まれる斜視内視鏡およびこれに取り付けられた３次元センサを示す側面図と平面図。
【図７】（ａ）は、図２のパーソナルコンピュータの動作フローチャート。（ｂ）は、（ａ）のＳ６内のフローを示す動作フローチャート。（ｃ）は、（ａ）のＳ８内のフローを示す動作フローチャート。
【図８】図１の手術支援システムのディスプレイに表示されるナビゲーション画面を示す図。
【図９】図１の手術支援システムのディスプレイに表示されるナビゲーション画面を示す図。
【図１０】図１の手術支援システムのディスプレイに表示されるナビゲーション画面を示す図。
【図１１】図１の手術支援システムのディスプレイに表示されるナビゲーション画面を示す図。
【図１２】図１の手術支援システムのディスプレイに表示されるナビゲーション画面を示す図。
【図１３】（ａ），（ｂ）は、筒状の術具（レトラクタ）を用いた場合のマウス操作による２次元入力から内視鏡３次元操作へのマッピングについて説明する図。
【図１４】マウス操作による２次元入力から内視鏡による３次元操作へのマッピングについて説明する図。
【図１５】斜視内視鏡による任意の斜視角を反映させたボリュームレンダリング像の表示について説明する図。
【図１６】（ａ）〜（ｃ）は、斜視内視鏡の先端位置および視線ベクトルを３面図上へ反映させた場合の表示を示す図。
【図１７】図２のパーソナルコンピュータによって表示される斜視内視鏡画像を示す図。
【図１８】（ａ）は、本実施形態に係る斜視内視鏡画像を示す図。（ｂ）は、斜視内視鏡の代わりに直視内視鏡を用いた場合の内視鏡画像を示す図。
【図１９】内視鏡画像の表示制限エリアを反映させたモニタ画面を示す図。
【図２０】（ａ）〜（ｃ）は、切削対象部位Ｃを中心とする内視鏡画像、その部分に対応する３次元画像から取り出した内視鏡ビュー、内視鏡画像と内視鏡ビューとを重ね合わせた画像を表示したモニタ画面を示す図。
【図２１】（ａ）〜（ｃ）は、内視鏡画像、その部分に対応する３次元画像（ＶＲ像）、内視鏡画像とＶＲ像とを重ね合わせた画像を表示したモニタ画面を示す図。
【図２２】特徴点の設定を行うレジストレーション用インタフェース画面を表示したモニタ画面を示す図。
【図２３】レジストレーションにおける座標変換について説明する図。
【図２４】（ａ），（ｂ）は、レジストレーションにおける補正値設定インタフェースおよびボリュームレンダリング像上での特徴点と座標軸の表示例を示す図。
【図２５】（ａ）は、図１の手術支援システムに含まれる術具およびこれに取り付けられた３次元センサを示す側面図。（ｂ）は、（ａ）のセンサを基準にして仮想空間上における術具の先端をマルチポイントモデルによってモデリングした側面図。
【図２６】仮想空間において、図２５（ｂ）の術具の先端から切削部位までの距離を算出、表示する工程を示す説明図。
【図２７】仮想空間における切削部位から等距離の領域を示した表示例を示す図。
【図２８】切削シミュレーションにおいて切削を制約する閾値の更新方法に、閾値加算有効点の概念を導入した切削制御を実施した場合について説明する図。
【図２９】切削シミュレーションにおいて切削を制約する閾値の更新方法に、閾値加算有効点の概念を導入しない切削制御を実施した場合について説明する図。
【図３０】本発明の他の実施形態に係る手術支援システムにおいて使用される内視鏡およびセンサを示す側面図と平面図。
【図３１】本発明のさらに他の実施形態に係る手術支援システムにおいて使用される内視鏡およびセンサを示す側面図と平面図。
【発明を実施するための形態】
【００２３】
本発明の一実施形態に係るパーソナルコンピュータ（手術支援装置）について、図１〜図２９を用いて説明すれば以下の通りである。
なお、本実施形態では、内視鏡および切削工具等の術具を用いて腰部脊椎管狭窄症に対する手術のナビゲーションを実施する場合について説明するが、本発明はこれに限定されるものではない。
【００２４】
本実施形態に係るパーソナルコンピュータ１は、図１に示すように、ディスプレイ（表示部）２、位置・角度検出装置２９、斜視内視鏡（内視鏡）３２、測位用トランスミッタ（磁場発生装置）３４とともに手術支援システム１００を構成する。
パーソナルコンピュータ１は、本実施形態の手術支援方法をコンピュータに実行させる手術支援プログラムを読み込んで手術支援装置として機能する。なお、パーソナルコンピュータ１の構成については、後段にて詳述する。
【００２５】
ディスプレイ（表示部）２は、後段にて詳述する手術中のナビゲーションや切削シミュレーションを行う３次元画像を表示するとともに、手術ナビゲーションや切削シミュレーションの設定画面等を表示する。
なお、手術中のナビゲーションを表示する表示部としては、手術中の術者に分かり易くナビゲーション画面を表示する必要があるため、パーソナルコンピュータ１のディスプレイ２に加えて、図１の手術支援システム１００に含まれる大型の液晶ディスプレイ１０２も併用される。
【００２６】
位置・角度検出装置２９は、パーソナルコンピュータ１、測位用トランスミッタ３４、および斜視内視鏡３２に接続されており、斜視内視鏡３２や術具３３等に取り付けられた３次元センサ３２ａ（図６（ａ）等参照）や３次元センサ３３ｂ（図２５（ａ）参照）における検知結果に基づいて、実際の手術中の斜視内視鏡３２や術具３３の位置や姿勢を検出する。
【００２７】
斜視内視鏡（内視鏡）３２は、手術が行われる部分に近い体表部から、後述する筒状のレトラクタ３１内に沿って挿入され、手術部位の映像を取得する。また、斜視内視鏡３２には、３次元センサ３２ａが取り付けられている。
測位用トランスミッタ（磁場発生装置）３４は、患者が横になる手術台の近傍に配置され、磁場を発生させる。これにより、斜視内視鏡３２や術具３３に取り付けられる３次元センサ３２ａや３次元センサ３３ｂにおいて測位用トランスミッタ３４で発生した磁場を検出することで、斜視内視鏡３２や術具３３の位置や姿勢を検出することができる。
【００２８】
（パーソナルコンピュータ１）
パーソナルコンピュータ１は、図２に示すように、ディスプレイ（表示部）２と、各種入力部（キーボード３、マウス４、およびタブレット５（図２参照））と、を備えている。
ディスプレイ２は、Ｘ線ＣＴ画像等の複数の断層画像から形成される骨や臓器（図２の例では、内視鏡画像を表示）等の３次元画像を表示するとともに、切削シミュレーションの結果や手術ナビゲーションの内容を表示する。
【００２９】
また、パーソナルコンピュータ１は、図３に示すように、内部に、断層画像情報取得部６等の制御ブロックを形成する。
断層画像情報取得部６には、ボクセル情報抽出部７を介して、断層画像情報部８が接続されている。つまり、断層画像情報部８では、ＣＴあるいはＭＲＩ、ＰＥＴ等の断層画像を撮影する機器から断層画像情報が供給され、この断層画像情報がボクセル情報抽出部７によってボクセル情報として抽出される。
【００３０】
メモリ９は、パーソナルコンピュータ１内に設けられており、ボクセル情報格納部１０、ボクセルラベル格納部１１、および色情報格納部１２、内視鏡パラメータ格納部２２、術具パラメータ格納部２４を有している。また、メモリ９には、ボリュームレンダリング演算部（距離算出部、表示制御部）１３が接続されている。
ボクセル情報格納部１０は、ボクセル情報抽出部７から断層画像情報取得部６を介して受信したボクセル情報を格納している。
【００３１】
ボクセルラベル格納部１１は、第１ボクセルラベル格納部、第２ボクセルラベル格納部、第３ボクセルラベル格納部を有している。これらの第１〜第３ボクセルラベル格納部は、後述する予め設定されたＣＴ値の範囲、つまり表示対象となる臓器にそれぞれ対応して設けられている。例えば、第１ボクセルラベル格納部は、肝臓を表示するＣＴ値の範囲に対応しており、第２ボクセルラベル格納部は、血管を表示するＣＴ値の範囲に対応しており、第３ボクセルラベル格納部は、骨を表示するＣＴ値の範囲に対応している。
【００３２】
色情報格納部１２は、内部に複数の格納部を有している。各格納部は、予め設定されたＣＴ値の範囲、つまり表示対象となる骨、血管、神経、臓器等にそれぞれ対応して設けられている。例えば、肝臓を表示するＣＴ値の範囲に対応する格納部、血管を表示するＣＴ値の範囲に対応する格納部、骨を表示するＣＴ値の範囲に対応する格納部等が挙げられる。このとき、各格納部には、表示対象となる骨、血管、神経、臓器ごとにそれぞれ異なる色情報が設定されている。例えば、骨に対応するＣＴ値の範囲には白色の色情報、血管に対応するＣＴ値の範囲には赤色の色情報がそれぞれ格納されている。
【００３３】
なお、表示対象となる骨や血管、神経、臓器ごとに設定されるＣＴ値とは、人体におけるＸ線吸収の程度を数値化したものであり、水を０とする相対値（単位：ＨＵ）として表される。例えば、骨が表示されるＣＴ値の範囲は５００〜１０００ＨＵ、血液が表示されるＣＴ値の範囲は３０〜５０ＨＵ、肝臓が表示されるＣＴ値の範囲は６０〜７０ＨＵ、腎臓が表示されるＣＴ値の範囲は３０〜４０ＨＵである。
【００３４】
内視鏡パラメータ格納部２２は、図４に示すように、第１内視鏡パラメータ格納部２２ａ、第２内視鏡パラメータ格納部２２ｂ、第３内視鏡パラメータ格納部２２ｃを有している。第１〜第３内視鏡パラメータ格納部２２ａ〜２２ｃには、例えば、内視鏡の斜視角、視野角、位置、姿勢等の情報がそれぞれ格納されている。また、内視鏡パラメータ格納部２２は、図３に示すように、内視鏡パラメータ設定部２３と接続されている。
【００３５】
内視鏡パラメータ設定部２３は、キーボード３やマウス４を介して内視鏡パラメータの設定を行い、内視鏡パラメータ格納部２２へ送る。
術具パラメータ格納部２４は、図５に示すように、第１術具パラメータ格納部２４ａ、第２術具パラメータ格納部２４ｂ、第３術具パラメータ格納部２４ｃを有している。第１〜第３術具パラメータ格納部２４ａ〜２４ｃには、例えば、術具を切削用のドリルとすると、ドリルの長さ、先端形状、位置、姿勢等の情報がそれぞれ格納されている。あるいは。術具を筒状のレトラクタ３１とすると、筒状のレトラクタ３１の筒形、筒長さ、位置、姿勢等の情報がそれぞれ格納されている。また、術具パラメータ格納部２４は、図２に示すように、術具パラメータ設定部２５と接続されている。
【００３６】
術具パラメータ設定部２５は、キーボード３やマウス４を介してレトラクタ３１やドリル等の術具パラメータの設定を行い、術具パラメータ格納部２４へ送る。
内視鏡／術具位置・姿勢取得部（内視鏡・術具位置検出部）２６は、バス１６を介して、内視鏡や術具の位置や角度を検出する位置・角度検出装置２９における検出結果を受信して、ボリュームレンダリング演算部１３、レジストレーション演算部２７へ送る。
【００３７】
ボリュームレンダリング演算部１３は、ボクセル情報格納部１０に格納されているボクセル情報と、ボクセルラベル格納部１１に格納されているボクセルラベルと、色情報格納部１２に格納されている色情報と、に基づいて、視線に対して垂直で、かつＺ方向の間隔が一定の複数枚のスライス情報を取得する。そして、ボリュームレンダリング演算部１３は、その演算結果を３次元画像としてディスプレイ２に表示させる。
【００３８】
また、ボリュームレンダリング演算部１３は、内視鏡パラメータ格納部２２に格納されている内視鏡情報と、術具パラメータ格納部２４に格納されている術具情報と、内視鏡／術具位置・姿勢取得部２６における検出結果と、に基づいて、実際の内視鏡や術具の動きを３次元画像に組み合わせたリアルタイム表示を行う。
さらに、ボリュームレンダリング演算部１３は、上記内視鏡情報および術具情報に基づいて、内視鏡によって得られる画像情報に対してレトラクタ３１によって視野が制限される画像情報を反映させたマスキング状態で、ディスプレイ２に仮想内視鏡画像を表示させる。具体的には、ボリュームレンダリング演算部１３は、内視鏡パラメータ格納部２２に格納された内視鏡に関する情報（斜視角、視野角、位置等）と、術具パラメータ格納部２４に格納された術具に関する情報（径、長さ等）とに基づいて、内視鏡によって取得される内視鏡画像表示エリア（第１表示エリア）Ａ１（図１０等参照）と表示制限エリア（第２表示エリア）Ａ２（図１０等参照）とを設定する。
【００３９】
ここで、仮想内視鏡画像表示エリアＡ１とは、実際の内視鏡手術中においてディスプレイ２のモニタ画面上に表示される表示エリアである。表示制限エリアＡ２とは、筒状のレトラクタ３１等の術具の内壁部分等によって内視鏡によって取得される表示が制限される表示エリアであって、内視鏡手術シミュレーション上ではマスキングされて表示される領域を意味している（図１０等参照）。
【００４０】
さらに、ボリュームレンダリング演算部１３には、バス１６を介して深さ検出部１５が接続されている。
深さ検出部１５は、レイキャスティング走査距離を測定するとともに、深さ制御部１７とボクセルラベル設定部１８とが接続されている。
ボクセルラベル設定部１８は、ボクセルラベル格納部１１と被切削ボクセルラベル算出表示部１９とが接続されている。
【００４１】
バス１６には、上述したボリュームレンダリング演算部１３および深さ検出部１５に加えて、メモリ９内の色情報格納部１２等、ウィンドウ座標取得部２０、内視鏡／術具位置・姿勢取得部２６が接続されており、キーボード３、マウス４、タブレット５、位置・角度検出装置２９、内視鏡映像取得部３０等から入力された内容に基づいて、ディスプレイ２に３次元画像等を表示する。
【００４２】
ウィンドウ座標取得部２０には、色情報設定部２１とレジストレーション演算部２７とが接続されている。
色情報設定部２１は、メモリ９内の色情報格納部１２に接続されている。
内視鏡／術具位置・姿勢取得部２６は、上述したように、斜視内視鏡３２や術具３３に取り付けられる３次元センサ３２ａや３次元センサ３３ｂにおいて測位用トランスミッタ３４で発生した磁場を検出することで、斜視内視鏡３２や術具３３の位置や姿勢に関する情報を取得する。
【００４３】
なお、斜視内視鏡３２の３次元における位置や姿勢を検出するための３次元センサ３２ａは、図６（ａ）および図６（ｂ）に示すように、斜視内視鏡３２の把持部における操作の邪魔にならない位置に設けられている。また、術具３３の３次元における位置や姿勢を検出するための３次元センサ３３ｂは、図２５（ａ）に示すように、術具３３の把持部における操作の邪魔にならない位置に設けられている。
【００４４】
レジストレーション演算部２７は、ボリュームレンダリング演算部１３において生成される３次元画像と、実際の手術中の患者の基準位置、内視鏡３２および術具３３の３次元位置および回転角度を一致させるための演算を行う。なお、このレジストレーション演算部２７におけるレジストレーション処理（座標変換処理）については、後段にて詳述する。
【００４５】
変換行列保持部２８は、レジストレーション演算部２７およびボリュームレンダリング演算部１３と接続されており、レジストレーション処理（座標変換処理）を実施する際に使用される変換行列を複数保持している。
位置・角度検出装置２９は、上述したように、パーソナルコンピュータ１、測位用トランスミッタ３４、および斜視内視鏡３２に接続されており、斜視内視鏡３２や術具３３等に取り付けられた３次元センサ３２ａ（図６（ａ）等参照）や３次元センサ３３ｂにおける検知結果に基づいて、実際の手術中の斜視内視鏡３２や術具３３の位置や姿勢を検出する。
【００４６】
内視鏡映像取得部３０は、斜視内視鏡３２において取得された映像を取得する。内視鏡映像取得部３０において取得された内視鏡の映像は、バス１６を介して、ディスプレイ２，１０２に表示される。
レトラクタ３１は、上述したように、斜視内視鏡３２やドリル等の術具３３が内部に挿入される筒状の部材であって、実際の手術において、手術部位の近傍の体表面から患者の体内へ挿入されて固定される。
【００４７】
斜視内視鏡（内視鏡）３２は、上述した筒状のレトラクタ３１の内周面に沿って挿入され、手術部位の映像を取得する。また、斜視内視鏡３２には、手術中にリアルタイムで斜視内視鏡３２の３次元位置や姿勢を検出するために、３次元センサ３２ａが取り付けられている。
３次元センサ３２ａは、図６（ａ）および図６（ｂ）に示すように、斜視内視鏡３２の後端部側における側面に１本設けられている。よって、斜視内視鏡３２の先端位置は、上述した内視鏡パラメータ格納部２２に保存された斜視内視鏡３２の長さや形状に基づいて、計算によって算出される。なお、本実施形態では、３次元センサ３２ａとして、１本の６軸センサを用いている。このため、（ｘ、ｙ、ｚ）、ｙ（ヨー）、ｐ（ピッチ）、ｒ（ロール）の６つのパラメータを、１本の３次元センサ３２ａによって測位することができる。
【００４８】
術具３３は、本実施形態では、手術部位を切削するドリルを用いている。この術具（ドリル）３３についても、斜視内視鏡３２と同様に、後端部付近に３次元センサ３３ｂが取り付けられている。これにより、切削を行う術具（ドリル）３３の先端（処置部）の位置についても、術具パラメータ格納部２４に保存されたドリルの長さや形状に基づいて算出することができる。
【００４９】
より具体的には、図２５（ａ）に示すように、実空間において、実際に手術に使用される術具３３の把持部における邪魔にならない位置に３次元センサ３３ｂが取り付けられていることで、図２５（ｂ）に示すように、仮想空間において、術具画像３３ａの先端位置をマルチポイントモデルによってモデリングを行う。
そして、図２６に示すように、実際の術具３３の操作に合わせて、リアルタイムに術具３３の位置や姿勢等を検知した結果に基づいて、仮想空間上において、術具３３の先端のマルチポイントから手術計画された切削部位までの距離を算出して表示する。
【００５０】
また、術具３３の先端のマルチポイントから手術計画された切削部位までの距離は、接近する方向にサンプリングしていき、マルチポイントが接近する速度、加速度および方向に応じて表示モードを変更する（図９および図１０参照）。
これにより、術者は、ナビゲーション用の仮想空間を示す画像を見ながら、切削部位に対する術具先端の位置をより正確に把握することができる。
【００５１】
＜本手術支援方法に関する制御フロー＞
ここで、本実施形態のパーソナルコンピュータ１による手術支援方法の流れを示す制御フローについて、図７（ａ）から図７（ｃ）を用いて説明すれば以下の通りである。
本実施形態のパーソナルコンピュータ１では、図７（ａ）に示すように、まずＳ１において、上述したように、断層画像情報部８からの断層画像情報が入力され、これがボクセル情報抽出部７に供給される。
【００５２】
次に、Ｓ２において、ボクセル情報抽出部７において、断層画像情報からボクセル情報が抽出される。抽出されたボクセル情報は、断層画像情報取得部６を介して、メモリ９のボクセル情報格納部１０に格納される。ボクセル情報格納部１０に格納されるボクセル情報は、例えば、Ｉ（ｘ，ｙ，ｚ，α）で構成される点の情報である。このとき、Ｉは当該点の輝度情報であり、ｘ，ｙ，ｚは座標点を示し、αは透明度情報である。
【００５３】
次に、Ｓ３において、ボリュームレンダリング演算部１３が、ボクセル情報格納部１０に格納されているボクセル情報に基づいて、視線に対して垂直で、かつ間隔が一定の複数のスライス情報を算出し、スライス情報群を取得する。そして、スライス情報群は、ボリュームレンダリング演算部１３内に少なくとも一時的に格納される。
なお、上述した視線に対して垂直なスライス情報とは、視線に対して直交する面を意味している。例えば、ディスプレイ２を鉛直方向に沿って立てた状態で、これと顔の面とを平行にした状態で見た場合に、スライス情報が視線に対して垂直な面となる。
【００５４】
このようにして得られた複数のスライス情報は、上述したように、Ｉ（ｘ，ｙ，ｚ，α）で構成される点の情報を保有している。よって、スライス情報は、例えば、ボクセルラベル１４がＺ方向に複数枚配置されている。なお、ボクセルラベル１４の集合体は、ボクセルラベル格納部１１に収納されている。
次に、Ｓ４において、ディスプレイ２には、レンダリング像が表示される。このとき、ディスプレイ２では、マウス４等を用いてＣＴ値の範囲が指定されることで、切削対象物となる骨や血管等が選択されて表示される。
【００５５】
次に、Ｓ５において、ユーザからレジストレーションを実施するように指示を受け付けたか否かを判定する。ここで、レジストレーションの指示を受け付けた場合には、レジストレーションを実施するために、Ａ（Ｓ６）へ進む。一方、レジストレーションの指示を受け付けていない場合には、ナビゲーションを実施するように指示を受けたか否かを確認するＳ７へ移行する。
【００５６】
Ｓ５においてレジストレーションの指示を受け付けている場合には、図７（ｂ）に示すフローに従って、レジストレーションを実施する。
すなわち、まず、Ｓ６１において、レジストレーションの特徴点となる位置を指示する。具体的には、体表面から位置が確認し易い骨の部分、例えば、第五棘突起、左右の腸骨等を特徴点とする。
【００５７】
次に、Ｓ６２において、術者あるいは看護師等がセンサを持ったまま、手術台上に横たわる患者の体表面からそれらの特徴点に近い位置へ押し当てた状態とし、ディスプレイ１０２を見ながらセンサの位置を微調整してセンサ位置情報を取得する。
次に、Ｓ６３において、取得したセンサ位置を示す実空間座標系を、仮想空間座標系へ変換するための変換行列を算出する。
【００５８】
座標変換行列は、図２３に示すように、仮想空間内において指定した特徴点３点（Ｐv1，Ｐv2，Ｐv3）、（Ｐv1，Ｐv2，Ｐv3）からなる三角形の重心を原点としたＰv0とセンサから取得した実空間内のオブジェクトに対し、対応する特徴点座標（Ｐr1，Ｐr2，Ｐr3）、（Ｐr1，Ｐr2，Ｐr3）からなる三角形の重心を原点としたＰr0から下記手順で求める。
【００５９】
まず、Ｐv0は、仮想空間内で指定した特徴点三角形の重心なので
【数１】
2013202313.tif 000003
となる。この、仮想空間の原点ベクトルＰv0と特徴点３点Ｐv1，Ｐv2，Ｐv3から仮想空間における正規直交ベクトルを下記の手順で求める。
【００６０】
１軸ベクトルＶv1を、
【数２】
2013202313.tif 000004
と定義し、特徴点Ｐv2，Ｐv3を含む平面に直交するベクトルを３軸目として求めるための一時２軸ベクトルＶv2_Tmpを、
【００６１】
【数３】
2013202313.tif 000005
と定義し、Ｖv1，Ｖv2_Tmpの外積をとって３軸ベクトルＶv3を、
【００６２】
【数４】
2013202313.tif 000006
Ｖv3，Ｖv1の外積をとって２軸ベクトルＶv2を、
【００６３】
【数５】
2013202313.tif 000007
と求める。
【００６４】
同様の手順でＰr0は実空間の特徴点三角形の重心から
【数６】
2013202313.tif 000008
となり、Ｐr0と特徴点３点Ｐr1，Ｐr2，Ｐr3から実空間の正規直交ベクトルＶr1，Ｖr2，Ｖr3を下記のように求める。
【００６５】
【数７】
2013202313.tif 000009
【００６６】
【数８】
2013202313.tif 000010
【００６７】
【数９】
2013202313.tif 000011
【００６８】
【数１０】
2013202313.tif 000012
【００６９】
次に、仮想空間と、実空間の正規直交ベクトルから、各空間座標への回転行列を求める。まず、仮想空間上の回転行列Ｍvは、
【数１１】
2013202313.tif 000013
となり、実空間の回転行列Ｍrは、
【００７０】
【数１２】
2013202313.tif 000014
となる。
【００７１】
実空間座標系から仮想空間座標系への回転行列を求めるために、実空間座標系から実空間座標系への回転行列が必要となる。これは、実空間座標系の回転行列による変換の逆変換なので逆行列となる。この逆行列によって変換された実空間座標系に対して仮想空間座標系の回転行列による変換を行うことで、実空間座標系から仮想空間座標系への回転行列Ｍrotateが求まる。
【００７２】
式で表すと下記(13)式のようになる。
【数１３】
2013202313.tif 000015
スケーリング行列Ｈscaleは、実空間とＤＩＣＯＭデータは同一であると考えられるので仮想空間も同一になる。よって単位行列として定義する。
【００７３】
求まった回転行列Ｍrotate、スケーリング行列と平行移動分である仮想空間の原点Ｐv0により、実空間座標系から仮想空間座標系への変換行列Ｈtは下記のようになる。
【００７４】
【数１４】
2013202313.tif 000016
本実施形態では、この変換行列を用いて、３次元センサ３２ａから取得した実空間座標を仮想空間座標に変換する。
なお、この変換行列Ｈは、変換行列保持部２８内に複数保存されている。
【００７５】
次に、Ｓ６４において、レジストレーションの精度が十分か否かを判定する。ここで、レジストレーションの精度が所定の範囲内であることを確認できるまで、Ｓ６１〜Ｓ６４を繰り返し行う。そして、精度が所定の範囲内確認できた段階で終了する。
つまり、Ｓ６４では、レジストレーションの精度が所定の範囲内にないことが分かった場合には、再度、レジストレーションの処理を実施して最初の結果を補正する。これにより、レジストレーション処理の精度を向上させることができる。
【００７６】
なお、レジストレーションの補正処理については、後段にて詳述する。
以上のように、Ｓ５においてレジストレーションの実施指示を受けた場合にはレジストレーションを実施後、あるいはレジストレーションの実施指示を受け付けていない場合にはそのままＳ７に移行する。
【００７７】
次に、Ｓ７においては、手術中のナビゲーションを実施するように指示を受け付けている場合には、Ｂ（Ｓ８）へ進む。一方、ナビゲーションの実施指示を受け付けていない場合には、Ｓ３の処理に戻る。
すなわち、Ｓ８１において、内視鏡／術具位置・姿勢取得部２６が、位置・角度検出装置２９における検出結果に基づいて、斜視内視鏡３２および術具３３の３次元位置および姿勢に関する情報を取得する。
【００７８】
次に、Ｓ８２において、斜視内視鏡３２および術具３３の３次元位置に基づいて、上述した変換行列Ｈを用いて、実空間座標系から仮想空間座標系へ変換する。
次に、Ｓ８３において、ボリュームレンダリング演算部１３が、内視鏡パラメータ格納部２２から内視鏡パラメータを取得する。
次に、Ｓ８４において、ボリュームレンダリング演算部１３が、術具パラメータ格納部２４から術具のパラメータを取得する。
次に、Ｓ８５において、内視鏡映像取得部３０から内視鏡映像を取得する。
【００７９】
次に、Ｓ８６において、切削対象となる部位が複数ある場合、術具３３の先端から全ての切削対象までの距離の演算が完了したかを確認する。ここで、距離演算が完了すると、Ｓ８７へ進む。
次に、Ｓ８７において、ボリュームレンダリング演算部１３は、内視鏡映像とともに、３次元画像（レンダリング像）を重ね合わせてディスプレイ２，１０２に表示させる。
【００８０】
このとき、実際の術具３３の動きを３次元センサ３３ｂが検知して３次元画像上にリアルタイムで術具３３の動きが表示されることで、術者は、ディスプレイ１０２に表示された距離情報を確認しながら術具３３を操作することができる。よって、術者にとって有効な手術ナビゲーションを実行することができる。
ここで、Ｓ８７において、ディスプレイ２，１０２に表示される３次元画像について、図８から図１２を用いて説明すれば以下の通りである。
【００８１】
なお、図８から図１２に示す例では、３つの切削部位Ｚ１〜Ｚ３があり、切削部位Ｚ１に対して術具３３を近づけて切削を行う場合について説明する。
すなわち、ディスプレイ２，１０２のモニタ画面Ｍには、図８に示すように、ナビゲーション画面として、情報表示エリアＭ１、ナビゲーション画像エリアＭ２、距離表示エリアＭ３が含まれている。
【００８２】
具体的には、情報表示エリアＭ１には、「切削部位に接近中」との文字情報が表示される。ナビゲーション画像エリアＭ２には、切削部位周辺の３次元画像に、術具画像３３ａ、レトラクタ画像３１ａ、切削部位Ｚ１〜Ｚ３を重ね合わせた画像が表示される。そして、距離表示エリアＭ３には、ドリル（術具３３）先端のマルチポイントから各切削部位Ｚ１〜Ｚ３までの距離が表示される。
【００８３】
なお、ナビゲーション画像エリアＭ２における各画像の重ね合わせについては、各画像ごとに透過率を設定して、術者にとって必要な情報が表示されるように変更することが可能である。
ここで、切削部位Ｚ１を切削するために、術者が術具３３を切削部位Ｚ１に近づけていく速度を速めていった場合には、図９に示すように、情報表示エリアＭ１において、「切削部位Ｚ１に接近中。接近速度が徐々に速くなっています。」との表示を行う。このとき、情報表示エリアＭ１は、術者に警告するために、例えば、黄色の背景色となって表示される。
【００８４】
また、術者が術具３３を切削部位Ｚ１に近づける速度を速めていった場合には、術具３３を近づける速度が大きすぎて切削すべき部分を突き抜けてしまうおそれがある。そこで、本実施形態では、図１０に示すように、情報表示エリアＭ１において、「切削部位Ｚ１に接近中。接近速度が速すぎます。」との表示を行う。このとき、情報表示エリアＭ１は、術者にさらに重度の警告を行うために、例えば、赤色の背景色となって表示される。
【００８５】
次に、切削部位Ｚ１を切削するために、術者が術具３３を切削部位Ｚ１に近づけて行くと、図１１に示すように、ナビゲーション画像エリアＭ２において、術具画像３３ａの先端部分が切削部位Ｚ１に対して接触した状態で表示される。このとき、距離表示エリアＭ３には、ドリル先端から切削部位Ｚ１までの距離：０ｍｍと表示される。
【００８６】
次に、術具３３を用いて切削部位Ｚ１を切削していくと、図１２に示すように、ナビゲーション画像エリアＭ２において、術具画像３３ａの先端部分が切削部位Ｚ１に対して入り込んでいくように表示される。このとき、例えば、術具３３によって深さ方向において５ｍｍの切削を行った場合、距離表示エリアＭ３には、ドリル先端から切削部位Ｚ１までの距離：−５ｍｍと表示される。そして、情報表示エリアＭ１には、「切削部位Ｚ１の切削完了」と表示される。
【００８７】
本実施形態の手術支援システム１００のパーソナルコンピュータ１は、以上のように、斜視内視鏡３２や術具３３の実際の３次元位置（実空間座標）をボリュームレンダリング演算部１３において生成された３次元画像上の座標（仮想空間座標）に変換した上で、術具３３の先端を示す画像（術具画像３３ａ）と術具先端から切削部位までの距離とを３次元画像中に合成して表示させながら手術中のナビゲーションを行う。
これにより、術者は、ディスプレイ１０２の画面を見ながら、術具３３の先端から切削部位Ｚ１までの距離を認識しながら術具３３を操作することができる。
【００８８】
＜ナビゲーション画像エリアに表示されるレトラクタ画像の表示方法＞
次に、図１３（ａ）および図１３（ｂ）を用いて、マウス４の操作による２次元入力から内視鏡３次元操作へのマッピングについて説明する。
ここでは、レトラクタに設置したセンサにより位置と姿勢とを測定した結果と、レトラクタの径、長さ、移動方向（挿入方向）等のパラメータに基づいて、３次元画像上に表示する。
【００８９】
通常、レトラクタ３１内に挿入された斜視内視鏡３２（図１３（ａ）等参照）は、レトラクタ３１と一体化された図示しないアタッチメントに固定されることで、レトラクタ３１内における周方向における移動が制限されている。
ここで、図１３（ａ）に示すように、斜視内視鏡３２をアタッチメントごと回転させたと仮定して、図１３（ｂ）に示すように、レトラクタ３１の中心から斜視内視鏡３２の中心までの距離Ｒｏの奥行き方向の軸Ｒｚに対して、角度Θ回転した場合の回転行列RΘを算出する。
【００９０】
次に、ベクトルＲｏＥｏ’＝ＲΘ×ＲｏＥｏであるから、内視鏡先端位置は、内視鏡の挿入深度ｄｅを用いて、内視鏡先端位置Ｅｃ＝Ｅｏ’＋Ｒｚ*ｄｅの式によって算出することができる。
これにより、２次元のマウス操作によって、３次元の内視鏡先端位置を算出することができる。
【００９１】
次に、図１４を用いて、マウス４の操作による２次元入力から内視鏡３次元操作へのマッピングに関連する他の例について説明する。
通常、内視鏡には、図示しないＣＣＤカメラを格納したカメラヘッド部が後端部側に接続されている。ここでは、このカメラヘッド部を回転させた際の表示の回転について説明する。
【００９２】
すなわち、実際の内視鏡手術において、ディスプレイ２，１０２の表示画面上に表示された画像が縦向きに表示されてしまった場合には、実際の患者の向きとディスプレイ２，１０２の表示の向きとを一致させるために、カメラヘッド部を回転させることで視野を変えずに画像のみ回転させる。
マウス４を用いた２次元入力によってこれを実現するために、まず、ディスプレイ高とマウスドラッグ距離からΘ＝３６０*Ｈｄ／Hを算出する。
【００９３】
次に、ディスプレイ２，１０２の画面中心座標の奥行き方向の軸Ｒｙに対し、角度Θ回転した場合の回転行列R２Θを算出する。
そして、視野の上方ベクトルＵに対し、Ｕ'＝Ｒ２Θ*Ｕを新たな上方ベクトルとすることで、ディスプレイ２，１０２に表示される画像を、視野を変えることなく、例えば、９０度回転させることができる。
【００９４】
これにより、マウス４を用いた２次元入力によって、容易にディスプレイ２，１０２に表示された画像を実際の内視鏡手術におけるモニタ画面と同じ向き（角度）に調整することができる。
次に、斜視内視鏡３２の任意の斜視角を反映させたボリュームレンダリング像を生成するための方法について、図１５を用いて説明する。
【００９５】
すなわち、本実施形態では、斜視内視鏡３２ごとに設定される斜視角に応じて、視野ベクトルに回転行列を適用する。
具体的には、まず、レトラクタ３１の軸方向に対応する鏡軸ベクトルＶｓと斜視内視鏡３２の斜視方向に対応する垂直ベクトルＶｕの外積Ｖｃを算出する。
【００９６】
次に、Ｖｃ周りをΘ回転する回転行列Ｒｓを算出する。
そして、斜視角を反映した視野ベクトルＶｅは、Ｖｅ＝Ｒｓ*Ｖｓ として求めることができる。
これにより、斜視内視鏡３２ごとに斜視角度が異なる場合でも、内視鏡パラメータ格納部２２に格納された情報等に基づいて視野ベクトルＶｅを算出することで、手術に使用される斜視内視鏡３２ごとの視野範囲を設定することができる。
【００９７】
なお、鏡軸ベクトルＶｓと視野ベクトルＶｅとを用いて、斜視内視鏡３２の先端位置および視線ベクトルを３面図上への反映させた状態を、図１６（ａ）〜図１６（ｃ）に示している。
これにより、図１６（ａ）〜図１６（ｃ）に示すように、斜視内視鏡３２を用いた腰部脊椎管狭窄症に対する手術のシミュレーションにおいて、正面図（患者側面から見た図）、平面図（患者背中から見た図）、側面図（患者の背骨方向から見た図）を用いて、斜視内視鏡３２の挿入方向を容易に把握することができる。
【００９８】
本実施形態のパーソナルコンピュータ１では、以上のような構成により、レトラクタ３１の形状、斜視内視鏡３２の斜視角や視野角等に基づいて、内視鏡手術シミュレーションを行う際に、図１７に示すように、レトラクタ３１によって遮られる表示制限エリアＡ２を反映させた内視鏡画像（内視鏡表示エリアＡ１）を表示させる。
これにより、実際の内視鏡手術においてレトラクタ３１の内壁によって見えなくなる表示制限エリアＡ２を反映させた表示態様とすることで、実際の内視鏡手術において表示画面に表示される画像に近似した表示を行うことができる。よって、より効果的な手術支援を実施することができる。
【００９９】
なお、例えば、斜視内視鏡３２の斜視角２５度の場合には、図１８（ａ）に示すように、レトラクタ３１による表示制限エリアＡ２を反映させることで、手術対象部位は内視鏡表示エリアＡ１内に表示される。
さらに、本実施形態のパーソナルコンピュータ１のディスプレイ２，１０２に実際に表示される画面として、図１９に示すように、例えば、切削対象部位Ｃの表示等と組み合わせて、表示制限エリアＡ２を反映させつつ、内視鏡表示エリアＡ１内に切削対象部位Ｃを表示することもできる。
【０１００】
さらに、術者にとって分かり易いナビゲーション画面を表示するために、図２０（ａ）〜図２０（ｃ）に示すように、切削対象部位Ｃを中心とする内視鏡画像、その部分に対応する３次元画像から取り出した内視鏡ビュー、内視鏡画像と内視鏡ビューとを重ね合わせた画像、をそれぞれモニタ画面Ｍに表示してもよい。
なお、図２０（ｃ）の重ね合わせ画像では、内視鏡ビューの透過率を３０％に設定した場合の画像を示している。内視鏡ビューの透過率については、０〜１００％まで自由に設定可能である。
【０１０１】
また、内視鏡画像に組み合わせる３次元画像としては、内視鏡ビューに限定されるものではない。例えば、図２１（ａ）〜図２１（ｃ）に示すように、切削対象部位Ｃを中心とする内視鏡画像、その部分に対応する３次元画像を示すＶＲ像、内視鏡画像と内視鏡ビューとを重ね合わせた画像、をそれぞれモニタ画面Ｍに表示してもよい。
なお、図２１（ｃ）の重ね合わせ画像では、ＶＲ像の透過率を５０％に設定した場合の画像を示している。ＶＲ像の透過率については、０〜１００％まで自由に設定可能である。
【０１０２】
＜レジストレーション処理＞
本実施形態の手術支援システム１００においては、上述したように、手術ナビゲーションを実行する前に、実空間座標と仮想空間座標との位置合わせを行うレジストレーションが実施される。このレジストレーションについて、より詳細に説明すれば以下の通りである。
本実施形態では、実空間座標と仮想空間座標（３次元画像座標）のレジストレーションを以下のようにして実施する。
【０１０３】
ここで、レジストレーション機能とは、手術中における内視鏡３２と関心領域の位置関係を測位するため、内視鏡３２側に取り付けられた３次元センサ３２ａの位置情報を示す実空間座標と３次元画像が持つ仮想空間座標との間で位置合わせを行う機能である。このレジストレーション機能によって、このレジストレーションの処理過程において生成される座標変換行列を用いて、仮想空間内における内視鏡３２の位置を取得し、最終的な魚眼レンズ特性を反映したボリュームレンダリングをインタラクティブに行うことを可能とする。
【０１０４】
各座標の位置合わせでは、実空間内における特徴点および仮想空間内に対応する特徴点をそれぞれ３点ずつ定義し、これらの座標から、スケール量、並行移動量および回転量を算出して、最終的な座標変換行列を合成する。
図２２には、特徴点（図中の点Ｐ）の設定を行うレジストレーション用インタフェース画面を表示したモニタ画面Ｍを示している。
【０１０５】
次に、レジストレーションの流れについて説明する。
まず、ビューウインドウで表示されている３次元画像に対し、マウスでポインティングして仮想空間内における特徴点座標（ｘv，ｙv，ｚv）を３点定義（センサ取得座標と同じmm単位に変換後の座標値）する。
次に、実空間内のオブジェクトに対し、対応する特徴点座標（ｘr，ｙr，ｚr）を磁気センサでポインティングして順に登録を行う。２空間内でそれぞれ定義した特徴点の位置情報を用いて、それぞれの原点を算出することで、平行移動のベクトルを算出する。
【０１０６】
次に、スケーリング行列および回転行列を算出し、最終的な座標変換行列を合成して記憶する。
また、斜視内視鏡において、内視鏡先端の位置のみでなく、内視鏡軸の向きを検出する必要があり、仮想空間内における視野の算出において、上記計算時に生成された回転行列を用いるため、回転行列も単独で記憶する。
【０１０７】
＜レジストレーション補正＞
本実施形態では、図７（ｂ）に示すように、レジストレーションを実施する際には、Ｓ６４においてレジストレーションの精度を確認する。
ここで、レジストレーション実施後に、仮想空間における特徴点に対応する実空間の特徴点位置指定に所定量以上のズレが発生した場合、これを補正するために以下のような処理を実施する。
【０１０８】
すなわち、本実施形態のパーソナルコンピュータ１は、仮想空間内のボリュームレンダリング像上に表示される特徴点のズレと座標軸を確認しながら、インタフェースにてズレを補正するための補正機能を有している。
図２４（ａ）および図２４（ｂ）に、補正値設定インタフェースおよびボリュームレンダリング像上での特徴点と座標軸の表示例を示している。
【０１０９】
本補正機能を用いて、レジストレーション補正する際の流れを下記に示す。
ユーザが図２４（ａ）に示すインタフェース内に特徴点の補正値を設定すると、登録された実空間の特徴点に対し、ベクトル加算による座標修正を行い、再レジストレーション処理を行う。
再レジストレーションでは、レジストレーション機能と同じく、２空間内で定義された特徴点座標を用いて、座標変換行列および回転行列の再計算を行う。
再計算が終了すると、直ちに、特徴点および座標軸の描画位置を再計算し、図２４（ｂ）に示すように、ボリュームレンダリング像を更新する。
【０１１０】
＜切削部位を中心とする等距離表示制御＞
本実施形態では、パーソナルコンピュータ１のディスプレイ２，１０２に実際に表示される仮想空間を示す画面として、例えば、図２８に示すように、切削対象部位を中心とする距離ｌ1の領域、距離ｌ2の領域とを設定し、それぞれの領域を、色を変えて表示することも可能である。
これにより、術者にとって、術具３３の先端から切削部位までの距離をより分かり易く表示することができる。
【０１１１】
＜切削シミュレーションにおける切削制限＞
本実施形態では、手術前の切削シミュレーションを実施する際に、深さ制御部１７が、深さ検出部１５において検出された切削部位の深さ位置に基づいて、切削部位周辺の不連続性あるいは深さの変化度合いを演算する。
そして、上記変化度合いが所定の閾値を超えた場合には、ボクセルラベル設定部１８および被切削ボクセルラベル算出表示部１９が、シミュレーション用の仮想空間における切削を中止する、あるいは切削データを更新しないように制御を行う。
【０１１２】
具体的には、図２９に示すように、閾値加算有効点という概念を用いて、ある切削点から順次右方向へ切削していく切削シミュレーションを実施する際には、深さの変化量（深度変化量）ΔＤが所定の閾値よりも大きい場合には、仮想空間におけるボリュームレンダリング画像におけるその切削点では切削が行われない。
すなわち、閾値加算有効点という概念を導入した場合には、切削点i-1に対して、直前の閾値加算有効点との深度変化が一定値以下の場合は、新たな閾値加算有効点とは扱わないようにすることで、平坦な面における切削が続いた場合でも、Ｔiが0に収縮しないよう制約を加えることができる。
【０１１３】
【数１５】
2013202313.tif 000017
ΔＤk：       閾値加算有効点kにおける直前の閾値加算有効点との深度変化
m：    切削可能点評価係数(1.0以上)
k：    閾値加算有効点評価係数(0.0以上1.0未満)
なお、上記式において、ΔＤi-1＜ｋＴi-1が成立する場合には、切削点i-1は新たな閾値加算有効点とは扱われず、Ｔi＝Ｔi-1となる。そうでない場合は、従来手法通り閾値の加算対象と扱われる。
【０１１４】
よって、切削点が、深さの変化量ΔＤi-1が一定値未満（ΔＤi-1＜ｋＴｉ）の比較的平坦な部分を移動していく場合には、Ｔｉを更新しないように切削シミュレーションが実施される。
これにより、深さ位置が大きく変化する部分については、切削データを更新しない、あるいは切削を中止することで、より適切に切削シミュレーション画像を表示することができる。
【０１１５】
一方、上述した閾値加算有効点の制御を行わない場合には、図２９に示すように、ある切削点から順次右方向へ切削していく切削シミュレーションを実施する際には、深さの変化量（深度変化量）ΔＤが所定の閾値よりも大きい場合には、図２８の場合と同様に、仮想空間におけるボリュームレンダリング画像におけるその切削点では切削が行われない。
【０１１６】
しかし、上述した閾値加算有効点の制御を実施しない場合には、比較的平坦な部分においては、ΔＤi-1＝０となり、Ｔｉ≒０となるため、微小な深度変化であっても切削をキャンセルしてしまうという問題が生じる。
よって、本実施形態では、上述した閾値加算有効点という概念を用いて切削シミュレーションを実施することで、意図した切削シミュレーション画像に近い表示を行うことができる。
【０１１７】
［他の実施形態］
以上、本発明の一実施形態について説明したが、本発明は上記実施形態に限定されるものではなく、発明の要旨を逸脱しない範囲で種々の変更が可能である。
（Ａ）
上記実施形態では、手術支援装置として本発明を実現した例を挙げて説明した。しかし、本発明はこれに限定されるものではない。
例えば、図７（ａ）〜図７（ｃ）に示す制御方法をコンピュータに実行させる手術支援プログラムとして、本発明を実現してもよい。
【０１１８】
（Ｂ）
上記実施形態では、斜視内視鏡３２や術具３３の３次元位置および姿勢を検出するために、斜視内視鏡３２に６軸センサである３次元センサ３２ａを１つ取り付けた例を挙げて説明した。しかし、本発明はこれに限定されるものではない。
例えば、図３０（ａ）および図３０（ｂ）に示すように、内視鏡１３２に、５軸センサである３次元センサ１３２ａ，１３２ｂを２本取り付けてもよい。
さらに、例えば、図３１（ａ）および図３１（ｂ）に示すように、内視鏡２３２に、３軸センサである３次元センサ２３２ａ，２３２ｂ，２３２ｃを３本取り付けてもよい。
【０１１９】
（Ｃ）
上記実施形態では、斜視内視鏡３２や術具３３の３次元位置および姿勢を検出するために、斜視内視鏡３２の後端部付近に６軸センサ３２ａを取り付けた例を挙げて説明した。しかし、本発明はこれに限定されるものではない。
例えば、３次元センサを取り付ける位置としては、内視鏡や術具の後端部付近に限らず、先端側や中央部付近であってもよい。
【産業上の利用可能性】
【０１２０】
本発明の手術支援装置は、術具を用いて切削される切削部位を見ながら、手術中の適切なナビゲーションを実施することができるという効果を奏することから、各種手術を実施する際の手術支援装置として広く適用可能である。
【符号の説明】
【０１２１】
１      パーソナルコンピュータ（手術支援装置）
２      ディスプレイ（表示部）
２ａ    内視鏡画像表示用モニタ
２ｂ    ３次元画像表示用モニタ
３      キーボード（入力部）
４      マウス（入力部）
５      タブレット（入力部）
６      断層画像情報取得部
７      ボクセル情報抽出部
８      断層画像情報部
９      メモリ
１０      ボクセル情報格納部
１１      ボクセルラベル格納部
１２      色情報格納部
１３      ボリュームレンダリング演算部（距離算出部、シミュレーション部、ナビゲーション部）
１５      深さ検出部（シミュレーション部）
１６      バス
１７      深さ制御部（シミュレーション部）
１８      ボクセルラベル設定部（シミュレーション部）
１９      被切削ボクセルラベル算出表示部（シミュレーション部）
２０      ウィンドウ座標取得部
２１      色情報設定部
２２      内視鏡パラメータ格納部
２３      内視鏡パラメータ設定部
２４      術具パラメータ格納部
２５      術具パラメータ設定部
２６      内視鏡／術具位置・姿勢取得部（内視鏡・術具位置検出部）
２７      レジストレーション演算部
２８      変換行列保持部
２９      位置・角度検出装置
３０      内視鏡映像取得部
３１      レトラクタ
３１ａ    レトラクタ画像
３１ｂ    衝突部位
３２      斜視内視鏡（内視鏡）
３２ａ    ６軸センサ
３３      術具
３３ａ    術具画像
３３ｂ    ３次元センサ
３４      ＢＯＸ型トランスミッタ（磁場発生装置）
１００    手術支援システム
１０２    液晶ディスプレイ（表示部）
１３２    内視鏡
１３２ａ，１３２ｂ  ５軸センサ
２３２    内視鏡
２３２ａ，２３２ｂ，２３２ｃ  ３軸センサ
Ａ１      内視鏡画像表示エリア（第１表示エリア）
Ａ２      表示制限エリア（第２表示エリア）
Ｃ        切削対象部位
Ｍ        モニタ画面
Ｍ１      情報表示エリア
Ｍ２      ナビゲーション画像エリア
Ｍ３      距離表示エリア
Ｚ１〜Ｚ３  切削部位
【図１】
2013202313.tif 000018
【図２】
2013202313.tif 000019
【図３】
2013202313.tif 000020
【図４】
2013202313.tif 000021
【図５】
2013202313.tif 000022
【図６】
2013202313.tif 000023
【図７】
2013202313.tif 000024
【図８】
2013202313.tif 000025
【図９】
2013202313.tif 000026
【図１０】
2013202313.tif 000027
【図１１】
2013202313.tif 000028
【図１２】
2013202313.tif 000029
【図１３】
2013202313.tif 000030
【図１４】
2013202313.tif 000031
【図１５】
2013202313.tif 000032
【図１６】
2013202313.tif 000033
【図１７】
2013202313.tif 000034
【図１８】
2013202313.tif 000035
【図１９】
2013202313.tif 000036
【図２０】
2013202313.tif 000037
【図２１】
2013202313.tif 000038
【図２２】
2013202313.tif 000039
【図２３】
2013202313.tif 000040
【図２４】
2013202313.tif 000041
【図２５】
2013202313.tif 000042
【図２６】
2013202313.tif 000043
【図２７】
2013202313.tif 000044
【図２８】
2013202313.tif 000045
【図２９】
2013202313.tif 000046
【図３０】
2013202313.tif 000047
【図３１】
2013202313.tif 000048