(57)【要約】【課題】体内器官の内部に存在する患部の状態を術前に確認し、円滑な手術を支援するための手術支援システム、手術支援方法及び手術支援プログラムを提供する。【解決手段】手術支援システム２０の制御部２１は、手術前に、３次元モデルを生成し、骨嚢腫領域を特定する。次に、制御部２１は、骨嚢腫領域の中心軸を特定し、この中心軸上に投影面中心を特定する。次に、制御部２１は、骨嚢腫領域を出ないように投影面のサイズを特定する。そして、視点移動に伴う投影面を特定し、全体画像及び内視鏡画像を出力する。手術中には、シェーバー操作状況を取得し、掻爬領域を特定する。また、制御部２１は、内視鏡画像において、視点、視線方向を特定し、拡張現実技術を用いて未掻爬領域を出力する。更に、制御部２１は、内視鏡画像において、陰領域や未掻爬領域についてナビゲーションを行なう。【選択図】図１
2014104328.tif 000002
【特許請求の範囲】
【請求項１】
体内器官の内部画像に基づいて、器官形状と、前記体内器官の内部空間の表面に存在する患部領域についての３次元モデルを記憶する３次元モデルデータ記憶部と、
表示部に接続された制御部とを備えた手術支援システムであって、
前記制御部が、
前記３次元モデルデータ記憶部に記録された３次元モデルを含む仮想３次元空間において、仮想内視鏡カメラの視点位置及び視線方向に基づいて投影面を特定し、
前記３次元モデルに対して前記視点位置及び視線方向を表示した全体画像と、前記投影面に投影される前記３次元モデルの内部空間の表面についての仮想内視鏡画像とを含むシミュレーション画像を、前記表示部に出力することを特徴とする手術支援システム。
【請求項２】
前記制御部が、中心軸変換により、前記内部空間の中心軸を特定し、前記中心軸上の点に前記投影面の投影面中心を設定することを特徴とする請求項１に記載の手術支援システム。
【請求項３】
前記投影面中心において、前記内部空間を出ない大きさで投影面を設定することを特徴とする請求項２に記載の手術支援システム。
【請求項４】
前記仮想内視鏡画像において、内部空間の表面における凹凸に応じた陰影画像と、前記凹凸を表した線画像とを画面切り換えにより出力することを特徴とする請求項１〜３のいずれか一つに記載の手術支援システム。
【請求項５】
内部空間の凹凸状態に応じて、前記陰影画像と線画像との画面切り換えの時期を決定することを特徴とする請求項４に記載の手術支援システム。
【請求項６】
前記仮想内視鏡画像において出力した患部領域を表示済み領域として記録し、
前記全体画像において、前記表示済み領域と、仮想内視鏡画像を出力していない未表示領域とを識別して出力することを特徴とする請求項１〜５のいずれか一つに記載の手術支援システム。
【請求項７】
前記仮想内視鏡カメラの視線方向の投影面において、前記患部領域の凹凸状態により表示されていない陰領域がある場合には、前記表示部に注意表示を出力することを特徴とする請求項１〜６のいずれか一つに記載の手術支援システム。
【請求項８】
手術時に用いる内視鏡カメラの視点位置及び視線方向を取得し、
手術時に用いる手術具の操作情報を取得して、前記手術具による処置済み領域を特定して記録し、
前記内視鏡カメラの視点位置及び視線方向に基づいて、前記３次元モデルにおけるシミュレーション画像を生成し、
前記処置済み領域を前記シミュレーション画像において表示することを特徴とする請求項１〜７のいずれか一つに記載の手術支援システム。
【請求項９】
体内器官の内部画像に基づいて、器官形状と、前記体内器官の内部空間の表面に存在する患部領域についての３次元モデルを記憶する３次元モデルデータ記憶部と、
表示部に接続された制御部とを備えた手術支援システムを用いて、手術支援を実行する方法であって、
前記制御部が、
前記３次元モデルデータ記憶部に記録された３次元モデルを含む仮想３次元空間において仮想内視鏡カメラの視点位置及び視線方向に基づいて投影面を特定し、
前記３次元モデルに対して前記視点位置及び視線方向を表示した全体画像と、前記投影面に投影される前記３次元モデルの内部空間の表面についての仮想内視鏡画像とを含むシミュレーション画像を、前記表示部に出力することを特徴とする手術支援方法。
【請求項１０】
体内器官の内部画像に基づいて、器官形状と、前記体内器官の内部空間の表面に存在する患部領域についての３次元モデルを記憶する３次元モデルデータ記憶部と、
表示部に接続された制御部とを備えた手術支援システムを用いて、手術支援を実行するためのプログラムであって、
前記制御部を、
前記３次元モデルデータ記憶部に記録された３次元モデルを含む仮想３次元空間において仮想内視鏡カメラの視点位置及び視線方向に基づいて投影面を特定し、
前記３次元モデルに対して前記視点位置及び視線方向を表示した全体画像と、前記投影面に投影される前記３次元モデルの内部空間の表面についての仮想内視鏡画像とを含むシミュレーション画像を、前記表示部に出力する手段として機能させることを特徴とする手術支援プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、体内器官の内部に存在する患部に対する手術を支援するための手術支援システム、手術支援方法及び手術支援プログラムに関する。
【背景技術】
【０００２】
患者の手術負担を軽減するために、内視鏡を利用することがある。この内視鏡を用いることにより、体内器官を直接、観察することができる。そこで、内視鏡を用いたシミュレータシステムが検討されている（例えば、特許文献１を参照。）。この文献に記載されているシミュレータシステムにおいては、挿入部とこの挿入部の動きを操作可能な操作部とを有する内視鏡と、この挿入部の動きを検出する検出手段と、体内の所望の臓器を３次元計測して臓器形状データを得る３次元画像計測装置を備える。
【０００３】
また、マニピュレータを用いて内視鏡下外科手術を行なう場合、挿入孔の位置を教示するための医療用マニピュレータについても検討されている（例えば、特許文献２を参照。）。この文献に記載されている医療用マニピュレータにおいては、挿入体を保持する保持部とアーム部とを有するマニピュレータ部と、挿入孔の位置を指示するポインタ部とを備えている。
【０００４】
また、開腹手術等と異なり、内視鏡カメラを利用する場合には、視野が制限される。この制限された視野の中で手術を行なうために、関節鏡手術において術前計画を手術中に再現するための関節鏡手術ナビゲーションシステムも検討されている（例えば、特許文献３を参照。）。この文献に記載されている技術においては、関節鏡の内部変数及び外部変数と、予め計測した骨の３次元骨モデルの情報と、骨と関節鏡にそれぞれ設置した赤外線反射マーカーの位置をトラッキングする。そして、骨の位置、姿勢及び関節鏡の位置関係の情報に基づいて骨の仮想鏡視画像を作成して、この仮想鏡視画像と実際の鏡視画像とを重ね合わせてリアルタイム表示を行なう。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２００３−２１０３８６号公報（第１頁、図１）
【特許文献２】特開２００６−３１２０７９号公報（第１頁、図１）
【特許文献３】特開２００９−２７３５２１号公報（第１頁、図１）
【発明の概要】
【発明が解決しようとする課題】
【０００６】
体内器官の内部空間全体に患部がある場合、患部全体を漏れなく観察したり、処置したりする必要がある。しかしながら、患部が広範囲に存在する場合、手術前や手術中においても、処置領域を漏れなく確認することが困難な場合がある。更に、内視鏡カメラの視野には制限があるため、内視鏡カメラの存在位置と患部との位置関係を把握することが困難である。また、患部の形状によっては、窪みや突起が生じていることがある。この場合には、内視鏡カメラの視野において陰領域が生じ、患部を隅々まで観察することができない場合がある。
【０００７】
本発明は、上述の問題に鑑みてなされたものであり、この目的は、体内器官の内部に存在する患部の状態を手術前に確認し、円滑な手術を支援するための手術支援システム、手術支援方法及び手術支援プログラムを提供することにある。
【課題を解決するための手段】
【０００８】
上記問題点を解決するために、請求項１に記載の発明は、体内器官の内部画像に基づいて、器官形状と、前記体内器官の内部空間の表面に存在する患部領域についての３次元モデルを記憶する３次元モデルデータ記憶部と、表示部に接続された制御部とを備えた手術支援システムであって、前記制御部が、前記３次元モデルデータ記憶部に記録された３次元モデルを含む仮想３次元空間において、仮想内視鏡カメラの視点位置及び視線方向に基づいて投影面を特定し、前記３次元モデルに対して前記視点位置及び視線方向を表示した全体画像と、前記投影面に投影される前記３次元モデルの内部空間の表面についての仮想内視鏡画像とを含むシミュレーション画像を、前記表示部に出力することを要旨とする。
【０００９】
請求項２に記載の発明は、請求項１に記載の手術支援システムにおいて、前記制御部が、中心軸変換により、前記内部空間の中心軸を特定し、前記中心軸上の点に前記投影面の投影面中心を設定することを要旨とする。
【００１０】
請求項３に記載の発明は、請求項２に記載の手術支援システムにおいて、前記投影面中心において、前記内部空間を出ない大きさで投影面を設定することを要旨とする。
請求項４に記載の発明は、請求項１〜３のいずれか一つに記載の手術支援システムにおいて、前記仮想内視鏡画像において、内部空間の表面における凹凸に応じた陰影画像と、前記凹凸を表した線画像とを画面切り換えにより出力することを要旨とする。
【００１１】
請求項５に記載の発明は、請求項４に記載の手術支援システムにおいて、内部空間の凹凸状態に応じて、前記陰影画像と線画像との画面切り換えの時期を決定することを要旨とする。
【００１２】
請求項６に記載の発明は、請求項１〜５のいずれか一つに記載の手術支援システムにおいて、前記仮想内視鏡画像において出力した患部領域を表示済み領域として記録し、前記全体画像において、前記表示済み領域と、仮想内視鏡画像を出力していない未表示領域とを識別して出力することを要旨とする。
【００１３】
請求項７に記載の発明は、請求項１〜６のいずれか一つに記載の手術支援システムにおいて、前記仮想内視鏡カメラの視線方向の投影面において、前記患部領域の凹凸状態により表示されていない陰領域がある場合には、前記表示部に注意表示を出力することを要旨とする。
【００１４】
請求項８に記載の発明は、請求項１〜７のいずれか一つに記載の手術支援システムにおいて、手術時に用いる内視鏡カメラの視点位置及び視線方向を取得し、手術時に用いる手術具の操作情報を取得して、前記手術具による処置済み領域を特定して記録し、前記内視鏡カメラの視点位置及び視線方向に基づいて、前記３次元モデルにおけるシミュレーション画像を生成し、前記処置済み領域を前記シミュレーション画像において表示することを要旨とする。
【００１５】
請求項９に記載の発明は、体内器官の内部画像に基づいて、器官形状と、前記体内器官の内部空間の表面に存在する患部領域についての３次元モデルを記憶する３次元モデルデータ記憶部と、表示部に接続された制御部とを備えた手術支援システムを用いて、手術支援を実行する方法であって、前記制御部が、前記３次元モデルデータ記憶部に記録された３次元モデルを含む仮想３次元空間において仮想内視鏡カメラの視点位置及び視線方向に基づいて投影面を特定し、前記３次元モデルに対して前記視点位置及び視線方向を表示した全体画像と、前記投影面に投影される前記３次元モデルの内部空間の表面についての仮想内視鏡画像とを含むシミュレーション画像を、前記表示部に出力することを要旨とする。
【００１６】
請求項１０に記載の発明は、体内器官の内部画像に基づいて、器官形状と、前記体内器官の内部空間の表面に存在する患部領域についての３次元モデルを記憶する３次元モデルデータ記憶部と、表示部に接続された制御部とを備えた手術支援システムを用いて、手術支援を実行するためのプログラムであって、前記制御部を、前記３次元モデルデータ記憶部に記録された３次元モデルを含む仮想３次元空間において仮想内視鏡カメラの視点位置及び視線方向に基づいて投影面を特定し、前記３次元モデルに対して前記視点位置及び視線方向を表示した全体画像と、前記投影面に投影される前記３次元モデルの内部空間の表面についての仮想内視鏡画像とを含むシミュレーション画像を、前記表示部に出力する手段として機能させることを要旨とする。
【００１７】
（作用）
請求項１、９又は１０に記載の発明によれば、仮想内視鏡カメラの位置を特定する全体画像と、仮想内視鏡により撮影された仮想内視鏡画像を出力するので、仮想内視鏡カメラの位置を確認しながら、体内器官内に広がった患部を効率的に観察することができる。
【００１８】
請求項２に記載の発明によれば、３次元モデルの中心軸において投影面中心を設定するので、投影面において３次元モデルからの飛び出しを抑制することができる。
請求項３に記載の発明によれば、内部空間にある患部を的確に観察することができる。
【００１９】
請求項４に記載の発明によれば、実際の内視鏡画像に近い陰影画像で患部状態を観察するとともに、患部の凹凸状態を線画像により確認することができる。
請求項５に記載の発明によれば、患部の状態に応じて、陰影画像と線画像とを使い分けることができる。
【００２０】
請求項６に記載の発明によれば、表示済み領域と未表示領域とを識別できるので、確認漏れを抑制することができる。
請求項７に記載の発明によれば、視点から確認できていない領域がある場合には注意喚起することができる。
【００２１】
請求項８に記載の発明によれば、実際の内視鏡画像と、３次元モデルによるシミュレーション画像とを比較しながら手術を行なうことができる。特に、内視鏡カメラの周囲が患部で囲まれている場合、視界が悪くなるが、シミュレーション画像により、状態を確認しながら、手術を行なうことができる。
【発明の効果】
【００２２】
本発明によれば、体内器官の内部に存在する患部の状態を術前に確認し、円滑な手術を支援するための手術支援システム、手術支援方法及び手術支援プログラムを提供することができる。
【図面の簡単な説明】
【００２３】
【図１】本発明の実施形態のシステム概略図。
【図２】本発明の実施形態の処理手順の説明図。
【図３】本発明の実施形態のシミュレーション画面の説明図。
【図４】本発明の実施形態の仮想内視鏡カメラの視点と投影面の説明図。
【図５】本発明の実施形態のシミュレーション画面の説明図。
【図６】本発明の実施形態のシミュレーション画面の説明図。
【図７】本発明の実施形態の処理手順の説明図。
【図８】本発明の実施形態の処理手順の説明図。
【図９】本発明の実施形態の挿入孔の説明図。
【図１０】肘関節における骨嚢腫の説明図。
【発明を実施するための形態】
【００２４】
以下、本発明を具体化した一実施形態を、図１〜図１０に従って説明する。本実施形態では、骨の内部に生じた患部に対して行なう手術を支援する場合を想定する。
具体的には、図１０に示すように、腕骨格（体内器官）は、上腕骨５１、橈骨５２、尺骨５３により構成されている。そして、上腕骨５１の骨頭部５１１内が空洞化し、液体が溜まった患部（骨嚢腫５１２）が生じている場合を想定する。この場合、掻爬手術（患部の対する処置）において、骨嚢腫５１２内の嚢腫壁を削り、膜組織を掻爬する。このために、骨（５１、５２、５３）及び骨嚢腫５１２のＣＴ画像を生成し、このＣＴ画像により各構造の３次元モデルを生成する。そして、手術前に、この３次元モデルを用いて、仮想内視鏡を用いた３次元シミュレーションを行なう。更に、手術中には、実際の内視鏡により撮影された画像を用いて掻爬手術を支援する。
【００２５】
本実施形態では、図１に示す手術支援システム２０を用いる。この手術支援システム２０は、手術前のシミュレーションを行なうとともに、手術中には掻爬術を支援するコンピュータ装置である。
【００２６】
図１に示すように、この手術支援システム２０は、入力部１０、表示部１５に接続されている。入力部１０は、キーボードやポインティングデバイス等、各種指示を入力するために用いられる。また、表示部１５は、ディスプレイ等、情報処理結果を出力するために用いられる。
【００２７】
更に、手術支援システム２０は、手術室に設置された内視鏡装置３０、シェーバー操作装置４０に接続されている。
内視鏡装置３０は、遠隔操作により、体内器官を観察するための装置である。この内視鏡装置３０は、マニピュレータにより、内視鏡カメラの位置や、撮影方向を制御することが可能であり、この位置や撮影方向（視点方向）に関する情報を、手術支援システム２０に供給する。
【００２８】
シェーバー操作装置４０は、遠隔操作されたマニピュレータを駆動して、手術具（シェーバー）により、患部を処置（掻爬）するための手術補助ロボットである。このシェーバー操作装置４０は、患部を掻爬するシェーバーの位置を制御することが可能であり、この位置に関する情報を、手術支援システム２０に供給する。
【００２９】
この手術支援システム２０は、制御部２１、ＣＴ画像データ記憶部２２、３次元モデルデータ記憶部２３、手術支援データ記憶部２４を備えている。
制御部２１は、ＣＰＵ、ＲＡＭ、ＲＯＭ等から構成された制御手段として機能し、後述する処理（画像取込段階、表示管理段階、全体画像制御段階、内視鏡画像制御段階、手術支援段階、操作情報管理段階、内視鏡管理段階等を含む処理）を行なう。このための手術支援プログラムを実行することにより、制御部２１は、画像取込部２１１、表示管理部２１２、全体画像制御部２１３、内視鏡画像制御部２１４、手術支援部２１５、シェーバー管理部２１６、内視鏡管理部２１７等として機能する。
【００３０】
画像取込部２１１は、患部のＸ線ＣＴ画像を取得し、３次元シミュレーションに用いる３次元モデルを生成する処理を実行する。本実施形態では、上腕骨５１、橈骨５２、尺骨５３、骨嚢腫５１２の３次元モデルを生成する。
【００３１】
表示管理部２１２は、３次元モデルを用いて、仮想内視鏡カメラの視点位置や投影面を特定して、射影変換により手術のシミュレーション画像を生成する処理を実行する。
全体画像制御部２１３は、３次元シミュレーションにおいて、手術対象の３次元モデル（骨格や骨嚢腫）や仮想内視鏡の視点や視野領域を示す画像を出力する処理を実行する。
【００３２】
内視鏡画像制御部２１４は、３次元シミュレーションにおいて、仮想内視鏡カメラにより撮影された画像を出力する処理を実行する。本実施形態では、陰影画像と線画像とを切り換えながら表示する。
【００３３】
手術支援部２１５は、手術時に処置すべき患部領域を特定して手術を支援する処理を実行する。
シェーバー管理部２１６は、手術室に設置されたシェーバー操作装置４０から、シェーバーの操作情報を取得して、シェーバーの動きに基づいて、患部の処置済み領域を特定する処理を実行する。
内視鏡管理部２１７は、内視鏡装置３０のカメラにより撮影された領域を特定する処理を実行する。
【００３４】
ＣＴ画像データ記憶部２２には、手術対象の患部の各断面を撮影したＣＴ画像データが記録される。このＣＴ画像データは、コンピュータ断層撮影（ＣＴ：Computed Tomography ）処理を行なうことにより撮影された画像データが登録された場合に記録される。ＣＴ画像データは、放射線などを利用して物体を走査しコンピュータを用いて処理した物体の内部画像であり、医用画像のフォーマット（ＤＩＣＯＭ：Digital Imaging and COmmunication in Medicine ）により記録される。
【００３５】
３次元モデルデータ記憶部２３には、ＣＴ画像データに基づいて生成された３次元モデルが記録される。この３次元モデルは、ＣＴ画像から３次元モデル化を行なった場合に記録される。
【００３６】
手術支援データ記憶部２４には、患部の３次元モデルにおいて、シミュレーションに用いた各種データが記録される。本実施形態では、仮想内視鏡のカメラの視野角、挿入位置に関するデータ、骨嚢腫の内部表面において観察された領域を特定するための情報が記録される。また、手術中には、３次元モデルにおいて、シェーバーが骨嚢腫５１２の膜組織を掻爬した領域を特定する情報（座標）が記録される。
【００３７】
次に、図２〜図７を用いて、上記のように構成された手術支援システム２０において、骨嚢腫に対する手術を支援する処理手順について説明する。
（内視鏡シミュレーション処理）
まず、図２を用いて、内視鏡シミュレーション処理を説明する。この処理は、手術前に、内視鏡カメラにより撮影される画像をシミュレーションする。ここでは、患者の患部のコンピュータ断層撮影処理を行ない、ＤＩＣＯＭフォーマットによりＣＴ画像を作成し、手術支援システム２０の記憶部（ハードディスク等）や記憶媒体に保存する。そして、手術支援システム２０の手術支援プログラムを起動する。
【００３８】
この場合、手術支援システム２０の制御部２１は、Ｘ線ＣＴ画像の取込処理を実行する（ステップＳ１−１）。具体的には、制御部２１の画像取込部２１１は、表示部１５に、処理対象を撮影したＣＴ画像を指定するための画像指定画面を出力する。ここで、画像指定画面を用いて、手術支援システム２０の記憶部（ハードディスク等）や記憶媒体内に記録された評価対象のＣＴ画像を指定する。この場合、画像取込部２１１は、指定された記憶領域に格納されたＣＴ画像を取得し、ＣＴ画像データ記憶部２２に登録する。
【００３９】
次に、手術支援システム２０の制御部２１は、３次元モデル生成処理を実行する（ステップＳ１−２）。具体的には、制御部２１の画像取込部２１１は、公知の方法を用いて、ＤＩＣＯＭフォーマットのＣＴ画像から、サーフェスデータ（メッシュソリッド表現ファイル形式）を生成する。そして、画像取込部２１１は、このサーフェスデータを用いて、上腕骨５１、橈骨５２、尺骨５３の３次元モデルを生成し、３次元モデルデータ記憶部２３に記録する。
【００４０】
次に、手術支援システム２０の制御部２１は、患部領域の特定処理を実行する（ステップＳ１−３）。具体的には、制御部２１の画像取込部２１１は、３次元モデルデータ記憶部２３に記録された上腕骨５１の３次元モデルの内部において、骨内部の空洞領域を骨嚢腫５１２（患部領域）として特定する。そして、画像取込部２１１は、骨嚢腫５１２についての３次元モデルを生成し、３次元モデルデータ記憶部２３に記録する。
【００４１】
次に、手術支援システム２０の制御部２１は、中心軸の特定処理を実行する（ステップＳ１−４）。具体的には、制御部２１の表示管理部２１２は、特定した骨嚢腫５１２の３次元モデルにおいて中心軸を特定する。ここでは、骨嚢腫５１２の輪郭線からの距離が釣り合う点の集合を生成する中心軸変換により、患部領域（骨嚢腫５１２）の中心軸を生成する。そして、表示管理部２１２は、特定した中心軸の位置情報を手術支援データ記憶部２４に仮記憶する。
【００４２】
次に、手術支援システム２０の制御部２１は、内視鏡カメラの挿入孔の特定処理を実行する（ステップＳ１−５）。具体的には、制御部２１の表示管理部２１２は、３次元モデルデータ記憶部２３に記録された上腕骨５１、橈骨５２、尺骨５３の３次元モデル画像を表示部１５に出力する。この場合、ユーザは、入力部１０を用いて、表示部１５の３次元モデル画像において、上腕骨５１の表面上に仮想内視鏡カメラの挿入位置と挿入方向を指定する。この場合、制御部２１の表示管理部２１２は、指定された挿入位置と挿入方向を手術支援データ記憶部２４に仮記憶する。
【００４３】
次に、手術支援システム２０の制御部２１は、投影面中心の特定処理を実行する（ステップＳ１−６）。具体的には、制御部２１の表示管理部２１２は、骨嚢腫５１２の中心軸上の任意の点（座標）を投影面中心として特定する。この場合、例えば、中心軸線の端部の座標や、内視鏡カメラの挿入孔に最も近い中心軸上の座標を、投影面中心の初期設定位置として特定する。そして、表示管理部２１２は、投影面中心の座標を、手術支援データ記憶部２４に仮記憶する。なお、この投影面中心は、中心軸において初期設定位置から所定の間隔で複数、設定することも可能である。また、入力部１０を用いて、中心軸上にない座標を特定することも可能である。
【００４４】
次に、手術支援システム２０の制御部２１は、投影面のサイズの特定処理を実行する（ステップＳ１−７）。具体的には、制御部２１の表示管理部２１２は、特定した投影面中心を中心とする球体を生成する。この場合、表示管理部２１２は、球体のサイズとして、患部領域（骨嚢腫５１２）の３次元モデルから外に出ない大きさとする。そして、表示管理部２１２は、最大サイズの球体に含まれる投影面のサイズを特定して、手術支援データ記憶部２４に仮記憶する。これにより、特定した投影面中心を中心として視線方向を任意に変更した場合にも、患部領域の３次元モデルから外に出ない投影面を生成することができる。
【００４５】
次に、手術支援システム２０の制御部２１は、視点の位置操作処理を実行する（ステップＳ１−８）。具体的には、ユーザは、入力部１０を用いて、視点の位置を移動させる。この場合、制御部２１の表示管理部２１２は、入力部１０において操作された視点位置（座標）を特定する。
【００４６】
次に、手術支援システム２０の制御部２１は、視点移動に伴う投影面の特定処理を実行する（ステップＳ１−９）。具体的には、制御部２１の表示管理部２１２は、特定された視点位置から投影面中心に対する視線方向を特定する。次に、表示管理部２１２は、投影面中心を中心として、視線方向に垂直な面を投影面として特定する。この場合、表示管理部２１２は、視線方向に対する内視鏡カメラの視野角に基づいて、投影面の大きさを規定する。
【００４７】
次に、図３に示すように、手術支援システム２０の制御部２１は、全体画像の出力処理を実行する（ステップＳ１−１０）。具体的には、制御部２１の表示管理部２１２は、表示部１５に、全体図表示エリア７０１と内視鏡表示エリア７０２とを備えたシミュレーション画面を出力する。この全体図表示エリア７０１は全体画像を出力するための画面領域である。一方、内視鏡表示エリア７０２は、仮想内視鏡により撮影された画像を出力するための画面領域である。
【００４８】
そして、全体画像制御部２１３は、３次元モデルデータ記憶部２３に記録された骨嚢腫５１２の３次元モデルを仮想３次元空間に配置し、骨嚢腫５１２の全体を観察可能な視点、投影面において投影変換した画像（全体図）を出力する。更に、全体画像制御部２１３は、仮想内視鏡カメラの位置（空間定位）を全体図表示エリア７０１に出力する。この場合、上腕骨５１、橈骨５２、尺骨５３の３次元モデルの輪郭を半透明にすることにより、骨内部の患部（骨嚢腫５１２）を表示させる。更に、全体画像制御部２１３は、骨嚢腫の中心軸線を表示する。そして、全体画像制御部２１３は、手術支援データ記憶部２４に記録された視点、投影面中心、投影面、視線方向を表したワイヤーフレームモデルを３次元モデル画像に重畳させて出力する。
【００４９】
ここで、図４を用いて、内視鏡表示エリア７０２に表示される視点と投影面との関係を説明する。ここでは、上腕骨５１内の骨嚢腫５１２において、中心軸６０１が表示される。そして、視点６０２から投影面中心６０３への視線方向が規定される。また、視点６０２と投影面中心６０３との距離、及び仮想内視鏡カメラの視野角により投影面６０４が決まる。そして、視点６０２、投影面６０４による投射変換により決まるビューボリュームに含まれる骨嚢腫５１２の内部表面を、投影面６０４において観察することができる。
【００５０】
更に、手術支援システム２０の制御部２１は、内視鏡画像の出力処理を実行する（ステップＳ１−１１）。具体的には、制御部２１の内視鏡画像制御部２１４は、仮想内視鏡のカメラ（視点）から観察し、患部領域（骨嚢腫）の内部表面を投影面に対して射影表示させた画像を、内視鏡表示エリア７０２に出力する。
【００５１】
更に、手術支援システム２０の制御部２１は、観察領域の記録処理を実行する（ステップＳ１−１２）。具体的には、制御部２１の内視鏡画像制御部２１４は、内視鏡表示エリア７０２に出力された患部の表面領域（表示済み領域）を特定する情報（座標）を手術支援データ記憶部２４に記録する。
【００５２】
次に、手術支援システム２０の制御部２１は、既に表示した領域の識別処理を実行する（ステップＳ１−１３）。具体的には、制御部２１の全体画像制御部２１３は、手術支援データ記憶部２４に記録された表面領域（表示済み領域）について、全体図像において、未表示領域と識別できるように配色を変更する。
【００５３】
更に、手術支援システム２０の制御部２１は、画像切換処理を実行する（ステップＳ１−１４）。具体的には、制御部２１の表示管理部２１２は、所定の画面切換条件の下に、全体画像制御部２１３、内視鏡画像制御部２１４に対して、患部領域について陰影画像から線画像への切換指示を供給する。本実施形態では、画面切換条件としては、予め定められた時間間隔を用いる。
【００５４】
図５には、シミュレーション画面において、光の角度と光源からの距離を考慮して色を変化させるシェーディングにより加工された陰影画像が表示されている。
図６には、図５の陰影画像に対応する線画像が表示されている。この線画像においては、形態の変化が大きい領域や、視線方向に対して傾斜が大きい領域は、メッシュが小さく表示される。一方、形態の変化が小さく、視線方向に対して直交に近い領域は、メッシュが大きく表示される。
【００５５】
（手術中の支援処理）
次に、図７を用いて、手術中の支援処理を説明する。この処理では、手術中に内視鏡の操作とシェーバーの操作とに基づいて、患部に対する処置（掻爬）状況を出力する。ここでは、患者の骨格と、３次元モデルデータ記憶部２３に記録された３次元モデルとの位置合わせを行なう。この場合、例えば、患部に設けたマーカーや挿入孔の位置をトラッキングすることにより、実際の骨格位置と３次元モデルの位置とを同期させる。
【００５６】
そして、手術支援システム２０の制御部２１は、シェーバー操作状況の取得処理を実行する（ステップＳ２−１）。具体的には、制御部２１のシェーバー管理部２１６は、シェーバー操作装置４０から、シェーバーの位置情報を取得する。
【００５７】
次に、手術支援システム２０の制御部２１は、掻爬領域の特定処理を実行する（ステップＳ２−２）。具体的には、制御部２１のシェーバー管理部２１６は、シェーバー操作装置４０から取得した位置情報に基づいて、骨嚢腫５１２の３次元モデルにおける位置を特定する。そして、シェーバー管理部２１６は、シェーバーが骨嚢腫５１２の輪郭位置にある場合には、膜組織を掻爬していると判定する。
【００５８】
次に、手術支援システム２０の制御部２１は、掻爬領域の記録処理を実行する（ステップＳ２−３）。具体的には、制御部２１のシェーバー管理部２１６は、シェーバーが骨嚢腫５１２の膜組織を掻爬した領域を特定する情報（座標）を、手術支援データ記憶部２４に記録する。
【００５９】
また、手術支援システム２０の制御部２１は、内視鏡位置の特定処理を実行する（ステップＳ３−１）。具体的には、制御部２１の内視鏡管理部２１７は、内視鏡装置３０から、内視鏡カメラの位置情報と視線方向に関する情報を取得する。
【００６０】
次に、手術支援システム２０の制御部２１は、内視鏡画像の表示処理を実行する（ステップＳ３−２）。具体的には、制御部２１の内視鏡管理部２１７は、内視鏡装置３０から、内視鏡カメラにより撮影された実画像を取得する。そして、内視鏡管理部２１７は、手術室内に設置された表示部１５に、内視鏡装置３０から取得した実画像を出力する。
【００６１】
次に、手術支援システム２０の制御部２１は、視点、視線方向の特定処理を実行する（ステップＳ３−３）。具体的には、制御部２１の手術支援部２１５は、内視鏡装置３０から取得した内視鏡カメラの位置情報と視線方向に基づいて、仮想３次元空間内の位置（座標）及び視点方向を特定する。
【００６２】
次に、手術支援システム２０の制御部２１は、シミュレーション画像の出力処理を実行する（ステップＳ３−４）。具体的には、制御部２１の手術支援部２１５は、表示管理部２１２に、仮想３次元空間内の位置（座標）及び視点方向についての情報を提供する。この場合、表示管理部２１２は、取得した視点、視線方向及び内視鏡カメラの視野角に基づいて、投影面を特定する。そして、ステップＳ１−１１、Ｓ１−１２と同様に、シミュレーション画像（全体画像、仮想内視鏡画像）の出力を行なう。
【００６３】
次に、手術支援システム２０の制御部２１は、掻爬領域の出力処理を実行する（ステップＳ３−５）。具体的には、制御部２１の手術支援部２１５は、手術支援データ記憶部２４に記録された掻爬領域の情報（座標）を取得する。そして、手術支援部２１５は、骨嚢腫５１２の３次元モデルにおいて、掻爬領域を特定する。そして、手術支援部２１５は、表示部に出力された全体画像、仮想内視鏡画像において、掻爬領域を識別できるように表示する。
【００６４】
次に、手術支援システム２０の制御部２１は、視野内に未掻爬領域があるかどうかについての判定処理を実行する（ステップＳ３−６）。具体的には、制御部２１の手術支援部２１５は、仮想３次元空間の３次元モデルにおいて、掻爬領域に含まれない未掻爬領域の有無を確認する。
【００６５】
未掻爬領域があると判定した場合（ステップＳ３−６において「ＹＥＳ」の場合）、手術支援システム２０の制御部２１は、未掻爬の残存領域の表示処理を実行する（ステップＳ３−７）。具体的には、制御部２１の手術支援部２１５は、仮想３次元空間において特定した未掻爬領域を特定するための情報（座標）を取得する。そして、手術支援部２１５は、内視鏡装置３０から取得した実画像に対して、未掻爬領域の座標に、未掻爬領域を示す付加情報を重畳させて表示する。ここでは、実画像に対して、拡張現実技術（ＡＲ技術）を用いて出力する。未掻爬領域がないと判定した場合（ステップＳ３−６において「ＮＯ」の場合）、手術支援システム２０の制御部２１は、未掻爬の残存領域の表示処理（ステップＳ３−７）をスキップする。
【００６６】
次に、手術支援システム２０の制御部２１は、陰領域があるかどうかについての判定処理を実行する（ステップＳ３−８）。具体的には、制御部２１の手術支援部２１５は、視点からのビューボリュームにおいて、骨嚢腫５１２の３次元モデル上で観察できない陰領域の有無を確認する。
【００６７】
投影面に表示されていない陰領域があると判定した場合（ステップＳ３−８において「ＹＥＳ」の場合）、手術支援システム２０の制御部２１は、陰領域について注意喚起処理を実行する（ステップＳ３−９）。具体的には、制御部２１の手術支援部２１５は、この陰領域の座標と、手術支援データ記憶部２４に記録された掻爬領域とを比較する。そして、手術支援部２１５は、比較結果に基づいて、未掻爬領域が残っているかどうかを判定する。そして、手術支援部２１５は、内視鏡装置３０から取得した実画像において陰領域の近傍に、観察できない領域があることを示すアイコンを出力する。このアイコンには、未掻爬領域の有無を示す情報を含める。
【００６８】
一方、陰領域がないと判定した場合（ステップＳ３−８において「ＮＯ」の場合）、手術支援システム２０の制御部２１は、陰領域について注意喚起処理（ステップＳ３−９）をスキップする。
【００６９】
次に、手術支援システム２０の制御部２１は、視野以外に未掻爬領域があるかどうかについての判定処理を実行する（ステップＳ３−１０）。具体的には、制御部２１の手術支援部２１５は、視点からのビューボリューム以外の領域において、骨嚢腫５１２の３次元モデル上で未掻爬域の有無を確認する。
【００７０】
視野以外に未掻爬領域があると判定した場合（ステップＳ３−１０において「ＹＥＳ」の場合）、手術支援システム２０の制御部２１は、未掻爬領域へのナビゲーション処理を実行する（ステップＳ３−１１）。具体的には、制御部２１の手術支援部２１５は、未掻爬域が存在する座標を特定する。そして、手術支援部２１５は、現在の投影面中心から未掻爬域が存在する座標の方向を特定する。そして、手術支援部２１５は、内視鏡装置３０から取得した実画像の表示画面において未掻爬域が存在する方向を特定し、この方向に、未掻爬領域があることを示すアイコン（ナビゲーション）を出力する。
【００７１】
一方、視野以外に未掻爬領域がないと判定した場合（ステップＳ３−１０において「ＮＯ」の場合）、手術支援システム２０の制御部２１は、未掻爬領域へのナビゲーション処理（ステップＳ３−１１）をスキップする。
そして、手術支援システム２０の制御部２１は、手術中の支援処理の終了指示が入力されるまで、ステップＳ２−１、Ｓ３−１からの処理を繰り返す。
【００７２】
本実施形態の手術支援システムによれば、以下のような効果を得ることができる。
（１）本実施形態では、手術支援システム２０の制御部２１は、全体画像の出力処理（ステップＳ１−１０）、内視鏡画像の出力処理（ステップＳ１−１１）を実行する。これにより、仮想３次元空間において内視鏡の視点位置を確認しながら、３次元モデルにおける患部状態を観察することができる。
【００７３】
（２）本実施形態では、手術支援システム２０の制御部２１は、中心軸の特定処理を実行する（ステップＳ１−４）。そして、手術支援システム２０の制御部２１は、投影面中心の特定処理を実行する（ステップＳ１−６）。中心軸を用いることにより、３次元モデルの輪郭から、できる限り遠い位置に投影面を設定することができる。これにより、体内器官の内部空間に患部がある場合においても、投影面の飛び出しを抑制しながら、患部の観察を行なうことができる。
【００７４】
（３）本実施形態では、手術支援システム２０の制御部２１は、撮影領域の記録処理を実行する（ステップＳ１−１２）。そして、手術支援システム２０の制御部２１は、既に表示した領域の識別処理を実行する（ステップＳ１−１３）。これにより、観察していない領域の発生を抑制することができる。
【００７５】
（４）本実施形態では、手術支援システム２０の制御部２１は、画像切換処理を実行する（ステップＳ１−１４）。これにより、全体の状況を実際の状態に近い陰影画像により観察するとともに、陰影画像では確認しにくい領域を線画像により確認することができる。
【００７６】
（５）本実施形態では、手術支援システム２０の制御部２１は、シェーバー操作状況の取得処理（ステップＳ２−１）、掻爬領域の特定処理（ステップＳ２−２）、掻爬領域の記録処理（ステップＳ２−３）を実行する。手術支援システム２０の制御部２１は、内視鏡位置の特定処理（ステップＳ３−１）、内視鏡画像の表示処理（ステップＳ３−２）、視点、視線方向の特定処理（ステップＳ３−３）、シミュレーション画像の出力処理（ステップＳ３−４）を実行する。そして、手術支援システム２０の制御部２１は、掻爬領域の出力処理を実行する（ステップＳ３−５）。これにより、仮想３次元空間の３次元モデルにおいて、掻爬領域を確認することができる。
【００７７】
（６）本実施形態では、手術支援システム２０の制御部２１は、視野内に未掻爬領域があるかどうかについての判定処理を実行する（ステップＳ３−６）。未掻爬領域があると判定した場合（ステップＳ３−６において「ＹＥＳ」の場合）、手術支援システム２０の制御部２１は、未掻爬の残存領域の表示処理を実行する（ステップＳ３−７）。これにより、内視鏡カメラで撮影した実画像において、未処置領域を確認することができる。
【００７８】
（７）本実施形態では、手術支援システム２０の制御部２１は、陰領域があるかどうかについての判定処理を実行する（ステップＳ３−８）。投影面に表示されていない陰領域があると判定した場合（ステップＳ３−８において「ＹＥＳ」の場合）、手術支援システム２０の制御部２１は、陰領域について注意喚起処理を実行する（ステップＳ３−９）。これにより、窪みや突起等の患部形状により、観察できていない領域について注意喚起することができる。
【００７９】
（８）本実施形態では、手術支援システム２０の制御部２１は、視野以外に未掻爬領域があるかどうかについての判定処理を実行する（ステップＳ３−１０）。視野以外に未掻爬領域があると判定した場合（ステップＳ３−１０において「ＹＥＳ」の場合）、手術支援システム２０の制御部２１は、未掻爬領域へのナビゲーション処理を実行する（ステップＳ３−１１）。これにより、内視鏡カメラによって撮影された実画像において、未掻爬領域に誘導することができる。
【００８０】
また、上記実施形態は、以下のように変更してもよい。
・上記実施形態では、骨の内部に生じた患部に対して行なう手術を支援する場合を想定する。本発明の適用は、これに限定されるものではなく、体内器官についての手術に応用することができる。
【００８１】
・上記実施形態では、手術支援システム２０の制御部２１は、内視鏡カメラの挿入孔の特定処理を実行する（ステップＳ１−５）。ここで、手術において、内視鏡カメラやシェーバーを操作しやすい（操作自由度が高い）挿入孔の位置を特定するためのシミュレーションを行なうようにしてもよい。
【００８２】
具体的には、図８に示す挿入孔位置の特定処理を実行する。
ここでは、予め複数の挿入孔候補の位置情報を準備しておき、骨嚢腫表面において以下の処理を繰り返す。
【００８３】
まず、手術支援システム２０の制御部２１は、挿入孔の特定処理を実行する（ステップＳ４−１）。具体的には、制御部２１は、仮想３次元空間における３次元モデルにおいて、挿入孔候補を特定する。本実施形態では、２つの挿入孔候補の組み合わせを特定する。これらの挿入孔は、内視鏡の挿入及びシェーバーの挿入に用いられる。
【００８４】
次に、手術支援システム２０の制御部２１は、陰になる領域の特定処理を実行する（ステップＳ４−２）。具体的には、制御部２１は、２つの挿入孔候補から、直線的に内視鏡カメラやシェーバーを挿入した場合、到達可能な範囲を特定する。
【００８５】
ここでは、図９に示すように、２つの挿入孔候補を特定する。尺骨側に近い領域に設けた挿入孔７１（第１の挿入孔）と、尺骨側から遠い領域に設けた挿入孔７２（第２の挿入孔）とを示している。そして、挿入孔７１，７２から、直線的に挿入した内視鏡カメラやシェーバーが到達できない範囲を陰として特定している。両者の到達可能範囲を組み合わせて、いずれもが到達できない範囲が陰領域となる。ここで、制御部２１は、特定した陰領域をメモリに仮記憶する。
【００８６】
そして、骨嚢腫表面上のすべての挿入孔候補の組み合わせについて終了するまで処理を繰り返す。
そして、手術支援システム２０の制御部２１は、陰が少ない挿入孔の特定処理を実行する（ステップＳ４−３）。具体的には、制御部２１は、メモリに記録された挿入孔の組み合わせにおいて、陰領域が小さい組み合わせを特定する。そして、制御部２１は、陰領域が小さい挿入孔の組み合わせを候補として表示部１５に出力する。
【００８７】
なお、陰領域の特定においては、挿入孔候補の孔の大きさを順次、変更して、処理を繰り返すことも可能である。これにより、多様な形状をした骨嚢腫に対して、手術に適した挿入孔を選択することができる。また、挿入孔候補の数は２個に限定されるものではなく、３個以上の候補を用いて、シミュレーションを行なうことも可能である。
【００８８】
・上記実施形態では、手術支援システム２０の制御部２１は、線画像の表示処理を実行する。この場合、画面切換条件としては、予め定められた時間間隔を用いる。これに代えて、凹凸状況に応じて、線画像を出力するようにしてもよい。例えば、内部表面の凹凸状況を、表面粗さを表す指標（統計値）を用いて特定する。そして、表面の凹凸が激しい場合には、激しさに応じて画面切換の時間間隔を短くする。一方、表面がなだらかな場合には、画面切換の時間間隔を長くする。また、視点から観察した場合の陰の発生状況によって凹凸状況を決定することも可能である。この場合には、投影面内おいて陰の割合が多い場合には、この割合に応じて画面切換の時間間隔を短くする。一方、陰の割合が少ない場合には、画面切換の時間間隔を長くする。
【００８９】
次に、上記実施形態及び別例から把握できる技術的思想について、それらの効果とともに以下に追記する。
（ａ）体内器官の外部から内部空間に貫通する２つの挿入孔の位置を、順次特定し、前記挿入孔の位置から手術具を挿入した場合に、前記患部領域において、前記手術具の操作自由度を算出し、前記操作自由度が最も大きい挿入孔の位置を出力することを特徴とする手術支援システム。
これにより、シェーバーが届かない領域が少ない操作自由度が高い挿入孔を特定することができる。
【符号の説明】
【００９０】
１０…入力部、１５…表示部、２０…手術支援システム、２１…制御部、２１１…画像取込部、２１２…表示管理部、２１３…全体画像制御部、２１４…内視鏡画像制御部、２１５…手術支援部、２１６…シェーバー管理部、２１７…内視鏡管理部、２２…ＣＴ画像データ記憶部、２３…３次元モデルデータ記憶部、２４…手術支援データ記憶部、３０…内視鏡装置、４０…シェーバー操作装置、６０１…中心軸、６０３…投影面中心、６０４…投影面。
【図１】
2014104328.tif 000003
【図２】
2014104328.tif 000004
【図７】
2014104328.tif 000005
【図８】
2014104328.tif 000006
【図１０】
2014104328.tif 000007
【図３】
2014104328.tif 000008
【図４】
2014104328.tif 000009
【図５】
2014104328.tif 000010
【図６】
2014104328.tif 000011
【図９】
2014104328.tif 000012