(57)【特許請求の範囲】
【請求項１】
手術の対象部位を含む、撮影時刻が異なる複数の術中画像からなる術中映像を取得する画像取得手段と、
前記対象部位の前記手術に関連するシミュレーション情報を取得するシミュレーション情報取得手段と、
前記シミュレーション情報との位置合せに使用する位置合せ用術中画像を取得する位置合せ用術中画像取得手段と、
前記位置合せ用術中画像および前記シミュレーション情報を表示手段に重畳表示し、第１の位置合せの指示に応じて前記位置合せ用術中画像に含まれる前記対象部位と前記シミュレーション情報との第１の位置合せを行って、第１の位置合せ結果を生成する第１の位置合せ手段と、
前記第１の位置合せの終了後、該第１の位置合せの結果に基づいて、前記シミュレーション情報と前記術中映像に含まれる前記対象部位との第２の位置合せを行って前記表示手段に重畳表示する第２の位置合せ手段とを備え、
前記第２の位置合せ手段は、前記第１の位置合せの終了後、前記位置合せ用術中画像と、該第１の位置合せの終了後に取得される前記術中映像を構成する術中画像との第３の位置合せを行い、該第３の位置合せの結果を用いて前記第２の位置合せを行うことを特徴とする画像位置合せ装置。
【請求項２】
前記対象部位を撮影して前記術中画像を生成する撮影手段の動きを検出する動き検出手段をさらに備え、
前記第２の位置合せ手段は、前記第１の位置合せが開始されてから該第１の位置合せが終了するまでの間に、前記動き検出手段により検出された前記動きを用いて、前記第３の位置合せを行う請求項１記載の画像位置合せ装置。
【請求項３】
手術の対象部位を含む、撮影時刻が異なる複数の術中画像からなる術中映像を取得する画像取得手段と、
前記対象部位の前記手術に関連するシミュレーション情報を取得するシミュレーション情報取得手段と、
前記シミュレーション情報との位置合せに使用する位置合せ用術中画像を取得する位置合せ用術中画像取得手段と、
前記位置合せ用術中画像および前記シミュレーション情報を表示手段に重畳表示し、第１の位置合せの指示に応じて前記位置合せ用術中画像に含まれる前記対象部位と前記シミュレーション情報との第１の位置合せを行って、第１の位置合せ結果を生成する第１の位置合せ手段と、
前記第１の位置合せの終了後、該第１の位置合せの結果に基づいて、前記シミュレーション情報と前記術中映像に含まれる前記対象部位との第２の位置合せを行って前記表示手段に重畳表示する第２の位置合せ手段とを備え、
前記第２の位置合せ手段は、前記第１の位置合せが開始されてから該第１の位置合せが終了するまで、前記画像取得手段により取得される前記術中映像を構成する術中画像間において第４の位置合せを行い、前記第１の位置合せの終了後、前記第４の位置合せの結果を用いて前記第２の位置合せを行うことを特徴とする画像位置合せ装置。
【請求項４】
前記対象部位を撮影して前記術中画像を生成する撮影手段の動きを検出する動き検出手段をさらに備え、
前記第２の位置合せ手段は、前記第１の位置合せが開始されてから該第１の位置合せが終了するまでの間に、前記動き検出手段により検出される前記動きを用いて、前記第４の位置合せを行う請求項３記載の画像位置合せ装置。
【請求項５】
前記対象部位を撮影して前記術中画像を生成する撮影手段の動きを検出する動き検出手段をさらに備えた請求項１または３記載の画像位置合せ装置。
【請求項６】
前記第２の位置合せ手段は、前記動き検出手段により検出された前記動きを用いて、前記第２の位置合せを行う請求項５記載の画像位置合せ装置。
【請求項７】
前記第１の位置合せの指示の入力を受け付ける入力手段をさらに備え、
前記第１の位置合せ手段は、前記入力手段から入力される前記第１の位置合せの指示に応じて、前記第１の位置合せを行う請求項１から６のいずれか１項記載の画像位置合せ装置。
【請求項８】
前記第２の位置合せ手段は、前記第１の位置合せの終了の指示を受け付けた後、前記第２の位置合せを行う請求項１から７のいずれか１項記載の画像位置合せ装置。
【請求項９】
前記第２の位置合せ手段は、前記シミュレーション情報と前記術中映像を構成する各術中画像に含まれる前記対象部位とを位置合せすることにより、前記第２の位置合せを行う請求項１から８のいずれか１項記載の画像位置合せ装置。
【請求項１０】
前記第２の位置合せを行うことが可能か否かを判定する判定手段と、
前記第２の位置合せを行うことが不可能であると判断された場合、警告を行う警告手段とをさらに備えた請求項１から９のいずれか１項記載の画像位置合せ装置。
【請求項１１】
前記シミュレーション情報は、前記対象部位の３次元形状を表す画像である請求項１から１０のいずれか１項記載の画像位置合せ装置。
【請求項１２】
前記第１の位置合せ手段は、前記３次元形状を表す画像の透明度を変更可能である請求項１１記載の画像位置合せ装置。
【請求項１３】
画像取得手段が、手術の対象部位を含む、撮影時刻が異なる複数の術中画像からなる術中映像を取得し、
シミュレーション情報取得手段が、前記対象部位の前記手術に関連するシミュレーション情報を取得し、
位置合せ用術中画像取得手段が、前記シミュレーション情報との位置合せに使用する位置合せ用術中画像を取得し、
第１の位置合せ手段が、前記位置合せ用術中画像および前記シミュレーション情報を表示手段に重畳表示し、第１の位置合せの指示に応じて前記位置合せ用術中画像に含まれる前記対象部位と前記シミュレーション情報との第１の位置合せを行って、第１の位置合せ結果を生成し、
第２の位置合せ手段が、前記第１の位置合せの終了後、該第１の位置合せの結果に基づいて、前記シミュレーション情報と前記術中映像に含まれる前記対象部位との第２の位置合せを行って前記表示手段に重畳表示するに際し、前記第１の位置合せの終了後、前記位置合せ用術中画像と、該第１の位置合せの終了後に取得される前記術中映像を構成する術中画像との第３の位置合せを行い、該第３の位置合せの結果を用いて前記第２の位置合せを行うことを特徴とする画像位置合せ装置の作動方法。
【請求項１４】
画像取得手段が、手術の対象部位を含む、撮影時刻が異なる複数の術中画像からなる術中映像を取得し、
シミュレーション情報取得手段が、前記対象部位の前記手術に関連するシミュレーション情報を取得し、
位置合せ用術中画像取得手段が、前記シミュレーション情報との位置合せに使用する位置合せ用術中画像を取得し、
第１の位置合せ手段が、前記位置合せ用術中画像および前記シミュレーション情報を表示手段に重畳表示し、第１の位置合せの指示に応じて前記位置合せ用術中画像に含まれる前記対象部位と前記シミュレーション情報との第１の位置合せを行って、第１の位置合せ結果を生成し、
第２の位置合せ手段が、前記第１の位置合せの終了後、該第１の位置合せの結果に基づいて、前記シミュレーション情報と前記術中映像に含まれる前記対象部位との第２の位置合せを行って前記表示手段に重畳表示するに際し、前記第１の位置合せが開始されてから該第１の位置合せが終了するまで、前記画像取得手段により取得される前記術中映像を構成する術中画像間において第４の位置合せを行い、前記第１の位置合せの終了後、前記第４の位置合せの結果を用いて前記第２の位置合せを行うことを特徴とする画像位置合せ装置の作動方法。
【請求項１５】
手術の対象部位を含む、撮影時刻が異なる複数の術中画像からなる術中映像を取得する手順と、
前記対象部位の前記手術に関連するシミュレーション情報を取得する手順と、
前記シミュレーション情報との位置合せに使用する位置合せ用術中画像を取得する手順と、
前記位置合せ用術中画像および前記シミュレーション情報を表示手段に重畳表示し、第１の位置合せの指示に応じて前記位置合せ用術中画像に含まれる前記対象部位と前記シミュレーション情報との第１の位置合せを行って、第１の位置合せ結果を生成する手順と、
前記第１の位置合せの終了後、該第１の位置合せの結果に基づいて、前記シミュレーション情報と前記術中映像に含まれる前記対象部位との第２の位置合せを行って前記表示手段に重畳表示するに際し、前記第１の位置合せの終了後、前記位置合せ用術中画像と、該第１の位置合せの終了後に取得される前記術中映像を構成する術中画像との第３の位置合せを行い、該第３の位置合せの結果を用いて前記第２の位置合せを行う手順とをコンピュータに実行させることを特徴とする画像位置合せプログラム。
【請求項１６】
手術の対象部位を含む、撮影時刻が異なる複数の術中画像からなる術中映像を取得する手順と、
前記対象部位の前記手術に関連するシミュレーション情報を取得する手順と、
前記シミュレーション情報との位置合せに使用する位置合せ用術中画像を取得する手順と、
前記位置合せ用術中画像および前記シミュレーション情報を表示手段に重畳表示し、第１の位置合せの指示に応じて前記位置合せ用術中画像に含まれる前記対象部位と前記シミュレーション情報との第１の位置合せを行って、第１の位置合せ結果を生成する手順と、
前記第１の位置合せの終了後、該第１の位置合せの結果に基づいて、前記シミュレーション情報と前記術中映像に含まれる前記対象部位との第２の位置合せを行って前記表示手段に重畳表示するに際し、前記第１の位置合せが開始されてから該第１の位置合せが終了するまで、前記術中映像を取得する手順により取得される前記術中映像を構成する術中画像間において第４の位置合せを行い、前記第１の位置合せの終了後、前記第４の位置合せの結果を用いて前記第２の位置合せを行う手順とをコンピュータに実行させることを特徴とする画像位置合せプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、手術中に撮影した手術の対象部位を含む術中画像に、対象部位の手術に関連するシミュレーション情報を位置合せして重畳表示する画像位置合せ装置、画像位置合せ装置の作動方法および画像位置合せプログラムに関するものである。
【背景技術】
【０００２】
近年、３次元医用画像を用いた手術シミュレーションが盛んに行われている。手術シミュレーションとは、医用画像から手術対象となる組織、臓器およびその周辺構造を可視化し、実際の手術で行われる手技をシミュレーションするものである。例えば、肝臓の部分切除シミュレーションでは、ＣＴ（Computed Tomography）画像あるいはＭＲＩ（Magnetic Resonance Imaging）画像の断層画像から、肝臓、門脈、静脈、動脈、体表、骨および腫瘍といった組織を抽出し、これらを３次元画像として可視化して、手術時の術野から見たシミュレーション画像を生成する。その後、シミュレーション画像を用いて、肝臓内にある腫瘍を切除する範囲をコンピュータで計算して、手術計画を立てて手術を行う。
【０００３】
一方、シミュレーション画像を、手術中に参照したいという要求がある。このため、シミュレーション画像を紙に印刷して手術室に持ち込んだり、手術室に設置されたディスプレイに表示したりすることが行われている。そして医師は、実際の患者の術部を見ながら、確認のために紙に印刷したあるいはディスプレイに表示したシミュレーション画像を見ながら手術を行う。
【０００４】
しかしながら、患者とシミュレーション画像とを交互に見ながら手術を行うことは、非常に煩わしい。このため、手術中に手術の対象部位を撮影して複数の画像からなる映像を取得し、映像にシミュレーション画像を重畳して表示する手法が提案されている。例えば、特許文献１には、光学センサあるいは磁気センサを、術部を撮影するカメラ、術具、もしくは臓器に直接取り付け、それらの相対位置関係をキャリブレーション、すなわち初期位置合せし、初期位置合せ後のカメラの位置および向きの変更、並びに臓器の移動に対して、シミュレーション画像を移動させることにより、手術の対象となる部位とシミュレーション画像とを位置合せして重畳表示する手法が提案されている。
【０００５】
また、手術の対象となる部位にマーカを配置し、マーカの位置をセンサにより検出して、手術の対象部位とシミュレーション画像とを位置合せし、ヘッドマウントディスプレイに表示する手法（特許文献２参照）、および手術の対象部位にマーカを埋め込み、これをセンサにより検出して手術の対象部位とシミュレーション画像とを位置合せし、モニタに表示する手法も提案されている（特許文献３参照）。
【０００６】
一方、センサ等を用いることなく、撮影された患者の画像とシミュレーション画像とを位置合せする手法も提案されている。例えば、特許文献４においては、３次元画像から臓器モデルを生成し、超音波画像にリアルタイムで臓器モデルを重畳させて表示する際に、超音波画像の各フレームと臓器モデルと間のアフィン変換関数を求め、これに基づいて臓器モデルを変換して超音波画像に重畳させる手法が提案されている。また、特許文献５においては、脳の手術の際に、脳のライブ画像に誘導脳刺激機能データを重ねる手法が提案されている。また、医用画像を対象とするものではないが、ユーザの顔をリアルタイムで撮影しながら、眉毛等のテンプレートをユーザの顔画像に重畳表示し、ユーザの顔の角度の変化および拡大縮小を検出し、それに追従させてテンプレートを移動および拡大縮小させる手法も提案されている（特許文献６参照）。
【先行技術文献】
【特許文献】
【０００７】
【特許文献１】特開２０１３−２０２３１３号公報
【特許文献２】特開２０１０−２５９４９７号公報
【特許文献３】特開２０１０−２００８９４号公報
【特許文献４】特開２０１２−２０５８９９号公報
【特許文献５】特開２０１４−５２２２７４号公報
【特許文献６】特開２０１１−００８３９７号公報
【発明の概要】
【発明が解決しようとする課題】
【０００８】
しかしながら、対象部位を撮影する際には、カメラを手で持っている限り、カメラを完全に静止することは難しく、表示された映像内において対象部位が移動する。このため、映像に含まれる対象部位とシミュレーション情報とを、操作者が手動で初期位置合せする作業は非常に困難である。また、特許文献４，５に記載されたように自動で位置合せを行う場合においても、映像に含まれる対象部位が移動していると、初期位置合せの処理に長時間を要する。
【０００９】
本発明は上記事情に鑑みなされたものであり、術中映像に含まれる対象部位とシミュレーション画像等のシミュレーション情報との初期位置合せを、簡易かつ迅速に行うことができるようにすることを目的とする。
【課題を解決するための手段】
【００１０】
本発明による画像位置合せ装置は、手術の対象部位を含む、撮影時刻が異なる複数の術中画像からなる術中映像を取得する画像取得手段と、
対象部位の手術に関連するシミュレーション情報を取得するシミュレーション情報取得手段と、
シミュレーション情報との位置合せに使用する位置合せ用術中画像を取得する位置合せ用術中画像取得手段と、
位置合せ用術中画像およびシミュレーション情報を表示手段に重畳表示し、位置合せ用術中画像に含まれる対象部位とシミュレーション情報との第１の位置合せを行う第１の位置合せ手段と、
第１の位置合せの終了後、第１の位置合せの結果に基づいて、シミュレーション情報と術中映像に含まれる対象部位との第２の位置合せを行って表示手段に重畳表示する第２の位置合せ手段とを備えたことを特徴とするものである。
【００１１】
「術中映像」とは、所定のフレームレート間隔で、対象部位を逐次撮影することにより取得される、複数の術中画像からなる動画像である。
【００１２】
「シミュレーション情報」とは、手術の対象部位に関連する任意の情報を意味し、例えば、対象部位の３次元形状を表す画像、対象部位および対象部位に含まれる構造物の３次元形状を表す画像、あるいはＰＥＴ（Positron Emission Tomography）検査またはＮＭ（Nuclear Medical）検査（核医学検査）等により取得される機能３次元画像等の画像情報をシミュレーション情報として用いることができる。また、対象部位の名称および対象部位に含まれる構造物の名称等の文字情報、あるいは対象部位の切除位置を示す線や矢印等の記号もシミュレーション情報として用いることができる。
【００１３】
なお、本発明による画像位置合せ装置においては、第１の位置合せの指示の入力を受け付ける入力手段をさらに備えるものとし、
第１の位置合せ手段を、入力手段から入力される第１の位置合せの指示に応じて、第１の位置合せを行うものとしてもよい。
【００１４】
「第１の位置合せの指示」とは、位置合せ用術中画像に含まれる対象部位とシミュレーション情報とを位置合せするための指示である。例えば、シミュレーション情報を平行移動、回転および拡大縮小等して、位置合せ用術中画像に含まれる対象部位と一致させるための指示である。
【００１５】
また、本発明による画像位置合せ装置においては、第２の位置合せ手段を、第１の位置合せの終了の指示を受け付けた後、第２の位置合せを行うものとしてもよい。
【００１６】
また、本発明による画像位置合せ装置においては、第２の位置合せ手段を、第１の位置合せの終了後、位置合せ用術中画像と、第１の位置合せの終了後に取得される術中映像を構成する術中画像との第３の位置合せを行い、第３の位置合せの結果を用いて第２の位置合せを行うものとしてもよい。
【００１７】
位置合せ用術中画像と位置合せされる、「術中映像を構成する術中画像」とは、第１の位置合せの終了後、最初に取得される術中画像であることが好ましいが、これに限定されるものではなく、操作者がシミュレーション情報と術中映像に含まれる対象部位とが重畳表示された状態の観察に支障がない程度、第１の位置合せの終了時から遅れて取得される術中画像であってもよい。
【００１８】
また、本発明による画像位置合せ装置においては、第２の位置合せ手段を、第１の位置合せが開始されてから第１の位置合せが終了するまで、画像取得手段により取得される術中映像を構成する術中画像間において第４の位置合せを行い、第１の位置合せの終了後、第４の位置合せの結果を用いて第２の位置合せを行うものとしてもよい。
【００１９】
第４の位置合せは、術中映像を構成する、順次取得される術中画像同志で、後に取得される術中画像を先に取得された術中画像に位置合せするものである。
【００２０】
また、本発明による画像位置合せ装置においては、対象部位を撮影して術中画像を生成する撮影手段の動きを検出する動き検出手段をさらに備えるものとし、
第２の位置合せ手段を、第１の位置合せが開始されてから第１の位置合せが終了するまでの間に、動き検出手段により検出された動きを用いて、第３の位置合せを行うものとしてもよい。
【００２１】
また、本発明による画像位置合せ装置においては、対象部位を撮影して術中画像を生成する撮影手段の動きを検出する動き検出手段をさらに備えるものとし、
第２の位置合せ手段を、第１の位置合せが開始されてから第１の位置合せが終了するまでの間に、動き検出手段により検出される動きを用いて、第４の位置合せを行うものとしてもよい。
【００２２】
また、本発明による画像位置合せ装置においては、対象部位を撮影して術中画像を生成する撮影手段の動きを検出する動き検出手段をさらに備えるものとしてもよい。
【００２３】
この場合、第２の位置合せ手段を、動き検出手段により検出された動きを用いて、第２の位置合せを行うものとしてもよい。
【００２４】
また、本発明による画像位置合せ装置においては、第２の位置合せ手段を、シミュレーション情報と術中映像を構成する各術中画像に含まれる対象部位とを位置合せすることにより、第２の位置合せを行うものとしてもよい。
【００２５】
また、本発明による画像位置合せ装置においては、第２の位置合せを行うことが可能か否かを判定する判定手段と、
第２の位置合せを行うことが不可能であると判断された場合、警告を行う警告手段とをさらに備えるものとしてもよい。
【００２６】
ここで、手術が進行すると、手術の対象部位が切除されたり、対象部位の一部が移動されたりして、第１の位置合せ時に使用した位置合せ用術中画像に含まれる対象部位と、現時点で取得される術中映像に含まれる対象部位との外観が異なることとなる。このため、手術が進行すると、第２の位置合せが困難となる場合がある。「第２の位置合せを行うことが不可能」であるとは、このように手術が進行することにより、所望とされる精度を持ってシミュレーション情報と術中映像に含まれる対象部位との位置合せを行うことができなくなる状態を意味する。
【００２７】
本発明による画像位置合せ方法は、手術の対象部位を含む、撮影時刻が異なる複数の術中画像からなる術中映像を取得し、
対象部位の手術に関連するシミュレーション情報を取得し、
シミュレーション情報との位置合せに使用する位置合せ用術中画像を取得し、
位置合せ用術中画像およびシミュレーション情報を表示手段に重畳表示し、位置合せ用術中画像に含まれる対象部位とシミュレーション情報との第１の位置合せを行い、
第１の位置合せの終了後、第１の位置合せの結果に基づいて、シミュレーション情報と術中映像に含まれる対象部位との第２の位置合せを行って表示手段に重畳表示することを特徴とするものである。
【００２８】
なお、本発明による画像位置合せ方法をコンピュータに実行させるためのプログラムとして提供してもよい。
【発明の効果】
【００２９】
本発明によれば、位置合せ用術中画像およびシミュレーション情報が表示手段に重畳表示され、位置合せ用術中画像に含まれる対象部位とシミュレーション情報との第１の位置合せが行われる。第１の位置合せの終了後、第１の位置合せの結果に基づいて、シミュレーション情報と術中映像に含まれる対象部位との第２の位置合せが行われる。このように、第１の位置合せ時においては、位置合せ用術中画像が表示されるため、術中画像とシミュレーション情報との位置合せを容易に行うことができる。また、第１の位置合せ時においてはシミュレーション情報と位置合せされるのは位置合せ用術中画像であるため、第１の位置合せの処理を迅速に行うことができる。
【００３０】
また、入力手段から入力される第１の位置合せの指示に応じて、第１の位置合せを行うことにより、術中画像に含まれる対象部位とシミュレーション情報との位置合せを容易に行うことができる。
【図面の簡単な説明】
【００３１】
【図１】本発明の実施形態による画像位置合せ装置を適用した、手術支援システムの概要を示すハードウェア構成図
【図２】タブレット端末に位置合せプログラムをインストールすることにより実現された画像位置合せ装置の概略構成を示す図
【図３】シミュレーション情報を示す図
【図４】第１の実施形態において行われる処理を示すフローチャート
【図５】初期位置合せの際にディスプレイに表示される術中画像を示す図
【図６】不変位置を中心とした領域の設定を説明するための図
【図７】現在表示されている術中画像の初期術中画像に対する位置のずれを説明するための図
【図８】シミュレーション情報と術中画像との重畳表示を説明するための図
【図９】第２の実施形態において行われる処理を示すフローチャート
【発明を実施するための形態】
【００３２】
以下、図面を参照して本発明の実施形態について説明する。図１は、本発明の第１の実施形態による画像位置合せ装置を適用した、手術支援システムの概要を示すハードウェア構成図である。図１に示すように、このシステムでは、本実施形態による画像位置合せ装置１、３次元画像撮影装置２、および画像保管サーバ３が、ネットワーク４を経由して通信可能な状態で接続されている。
【００３３】
３次元画像撮影装置２は、被検体７の手術の対象となる部位を撮影することにより、その部位を表す３次元画像Ｖ０を生成する装置であり、具体的には、ＣＴ装置、ＭＲＩ装置、およびＰＥＴ装置等である。この３次元画像撮影装置２により生成された３次元画像Ｖ０は画像保管サーバ３に送信され、保存される。なお、本実施形態においては、被検体７の手術の対象部位は肝臓であり、３次元画像撮影装置２はＣＴ装置であり、被検体７の腹部の３次元画像Ｖ０が生成されるものとする。
【００３４】
画像保管サーバ３は、各種データを保存して管理するコンピュータであり、大容量外部記憶装置およびデータベース管理用ソフトウェアを備えている。画像保管サーバ３は、有線あるいは無線のネットワーク４を介して他の装置と通信を行い、画像データ等を送受信する。具体的には３次元画像撮影装置２で生成された３次元画像Ｖ０等の画像データをネットワーク経由で取得し、大容量外部記憶装置等の記録媒体に保存して管理する。なお、画像データの格納形式やネットワーク４経由での各装置間の通信は、ＤＩＣＯＭ（Digital Imaging and COmmunication in Medicine）等のプロトコルに基づいている。
【００３５】
画像位置合せ装置１は、１台のコンピュータに、本発明の画像位置合せプログラムをインストールしたものである。本実施形態においては、コンピュータは、装置の操作者である医師が直接操作するネットワーク４と無線接続されたタブレット端末である。位置合せプログラムは、ＤＶＤ（Digital Versatile Disc）、ＣＤ−ＲＯＭ（Compact Disc Read Only Memory）等の記録媒体に記録されて配布され、その記録媒体からタブレット端末にインストールされる。もしくは、ネットワークに接続されたサーバコンピュータの記憶装置、あるいはネットワークストレージに、外部からアクセス可能な状態で記憶され、要求に応じてタブレット端末にダウンロードされ、インストールされる。
【００３６】
図２はタブレット端末に位置合せプログラムをインストールすることにより実現された画像位置合せ装置の概略構成を示す図である。図２に示すように、画像位置合せ装置１は、標準的なタブレット端末の構成として、ＣＰＵ（Central Processing Unit）１１、メモリ１２、ストレージ１３、カメラ１４、液晶等のディスプレイ１５、タッチパネル式の入力部１６、およびモーションセンサ１７を備えている。
【００３７】
ストレージ１３には、ネットワーク４を経由して画像保管サーバ３から取得した３次元画像Ｖ０および画像位置合せ装置１での処理によって生成された画像を含む各種情報が記憶されている。
【００３８】
カメラ１４は、レンズ、ＣＣＤ(Charge Coupled Device)等の撮像素子および取得した画像に画質を向上させるための処理を行う画像処理部等を備える。医師は画像位置合せ装置１、すなわちタブレット端末のカメラ１４を用いて、手術中の被検体７における手術の対象部位である、開腹された被検体７の肝臓を撮影することにより、撮影時刻が異なる２以上の画像からなる、肝臓を含む術中の術中映像Ｌ０を取得する。術中映像Ｌ０は所定のフレームレートによる術中画像Ｔ０が連続する動画像となる。なお、カメラ１４が撮影手段に対応する。
【００３９】
モーションセンサ１７は、タブレット端末のある位置を基準としたｘ軸、ｙ軸およびｚ軸の３軸の加速度、３軸の角速度および３軸の傾きを検出する９軸のモーションセンサである。これにより、モーションセンサ１７は、タブレット端末の動き、すなわちカメラ１４の動きを検出する。モーションセンサ１７が検出した加速度、角速度および傾きは動き情報としてＣＰＵ１１に出力され、必要な処理に使用される。
【００４０】
また、メモリ１２には、画像位置合せプログラムが記憶されている。画像位置合せプログラムは、ＣＰＵ１１に実行させる処理として、術中映像Ｌ０および３次元画像Ｖ０を取得する画像取得処理、術中映像Ｌ０に含まれる対象物である肝臓のシミュレーション情報Ｓ０を取得するシミュレーション情報取得処理、シミュレーション情報Ｓ０との位置合せに使用する初期術中画像を位置合せ用術中画像として取得する位置合せ用術中画像取得処理、術中映像Ｌ０に含まれる対象物である肝臓とシミュレーション情報Ｓ０とを初期位置合せである第１の位置合せをする第１の位置合せ処理、および術中映像Ｌ０に含まれる肝臓とシミュレーション情報Ｓ０とを位置合せする第２の位置合せ処理を規定している。
【００４１】
そして、ＣＰＵ１１がプログラムに従いこれらの処理を実行することで、タブレット端末は、画像取得部２１、シミュレーション情報取得部２２、位置合せ用術中画像取得部２３、第１の位置合せ部２４、および第２の位置合せ部２５として機能する。なお、画像位置合せ装置１は、画像取得処理、シミュレーション情報取得処理、第１の位置合せ処理および第２の位置合せ処理をそれぞれ行うプロセッサを備えるものであってもよい。
【００４２】
画像取得部２１は、３次元画像Ｖ０およびカメラ１４により撮影された手術中の被検体７の対象部位を含む術中映像Ｌ０を取得する。画像取得部２１は、３次元画像Ｖ０が既にストレージ１３に記憶されている場合には、ストレージ１３から取得するようにしてもよい。なお、本実施形態においては、術中映像Ｌ０は、開腹された被検体７の上方から医師が肝臓を撮影することにより取得される。
【００４３】
シミュレーション情報取得部２２は、手術の対象部位である肝臓のシミュレーション情報を生成する。このため、シミュレーション情報取得部２２は、まず３次元画像Ｖ０から手術の対象部位である肝臓並びに肝臓に含まれる肝動脈、肝静脈および病変を抽出する。シミュレーション情報取得部２２は、３次元画像Ｖ０中の各画素が、肝臓並びに肝臓に含まれる動脈、静脈および病変（以下肝臓等とする）を示す画素であるか否かを識別する識別器を備える。識別器は、肝臓等を含む複数のサンプル画像を、例えばアダブースティングアルゴリズム等の手法を用いて機械学習することにより取得される。シミュレーション情報取得部２２は、識別器を用いて３次元画像Ｖ０から肝臓等を抽出する。
【００４４】
そして、シミュレーション情報取得部２２は、肝臓等の３次元形状を表す画像をシミュレーション情報Ｓ０として生成する。具体的には、抽出した肝臓等をあらかじめ定めた投影面に投影した投影像を、シミュレーション情報Ｓ０として生成する。ここで、投影面としては、例えば、被検体７の肝臓を正面から臨む面とすればよい。なお、投影の具体的な方法としては、例えば、公知のボリュームレンダリングの手法等を用いる。
【００４５】
この際、肝臓並びに肝臓に含まれる肝動脈、肝静脈および病変毎に異なる色を定義してシミュレーション情報Ｓ０を生成してもよく、異なる透明度を定義してシミュレーション情報Ｓ０を生成してもよい。例えば、肝動脈を赤色、肝静脈を青色、病変を緑色としたり、肝臓の不透明度を０．１、肝動脈および肝静脈の不透明度を０．５、病変の不透明度を０．８としたりしてもよい。これにより、図３に示すようなシミュレーション情報Ｓ０が生成される。このように、シミュレーション情報Ｓ０において、肝臓並びに肝臓に含まれる肝動脈、肝静脈および病変毎に異なる色または不透明度を定義することにより、肝臓並びに肝臓に含まれる肝動脈、肝静脈および病変を容易に識別することができる。なお、異なる色および異なる透明度の双方を定義してシミュレーション情報Ｓ０を生成してもよい。生成されたシミュレーション情報Ｓ０はストレージ１３に保存される。
【００４６】
以下、位置合せ用術中画像取得部２３、第１および第２の位置合せ部２４，２５の説明と併せて、本実施形態において行われる処理について説明する。
【００４７】
図４は第１の実施形態において行われる処理を示すフローチャートである。なお、シミュレーション情報Ｓ０は既に生成されて、ストレージ１３に保存されているものとする。まず、被検体７の手術対象部位である肝臓が撮影されて術中映像Ｌ０が取得される（ステップＳＴ１）。なお、術中映像Ｌ０は例えば３０ｆｐｓ等の所定のフレームレートにより順次取得される術中画像Ｔ０からなる。その後、位置合せ用術中画像取得部２３が、初期位置合せの指示がなされたか否かの監視を開始し（ステップＳＴ２）、ステップＳＴ２が肯定されると、初期位置合せの指示がなされた時点の術中映像Ｌ０を構成する術中画像Ｔ０を初期位置合せ用の術中画像（以下初期術中画像とする）Ｔｆとして取得する（ステップＳＴ３）。位置合せ用術中画像取得部２３は、初期術中画像Ｔｆをディスプレイ１５に表示し、さらにシミュレーション情報Ｓ０をディスプレイ１５に表示する。これにより、ディスプレイ１５には、静止画像である初期術中画像Ｔｆとシミュレーション情報Ｓ０とが重畳表示される（ステップＳＴ４）。この段階においては、シミュレーション情報Ｓ０はディスプレイ１５上のあらかじめ定められた位置に表示される。なお、初期術中画像Ｔｆが位置合せ用術中画像に対応する。次いで、第１の位置合せ部２４が、医師による初期位置合せの指示を受け付ける（ステップＳＴ５）。これにより、第１の位置合せ部２４が初期位置合せを行う。なお、第１の位置合せ部２４が、ステップＳＴ４の処理を行うようにしてもよい。
【００４８】
図５は初期位置合せの際にディスプレイに表示される術中画像を示す図である。上述したように表示されたシミュレーション情報Ｓ０は、入力部１６の操作、すなわちディスプレイ１５へのタッチ操作により、平行移動、回転および拡大縮小が可能となっている。なお、ディスプレイ１５の表示面にｘ軸およびｙ軸を、表示面に直交する方向にｚ軸を設定した場合、回転は３軸の任意の方向に可能となっている。本実施形態における回転とは、ｚ軸の周りの回転を意味する。また、シミュレーション情報Ｓ０に対してｚ軸の周りの回転以外の回転、すなわちｘ軸および／またはｙ軸の周りの回転がなされた場合、シミュレーション情報Ｓ０の向きが変更される。本実施形態においては、シミュレーション情報Ｓ０のｘ軸および／またはｙ軸の周りの回転を向きの変更と定義する。
【００４９】
ここで、シミュレーション情報Ｓ０の向きが変更された場合、シミュレーション情報Ｓ０の投影面が変化する。このため、シミュレーション情報取得部２２は、シミュレーション情報Ｓ０の向きが変更されて投影面が変化した場合、シミュレーション情報Ｓ０を改めて生成する。
【００５０】
医師は、ディスプレイ１５に表示された初期術中画像Ｔｆおよびシミュレーション情報Ｓ０を見ながら、シミュレーション情報Ｓ０の位置が、初期術中画像Ｔｆに含まれる肝臓の位置と一致するように、シミュレーション情報Ｓ０を平行移動、回転および拡大縮小する。また、必要であれば、シミュレーション情報Ｓ０の向きを変更する。この際、シミュレーション情報Ｓ０の透明度を変更するようにしてもよい。シミュレーション情報Ｓ０の透明度の変更は、入力部１６からの指示によるものであってもよく、シミュレーション情報Ｓ０を初期位置合せするために、医師がディスプレイ１５にタッチ操作を行ったときに、透明度を変更するようにしてもよい。
【００５１】
そして、シミュレーション情報Ｓ０の位置、回転位置、大きさおよび向きが、初期術中画像Ｔｆに含まれる肝臓の位置と一致した時点で、医師は、初期位置合せ終了の指示を行うことにより、初期位置合せの処理が終了する。なお、初期位置合せ終了の指示は、入力部１６の操作により、終了指示を行うボタンをディスプレイ１５に表示させたり、ダブルタップ等の所定の操作により行うようにすればよい。これにより、初期位置合せ終了時にディスプレイ１５に表示されていた初期術中画像Ｔｆがストレージ１３に保存される。
【００５２】
なお、本実施形態においては、手術の対象部位は肝臓であり、手術中に肝臓は切除されて移動する可能性がある。このため、本実施形態においては、初期位置合せ時には、ディスプレイ１５に表示された初期術中画像Ｔｆにおいて、手術中に移動しない不変位置の指定を受け付ける。例えば、図６に示す初期術中画像Ｔｆにおいて、鉗子３０等の手術用具が存在する部位は手術中には移動しない。また、肝臓の左葉を切除する場合、肝臓の右葉は手術中には移動しない。このため、本実施形態においては、入力部１６により鉗子３０のエッジ上の位置Ｏ１あるいは肝臓の右葉の位置Ｏ２等、手術中に移動しない不変位置の指定を受け付け、不変位置をストレージ１３に保存しておく。
【００５３】
続いて、第１の位置合せ部２４は、初期位置合せ終了の指示がなされたか否かを判断する（ステップＳＴ６）。なお、ステップＳＴ６の処理は第２の位置合せ部２５が行うようにしてもよい。ステップＳＴ６が否定されるとステップＳＴ５に戻り、引き続き初期位置合せの指示が受け付けられる。ステップＳＴ６が肯定されると、第２の位置合せ部２５が、第２の位置合せを行う（ステップＳＴ７）。
【００５４】
ここで、初期位置合せ後、医師は手術を進める。手術中、医師はタブレット端末を被検体７の上方に常時保持しておくことはできないため、タブレット端末による対象部位の撮影は一時的に中断され、その後、病変の位置の確認等、必要なときにタブレット端末を用いての対象部位である肝臓の撮影が行われる。この際、タブレット端末は初期位置合せを行った位置から移動され、肝臓の撮影が再度行われることとなる。このような状況においては、カメラ１４は、初期術中画像Ｔｆを取得したときとは位置がずれるため、ディスプレイ１５に表示される術中映像Ｌ０は、図７に示すように、初期術中画像Ｔｆに対して位置がずれることとなる。また、タブレット端末を被検体７の上方に保持しておく場合においても、タブレット端末を手で持っている限り、タブレット端末は動いてしまい、ディスプレイ１５に表示される術中映像Ｌ０は初期術中画像Ｔｆに対して位置がずれることとなる。
【００５５】
第２の位置合せ部２５は、上述した不変位置に基づいて、初期術中画像Ｔｆと、初期位置合せの終了後に取得される、術中映像Ｌ０を構成する術中画像（Ｔ１とする）との相対的な位置の相違を表す位置情報を取得する。なお、術中画像Ｔ１は、初期位置合せの終了直後に取得されるものであってもよく、シミュレーション情報Ｓ０と術中映像Ｌ０に含まれる肝臓とが重畳表示された状態の観察に支障がない程度、初期位置合せの終了時から遅れて取得されるものであってもよい。
【００５６】
なお、本実施形態においては、初期位置合せの終了時においては、タブレット端末は、初期位置合せの開始時から大きく移動している可能性がある。このため、第２の位置合せ部２５は、位置情報を用いて、初期術中画像Ｔｆと術中画像Ｔ１との位置合せを行う。なお、初期術中画像Ｔｆと術中画像Ｔ１との位置合せが第３の位置合せに対応する。
【００５７】
ここで、第２の位置合せ部２５は、位置情報を取得するために、不変位置を基準として、術中画像Ｔ１と初期術中画像Ｔｆとのテンプレートマッチングを行う。なお、テンプレートマッチングの手法としては、図６に示すように不変位置Ｏ１，Ｏ２を中心とした領域Ａ１，Ａ２を初期術中画像Ｔｆに設定し、領域Ａ１、Ａ２と術中画像Ｔ１との対応関係に基づいて、術中画像Ｔ１の初期術中画像Ｔｆに対する平行移動成分、回転成分および拡大率の少なくとも１つを位置情報として算出する手法を用いることができる。なお、回転とは、上記ｚ軸の周り、すなわちｘｙ平面における２次元的な回転を意味する。
【００５８】
ここで、位置情報は、術中画像Ｔ１の初期術中画像Ｔｆに対する相対的な位置の相違を表すものである。このため、位置情報は、現在のカメラ１４の位置と、初期位置合せ時のカメラ１４の位置との相対的な位置の相違に相当するものとなる。なお、位置情報の取得は、テンプレートマッチングの手法に限定されるものではなく、不変位置のオプティカルフローを求めることにより取得してもよい。
【００５９】
第２の位置合せ部２５は、位置情報を用いて初期術中画像Ｔｆと術中画像Ｔ１とを位置合せし、この位置合せの結果を用いて、第２の位置合せを行う。すなわち、位置合せされた術中画像Ｔ１にシミュレーション情報Ｓ０を重畳表示する（ステップＳＴ８）。この際、シミュレーション情報Ｓ０は、位置情報に基づいて、平行移動、回転および／または拡大縮小される。これにより、図８に示すように、シミュレーション情報Ｓ０は、初期術中画像Ｔｆと位置合せした位置と同様の位置において、術中画像Ｔ１に重畳表示されることとなる。
【００６０】
次いで、第２の位置合せ部２５は、術中映像Ｌ０を構成する次の術中画像を取得する（ステップＳＴ９）。本実施形態においては、術中画像Ｔ１の次の術中画像となる。次いで、第２の位置合せ部２５は、次の術中画像（Ｔｋ＋１とする）と初期術中画像Ｔｆとを比較して、第２の位置合せを行うことが可能か否かを判定する（ステップＳＴ１０）。
【００６１】
ここで、手術が進行すると、手術の対象部位である肝臓が切除されたり、肝臓の一部が移動されたりして、初期位置合せ時に使用した初期術中画像Ｔｆに含まれる肝臓と、現時点で取得される術中映像Ｌ０に含まれる肝臓との外観が異なることとなる。このため、手術が進行すると、第２の位置合せが困難となる場合がある。
【００６２】
このため、本実施形態においては、ステップＳＴ１０において、所望とされる精度を持ってシミュレーション情報Ｓ０と術中映像Ｌ０に含まれる肝臓との位置合せを行うことができるか否かを判定する。具体的には、次の術中画像Ｔｋ＋１において、初期術中画像Ｔｆに設定した不変位置が見つかるか否かを判定する。次の術中画像Ｔｋ＋１において不変位置が見つかれば、所望とされる精度を持ってシミュレーション情報Ｓ０と術中映像Ｌ０に含まれる肝臓との位置合せを行うことができるとして、ステップＳＴ１０が肯定される。
【００６３】
ステップＳＴ１０が肯定されるとステップＳＴ７に戻り、引き続き第２の位置合せが行われる。この際、第２の位置合せ処理においては、術中画像Ｔ１の次に順次取得される術中画像に対してシミュレーション情報Ｓ０が位置合せされる。なお、第２の位置合せは、第３の位置合せと同様に位置情報を用いて行われる。この場合、位置情報は、初期術中画像Ｔｆと順次取得される術中画像とから算出すればよい。また、順次取得される術中画像間において、不変位置に対応する位置の対応関係を位置情報として算出してもよい。
【００６４】
ステップＳＴ１０が否定されると、第２の位置合せ部２５が警告を行い（ステップＳＴ１１）、処理を終了する。警告としては、例えば「初期位置合せをやり直して下さい」等のテキストをディスプレイ１５に表示するものであってもよく、このテキストを音声で出力するものであってもよい。また、警告はこれらに限定されるものではなく、第２の位置合せを行うことができないことを医師に通知するものであれば、ディスプレイ１５の画面を点滅させたり、ビープ音を発生させたりする等、どのようなものであってもよい。操作者は警告により、初期位置合せをやり直すことができる。初期位置合せをやり直す指示は入力部１６から行えばよい。初期位置合せをやり直した後はステップＳＴ３以降の処理が改めて行われる。
【００６５】
このように、第１の実施形態においては、初期位置合せ時においては、静止画像である初期術中画像Ｔｆがディスプレイ１５に表示されるため、初期術中画像Ｔｆとシミュレーション情報Ｓ０との位置合せを容易に行うことができる。また、初期位置合せ時においてはシミュレーション情報Ｓ０と位置合せされるのは静止画像である初期術中画像Ｔｆであるため、第１の位置合せの処理を迅速に行うことができる。
【００６６】
また、入力部１６から入力される初期位置合せの指示に応じて、初期位置合せを行うことにより、初期術中画像Ｔｆに含まれる対象部位とシミュレーション情報との位置合せを容易に行うことができる。
【００６７】
また、第３の位置合せの結果を用いて第２の位置合せを行うことにより、初期位置合せの終了後、直ちに術中映像Ｌ０に含まれる肝臓とシミュレーション情報Ｓ０とが位置合せされた状態にて、術中映像Ｌ０およびシミュレーション情報Ｓ０を表示することができる。このため、その後の第２の位置合せを迅速かつ精度よく行うことができる。
【００６８】
次いで、本発明の第２の実施形態について説明する。第２の実施形態においては、第２の位置合せ部２５が行う処理のみが第１の実施形態と異なり、装置の構成は第１の実施形態と同一であるため、ここでは装置についての詳細な説明は省略する。第２の実施形態においては、初期位置合せが開始してから終了するまで、術中映像Ｌ０を構成する、順次取得される術中画像間において位置合せを行い、初期位置合せの終了後、この位置合せ結果を用いて、第２の位置合せを行うようにした点が第１の実施形態と異なる。なお、順次取得される術中画像間の位置合せが第４の位置合せに対応する。
【００６９】
図９は第２の実施形態において行われる処理を示すフローチャートである。なお、図９は、第１の実施形態における初期位置合せの指示が行われてから、初期位置合せが終了するまでの間に、初期位置合せの処理のバックグラウンドで行われる処理のフローチャートを示す。
【００７０】
図４に示すフローチャートのステップＳＴ３に引き続き、第２の位置合せ部２５は、術中映像Ｌ０における初期術中画像Ｔｆの次の術中画像（Ｔｋとする）を取得し（ステップＳＴ２０）、初期術中画像Ｔｆと次の術中画像Ｔｋとの位置合せである第４の位置合せを行う。（ステップＳＴ２１）。第４の位置合せは、上述した第３の位置合せと同様に、位置情報を用いて行われる。
【００７１】
次いで、図４のステップＳＴ６と同様に、第２の位置合せ部２５は、初期位置合せ終了指示がなされたか否かを判定し（ステップＳＴ２２）、ステップＳＴ２２が否定されるとステップＳＴ２０に戻り、引き続き第４の位置合せを行う。この際、術中画像Ｔｋの次の術中画像Ｔｋ＋１が取得され、術中画像Ｔｋと術中画像Ｔｋ＋１との間で位置合せが行われる。ステップＳＴ２２が肯定されると、図４のフローチャートのステップＳＴ７に進む。第２の位置合せ部２５は、第４の位置合せ結果を用いて第２の位置合せを行い、初期位置合せ終了指示の直前において第４の位置合せに用いた術中画像にシミュレーション情報Ｓ０を重畳する。この場合に使用する位置情報は、初期位置合せが開始されてから終了するまでの第４の位置合せにより取得される全ての位置情報を累積することにより算出される。これにより、初期位置合せの終了後、直ちに術中映像Ｌ０に含まれる肝臓とシミュレーション情報Ｓ０とが位置合せされた状態にて、術中映像Ｌ０およびシミュレーション情報Ｓ０を表示することができる。したがって、その後の第２の位置合せを迅速かつ精度よく行うことができる。
【００７２】
なお、上記第１および第２の実施形態において、初期位置合せが開始されてから初期位置合せが終了するまで、モーションセンサ１７によりカメラ１４の動きを検出し、初期位置合せの終了後、モーションセンサ１７により検出された動きを用いて、第３および第４の位置合せを行うようにしてもよい。第３の位置合せを行う場合、モーションセンサ１７が検出した動きは、初期位置合せ終了後に取得される術中画像と初期術中画像Ｔｆとの平行移動量、回転移動量および拡大縮小量を表すものとなる。第４の位置合せを行う場合は、術中画像間の平行移動量、回転移動量および拡大縮小量を表すものとなる。したがって、モーションセンサ１７が検出した動きに基づいて、第３および第４の位置合せを行うことができる。このようにモーションセンサ１７により検出された動きを用いて第３および第４の位置合せを行うことにより、位置合せのための画像間の演算が不要となるため、タブレット端末における処理の負荷を軽減することができる。
【００７３】
また、上記第１および第２の実施形態において、モーションセンサ１７によりタブレット端末、すなわちカメラ１４の動きを検出し、検出した動きを用いて第２の位置合せを行うようにしてもよい。この場合、モーションセンサ１７により検出するタブレット端末、すなわちカメラ１４の動きは、初期位置合せの開始時と第２の位置合せを行う現時点との間の動きであってもよく、現時点で取得した術中画像とその前に取得した術中画像との間の動きであってもよい。前者の場合、モーションセンサ１７が検出した動きは、現時点での術中画像と初期術中画像Ｔｆとの平行移動量、回転移動量および拡大縮小量を表すものとなる。このため、モーションセンサ１７が検出した動きに基づいて、シミュレーション情報Ｓ０を初期位置合せ時から、平行移動、回転移動および拡大縮小して術中映像Ｌ０に重畳することにより、第２の位置合せが行われる。後者の場合、モーションセンサ１７が検出した動きに基づいて、シミュレーション情報Ｓ０を前回の第２の位置合せ時から、平行移動、回転移動および拡大縮小して術中映像Ｌ０に重畳することにより、第２の位置合せが行われる。
【００７４】
また、上記第１および第２の実施形態においては、初期術中画像Ｔｆをディスプレイ１５に表示して、操作者が手動でシミュレーション情報Ｓ０との初期位置合せを行っているが、初期術中画像Ｔｆに含まれる肝臓とシミュレーション情報Ｓ０とを自動で初期位置合せしてもよい。この場合、静止画像である初期術中画像Ｔｆを用いているため、初期位置合せの処理を迅速に行うことができる。
【００７５】
また、上記第１および第２の実施形態においては、タブレット端末に術中映像Ｌ０およびシミュレーション情報Ｓ０を重畳表示しているが、術中映像Ｌ０をヘッドマウントディスプレイに表示する際のシミュレーション情報Ｓ０との位置合せを行う場合にも本発明を適用できる。また、術中映像Ｌ０を、手術台の上部に設置されたカメラにより撮影し、撮影により取得した画像を手術室内あるいは手術室外のディスプレイに表示する際のシミュレーション情報Ｓ０との位置合せを行う場合にも本発明を適用できる。この場合、本実施形態による画像位置合せ装置１はコンピュータにインストールされ、コンピュータにおいて術中映像Ｌ０とシミュレーション情報Ｓ０との位置合せが行われ、コンピュータに接続されたヘッドマウントディスプレイおよびディスプレイはコンピュータに、術中映像Ｌ０とシミュレーション情報Ｓ０とが重畳表示される。
【００７６】
また、上記第１および第２の実施形態においては、シミュレーション情報Ｓ０として、３次元画像Ｖ０から抽出した肝臓の投影像を用いているが、これに限定されるものではなく、ＰＥＴ検査または核医学検査等により取得される機能３次元画像をシミュレーション情報として用いてもよい。また、シミュレーション情報Ｓ０としては、画像情報に限定されるものではなく、切除位置を表す線、矢印等の記号、あるいは切除位置周囲の部位および組織名等の文字情報を用いてもよい。また、画像情報、記号および文字情報を併せてシミュレーション情報として用いるようにしてもよい。
【００７７】
また、上記第１および第２の実施形態においては、シミュレーション情報取得部２２においてシミュレーション情報Ｓ０を生成しているが、画像位置合せ装置１とは別個に設けられたシミュレーション情報取得装置において、シミュレーション情報Ｓ０を生成するようにしてもよい。この場合、シミュレーション情報取得部２２は、シミュレーション情報Ｓ０を生成する必要がなくなるため、装置の構成を簡易なものとすることができる。
【００７８】
また、上記第１および第２の実施形態においては、シミュレーション情報Ｓ０を平行移動、回転移動、拡大縮小および向きを変更して初期位置合せを行っているが、各種方向を向いた複数のシミュレーション情報を用意しておき、初期位置合せ時の術中映像Ｌ０に含まれる対象部位の向きに最も一致した向きのシミュレーション情報を選択して初期位置合せを行うようにしてもよい。
【００７９】
また、上記第１および第２の実施形態においては、肝臓に含まれる肝動脈等を抽出してシミュレーション情報Ｓ０に含めるようにしているが、手術の対象部位である肝臓のみを抽出し、肝臓のみの３次元形状を表す画像をシミュレーション情報Ｓ０として用いるようにしてもよい。
【００８０】
また、上記第１および第２の実施形態においては、手術対象部位として肝臓を用いているが、これに限定されるものではなく、任意の部位を手術の対象とする場合における、術中映像Ｌ０とシミュレーション情報Ｓ０とを重畳表示する際に、本発明を適用することができる。
【００８１】
以下、本発明の実施形態の効果について説明する。
【００８２】
第１の位置合せの終了後、位置合せ用術中画像と、第１の位置合せの終了後に取得される術中映像を構成する術中画像との第３の位置合せを行い、第３の位置合せの結果を用いて第２の位置合せを行うことにより、第１の位置合せの終了後、直ちに術中映像に含まれる対象部位とシミュレーション情報とが位置合せされた状態にて、術中映像およびシミュレーション情報を表示することができる。このため、その後の第２の位置合せを迅速かつ精度よく行うことができる。
【００８３】
第１の位置合せが開始してから第１の位置合せが終了するまで、画像取得手段により取得される術中映像と位置合せ用術中画像との第４の位置合せを行い、第１の位置合せの終了後、第４の位置合せの結果を用いて第２の位置合せを行うことにより、第１の位置合せの終了後、直ちに術中映像に含まれる対象部位とシミュレーション情報とが位置合せされた状態にて、術中映像およびシミュレーション情報を表示することができる。このため、その後の第２の位置合せを迅速かつ精度よく行うことができる。
【００８４】
第１の位置合せが開始されてから第１の位置合せが終了するまでの間に、動き検出手段により検出された動きを用いて、第３の位置合せまたは第４の位置合せを行うことにより、第１の位置合せの終了後、直ちに術中映像に含まれる対象部位とシミュレーション情報とが位置合せされた状態にて、術中映像およびシミュレーション情報を表示することができる。このため、その後の第２の位置合せを迅速かつ精度よく行うことができる。
【００８５】
第２の位置合せを行うことが不可能であると判断された場合、警告を行うことにより、操作者は再度の第１の位置合せを行う等の措置を執ることができる。
【符号の説明】
【００８６】
１    画像位置合せ装置
２    ３次元画像撮影装置
３    画像保管サーバ
４    ネットワーク
１１    ＣＰＵ
１２    メモリ
１３    ストレージ
１４    カメラ
１５    ディスプレイ
１６    入力部
１７    モーションセンサ
２１    画像取得部
２２    シミュレーション情報取得部
２３    位置合せ用術中画像取得部
２４    第１の位置合せ部
２５    第２の位置合せ部
【図１】
0006392190.tif 000002
【図２】
0006392190.tif 000003
【図３】
0006392190.tif 000004
【図４】
0006392190.tif 000005
【図５】
0006392190.tif 000006
【図６】
0006392190.tif 000007
【図７】
0006392190.tif 000008
【図８】
0006392190.tif 000009
【図９】
0006392190.tif 000010