(57)【要約】【課題】術者が治療や手術に集中でき、また、医療器具をその位置にかかわらず常に視認することができ、さらに、ディスプレイ上の映像に、ほとんどタイムラグが発生することなく医療器具を表示することが可能な医療支援装置を提供する。【解決手段】外科処置対象部位としての腫瘍Ｆを含む患者の術野に設けられたＡＲ認識用マーカＭＫと、術野をＡＲ認識用マーカＭＫとともに撮影するカメラ２０と、カメラ２０で撮影中の映像を表示するディスプレイ３０と、ディスプレイ３０上に表示されるカメラ２０が撮影中の映像に、腫瘍Ｆについての３次元的位置情報を、撮影中のＡＲ認識用マーカＭＫの位置及び姿勢に基づいて重畳して表示するＡＲ画像処理装置４０とを備える。【選択図】図１
2014131552.tif 000002
【特許請求の範囲】
【請求項１】
外科処置対象部位を含む患者の術野に設けられたＡＲ認識用マーカと、
前記術野を前記ＡＲ認識用マーカとともに撮影するカメラと、
前記カメラで撮影中の映像を表示するディスプレイと、
前記ディスプレイ上に表示される前記カメラが撮影中の映像に、前記外科処置対象部位についての３次元的位置情報を、撮影中の前記ＡＲ認識用マーカの位置及び姿勢に基づいて重畳して表示するＡＲ画像処理装置と、を備える、
ことを特徴とする医療支援装置。
【請求項２】
前記３次元的位置情報は、前記ＡＲ認識用マーカとともに撮影された患者のＣＴ画像データを医療用画像処理ソフトウェアに読み込んで得られた患者の立体的ＣＴ画像から特定されて着色された立体的イメージ画像である、
ことを特徴とする請求項１に記載の医療支援装置。
【請求項３】
前記ＡＲ画像処理装置は、コンピュータハードウェアにインストールされたＡＲソフトウェアを有し、
前記ＡＲソフトウェアは、前記立体的イメージ画像を含む前記立体的ＣＴ画像を３Ｄオブジェクトとして取り込んで、前記ＡＲ認識用マーカの位置及び姿勢を基準として前記ディスプレイに表示する、
ことを特徴とする請求項２に記載の医療支援装置。
【請求項４】
前記ＡＲ認識用マーカとして、予め登録した画像を使用する、
ことを特徴とする請求項２又は３に記載の医療支援装置。
【請求項５】
前記予め登録した画像が、患者の前記立体的ＣＴ画像の一部分である、
ことを特徴とする請求項４に記載の医療支援装置。
【請求項６】
前記ＡＲ認識用マーカとして、患者に取り付けられた造影剤入りの専用のマーカを使用する、
ことを特徴とする請求項２又は３に記載の医療支援装置。
【請求項７】
前記造影剤入りの専用のマーカが患者に対して着脱自在であり、
前記立体的ＣＴ画像の前記造影剤入りマーカと、前記カメラが撮影中の前記造影剤入りマーカとの位置を合わせるための造影剤入りの校正用マーカを、患者の少なくとも３箇所に設けた、
ことを特徴とする請求項６に記載の医療支援装置。
【請求項８】
前記ＡＲソフトウェアとして、前記カメラが撮影中の映像から３次元の空間構造を認識して記憶することが可能なものを使用する、
ことを特徴とする請求項３ないし７のいずれか１項に記載の医療支援装置。
【請求項９】
前記ディスプレイが、前記カメラと一体のヘッドマウント型のディスプレイである、
ことを特徴とする請求項１ないし８のいずれか１項に記載の医療支援装置。
【請求項１０】
前記ヘッドマウント型のディスプレイに光学透過型のディスプレイを使用し、患者の術野の透過像に患者の前記３次元的位置情報を重畳表示する、
ことを特徴とする請求項９に記載の医療支援装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、ディスプレイ上に表示されたカメラで撮影中の映像に、患者の腫瘍や膿胞等の外科処置対象部位の３次元的位置情報を重畳表示して医療行為を支援する医療支援装置に関する。
【背景技術】
【０００２】
脳外科，整形外科，耳鼻科が、治療や手術の対象とする臓器や器官、及びこれらにできる腫瘍や膿胞等（外科処置対象部位）の位置や形状が比較的一定している。このため、治療や手術前に撮影した患者のＣＴスキャナ（コンピュータ断層撮影装置）の画像データ（ＤＩＣＯＭデータ）を医療用画像処理ソフトウェアに読み込んで患者の立体的ＣＴ画像を作製し、この中から腫瘍や膿胞等を特定し、これをソフトウェアの画面上に表示して、この画像を参考にしながら治療や手術を行うことが可能となる。
【０００３】
しかし、腫瘍や膿胞等の治療や手術には、これらの３次元的位置を把握する必要があるため、術野とソフトウェアの画面とを見比べながら正確な手術を行うには、術者に充分な経験とスキルが要求される。このため、経験とスキルの不足を補うべく、さまざまな医療支援装置が開発されている。
【０００４】
この医療支援装置の１つに、モーションキャプチャを利用したものがある（例えば、特許文献１参照）。
【０００５】
モーションキャプチャを利用した代表的なものは、ドリル，メス，ピンセット等の医療器具を２台のカメラで捉え、これら医療器具の立体的なイメージ画像を、治療や手術の前にＣＴスキャナから取得した、腫瘍や膿胞等を含む患者の立体的ＣＴ画像にディスプレイ上で重畳表示するものである。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特表２０１１−５１４５０６号公報
【発明の概要】
【発明が解決しようとする課題】
【０００７】
しかし、上述のモーションキャプチャを利用したものは、以下のような問題がある。
【０００８】
（１）原理的には、ディスプレイ上の映像で、医療器具のイメージ画像と、腫瘍や膿胞等を含む患者の立体的ＣＴ画像の双方が見られるため、治療や手術の際に、術野を見ることなく、ディスプレイ上の映像を見るだけで十分ではあるが、術野とディスプレイ上の映像とは、見た目では大きな差異があるため、実際の手術等の医療行為に際しては、術野とディスプレイ上の映像等の双方を見る必要が生じる。このため、術者が治療や手術に集中することができない。
【０００９】
（２）医療器具とカメラとの間に、術者の腕や体の一部が入り込むと、医療器具のイメージ画像が表示できなくなる。つまり、医療器具の位置によっては、そのイメージ画像を表示することができない場合がある。
【００１０】
（３）キャプチャした医療器具のイメージ画像を立体的ＣＴ画像に重畳表示する際にタイムラグが生じる。
【００１１】
本発明は、上述した事情に鑑みてなされたものであり、カメラが撮影中のディスプレイ上の映像に、ＡＲ画像処理装置で作製した腫瘍や膿胞等の外科処置対象部位を重畳表示させることができる医療支援装置であって、術者が治療や手術に集中でき、また、医療器具をその位置にかかわらず常に視認することができ、さらに、ディスプレイ上の映像に、ほとんどタイムラグが発生することなく医療器具を表示することが可能な医療支援装置を提供することにある。
【課題を解決するための手段】
【００１２】
請求項１に係る発明は、医療支援装置において、外科処置対象部位を含む患者の術野に設けられたＡＲ認識用マーカと、前記術野を前記ＡＲ認識用マーカとともに撮影するカメラと、前記カメラで撮影中の映像を表示するディスプレイと、前記ディスプレイ上に表示される前記カメラが撮影中の映像に、前記外科処置対象部位についての３次元的位置情報を、撮影中の前記ＡＲ認識用マーカの位置及び姿勢に基づいて重畳して表示するＡＲ画像処理装置と、を備える、ことを特徴とする。
【００１３】
請求項２に係る発明は、請求項１に係る医療支援装置において、前記３次元的位置情報は、前記ＡＲ認識用マーカとともに撮影された患者のＣＴ画像データを医療用画像処理ソフトウェアに読み込んで得られた患者の立体的ＣＴ画像から特定されて着色された立体的イメージ画像である、ことを特徴とする。
【００１４】
請求項３に係る発明は、請求項２に係る医療支援装置において、前記ＡＲ画像処理装置は、コンピュータハードウェアにインストールされたＡＲソフトウェアを有し、前記ＡＲソフトウェアは、前記立体的イメージ画像を含む前記立体的ＣＴ画像を３Ｄオブジェクトとして取り込んで、前記ＡＲ認識用マーカの位置及び姿勢を基準として前記ディスプレイに表示する、ことを特徴とする。
【００１５】
請求項４に係る発明は、請求項２又は３に係る医療支援装置において、前記ＡＲ認識用マーカとして、予め登録した画像を使用する、ことを特徴とする。
【００１６】
請求項５に係る発明は、請求項４に係る医療支援装置において、前記予め登録した画像が、患者の前記立体的ＣＴ画像の一部分である、ことを特徴とする。
【００１７】
請求項６に係る発明は、請求項２又は３に係る医療支援装置において、前記ＡＲ認識用マーカとして、患者に取り付けられた造影剤入りの専用のマーカを使用する、ことを特徴とする。
【００１８】
請求項７に係る発明は、請求項６に係る医療支援装置において、前記造影剤入りの専用のマーカが患者に対して着脱自在であり、前記立体的ＣＴ画像の前記造影剤入りマーカと、前記カメラが撮影中の前記造影剤入りマーカとの位置を合わせるための造影剤入りの校正用マーカを、患者の少なくとも３箇所に設けた、ことを特徴とする。
【００１９】
請求項８に係る発明は、請求項３ないし７のいずれか１項に係る医療支援装置において、前記ＡＲソフトウェアとして、前記カメラが撮影中の映像から３次元の空間構造を認識して記憶することが可能なものを使用する、ことを特徴とする。
【００２０】
請求項９に係る発明は、請求項１ないし８のいずれか１項に係る医療支援装置において、前記ディスプレイが、前記カメラと一体のヘッドマウント型のディスプレイである、ことを特徴とする。
【００２１】
請求項１０に係る発明は、請求項９に係る医療支援装置において、前記ヘッドマウント型のディスプレイに光学透過型のディスプレイを使用し、患者の術野の透過像に患者の前記３次元的位置情報を重畳表示する、ことを特徴とする。
【発明の効果】
【００２２】
請求項１の発明によれば、外科処置対象部位についての３次元的位置情報を、カメラが撮影中の映像に、ディスプレイ上で重畳表示することができるので、術者は、外科処置対象部位の治療や手術を、ディスプレイ上の映像に集中した状態で行うことができる。また、モーションキャプチャとは異なり、手術等に使用するメス、ピンセット等の医療器具を、その位置にかかわらず常にディスプレイ上の映像で視認することができる。さらに、モーションキャプチャとは異なり、実際の医療器具の動きとディスプレイ上の映像に表示される医療器具の動きとの間にタイムラグが発生することがほとんどない。
【００２３】
請求項２の発明によれば、患者の腫瘍や膿胞等の外科処置対象部位の位置や形を示す３次元的位置情報が、着色された立体的イメージ画像で表示されるので、術者は外科処置対象部位を他の部位と容易に判別することができる。
【００２４】
請求項３の発明によれば、ＡＲソフトウェアという既存のソフトウェアを利用し、ＡＲ認識用マーカ及び立体的イメージ画像を含む立体的ＣＴ画像全体を３Ｄオブジェクトとして取り込んで使用するため、これらの間の３次元的位置関係が保たれる。
【００２５】
請求項４の発明によれば、ＡＲ認識用の専用のマーカを設ける必要がないので、専用のマーカを患者に取り付けることが不可能であったり、取り付けが可能であっても位置精度を確保することができなかったりする場合に有効である。
【００２６】
請求項５の発明によれば、予め登録した画像が患者の前記立体的ＣＴ画像の一部分であるので、外科処置対象部位を高い位置精度で表示することができる。
【００２７】
請求項６の発明によれば、ＡＲ認識用マーカとして、造影剤入りの専用のマーカを使用するので、マーカレス型のものと比較してＡＲ認識用マーカとしての被認識性が向上する。
【００２８】
請求項７の発明によれば、造影剤入りの専用のマーカを、ＣＴ画像の撮影後に取り外して、治療や手術の際に再び取り付けた場合でも、校正用マーカを使用して、専用のマーカの位置合わせをすることができる。
【００２９】
請求項８の発明によれば、ＡＲ認識用マーカがカメラの撮影画像フレームから外れても、患者の腫瘍や膿胞等の外科処置対象部位の位置や形を示す３次元的位置情報を表示し続けることができる。
【００３０】
請求項９の発明によれば、ディスプレイが、カメラと一体に構成されたヘッドマウント型であるので、術者は視点を不要に移動させることなく治療や手術に専念することが可能となる。
【００３１】
請求項１０の発明によれば、術者はカメラを通した映像ではなく、直接透過像で術野を見ることができるので、自然で奥行き感のある違和感のない術野を見ながら治療や手術に専念することが可能となる。
【図面の簡単な説明】
【００３２】
【図１】実施形態１の医療支援装置１の概略構成を説明する図である。
【図２】患者の頭部Ａの立体的ＣＴ画像Ｇ１を説明する図である。
【図３】患者の頭部Ａの、着色された腫瘍Ｆの立体的イメージ画像である腫瘍Ｆ２を含む立体的ＣＴ画像Ｇ２を説明する図である。
【図４】（Ａ）は手術中の、脳Ｂや腫瘍Ｆが露出された患者の頭部Ａを説明する図であり、（Ｂ）は手術中に表示される、ディスプレイ３０上の映像Ｇ３を説明する図である。
【図５】実施形態２の医療支援装置２の概略構成を説明する図である。
【図６】患者の頭部Ａの立体的ＣＴ画像Ｇ１を説明する図である。
【図７】患者の頭部Ａの、着色された腫瘍Ｆの立体的イメージ画像である腫瘍Ｆ２を含む立体的ＣＴ画像Ｇ２を説明する図である。
【図８】（Ａ）は手術中の、脳Ｂや腫瘍Ｆが露出された患者の頭部Ａを説明する図であり、（Ｂ）は手術中に表示される、ディスプレイ３０上の映像Ｇ３を説明する図である。
【図９】実施形態３の医療支援装置３の概略構成を説明する図である。
【図１０】患者の頭部Ａの立体的ＣＴ画像Ｇ１を説明する図である。
【図１１】患者の頭部Ａの、着色された腫瘍Ｆの立体的イメージ画像である腫瘍Ｆ２を含む立体的ＣＴ画像Ｇ２を説明する図である。
【図１２】（Ａ）は手術中の、脳Ｂや腫瘍Ｆが露出された患者の頭部Ａを説明する図であり、（Ｂ）は手術中に表示される、ディスプレイ３０上の映像Ｇ３を説明する図である。
【発明を実施するための形態】
【００３３】
本発明に係る医療支援装置は、脳外科，整形外科，耳鼻科等に好適に用いられる。これら脳外科，整形外科，耳鼻科等は、その治療や手術の対象となる腫瘍や膿胞等ができる臓器や器官の位置や形状が比較的一定していて、位置ずれや変形が発生しにくいからである。臓器や器官の位置ずれや変形が発生すると、後述する、治療や手術等において、カメラが撮影中の映像内の外科処置対象部位に、ＡＲ画像処理装置による外科処置対象部位の立体的イメージ画像をディスプレイ上で重畳表示した際に、両者が一致しないで、ずれてしまうからである。
【００３４】
以下、本発明を適用した実施形態を、図面に基づいて詳述する。なお、各図面において、同じ符号を付した部材等は、同一又は類似の構成のものであり、これらについての重複説明は適宜省略するものとする。また、各図面においては、説明に不要な部材等は適宜、図示を省略している。
＜実施形態１＞
【００３５】
図１〜図4を参照して本発明を適用した実施形態１に係る医療支援装置１について説明する。
【００３６】
図１は、医療支援装置１の概略構成を説明する図である。
【００３７】
なお、以下では、医療支援装置１を、患者の頭部Ａの脳Ｂ（図４（Ａ）参照）にできた外科処置対象部位としての腫瘍Ｆを切除するための手術に使用する場合を例に説明する。
【００３８】
図１に示すように、医療支援装置１は、ＡＲ認識用マーカＭＫと、カメラ２０と、ディスプレイ３０と、ＡＲ画像処理装置４０とを備えて構成されている。
【００３９】
ここで、本実施形態の医療支援装置１は、ＡＲ認識用マーカＭＫとして患者の耳Ｅを使用している。後述する立体的ＣＴ画像Ｃ１中の一部分である耳Ｅを登録してＡＲ認識用マーカＭＫとして使用している。すなわち、本実施形態のＡＲ画像処理装置４０は、ＡＲ認識用マーカＭＫとして、専用のマーカを使用しないで、患者の耳Ｅを使用する、いわゆるマーカレス型と呼ばれるものである。なお、ＡＲ認識用マーカＭＫとして、認識精度を確保できるのであれば、上述の耳Ｅに代えて、患者の他の部位を使用することも可能である。
【００４０】
なお、図１中に二点鎖線で示す切断線Ｓは、手術に際して、頭部Ａの頭皮Ｃや頭蓋骨Ｄを切断する際のガイドとなる線であり、頭蓋骨Ｄのうち、この切断線Ｓによって切りとられる部分を一部Ｄａとし、残りの部分を残余部Ｄｂとする。
【００４１】
医療支援装置１は、ＣＴスキャナで、患者の頭部Ａを断層撮影して取得したデータを使用する。
【００４２】
ＣＴスキャナは、Ｘ線等の放射線を利用して患者の頭部Ａを走査し、コンピュータを用いて処理することにより、頭部ＡのＣＴ画像データ（ＤＩＣＯＭデータ）を取得し、出力する。さらに、出力されたＣＴ画像データを、別のコンピュータ（コンピュータハードウェア）１０にインストールされた医療用画像処理ソフトウェア１１に読み込んで、ボリュームレンダリングを行って、図２に示す患者の頭部Ａの立体的ＣＴ画像Ｇ１を作製する。
【００４３】
なお、図１中の実物の頭部Ａ、脳Ｂ、腫瘍Ｆ、ＡＲ認識用マーカＭＫは、図２中では、立体的ＣＴ画像Ｇ１の一部として表示された頭部Ａ１、脳Ｂ１、腫瘍Ｆ１、ＡＲ認識用マーカＭＫ１に対応する。また、図３中では、立体的ＣＴ画像Ｇ２の一部として表示された頭部Ａ２、脳Ｂ２、腫瘍Ｆ２、ＡＲ認識用マーカＭＫ２に対応する。さらに、図４（Ｂ）中では、ディスプレイ３０上の映像Ｇ３の一部として表示された頭部Ａ３、脳Ｂ３、腫瘍Ｆ３、ＡＲ認識用マーカＭＫ３に対応する。
【００４４】
カメラ２０は、患者の術野近傍を撮影するものである。すなわち、頭部Ａ、ＡＲ認識用マーカＭＫ等を撮影し、そのデータをＡＲ画像処理装置４０に転送するものである。
【００４５】
ディスプレイ３０は、カメラ２０で撮影された映像Ｇ３（図４（Ｂ）参照）を表示するとともに、この映像にＡＲ画像処理装置４０で処理した腫瘍Ｆの立体的イメージ画像である腫瘍Ｆ２を重畳表示するものである。
【００４６】
ＡＲ画像処理装置４０には、ＡＲソフトウェア４１がインストールされている。ＡＲ画像処理装置４０は、このＡＲソフトウェアにより、上述の医療用画像処理ソフトウェア１１で作製された立体的ＣＴ画像Ｇ１内の腫瘍Ｆ１の位置や形を特定し、着色して他の臓器等との差別化を図り、さらに、着色された腫瘍Ｆの３次元的位置情報としての立体的イメージ画像である腫瘍Ｆ２を含む立体的ＣＴ画像Ｇ２を、３Ｄオブジェクトとして取り込む。
【００４７】
ＡＲ画像処理装置４０は、さらに、取り込んだ腫瘍Ｆの立体的イメージ画像である腫瘍Ｆ２を、カメラ２０が撮影中の映像Ｇ３内のＡＲ認識用マーカＭＫ３の位置及び姿勢に基づいて座標変換し、このＡＲ認識用マーカＭＫ３との３次元的位置関係を保ちながら、カメラ２０が撮影中のディスプレイ３０上の映像Ｇ３にリアルタイムで重畳表示する。
【００４８】
次に、上述の構成の医療支援装置１の操作手順（使用方法）について説明する。
【００４９】
（１）ＣＴスキャナによって、頭部ＡのＣＴ撮影を行う。
【００５０】
（２）取得したＣＴ画像データ(ＤＩＣＯＭデータ)を出力する。さらに、出力されたＣＴ画像データを別のコンピュータ１０にインストールされた医療用画像処理ソフトウェア１１に読み込んで、このソフトウェアでボリュームレンダリングされた患者の立体的ＣＴ画像Ｇ１（図２参照）を作製する。
【００５１】
（３）立体的ＣＴ画像Ｇ１内の腫瘍Ｆ１の位置や形を特定し、医療用画像処理ソフトウェア１１により着色する。着色された腫瘍Ｆの３次元的位置情報としての立体的イメージ画像である腫瘍Ｆ２を含む立体的ＣＴ画像Ｇ２を得る。
【００５２】
このときの着色は、図３に示すように、腫瘍Ｆ１の全体に着色するのではなく、手術時に実際に術野に見える部分に対して着色し、例えば、脳Ｂ２の一部によって隠される部分については着色しないようにする。これにより、実際の手術中に、腫瘍Ｆの視認が容易となる。なお、腫瘍Ｆ１の全体を着色するようにしてもよい。
【００５３】
また、着色時に、立体的ＣＴ画像Ｇ２から、腫瘍Ｆ２、ＡＲ認識用マーカＭＫ２以外の臓器等（例えば、脳Ｂ２、頭部Ａ２等）は、透明化する。これにより、図４（Ｂ）に示す、ディスプレイ３０上の映像Ｇ３に、脳Ｂ２等の不要な部分が重畳されて映像Ｇ３が見にくくなることを防止することができる。なお、脳Ｂ２等の透明化に際し、透明化せずに残しておいた方が好都合な部位は、その部分を例えば、半透明にして映像Ｇ３中に表示するようにしてもよい。
【００５４】
（４）立体的ＣＴ画像Ｇ２を３Ｄオブジェクトとして、ＡＲ画像処理装置４０にインストールされているＡＲソフトウェア４１に取り込む（立体的ＣＴ画像Ｇ２をＡＲ認識用マーカＭＫ1の座標系に取り込む。）。
【００５５】
以上により、手術の前準備が完了する。
【００５６】
つづいて、実際に頭部Ａの腫瘍Ｆを切除する際の手順を示す。
【００５７】
（５）図４（Ａ）に示すように、メス等の医療器具を使用して、頭皮Ｃを切断線Ｓに沿って馬蹄形に切断してめくり、さらに、頭蓋骨Ｄの一部Ｄ１を切断線Ｓに沿って切断して取り外し、脳Ｂ及び腫瘍Ｆを露出させる。
【００５８】
（６）カメラ２０で、ＡＲ認識用マーカＭＫを含む術野を撮影し、ＡＲソフトウェア１１により、図４（Ｂ）に示すように、カメラ２０が撮影中のディスプレイ３０上の映像Ｇ３に、映像Ｇ３中のＡＲ認識用マーカＭＫ３を基準として、立体的ＣＴ画像Ｇ２中の腫瘍Ｆの立体的イメージ画像である腫瘍Ｆ２を重畳表示する。
【００５９】
（７）術者は、ディスプレイ３０上の術野の映像Ｇ３に重畳表示された腫瘍Ｆの立体的イメージ画像である腫瘍Ｆ２をガイドとして手術を行う。術者は、映像Ｇ３に集中し、メス，ピンセット等の医療器具を使用して、腫瘍Ｆを切除する。その後、切除部の縫合等の後処理を経て、手術を終了する。
【００６０】
以上説明した、医療支援装置１によると、以下のような作用・効果を奏する。
【００６１】
（Ｉ）ディスプレイ３０に、カメラ２０が撮影中の映像Ｇ３と、立体的ＣＴ画像Ｇ２中の腫瘍Ｆの立体的イメージ画像である腫瘍Ｆ２とを重畳して表示することができるので、術者は、ディスプレイ３０に集中して手術を行うことができる。
【００６２】
（II）手術時に術者が手に持つメス，ピンセット等の医療器具は、モーションキャプチャとは異なり、撮影中の映像Ｇ３に実際のものとほぼ同じように表示され、術者の意に反して突然、映像Ｇ３中から消えたりするおそれがない。
【００６３】
（III） 術野の映像Ｇ３に重畳表示される腫瘍Ｆの立体的イメージ画像である腫瘍Ｆ２は、カメラ２０によってライブ撮影中の映像Ｇ３に対して、ほとんどタイムラグが発生することなく重畳表示されるので、術者は違和感なくディスプレイ３０の映像Ｇ３に集中して手術を行うことができる。
【００６４】
（IV）患者の腫瘍Ｆの位置や形を示す３次元的位置情報が、着色された立体的イメージ画像（腫瘍Ｆ２）で表示されるので、術者は外科処置対象部位の腫瘍Ｆを他の部位と容易に判別することができる。
【００６５】
（Ｖ）ＡＲソフトウェアという既存のソフトウェアを利用し、ＡＲ認識用マーカＭＫ２及び立体的イメージ画像である腫瘍Ｆ２を含む立体的ＣＴ画像Ｇ２全体を３Ｄオブジェクトとして取り込んで使用するため、これらの間の３次元的位置関係が保たれる。
【００６６】
（VI）ＡＲ認識用マーカＭＫとして、患者の耳Ｅを使用していて、専用のマーカを設ける必要がないので、専用のマーカを患者に取り付けることが不可能であったり、取り付けが可能であっても位置精度を確保することができなかったりする場合に有効である。
【００６７】
上述の本実施形態において、ＡＲソフトウェア４１として、カメラ２０が撮影中の映像から３次元の空間構造を認識して記憶することが可能なものを使用するとよい。
【００６８】
この場合には、ＡＲ認識用マーカＭＫがカメラ２０の撮影画像フレームから外れても、患者の腫瘍Ｆの位置や形を示す３次元的位置情報を表示し続けることが可能となる。
【００６９】
上述の本実施形態では、カメラ２０とディスプレイ３０とが別体に構成されている場合について説明したが、これに代えて、ディスプレイ３０として、カメラ２０と一体のヘッドマウント型のディスプレイ（不図示）を使用するようにしてもよい。
【００７０】
この場合には、術者は視点を不要に移動させることなく治療や手術に専念することが可能となる。
【００７１】
さらに、上述のヘッドマウント型のディスプレイにおいて、光学透過型のディスプレイを使用し、患者の術野の透過像に患者の前記３次元的位置情報を重畳表示するようにしてもよい。
【００７２】
この場合には、術者はカメラを通した映像ではなく、直接透過像で術野を見ることができるので、自然で奥行き感のある違和感のない術野を見ながら治療や手術に専念することが可能となる。
【００７３】
ただし、この場合には、カメラ２０が撮影している術野の映像Ｇ３と術者が見ている透過像とを完全に一致させるキャリブレーション機構が必要となる。
【００７４】
上述の本実施形態において、立体的ＣＴ画像Ｇ２に、ＣＴ画像データを基に作製した、血管や神経の走行状態を表示するようにしてもよい。
【００７５】
この場合には、例えば、メス等の医療器具によって腫瘍Ｆを切除する際に、血管や神経の位置を的確に把握することができるので、これら血管や神経を不用意に傷つけてしまうことを確実に防止することができる。
【００７６】
上述の本実施形態では、ディスプレイ３０上に表示されるカメラ２０で撮影中の映像に重畳する画像として、ＡＲソフトウェアで処理した着色された腫瘍Ｆ（外科処置対象部位）を説明した。さらに、これに加え、外科処置対象部位として、例えば、他の色に着色された切断線Ｓを重畳するようにしてもよい。
【００７７】
この場合には、場合には、従来とは異なり、頭皮Ｃや頭蓋骨Ｄに直接、切断線Ｓを描く必要がなくなる。
＜実施形態２＞
【００７８】
図５〜図８を参照して本発明を適用した実施形態１に係る医療支援装置２について説明する。
【００７９】
図５は、医療支援装置２の概略構成を説明する図である。
【００８０】
なお、以下では、医療支援装置２を、患者の頭部Ａの脳Ｂ（図８（Ａ）参照）にできた外科処置対象部位としての腫瘍Ｆを切除するための手術に使用する場合を例に説明する。
【００８１】
図５に示すように、医療支援装置２は、ＡＲ認識用マーカＭＫと、カメラ２０と、ディスプレイ３０と、ＡＲ画像処理装置４０とを備えて構成されている。
【００８２】
なお、図５中に二点鎖線で示す切断線Ｓは、手術に際して、頭部Ａの頭皮Ｃや頭蓋骨Ｄを切断する際のガイドとなる線であり、頭蓋骨Ｄのうち、この切断線Ｓによって切りとられる部分を一部Ｄａとし、残りの部分を残余部Ｄｂとする。
【００８３】
ＡＲ認識用マーカＭＫは、専用のマーカであり、例えば、２ｃｍ×２ｃｍ×０．５ｃｍ程度の正方形の、造影剤入りの板状に形成されている。ＡＲ認識用マーカＭＫの表面には、カメラ２０による認識の対象となるための特定のパターンを持った図形、すなわち、正方形の４辺を縁取る額縁状の図形が形成されている。このように、ＡＲ認識用マーカＭＫは、造影剤がＣＴスキャナによって認識され、また、額縁状の特定のパターンがカメラ２０によって認識されるようになっている。ＡＲ認識用マーカＭＫは、本実施形態では、患者の頭部Ａの後側における切断線Ｓの外側近傍に取り付けられている。
【００８４】
医療支援装置２は、ＣＴスキャナで、ＡＲ認識用マーカＭＫを含む患者の頭部Ａを断層撮影して取得したデータを使用する。
【００８５】
ＣＴスキャナは、Ｘ線等の放射線を利用して患者の頭部Ａを走査し、コンピュータを用いて処理することにより、頭部ＡのＣＴ画像データ（ＤＩＣＯＭデータ）を取得し、出力する。さらに、出力されたＣＴ画像データを、別のコンピュータにインストール１０された医療用画像処理ソフトウェア１１に読み込んで、ボリュームレンダリングを行って、図６に示す患者の頭部Ａの立体的ＣＴ画像Ｇ１を作製する。
【００８６】
なお、図５中の実物の頭部Ａ、脳Ｂ、腫瘍Ｆ、ＡＲ認識用マーカＭＫは、図６中では、立体的ＣＴ画像Ｇ１の一部として表示された頭部Ａ１、脳Ｂ１、腫瘍Ｆ１、ＡＲ認識用マーカＭＫ１に対応する。また、図７中では、立体的ＣＴ画像Ｇ２の一部として表示された頭部Ａ２、脳Ｂ２、腫瘍Ｆ２、ＡＲ認識用マーカＭＫ２に対応する。さらに、図８（Ｂ）中では、ディスプレイ３０上の映像Ｇ３の一部として表示された頭部Ａ３、脳Ｂ３、腫瘍Ｆ３、ＡＲ認識用マーカＭＫ３に対応する。
【００８７】
カメラ２０は、患者の術野近傍を撮影するものである。すなわち、頭部Ａ、ＡＲ認識用マーカＭＫ等を撮影し、そのデータをＡＲ画像処理装置４０に転送するものである。
【００８８】
ディスプレイ３０は、カメラ２０で撮影された映像Ｇ３（図８（Ｂ）参照）を表示するとともに、この映像にＡＲ画像処理装置４０で処理した腫瘍Ｆの立体的イメージ画像である腫瘍Ｆ２を重畳表示するものである。
【００８９】
ＡＲ画像処理装置４０には、ＡＲソフトウェア４１がインストールされている。ＡＲ画像処理装置４０は、このＡＲソフトウェアにより、上述の医療用画像処理ソフトウェア１１で作製された立体的ＣＴ画像Ｇ１内の腫瘍Ｆ１の位置や形を特定し、着色して他の臓器等との差別化を図り、さらに、着色された腫瘍Ｆの３次元的位置情報としての立体的イメージ画像である腫瘍Ｆ２を含む立体的ＣＴ画像Ｇ２を、３Ｄオブジェクトとして取り込む。
【００９０】
ＡＲ画像処理装置４０は、さらに、取り込んだ腫瘍Ｆの立体的イメージ画像である腫瘍Ｆ２を、カメラ２０が撮影中の映像Ｇ３内のＡＲ認識用マーカＭＫ３の位置及び姿勢に基づいて座標変換し、このＡＲ認識用マーカＭＫ３との３次元的位置関係を保ちながら、カメラ２０が撮影中のディスプレイ３０上の映像Ｇ３にリアルタイムで重畳表示する。
【００９１】
次に、上述の構成の医療支援装置２の操作手順（使用方法）について説明する。
【００９２】
（１）ＣＴスキャナによって、頭部ＡのＣＴ撮影を行う。
【００９３】
（２）取得したＣＴ画像データ(ＤＩＣＯＭデータ)を出力する。さらに、出力されたＣＴ画像データを別のコンピュータ１０にインストールされた医療用画像処理ソフトウェア１１に読み込んで、このソフトウェアでボリュームレンダリングされた患者の立体的ＣＴ画像Ｇ１（図６参照）を作製する。
【００９４】
（３）立体的ＣＴ画像Ｇ１内の腫瘍Ｆ１の位置や形を特定し、医療用画像処理ソフトウェア１１により着色する。着色された腫瘍Ｆの３次元的位置情報としての立体的イメージ画像である腫瘍Ｆ２を含む立体的ＣＴ画像Ｇ２を得る。
【００９５】
このときの着色は、図７に示すように、腫瘍Ｆ１の全体に着色するのではなく、手術時に実際に術野に見える部分に対して着色し、例えば、脳Ｂ２の一部によって隠される部分については着色しないようにする。これにより、実際の手術中に、腫瘍Ｆの視認が容易となる。なお、腫瘍Ｆ１の全体を着色するようにしてもよい。
【００９６】
また、着色時に、立体的ＣＴ画像Ｇ２から、腫瘍Ｆ２、ＡＲ認識用マーカＭＫ２以外の臓器等（例えば、脳Ｂ２、頭部Ａ２等）は、透明化する。これにより、図８（Ｂ）に示す、ディスプレイ３０上の映像Ｇ３に、脳Ｂ２等の不要な部分が重畳されて映像Ｇ３が見にくくなることを防止することができる。なお、脳Ｂ２等の透明化に際し、透明化せずに残しておいた方が好都合な部位は、その部分を例えば、半透明にして映像Ｇ３中に表示するようにしてもよい。
【００９７】
（４）立体的ＣＴ画像Ｇ２を３Ｄオブジェクトとして、ＡＲ画像処理装置４０にインストールされているＡＲソフトウェア４１に取り込む（立体的ＣＴ画像Ｇ２をＡＲ認識用マーカＭＫ1の座標系に取り込む。）。
【００９８】
以上により、手術の前準備が完了する。
【００９９】
つづいて、実際に頭部Ａの腫瘍Ｆを切除する際の手順を示す。
【０１００】
（５）図８（Ａ）に示すように、メス等の医療器具を使用して、頭皮Ｃを切断線Ｓに沿って馬蹄形に切断してめくり、さらに、頭蓋骨Ｄの一部Ｄ１を切断線Ｓに沿って切断して取り外し、脳Ｂ及び腫瘍Ｆを露出させる。
【０１０１】
（６）カメラ２０で、ＡＲ認識用マーカＭＫを含む術野を撮影し、ＡＲソフトウェア１１により、図８（Ｂ）に示すように、カメラ２０が撮影中のディスプレイ３０上の映像Ｇ３に、映像Ｇ３中のＡＲ認識用マーカＭＫ３を基準として、立体的ＣＴ画像Ｇ２中の腫瘍Ｆの立体的イメージ画像である腫瘍Ｆ２を重畳表示する。
【０１０２】
（７）術者は、ディスプレイ３０上の術野の映像Ｇ３に重畳表示された腫瘍Ｆの立体的イメージ画像である腫瘍Ｆ２をガイドとして手術を行う。術者は、映像Ｇ３に集中し、メス，ピンセット等の医療器具を使用して、腫瘍Ｆを切除する。その後、切除部の縫合等の後処理を経て、手術を終了する。
【０１０３】
以上説明した、医療支援装置によると、以下のような作用・効果を奏する。
【０１０４】
（Ｉ）ディスプレイ３０に、カメラ２０が撮影中の映像Ｇ３と、立体的ＣＴ画像Ｇ２中の腫瘍Ｆの立体的イメージ画像である腫瘍Ｆ２とを重畳して表示することができるので、術者は、ディスプレイ３０に集中して手術を行うことができる。
【０１０５】
（II）手術時に術者が手に持つメス，ピンセット等の医療器具は、モーションキャプチャとは異なり、撮影中の映像Ｇ３に実際のものとほぼ同じように表示され、術者の意に反して突然、映像Ｇ３中から消えたりするおそれがない。
【０１０６】
（III） 術野の映像Ｇ３に重畳表示される腫瘍Ｆの立体的イメージ画像である腫瘍Ｆ２は、カメラ２０によってライブ撮影中の映像Ｇ３に対して、ほとんどタイムラグが発生することなく重畳表示されるので、術者は違和感なくディスプレイ３０の映像Ｇ３に集中して手術を行うことができる。
【０１０７】
（IV）患者の腫瘍Ｆの位置や形を示す３次元的位置情報が、着色された立体的イメージ画像（腫瘍Ｆ２）で表示されるので、術者は外科処置対象部位としての腫瘍Ｆを他の部位と容易に判別することができる。
【０１０８】
（Ｖ）ＡＲソフトウェアという既存のソフトウェアを利用し、ＡＲ認識用マーカＭＫ２及び立体的イメージ画像である腫瘍Ｆ２を含む立体的ＣＴ画像Ｇ２全体を３Ｄオブジェクトとして取り込んで使用するため、これらの間の３次元的位置関係が保たれる。
【０１０９】
（VI）ＡＲ認識用マーカＭＫとして、造影剤入りの専用のマーカを使用するので、マーカレス型のものと比較してＡＲ認識用マーカとしての被認識性が向上する。
【０１１０】
（VII） ＡＲ認識用マーカＭＫとして、造影剤入りの専用のマーカを使用するので、マーカレス型のものと比較して、計算量が少なくて済むため、ＡＲ画像処理装置４０の構成をハード的にもまたソフト的にも簡略化することができる。
【０１１１】
上述の本実施形態において、ＡＲソフトウェア４１として、カメラ２０が撮影中の映像から３次元の空間構造を認識して記憶することが可能なものを使用するとよい。
【０１１２】
この場合には、ＡＲ認識用マーカＭＫがカメラ２０の撮影画像フレームから外れても、患者の腫瘍Ｆの位置や形を示す３次元的位置情報を表示し続けることが可能となる。
【０１１３】
上述の本実施形態では、カメラ２０とディスプレイ３０とが別体に構成されている場合について説明したが、これに代えて、ディスプレイ３０として、カメラ２０と一体のヘッドマウント型のディスプレイ（不図示）を使用するようにしてもよい。
【０１１４】
この場合には、術者は視点を不要に移動させることなく治療や手術に専念することが可能となる。
【０１１５】
さらに、上述のヘッドマウント型のディスプレイにおいて、光学透過型のディスプレイを使用し、患者の術野の透過像に患者の前記３次元的位置情報を重畳表示するようにしてもよい。
【０１１６】
この場合には、術者はカメラを通した映像ではなく、直接透過像で術野を見ることができるので、自然で奥行き感のある違和感のない術野を見ながら治療や手術に専念することが可能となる。
【０１１７】
ただし、この場合には、カメラ２０が撮影している術野の映像Ｇ３と術者が見ている透過像とを完全に一致させるキャリブレーション機構が必要となる。
【０１１８】
上述の本実施形態において、立体的ＣＴ画像Ｇ２に、ＣＴ画像データを基に作製した、血管や神経の走行状態を表示するようにしてもよい。
【０１１９】
この場合には、例えば、メス等の医療器具によって腫瘍Ｆを切除する際に、血管や神経の位置を的確に把握することができるので、これら血管や神経を不用意に傷つけてしまうことを確実に防止することができる。
【０１２０】
上述の本実施形態では、ディスプレイ３０上に表示されるカメラ２０で撮影中の映像に重畳する画像として、ＡＲソフトウェアで処理した着色された腫瘍Ｆ（外科処置対象部位）を説明した。さらに、これに加え、外科処置対象部位として、例えば、他の色に着色された切断線Ｓを重畳するようにしてもよい。
【０１２１】
この場合には、場合には、従来とは異なり、頭皮Ｃや頭蓋骨Ｄに直接、切断線Ｓを描く必要がなくなる。
＜実施形態３＞
【０１２２】
図９〜図１２を参照して本発明を適用した実施形態１に係る医療支援装置３について説明する。
【０１２３】
図９は、医療支援装置３の概略構成を説明する図である。
【０１２４】
なお、以下では、医療支援装置３を、患者の頭部Ａの脳Ｂ（図１２（Ａ）参照）にできた外科処置対象部位としての腫瘍Ｆを切除するための手術に使用する場合を例に説明する。
【０１２５】
図９に示すように、医療支援装置３は、ＡＲ認識用マーカＭＫと、カメラ２０と、ディスプレイ３０と、ＡＲ画像処理装置４０とを備えて構成されている。
【０１２６】
なお、図９中に二点鎖線で示す切断線Ｓは、手術に際して、頭部Ａの頭皮Ｃや頭蓋骨Ｄを切断する際のガイドとなる線であり、頭蓋骨Ｄのうち、この切断線Ｓによって切りとられる部分を一部Ｄａとし、残りの部分を残余部Ｄｂとする。
【０１２７】
ＡＲ認識用マーカＭＫは、専用のマーカであり、例えば、２ｃｍ×２ｃｍ×０．５ｃｍ程度の正方形の、造影剤入りの板状に形成されている。ＡＲ認識用マーカＭＫの表面には、カメラ２０による認識の対象となるための特定のパターンを持った図形、すなわち、正方形の４辺を縁取る額縁状の図形が形成されている。このように、ＡＲ認識用マーカＭＫは、造影剤がＣＴスキャナによって認識され、また、額縁状の特定のパターンがカメラ２０によって認識されるようになっている。ＡＲ認識用マーカＭＫは、本実施形態では、患者の頭部Ａの後側における切断線Ｓの外側でかつ切断線Ｓの近傍、つまり残余部Ｄ２の周縁部に着脱可能に取り付けられている。この取り付け部分は、予め頭髪を剃り落としておく。ＡＲ認識用マーカＭＫは、例えば、ＣＴスキャナによる撮影の前に、両面テープ（不図示）によって頭皮Ｃに直接貼着する。
【０１２８】
なお、後述するように、ＡＲ認識用マーカＭＫは、ＣＴスキャナによる頭部Ａの撮影に先だって頭部Ａに取り付けられ、撮影後は一旦取り外され、手術時に、再度、同じ位置に位置合わせして取り付けられる。
【０１２９】
次に説明する複数の校正用マーカＫは、ＡＲ認識用マーカＭＫを上述の位置合わせする際に使用されるものである。
【０１３０】
校正用マーカＫは、ＣＴスキャナによる読み取りが可能な、例えば、点状（スポット状）のＸ線造影剤によって構成されていて、図示例では、頭皮Ｃの表面の、切断線Ｓよりも外側で、かつ切断線Ｓに近接する位置に、５箇所（少なくとも３箇所）設けられている。
【０１３１】
５つの校正用マーカＫは、これらをほぼ切断線Ｓに沿うように、次々と直線で結んだ領域（５角形の領域〉Ｒを仮定すると、術野におけるこの領域Ｒ内に、腫瘍Ｆが位置するように配置されている。
【０１３２】
なお、上述では、校正用マーカＫが５つある場合を例示したが、校正用マーカＫは、少なくとも３つあれば足る。ただし、この場合は、３つの校正用マーカＫは、これらを結んでできる３角形の領域内に腫瘍Ｆが位置するように配置されているものとする。
【０１３３】
医療支援装置３は、ＣＴスキャナで、ＡＲ認識用マーカＭＫを含む患者の頭部Ａを断層撮影して取得したデータを使用する。
【０１３４】
ＣＴスキャナは、Ｘ線等の放射線を利用して患者の頭部Ａを走査し、コンピュータを用いて処理することにより、頭部ＡのＣＴ画像データ（ＤＩＣＯＭデータ）を取得し、出力する。さらに、出力されたＣＴ画像データを、別のコンピュータ１０にインストールされた医療用画像処理ソフトウェア１１に読み込んで、ボリュームレンダリングを行って、図６に示す患者の頭部Ａの立体的ＣＴ画像Ｇ１を作製する。
【０１３５】
なお、図９中の実物の頭部Ａ、脳Ｂ、腫瘍Ｆ、ＡＲ認識用マーカＭＫ、校正用マーカＫは、図１０中では、立体的ＣＴ画像Ｇ１の一部として表示された頭部Ａ１、脳Ｂ１、腫瘍Ｆ１、ＡＲ認識用マーカＭＫ１、校正用マーカＫ１に対応する。また、図１１中では、立体的ＣＴ画像Ｇ２の一部として表示された頭部Ａ２、脳Ｂ２、腫瘍Ｆ２、ＡＲ認識用マーカＭＫ２、校正用マーカＫ２に対応する。さらに、図１２（Ｂ）中では、ディスプレイ３０上の映像Ｇ３の一部として表示された頭部Ａ３、脳Ｂ３、腫瘍Ｆ３、ＡＲ認識用マーカＭＫ３、校正用マーカＫ３に対応する。
【０１３６】
カメラ２０は、患者の術野近傍を撮影するものである。すなわち、頭部Ａ、ＡＲ認識用マーカＭＫ、複数の校正用マーカＫ等を撮影し、そのデータをＡＲ画像処理装置４０に転送するものである。
【０１３７】
ディスプレイ３０は、カメラ２０で撮影された映像Ｇ３（図１２（Ｂ）参照）を表示するとともに、この映像にＡＲ画像処理装置４０で処理した腫瘍Ｆの立体的イメージ画像である腫瘍Ｆ２を重畳表示するものである。
【０１３８】
ＡＲ画像処理装置４０には、ＡＲソフトウェア４１がインストールされている。ＡＲ画像処理装置４０は、このＡＲソフトウェアにより、上述の医療用画像処理ソフトウェア１１で作製された立体的ＣＴ画像Ｇ１内の腫瘍Ｆ１の位置や形を特定し、着色して他の臓器等との差別化を図り、さらに、着色された腫瘍Ｆの３次元的位置情報としての立体的イメージ画像である腫瘍Ｆ２を含む立体的ＣＴ画像Ｇ２を、３Ｄオブジェクトとして取り込む。
【０１３９】
ＡＲ画像処理装置４０は、さらに、取り込んだ腫瘍Ｆの立体的イメージ画像である腫瘍Ｆ２を、カメラ２０が撮影中の映像Ｇ３内のＡＲ認識用マーカＭＫ３の位置及び姿勢に基づいて座標変換し、このＡＲ認識用マーカＭＫ３との３次元的位置関係を保ちながら、カメラ２０が撮影中のディスプレイ３０上の映像Ｇ３にリアルタイムで重畳表示する。
【０１４０】
次に、上述の構成の医療支援装置３の操作手順（使用方法）について説明する。
【０１４１】
なお、以下では、ＣＴスキャナによる撮影と、手術とが異なる日に行われる場合を例に説明する。これに伴い、ＣＴスキャナによる撮影時に頭部Ａに取り付けたＡＲ認識用マーカＭＫを、撮影後に一旦取り外し、手術時に再度取り付けることになる。このため、手術時には、ＡＲ認識用マーカＭＫの位置合わせが必要となり、上述の複数の校正用マーカＫはこのために使用されることになる。
【０１４２】
（１）図９に示すように、患者の頭部Ａの頭皮Ｃに複数の校正用マーカＫを設ける。
校正用マーカＫは、切断線Ｓの近傍でかつ切断線Ｓの外側に、ほぼ切断線Ｓに沿って５箇所に設ける。このとき、５つの校正用マーカＫは、術野においてこれらを順次に結んで形成される領域Ｒ内に、腫瘍Ｆが位置するように配置する。
【０１４３】
（２）頭皮ＣにＡＲ認識用マーカＭＫを切断線Ｓの外側でかつ切断線Ｓの近傍に両面テープで貼着する。
【０１４４】
（３）ＣＴスキャナによって、頭部ＡのＣＴ撮影を行う。撮影後、ＡＲ認識用マーカＭＫを取り外す。
【０１４５】
（４）取得したＣＴ画像データ(ＤＩＣＯＭデータ)を出力する。さらに、出力されたＣＴ画像データを別のコンピュータ１０にインストールされた医療用画像処理ソフトウェア１１に読み込んで、このソフトウェアでボリュームレンダリングされた患者の立体的ＣＴ画像Ｇ１（図１０参照）を作製する。
【０１４６】
（５）立体的ＣＴ画像Ｇ１内の腫瘍Ｆ１の位置や形を特定し、医療用画像処理ソフトウェア１１により着色する。着色された腫瘍Ｆの３次元的位置情報としての立体的イメージ画像である腫瘍Ｆ２を含む立体的ＣＴ画像Ｇ２を得る。
【０１４７】
なお、このときの着色は、図１１に示すように、腫瘍Ｆ１の全体に着色するのではなく、手術時に実際に術野に見える部分に対して着色し、例えば、脳Ｂ２の一部によって隠される部分については着色しないようにする。これにより、実際の手術中に、腫瘍Ｆの視認が容易となる。なお、腫瘍Ｆ１の全体を着色するようにしてもよい。
【０１４８】
また、着色時に、立体的ＣＴ画像Ｇ２から、腫瘍Ｆ２、ＡＲ認識用マーカＭＫ２、校正用マーカＫ２以外の臓器等（例えば、脳Ｂ２、頭部Ａ２等は、透明化する。これにより、図１２（Ｂ）に示す、後のディスプレイ３０上の映像Ｇ３に、脳Ｂ２等の不要な部分が重畳されて映像Ｇ３が見にくくなることを防止することができる。なお、脳Ｂ２等の透明化に際し、透明化せずに残しておいた方が好都合な部位は、その部分を半透明にして映像Ｇ３中に表示するようにしてもよい。
【０１４９】
（６）立体的ＣＴ画像Ｇ２を３Ｄオブジェクトとして、ＡＲ画像処理装置４０にインストールされているＡＲソフトウェア４１に取り込む（立体的ＣＴ画像Ｇ２をＡＲ認識用マーカＭＫ1の座標系に取り込む。）。
【０１５０】
以上は、手術日以前に行われる。手術日の当日は、以下のような手順となる。
【０１５１】
（７）患者の頭部ＡにＡＲ認識用マーカＭＫを再び取り付けて、カメラ１２で術野付近を撮影する。ＡＲソフトウェアにより、カメラ２０が撮影中の術野付近の映像Ｇ３に患者の立体的ＣＴ画像Ｇ２を、ディスプレイ３０上の映像Ｇ３中に重畳表示する。
【０１５２】
（８）ＡＲ認識用マーカＭＫの位置合わせを行う。
【０１５３】
カメラ２０が撮影中の術野付近の映像Ｇ３の校正用マーカＫ３と、立体的ＣＴ画像Ｇ２内の校正用マーカＫ２が３次元的に完全に一致するように、カメラ２０の位置や角度を調整する。この状態でカメラ２０を固定し、頭部Ａに取り付けられたＡＲ認識用マーカＭＫの位置や姿勢を微調整して、立体的ＣＴ画像Ｇ２内のＡＲ認識用マーカＭＫ２に映像Ｇ３中のＡＲ認識用マーカＭＫ３を完全に一致させてその位置に固定する。
【０１５４】
以上により、手術の前準備が完了する。
【０１５５】
つづいて、実際に頭部Ａの腫瘍Ｆを切除する際の手順を示す。
【０１５６】
（９）図１２（Ａ）に示すように、メス等の医療器具を使用して、頭皮Ｃを切断線Ｓに沿って馬蹄形に切断してめくり、さらに、頭蓋骨Ｄの一部Ｄ１を切断線Ｓに沿って切断して取り外し、脳Ｂ及び腫瘍Ｆを露出させる。
【０１５７】
（１０）カメラ２０で、ＡＲ認識用マーカＭＫを含む術野を撮影し、ＡＲソフトウェア
【０１５８】
１１により、図１２（Ｂ）に示すように、カメラ２０が撮影中のディスプレイ３０上の映像Ｇ３に、映像Ｇ３中のＡＲ認識用マーカＭＫ３を基準として、立体的ＣＴ画像Ｇ２中の腫瘍Ｆの立体的イメージ画像である腫瘍Ｆ２を重畳表示する。
【０１５９】
（１１）術者は、ディスプレイ３０上の術野の映像Ｇ３に重畳表示された腫瘍Ｆの立体的イメージ画像である腫瘍Ｆ２をガイドとして手術を行う。術者は、映像Ｇ３に集中し、メス，ピンセット等の医療器具を使用して、腫瘍Ｆを切除する。その後、切除部の縫合等の後処理を経て、手術を終了する。
【０１６０】
以上説明した、医療支援装置によると、以下のような作用・効果を奏する。
【０１６１】
（Ｉ）ディスプレイ３０に、カメラ２０が撮影中の映像Ｇ３と、立体的ＣＴ画像Ｇ２中の腫瘍Ｆの立体的イメージ画像である腫瘍Ｆ２とを重畳して表示することができるので、術者は、ディスプレイ３０に集中して手術を行うことができる。
【０１６２】
（II）手術時に術者が手に持つメス，ピンセット等の医療器具は、モーションキャプチャとは異なり、撮影中の映像Ｇ３に実際のものとほぼ同じように表示され、術者の意に反して突然、映像Ｇ３中から消えたりするおそれがない。
【０１６３】
（III） 術野の映像Ｇ３に重畳表示される腫瘍Ｆの立体的イメージ画像である腫瘍Ｆ２は、カメラ２０によってライブ撮影中の映像Ｇ３に対して、ほとんどタイムラグが発生することなく重畳表示されるので、術者は違和感なくディスプレイ３０の映像Ｇ３に集中して手術を行うことができる。
【０１６４】
（IV）患者の腫瘍Ｆの位置や形を示す３次元的位置情報が、着色された立体的イメージ画像（腫瘍Ｆ２）で表示されるので、術者は外科処置対象部位としての腫瘍Ｆを他の部位と容易に判別することができる。
【０１６５】
（Ｖ）ＡＲソフトウェアという既存のソフトウェアを利用しＡＲ認識用マーカＭＫ２及び立体的イメージ画像である腫瘍Ｆ２を含む立体的ＣＴ画像Ｇ２全体を３Ｄオブジェクトとして取り込んで使用するため、これらの間の３次元的位置関係が保たれる。
【０１６６】
（VI）ＡＲ認識用マーカＭＫとして、造影剤入りの専用のマーカを使用するので、マーカレス型のものと比較してＡＲ認識用マーカとしての被認識性が向上する。
【０１６７】
（VII） ＡＲ認識用マーカＭＫとして、造影剤入りの専用のマーカを使用するので、マーカレス型のものと比較して、計算量が少なくて済むため、ＡＲ画像処理装置４０の構成をハード的にもまたソフト的にも簡略化することができる。
【０１６８】
（VIII）ＡＲ認識用マーカＭＫが着脱自在であるので、患者の好適な部位（例えば、位置変化や変形が発生しにくい部位）への着脱、及び位置決めが容易である。
【０１６９】
（IX）ＡＲ認識用マーカＭＫが着脱自在であるので、ＣＴ画像データを取得するためのＣＴスキャナによる撮影から、実際の手術までに時間間隔が開くような場合に、ＡＲ認識用マーカＭＫを一旦取り外して再度取り付けることが容易であるので、取り付けたままの場合と比較して、患者の負担を低威することができる。
【０１７０】
（Ｘ）立体的ＣＴ画像Ｇ２中の校正用マーカＫ２と、カメラ２０が撮影中のディスプレイ３０上の校正用マーカＫ２とを位置合わせすることにより、立体的ＣＴ画像Ｇ２全体と、ディスプレイ３０上の映像Ｇ３全体との位置合わせすることができ、この状態で、立体的ＣＴ画像Ｇ２中のＡＲ認識用マーカＭＫ２に対して、ディスプレイ３０上のＡＲ認識用マーカＭＫ３を位置合わせすることで、ディスプレイ３０上の映像Ｇ３中に、高い精度で、腫瘍Ｆの立体的イメージ画像である腫瘍Ｆ２を重畳表示することができる。
【０１７１】
（XI）複数の校正用マーカＫが、これらを直線で結んでできる領域Ｒ内に腫瘍Ｆが位置するように配置されているので、立体的ＣＴ画像Ｇ２中の校正用マーカＫ２と、カメラ２０が撮影中の映像Ｇ３中の校正用マーカＫ３とを合わせることにより、例えば、腫瘍Ｆが領域Ｒの外部にある場合と比較して、立体的ＣＴ画像Ｇ２中の腫瘍Ｆ２と、カメラ２０が撮影中の腫瘍Ｆ３とをより高い精度で位置合わせすることが可能となる。
【０１７２】
上述の本実施形態において、ＡＲソフトウェア４１として、カメラ２０が撮影中の映像から３次元の空間構造を認識して記憶することが可能なものを使用するとよい。
【０１７３】
この場合には、ＡＲ認識用マーカＭＫがカメラ２０の撮影画像フレームから外れても、患者の腫瘍Ｆの位置や形を示す３次元的位置情報を表示し続けることが可能となる。
【０１７４】
上述の本実施形態では、カメラ２０とディスプレイ３０とが別体に構成されている場合について説明したが、これに代えて、ディスプレイ３０として、カメラ２０と一体のヘッドマウント型のディスプレイ（不図示）を使用するようにしてもよい。
【０１７５】
この場合には、術者は視点を不要に移動させることなく治療や手術に専念することが可能となる。
【０１７６】
さらに、上述のヘッドマウント型のディスプレイにおいて、光学透過型のディスプレイを使用し、患者の術野の透過像に患者の前記３次元的位置情報を重畳表示するようにしてもよい。
【０１７７】
この場合には、術者はカメラを通した映像ではなく、直接透過像で術野を見ることができるので、自然で奥行き感のある違和感のない術野を見ながら治療や手術に専念することが可能となる。
【０１７８】
ただし、この場合には、カメラ２０が撮影している術野の映像Ｇ３と術者が見ている透過像とを完全に一致させるキャリブレーション機構が必要となる。
【０１７９】
上述の本実施形態において、立体的ＣＴ画像Ｇ２に、ＣＴ画像データを基に作製した、血管や神経の走行状態を表示するようにしてもよい。
【０１８０】
この場合には、例えば、メス等の医療器具によって腫瘍Ｆを切除する際に、血管や神経の位置を的確に把握することができるので、これら血管や神経を不用意に傷つけてしまうことを確実に防止することができる。
【０１８１】
上述の本実施形態では、ディスプレイ３０上に表示されるカメラ２０で撮影中の映像に重畳する画像として、ＡＲソフトウェアで処理した着色された腫瘍Ｆ（外科処置対象部位）を説明した。さらに、これに加え、外科処置対象部位として、例えば、他の色に着色された切断線Ｓを重畳するようにしてもよい。
【０１８２】
この場合には、場合には、従来とは異なり、頭皮Ｃや頭蓋骨Ｄに直接、切断線Ｓを描く必要がなくなる。
【０１８３】
上述の本実施形態において、図９に示す造影剤からなる５個のうちの３個以上を使用して、これをＡＲ認識用マーカとして使用することも可能である。この場合には、ＡＲ認識用マーカＭＫを省略することもできる。
【０１８４】
上述の３つの実施形態においては、脳外科の腫瘍切除手術を例に述べたが、整形外科の人工関節取り付け手術におけるドリルの穿孔方向を示す矢印状の立体的イメージ画像（３次元的位置情報）をＡＲソフトウェアの３Ｄオブジェクトとして取り込み、ディスプレイ上の術野の映像に重畳表示することも可能である。
【符号の説明】
【０１８５】
１      実施形態１の医療支援装置
２      実施形態２の医療支援装置
３      実施形態３の医療支援装置
１０    医療用画像処理ソフトウェア１1がインストールされたコンピュータ
１１    医療用画像処理ソフトウェア
２０    カメラ
３０    ディスプレイ
４０    ＡＲ画像処理装置
４１    ＡＲソフトウェア
Ａ      頭部
Ｂ      脳
Ｃ      頭皮
Ｄ      頭蓋骨
Ｆ      腫瘍（外科処置対象部位）
Ｆ１    立体的ＣＴ画像Ｇ１中の腫瘍（外科処置対象部位）
Ｆ２    立体的ＣＴ画像Ｇ２中の腫瘍（外科処置対象部位）
Ｆ３    ディスプレイ３０の映像Ｇ３中の腫瘍（外科処置対象部位）
Ｇ１    立体的ＣＴ画像
Ｇ２    腫瘍Ｆの立体的イメージ画像である腫瘍Ｆ２を含む立体的ＣＴ画像
Ｇ３    ディスプレイ上の映像
Ｋ      校正用マーカ
Ｋ１    立体的ＣＴ画像Ｇ１中の校正用マーカ
Ｋ２    立体的ＣＴ画像Ｇ２中の校正用マーカ
Ｋ３    ディスプレイ３０の映像Ｇ３中の校正用マーカ
ＭＫ    ＡＲ認識用マーカ
ＭＫ１  立体的ＣＴ画像Ｇ１中のＡＲ認識用マーカ
ＭＫ２  立体的ＣＴ画像Ｇ２中のＡＲ認識用マーカ
ＭＫ３  ディスプレイ３０の映像Ｇ３中のＡＲ認識用マーカ
Ｒ      領域
Ｓ      切断線
【図１】
2014131552.tif 000003
【図２】
2014131552.tif 000004
【図３】
2014131552.tif 000005
【図４】
2014131552.tif 000006
【図５】
2014131552.tif 000007
【図６】
2014131552.tif 000008
【図７】
2014131552.tif 000009
【図８】
2014131552.tif 000010
【図９】
2014131552.tif 000011
【図１０】
2014131552.tif 000012
【図１１】
2014131552.tif 000013
【図１２】
2014131552.tif 000014