(57)【特許請求の範囲】
【請求項１】
被検体を撮影した３次元画像から観察対象組織の画像を抽出する画像抽出部と、
実空間における前記被検体の前記観察対象組織に対して重畳表示させる重畳画像を生成するために用いられる前記観察対象組織の表面からの距離を記憶する距離記憶部と、
前記実空間における前記観察対象組織の表面形状を取得する表面形状取得部と、
前記実空間の表面形状と前記観察対象組織の画像の表面形状との位置関係が合うように位置合わせ処理を行う位置合わせ処理部と、
前記位置合わせ処理が行われた前記観察対象組織の画像の表面と、該表面から前記実空間において前記観察対象組織を観察する視線方向に一致する方向に前記距離まで進んだ位置との間の範囲内にある前記観察対象組織の画像の中に存在する注目領域の画像に対しては、透明度を低い値に設定し、かつ、前記範囲内にある前記観察対象組織の画像の中の前記注目領域以外の画像と前記範囲以外の前記観察対象組織の画像に対しては、前記範囲内に設定した透明度より高い値に設定して、ボリュームレンダリングによって前記３次元画像を前記視線方向に投影することで、前記重畳画像を生成する重畳画像生成部と、
前記実空間の前記被検体の前記観察対象組織に対して、前記重畳画像を前記位置合わせ処理の結果に従って重畳表示させる表示制御部とを備えたことを特徴とする画像表示制御装置。
【請求項２】
前記表面形状取得部が、前記実空間における観察対象組織の表面形状を計測する表面形状計測部によって計測された表面形状を取得し、
前記表面形状計測部が、該表面形状計測部と前記実空間における観察対象組織の表面上の複数の点との距離を計測することによって前記表面形状を計測する請求項１記載の画像表示制御装置。
【請求項３】
前記表面形状取得部が、前記実空間の表面形状を時間の経過に応じて逐次取得し、
前記位置合わせ処理部が、前記表面形状の取得に応じて前記位置合わせ処理を逐次行い、
前記重畳画像生成部が、前記位置合わせ処理に応じて前記重畳画像を逐次更新する請求項１または２記載の画像表示制御装置。
【請求項４】
前記距離の変更を受け付ける距離変更受付部を備え、
前記重畳画像生成部が、変更後の距離と前記観察対象組織の画像とに基づいて、前記重畳画像を生成する請求項１から３いずれか１項記載の画像表示制御装置。
【請求項５】
前記距離以外の範囲の前記観察対象組織の中の前記注目領域の画像に対して設定される透明度が、前記距離から離れるにつれて徐々に大きくなるように設定されている請求項１〜４のいずれか１項に記載の画像表示制御装置。
【請求項６】
前記重畳画像生成部が、前記距離以外の範囲に含まれる予め設定された特定組織の画像に対して、前記距離の前記観察対象組織の画像と同じ透明度を設定して重畳画像を生成する請求項５記載の画像表示制御装置。
【請求項７】
前記表示制御部が、前記特定組織の画像を表示させる場合、該特定組織の前記観察対象組織の表面からの距離をテキスト表示させる請求項６記載の画像表示制御装置。
【請求項８】
前記実空間における観察対象組織の画像を撮像する撮像部を備え、
前記表示制御部が、前記撮像部によって撮像された観察対象組織の画像に対して前記重畳画像を重畳表示させる請求項１から７いずれか１項記載の画像表示制御装置。
【請求項９】
前記表示制御部が、シースルー型のモニタに前記重畳画像を表示させる請求項１から７いずれか１項記載の画像表示制御装置。
【請求項１０】
画像表示制御装置が、
被検体を撮影した３次元画像から観察対象組織の画像を抽出し、
実空間における前記被検体の前記観察対象組織に対して重畳表示させる重畳画像を生成するために用いられる前記観察対象組織の表面からの距離を予め記憶し、
前記実空間における前記観察対象組織の表面形状を取得し、
前記実空間の表面形状と前記観察対象組織の画像の表面形状との位置関係が合うように位置合わせ処理を行い、
前記位置合わせ処理が行われた前記観察対象組織の画像の表面と、該表面から前記実空間において前記観察対象組織を観察する視線方向に一致する方向に前記距離まで進んだ位置との間の範囲内にある前記観察対象組織の画像の中に存在する注目領域の画像に対しては、透明度を低い値に設定し、かつ、前記範囲内にある前記観察対象組織の画像の中の前記注目領域以外の画像と前記範囲以外の前記観察対象組織の画像に対しては、前記範囲内に設定した透明度より高い値に設定して、ボリュームレンダリングによって前記３次元画像を前記視線方向に投影することで、前記重畳画像を生成し、
前記実空間の前記被検体の前記観察対象組織に対して、前記重畳画像を前記位置合わせ処理の結果に従って重畳表示させることを特徴とする画像表示制御方法。
【請求項１１】
コンピュータに、
被検体を撮影した３次元画像から観察対象組織の画像を抽出する手順と、
実空間における前記被検体の前記観察対象組織に対して重畳表示させる重畳画像を生成するために用いられる前記観察対象組織の表面からの距離を予め記憶する手順と、
前記実空間における前記観察対象組織の表面形状を取得する手順と、
前記実空間の表面形状と前記観察対象組織の画像の表面形状との位置関係が合うように位置合わせ処理を行う手順と、
前記位置合わせ処理が行われた前記観察対象組織の画像の表面と、該表面から前記実空間において前記観察対象組織を観察する視線方向に一致する方向に前記距離まで進んだ位置との間の範囲内にある前記観察対象組織の画像の中に存在する注目領域の画像に対しては、透明度を低い値に設定し、かつ、前記範囲内にある前記観察対象組織の画像の中の前記注目領域以外の画像と前記範囲以外の前記観察対象組織の画像に対しては、前記範囲内に設定した透明度より高い値に設定して、ボリュームレンダリングによって前記３次元画像を前記視線方向に投影することで、前記重畳画像を生成する手順と、
前記実空間の前記被検体の前記観察対象組織に対して、前記重畳画像を前記位置合わせ処理の結果に従って重畳表示させる手順とを実行させることを特徴とする画像表示制御プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、拡張現実感を用いて実空間に重畳画像を表示させる画像表示制御装置および方法並びにプログラムに関するものである。
【背景技術】
【０００２】
従来、術前に撮影された医用画像などから作成した仮想オブジェクトをヘッドマウントディスプレイなどによって実空間に重畳表示することで、手術シミュレーションおよび手術ナビゲーションに利用することが行われている（たとえば特許文献１参照）。【０００３】
また、特許文献２および特許文献３においては、カメラおよびセンサなどを用いて実空間における臓器などの表面形状を取得し、術前にＣＴ（Computed Tomography）装置などで得られた画像から生成した臓器モデルを上記表面形状に位置合わして重畳表示することによって、手術を安全に行えるようにすることが提案されている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２０１１−２１２３６７号公報
【特許文献２】特開２０１０−２５９４９７号公報
【特許文献３】特開２０１２−２３５９８３号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、特許文献２および特許文献３に示すように、臓器モデルを単に重畳表示するだけでは、臓器モデル自体に奥行き感がないため、たとえば肝臓の切除手術などにおいて重畳表示された臓器モデルを参考に手術を行う場合、実際の臓器の奥側にある血管なども重畳表示され、臓器表面の直ぐ下にある血管がどのように走行しているかを把握することが困難であった。【０００６】
本発明は、上記事情に鑑み、奥行き情報を把握し易い重畳画像を実空間の観察対象組織に対して重畳表示させることができる画像表示制御装置および方法並びにプログラムを提供することを目的とするものである。
【課題を解決するための手段】
【０００７】
本発明の画像表示制御装置は、被検体を撮影した３次元画像から観察対象組織の画像を抽出する画像抽出部と、観察対象組織に対して重畳表示させる重畳画像を生成するために用いられる観察対象組織の表面からの距離を記憶する距離記憶部と、実空間における観察対象組織の表面形状を取得する表面形状取得部と、実空間の表面形状と観察対象組織の画像との位置関係が合うように位置合わせ処理を行う位置合わせ処理部と、位置合わせ処理が行われた観察対象組織の画像と距離記憶部に記憶された距離とに基づいて、重畳画像を生成する重畳画像生成部と、観察対象組織に対して重畳画像を重畳表示させる表示制御部とを備える。【０００８】
また、上記本発明の画像表示制御装置において、表面形状取得部は、実空間における観察対象組織の表面形状を計測する表面形状計測部によって計測された表面形状を取得し、表面形状計測部は、その表面形状計測部と実空間における観察対象組織の表面上の複数の点との距離を計測することによって表面形状を計測することができる。【０００９】
また、上記本発明の画像表示制御装置において、表面形状取得部は、実空間の表面形状を時間の経過に応じて逐次取得し、位置合わせ処理部は、表面形状の取得に応じて位置合わせ処理を逐次行い、重畳画像生成部は、位置合わせ処理に応じて重畳画像を逐次更新することができる。【００１０】
また、上記本発明の画像表示制御装置においては、上記距離の変更を受け付ける距離変更受付部を備え、重畳画像生成部は、変更後の距離と観察対象組織の画像とに基づいて、重畳画像を生成することができる。【００１１】
また、上記本発明の画像表示制御装置において、重畳画像生成部は、上記距離以外の範囲の観察対象組織の画像に対して、上記距離の観察対象組織の画像よりも高い透明度を設定した重畳画像を生成することができる。【００１２】
また、上記本発明の画像表示制御装置において、上記距離以外の範囲の観察対象組織の画像に対して設定される透明度は、上記距離から離れるにつれて徐々に大きくなるように設定することができる。【００１３】
また、上記本発明の画像表示制御装置において、重畳画像生成部は、上記距離以外の範囲に含まれる予め設定された特定組織の画像に対して、上記距離の観察対象組織の画像と同じ不透明度を設定して重畳画像を生成することができる。【００１４】
また、上記本発明の画像表示制御装置において、表示制御部は、特定組織の画像を表示させる場合、特定組織の観察対象組織の表面からの距離をテキスト表示させることができる。【００１５】
また、上記本発明の画像表示制御装置においては、実空間における観察対象組織の画像を撮像する撮像部を備え、表示制御部は、撮像部によって撮像された観察対象組織の画像に対して重畳画像を重畳表示させることができる。【００１６】
また、上記本発明の画像表示制御装置において、表示制御部は、シースルー型のモニタに重畳画像を表示させることができる。【００１７】
本発明の画像表示制御方法は、被検体を撮影した３次元画像から観察対象組織の画像を抽出し、観察対象組織に対して重畳表示させる重畳画像を生成するために用いられる観察対象組織の表面からの距離を予め記憶し、実空間における観察対象組織の表面形状を取得し、実空間の表面形状と観察対象組織の画像との位置関係が合うように位置合わせ処理を行い、位置合わせ処理が行われた観察対象組織の画像と予め記憶した距離とに基づいて、重畳画像を生成し、観察対象組織に対して重畳画像を重畳表示させる。【００１８】
本発明の画像表示制御プログラムは、コンピュータに、被検体を撮影した３次元画像から観察対象組織の画像を抽出する手順と、観察対象組織に対して重畳表示させる重畳画像を生成するために用いられる観察対象組織の表面からの距離を予め記憶する手順と、実空間における観察対象組織の表面形状を取得する手順と、実空間の表面形状と観察対象組織の画像との位置関係が合うように位置合わせ処理を行う手順と、位置合わせ処理が行われた観察対象組織の画像と予め記憶した距離とに基づいて、重畳画像を生成する手順と、観察対象組織に対して重畳画像を重畳表示させる手順とを実行させる。
【発明の効果】
【００１９】
本発明の画像表示制御装置および方法並びにプログラムによれば、被検体を撮影した３次元画像から観察対象組織の画像を抽出し、実空間における観察対象組織の表面形状を取得し、実空間の表面形状と観察対象組織の画像との位置関係が合うように位置合わせ処理を行う。そして、位置合わせ処理が行われた観察対象組織の画像と予め記憶した距離とに基づいて、重畳画像を生成し、観察対象組織に対して重畳画像を重畳表示させる。このように予め記憶した距離に応じた重畳画像を生成して重畳表示させることによって、奥行き情報を把握し易い重畳画像を実空間の観察対象組織に対して重畳表示させることができる。
【図面の簡単な説明】
【００２０】
【図１】本発明の画像表示制御装置の一実施形態を用いた仮想オブジェクト表示システムの使用状況を説明するための図
【図２】図１に示す仮想オブジェクト表示システムの概要を示すハードウェア構成図
【図３】ヘッドマウントディスプレイと画像表示制御装置の概略構成を示すブロック図
【図４】肝臓の３次元画像に含まれる門脈と腫瘍の画像の一例を示す図
【図５】ヘッドマウントディスプレイに表示された実空間の肝臓と、肝臓に重ね合わせて表示された重畳画像の一例を示す図
【図６】ヘッドマウントディスプレイと実空間における肝臓との間に術具が挿入された場合の作用を説明するための図
【図７】ヘッドマウントディスプレイと実空間における肝臓との間に術具が挿入された場合の重畳画像の一例を示す図
【図８】手術中において肝臓の一部が切除された場合における重畳画像の生成処理を説明するための図
【図９】手術中において肝臓の一部が切除された場合の重畳画像の一例を示す図
【図１０】本発明の画像表示制御装置の一実施形態を用いた仮想オブジェクト表示システムの作用を説明するためのフローチャート
【発明を実施するための形態】
【００２１】
以下、図面を参照して本発明の画像表示制御装置の一実施形態を用いた仮想オブジェクト表示システムの一実施形態について説明する。図１は、本実施形態の仮想オブジェクト表示システムの使用状況を説明するための図である。
【００２２】
本実施形態の仮想オブジェクト表示システムは、たとえば肝臓Ｌの手術をする場合において、拡張現実感を用いて、肝臓Ｌ（観察対象組織）の３次元画像を仮想オブジェクトとして表示するものである。具体的には、手術対象の患者（被検体）の腹部を撮影して取得した３次元画像から、肝臓Ｌなどの観察対象組織の３次元画像を抽出し、その３次元画像を用いて仮想オブジェクトを生成する。そして、たとえば手術の執刀医Ｄが装着したヘッドマウントディスプレイ（以下、ＨＭＤ（Head Mount Display）という。）１に仮想オブジェクトを表示させる。仮想オブジェクトは、肝臓Ｌに対して重畳表示され、執刀医Ｄは仮想オブジェクトを観察しながら肝臓Ｌの手術を進めることができる。なお、ＨＭＤ１に表示される仮想オブジェクトが、本発明の重畳画像に相当するものである。以下、仮想オブジェクトのことを重畳画像という。
【００２３】
図２は、本実施形態の仮想オブジェクト表示システムの概要を示すハードウェア構成図である。図２に示すように、本実施形態の仮想オブジェクト表示システムは、ＨＭＤ１、３次元画像撮影装置２、画像保管サーバ３および画像表示制御装置４を備えている。ＨＭＤ１と画像表示制御装置４とは、ネットワーク５を経由して無線通信可能な状態で接続されている。また、画像表示制御装置４には、画像保管サーバ３、表示装置６および入力装置７が接続されている。
【００２４】
３次元画像撮影装置２は、患者の手術対象となる部位を撮影することにより、その部位を表す３次元画像Ｖ０を生成する装置であり、具体的には、ＣＴ装置、ＭＲＩ（Magnetic Resonance Imaging）装置、およびＰＥＴ(Positron Emission Tomography )装置などである。この３次元画像撮影装置２により生成された３次元画像Ｖ０は画像保管サーバ３に送信され、保存される。なお、本実施形態においては、３次元画像撮影装置２としてＣＴ装置を用い、そのＣＴ装置によって腹部を撮影し、腹部の３次元画像Ｖ０を生成するものとする。
【００２５】
画像保管サーバ３は、各種データを保存して管理するコンピュータであり、大容量外部記憶装置およびデータベース管理用ソフトウェアを備えている。画像保管サーバ３は、３次元画像撮影装置２で生成された３次元画像Ｖ０などの画像データをネットワーク経由で取得し、大容量外部記憶装置等の記録媒体に保存して管理する。
【００２６】
図３は、ＨＭＤ１と画像表示制御装置４の概略構成を示すブロック図である。図３に示すように、ＨＭＤ１は、ＣＰＵ（Central Processing Unit）１１、メモリ１２、カメラ１３、ディスプレイ１４および３次元計測カメラ１５を備える。なお、本実施形態においては、カメラ１３が、本発明の撮影部に相当するものであり、３次元計測カメラ１５が、本発明の表面形状計測部に相当するものである。
【００２７】
ＣＰＵ１１は、ＨＭＤ１全体を制御するものである。特に、ＣＰＵ１１は、画像表示制御装置４の表示制御部２５から出力された制御信号に基づいて、重畳画像をディスプレイ１４に表示させるものである。
【００２８】
メモリ１２は、カメラ１３および３次元計測カメラ１５によって撮影された画像などを記憶するものである。
【００２９】
カメラ１３は、レンズおよびＣＣＤ(Charge Coupled Device)などの撮像素子を備えたものである。図２に示すように、カメラ１３は、ＨＭＤ１が装着された際に、装着者の視野とカメラ１３の撮影範囲とが一致するように、装着者の左目と右目の間の中央位置に設けられている。したがって、執刀医ＤがＨＭＤ１を装着すると、カメラ１３は執刀医Ｄの視野内の画像を撮影する。これにより、装着者が見ている実空間の映像がカメラ１３によって背景映像として取得される。背景映像は所定のフレームレートを有する動画像となる。
【００３０】
ディスプレイ１４は、液晶パネルなどを備えたものであり、背景映像および背景映像上に重畳画像を表示する。なお、ディスプレイ１４は、ＨＭＤ１の装着者の左目用および右目用の表示部を備える。
【００３１】
３次元計測カメラ１５は、観察対象組織を撮影する２つのカメラを備えている。そして、３次元計測カメラ１５は、２つのカメラによって取得された２つの画像に基づいて、３次元計測カメラ１５と実空間における観察対象組織の表面上の複数の点との距離を計測し、これにより観察対象組織の表面形状を計測するものである。３次元計測カメラ１５と観察対象組織の表面上の点との距離については、３次元計測カメラ１５の２つのカメラの基線長と、２つのカメラによって撮影された２つの画像のずれに基づいて、三角測量法によって算出される。３次元計測カメラ１５は、観察対象組織の表面形状をリアルタイムに逐次計測するものである。
【００３２】
３次元計測カメラ１５の各カメラの構成については、上述したカメラ１３と同様である。また、３次元計測カメラ１５の２つのカメラは、図２に示すように、カメラ１３を挟んで左右方向に並べて配置されている。なお、ここでいう左右方向とは、ＨＭＤ１を装着者が装着した場合に、装着者から見た左右方向のことをいう。
【００３３】
また、３次元計測カメラ１５は、カメラ１３の近傍に設けられているので、３次元計測カメラ１５によって計測される観察対象組織の表面形状の座標系と、カメラ１３によって撮影される観察対象組織の画像の座標系とはほぼ一致しているものとする。ただし、これらの座標系が一致していない場合には、予めキャリブレーションなどを行って座標系を一致させるようにしてもよい。
【００３４】
また、本実施形態においては、３次元計測カメラ１５によって観察対象組織の表面形状を計測するようにしたが、これに限らず、距離センサをＨＭＤ１に設けて観察対象組織の表面形状を計測するようにしてもよい。
【００３５】
画像表示制御装置４は、ＣＰＵ（Central Processing Unit）４１およびメモリ４２を備えたコンピュータに、本発明の画像表示制御プログラムをインストールしたものである。画像表示制御プログラムは、画像表示制御装置４が有するメモリ４２にインストールされる。
【００３６】
画像表示制御プログラムは、ＤＶＤ（Digital Versatile Disc）およびＣＤ−ＲＯＭ（Compact Disc Read Only Memory）などの記録媒体に記録されて配布され、その記録媒体からコンピュータにインストールされる。または、画像表示制御プログラムは、ネットワークに接続されたサーバコンピュータの記憶装置もしくはネットワークストレージに対して外部からアクセス可能な状態で記憶され、要求に応じてコンピュータにダウンロードされ、インストールされる。
【００３７】
そして、メモリ４２に記憶された画像表示制御プログラムがＣＰＵ４１によって実行されることによって、図３に示す画像抽出部２１、表面形状取得部２２、位置合わせ処理部２３、重畳画像生成部２４および表示制御部２５が機能する。なお、画像表示制御装置４の構成の一部または全部をＨＭＤ１に設けるようにしてもよい。
【００３８】
また、メモリ４２には、距離記憶部２６が設けられている。距離記憶部２６は、重畳画像を生成するために用いられる観察対象組織の表面からの距離の情報が予め記憶されている。
【００３９】
画像抽出部２１は、画像保管サーバ３から読み出された３次元画像Ｖ０を取得し、その３次元画像Ｖ０から観察対象組織の３次元画像Ｖ１を抽出するものである。本実施形態においては、画像保管サーバ３から患者の腹部を撮影した３次元画像Ｖ０を取得し、その３次元画像Ｖ０から肝臓の３次元画像Ｖ１を抽出する。肝臓の３次元画像Ｖ１の抽出方法としては、エッジ検出などの公知な種々の画像処理を用いることができる。
【００４０】
なお、本実施形態においては、肝臓の３次元画像Ｖ１を画像処理によって抽出するようにしたが、これに限らない。たとえば表示装置６に３次元画像Ｖ０を表示させ、ユーザによる肝臓領域の指定を受け付けるようにしてもよい。肝臓領域の指定は、入力装置７が有するマウスなどによって行われ、画像抽出部２１は、入力装置７によって受け付けられた肝臓領域の情報に基づいて、肝臓の３次元画像Ｖ１を抽出する。
【００４１】
表面形状取得部２２は、３次元計測カメラ１５によって計測された観察対象組織の表面形状の情報を取得するものである。
【００４２】
位置合わせ処理部２３は、表面形状取得部２２によって取得された観察対象組織の表面形状と画像抽出部２１によって抽出された観察対象組織の３次元画像Ｖ１との位置関係が合うように位置合わせ処理を行うものである。具体的には、本実施形態の位置合わせ処理部２３は、画像抽出部２１によって抽出された肝臓の３次元画像Ｖ１に基づいてサーフェスモデルを生成する。そして、位置合わせ処理部２３は、サーフェスモデルによって表される表面と、表面形状取得部２２によって取得された肝臓の表面形状との相関関係を算出し、最も相関が高くなる位置関係を求めることによって位置合わせ処理を行う。
【００４３】
なお、本実施形態においては、上述したように３次元計測カメラ１５によって計測された肝臓の表面形状と肝臓の３次元画像Ｖ１の表面との相関関係を算出することによって位置合わせ処理を行うようにしたが、これに限らない。たとえば３次元計測カメラ１５によって計測された肝臓の表面形状から生成された立体画像Ｖ２と、肝臓の３次元画像Ｖ１に基づいて生成されたサーフェスモデルとを表示装置６に表示させる。そして、ユーザが立体画像Ｖ２とサーフェスモデルとの位置関係を見ながら入力装置７を用いてサーフェスモデルの移動量を設定入力し、その設定入力された移動量を位置合わせ処理部２３が受け付けることによって位置合わせ処理を行うようにしてもよい。
【００４４】
また、本実施形態においては、３次元計測カメラ１５によって計測された表面形状を用いて、肝臓のサーフェスモデルの位置合わせ処理を行うようにしたが、これに限らない。たとえば表面形状取得部２２が、肝臓の表面形状の情報としてカメラ１３によって撮影された画像を取得し、位置合わせ処理部２３が、カメラ１３によって撮影された画像と肝臓のサーフェスモデルとの位置関係が合うように位置合わせ処理を行うようにしてもよい。この場合も、カメラ１３によって撮影された画像と肝臓のサーフェスモデルとの相関関係を算出することによって位置合わせ処理を行う。相関関係の算出方法については、種々の公知な手法を用いることができる。
【００４５】
重畳画像生成部２４は、位置合わせ処理が行われた肝臓の３次元画像Ｖ１と距離記憶部２６に予め記憶された距離とに基づいて、仮想オブジェクトとしての重畳画像を生成するものである。具体的には、重畳画像生成部２４は、表面形状取得部２２によって取得された表面形状の各点からの上記距離を、位置合わせ処理が行われた肝臓の３次元画像Ｖ１に設定し、その距離の画像に対して不透明度１を設定し、上記距離以外の範囲の画像に対して、１より小さい不透明度を設定する。すなわち、上記距離以外の範囲の画像に対して、上記距離の画像よりも高い透明度を設定する。そして、重畳画像生成部２４は、上記のようにして設定した不透明度を用いて３次元画像Ｖ１をボリュームレンダリングすることによって重畳画像を生成する。
【００４６】
図４は、肝臓の３次元画像Ｖ１に含まれる門脈の画像Ｂと腫瘍の画像Ｒとを示す図である。また、図４に示すＳは、表面形状取得部２２によって取得された表面形状であり、図４に示す矢印ｄは、表面形状Ｓの各点からの距離を示すものである。また、図４に示す矢印Ｄｒは、ＨＭＤ１の装着者の視線方向を示すものであるが、本実施形態においては、ＨＭＤ１に３次元計測カメラ１５を設け、３次元計測カメラ１５によって計測された表面形状と３次元画像Ｖ１の表面との位置合わせ処理を行っているので、視線方向Ｄｒは、３次元画像Ｖ１に対してボリュームレンダリングを施す際における視線方向と同じ方向となる。
【００４７】
図４に示すように距離ｄが設定された場合、距離ｄに含まれる門脈の画像Ｂに対して不透明度１が設定され、距離ｄ以外の範囲の門脈の画像Ｂに対して１よりも小さい不透明度が設定された重畳画像が生成される。
【００４８】
なお、予め記憶された距離以外の範囲の画像に対して設定される不透明度（透明度）については、ユーザが入力装置７などを用いて任意に指定される。また、この不透明度（透明度）については、上記距離から離れるにつれて徐々に小さく（透明度の場合は、徐々に大きく）なるように設定するようにしてもよい。このように予め記憶された距離以外の範囲の画像に対して不透明度を設定することによって、より奥行き情報を把握し易い重畳画像を表示させることができる。なお、上記不透明度をゼロに設定し、上記距離以外の範囲の画像が表示されないようにしてもよい。
【００４９】
また、腫瘍の画像Ｒについては、腫瘍の位置は手術を行う上で重要な情報であるので、明確に表示させることが望ましい。したがって、腫瘍のような重要な組織については特定組織として予め設定しておき、この特定組織の画像に対しては、距離ｄに関わらず、距離ｄに含まれる画像と同様に、不透明度１を設定することによって明確に表示させることが望ましい。
【００５０】
また、重畳画像を生成する際に用いられる距離を観察対象組織に含まれる組織毎に設定するようにしてもよい。たとえば、肝臓に含まれる門脈については肝臓表面近傍の門脈のみを重畳画像として表示し、腫瘍については肝臓の表面からの距離に関わらず必ず表示させたい場合には、門脈については肝臓表面近傍の距離を予め記憶しておき、腫瘍については肝臓表面から肝臓裏面までの長さを含むような距離または無限大の距離を予め記憶しておくようにすればよい。そして、この組織毎に記憶された距離を用いて組織毎の重畳画像を生成するようにすればよい。
【００５１】
なお、本実施形態においては、ボリュームレンダリングによって重畳画像を生成するようにしたが、これに限らず、予め記憶された距離の画像をサーフェスレンダリングすることによって重畳画像を生成するようにしてもよい。
【００５２】
表示制御部２５は、カメラ１３によって撮影された背景映像に対して重畳画像を重ね合わせてＨＭＤ１のディスプレイ１４に表示させるものである。すなわち、表示制御部２５は、背景映像に含まれる実空間の肝臓Ｌに対して、仮想オブジェクトとしての重畳画像を重ね合わせて表示させるものである。また、表示制御部２５は、重畳画像の中に、上述した腫瘍のような特定組織の画像が含まれる場合には、その特定組織の観察対象組織の表面からの距離をテキスト表示させることが望ましい。観察対象組織の表面からの距離については、たとえば肝臓の３次元画像Ｖ１に基づいて算出するようにすればよい。
【００５３】
図５は、ＨＭＤ１のディスプレイ１４に表示された実空間の肝臓Ｌと、肝臓Ｌに重ね合わせて表示された重畳画像の一例を示す図である。図５に示す重畳画像は、予め記憶された距離に含まれる門脈の画像Ｂと腫瘍の画像Ｒに対して不透明度１を設定し、その他の画像については非表示とした場合を示している。また、図５は、予め記憶された距離以外の範囲の腫瘍の画像Ｒに対して、肝臓の表面からの距離（３２ｍｍ）を表示させた例を示している。
【００５４】
なお、表示制御部２５は、視差を有するようにディスプレイ１４の左目用の表示部および右目用の表示部にそれぞれ重畳画像を表示させる。これにより、執刀医Ｄは仮想オブジェクトとしての重畳画像を立体視することができる。
【００５５】
また、図６は、装着者の肝臓に対する視線方向が図４に示すような視線方向Ｄｒである場合において、ＨＭＤ１と実空間における肝臓との間に術具Ｔが挿入された場合の作用を説明するための図である。図６に示すようにＨＭＤ１と実空間における肝臓との間に術具Ｔが挿入された場合、３次元計測カメラ１５によって計測される表面は、肝臓の表面Ｓのうちの図６に示す実線の部分と、術具Ｔの表面ＴＳとになる。したがって、重畳画像生成部２４は、実線で示される表面Ｓから距離ｄまでの門脈の画像Ｂと、術具Ｔの表面ＴＳから距離ｄまでの画像とをボリュームレンダリングをして重畳画像を生成することになるが、実際には、術具Ｔの表面ＴＳから距離ｄまでの範囲には画像は存在しない。したがって、重畳画像としては、図７に示すように術具Ｔの範囲が空白画像ＮＤとなった重畳画像が生成されて重畳表示される。上述した特許文献３においては、術具の位置を検出することによって、術具に対して重畳画像が重畳表示されるのを回避することが提案されているが、本実施形態によれば、術具などを検出するセンサなどを設けることなく、術具に対して重畳画像が重畳表示されるのを回避することができ、より見やすい重畳画像を表示させることができる。
【００５６】
また、たとえば手術中において肝臓Ｌの一部が切除され、ＨＭＤ１の装着者の視線方向が、図８に示すような視線方向Ｄｒとなった場合においても、図８において実線で示す肝臓Ｌの表面Ｓと切断表面ＣＳから距離ｄまでの画像がボリュームレンダリングされた重畳画像が生成されて重畳表示される。したがって、肝臓の３次元画像Ｖ１自体の一部を切除した３次元画像を生成しなくても、図９に示すように切断表面近傍の門脈の画像Ｂや腫瘍の画像Ｒを含む重畳画像を表示させることができる。これにより演算処理の負荷を軽減することができる。
【００５７】
なお、手術中において肝臓Ｌの一部が切除されたり、押さえられたりすることによって肝臓Ｌの表面形状が変形した場合には、重畳画像を生成する際に用いられる肝臓の３次元画像Ｖ１に対して肝臓の変形に応じた変形処理を施し、変形処理後の３次元画像Ｖ１を用いて重畳画像を生成するようにしてもよい。
【００５８】
次に、本実施形態の仮想オブジェクト表示システムの作用について、図１０に示すフローチャートを参照しながら説明する。なお、ここでは観察対象組織が肝臓である場合について説明する。
【００５９】
まず、ＨＭＤ１のカメラ１３によって実空間における肝臓が撮影され、その肝臓の映像が背景映像としてディスプレイ１４に表示される（Ｓ１０）。
【００６０】
そして、予め撮影された腹部の３次元画像Ｖ０が画像抽出部２１によって取得され（Ｓ１２）、画像抽出部２１は、その３次元画像Ｖ０から肝臓の３次元画像Ｖ１を抽出する（Ｓ１４）。
【００６１】
次に、ＨＭＤ１の３次元計測カメラ１５によって肝臓の表面形状が計測され、その表面形状の情報が表面形状取得部２２によって取得される（Ｓ１６）。
【００６２】
表面形状取得部２２によって取得された表面形状は位置合わせ処理部２３に入力され、位置合わせ処理部２３は、入力された表面形状と肝臓の３次元画像Ｖ１の表面との位置関係が合うように位置合わせ処理を行う（Ｓ１８）。
【００６３】
そして、距離記憶部２６に予め記憶された距離が重畳画像生成部２４によって読み出され、重畳画像生成部２４は、その読み出した距離と位置合わせ処理が行われた肝臓の３次元画像Ｖ１とに基づいて、仮想オブジェクトとしての重畳画像を生成する（Ｓ２０）。
【００６４】
重畳画像生成部２０によって生成された重畳画像は表示制御部２５に入力され、表示制御部２５は、重畳画像がＨＭＤ１のディスプレイ１４に表示されるようにＨＭＤ１に対して表示制御信号を出力する。表示制御部２５から出力された表示制御信号がＨＭＤ１によって受信され、ＨＭＤ１のディスプレイ１４は、カメラ１３によって撮影された肝臓の映像に対して重畳画像を重畳表示させる（Ｓ２２）。
【００６５】
そして、ＨＭＤ１の装着者などによって重畳画像の表示処理の終了指示が入力されるまではＳ１６〜Ｓ２２までの処理が繰り返して行われる（Ｓ２４，ＮＯ）。すなわち、３次元計測カメラ１５によって実空間における肝臓の表面形状が逐次計測されて表面形状取得部２２によって取得され、その表面形状の取得に応じて位置合わせ処理部２３において位置合わせ処理が逐次行われる。そして、その位置合わせ処理に応じて重畳画像が逐次更新され、ＨＭＤ１のディスプレイ１４において肝臓の映像に対して重畳表示される。
【００６６】
そして、ＨＭＤ１の装着者などによって重畳画像の表示処理の終了指示が入力された場合には、重畳画像の表示処理を終了する（Ｓ２４，ＹＥＳ）。
【００６７】
上記実施形態の仮想オブジェクト表示システムによれば、被検体を撮影した３次元画像Ｖ０から観察対象組織の３次元画像Ｖ１を抽出し、実空間における観察対象組織の表面形状を取得し、実空間の表面形状と観察対象組織の３次元画像Ｖ１との位置関係が合うように位置合わせ処理を行う。そして、位置合わせ処理が行われた観察対象組織の３次元画像Ｖ１と予め記憶した距離とに基づいて、重畳画像を生成し、観察対象組織に対して重畳画像を重畳表示させる。このように予め記憶した距離に応じた重畳画像を生成して重畳表示させることによって、奥行き情報を把握し易い重畳画像を実空間の観察対象組織に対して重畳表示させることができる。
【００６８】
なお、上記実施形態においては、重畳画像を生成するために用いられる距離を距離記憶部２６に予め記憶するようにしたが、この距離を変更可能に構成してもよい。上記距離の変更は、たとえば入力装置７において受け付けるようにすればよい。この場合、入力装置７が、本発明の距離変更受付部に相当するものである。重畳画像生成部２４は、変更後の距離に基づいて、上記実施形態と同様にして重畳画像を生成する。このように上記距離を変更可能にすることによって、装着者の要望に応じた種々の重畳画像を生成することができる。
【００６９】
また、上記実施形態においては、ＨＭＤ１にカメラ１３を設けているが、カメラ１３をＨＭＤ１とは別体として設けてもよい。この場合においても、ＨＭＤ１の装着者の視野に対応する範囲を撮影するように配置されることが好ましい。
【００７０】
また、上記実施形態においては、カメラ１３によって撮影された実空間の背景映像をＨＭＤ１のディスプレイ１４に表示させる、いわゆる没入型のＨＭＤ１を用いるようにしたが、ＨＭＤ１としては、これに限らず、シースルー型のディスプレイを備えたものを用い、表示制御部２５が、シースルー型のディスプレイに重畳画像のみを表示させるようにしてもよい。この場合、ＨＭＤ１の装着者は、実空間における肝臓など観察対象組織上に重畳画像の虚像が重畳表示された画像を観察することができる。
【００７１】
また、上記実施形態においては、ＨＭＤ１に重畳画像を表示させるようにしたが、ＨＭＤ１の代わりに、カメラおよび３次元計測カメラを搭載したタブレット端末のディスプレイにカメラによって撮影された背景映像と重畳画像とを表示させるようにしてもよい。
【００７２】
なお、上記実施形態においては、観察対象組織が肝臓の場合について説明したが、肝臓に限らず、たとえば心臓、肺および大腸など臓器の手術の際に、これらの重畳画像を生成して実空間の臓器に対して重畳表示させるようにしてもよい。また、本発明は、医用画像に限らず、たとえば工業製品などの３次元画像に基づいて重畳画像を生成し、実空間の工業製品に対して重畳表示させるようにしてもよい。
【符号の説明】
【００７３】
１    ヘッドマウントディスプレイ
２    ３次元画像撮影装置
３    画像保管サーバ
４    画像表示制御装置
５    ネットワーク
６    表示装置
７    入力装置
１１  ＣＰＵ
１２  メモリ
１３  カメラ
１４  ディスプレイ
１５  ３次元計測カメラ
２０  重畳画像生成部
２１  画像抽出部
２２  表面形状取得部
２３  位置合わせ処理部
２４  重畳画像生成部
２５  表示制御部
２５  距離記憶部
２５  表示制御部
２６  距離記憶部
４１  ＣＰＵ
４２  メモリ
ＣＳ  切断表面
ｄ    観察対象組織の表面からの距離
Ｄ    執刀医
Ｄｒ  視線方向
Ｌ    肝臓
ＮＤ  空白画像
Ｒ    腫瘍の画像
Ｂ    門脈の画像
Ｓ    表面形状
Ｔ    術具
ＴＳ  術具の表面
【図１】
0006698824.tif 000002
【図２】
0006698824.tif 000003
【図３】
0006698824.tif 000004
【図４】
0006698824.tif 000005
【図５】
0006698824.tif 000006
【図６】
0006698824.tif 000007
【図７】
0006698824.tif 000008
【図８】
0006698824.tif 000009
【図９】
0006698824.tif 000010
【図１０】
0006698824.tif 000011