(57)【特許請求の範囲】
【請求項１】
３次元の仮想オブジェクトを取得する仮想オブジェクト取得部と、前記仮想オブジェクトを表示するための位置情報および前記仮想オブジェクトを表示するための向きの情報を含む表示情報を取得する表示情報取得部と、前記表示情報に基づいて、前記仮想オブジェクトを表示部に表示させる表示制御部とを各々有する複数の仮想オブジェクト表示装置を備えた仮想オブジェクト表示システムであって、
前記複数の仮想オブジェクト表示装置の前記表示情報取得部の各々が、前記仮想オブジェクトを投影する場所に置かれた面上に設けられ、かつ３つの基準点を備えた１つのマーカを、前記仮想オブジェクト表示装置の各々の位置から各々撮影して得られた画像における前記３つの基準点に基づいて、各々の前記表示情報を取得し、
前記複数の仮想オブジェクト表示装置の表示制御部の各々が、前記複数の仮想オブジェクト表示装置の各々の前記表示情報取得部によって取得された表示情報に基づいて前記仮想オブジェクトを表示させる第１の表示制御と、他の前記仮想オブジェクト表示装置の前記表示情報取得部によって取得された表示情報に基づいて前記他の仮想オブジェクト表示装置の表示部に表示された前記仮想オブジェクトと同じ向きの前記仮想オブジェクトを前記複数の仮想オブジェクト表示装置の各々の表示部に表示させる第２の表示制御とを切り替え可能であることを特徴とする仮想オブジェクト表示システム。
【請求項２】
前記複数の仮想オブジェクト表示装置の各々の表示制御部が、前記第２の表示制御に切り替えた後、前記他の仮想オブジェクト表示装置の前記表示情報取得部によって取得される表示情報が変更された場合には、該変更された表示情報に基づいて、前記仮想オブジェクトの表示を変更する請求項１に記載の仮想オブジェクト表示システム。
【請求項３】
前記表示情報が、前記仮想オブジェクトを表示するための大きさの情報も含み、
前記複数の仮想オブジェクト表示装置の各々の表示制御部が、前記第２の表示制御に切り替えた後、前記他の仮想オブジェクト表示装置の前記表示情報取得部によって取得される表示情報が変更された場合には、前記大きさの情報以外の変更された表示情報に基づいて、前記仮想オブジェクトの表示を変更する請求項２に記載の仮想オブジェクト表示システム。
【請求項４】
前記複数の仮想オブジェクト表示装置の各々の表示制御部が、前記第２の表示制御に切り替えた後、前記複数の仮想オブジェクト表示装置の各々の前記表示情報取得部によって取得された表示情報の変更に応じて、前記仮想オブジェクトの表示を変更する請求項１に記載の仮想オブジェクト表示システム。
【請求項５】
前記複数の仮想オブジェクト表示装置が、背景映像を取得する撮影部を各々備え、
前記複数の仮想オブジェクト表示装置の各々の表示制御部が、
前記第１の表示制御の場合には、前記複数の仮想オブジェクト表示装置の各々の前記撮影部によって取得された背景映像と前記仮想オブジェクトとを重ねて表示させ、
前記第２の表示制御の場合には、前記複数の仮想オブジェクト表示装置の各々の前記撮影部によって取得された背景映像と前記同じ向きの仮想オブジェクトとを重ねて表示させる第３の表示制御と、前記他の仮想オブジェクト表示装置の前記撮影部によって取得された背景映像と前記同じ向きの仮想オブジェクトとを重ねて表示させる第４の表示制御とを切り替え可能である請求項１から４いずれか１項に記載の仮想オブジェクト表示システム。
【請求項６】
ユーザによって前記仮想オブジェクト表示装置に表示された仮想オブジェクト上の位置が指定された後、該指定された位置情報を取得する指定位置情報取得部を備え、
前記仮想オブジェクト上の位置を指定したユーザに対応する仮想オブジェクト表示装置以外の仮想オブジェクト表示装置の表示制御部が、前記指定位置情報取得部によって取得された位置情報に基づいて、前記仮想オブジェクト上に前記指定された位置を表す画像を表示させる請求項１から５いずれか１項に記載の仮想オブジェクト表示システム。
【請求項７】
前記第１の表示制御と前記第２の表示制御との切り替え指示を受け付ける切替指示受付装置を備え、
前記複数の仮想オブジェクト表示装置の各表示制御部が、前記切替指示受付装置によって受け付けられた切り替え指示に応じて、前記第１の表示制御と前記第２の表示制御とを切り替える請求項１から６いずれか１項に記載の仮想オブジェクト表示システム。
【請求項８】
前記３次元の仮想オブジェクトは医用３次元画像である請求項１から７のいずれか１項に記載の仮想オブジェクト表示システム。
【請求項９】
前記表示部が、眼鏡型表示装置である請求項１から８のいずれか１項記載の仮想オブジェクト表示システム。
【請求項１０】
３次元の仮想オブジェクトを取得し、前記仮想オブジェクトを表示するための位置情報および前記仮想オブジェクトを表示するための向きの情報を含む表示情報を取得し、前記表示情報に基づいて、前記仮想オブジェクトを表示部に表示させる複数の仮想オブジェクト表示装置を備えた仮想オブジェクト表示システムの表示制御方法であって、
前記複数の仮想オブジェクト表示装置の各々が、前記仮想オブジェクトを投影する場所に置かれた面上に設けられ、かつ３つの基準点を備えた１つのマーカを、前記仮想オブジェクト表示装置の各々の位置から各々撮影して得られた画像における前記３つの基準点に基づいて、各々の前記表示情報を取得し
前記複数の仮想オブジェクト表示装置の各々が、前記複数の仮想オブジェクト表示装置の各々で取得された表示情報に基づいて前記仮想オブジェクトを表示させる第１の表示制御と、他の前記仮想オブジェクト表示装置で取得された表示情報に基づいて前記他の仮想オブジェクト表示装置で表示された前記仮想オブジェクトと同じ向きの前記仮想オブジェクトを前記複数の仮想オブジェクト表示装置の各々に表示させる第２の表示制御とを切り替えることを特徴とする仮想オブジェクト表示システムの表示制御方法。
【請求項１１】
３次元の仮想オブジェクトを取得し、前記仮想オブジェクトを表示するための位置情報および前記仮想オブジェクトを表示するための向きの情報を含む表示情報を取得し、前記表示情報に基づいて、前記仮想オブジェクトを表示部に表示させる複数の仮想オブジェクト表示装置を備えた仮想オブジェクト表示システムの表示制御プログラムであって、
前記仮想オブジェクト表示装置の各々のコンピュータに、
前記仮想オブジェクトを投影する場所に置かれた面上に設けられ、かつ３つの基準点を備えた１つのマーカを、前記仮想オブジェクト表示装置の各々の位置から各々撮影して得られた画像における前記３つの基準点に基づいて、各々の前記表示情報を取得する手順と、
前記複数の仮想オブジェクト表示装置の各々で取得された表示情報に基づいて前記仮想オブジェクトを表示させる第１の表示制御と、他の前記仮想オブジェクト表示装置で取得された表示情報に基づいて前記他の仮想オブジェクト表示装置で表示された前記仮想オブジェクトと同じ向きの前記仮想オブジェクトを前記複数の仮想オブジェクト表示装置の各々に表示させる第２の表示制御とを切り替える手順を実行させることを特徴とする仮想オブジェクト表示システムの表示制御プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、拡張現実感を用いて仮想オブジェクトを表示する仮想オブジェクト表示装置を複数備えた仮想オブジェクト表示システムおよびその表示制御方法並びに表示制御プログラムに関するものである。
【背景技術】
【０００２】
近年、現実の空間を撮影することにより取得したリアルタイムの背景映像に、仮想オブジェクトを重畳して、ヘッドマウントディスプレイ等の表示装置に表示することにより、現実空間に仮想オブジェクトが存在するかのように見せる拡張現実感を使用する表示システムが提案されている。このようなシステムにおいては、仮想オブジェクトを表示させる位置を規定するマーカを現実空間に配置する。そして、現実空間を撮影した背景映像からマーカを検出する。さらに、検出したマーカの位置、大きさおよび向きなどに応じて、仮想オブジェクトを表示する位置、大きさおよび表示する向きが決定され、決定された表示位置、大きさおよび向きにより表示装置に仮想オブジェクトが表示される。マーカとしては、たとえば２次元バーコード等の画像が用いられる。また、ＬＥＤ（Light Emission Diode）あるいは操作者の指をマーカとして用いる手法も提案されている。
【０００３】
一方、医療分野においては、手術前に手術の参加者を集めて、手術の説明をするための手術前カンファレンスが行われている。このような手術前カンファレンスにおいて、近年、拡張現実感を使用して手術の対象となる部位を表示して、手術をシミュレーションすることが行われている。例えば、ＣＴ（Computed Tomography）画像またはＭＲＩ（magnetic resonance imaging）画像の断層画像から得られる３次元画像から手術対象の部位を抽出し、その３次元画像に基づいて仮想オブジェクトを生成する。そして、拡張現実感を用いて仮想オブジェクトを実寸大となるように表示し、表示された仮想オブジェクトを用いて、手術前カンファレンスの代表者である執刀医からカンファレンスの参加者への説明および手技のシミュレーションが行われる。この際、カンファレンスの参加者はヘッドマウントディスプレイ等の表示装置を各自装着することにより、全員が共通の仮想オブジェクトを見ながらカンファレンスを行うことができる。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特表２０１４−５２２００７号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、上述したように共通の仮想オブジェクトを執刀医および参加者の複数で観察する場合、特定の方向から観察しなければ見づらい部位を見たい場合および助手が執刀医と同じ方向から見た視野で仮想オブジェクトを見たい場合などにおいては、各参加者が見やすい位置まで移動する必要がある。また、手術前カンファレンスの参加者が多い場合、全員が同じ角度から見ることは困難である。
【０００６】
なお、特許文献１には、共通の仮想オブジェクトを複数の人数で観察することが提案されているが、上記のような問題を解決する方法については何も提案されていない。
【０００７】
本発明は、上記事情に鑑み、共通の仮想オブジェクトを複数の人数で観察する際、各観察者が移動することなく、状況に応じて適切な方向から仮想オブジェクトを観察することができる仮想オブジェクト表示システムおよびその表示制御方法並びに表示制御プログラムを提供することを目的とするものである。
【課題を解決するための手段】
【０００８】
本発明の仮想オブジェクト表示システムは、仮想オブジェクトを取得する仮想オブジェクト取得部と、仮想オブジェクトを表示するための位置情報および仮想オブジェクトを表示するための向きの情報を含む表示情報を取得する表示情報取得部と、表示情報に基づいて、仮想オブジェクトを表示部に表示させる表示制御部とを有する仮想オブジェクト表示装置を複数備え、複数の仮想オブジェクト表示装置の各表示制御部が、複数の仮想オブジェクト表示装置のそれぞれの表示情報取得部によって取得された表示情報に基づいて仮想オブジェクトを表示させる第１の表示制御と、他の仮想オブジェクト表示装置の表示情報取得部によって取得された表示情報に基づいて表示された仮想オブジェクトと同じ向きの仮想オブジェクトを表示させる第２の表示制御とを切り替え可能であることを特徴とする。
【０００９】
また、上記本発明の仮想オブジェクト表示システムにおいて、複数の仮想オブジェクト表示装置の各表示制御部は、第２の表示制御に切り替えた後、他の仮想オブジェクト表示装置の表示情報取得部によって取得される表示情報が変更された場合には、その変更された表示情報に基づいて、仮想オブジェクトの表示を変更することができる。
【００１０】
また、上記本発明の仮想オブジェクト表示システムにおいて、表示情報は、仮想オブジェクトを表示するための大きさの情報も含むことができ、複数の仮想オブジェクト表示装置の各表示制御部は、第２の表示制御に切り替えた後、他の仮想オブジェクト表示装置の表示情報取得部によって取得される表示情報が変更された場合には、大きさの情報以外の変更された表示情報に基づいて、仮想オブジェクトの表示を変更することができる。
【００１１】
また、上記本発明の仮想オブジェクト表示システムにおいて、複数の仮想オブジェクト表示装置の各表示制御部は、第２の表示制御に切り替えた後、複数の仮想オブジェクト表示装置のそれぞれの表示情報取得部によって取得された表示情報の変更に応じて、仮想オブジェクトの表示を変更することができる。
【００１２】
また、上記本発明の仮想オブジェクト表示システムにおいて、複数の仮想オブジェクト表示装置は、背景映像を取得する撮影部をそれぞれ備えることができ、複数の仮想オブジェクト表示装置の各表示制御部は、第１の表示制御の場合には、複数の仮想オブジェクト表示装置のそれぞれの撮影部によって取得された背景映像と仮想オブジェクトとを重ねて表示させ、第２の表示制御の場合には、複数の仮想オブジェクト表示装置のそれぞれの撮影部によって取得された背景映像と同じ向きの仮想オブジェクトとを重ねて表示させる第３の表示制御と、他の仮想オブジェクト表示装置の撮影部によって取得された背景映像と同じ向きの仮想オブジェクトとを重ねて表示させる第４の表示制御とを切り替え可能にすることができる。
【００１３】
また、上記本発明の仮想オブジェクト表示システムにおいて、ユーザによって仮想オブジェクト表示装置に表示された仮想オブジェクト上の位置が指定された後、その指定された位置情報を取得する指定位置情報取得部を備えることができ、仮想オブジェクト上の位置を指定したユーザに対応する仮想オブジェクト表示装置以外の仮想オブジェクト表示装置の表示制御部は、指定位置情報取得部によって取得された位置情報に基づいて、仮想オブジェクト上に指定された位置を表す画像を表示させることができる。
【００１４】
また、上記本発明の仮想オブジェクト表示システムにおいて、第１の表示制御と第２の表示制御との切り替え指示を受け付ける切替指示受付装置を備えることができ、複数の仮想オブジェクト表示装置の各表示制御部は、切替指示受付装置によって受け付けられた切り替え指示に応じて、第１の表示制御と第２の表示制御とを切り替えることができる。
【００１５】
また、上記本発明の仮想オブジェクト表示システムにおいて、表示情報取得部は、仮想オブジェクト表示用のマーカを撮影したマーカ画像から表示情報を取得することができる。
【００１６】
また、仮想オブジェクトは３次元画像とすることができる。
【００１７】
また、３次元画像は医用３次元画像とすることができる。
【００１８】
また、表示部は、眼鏡型表示装置とすることができる。
【００１９】
本発明の仮想オブジェクト表示システムの制御方法は、仮想オブジェクトを取得し、仮想オブジェクトを表示するための位置情報および仮想オブジェクトを表示するための向きの情報を含む表示情報を取得し、表示情報に基づいて、仮想オブジェクトを表示部に表示させる仮想オブジェクト表示装置を複数備えた仮想オブジェクト表示システムの表示制御方法であって、複数の仮想オブジェクト表示装置が、複数の仮想オブジェクト表示装置のそれぞれで取得された表示情報に基づいて仮想オブジェクトを表示させる第１の表示制御と、他の仮想オブジェクト表示装置で取得された表示情報に基づいて表示された仮想オブジェクトと同じ向きの仮想オブジェクトを表示させる第２の表示制御とを切り替えることを特徴とする。
【００２０】
本発明の仮想オブジェクト表示システムの表示制御プログラムは、仮想オブジェクトを取得し、仮想オブジェクトを表示するための位置情報および仮想オブジェクトを表示するための向きの情報を含む表示情報を取得し、表示情報に基づいて、仮想オブジェクトを表示部に表示させる仮想オブジェクト表示装置を複数備えた仮想オブジェクト表示システムの表示制御プログラムであって、複数の仮想オブジェクト表示装置のそれぞれで取得された表示情報に基づいて仮想オブジェクトを表示させる第１の表示制御と、他の仮想オブジェクト表示装置で取得された表示情報に基づいて表示された仮想オブジェクトと同じ向きの仮想オブジェクトを表示させる第２の表示制御とを切り替える手順を複数の仮想オブジェクト表示装置に実行させることを特徴とする。
【発明の効果】
【００２１】
本発明の仮想オブジェクト表示システムおよびその表示制御方法並びに表示制御プログラムによれば、複数の仮想オブジェクト表示装置において共通の仮想オブジェクトを表示する際、複数の仮想オブジェクト表示装置のそれぞれで取得された表示情報に基づいて仮想オブジェクトを表示させる第１の表示制御と、他の仮想オブジェクト表示装置で取得された表示情報に基づいて表示された仮想オブジェクトと同じ向きの仮想オブジェクトを表示させる第２の表示制御とを切り替える。したがって、共通の仮想オブジェクトを各観察者がいる方向から観察可能な第１の表示制御と、たとえば執刀医などが見ている仮想オブジェクトと同じ方向の仮想オブジェクトをその他の観察者が観察可能な第２の表示制御とを切り替えることができるので、各観察者は、移動することなく、状況に応じて適切な方向から仮想オブジェクトを観察することができる。
【図面の簡単な説明】
【００２２】
【図１】本発明の仮想オブジェクト表示システムの一実施形態の使用状況を説明するための図
【図２】本発明の仮想オブジェクト表示システムの一実施形態の概要を示すハードウェア構成図
【図３】仮想オブジェクト表示装置であるヘッドマウントディスプレイの概略構成を示すブロック図
【図４】マーカの一例を示す図
【図５】背景映像から抽出したマーカ画像を示す図
【図６】通常モードにおける各ヘッドマウントディスプレイの仮想オブジェクトの表示状態を示す図
【図７】共有モードに切り替えた場合の座標軸の設定を説明するための図
【図８】共有モードにおける各ヘッドマウントディスプレイの仮想オブジェクトの表示状態を示す図
【図９】共有モードにおける仮想オブジェクトの連動表示を説明するための図
【図１０】本発明の仮想オブジェクト表示システムの一実施形態の作用を説明するためのフローチャート
【図１１】仮想オブジェクト表示装置であるヘッドマウントディスプレイのその他の実施形態を示すブロック部
【図１２】共有モードにおいて、仮想オブジェクト上において指定された位置情報に基づいて、その位置を示す画像を仮想オブジェクトに表示させる例を説明するための図
【発明を実施するための形態】
【００２３】
以下、図面を参照して本発明の仮想オブジェクト表示システムの一実施形態について説明する。図１は、本実施形態の仮想オブジェクト表示システムの使用状況を説明するための図である。
【００２４】
仮想オブジェクト表示システムは、手術前のカンファレンスにおいて、拡張現実感を用いて、手術対象の３次元画像を仮想オブジェクトとして表示するためのものである。具体的には、被検体を撮影することにより取得した３次元画像から、手術対象の３次元画像を仮想オブジェクトとして生成し、手術前カンファレンスにおいて、手術の参加者がヘッドマウントディスプレイ（以下、ＨＭＤ（Head Mount Display）とする）１Ａ〜１Ｄを装着し、ＨＭＤ１Ａ〜１Ｄに仮想オブジェクトＳ０を表示して、手術前カンファレンスの代表者である執刀医から手術に関する各種説明を受ける状況において使用される。なお、ＨＭＤ１Ａ〜１Ｄが本発明の仮想オブジェクト表示装置に相当するものである。
【００２５】
本実施形態では、図１に示す３１Ａが執刀医であり、図１に示す３１Ｂ〜３１Ｄが執刀医以外の手術の参加者であるとする。そして、本実施形態では、執刀医３１Ａが、後述する通常モードと共有モードとを切り替える切替コントローラ５０を持つものとする。この切替コントローラ５０が、本発明の切替指示受付装置に相当するものである。
【００２６】
図２は、本実施形態の仮想オブジェクト表示システムの概要を示すハードウェア構成図である。図２に示すように、本実施形態の仮想オブジェクト表示システムは、４つのＨＭＤ１Ａ〜１Ｄ、３次元画像撮影装置２および画像保管サーバ３を備えている。４つのＨＭＤ１Ａ〜１Ｄ、３次元画像撮影装置２および画像保管サーバ３は、ネットワーク４を経由して通信可能な状態で接続されている。また、以下の説明においては、４つのＨＭＤ１Ａ〜１ＤをＨＭＤ１で代表させる場合があるものとする。
【００２７】
また、ＨＭＤ１Ａ〜１Ｄの間においても、ネットワーク４を経由して情報のやりとりが可能となっている。また、ＨＭＤ１Ａ〜１Ｄと切替コントローラ５０との間は無線通信可能に構成されており、切替コントローラ５０から出力されたモード切替信号は、無線通信を介してＨＭＤ１Ａ〜１Ｄによって受信される。
【００２８】
３次元画像撮影装置２は、被検体の手術対象となる部位を撮影することにより、その部位を表す３次元画像Ｖ０を生成する装置であり、具体的には、ＣＴ装置、ＭＲＩ装置、およびＰＥＴ(Positron Emission Tomography )装置等である。この３次元画像撮影装置２により生成された３次元画像Ｖ０は画像保管サーバ３に送信され、保存される。なお、本実施形態においては、３次元画像撮影装置２としてＣＴ装置を用い、そのＣＴ装置によって手術対象である頭部を撮影し、頭部の３次元画像Ｖ０を生成するものとする。
【００２９】
画像保管サーバ３は、各種データを保存して管理するコンピュータであり、大容量外部記憶装置およびデータベース管理用ソフトウェアを備えている。画像保管サーバ３は、有線あるいは無線のネットワーク４を介して他の装置と通信を行い、画像データ等を送受信する。具体的には３次元画像撮影装置２で生成された３次元画像Ｖ０等の画像データをネットワーク経由で取得し、大容量外部記憶装置等の記録媒体に保存して管理する。なお、画像データの格納形式やネットワーク４経由での各装置間の通信は、ＤＩＣＯＭ（Digital Imaging and Communication in Medicine）等のプロトコルに基づいている。
【００３０】
ＨＤＭ１は、コンピュータを備え、コンピュータに、本発明の仮想オブジェクト表示プログラムをインストールしたものである。仮想オブジェクト表示プログラムは、ＨＭＤ１が有するメモリにインストールされる。または、ネットワークに接続されたサーバコンピュータの記憶装置もしくはネットワークストレージに外部からアクセス可能な状態で記憶され、要求に応じてＨＭＤ１にダウンロードされてインストールされる。
【００３１】
図３は仮想オブジェクト表示プログラムをインストールすることにより実現された仮想オブジェクト表示装置であるＨＭＤ１の概略構成を示すブロック図である。図３に示すように、ＨＭＤ１は、ＣＰＵ（Central Processing Unit）１１、メモリ１２、ストレージ１３、カメラ１４、ディスプレイ１５、および入力部１６を備える。なお、カメラ１４が、本発明の撮影部に相当し、ディスプレイ１５が、本発明の表示部に相当するものである。また、カメラ１４およびディスプレイ１５をＨＭＤ１の頭への装着部分に設け、メモリ１２、ストレージ１３および入力部１６を装着部分とは別体として設けるようにしてもよい。
【００３２】
ストレージ１３には、ネットワーク４を経由して画像保管サーバ３から取得した３次元画像Ｖ０およびＨＭＤ１での処理によって生成された画像を含む各種情報が記憶されている。
【００３３】
カメラ１４は、レンズ、ＣＣＤ(Charge Coupled Device)等の撮像素子および取得した画像に画質を向上させるための処理を行う画像処理部等を備える。図２に示すように、カメラ１４は、執刀医３１Ａおよび参加者３１Ｂ〜３１ＤがＨＭＤ１を装着した際に、装着者の視野とカメラ１４の撮影範囲とが一致するように、ＨＭＤ１における装着者の両目の中央に対応する部分に位置するように、ＨＭＤ１に取り付けられている。したがって、執刀医３１Ａおよび参加者３１Ｂ〜３１ＤがＨＭＤ１を装着すると、カメラ１４は装着者の視野に対応する画像を撮影する。これにより、装着者が見ている現実空間の映像が背景映像Ｂ０として取得される。背景映像Ｂ０は所定のフレームレートを有する動画像となる。
【００３４】
ディスプレイ１５は、背景映像Ｂ０および仮想オブジェクトＳ０を表示するための液晶パネル等からなる。なお、ディスプレイ１５は、ＨＭＤ１の装着者の左目用および右目用の表示部を備える。
【００３５】
入力部１６は、例えばボタン等からなり、ＨＭＤ１の外装の予め定められた位置に設けられる。
【００３６】
また、メモリ１２には、仮想オブジェクト表示プログラムが記憶されている。そして、仮想オブジェクト表示プログラムがＣＰＵ１１によって実行されることによって、図３に示す画像取得部２１、仮想オブジェクト取得部２２、表示情報取得部２３および表示制御部２４が機能する。
【００３７】
画像取得部２１は、３次元画像Ｖ０およびカメラ１４により撮影された背景映像Ｂ０を取得する。画像取得部２１は、３次元画像Ｖ０が既にストレージ１３に記憶されている場合には、ストレージ１３から取得するようにしてもよい。
【００３８】
仮想オブジェクト取得部２２は、手術の対象部位である頭部の３次元形状を表す画像を仮想オブジェクトＳ０として生成するものである。具体的には、後述する表示情報により定められる投影面に、頭部の３次元形状を表す画像を投影した投影像を、仮想オブジェクトＳ０として生成する。ここで、投影の具体的な方法としては、例えば、公知のボリュームレンダリング手法等を用いる。なお、仮想オブジェクトの生成方法としては、これに限らず、その他の公知な手法を用いることができる。
【００３９】
また、不図示の仮想オブジェクト生成装置において３次元画像Ｖ０から仮想オブジェクトＳ０を生成して画像保管サーバ３に保管しておくようにしてもよい。この場合、仮想オブジェクト取得部２２は、画像保管サーバ３から仮想オブジェクトＳ０を取得するものとなる。
【００４０】
表示情報取得部２３は、背景映像Ｂ０から、仮想オブジェクトＳ０を表示する位置、大きさおよび方向を表す表示情報を取得する。本実施形態においては、仮想オブジェクト表示用のマーカを撮影することにより背景映像Ｂ０に含まれる、マーカを表すマーカ画像から表示情報を取得する。図４は、本実施形態で用いるマーカを示す図である。図４に示すようにマーカ３０は、２次元バーコードを板に貼り付けることにより構成されている。なお、マーカ３０は、２次元バーコードを紙に印刷したものであってもよい。図１に示すようにマーカ３０は手術前カンファレンスを行う場所に置かれる。執刀医３１Ａおよび参加者３１Ｂ〜３１ＤはそれぞれＨＭＤ１Ａ〜１Ｄを装着する。ＨＭＤ１Ａ〜１Ｄにおいては、カメラ１４により撮影された背景映像Ｂ０がディスプレイ１５に表示される。参加者は、ディスプレイ１５に表示される背景映像Ｂ０にマーカ３０の画像であるマーカ画像が含まれるように，視線をマーカ３０の方向に向ける。
【００４１】
表示情報取得部２３は、マーカ３０を表すマーカ画像を背景映像Ｂ０から抽出する。図５は背景映像Ｂ０から抽出したマーカ画像３２を示す図である。なお、図５に示すマーカ画像３２は、執刀医３１ＡのＨＭＤ１Ａにより取得したものである。ここで、マーカ３０の２次元バーコードは図４に示すように３つの基準点３０ａ〜３０ｃを含む。表示情報取得部２３は、抽出したマーカ画像３２において、基準点３０ａ〜３０ｃを検出する。そして、検出した基準点３０ａ〜３０ｃの位置および基準点間の間隔から、仮想オブジェクトＳ０を表示する際の位置、大きさおよび向きを決定する。
【００４２】
ここで、本実施形態においては、通常モードでは、基準点３０ａ，３０ｂが横に並んで見える位置を、仮想オブジェクトＳ０を表示する際の正面位置に定義する。このため、マーカ画像３２において、基準点３０ａ，３０ｂの位置を検出することにより、仮想オブジェクトＳ０のマーカ３０に直交する軸（以下、ｚ軸とする）に関する正面位置からの回転位置を決定できる。また、基準点３０ａ，３０ｂ間の距離とあらかじめ定められた基準値との相違により、仮想オブジェクトＳ０を表示する際の大きさを決定できる。また、基準点３０ａ〜３０ｃを頂点とする３角形の基準となる形状からの相違により、仮想オブジェクトＳ０のｚ軸に直交する２つの軸（以下、ｘ軸およびｙ軸とする）に関する基準位置からの回転位置すなわち向きを決定できる。表示情報取得部２３は、決定した仮想オブジェクトＳ０の位置、大きさおよび向きを表示情報として出力する。
【００４３】
表示制御部２４は、表示情報を用いて、仮想オブジェクトＳ０を投影する投影面を規定し、その投影面に仮想オブジェクトＳ０を投影する。そして投影された仮想オブジェクトＳ０を背景映像Ｂ０に重畳して、ディスプレイ１５に表示する。図１では、手術前カンファレンスを行う場所における仮想オブジェクトＳ０の表示状態を模式的に示している。図１に示すように、執刀医３１Ａおよび参加者３１Ｂ〜３１Ｄは、現実空間におけるマーカ３０上に、自身がいる位置に応じた大きさおよび向きを有する頭部の３次元画像が仮想オブジェクトＳ０として表示されている状態をディスプレイ１５によって観察することができる。
【００４４】
なお、表示制御部２４は、視差を有するようにディスプレイ１５の左目用の表示部および右目用の表示部に、仮想オブジェクトＳ０を表示する。これにより、執刀医３１Ａおよび参加者３１Ｂ〜３１Ｄは仮想オブジェクトＳ０を立体視することができる。
【００４５】
また、この状態において，マーカ３０をｚ軸に関して回転したり、傾けたりすることにより、ディスプレイ１５に表示される仮想オブジェクトＳ０の向きを変更することができる。
【００４６】
ここで、図１に示すように、たとえば執刀医３１Ａが、仮想オブジェクトＳ０の正面位置に立ち、参加者３１Ｃが、執刀医３１Ａの向かい側に立ち、参加者３１Ｂが、執刀医３１Ａの右側に立ち、参加者３１Ｄが、執刀医３１Ａの左側に立っている状態では、参加者３１Ｃは、頭部の仮想オブジェクトＳ０の後ろ側を観察し、参加者３１Ｂは、頭部の仮想オブジェクトＳ０の左側を観察し、参加者３１Ｄは、頭部の仮想オブジェクトＳ０の左側を観察している状態となる。
【００４７】
図６の１０Ａは、執刀医３１ＡのＨＭＤ１Ａのディスプレイ１５に表示されている仮想オブジェクトＳ０の状態を示し、図６の１０Ｂは、参加者３１ＢのＨＭＤ１Ｂのディスプレイ１５に表示されている仮想オブジェクトＳ０の状態を示し、図６の１０Ｃは、参加者３１ＣのＨＭＤ１Ｃのディスプレイ１５に表示されている仮想オブジェクトＳ０の状態を示し、図６の１０Ｄは、参加者３１ＤのＨＭＤ１Ａのディスプレイ１５に表示されている仮想オブジェクトＳ０の状態を示している。
【００４８】
図６に示すように、執刀医３１Ａおよび参加者３１Ｂ〜３１Ｄのそれぞれのディスプレイ１５には、執刀医３１Ａおよび参加者３１Ｂ〜３１Ｄとマーカ３０（マーカ画像３２）とのそれぞれ位置関係に応じた向きの仮想オブジェクトＳ０が表示される。本実施形態では、このような仮想オブジェクトＳ０の表示状態を通常モードと呼ぶものとする。なお、この通常モードでは、図６に示すように、執刀医３１Ａおよび参加者３１Ｂ〜３１Ｄのそれぞれのディスプレイ１５の右上の隅に、現在通常モードに設定されていることを示す赤色の丸いマークが表示される。
【００４９】
ここで、上述したように手術前カンファレンスにおいては、特定の方向から観察しなければ見づらい部位を見たい場合や参加者３１Ｂ〜３１Ｄが執刀医３１Ａと同じ方向から見た視野で見たい場合などがあるが、マーカ３０を用いた上述した通常モードの表示状態では、各参加者３１Ｂ〜３１Ｄが見やすい位置まで移動する必要がある。また、手術前カンファレンスの参加者が多い場合、全員が同じ角度から見ることは困難である。
【００５０】
そこで、本実施形態は、執刀医３１Ａおよび参加者３１Ｂ〜３１Ｄの全員が、同じ向きの仮想オブジェクトＳ０を観察できるようにＨＭＤ１Ａ〜１Ｄのそれぞれのディスプレイ１５に同じ向きの仮想オブジェクトＳ０を表示させる共有モードへの切り替えが可能に構成されている。なお、上述した通常モードが、本発明の第１の表示制御に相当し、共有モードが、本発明の第２の表示制御に相当する。以下、通常モードから共有モードへの切り替えについて、詳細に説明する。
【００５１】
通常モードから共有モードへの切り替えは、図１に示す切替コントローラ５０によって行われる。具体的には、執刀医３１Ａが、切替コントローラ５０のモード切替ボタン５１を押下すると、切替コントローラ５０からＨＭＤ１Ａ〜１Ｄに対して、通常モードから共有モードへの切替指示信号が出力される。
【００５２】
ＨＭＤ１Ａ〜１Ｄのそれぞれの表示制御部２４は、共有モードへの切替指示信号を受信した場合には、現在、それぞれのＨＭＤ１Ａ〜１Ｄによって撮像されているマーカ３０の姿勢を初期状態として登録する。すなわち、各表示制御部２４は、現在撮像されているマーカ３０の基準点３０ａ，３０ｂ，３０ｃの位置関係を初期状態とし、図７に示すようにx方向、ｙ方向およびz方向の座標軸を新たに設定する。
【００５３】
そして、共有モードに切り替える直前に、執刀医３１ＡのＨＭＤ１Ａの表示情報取得部２３によって取得されていた表示情報が、参加者３１Ｂ〜３１ＤのＨＭＤ１Ｂ〜１Ｄに出力される。そして、執刀医３１ＡのＨＭＤ１Ａから出力された表示情報は、参加者３１Ｂ〜３１ＤのＨＭＤ１Ｂ〜１Ｄの表示情報取得部２３によって取得され、ＨＭＤ１Ｂ〜１Ｄの表示制御部２４は、その取得された表示情報に基づいて、仮想オブジェクトＳ０をディスプレイ１５に表示させる。すなわち、参加者３１Ｂ〜３１ＤのＨＭＤ１Ｂ〜１Ｄにディスプレイ１５には、執刀医３１ＡのＨＭＤ１Ａのディスプレイ１５に表示された仮想オブジェクトＳ０と同じ向きの仮想オブジェクトＳ０が表示される。
【００５４】
なお、共有モードに切り替えた場合に、執刀医３１ＡのＨＭＤ１Ａから出力される表示情報としては、仮想オブジェクトＳ０を表示する大きさおよび方向を表す表示情報のうち、方向を表す情報のみとし、大きさを表す表示情報を含めないようにすることが望ましい。そして、参加者３１Ｂ〜３１ＤのＨＭＤ１Ｂ〜１Ｄの表示制御部２４は、自身のＨＭＤ１Ｂ〜１Ｄの表示情報取得部２３によって取得された大きさを表す表示情報に基づいて、仮想オブジェクトＳ０を表示させることが望ましい。仮想オブジェクトＳ０の大きさについては、参加者３１Ｂ〜３１Ｄとマーカ３０との実際の位置関係に基づいて決定した方がより現実に近い表示をすることができるからである。
【００５５】
図８は、共有モードに切り替えられた後のＨＭＤ１Ａ〜１Ｄのディスプレイ１５にそれぞれ表示された仮想オブジェクトＳ０の状態を示すものである。図８に示すように、全てのＨＭＤ１Ａ〜１Ｄのディスプレイ１５に同じ向きの仮想オブジェクトＳ０を表示させることができる。また、共有モードでは、図８に示すように、執刀医３１Ａおよび参加者３１Ｂ〜３１Ｄのそれぞれのディスプレイ１５の右上の隅に、現在共有モードに設定されていることを示す緑色の丸いマークが表示される。なお、本実施形態においては、上述したように通常モードでは赤色の丸いマークを表示し、共有モードでは緑色の丸いマークを表示するようにしたが、これらのマーク表示に限らず、要するに、現在通常モードに設定されているのか、または共有モードに設定されているのかを示す表示であればその他の表示方法でもよい。
【００５６】
また、図８は、共有モードに切り替える直前に、執刀医３１ＡのＨＭＤ１Ａのディスプレイ１５に正面位置の仮想オブジェクトＳ０が表示されていた場合の表示例であるが、必ずしも正面位置でなくてもよく、たとえば共有モードに切り替える直前に、執刀医３１ＡのＨＭＤ１Ａのディスプレイ１５に、右斜め方向から見た仮想オブジェクトＳ０が表示されていた場合には、共有モードに切り替えられた後には、参加者３１Ｂ〜３１ＤのＨＭＤ１Ｂ〜１Ｄのディスプレイ１５にも、右斜め方向から見た仮想オブジェクトＳ０が表示される。
【００５７】
さらに、共有モードに切り替えられた後、執刀医３１Ａが移動して執刀医３１Ａをマーカ３０との位置関係が変更され、執刀医３１ＡのＨＭＤ１Ａの表示情報取得部２３によって取得される表示情報が変更された場合には、その変更後の表示情報が、参加者３１Ｂ〜３１ＤのＨＭＤ１Ｂ〜１Ｄに出力され、それぞれの表示情報取得部２３によって取得される。そして、参加者３１Ｂ〜３１ＤのＨＭＤ１Ｂ〜１Ｄの表示制御部２４は、自身のＨＭＤ１Ｂ〜１Ｄの表示情報取得部２３によって取得された表示情報に基づいて、仮想オブジェクトＳ０を表示させる。これにより執刀医３１ＡのＨＭＤ１Ａの仮想オブジェクトＳ０の表示の変更に連動させて参加者３１Ｂ〜３１ＤのＨＭＤ１Ｂ〜１Ｄの仮想オブジェクトＳ０の表示の変更することができる。図８は、執刀医３１Ａが参加者３１Ｂの位置まで移動した場合の、ＨＭＤ１Ａ〜１Ｄのディスプレイ１５に表示された仮想オブジェクトＳ０を表したものである。
【００５８】
なお、上述したように連動表示させる場合にも、執刀医３１ＡのＨＭＤ１Ａから出力される表示情報としては、仮想オブジェクトＳ０を表示する大きさおよび方向を表す表示情報のうち、方向を表す情報のみとし、大きさを表す表示情報を含めないようにすることが望ましい。
【００５９】
また、本実施形態では、上述したように執刀医３１ＡのＨＭＤ１Ａの仮想オブジェクトＳ０の表示の変更に連動させて参加者３１Ｂ〜３１ＤのＨＭＤ１Ｂ〜１Ｄの仮想オブジェクトＳ０の表示の変更するようにしたが、このような連動表示を行わずに、各参加者３１Ｂ〜３１ＤのＨＭＤ１Ｂ〜１Ｄの仮想オブジェクトＳ０の表示変更については、各ＨＭＤ１Ｂ〜１Ｄにおいて独立して行うようにしてもよい。すなわち、共有モードに切り替えられた後、参加者３１Ｂ〜３１ＤのＨＭＤ１Ｂ〜１Ｄの表示制御部２４は、自身のＨＭＤ１Ｂ〜１Ｄの表示情報取得部２３によって取得された表示情報の変更に応じて、仮想オブジェクトＳ０の表示を変更させるようにしてもよい。
【００６０】
また、上述したような連動モードと連動させない独立モードとを切り替え可能に構成するようにしてもよい。連動モードと独立モードとの切り替えは、切替コントローラ５０によって行うようにしてもよいし、参加者３１Ｂ〜３１ＤのＨＭＤ１Ｂ〜１Ｄの入力部１６を用いて行うようにしてもよい。
【００６１】
また、上述した共有モードにおいて、仮想オブジェクトＳ０だけでなく、背景映像Ｂ０についても共有するようにしてもよい。すなわち、共有モードに切り替えられた場合、執刀医３１ＡのＨＭＤ１Ａのカメラ１４によって撮影された背景映像Ｂ０を参加者３１Ｂ〜３１ＤのＨＭＤ１Ｂ〜１Ｄに出力するようしてもよい。そして、参加者３１Ｂ〜３１ＤのＨＭＤ１Ｂ〜１Ｄの表示制御部２４が、自身のＨＭＤ１Ｂ〜１Ｄのカメラによって撮影された背景映像Ｂ０ではなく、執刀医３１ＡのＨＭＤ１Ａのカメラ１４によって撮影された背景映像Ｂ０に対して仮想オブジェクトＳ０を重ね合わせてディスプレイ１５に表示させるようにしてもよい。
【００６２】
なお、背景映像Ｂ０を共有しない、すなわち参加者３１Ｂ〜３１ＤのＨＭＤ１Ｂ〜１Ｄの表示制御部２４が、自身のＨＭＤ１Ｂ〜１Ｄのカメラによって撮影された背景映像Ｂ０に対して仮想オブジェクトＳ０を重ね合わせてディスプレイ１５に表示させる背景非共有モードと、上述した背景映像Ｂ０を共有する背景共有モードとを切り替え可能に構成するようにしてもよい。なお、背景非共有モードが、本発明の第３の表示制御に相当し、背景共有モードが、本発明の第４の表示制御に相当する。背景非共有モードと背景共有モードとの切り替えは、切替コントローラ５０によって行うようにしてもよいし、参加者３１Ｂ〜３１ＤのＨＭＤ１Ｂ〜１Ｄの入力部１６を用いて行うようにしてもよい。
【００６３】
次に、本実施形態の仮想オブジェクト表示システムの作用について、図１０に示すフローチャートを参照しながら説明する。
【００６４】
まず、各ＨＭＤ１Ａ〜１Ｄの画像取得部２１が、３次元画像Ｖ０および背景映像Ｂ０を取得し（ステップＳＴ１０）、仮想オブジェクト取得部２２が３次元画像Ｖ０から仮想オブジェクトＳ０を取得する（ステップＳＴ１２）。また、各ＨＭＤ１Ａ〜１Ｄの表示情報取得部２３が、マーカ３０を表すマーカ画像３２を背景映像Ｂ０から抽出し、マーカ画像３２から仮想オブジェクトＳ０を表示する位置、大きさおよび向きを表す表示情報を取得する（ステップＳＴ１４）。そして、各ＨＭＤ１Ａ〜１Ｄの表示制御部２４が、表示情報を用いて、背景映像Ｂ０に仮想オブジェクトＳ０を重畳して、ディスプレイ１５に表示する（ステップＳＴ１６）。これにより、ＨＭＤ１を装着している手術前カンファレンスの執刀医３１Ａおよび参加者３１Ｂ〜３１Ｄは、現実空間に仮想オブジェクトＳ０が表示されている状態を観察することができる。
【００６５】
そして、上述した通常モードの状態において、執刀医３１Ａが切替コントローラ５０を用いて共有モードへの切り替え指示を行った場合には（ＳＴ１８，ＹＥＳ）、上述した共有モードに切り替えられ、参加者３１Ｂ〜３１ＤのＨＭＤ１Ｂ〜１Ｄのディスプレイ１５には、執刀医３１ＡのＨＭＤ１Ａのディスプレイ１５に表示されている仮想オブジェクトＳ０と同じ向きの仮想オブジェクトＳ０が表示される（ＳＴ２０）。
【００６６】
次に、共有モードの状態において、執刀医３１Ａが切替コントローラ５０を用いて通常モードへの切り替え指示を行った場合には（ＳＴ２２，ＹＥＳ）、通常モードに切り替えられ、参加者３１Ｂ〜３１ＤのＨＭＤ１Ｂ〜１Ｄのディスプレイ１５には、各参加者３１Ｂ〜３１Ｄとマーカ３０との位置関係に基づいた仮想オブジェクトＳ０、すなわち各参加者３１Ｂ〜３１Ｄの位置に応じた向きの仮想オブジェクトＳ０が表示される（ＳＴ２４）。
【００６７】
なお、ＳＴ１８において共有モードに切り替えず（ＮＯ）、処理を終了する指示がされた場合（ＳＴ２６，ＹＥＳ）、ＳＴ２２において通常モードに切り替えず（ＮＯ）、処理を終了する指示がされた場合（ＳＴ２８，ＹＥＳ）、通常モードに切り替えられた後、処理を終了する指示がされた場合（ＳＴ２６，ＹＥＳ）には、そのまま処理を終了する。
【００６８】
上記実施形態の仮想オブジェクト表示システムによれば、複数のＨＭＤ１において共通の仮想オブジェクトを表示する際、複数のＨＭＤ１のそれぞれで取得された表示情報に基づいて仮想オブジェクトを表示させる通常モードと、他のＨＭＤ１で取得された表示情報に基づいて表示された仮想オブジェクトと同じ向きの仮想オブジェクトを表示させる共有モードとを切り替える。したがって、共通の仮想オブジェクトを各観察者がいる方向から見ることができる通常モードと、たとえば執刀医などが見ている仮想オブジェクトと同じ方向の仮想オブジェクトをその他の観察者が観察可能な共有モードとを切り替えることができるので、各観察者は、移動することなく、状況に応じて適切な方向から仮想オブジェクトを観察することができる。
【００６９】
また、上記実施形態の仮想オブジェクト表示システムにおいて、図１１に示すように指定位置情報取得部１７をさらに設けるようにしてもよい。そして、共有モードにおいて、図１２に示すように、執刀医３１Ａによって仮想オブジェクトＳ０上の位置が指で指定された場合、その指定された位置情報を指定位置情報取得部１７によって取得し、参加者３１Ｂ〜３１ＤのＨＭＤ１Ｂ〜１Ｄの表示制御部２４が、指定位置情報取得部１７によって取得された位置情報に基づいて、自身のディスプレイ１５に表示されている仮想オブジェクト上に、指定された位置を表す矢印の画像Ｍを表示させるようにしてもよい。このように執刀医３１Ａが指差している仮想オブジェクトＳ０上の位置を参加者３１Ｂ〜３１Ｄが把握できることによって、執刀医３１Ａが現在着目している箇所を参加者３１Ｂ〜３１Ｄが明確に知ることができる。なお、矢印の画像に限らず、その他のマークなどでもよい。
【００７０】
指定位置情報取得部１７としては、たとえば３次元位置センサなどを用いることができるが、背景映像Ｂ０に基づいて指の先端位置を検出し、その先端位置とマーカ画像３２の基準点３０ａ，３０ｂ，３０ｃとの位置関係に基づいて、指定位置情報を取得するようにしてもよい。
【００７１】
また、上記説明では、執刀医３１Ａが指で仮想オブジェクトＳ０上の位置を指定するようにしたが、指に限らず、その他のペンまたはポインタなどで位置の指定をするようにしてもよい。
【００７２】
また、上記実施形態においては、執刀医３１Ａが切替コントローラ５０を操作することによって通常モードと共有モードとを切り替えるようにしたが、執刀医３１Ａに限らず、その他の参加者３１Ｂ〜３１Ｄが切替コントローラ５０を操作するようにしてもよい。この場合、たとえば切替コントローラ５０が、切替コントローラ５０に最も近くに存在するＨＭＤ１を認識し、その最も近くに存在するＨＭＤ１に表示されている仮想オブジェクトＳ０と同じ向きの仮想オブジェクトＳ０を他のＨＭＤ１に表示させるようにしてもよい。
【００７３】
さらに、通常モードと共有モードとの切り替えは、ＨＭＤ１の入力部１６において受け付けるようにしてもよく、この場合、たとえば切替指示の入力を受けた入力部１６が属するＨＭＤ１に表示されている仮想オブジェクトＳ０と同じ向きの仮想オブジェクトＳ０を他のＨＭＤ１に表示させるようにしてもよい。
【００７４】
また、上記実施形態においては、２次元バーコードを板に貼り付けたマーカを用いているが、２次元バーコードに代えて予め定められた記号、色、図形あるいは文字等を用いてもよい。また、ＬＥＤ、ペンまたは操作者の指などの予め定められた物体であってもよい。さらに、背景映像Ｂ０に含まれる直線の交点あるいは光る物体等のテクスチャをマーカとして用いてもよい。
【００７５】
また、上記実施形態においては、ＨＭＤ１にカメラ１４を設けているが、カメラ１４をＨＭＤ１とは別体として設けてもよい。この場合においても、ＨＭＤ１の装着者の視野に対応する範囲を撮影するように配置されることが好ましい。
【００７６】
また、上記実施形態においては、本発明による仮想オブジェクト表示装置を、没入型の眼鏡型表示装置であるＨＭＤに適用しているが、透過型の眼鏡型端末装置に適用してもよい。この場合、ディスプレイ１５は透過型のディスプレイとなり、仮想オブジェクトＳ０をディスプレイ１５に表示することにより、仮想オブジェクト表示装置の装着者は、カメラ１４が撮影してディスプレイ１５に表示された背景映像Ｂ０ではなく、自身が実際に見ている現実空間に重畳された仮想オブジェクトＳ０を観察することができる。またこの場合、カメラ１４は、仮想オブジェクトＳ０を表示する位置および大きさを決定するためのマーカ３０を撮影するために用いられることとなる。
【００７７】
また、上記実施形態においては、本発明による仮想オブジェクト表示装置を眼鏡型表示装置に適用しているが、カメラを搭載したタブレット端末に適用してもよい。この場合、執刀医３１Ａおよび参加者３１Ｂ〜３１Ｄは各自タブレット端末を所持し、タブレット端末のディスプレイに背景映像Ｂ０および仮想オブジェクトＳ０が表示されることとなる。
【００７８】
また、上記実施形態においては、仮想オブジェクトＳ０を表示する位置および向きのみを表示情報として用いてもよい。この場合、予め定められた大きさの仮想オブジェクトＳ０をディスプレイ１５に表示すればよい。
【００７９】
また、上記実施形態においては、医用３次元画像から生成した仮想オブジェクトＳ０を表示しているが、仮想オブジェクトＳ０の種類は医用に限定されない。例えば、ゲームのキャラクタあるいは模型等を仮想オブジェクトＳ０として用いてもよい。
【符号の説明】
【００８０】
１    ヘッドマウントディスプレイ
２    ３次元画像撮影装置
３    画像保管サーバ
４    ネットワーク
１２  メモリ
１３  ストレージ
１４  カメラ
１５  ディスプレイ
１６  入力部
１７  指定位置情報取得部
２１  画像取得部
２２  仮想オブジェクト取得部
２３  表示情報取得部
２４  表示制御部
３０  マーカ
３２  マーカ画像
５０  切替コントローラ
５１  モード切替ボタン
【図１】
0006328579.tif 000002
【図２】
0006328579.tif 000003
【図３】
0006328579.tif 000004
【図４】
0006328579.tif 000005
【図５】
0006328579.tif 000006
【図６】
0006328579.tif 000007
【図７】
0006328579.tif 000008
【図８】
0006328579.tif 000009
【図９】
0006328579.tif 000010
【図１０】
0006328579.tif 000011
【図１１】
0006328579.tif 000012
【図１２】
0006328579.tif 000013