(57)【要約】【課題】間仕切りが設けられていないオフィスでも、自己の作業を集中して行うことを可能とする。【解決手段】撮像部３２は、自装置の周囲の実空間の画像を撮像する。表示部３５は、実空間を視認可能な透過型表示部であり、演算処理部３３により生成された仮想オブジェクトの画像を、例えばホログラフィー技術を用いて表示する。仮想オブジェクト描画制御部４３は、撮像部３２により撮像された画像に基づいて、利用者の視界を遮るような壁状の不透明な仮想オブジェクトを描画して、実空間内に存在するように表示部３５に表示する制御を行う。【選択図】図３
2018097141.tif 000002
【特許請求の範囲】
【請求項１】
実空間の画像を撮像する撮像部と、
実空間を視認可能な透過型表示部と、
前記撮像部により撮像された画像に基づいて、利用者の視界を遮るような壁状の不透明な仮想物体を描画して、実空間内に存在するように前記透過型表示部に表示する制御を行う描画制御手段と、
を備えた頭部装着型表示装置。
【請求項２】
前記描画制御手段は、自装置を装着している利用者の、少なくとも前方に壁状の不透明な仮想物体が表示されるように前記透過型表示部を制御する請求項１記載の頭部装着型表示装置。
【請求項３】
前記描画制御手段は、自装置を装着している利用者の周囲を囲うように壁状の不透明な仮想物体が表示されるように前記透過型表示部を制御する請求項１記載の頭部装着型表示装置。
【請求項４】
前記撮像部により撮像された画像から、自装置を装着している利用者の指先の位置を認識する認識手段をさらに備え、
前記描画制御手段は、前記認識手段により認識された利用者の指先の位置までの距離の２倍を一辺の長さとする正四角柱状に、４つの壁状の仮想物体を前記透過型表示部に表示する請求項１記載の頭部装着型表示装置。
【請求項５】
前記撮像部により撮像された画像から、自装置を装着している利用者の指先の位置を認識する認識手段をさらに備え、
前記描画制御手段は、前記認識手段により認識された利用者の指先が、描画した仮想物体の位置と交差した場合、前記透過型表示部に表示した仮想物体を半透明に変化または消去する請求項１から４のいずれか記載の頭部装着型表示装置。
【請求項６】
前記撮像部により撮像された画像から、自装置を装着している利用者の指先の位置を認識する認識手段をさらに備え、
前記描画制御手段は、前記認識手段により認識された利用者の指先が、描画した仮想物体の位置と交差した場合、仮想物体への接触位置に応じて、前記透過型表示部に表示した仮想物体の色彩、表示位置、形状または大きさのうちの少なくとも１つの属性を変更する請求項１から４のいずれか記載の頭部装着型表示装置。
【請求項７】
前記撮像部により撮像された画像から、接近する人の位置を認識する認識手段をさらに備え、
前記描画制御手段は、前記認識手段により認識された人の一部が、描画した仮想物体の位置と交差した場合、前記透過型表示部に表示した仮想物体を半透明に変化または消去する請求項１から４のいずれか記載の頭部装着型表示装置。
【請求項８】
前記描画制御手段は、予め設定された事象が発生した場合、発生した事象に応じた文字情報を、描画した仮想物体上に表示するような制御を行う請求項１から７のいずれか記載の頭部装着型表示装置。
【請求項９】
実空間の画像を撮像する撮像部と、実空間を視認可能な透過型表示部と、前記撮像部により撮像された画像に基づいて、利用者の視界を遮るような壁状の不透明な仮想物体を描画して、実空間内に存在するように前記透過型表示部に表示する制御を行う描画制御手段とを備えた複数の頭部装着型表示装置と、
前記複数の頭部装着型表示装置において透過型表示部に表示しているそれぞれの仮想物体の属性情報を格納し、ある頭部装着型表示装置において透過型表示部に表示している仮想物体を、異なる頭部装着型表示装置の透過型表示部にも表示させるような制御を行う管理サーバと、
を有する仮想物体表示システム。
【請求項１０】
前記複数の頭部装着型表示装置には、それぞれ識別情報が設定されており、
前記管理サーバは、予め登録された識別情報が設定された頭部装着型表示装置に対して、他の頭部装着型表示装置において表示されている仮想物体を表示するよう制御する請求項９記載の仮想物体表示システム。
【請求項１１】
前記複数の頭部装着型表示装置は、それぞれ自装置の現在位置を検出する検出手段を備え、
前記管理サーバは、ある頭部装着型表示装置に対して表示している仮想物体を、予め設定された距離内に存在する他の頭部装着型表示装置に対してのみ表示するよう制御する請求項９記載の仮想物体表示システム。
【請求項１２】
前記管理サーバは、ある頭部装着型表示装置に対して表示している仮想物体の外側に文字情報を表示した状態で、他の頭部装着型表示装置に対して表示するよう制御する請求項９記載の仮想物体表示システム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、頭部装着型表示装置、仮想物体表示システムに関する。
【背景技術】
【０００２】
特許文献１には、現実物体に仮想オブジェクトを重畳させて投影する際に、投影部と現実物体との位置関係によって投影する仮想オブジェクトのパラメータを制御するように投影制御方法が開示されている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０１３−２３５３７４号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
本発明の目的は、間仕切りが設けられていないオフィスでも、自己の作業を集中して行うことが可能な頭部装着型表示装置、仮想物体表示システムを提供することである。
【課題を解決するための手段】
【０００５】
［頭部装着型表示装置］
請求項１に係る本発明は、実空間の画像を撮像する撮像部と、
実空間を視認可能な透過型表示部と、
前記撮像部により撮像された画像に基づいて、利用者の視界を遮るような壁状の不透明な仮想物体を描画して、実空間内に存在するように前記透過型表示部に表示する制御を行う描画制御手段とを備えた頭部装着型表示装置である。
【０００６】
請求項２に係る本発明は、前記描画制御手段が、自装置を装着している利用者の、少なくとも前方に壁状の不透明な仮想物体が表示されるように前記透過型表示部を制御する請求項１記載の頭部装着型表示装置である。
【０００７】
請求項３に係る本発明は、前記描画制御手段が、自装置を装着している利用者の周囲を囲うように壁状の不透明な仮想物体が表示されるように前記透過型表示部を制御する請求項１記載の頭部装着型表示装置である。
【０００８】
請求項４に係る本発明は、前記撮像部により撮像された画像から、自装置を装着している利用者の指先の位置を認識する認識手段をさらに備え、
前記描画制御手段は、前記認識手段により認識された利用者の指先の位置までの距離の２倍を一辺の長さとする正四角柱状に、４つの壁状の仮想物体を前記透過型表示部に表示する請求項１記載の頭部装着型表示装置である。
【０００９】
請求項５に係る本発明は、前記撮像部により撮像された画像から、自装置を装着している利用者の指先の位置を認識する認識手段をさらに備え、
前記描画制御手段は、前記認識手段により認識された利用者の指先が、描画した仮想物体の位置と交差した場合、前記透過型表示部に表示した仮想物体を半透明に変化または消去する請求項１から４のいずれか記載の頭部装着型表示装置である。
【００１０】
請求項６に係る本発明は、前記撮像部により撮像された画像から、自装置を装着している利用者の指先の位置を認識する認識手段をさらに備え、
前記描画制御手段は、前記認識手段により認識された利用者の指先が、描画した仮想物体の位置と交差した場合、仮想物体への接触位置に応じて、前記透過型表示部に表示した仮想物体の色彩、表示位置、形状または大きさのうちの少なくとも１つの属性を変更する請求項１から４のいずれか記載の頭部装着型表示装置である。
【００１１】
請求項７に係る本発明は、前記撮像部により撮像された画像から、接近する人の位置を認識する認識手段をさらに備え、
前記描画制御手段は、前記認識手段により認識された人の一部が、描画した仮想物体の位置と交差した場合、前記透過型表示部に表示した仮想物体を半透明に変化または消去する請求項１から４のいずれか記載の頭部装着型表示装置である。
【００１２】
請求項８に係る本発明は、前記描画制御手段が、予め設定された事象が発生した場合、発生した事象に応じた文字情報を、描画した仮想物体上に表示するような制御を行う請求項１から７のいずれか記載の頭部装着型表示装置である。
【００１３】
[仮想物体表示システム]
請求項９に係る本発明は、実空間の画像を撮像する撮像部と、実空間を視認可能な透過型表示部と、前記撮像部により撮像された画像に基づいて、利用者の視界を遮るような壁状の不透明な仮想物体を描画して、実空間内に存在するように前記透過型表示部に表示する制御を行う描画制御手段とを備えた複数の頭部装着型表示装置と、
前記複数の頭部装着型表示装置において透過型表示部に表示しているそれぞれの仮想物体の属性情報を格納し、ある頭部装着型表示装置において透過型表示部に表示している仮想物体を、異なる頭部装着型表示装置の透過型表示部にも表示させるような制御を行う管理サーバとを有する仮想物体表示システムである。
【００１４】
請求項１０に係る本発明は、前記複数の頭部装着型表示装置には、それぞれ識別情報が設定されており、
前記管理サーバは、予め登録された識別情報が設定された頭部装着型表示装置に対して、他の頭部装着型表示装置において表示されている仮想物体を表示するよう制御する請求項９記載の仮想物体表示システムである。
【００１５】
請求項１１に係る本発明は、前記複数の頭部装着型表示装置が、それぞれ自装置の現在位置を検出する検出手段を備え、
前記管理サーバは、ある頭部装着型表示装置に対して表示している仮想物体を、予め設定された距離内に存在する他の頭部装着型表示装置に対してのみ表示するよう制御する請求項９記載の仮想物体表示システムである。
【００１６】
請求項１２に係る本発明は、前記管理サーバが、ある頭部装着型表示装置に対して表示している仮想物体の外側に文字情報を表示した状態で、他の頭部装着型表示装置に対して表示するよう制御する請求項９記載の仮想物体表示システムである。
【発明の効果】
【００１７】
請求項１に係る本発明によれば、間仕切りが設けられていないオフィスでも、自己の作業を集中して行うことが可能な頭部装着型表示装置を提供することができる。
【００１８】
請求項２に係る本発明によれば、間仕切りが設けられていないオフィスでも、自己の作業を集中して行うことが可能な頭部装着型表示装置を提供することができる。
【００１９】
請求項３に係る本発明によれば、間仕切りが設けられていないオフィスでも、周囲の状況に気を取られることなく、自己の作業を集中して行うことが可能な頭部装着型表示装置を提供することができる。
【００２０】
請求項４に係る本発明によれば、表示する仮想物体の大きさを簡単な操作で設定することが可能な頭部装着型表示装置を提供することができる。
【００２１】
請求項５に係る本発明によれば、表示した仮想物体の向こう側の様子を把握することが可能な頭部装着型表示装置を提供することができる。
【００２２】
請求項６に係る本発明によれば、表示した仮想物体の色彩、表示位置、形状および大きさ等の属性を簡単な操作で変更することが可能な頭部装着型表示装置を提供することができる。
【００２３】
請求項７に係る本発明によれば、他人が接近してきたことを把握することが可能な頭部装着型表示装置を提供することができる。
【００２４】
請求項８に係る本発明によれば、作業中であっても、特定の事象が発生したことを知ることが可能な頭部装着型表示装置を提供することができる。
【００２５】
請求項９に係る本発明によれば、ある頭部装着型表示装置に表示している仮想物体を他の頭部装着型表示装置にも表示させることが可能な仮想物体表示システムを提供することができる。
【００２６】
請求項１０に係る本発明によれば、ある頭部装着型表示装置に表示している仮想物体を、特定の他の頭部装着型表示装置にのみ表示させることが可能な仮想物体表示システムを提供することができる。
【００２７】
請求項１１に係る本発明によれば、ある頭部装着型表示装置に表示している仮想物体を、特定の他の頭部装着型表示装置にのみ表示させることにより、特定の相手からのコンタクトを遮断することが可能な仮想物体表示システムを提供することができる。
【００２８】
請求項１２に係る本発明によれば、ある頭部装着型表示装置に表示している仮想物体を他の頭部装着型表示装置にも表示させる際に、他の頭部装着型表示装置を装着している利用者にメッセージを伝達することが可能な仮想物体表示システムを提供することができる。
【図面の簡単な説明】
【００２９】
【図１】本発明の一実施形態の仮想オブジェクト表示システムのシステム構成を示す図である。
【図２】図１に示したＨＭＤ１０のハードウェア構成を示す図である。
【図３】本発明の一実施形態におけるＨＭＤ１０の機能構成を示すブロック図である。
【図４】本発明の一実施形態におけるＨＭＤ１０の外観を示す図である。
【図５】ＨＭＤ１０を装着した場合の様子を説明するための図である。
【図６】本発明の一実施形態のＨＭＤ１０において仮想オブジェクトの表示命令を受けた場合の動作を説明するためのフローチャートである。
【図７】生成する仮想オブジェクトのサイズ指定の一例を示す図である。
【図８】生成される仮想オブジェクト７０を上面から見た場合の寸法図例である。
【図９】仮想オブジェクト７０を表示する際の、この仮想オブジェクト７０の上面図例を示す図である。
【図１０】仮想オブジェクト７０が表示された状態を斜め後ろから見た場合の斜視図である。
【図１１】仮想オブジェクト７０が表示部３５に表示される前の利用者の視界の様子を模式的に示す図である。
【図１２】仮想オブジェクト７０が表示部３５に表示された後の利用者の視界の様子を模式的に示す図である。
【図１３】仮想オブジェクト７０の色彩を変化させる際の操作例を説明するための図である。
【図１４】仮想オブジェクト７０の高さを変化させる際の操作例を説明するための図である。
【図１５】仮想オブジェクト７０の表示位置を変化させる際の操作例を説明するための図である。
【図１６】「緊急地震速報を受信しました！」という文字情報を仮想オブジェクト７０上に表示する場合を示す図である。
【図１７】「人が接近しています！」という文字情報を仮想オブジェクト７０上に表示する場合を示す図である。
【図１８】接近してきた人８０と交差した仮想オブジェクト７０の面を半透明にする様子を説明するための図である。
【図１９】指先と交差した仮想オブジェクト７０の面を半透明にする様子を説明するための図である。
【図２０】仮想オブジェクト７０を表示させて仕事をしている利用者とは異なる他の利用者９０のＨＭＤ１０にも仮想オブジェクト７０を表示させる様子を説明するための図である。
【図２１】２つのＨＭＤ１０の距離が予め設定された距離以内となり近接したと判定した場合、表示している仮想オブジェクト７０を半透明にする様子を説明するための図である。
【図２２】仮想オブジェクト７１の奥行距離が仮想オブジェクト７０の表示位置よりも遠い場合でも、仮想オブジェクト７０の手前に仮想オブジェクト７１を表示する様子を説明するための図である。
【発明を実施するための形態】
【００３０】
次に、本発明の実施の形態について図面を参照して詳細に説明する。
【００３１】
図１は本発明の一実施形態の仮想オブジェクト（仮想物体）表示システムのシステム構成を示す図である。
【００３２】
近年、ヘッドマウントディスプレイ（以下、ＨＭＤ（Head Mounted Display）と略す。）を用いて、利用者に仮想空間にいるような視覚を与えるＶＲ（Virtual Reality：仮想現実感）が様々な装置で実現されている。
【００３３】
しかし、このＶＲ技術では、ＨＭＤを装着している人にとっては実空間の視覚情報が遮断されてしまう。そのため、実空間の映像に人工的に生成した画像を重ねて表示する技術であるＡＲ（Augmented Reality：拡張現実感）という技術や、現実空間と仮想空間を混合し、現実の物と仮想的な物がリアルタイムで影響しあう新たな空間を構築するＭＲ（Mixed Reality：複合現実感）という技術が提案されている。
【００３４】
ここで、ＡＲ技術では、カメラ等の撮像装置により撮像した実画像上に人工的に生成した画像を重ねて表示しているのに対して、ＭＲ技術では、ＨＭＤを装着した利用者が透過型のディスプレイを通して実空間の様子をリアルタイムで直接視認可能になっている点で異なっている。
【００３５】
そして、本実施形態の仮想オブジェクト表示システムでは、このようなＭＲ技術を用いて、利用者がリアルタイムで視認している実空間内に、人工的に生成した仮想オブジェクトが存在するかのような視覚を与えるような構成となっている。
【００３６】
本実施形態の仮想オブジェクト表示システムは、図１に示されるように、利用者がそれぞれ頭部に装着するための複数のヘッドマウントディスプレイ（以下、ＨＭＤ（Head Mounted Display）と略す。）１０と、各ＨＭＤ１０において表示している仮想オブジェクトの属性情報を管理する管理サーバ２０と、無線ＬＡＮターミナル３０とから構成されている。
【００３７】
ＨＭＤ（頭部装着型表示装置）１０は、利用者の頭部に装着されて使用され、実空間を視認可能な透過型表示部を有し、利用者はこの透過型表示部を介して外部の様子を視認することが可能となっている。そして、ＨＭＤ１０では、この透過型表示部上に仮想物体が表示されることにより、利用者にとっては、実空間内に仮想オブジェクトが存在するかのような視覚を得ることができるような構成となっている。
【００３８】
なお、各ＨＭＤ１０は、それぞれ、Ｂｌｕｅｔｏｏｔｈ（登録商標）やＷｉ-Ｆｉ等の無線通信回線を介して無線ＬＡＮターミナル３０とデータの送受信を行うことにより、管理サーバ２０と接続されている。
【００３９】
そして、それぞれのＨＭＤ１０において表示されている仮想オブジェクトの、色彩、表示位置、形状および大きさ等の属性情報が管理サーバ２０内において格納されている。
【００４０】
次に、図１に示したＨＭＤ１０のハードウェア構成を図２に示す。
【００４１】
ＨＭＤ１０は、図２に示されるように、ＣＰＵ１１、メモリ１２、フラッシュメモリ等の記憶装置１３、無線通信回線を介して管理サーバ２０等の外部装置との間でデータの送信及び受信を行う通信インタフェース（ＩＦ）１４、ＧＰＳ等のシステムを利用して自装置の位置を測定する位置測定部１５、加速度センサ、ジャイロセンサ（角速度センサ）等のセンサ１６、外部の画像を撮影するためのカメラ１７、仮想オブジェクトを表示する表示装置１８を有する。これらの構成要素は、制御バス１９を介して互いに接続されている。
【００４２】
ＣＰＵ１１は、メモリ１２または記憶装置１３に格納された制御プログラムに基づいて所定の処理を実行して、ＨＭＤ１０の動作を制御する。
【００４３】
図３は、上記の制御プログラムが実行されることにより実現されるＨＭＤ１０の機能構成を示すブロック図である。
【００４４】
本実施形態のＨＭＤ１０は、図３に示されるように、位置姿勢検出部３１と、撮像部３２と、演算処理部３３と、通信部３４と、表示部３５とを備えている。また、演算処理部３３は、ジェスチャ認識部４１と、交差判定部４２と、仮想オブジェクト描画制御部４３とから構成されている。
【００４５】
位置姿勢検出部３１は、ＧＰＳ受信装置により位置情報により自装置の位置を検出したり、加速度センサや加速度センサ等の出力信号に基づいて自装置の姿勢変化を検出する。
【００４６】
撮像部３２は、自装置の周囲の実空間の画像を撮像する。
【００４７】
演算処理部３３は、撮像部３２により撮像された周囲の実空間の画像と、位置姿勢検出部３１により検出された自装置の位置情報や姿勢変化の情報に基づいて、表示部３５に表示すべき仮想オブジェクト（仮想物体）の画像を描画する。
【００４８】
通信部３４は、演算処理部３３により生成された仮想オブジェクトの属性情報や自装置の位置情報を管理サーバ２０に送信したり、管理サーバ２０から送信されてきた他のＨＭＤ１０における仮想オブジェクトの属性情報等を受信する。
【００４９】
表示部３５は、実空間を視認可能な透過型表示部であり、演算処理部３３により生成された仮想オブジェクトの画像を、例えばホログラフィー技術を用いて表示する。
【００５０】
ジェスチャ認識部４１は、撮像部３２により撮像された画像から、自装置を装着している利用者の指先の位置を認識したり、自装置に接近する人の位置を認識する。
【００５１】
交差判定部４２は、ジェスチャ認識部４１により認識された利用者の指先が、描画した仮想オブジェクトの位置と交差するか否か、およびジェスチャ認識部４１により認識された自装置に接近しつつある人の一部が、描画した仮想物体の位置と交差するか否かを判定する。
【００５２】
仮想オブジェクト描画制御部４３は、撮像部３２により撮像された画像に基づいて、利用者の視界を遮るような壁状の不透明な仮想オブジェクトを描画して、実空間内に存在するように表示部３５に表示する制御を行う。
【００５３】
具体的には、仮想オブジェクト描画制御部４３は、自装置を装着している利用者の、少なくとも前方に壁状の不透明な仮想オブジェクトが表示されるように表示部３５を制御する。
【００５４】
より具体的には、仮想オブジェクト描画制御部４３は、自装置を装着している利用者の周囲を囲うように壁状の不透明な仮想物体が表示されるように表示部３５を制御する。
【００５５】
さらに、ジェスチャ認識部４１により利用者の指先の位置が認識された場合、仮想オブジェクト描画制御部４３は、自装置からジェスチャ認識部４１により認識された利用者の指先の位置までの距離の２倍を一辺の長さとする正四角柱状に、４つの壁状の仮想オブジェクトを表示部３５に表示する。
【００５６】
そして、仮想オブジェクト描画制御部４３は、ジェスチャ認識部４１により認識された利用者の指先が、描画した仮想オブジェクトの位置と交差した場合、表示部３５に表示した仮想オブジェクトを半透明に変化または消去する。
【００５７】
また、仮想オブジェクト描画制御部４３は、ジェスチャ認識部４１により認識された利用者の指先が、描画した仮想オブジェクトの位置と交差した場合、仮想オブジェクトへの接触位置に応じて、表示部３５に表示した仮想オブジェクトの色彩、表示位置、形状または大きさのうちの少なくとも１つの属性を変更する。
【００５８】
また、仮想オブジェクト描画制御部４３は、ジェスチャ認識部４１により認識された、自装置に接近しつつある人の指先等の一部が、描画した仮想オブジェクトの位置と交差した場合、表示部３５に表示した仮想オブジェクトを半透明に変化または消去する。
【００５９】
さらに、仮想オブジェクト描画制御部４３は、予め設定された事象が発生した場合、発生した事象に応じた文字情報を、描画した仮想オブジェクト上に表示するような制御を行う。例えば、管理サーバ２０において緊急地震速報等の緊急情報を受信するというような事象が発生した場合、「地震が発生しました！」等いうような文字情報を仮想オブジェクト上に表示する。
【００６０】
また、管理サーバ２０は、複数のＨＭＤ１０において表示部に表示しているそれぞれの仮想オブジェクトの属性情報を格納し、あるＨＭＤ１０において表示部に表示している仮想オブジェクトを、異なるＨＭＤ１０の表示部にも表示させるような制御を行う。
【００６１】
また、この複数のＨＭＤ１０にそれぞれ異なるＩＤ（識別情報）を設定しておくことにより、管理サーバ２０は、予め登録されたＩＤが設定されたＨＭＤ１０に対してのみ、あるＨＭＤ１０において表示されている仮想オブジェクトを表示するようにすることができる。
【００６２】
さらに、複数のＨＭＤ１０は、それぞれ自装置の現在位置を検出する位置姿勢検出部３１を備えている。そのため、管理サーバ２０は、あるＨＭＤ１０に対して表示している仮想オブジェクトを、予め設定された距離、例えば１０ｍ以内に存在する他のＨＭＤ１０に対してのみ表示するよう制御することも可能である。
【００６３】
さらに、管理サーバ２０は、あるＨＭＤ１０に対して表示している仮想オブジェクトの外側に文字情報を表示した状態で、他のＨＭＤ１０に対して表示するよう制御するようにしても良い。例えば、あるＨＭＤ１０に対して表示している壁状の仮想オブジェクトの外側に「仕事中」という文字情報を表示させた状態で、他のＨＭＤ１０において表示するようにすれば、その他のＨＭＤ１０を装着している利用者は壁状の仮想オブジェクト内にいる利用者は仕事中であることを知って邪魔しないようにすることを期待できる。
【００６４】
次に、上記で説明したＨＭＤ１０の外観を図４に示す。ＨＭＤ１０は、図４に示されるように、装着した利用者が外部の様子を視認可能な透明な表示部３５を備えている。そして、ＨＭＤ１０の一部には、外部の様子を撮像するための撮像部３２が設けられており、利用者が透過型の表示部３５を介して視認している外部の様子の画像を撮像することができるような構成となっている。
【００６５】
このようなＨＭＤ１０を頭部に装着した場合の様子を図５に示す。図５を参照すると、ＨＭＤ１０を装着した利用者は、目が表示部３５により覆われているが、この表示部３５が透過型であるため外部の様子を視認することができるようになっているのが分かる。
【００６６】
次に、本実施形態のＨＭＤ１０において仮想オブジェクトの表示命令を受けた場合の動作を図６のフローチャートを参照して説明する。例えば、ＨＭＤ１０に装着されているスイッチを利用者が押下することにより仮想オブジェクトの表示命令が行われたことになる。
【００６７】
先ず、利用者が、図７に示すように腕を伸ばして指先が撮像部３２により撮像されるようにする。すると、ジェスチャ認識部４１が、撮像部３２により撮像された画像から、利用者の指先の位置を認識して特定する（ステップＳ１０１）。
【００６８】
そして、ジェスチャ認識部４１は、撮像部３２により撮像された画像から、特定した指先の位置までの距離を算出する（ステップＳ１０２）。ここでは、図７に示すように算出された距離がａであるものとして説明を行う。
【００６９】
すると、仮想オブジェクト描画制御部４３では、図８に示すように、自装置からジェスチャ認識部４１により認識された利用者の指先の位置までの距離ａの２倍を一辺の長さとする正四角柱状に、４つの壁状の仮想オブジェクト７０を描画して表示部３５に表示する。
【００７０】
仮想オブジェクト７０を表示する際の、この仮想オブジェクト７０の上面図例を図９に示す。図９（Ａ）は、仮想オブジェクト７０が表示される前の様子を示す図であり、図９（Ｂ）は、仮想オブジェクト７０が表示された後の様子を示す図である。図９（Ｂ）では、机の前に座っている利用者（ユーザ）の周囲に４つの壁状の物体からなる仮想オブジェクト７０が配置されているように表示されている。
【００７１】
また、この仮想オブジェクト７０が表示された状態を斜め後ろから見た場合の斜視図を図１０に示す。
【００７２】
なお、図９、図１０は共に、仮想オブジェクト７０の表示位置や形状を模式的に示すものであり、ＨＭＤ１０を装着していない人が見た場合にはこのような仮想オブジェクト７０が見える訳ではない。
【００７３】
次に、このような仮想オブジェクト７０が表示部３５に表示されたことにより利用者の視界がどのように変化するかを図１１、図１２を参照して説明する。
【００７４】
図１１は、仮想オブジェクト７０が表示部３５に表示される前の利用者の視界の様子を模式的に示す図である。また、図１２は、仮想オブジェクト７０が表示部３５に表示された後の利用者の視界の様子を模式的に示す図である。
【００７５】
図１２を参照すると、利用者が座っている机の周囲に仮想オブジェクト７０が存在するように表示されており、利用者は周囲の他の人等の動きに注意を奪われることなく自己の業務に集中することができるような環境が実現されているのが分かる。
【００７６】
そして、図６のフローチャートの説明に戻り、仮想オブジェクト７０が表示された後において、交差判定部４２は、撮像部３２により撮像されジェスチャ認識部４１に認識された利用者の指先と、表示されている仮想オブジェクト７０との交差判定を行う（ステップＳ１０４）。
【００７７】
そして、利用者の指先と表示した仮想オブジェクト７０とが交差していると判定された場合（ステップＳ１０５においてｙｅｓ）、仮想オブジェクト描画制御部４３は、交差している位置や時間等に応じて、仮想オブジェクト７０を半透明にしたり消去したり、または指先の位置に応じて仮想オブジェクト７０の表示位置の移動や形状の変形等を行う（ステップＳ１０６、Ｓ１０７）。
【００７８】
例えば、指先が仮想オブジェクト７０に短い時間だけ触れたような場合、図１３に示すように仮想オブジェクト７０の色彩をサイクリックに変化させるようにしても良い。例えば、最初は仮想オブジェクト７０を青色に表示して、１回指先により触れると緑色に変化し、次に触れると赤色に変化するというように順次仮想オブジェクト７０の色彩を変化させる。
【００７９】
また、図１４に示すように、仮想オブジェクト７０の特定の辺を一定時間以上指先で触れた場合には、その辺を指先の移動に伴って平行移動させるようにしても良い。図１４では、壁状の仮想オブジェクト７０の高さを変更する様子が示されている。
【００８０】
また、図１５に示すように、仮想オブジェクト７０のある面を一定時間以上触れた状態とすることにより、その面を指先の移動に伴って平行移動させて表示位置を変化させるようにしても良い。図１５では、利用者の前面の壁状の仮想オブジェクト７０の表示位置を奥方向に移動させて変更する様子が示されている。
【００８１】
なお、このような仮想オブジェクト７０を利用者に仮想的に表示させることにより利用者が自己の仕事に集中することができるが、周囲の状況が見えなくなることにより周囲の状況変化に気が付かなくなる。
【００８２】
そのため、管理サーバ２０がある特定の事象の発生を検出した場合、その事象が発生したことを文字情報等により仮想オブジェクト７０上に表示させるようにしても良い。例えば、管理サーバ２０が緊急地震速報を受信した場合、ＨＭＤ１０にその旨を送信することにより、ＨＭＤ１０内の仮想オブジェクト描画制御部４３は、図１６に示すように、「緊急地震速報を受信しました！」という文字情報を仮想オブジェクト７０上に表示する。
【００８３】
また、撮像部３２が撮像している画像により、ジェスチャ認識部４１が、人が接近していることを検出した場合、図１７に示すように、「人が接近しています！」という文字情報を仮想オブジェクト７０上に表示する。
【００８４】
そして、さらに人が接近して、交差判定部４２が接近した人と仮想オブジェクト７０との交差を判定した場合、仮想オブジェクト描画制御部４３は、図１８に示すように、接近してきた人８０と交差した面を半透明にするか、または消去する。このようにすることにより、利用者は、接近してきた人８０を視認することができ、近くまで人が接近したことを把握することができる。
【００８５】
また、自分から周囲の状況を知りたい場合には、例えば、図１９（Ａ）に示すように、仮想オブジェクト７０のある面を指先により触るような動作をすることにより、仮想オブジェクト描画制御部４３は、図１９（Ｂ）に示すように、その面を半透明にするか、または消去する。このようにすることにより、利用者は、周囲の状況を視認することができ、現在の周囲の状況がどのようになっているかを把握することができる。
【００８６】
さらに、あるＨＭＤ１０において表示されている仮想オブジェクト７０の属性情報は管理サーバ２０に格納されているため、ＨＭＤ１０を装着している他の人にも仮想オブジェクト７０が存在するように見せることが可能である。
【００８７】
例えば、図２０に示すように、仮想オブジェクト７０を表示させて仕事をしている利用者とは異なる他の利用者９０のＨＭＤ１０にも仮想オブジェクト７０を表示させることにより、この利用者９０から見た場合に仮想オブジェクト７０が実空間内に存在するように見せることが可能である。
【００８８】
また、各ＨＭＤ１０にそれぞれ識別情報を対応させておくことにより、自己の周囲の仮想オブジェクト７０を特定の識別情報のＨＭＤ１０に対してのみ表示させることにより、特定の人からのコンタクトをシャットアウトするようなことも可能となる。
【００８９】
また、仮想オブジェクト７０の外側に予め入力した文字情報を表示させることも可能であり、図２０に示した例では、「仕事中です！」という文字情報が表示されている。
【００９０】
なお、このような場合、それぞれのＨＭＤ１０の実際の位置は管理サーバ２０により管理されているため、２つのＨＭＤ１０の距離が予め設定された距離以内、例えば２ｍ以内となり近接したと判定した場合、仮想オブジェクト描画制御部４３は、図２１に示すように、表示している仮想オブジェクト７０を半透明にするか、または消去してお互いが接近したことを把握することができるようにしても良い。
【００９１】
なお、仮想オブジェクト描画制御部４３は、撮像部３２により撮像された画像から、奥行方向の距離を算出して仮想オブジェクト７０を重ね合わせる位置を判定している。そのため、仮想オブジェクト７０の表示位置よりも遠い位置の画像は見えなくなるような描画処理が行われる。
【００９２】
しかし、図２２に示すように、奥行方向のある仮想オブジェクト７１を表示する場合、この仮想オブジェクト７１の奥行距離が仮想オブジェクト７０の表示位置よりも遠い場合でも、仮想オブジェクト７０の手前に仮想オブジェクト７１を表示する。例えば、壁状の不透過の仮想オブジェクト７１が１ｍ先に表示され、仮想オブジェクト７１の奥行が４ｍある場合も、仮想オブジェクト７１を仮想オブジェクト７０の手前に表示することにより、仮想オブジェクト７１の全体が見えるように表示することが可能である。
【００９３】
［変形例］
上記実施形態では、平面形状の壁状の仮想オブジェクトを表示する場合を用いて説明したが、本発明はこれに限定されるものではなく、柱状の仮想オブジェクトや球面状の仮想オブジェクトを表示する場合でも同様に本発明を適用することができるものである。
【符号の説明】
【００９４】
１０    ＨＭＤ（ヘッドマウントディスプレイ：頭部装着型表示装置）
１１    ＣＰＵ
１２    メモリ
１３    記憶装置
１４    通信インタフェース（ＩＦ）
１５    位置測定部
１６    センサ
１７    カメラ
１８    表示装置
１９    制御バス
２０    管理サーバ
３０    無線ＬＡＮターミナル
３１    位置姿勢検出部
３２    撮像部
３３    演算処理部
３４    通信部
３５    表示部
４１    ジェスチャ認識部
４２    交差判定部
４３    仮想オブジェクト描画制御部
７０、７１    仮想オブジェクト
【図１】
2018097141.tif 000003
【図２】
2018097141.tif 000004
【図３】
2018097141.tif 000005
【図４】
2018097141.tif 000006
【図５】
2018097141.tif 000007
【図６】
2018097141.tif 000008
【図７】
2018097141.tif 000009
【図８】
2018097141.tif 000010
【図９】
2018097141.tif 000011
【図１０】
2018097141.tif 000012
【図１１】
2018097141.tif 000013
【図１２】
2018097141.tif 000014
【図１３】
2018097141.tif 000015
【図１４】
2018097141.tif 000016
【図１５】
2018097141.tif 000017
【図１６】
2018097141.tif 000018
【図１７】
2018097141.tif 000019
【図１８】
2018097141.tif 000020
【図１９】
2018097141.tif 000021
【図２０】
2018097141.tif 000022
【図２１】
2018097141.tif 000023
【図２２】
2018097141.tif 000024