(57)【特許請求の範囲】
【請求項１】
現実世界を撮像する撮像部と、前記撮像部によって撮像された現実世界の映像情報に仮想世界の映像情報を融合させて表示する画像表示部と、を有するヘッドマウントディスプレイと、
前記ヘッドマウントディスプレイを装着する装着者の体の動きを動作情報として検出する動作情報検出部と、
前記装着者の位置情報を検出する位置情報検出部と、を有し、
前記動作情報および前記位置情報に基づいて前記仮想世界の映像情報を制御するよう構成され、
前記位置情報検出部は、空間に配置されたマーカーを前記撮像部によって画像認識することで、前記装着者の位置情報を取得し、取得した前記位置情報に基づいて、前記装着者に対応した仮想物体を前記装着者に追従させ、前記仮想物体を用いて前記装着者との衝突判定を行うことを特徴とする画像表示システム。
【請求項２】
前記位置情報検出部は、前記装着者の三次元の位置情報を得ることができる請求項１に記載の画像表示システム。
【請求項３】
前記動作情報検出部は、前記装着者に装着されるモーションセンサーを有している請求項１または２に記載の画像表示システム。
【請求項４】
前記モーションセンサーは、前記装着者の腕に装着される請求項３に記載の画像表示システム。
【請求項５】
前記ヘッドマウントディスプレイは、前記撮像部および前記画像表示部を備えた携帯端末と、前記装着者の頭部に装着され、前記携帯端末を着脱可能なフレームと、を有している請求項１ないし４のいずれか１項に記載の画像表示システム。
【請求項６】
前記装着者を含む領域を撮像する撮像装置と、
前記撮像装置により撮像された現実世界の映像情報と、前記ヘッドマウントディスプレイに表示される前記仮想世界の映像情報を前記撮像装置の視点から見たときの映像情報と、を融合させた画像を表示する画像表示装置と、を有している請求項１ないし５のいずれか１項に記載の画像表示システム。
【請求項７】
現実世界を撮像する撮像部と、前記撮像部によって撮像された現実世界の映像情報に仮想世界の映像情報を融合させて表示する画像表示部と、を有するヘッドマウントディスプレイと、
前記ヘッドマウントディスプレイを装着する装着者の体の動きを動作情報として検出する動作情報検出部と、
前記装着者の位置情報を検出する位置情報検出部と、を有する画像表示システムについて、
前記動作情報および前記位置情報に基づいて前記仮想世界の映像情報を制御するよう構成され、
前記位置情報検出部は、空間に配置されたマーカーを前記撮像部によって画像認識することで、前記装着者の位置情報を取得し、取得した前記位置情報に基づいて、前記装着者に対応した仮想物体を前記装着者に追従させ、前記仮想物体を用いて前記装着者との衝突判定を行うことを特徴とする画像表示システムの制御方法。
【請求項８】
前記画像表示システムは、
前記装着者を含む領域を撮像する撮像装置と、
映像情報を表示する画像表示装置と、を有し、
前記画像表示装置に、前記撮像装置によって撮像された現実世界の映像情報と、前記ヘッドマウントディスプレイに表示される前記仮想世界の映像情報を前記撮像装置の視点から見たときの映像情報と、を融合させた画像を表示する請求項７に記載の画像表示システムの制御方法。
【請求項９】
現実世界を撮像する撮像部と、前記撮像部によって撮像された現実世界の映像情報に仮想世界の映像情報を融合させて表示する画像表示部と、を有するヘッドマウントディスプレイと、
前記ヘッドマウントディスプレイを装着する装着者の体の動きを動作情報として検出する動作情報検出部と、
前記装着者の位置情報を検出する位置情報検出部と、
前記装着者を含む領域を撮像する撮像装置と、を有し、
前記動作情報および前記位置情報に基づいて前記仮想世界の映像情報を制御するように構成された画像表示システムを用いた画像配信システムであって、
前記位置情報検出部は、空間に配置されたマーカーを前記撮像部によって画像認識することで、前記装着者の位置情報を取得し、取得した前記位置情報に基づいて、前記装着者に対応した仮想物体を前記装着者に追従させ、前記仮想物体を用いて前記装着者との衝突判定を行い、
前記撮像装置によって撮像された現実世界の映像情報と、前記ヘッドマウントディスプレイに表示される前記仮想世界の映像情報を前記撮像装置の視点から見たときの映像情報と、を融合させた画像情報を配信することを特徴とする画像配信システム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像表示システム、画像表示システムの制御方法、画像配信システムおよびヘッドマウントディスプレイに関するものである。
【背景技術】
【０００２】
従来から、現実世界の映像情報に仮想世界の映像情報を実時間で融合させることのできる装置として、ヘッドマウントディスプレイ（ＨＭＤ）が知られている（例えば、特許文献１参照）。しかしながら、特許文献１のヘッドマウントディスプレイでは、仮想世界の映像情報を表示することができても、その映像情報を、例えばヘッドマウントディスプレイの装着者の動き（特に、手や足の動き）に合わせて変化させることができず、没入感（臨場感）を高めることが困難であった。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０１５−２２６１１０号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
本発明の目的は、装着者の位置と動きに応じてヘッドマウントディスプレイに表示する映像情報を制御することのできる画像表示システムおよび画像表示システムの制御方法を提供することにある。
【課題を解決するための手段】
【０００５】
このような目的は、下記の本発明により達成される。
【０００６】
（１）  現実世界を撮像する撮像部と、前記撮像部によって撮像された現実世界の映像情報に仮想世界の映像情報を融合させて表示する画像表示部と、を有するヘッドマウントディスプレイと、
前記ヘッドマウントディスプレイを装着する装着者の体の動きを動作情報として検出する動作情報検出部と、
前記装着者の位置情報を検出する位置情報検出部と、を有し、
前記動作情報および前記位置情報に基づいて前記仮想世界の映像情報を制御することを特徴とする画像表示システム。
【０００７】
（２）  前記位置情報検出部は、空間に配置されたマーカーを前記撮像部によって画像認識することで、前記装着者の位置情報を得ることができる上記（１）に記載の画像表示システム。
【０００８】
（３）  前記位置情報検出部は、前記装着者の三次元の位置情報を得ることができる上記（１）または（２）に記載の画像表示システム。
【０００９】
（４）  前記動作情報検出部は、前記装着者に装着されるモーションセンサーを有している上記（１）ないし（３）のいずれかに記載の画像表示システム。
【００１０】
（５）  前記モーションセンサーは、前記装着者の腕に装着される上記（４）に記載の画像表示システム。
【００１１】
（６）  前記ヘッドマウントディスプレイは、前記撮像部および前記画像表示部を備えた携帯端末と、前記装着者の頭部に装着され、前記携帯端末を着脱可能なフレームと、を有している上記（１）ないし（５）のいずれかに記載の画像表示システム。
【００１２】
（７）  前記装着者を含む領域を撮像する撮像装置と、
前記撮像装置により撮像された現実世界の映像情報と、前記ヘッドマウントディスプレイに表示される前記仮想世界の映像情報を前記撮像装置の視点から見たときの映像情報と、を融合させた画像を表示する画像表示装置と、を有している上記（１）ないし（６）のいずれかに記載の画像表示システム。
【００１３】
（８）  現実世界を撮像する撮像部と、前記撮像部によって撮像された現実世界の映像情報に仮想世界の映像情報を融合させて表示する画像表示部と、を有するヘッドマウントディスプレイと、
前記ヘッドマウントディスプレイを装着する装着者の体の動きを動作情報として検出する動作情報検出部と、
前記装着者の位置情報を検出する位置情報検出部と、を有する画像表示システムについて、
前記動作情報および前記位置情報に基づいて前記仮想世界の映像情報を制御することを特徴とする画像表示システムの制御方法。
【００１４】
（９）  前記画像表示システムは、
前記装着者を含む領域を撮像する撮像装置と、
映像情報を表示する画像表示装置と、を有し、
前記画像表示装置に、前記撮像装置によって撮像された現実世界の映像情報と、前記ヘッドマウントディスプレイに表示される前記仮想世界の映像情報を前記撮像装置の視点から見たときの映像情報と、を融合させた画像を表示する上記（８）に記載の画像表示システムの制御方法。
【００１５】
（１０）  現実世界を撮像する撮像部と、前記撮像部によって撮像された現実世界の映像情報に仮想世界の映像情報を融合させて表示する画像表示部と、を有するヘッドマウントディスプレイと、
前記ヘッドマウントディスプレイを装着する装着者の体の動きを動作情報として検出する動作情報検出部と、
前記装着者の位置情報を検出する位置情報検出部と、
前記装着者を含む領域を撮像する撮像装置と、を有し、
前記動作情報および前記位置情報に基づいて前記仮想世界の映像情報を制御するように構成された画像表示システムについて、
前記撮像装置によって撮像された現実世界の映像情報と、前記ヘッドマウントディスプレイに表示される前記仮想世界の映像情報を前記撮像装置の視点から見たときの映像情報と、を融合させた画像情報を配信することを特徴とする画像配信システム。
【００１６】
（１１）  画像表示部を備える携帯端末を着脱可能に支持するフレームを有するヘッドマウントディスプレイであって、
前記フレームは、装着者に装着された装着状態において、
前記装着者の眼前に位置し、前記画像表示部を前記装着者の眼側に向けた姿勢で前記携帯端末を着脱可能に支持する支持部と、
現実世界を目視可能な窓部と、を有し、
前記窓部は、前記装着状態において、
少なくとも、前記支持部に装着された前記携帯端末と前記装着者の眼との間に位置する空間の前記装着者の足元側と、前記空間の前記装着者の側方側と、に配置されていることを特徴とするヘッドマウントディスプレイ。
【発明の効果】
【００１７】
本発明によれば、装着者の位置と動きに応じてヘッドマウントディスプレイに表示される仮想世界の映像情報を制御することができるため、利便性を高めることができる。また、装着者の体験している仮想映像を第３者から見た映像として配信することができ、第３者も一緒に仮想映像を体験することができる。また、高い安全性を発揮する子のできるヘッドマウントディスプレイを提供することもできる。
【図面の簡単な説明】
【００１８】
【図１】本発明の画像表示システムおよび画像表示システムの制御方法を適用したゲームシステムの第１実施形態を示す構成図である。
【図２】ヘッドマウントディスプレイに表示されるＡＲ視野の一例を示す図である。
【図３】ヘッドマウントディスプレイに表示されるＡＲ視野の一例を示す図である。
【図４】マーカーの配置の変形例を示す図である。
【図５】ヘッドマウントディスプレイを示す斜視図である。
【図６】携帯端末の画面に表示される画像の一例を示す図である。
【図７】図１に示すゲームシステムのブロック図である。
【図８】本発明の画像表示システムおよび画像表示システムの制御方法を適用したゲームシステムの第２実施形態を示す構成図である。
【図９】図８に示すゲームシステムのブロック図である。
【発明を実施するための形態】
【００１９】
以下、本発明の画像表示システムおよび画像表示システムの制御方法を添付図面に示す実施形態に基づいて詳細に説明する。
【００２０】
＜第１実施形態＞
まず、本発明の第１実施形態に係る画像表示システムおよび画像表示システムの制御方法について説明する。
【００２１】
図１は、本発明の画像表示システムおよび画像表示システムの制御方法を適用したゲームシステムの第１実施形態を示す構成図である。図２および図３は、それぞれ、ヘッドマウントディスプレイに表示されるＡＲ視野の一例を示す図である。図４は、マーカーの配置の変形例を示す図である。図５は、ヘッドマウントディスプレイを示す斜視図である。図６は、携帯端末の画面に表示される画像の一例を示す図である。図７は、図１に示すゲームシステムのブロック図である。なお、説明の便宜上、図２、図３および図６では、説明の便宜上、現実世界の映像情報の図示を省略している。
【００２２】
本発明の画像表示システムおよび画像表示システムの制御方法を適用したゲームシステム１００は、図１に示すように、主に、フィールドＦに設置されるマーカー２００と、プレーヤー（装着者）Ｐが装着するヘッドマウントディスプレイ３００およびモーションセンサー（動作情報検出部）４００と、プレーヤーＰを撮影するカメラ（撮像装置）５００と、カメラ５００で撮影した映像を表示するディスプレイ（画像表示装置）６００と、サーバー７００と、を有している。
【００２３】
このようなゲームシステム１００では、ヘッドマウントディスプレイ３００に現実世界の映像情報に仮想世界の映像情報を融合した映像が表示され、仮想世界の映像情報がプレーヤーＰの位置（位置情報）や動き（動作情報）に応じて変化するようになっている。すなわち、ゲームシステム１００は、プレーヤーＰの位置や動きに基づいて仮想世界の映像情報を制御するように構成されている。そのため、ゲームシステム１００によれば、プレーヤーＰに体感型のＡＲ（拡張現実）を提供することができる。
【００２４】
次に、ゲームシステム１００を用いて行われるゲームの一例を説明する。このゲームは、モンスターＭと戦う対戦型のゲームであり、図２に示すＡＲ視野（プレーヤーＰから見える画像）のように、ヘッドマウントディスプレイ３００を装着したプレーヤーＰの眼前（現実世界の映像情報中）にＣＧ（ｃｏｍｐｕｔｅｒ  ｇｒａｐｈｉｃｓ）で生成されたモンスターＭ（仮想世界の映像情報）が出現する。プレーヤーＰは、自らの体を動かすことで、その動きに対応したコマンド（命令）を発動することができ、コマンドを屈指してモンスターＭと戦い、モンスターＭの体力を０にすることで勝利することができる。また、戦いの最中は、図３に示すＡＲ視野のように、プレーヤーＰおよびモンスターＭの攻撃や、プレーヤーＰおよびモンスターＭの体力等がＣＧによって映像化され、これにより、モンスターＭとの戦いに臨場感が与えられている。なお、前記コマンドとしては特に限定されず、ゲーム内容によっても異なるが、例えば、攻撃（必殺技、攻撃魔法等）、防御（ガード、回避、回復魔法等）、武器の切り替え等が挙げられる。
【００２５】
また、プレーヤーＰとモンスターＭの戦いは、カメラ５００を用いて、カメラ５００の視点から映像化され、図１に示すように、その映像がディスプレイ６００に表示されるようになっている。そのため、プレーヤーＰ以外の者（観客）も、プレーヤーＰとモンスターＭとの戦いを観戦することができ、プレーヤーＰと観客との一体感を強めることができる。なお、ディスプレイ６００に表示される映像は、インターネットを経由して、遠隔地に配信されるようになっていてもよい。
【００２６】
以下、ゲームシステム１００が有する各部について順に説明する。
［サーバー］
サーバー７００は、ゲームシステム１００のゲームエンジンであり、ゲームシステム１００のゲーム内容を実行する機能を有している。また、サーバー７００は、ヘッドマウントディスプレイ３００およびカメラ５００と接続されており、これらの間で情報の送受信が可能となっている。なお、サーバー７００との接続方法としては、有線、無線を問わないが、本実施形態ではＷｉ−Ｆｉ（登録商標）により接続されている。
【００２７】
なお、本実施形態では、サーバー７００がフィールドＦの傍に配置されている所謂「物理サーバー」であるが、サーバー７００としては、クラウドサーバー（ｗｅｂ上のサーバー）に代表される所謂「仮想サーバー」であってもよい。
【００２８】
［マーカー］
マーカー２００は、図１に示すように、フィールドＦの端に位置しており、ほぼ鉛直な１つの面（例えば、部屋の壁面や部屋内に設置された衝立等）に配置されている。このマーカー２００は、所定のパターンを有しており、このパターンをヘッドマウントディスプレイ３００に設けられたカメラで画像認識することで、ヘッドマウントディスプレイ３００（プレーヤーＰ）の三次元の位置情報（位置および姿勢に関する情報）を取得することができる。
【００２９】
なお、マーカー２００としては、ヘッドマウントディスプレイ３００のカメラ３１２で画像認識することができれば、そのパターンや配置等について特に限定されず、目的に合わせて適宜選択することができる。例えば、図４に示すように、床面に配置してもよいし、向きの異なる２つ以上の面（壁面、床面、天井面）に跨って配置してもよい。また、マーカー２００としては、造形物、置物等の立体物を利用した立体マーカーであってもよい。また、例えば、室内で遊ぶ場合等には、部屋の形状自体（特に、柱、窓等の構造物、絵画、照明等のインテリア等の画像認識し易い特徴的な部分）をマーカー２００として利用してもよい。この場合は、部屋の形状を事前にスキャンしておき、そのデータをマーカーとして用いればよい。そのため、マーカーを準備する必要がない点で有利である。
【００３０】
［モーションセンサー］
モーションセンサー４００は、プレーヤーＰの腕に装着され、腕の動きを検出できるようになっている。このようなモーションセンサー４００には加速度を検出する加速度センサー４１０と、角速度を検出する角速度センサー４２０と、が内蔵されており、加速度センサー４１０および角速度センサー４２０からの検出信号（動作情報）は、ヘッドマウントディスプレイ３００に送信される。モーションセンサー４００とヘッドマウントディスプレイ３００との接続方法としては、有線、無線を問わないが、本実施形態ではＢｌｕｅｔｏｏｔｈ（登録商標）により接続されている。
【００３１】
なお、モーションセンサー４００の構成としては、腕の動きを検出できれば特に限定されず、例えば、筋電位を検出できる筋電位センサーをさらに有し、この筋電位センサーによって、プレーヤーＰの手が握りしめられているのかや、指の動き（例えば、グー、チョキ、パー）や、手首の動き（手首の曲げ伸ばし、捩り）を検出できるようになっていてもよい。このように、指の動きを検出することができれば、前述したコマンドをより多彩に用意することができ、より緻密な戦いが可能となる。また、本実施形態ではモーションセンサー４００を腕に装着しているが、モーションセンサー４００の装着箇所としては腕に限定されず、例えば、脚、胴体、頭等であってもよい。また、例えば、モーションセンサー４００を腕と脚の両方に装着し、腕と脚の動きをそれぞれ検出できるようになっていてもよい。また、モーションセンサー４００は、プレーヤーＰの体に装着されなくてもよく、例えば、プレーヤーＰが把持する道具（例えば、武器に見立てた剣や弓）や、装着する付属物等にモーションセンサー４００が組み込まれていてもよい。
【００３２】
また、本実施形態では、動作情報検出部としてモーションセンサーを用いているが、動作情報検出部としては、プレーヤーＰの動きを検出することができれば、モーションセンサーに限定されない。例えば、カメラを用いた画像認識でプレーヤーＰの動きを検出する構成であってもよい。また、動作情報検出部としては、例えば、赤外線深度センサーを用い、この赤外線深度センサーの距離情報からプレーヤーＰを認識し、プレーヤーＰの体の動きを検出する構成であってもよい。
【００３３】
［ヘッドマウントディスプレイ］
ヘッドマウントディスプレイ３００は、図５に示すように、携帯端末３１０と、携帯端末３１０を着脱可能なフレーム３２０と、を有している。
【００３４】
携帯端末３１０は、一方の面（表面）に配置された画面（画像表示部）３１１と、他方の面（背面）に配置され、画面３１１とは反対側の現実世界を撮像するカメラ（撮像部）３１２と、を有している。このような携帯端末３１０としては特に限定されないが、例えば、スマートフォン、タブレット端末等を用いることができる。また、プレーヤーＰが所有するスマートフォン等を携帯端末３１０として用いることができる。そのため、利便性の高いヘッドマウントディスプレイ３００となる。
【００３５】
一方、フレーム３２０は、フレーム本体３３０と、フレーム本体３３０をプレーヤーＰの頭部に固定するバンド３４０と、を有している。また、フレーム本体３３０は、プレーヤーＰの眼を覆う箱状をなし、頭部に装着した状態で、プレーヤーＰの眼前に位置する前面部３３１と、上方に位置する上面部３３２と、下方（携帯端末３１０とプレーヤーＰの眼との間に位置する空間Ｓに対してプレーヤーＰの足元側）に位置する下面部３３３と、側方（空間Ｓに対してプレーヤーの左右両側）に位置する側面部３３４、３３５と、眼と前面部３３１との間（空間Ｓ内）に位置するレンズ部３３６と、を有している。また、フレーム本体３３０の頭部と接する部分には、例えば、スポンジ等で構成された緩衝部３３７が設けられている。
【００３６】
また、前面部３３１には携帯端末３１０を装着するスロット部（支持部）３５０と、携帯端末３１０をスロット部３５０に固定するロック機構３６０と、が設けられている。
【００３７】
スロット部３５０は、携帯端末３１０を着脱可能に支持することができる。このようなスロット部３５０は、前面部３３１の側方に設けられたスロット口３５１を有し、このスロット口３５１からスロット部３５０内に携帯端末３１０を挿入できるようになっている。また、スロット部３５０にはカメラ３１２での撮像を許容するための窓部３５２が設けられており、本実施形態の窓部３５２は、開口で構成されている。このようなスロット部３５０には、携帯端末３１０が、画面３１１をプレーヤーＰの眼側に向け、カメラ３１２をプレーヤーＰの前方側に向けた状態で装着される。
【００３８】
一方、ロック機構３６０は、ロック板３６１を回動させることでスロット口３５１を開閉することができ、スロット口３５１を開くことでスロット部３５０への携帯端末３１０の挿入が可能となり、スロット口３５１を閉じることでスロット部３５０に携帯端末３１０を固定することができる。また、側面部３３５に設けられたネジ３６２にロック板３６１に設けられた溝３６１ａを挿入し、ネジ３６２を締め付けることで、スロット口３５１が閉じた状態を維持することができる。
【００３９】
また、上面部３３２は、実質的に光を透過せず、外光（特に、太陽光や天井照明光）を遮断するシェードとして機能する。このような上面部３３２を設けることで、携帯端末３１０の画面３１１に表示される画像を視認し易くなる。一方、下面部３３３および側面部３３４、３３５は、それぞれ光を透過する窓部を有し、装着状態においても窓部を介して下方および側方から外界（現実世界）を視認（目視）できるようになっている。そのため、装着時の安全性が向上する。なお、本実施形態では、下面部３３３の窓部は、実質的に無色透明の板部材３３３ａで構成されており、側面部３３４、３３５の窓部は、開口（貫通孔）３３４ａ、３３５ａで構成されている。ただし、窓部の構成としては、特に限定されず、例えば、下面部３３３、側面部３３４、３３５の窓部を全て開口で構成してもよいし、無色透明の板部材で構成してもよい。また、無色透明の板部材に替えて、ミラー部材（明るい側（外側）からは鏡に見え、暗い側（プレーヤーＰ側）からは奥が透けて見える部材）を用いてもよい。
【００４０】
また、レンズ部３３６は、プレーヤーＰの左眼用のレンズ３３６Ｌと、右眼用のレンズ３３６Ｒと、を有している。このようなレンズ部３３６によって、携帯端末３１０の画面３１１を拡大して表示することが可能となる。
【００４１】
このようなヘッドマウントディスプレイ３００では、カメラ３１２で撮影した現実世界の映像情報が画面３１１に表示されるようになっており、プレーヤーＰは、前方に広がる現実世界を画面３１１に表示された映像によって視認することができる。また、画面３１１には、上述した現実世界の映像情報に実時間で融合させて、仮想世界の映像情報（前述したモンスターＭやコマンド）が表示されるようになっている。これにより、ヘッドマウントディスプレイ３００によってＡＲを実現することができる。
【００４２】
本実施形態では、図６に示すように、画面３１１を左眼用の画像領域３１１Ｌと右眼用の画像領域３１１Ｒとに分割し、これら画像領域３１１Ｌ、３１１Ｒに視差のない同じ画像を表示することで、映像を２Ｄ平面視画像としてプレーヤーＰに提供している。ただし、例えば、画像領域３１１Ｌ、３１１Ｒに視差のあるステレオ画像を表示することで、仮想世界の映像情報を３Ｄ立体視画像としてもよい。また、例えば、携帯端末３１０がカメラ３１２からの映像情報から疑似的な３Ｄ立体視画像を生成できる場合やカメラ３１２がステレオカメラで構成され３Ｄ立体視撮像が可能となっている場合には、さらに現実世界の映像情報をステレオ画像として表示することで、３Ｄ立体視画像としてもよい。
【００４３】
ここで、携帯端末３１０は、図７に示すように、動作判定部３１３と、位置判定部（位置情報検出部）３１４と、映像情報生成部３１５と、を有している。
【００４４】
動作判定部３１３は、モーションセンサー４００からの検出信号（動作情報）を受信し、受信した検出信号からプレーヤーＰの腕の動きを検出する。また、動作判定部３１３は、検出した腕の動きが予め登録されている腕の動きと一致しているか否かを判定し、一致していれば、その腕の動きに対応したコマンド（命令）を選択する。例えば、動作判定部３１３には、両腕を顔の前でクロスさせる動きが「防御」であり、腕を前方に素早く突き出す動きが「攻撃」であり、腕を素早く揺さぶる動きが「武器の切り替え」であること等、複数のコマンドが登録されており、検出した腕の動きが「防御」のコマンドと一致する場合には「防御」を選択する。
【００４５】
位置判定部３１４は、カメラ３１２を用いてマーカー２００を画像認識し、マーカー２００を基準としたカメラ３１２の位置座標を取得する。具体的には、マーカー２００の画像データが事前に携帯端末３１０に登録されており、位置判定部３１４は、登録された前記画像データと、カメラ３１２で捉えたマーカー２００の画像（大きさ、傾き等）を比較し、マーカー位置を起点にプレーヤーＰ（カメラ３１２）の位置情報を計算する。これにより、プレーヤーＰの三次元の位置情報が得られる。ここで、事前に携帯端末３１０に登録されたマーカー２００は、フィールド情報（フィールドＦの位置、形状、大きさ等）に対して現実に即した大きさおよび位置に設定されているため、プレーヤーＰ（カメラ３１２）の位置情報をより正確に取得することができる。さらに、位置判定部３１４は、プレーヤーＰの位置情報に基づいて、例えば、技（魔法）の発射位置の判定や、技の衝突判定（相手の技が当たったかどうかの判定）をリアルタイムに行う。また、位置判定部３１４は、例えば、プレーヤーＰに対応した仮想物体をプレーヤーＰに追従させて、この仮想物体を用いて技とプレーヤーＰとの衝突判定を行っている。そのため、より精度のよい衝突判定を行うことができる。なお、前記仮想物体は、色を持たない透明に設定されており、画面３１１上においてプレーヤーＰに視認されないようになっている。
【００４６】
なお、位置判定部３１４としては、少なくとも、プレーヤーＰの二次元の位置座標を取得するようになっていればよい。
【００４７】
映像情報生成部３１５は、サーバー７００から受信したゲーム情報、動作判定部３１３での判定結果および位置判定部３１４が取得した位置情報に基づいて、画面３１１に表示させる仮想世界の映像情報（モンスターＭ、技、魔法等）を生成し、生成した映像情報を現実世界の映像情報と実時間で融合させて画面３１１に表示する。
【００４８】
また、画面３１１に表示する映像は、携帯端末３１０やサーバー７００に保存され、プレーヤーＰがゲーム終了後に確認することができるようになっている。また、前記映像が、リアルタイムでディスプレイ６００に表示されるようになっていてもよいし、サーバー７００からインターネットを介して遠隔地のユーザー（携帯端末、パーソナルコンピューター等）へ配信可能になっていてもよい。なお、この映像は、ディスプレイ６００用およびユーザー用に適宜変換されることが好ましく、例えば、ディスプレイ６００用の映像においては、２画面に分割して表示する必要がないため、１画面で表示される２Ｄ平面視画像または３Ｄ立体視画像とすることが好ましい。
【００４９】
以上、ヘッドマウントディスプレイ３００について説明したが、ヘッドマウントディスプレイ３００の構成としては、上述のような機能を有していれば、特に限定されない。例えば、フレーム本体３３０では、上面部３３２、下面部３３３および側面部３３４、３３５が平らな板状をなしており、互いにほぼ直角に接続されているが、それぞれ湾曲しており、全体としてオーバル状に接続されたような形状となっていてもよい。また、上面部３３２、下面部３３３および側面部３３４、３３５の接続部（角部）が面取りされて湾曲形状となっていてもよい。また、例えば、本実施形態では、携帯端末３１０を利用した構成となっているが、携帯端末を利用しない構成であってもよい。すなわち、ヘッドマウントディスプレイ３００として、フレーム本体３３０に画像表示機能が備わっている、光学透過型またはビデオ透過型のヘッドマウントディスプレイを用いてもよい。
【００５０】
［カメラ］
カメラ５００は、フィールドＦ外に固定配置されており、フィールドＦの全域を撮像可能となっている。また、カメラ５００は、サーバー７００から送信されるプレーヤーＰの位置情報やプレーヤーＰが選択したコマンド（攻撃、防御等）の種類等の各種情報に基づいて、ヘッドマウントディスプレイ３００に表示されている仮想世界の映像情報（すなわち、プレーヤーＰが体験している仮想世界の映像情報）をカメラ５００の視点に置き換えた映像情報を生成する。そして、生成した映像情報をカメラ５００で撮影している現実世界の映像情報と実時間で融合させて観客用映像を生成し、この観客用映像をディスプレイ６００に表示する。
【００５１】
なお、上記のように生成された観客用映像は、サーバー７００に保存され、プレーヤーＰがゲーム終了後に確認することができるようになっている。また、観客用映像は、サーバー７００からインターネットを介して遠隔地の端末（ユーザー）へ配信可能にもなっている。そのため、遠隔地においても、プレーヤーＰのプレーを見ることができ、一緒にゲームを体験することができる。
【００５２】
このようなカメラ５００としては特に限定されないが、例えば、カメラ機能付きの携帯端末（スマートフォン、タブレット端末）を用いている。このような携帯端末を用いることで、例えば、前述した携帯端末３１０と同様にして、携帯端末内で仮想世界の映像情報を生成することができ、サーバー７００との通信も容易に行うことができるため、装置構成が簡単なものとなる。また、カメラ５００としては、例えば、デジタルスチールカメラ、デジタルビデオカメラ等（以下「デジタルカメラ」と言う）を用いることもできる。この場合は、デジタルカメラをパーソナルコンピューターと接続し、パーソナルコンピューターによって上述のような仮想世界の映像情報の生成やサーバー７００との通信を行えばよい。デジタルカメラを用いることで、例えば、携帯端末と比較して高解像度、高フレーム数での撮影が可能となる場合もあり、画質を高めることができる。
【００５３】
なお、本実施形態では、カメラ５００をフィールドＦ外に配置しているが、カメラ５００の配置としては、これに限定されず、例えば、フィールドＦ内に配置してもよいし、例えば、天井から吊り下げる等することで、フィールドＦ上（フィールドの上空）に配置してもよい。また、本実施形態では、カメラ５００を固定しているが、カメラ５００を移動可能としてもよい。カメラ５００を移動可能とすると、例えば、プレーヤーＰの移動に追従する映像を撮影することもでき、ディスプレイ６００に表示される映像がより臨場感の高いものとなる。
【００５４】
［ディスプレイ］
ディスプレイ６００は、観客（プレーヤーＰ以外の者）用のディスプレイであって、例えば、フィールドＦの近傍に設けられている。前述したように、このディスプレイ６００には、観客用映像（カメラ５００で撮影された現実世界の映像情報と、ヘッドマウントディスプレイ３００に表示される仮想世界の映像情報をカメラ５００の視点に置き換えた映像情報と、を融合させた映像）が表示されるようになっている。このようなディスプレイ６００を配置することで、プレーヤーＰが体験しているＡＲを観客も体験できるようになり、ゲームの臨場感が増す。
【００５５】
なお、ディスプレイ６００に表示される画像としては、２Ｄ平面視画像であってもよいし、３Ｄ立体視画像であってもよいが、本実施形態では２Ｄ平面視画像が表示されるようになっている。
【００５６】
また、ディスプレイ６００としては、画像を表示できれば特に限定されず、例えば、プロジェクターを用いてスクリーンや壁面に画像を投影する構成とすることができる。また、ディスプレイ６００として、観客の携帯端末（スマートフォン、タブレット端末等）を用いてもよく、この場合は、サーバー７００から各観客の携帯端末へ映像を配信すればよい。
【００５７】
以上、ゲームシステム１００について説明した。なお、本実施形態では、プレーヤーＰが１名である場合について説明したが、プレーヤーＰの数として特に限定されず、２名以上であってもよく、２名以上のプレーヤーＰが互いに協力してモンスターＭと戦ってもよい。この場合、各プレーヤーＰが装着するヘッドマウントディスプレイ３００（携帯端末３１０）は、他のプレーヤーＰに関する各種情報（位置情報、動作情報等）を受信することができるようになっており、各プレーヤーＰが装着するヘッドマウントディスプレイ３００にはモンスターＭや自らが選択したコマンドの他、他のプレーヤーＰが選択したコマンドも映像として表示されるようになっている。
【００５８】
＜第２実施形態＞
次に、本発明の第２実施形態に係る画像表示システムおよび画像表示システムの制御方法について説明する。
【００５９】
図８は、本発明の画像表示システムおよび画像表示システムの制御方法を適用したゲームシステムの第２実施形態を示す構成図である。図９は、図８に示すゲームシステムのブロック図である。
【００６０】
以下、本発明の第２実施形態に係る画像表示システムおよび画像表示システムの制御方法について、前述した実施形態との相違点を中心に説明し、同様の事項については、その説明を省略する。
【００６１】
第２実施形態に係る画像表示システムおよび画像表示システムの制御方法は、行うゲーム内容が異なること以外は、前述した第１実施形態とほぼ同様である。なお、前述した実施形態と同様の構成には、同一符号を付してある。
【００６２】
本実施形態のゲームシステム１００は、図８および図９に示すように、主に、フィールドＦに設置される一対のマーカー２００Ａ、２００Ｂと、第１プレーヤーＰ１が装着するヘッドマウントディスプレイ３００Ａおよびモーションセンサー４００Ａと、第２プレーヤーＰ２が装着するヘッドマウントディスプレイ３００Ｂおよびモーションセンサー４００Ｂと、第１、第２プレーヤーＰ１、Ｐ２を撮影するカメラ５００と、カメラ５００で撮影した映像を表示するディスプレイ６００と、サーバー７００と、を有している。
【００６３】
本実施形態のゲームシステム１００を用いて行われるゲームは、第１プレーヤーＰ１と第２プレーヤーＰ２とが対戦する対戦型のゲームである。第１プレーヤーＰ１と第２プレーヤーＰ２は、互いに向かい合って位置し、自らの体を動かすことでコマンドを発動して相手プレーヤーを攻撃したり、相手プレーヤーからの攻撃を防いだりして、互いに戦うことができる。各プレーヤーＰ１、Ｐ２が発動したコマンドは、ＣＧによって映像化されて互いのヘッドマウントディスプレイ３００Ａ、３００Ｂに表示される。また、第１プレーヤーＰ１と第２プレーヤーＰ２の戦いは、カメラ５００によって映像化され、その映像がディスプレイ６００に表示される。
【００６４】
［マーカー］
マーカー２００Ａ、２００Ｂは、フィールドＦの両端に位置し、互いに向かい合って配置されている。また、マーカー２００Ａは、第１プレーヤーＰ１の正面（第２プレーヤーＰ２の背後）に設置され、第１プレーヤーＰ１の位置情報を取得するためのマーカーとして用いられる。反対に、マーカー２００Ｂは、第２プレーヤーＰ２の正面（第１プレーヤーＰ１の背後）に設置され、第２プレーヤーＰ２の位置情報を取得するためのマーカーとして用いられる。なお、マーカー２００Ａ、２００Ｂは、前述した第１実施形態で説明したマーカー２００と同様の構成である。また、マーカー２００Ａ、２００Ｂの配置としては、第１、第２プレーヤーＰ１、Ｐ２の位置情報を取得することができれば、上記の配置に限定されなない（例えば、図４参照）。
【００６５】
［モーションセンサー］
モーションセンサー４００Ａは、第１プレーヤーＰ１の腕に装着され、モーションセンサー４００Ａの検出信号は、第１プレーヤーＰ１が装着するヘッドマウントディスプレイ３００Ａに送信される。また、モーションセンサー４００Ｂは、第２プレーヤーＰ２の腕に装着され、モーションセンサー４００Ｂの検出信号は、第２プレーヤーＰ２が装着するヘッドマウントディスプレイ３００Ｂに送信される。なお、モーションセンサー４００Ａ、４００Ｂは、前述した第１実施形態で説明したモーションセンサー４００と同様の構成である。
【００６６】
［ヘッドマウントディスプレイ］
ヘッドマウントディスプレイ３００Ａは、マーカー２００Ａを画像認識することで、第１プレーヤーＰ１の位置情報を取得する。また、ヘッドマウントディスプレイ３００Ａは、モーションセンサー４００Ａからの検出信号に基づいて第１プレーヤーＰ１の腕の動きを検出し、検出した腕の動きに対応したコマンドを選択する。そして、ヘッドマウントディスプレイ３００Ａは、第１プレーヤーＰ１の位置情報、第１プレーヤーＰ１が選択したコマンド、サーバー７００から受信した各種情報（ゲーム情報、第２プレーヤーＰ２の位置情報、第２プレーヤーＰ２が選択したコマンド等）に基づいて仮想世界の映像情報を生成し、生成した映像情報を現実世界の映像情報と実時間で融合させて表示する。
【００６７】
一方、ヘッドマウントディスプレイ３００Ｂは、マーカー２００Ｂを画像認識することで、第２プレーヤーＰ２の位置情報を取得する。また、ヘッドマウントディスプレイ３００Ｂは、モーションセンサー４００Ｂからの検出信号に基づいて第２プレーヤーＰ２の腕の動きを検出し、検出した腕の動きに対応したコマンドを選択する。そして、ヘッドマウントディスプレイ３００Ｂは、第２プレーヤーＰ２の位置情報、第２プレーヤーＰ２が選択したコマンド、サーバー７００から受信した各種情報（ゲーム情報、第１プレーヤーＰ１の位置情報、第１プレーヤーＰ１が選択したコマンド等）に基づいて仮想世界の映像情報を生成し、生成した映像情報を現実世界の映像情報と実時間で融合させて表示する。
【００６８】
このようなヘッドマウントディスプレイ３００Ａ、３００Ｂは、前述した第１実施形態で説明したヘッドマウントディスプレイ３００と同様の構成である。
【００６９】
以上、第２実施形態について説明した。なお、本実施形態では、１対１の対戦形式のゲームシステム１００について説明したが、プレーヤーの数としては、特に限定されず、例えば、２対２、３対３等、複数人対複数人であってもよい。
【００７０】
以上、本発明の画像表示システム、画像表示システムの制御方法、画像配信システムおよびヘッドマウントディスプレイを図示の各実施形態に基づいて説明したが、本発明はこれらに限定されるものではなく、各部の構成は、同様の機能を有する任意の構成のものに置換することができる。また、他の任意の構成物が付加されていてもよい。また、各実施形態を適宜組み合わせてもよい。
【００７１】
また、前述した実施形態では、画像表示システム、画像表示システムの制御方法、画像配信システムおよびヘッドマウントディスプレイをゲームシステムに適用した構成について説明したが、画像表示システムおよび画像表示システムの制御方法を適用する分野はゲームに限定されず、例えば、家電、車、飛行機等の設計シミュレーションに適用してもよい。
【符号の説明】
【００７２】
１００…ゲームシステム、２００、２００Ａ、２００Ｂ…マーカー、３００、３００Ａ、３００Ｂ…ヘッドマウントディスプレイ、３１０…携帯端末、３１１…画面、３１１Ｌ、３１１Ｒ…画像領域、３１２…カメラ、３１３…動作判定部、３１４…位置判定部、３１５…映像情報生成部、３２０…フレーム、３３０…フレーム本体、３３１…前面部、３３２…上面部、３３３…下面部、３３３ａ…板部材、３３４、３３５…側面部、３３４ａ、３３５ａ…開口、３３６…レンズ部、３３６Ｌ、３３６Ｒ…レンズ、３３７…緩衝部、３４０…バンド、３５０…スロット部、３５１…スロット口、３５２…窓部、３６０…ロック機構、３６１…ロック板、３６１ａ…溝、３６２…ネジ、４００、４００Ａ、４００Ｂ…モーションセンサー、４１０…加速度センサー、４２０…角速度センサー、５００…カメラ、６００…ディスプレイ、７００…サーバー、Ｆ…フィールド、Ｍ…モンスター、Ｐ…プレーヤー、Ｐ１…第１プレーヤー、Ｐ２…第２プレーヤー、Ｓ…空間
【図１】
0006362631.tif 000002
【図２】
0006362631.tif 000003
【図３】
0006362631.tif 000004
【図４】
0006362631.tif 000005
【図５】
0006362631.tif 000006
【図６】
0006362631.tif 000007
【図７】
0006362631.tif 000008
【図８】
0006362631.tif 000009
【図９】
0006362631.tif 000010