(57)【要約】【課題】ＨＭＤを利用せずに所定のアクションを体感可能とする技術を提供すること。【解決手段】透過型表示部(30)と、透過型表示部の第１の側に設置されたロボット(20)と、透過型表示部(30)の第１の側とは反対側の第２の側に位置して透過型表示部(30)を介してロボット(20)を視認するユーザ(80)、及び、当該ユーザが保持するオブジェクト(81)の少なくとも一方を含む測定対象物の動きを測定するモーションキャプチャセンサ(40)と、測定した測定対象物の動きに基づいて、ロボット(20)の動きと透過型表示部(30)に表示する映像とを制御する制御装置(70)と、を有する、体感アクションシステム(1)を提供する。【選択図】図１
2019139688.tif 000002
【特許請求の範囲】
【請求項１】
透過型表示部と、
前記透過型表示部の第１の側に設置されたロボットと、
前記透過型表示部の前記第１の側とは反対側の第２の側に位置して前記透過型表示部を介して前記ロボットを視認するユーザ、及び、当該ユーザが保持するオブジェクトの少なくとも一方を含む測定対象物の動きを測定するモーションキャプチャセンサと、
測定した前記測定対象物の動きに基づいて、前記ロボットの動きと前記透過型表示部に表示する映像とを制御する制御装置と、
を有する、体感アクションシステム。
【請求項２】
前記透過型表示部に前記映像を投影するプロジェクタをさらに備え、
前記透過型表示部は、前記プロジェクタから投影される前記映像を表示可能な透過型スクリーンであり、
前記制御装置は、測定した前記測定対象物の動きに基づいて、前記プロジェクタから投影される前記映像を制御する、請求項１に記載の体感アクションシステム。
【請求項３】
前記透過型表示部は、透過型ディスプレイであり、
前記制御装置は、測定した前記測定対象物の動きに基づいて、前記透過型ディスプレイに表示する前記映像を制御する、請求項１に記載の体感アクションシステム。
【請求項４】
前記制御装置は、前記ユーザから見て前記ロボットの上に前記映像が重なるように、前記映像を表示する位置を制御する、
請求項１乃至３のいずれか一項に記載の体感アクションシステム。
【請求項５】
音声を検出して前記制御装置に送信するマイクを更に備え、
前記制御装置は、前記マイクを介して前記ユーザの音声を検出し、検出した音声に応じて前記ロボットの動きと前記映像とを制御する、
請求項１乃至４のいずれか一項に記載の体感アクションシステム。
【請求項６】
前記制御装置から出力された音信号を出力するスピーカを更に備え、
前記制御装置は、前記測定対象物の動きに基づいて、前記スピーカから出力する音声を制御する、
請求項１乃至５のいずれか一項に記載の体感アクションシステム。
【請求項７】
前記第１の側には、略黒色の背面部が設けられており、
前記ロボットは、前記背面部と前記透過型表示部との間に位置する、
請求項１乃至６のいずれか一項に記載の体感アクションシステム。
【請求項８】
前記第１の側において、前記ロボットの周囲を略黒色で囲うカバー部を備え、
前記カバー部は、その一部に前記背面部を有する、
請求項７に記載の体感アクションシステム。
【請求項９】
前記第２の側には、前記透過型表示部の前記第２の側の周囲を囲う遮光部が設けられている、
請求項１乃至８のいずれか一項に記載の体感アクションシステム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、体感アクションシステムに関する。
【背景技術】
【０００２】
現在、ＶＲ（Virtual Reality）と呼ばれる技術（例えば、特許文献１）が発展を遂げている。ユーザは、専用のＨＭＤ（ヘッドマウントディスプレイ）を身に着けることで、目の前に広がる仮想的な空間の中に自身が実際にいるかのような体験をすることができる。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０１６−００５１２５号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
例えば、目の前に登場するモンスターと戦うといったアクション体験をユーザに提供しようとする場合、上述したＶＲ技術を利用することが考えられる。ＶＲ技術を利用することで、ユーザの視界にモンスターを表示させると共に、ユーザの攻撃動作に合わせてモンスターを動作させることで、ユーザは、実際にモンスターと戦っているような体験をすることができる。
【０００５】
しかしながら、ＶＲ技術を用いる場合、ユーザは、専用のＨＭＤを装着する必要がある。現状のＨＭＤは、ディスプレイの視野角や解像度といった技術的な制約により、ユーザの目の前に広がる視界の広さや映像のクオリティが制限されてしまうことから、ユーザが十分に没入感を得ることができないという課題がある。また、ユーザによっては頭部にＨＭＤを装着することによる違和感や不快感が残ってしまい、没入感が阻害されてしまうという課題もある。
【０００６】
そこで、本発明は、ＨＭＤを利用せずに所定のアクションを体感可能とする技術を提供することを目的とする。
【課題を解決するための手段】
【０００７】
本発明の一態様に係る体感アクションシステムは、透過型表示部と、透過型表示部の第１の側に設置されたロボットと、透過型表示部の第１の側とは反対側の第２の側に位置して透過型表示部を介してロボットを視認するユーザ、及び、当該ユーザが保持するオブジェクトの少なくとも一方を含む測定対象物の動きを測定するモーションキャプチャセンサと、測定した測定対象物の動きに基づいて、ロボットの動きと透過型表示部に表示する映像とを制御する制御装置と、を有する。
【発明の効果】
【０００８】
本発明の体感アクションシステムによれば、ＨＭＤを利用せずに所定のアクションを体感可能とすることができる。
【図面の簡単な説明】
【０００９】
【図１】実施形態に係る体感アクションシステムのシステム構成例を示す図である。
【図２】図１の体感アクションシステムの具体例を示す図である。
【発明を実施するための形態】
【００１０】
添付図面を参照して、本発明の好適な実施形態について説明する。なお、各図において、同一の符号を付したものは、同一又は同様の構成を有する。本実施形態では、体感アクションシステムが、プレイヤがモンスターとの戦闘を体感することが可能なアクションゲームを提供する前提で説明する。
【００１１】
＜システム構成＞
図１は、本実施形態に係る体感アクションシステム１のシステム構成例を示す図である。体感アクションシステム１は、ロボット２０と、透過型スクリーン３０（透過型表示部）と、プロジェクタ３１と、体感アクションシステム１を利用するプレイヤの動きを測定するモーションキャプチャセンサ４０と、効果音等を出力するスピーカ５０と、プレイヤの声を拾うためのマイク６０と、プレイヤの動きに応じてロボット２０の動作及び透過型スクリーン３０に表示する映像を制御する制御装置７０とを含む。ロボット２０、プロジェクタ３１、モーションキャプチャセンサ４０、スピーカ５０及びマイク６０は、有線又は無線のネットワーク回線を介して制御装置７０に接続されている。
【００１２】
図２は、体感アクションシステム１の構成の具体例を示す図である。図２に示す体感アクションシステム１は、モンスターを模したロボット２０と戦闘を行うアクションを、ユーザ８０に体験させることが可能なシステムである。体感アクションシステム１では、ロボット２０が透過型スクリーン３０の背面側（第１の側）に設置される一方、複数のモーションキャプチャセンサ４０、スピーカ５０及びマイク６０が、透過型スクリーン３０の正面側（第２の側）に設置される。
【００１３】
ロボット２０は、内部に駆動装置が組み込まれており、制御装置７０からの指示に従って様々に動作する。ロボット２０が行う動作は特に限定されないが、例えば、腕を上下に動かす動作、顔の表情を変える動作、体を前後に動かす動作、ロボット２０自体が倒れる動作等が挙げられる。
【００１４】
透過型スクリーン３０は、背景を透過する素材で構成されており、ユーザ８０は、透過型スクリーン３０を介してロボット２０の姿を視認することができる。プロジェクタ３１は、制御装置７０からの信号を受けて、所定の映像を透過型スクリーン３０に投影する。プロジェクタ３１は、プロジェクタ３１が照射した映像光がロボット２０で遮られることがない位置に設置される。透過型スクリーン３０は、背景を透過させつつ、映像を投影できるスクリーンであればどのようなスクリーンであってもよいが、例えば、農業用ポリエチレンビニールを利用することができる。
【００１５】
透過型スクリーン３０の背面側（第１の側）には、背面部１３が設けられており、ロボット２０は、背面部１３と透過型スクリーン３０との間に位置するように構成されている。また、ロボット２０の周囲を、図２に示すように第１側面部１２、背面部１３、第２側面部１４、上面部１５及び底面部１６から構成される筐体１０（カバー部）で囲うようにしてもよい。筐体１０が床に設置される場合、底面部１６は省略されていてもよい。背面部１３は略黒色であり、透過型スクリーン３０を通過した光が背面部１３で反射し、透過型スクリーン３０に不要な光が写りこんでしまうことを抑止するようにしている。なお、第１側面部１２、第２側面部１４及び上面部１５についても略黒色とするようにしてもよい。また、底面部１６についても略黒色とするようにしてもよい。透過型スクリーン３０に不要な光が写りこんでしまうことを更に抑止することができる。
【００１６】
また、透過型スクリーン３０の正面側（第２の側）の周囲には、透過型スクリーン３０を囲う、略黒色の遮光部９０が設けられていてもよい。遮光部９０の側面部、上面部及び底面部は、それぞれ、筐体１０の側面部（第１側面部１２及び第２側面部１４）、上面部１５及び底面部１６と一体であってもよいし、筐体１０から取り外し可能であってもよい。筐体１０が床に設置される場合、遮光部９０の底面部は省略されていてもよい。これにより、筐体１０の外側（特に、筐体１０の斜め左方向、斜め右方向及び斜め上方向）から透過型スクリーン３０を通過して筐体１０内に入り込む光の量を抑制することができる。
【００１７】
なお、プロジェクタ３１は、筐体１０の内部に設置される。なお、図２の例では、プロジェクタ３１は筐体１０の中に１台設置されているが、透過型スクリーン３０の大きさやプロジェクタ３１の照射性能に応じて複数台のプロジェクタ３１が設置されていてもよい。他の実施態様においては、プロジェクタ３１は、ロボット２０の中に組み込まれていてもよい。
【００１８】
モーションキャプチャセンサ４０は、透過型スクリーン３０を介してロボット２０を視認可能な位置（すなわち筐体１０の正面の空間）に存在するユーザ８０及びユーザ８０が保持するオブジェクト８１の少なくとも一方を含む測定対象物の動きを検出する。本実施形態では、様々な測定方式のモーションキャプチャセンサ４０を利用可能であるが、例えば、光学式のモーションキャプチャセンサ４０を利用するようにしてもよい。この場合、モーションキャプチャセンサ４０は、筐体１０の正面の空間に向けて赤外線を照射し、ユーザ８０の身体や腕、及び／又は、ユーザ８０が所持しているオブジェクト８１（例えば剣等）に取り付けられたマーカーに反射した赤外線を検出することで、測定対象物の３次元空間での座標を検出する。ユーザ８０のみを測定対象物にするのか、オブジェクト８１のみを測定対象物にするのか、又は、ユーザ８０及びオブジェクト８１の両方を測定対象物にするのかについては、体感アクションシステム１が提供する体感アクションの内容に応じて決定される。例えば、素手でモンスターと戦う体感アクションでは、ユーザ８０のみが測定対象物になるし、武器を用いてモンスターと戦う体感アクションでは、少なくともオブジェクト８１が測定対象物になる。以下の説明では、モーションキャプチャセンサ４０の認識対象を「測定対象物」と呼ぶ。
【００１９】
スピーカ５０は、制御装置７０から送信された音声データを出力する。図２の例ではスピーカ５０は１台設置されているが、臨場感を高めるために複数台のスピーカ５０が設置されていてもよい。マイク６０は、ユーザ８０の声を拾うことが可能な位置に設置される。ユーザ８０の声を確実に拾えるようにするため、複数のマイク６０が設置されていてもよい。
【００２０】
筐体１０及びロボット２０の大きさは特に限定されないが、ユーザ８０が没入感を得られるようにするために、少なくともユーザ８０よりも大きなサイズであることが望ましい。理想的には、ユーザ８０の視界に余計な物（建物の天井や壁等）が入り込まないようにするために、透過型スクリーン３０をユーザ８０の視界全体に広がるような大きさとすることや、筐体１０を暗室に設置することが望ましい。また、透過型スクリーン３０を湾曲した形状とすることで、ユーザ８０が透過型スクリーン３０に囲まれるようにしてもよいし、複数の透過型スクリーン３０を、ユーザ８０を囲むように設置するようにしてもよい。
【００２１】
＜機能構成＞
制御装置７０は、図１に示すように、ＣＰＵ７１と、メモリ及びＨＤＤ（Hard Disk）等の記憶装置７２と、通信ＩＦ（Interface）７３と、ユーザＩＦ（Interface）７４とを有する。ユーザＩＦ７４は、例えば、キーボード、マウス、及びタッチパネル等の入力装置、ディスプレイ等の画像出力装置を含む。制御装置７０は、１又は複数の物理的又は仮想的なサーバであってもよいし、クラウドサーバであってもよい。
【００２２】
ＣＰＵ７１は、記憶装置７２に記憶されているプログラムに含まれる命令を実行することにより、検出部１００及び制御部１０１として機能する。当該プログラムは、記録媒体に格納することができる。この記録媒体は、非一時的な記録媒体であってもよい。非一時的な記録媒体は特に限定されないが、例えば、ＵＳＢメモリ又はＣＤ−ＲＯＭ等の記録媒体であってもよい。
【００２３】
検出部１００は、モーションキャプチャセンサ４０から出力された信号を分析することで、測定対象物の３次元空間内における座標を検出する。なお、検出部１００は、モーションキャプチャセンサ４０を販売する企業等から提供されるツール群から座標データを取得することで、測定対象物の３次元空間内における座標を検出することとしてもよい。
【００２４】
また、検出部１００は、検出した座標を分析することで、測定対象物がロボット２０に接触したか否かの当たり判定を行う。なお、本実施形態では、測定対象物とロボット２０が実際に接触するものではないことから、検出部１００は、測定対象物が３次元空間内で予め定められた座標を通過したか否かを判定することで、当たり判定を行うようにしてもよい。
【００２５】
また、検出部１００は、マイク６０を通じて取得したユーザ８０の音声を分析することで、ユーザ８０が所定の音声を発したことを検出するようにしてもよい。所定の音声とは、例えばモンスターを攻撃する際の呪文等が挙げられる。
【００２６】
制御部１０１は、モーションキャプチャセンサ４０を用いて測定される測定対象物の動きに基づいて、ロボット２０の動きと透過型スクリーン３０に表示する映像とを制御する。また、制御部１０１は、マイク６０に入力された音声を検出し、検出した音声に応じてロボット２０の動きと透過型スクリーン３０に表示する映像とを制御するようにしてもよい。また、制御部１０１は、検出部１００で検出された測定対象物の動きに基づいて、スピーカ５０から出力する音を制御するようにしてもよい。
【００２７】
測定対象物の動きやユーザ８０が発した音声に対応して制御部１０１が行う制御内容は、予めシナリオで定義されていてもよい。当該シナリオには、例えば、検出された測定対象物の動き又はマイク６０に入力された音声の内容と、透過型スクリーン３０に映す映像と、スピーカ５０から出力する音の内容とが対応づけられて格納されていてもよい。
【００２８】
本実施形態では、ロボット２０の表面に映像を直接表示するのではなく、ロボット２０から少し離れた位置に設置される透過型スクリーン３０に映像を表示する。そのため、ユーザ８０がロボット２０の正面にいる場合を基準として映像を表示する位置を決めてしまうと、ユーザ８０がロボット２０の正面よりも左側（又は右側）にいる場合に、映像の表示位置とロボット２０の位置とがずれてしまい、ユーザ８０に違和感が残ってしまう可能性がある。例えば、ユーザ８０がロボット２０の顔を攻撃した場合、ロボット２０の顔が爆発するような映像が表示される場合を考える。この場合、図２においてユーザ８０がロボット２０の正面よりも左側にずれた位置からロボット２０を攻撃した場合、爆発の映像がロボット２０の顔の位置から右側にずれた位置に表示されるように見えてしまうことになる。
【００２９】
そこで、制御部１０１は、ユーザ８０から見てロボット２０の上に映像が重なるように、映像の表示位置を動的に制御するとよい。具体的には、制御部１０１は、ユーザ８０がロボット２０の正面にいる場合と、ロボット２０の左側にいる場合と、ロボット２０の右側にいる場合とでは、透過型スクリーン３０に表示する映像の位置を変える。
【００３０】
このような処理を可能とするために、検出部１００が検出可能な３次元空間の座標、ロボット２０が設置された位置、及び透過型スクリーン３０が設置された位置の対応関係を示すデータを予め記憶装置７２に保持しておく。当該データは、体感アクションシステム１を設置する管理者等により作成されたデータであってもよい。制御部１０１は、当該データに基づき、測定対象物の座標とロボット２０の座標（例えばロボット２０の中心の座標）とを結ぶ直線と透過型スクリーン３０とが交わる位置を基準に映像が表示されるように、透過型スクリーン３０にて映像を表示する位置を動的に制御する。このように制御することで、測定対象物（ユーザ８０及びオブジェクト８１の少なくとも一つ）の左右の移動に伴い、透過型スクリーン３０に表示される映像の位置もこれに追従して左右に移動することになる。これにより、透過型スクリーン３０に表示される映像がロボット２０の上に重ならないことによる没入感の阻害を解消することができる。
【００３１】
＜動作例＞
続いて、体感アクションシステム１が行う動作の具体例を説明する。図２に示す体感アクションシステム１では、オブジェクト８１は「剣」であり、ロボット２０は「モンスター」である前提とする。以下の説明では、便宜上、オブジェクト８１を「剣８１」と記載し、ロボット２０を、「モンスター２０」と記載する。
【００３２】
また、剣８１には、モーションキャプチャセンサ４０が認識可能なマーカーが少なくとも１つ取りつけられており、ユーザ８０が剣８１を動かすと、剣８１の動きはモーションキャプチャセンサ４０で検出されるものとする。
【００３３】
まず、ユーザ８０が、透過型スクリーン３０の前に立ち、モンスター２０に向かって剣８１を振り下ろすことで、モンスター２０を攻撃したと仮定する。
【００３４】
制御装置７０の検出部１００は、この様子を、剣８１が３次元空間上の上方向から下方向に向かって移動した動きとして検出し、検出した動きを示す時系列の座標データを制御部１０１に伝える。制御部１０１は、当該座標データを分析し、剣８１の座標がモンスター２０に当たったと判定すべき座標を通過したか否かの判定を行う。当該座標を通過したと判定した場合、制御部１０１は、モンスター２０が剣８１による攻撃を受けた場合に対応する動作をするようにモンスター２０の駆動装置を制御する。また、制御部１０１は、モンスター２０が剣８０による攻撃を受けたことを示すアニメーション（例えば、モンスターが斬られたことを演出する映像）の映像をプロジェクタ３１から投影することで、当該アニメーションを透過型スクリーン３０上に表示するように制御すると共に、所定の効果音（例えばモンスター２０の叫び声等）をスピーカ５０から出力する。
【００３５】
次に、ユーザ８０が、呪文を唱えることでモンスター２０を攻撃したと仮定する。制御装置７０の検出部１００は、マイク６０から取得した音声データを分析することで、ユーザ８０が唱えた呪文の内容を認識し、認識した呪文の内容を制御部１０１に伝える。制御部１０１は、モンスター２０が呪文による攻撃を受けた場合に対応する動作をするようにモンスター２０の駆動装置を制御する。また、制御部１０１は、モンスター２０が呪文による攻撃を受けたことを示すアニメーション（例えば、爆発する様子を示す映像）の映像をプロジェクタ３１から投影することで、当該アニメーションを透過型スクリーン３０上に表示するように制御すると共に、所定の効果音（例えば爆発音等）をスピーカ５０から出力する。
【００３６】
以上説明した動作例によれば、ユーザ８０は、従来のように専用のＨＭＤを装着することなく、モンスター２０との戦闘を体感することができる。また、本動作例では、ユーザ８０はＨＭＤを装着する必要がないことから、ＨＭＤを利用するＶＲ技術よりも没入感を得ることが可能になる。
【００３７】
＜変形例＞
以上説明した実施形態は、本発明の理解を容易にするためのものであり、本発明を限定して解釈するためのものではない。実施形態で説明したフローチャート、シーケンス、実施形態が備える各要素並びにその配置、材料、条件、形状及びサイズ等は、例示したものに限定されるわけではなく適宜変更することができる。また、異なる実施形態で示した構成同士を部分的に置換し又は組み合わせることが可能である。
【００３８】
例えば、透過型スクリーン３０には、後方が透けて見える液晶ディスプレイ、有機ＥＬ（Organic Electro-Luminescence）ディスプレイ又は透過型ＬＥＤ（light emitting diode）ディスプレイ等の透過型ディスプレイ（透過型表示部）を利用し、プロジェクタ３１を備えない構成としてもよい。この場合、透過型ディスプレイは、制御装置７０から受信した映像信号を透過型ディスプレイ自身のパネル面に表示する。
【００３９】
また、透過型スクリーン３０を、透過型ディスプレイを多重に配置する構成とするようにしてもよい。また、制御部１０１は、これらの複数の透過型ディスプレイの各々に異なる映像を表示させるように制御してもよい。これにより、例えば、立体感のある映像や遠近感のある映像を表示するといった演出を行うことができ、臨場感を更に高めることが可能になる。
【００４０】
また、体感アクションシステム１は、更に臨場感を高めるために、ユーザに向けて圧縮空気を送出する空気送出部を備えるようにしてもよい。具体的には、制御部１０１は、空気送出部の空気送出方向が、検出部１００で検出された、測定対象物の３次元空間内における座標に向くように空気送出部の向きを制御すると共に、空気送信部に対して圧縮空気を送出させるように制御する。なお、空気送出部は、例えば、ブロワー等を用いることで実現することができる。これにより、例えばロボット２０がユーザを攻撃する動作を行う際に空気砲をユーザに当てるような演出を行うことができ、臨場感を更に高めることが可能になる。
【００４１】
また、体感アクションシステム１は、ユーザ８０の実際の動きに応じてオブジェクトや映像を制御するものであれば、様々なゲームやアトラクションに適用することが可能である。
【符号の説明】
【００４２】
１…体感アクションシステム、１０…筐体、２０…ロボット、３０…透過型スクリーン、３１…プロジェクタ、４０…モーションキャプチャセンサ、５０…スピーカ、６０…マイク、７０…制御装置、７１…ＣＰＵ、７２…記憶装置、７３…通信ＩＦ、７４…ユーザＩＦ、８０…ユーザ、８１…オブジェクト、１００…検出部、１０１…制御部
【図１】
2019139688.tif 000003
【図２】
2019139688.tif 000004