(57)【要約】      （修正有）【課題】複数のユーザの位置や分布を管理できる複合現実システムを提供する。【解決手段】ユーザ情報提供システム１は、現実世界におけるある施設内の立体構造情報を記憶する施設内情報記憶手段３と、施設内におけるユーザの位置及び向きを分析するユーザ情報分析手段５と、ユーザ情報分析手段が分析したユーザの位置及び向き情報と、施設内情報記憶手段が記憶する施設内の立体構造情報とを用いて、施設内におけるユーザの位置及び向きをモニタに出力する出力手段７と、を有する。【選択図】図１
2020080075.tif 000002
【特許請求の範囲】
【請求項１】
現実世界におけるある施設内の立体構造情報を記憶する施設内情報記憶手段と，
前記施設内におけるユーザの位置及び向きを分析するユーザ情報分析手段と，
前記ユーザ情報分析手段が分析したユーザの位置及び向き情報と，前記施設内情報記憶手段が記憶する施設内の立体構造情報とを用いて，前記施設内における前記ユーザの位置及び向きをモニタに出力する出力手段と，
を有する，ユーザ情報提供システム。
【請求項２】
請求項１に記載のシステムであって，
前記施設内の立体構造情報に関連した出力情報を記憶する出力情報記憶手段をさらに有し，
前記出力手段は，前記ユーザ情報分析手段が分析したユーザの位置に基づくか，又は前記ユーザの位置及び向きに基づいて，対応する前記施設内の立体構造情報を求め，前記出力情報記憶手段が記憶する出力情報を前記ユーザに対して出力する，システム。
【請求項３】
請求項２に記載のシステムであって，
前記出力情報が，前記施設内の立体構造情報に対応したキャラクタである，システム。
【請求項４】
請求項１に記載のシステムであって，
現実世界における前記施設内に設けられた複数のマーカーと，
前記複数のユーザが携帯する携帯端末をさらに含み，
前記ユーザ情報分析手段は，前記携帯端末が撮影した前記複数のマーカーのうちいずれかのマーカーの大きさ及び形状を用いて，前記ユーザの位置及び向きを分析する，
システム。
【発明の詳細な説明】
【技術分野】
【０００１】
この発明は，施設の３次元構造に基づく施設用複合現実システムに関する。
【背景技術】
【０００２】
特許第６１３４８７４号には，複合現実環境を作成するためのシステムが記載されている。このように複合現実（ＭＲ）システムは，既に知られている。
【０００３】
従来の複合現実システム（従来システム）では，ユーザに複合現実を提供することに主眼が置かれ，複数のユーザを管理していなかった。そのため，ある人気アトラクションにユーザが集中し，その部分の負荷が重くなるといった問題があった。また，従来システムでは，複数のユーザの位置や向き情報を把握して，適切な施設運営に誘導することができなかった。さらに，従来システムでは，ユーザの位置に応じたイベントを起こすことはできても，ユーザの視線方向に対応したイベントを起こすことができなかった。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特許第６１３４８７４号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
この明細書に開示される発明は，複数のユーザの位置や分布を管理できる複合現実システムを提供することを目的とする。
この明細書に開示される発明は，複数のユーザの位置や向き情報を把握して，適切な施設運営にユーザを誘導できる複合現実システムを提供することを目的とする。
この明細書に開示される発明は，複数のユーザの位置や向きに応じたイベントを起こすことができる（例えば適切な位置にキャラクタを視認可能とすることができる）複合現実システムを提供することを目的とする。
この明細書に開示される発明は，例えば上記した目的のうちいずれかを解決することを目的とする。
【課題を解決するための手段】
【０００６】
この明細書に開示される発明は，基本的には，複合現実システムにおいて，複数のユーザの位置及び方向を出力することで，複数のユーザを管理することができるという知見に基づく。
【０００７】
この明細書に開示される複数の態様のうちのひとつは，ユーザ情報提供システムに関する。このユーザ情報提供システムは，施設内情報記憶手段と，ユーザ情報分析手段と，出力手段とを有する。
施設内情報記憶手段は，現実世界におけるある施設内の立体構造情報を記憶するための要素である。
ユーザ情報分析手段は，施設内におけるユーザの位置及び向きを分析するための手段である。
出力手段は，ユーザ情報分析手段が分析したユーザの位置及び向き情報と，施設内情報記憶手段が記憶する施設内の立体構造情報とを用いて，施設内におけるユーザの位置及び向きをモニタに出力するための要素である。
【０００８】
このユーザ情報提供システムは，ユーザの位置及び向き情報と，施設内の立体構造情報とを用いて，施設内におけるユーザの位置及び向きをモニタに出力することができるので，ある施設内のユーザの分布状況やユーザの進行方向といった情報をリアルタイムに分析することができ，ある施設を効果的に運営できる。
【０００９】
このユーザ情報提供システムの好ましい態様は，施設内の立体構造情報に関連した出力情報を記憶する出力情報記憶手段をさらに有するものである。
そして，出力手段は，ユーザ情報分析手段が分析したユーザの位置に基づくか，又はユーザの位置及び向きに基づいて，対応する施設内の立体構造情報を求め，出力情報記憶手段が記憶する出力情報をユーザに対して出力する。
【００１０】
このユーザ情報提供システムの好ましい態様は，出力情報が，施設内の立体構造情報に対応したキャラクタである。
【００１１】
このユーザ情報提供システムの好ましい態様は，現実世界における施設内に設けられた複数のマーカーと，複数のユーザが携帯する携帯端末をさらに含む。そして，ユーザ情報分析手段は，携帯端末が撮影した複数のマーカーのうちいずれかのマーカーの大きさ及び形状を用いて，ユーザの位置及び向きを分析する。
【発明の効果】
【００１２】
この明細書に開示される発明は，複数のユーザの位置や分布を管理できる複合現実システムを提供できる。
この明細書に開示される発明は，複数のユーザの位置や向き情報を把握して，適切な施設運営にユーザを誘導できる複合現実システムを提供できる。
この明細書に開示される発明は，複数のユーザの位置や向きに応じたイベントを起こすことができる（例えば適切な位置にキャラクタを視認可能とすることができる）複合現実システムを提供できる。
【図面の簡単な説明】
【００１３】
【図１】図１は，このシステムのある態様を示すブロック図である。
【図２】図２は，出力の例を示す概念図である。
【図３】図３は，このシステムの処理例を示すフローチャートである。
【図４】図４は，表示例を示す概念図である。
【発明を実施するための形態】
【００１４】
以下，図面を用いて本発明を実施するための形態について説明する。本発明は，以下に説明する形態に限定されるものではなく，以下の形態から当業者が自明な範囲で適宜修正したものも含む。
【００１５】
この明細書に開示される複数の態様のうちのひとつは，ユーザ情報提供システム１に関する。図１は，このシステムのある態様を示すブロック図である。図１に示されるように，このユーザ情報提供システム１は，施設内情報記憶手段３と，ユーザ情報分析手段５と，出力手段７とを有する。このシステムは，ユーザの情報を集約し，制御することができる。このシステムは，好ましくは，複合現実を実現するための複合現実システムに関する。複合現実システムは，現実世界（実空間）において携帯可能な表示装置の表示部を通してユーザが視認する現実世界の撮影画像に対して，仮想オブジェクトを３次元的に重畳させて描画するためのシステムである。
【００１６】
このシステムは，基本的には，コンピュータ（サーバを含む）により実装される。コンピュータは，入出力部，制御部，演算部及び記憶部を有し，各要素はバスなどで情報を授受できるように接続されている。そして，制御部は，記憶部に記憶された制御プログラムの指令を受けて，入力された情報や，記憶部に記憶された情報を読み出して演算を行い，演算結果を記憶部に記憶するとともに，出力部から出力する。各種情報は，ユーザが携帯する携帯端末から出力され，例えばコンピュータの入出力部から入力される。出力部の例は，管理者のモニタや，コンピュータ内の処理に用いられる処理要素，及びユーザが視認できるモニタ（例えば，ヘッドアップディスプレイ）である。
【００１７】
施設内情報記憶手段３は，現実世界におけるある施設内の立体構造情報を記憶するための要素である。ある施設の例は，テーマパーク内のゲーム施設や，展示室，美術館，会議室，病院，工場といった建造物である。立体構造情報の例は，建造物の壁や階段といった建造物自体の３次元情報や，建造物内に設置された設備（椅子，テーブル，オブジェクト）の３次元情報である。通常，コンピュータ記憶部が，施設内情報記憶手段３として機能する。立体構造情報は，予め，記憶部に入力されていることが好ましい。もっとも，ある施設内における複数のユーザの位置及び向きに関する情報を集約することで，ある施設内の立体構造情報を演算し，施設内情報記憶手段３に記憶させたり，施設内情報記憶手段３に記憶されるある施設内の立体構造情報を更新するようにしてもよい。
【００１８】
ユーザの位置情報を集約することで，ユーザの移動可能な空間を求めることができ，それにより建造物の壁や階段といった建造物自体の３次元情報を求めることができる。ユーザの進行方向以外の視線情報を集約することで，ある施設内における建造物内に設置された設備（椅子，テーブル，オブジェクト）の位置情報をリアルタイムに求めることができる。つまり，ユーザの視線は通常進行方向に向くものの，興味を惹かれるオブジェクト等があれば，そちらの方へ視線を移す。そのため，ユーザの進行方向以外の視線を集約することで，施設内の設備の位置をリアルタイムに更新できることとなる。
【００１９】
ユーザ情報分析手段５は，施設内におけるユーザの位置及び向きを分析するための手段である。ユーザの向きは，ユーザの視線の方向（例えば水平面上における方向）であってもよいし，ユーザの視線の空間的方向であってもよいし，ユーザの進行方向（例えば水平面上における進行方向）であってもよい。以下，ユーザの向きがユーザの視線方向であるものについて説明する。ユーザの進行方向は，ユーザの位置を記憶し，そのユーザの位置の時間変化から，ユーザの進行方向を求める演算を行えばよい。
【００２０】
このユーザ情報提供システム１の好ましい態様は，現実世界における施設内に設けられた複数のマーカーと，複数のユーザが携帯する携帯端末をさらに含む。そして，ユーザ情報分析手段５は，携帯端末が撮影した複数のマーカーのうちいずれかのマーカーの大きさ及び形状を用いて，ユーザの位置及び向きを分析する。つまり，ユーザが装着した携帯端末にはカメラなどの撮影装置が含まれている。そして，撮影装置が撮影したマーカーが識別されると，識別されたマーカーの施設内における空間的位置に関する情報を記憶部から読み出し，識別されたマーカーの施設内における空間的位置が把握される。一方，携帯端末が撮影したマーカーの撮像情報が，コンピュータへ送信される。コンピュータは，受け取ったマーカーの大きさや形状から，ユーザの携帯端末のマーカーからの距離や，視線方向を解析する。コンピュータは，解析した携帯端末のマーカーからの距離や，視線方向に関する情報と，マーカーの施設内における空間的位置に関する情報から，ユーザの施設内における位置情報や，ユーザの向きに関する情報を求める。このようにして，ユーザ情報分析手段５は，施設内におけるユーザの位置及び向きを分析できる。マーカーの例は，バーコード，及びQRコード（登録商標）である。これらの中では，QRコード（登録商標）が好ましい。マーカーは，例えば，人が視認できず，赤外線や紫外線により撮影できるものであってもよい。その場合，ユーザは，マーカーの存在に気付かない状態で，各種画像を提供できることとなる。
【００２１】
ユーザ情報分析手段５の上記とは別の態様は以下のとおりである。ユーザは，例えばＧＰＳ発信器を有しており，ＧＰＳ発信器に基づく信号をコンピュータが受け取ることで，各ユーザの位置情報を入手できる。また，ユーザは，特許第5123353号公報に記載されるように，６自由度磁気トラッカーを携帯している。ユーザに６自由度磁気トラッカーを頭部に装着させることにより，ユーザの視線の位置及び向きに関する情報を入手できる。磁気トラッカーシステム（ＭＴＳ）の例は，国際公開第ＷＯ２００８−１５４１８３号パンフレットに開示されている。当業者は，本発明に適用するＭＴＳに使用される従来の装置を改変することができる。コンピュータは，磁場基地局からデータを受信し，６自由度磁気トラッカーの位置と向きを計算する。このようにして，コンピュータは，ユーザの向き（視線の向き）に関する情報を入手できる。
【００２２】
出力手段７は，ユーザ情報分析手段５が分析したユーザの位置及び向き情報と，施設内情報記憶手段３が記憶する施設内の立体構造情報とを用いて，施設内におけるユーザの位置及び向きをモニタに出力するための要素である。
【００２３】
図２は，出力の例を示す概念図である。モニタには，施設内の構造１１，ユーザ１３，ユーザの向き１５が表示されている。このユーザ情報提供システム１は，ユーザの位置及び向き情報と，施設内の立体構造情報とを用いて，施設内におけるユーザの位置及び向きをモニタに出力することができるので，ある施設内のユーザの分布状況やユーザの進行方向といった情報をリアルタイムに分析することができ，ある施設を効果的に運営できる。例えば図２の例では，Room  D（D室）が混雑している。一方，Room  Eは比較的すいている。このように，アトラクションルーム内のユーザ数を求めるとともに，ユーザの向きからアトラクションを行っているユーザの数を求める。そして，アトラクションを行っているユーザが所定の数を超える場合は，次のアトラクションを行っているユーザ数と，次のアトラクションに向かっているユーザ数を，ユーザの位置及び方向に関する情報から求める。そして，次のアトラクションを行っているユーザと次のアトラクションへ向かっているユーザの数の和が所定の閾値より低い場合，混雑しているアトラクションから次のアトラクションへ移るようにユーザを促すことが好ましい。この場合，記憶部に記憶しておいた制御プログラムに従って，複合現実用データを読み出し，各ユーザに提供することで，ユーザが次のアトラクションへ向かうように誘導してもよい。また，図２の例では，あるユーザが，進行予定方向と別方向に向かっている。システムは，ユーザ位置とユーザの方向に関する情報から，あるユーザが所定時間以上，所定距離以上，進行方向と異なる方向に進んだ場合を演算して求めた場合，あらかじめ記憶部に記憶しておいたデータをそのユーザに提供し，正しい方向に進行するよう注意を促すことが好ましい。
【００２４】
例えば，記憶部には，ユーザの分布に基づく制御情報が記憶されている。そして，コンピュータは，ユーザの分布情報と，読み出したユーザの分布に基づく制御情報とを用いて，その時点における制御情報を求める。そして，コンピュータは，特定のユーザのモニタ（例えばヘッドアップディスプレイ）に，制御情報に基づいた情報を表示する。例えば，複数のユーザがある施設内のある部屋に集中している場合，その複数のユーザのうちその部屋に長く滞在しているユーザのモニタに，次の部屋に進むように表示がなされる。この表示の例は，次の部屋に，特定の時間限定キャラクタが出現したので急ぐように促すといったものである。
【００２５】
図３は，システムの処理例を示すフローチャートである。コンピュータは，ユーザの位置情報から，ある部屋又はある領域に存在するユーザの位置又は位置と方向に関する情報を求める（Ｓ１０１）。
次に，コンピュータはユーザの位置に基づくか，ユーザの位置と方向に関する情報に基づき，記憶部から閾値を読み出す。これは,ある領域における人数制限であってもよい。また，ユーザが特定領域を視認した際に特定のイベントが起こるとする。特定のイベントを起こすユーザが複数存在すると，サーバに大きな負荷がかかる。このため，特定のイベントを一度に起こすユーザ数を制限することが好ましい。このため，コンピュータは，イベントに関する閾値を記憶しておき，閾値に関する情報を読み出せるようにしてもよい。そして，コンピュータは，閾値と求めた数値（ユーザ数，イベント数）とを比較する（Ｓ１０２）。
求めた数値が閾値を上回る場合は，閾値を超えないように，アラートを出力する（Ｓ１０３）。アラートは，ユーザの携帯端末へ送信され，ユーザのモニタ（例えばヘッドアップディスプレイ）にアラートが表示される（Ｓ１０４）。
求めた数値が閾値を上回らない場合（Ｓ１０５）は，最初のステップ（Ｓ１０１）に戻る。このようにして，サーバの負荷が過重になる事態を防止できる。
【００２６】
あるユーザが，ある施設内ではあるものの，施設が意図するユーザが存在する空間以外の空間（例えば，物置やスタッフ控室）に存在したり，向かっている場合がある。この場合は，記憶部は，ある施設内の位置や位置と方向と関連して，アラートを記憶してく。するとあるユーザが，その位置に到達したり，その位置において特定の方向を向いた場合は，コンピュータは，そのユーザの位置や方向に関する情報を受け取り，受け取った情報に基づいて，記憶部からアラートを読み出し，そのユーザのモニタにアラートが表示されるように,アラート情報をそのユーザの携帯端末へ向けて出力する。このようにして，意図しない空間にユーザが侵入する事態を効果的に防止できる。
【００２７】
このユーザ情報提供システム１の好ましい態様は，施設内の立体構造情報に関連した出力情報を記憶する出力情報記憶手段をさらに有するものである。
そして，出力手段７は，ユーザ情報分析手段５が分析したユーザの位置に基づくか，又はユーザの位置及び向きに基づいて，対応する施設内の立体構造情報を求め，出力情報記憶手段が記憶する出力情報をユーザに対して出力する。
【００２８】
例えばある施設内には，机やテーブルが置かれている。そして，ユーザのモニタにあるキャラクタが表示され，机やテーブルと重畳されることを考える。この場合，机やテーブルの立体構造情報（3次元位置情報）を把握していなければ，机やテーブルの下に，仮想オブジェクトが表示されるという問題が生ずる。また，例えば，ある施設内に階段が存在するとする。その階段をある仮想オブジェクト（又はキャラクタ）が転げ落ちる（降りてくる）とする。その場合も，階段の立体構造情報（3次元位置情報）を把握していなければ，仮想オブジェクトの移動が不自然となる。コンピュータが，施設内の立体構造情報を把握しており，コンピュータが，ユーザ情報分析手段５が分析したユーザの位置に基づくか，又はユーザの位置及び向きに基づいて，対応する施設内の立体構造情報を求め，出力情報記憶手段が記憶する出力情報をユーザに対して出力するので，施設内の立体構造に基づく自然な複合現実シーンを提供できることとなる。
【００２９】
例えば，施設内で，段差があり，転びやすい箇所があるとする。ユーザがその地点に向かっており，しかもユーザが上を向いている場合が想定される。そのような場合，ユーザに段差があるので注意するように注意を喚起したい。この場合，コンピュータは，ユーザの位置情報の時間による変化情報を用いてユーザの進行方向を予測できる（例えば，５秒前，４秒前，３秒前，２秒前，１秒前と現時点とにおけるあるユーザの位置情報から，１秒後，２秒後といった将来のユーザの位置である進行方向を予測できる）。そして，予測したユーザの進行方向の所定の距離内に要注意箇所がある場合，コンピュータは記憶部からアラートを読み出し，そのユーザのモニタにアラートが表示されるように,アラート情報をそのユーザの携帯端末へ向けて出力する。
【００３０】
このユーザ情報提供システム１の好ましい態様は，出力情報が，施設内の立体構造情報に対応したキャラクタである。コンピュータは，施設内の位置情報（又は領域情報）に関連して，キャラクタの出力情報を記憶しておく。そして，コンピュータが，あるユーザの位置情報を入手した場合，記憶部からその位置情報に関連したキャラクタの出力情報を読み出す。そして，コンピュータは読み出したキャラクタの出力情報を，そのユーザの携帯端末へ出力する。すると，キャラクタの出力情報を受け取ったユーザのモニタ（例えばヘッドアップディスプレイ）には，現実世界の画像に重畳して仮想キャラクタが表示されることとなる。
図４は，表示例を示す概念図である。図４（ａ）は，骸骨が描画される現実世界を示し，図４（ｂ）がテーブルの上といった位置に骸骨が描画される様子を示す。現実世界のテーブルの上には，骸骨は存在しない。骸骨が表示される位置２１には，実際には物が存在しない。
一方，上記の通り，ユーザの表示端末に表示がなされる場合，ユーザ１３の眼鏡型の表示装置２３には，テーブル上に骸骨２５が表示される。この際に，システムがユーザの位置やユーザの視線方向を把握しているので，テーブルの上の自然な位置に，骸骨（描画対象）が描画されることとなる。
【実施例】
【００３１】
軍艦島デジタルミュージアム(長崎県長崎市)内アトラクション
「軍艦島のガンショーくん 〜かがやくブラックダイヤモンドをさがせ〜」での実施例
1.ヘッドアップディスプレイ型携帯端末で、館内に複数設置してあるマーカーを、ヘッドアップディスプレイ搭載のカメラデバイスにて認識することにより、マーカーの位置・向き・大きさから現在の位置から、携帯端末が館内のどの位置・向きにいるかを計算している。
2.装着したヘッドアップディスプレイ型携帯端末で、上記１の情報を元に館内の特定位置に移動した際に、館内の展示物や、形状に重畳した仮想のキャラクタが表示される。
3.複数のアトラクション体験者の位置・向きを、運営側アテンドが所持している携帯端末・ヘッドアップディスプレイ型携帯端末に、リアルタイムに表示されモニタリングをおこなっている。これにより、体験者が館内の立ち入り禁止区域に入ろうとした際に、体験者の携帯端末に立ち入り禁止の旨のメッセージの表示や、アテンダントによる適切な誘導をおこなっている。
【産業上の利用可能性】
【００３２】
この発明は，例えば，アミューズメント産業や，観光産業，教育機関，及び情報関連産業といった産業において利用されうる。
【符号の説明】
【００３３】
１  ユーザ情報提供システム
３  施設内情報記憶手段
５  ユーザ情報分析手段
７  出力手段
【図１】
2020080075.tif 000003
【図２】
2020080075.tif 000004
【図３】
2020080075.tif 000005
【図４】
2020080075.tif 000006