(57)【要約】【課題】多数の観客が同時に仮想空間内で各自の視点の位置や向きを動かしながらＶＲを体験することができるシステム、方法、およびプログラムを提供する。【解決手段】第１の操作装置から、仮想空間内の第１の視点の位置および向きの少なくとも一方の情報を取得する第１の視点取得部と、第２の操作装置から、仮想空間内の第２の視点の位置および向きの少なくとも一方の情報を取得する第２の視点取得部と、前記第１の視点についての情報の少なくとも一部に基づいてレンダリングされた画像を、前記第２の視点についての情報の少なくとも一部に基づいてレンダリングされた映像の上に重畳して表示する、レンダリング部と、を備える。【選択図】図１
2019211835.tif 000002
【特許請求の範囲】
【請求項１】
第１の操作装置から、仮想空間内の第１の視点の位置および向きの少なくとも一方の情報を取得する第１の視点取得部と、
第２の操作装置から、仮想空間内の第２の視点の位置および向きの少なくとも一方の情報を取得する第２の視点取得部と、
前記第１の視点についての情報の少なくとも一部に基づいてレンダリングされた画像を、前記第２の視点についての情報の少なくとも一部に基づいてレンダリングされた映像の上に重畳して表示する、レンダリング部と
を備えたことを特徴とする装置。
【請求項２】
前記第１の操作装置から、仮想空間内の写真を撮影するよう求める指示を受信し、
前記仮想空間内の写真を撮影するよう求める指示を受信した時の、仮想空間内の前記第１の視点の位置および向きの少なくとも一方の情報を格納し、
前記格納した第１の視点についての情報の少なくとも一部に基づいてレンダリングした静止画像を写真として格納する
ようにさらに構成され、
前記第１の視点についての情報の少なくとも一部に基づいてレンダリングされた画像は、前記写真である
ことを特徴とする請求項１に記載の装置。
【請求項３】
前記取得した第１の視点についての情報の少なくとも一部に基づいて前記仮想空間内にアイコンを配置する
ようにさらに構成され、
前記第２の視点についての情報の少なくとも一部に基づいてレンダリングされた映像は、前記アイコンが配置された仮想空間内の映像である
ことを特徴とする請求項１または２に記載の装置。
【請求項４】
装置が実行する方法であって、
第２の操作装置から、第２の表示装置のための仮想空間内の第２の視点の位置および向きの少なくとも一方の情報を取得するステップと、
第１の表示装置のための仮想空間内の第１の視点の位置および向きの少なくとも一方の情報の少なくとも一部に基づいてレンダリングされた画像を、前記第２の視点についての情報の少なくとも一部に基づいてレンダリングされた映像の上に重畳して、前記第２の表示装置に表示するステップと
を含むことを特徴とする方法。
【請求項５】
請求項４に記載の方法をコンピュータに実行させるためのプログラム。
【請求項６】
第１の装置と、第２の装置と、多人数同時操作装置とからなる多人数同時操作システムであって、
前記多人数同時操作システムは、
前記第１の装置から、仮想空間内の第１の視点の位置および向きの少なくとも一方の情報を取得し、
前記第２の装置から、仮想空間内の第２の視点の位置および向きの少なくとも一方の情報を取得し、
前記第１の視点についての情報の少なくとも一部に基づいてレンダリングされた画像 を、前記第２の視点についての情報の少なくとも一部に基づいてレンダリングされた映像の上に重畳して、前記第２の装置に表示する
ように構成されたことを特徴とする多人数同時操作システム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、複数の者が同時に仮想空間内で各自の視点を動かしながらバーチャルリアリティ（ＶＲ）を体験することができる技術に関する。
【背景技術】
【０００２】
従来、巨大スクリーンやヘッドマウントディスプレイなどに映し出された３次元コンピュータグラフィックス（以下、３ＤＣＧとも言う）や実写による映像を見ることによって、それらの映像により表現される仮想空間内にあたかも実際にいるかのような感覚を得ることができるバーチャルリアリティ（以下、ＶＲとも言う）の技術が開発されている。
【０００３】
多数の者が巨大スクリーンに映し出された映像を見ることでＶＲを体験できる手法（以下、シアター型ＶＲとも言う）では、ＶＲを体験する者（以下、観客とも言う）たちは同一のスクリーンを見ている。そして、仮想空間内を観客たちに紹介する者（以下、ナビゲータとも言う）は、ゲームパッドなどのコントローラを操作して、レンダリングするための仮想空間内の視点の位置や向きを動かしている。
【０００４】
ところで、シアター型ＶＲにおいて、ナビゲータがコントローラを操作するのではなく、観客にコントローラを操作させて仮想空間内を自由に移動する体験をさせることがある。観客は、コントローラを操作して、自分が行きたい場所へ仮想空間内の視点の位置を動かしたり、自分が見たい方向へ仮想空間内の視点の向きを動かしたりすることができる。
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、観客が動かしている仮想空間内の視点に基づいてレンダリングされた映像は、巨大スクリーン（つまり、１つのスクリーン）上に映し出される。このように観客がコントローラを操作しているときに映像を映し出せるスクリーンが１つだけなので、観客たちは、１人ずつしかコントローラを操作することができない。そのため、すべての観客がコントローラの操作を体験するには時間がかかり、コントローラの操作を体験できる観客の人数に制限を設けなければならなかった。
【０００６】
そこで、本発明は、このような問題に鑑みてなされたものであり、その目的とするところは、多数の観客が同時に仮想空間内で各自の視点の位置や向きを動かしながらＶＲを体験することができるシステム、方法、およびプログラムを提供することにある。
【課題を解決するための手段】
【０００７】
このような目的を達成するために、本発明の第１の態様は、装置である。この装置は、第１の操作装置から、仮想空間内の第１の視点の位置および向きの少なくとも一方の情報を取得する第１の視点取得部と、第２の操作装置から、仮想空間内の第２の視点の位置および向きの少なくとも一方の情報を取得する第２の視点取得部と、前記第１の視点についての情報の少なくとも一部に基づいてレンダリングされた画像を、前記第２の視点についての情報の少なくとも一部に基づいてレンダリングされた映像の上に重畳して表示する、レンダリング部と、を備える。
【０００８】
本発明の第２の態様は、方法である。この方法は、第２の操作装置から、第２の表示装置のための仮想空間内の第２の視点の位置および向きの少なくとも一方の情報を取得するステップと、第１の表示装置のための仮想空間内の第１の視点の位置および向きの少なくとも一方の情報の少なくとも一部に基づいてレンダリングされた画像を、前記第２の視点についての情報の少なくとも一部に基づいてレンダリングされた映像の上に重畳して、前記第２の表示装置に表示するステップと、を含む。
【０００９】
本発明の第３の態様は、プログラムである。このプログラムは、コンピュータに第２の態様の方法を実行させるプログラムである。
【発明の効果】
【００１０】
本発明によれば、各観客は、各観客が所持するタブレット上で、各観客が動かしている仮想空間内の視点の位置や向きに基づいてレンダリングされた映像を見ることによって、ＶＲを体験することができる。
【図面の簡単な説明】
【００１１】
【図１】本発明の一実施形態にかかる多人数同時操作装置を含む全体の概要図である。
【図２】本発明の一実施形態にかかる多人数同時操作装置の機能ブロック図である。
【図３】本発明の一実施形態にかかる多人数同時操作装置のスクリーンに表示される映像の例である。
【図４】本発明の一実施形態にかかる多人数同時操作装置における写真撮影の処理の流れを示すシーケンス図である。
【図５】本発明の一実施形態にかかる多人数同時操作装置における映像中継の処理の流れを示すシーケンス図である。
【図６】本発明の一実施形態にかかる多人数同時操作装置におけるドローンアイコンの表示の処理の流れを示すシーケンス図である。
【発明を実施するための形態】
【００１２】
最初に、本明細書で利用する用語について説明する。「仮想空間」とは、巨大スクリーン上などに映し出された映像により表現される仮想の空間である。「レンダリング」とは、仮想空間内の視点（仮想のカメラとも言う）の位置および向きと、仮想空間内の光源の情報と、仮想空間内のオブジェクトの情報とに基づいて、画像を作り出すことを言う。つまり、仮想空間内に配置された仮想のカメラが撮影する画像がレンダリングされる。また、本明細書において、「画像」は、「静止画像」と「映像（動画像とも言う）」との両方を含む。
【００１３】
以下、図面を参照しながら、本発明の実施形態について詳細に説明する。
【００１４】
図１は、本発明の一実施形態にかかる多人数同時操作装置１００を含む全体の概要図である。全体の概要図には、多人数同時操作装置１００、観客たちが見る１つのスクリーン１１１、ナビゲータが操作するコントローラ１１２、観客たちが各々に１台ずつ所持する複数のタブレット１２０が含まれている。なお、スクリーン１１１とコントローラ１１２とを併せて、多人数観賞用装置とも呼ぶ。また、タブレット１２０を個人観賞用装置とも呼ぶ。また、多人数同時操作装置１００と、スクリーン１１１と、コントローラ１１２と、タブレット１２０とを併せて、多人数同時操作システムとも呼ぶ。多人数同時操作装置１００は、複数の観客が同時に仮想空間内で各自の視点の位置や向きを動かしながらＶＲを体験できるようにするための装置である。具体的には、多人数同時操作装置１００は、コントローラ１１２やタブレット１２０から取得した仮想空間内の視点の位置や向きの情報に基づいてレンダリングして、レンダリングした画像を、スクリーン１１１上に投影するためのプロジェクタ（図示せず）へ送ったり、タブレット１２０へ送信したりことができる（後述するように、タブレット１２０がレンダリングするようにすることもできる）。後で、図２を参照しながら、多人数同時操作装置１００の詳細を説明する。以下、スクリーン１１１、コントローラ１１２、タブレット１２０の詳細を説明する。
【００１５】
なお、本発明では、タブレット１２０がレンダリングするようにしてもよいし、多人数同時操作装置１００がレンダリングするようにしてもよい。
【００１６】
スクリーン（メインスクリーン）１１１は、多人数同時操作装置１００が生成したＶＲのための映像（つまり、多人数同時操作装置１００がレンダリングした画像）を映し出すための表示装置である。例えば、観客席にいる観客たちが、正面に設置された１つの巨大なスクリーン１１１を見ることによって、ＶＲを体験することができる。例えば、スクリーン１１１は、プロジェクタスクリーンである。つまり、プロジェクタ（図示せず）が、多人数同時操作装置１００から映像を取得して、その映像をスクリーン１１１上に投影する。なお、スクリーン１１１は、ディスプレイ、モニタなどの任意の表示装置とすることができる。
【００１７】
コントローラ１１２は、多人数同時操作装置１００に対して、仮想空間内の視点の位置および向きの少なくとも一方を指示するための操作装置である。例えば、ナビゲータが、コントローラ１１２を操作して、スクリーン１１１上に映し出される映像をレンダリングするための仮想空間内の視点の位置および向きの少なくとも一方を動かすことができる。コントローラ１１２は、ナビゲータによって入力された視点の位置および向きの少なくとも一方の情報を、無線通信などを介して多人数同時操作装置１００へ送ることができる。例えば、コントローラ１１２は、ゲームパッドである。なお、コントローラ１１２は、マウス、キーボードなどの任意の操作装置とすることができる。あるいは、コントローラ１１２は、以下に説明するようなタブレットとすることができる。
【００１８】
タブレット（セカンドスクリーン）１２０は、タブレット１２０が生成したＶＲのための映像（つまり、タブレット１２０自身がレンダリングした画像）または多人数同時操作装置１００が生成したＶＲのための映像（つまり、多人数同時操作装置１００がレンダリングした画像）を映し出す表示装置の機能と、タブレット１２０自身に対してまたは多人数同時操作装置１００に対して視点の位置および向きの少なくとも一方を指示する操作装置の機能とを有するコンピュータである。例えば、観客たちは、ナビゲータなどから配布されたタブレット１２０を利用することができる。タブレット１２０は、観客によってタブレット１２０に入力された視点の位置および向きの少なくとも一方の情報に基づいてタブレット１２０自身がレンダリングした画像を、タブレット１２０の画面上に表示することができる。あるいは、タブレット１２０は、無線通信などを介して多人数同時操作装置１００から、多人数同時操作装置１００がレンダリングした画像を受信して、その画像をタブレット１２０の画面上に表示することができる。また、タブレット１２０は、観客によって入力された視点の位置および向き少なくとも一方の情報を、無線通信などを介して多人数同時操作装置１００へ送信することができる。例えば、観客は、タブレット１２０の画面上に表示されるＧＵＩ（グラフィカルユーザインタフェース）によるコントローラを操作したり、タブレット１２０に内蔵された加速度センサやジャイロスコープを用いたり（つまり、タブレット１２０自体を動かしたり）することによって、タブレット１２０の画面上に映し出される映像をレンダリングするための仮想空間内の視点の位置および向きを動かすことができる。なお、タブレット１２０は、ヘッドマウントディスプレイとすることができる。ヘッドマウントディスプレイは、両眼、単眼、非透過型、透過型などの任意のヘッドマウントディスプレイであってよい。
【００１９】
図２は、本発明の一実施形態にかかる多人数同時操作装置の機能ブロック図である。多人数同時操作装置１００は、メインスクリーン視点取得部２０１、セカンドスクリーン視点取得部２０２、メインスクリーンレンダリング部２０３、セカンドスクリーンレンダリング部２０４、写真撮影部２０５、写真表示部２０６、映像表示部２０７、ドローン表示部２０８、撮影情報格納部２０９、写真格納部２１０を含む。多人数同時操作装置１００は、プロセッサおよびメモリを含む１または複数のコンピュータである。また、多人数同時操作装置１００は、メインスクリーン視点取得部２０１、セカンドスクリーン視点取得部２０２、メインスクリーンレンダリング部２０３、セカンドスクリーンレンダリング部２０４、写真撮影部２０５、写真表示部２０６、映像表示部２０７、ドローン表示部２０８を動作させるためのプログラム、または、後述する処理フローを実行するためのプログラム、を格納した記憶媒体を含む。
【００２０】
メインスクリーン視点取得部２０１は、コントローラ１１２から、ナビゲータによって入力された視点の位置および向きの少なくとも一方の情報を取得することができる。また、メインスクリーン視点取得部２０１は、コントローラ１１２から、ナビゲータによって入力された仮想空間内の状況（例えば、照明、時刻、天候など）を示す視点以外の情報を取得することができる。つまり、ナビゲータは、コントローラ１１２を用いて、仮想空間内の状況を変更することができる。メインスクリーン視点取得部２０１は、取得した情報をメモリ（図示せず）に格納することができる。
【００２１】
セカンドスクリーン視点取得部２０２は、タブレット１２０から、観客によって入力された視点の位置および向きの少なくとも一方の情報を取得することができる。また、セカンドスクリーン視点取得部２０２は、タブレット１２０から、観客によって入力された仮想空間内の状況（例えば、照明、時刻、天候など）を示す視点以外の情報を取得することができる。つまり、観客は、タブレット１２０を用いて、仮想空間内の状況を変更することができる。セカンドスクリーン視点取得部２０２は、取得した情報をメモリ（図示せず）に格納することができる。
【００２２】
メインスクリーンレンダリング部２０３は、メインスクリーン視点取得部２０１が取得した視点の位置および向きの情報と、仮想空間内の視点以外の情報（例えば、照明、時刻、天候など）とに基づいて画像を作り出し（つまり、レンダリングする）、ＶＲのための映像を生成することができる。メインスクリーンレンダリング部２０３は、生成したＶＲのための映像を、例えば、プロジェクタへ送ることができる。そして、プロジェクタが、メインスクリーンレンダリング部２０３から取得した映像をスクリーン１１１上に投影する。なお、メインスクリーンレンダリング部２０３は、取得した視点の位置および向きの情報の両方を使用してもよいし、一方のみを使用してもよい。
【００２３】
セカンドスクリーンレンダリング部２０４は、セカンドスクリーン視点取得部２０２が取得した視点の位置および向きの情報と、仮想空間内の視点以外の情報（例えば、照明、時刻、天候など）とに基づいて画像を作り出し（つまり、レンダリングする）、ＶＲのための映像を生成することができる。セカンドスクリーンレンダリング部２０４は、生成したＶＲのための映像を、タブレット１２０へ送信することができる。前述したように、タブレット１２０がレンダリングするようにすることもでき、その場合は、セカンドスクリーンレンダリング部２０４はレンダリングする必要がない。なお、セカンドスクリーンレンダリング部２０４は、取得した視点の位置および向きの情報の両方を使用してもよいし、一方のみを使用してもよい。
【００２４】
ここで、メインスクリーン（スクリーン１１１）に映し出される映像により表現される仮想空間と、セカンドスクリーン（タブレット１２０）に映し出される映像により表現される仮想空間との関係について説明する。メインスクリーン（スクリーン１１１）に映し出される映像により表現される仮想空間とセカンドスクリーン（タブレット１２０）に映し出される映像により表現される仮想空間は、同一の空間を表している。例えば、ナビゲータがメインスクリーン（スクリーン１１１）上で仮想空間内を観客たちに紹介している途中で、その時にメインスクリーン（スクリーン１１１）上で映し出されている仮想空間と同一の空間を同一の状況（例えば、照明、時刻、天候など）でセカンドスクリーン（タブレット１２０）上にも映し出すようにすることができる。そのため、観客は、メインスクリーン（スクリーン１１１）上ではナビゲータが動かす視点に基づいて仮想空間を見ることができ、かつ、セカンドスクリーン（タブレット１２０）上では、メインスクリーン（スクリーン１１１）と同一の仮想空間を、観客自身が動かす視点に基づいて見ることができる。つまり、観客は、メインスクリーン（スクリーン１１１）で見ていた仮想空間内を自由に移動する体験をすることができる。
【００２５】
図２に戻る。写真撮影部２０５は、観客にタブレット１２０で仮想空間内の写真を撮影させることができる。すなわち、現実の空間内の光景を撮影するのではなく、仮想空間内の光景を撮影することができる。具体的には、写真撮影部２０５は、観客がセカンドスクリーン（タブレット１２０）で仮想空間内を自由に移動する体験をしているときに、観客が希望する視点から見た仮想空間内の光景をスナップ写真として撮影することができる。
【００２６】
＜撮影情報の蓄積＞
写真撮影部２０５は、タブレット１２０から、仮想空間内の写真を撮影するよう求める指示を受信することができる。例えば、観客は、タブレット１２０の画面上に表示されるシャッターボタンを押下する。そうすると、タブレット１２０は、写真撮影部２０５へ、仮想空間内の写真を撮影するよう求める指示を送信することができる。また、写真撮影部２０５は、仮想空間内の写真を撮影するよう求める指示を受信した時にタブレット１２０に映し出されている映像をレンダリングするための仮想空間内の視点の位置および向きの少なくとも一方の情報（つまり、セカンドスクリーン視点取得部２０２がタブレット１２０から取得した、その時点での視点の位置および向きの少なくとも一方の情報）を、撮影情報格納部２０９に格納することができる。また、写真撮影部２０５は、仮想空間内の写真を撮影するよう求める指示を受信した時にタブレット１２０に映し出されている映像をレンダリングするための仮想空間の視点以外の情報（つまり、セカンドスクリーン視点取得部２０２がタブレット１２０から取得した、その時点での仮想空間の視点以外の情報）を、撮影情報格納部２０９に格納することができる。例えば、レンダリングするための仮想空間の視点以外の情報とは、仮想空間内の照明、時刻、天候といった光源やオブジェクトに影響を与える情報である。
【００２７】
＜写真の生成＞
写真撮影部２０５は、撮影情報格納部２０９に格納されている視点の位置および向きの情報、および、仮想空間内の照明、時刻、天候といった光源やオブジェクトに影響を与える情報に基づいてレンダリングすることができる。なお、写真撮影部２０５は、格納されている視点の位置および向きの情報の両方を使用してもよいし、一方のみを使用してもよい。写真撮影部２０５は、レンダリングした結果を、画像（例えば、テクスチャ画像）として写真格納部２１０に格納することができる。このように、写真撮影部２０５は、観客がシャッターボタンを押下した時にタブレット１２０に映し出されていた映像の静止画像（写真）を生成することができる。
【００２８】
撮影情報格納部２０９は、上でも説明したように、観客がシャッターボタンを押下した時の、仮想空間内の視点の位置および向きの情報、および、仮想空間内の照明、時刻、天候といった光源やオブジェクトに影響を与える情報を格納している。
【００２９】
写真格納部２１０は、上でも説明したように、観客がシャッターボタンを押下した時にタブレット１２０に映し出されていた映像の静止画像（写真）を、例えば、テクスチャ画像として格納している。
【００３０】
写真表示部２０６は、写真格納部２１０に格納されている写真を、メインスクリーン（スクリーン１１１）上で表示することができる。具体的には、写真表示部２０６は、写真格納部２１０に格納されている１または複数の写真を、メインスクリーン（スクリーン１１１）に映し出されているＶＲのための映像の一部分に重畳して表示することができる。また、写真表示部２０６は、その写真を撮影したタブレット１２０を所持する観客の氏名やＩＤなどの情報を、メインスクリーン（スクリーン１１１）に映し出されているＶＲのための映像の一部分に重畳して表示することができる。この場合、多人数同時操作装置１００は、事前に、各タブレット１２０を所持する観客の氏名やＩＤなどの情報を取得しておく。
【００３１】
このように、観客がセカンドスクリーン（タブレット１２０）で仮想空間内を自由に移動する体験をしているときに撮影された写真が、メインスクリーン（スクリーン１１１）上に表示される。そのため、観客は、他の観客たちが仮想空間内でどのような光景を撮影したのかを知ることができる。なお、多人数同時操作装置１００は、写真格納部２１０内の静止画像（写真）を任意のコンピュータ（例えば、観客のスマートフォンやパーソナルコンピュータなど）へ送信することができる。あるいは、多人数同時操作装置１００は、写真格納部２１０内の静止画像（写真）を任意のプリンタで印刷して出力させることができる。
【００３２】
映像表示部２０７は、１または複数の観客がセカンドスクリーン（タブレット１２０）で見ている映像を、メインスクリーン（スクリーン１１１）上で表示することができる。具体的には、映像表示部２０７は、セカンドスクリーンレンダリング部２０４が生成したＶＲのための映像（つまり、多人数同時操作装置１００がレンダリングした画像）またはタブレット１２０が生成したＶＲのための映像（つまり、タブレット１２０がレンダリングした画像）を、メインスクリーン（スクリーン１１１）に映し出されているＶＲのための映像の一部分に重畳して表示することができる。また、映像表示部２０７は、その映像を映し出しているタブレット１２０を所持する観客の氏名やＩＤなどの情報を、メインスクリーン（スクリーン１１１）に映し出されているＶＲのための映像の一部分に重畳して表示することができる。この場合、多人数同時操作装置１００は、事前に、各タブレット１２０を所持する観客の氏名やＩＤなどの情報を取得しておく。なお、逆も可能であり、映像表示部２０７は、メインスクリーンレンダリング部２０３が生成したＶＲのための映像を、セカンドスクリーン（タブレット１２０）に映し出されているＶＲのための映像の一部分に重畳して表示することができる。
【００３３】
このように、観客がセカンドスクリーン（タブレット１２０）で仮想空間内を自由に移動する体験をしているときに見ている映像が、メインスクリーン（スクリーン１１１）上に中継される。そのため、観客は、他の観客たちがどのような映像を見ているかを知ることができる。
【００３４】
ドローン表示部２０８は、仮想空間内で各観客が移動している様子を示すアイコンを、メインスクリーン（スクリーン１１１）上で表示することができる。具体的には、ドローン表示部２０８は、仮想空間内で、タブレット１２０が指示している視点の位置に、アイコン（例えば、仮想のドローン）を配置することができる。また、ドローン表示部２０８は、配置したアイコン（例えば、仮想のドローン）の向きを、タブレット１２０が指示している視点の向きに一致させることができる。そして、メインスクリーンレンダリング部２０３は、アイコン（例えば、仮想のドローン）が配置された仮想空間をレンダリングすることができる。また、ドローン表示部２０８は、アイコン（例えば、仮想のドローン）に対応するタブレット１２０を所持する観客の氏名やＩＤなどの情報を、メインスクリーン（スクリーン１１１）に映し出されているＶＲのための映像の一部分に重畳して表示することができる。この場合、多人数同時操作装置１００は、事前に、各タブレット１２０を所持する観客の氏名やＩＤなどの情報を取得しておく。なお、ドローン表示部２０８は、セカンドスクリーン（タブレット１２０）上で、メインスクリーン（スクリーン１１１）上に表示されているアイコン（例えば、仮想のドローン）を表示することもできる。また、ドローン表示部２０８は、セカンドスクリーン（タブレット１２０）上で、コントローラ１１２によって指示されている視点の位置および向きを示すアイコン（例えば、仮想のドローン）を表示することができる。
【００３５】
このように、観客がセカンドスクリーン（タブレット１２０）で仮想空間内を自由に移動する体験をしているときの視点の位置および向きを示すドローンのアイコンが、メインスクリーン（スクリーン１１１）上に表示される。そのため、観客は、他の観客たちが仮想空間内のどこにいるのかを知ることができる。さらに、観客は、他の観客たちが仮想空間内のどこで写真を撮影したのかを知ることができる。
【００３６】
図３は、本発明の一実施形態にかかる多人数同時操作装置のスクリーン１１１に表示される映像の例である。図３のメインスクリーン１１１には、メインスクリーンレンダリング部２０３が生成したＶＲのための映像が映し出される。また、図３のメインスクリーンでは、写真格納部２１０に格納されている１または複数の写真３０１が、メインスクリーンレンダリング部２０３が生成したＶＲのための映像の一部分に重畳して表示されうる。また、図３のメインスクリーンでは、タブレット１２０またはセカンドスクリーンレンダリング部２０４が生成したＶＲのための１または複数の映像３０２が、メインスクリーンレンダリング部２０３が生成したＶＲのための映像の一部分に重畳して表示されうる。また、図３のメインスクリーンでは、１または複数のドローンアイコン３０３が表示されうる。
【００３７】
図４は、本発明の一実施形態にかかる多人数同時操作装置における写真撮影の処理の流れを示すシーケンス図である。タブレット１２０は、観客によって入力された視点の位置および向き少なくとも一方の情報を、多人数同時操作装置１００へ送信し続けているとする。なお、タブレット１２０は、観客によって入力された仮想空間の視点以外の情報（例えば、照明、時刻、天候など）も、多人数同時操作装置１００へ送信し続けるようにしてよい。また、コントローラ１１２は、ナビゲータによって入力された視点の位置および向き少なくとも一方の情報を、多人数同時操作装置１００へ送信し続けているとする。なお、コントローラ１１２は、ナビゲータによって入力された仮想空間の視点以外の情報（例えば、照明、時刻、天候など）も、多人数同時操作装置１００へ送信し続けるようにしてよい。
【００３８】
ステップ４０１（Ｓ４０１）で、タブレット１２０は、仮想空間内の写真を撮影するよう求める指示を、多人数同時操作装置１００へ送信する。
ステップ４０２（Ｓ４０２）で、多人数同時操作装置１００は、Ｓ４０１の時点でタブレット１２０上に映し出されている映像をレンダリングするための仮想空間内の視点の位置および向きの情報を格納する。なお、多人数同時操作装置１００は、Ｓ４０１の時点でタブレット１２０上に映し出されている映像をレンダリングするための仮想空間の視点以外の情報（例えば、照明、時刻、天候など）も格納するようにしてよい。
ステップ４０３（Ｓ４０３）で、多人数同時操作装置１００は、Ｓ４０２で格納した視点の位置および向きなどに基づいてレンダリングする。その後、多人数同時操作装置１００は、レンダリングした結果を、画像（例えば、テクスチャ画像）として格納する。
ステップ４０４（Ｓ４０４）で、多人数同時操作装置１００は、コントローラ１１２から受信し続けている視点の位置および向きに基づいてレンダリングする。そして、多人数同時操作装置１００は、レンダリングした映像の上に、Ｓ４０３で格納した画像（例えば、テクスチャ画像）を重畳して表示する。
【００３９】
図５は、本発明の一実施形態にかかる多人数同時操作装置における映像中継の処理の流れを示すシーケンス図である。タブレット１２０は、観客によって入力された視点の位置および向き少なくとも一方の情報を、多人数同時操作装置１００へ送信し続けているとする。また、コントローラ１１２は、ナビゲータによって入力された視点の位置および向き少なくとも一方の情報を、多人数同時操作装置１００へ送信し続けているとする。
【００４０】
ステップ５０１（Ｓ５０１）で、多人数同時操作装置１００は、タブレット１２０から受信し続けている視点の位置および向きに基づいてレンダリングする。あるいは、多人数同時操作装置１００は、タブレット１２０から、タブレット１２０がレンダリングした映像を受信する。また、多人数同時操作装置１００は、コントローラ１１２から受信し続けている視点の位置および向きに基づいてレンダリングする。
ステップ５０２（Ｓ５０２）で、多人数同時操作装置１００は、Ｓ５０１でコントローラ１１２からの視点の位置および向きに基づいてレンダリングした映像の上に、Ｓ５０１でタブレット１２０からの視点の位置および向きに基づいてレンダリングした映像またはタブレット１２０がレンダリングした映像を、重畳して表示する。同時に、多人数同時操作装置１００は、タブレット１２０上に、Ｓ５０１でタブレット１２０からの視点の位置および向きに基づいてレンダリングした映像を映し出す（タブレット１２０がレンダリングする場合は、本処理は必要ない）。
【００４１】
図６は、本発明の一実施形態にかかる多人数同時操作装置におけるドローンアイコンの表示の処理の流れを示すシーケンス図である。タブレット１２０は、観客によって入力された視点の位置および向き少なくとも一方の情報を、多人数同時操作装置１００へ送信し続けているとする。また、コントローラ１１２は、ナビゲータによって入力された視点の位置および向き少なくとも一方の情報を、多人数同時操作装置１００へ送信し続けているとする。
【００４２】
ステップ６０１（Ｓ６０１）で、多人数同時操作装置１００は、仮想空間内で、タブレット１２０が指示している視点の位置に、アイコン（例えば、仮想のドローン）を配置する。また、多人数同時操作装置１００は、配置したアイコン（例えば、仮想のドローン）の向きを、タブレット１２０が指示している視点の向きに一致させる。
ステップ６０２（Ｓ６０２）で、多人数同時操作装置１００は、コントローラ１１２からの視点の位置および向きに基づいて、Ｓ６０１でアイコン（例えば、仮想のドローン）が配置された仮想空間をレンダリングする。
ステップ６０３（Ｓ６０３）で、多人数同時操作装置１００は、スクリーン１１１上にＳ６０２でレンダリングした映像を映し出す。なお、Ｓ６０３に加えてまたはＳ６０３の代わりに、多人数同時操作装置１００が、セカンドスクリーン（タブレット１２０）上で、コントローラ１１２によって指示されている視点の位置および向きを示すアイコン（例えば、仮想のドローン）を表示するようにしてもよい。
【００４３】
＜視点の位置の連動＞
観客がタブレット１２０を用いて視点の位置と向きの両方を動かすのではなく、視点の向きだけを動かすことができるようにしてもよい。例えば、タブレット１２０は、コントローラ１１２から取得した視点の位置の情報と、タブレット１２０から取得した視点の向きの情報とに基づいてレンダリングして、タブレット１２０に映し出すＶＲのための映像を生成することができる。あるいは、多人数同時操作装置１００は、コントローラ１１２から取得した視点の位置の情報と、タブレット１２０から取得した視点の向きの情報とに基づいてレンダリングして、タブレット１２０に映し出すＶＲのための映像を生成することができる。そのため、観客たちは、同じ位置からそれぞれ異なる方向を向いて写真を撮影することができる。
【００４４】
＜タブレットの活用＞
なお、観客に配布したタブレット１２０を以下のように活用することもできる。多人数同時操作装置１００は、事前に取得しておいた観客の属性（例えば、母国語など）に基づいて、タブレット１２０上に、ナビゲータが話している説明の字幕を表示することができる。また、多人数同時操作装置１００は、タブレット１２０上に、補足の説明文や画像を表示することができる。多人数同時操作装置１００は、タブレット１２０がアラート音を鳴らすことによって、観客にタブレット１２０を見るよう注意を促すことができる。
【００４５】
なお、本発明では、タブレット１２０が、多人数同時操作装置１００の少なくとも一部の機能を有するようにしてもよい。前述したように、タブレット１２０が、多人数同時操作装置１００のセカンドスクリーン視点取得部２０２およびセカンドスクリーンレンダリング部２０４の機能を有して、タブレット１２０がレンダリングするようにすることができる。また、タブレット１２０が、多人数同時操作装置１００のメインスクリーン視点取得部２０１およびメインスクリーンレンダリング部２０３の機能を有して、タブレット１２０がレンダリングするようにしてもよい。また、タブレット１２０が、写真撮影部２０５、写真表示部２０６、映像表示部２０７、ドローン表示部２０８、撮影情報格納部２０９、写真格納部２１０の機能を有して、タブレット１２０が写真撮影、映像中継、ドローンアイコンの表示の処理を実行するようにしてもよい。
【００４６】
このように、本発明では、複数の観客が同時に仮想空間内で各自の視点の位置や向きを動かしながらＶＲを体験することができる。
【００４７】
ここまで、本発明の実施形態について説明したが、上記実施形態はあくまで一例であり、本発明は上述した実施形態に限定されず、その技術的思想の範囲内において種々異なる形態にて実施されてよいことは言うまでもない。
【００４８】
また、本発明の範囲は、図示され記載された例示的な実施形態に限定されるものではなく、本発明が目的とするものと均等な効果をもたらすすべての実施形態をも含む。さらに、本発明の範囲は、各請求項により画される発明の特徴の組み合わせに限定されるものではなく、すべての開示されたそれぞれの特徴のうち特定の特徴のあらゆる所望する組み合わせによって画されうる。
【符号の説明】
【００４９】
１００  多人数同時操作装置
１１１  スクリーン（メインスクリーン）
１１２  コントローラ
１２０  タブレット（セカンドスクリーン）
２０１  メインスクリーン視点取得部
２０２  セカンドスクリーン視点取得部
２０３  メインスクリーンレンダリング部
２０４  セカンドスクリーンレンダリング部
２０５  写真撮影部
２０６  写真表示部
２０７  映像表示部
２０８  ドローン表示部
２０９  撮影情報格納部
２１０  写真格納部
３０１  写真
３０２  映像
３０３  ドローンアイコン
【図１】
2019211835.tif 000003
【図２】
2019211835.tif 000004
【図３】
2019211835.tif 000005
【図４】
2019211835.tif 000006
【図５】
2019211835.tif 000007
【図６】
2019211835.tif 000008