(57)【要約】  情報処理装置１０は、現実空間を撮像した第１画像を取得する。情報処理装置１０は、ヘッドマウントディスプレイ（ＨＭＤ１００）を装着したユーザに提示する仮想空間を示す第２画像の中に上記第１画像を合成した表示用画像であって、かつ、上記第１画像の端が目立たないよう構成された表示用画像を生成する。情報処理装置１０は、生成した表示用画像をＨＭＤ１００に表示させる。
2020129115.tif 000002
【特許請求の範囲】
【請求項１】
現実空間を撮像した第１画像を取得する取得部と、
ヘッドマウントディスプレイを装着したユーザに提示する仮想空間を示す第２画像の中に、前記取得部により取得された第１画像を合成した表示用画像であって、かつ、前記第１画像の端が目立たないよう構成された表示用画像を生成する生成部と、
前記生成部により生成された表示用画像を前記ヘッドマウントディスプレイに表示させる出力部と、
を備えることを特徴とする情報処理システム。
【請求項２】
前記第２画像は、前記第１画像の端の少なくとも一部を覆うオブジェクトを含むことを特徴とする請求項１に記載の情報処理システム。
【請求項３】
前記オブジェクトは、前記第２画像が示す仮想空間の種類に適合する物品の画像であることを特徴とする請求項２に記載の情報処理システム。
【請求項４】
前記第１画像は、舞台上で行われているイベントを撮像したものであり、
前記オブジェクトは、舞台上の備品を示す画像であることを特徴とする請求項２に記載の情報処理システム。
【請求項５】
前記生成部は、前記第１画像と前記第２画像との境界の少なくとも一部を不鮮明にした表示用画像を生成することを特徴とする請求項１から４のいずれかに記載の情報処理システム。
【請求項６】
前記生成部は、前記第２画像における前記第１画像との境界付近の色を、前記第１画像における前記境界付近の色に近似させることを特徴とする請求項５に記載の情報処理システム。
【請求項７】
前記生成部は、前記第２画像における前記第１画像との境界付近を相対的に低画質に設定することを特徴とする請求項５または６に記載の情報処理システム。
【請求項８】
現実空間を撮像した第１画像を取得するステップと、
ヘッドマウントディスプレイを装着したユーザに提示する仮想空間を示す第２画像の中に前記第１画像を合成した表示用画像であって、かつ、前記第１画像の端が目立たないよう構成された表示用画像を生成するステップと、
前記表示用画像を前記ヘッドマウントディスプレイに表示させるステップと、
をコンピュータが実行することを特徴とする情報処理方法。
【請求項９】
現実空間を撮像した第１画像を取得する機能と、
ヘッドマウントディスプレイを装着したユーザに提示する仮想空間を示す第２画像の中に前記第１画像を合成した表示用画像であって、かつ、前記第１画像の端が目立たないよう構成された表示用画像を生成する機能と、
前記表示用画像を前記ヘッドマウントディスプレイに表示させる機能と、
をコンピュータに実現させるためのコンピュータプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、データ処理技術に関し、特に情報処理システム、情報処理方法およびコンピュータプログラムに関する。
【背景技術】
【０００２】
ヘッドマウントディスプレイにパノラマ画像を表示し、ヘッドマウントディスプレイを装着したユーザが頭部を回転させると視線方向に応じたパノラマ画像が表示されるようにしたシステムが開発されている。ヘッドマウントディスプレイを利用することで、仮想空間への没入感を高めることができる。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】国際公開第２０１７／１１０６３２号
【発明の概要】
【発明が解決しようとする課題】
【０００４】
仮想現実空間をユーザに体験させる様々なアプリケーションが提供されている中、仮想現実空間を視聴するユーザにエンタテインメント性が高い視聴体験を提供することが求められている。【０００５】
本発明はこうした課題に鑑みてなされたものであり、１つの目的は、仮想空間を視聴するユーザにエンタテインメント性が高い視聴体験を提供することにある。
【課題を解決するための手段】
【０００６】
上記課題を解決するために、本発明のある態様の情報処理システムは、現実空間を撮像した第１画像を取得する取得部と、ヘッドマウントディスプレイを装着したユーザに提示する仮想空間を示す第２画像の中に、取得部により取得された第１画像を合成した表示用画像であって、かつ、第１画像の端が目立たないよう構成された表示用画像を生成する生成部と、生成部により生成された表示用画像をヘッドマウントディスプレイに表示させる出力部と、を備える。【０００７】
本発明の別の態様は、情報処理方法である。この方法は、現実空間を撮像した第１画像を取得するステップと、ヘッドマウントディスプレイを装着したユーザに提示する仮想空間を示す第２画像の中に第１画像を合成した表示用画像であって、かつ、第１画像の端が目立たないよう構成された表示用画像を生成するステップと、表示用画像をヘッドマウントディスプレイに表示させるステップと、をコンピュータが実行する。【０００８】
なお、以上の構成要素の任意の組合せ、本発明の表現を、装置、コンピュータプログラム、コンピュータプログラムを読み取り可能に記録した記録媒体、上記情報処理装置の機能を含むヘッドマウントディスプレイなどの間で変換したものもまた、本発明の態様として有効である。
【発明の効果】
【０００９】
本発明によれば、仮想空間を視聴するユーザにエンタテインメント性が高い視聴体験を提供することができる。
【図面の簡単な説明】
【００１０】
【図１】第１実施例に係るエンタテインメントシステムの構成を示す図である。
【図２】図１のＨＭＤの外観形状を示す図である。
【図３】図１のＨＭＤの機能ブロックを示すブロック図である。
【図４】第１実施例の情報処理装置の機能ブロックを示すブロック図である。
【図５】ＶＲ映像の例を示す図である。
【図６】ＶＲ映像の概略図である。
【図７】ＶＲ映像の概略図である。
【図８】第２実施例の情報処理装置の機能ブロックを示すブロック図である。
【図９】ＶＲ映像の例を示す図である。
【図１０】ＶＲ映像の例を示す図である。
【図１１】ＶＲ映像の例を示す図である。
【図１２】仮想空間におけるサイズ調整を説明する図である。
【発明を実施するための形態】
【００１１】
以下、特に断らない限り、実施例における「画像」は、映像と静止画の両方を含み得る。また、実施例における「映像」は、静止画にも置き換え可能である。
【００１２】
（第１実施例）
まず、第１実施例のエンタテインメントシステムの概要を説明する。実施例のエンタテインメントシステムは、ユーザが頭部に装着したヘッドマウントディスプレイ（以下「ＨＭＤ」とも呼ぶ。）に、表示用画像として仮想空間の映像（以下「ＶＲ映像」とも呼ぶ。）を表示させる。実施例のＶＲ映像は、スポーツの試合や演劇、コンサート等、現実空間でのイベントを撮像した第１画像である「ライブ映像」と、そのイベントが開催される会場を模した仮想空間を示す第２画像である「会場映像」とを含む。実施例のエンタテインメントシステムは、開催中のイベント（以下「ライブイベント」とも呼ぶ。）をその現場で視聴しているかのような体験をユーザに提供することを目的とする。
【００１３】
本発明者は、ＶＲ映像においてライブ映像の端（言い換えればライブ映像と会場映像との境目）が目立つと、ユーザにはライブ映像と会場映像とが切り離されて認識され、イベントが目の前で行われている感覚をユーザに抱かせにくくなると考えた。言い換えれば、開催中のイベントをその現場で視聴している感覚をユーザに抱かせにくくなると考えた。そこで、実施例のエンタテインメントシステムは、ライブ映像の端が目立たないよう構成されたＶＲ映像を生成する。これにより、開催中のイベントをその現場で視聴しているという感覚をユーザに抱かせ易くなり、エンタテインメント性が高いＶＲ視聴体験をユーザに提供できる。
【００１４】
図１は、第１実施例に係るエンタテインメントシステム１の構成を示す。エンタテインメントシステム１は、情報処理装置１０ａ、ＨＭＤ１００、入力装置１６、撮像装置１４、出力装置１５、配信サーバ３を備える。入力装置１６は、ユーザが手指で操作する情報処理装置１０のコントローラである。出力装置１５は、画像を表示するテレビまたはモニターである。
【００１５】
配信サーバ３は、不図示のカメラにより撮像された、スポーツの試合やコンサート等のライブ映像をリアルタイムで情報処理装置１０ａへ配信する。配信サーバ３は、所定のストリーミングプロトコルにしたがって、ライブ映像のデータを情報処理装置１０ａへストリーミング送信してもよい。
【００１６】
情報処理装置１０ａは、ＶＲ映像をＨＭＤ１００に表示させるための各種データ処理を実行する。情報処理装置１０ａは、ＨＭＤ１００の姿勢情報に応じてユーザの視線方向を検出し、その視線方向に応じたＶＲ映像をＨＭＤ１００に表示させる。情報処理装置１０ａは、ＰＣ、据置型ゲーム機、携帯型ゲーム機、スマートフォン、タブレット端末のいずれかあってもよい。
【００１７】
撮像装置１４は、ＨＭＤ１００を装着したユーザを含むユーザ周辺の空間を所定の周期で撮像するカメラ装置である。撮像装置１４はステレオカメラであって、撮像画像を情報処理装置１０に供給する。後述するが、ＨＭＤ１００にはユーザ頭部をトラッキングするためのマーカ（トラッキング用ＬＥＤ）が設けられ、情報処理装置１０ａは、撮像画像に含まれるマーカの位置にもとづいてＨＭＤ１００の動き（例えば位置、姿勢およびそれらの変化）を検出する。
【００１８】
なお、ＨＭＤ１００には姿勢センサ（加速度センサおよびジャイロセンサ）が搭載され、情報処理装置１０ａは、姿勢センサで検出されたセンサデータをＨＭＤ１００から取得することで、マーカの撮影画像の利用とあわせて、高精度のトラッキング処理を実施する。なおトラッキング処理については従来より様々な手法が提案されており、ＨＭＤ１００の動きを情報処理装置１０ａが検出できるのであれば、どのようなトラッキング手法を採用してもよい。
【００１９】
ユーザはＨＭＤ１００で画像を見るため、ＨＭＤ１００を装着したユーザにとって出力装置１５は必ずしも必要ではないが、出力装置１５を用意することで、別のユーザが出力装置１５の表示画像を見ることができる。情報処理装置１０ａは、ＨＭＤ１００を装着したユーザが見ている画像と同じ画像を出力装置１５に表示させてもよいが、別の画像を表示させてもよい。たとえばＨＭＤ１００を装着したユーザと、別のユーザ（フレンド等）とが一緒に映像コンテンツを視聴する場合、出力装置１５からは、別のユーザの視点からの映像コンテンツが表示されてもよい。
【００２０】
ＡＰ１７は、無線アクセスポイントおよびルータの機能を有する。情報処理装置１０ａは、ＡＰ１７とケーブルで接続してもよく、既知の無線通信プロトコルで接続してもよい。情報処理装置１０ａは、ＡＰ１７を介して、外部ネットワーク上の配信サーバ３に接続される。
【００２１】
エンタテインメントシステム１は、さらに、情報処理装置１０ａのユーザとは別のユーザにより操作される情報処理装置１０ｂと情報処理装置１０ｃを備える。情報処理装置１０ｂと情報処理装置１０ｃは、情報処理装置１０ａと同様の機能を備え、上記別のユーザが装着したＨＭＤ１００（不図示）および入力装置１６（不図示）と接続される。すなわち、情報処理装置１０ａ、情報処理装置１０ｂ、情報処理装置１０ｃそれぞれのユーザは、ＨＭＤ１００を装着して、配信サーバ３から配信されたライブ映像を含むＶＲ映像を視聴する。以下、情報処理装置１０ａ、情報処理装置１０ｂ、情報処理装置１０ｃを総称する場合、「情報処理装置１０」と呼ぶ。
【００２２】
図２は、図１のＨＭＤ１００の外観形状を示す。ＨＭＤ１００は、出力機構部１０２および装着機構部１０４から構成される。装着機構部１０４は、ユーザが被ることにより頭部を一周してＨＭＤ１００を頭部に固定する装着バンド１０６を含む。装着バンド１０６はユーザの頭囲に合わせて長さの調節が可能な素材または構造をもつ。
【００２３】
出力機構部１０２は、ＨＭＤ１００をユーザが装着した状態において左右の目を覆う形状の筐体１０８を含み、内部には装着時に目に正対する表示パネルを備える。表示パネルは液晶パネルや有機ＥＬパネルなどであってよい。筐体１０８内部にはさらに、表示パネルとユーザの目との間に位置し、ユーザの視野角を拡大する左右一対の光学レンズが備えられる。ＨＭＤ１００はさらに、ユーザの耳に対応する位置にスピーカーやイヤホンを備えてよく、外付けのヘッドホンが接続されるように構成されてもよい。
【００２４】
筐体１０８の外面には、発光マーカ１１０ａ、１１０ｂ、１１０ｃ、１１０ｄが備えられる。この例ではトラッキング用ＬＥＤが発光マーカ１１０を構成するが、その他の種類のマーカであってよく、いずれにしても撮像装置１４により撮影されて、情報処理装置１０がマーカ位置を画像解析できるものであればよい。発光マーカ１１０の数や配置は特に限定されないが、ＨＭＤ１００の姿勢を検出できるための数および配置である必要があり、図示した例では筐体１０８の前面の４隅に設けている。さらにユーザが撮像装置１４に対して背を向けたときにも撮影できるように、発光マーカ１１０は装着バンド１０６の側部や後部に設けられてもよい。
【００２５】
ＨＭＤ１００は、情報処理装置１０にケーブルで接続されても、既知の無線通信プロトコルで接続されてもよい。ＨＭＤ１００は、姿勢センサが検出したセンサデータを情報処理装置１０に送信し、また情報処理装置１０で生成された画像データを受信して、左目用表示パネルおよび右目用表示パネルに表示する。
【００２６】
図３は、図１のＨＭＤ１００の機能ブロックを示すブロック図である。本明細書のブロック図で示す複数の機能ブロックは、ハードウェア的には、回路ブロック、メモリ、その他のＬＳＩで構成することができ、ソフトウェア的には、メモリにロードされたプログラムをＣＰＵが実行すること等によって実現される。したがって、これらの機能ブロックがハードウェアのみ、ソフトウェアのみ、またはそれらの組合せによっていろいろな形で実現できることは当業者に理解されるところであり、いずれかに限定されるものではない。
【００２７】
制御部１２０は、画像データ、音声データ、センサデータなどの各種データや、命令を処理して出力するメインプロセッサである。記憶部１２２は、制御部１２０が処理するデータや命令などを一時的に記憶する。姿勢センサ１２４は、ＨＭＤ１００の姿勢情報を検出する。姿勢センサ１２４は、少なくとも３軸の加速度センサおよび３軸のジャイロセンサを含む。
【００２８】
通信制御部１２８は、ネットワークアダプタまたはアンテナを介して、有線または無線通信により、制御部１２０から出力されるデータを外部の情報処理装置１０に送信する。また通信制御部１２８は、ネットワークアダプタまたはアンテナを介して、有線または無線通信により、情報処理装置１０からデータを受信し、制御部１２０に出力する。
【００２９】
制御部１２０は、画像データや音声データを情報処理装置１０から受け取ると、表示パネル１３０に供給して表示させ、また音声出力部１３２に供給して音声出力させる。表示パネル１３０は、左目用表示パネル１３０ａと右目用表示パネル１３０ｂから構成され、各表示パネルに一対の視差画像が表示される。また制御部１２０は、姿勢センサ１２４からのセンサデータや、マイク１２６からの音声データを、通信制御部１２８から情報処理装置１０に送信させる。
【００３０】
図４は、第１実施例の情報処理装置１０の機能ブロックを示すブロック図である。情報処理装置１０は、操作検出部３０、姿勢検出部３２、ライブ映像記憶部３４、ライブ映像取得部３６、ＶＲ映像生成部３８、ＶＲ映像出力部４０を備える。
【００３１】
図４に示す複数の機能ブロックのうち少なくとも一部は、コンピュータプログラム（実施例ではライブ映像視聴Ａｐｐ）のモジュールとして実装されてもよい。ライブ映像視聴Ａｐｐは、ＤＶＤ等の記録メディアに格納されてもよく、情報処理装置１０は、記録メディアからライブ映像視聴Ａｐｐを読み出してストレージに記憶してもよい。また、情報処理装置１０は、ネットワーク上のサーバからライブ映像視聴Ａｐｐをダウンロードしてストレージに記憶してもよい。情報処理装置１０のＣＰＵまたはＧＰＵは、ライブ映像視聴Ａｐｐをメインメモリに読み出して実行することにより、図４に示す各機能ブロックの機能を発揮してもよい。
【００３２】
操作検出部３０は、入力装置１６に入力され、入力装置１６から通知されたユーザの操作を検出する。操作検出部３０は、検出したユーザ操作を他の機能ブロックに通知する。
【００３３】
姿勢検出部３２は、撮像装置１４から出力された撮像画像と、ＨＭＤ１００の姿勢センサ１２４から出力された姿勢情報とをもとに、公知のヘッドトラッキング技術を用いて、ＨＭＤ１００の位置と姿勢を検出する。言い換えれば、姿勢検出部３２は、ＨＭＤ１００を装着したユーザの頭部の位置と姿勢を検出する。また、姿勢検出部３２は、公知の手法により、ＨＭＤ１００の位置と姿勢に応じて、ユーザの視線方向を検出する。
【００３４】
ライブ映像記憶部３４は、ライブ映像のデータを一時的に記憶する。ライブ映像取得部３６は、ユーザにより指定されたライブ映像の提供を配信サーバ３に要求し、配信サーバ３から送信されたライブ映像のデータを取得してライブ映像記憶部３４に格納する。
【００３５】
ＶＲ映像生成部３８は、操作検出部３０により検出されたユーザ操作、および、姿勢検出部３２により検出されたＨＭＤ１００の姿勢、ユーザの視線方向に応じて、ＶＲ映像のデータを生成する。ＶＲ映像出力部４０は、ＶＲ映像生成部３８により生成されたＶＲ映像のデータをＨＭＤ１００へ出力し、そのＶＲ映像をＨＭＤ１００に表示させる。ＶＲ映像出力部４０は、ＨＭＤ１００における表示内容を制御する表示制御部とも言える。
【００３６】
実施例のＶＲ映像生成部３８の構成を詳細に説明する。ＶＲ映像生成部３８は、スクリーン領域を含む会場映像のデータであって、かつ、姿勢検出部３２により検出されたＨＭＤ１００の姿勢およびユーザの視線方向に整合する態様の会場映像のデータを生成する。ＶＲ映像生成部３８は、会場映像のスクリーン領域に、ライブ映像取得部３６により取得されたライブ映像を合成する（言い換えれば貼り付ける）ことによりＶＲ映像のデータを生成する。
【００３７】
また、ＶＲ映像生成部３８は、ライブ映像の端が目立たないよう構成されたＶＲ映像を生成する。ライブ映像の端は、ライブ映像の縁とも言え、ライブ映像と会場映像との境界とも言える。実施例では、ＶＲ映像生成部３８は、ライブ映像の端の少なくとも一部を覆う（言い換えれば隠す）遮蔽物の画像を含む会場映像を生成する。
【００３８】
図５は、ＶＲ映像の例を示す。既述したように、ＶＲ映像５０は、会場映像５４内のスクリーン領域にライブ映像５２を合成したものである。ライブ映像５２は、現在進行中のコンサートの様子を示している。会場映像５４は、コンサート会場の観覧室（いわゆるＶＩＰルーム）の内部を模した仮想空間を示している。
【００３９】
会場映像５４は、当該映像が示す仮想空間の種類（図５では観覧室）に適合し、言い換えれば調和する遮蔽物の画像を含む。図５では、観覧室の壁や窓枠、カーテン、備品（スピーカ等）が遮蔽物に該当する。会場映像５４では、これらの遮蔽物が、ライブ映像５２の端（スクリーン領域の端とも言える）に配置され、言い換えれば、ライブ映像５２と会場映像５４の境界に配置される。これにより、ＶＲ映像５０を視聴するユーザに不自然さを感じさせることなくライブ映像５２の端を目立たなくすることができ、ライブイベントが行われている現場にいるという感覚をユーザに抱かせやすくなる。
【００４０】
図６は、ＶＲ映像の概略図である。図６において破線で示すライブ映像５２は、舞台上で行われているライブイベントの様子を示している。会場映像５４は、舞台手前の仮想的な客席空間を示している。会場映像５４は、遮蔽物の画像として、舞台上の備品を示す画像（図６の備品画像５６）を含む。備品画像５６は、例えば、舞台の柱、緞帳、照明機器、スピーカを示す画像であってもよい。
【００４１】
また、会場映像５４は、遮蔽物の画像として、同じライブイベントを鑑賞する他のユーザまたはＮＰＣ（Non Player Character）を示すキャラクタ画像５８を含む。このように、舞台上でライブイベントが行われる場合、舞台上の備品や、ライブイベントを鑑賞するキャラクタの頭や体によってライブ映像５２の端を覆ってもよい。これにより、ＶＲ映像５０を視聴するユーザに不自然さを感じさせることなくライブ映像５２の端を目立たなくすることができ、ライブイベントが行われている現場にいるという感覚をユーザに抱かせやすくなる。
【００４２】
以上の構成によるエンタテインメントシステム１の動作を説明する。
ユーザは、情報処理装置１０（例えば情報処理装置１０ａ）においてライブ映像視聴Ａｐｐを起動する。操作検出部３０は、入力装置１６から受け付けた信号に基づいて、視聴対象のライブイベントを選択するユーザ操作を検出する。ライブ映像取得部３６は、配信サーバ３が配信可能な複数のライブ映像のうちユーザにより選択されたライブ映像のデータを配信サーバ３から取得し、ライブ映像記憶部３４に格納する。
【００４３】
姿勢検出部３２は、撮像装置１４による撮像画像およびＨＭＤ１００から送信された姿勢情報に応じて、ＨＭＤ１００の姿勢およびユーザの視線方向を検出する。ＶＲ映像生成部３８は、ＨＭＤ１００の姿勢およびユーザの視線方向に整合する会場映像を生成し、会場映像のスクリーン領域にライブ映像を合成したＶＲ映像を生成する。会場映像にはライブ映像の端の少なくとも一部を覆う遮蔽物の画像が含まれ、ＶＲ映像生成部３８は、ライブ画像の端が目立たないよう構成された左目用のＶＲ映像および右目用のＶＲ映像を生成する。
【００４４】
ＶＲ映像出力部４０は、ＶＲ映像生成部３８により生成された左目用のＶＲ映像および右目用のＶＲ映像をＨＭＤ１００に送信する。ＨＭＤ１００は、情報処理装置１０から受信した左目用のＶＲ映像を左目用表示パネル１３０ａに表示させ、右目用のＶＲ映像を右目用表示パネル１３０ｂに表示させる。実施例のエンタテインメントシステム１によると、ライブイベントが行われている会場に実際にいるような感覚をユーザに抱かせ、エンタテインメント性が高いＶＲ視聴体験をユーザに提供できる。
【００４５】
以上、本発明を第１実施例をもとに説明した。第１実施例は例示であり、各構成要素あるいは各処理プロセスの組合せにいろいろな変形例が可能なこと、またそうした変形例も本発明の範囲にあることは当業者に理解されるところである。
【００４６】
変形例を説明する。上記実施例では、ＶＲ映像においてライブ映像の端が目立たないようにするために、ライブ映像の端を隠す遮蔽物を画像上に配置した。変形例として、ＶＲ映像生成部３８は、ライブ映像と会場映像との境界の少なくとも一部を不鮮明にしたＶＲ映像を生成することにより、ＶＲ映像においてライブ映像の端が目立たないようにしてもよい。
【００４７】
図７は、ＶＲ映像の概略図である。既述したように、ＶＲ映像５０では、会場映像５４のスクリーン領域（図７の破線で囲まれた領域）にライブ映像５２が合成される。本変形例では、会場映像５４の一部であって、ライブ映像５２と近接する領域を「境界領域６０」と呼ぶ。境界領域６０は、図７では破線と一点鎖線により囲まれた領域であって、会場映像５４におけるライブ映像５２（言い換えればスクリーン領域）との境界付近の領域とも言える。境界領域６０のサイズ（幅）は、数ピクセル〜１０ピクセル程度でもよく、エンタテインメントシステム１を用いた実験等により適切な値が決定されればよい。
【００４８】
ライブ映像と会場映像との境界を不鮮明にする第１の方法として、ＶＲ映像生成部３８は、会場映像５４における境界領域６０の色を、ライブ映像５２の上記境界付近（すなわち端部）の色に近似させてもよい。例えば、（１）ＶＲ映像生成部３８は、ライブ映像５２における境界付近の色（ＲＧＢデータ等）を取得するとともに、会場映像５４における境界領域６０の外側（境界領域６０と近接する領域）の色を取得してもよい。ＶＲ映像生成部３８は、ライブ映像５２における境界付近の色と、会場映像５４における境界領域６０の外側の色との中間の色を境界領域６０に設定してもよい。
【００４９】
また、（２）ＶＲ映像生成部３８は、ライブ映像５２における境界付近の色を取得するとともに、会場映像５４における境界領域６０の外側の色を取得してもよい。ＶＲ映像生成部３８は、ライブ映像５２における境界付近の色から、会場映像５４における境界領域６０の外側の色へ徐々に変化していく態様の画像（すなわちグラデーション画像）を境界領域６０に設定してもよい。
【００５０】
また、（３）ＶＲ映像生成部３８は、ライブ映像５２における境界付近の特徴色を抽出し、特徴色の成分を境界領域６０のオリジナルの色に合成してもよい。特徴色は、例えばユーザに強い印象を与える色でもよく、また、公知の手法により抽出されてよい。
【００５１】
ライブ映像と会場映像との境界を不鮮明にする第２の方法として、ＶＲ映像生成部３８は、会場映像５４における境界領域６０を相対的に低画質に設定してもよい。例えば、ＶＲ映像生成部３８は、会場映像５４における境界領域６０のエッジが、会場映像５４の他の領域より強調されないよう境界領域６０を補正してもよい。また、ＶＲ映像生成部３８は、会場映像５４における境界領域６０での色の変化が、会場映像５４の他の領域よりなだらかになるよう境界領域６０を補正してもよい。また、ＶＲ映像生成部３８は、会場映像５４における境界領域６０の高周波成分を除去する等の手段により、境界領域６０をぼかすよう補正してもよい。
【００５２】
この変形例の構成でも、実施例と同様に、ユーザに不自然さを感じさせることなくライブ映像５２の端を目立たなくし、ライブイベントが行われている会場に実際にいるような感覚をユーザに抱かせやすくなる。
【００５３】
別の変形例を説明する。複数種類のライブ映像のデータが予めライブ映像記憶部３４に格納されてもよい。ライブ映像取得部３６は、ライブ映像記憶部３４に格納された複数種類のライブ映像のデータのうちユーザにより選択されたライブ映像のデータを取得してＶＲ映像生成部３８に渡してもよい。
【００５４】
さらに別の変形例を説明する。実施例に記載した情報処理装置１０の機能のうち一部は、配信サーバ３が備えてもよい。例えば、配信サーバ３は、ＶＲ映像のデータを生成して情報処理装置１０へ送信し、情報処理装置１０は、そのＶＲ映像のデータをＨＭＤ１００へ出力することにより、ＶＲ映像をＨＭＤ１００に表示させる構成であってもよい。すなわち、実施例に記載のＶＲ映像は、配信サーバ３、情報処理装置１０、ＨＭＤ１００が連携する情報処理システムにより実現されてもよい。
【００５５】
（第２実施例）
第２実施例のエンタテインメントシステム１は、第１実施例のエンタテインメントシステム１と同様に、エンタテインメント性が高いＶＲ視聴体験をユーザに提供することを目的とする。第２実施例のエンタテインメントシステム１の構成は、第１実施例のエンタテインメントシステム１と同様である（図１）。以下、第１実施例との相違点を中心に説明し、共通点の説明を省略する。また、第２実施例のエンタテインメントシステム１を構成する要素のうち、第１実施例で説明した要素と同一または対応する要素には同一の符号を付して説明する。
【００５６】
図８は、第２実施例の情報処理装置１０の機能ブロックを示すブロック図である。第２実施例の情報処理装置１０は、第１実施例で説明した機能ブロックに加えて、音声取得部４２、音声出力部４４、音声送信部４６、アクション取得部４８、アクション送信部４９を備える。
【００５７】
音声取得部４２は、自機のユーザ（第２実施例では情報処理装置１０ａのユーザ）が発した音声のデータであって、すなわち、ＨＭＤ１００のマイク１２６により取得された音声データ（以下「自機音声データ」とも呼ぶ。）をＨＭＤ１００から取得する。また、音声取得部４２は、同じライブイベントを視聴する他のユーザ（第２実施例では情報処理装置１０ｂのユーザ、情報処理装置１０ｃのユーザ）が発した音声のデータ（以下「他機音声データ」とも呼ぶ。）を配信サーバ３から取得する。配信サーバ３は、複数のユーザ間（複数の情報処理装置１０間）での音声データのやり取りを仲介する。
【００５８】
音声出力部４４は、音声取得部４２で取得された他機音声データをＨＭＤ１００へ送信し、他のユーザが発した音声をＨＭＤ１００の音声出力部１３２から出力させる。実際には、配信サーバ３は、ライブイベントの映像とともに、その音声データを情報処理装置１０へ送信する。音声出力部４４は、ライブイベントの音声データおよび他機音声データをＨＭＤ１００へ送信する。
【００５９】
音声送信部４６は、音声取得部４２で取得された自機音声データを配信サーバ３へ送信する。配信サーバ３は、上記の自機音声データを他の情報処理装置１０（情報処理装置１０ｂ、情報処理装置１０ｃ）へ転送する。
【００６０】
姿勢検出部３２は、第１実施例と同様に、情報処理装置１０ａ（すなわち自機）のユーザの視線方向を検出する。第２実施例では、姿勢検出部３２はさらに、情報処理装置１０ｂおよび情報処理装置１０ｃ（すなわち他機）のユーザの視線方向を配信サーバ３から取得する。情報処理装置１０ａ、情報処理装置１０ｂ、情報処理装置１０ｃのそれぞれは、ユーザの視線方向を示すデータを配信サーバ３へ送信し、配信サーバ３は、各ユーザの視線方向を示すデータを各情報処理装置へ転送する。
【００６１】
アクション取得部４８は、他の情報処理装置１０（第２実施例では情報処理装置１０ｂ、情報処理装置１０ｃ）に対して他のユーザが入力したユーザキャラクタの操作データを配信サーバ３から取得する。この操作データは、ＶＲ映像に映る他のユーザのキャラクタの動作を指定するデータであり、以下「他キャラクタ操作データ」とも呼ぶ。
【００６２】
操作検出部３０は、自機（第２実施例では情報処理装置１０ａ）に対してユーザが入力したユーザキャラクタの操作データを入力装置１６から取得する。この操作データは、ＶＲ映像に映るユーザのキャラクタの動作を指定するデータであり、以下「自キャラクタ操作データ」とも呼ぶ。
【００６３】
アクション送信部４９は、操作検出部３０により検出された自キャラクタ動作データを配信サーバ３へ送信する。配信サーバ３は、複数のユーザ間での操作データのやり取りを仲介する。すなわち、配信サーバ３は、上記の自キャラクタ操作データを他の情報処理装置１０（第２実施例では情報処理装置１０ｂ、情報処理装置１０ｃ）へ転送する。
【００６４】
自キャラクタ操作データおよび他キャラクタ操作データは、例えば、キャラクタが両手を挙げること、ジャンプすること、左手を振ること、右手を振ることのいずれかを指示するものであってもよい。ＶＲ映像生成部３８は、自キャラクタ操作データに応じて、自機ユーザのキャラクタが動作するＶＲ映像を生成し、他キャラクタ操作データに応じて、他機ユーザのキャラクタが動作するＶＲ映像を生成する。
【００６５】
第２実施例のエンタテインメントシステム１では、第１の特徴として、各ユーザの声（言い換えれば話した言葉）がＶＲ空間内で可視化される。ＶＲ映像生成部３８は、音声取得部４２により取得された自機音声データと他機音声データとをもとに、ライブイベントを視聴する複数のユーザの声を可視化したＶＲ映像を生成する。
【００６６】
図９は、ＶＲ映像の例を示す。第１実施例と同様に、第２実施例のＶＲ映像５０も、会場映像５４のスクリーン領域にライブ映像５２を合成したものである。また、会場映像５４は、ライブ映像５２を視聴する複数のユーザに対応するキャラクタを示す複数のアバター画像６２を含む。複数のアバター画像６２は、情報処理装置１０ａ（自機）のユーザに対応するアバター画像６２ａと、情報処理装置１０ｂおよび情報処理装置１０ｃ（他機）のユーザに対応するアバター画像６２ｂおよびアバター画像６２ｃを含む。
【００６７】
ＶＲ映像生成部３８は、音声取得部４２により自機音声データが取得された場合、自機音声データが示す音声内容（すなわち自機ユーザが話した言葉）を表す文字の画像（声画像６４）を生成する。ＶＲ映像生成部３８は、姿勢検出部３２により検出された自機のユーザの視線方向に声画像６４が飛んでいくようにＶＲ映像５０を生成する。自機のユーザの視線方向が正面である場合、図９で示すように、声画像６４は、声画像６４ａ、声画像６４ｂ、声画像６４ｃの順に変化する。すなわち、声画像６４は、アバター画像６２ａから、自機のユーザの視線方向に遠ざかっていき、かつ、徐々に小さくなるように表示される。
【００６８】
また、ＶＲ映像生成部３８は、音声取得部４２により他機音声データが取得された場合、他機音声データが示す音声内容（すなわち他機ユーザが話した言葉）を表す声画像６４を生成する。ＶＲ映像生成部３８は、姿勢検出部３２により検出された他機のユーザの視線方向に声画像６４が飛んでいくようにＶＲ映像５０を生成する。自機音声データと他機音声データが同時期に取得された場合、ＶＲ映像生成部３８は、自機のユーザを示すアバター画像６２ａから飛んでいく声画像６４と、他機のユーザを示すアバター画像６２ｂから飛んでいく声画像６４の両方を含むＶＲ映像５０を生成する。
【００６９】
なお、ＶＲ映像生成部３８は、音声出力部４４により音声データが出力されることと同期して、その音声データに対応する声画像６４をＶＲ映像５０に表示させてもよい。
【００７０】
また、音声データは、声の大きさを示すデータを含む。ＶＲ映像生成部３８は、音声データが示す声の大きさに応じて、声画像６４のサイズと飛ぶ距離の少なくとも一方を変化させる。例えば、ＶＲ映像生成部３８は、音声データが示す声の大きさが大きいほど、声画像６４のサイズを大きくし、かつ、飛ぶ距離を長くする。これにより、サイズと飛ぶ距離が様々に異なる声画像６４がＶＲ映像５０中を飛び交うことになり、エンタテインメント性が高まる。
【００７１】
また、音声データは、ユーザの声質を示すデータを含んでもよく、また、ＶＲ映像生成部３８は、公知の音声解析により音声データが示す声質を識別してもよい。ＶＲ映像生成部３８は、音声データが示す声質に応じて、声画像６４のフォント（書体）を変化させてもよい。例えば、音声データが示す声質が低く太い場合、ＶＲ映像生成部３８は、角張った第１のフォントを使用して声画像６４を生成してもよい。また、音声データが女性の声である場合、ＶＲ映像生成部３８は、丸みのある第２のフォントを使用して声画像６４を生成してもよい。
【００７２】
第２実施例のエンタテインメントシステム１では、第２の特徴として、各ユーザの行動が同期した場合に同期演出が表示される。ＶＲ映像生成部３８は、音声取得部４２により同時期に取得された自機音声データと他機音声データの音声内容が同じである場合、声の同期演出を実行する。声の同期演出は、複数のユーザが同じ言葉を発したことを強調して示す演出である。第２実施例では、声の同期演出として、ＶＲ映像生成部３８は、上記同じ言葉を示す声画像６４を通常（音声内容が異なる場合）より大きく表示させる。例えば、文字サイズを通常より大きくしてもよく、また、ボールド体で表示させてもよい。
【００７３】
図１０も、ＶＲ映像の例を示す。同図は、アバター画像６２ａのユーザ、アバター画像６２ｂのユーザ、アバター画像６２ｃのユーザが同時期に同じ言葉を発した場合のＶＲ映像５０を示している。図１０の声画像６４ｄは図５の声画像６４ａに対応し、図１０の声画像６４ｅは図５の声画像６４ｂに対応し、図１０の声画像６４ｆは図５の声画像６４ｃに対応し、それぞれ図１０の声画像６４の方がサイズが大きく設定される。
【００７４】
なお、同じ言葉を示す自機音声データと他機音声データの取得タイミングは、同一でなくてもよく、両者の取得タイミングには、数秒のラグがあってもよい。例えば、ＶＲ映像生成部３８は、１人のユーザが話した言葉を示す声画像６４を通常サイズで表示中に、他のユーザが同じ言葉を話した場合、通常より大きいサイズの声画像６４に切り替えて表示させてもよい。また、ＶＲ映像生成部３８は、同時期に同じ言葉を発したユーザの数が多いほど、および／または、複数のユーザが発した同じ言葉の音量が大きいほど、声画像６４のサイズを大きくしてもよい。
【００７５】
また、ＶＲ映像生成部３８は、同時期に取得された自キャラクタ操作データと他キャラクタ操作データとが同じ操作内容（言い換えれば同じキャラクタ動作）を示す場合、自機ユーザのキャラクタ（例えばアバター画像６２ａ）と、他機ユーザのキャラクタ（例えばアバター画像６２ｂ、アバター画像６２ｃ）に同じ動作をさせるとともにアクションの同期演出を実行する。
【００７６】
アクションの同期演出は、複数のアバター画像６２が同じ動作をすることを強調して示す特殊態様の演出である。第２実施例では、アクションの同期演出として、ＶＲ映像生成部３８は、所定のエフェクト画像を追加して配置したＶＲ映像５０を生成する。図１１も、ＶＲ映像の例を示す。同図のＶＲ映像５０では、アバター画像６２ａ、アバター画像６２ｂ、アバター画像６２ｃが同じ動作をしており、すなわち、いずれのアバター画像６２も右手を挙げている。このときＶＲ映像生成部３８は、ＶＲ映像５０にエフェクト画像６６を設定する。
【００７７】
なお、ＶＲ映像生成部３８は、アクションの同期演出として、同じ動作をする複数のアバター画像６２そのものを光らせてもよい。また、ＶＲ映像生成部３８は、同時期に同じキャラクタ操作を入力したユーザの数が多いほど派手な同期演出（エフェクト画像６６の数を増やし、または、エフェクト画像６６の色彩を派手にする等）を実行してもよい。
【００７８】
また、同じ操作を示す自キャラクタ操作データと他キャラクタ操作データの取得タイミングは、同一でなくてもよく、両者の取得タイミングには、数秒のラグがあってもよい。例えば、ＶＲ映像生成部３８は、自キャラクタ操作データが示す態様でアバター画像６２ａを動作させてる間に、同じ態様でアバター画像６２ｂを動作させることを示す他キャラクタ操作データが取得された場合、アバター画像６２ａと同じ態様でアバター画像６２ｂを動作させるＶＲ映像５０であって、かつ、エフェクト画像６６をさらに配置したＶＲ映像５０を生成してもよい。
【００７９】
このように、声の可視化および同期演出により、複数のユーザ間での一体感を醸成しやすくなり、よりエンタテインメント性が高いＶＲ視聴体験をユーザに提供できる。
【００８０】
以上、本発明を第２実施例をもとに説明した。第２実施例は例示であり、各構成要素あるいは各処理プロセスの組合せにいろいろな変形例が可能なこと、またそうした変形例も本発明の範囲にあることは当業者に理解されるところである。また、第１実施例の特徴と第２実施例の特徴の組合せが可能であることはもちろん、第２実施例の特徴単体の実装も可能であることは当業者に理解されるところである。
【００８１】
第１実施例と第２実施例の両方に適用可能な変形例として、仮想空間におけるサイズ調整の方法を説明する。図１２は、仮想空間におけるサイズ調整を説明する図である。カメラ距離ｃは、現実空間のライブイベントを撮像するステレオカメラからそのライブイベント（すなわち被写体）までの距離である。視点距離ｄは、仮想空間におけるユーザの視点位置からスクリーン（例えばライブ映像５２が合成される会場映像５４のスクリーン領域）までの距離である。
【００８２】
ここでは、カメラ距離ｃと視点距離ｄは等しいものとする。ユーザの眼間距離ａ（瞳孔間距離とも言える）と、ステレオカメラにおけるレンズ間距離ｂが等しいとき、カメラ距離ｃと視点距離ｄを等しくすることで、等倍のライブ映像に映る物体がユーザには実物大に見える。そのときのスクリーンの縦幅ｅ、スクリーンの横幅ｆ、視点距離ｄが理想値となる。
【００８３】
次に、レンズ間距離ｂが、眼間距離ａの１．２倍の場合、スクリーンの縦幅ｅを、ｅの理想値／１．２とし、スクリーンの横幅ｆを、ｆの理想値／１．２とすることで、ライブ映像に映るものがユーザには実物大に見える。すなわち、ＶＲ映像生成部３８は、レンズ間距離ｂが、眼間距離ａと比べて大きいほど、ＶＲ映像におけるスクリーンサイズを小さくすることが望ましい。
【００８４】
上述した実施例および変形例の任意の組み合わせもまた本開示の実施の形態として有用である。組み合わせによって生じる新たな実施の形態は、組み合わされる実施例および変形例それぞれの効果をあわせもつ。また、請求項に記載の各構成要件が果たすべき機能は、実施例および変形例において示された各構成要素の単体もしくはそれらの連携によって実現されることも当業者には理解されるところである。
【符号の説明】
【００８５】
１  エンタテインメントシステム、  ３  配信サーバ、  １０  情報処理装置、  ３０  操作検出部、  ３２  姿勢検出部、  ３４  ライブ映像記憶部、  ３６  ライブ映像取得部、  ３８  ＶＲ映像生成部、  ４０  ＶＲ映像出力部、  １００  ＨＭＤ。
【産業上の利用可能性】
【００８６】
この発明は、仮想空間の画像を生成するシステムに適用できる。
【図１】
2020129115.tif 000003
【図２】
2020129115.tif 000004
【図３】
2020129115.tif 000005
【図４】
2020129115.tif 000006
【図５】
2020129115.tif 000007
【図６】
2020129115.tif 000008
【図７】
2020129115.tif 000009
【図８】
2020129115.tif 000010
【図９】
2020129115.tif 000011
【図１０】
2020129115.tif 000012
【図１１】
2020129115.tif 000013
【図１２】
2020129115.tif 000014
【手続補正書】
【提出日】令和1年6月21日(2019.6.21)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
現実空間で行われるイベントを撮像した第１画像を取得する取得部と、
ヘッドマウントディスプレイを装着したユーザに提示する仮想空間として、前記イベントが行われる会場を模した仮想空間を示す第２画像の中に前記取得部により取得された第１画像を合成した表示用画像であって、かつ、前記第１画像の端が目立たないよう構成された表示用画像を生成する生成部と、
前記生成部により生成された表示用画像を前記ヘッドマウントディスプレイに表示させる出力部と、
を備えることを特徴とする情報処理システム。
【請求項２】
前記第２画像は、前記第１画像の端の少なくとも一部を覆うオブジェクトを含むことを特徴とする請求項１に記載の情報処理システム。
【請求項３】
前記オブジェクトは、前記第２画像が示す仮想空間の種類に適合する物品の画像であることを特徴とする請求項２に記載の情報処理システム。
【請求項４】
前記第１画像は、舞台上で行われているイベントを撮像したものであり、
前記オブジェクトは、舞台上の備品を示す画像であることを特徴とする請求項２に記載の情報処理システム。
【請求項５】
前記生成部は、前記第１画像と前記第２画像との境界の少なくとも一部を不鮮明にした表示用画像を生成することを特徴とする請求項１から４のいずれかに記載の情報処理システム。
【請求項６】
前記生成部は、前記第２画像における前記第１画像との境界付近の色を、前記第１画像における前記境界付近の色に近似させることを特徴とする請求項５に記載の情報処理システム。
【請求項７】
前記生成部は、前記第２画像における前記第１画像との境界付近を相対的に低画質に設定することを特徴とする請求項５または６に記載の情報処理システム。
【請求項８】
現実空間で行われるイベントを撮像した第１画像を取得するステップと、
ヘッドマウントディスプレイを装着したユーザに提示する仮想空間として、前記イベントが行われる会場を模した仮想空間を示す第２画像の中に前記第１画像を合成した表示用画像であって、かつ、前記第１画像の端が目立たないよう構成された表示用画像を生成するステップと、
前記表示用画像を前記ヘッドマウントディスプレイに表示させるステップと、
をコンピュータが実行することを特徴とする情報処理方法。
【請求項９】
現実空間で行われるイベントを撮像した第１画像を取得する機能と、
ヘッドマウントディスプレイを装着したユーザに提示する仮想空間として、前記イベントが行われる会場を模した仮想空間を示す第２画像の中に前記第１画像を合成した表示用画像であって、かつ、前記第１画像の端が目立たないよう構成された表示用画像を生成する機能と、
前記表示用画像を前記ヘッドマウントディスプレイに表示させる機能と、
をコンピュータに実現させるためのコンピュータプログラム。
【国際調査報告】
2020129115.tif 000015
2020129115.tif 000016
2020129115.tif 000017
2020129115.tif 000018