(57)【要約】【課題】ユーザの動作に応じた映像の変化に対するユーザの違和感を抑制することが可能な情報処理装置、情報処理方法及びプログラムを提供すること。【解決手段】本技術に係る情報処理装置は、表示制御部を具備する。上記表示制御部は、ユーザの頭部の位置の変化に対して実質的に視点の位置が独立して制御される表示空間に、上記ユーザの頭部の位置の変化に応じた運動視差を有するオブジェクトを表示するよう表示装置を制御する。【選択図】図２
2019225354.tif 000002
【特許請求の範囲】
【請求項１】
ユーザの頭部の位置の変化に対して実質的に視点の位置が独立して制御される表示空間に、前記ユーザの頭部の位置の変化に応じた運動視差を有するオブジェクトを表示するよう表示装置を制御する表示制御部
を具備する情報処理装置。
【請求項２】
請求項１に記載の情報処理装置であって、
前記表示制御部は、前記ユーザの頭部の位置の変化に応じて前記オブジェクトを非表示状態から表示状態に変更する
情報処理装置。
【請求項３】
請求項２に記載の情報処理装置であって、
前記表示制御部は、前記オブジェクトの状態が前記表示状態に変更された後、前記ユーザの頭部の位置が実質的に変化していない場合、前記オブジェクトの状態を前記表示状態から前記非表示状態に変更する
情報処理装置。
【請求項４】
請求項２に記載の情報処理装置であって、
前記表示制御部は、
前記ユーザの頭部の位置の変化として、前記ユーザの頭部の位置の並進運動を検出し、
前記表示空間を前記ユーザの頭部の回転運動に対して変化させる一方で、前記表示空間を前記ユーザの頭部の並進運動に対しては実質的に変化させない
情報処理装置。
【請求項５】
請求項１に記載の情報処理装置であって、
前記表示制御部は、前記表示空間の変化に応じて前記オブジェクトを非表示状態から表示状態に変更する
情報処理装置。
【請求項６】
請求項５に記載の情報処理装置であって、
前記表示制御部は、前記視点の位置の変化に応じて前記表示空間を変化させる
情報処理装置。
【請求項７】
請求項６に記載の情報処理装置であって、
前記視点の位置の変化は、前記表示空間を取得するカメラの揺れに対応する
情報処理装置。
【請求項８】
請求項１に記載の情報処理装置であって、
前記オブジェクトは操作用ユーザインターフェースである
情報処理装置。
【請求項９】
請求項１に記載の情報処理装置であって、
前記表示制御部は、前記オブジェクトを前記表示空間に定位する
情報処理装置。
【請求項１０】
請求項１に記載の情報処理装置であって、
前記表示制御部は、前記オブジェクトを前記表示空間の視点から所定の距離以内に固定する
情報処理装置。
【請求項１１】
請求項１に記載の情報処理装置であって、
前記表示空間は、前記ユーザの視野よりも広い映像である
情報処理装置。
【請求項１２】
請求項１１に記載の情報処理装置であって、
前記表示空間は全天球映像である
情報処理装置。
【請求項１３】
請求項１に記載の情報処理装置であって、
前記表示装置はヘッドマウントディスプレイである
情報処理装置。
【請求項１４】
請求項１３に記載の情報処理装置であって、
前記表示制御部は、前記ヘッドマウントディスプレイの回転及び移動を検出する６自由度センサの出力に基づいて前記運動視差を生成する
情報処理装置。
【請求項１５】
表示制御部が、ユーザの頭部の位置の変化に対して実質的に視点の位置が独立して制御される表示空間に、前記ユーザの頭部の位置の変化に応じた運動視差を有するオブジェクトを表示するよう表示装置を制御する
情報処理方法。
【請求項１６】
ユーザの頭部の位置の変化に対して実質的に視点の位置が独立して制御される表示空間に、前記ユーザの頭部の位置の変化に応じた運動視差を有するオブジェクトを表示するよう表示装置を制御する表示制御部
として情報処理装置を機能させるプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本技術は、全天球映像等の、ユーザの頭部の向きに応じて表示範囲が変化する映像の表示を行う情報処理装置、情報処理方法及びプログラムに関する。
【背景技術】
【０００２】
近年、ＶＲ（virtual reality）等の分野で全天球映像の利用が進んでいる。全天球映像は、周囲３６０°の撮影が可能な撮影装置によって撮影され、ウェブサイト等で公開されている。これらの全天球映像は左右視差のない映像であったり、立体視が可能な視差付きのステレオ映像であったりする。【０００３】
ユーザは、ヘッドマウントディスプレイ（以下、ＨＭＤ）やスマートフォンによる簡易型のＨＭＤを用いてこのような全天球映像を視聴することができる。ユーザが実空間上で頭部の向きを変化させると、ＨＭＤの回転が検出され、その回転に応じて全天球映像の一部が切り出され、表示装置において表示される（例えば特許文献１参照）。これにより、ユーザが周囲を見渡すように頭部を動かすと、全天球映像を見渡すことができる。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２０１７−１０２２９７号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、引用文献１に記載のような表示方法では、実空間におけるユーザの動作に応じたユーザの平衡感覚と映像の変化との関係性に対し、ユーザが違和感を覚える場合がある。【０００６】
そこで、本開示では、ユーザの動作に応じた映像の変化に対するユーザの違和感を抑制することが可能な情報処理装置、情報処理方法及びプログラムを提供する。
【課題を解決するための手段】
【０００７】
本技術の一形態に係る情報処理装置は、表示制御部を具備する。
上記表示制御部は、ユーザの頭部の位置の変化に対して実質的に視点の位置が独立して制御される表示空間に、上記ユーザの頭部の位置の変化に応じた運動視差を有するオブジェクトを表示するよう表示装置を制御する。【０００８】
この構成によれば、ユーザの頭部の位置の変化に応じた運動視差を有するオブジェクトが表示空間に表示される。このため、ユーザの頭部の位置の変化に対し表示空間の視点の位置が実質的に変化しない場合であっても、ユーザは運動視差を有するオブジェクトを視認することによって表示空間に対する違和感を抑制することが可能である。【０００９】
上記表示制御部は、上記ユーザの頭部の位置の変化に応じて上記オブジェクトを非表示状態から表示状態に変更してもよい。【００１０】
上記表示制御部は、上記オブジェクトの状態が上記表示状態に変更された後、上記ユーザの頭部の位置が実質的に変化していない場合、上記オブジェクトの状態を上記表示状態から上記非表示状態に変更してもよい。【００１１】
上記表示制御部は、上記ユーザの頭部の位置の変化として、上記ユーザの頭部の位置の並進運動を検出し、上記表示空間を上記ユーザの頭部の回転運動に対して変化させる一方で、上記表示空間を上記ユーザの頭部の並進運動に対しては実質的に変化させなくてもよい。【００１２】
上記表示制御部は、上記表示空間の変化に応じて上記オブジェクトを非表示状態から表示状態に変更してもよい。【００１３】
上記表示制御部は、上記視点の位置の変化に応じて上記表示空間を変化させてもよい。【００１４】
上記視点の位置の変化は、上記表示空間を取得するカメラの揺れに対応してもよい。【００１５】
上記オブジェクトは操作用ユーザインターフェースであってもよい。【００１６】
上記表示制御部は、上記オブジェクトを上記表示空間に定位してもよい。【００１７】
上記表示制御部は、上記オブジェクトを上記表示空間の視点から所定の距離以内に固定してもよい。【００１８】
上記表示空間は、上記ユーザの視野よりも広い映像であってもよい。【００１９】
上記表示空間は全天球映像であってもよい。【００２０】
上記表示装置はヘッドマウントディスプレイであってもよい。【００２１】
上記表示制御部は、上記ヘッドマウントディスプレイの回転及び移動を検出する６自由度センサの出力に基づいて上記運動視差を生成してもよい。【００２２】
本技術の一形態に係る情報処理方法は、表示制御部が、ユーザの頭部の位置の変化に対して実質的に視点の位置が独立して制御される表示空間に、上記ユーザの頭部の位置の変化に応じた運動視差を有するオブジェクトを表示するよう表示装置を制御する。【００２３】
本技術の一形態に係るプログラムは、ユーザの頭部の位置の変化に対して実質的に視点の位置が独立して制御される表示空間に、上記ユーザの頭部の位置の変化に応じた運動視差を有するオブジェクトを表示するよう表示装置を制御する表示制御部として情報処理装置を機能させる。
【発明の効果】
【００２４】
以上のように、本技術によれば、ユーザの動作に応じた表示空間の変化に対するユーザの違和感を抑制することが可能な情報処理装置、情報処理方法及びプログラムを提供することが可能である。なお、ここに記載された効果は必ずしも限定されるものではなく、本開示中に記載されたいずれかの効果であってもよい。
【図面の簡単な説明】
【００２５】
【図１】本技術の実施形態に係る映像表示システムの模式図である。
【図２】同映像表示システムの機能的構成を示すブロック図である。
【図３】同映像表示システムの視野内映像生成部が生成する視野内映像の例である。
【図４】同映像表示システムのオブジェクト生成部が生成するオブジェクトの例である。
【図５】同映像表示システムの映像合成部が生成する表示映像の例である。
【図６】同映像表示システムの動作を示すフローチャートである。
【図７】同映像表示システムにおけるユーザとオブジェクトの仮想的な位置関係を示す模式図である。
【図８】同映像表示システムにおける、ユーザの並進に伴う表示映像の変化を示す模式図である。
【図９】同映像表示システムにおける、全天球映像に揺れが生じている場合の表示映像を示す模式図である。
【図１０】同映像表示システムにおけるＶＲ酔い防止用オブジェクトの種類を示す模式図である。
【図１１】同映像表示システムにおける操作用オブジェクトを示す模式図である。
【図１２】同映像表示システムにおけるオブジェクトの表示態様を示すグラフである。
【図１３】同映像表示システムにおける、ＶＲ酔い防止用オブジェクトと操作用オブジェクトを示す模式図である。
【図１４】同映像表示システムにおけるオブジェクトの表示位置を示す模式図である。
【図１５】同映像表示システムにおけるオブジェクトの表示位置を示す模式図である。
【図１６】同映像表示システムが備える情報処理装置のハードウェア構成を示すブロック図である。
【発明を実施するための形態】
【００２６】
はじめに、本発明の実施形態に係る映像表示システムの概要について説明する。映像表示システムは、表示装置と情報処理装置を含む。後述の通り、情報処理装置は、表示空間（仮想空間）の視点の位置を、ユーザの頭部の位置の変化に対して実質的に独立して制御する。また、情報処理装置は、ユーザの頭部の位置の変化に応じた運動視差を有するオブジェクトを表示する表示装置（ＨＭＤ（Head Mounted Display））を制御する。なお、本開示の映像表示システムは、ＨＭＤに代えて、ユーザの視野を実質的に全てカバーするように構成された種々の表示装置を含み得る。"ユーザの視野を実質的に全てカバーする"とは、ユーザの視野よりも広い視野角を有する映像を提供すること、と見做されても良い。例えば、映像表示システムは、ＨＭＤに代えて、実空間に仮想空間を投影するヘッドマウントプロジェクタ（Head Mounted Projector）を含んでも良い。あるいは、映像表示システムは、情報処理装置とは別体に設けられ、ユーザの動作に応じて仮想空間の映像を投影するプロジェクタを含んでも良い。
【００２７】
次に、本開示における情報処理装置が解決する課題の一例を説明する。
【００２８】
一般的なＨＭＤによる映像視聴では、実空間におけるユーザの動作（動作状態）に応じたユーザの平衡感覚と映像（例えば、全天球映像）の変化との関係性に対し、ユーザが違和感を覚える場合がある。このユーザの違和感は、実空間におけるユーザの平衡感覚と映像の変化の不一致による自律神経の失調状態（ＶＲ酔い）と見做され得る。
【００２９】
例えば、全天球映像の視聴においては、ユーザが頭部の向きを変えずに移動（並進）したとしても、全天球映像の視点の位置は変化しないため、表示映像は変更されない、この結果、ユーザの移動に視覚的なフィードバックが生じないためにＶＲ酔いが生じやすい。
【００３０】
あるいは、全天球映像の撮影時における撮影機器の揺れ等によって表示映像に揺れが生じている場合、ユーザは自身が揺れていると錯覚し、映像の変化と平衡感覚に不一致が生じてＶＲ酔いが生じやすい。
【００３１】
以上のような事情に鑑み、本開示における映像表示システム（情報処理装置）は、表示空間の変化とユーザの平衡感覚の不一致に関する課題を解決する。以下、映像表示システムが、ＨＭＤを含む場合について具体的に説明する。
【００３２】
［映像表示システムの構成］
図１は本実施形態に係る映像表示システム１００の構成を示す模式図であり、図２は映像表示システム１００の機能的構成を示すブロック図である。
【００３３】
これらの図に示すように、映像表示システム１００は、ＨＭＤ１１０と情報処理装置１２０から構成されている。
【００３４】
ＨＭＤ１１０は、ユーザの頭部に装着されるディスプレイであり、表示装置１１１及びセンサ１１２を備える。ＨＭＤ１１０は、一般的なＨＭＤであってもよく、スマートフォンと、スマートフォンをユーザの頭部に装着するための装具から構成された簡易型のＨＭＤであってもよい。
【００３５】
表示装置１１１は、液晶ディスプレイ又は有機ＥＬディスプレイ等の表示装置である。表示装置１１１は、ユーザの右眼用と左眼用にそれぞれ別の表示画面を備えるものであってもよく、一つの表示画面のみを備えるものであってもよい。
【００３６】
センサ１１２は、ＨＭＤ１１０の動きを検出する。センサ１１２は、ヨー、ロール及びピッチの３軸の回転と、前後、左右及び上下の３方向の移動を検出可能な６自由度センサ（６ＤｏＦ：six degrees of freedom）を利用することができる。以下、センサ１１２による検出結果をセンサ情報とする。なお、センサ１１２は、ＩＭＵ（inertial measurement unit：慣性計測装置）であってもよく、ジャイロセンサや加速度センサといった種々の組み合わせであっても良い。センサ１１２の加速度を検出する機能は、ＨＭＤ１１０に搭載されたカメラ、あるいはＨＭＤ１１０とは別に設けられた外部センサといった種々のセンサによって代替され得ることに留意されたい。
【００３７】
情報処理装置１２０は、スマートフォン、タブレット型コンピュータ又はパーソナルコンピュータ等の情報処理装置であり、有線通信又は無線通信によってＨＭＤ１１０に接続されている。情報処理装置１２０は、映像デコーダ１２１、視野内映像生成部１２２、並進検出部１２３、映像揺れ検出部１２４、オブジェクト生成部１２５及び映像合成部１２６を備える。
【００３８】
映像デコーダ１２１は、全天球映像のデータ（以下、映像データ）を取得し、デコードを行う。全天球映像は、ある一点を中心とする３６０°の全方位の映像であり、全天球カメラを利用して撮像された映像や複数のカメラで撮影された映像を合成した映像である。
【００３９】
映像デコーダ１２１は、情報処理装置１２０に保存されている映像データを読出すことによって映像データを取得してもよく、ネットワークを介して映像データを取得してもよい。
【００４０】
映像デコーダ１２１は、映像データを取得すると、映像データを復号し、全天球映像を生成する。映像デコーダ１２１は、生成した全天球映像を視野内映像生成部１２２及び映像揺れ検出部１２４に供給する。
【００４１】
視野内映像生成部１２２は、映像デコーダ１２１から供給された全天球映像から、表示装置１１１に表示される映像である視野内映像を生成する。図３は、視野内映像の例である視野内映像Ｇ１を示す。
【００４２】
視野内映像生成部１２２は、センサ１１２からセンサ情報を取得し、ＨＭＤ１１０の向き応じて全天球映像の一部を抽出することによって視野内映像を生成することができる。視野内映像生成部１２２は、センサ１１２によってヨー、ロール及びピッチの３軸の回転が検出されると、その回転に応じて全天球映像のうち視野内映像となる範囲を移動させる。
【００４３】
これにより、ユーザが頭部を動かすと、ＨＭＤ１１０の動きに追随して全天球映像のうち視野内映像となる範囲が移動し、ユーザは周囲を見渡すかのように全天球映像を視聴することができる。即ち、視野内映像によって実現される全天球映像により、ユーザの頭部の位置の変化に対して実質的に視点の位置が独立して制御される表示空間が形成される。
【００４４】
並進検出部１２３は、センサ１１２からセンサ情報を取得し、ＨＭＤ１１０の並進を検出する。ＨＭＤ１１０の並進とは、回転を伴わないＨＭＤ１１０の移動であり、具体的にはセンサ１１２によってヨー、ロール及びピッチの３軸の回転が検出されず、前後、左右及び上下の３方向の移動が検出された場合である。なお、ＨＭＤ１１０の並進は、ユーザの頭部の並進運動に対応すると見做されてもよい。また、ＨＭＤ１１０の回転は、ユーザの頭部の回転運動に対応すると見做されてもよい。
【００４５】
並進検出部１２３は、上記移動について所定の閾値を保持し、移動の閾値が所定値を超える場合にＨＭＤ１１０が並進していると判定することができる。上記移動についての所定の閾値は、無意識的なユーザの頭部の揺動は並進運動として検出されず、かつ、ユーザの明示的な覗き込み動作は検出されるように設定されると良い。並進検出部１２３は、判定結果をオブジェクト生成部１２５に供給する。なお、並進検出部１２３は、上記回転について所定の閾値を保持し、回転の閾値が所定値未満である場合にのみＨＭＤ１１０の並進を判定してもよい。
供給する。
【００４６】
映像揺れ検出部１２４は、映像デコーダ１２１から全天球映像を取得し、全天球映像の揺れを検出する。全天球映像の揺れは、全天球映像の撮影時におけるカメラの揺れ等によるものである。
【００４７】
映像揺れ検出部１２４は、全天球映像に対する画像処理によって全天球映像の揺れを検出することができる。映像揺れ検出部１２４は、例えば、オプティカルフローを用いて全天球映像の揺れを検出することができる。オプティカルフローは物体やカメラの移動によって生じる隣接フレーム間の物体の変位ベクトルを意味する。
【００４８】
また、映像揺れ検出部１２４は、全天球映像に含まれるＩＭＵセンサログを用いて全天球映像の映像を検出することもできる。ＩＭＵセンサログは全天球映像の撮影時に撮影カメラに設けられたＩＭＵセンサのログであり、ＩＭＵセンサログから撮影カメラの揺れ、即ち全天球映像の揺れを検出することができる。
【００４９】
映像揺れ検出部１２４は、上記画像処理又はＩＭＵセンサログ等に基づいて検出した全天球映像の揺れが閾値を超える場合に、全天球映像に揺れが生じていると判定することができる。映像揺れ検出部１２４は判定結果をオブジェクト生成部１２５に供給する。
【００５０】
オブジェクト生成部１２５は、表示装置１１１に表示される仮想的なオブジェクトを生成する。図４は、オブジェクト生成部１２５が生成するオブジェクトＰを示す模式図である。
【００５１】
オブジェクト生成部１２５は、オブジェクトＰを表示空間においてユーザの頭部の位置の変化に応じた運動視差を有するオブジェクトとして生成し、オブジェクトＰを表示空間に定位させる。オブジェクト生成部１２５は、生成したオブジェクトＰを映像合成部１２６に供給する。これにより、ＨＭＤ１１０を装着したユーザが実空間で並進移動しても、オブジェクトＰは、表示空間の視点を基準とした所定の位置に実質的に固定され、オブジェクトＰはユーザと共に移動しない。例えば、オブジェクトＰは、ユーザから見て表示空間の視点（中心）から所定の距離以内に固定されてもよい。
【００５２】
オブジェクト生成部１２５は、ユーザが映像を視聴することを妨げないように、並進検出部１２３によってＨＭＤ１１０の並進が検出されたことを条件にオブジェクトＰを生成してもよい。また、オブジェクト生成部１２５は映像揺れ検出部１２４によって全天球映像の揺れが検出されたことを条件にオブジェクトＰを生成してもよい。なお、オブジェクト生成部１２５は、並進検出部１２３または映像揺れ検出部１２４に代えて、ＨＭＤ１１０とは別体のモバイルコントローラに対するマニュアル操作に応じてオブジェクトＰの表示状態と非表示状態を切り変えても良い。
【００５３】
映像合成部１２６は、視野内映像生成部１２２から供給された視野内映像Ｇ１と、オブジェクト生成部１２５から供給されたオブジェクトＰを合成し、表示映像を生成する。
【００５４】
図５は、映像合成部１２６が生成する表示映像Ｇ２の例である。同図に示すように、映像合成部１２６は、視野内映像Ｇ１とオブジェクトＰを重畳させ、表示映像Ｇ２を生成する。映像合成部１２６は、合成した表示映像Ｇ２を表示装置１１１に供給し、表示させる。
【００５５】
映像表示システム１００は以上のような構成を有する。なお、視野内映像生成部１２２、並進検出部１２３、映像揺れ検出部１２４、オブジェクト生成部１２５及び映像合成部１２６は、オブジェクトＰを含む表示映像を表示装置１１１に表示するように表示装置１１１を制御する。視野内映像生成部１２２、並進検出部１２３、映像揺れ検出部１２４、オブジェクト生成部１２５及び映像合成部１２６のうち少なくとも１つが、本開示の表示制御部として機能すると見做されても良い。より具体的には、本開示の表示制御部は、視野内映像生成部１２２、オブジェクト生成部１２５、映像合成部１２６を少なくとも含むものと見做されても良い。好ましくは、表示制御部は、並進検出部１２３と映像揺れ検出部１２４のうち少なくとも一方を含むものと見做されても良い。なお、表示制御部は、後述するプロセッサ（ＣＰＵ１００１またはＧＰＵ１００２の少なくとも一方）を少なくとも含み得る。
【００５６】
また、映像表示システム１００は、並進検出部１２３と映像揺れ検出部１２４のいずれか一方のみを有してもよい。
【００５７】
映像デコーダ１２１、視野内映像生成部１２２、並進検出部１２３、映像揺れ検出部１２４、オブジェクト生成部１２５及び映像合成部１２６は、後述するハードウェアとプログラムの協働によって実現される機能的構成である。
【００５８】
［映像表示システムの動作］
図６は、映像表示システム１００の動作を示すフローチャートである。
【００５９】
同図に示すように、映像デコーダ１２１が全天球映像の映像データを取得し、デコードする（Ｓｔ１０１）。
【００６０】
視野内映像生成部１２２は、センサ１１２からセンサ情報を取得し（Ｓｔ１０２）、センサ情報に基づいて全天球映像から視野内映像を生成する。
【００６１】
続いて、並進検出部１２３によってＨＭＤ１１０の並進が検出され（Ｓｔ１０３：Ｙｅｓ）、又は映像揺れ検出部１２４によって全天球映像の揺れが検出される（Ｓｔ１０４：Ｙｅｓ）と、オブジェクト生成部１２５がオブジェクトＰを生成する（Ｓｔ１０５）。
【００６２】
また、ＨＭＤ１１０の並進及び全天球映像の揺れが検出されない場合（Ｓｔ１０３：Ｎｏ、Ｓｔ１０４：Ｎｏ）、オブジェクト生成部１２５はオブジェクトＰを生成しない（１０６）。
【００６３】
映像合成部１２６は、オブジェクトＰが生成されている場合、オブジェクトＰと視野内映像を合成し、表示映像を生成する（Ｓｔ１０７）。また、映像合成部１２６は、オブジェクトＰが生成されていない場合、視野内映像を表示映像とする（Ｓｔ１０７）。映像合成部１２６は生成した表示映像を表示装置１１１に出力し、表示装置１１１に表示させる。
【００６４】
このように、映像表示システム１００では、ＨＭＤ１１０の並進及び全天球映像の揺れが検出されていない場合には、オブジェクトＰを含まない表示映像が生成され、ＨＭＤ１１０の並進が検出された場合にオブジェクトＰを含む表示映像が生成される。
【００６５】
即ち、映像表示システム１００はユーザの頭部の位置の変化に応じてオブジェクトＰを非表示状態から表示状態に変更する。なお、非表示状態においてオブジェクト生成部１２５は、完全に視認性がないオブジェクトＰを生成してもよく、表示状態に比べて視認性が小さいオブジェクトＰを生成してもよい。オブジェクトＰの視認性は例えばオブジェクトＰの透過性によって調整することができる。
【００６６】
また、映像表示システム１００では、全天球映像の揺れが検出された場合にもオブジェクトＰを含む表示映像が生成される。
【００６７】
即ち、映像表示システム１００は視点の位置の変化に対応する表示空間の変化に応じてオブジェクトＰを非表示状態から表示状態に変更する。この場合も、非表示状態においてオブジェクト生成部１２５は、完全に視認性がないオブジェクトＰを生成してもよく、表示状態に比べて視認性が小さいオブジェクトＰを生成してもよい。
【００６８】
［映像表示システムの効果］
映像表示システム１００について説明する。ＨＭＤ１１０を装着したユーザが並進、即ちＨＭＤ１１０を回転させずに移動した場合、センサ１１２によってＨＭＤ１１０の回転が検出されないため、視野内映像生成部１２２は全天球映像において視野内映像となる範囲を移動させない。
【００６９】
このため、ユーザが移動しているにも係わらず、視野内映像は変化せず、視野内映像によってはユーザの移動に視覚的なフィードバックが生じない。ここで、映像表示システム１００では、上記のように表示空間に定位されたオブジェクトＰが表示映像において表示されている。
【００７０】
図７は、ＨＭＤ１１０を装着したユーザＵとオブジェクトＰの仮想的な位置関係を示す模式図である。図８は、ＨＭＤ１１０に表示される表示映像Ｇ２の例である。
【００７１】
図７（ａ）に示すように、ユーザＵが並進を開始した場合、表示装置１１１には、図８（ａ）に示す表示映像Ｇ２が表示されている。ユーザＵが図７（ｂ）の位置に移動しても、図８（ｂ）に示すように、視野内映像Ｇ１は変化しない。
【００７２】
一方、図７（ｂ）に示すように、オブジェクトＰの実空間における位置は変化しないため、図８（ｂ）に示すようにオブジェクトＰはユーザＵの並進に伴ってユーザＵに接近するように表示される。
【００７３】
ユーザＵは自己の移動をオブジェクトＰの接近によって認識することができ、即ち、
オブジェクトＰによる視覚的なフィードバックを得ることができるため、ＶＲ酔いを防止することが可能である。
【００７４】
また、全天球映像の撮影時のカメラの揺れ等によって全天球映像に揺れが生じている場合、全天球映像の一部である視野内映像にも揺れが生じる。このため、ユーザＵは視野内映像によって自身が揺れていると錯覚するおそれがある。
【００７５】
ここで映像表示システム１００では、視野内映像とは別に生成されたオブジェクトＰが視野内映像と共にユーザＵに提示される。図９は、全天球映像に揺れが生じている場合の表示映像Ｇ２の例である。同図に示すように、視野内映像Ｇ１に揺れが生じていても、オブジェクトＰに揺れは生じず、ユーザは自身が揺れていないことを認識することができるため、ＶＲ酔いを防止することが可能である。
【００７６】
［オブジェクトの種類ついて］
上述のようにオブジェクトＰは、表示空間においてユーザの頭部の位置の変化に応じた運動視差を有する仮想的なオブジェクトであればよいが、ＶＲ酔い抑制のためのオブジェクトと、操作用オブジェクトの２種類を利用することができる。
【００７７】
図１０は、ＶＲ酔い抑制のためのオブジェクトＰの例を示す模式図である。図１０（ａ）に示すように、オブジェクトＰはユーザＵを中心として配置される粒子状オブジェクトとすることができる。粒子状のオブジェクトＰは、ユーザＵの視界を妨げない大きさ、密度のものが好適である。
【００７８】
また、図１０（ｂ）に示すようにオブジェクトＰはユーザの前方に配置される鉄格子状オブジェクトとすることもできる。これにより、ユーザＵが檻の中から全天球映像を鑑賞しているような表現とすることができる。
【００７９】
さらに、図１０（ｃ）に示すようにオブジェクトＰはユーザＵを中心として配置される手すり状オブジェクトとすることもできる。これにより、全天球映像に揺れが生じている場合に、ユーザＵ自身が動いていないことを強く知覚させることができる。
【００８０】
この他にもＶＲ酔い抑制のためのオブジェクトＰは、全天球映像のコンテンツ内容や全天球映像を提示するアプリケーションの種類に応じて適切なものを選択することができる。オブジェクトＰの視認性も、コンテンツ内容やアプリケーションの種類に応じて、透過度によって調整することができる。
【００８１】
図１１は、操作用のオブジェクトＰの例を示す模式図である。同図に示すように、オブジェクトＰは、仮想的キーボードや仮想的コントロールパネル等のような操作用ＵＩ（ユーザインターフェース）として機能するオブジェクトとすることもできる。
【００８２】
操作用のオブジェクトＰの種類や視認性も、コンテンツ内容やアプリケーションの種類に応じて調整することが可能である。
【００８３】
また、オブジェクト生成部１２５は、ＶＲ酔い抑制のためのオブジェクトと操作用オブジェクトの両方をオブジェクトＰとして同時に生成してもよい。
【００８４】
［オブジェクトの表示方法について］
上述のようにオブジェクト生成部１２５は、並進検出部１２３によってＨＭＤ１１０の並進が検出された場合、又は映像揺れ検出部１２４によって全天球映像の揺れが検出された場合にオブジェクトＰを生成する。
【００８５】
図１２は、オブジェクト生成部１２５によるオブジェクトＰの表示態様を示すグラフである。同図に示すようにオブジェクト生成部１２５は、ＨＭＤ１１０の並進又は全天球映像の揺れが検出されると、この検出をトリガとしてオブジェクトＰを表示状態とする。この際、オブジェクト生成部１２５は、次第にオブジェクトＰの視認性を上昇させ、表示映像に対してフェードインさせるような表現とすることができる。
【００８６】
オブジェクト生成部１２５は、オブジェクトＰを表示状態とした後、一定時間ユーザの頭部の位置が実質的に変化せず、かつ天球映像において揺れが検出されない場合、オブジェクトＰを表示状態から非表示状態に変更することができる。
【００８７】
この際、オブジェクト生成部１２５は、オブジェクトＰの視認性を次第に低下させ、表示映像からフェードアウトさせるような表現とすることができる。
【００８８】
なお、オブジェクト生成部１２５は、必ずしもＨＭＤ１１０の並進又は全天球映像の揺れをトリガとしてオブジェクトＰを生成するものでなくてもよい。オブジェクト生成部１２５は、例えばオブジェクトＰが操作用のオブジェクトである場合には、ユーザＵのジェスチャや情報処理装置１２０に対する操作入力をトリガをとしてオブジェクトＰを生成してもよい。
【００８９】
オブジェクト生成部１２５は、オブジェクトＰが非表示状態となった後、再度トリガが生じた場合にはオブジェクトＰを再表示させる。ここで、オブジェクトＰがＶＲ酔い抑制のためのオブジェクトである場合には、以前に表示した位置に再表示させてもよく、現在のユーザＵの位置を基準として再表示させてもよい。
【００９０】
また、オブジェクト生成部１２５は、オブジェクトＰが操作用オブジェクトである場合、ユーザＵが操作しやすいように現在のユーザＵの位置を基準として再表示させると好適である。なお、操作用オブジェクトは、表示期間中にユーザＵに対して固定された位置に表示されると不適当である。ユーザＵに対して固定された位置に表示し続けるとユーザＵの並進に対する視覚的フィードバックがなくなるためである。
【００９１】
この場合、オブジェクト生成部１２５は、操作用オブジェクトに合わせて、ＶＲ酔い抑制のためのオブジェクトを生成すると好適である。図１３は、ＶＲ酔い抑制のためのオブジェクトＰと操作用オブジェクトＱを配置した状態を示す模式図である。図１３（ａ）及び（ｂ）に示すように、操作用オブジェクトＱはオブジェクトＰとは異なって表示空間に定位されず、表示空間においてＨＭＤ１１０に対する位置関係が固定されている。
【００９２】
なお、オブジェクト生成部１２５は、オブジェクトＰの視認性が小さい場合等には、視野内映像が表示されている間、常にオブジェクトＰを生成することも可能である。
【００９３】
図１４及び図１５は、オブジェクトＰの好適な配置を示す模式図である。オブジェクトＰがユーザＵの正面に配置されるとユーザＵの視界が妨げられるため、オブジェクト生成部１２５は、図１４に示すようにオブジェクトＰはユーザＵの正面を避けて配置すると好適である。
【００９４】
また、全天球映像が視差付全天球映像の場合、映像内物体とユーザＵの距離を取得することができる。この場合、オブジェクト生成部１２５は、図１５に示すように、映像内物体Ｔが存在する場所を避けてオブジェクトＰを配置すると好適である。
【００９５】
［ハードウェア構成］
図１６は、情報処理装置１２０のハードウェア構成を示す模式図である。同図に示すように情報処理装置１２０はハードウェア構成として、ＣＰＵ１００１、ＧＰＵ１００２、メモリ１００３、ストレージ１００４及び入出力部（Ｉ／Ｏ）１００５を有する。これらはバス１００６によって互いに接続されている。
【００９６】
ＣＰＵ（Central Processing Unit）１００１は、メモリ１００３に格納されたプログラムに従って他の構成を制御すると共に、プログラムに従ってデータ処理を行い、処理結果をメモリ１００３に格納する。ＣＰＵ１００１はマイクロプロセッサとすることができる。
【００９７】
ＧＰＵ（Graphic Processing Unit）１００２は、ＣＰＵ１００１による制御を受けて、画像処理を実行する。ＧＰＵ１００２はマイクロプロセッサとすることができる。
【００９８】
メモリ１００３はＣＰＵ１００１によって実行されるプログラム及びデータを格納する。メモリ１００３はＲＡＭ（Random Access Memory）とすることができる。
【００９９】
ストレージ１００４は、プログラムやデータを格納する。ストレージ１００４はＨＤＤ（hard disk drive）又はＳＳＤ（solid state drive）とすることができる。
【０１００】
入出力部１００５は情報処理装置１２０に対する入力を受け付け、また情報処理装置１２０の出力を外部に供給する。入出力部１００５は、タッチパネルやキーボード等の入力機器やディスプレイ等の出力機器、ネットワーク等の接続インターフェースを含む。
【０１０１】
情報処理装置１２０のハードウェア構成はここに示すものに限られず、情報処理装置１２０の機能的構成を実現できるものであればよい。また、上記ハードウェア構成の一部又は全部はネットワーク上に存在していてもよい。
【０１０２】
［変形例］
映像表示システム１００は、上述のようにＨＭＤ１１０と情報処理装置１２０から構成されるとしたが、情報処理装置１２０の機能的構成の一部又は全部はＨＭＤ１１０が備えるものであってもよい。例えば、ＨＭＤ１１０はスマートフォンによって構成される簡易型ＨＭＤであり、情報処理装置１２０の機能的構成を備えるものであってもよい。
【０１０３】
また、映像表示システム１００の機能的構成のうち、表示装置１１１以外の構成は情報処理装置１２０に搭載されてもよい。さらに、表示装置１１１以外の構成は、ＨＭＤ１１０又は情報処理装置１２０にネットワークを介して接続されたサーバによって実現されてもよい。
【０１０４】
センサ１１２もＨＭＤ１１０に搭載されるものに限られず、ＨＭＤ１１０の周囲に配置され、ＨＭＤ１１０の位置及び向きを検出できるセンサであってもよい。
【０１０５】
また、映像表示システム１００の表示対象映像は全天球映像として説明したが、表示対象映像は全天球映像に限られず、少なくともユーザの視野よりも広い範囲の映像であって、ユーザの頭部の向きに応じて表示範囲が変化する映像であればよい。
【０１０６】
なお、本技術は以下のような構成も採ることができる。
【０１０７】
（１）
ユーザの頭部の位置の変化に対して実質的に視点の位置が独立して制御される表示空間に、上記ユーザの頭部の位置の変化に応じた運動視差を有するオブジェクトを表示するよう表示装置を制御する表示制御部
を具備する情報処理装置。
【０１０８】
（２）
上記（１）に記載の情報処理装置であって、
上記表示制御部は、上記ユーザの頭部の位置の変化に応じて上記オブジェクトを非表示状態から表示状態に変更する
情報処理装置。
【０１０９】
（３）
上記（１）又は（２）に記載の情報処理装置であって、
上記表示制御部は、上記オブジェクトの状態が上記表示状態に変更された後、上記ユーザの頭部の位置が実質的に変化していない場合、上記オブジェクトの状態を上記表示状態から上記非表示状態に変更する
情報処理装置。
【０１１０】
（４）
上記（２）に記載の情報処理装置であって、
上記表示制御部は、
上記ユーザの頭部の位置の変化として、上記ユーザの頭部の位置の並進運動を検出し、
上記表示空間を上記ユーザの頭部の回転運動に対して変化させる一方で、上記表示空間を上記ユーザの頭部の並進運動に対しては実質的に変化させない
情報処理装置。
【０１１１】
（５）
上記（１）から（４）のうちいずれか一つに記載の情報処理装置であって、
上記表示制御部は、上記表示空間の変化に応じて上記オブジェクトを非表示状態から表示状態に変更する
情報処理装置。
【０１１２】
（６）
上記（５）に記載の情報処理装置であって、
上記表示制御部は、上記視点の位置の変化に応じて上記表示空間を変化させる
情報処理装置。
【０１１３】
（７）
上記（６）に記載の情報処理装置であって、
上記視点の位置の変化は、上記表示空間を取得するカメラの揺れに対応する
情報処理装置。
【０１１４】
（８）
上記（１）から（７）のうちいずれか一つに記載の情報処理装置であって
上記オブジェクトは操作用ユーザインターフェースである
情報処理装置。
【０１１５】
（９）
上記（１）から（８）のうちいずれか一つに記載の情報処理装置であって
上記表示制御部は、上記オブジェクトを上記表示空間に定位する
情報処理装置。
【０１１６】
（１０）
上記（１）から（９）のうちいずれか一つに記載の情報処理装置であって
上記表示制御部は、上記オブジェクトを上記表示空間の視点から所定の距離以内に固定する
情報処理装置。
【０１１７】
（１１）
上記（１）から（１０）のうちいずれか一つに記載の情報処理装置であって
上記表示空間は、上記ユーザの視野よりも広い映像である
情報処理装置。
【０１１８】
（１２）
上記（１）から（１１）のうちいずれか一つに記載の情報処理装置であって、
上記表示空間は全天球映像である
情報処理装置。
【０１１９】
（１３）
上記（１）から（１２）のうちいずれか一つに記載の情報処理装置であって、
上記表示装置はヘッドマウントディスプレイである
情報処理装置。
【０１２０】
（１４）
上記（１）から（１３）のうちいずれか一つに記載の情報処理装置であって、
上記表示制御部は、上記ヘッドマウントディスプレイの回転及び移動を検出する６自由度センサの出力に基づいて上記運動視差を生成する
情報処理装置。
【０１２１】
（１５）
表示制御部が、ユーザの頭部の位置の変化に対して実質的に視点の位置が独立して制御される表示空間に、上記ユーザの頭部の位置の変化に応じた運動視差を有するオブジェクトを表示するよう表示装置を制御する
情報処理方法。
【０１２２】
（１６）
ユーザの頭部の位置の変化に対して実質的に視点の位置が独立して制御される表示空間に、上記ユーザの頭部の位置の変化に応じた運動視差を有するオブジェクトを表示するよう表示装置を制御する表示制御部
として情報処理装置を機能させるプログラム。
【符号の説明】
【０１２３】
１００…映像表示システム
１１０…ＨＭＤ
１１１…表示装置
１１２…センサ
１２０…情報処理装置
１２１…映像デコーダ
１２２…視野内映像生成部
１２３…並進検出部
１２４…映像揺れ検出部
１２５…オブジェクト生成部
１２６…映像合成部
【図１】
2019225354.tif 000003
【図２】
2019225354.tif 000004
【図３】
2019225354.tif 000005
【図４】
2019225354.tif 000006
【図５】
2019225354.tif 000007
【図６】
2019225354.tif 000008
【図７】
2019225354.tif 000009
【図８】
2019225354.tif 000010
【図９】
2019225354.tif 000011
【図１０】
2019225354.tif 000012
【図１１】
2019225354.tif 000013
【図１２】
2019225354.tif 000014
【図１３】
2019225354.tif 000015
【図１４】
2019225354.tif 000016
【図１５】
2019225354.tif 000017
【図１６】
2019225354.tif 000018
【国際調査報告】
2019225354.tif 000019
2019225354.tif 000020
2019225354.tif 000021
2019225354.tif 000022