(57)【要約】【課題】ユーザの利便性を向上させることができるようにする。【解決手段】第１の視点から視聴可能な第１の映像から、第１の視点とは異なる第２の視点から視聴可能な第２の映像に切り替える際に、第１の映像の背景画像及び第２の映像の背景画像のうち少なくとも一方よりも情報量が少ない背景画像を含み、実質的に連続的に変化する遷移画像を表示するように表示装置を制御する表示制御部を備える情報処理装置が提供される。本技術は、例えば、ヘッドマウントディスプレイに映像を表示する機器に適用することができる。【選択図】図１
2019149122.tif 000002
【特許請求の範囲】
【請求項１】
第１の視点から視聴可能な第１の映像から、前記第１の視点とは異なる第２の視点から視聴可能な第２の映像に切り替える際に、前記第１の映像の背景画像及び前記第２の映像の背景画像のうち少なくとも一方よりも情報量が少ない背景画像を含み、実質的に連続的に変化する遷移画像を表示するように表示装置を制御する表示制御部を備える
情報処理装置。
【請求項２】
前記遷移画像は、前記第１の視点から前記第２の視点への視点の遷移に対応した映像を簡略化するとともに前記映像の特徴を強調することで得られる画像を含む
請求項１に記載の情報処理装置。
【請求項３】
前記遷移画像のうち、切り替え開始時に表示する第１の遷移画像は、前記第１の映像を簡略化するとともに前記第１の映像の特徴を強調することで得られる画像を含み、切り替え終了時に表示する第２の遷移画像は、前記第２の映像を簡略化するとともに前記第２の映像の特徴を強調することで得られる画像を含む
請求項２に記載の情報処理装置。
【請求項４】
前記遷移画像は、CG(Computer Graphics)の映像である
請求項３に記載の情報処理装置。
【請求項５】
前記CGの映像は、ワイヤフレームにより表現された映像である
請求項４に記載の情報処理装置。
【請求項６】
前記第１の遷移画像は、前記第１の映像に含まれる対象物を輪郭のみで表現した画像を含み、
前記第２の遷移画像は、前記第２の映像に含まれる対象物を輪郭のみで表現した画像を含む
請求項５に記載の情報処理装置。
【請求項７】
前記情報量は、画像の色の階調及び解像度のうち少なくとも一方を含む画像情報により定まる
請求項１に記載の情報処理装置。
【請求項８】
前記遷移画像は、前記背景画像として、所定の単色で表された画像、又は前記第１の映像若しくは前記第２の映像を低解像度化することで得られる画像を含む
請求項７に記載の情報処理装置。
【請求項９】
前記遷移画像は、ユーザの両眼の輻輳角の変化に応じた画像を含む
請求項２に記載の情報処理装置。
【請求項１０】
ユーザの操作、又は前記第１の映像の再生時間軸上の切り替え時刻に基づいて、前記第１の映像から前記第２の映像に切り替える
請求項１に記載の情報処理装置。
【請求項１１】
前記表示制御部は、前記第１の映像又は前記第２の映像に含まれる対象物を縮小した縮小画像の表示を制御する
請求項１に記載の情報処理装置。
【請求項１２】
前記縮小画像は、CGの映像である
請求項１１に記載の情報処理装置。
【請求項１３】
前記表示制御部は、前記第１の映像又は前記第２の映像から、前記縮小画像に切り替える際に、前記第１の映像又は前記第２の映像に含まれる対象物の表示スケールの変更に合わせて、その対象物の位置を、ユーザの視点方向に近づける
請求項１２に記載の情報処理装置。
【請求項１４】
前記表示制御部は、前記縮小画像として、前記第１の映像又は前記第２の映像に含まれる人物の動きに応じたCGの映像を含める
請求項１３に記載の情報処理装置。
【請求項１５】
前記表示制御部は、前記縮小画像として、前記第１の映像又は前記第２の映像に含まれる物体の配置に応じたCGの映像を含める
請求項１３に記載の情報処理装置。
【請求項１６】
前記第１の映像及び前記第２の映像は、全天球実写映像である
請求項１に記載の情報処理装置。
【請求項１７】
前記全天球実写映像を撮像するカメラは、スポーツを含む競技が行われる競技場、音楽の演奏会を含むイベントが行われる建築物、構造物の内部、又は屋外に設置され、
前記全天球実写映像は、スポーツを含む競技の映像、音楽の演奏会を含むイベントの映像、構造物の内部の映像、又は屋外の映像を含む
請求項１６に記載の情報処理装置。
【請求項１８】
前記表示装置は、ヘッドマウントディスプレイである
請求項１に記載の情報処理装置。
【請求項１９】
情報処理装置の情報処理方法において、
前記情報処理装置が、
第１の視点から視聴可能な第１の映像から、前記第１の視点とは異なる第２の視点から視聴可能な第２の映像に切り替える際に、前記第１の映像の背景画像及び前記第２の映像の背景画像のうち少なくとも一方よりも情報量が少ない背景画像を含み、実質的に連続的に変化する遷移画像を表示するように表示装置を制御する
情報処理方法。
【請求項２０】
コンピュータを、
第１の視点から視聴可能な第１の映像から、前記第１の視点とは異なる第２の視点から視聴可能な第２の映像に切り替える際に、前記第１の映像の背景画像及び前記第２の映像の背景画像のうち少なくとも一方よりも情報量が少ない背景画像を含み、実質的に連続的に変化する遷移画像を表示するように表示装置を制御する表示制御部
として機能させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本技術は、情報処理装置、情報処理方法、及び、プログラムに関し、特に、ユーザの利便性を向上させることができるようにした情報処理装置、情報処理方法、及び、プログラムに関する。
【背景技術】
【０００２】
近年、ヘッドマウントディスプレイ（HMD：Head Mounted Display）等の機器を利用して、バーチャルリアリティ（VR：Virtual Reality）機能を提供するための技術の研究・開発が盛んに行われている（例えば、特許文献１参照）。
【０００３】
特許文献１には、ゲーム機に接続されたヘッドマウントディスプレイにおいて、マーカにより示される位置が視点位置として選択されたとき、マーカにより示される位置を視点位置に変更したゲームフィールドの画像を生成して表示する技術が開示されている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２０１７−１０２２９７号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
ところで、ヘッドマウントディスプレイ等の機器においては、映像の視点を切り替える際に、例えば、ユーザは、自分の見ている方向や位置を見失う可能性があり、また映像の急激な変化や、映像の変化が現実の身体の動きと異なると酔いやすくなる恐れなどもある。
【０００６】
そのため、ヘッドマウントディスプレイ等の機器において、このような映像の視点の切り替えに伴う不都合な事象を回避して、ユーザの利便性を向上させるための技術が求められている。
【０００７】
本技術はこのような状況に鑑みてなされたものであり、ユーザの利便性を向上させることができるようにするものである。
【課題を解決するための手段】
【０００８】
本技術の一側面の情報処理装置は、第１の視点から視聴可能な第１の映像から、前記第１の視点とは異なる第２の視点から視聴可能な第２の映像に切り替える際に、前記第１の映像の背景画像及び前記第２の映像の背景画像のうち少なくとも一方よりも情報量が少ない背景画像を含み、実質的に連続的に変化する遷移画像を表示するように表示装置を制御する表示制御部を備える情報処理装置である。
【０００９】
本技術の一側面の情報処理装置は、独立した装置であってもよいし、１つの装置を構成する内部ブロックであってもよい。
【００１０】
本技術の一側面の情報処理方法、及び、プログラムは、上述した本技術の一側面の情報処理装置に対応する情報処理方法、及び、プログラムである。
【００１１】
本技術の一側面の情報処理装置、情報処理方法、及び、プログラムにおいては、第１の視点から視聴可能な第１の映像から、前記第１の視点とは異なる第２の視点から視聴可能な第２の映像に切り替える際に、前記第１の映像の背景画像及び前記第２の映像の背景画像のうち少なくとも一方よりも情報量が少ない背景画像を含み、実質的に連続的に変化する遷移画像を表示するように表示装置が制御される。
【発明の効果】
【００１２】
本技術の一側面によれば、ユーザの利便性を向上させることができる。
【００１３】
なお、ここに記載された効果は必ずしも限定されるものではなく、本開示中に記載されたいずれかの効果であってもよい。
【図面の簡単な説明】
【００１４】
【図１】本技術を適用した映像再生システムの一実施の形態の構成例を示すブロック図である。
【図２】サッカースタジアムに設置された撮像装置により撮像された全天球実写映像の表示例を示す図である。
【図３】サッカースタジアムにおける視点移動前の全天球実写映像の例を示す図である。
【図４】サッカースタジアムにおける視点移動時のCG映像の第１の例を示す図である。
【図５】サッカースタジアムにおける視点移動時のCG映像の第２の例を示す図である。
【図６】サッカースタジアムにおける視点移動時のCG映像の第３の例を示す図である。
【図７】サッカースタジアムにおける視点移動後の全天球実写映像の例を示す図である。
【図８】再生・表示制御処理の流れを説明するフローチャートである。
【図９】サッカーのハイライト映像配信の例を示すタイミングチャートである。
【図１０】フィールドのミニチュアCG映像の表示例を示す図である。
【図１１】全天球実写映像の表示時のユーザの視線のフィールドまでの距離の例を示す図である。
【図１２】ミニチュアCG映像の表示時のユーザの視線のフィールドまでの距離の例を示す図である。
【図１３】サッカーのゴールシーンのミニチュアCG映像の第１の例を示す図である。
【図１４】サッカーのゴールシーンのミニチュアCG映像の第２の例を示す図である。
【図１５】サッカーのゴールシーンのミニチュアCG映像の第３の例を示す図である。
【図１６】オーケストラの楽器配置のミニチュアCG映像の第１の例を示す図である。
【図１７】オーケストラの楽器配置のミニチュアCG映像の第２の例を示す図である。
【図１８】オーケストラの楽器配置のミニチュアCG映像の第３の例を示す図である。
【図１９】音楽ライブの映像配信の例を示すタイミングチャートである。
【図２０】音楽ライブの映像配信における第１の視点での全天球実写映像の例を示す図である。
【図２１】音楽ライブの映像配信におけるCG映像の例を示す図である。
【図２２】音楽ライブの映像配信における第２の視点での全天球実写映像の例を示す図である。
【図２３】コンピュータの構成例を示す図である。
【発明を実施するための形態】
【００１５】
以下、図面を参照しながら本技術の実施の形態について説明する。なお、説明は以下の順序で行うものとする。
【００１６】
１．第１の実施の形態：サッカーの試合の映像再生
２．第２の実施の形態：サッカーの試合の映像再生（表示スケール変更）
３．第３の実施の形態：オーケストラのコンサートの映像再生（表示スケール変更）
４．第４の実施の形態：音楽ライブの映像再生
５．変形例
６．コンピュータの構成
【００１７】
＜１．第１の実施の形態＞
【００１８】
（映像再生システムの構成例）
図１は、本技術を適用した映像再生システムの一実施の形態の構成例を示すブロック図である。
【００１９】
映像再生システム１は、全天球カメラ等の撮像装置により撮像された画像データや、CG(Computer Graphics)モデルデータ等のデータを処理し、その処理の結果得られる全天球実写映像やCG映像等の映像を、ヘッドマウントディスプレイ等の表示装置に表示するシステムである。
【００２０】
図１において、映像再生システム１は、中心的な処理を行う情報処理装置１０と、情報処理装置１０に入力されるデータを記憶する映像・CG制御データ記憶部２１及びCGモデルデータ記憶部２２と、情報処理装置１０から出力されるデータを提示する表示装置３１及びスピーカ３２とから構成される。
【００２１】
情報処理装置１０は、例えば、ゲーム機やパーソナルコンピュータ、専用のプロセッサが搭載されたユニット等の電子機器として構成される。情報処理装置１０は、UI・コンテンツ制御部１０１、再生部１０２、及びレンダリング部１０３から構成される。
【００２２】
UI・コンテンツ制御部１０１は、例えば、CPU(Central Processing Unit)やマイクロプロセッサ等から構成される。UI・コンテンツ制御部１０１は、各種の演算処理や動作制御など、情報処理装置１０における中心的な制御装置として動作する。
【００２３】
UI・コンテンツ制御部１０１は、再生部１０２及びレンダリング部１０３を制御することで、ユーザインターフェース（UI：User Interface）や、コンテンツの表示や再生を制御する。
【００２４】
UI・コンテンツ制御部１０１には、例えば、ヘッドマウントディスプレイを装着したユーザによる操作装置（例えば、コントローラ等）に対する操作に応じた操作信号が入力される。UI・コンテンツ制御部１０１は、入力された操作信号に基づいて、情報処理装置１０の各部の動作を制御する。
【００２５】
また、UI・コンテンツ制御部１０１には、ヘッドマウントディスプレイを装着したユーザの頭部の動きに応じたトラッキング信号から得られる情報（以下、ヘッドトラッキング情報という）や、全天球実写映像の撮像位置と撮像方向に関する情報（以下、全天球実写撮像地点情報という）が入力される。
【００２６】
なお、全天球実写映像は、所定の施設や屋外などに設置される全天球カメラ（全方位カメラ）等の撮像装置により撮像される画像データを処理することで得られる映像であって、上下左右全方位の360度のパノラマ映像である。
【００２７】
UI・コンテンツ制御部１０１は、入力されたヘッドトラッキング情報、及び全天球実写撮像地点情報の少なくとも一方の情報を用いて所定の演算処理（例えば、ユーザの視点を算出したり、表示画角を算出したりするための演算処理）を行う。UI・コンテンツ制御部１０１は、所定の演算処理で得られる演算結果に基づいて、再生部１０２及びレンダリング部１０３を制御する。
【００２８】
UI・コンテンツ制御部１０１は、再生制御部１１１及び表示制御部１１２を含む。
【００２９】
再生制御部１１１は、再生部１０２により実行される再生処理を制御する。表示制御部１１２は、レンダリング部１０３により実行されるレンダリング処理を制御する。
【００３０】
再生部１０２は、再生制御部１１１からの制御に従い、そこに入力されるコンテンツのビデオデータやオーディオデータを処理して、コンテンツを再生するための再生処理を実行する。
【００３１】
再生部１０２は、データ取得部１２１、デマックス１２２、第１ビデオデコーダ１２３、第２ビデオデコーダ１２４、オーディオデコーダ１２５、CG制御データデコーダ１２６、及び同期制御部１２７を含む。
【００３２】
データ取得部１２１は、映像・CG制御データ記憶部２１から、再生対象のコンテンツに関する入力データを取得し、デマックス１２２に供給する。
【００３３】
ここで、映像・CG制御データ記憶部２１には、例えば、全天球カメラ等の撮像装置により撮像される画像データから得られる全天球実写映像のデータや、CG映像を制御するためのCG制御データなどの各種のデータが記録されている。
【００３４】
ただし、映像・CG制御データ記憶部２１に記録されているデータは、所定の方式に従ってエンコードの処理が施され、符号化されている。また、CG制御データは、時間に依存して変化するCGモデルの制御データであって、例えば、モーションデータや位置情報、頂点やメッシュの変化情報を含む。
【００３５】
デマックス１２２は、データ取得部１２１から供給される入力データを、符号化ビデオデータと、符号化オーディオデータと、符号化CG制御データとに分離する。ただし、ここでは、入力データとして、異なる撮像装置（例えば全天球カメラ）からの２つの系列の符号化ビデオデータ（第１符号化ビデオデータと第２符号化ビデオデータ）が含まれている。
【００３６】
デマックス１２２は、入力データを分離して得られる各データのうち、第１符号化ビデオデータを第１ビデオデコーダ１２３に、第２符号化ビデオデータを第２ビデオデコーダ１２４に、符号化オーディオデータをオーディオデコーダ１２５に、符号化CG制御データをCG制御データデコーダ１２６に、それぞれ供給する。
【００３７】
第１ビデオデコーダ１２３は、デマックス１２２から供給される第１符号化ビデオデータを、所定の復号方式に従ってデコードし、その結果得られる第１ビデオデータを、同期制御部１２７に供給する。
【００３８】
第２ビデオデコーダ１２４は、デマックス１２２から供給される第２符号化ビデオデータを、所定の復号方式に従ってデコードし、その結果得られる第２ビデオデータを、同期制御部１２７に供給する。
【００３９】
オーディオデコーダ１２５は、デマックス１２２から供給される符号化オーディオデータを、所定の復号方式に従いデコードし、その結果得られるオーディオデータを、同期制御部１２７に供給する。
【００４０】
CG制御データデコーダ１２６は、デマックス１２２から供給される符号化CG制御データを、所定の復号方式に従いデコードし、その結果得られるCG制御データを、同期制御部１２７に供給する。
【００４１】
同期制御部１２７には、第１ビデオデコーダ１２３からの第１ビデオデータと、第２ビデオデコーダ１２４からの第２ビデオデータと、オーディオデコーダ１２５からのオーディオデータと、CG制御データデコーダ１２６からのCG制御データが入力される。
【００４２】
同期制御部１２７は、そこに入力される第１ビデオデータと、第２ビデオデータと、オーディオデータと、CG制御データとを同期させる同期制御を行い、それにより同期した第１ビデオデータと、第２ビデオデータと、オーディオデータと、CG制御データとをそれぞれ、レンダリング部１０３に供給する。
【００４３】
レンダリング部１０３には、再生部１０２の同期制御部１２７から、第１ビデオデータと、第２ビデオデータと、オーディオデータと、CG制御データとが同期して入力される。また、レンダリング部１０３には、CGモデルデータ記憶部２２から、CGモデルデータが入力される。
【００４４】
ここで、CGモデルデータ記憶部２２には、例えば、CGモデルのデータなどの各種のデータが記録されている。ただし、CGモデルのデータは、時間に依存して変化しないCGモデルのデータであって、例えば、メッシュデータやテクスチャデータ、マテリアルデータなどを含む。
【００４５】
レンダリング部１０３は、表示制御部１１２からの制御に従い、そこに入力されるコンテンツのビデオデータやオーディオデータ、CGのデータを処理して、コンテンツやCGの映像や音声を出力するためのレンダリング処理を実行する。
【００４６】
具体的には、レンダリング部１０３は、第１ビデオデータ又は第２ビデオデータに対して、レンダリング処理を施し、その結果得られる映像出力データを、所定のインターフェースを介して、表示装置３１に出力する。これにより、表示装置３１は、情報処理装置１０（のレンダリング部１０３）から出力される映像出力データに基づいて、全天球実写映像等のコンテンツの映像を表示する。
【００４７】
また、レンダリング部１０３は、オーディオデータに対して、レンダリング処理を施し、その結果得られる音声出力データを、所定のインターフェースを介して、スピーカ３２に出力する。これにより、スピーカ３２は、情報処理装置１０（のレンダリング部１０３）から出力される音声出力データ基づいて、全天球実写映像等のコンテンツの映像に同期した音声を出力する。
【００４８】
さらに、レンダリング部１０３は、CG制御データに基づき、CGモデルデータに対して、レンダリング処理を施し、その結果得られるCG映像出力データを、表示装置３１に出力する。これにより、表示装置３１は、情報処理装置１０（のレンダリング部１０３）から出力されるCG映像出力データに基づいて、CG映像を表示する。
【００４９】
ここで、UI・コンテンツ制御部１０１によって、全天球実写映像とCG映像とを切り替える表示切り替え処理が行われる場合には、例えば、切り替えの対象に応じて、次の処理が行われる。
【００５０】
すなわち、全天球実写映像からCG映像への切り替え時において、UI・コンテンツ制御部１０１は、全天球実写映像の視点方向とCG映像とが一致するように、CGのレンダリングカメラ位置を調整して、レンダリング部１０３に指示する。
【００５１】
一方で、CG映像から全天球実写映像への切り替え時において、UI・コンテンツ制御部１０１は、同一の視点で、全天球実写映像に遷移するために、例えば、次の３つの処理を順に行う。
【００５２】
まず、複数の全天球実写映像の中から、切り替え時のCG映像に最も近い全天球実写映像を選択する。次に、選択された全天球実写映像が撮像された撮像装置（例えば全天球カメラ）の視点まで、CGのレンダリングのカメラ位置を移動するように、レンダリング部１０３に指示する。そして、遷移後の全天球実写映像の正面の視点方向を、ユーザがCGで見ていた方向に応じて変更するように、レンダリング部１０３に指示する。
【００５３】
なお、ここでは、映像や音声と同期したタイムスタンプのデータで持つCGモデルの制御データ（CG制御データ）が、同期してレンダリング部１０３に渡されることから、例えば、次の３つの処理を行うことができる。
【００５４】
すなわち、第１に、複数の全天球実写映像とCG映像とを同期させて、それらの映像の切り替え時であっても、同一のタイミングのシーンを表現することが可能となる。第２に、全天球実写映像とCG映像とが同期して、例えば早送りや巻き戻しなどのトリックプレーを行うことが可能となる。第３に、複数の全天球実写映像とCG映像との切り替えを行っても、それらの映像に同期した音声を連続的に再生することが可能となる。
【００５５】
表示装置３１は、例えば、ヘッドマウントディスプレイやスマートフォンなどのディスプレイを有する電子機器として構成される。なお、以下の説明では、表示装置３１の一例として、ヘッドマウントディスプレイ（後述する図２のヘッドマウントディスプレイ３１Ａ）を説明する。
【００５６】
また、図１に示した構成では、音声出力装置として、スピーカ３２を示したが、スピーカ３２に限らず、例えば、ヘッドマウントディスプレイを、頭部に装着したユーザが、さらにイヤフォンを耳に差し込んで（又はヘッドフォンを装着して）、そこから音声が出力されるようにしてもよい。
【００５７】
なお、情報処理装置１０と、表示装置３１及びスピーカ３２は、例えば、所定の規格に準拠したケーブルを介して有線で接続されるか、あるいは所定の規格に準拠した無線通信により接続することができる。
【００５８】
映像再生システム１は、以上のように構成される。
【００５９】
なお、図１においては、UI・コンテンツ制御部１０１での演算処理で用いられるトラッキング情報として、ヘッドトラッキング情報を用いるとして説明したが、例えば、ヘッドマウントディスプレイの空間的な位置を示すポジショントラッキング情報や、ユーザの視線の動きに応じたアイトラッキング情報などを、さらに用いるようにしてもよい。
【００６０】
また、図１において、全天球実写映像のデータやCG制御データ、CGモデルのデータなどの各種のデータは、例えば、ハードディスクドライブ（HDD：Hard Disk Drive）や半導体メモリ、光ディスクなどの大容量の記録媒体からなる映像・CG制御データ記憶部２１やCGモデルデータ記憶部２２に記録され、情報処理装置１０は、そこから入力データを取得するとして説明したが、それらのデータは、他の経路で取得するようにしてもよい。
【００６１】
例えば、情報処理装置１０に、通信I/Fを設けてインターネットに接続可能とすることで、インターネット上のサーバから配信される全天球実写映像のデータ等の各種のデータを受信して、再生部１０２に入力されるようにしてもよい。また、情報処理装置１０に、チューナを設けてアンテナを介して放送波を受信可能とすることで、放送波から得られる全天球実写映像のデータ等の各種のデータが、再生部１０２に入力されるようにしてもよい。
【００６２】
（視点移動時のアニメーション表示）
図２は、サッカースタジアム２に設置された撮像装置により撮像された全天球実写映像の表示例を示している。
【００６３】
図２においては、サッカースタジアム２におけるフィールド３を示しているが、実際には、フィールド３を取り囲むようにスタンドが設けられる。この例では、フィールド３に対して手前側のスタンドの上部に、カメラ４１−１が設置され、フィールド３に固定された一方のゴールのゴール裏に、カメラ４１−２が設置されている。
【００６４】
カメラ４１−１，４１−２は、例えば、全天球カメラであって、上下左右全方位の360度のパノラマ映像である全天球実写映像を撮像可能な撮像装置である。なお、以下の説明では、全天球カメラにより撮像された全天球実写映像を一例に説明するが、全天球カメラに限らず、他の撮像装置により撮像された実写映像を用いるようにしてもよい。例えば、通常のカメラに、魚眼レンズや広角レンズを取り付けて撮像を行うことで、撮像された実写映像（例えば視野角が180度の映像）を用いるようにしてもよい。
【００６５】
カメラ４１−１は、手前側のスタンドの上部の設置位置に応じた全天球実写映像を撮像することができる。また、カメラ４１−２は、ゴール裏の設置位置に応じた全天球実写映像を撮像することができる。なお、カメラ４１−１とカメラ４１−２により撮像された全天球実写映像のデータは、映像・CG制御データ記憶部２１（図１）に記録することができる。
【００６６】
そして、このようにして得られる全天球実写映像は、例えば、情報処理装置１０（図１）により再生して、表示装置３１としてのヘッドマウントディスプレイ３１Ａに表示することで、ヘッドマウントディスプレイ３１Ａを装着したユーザは、サッカースタジアム２にいるような臨場感を味わうことができる。
【００６７】
例えば、カメラ４１−１によって、ヘッドマウントディスプレイ３１Ａでは、スタンドの上部の方向からの全天球実写映像の表示が可能となる。また、例えば、カメラ４１−２によって、ヘッドマウントディスプレイ３１Ａでは、ゴール裏の方向からの全天球実写映像の表示が可能となる。
【００６８】
なお、ヘッドマウントディスプレイ３１Ａは、ユーザの両眼を覆うように頭部に装着して、ユーザの眼前に設けられた表示画面に表示される静止画や動画などを鑑賞するための表示装置である。ヘッドマウントディスプレイ３１Ａに表示される対象は、例えば、サッカー等のスポーツ番組のほか、コンサートや音楽ライブの映像、テレビ番組や映画、ゲーム画像などのコンテンツとされる。
【００６９】
また、図２においては、手前側のスタンドの上部に、カメラ４１−１を設置し、一方のゴール裏に、カメラ４１−２を設置した場合を示したが、カメラ４１の設置位置は、これに限らず、例えば、奥側のスタンド（メインスタンド又はバックスタンド）の上部や、他方のゴール裏など、サッカースタジアム２内の任意の位置に、任意の数だけ設置することができる。また、以下の説明では、カメラ４１−１とカメラ４１−２を、特に区別する必要がない場合には、単にカメラ４１と記述するものとする。
【００７０】
ここで、ヘッドマウントディスプレイ３１Ａに表示される全天球実写映像を、カメラ４１−１により撮像されるスタンドの上部での全天球実写映像から、カメラ４１−２により撮像されるゴール裏での全天球実写映像に切り替える場面を想定する。
【００７１】
このとき、情報処理装置１０（図１）は、ヘッドマウントディスプレイ３１Ａの表示として、スタンドの上部での全天球実写映像を視聴可能な第１の視点から、ゴール裏での全天球実写映像を視聴可能な第２の視点までの視点移動の間を、連続的なCG映像の表示に切り替えて、視点移動のアニメーションが表示されるようにする。
【００７２】
図３は、ヘッドマウントディスプレイ３１Ａに表示される、視点移動前の全天球実写映像の例を示している。図３において、ヘッドマウントディスプレイ３１Ａには、スタンドの上部のカメラ４１−１により撮像された全天球実写映像を見ているユーザの視線方向に応じた視点となる全天球実写映像３０１が表示される。
【００７３】
図４乃至図６は、ヘッドマウントディスプレイ３１Ａに表示される、視点移動の間に表示されるCG映像の例を示している。なお、図４乃至図６に示すCG映像は、その順に時系列で表示されるものとする。
【００７４】
まず、図４に示すように、ヘッドマウントディスプレイ３１Ａには、スタンドの上部の方向からの視点となるCG映像３０２が表示される。すなわち、CG映像３０２の視点は、上述した視点移動前の全天球実写映像３０１（図３）の視点と略一致している。
【００７５】
また、CG映像３０２は、全天球実写映像３０１（図３）と比べて、スタンドや観客、選手などが含まれておらず、フィールド３をマーキングするライン（例えばハーフウェーラインやタッチライン、ゴールラインなど）と、それぞれのゴールラインの中央に設置されたゴールが、ワイヤフレームにより表現（輪郭のみで表現）されている。
【００７６】
すなわち、CG映像３０２は、背景画像として、例えば黒色や青色等の所定の単色で表された画像を含んでおり、全天球実写映像３０１の背景画像よりも情報量が少なくなっている。なお、ワイヤフレームとは、３次元モデリングやレンダリングの手法のひとつで、立体の辺だけからなるような線の集合で表現するものである。
【００７７】
次に、図５に示すように、ヘッドマウントディスプレイ３１Ａには、CG映像３０２（図４）と視点が異なるCG映像３０３が表示される。例えば、CG映像３０３の視点は、スタンドの上部のカメラ４１−１の設置位置と、ゴール裏のカメラ４１−２の設置位置とを結んだ軌跡上の任意の位置とされる。
【００７８】
また、CG映像３０３は、CG映像３０２（図４）と同様に、フィールド３をマーキングするラインやゴールを、ワイヤフレームにより表現したものとなる。さらに、CG映像３０３は、CG映像３０２（図４）と同様に、背景画像として、例えば黒色等の所定の単色で表された画像を含んでいる。
【００７９】
次に、図６に示すように、ヘッドマウントディスプレイ３１Ａには、ゴール裏の方向からの視点となるCG映像３０４が表示される。すなわち、CG映像３０４の視点は、後述する視点移動後の全天球実写映像３０５（図７）の視点と略一致している。
【００８０】
また、CG映像３０４は、CG映像３０２（図４）及びCG映像３０３（図５）と同様に、フィールド３をマーキングするラインやゴールを、ワイヤフレームにより表現したものとなる。さらに、CG映像３０４は、背景画像として、例えば黒色等の所定の単色で表された画像を含んでいる。
【００８１】
このように、ヘッドマウントディスプレイ３１Ａにおいては、スタンドの上部での全天球実写映像からゴール裏での全天球実写映像に、視点を切り替える際に、情報処理装置１０（図１）によって、ワイヤフレームにより表現されたCG映像３０２（図４）と、CG映像３０３（図５）と、CG映像３０４（図６）のように連続的に変化するCG映像（いわば遷移画像）が表示されることで、視点移動のアニメーションの表示が行われる。
【００８２】
また、このとき、遷移画像としてのCG映像３０２、CG映像３０３、及びCG映像３０４では、視点が移動するとともに、ワイヤフレームにより表現されたラインやゴールのスケールを変更することができるため、遷移画像は、ユーザの両眼の輻輳角の変化に応じた画像を含んでいると言える。
【００８３】
図７は、ヘッドマウントディスプレイ３１Ａに表示される、視点移動後の全天球実写映像の例を示している。図７において、ヘッドマウントディスプレイ３１Ａには、ゴール裏のカメラ４１−２により撮像された全天球実写映像を見ているユーザの視線方向に応じた視点となる全天球実写映像３０５が表示される。
【００８４】
以上のように、スタンドの上部での全天球実写映像３０１（図３）から、ゴール裏での全天球実写映像３０５（図７）に、視点を切り替える際に、視点移動のアニメーション（CG映像３０２乃至CG映像３０４を含むCG映像が連続的に変化する遷移画像）を表示することで、映像が単調になることを解消し、さらにユーザに対して視点がどのように変わったかを把握させることができる。
【００８５】
また、視点移動のアニメーションの表示として、ワイヤフレームにより表現されたCG映像が連続的に変化する遷移画像が表示されるようにすることで、サッカースタジアム２の詳細な情報をデフォルメ（変形）しているため、ヘッドマウントディスプレイ３１Ａを使用しているユーザの酔い（いわゆるVR酔い）を軽減することができる。
【００８６】
なお、視点移動のアニメーションとして、ワイヤフレームにより表現されたCG映像が用いられる場合を示したが、ワイヤフレームによる表現は、全天球実写映像をデフォルメするための表現手法の一例であって、他の表現手法を用いるようにしてもよい。また、本明細書において、デフォルメとは、映像を簡略化するとともに、その映像の特徴を強調する意味を含んでいる。
【００８７】
（再生・表示制御処理の流れ）
次に、図８のフローチャートを参照して、情報処理装置１０（図１）のUI・コンテンツ制御部１０１により実行される再生・表示制御処理の流れを説明する。
【００８８】
なお、図８のフローチャートに示す処理が実行される前提として、ゲーム機やパーソナルコンピュータ等から構成される情報処理装置１０は、ヘッドマウントディスプレイ３１Ａと接続されている。そして、ヘッドマウントディスプレイ３１Ａを頭部に装着したユーザは、そのディスプレイに表示される画面を見ながら、コントローラなどを操作して、例えば、画面に表示される映像（全天球実写映像やCG映像）の視点を切り替えたりすることができる。
【００８９】
ステップＳ１１において、UI・コンテンツ制御部１０１は、再生部１０２を制御して、全天球実写映像を再生する。これにより、例えば、ヘッドマウントディスプレイ３１Ａには、スタンドの上部での全天球実写映像として、全天球実写映像３０１（図３）が表示される。
【００９０】
ステップＳ１２において、UI・コンテンツ制御部１０１は、そこに入力される操作信号などに基づいて、ユーザ又は配信者から、映像の視点を変更する指示である視点変更指示があったかどうかを判定する。
【００９１】
ステップＳ１２において、視点変更指示がないと判定された場合、処理は、ステップＳ１１に戻り、上述した処理が繰り返される。この場合、例えば、スタンドの上部での全天球実写映像を見ているユーザの視線方向に応じた視点となる全天球実写映像３０１（図３）の表示が継続される。
【００９２】
一方で、ステップＳ１２において、例えば、ユーザによりコントローラが操作され、視点変更指示があったと判定された場合、処理は、ステップＳ１３に進められる。
【００９３】
なお、配信者により視点変更指示がなされる場合としては、例えば、コンテンツの制作者によって、あるタイミング（例えば、スタンドの上部での全天球実写映像の再生時間軸上の切り替え時刻）で、視点が変更されるようなコンテンツが制作されたときに、当該コンテンツの再生時にそのタイミング（切り替え時刻）になった時点で、視点変更指示がなされたと判定される。
【００９４】
ステップＳ１３において、UI・コンテンツ制御部１０１は、全天球実写撮像地点情報と、ヘッドマウントディスプレイ３１Ａのヘッドトラッキング情報を取得する。
【００９５】
ステップＳ１４において、UI・コンテンツ制御部１０１は、ステップＳ１３の処理で取得された全天球実写撮像地点情報及びヘッドトラッキング情報に基づいて、CGモデルデータ記憶部２２から読み出されるCGモデルの表示画角を算出する。
【００９６】
ステップＳ１５において、UI・コンテンツ制御部１０１は、ステップＳ１４の処理で算出された算出結果に基づいて、レンダリング部１０３を制御して、CGモデルを、初期位置（全天球実写映像と同じ位置）でレンダリングする。これにより、例えば、ヘッドマウントディスプレイ３１Ａには、全天球実写映像３０１（図３）の視点に対応したCG映像３０２（図４）が表示される。
【００９７】
ステップＳ１６において、UI・コンテンツ制御部１０１は、ヘッドマウントディスプレイ３１Ａのヘッドトラッキング情報を取得する。
【００９８】
ステップＳ１７において、UI・コンテンツ制御部１０１は、ステップＳ１６の処理で取得されたヘッドトラッキング情報に基づいて、ヘッドマウントディスプレイ３１Ａを装着したユーザの視線方向を算出する。
【００９９】
ステップＳ１８において、UI・コンテンツ制御部１０１は、ステップＳ１７の処理で算出された算出結果に基づいて、レンダリング部１０３を制御して、CGモデルを、最新の視点方向でレンダリングする。これにより、例えば、ヘッドマウントディスプレイ３１Ａには、CG映像３０３（図５）が表示される。
【０１００】
ステップＳ１９において、UI・コンテンツ制御部１０１は、そこに入力される操作信号などに基づいて、ユーザ又は配信者から、映像の視点を決定する指示である視点決定指示があったかどうかを判定する。
【０１０１】
ステップＳ１９において、視点決定指示がないと判定された場合、処理は、ステップＳ１６に戻り、上述した処理が繰り返される。すなわち、ステップＳ１６乃至Ｓ１８の処理が繰り返されることで、例えば、ヘッドマウントディスプレイ３１Ａには、CG映像３０３（図５）の次に、ユーザの視線に応じたCG映像（例えばワイヤフレームにより表現されたCG映像）が表示される。
【０１０２】
一方で、ステップＳ１９において、視点決定指示があったと判定された場合、処理は、ステップＳ２０に進められる。ステップＳ２０において、UI・コンテンツ制御部１０１は、複数の全天球実写映像の中から、最新の視点方向に最も近い全天球実写映像を選択する。
【０１０３】
ここで、例えば、CG映像３０４（図６）が表示された直後に、視点決定指示がなされた場合、最新の視点方向に最も近い全天球実写映像として、CG映像３０４（図６）の視点に対応したゴール裏での全天球実写映像が選択される。
【０１０４】
ステップＳ２１において、UI・コンテンツ制御部１０１は、再生部１０２を制御して、ステップＳ２０の処理で選択された全天球実写映像を再生する。例えば、ヘッドマウントディスプレイ３１Ａには、ゴール裏での全天球実写映像として、ユーザの視線方向に応じた視点となる全天球実写映像３０５（図７）が表示される。ただし、ゴール裏での全天球実写映像３０５（図７）を表示する際には、その正面方向を、最新のユーザの視点方向に合うように決定してから表示することになる。
【０１０５】
以上、再生・表示制御処理の流れについて説明した。
【０１０６】
この再生・表示制御処理においては、UI・コンテンツ制御部１０１の表示制御部１１２によって、第１の視点（例えばスタンドの上部に対応した視点）から視聴可能な第１の映像（例えば全天球実写映像３０１）から、第２の視点（例えばゴール裏に対応した視点）から視聴可能な第２の映像（例えば全天球実写映像３０５）に切り替える際に、実質的に連続的に変化する遷移画像として、例えば、CG映像３０２、CG映像３０３、及びCG映像３０４等のCG映像が順に表示される。
【０１０７】
この遷移画像としてのCG映像（例えばCG映像３０２、CG映像３０３、及びCG映像３０４等）は、第１の視点（例えばスタンドの上部に対応した視点）から第２の視点（例えばゴール裏に対応した視点）への視点の遷移に対応した映像をデフォルメした画像であって、第１の映像（例えば全天球実写映像３０１）の背景画像及び第２の映像（例えば全天球実写映像３０５）の背景画像のうち少なくとも一方よりも情報量が少ない背景画像を含んでいる。
【０１０８】
ここで、情報量は、例えば、画像の色の階調及び解像度のうち少なくとも一方を含む画像情報により定まるものである。そして、遷移画像としてのCG映像（例えばCG映像３０２、CG映像３０３、及びCG映像３０４等）の背景画像は、第１の映像の背景画像及び第２の映像の背景画像のうち少なくとも一方よりも情報量が少ない背景画像として、例えば黒色や青色等の所定の単色で表された画像を含んでいる。
【０１０９】
なお、ここでは、CG映像３０２等の遷移画像が、背景画像として、所定の単色で表された画像を含んでいる場合を示したが、例えば、第１の映像（例えば全天球実写映像３０１）や第２の映像（例えば全天球実写映像３０５）を低解像度化することで得られる画像など、第１の映像の背景画像及び第２の映像の背景画像のうち少なくとも一方よりも情報量が少ない背景画像を含んでいれば、遷移画像として様々な画像を用いることができる。
【０１１０】
（ハイライト映像配信の例）
次に、上述したCG映像を取り入れた映像配信の例として、あるサッカーの試合において、ゴールシーンなどの重要な場面のみをピックアップしたハイライト映像の配信の例を説明する。図９は、サッカーのハイライト映像配信の例を示すタイミングチャートを示している。
【０１１１】
図９においては、ハイライト映像の内容として、スタンドの上部での全天球実写映像と、視点移動のアニメーション等のCG映像と、ゴール裏での全天球実写映像のうち、いずれの映像が表示されるかを、時系列で表している。
【０１１２】
なお、スタンドの上部での全天球実写映像は、図２のカメラ４１−１により撮像され、ゴール裏での全天球実写映像は、図２のカメラ４１−２により撮像される。
【０１１３】
図９においては、３分間のハイライト映像は、序盤の盛り上がりシーンと、１点目のゴールシーンと、危なかったシーンと、２点目のゴールシーンと、後半の盛り上がりシーンとから構成される。ヘッドマウントディスプレイ３１Ａを装着したユーザは、自身の好きなタイミングで、コントローラを操作するなどして、例えば、全天球実写映像の視点や、全天球実写映像とCG映像とを切り替えることができる。
【０１１４】
例えば、ヘッドマウントディスプレイ３１Ａにおいては、ハイライト映像の配信開始時刻から、序盤の盛り上がりシーンとして、スタンドの上部での全天球実写映像が表示されるが、全天球実写映像が、スタンドの上部から、ゴール裏に切り替えられる場合を想定する。
【０１１５】
この場合において、時刻t11に、スタンドの上部での全天球実写映像３０１（図３）が表示されていたときには、時刻t11乃至時刻t12に、CG映像３０２乃至CG映像３０４（図４乃至図６）が、視点移動のアニメーションとして表示される。そして、時刻12に、ゴール裏での全天球実写映像３０５（図７）に切り替えられる。
【０１１６】
これにより、１点目のゴールシーンの途中から、視点が、ゴール裏での全天球実写映像に切り替えられ、ヘッドマウントディスプレイ３１Ａを装着したユーザは、ゴール裏側からの視点で、１点目のゴールシーンを見ることができる。
【０１１７】
１点目のゴールシーンの終了後、視点が、ゴール裏での全天球実写映像から、スタンドの上部での全天球実写映像に戻される。このとき、時刻t13乃至t14に、視点移動のアニメーションとしてCG映像が表示され、時刻t14に、スタンドの上部での全天球実写映像に切り替えられる。
【０１１８】
これにより、危なかったシーンの途中から、視点が、スタンドの上部での全天球実写映像に切り替えられ、ヘッドマウントディスプレイ３１Ａを装着したユーザは、スタンドの上部側からの視点で、危なかったシーンを見ることができる。
【０１１９】
危なかったシーンの次は、２点目のゴールシーンとなるが、その途中で、視点が、再度、スタンドの上部での全天球実写映像から、ゴール裏での全天球実写映像に切り替えられる。このとき、時刻t15乃至t16に、視点移動のアニメーションとしてCG映像が表示され、時刻t16に、ゴール裏での全天球実写映像に切り替えられる。
【０１２０】
これにより、２点目のゴールシーンの途中から、視点が、ゴール裏での全天球実写映像に切り替えられ、ヘッドマウントディスプレイ３１Ａを装着したユーザは、１点目と同様に、ゴール裏側からの視点で、２点目のゴールシーンを見ることができる。
【０１２１】
２点目のゴールシーンの次は、後半の盛り上がりシーンとなるが、その途中で、視点が、ゴール裏での全天球実写映像から、スタンドの上部での全天球実写映像に戻される。このとき、時刻t17乃至t18に、視点移動のアニメーションとしてCG映像が表示され、時刻t18に、スタンドの上部での全天球実写映像に切り替えられる。
【０１２２】
これにより、後半の盛り上がりシーンの途中から、視点が、スタンドの上部での全天球実写映像に切り替えられ、ヘッドマウントディスプレイ３１Ａを装着したユーザは、スタンドの上部側からの視点で、後半の盛り上がりシーンを見ることができる。そして、後半の盛り上がりシーンが終了すると、ハイライト映像の配信は終了となる。
【０１２３】
なお、全天球実写映像とCG映像との切り替えのタイミングとしては、例えば、ヘッドマウントディスプレイ３１Ａを装着したユーザが、コントローラなどを操作して、ハイライト映像コンテンツの視聴時に、好きなタイミングで切り替えるほか、例えば、コンテンツの制作者側（又は配信者側）で、ハイライト映像コンテンツの制作時に、意図したタイミング（例えば全天球実写映像の再生時間軸上の切り替え時刻）で切り替えることができる。
【０１２４】
また、CG映像を表示する際には、映像に関連した付加情報を表示するようにしてもよい。例えば、サッカーの試合においては、注目している選手（例えばゴールシーンにおける得点やアシストをした選手）の名前や位置情報、ボールの軌跡、チームごとのボール支配率など、選手や試合に関する様々な情報（静的又は動的な情報）を、付加情報として表示することができる。
【０１２５】
以上のように、本技術では、第１のカメラ（例えば第１の全天球カメラ）により撮像された第１の全天球実写映像から、第２のカメラ（例えば第２の全天球カメラ）により撮像された第２の全天球実写映像に視点を切り替える際に、連続的に変化するCG映像による視点移動のアニメーションを表示することで、映像の視点の切り替えに伴う不都合な事象を回避して、ユーザの利便性を向上させることができる。
【０１２６】
例えば、第１の全天球実写映像から第２の全天球実写映像に切り替わる際に、何ら示唆もなく切り替わってしまうと、ユーザが自由に視点を変えられないために映像が単調なり、さらには、ユーザは、自分の見ている方向や位置を見失う可能性がある。それに対し、本技術では、それらの映像の切り替え時に、視点移動のアニメーションを表示することで、視点を自由に変更して映像が単調になるのを解消できるとともに、ユーザに対して視点がどのように変わったかを把握させることができる。
【０１２７】
また、例えば、第１の全天球実写映像から第２の全天球実写映像に切り替わる際に、映像の急激な変化や、映像の変化が身体の動きと異なると酔いやすくなる恐れがある。特に、ヘッドマウントディスプレイ３１Ａを装着したユーザが、コントローラなどで視点を切り替える操作を行う場合には、現実の身体の動きと異なるため、酔ってしまう可能性が高くなる。それに対し、本技術では、それらの映像の切り替え時に、視点移動のアニメーションとして、例えばワイヤフレームにより表現されたCG映像によって、情報をデフォルメしたものを表示することで、ヘッドマウントディスプレイ３１Ａを装着したユーザの酔い（いわゆるVR酔い）を軽減することができる。
【０１２８】
なお、近年、スポーツ中継などで、大規模なカメラシステムと映像処理プロセスを用いて、実写の3Dモデル化を行うことで、2Dの映像だけでなく、360度のリプレイ映像を視聴可能にしているものもあるが、本技術では、既存の機材（例えば、全天球カメラ）で撮像された全天球実写映像を使って、既存の機器（例えば、ゲーム機やパーソナルコンピュータ、ヘッドマウントディスプレイ）を活用しながら、低コストで、有効な視点の自由度を向上させることができる。
【０１２９】
また、本技術では、CG映像を表示することで、例えば、ユーザ操作での視点の変化や、実写映像に関連した付加情報の表示など、インタラクション可能な表現を容易に実現することが可能となる。さらに、全天球実写映像の映像切り替え時のわかりにくさや、酔いが軽減されることで、全天球実写映像の切り替えが容易になり、視点が固定となる全天球実写映像の単調さを改善することができる。
【０１３０】
＜２．第２の実施の形態＞
【０１３１】
（表示スケール変更）
ところで、ヘッドマウントディスプレイ３１Ａにおいて、CG映像を表示させる際に、情報処理装置１０（のUI・コンテンツ制御部１０１の表示制御部１１２）は、表示スケールが小さくなるように表示を制御することで、フィールド全体をミニチュアのように見せることができる。このようなミニチュアCG映像（いわば縮小画像）を表示することで、ヘッドマウントディスプレイ３１Ａの特長を生かしたユーザの頭部の動きに合わせた直感的な視点変更が可能となる。
【０１３２】
図１０は、ヘッドマウントディスプレイ３１ＡにおけるフィールドのミニチュアCG映像の表示例を示している。
【０１３３】
図１０のミニチュアCG映像３１１においては、カメラ４１により撮像された全天球実写映像と比べて、スタンドや観客が消去されて、全体が縮小されたCG(Computer Graphics)のフィールドが表示されている。なお、ミニチュアCG映像３１１は、背景画像として、例えば青色や黒色等の所定の単色で表された画像を含んでいる。
【０１３４】
また、ミニチュアCG映像３１１において、フィールド上の選手は、実際の選手そのものではなく、板状のパネルに選手の上半身を描いたものによって表現されている。この選手パネルは、実際の選手と同様の動きをするため、ヘッドマウントディスプレイ３１Ａを装着したユーザは、フィールド上を動き回る選手パネルを追うことで、実際の選手の動きを確認することができる。
【０１３５】
さらに、このフィールドのミニチュアCG映像は、ヘッドマウントディスプレイ３１Ａを装着したユーザの頭部の動きに合わせて、例えばスタンド側やゴール裏側などに視点が変更されるため、様々な角度（方向）から見渡したり、CGのフィールドとの距離を変えたりする（例えばCGのフィールドに近づいたり、離れたりする）ことで、より確実に、フィールド上の選手などを確認することができる。
【０１３６】
ここで、図１１及び図１２を参照して、全天球実写映像からミニチュアCG映像への遷移時における表示スケールの変更方法について説明する。
【０１３７】
図１１は、全天球実写映像の表示時のユーザの視線のフィールドまでの距離を、xyzの座標軸による３次元で表している。図１１において、ヘッドマウントディスプレイ３１Ａを装着したユーザ４０１の視線は、図中の矢印で示すように、全天球実写映像におけるフィールド４０２の中央付近に向いている。
【０１３８】
ここで、例えば、全天球実写映像におけるフィールド４０２のサイズとして、タッチライン×ゴールラインが、100m×70mとなる場合を想定すれば、ユーザ４０１の視線のフィールド４０２の中央付近までの距離L1は、50mとなる。
【０１３９】
一方で、図１２は、ミニチュアCG映像の表示時のユーザの視線のフィールドまでの距離を、xyzの座標軸による３次元で表している。図１２において、ヘッドマウントディスプレイ３１Ａを装着したユーザ４０１の視線は、図中の矢印で示すように、ミニチュアCG映像におけるフィールド４０３の中央付近に向いている。
【０１４０】
ここで、図１２においては、図１１に示した全天球実写映像のフィールド４０２を、図中の点線で示すことで、そのサイズを、ミニチュアCG映像のフィールド４０３のサイズと比較可能にしている。
【０１４１】
例えば、ミニチュアCG映像におけるフィールド４０３のサイズとして、タッチライン×ゴールラインが、100cm×70cmとなる場合を想定すれば、100m×70mとなるフィールド４０２と比べて、そのサイズが、1/100のサイズとなっている。すなわち、全天球実写映像からミニチュアCG映像に遷移したとき、フィールドのサイズが、1/100のサイズに縮小される（実サイズからミニチュアサイズに変更される）。
【０１４２】
そして、ミニチュアCG映像におけるフィールド４０３が、1/100のサイズの100cm×70cmとなるとき、ヘッドマウントディスプレイ３１Ａを装着したユーザ４０１の視線のフィールド４０３の中央付近までの距離L2は、50cmとなって、図１１に示した全天球実写映像の場合の視線の距離L1（50m）の1/100の長さとなっている。すなわち、全天球実写映像からミニチュアCG映像に遷移したとき、そのフィールドのサイズ（表示スケール）の変更に合わせて、フィールドの位置を視点方向に近づけている。
【０１４３】
このように、本技術では、全天球実写映像からミニチュアCG映像に遷移して、フィールドのサイズを、実サイズからミニチュアサイズに変化させる際に、フィールドの位置も、ユーザの視点方向に、サイズの変更に合わせて近づけることで、ヘッドマウントディスプレイ３１Ａを装着したユーザが見ている画角を変化させずに、連続的にサイズ変更を行うことができる。
【０１４４】
このようにして表示されるミニチュアCG映像としては、例えば、図１３乃至図１５に示すようなCG映像を表示することができる。すなわち、図１３乃至図１５においては、サッカースタジアム２で行われているサッカーの試合でのゴールシーンにて得点が入るまでの一連の流れを、ミニチュアCG映像で表現している。
【０１４５】
具体的には、図１３のミニチュアCG映像３１２においては、ハーフウェーライン付近で、ボールを保持している攻撃側のチームの選手が、攻撃を仕掛けようとしている様子が表現されている。その後、図１４のミニチュアCG映像３１３においては、攻撃側のチームの選手が、ペナルティエリア付近まで迫っており、守備側のチームの選手がそれに対処している様子が表現されている。
【０１４６】
そして、図１５のミニチュアCG映像３１４においては、ペナルティエリア内に入った攻撃側のチームの選手がシュートしたボールを、守備側のチームの選手は防ぐことができず、ゴール内にボールが入って、ゴールが決まった様子が表現されている。
【０１４７】
ここで、図１３乃至図１５に示したゴールシーンにて得点が入るまでの一連の流れにおいては、ヘッドマウントディスプレイ３１Ａを装着したユーザの頭部の動きに応じて、ディスプレイに表示されるGC映像の視点が変化している。
【０１４８】
例えば、図１３のミニチュアCG映像３１２は、スタンド側から見ているCG映像となる一方で、図１４のミニチュアCG映像３１３は、ゴール裏側から見ているCG映像となる。また、例えば、図１３のミニチュアCG映像３１２は、フィールド全体を見渡せる引いたCG映像となる一方で、図１５のミニチュアCG映像３１４は、ボールの付近にいる選手に寄ったCG映像となる。
【０１４９】
以上のように、本技術を適用することで、ヘッドマウントディスプレイ３１Ａを装着したユーザの頭部の動きに合わせて、ミニチュアCG映像の視点を変更して、様々な角度からフィールドを見渡すことが可能となる。
【０１５０】
例えば、サッカーの試合のコンテンツを視聴するユーザによっては、フィールド全体を俯瞰したい者や、より近くで選手を見たい者、あるいは、スタンド側から見たい者や、ゴール裏側から見たい者など、その要求は様々であるが、本技術を適用することで、様々な角度からフィールドを見渡すことが可能となるため、その要求に応えることができる。
【０１５１】
なお、このミニチュアCG映像を表示するタイミングであるが、例えば、図９のタイミングチャートに示したように、ハイライト映像コンテンツの視聴時に、スタンドの上部又はゴール裏での全天球実写映像の表示を切り替えることで、視点移動可能なCG映像として、ミニチュアCG映像を表示することが可能となる。このミニチュアCG映像を表示させることで、例えば、注目している選手やボールの位置を確認したり、あるいはゴールシーンなどの重要な場面を確認したりすることができる。
【０１５２】
また、全天球実写映像とミニチュアCG映像との切り替えのタイミングとしては、例えば、ヘッドマウントディスプレイ３１Ａを装着したユーザが、コントローラなどを操作して、ハイライト映像コンテンツの視聴時に、好きなタイミングで切り替えるほか、例えば、コンテンツの制作者側で、ハイライト映像コンテンツの制作時に、意図したタイミングで切り替えることができる。
【０１５３】
さらに、ミニチュアCG映像を表示する際には、例えば、注目している選手の名前や位置情報、ボールの軌跡、チームごとのボール支配率など、選手や試合に関する様々な情報を、付加情報として表示することができる。
【０１５４】
＜３．第３の実施の形態＞
【０１５５】
（表示スケール変更）
上述した説明では、ヘッドマウントディスプレイ３１Ａにおいて、ミニチュアCG映像を利用することで、サッカースタジアムのフィールド全体をミニチュアのように見せる例を説明したが、このミニチュアCG映像は、サッカースタジアムのフィールドに限らず、様々な場面で利用することができる。
【０１５６】
例えば、ヘッドマウントディスプレイ３１Ａにおいて、コンサートホールにおけるオーケストラの演奏の全天球実写映像を表示する際に、オーケストラの楽器配置のミニチュアCG映像を表示することができる。
【０１５７】
図１６は、ヘッドマウントディスプレイ３１Ａにおけるオーケストラの楽器配置のミニチュアCGの表示例を示している。
【０１５８】
なお、詳細な説明は繰り返しになるため、省略するが、オーケストラの演奏が行われるコンサートホールには、１又は複数のカメラ（例えば全天球カメラ）が設置され、例えば、ステージ上の指揮者の付近や、客席などの設置位置に応じた全天球実写映像が撮像される。
【０１５９】
例えば、ヘッドマウントディスプレイ３１Ａにおいては、コンサートホールに設置されたカメラにより撮像された全天球実写映像から、ミニチュアCG映像に、表示が切り替えられると、図１６のミニチュアCG映像３２１が表示される。
【０１６０】
図１６のミニチュアCG映像３２１においては、全体が縮小されたCGのステージ上に、実際の楽器配置に対応して配置されたCGの楽器が表示されている。また、ミニチュアCG映像３２１では、楽器のみがCGで表現され、その演奏者については、CG化されていない。
【０１６１】
このCGの楽器は、オーケストラの実際の楽器配置に対応して配置されるため、ヘッドマウントディスプレイ３１Ａを装着したユーザは、コンサートホールにおけるオーケストラの楽器配置を確認することができる。
【０１６２】
例えば、ミニチュアCG映像３２１において、ステージの前方には、ヴァイオリンやヴィオラ等の弦楽器が配置され、それらの弦楽器の後方に、フルートやオーボエ等の木管楽器が配置されている。また、ミニチュアCG映像３２１では、それらの木管楽器の後方には、トランペットやトロンボーン等の金管楽器が配置され、それらの金管楽器の後方又はステージ奥に、打楽器が配置されている。
【０１６３】
なお、図１６において、ヘッドマウントディスプレイ３１Ａには、ミニチュアCG映像のみが表示されているが、ミニチュアCG映像とともに、その背景画像として、コンサートホールに設置されたカメラにより撮像された全天球実写映像が同時に表示されるようにしてもよい。例えば、全天球実写映像に対し、ミニチュアCG映像３２１が重畳して表示されるようにすることで、ユーザは、実際のオーケストラの演奏を視聴しながら、そのオーケストラの楽器の配置を確認することができる。
【０１６４】
また、ミニチュアCG映像の背景画像としては、例えば、全天球実写映像を低解像度化することで得られる画像や、青色や黒色等の所定の単色で表された画像などを含めることができる。
【０１６５】
また、このオーケストラの楽器配置のミニチュアCG映像は、ヘッドマウントディスプレイ３１Ａを装着したユーザの頭部の動きに合わせて、その視点が変更されるため、様々な角度（方向）から見渡したり、CGのステージとの距離を変えたりする（例えばCGのステージに近づいたり、離れたりする）ことで、より確実に、楽器配置を確認することができる。
【０１６６】
例えば、図１６のミニチュアCG映像３２１は、ほぼ正面からステージ全体を見たときのCG映像となるが、図１７において、ミニチュアCG映像３２２は、左上方からステージ全体を見たときのCG映像となる。
【０１６７】
また、例えば、図１６のミニチュアCG映像３２１や、図１７のミニチュアCG映像３２２は、ステージに対し、ある程度の距離を保ったCG映像となるが、図１８において、ミニチュアCG映像３２３は、ステージの後方に配置される金管楽器や打楽器に対して、より接近したCG映像となる。
【０１６８】
以上のように、本技術を適用することで、ヘッドマウントディスプレイ３１Ａを装着したユーザの頭部の動きに合わせて、ミニチュアCG映像の視点を変更して、様々な角度から、楽器が配置されたステージを見渡すことが可能となる。
【０１６９】
例えば、オーケストラのコンサートのコンテンツを視聴しているユーザによっては、コンサートホールにおけるオーケストラの楽器配置を確認したいという要求があるとともに、その楽器配置の全体を俯瞰したい者や、より近くで見たい者、あるいは楽器の配置を、ステージの正面から見たい者や、ステージの側面から見たい者など、その要求は様々であるが、本技術を適用することで、様々な角度から、楽器が配置されたステージを見渡すことが可能となるため、その要求に応えることができる。
【０１７０】
なお、全天球実写映像とミニチュアCG映像との切り替えのタイミングとしては、例えば、ヘッドマウントディスプレイ３１Ａを装着したユーザが、コントローラなどを操作して、オーケストラのコンサートのコンテンツの視聴時に、好きなタイミングで切り替えるほか、例えば、コンテンツの制作者側で、オーケストラのコンサートのコンテンツの制作時に、意図したタイミングで切り替えることができる。
【０１７１】
また、ミニチュアCG映像を表示する際には、例えば、注目している演奏者の名前や、楽器の名称など、演奏者や楽器に関する様々な情報を、付加情報として表示することができる。
【０１７２】
さらに、ここではその説明は省略するが、上述したサッカースタジアムの例と同様に、オーケストラの演奏が行われるコンサートホールに設置されるカメラにより撮像された全天球実写映像を切り替える際に、連続的に変化するCG映像による視点移動のアニメーションを表示するようにしてもよい。これにより、映像の視点の切り替えに伴う不都合な事象を回避して、ユーザの利便性を向上させることができる。
【０１７３】
＜４．第４の実施の形態＞
【０１７４】
上述した説明では、CG映像を取り入れた映像配信の例として、サッカーのハイライト映像配信の例を説明したが、このCG映像を取り入れた映像配信は、サッカーのハイライト映像に限らず、様々な映像の配信で利用することができる。
【０１７５】
例えば、ヘッドマウントディスプレイ３１Ａにおいて、音楽ライブの全天球実写映像を表示する際に、様々なCG映像を表示することができる。図１９は、音楽ライブの映像配信の例を示すタイミングチャートを示している。
【０１７６】
図１９においては、音楽ライブの映像として、ステージの前方での全天球実写映像と、視点移動可能なCG映像と、スタンドの上部での全天球実写映像のうち、いずれの映像が表示されるかを、時系列で表している。
【０１７７】
なお、詳細な説明は繰り返しになるため、省略するが、音楽ライブのイベントが行われる会場には、１又は複数のカメラ（例えば全天球カメラ）が設置されている。例えば、イベント会場において、ステージの前方に設置された全天球カメラによって、ステージの前方での全天球実写映像が撮像され、スタンドの上部に設置された全天球カメラによって、スタンドの上部での全天球実写映像が撮像される。
【０１７８】
ヘッドマウントディスプレイ３１Ａにおいては、30分間の音楽ライブの映像の配信開始時刻から、ステージの前方での全天球実写映像が表示される。
【０１７９】
図２０は、ヘッドマウントディスプレイ３１Ａに表示される、ステージの前方での全天球実写映像の例を示している。図２０において、ヘッドマウントディスプレイ３１Ａには、ステージの前方での全天球実写映像を見ているユーザの視線方向に応じた視点となる全天球実写映像３３１が表示される。
【０１８０】
ヘッドマウントディスプレイ３１Ａを装着したユーザは、自身の好きなタイミングで、コントローラを操作するなどして、例えば、全天球実写映像の視点や、全天球実写映像とCG映像とを切り替えることができる。
【０１８１】
この例では、時刻21に、ステージの前方での全天球実写映像から、CG映像に切り替えられている。さらに、時刻t22に、CG映像から、スタンドの上部での全天球実写映像に切り替えられている。ここで、時刻21乃至時刻t22の間に表示されるCG映像としては、様々なCG映像を表示させることができるが、例えば、次のような表示がなされる。
【０１８２】
すなわち、時刻21乃至時刻t22の間に、複数の視点からの臨場感のある全天球実写映像に加えて、CG映像によって、現実にはないステージの演出がなされるようにすることができる。
【０１８３】
図２１は、ヘッドマウントディスプレイ３１Ａに表示される、現実にはないステージの演出がなされた映像の例を示している。図２１のCG合成映像３３２において、ヘッドマウントディスプレイ３１Ａには、ステージの前方での全天球実写映像となる中央の女性の歌手に対し、左右に２人ずつの女性のバックダンサーが、CG映像で表示（合成表示）されている。図２１のCG合成映像３３２では、４人のバックダンサー（CGのアーティスト）が、モーションキャプチャされた女性の歌手（実写のアーティスト）と同期した動きをすることになる。
【０１８４】
なお、ここでは、CG映像による現実にはない演出として、他のアーティスト（バックダンサー）が表示される例を示したが、例えば、ステージ上にない物体を表示したり、照明の演出をしたりするなど、様々な演出を行うことができる。
【０１８５】
また、上述したように、全天球実写映像が、ステージの前方から、スタンドの上部に切り替えられる場合を想定すれば、時刻21乃至時刻t22の間に、視点移動のアニメーションとしてのCG映像（例えばワイヤフレームにより表現されたイベント会場内のCG映像）を表示するようにしてもよい。これにより、映像が単調になることを解消し、さらにユーザに対して視点がどのように変わったかを把握させることができる。
【０１８６】
また、時刻21乃至時刻t22の間に、上述したミニチュアCG映像が表示されるようにしてもよい。ここでのミニチュアCG映像としては、様々なCG映像を表示することができるが、例えば、第２の実施の形態と同様に、音楽ライブにて演奏を行う楽器（例えばギターやドラムなど）の配置を示すことができる。これにより、ヘッドマウントディスプレイ３１Ａを装着したユーザの頭部の動きに合わせて、ミニチュアCG映像の視点を変更して、様々な角度から、ステージを見渡すことが可能となる。
【０１８７】
そして、時刻t22に、スタンドの上部での全天球実写映像に切り替えられる。図２２は、ヘッドマウントディスプレイ３１Ａに表示される、スタンドの上部での全天球実写映像の例を示している。図２２において、ヘッドマウントディスプレイ３１Ａには、スタンドの上部での全天球実写映像を見ているユーザの視線方向に応じた視点となる全天球実写映像３３３が表示される。
【０１８８】
その後、時刻t23に、CG映像に切り替えられ、さらに、時刻t24に、ステージの前方での全天球実写映像に切り替えられる。また、時刻t25に、CG映像に切り替えられ、さらに、時刻t26に、スタンドの上部での全天球実写映像に切り替えられる。また、時刻t27に、CG映像に切り替えられ、さらに、時刻t28に、ステージの前方での全天球実写映像に切り替えられる。なお、これらの全天球実写映像やCG映像の表示の内容は、上述した説明と同様であるため、ここではその説明を省略する。
【０１８９】
以上のように、本技術を適用することで、ヘッドマウントディスプレイ３１Ａを装着したユーザに対し、全天球実写映像に加えて、CG映像によって、例えば、現実にはないステージの演出や、視点移動のアニメーションなどを行うことが可能となる。
【０１９０】
なお、全天球実写映像とCG映像との切り替えのタイミングとしては、例えば、ヘッドマウントディスプレイ３１Ａを装着したユーザが、コントローラなどを操作して、音楽ライブのコンテンツの視聴時に、好きなタイミングで切り替えたり、あるいは、コンテンツの制作者側で、音楽ライブのコンテンツの制作時に、意図したタイミングで切り替えたりすることができる。
【０１９１】
また、CG映像を表示する際には、例えば、注目しているアーティストの名前や、楽器の名称など、アーティストや楽器などに関する様々な情報を、付加情報として表示することができる。
【０１９２】
＜５．変形例＞
【０１９３】
（他の利用例）
上述した説明では、本技術を適用したCG映像を、サッカーの試合やオーケストラのコンサート、音楽ライブの全天球実写映像に対して表示する場合を示したが、その他、様々なケースに適用することができる。
【０１９４】
例えば、観光体験や観光ガイドを提供する場合において、ある観光地に設置されたカメラ（例えば全天球カメラ）で撮像された高画質の全天球実写映像（動画やライブ映像）を、ヘッドマウントディスプレイ３１Ａで視聴する場合を想定する。
【０１９５】
この場合に、例えば、全天球実写映像を切り替えるに際して、CG映像による視点移動のアニメーションを挟んだり、あるいは、ミニチュアCG映像を表示したりすることで、ヘッドマウントディスプレイ３１Ａを装着したユーザは、その観光地の地形や街全体の把握や距離などを実感することができる。
【０１９６】
なお、この観光体験や観光ガイドの例の使用データとしては、例えば、全天球実写映像として、観光地の一般順路の映像（屋内と屋外の映像を含む）や、観光地の特定のスポットの高画質の動画やライブ映像、画像などを含めることができる。また、例えば、CG映像として利用するために、観光地全域の簡易的なCGモデルを含めることができる。
【０１９７】
また、例えば、警備システムを提供する場合において、ある警備対象の施設内に設置されたカメラ（例えば全天球カメラ）で撮像された全天球実写映像（ライブ映像）を、表示装置３１（例えば、ヘッドマウントディスプレイ３１Ａ）で監視する場合を想定する。
【０１９８】
この場合に、例えば、全天球実写映像を切り替えるに際して、CG映像による視点移動のアニメーションを挟んだり、あるいは、ミニチュアCG映像を表示したりすることで、次のような効果が得られる。すなわち、視点移動のアニメーションが表示されることで、例えば、ある部屋から異なる部屋にカメラを切り替える際に、警備者は、直感的に部屋間の移動を認識することが可能となる。
【０１９９】
また、施設内に設置されたカメラ（例えば全天球カメラ）により撮像された全天球実写映像を利用することで、アラートが鳴るなどして何らかの異変が起こったときでも、警備者は、現場に行かずに、その場所と同じように、警備対象の確認作業を行うことができる。さらに、全天球実写映像を、高画質で、かつ高音質とすることで、警備者は、警備対象のちょっとした異変にも気づきやすくなる。
【０２００】
なお、警備システムの例の使用データとしては、例えば、全天球実写映像として、警備対象の高画質、かつ高音質のライブ映像を含めることができる。また、例えば、CG映像として利用するために、部屋以外の部分のCGモデルを含めることができる。さらに、ここでは、各種センサにより得られるセンサデータのライブ映像や、そのCGモデルなどを利用するようにしてもよい。
【０２０１】
（機器の他の構成例）
上述した説明では、映像再生システム１において、情報処理装置１０が、ヘッドマウントディスプレイ３１Ａ等の表示装置３１に表示される映像を制御するとして説明したが、表示装置３１が映像を再生して、レンダリングする機能を有するようにしてもよい。
【０２０２】
例えば、ヘッドマウントディスプレイ３１Ａが、図１に示したUI・コンテンツ制御部１０１、再生部１０２、及びレンダリング部１０３の機能を有するようにしてもよい。換言すれば、映像再生システム１において、情報処理装置１０と表示装置３１とが、一体となって１つの装置として構成されるようにすることができると言える。
【０２０３】
また、情報処理装置１０としては、上述したゲーム機やパーソナルコンピュータなどのほか、例えば、スマートフォンやタブレット型のコンピュータ、テレビ受像機、再生機、録画機、セットトップボックス（STB：Set Top Box）、ストレージ装置などのコンテンツを再生可能な電子機器に適用することができる。また、表示装置３１としては、上述したヘッドマウントディスプレイやスマートフォンのほか、例えば、メガネ型情報端末等のウェアラブルコンピュータや、タブレット型のコンピュータ、パーソナルコンピュータ、ゲーム機などのディスプレイを有する電子機器に適用することができる。
【０２０４】
（CG映像の他の例）
上述した説明では、ヘッドマウントディスプレイ３１Ａを装着したユーザに対し、全天球実写映像を表示して、あたかもそこにいるかのような感覚を体験できるようにするバーチャルリアリティ（仮想現実）を実現しているが、本技術は、仮想現実（VR）に限らず、現実空間に付加情報を表示させて現実世界を拡張する拡張現実（AR：Augmented Reality）などに適用するようにしてもよい。
【０２０５】
例えば、コンサートホールの客席に座っているユーザが、専用のアプリケーションを起動したスマートフォンのディスプレイを介して、ステージ上のオーケストラを見ることで、当該ディスプレイには、現実空間のオーケストラの映像に対し、オーケストラの楽器配置のミニチュアCG映像が重畳された映像を表示することができる。
【０２０６】
なお、全天球実写映像は、ある施設内の設置位置に固定された全天球カメラにより撮像されるものに限らず、例えば、全天球カメラを無人航空機（UAV：Unmanned Aerial Vehicle）を搭載して、空撮で得られた全天球実写映像など、様々な手法で撮像された全天球実写映像を用いることができる。また、上述した説明では、カメラ４１により撮像された全天球実写映像について述べたが、本技術は、例えば、半天球カメラ等のカメラで撮像された映像など、様々な映像に対して適用することが可能である。
【０２０７】
＜６．コンピュータの構成＞
【０２０８】
上述した一連の処理（例えば、図８に示した再生・表示制御処理）は、ハードウェアにより実行することもできるし、ソフトウェアにより実行することもできる。一連の処理をソフトウェアにより実行する場合には、そのソフトウェアを構成するプログラムが、各装置のコンピュータにインストールされる。図２３は、上述した一連の処理をプログラムにより実行するコンピュータのハードウェアの構成例を示すブロック図である。
【０２０９】
コンピュータ１０００において、CPU(Central Processing Unit)１００１、ROM(Read Only Memory)１００２、RAM(Random Access Memory)１００３は、バス１００４により相互に接続されている。バス１００４には、さらに、入出力インターフェース１００５が接続されている。入出力インターフェース１００５には、入力部１００６、出力部１００７、記録部１００８、通信部１００９、及び、ドライブ１０１０が接続されている。
【０２１０】
入力部１００６は、キーボード、マウス、マイクロフォンなどよりなる。出力部１００７は、ディスプレイ、スピーカなどよりなる。記録部１００８は、ハードディスクや不揮発性のメモリなどよりなる。通信部１００９は、ネットワークインターフェースなどよりなる。ドライブ１０１０は、磁気ディスク、光ディスク、光磁気ディスク、又は半導体メモリなどのリムーバブル記録媒体１０１１を駆動する。
【０２１１】
以上のように構成されるコンピュータ１０００では、CPU１００１が、ROM１００２や記録部１００８に記録されているプログラムを、入出力インターフェース１００５及びバス１００４を介して、RAM１００３にロードして実行することにより、上述した一連の処理が行われる。
【０２１２】
コンピュータ１０００（CPU１００１）が実行するプログラムは、例えば、パッケージメディア等としてのリムーバブル記録媒体１０１１に記録して提供することができる。また、プログラムは、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線又は無線の伝送媒体を介して提供することができる。
【０２１３】
コンピュータ１０００では、プログラムは、リムーバブル記録媒体１０１１をドライブ１０１０に装着することにより、入出力インターフェース１００５を介して、記録部１００８にインストールすることができる。また、プログラムは、有線又は無線の伝送媒体を介して、通信部１００９で受信し、記録部１００８にインストールすることができる。その他、プログラムは、ROM１００２や記録部１００８に、あらかじめインストールしておくことができる。
【０２１４】
ここで、本明細書において、コンピュータがプログラムに従って行う処理は、必ずしもフローチャートとして記載された順序に沿って時系列に行われる必要はない。すなわち、コンピュータがプログラムに従って行う処理は、並列的あるいは個別に実行される処理（例えば、並列処理あるいはオブジェクトによる処理）も含む。また、プログラムは、１のコンピュータ（プロセッサ）により処理されるものであってもよいし、複数のコンピュータによって分散処理されるものであってもよい。
【０２１５】
なお、本技術の実施の形態は、上述した実施の形態に限定されるものではなく、本技術の要旨を逸脱しない範囲において種々の変更が可能である。例えば、本技術は、１つの機能を、ネットワークを介して複数の装置で分担、共同して処理するクラウドコンピューティングの構成をとることができる。
【０２１６】
また、図８に示した再生・表示制御処理の各ステップは、１つの装置で実行する他、複数の装置で分担して実行することができる。さらに、１つのステップに複数の処理が含まれる場合には、その１つのステップに含まれる複数の処理は、１つの装置で実行する他、複数の装置で分担して実行することができる。
【０２１７】
なお、本技術は、以下のような構成をとることができる。
【０２１８】
（１）
第１の視点から視聴可能な第１の映像から、前記第１の視点とは異なる第２の視点から視聴可能な第２の映像に切り替える際に、前記第１の映像の背景画像及び前記第２の映像の背景画像のうち少なくとも一方よりも情報量が少ない背景画像を含み、実質的に連続的に変化する遷移画像を表示するように表示装置を制御する表示制御部を備える
情報処理装置。
（２）
前記遷移画像は、前記第１の視点から前記第２の視点への視点の遷移に対応した映像を簡略化するとともに前記映像の特徴を強調することで得られる画像を含む
前記（１）に記載の情報処理装置。
（３）
前記遷移画像のうち、切り替え開始時に表示する第１の遷移画像は、前記第１の映像を簡略化するとともに前記第１の映像の特徴を強調することで得られる画像を含み、切り替え終了時に表示する第２の遷移画像は、前記第２の映像を簡略化するとともに前記第２の映像の特徴を強調することで得られる画像を含む
前記（２）に記載の情報処理装置。
（４）
前記遷移画像は、CG(Computer Graphics)の映像である
前記（１）乃至（３）のいずれかに記載の情報処理装置。
（５）
前記CGの映像は、ワイヤフレームにより表現された映像である
前記（４）に記載の情報処理装置。
（６）
前記第１の遷移画像は、前記第１の映像に含まれる対象物を輪郭のみで表現した画像を含み、
前記第２の遷移画像は、前記第２の映像に含まれる対象物を輪郭のみで表現した画像を含む
前記（５）に記載の情報処理装置。
（７）
前記情報量は、画像の色の階調及び解像度のうち少なくとも一方を含む画像情報により定まる
前記（１）乃至（６）のいずれかに記載の情報処理装置。
（８）
前記遷移画像は、前記背景画像として、所定の単色で表された画像、又は前記第１の映像若しくは前記第２の映像を低解像度化することで得られる画像を含む
前記（７）に記載の情報処理装置。
（９）
前記遷移画像は、ユーザの両眼の輻輳角の変化に応じた画像を含む
前記（１）乃至（８）のいずれかに記載の情報処理装置。
（１０）
ユーザの操作、又は前記第１の映像の再生時間軸上の切り替え時刻に基づいて、前記第１の映像から前記第２の映像に切り替える
前記（１）乃至（９）のいずれかに記載の情報処理装置。
（１１）
前記表示制御部は、前記第１の映像又は前記第２の映像に含まれる対象物を縮小した縮小画像の表示を制御する
前記（１）乃至（１０）のいずれかに記載の情報処理装置。
（１２）
前記縮小画像は、CGの映像である
前記（１１）に記載の情報処理装置。
（１３）
前記表示制御部は、前記第１の映像又は前記第２の映像から、前記縮小画像に切り替える際に、前記第１の映像又は前記第２の映像に含まれる対象物の表示スケールの変更に合わせて、その対象物の位置を、ユーザの視点方向に近づける
前記（１１）又は（１２）に記載の情報処理装置。
（１４）
前記表示制御部は、前記縮小画像として、前記第１の映像又は前記第２の映像に含まれる人物の動きに応じたCGの映像を含める
前記（１２）又は（１３）に記載の情報処理装置。
（１５）
前記表示制御部は、前記縮小画像として、前記第１の映像又は前記第２の映像に含まれる物体の配置に応じたCGの映像を含める
前記（１２）又は（１３）に記載の情報処理装置。
（１６）
前記第１の映像及び前記第２の映像は、全天球実写映像である
前記（１）乃至（１５）のいずれかに記載の情報処理装置。
（１７）
前記全天球実写映像を撮像するカメラは、スポーツを含む競技が行われる競技場、音楽の演奏会を含むイベントが行われる建築物、構造物の内部、又は屋外に設置され、
前記全天球実写映像は、スポーツを含む競技の映像、音楽の演奏会を含むイベントの映像、構造物の内部の映像、又は屋外の映像を含む
前記（１６）に記載の情報処理装置。
（１８）
前記表示装置は、ヘッドマウントディスプレイである
前記（１）乃至（１７）のいずれかに記載の情報処理装置。
（１９）
情報処理装置の情報処理方法において、
前記情報処理装置が、
第１の視点から視聴可能な第１の映像から、前記第１の視点とは異なる第２の視点から視聴可能な第２の映像に切り替える際に、前記第１の映像の背景画像及び前記第２の映像の背景画像のうち少なくとも一方よりも情報量が少ない背景画像を含み、実質的に連続的に変化する遷移画像を表示するように表示装置を制御する
情報処理方法。
（２０）
コンピュータを、
第１の視点から視聴可能な第１の映像から、前記第１の視点とは異なる第２の視点から視聴可能な第２の映像に切り替える際に、前記第１の映像の背景画像及び前記第２の映像の背景画像のうち少なくとも一方よりも情報量が少ない背景画像を含み、実質的に連続的に変化する遷移画像を表示するように表示装置を制御する表示制御部
として機能させるためのプログラム。
【符号の説明】
【０２１９】
１  映像再生システム，  １０  情報処理装置，  ２１  映像・CG制御データ記憶部，  ２２  CGモデルデータ記憶部，  ３１  表示装置，  ３１Ａ  ヘッドマウントディスプレイ，  ３２  スピーカ，  ４１，４１−１，４１−２  カメラ，  １０１  UI・コンテンツ制御部，  １０２  再生部，  １０３  レンダリング部，  １１１  再生制御部，  １１２  表示制御部，  １２１  データ取得部，  １２２  デマックス，  １２３  第１ビデオデコーダ，  １２４  第２ビデオデコーダ，  １２５  オーディオデコーダ，  １２６  CG制御データデコーダ，  １２７  同期制御部，  １０００  コンピュータ，  １００１  CPU
【図１】
2019149122.tif 000003
【図２】
2019149122.tif 000004
【図３】
2019149122.tif 000005
【図４】
2019149122.tif 000006
【図５】
2019149122.tif 000007
【図６】
2019149122.tif 000008
【図７】
2019149122.tif 000009
【図８】
2019149122.tif 000010
【図９】
2019149122.tif 000011
【図１０】
2019149122.tif 000012
【図１１】
2019149122.tif 000013
【図１２】
2019149122.tif 000014
【図１３】
2019149122.tif 000015
【図１４】
2019149122.tif 000016
【図１５】
2019149122.tif 000017
【図１６】
2019149122.tif 000018
【図１７】
2019149122.tif 000019
【図１８】
2019149122.tif 000020
【図１９】
2019149122.tif 000021
【図２０】
2019149122.tif 000022
【図２１】
2019149122.tif 000023
【図２２】
2019149122.tif 000024
【図２３】
2019149122.tif 000025