(57)【要約】  本開示は、広画角映像と、広画角映像の一部となる平面映像とを違和感なく切り替えて視聴できるようにする再生装置、および再生方法、並びにプログラムに関する。映像制御部は、サーバから供給される広画角映像の回線速度や、広画角映像と部分映像のバッファデータの残量からなる回線品質に基づいて、広画角映像の表示に耐えうる回線品質であるか否かを判定し、広画角映像での表示に耐えうる回線品質ではない場合、広画角映像と部分映像との表示を切り替える直前のタイミングにおいて、広画角映像に対応する部分映像の画角を示す白枠を伴う広画角映像を表示してから、部分映像に切り替える。再生装置に適用することができる。
2020162218.tif 000002
【特許請求の範囲】
【請求項１】
広画角映像と、前記広画角映像の一部の画角に対応する部分映像との表示を切り替える切替条件を満たすか否かを判定する切替判定部と、
前記切替判定部の判定結果に基づいて、前記広画角映像と前記部分映像とを選択的に表示させる映像制御部とを備え、
前記映像制御部は、前記切替判定部の判定結果に基づいて、前記広画角映像と前記部分映像との表示を切り替えるとき、前記広画角映像に対応する前記部分映像の画角を示す表示情報が付加された前記広画角映像を表示させる
再生装置。
【請求項２】
前記広画角映像、および前記部分映像を外部のサーバより取得する映像取得部をさらに含む
請求項１に記載の再生装置。
【請求項３】
前記切替判定部は、前記映像取得部により前記広画角映像を取得する前記サーバとの回線品質に基づいて、前記広画角映像と前記部分映像との表示を切り替える前記切替条件を満たすか否かを判定する
請求項２に記載の再生装置。
【請求項４】
前記切替条件は、前記回線品質が所定の回線速度よりも高速であるか否か、および、前記広画角映像と前記部分映像のバッファデータの残量が所定の閾値よりも大きいか否かの少なくともいずれかである
請求項３に記載の再生装置。
【請求項５】
前記広画角映像に対応する前記部分映像の画角の位置とサイズを特定するためのメタデータを前記サーバより取得するメタデータ取得部をさらに含み、
前記映像制御部は、前記メタデータに基づいて、前記広画角映像に対応する前記部分映像の画角を示す表示情報が付加された前記広画角映像を表示させる
請求項２に記載の再生装置。
【請求項６】
前記メタデータは、前記部分映像を撮像する部分映像撮像部の撮像位置とパンチルトの情報からなるパンチルト情報に基づいて生成される
請求項５に記載の再生装置。
【請求項７】
前記メタデータ取得部は、前記部分映像が前記映像取得部により取得されるタイミングと同一のタイミングで取得されるように調整された状態で前記メタデータを取得する
請求項５に記載の再生装置。
【請求項８】
前記メタデータ取得部は、対応する前記部分映像が供給される時刻情報を含む前記メタデータを取得し、
前記映像制御部は、前記部分映像と対応する時刻情報を含む前記メタデータを用いて、前記広画角映像に対応する前記部分映像の画角を示す表示情報が付加された前記広画角映像を表示させる
請求項５に記載の再生装置。
【請求項９】
前記広画角映像に対応する前記部分映像の画角を示す前記表示情報は、前記広画角映像に対応する前記部分映像の画角を示す枠である
請求項１に記載の再生装置。
【請求項１０】
前記映像取得部は、前記広画角映像、および前記部分映像に加えて、前記広画角映像に対応する前記部分映像の画角を示す前記表示情報が付加された前記広画角映像を取得する
請求項２に記載の再生装置。
【請求項１１】
前記広画角映像に対応する前記部分映像の画角を示す前記表示情報が付加された前記広画角映像は、前記部分映像を撮像する部分映像撮像部の撮像位置とパンチルトの情報からなるパンチルト情報に基づいて、前記広画角映像に前記表示情報が付加されて生成される
請求項１０に記載の再生装置。
【請求項１２】
前記切替判定部は、前記広画角映像からなるコンテンツの演出内容に基づいて、前記広画角映像と前記部分映像との表示を切り替える切替条件を満たすか否かを判定する
請求項１に記載の再生装置。
【請求項１３】
前記映像制御部は、前記広画角映像が表示されている場合、前記切替判定部の判定結果に基づいて、前記広画角映像から前記部分映像へと表示を切り替える直前のタイミングにおいて、前記広画角映像に対応する前記部分映像の画角を示す表示情報が付加された前記広画角映像を表示する
請求項１に記載の再生装置。
【請求項１４】
前記映像制御部は、前記広画角映像から前記部分映像へと表示を切り替えるとき、前記広画角映像から前記部分映像へと遷移する遷移映像を表示する
請求項１３に記載の再生装置。
【請求項１５】
前記映像制御部は、前記広画角映像から前記部分映像へと表示を切り替えるとき、前記広画角映像の画角を拡大させながら前記部分映像へと遷移する遷移映像を表示する
請求項１４に記載の再生装置。
【請求項１６】
前記映像制御部は、前記部分映像が表示されている場合、前記切替判定部の判定結果に基づいて、前記部分映像から前記広画角映像へと表示を切り替えた直後のタイミングにおいて、前記広画角映像に対応する前記部分映像の画角を示す表示情報が付加された前記広画角映像を表示する
請求項１に記載の再生装置。
【請求項１７】
前記映像制御部は、前記部分映像から前記広画角映像へと表示を切り替えるとき、前記部分映像から前記広画角映像へと遷移する遷移映像を表示する
請求項１６に記載の再生装置。
【請求項１８】
前記映像制御部は、前記部分映像から前記広画角映像へと表示を切り替えるとき、前記部分映像の画角を縮小させながら前記広画角映像へと遷移する遷移映像を表示する
請求項１７に記載の再生装置。
【請求項１９】
広画角映像と、前記広画角映像の一部の画角に対応する部分映像との表示を切り替える切替条件を満たすか否かを判定する切替判定処理と、
前記切替判定処理の判定結果に基づいて、前記広画角映像と前記部分映像とを選択的に表示させる映像制御処理とを備え、
前記映像制御処理は、前記切替判定処理の判定結果に基づいて、前記広画角映像と前記部分映像との表示を切り替えるとき、前記広画角映像に対応する前記部分映像の画角を示す表示情報を伴う前記広画角映像を表示する
再生方法。
【請求項２０】
広画角映像と、前記広画角映像の一部の画角に対応する部分映像との表示を切り替える切替条件を満たすか否かを判定する切替判定部と、
前記切替判定部の判定結果に基づいて、前記広画角映像と前記部分映像とを選択的に表示させる映像制御部としてコンピュータを機能させ、
前記映像制御部は、前記切替判定部の判定結果に基づいて、前記広画角映像と前記部分映像との表示を切り替えるとき、前記広画角映像に対応する前記部分映像の画角を示す表示情報を伴う前記広画角映像を表示する
プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本開示は、再生装置、および再生方法、並びにプログラムに関し、特に、広画角映像と、広画角映像の一部となる部分映像とを違和感なく切り替えて視聴できるようにした再生装置、および再生方法、並びにプログラムに関する。
【背景技術】
【０００２】
全天球映像などの広い画角の広画角映像を配信し、HMD（Head Mounted Display）等の表示装置に表示させる技術が提案されている（特許文献１参照）。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０１８−１１３６１６号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
ところで、広画角映像が配信されることにより、臨場感のある映像を配信することが可能となるが、演出やライブ時の回線状況によって、広画角映像と、広画角映像の一部となる部分映像（以下、平面映像とも称する）とを切り替える場面がある。【０００５】
特許文献１に係る技術においては、広画角映像から平面映像に切り替える際に、切り替えられる平面映像が広画角映像内における、どの部分の映像に切り替わるのかが明示的に表示されない。【０００６】
このため、視聴者であるユーザは広画角映像から平面映像に切り替えられた場合、切り替えて表示された平面映像が、それまで視聴してきた広画角映像内のどこの映像であるのかを認識することができないので、視聴に際して違和感を持つことがあった。【０００７】
本開示は、このような状況に鑑みてなされたものであり、特に、広画角映像と、広画角映像の一部となる平面映像とを違和感なく切り替えて視聴できるようにするものである。
【課題を解決するための手段】
【０００８】
本開示の一側面の再生装置は、広画角映像と、前記広画角映像の一部の画角に対応する部分映像との表示を切り替える切替条件を満たすか否かを判定する切替判定部と、前記切替判定部の判定結果に基づいて、前記広画角映像と前記部分映像とを選択的に表示させる映像制御部とを備え、前記映像制御部は、前記切替判定部の判定結果に基づいて、前記広画角映像と前記部分映像との表示を切り替えるとき、前記広画角映像に対応する前記部分映像の画角を示す表示情報が付加された前記広画角映像を表示させる再生装置である。【０００９】
本開示の一側面の再生方法は、再生装置に対応する。【００１０】
本開示の一側面においては、広画角映像と、前記広画角映像の一部の画角に対応する部分映像との表示を切り替える切替条件を満たすか否かが判定され、判定結果に基づいて、前記広画角映像と前記部分映像とが選択的に表示され、判定結果に基づいて、前記広画角映像と前記部分映像との表示を切り替えるとき、前記広画角映像に対応する前記部分映像の画角を示す表示情報が付加された前記広画角映像が表示される。
【図面の簡単な説明】
【００１１】
【図１】本開示の概要を説明する図である。
【図２】本開示の再生システムの第１の実施の形態の構成例を説明する図である。
【図３】図２の全天球カメラによる全天球映像撮像処理を説明するフローチャートである。
【図４】図２の平面カメラによる平面映像撮像処理を説明するフローチャートである。
【図５】図２のPCによるメタデータ生成処理を説明するフローチャートである。
【図６】図２のサーバによる映像送信処理を説明するフローチャートである。
【図７】図２の再生装置による再生処理を説明するフローチャートである。
【図８】図２のHMDによる表示処理を説明するフローチャートである。
【図９】本開示の再生システムの第１の実施の形態の応用例を説明する図である。
【図１０】図９のPCによるメタデータ生成処理を説明するフローチャートである。
【図１１】図９のサーバによる映像送信処理を説明するフローチャートである。
【図１２】本開示の再生システムの第２の実施の形態の構成例を説明する図である。
【図１３】図１２のPCによる枠付き全天球映像生成処理を説明するフローチャートである。
【図１４】図１２のサーバによる映像送信処理を説明するフローチャートである。
【図１５】図１２の再生装置による再生処理を説明するフローチャートである。
【図１６】図１２のHMDによる表示処理を説明するフローチャートである。
【図１７】汎用のパーソナルコンピュータの構成例を説明する図である。
【発明を実施するための形態】
【００１２】
以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
【００１３】
以下、本技術を実施するための形態について説明する。説明は以下の順序で行う。
１．本開示の概要
２．第１の実施の形態
３．第１の実施の形態の応用例
４．第２の実施の形態
５．ソフトウェアにより実行させる例
【００１４】
＜＜１．本開示の概要＞＞
本開示は、広画角映像と、広画角映像の一部となる平面映像とを違和感なく切り替えて視聴できるようにするものである。
【００１５】
そこで、まず、本開示の概要について説明する。
【００１６】
ユーザが頭部にHMDを装着し、ユーザの頭部の動きに合わせて広画角映像が表示され、例えば、図１の左部で示されるように、HMD（Head Mounted Display）の表示部Ｄに、サッカーの中継映像からなる広画角映像Ｐ１が表示されるような構成について考える。
【００１７】
このような構成において、図１の左部の広画角映像Ｐ１から、図１の右部で示されるように、広画角映像Ｐ１内において、ボールを保持している選手と、その選手をマークする相手チームの選手の二人が存在する領域Ｆ’を拡大して表示する平面映像Ｐ２に切り替えることがある。
【００１８】
尚、広画角映像Ｐ１は、広画角の映像を撮像する第１のカメラにより撮像された映像であり、平面映像Ｐ２は、広画角映像Ｐ１内の画角であって、広画角映像Ｐ１よりも画角の狭い映像を撮像する、第１のカメラとは異なる第２のカメラにより撮像された映像である。
【００１９】
しかしながら、図１の左部で示されるような広画角映像Ｐ１から、所定のタイミングにおいて、突然、図１の右部で示されるような平面映像Ｐ２に切り替えられる場合、表示部Ｄに表示された映像を視聴するユーザは、視聴する映像が切り替わったことは認識できる。
【００２０】
しかしながら、ユーザは、切り替わって表示される平面映像Ｐ２が、直前の広画角映像Ｐ１に対して、どのような位置関係となる映像であるのかを認識することができず、違和感を覚える可能性がある。
【００２１】
そこで、本開示においては、図１の中央部で示されるように、広画角映像Ｐ１内に、次に切り替わる平面映像Ｐ２となる領域Ｆ’に対応する領域を、枠Ｆとして表示する。
【００２２】
そして、本開示においては、図１の左部の広画角映像Ｐ１に対して、図１の中央部で示されるように枠Ｆを付加した状態の広画角映像Ｐ１を表示した後、図１の右部で示される平面映像Ｐ２に切り替えて表示する。
【００２３】
このように広画角映像Ｐ１から平面映像Ｐ２に切り替えて表示する直前のタイミングにおいて、広画角映像Ｐ１内に、平面映像Ｐ２に対応する位置を枠Ｆとして表示することで、ユーザに対して、次のタイミングにおいて切り替わる平面映像Ｐ２が、切り替わる直前の広画角映像Ｐ１内のどの位置の映像であるのかを認識させた上で、映像を切り替えるようにさせることができる。
【００２４】
これにより、表示部Ｄを視聴するユーザは、広画角映像Ｐ１内に表示される枠Ｆを認識することで、次に切り替わる平面映像Ｐ２と、切り替わる直前の広画角映像Ｐ１との位置関係を認識しながら、切り替えられた平面映像Ｐ２を視聴することが可能となる。
【００２５】
結果として、ユーザは、広画角映像Ｐ１から平面映像Ｐ２に切り替わる際に、違和感なく視聴を継続することが可能となる。
【００２６】
＜＜２．第１の実施の形態＞＞
次に、図２のブロック図を参照して、本開示の再生システムの第１の実施の形態の構成例について説明する。
【００２７】
本開示の再生システムは、広画角映像と広画角映像内の部分映像である平面映像とを切り替えて表示する際、広画角映像内に、次に切り替える平面映像の位置を枠として表示してから、平面映像に切り替えることで、違和感なく映像を切り替えるものである。
【００２８】
図２の再生システム１は、全天球カメラ１１、平面カメラ１２、パーソナルコンピュータ（PC）１３、サーバ１４、再生装置１５、およびHMD（Head Mounted Display）１６、並びに、エンコード装置２１，２２より構成される。
【００２９】
図２の再生システム１は、例えば、スポーツや演劇等のコンテンツを会場から中継して配信するシステムであり、全天球カメラ１１、平面カメラ１２、およびパーソナルコンピュータ（PC）１３は、スポーツ施設や演劇場などの会場設備として構成される。
【００３０】
また、再生装置１５およびHMD１６は、コンテンツの配信を受けるユーザ側の設備として構成される。
【００３１】
そして、サーバ１４は、ネットワークを介して会場設備からのコンテンツとしての映像を取得し、ユーザ側の設備に配信する。
【００３２】
全天球カメラ１１は、固定された状態で設置されたカメラであり、水平方向、および垂直方向に対して180度の範囲、または、360度の範囲等の広画角映像からなる全天球映像を撮像し、エンコード装置２１に出力する。エンコード装置２１は、全天球映像をエンコードしてサーバ１４に出力する。尚、全天球カメラ１１が、エンコード装置２１の機能を備えるようにして、撮像した全天球映像をエンコードし、エンコードした全天球映像をサーバ１４に出力するようにしてもよい。また、全天球カメラ１１により撮像された全天球映像は、エンコード装置２１によりエンコードされてサーバ１４に出力されるが、以降の説明おいては、全天球映像がエンコード装置２１によりエンコードされる処理については必要に応じて適宜省略し、例えば、単に、「全天球カメラ１１が、撮像した全天球映像をサーバ１４に出力する」と称するものとする。ただし、表現が省略されているのみであり、実際には、全天球カメラ１１により撮像された全天球映像は、エンコード装置２１によりエンコードされてサーバ１４に出力される。
【００３３】
平面カメラ１２は、雲台１２ａの上に設けられたカメラであり、雲台１２ａにより撮像位置やパンチルトを変化させながら、全天球カメラ１１により撮像される範囲の一部の範囲を、例えば、水平垂直方向の比が１６：９となるような平面映像として撮像し、エンコード装置２２に出力する。エンコード装置２２は、全天球映像をエンコードしてサーバ１４に出力する。尚、平面カメラ１２が、エンコード装置２２の機能を備えるようにして、撮像した平面映像をエンコードし、エンコードした平面映像をサーバ１４に出力するようにしてもよい。また、平面カメラ１２により撮像された平面映像は、エンコード装置２２によりエンコードされてサーバ１４に出力されるが、以降の説明おいては、平面映像がエンコード装置２２によりエンコードされる処理については必要に応じて適宜省略し、例えば、単に、「平面カメラ１２が、撮像した平面映像をサーバ１４に出力する」と称するものとする。ただし、表現が省略されているのみであり、実際には、平面カメラ１２により撮像された平面映像は、エンコード装置２２によりエンコードされてサーバ１４に出力される。
【００３４】
さらに、本開示においては、全天球カメラ１１および平面カメラ１２により全天球映像と、その一部の部分映像からなる平面映像が撮像される例について説明するものとするが、広画角映像と、その一部の部分映像からなる平面映像とを取得することが可能な構成であれば、全天球カメラ１１および平面カメラ１２以外の構成であってもよい。
【００３５】
雲台１２ａは、平面カメラ１２の撮像位置やパンチルトの方向を示す情報をパンチルト情報としてPC１３に出力する。
【００３６】
PC１３は、平面カメラ１２の雲台１２ａより供給されるパンチルト情報を取得し、パンチルト情報に基づいてメタデータを生成してサーバ１４に出力する。
【００３７】
より詳細には、PC１３は、制御部３１、データ制御部３２、および遅延処理部３３を備えている。
【００３８】
制御部３１は、プロセッサやメモリなどから構成されており、PC１３の動作の全体を制御しており、データ制御部３２、および遅延処理部３３を制御する。
【００３９】
データ制御部３２は、雲台１２ａより供給されるパンチルト情報に基づいて、パンチルト情報を含んだメタデータを生成し、遅延処理部３３に出力する。
【００４０】
遅延処理部３３は、データ制御部３２より供給されるメタデータを一時的に格納し、平面カメラ１２により撮像された平面映像が、サーバ１４に出力されるタイミングと一致するようにタイミングを調整するために所定時間だけ遅延させて、サーバ１４に出力する。
【００４１】
すなわち、平面カメラ１２よりサーバ１４に出力される平面映像と、その平面映像を撮像している際の平面カメラ１２のパンチルト情報を含むメタデータとは、同一のタイミングでサーバ１４に供給される。
【００４２】
サーバ１４は、全天球カメラ１１より供給される全天球映像、平面カメラ１２より供給される平面映像、およびPC１３より供給されるメタデータを受信して蓄積するとともに、全天球映像、平面映像、およびメタデータを再生装置１３に出力する。
【００４３】
より詳細には、サーバ１４は、制御部５１、メタデータ蓄積部５２、平面映像蓄積部５３、および全天球映像蓄積部５４を備えている。
【００４４】
制御部５１は、プロセッサやメモリなどから構成されており、サーバ１４の動作の全体を制御する。
【００４５】
制御部５１は、メタデータ蓄積部５２、平面映像蓄積部５３、および全天球映像蓄積部５４の動作を制御する。
【００４６】
制御部５１は、PC１３よりメタデータが供給されると、メタデータを取得して、メタデータ蓄積部５２に蓄積させる。また、制御部５１は、メタデータ蓄積部５２に蓄積したメタデータを読み出して、再生装置１５に送信する。
【００４７】
制御部５１は、平面カメラ１２より平面映像が供給されると、平面映像を取得して、平面映像蓄積部５３に蓄積させる。また、制御部５１は、平面映像蓄積部５３に蓄積した平面映像を読み出して、再生装置１５に送信する。
【００４８】
制御部５１は、全天球カメラ１１より全天球映像が供給されると、全天球映像を取得して、全天球映像蓄積部５４に蓄積させる。また、制御部５１は、全天球映像蓄積部５４に蓄積した全天球映像を読み出して、再生装置１５に送信する。
【００４９】
再生装置１５は、サーバ１４より供給される全天球映像、平面映像、およびメタデータを取得して、ユーザが装着しているHMD１６からのヘッドトラッキング情報に基づいてレンダリングしてHMD１６に出力して表示させる。
【００５０】
再生装置１５は、サーバ１４との通信回線の回線品質に応じて、回線品質が良好であるときには、全天球映像をHMD１６に表示させ、回線品質が悪化したときには、平面映像をHMD１６に表示させる。
【００５１】
この際、再生装置１５は、全天球映像から平面映像に切り替える際、全天球映像内に、次に切り替える平面映像の範囲を枠として表示し、次に切り替わる平面映像が全天球映像内のどの位置であるのかを表示した後、平面映像に切り替えて表示する。
【００５２】
このようにして全天球映像から平面映像に切り替えられることにより、ユーザは、全天球映像から平面映像へと切り替えらえる映像を違和感なく視聴することができる。
【００５３】
尚、平面映像から全天球映像に切り替えられるときには、全天球映像に切り替えられたタイミングにおいて所定の時間だけ、全天球映像内に平面映像の範囲を示す枠が表示されるようにする。
【００５４】
このようにして平面映像から全天球映像に切り替えられることにより、ユーザは、平面映像から全天球映像へと切り替えらえる映像を違和感なく視聴することができる。
【００５５】
より詳細には、再生装置１５は、コネクション制御部７１、切替判定部７２、デコード部７３、メタパーサ部７４、映像制御部７５、ユーザインタフェース処理部７６、およびレンダリング部７７を備えている。
【００５６】
コネクション制御部７１は、全天球映像および平面映像をサーバ１４より取得し、デコード部７３に出力する。
【００５７】
この際、コネクション制御部７１は、サーバ１４から全天球映像を取得する回線の回線品質を示す、例えば、回線速度の情報や受信されている全天球映像および平面映像のバッファデータの残量の情報等を切替判定部７２に出力する。
【００５８】
切替判定部７２は、コネクション制御部７１より供給される回線品質を示す情報に基づいて、例えば、回線速度等の回線品質が、所定の回線速度より高速であり、所定の品質よりも良好であれば、全天球映像をHMD１６に表示するように指示する切替判定情報を映像制御部７５に供給する。また、回線品質を示す情報が受信されている全天球映像および平面映像のバッファデータの残量の情報の場合は、切替判定部７２は、バッファデータの残量が所定の閾値以上であるとき、回線品質が所定の品質よりも良好であると判断して全天球映像をHMD１６に表示するように指示してもよい。
【００５９】
また、回線品質が所定の品質よりも良好でなければ、切替判定部７２は、平面映像をHMD１６に表示するように指示する切替判定情報を映像制御部７５に供給する。
【００６０】
デコード部７３は、全天球映像および平面映像をデコードして映像制御部７５に出力する。
【００６１】
メタパーサ部７４は、サーバ１４より供給されるメタデータを取得して、映像制御部７５に出力する。
【００６２】
ユーザインタフェース処理部７６は、HMD１６より供給されるヘッドトラッキング情報を取得して映像制御部７５に出力する。
【００６３】
ヘッドトラッキング情報は、例えば、ユーザの頭部に装着されるHMD１６の位置や方向の情報であり、ユーザがどの位置で、どの方向を向いているのかを示す情報である。
【００６４】
映像制御部７５は、切替判定部７２より供給される切替判定情報、デコード部７３より供給される全天球映像、および平面映像、メタパーサ部７４より供給されるメタデータ、並びに、ユーザインタフェース処理部７６より供給されるヘッドトラッキング情報に基づいて、映像を決定して、決定した映像をレンダリング部７７に出力する。
【００６５】
レンダリング部７７は、映像制御部７５より供給される映像をレンダリングして、HMD１６に出力して表示させる。
【００６６】
HMD１６は、ユーザの頭部に装着される表示装置であり、再生装置１５より供給される映像を表示する。
【００６７】
より詳細には、HMD１６は、制御部８１、ヘッドトラッキング情報取得部８２、および表示部８３を備えている。
【００６８】
制御部８１は、プロセッサやメモリから構成されており、HMD１６の全体の動作を制御する。
【００６９】
ヘッドトラッキング情報取得部８２は、例えば、モーションセンサ等から構成されており、ユーザの頭の位置や向き等の情報をヘッドトラッキング情報として取得し、再生装置１５に送信する。
【００７０】
表示部８３は、LCD（Liquid Crystal Display）や有機EL（Electro Luminescence）より構成されており、HMD１６を装着しているユーザの視聴方向に設けられており、再生装置１５より供給される映像を表示する。
【００７１】
＜全天球映像撮像処理＞
次に、図３のフローチャートを参照して、全天球カメラ１１による全天球映像撮像処理について説明する。
【００７２】
ステップＳ１１において、全天球カメラ１１は、全天球映像を撮像し、エンコード装置２１に出力する。
【００７３】
ステップＳ１２において、エンコード装置２１は、全天球カメラ１１より供給された全天球映像をエンコードし、サーバ１４に送信する。
【００７４】
ステップＳ１３において、全天球カメラ１１は、処理の終了が指示されたか否かを判定し、終了が指示されていない場合、処理は、ステップＳ１１に戻り、それ以降の処理が繰り返される。
【００７５】
そして、ステップＳ１３において、処理の終了が指示された場合、処理は、終了する。
【００７６】
以上の処理により、全天球カメラ１１により、全天球映像が撮像され、エンコード装置２１によりエンコードされてサーバ１４に送信され続ける。
【００７７】
＜平面映像撮像処理＞
次に、図４のフローチャートを参照して、平面カメラ１２による平面映像撮像処理について説明する。
【００７８】
ステップＳ３１において、平面カメラ１２は、全天球カメラ１１により撮像される全天球映像の一部の部分映像からなる平面映像を撮像し、エンコード装置２２に出力する。
【００７９】
ステップＳ３２において、平面カメラ１２の雲台１２ａは、平面カメラ１２の撮像位置や撮像方向であるパンチルトの情報からなるパンチルト情報を取得する。
【００８０】
ステップＳ３３において、エンコード装置２２は、撮像した平面映像をエンコードしてサーバ１４に出力する。
【００８１】
ステップＳ３４において、雲台１２ａは、パンチルト情報をPC１３に出力する。
【００８２】
ステップＳ３５において、平面カメラ１２は、処理の終了が指示されたか否かを判定し、終了が指示されていない場合、処理は、ステップＳ３１に戻り、それ以降の処理が繰り返される。
【００８３】
そして、ステップＳ３５において、処理の終了が指示された場合、処理が終了する。
【００８４】
以上の処理により、平面カメラ１２により平面映像が撮像され、エンコード装置２２によりエンコードされてサーバ１４に送信されると共に、平面映像が撮像されたタイミングにおける平面カメラ１２の撮像位置やパンチルトの情報からなるパンチルト情報がPC１３に出力される。
【００８５】
＜図２のPCによるメタデータ生成処理＞
次に、図５のフローチャートを参照して、図２のPC１３によるメタデータ生成処理について説明する。
【００８６】
ステップＳ５１において、データ制御部３２は、平面カメラ１２の雲台１２ａより供給されるパンチルト情報を取得する。
【００８７】
ステップＳ５２において、データ制御部３２は、取得したパンチルト情報に基づいて、メタデータを生成し、遅延処理部３３に出力する。
【００８８】
ステップＳ５３において、遅延処理部３３は、データ制御部３２より供給されるメタデータを取得して、平面カメラ１２において対応する平面映像がサーバ１４に送信されるタイミングまで格納して、出力を遅延させる。
【００８９】
ステップＳ５４において、遅延処理部３３は、格納しているメタデータに含まれるパンチルト情報に対応する平面映像がサーバ１４に送信されるタイミングでメタデータをサーバ１４に出力する。
【００９０】
ステップＳ５５において、制御部３１は、処理の終了が指示されたか否かを判定し、終了が指示されていない場合、処理は、ステップＳ５１に戻り、それ以降の処理が繰り返される。
【００９１】
そして、ステップＳ５５において、処理の終了が指示された場合、処理が終了する。
【００９２】
以上の処理により、平面カメラ１２により平面映像が撮像されたタイミングにおける撮像位置とパンチルトの情報からなるパンチルト情報に基づいたメタデータが生成されると共に、対応する平面映像がサーバ１４に送信されるタイミングで、メタデータがサーバ１４に出力される。
【００９３】
結果として、平面映像と対応するパンチルト情報を含むメタデータとが同一のタイミングに調整されて、サーバ１４に送信される。
【００９４】
＜図２のサーバによる映像送信処理＞
次に、図６のフローチャートを参照して、図２のサーバ１４による映像送信処理について説明する。
【００９５】
ステップＳ７１において、サーバ１４の制御部５１は、全天球カメラ１１により撮像され、エンコード装置２１によりエンコードされた全天球映像を取得して、全天球映像蓄積部５４に蓄積させる。
【００９６】
ステップＳ７２において、制御部５１は、全天球映像蓄積部５４に蓄積されている全天球映像を読み出して再生装置１５に出力する。
【００９７】
ステップＳ７３において、制御部５１は、平面カメラ１２により撮像され、エンコード装置２２によりエンコードされた平面映像を取得して、平面映像蓄積部５３に蓄積させる。
【００９８】
ステップＳ７４において、制御部５１は、平面映像蓄積部５３に蓄積されている平面映像を読み出して再生装置１５に出力する。
【００９９】
ステップＳ７５において、制御部５１は、PC１３より供給されるメタデータを取得して、メタデータ蓄積部５２に蓄積させる。
【０１００】
ステップＳ７６において、制御部５１は、メタデータ蓄積部５２に蓄積されているメタデータを読み出して再生装置１５に出力する。
【０１０１】
ステップＳ７７において、制御部５１は、処理の終了が指示されたか否かを判定し、終了が指示されていない場合、処理は、ステップＳ７１に戻り、それ以降の処理が繰り返される。
【０１０２】
そして、ステップＳ７７において、処理の終了が指示された場合、処理が終了する。
【０１０３】
以上の処理により、全天球カメラ１１により撮像され、エンコード装置２１によりエンコードされた全天球映像、平面カメラ１２により撮像され、エンコード装置２２によりエンコードされた平面映像、およびPC１３により生成されたメタデータが、それぞれ再生装置１５に送信される。
【０１０４】
この際、全天球映像、平面映像、およびメタデータは、それぞれ対応する同一のタイミングにおける情報が再生装置１５に供給される。
【０１０５】
したがって、図６のフローチャートにおけるステップＳ７１，Ｓ７２の処理、ステップＳ７３，Ｓ７４の処理、および、ステップＳ７５，Ｓ７６の処理は、実質的に並列処理となる。
【０１０６】
＜図２の再生装置による再生処理＞
次に、図７のフローチャートを参照して、図２の再生装置１５による再生処理について説明する。
【０１０７】
ステップＳ１１１において、コネクション制御部７１は、エンコードされている全天球映像および平面映像をサーバ１４より取得し、デコード部７３に出力する。
【０１０８】
ステップＳ１１２において、デコード部７３は、コネクション制御部７１より供給されたエンコードされている全天球映像および平面映像をデコードし、映像制御部７５に出力する。すなわち、映像制御部７５は、デコードされた全天球映像および平面映像を取得する。
【０１０９】
ステップＳ１１３において、メタパーサ部７４は、サーバ１４より供給されるメタデータを取得して、映像制御部７５に出力する。すなわち、映像制御部７５は、メタデータを取得する。
【０１１０】
ステップＳ１１４において、映像制御部７５は、HMD１６よりヘッドトラッキング情報を取得する。
【０１１１】
ステップＳ１１５において、コネクション制御部７１は、サーバ１４からの全天球映像の回線品質の情報として、例えば、回線速度や、受信されている全天球映像および平面映像のバッファデータの残量の情報を切替判定部７２に出力する。すなわち、切替判定部７２は、回線品質の情報として回線速度や映像のバッファデータの残量の情報を取得する。
【０１１２】
ステップＳ１１６において、切替判定部７２は、回線速度や受信されている全天球映像および平面映像のバッファデータの残量からなる回線品質の情報から、回線速度が所定の速度より高速であるか否かや、バッファデータの残量が所定の閾値以上であるか否かにより、全天球映像を十分に再生可能な回線品質であるか否か、すなわち、全天球映像を再生するか否かを判定する。
【０１１３】
ステップＳ１１６において、回線品質が、全天球映像の再生に十分なものであると判定された場合、切替判定部７２は、全天球映像の再生を指示する切替判定情報を映像制御部７５に出力し、処理は、ステップＳ１１７に進む。
【０１１４】
ステップＳ１１７において、映像制御部７５は、この全天球映像の再生を指示する切替判定情報およびヘッドトラッキング情報に基づいて、デコードされた全天球映像を選択して、レンダリング部７７に出力する。
【０１１５】
ステップＳ１１８において、レンダリング部７７は、再生装置１５より供給された全天球映像をレンダリングし、HMD１６に出力して、表示させる。
【０１１６】
ステップＳ１１９において、映像制御部７５は、処理の終了が指示されたか否かを判定し、終了が指示されていない場合、処理は、ステップＳ１１１に戻り、それ以降の処理が繰り返される。
【０１１７】
そして、ステップＳ１１９において、終了が指示されたと判定された場合、処理は、終了する。
【０１１８】
一方、ステップＳ１１６において、全天球映像の再生に十分な回線品質ではないと判定された場合、切替判定部７２は、平面映像の再生を指示する切替判定情報を映像制御部７５に出力し、処理は、ステップＳ１２０に進む。
【０１１９】
ステップＳ１２０において、映像制御部７５は、この切替判定情報に基づいて、メタデータに含まれる平面カメラ１２の撮像位置および方向を示すパンチルト情報を読み出し、全天球映像内における平面映像の位置を特定し、全天球映像内の対応する位置を示す枠の表示位置と大きさを設定する。
【０１２０】
ステップＳ１２１において、映像制御部７５は、ヘッドトラッキング情報、デコードされた全天球映像、および、枠の位置と大きさの情報に基づいて、平面映像に対応する位置と大きさを示す枠を付した全天球映像を生成し、レンダリング部７７に出力する。
【０１２１】
ステップＳ１２２において、レンダリング部７７は、平面映像に対応する位置と大きさを示す枠を付した全天球映像をレンダリングして、HMD１６に出力して表示させる。
【０１２２】
ステップＳ１２３において、映像制御部７５は、全天球映像から平面映像に遷移させる遷移映像を生成する。
【０１２３】
全天球映像から平面映像に遷移させる遷移映像は、例えば、全天球映像内における、枠として表示されている平面映像の領域が徐々に拡大して、平面映像へと遷移する過程の映像であり、全天球映像と平面映像とが用いられて、例えば、補間生成される。
【０１２４】
ステップＳ１２４において、レンダリング部７７は、全天球映像から平面映像に遷移させる遷移映像をレンダリングしてHMD１６に出力して表示させる。
【０１２５】
ステップＳ１２５において、映像制御部７５は、デコードされた平面映像をレンダリング部７７に出力する。
【０１２６】
ステップＳ１２６において、レンダリング部７７は、平面映像をレンダリングしてHMD１６に出力して表示させる。
【０１２７】
すなわち、ステップＳ１２０乃至Ｓ１２６の処理により、HMD１６においては、全天球映像が、対応する平面映像の位置を示す枠が付加して表示された後、平面映像に遷移する遷移映像が表示され、その後、平面映像の表示に切り替えられる。
【０１２８】
ステップＳ１２７において、コネクション制御部７１は、全天球映像および平面映像をサーバ１４より取得し、デコード部７３に出力する。
【０１２９】
ステップＳ１２８において、デコード部７３は、コネクション制御部７１より供給された全天球映像および平面映像をデコードし、映像制御部７５に出力する。すなわち、映像制御部７５は、デコードされた全天球映像および平面映像を取得する。
【０１３０】
ステップＳ１２９において、メタパーサ部７４は、サーバ１４より供給されるメタデータを取得して、映像制御部７５に出力する。すなわち、映像制御部７５は、メタデータを取得する。
【０１３１】
ステップＳ１３０において、映像制御部７５は、HMD１６よりヘッドトラッキング情報を取得する。
【０１３２】
ステップＳ１３１において、コネクション制御部７１は、サーバ１４からの全天球映像の回線品質の情報として、例えば、回線速度や、受信されている全天球映像および平面映像のバッファデータの残量の情報を切替判定部７２に出力する。すなわち、コネクション制御部７１は、回線品質の情報として回線速度や映像のバッファデータの残量の情報を取得する。
【０１３３】
ステップＳ１３２において、切替判定部７２は、回線速度や受信されている全天球映像および平面映像のバッファデータの残量からなる回線品質の情報から全天球映像を十分に再生可能な回線品質であるか否か、すなわち、全天球映像を再生するか否かを判定する。
【０１３４】
ステップＳ１３２において、回線品質が、全天球映像の再生に十分なものではないと判定された場合、切替判定部７２は、平面映像の再生を指示する切替判定情報を映像制御部７５に出力し、処理は、ステップＳ１３３に進む。
【０１３５】
ステップＳ１３３において、映像制御部７５は、処理の終了が指示されたか否かを判定し、終了が指示されていない場合、処理は、ステップＳ１２５に戻り、それ以降の処理が繰り返される。
【０１３６】
そして、ステップＳ１３３において、終了が指示されたと判定された場合、処理は、終了する。
【０１３７】
すなわち、全天球映像の再生に十分な回線品質が得られない状態が継続した場合、ステップＳ１２５乃至Ｓ１３３の処理が繰り返されて、HMD１６に平面映像がレンダリングされて表示され続ける。
【０１３８】
また、ステップＳ１３２において、回線品質が、全天球映像の再生に十分なものであると判定された場合、切替判定部７２は、全天球映像の再生を指示する切替判定情報を映像制御部７５に出力し、処理は、ステップＳ１３４に進む。
【０１３９】
ステップＳ１３４において、映像制御部７５は、平面映像から全天球映像に遷移させる遷移映像を生成してレンダリング部７７に出力する。
【０１４０】
平面映像から全天球映像に遷移させる遷移映像は、例えば、平面映像が徐々に縮小されると共に、全天球映像内の対応する位置と大きさで埋め込まれ、全天球映像へと遷移する過程の映像であり、全天球映像と平面映像とが用いられて、例えば、補間生成される。
【０１４１】
ステップＳ１３５において、レンダリング部７７は、遷移映像をHMD１６に出力して表示させる。
【０１４２】
ステップＳ１３６において、映像制御部７５は、メタデータに含まれる平面カメラ１２の撮像位置および方向を示すパンチルト情報を読み出し、全天球映像内における平面映像の位置を特定し、全天球映像内の対応する位置を示す枠の表示位置と大きさを設定する。
【０１４３】
ステップＳ１３７において、映像制御部７５は、ヘッドトラッキング情報、デコードされた全天球映像、および、枠の位置と大きさの情報に基づいて、平面映像に対応する位置と大きさを示す枠を付した全天球映像を生成し、レンダリング部７７に出力する。
【０１４４】
ステップＳ１３８において、レンダリング部７７は、枠が付加された全天球映像をHMD１６に出力して表示させ、処理は、ステップＳ１１７に戻る。
【０１４５】
すなわち、全天球映像から平面映像に遷移した場合と逆の処理により、平面映像から全天球映像に遷移したときにも、全天球映像内におけるどの位置の平面映像であったかを認識できるように、平面映像から全天球映像に遷移した後、一時的に、平面映像に対応する枠が全天球映像に表示される。
【０１４６】
尚、以上においては、全天球映像内における、次に切り替わる平面映像に対応する位置と大きさを、例えば、図１における枠Ｆからなる表示情報により表現する例について説明してきたが、全天球映像内における、次に切り替わる平面映像に対応する位置と大きさが表現できれば、枠以外の表示情報であってもよく、例えば、対応する領域に半透明の色を付すようにしてもよいし、対応する領域だけを白黒映像として表示するようにしてもよい。
【０１４７】
また、HMD１６を装着したユーザの向きによっては、ユーザの視界の中に、全天球映像内における、次に切り替わる平面映像の領域が存在せず、次に切り替わる平面映像に対応する位置と大きさを示す枠を表示することができない可能性がある。
【０１４８】
そのような場合においては、例えば、ユーザの視界の中に、次に切り替わる平面映像に対応する位置と大きさを示す枠を表示できる状態になるまで、全天球映像から平面映像への切り替えを待ってから切り替えるようにしてもよい。
【０１４９】
または、全天球映像から平面映像に切り替える際に、一旦、枠が付された全天球映像の全体が視聴できるような映像を、例えば、遷移映像として生成して表示し、強制的に枠が付された映像をユーザに視聴させた後に、平面映像に遷移させるようにして切り替えるようにしてもよい。
【０１５０】
さらに、以上においては、全天球映像を表示するか、平面映像を表示するかを切り替える基準として、全天球映像の回線品質である回線速度や受信されている全天球映像および平面映像のバッファデータの残量を用いる例について説明してきたが、それ以外の基準で切り替えるようにしてもよく、例えば、ユーザの指示に応じて切り替えるようにしてもよいし、コンテンツの演出などに応じて予め設定された特定のシーンを表示するときに切り替えるようにしてもよい。
【０１５１】
＜図２のHMDによる表示処理＞
次に、図８のフローチャートを参照して、図２のHMD１６による表示処理について説明する。
【０１５２】
ステップＳ１５１において、HMD１６のヘッドトラッキング情報取得部８２は、ユーザのヘッドトラッキング情報を取得する。
【０１５３】
ステップＳ１５２において、ヘッドトラッキング情報取得部８２は、取得したヘッドトラッキング情報を再生装置１５に出力する。
【０１５４】
ステップＳ１５３において、制御部８１は、再生装置１５より供給される全天球映像、平面映像、または、遷移映像を取得して、表示部８３に表示させる。
【０１５５】
ステップＳ１５４において、制御部８１は、処理の終了が指示されたか否かを判定し、終了が指示されていない場合、処理は、ステップＳ１５１に戻り、それ以降の処理が繰り返される。
【０１５６】
そして、ステップＳ１５４において、終了が指示されたと判定された場合、処理は、終了する。
【０１５７】
以上の一連の処理により、ヘッドトラッキング情報が取得されて、再生装置１５に出力され続けると共に、再生装置１５より供給される全天球映像、平面映像、または、遷移映像が取得されて、表示部８３に表示され続ける。
【０１５８】
これにより、回線品質に応じて、全天球映像、または平面映像が切り替えられて表示され、切り替えられる際には、全天球映像内に、対応する平面映像の位置と大きさの枠が表示され、さらに遷移映像が表示された後、平面映像に切り替えられる。
【０１５９】
このため、全天球映像から平面映像に切り替えられても、ユーザが全天球映像内における、どの位置の平面映像に切り替えられたかを認識することが可能となる。
【０１６０】
また、平面映像から全天球映像に切り替えられる際には、遷移映像が表示された後、枠が付加された全天球映像が表示されることにより、切り替えられた全天球映像におけるどの位置の平面映像から、全天球映像に切り替えられたかを認識することが可能となる。
【０１６１】
結果として、広画角映像と、広画角映像の一部となる平面映像とを違和感なく切り替えて視聴することが可能となる。
【０１６２】
＜＜３．第１の実施の形態の応用例＞＞
以上においては、パンチルト情報を含むメタデータがPC１３の遅延処理部３３により平面カメラ１２により撮像され、エンコード装置２１によりエンコードされて出力される平面映像とのタイミングが調整される例について説明してきたが、サーバ１４において平面映像のタイミングを示す時刻情報を生成して、メタデータに含めて再生装置１５に出力するようにしてもよい。
【０１６３】
このようにすることで、再生装置１５においては、平面映像を選択する際に、メタデータに含まれる時刻情報に応じて、対応する平面映像とメタデータとを利用することができる。
【０１６４】
図９は、サーバ１４において平面映像のタイミングを示す時刻情報を生成して、メタデータに含めて再生装置１５に出力するようにした再生システム１の構成例を示している。
【０１６５】
図９の再生システム１においては、PC１３より遅延処理部３３が省略されると共に、サーバ１４にメタデータ蓄積部５２に代えて、受信メタデータ蓄積部９１、映像監視部９２、時刻情報生成部９３、および送信メタデータ蓄積部９４が設けられる。
【０１６６】
すなわち、図９のPC１３においては、生成されたメタデータが遅延調整されることなく、サーバ１４に出力される。このため、PC１３においては、遅延処理部３３等を省略することが可能となる。
【０１６７】
また、受信メタデータ蓄積部９１は、制御部５１により制御され、PC１３より供給されるメタデータを、受信メタデータとして蓄積する。
【０１６８】
映像監視部９２は、平面映像蓄積部５３に平面映像が蓄積されるタイミングを監視し、平面映像が蓄積されたタイミングを示す信号を時刻情報生成部９３に出力する。
【０１６９】
時刻情報生成部９３は、映像監視部９２より供給される平面映像が平面映像蓄積部５３に蓄積されたタイミングを示す信号に基づいた時刻情報を生成し、受信メタデータ蓄積部９１に蓄積された受信メタデータを読み出して、生成した時刻情報を付加して、送信メタデータとして、送信メタデータ蓄積部９４に蓄積させる。
【０１７０】
そして、制御部５１は、送信メタデータ蓄積部９４に蓄積された送信メタデータを読み出してメタデータとして再生装置１５に出力する。
【０１７１】
再生装置１５においては、切替判定情報に基づいて、平面映像が選択されるとき、対応する時刻情報を含むメタデータを選択することで、平面映像に対応するパンチルト情報を利用することが可能となる。
【０１７２】
＜図９のPCによるメタデータ生成処理＞
次に、図１０のフローチャートを参照して、図９のPC１３によるメタデータ生成処理について説明する。
【０１７３】
尚、図１０のフローチャートにおけるステップＳ１７１乃至Ｓ１７４の処理は、図５のステップＳ５１，Ｓ５２，Ｓ５４，Ｓ５５の処理と同様であるので、その説明は省略する。
【０１７４】
すなわち、図１０のメタデータ生成処理においては、図５のメタデータ生成処理におけるステップＳ５３における遅延処理部３３によるメタデータの遅延処理が省略される。
【０１７５】
結果として、遅延処理部３３による遅延処理を省略することが可能となる。
【０１７６】
＜図９のサーバによる映像送信処理＞
次に、図１１のフローチャートを参照して、図９のサーバ１４による映像送信処理について説明する。
【０１７７】
ステップＳ１９１において、サーバ１４の制御部５１は、全天球カメラ１１により撮像され、エンコード装置２１によりエンコードされて供給される全天球映像を取得して、全天球映像蓄積部５４に蓄積させる。
【０１７８】
ステップＳ１９２において、制御部５１は、全天球映像蓄積部５４に蓄積されている全天球映像を読み出して再生装置１５に出力する。
【０１７９】
ステップＳ１９３において、制御部５１は、PC１３より供給されるメタデータを取得して、受信メタデータとして受信メタデータ蓄積部９１に蓄積させる。
【０１８０】
ステップＳ１９４において、制御部５１は、平面カメラ１２により撮像され、エンコード装置２２によりエンコードされて供給される平面映像を取得して、平面映像蓄積部５３に蓄積させる。
【０１８１】
ステップＳ１９５において、映像監視部９２は、平面カメラ１２により撮像され、エンコード装置２２によりエンコードされて供給される平面映像が、平面映像蓄積部５３に蓄積されたときのタイミングを示す信号を時刻情報生成部９３に出力する。
【０１８２】
ステップＳ１９６において、時刻情報生成部９３は、映像監視部９２より供給されてくる信号を受信したタイミングにおける時刻情報を生成する。
【０１８３】
ステップＳ１９７において、時刻情報生成部９３は、受信メタデータ蓄積部９１に蓄積された受信メタデータを読み出し、生成した時刻情報を付加して、送信メタデータとして送信メタデータ蓄積部９４に蓄積させる。
【０１８４】
ステップＳ１９８において、制御部５１は、平面映像蓄積部５３に蓄積されている平面映像を読み出して再生装置１５に出力する。
【０１８５】
ステップＳ１９９において、制御部５１は、送信メタデータ蓄積部９４に蓄積されている送信メタデータを読み出して、メタデータとして再生装置１５に出力する。
【０１８６】
ステップＳ２００において、制御部５１は、処理の終了が指示されたか否かを判定し、終了が指示されていない場合、処理は、ステップＳ１９１に戻り、それ以降の処理が繰り返される。
【０１８７】
そして、ステップＳ２００において、処理の終了が指示された場合、処理が終了する。
【０１８８】
以上の処理により、全天球映像、および平面映像に加えて、平面映像が取得されたタイミングに対応する時刻情報が付加されたメタデータが、再生装置１５に送信される。
【０１８９】
尚、再生装置１５においては、平面映像を処理する際、同一の時刻情報を含むメタデータに含まれるパンチルト情報を使用して、図７の再生処理と同様の処理を実行する。このため、再生処理については説明を省略する。
【０１９０】
＜＜４．第２の実施の形態＞＞
以上においては、再生装置１５に対して、全天球映像、平面映像、およびメタデータを供給して、再生装置１５において、回線品質に応じて、全天球映像から平面映像に切り替えられる際、メタデータに基づいて、全天球映像内の、次に切り替えて表示される平面映像に対応する位置に枠を付加して表示する例について説明してきた。
【０１９１】
しかしながら、PC１３において、全天球映像に平面映像の位置を示す枠を付加した枠付き全天球映像を生成し、再生装置１５に対して、全天球映像、および平面映像に加えて、枠付き全天球映像が供給されるようにして、再生装置１５において、切り替えて表示させるようにしてもよい。
【０１９２】
図１２は、PC１３において、全天球映像に平面映像の位置を示す枠を付加した枠付き全天球映像を生成し、再生装置１５に対して、全天球映像、および平面映像に加えて、枠付き全天球映像が供給されるようにして、再生装置１５において、切り替えて表示させるようにした再生システム１の構成例を示している。
【０１９３】
図１２の再生システム１においては、図２のPC１３におけるデータ制御部３２、および遅延処理部３３に代えて、遅延処理部１１１、合成処理部１１２、およびデータ制御部１１３が設けられている点が、図２の再生システム１と異なる。
【０１９４】
また、図１２の再生システム１においては、図２のサーバ１４におけるメタデータ蓄積部５２に代えて枠付き全天球映像蓄積部１２１が設けられ、さらに、再生装置１５において、メタパーサ部７４が省略されている点が、図２の再生システム１と異なる。
【０１９５】
PC１３の遅延処理部１１１は、全天球カメラ１１により撮像された全天球映像を一時的に蓄積し、全天球カメラ１１から全天球映像が出力されるタイミングに合わせて、合成処理部１１２に出力する。
【０１９６】
データ制御部１１３は、雲台１２ａより供給されるパンチルト情報に基づいて、全天球映像内における平面映像の位置と大きさを求め、対応する範囲を特定するための枠データを生成し、合成処理部１１２に出力する。
【０１９７】
合成処理部１１２は、データ制御部１１３より供給される枠データに基づいて、全天球映像内に、平面映像に対応する枠の映像を付加して、枠付き全天球映像を生成して、サーバ１４に出力する。
【０１９８】
サーバ１４の制御部５１は、PC１３より供給される枠付き全天球映像を取得して、枠付き全天球映像蓄積部１２１に蓄積させる。
【０１９９】
そして、制御部５１は、枠付き全天球映像蓄積部１２１に蓄積された枠付き全天球映像を読み出して、再生装置１５に出力する。
【０２００】
これにより、図１２の再生装置１５におけるコネクション制御部７１は、サーバ１４より供給される全天球映像、および平面映像に加えて、さらに、枠付き全天球映像を取得して、デコード部７３に出力する。
【０２０１】
また、デコード部７３は、全天球映像、および平面映像に加えて、さらに、枠付き全天球映像をデコードし、映像制御部７５に出力する。
【０２０２】
映像制御部７５は、切替判定部７２より供給される切替判定情報に基づいて、デコードされた全天球映像、平面映像、および、枠付き全天球映像のいずれかを選択し、レンダリング部７７に出力する。
【０２０３】
＜枠付き全天球映像生成処理＞
次に、図１３のフローチャートを参照して、PC１３における枠付き全天球映像生成処理について説明する。
【０２０４】
尚、枠付き全天球映像生成処理については、図５のフローチャートを参照して説明したメタデータ生成処理に代えて、PC１３においてなされる処理である。
【０２０５】
ステップＳ２２１において、データ制御部１１３は、平面カメラ１２の雲台１２ａより供給されるパンチルト情報を取得する。
【０２０６】
ステップＳ２２２において、データ制御部１１３は、取得したパンチルト情報に基づいて、全天球映像内における平面映像に対応する枠の位置と大きさの情報を枠データとして生成し、合成処理部１１２に出力する。
【０２０７】
ステップＳ２２３において、遅延処理部１１１は、全天球カメラ１１より供給される全天球映像を取得して、一時的に格納し、所定時間だけ遅延させた後、合成処理部１１２に出力する。
【０２０８】
ステップＳ２２４において、合成処理部１１２は、枠データに基づいて、全天球映像上の平面映像に対応する枠の位置と大きさを設定する。
【０２０９】
ステップＳ２２５において、合成処理部１１２は、全天球映像上に、設定された位置と大きさの枠を付加して、枠付き全天球映像を生成し、エンコードして、サーバ１４に出力する。
【０２１０】
ステップＳ２２６において、制御部３１は、処理の終了が指示されたか否かを判定し、終了が指示されていない場合、処理は、ステップＳ２２１に戻り、それ以降の処理が繰り返される。
【０２１１】
そして、ステップＳ２２６において、処理の終了が指示された場合、処理が終了する。
【０２１２】
以上の処理により、平面カメラ１２により平面映像が撮像されたタイミングにおけるパンチルト情報に基づいた枠データが生成されると共に、枠データに基づいて、対応する平面映像の位置と大きさを示す枠が付加された枠付き全天球映像が生成されて、サーバ１４に出力される。
【０２１３】
結果として、全天球映像および平面映像に加えて、枠付き全天球映像が、サーバ１４に送信される。
【０２１４】
＜図１２のサーバによる映像送信処理＞
次に、図１４のフローチャートを参照して、図１２のサーバ１４による映像送信処理について説明する。
【０２１５】
尚、図１４のフローチャートにおけるステップＳ２４１乃至Ｓ２４４，Ｓ２４７の処理は、図６のフローチャートを参照して説明したステップＳ７１乃至Ｓ７４，Ｓ７７の処理と同様であるので、その説明は省略する。
【０２１６】
すなわち、ステップＳ２４５において、制御部５１は、PC１３より供給される枠付き全天球映像を取得して、枠付き全天球映像蓄積部１２１に蓄積させる。
【０２１７】
ステップＳ２４６において、制御部５１は、枠付き全天球映像蓄積部１２１に蓄積されている枠付き全天球映像を読み出して再生装置１５に出力する。
【０２１８】
以上の処理により、全天球映像、平面映像、および枠付き全天球映像が、それぞれ全天球カメラ１１、平面カメラ１２、およびPC１３より供給されて再生装置１５に送信される。
【０２１９】
この際、全天球映像、平面映像、および枠付き全天球映像は、それぞれ対応する同一のタイミングにおける情報が再生装置１５に供給される。
【０２２０】
したがって、図６のフローチャートにおけるステップＳ２４１，Ｓ２４２の処理、ステップＳ２４３，Ｓ２４４の処理、および、ステップＳ２４５，Ｓ２４６の処理は、実質的に並列処理となる。
【０２２１】
＜図１２の再生装置による再生処理＞
次に、図１５のフローチャートを参照して、図１２の再生装置１５による再生処理について説明する。
【０２２２】
ステップＳ２６１において、コネクション制御部７１は、全天球映像、平面映像、および枠付き全天球映像をサーバ１４より取得し、デコード部７３に出力する。
【０２２３】
ステップＳ２６２において、デコード部７３は、コネクション制御部７１より供給された全天球映像、平面映像、および枠付き全天球映像をデコードし、映像制御部７５に出力する。すなわち、映像制御部７５は、デコードされた全天球映像、平面映像、および枠付き全天球映像を取得する。
【０２２４】
ステップＳ２６３において、映像制御部７５は、HMD１６よりヘッドトラッキング情報を取得する。
【０２２５】
ステップＳ２６４において、コネクション制御部７１は、サーバ１４からの全天球映像の回線品質の情報として、例えば、回線速度や、受信されている全天球映像および平面映像のバッファデータの残量の情報を切替判定部７２に出力する。すなわち、切替判定部７２は、回線品質の情報として回線速度や映像のバッファデータの残量の情報を取得する。
【０２２６】
ステップＳ２６５において、切替判定部７２は、回線速度や受信されている全天球映像および平面映像のバッファデータの残量からなる回線品質の情報から、回線速度が所定の速度より高速であるか否かや、バッファデータの残量が所定の閾値以上であるか否かにより、全天球映像を十分に再生可能な回線品質であるか否か、すなわち、全天球映像を再生するか否かを判定する。
【０２２７】
ステップＳ２６５において、回線品質が、全天球映像の再生に十分なものであると判定された場合、切替判定部７２は、全天球映像の再生を指示する切替判定情報を映像制御部７５に出力し、処理は、ステップＳ２６６に進む。
【０２２８】
ステップＳ２６６において、映像制御部７５は、切替判定情報に基づいて、デコードされた全天球映像をレンダリング部７７に出力する。
【０２２９】
ステップＳ２６７において、レンダリング部７７は、全天球映像をレンダリングして、HMD１６に出力し、表示させる。
【０２３０】
ステップＳ２６８において、映像制御部７５は、処理の終了が指示されたか否かを判定し、終了が指示されていない場合、処理は、ステップＳ２６１に戻り、それ以降の処理が繰り返される。
【０２３１】
そして、ステップＳ２６８において、終了が指示されたと判定された場合、処理は、終了する。
【０２３２】
一方、ステップＳ２６５において、全天球映像の再生に十分な回線品質ではないと判定された場合、処理は、ステップＳ２６９に進む。
【０２３３】
ステップＳ２６９において、映像制御部７５は、デコードされた枠付き全天球映像をレンダリング部７７に出力する。
【０２３４】
ステップＳ２７０において、レンダリング部７７は、枠付き全天球映像をレンダリングしてHMD１６に出力して表示させる。
【０２３５】
ステップＳ２７１において、映像制御部７５は、全天球映像から平面映像に遷移させる遷移映像を生成してレンダリング部７７に出力する。
【０２３６】
ステップＳ２７２において、レンダリング部７７は、全天球映像から平面映像に遷移させる遷移映像をレンダリングしてHMD１６に出力して表示させる。
【０２３７】
ステップＳ２７３において、映像制御部７５は、デコードされた平面映像をレンダリング部７７に出力する。
【０２３８】
ステップＳ２７４において、レンダリング部７７は、平面映像をレンダリングしてHMD１６に出力して表示させる。
【０２３９】
すなわち、ステップＳ２７０乃至Ｓ２７４の処理により、HMD１６においては、全天球映像上の平面映像に対応する位置を示す枠が付加された枠付き全天球映像が表示された後、平面映像に遷移する遷移映像が表示され、平面映像の表示に切り替えられる。
【０２４０】
ステップＳ２７５において、コネクション制御部７１は、全天球映像、平面映像、および枠付き全天球映像をサーバ１４より取得し、デコード部７３に出力する。
【０２４１】
ステップＳ２７６において、デコード部７３は、コネクション制御部７１より供給された全天球映像、平面映像、および枠付き全天球映像をデコードし、映像制御部７５に出力する。すなわち、映像制御部７５は、デコードされた全天球映像、平面映像、および枠付き全天球映像を取得する。
【０２４２】
ステップＳ２７７において、映像制御部７５は、HMD１６よりヘッドトラッキング情報を取得する。
【０２４３】
ステップＳ２７８において、コネクション制御部７１は、サーバ１４からの全天球映像の回線品質の情報として、例えば、回線速度や、受信されている全天球映像および平面映像のバッファデータの残量の情報を切替判定部７２に出力する。すなわち、切替判定部７２は、回線品質の情報として回線速度や映像のバッファデータの残量の情報を取得する。
【０２４４】
ステップＳ２７９において、切替判定部７２は、回線速度や受信されている全天球映像および平面映像のバッファデータの残量からなる回線品質の情報から、回線速度が所定の速度より高速であるか否かや、バッファデータの残量が所定の閾値以上であるか否かにより、全天球映像を十分に再生可能な回線品質であるか否か、すなわち、全天球映像を再生するか否かを判定する。
【０２４５】
ステップＳ２７９において、回線品質が、全天球映像の再生に十分なものではないと判定された場合、切替判定部７２は、平面映像の再生を指示する切替判定情報を映像制御部７５に出力し、処理は、ステップＳ２８０に進む。
【０２４６】
ステップＳ２８０において、映像制御部７５は、処理の終了が指示されたか否かを判定し、終了が指示されていない場合、処理は、ステップＳ２７３に戻り、それ以降の処理が繰り返される。
【０２４７】
そして、ステップＳ２８０において、終了が指示されたと判定された場合、処理は、終了する。
【０２４８】
すなわち、全天球映像の再生に十分な回線品質が得られない状態が継続した場合、ステップＳ２７３乃至Ｓ２８０の処理が繰り返されて、HMD１６に平面映像がレンダリングされて表示され続ける。
【０２４９】
また、ステップＳ２７９において、回線品質が、全天球映像の再生に十分なものであると判定された場合、切替判定部７２は、全天球映像の再生を指示する切替判定情報を映像制御部７５に出力し、処理は、ステップＳ２８１に進む。
【０２５０】
ステップＳ２８１において、映像制御部７５は、平面映像から全天球映像に遷移させる遷移映像を生成してレンダリング部７７に出力する。
【０２５１】
ステップＳ２８２において、レンダリング部７７は、遷移映像を表示するようにHMD１６に出力して表示させる。
【０２５２】
ステップＳ２８３において、映像制御部７５は、デコードされた枠付き全天球映像をレンダリング部７７に出力する。
【０２５３】
ステップＳ２８４において、レンダリング部７７は、枠付き全天球映像を表示するようにHMD１６に出力して表示させ、処理は、ステップＳ２６６に戻る。
【０２５４】
すなわち、全天球映像から平面映像に遷移した場合と逆の処理により、平面映像から全天球映像に遷移するときにも、遷移映像により全天球映像に遷移した後、枠付き全天球映像が表示されてから、全天球映像が表示される。
【０２５５】
＜図１２のHMDによる表示処理＞
次に、図１６のフローチャートを参照して、図１２のHMD１６による表示処理について説明する。
【０２５６】
ステップＳ２９１において、HMD１６のヘッドトラッキング情報取得部８２は、ユーザのヘッドトラッキング情報を取得する。
【０２５７】
ステップＳ２９２において、ヘッドトラッキング情報取得部８２は、取得したヘッドトラッキング情報を再生装置１５に出力する。
【０２５８】
ステップＳ２９３において、制御部８１は、再生装置１５より供給される全天球映像、平面映像、遷移映像、または、枠付き全天球映像を取得して、表示部８３に表示させる。
【０２５９】
ステップＳ２９４において、制御部８１は、処理の終了が指示されたか否かを判定し、終了が指示されていない場合、処理は、ステップＳ２９１に戻り、それ以降の処理が繰り返される。
【０２６０】
そして、ステップＳ２９４において、終了が指示されたと判定された場合、処理は、終了する。
【０２６１】
以上の一連の処理により、ヘッドトラッキング情報が取得されて、再生装置１５に出力され続けると共に、再生装置１５より供給される全天球映像、平面映像、または、枠付き全天球映像が取得されて、表示部８３に表示され続ける。
【０２６２】
これにより、回線品質に応じて、全天球映像、または平面映像が切り替えられて、切り替えられる際、全天球映像内に、対応する平面映像の位置と大きさの枠が付された枠付き全天球映像が表示されることにより、全天球映像から平面映像に切り替えられても、ユーザがどの位置の平面映像に切り替えられたかを認識することが可能となる。
【０２６３】
また、平面映像から全天球映像に切り替えられる際にも、遷移された後に、枠付き全天球映像が一時的に表示されることにより、全天球映像におけるどの位置の平面映像から全天球映像に切り替えられたかを認識することが可能となる。
【０２６４】
結果として、広画角映像と、広画角映像の一部となる平面映像とを違和感なく切り替えて視聴することが可能となる。
【０２６５】
＜＜５．ソフトウェアにより実行させる例＞＞
ところで、上述した一連の処理は、ハードウェアにより実行させることもできるが、ソフトウェアにより実行させることもできる。一連の処理をソフトウェアにより実行させる場合には、そのソフトウェアを構成するプログラムが、専用のハードウェアに組み込まれているコンピュータ、または、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のコンピュータなどに、記録媒体からインストールされる。
【０２６６】
図１７は、汎用のコンピュータの構成例を示している。このパーソナルコンピュータは、CPU(Central Processing Unit)１００１を内蔵している。CPU１００１にはバス１００４を介して、入出力インタフェース１００５が接続されている。バス１００４には、ROM(Read Only Memory)１００２およびRAM(Random Access Memory)１００３が接続されている。
【０２６７】
入出力インタフェース１００５には、ユーザが操作コマンドを入力するキーボード、マウスなどの入力デバイスよりなる入力部１００６、処理操作画面や処理結果の画像を表示デバイスに出力する出力部１００７、プログラムや各種データを格納するハードディスクドライブなどよりなる記憶部１００８、LAN（Local Area Network）アダプタなどよりなり、インターネットに代表されるネットワークを介した通信処理を実行する通信部１００９が接続されている。また、磁気ディスク（フレキシブルディスクを含む）、光ディスク（CD-ROM(Compact Disc-Read Only Memory)、DVD(Digital Versatile Disc)を含む）、光磁気ディスク（ＭＤ(Mini Disc)を含む）、もしくは半導体メモリなどのリムーバブル記憶媒体１０１１に対してデータを読み書きするドライブ１０１０が接続されている。
【０２６８】
CPU１００１は、ROM１００２に記憶されているプログラム、または磁気ディスク、光ディスク、光磁気ディスク、もしくは半導体メモリ等のリムーバブル記憶媒体１０１１ら読み出されて記憶部１００８にインストールされ、記憶部１００８からRAM１００３にロードされたプログラムに従って各種の処理を実行する。RAM１００３にはまた、CPU１００１が各種の処理を実行する上において必要なデータなども適宜記憶される。
【０２６９】
以上のように構成されるコンピュータでは、CPU１００１が、例えば、記憶部１００８に記憶されているプログラムを、入出力インタフェース１００５及びバス１００４を介して、RAM１００３にロードして実行することにより、上述した一連の処理が行われる。
【０２７０】
コンピュータ（CPU１００１）が実行するプログラムは、例えば、パッケージメディア等としてのリムーバブル記憶媒体１０１１に記録して提供することができる。また、プログラムは、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の伝送媒体を介して提供することができる。
【０２７１】
コンピュータでは、プログラムは、リムーバブル記憶媒体１０１１をドライブ１０１０に装着することにより、入出力インタフェース１００５を介して、記憶部１００８にインストールすることができる。また、プログラムは、有線または無線の伝送媒体を介して、通信部１００９で受信し、記憶部１００８にインストールすることができる。その他、プログラムは、ROM１００２や記憶部１００８に、あらかじめインストールしておくことができる。
【０２７２】
なお、コンピュータが実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであっても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで処理が行われるプログラムであっても良い。
【０２７３】
尚、図１７におけるCPU１００１が、図２の制御部３１，５１，８１、映像制御部７５の機能を実現させる。
【０２７４】
また、本明細書において、システムとは、複数の構成要素（装置、モジュール（部品）等）の集合を意味し、すべての構成要素が同一筐体中にあるか否かは問わない。したがって、別個の筐体に収納され、ネットワークを介して接続されている複数の装置、及び、１つの筐体の中に複数のモジュールが収納されている１つの装置は、いずれも、システムである。
【０２７５】
なお、本開示の実施の形態は、上述した実施の形態に限定されるものではなく、本開示の要旨を逸脱しない範囲において種々の変更が可能である。
【０２７６】
例えば、本開示は、１つの機能をネットワークを介して複数の装置で分担、共同して処理するクラウドコンピューティングの構成をとることができる。
【０２７７】
また、上述のフローチャートで説明した各ステップは、１つの装置で実行する他、複数の装置で分担して実行することができる。
【０２７８】
さらに、１つのステップに複数の処理が含まれる場合には、その１つのステップに含まれる複数の処理は、１つの装置で実行する他、複数の装置で分担して実行することができる。
【０２７９】
尚、本開示は、以下のような構成も取ることができる。
【０２８０】
＜１＞  広画角映像と、前記広画角映像の一部の画角に対応する部分映像との表示を切り替える切替条件を満たすか否かを判定する切替判定部と、
前記切替判定部の判定結果に基づいて、前記広画角映像と前記部分映像とを選択的に表示させる映像制御部とを備え、
前記映像制御部は、前記切替判定部の判定結果に基づいて、前記広画角映像と前記部分映像との表示を切り替えるとき、前記広画角映像に対応する前記部分映像の画角を示す表示情報が付加された前記広画角映像を表示させる
再生装置。
＜２＞  前記広画角映像、および前記部分映像を外部のサーバより取得する映像取得部をさらに含む
＜１＞に記載の再生装置。
＜３＞  前記切替判定部は、前記映像取得部により前記広画角映像を取得する前記サーバとの回線品質に基づいて、前記広画角映像と前記部分映像との表示を切り替える前記切替条件を満たすか否かを判定する
＜２＞に記載の再生装置。
＜４＞  前記切替条件は、前記回線品質が所定の回線速度よりも高速であるか否か、および、前記広画角映像と前記部分映像のバッファデータの残量が所定の閾値よりも大きいか否かの少なくともいずれかである
＜３＞に記載の再生装置。
＜５＞  前記広画角映像に対応する前記部分映像の画角の位置とサイズを特定するためのメタデータを前記サーバより取得するメタデータ取得部をさらに含み、
前記映像制御部は、前記メタデータに基づいて、前記広画角映像に対応する前記部分映像の画角を示す表示情報が付加された前記広画角映像を表示させる
＜２＞に記載の再生装置。
＜６＞  前記メタデータは、前記部分映像を撮像する部分映像撮像部の撮像位置とパンチルトの情報からなるパンチルト情報に基づいて生成される
＜５＞に記載の再生装置。
＜７＞  前記メタデータ取得部は、前記部分映像が前記映像取得部により取得されるタイミングと同一のタイミングで取得されるように調整された状態で前記メタデータを取得する
＜５＞に記載の再生装置。
＜８＞  前記メタデータ取得部は、対応する前記部分映像が供給される時刻情報を含む前記メタデータを取得し、
前記映像制御部は、前記部分映像と対応する時刻情報を含む前記メタデータを用いて、前記広画角映像に対応する前記部分映像の画角を示す表示情報が付加された前記広画角映像を表示させる
＜５＞に記載の再生装置。
＜９＞  前記広画角映像に対応する前記部分映像の画角を示す前記表示情報は、前記広画角映像に対応する前記部分映像の画角を示す枠である
＜１＞乃至＜８＞のいずれかに記載の再生装置。
＜１０＞  前記映像取得部は、前記広画角映像、および前記部分映像に加えて、前記広画角映像に対応する前記部分映像の画角を示す前記表示情報が付加された前記広画角映像を取得する
＜２＞に記載の再生装置。
＜１１＞  前記広画角映像に対応する前記部分映像の画角を示す前記表示情報が付加された前記広画角映像は、前記部分映像を撮像する部分映像撮像部の撮像位置とパンチルトの情報からなるパンチルト情報に基づいて、前記広画角映像に前記表示情報が付加されて生成される
＜１０＞に記載の再生装置。
＜１２＞  前記切替判定部は、前記広画角映像からなるコンテンツの演出内容に基づいて、前記広画角映像と前記部分映像との表示を切り替える切替条件を満たすか否かを判定する
＜１＞に記載の再生装置。
＜１３＞  前記映像制御部は、前記広画角映像が表示されている場合、前記切替判定部の判定結果に基づいて、前記広画角映像から前記部分映像へと表示を切り替える直前のタイミングにおいて、前記広画角映像に対応する前記部分映像の画角を示す表示情報が付加された前記広画角映像を表示する
＜１＞乃至＜１２＞のいずれかに記載の再生装置。
＜１４＞  前記映像制御部は、前記広画角映像から前記部分映像へと表示を切り替えるとき、前記広画角映像から前記部分映像へと遷移する遷移映像を表示する
＜１３＞に記載の再生装置。
＜１５＞  前記映像制御部は、前記広画角映像から前記部分映像へと表示を切り替えるとき、前記広画角映像の画角を拡大させながら前記部分映像へと遷移する遷移映像を表示する
＜１４＞に記載の再生装置。
＜１６＞  前記映像制御部は、前記部分映像が表示されている場合、前記切替判定部の判定結果に基づいて、前記部分映像から前記広画角映像へと表示を切り替えた直後のタイミングにおいて、前記広画角映像に対応する前記部分映像の画角を示す表示情報が付加された前記広画角映像を表示する
＜１＞乃至＜１２＞のいずれかに記載の再生装置。
＜１７＞  前記映像制御部は、前記部分映像から前記広画角映像へと表示を切り替えるとき、前記部分映像から前記広画角映像へと遷移する遷移映像を表示する
＜１６＞に記載の再生装置。
＜１８＞  前記映像制御部は、前記部分映像から前記広画角映像へと表示を切り替えるとき、前記部分映像の画角を縮小させながら前記広画角映像へと遷移する遷移映像を表示する
＜１７＞に記載の再生装置。
＜１９＞  広画角映像と、前記広画角映像の一部の画角に対応する部分映像との表示を切り替える切替条件を満たすか否かを判定する切替判定処理と、
前記切替判定処理の判定結果に基づいて、前記広画角映像と前記部分映像とを選択的に表示させる映像制御処理とを備え、
前記映像制御処理は、前記切替判定処理の判定結果に基づいて、前記広画角映像と前記部分映像との表示を切り替えるとき、前記広画角映像に対応する前記部分映像の画角を示す表示情報を伴う前記広画角映像を表示する
再生方法。
＜２０＞  広画角映像と、前記広画角映像の一部の画角に対応する部分映像との表示を切り替える切替条件を満たすか否かを判定する切替判定部と、
前記切替判定部の判定結果に基づいて、前記広画角映像と前記部分映像とを選択的に表示させる映像制御部としてコンピュータを機能させ、
前記映像制御部は、前記切替判定部の判定結果に基づいて、前記広画角映像と前記部分映像との表示を切り替えるとき、前記広画角映像に対応する前記部分映像の画角を示す表示情報を伴う前記広画角映像を表示する
プログラム。
【符号の説明】
【０２８１】
１  再生システム，  １１  全天球カメラ，  １２  平面カメラ，  １３  PC，  １４  サーバ，  １５  再生装置，  HMD，  ３１  制御部，  ３２  データ制御部，  ３３  遅延処理部，  ５１  制御部，  ５２  メタデータ蓄積部，  ５３  平面映像蓄積部，  ５４  全天球映像蓄積部，  ７１  コネクション制御部，  ７２  切替判定部，  ７３  デコード部，  ７４  メタパーサ部，  ７５  映像制御部，  ７６  レンダリング部，  ８１  制御部，  ８２  ヘッドトラッキング情報取得部，  ８３  表示部，  ９１  受信メタデータ蓄積部，  ９２  映像監視部，  ９３  時刻情報生成部，  ９４  送信メタデータ蓄積部，  １１１  遅延処理部，  １１２  合成処理部，  １１３  データ制御部，  １２１  枠付き全天球映像蓄積部
【図１】
2020162218.tif 000003
【図２】
2020162218.tif 000004
【図３】
2020162218.tif 000005
【図４】
2020162218.tif 000006
【図５】
2020162218.tif 000007
【図６】
2020162218.tif 000008
【図７】
2020162218.tif 000009
【図８】
2020162218.tif 000010
【図９】
2020162218.tif 000011
【図１０】
2020162218.tif 000012
【図１１】
2020162218.tif 000013
【図１２】
2020162218.tif 000014
【図１３】
2020162218.tif 000015
【図１４】
2020162218.tif 000016
【図１５】
2020162218.tif 000017
【図１６】
2020162218.tif 000018
【図１７】
2020162218.tif 000019
【国際調査報告】
2020162218.tif 000020
2020162218.tif 000021
2020162218.tif 000022
2020162218.tif 000023