(57)【要約】【課題】高精細映像の部分配信を行う際に、ＶＯＤ配信方式を適用することができるようにする。【解決手段】全体映像データのうち指定された一部領域である映像再生領域の映像データを映像再生装置に対して配信する映像配信装置であって、全体映像データに対して、映像再生領域を識別する再生領域番号と、複数の全体映像のフレームからなるＧＯＰに対してシーケンス番号とを付与して、ＶＯＤ配信を行うのに必要な全体映像データをＧＯＰ毎に保存する手段と、映像再生領域を識別する再生領域番号と、ＧＯＰに対して付与されたシーケンス番号とに基づきランダムアクセスを行うためのインデックス情報を生成し、生成したインデックス情報からＶＯＤ配信を行う際に必要な再生領域位置情報を生成して保存する手段とを備えた。【選択図】図１
2015222861.tif 000002
【特許請求の範囲】
【請求項１】
全体映像データのうち指定された一部領域である映像再生領域の映像データを映像再生装置に対して配信する映像配信装置であって、
前記全体映像データに対して、前記映像再生領域を識別する再生領域番号と、複数の前記全体映像のフレームからなるＧＯＰに対してシーケンス番号とを付与して、ＶＯＤ配信を行うのに必要な前記全体映像データをＧＯＰ毎に保存する映像データ保存手段と、
前記映像再生領域を識別する再生領域番号と、前記ＧＯＰに対して付与された前記シーケンス番号とに基づきランダムアクセスを行うためのインデックス情報を生成し、生成したインデックス情報から前記ＶＯＤ配信を行う際に必要な再生領域位置情報を生成して保存する再生領域位置情報保存手段と
を備えたことを特徴とする映像配信装置。
【請求項２】
前記映像再生装置からＶＯＤ配信を要求された際に、前記映像再生装置から、画面操作に応じて注視領域情報を受信するとともに、映像のジャンプ時に必要に応じて再生時間情報を受信し、前記再生領域位置情報保存手段に保存されている前記再生領域位置情報を参照して、前記注視領域情報と前記再生時間情報とに基づく配信すべき前記映像データを特定し、特定した前記映像データを前記映像データ保存手段から読み出して前記映像再生装置に対して配信する配信手段をさらに備えたことを特徴とする請求項１に記載の映像配信装置。
【請求項３】
前記映像データ保存手段は、ライブ映像を配信している際に、前記全体映像データを保存し、
前記再生領域位置情報保存手段は、前記ライブ映像の配信と並行して、前記ＶＯＤ配信を行う際に必要な再生領域位置情報を生成して保存することを特徴とする請求項１または２に記載の映像配信装置。
【請求項４】
請求項２に記載の映像配信装置から映像データを受信して再生する映像再生装置であって、
前記映像配信装置に対してＶＯＤ配信を要求する際に、前記映像配信装置に対して、画面操作に応じて注視領域情報を送信するとともに、映像のジャンプ時に必要に応じて再生時間情報を送信し、該要求に応じて、前記映像配信装置が配信した前記映像データを受信して再生する再生手段を備えたことを特徴とする映像再生装置。
【請求項５】
全体映像データのうち指定された一部領域である映像再生領域の映像データを映像再生装置に対して配信する映像配信装置が行う映像配信方法であって、
ライブ映像を配信している際に、前記映像再生領域を識別する再生領域番号と、複数の前記全体映像のフレームからなるＧＯＰに対してシーケンス番号とを付与して、ＶＯＤ配信を行うのに必要な前記全体映像データをＧＯＰ毎に保存する映像データ保存ステップと、
ライブ映像を配信している際に、前記映像再生領域を識別する再生領域番号と、前記ＧＯＰに対して付与された前記シーケンス番号とに基づきランダムアクセスを行うためのインデックス情報を生成し、生成したインデックス情報から前記ＶＯＤ配信を行う際に必要な再生領域位置情報を生成して保存する再生領域位置情報保存ステップと、
前記映像再生装置からＶＯＤ配信を要求された際に、前記映像再生装置から、画面操作に応じて注視領域情報を受信するとともに、映像のジャンプ時に必要に応じて再生時間情報を受信し、前記再生領域位置情報保存ステップによって保存されている前記再生領域位置情報を参照して、前記注視領域情報と前記再生時間情報とに基づく配信すべき前記映像データを特定し、特定した前記映像データを前記映像データ保存ステップによって保存された前記全体映像データの中から読み出して前記映像再生装置に対して配信する配信ステップと
を有することを特徴とする映像配信方法。
【請求項６】
請求項５に記載の映像配信方法によって配信された映像データを受信して再生する映像再生装置が行う映像再生方法であって、
前記映像配信装置に対してＶＯＤ配信を要求する際に、前記映像配信装置に対して、画面操作に応じて注視領域情報を送信するとともに、映像のジャンプ時に必要に応じて再生時間情報を送信し、該要求に応じて、前記映像配信装置が配信した前記映像データを受信して再生する再生ステップを有することを特徴とする映像再生方法。
【請求項７】
コンピュータを、請求項１から３のいずれか１項に記載の映像配信装置として機能させるための映像配信プログラム。
【請求項８】
コンピュータを、請求項４に記載の映像再生装置として機能させるための映像再生プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、映像配信装置、映像再生装置、映像配信方法、映像再生方法、映像配信プログラム及び映像再生プログラムに関する。
【背景技術】
【０００２】
近年、４Ｋ、８Ｋおよび巨大なパノラマ映像等のハイビジョン品質を大きく上回る解像度を持つ高精細映像から、視聴者が好みの位置や大きさで自由に操作しながら視聴する技術の研究が行われている。例えば、非特許文献１では、ハイビジョン品質を越える解像度の巨大なパノラマ映像を対象としている。図５は、巨大なパノラマ映像を複数のタイルに分割した例を示す説明図である。非特許文献１は、図５に示すように、巨大なパノラマ映像を複数のタイルに分割し、それぞれのタイル単位で映像符号化を行っている。
【０００３】
視聴者が、巨大なパノラマ映像から、好みの位置や大きさを自由に操作しながら視聴する場合は、１つのパノラマ映像ストリームから、視聴者の視聴している領域（表示領域）を含むいくつかのタイルのみを読み込んで復号し、その復号結果の画像からクリッピングして表示装置への表示を行っている（図６参照）。図６は、縦３タイル、横４タイルを読み込んで復号し、表示画像部分の画像をクリッピングして表示する例を示す説明図である。図６のように、表示画像を含むタイルのみを配信することで、視聴者が好みの位置や大きさで自由に操作しながら視聴することができる。
【０００４】
非特許文献１では、複数のタイルを復号することから、高精細映像の一部を再生する端末として、ハイスペックのパソコンを使用することを前提としている。これに加えて、非特許文献２では、ロースペックのタブレット端末やスマートフォンで、高精細映像の一部の再生を可能とする技術の検討も行われている。
【０００５】
非特許文献２では、巨大なパノラマ映像を、まず複数の解像度に分割した上で、さらに、各解像度の映像を一定サイズの矩形を少しずつずらしたビューに分割し、それぞれのビュー単位で映像符号化を行っている。図７は、高精細映像に対するビューの構成例を示す図である。図７に示すように、解像度を３段階の高解像度、中解像度、低解像度の分けて、それぞれの映像から一定サイズの矩形を少しずつずらしたビューを構成している。図７において、（１）〜（３）、（１１）、（１２）、（２０）がそれぞれビューである。非特許文献２では、国際標準規格であるＨ．２６４／ＭＶＣ（Multi View Coding）フォーマットに従って、各ビューの映像符号化データをまとめて１つのパノラマ映像ストリームを構成している。
【０００６】
その上で、視聴者が、巨大なパノラマ映像から、好みの位置や大きさを自由に操作しながら視聴する場合は、この１つのパノラマ映像ストリームから、視聴者の視聴している領域（表示領域）を含む最適な解像度のビューと、パノラマ映像全体を含んだ最低解像度のビューの２つのビューを読み込んで復号し、これらの最適な解像度の映像と最低解像度の映像の復号結果を重畳したうえで、画像からクリッピングして表示デバイスへの表示を行っている。
【０００７】
また、非特許文献１においても図５に示す高精細映像の解像度を下げた全体を含む縮小映像を使用することで、同様に重畳表示により、画像からクリッピングして表示デバイスへの表示を行っている。
【０００８】
視聴者の操作により表示画像の位置や大きさが変化した場合は、これに追随して読み込む最適な解像度のビューの位置を変更（位置変化時）や、あるいは最適な解像度を変更（大きさ変化時）して、これらを復号化することで、映像が時間的にも、空間的にも途切れることなく表示を継続可能とするシステムとなっている。
【０００９】
次に、図８を参照して、高精細映像ストリームを配信サーバから低スペックの端末への映像ストリームの配信動作を説明する。図８は、映像ストリームの配信動作を示す図である。まず、クライアント端末から、映像の表示領域が含まれる、適切な高解像度のビュー（図８のビューＡ）と、最低解像度のビュー（図８のビューＢ）とを配信要求する（図８（ｉ））。続いて、配信サーバは、クライアント端末から要求されたビューＡ、ビューＢを配信する（図８（ｉｉ））。
【００１０】
これを受けて、クライアント端末は、適切な高解像度のビュー（ビューＡ）と最低解像度のビュー（ビューＢ）を同時にデコード（２つのビューを復号）して重畳した映像を得る（図８（ｉｉｉ））。クライアント端末は、得られた映像から視聴者の要求する位置、大きさの映像をクリッピングして、画面に表示する（図８（ｉｖ））。
【００１１】
この処理動作の後、視聴者の要求する位置、大きさ（映像の表示領域）が変更された場合は、適切な高解像度のビューを変更して、前述した処理動作を繰り返す。
【００１２】
次に、図９を参照して、図８に示す配信サーバとクライアント端末の構成を説明する。図９は、配信サーバ１０とクライアント端末２０の構成を示すブロック図である。図９に示す配信サーバ１０とクライアント端末２０とからなる高精細映像部分配信システムにおいて、ライブ映像などをリアルタイムに映像／音声情報出力部１１から映像情報、音声情報が送出され、映像／音声符号化部１２において符号化する。
【００１３】
映像／音声符号化部１２では、映像情報を複数の映像に分割（例えば、図５や図７のような分割）して符号化する。このとき、複数の映像の位置を複数映像位置情報送信部１３に出力する。なお、複数映像位置情報としては、例えば図５のような分割の場合は、映像のサイズ（複数の解像度が有る場合は、それぞれの解像度毎の映像サイズ）、タイルのサイズを映像位置情報とし、予め左上からラスタスキャンして番号を付与するといった取り決めにより、映像位置を確定することができる。
【００１４】
また、複数映像位置情報としては、例えば図７のような分割の場合は、映像のサイズ（複数の解像度が有る場合は、それぞれの解像度毎の映像サイズ）、ビューのサイズ、およびビューの左右のずらし量と上下のずらし量を映像位置情報とし、予め左上からラスタスキャンして番号を付与するといった取り決めにより、映像位置を確定することができる。
【００１５】
そして、送信部１５を介して、クライアント端末２０側の受信部２４に符号化済の映像情報、符号化済の音声情報を送信する。その後、映像／音声復号化部２５は、符号化済の映像情報、符号化済の音声情報の復号を行う。映像／音声再生部２６は、視聴者が映像／音声の視聴を可能となるように映像と音声を再生する。
【００１６】
なお、本システムの特徴として、クライアント端末２０の複数映像位置情報受信部２１から画面操作制御部２２に対して複数映像位置情報を伝え、視聴者が視聴している注視領域（＝表示領域）が変更された場合には、複数映像位置情報から、変更された視聴者の注視領域を抽出し、これを注視領域要求部２３に伝え、さらに、これを配信サーバ１０側の注視領域制御部１６に送信する。これにより、配信サーバ１０側ではクライアント端末２０側の注視領域にあった最適な解像度の映像と最低解像度の映像の、複数の映像を送信部１５に出力することで、視聴者の注視領域に適合した符号化済の映像情報が送信され、変更された視聴者の注視領域が視聴可能となる。
【先行技術文献】
【非特許文献】
【００１７】
【非特許文献１】Hideaki Kimata, Shinya Shimizu, Yutaka Kunita, Megumi Isogai, and Yoshimitsu Ohtani :「Panorama video coding for user-driven interactive video application」,IEEE International Symposium on Consumer Electronics (ISCE) 2009,2009.
【非特許文献２】Hideaki Kimata, Daisuke Ochi, Akio Kameda, Hajime Noto, Katsuhiko Fukazawa, and Akira Kojima, "Mobile and Multi-device Interactive Panorama Video Distribution System,"IEEE GCCE 2012, 2012.
【発明の概要】
【発明が解決しようとする課題】
【００１８】
しかしながら、図９に示す高精細映像部分配信システムにあっては、ライブ映像などを配信するためにリアルタイムで映像配信を行うことを想定したものであったため、リアルタイムで映像配信を行った後にＶＯＤ（Video on Demand）配信方式を適用することができないという問題がある。
【００１９】
本発明は、このような事情に鑑みてなされたもので、高精細映像の部分配信を行う際に、ＶＯＤ配信方式を適用することができる映像配信装置、映像再生装置、映像配信方法、映像再生方法、映像配信プログラム及び映像再生プログラムを提供することを目的とする。
【課題を解決するための手段】
【００２０】
本発明は、全体映像データのうち指定された一部領域である映像再生領域の映像データを映像再生装置に対して配信する映像配信装置であって、前記全体映像データに対して、前記映像再生領域を識別する再生領域番号と、複数の前記全体映像のフレームからなるＧＯＰに対してシーケンス番号とを付与して、ＶＯＤ配信を行うのに必要な前記全体映像データをＧＯＰ毎に保存する映像データ保存手段と、前記映像再生領域を識別する再生領域番号と、前記ＧＯＰに対して付与された前記シーケンス番号とに基づきランダムアクセスを行うためのインデックス情報を生成し、生成したインデックス情報から前記ＶＯＤ配信を行う際に必要な再生領域位置情報を生成して保存する再生領域位置情報保存手段とを備えたことを特徴とする。
【００２１】
本発明は、前記映像再生装置からＶＯＤ配信を要求された際に、前記映像再生装置から、画面操作に応じて注視領域情報を受信するとともに、映像のジャンプ時に必要に応じて再生時間情報を受信し、前記再生領域位置情報保存手段に保存されている前記再生領域位置情報を参照して、前記注視領域情報と前記再生時間情報とに基づく配信すべき前記映像データを特定し、特定した前記映像データを前記映像データ保存手段から読み出して前記映像再生装置に対して配信する配信手段をさらに備えたことを特徴とする。
【００２２】
本発明は、前記映像データ保存手段は、ライブ映像を配信している際に、前記全体映像データを保存し、前記再生領域位置情報保存手段は、前記ライブ映像の配信と並行して、前記ＶＯＤ配信を行う際に必要な再生領域位置情報を生成して保存することを特徴とする。
【００２３】
本発明は、請求項２に記載の映像配信装置から映像データを受信して再生する映像再生装置であって、前記映像配信装置に対してＶＯＤ配信を要求する際に、前記映像配信装置に対して、画面操作に応じて注視領域情報を送信するとともに、映像のジャンプ時に必要に応じて再生時間情報を送信し、該要求に応じて、前記映像配信装置が配信した前記映像データを受信して再生する再生手段を備えたことを特徴とする。
【００２４】
本発明は、全体映像データのうち指定された一部領域である映像再生領域の映像データを映像再生装置に対して配信する映像配信装置が行う映像配信方法であって、ライブ映像を配信している際に、前記映像再生領域を識別する再生領域番号と、複数の前記全体映像のフレームからなるＧＯＰに対してシーケンス番号とを付与して、ＶＯＤ配信を行うのに必要な前記全体映像データをＧＯＰ毎に保存する映像データ保存ステップと、ライブ映像を配信している際に、前記映像再生領域を識別する再生領域番号と、前記ＧＯＰに対して付与された前記シーケンス番号とに基づきランダムアクセスを行うためのインデックス情報を生成し、生成したインデックス情報から前記ＶＯＤ配信を行う際に必要な再生領域位置情報を生成して保存する再生領域位置情報保存ステップと、前記映像再生装置からＶＯＤ配信を要求された際に、前記映像再生装置から、画面操作に応じて注視領域情報を受信するとともに、映像のジャンプ時に必要に応じて再生時間情報を受信し、前記再生領域位置情報保存ステップによって保存されている前記再生領域位置情報を参照して、前記注視領域情報と前記再生時間情報とに基づく配信すべき前記映像データを特定し、特定した前記映像データを前記映像データ保存ステップによって保存された前記全体映像データの中から読み出して前記映像再生装置に対して配信する配信ステップとを有することを特徴とする。
【００２５】
本発明は、請求項５に記載の映像配信方法によって配信された映像データを受信して再生する映像再生装置が行う映像再生方法であって、前記映像配信装置に対してＶＯＤ配信を要求する際に、前記映像配信装置に対して、画面操作に応じて注視領域情報を送信するとともに、映像のジャンプ時に必要に応じて再生時間情報を送信し、該要求に応じて、前記映像配信装置が配信した前記映像データを受信して再生する再生ステップを有することを特徴とする。
【００２６】
本発明は、コンピュータを、前記映像配信装置として機能させるための映像配信プログラムである。
【００２７】
本発明は、コンピュータを、前記映像再生装置として機能させるための映像再生プログラムである。
【発明の効果】
【００２８】
本発明によれば、高精細映像の部分配信を行う際に、リアルタイムで映像配信を行った後にＶＯＤ配信方式を適用することができるという効果が得られる。
【図面の簡単な説明】
【００２９】
【図１】本発明の一実施形態の構成を示すブロック図である。
【図２】図１に示す映像／音声符号化部１２ａと送信部１５ａの処理動作を示す説明図である。
【図３】リアルタイムなインデックス情報の具体的な作成方法を示す説明図である。
【図４】データ位置の算出方法を示すフローチャートである。
【図５】巨大なパノラマ映像を複数のタイルに分割した例を示す説明図である。
【図６】縦３タイル、横４タイルを読み込んで復号し、表示画像部分の画像をクリッピングして表示する例を示す説明図である。
【図７】高精細映像に対するビューの構成例を示す図である。
【図８】映像ストリームの配信動作を示す図である。
【図９】配信サーバ１０とクライアント端末２０の構成を示すブロック図である。
【発明を実施するための形態】
【００３０】
以下、図面を参照して、本発明の一実施形態による映像配信装置、映像再生装置を説明する。図１は同実施形態の構成を示すブロック図である。図１に示す構成は、高精細インタラクティブ映像ライブ配信時のＶＯＤコンテンツ生成を行うことができるものである。この図において、図９に示す従来の装置と同一の部分には同一の符号を付し、その説明を省略する。この図に示す装置が従来の装置と異なる点は、映像／音声符号化部１２ａと送信部１５ａの処理動作が異なる点とＶＯＤファイル保存部１７とビュー位置情報ファイル保存部１８が新たに設けられている点である。また、クライアント端末２０は、ＶＯＤ配信方式を適用して映像再生を行うことが可能である。
【００３１】
ＶＯＤファイル保存部１７は、ライブ配信向けＧＯＰ（Group Of Pictures）内においてランダムアクセス可能な映像／音声符号化部１２ａのＭＶＣ符号化ストリームを保存する。ビュー位置情報ファイル保存部１８は、送信部１５ａにおいて作成されたインデックス情報の各フレーム／ビューの差分からファイルサイズを求め、これらを算出し、累積していくことでリアルタイムに作成したビュー位置情報ファイルを保存する。インデックス情報は、ライブ配信方式の前提となっているライブ配信向けＧＯＰ内においてランダムアクセス可能にするために送信部１５ａにおけるＧＯＰバッファの内容から作成する。
【００３２】
インデックス情報は、（１）ＧＯＰの区切れ目に特殊パケットを挿入する、（２）各フレームの拡張ヘッダにビュー番号を付与する、ことで、ＭＶＣ符号化ストリームを解析することなしにリアルタイムに各フレーム／ビューのアドレスを生成する。
【００３３】
次に、図２を参照して、図１に示す映像／音声符号化部１２ａと送信部１５ａの処理動作を説明する。図２は、図１に示す映像／音声符号化部１２ａと送信部１５ａの処理動作を示す説明図である。図２では、ライブ配信時の映像／音声符号化部１２ａと送信部１５ａにおけるライブ配信向けＧＯＰ内のランダムアクセス方法を示している。
【００３４】
まず、映像／音声符号化部１２ａにおいて各ビューの符号化が完了したとしてＭＶＣ符号化ストリームを生成した後、映像／音声情報保存部１４を介して送信部１５ａに映像情報および音声情報の出力ストリームを送出する際に、以下の（１）、（２）の処理を行う。
（１）ＧＯＰの区切れ目に特殊パケットを挿入する。
（２）各ビュー（図２に示す例ではＧＯＰ先頭フレームのビュー１〜ビュー６）の情報のパケットの拡張ヘッダにビューの番号を付与する。特殊パケットは、ＧＯＰの先頭であることを示すものであり、ＧＯＰを識別可能なシーケンス番号が付与される。図２に示す映像／音声符号化部１２ａでは、仮にビューが６個存在した場合の例を示している。
【００３５】
このように、ＶＯＤによる配信方式するために、一度、映像情報および音声情報を映像／音声符号化部１２ａでリアルタイムに符号化した後、ＶＯＤファイル保存部１７にファイル情報として保存することができる。
【００３６】
次に、送信部１５ａでは、上記（１）、（２）の処理によって付与した情報に基づき、各フレームおよび各ビューへアクセスするためのインデックス情報をリアルタイムに作成する。さらに、図２に示すように、各フレームおよび各ビューのそれぞれにアクセス可能なように１ＧＯＰ単位でバッファ（ＧＯＰバッファ）を持ち映像情報および音声情報を一時的に保存する。１ＧＯＰの映像／音声多重化データは、通常１５フレームであり、約５００ミリ秒の長さに相当する。
【００３７】
次に、図３を参照して、リアルタイムなインデックス情報の具体的な作成方法について説明する。図３は、リアルタイムなインデックス情報の具体的な作成方法を示す説明図である。まず、送信部１５ａは、ＧＯＰバッファ内で管理するメモリ空間の先頭アドレスを決定する。図３に示す例では、先頭アドレスを００００番地としている。
【００３８】
そして、送信部１５ａは、第１フレーム（Ｆｒａｍｅ）のビュー（Ｖｉｅｗ）１が１００Ｂｙｔｅの場合、ＧＯＰバッファ内のメモリ空間のうち、「００００」〜「００９９」番地に第１フレームのビュー１のデータを格納する。これに合わせて、第１フレームのビュー２の先頭アドレスを「０１００」番地と設定できる。
【００３９】
さらに、第１フレームのビュー２が１００Ｂｙｔｅの場合は、ＧＯＰバッファ内のメモリ空間のうち、「０１００」〜「０１９９」番地にデータを格納する。これに合わせて、第１フレームのビュー３の先頭アドレスを「０２００」番地と設定することができる。
【００４０】
この処理動作を繰り返すことで、送信部１５ａにおけるＧＯＰバッファ内のメモリ空間におけるインデックス情報をリアルタイムに作成することができる。
【００４１】
次に、送信部１５ａは、前述のＧＯＰバッファのインデックス情報から、各フレーム／ビューのファイルサイズを算出する。図３に示す例では、
時刻：ｔ
フレーム番号：ｆ
ビューまたはタイル番号：ｉｄ
としたときのファイルサイズは、Ｕ＿ｔ＿ｆ＿ｉｄ（Ｂｙｔｅ）で表される。
【００４２】
次に、ビュー位置情報ファイル保存部１８に保存されるビュー位置情報ファイルについて説明する。ビュー位置情報ファイルは以下のａ）〜ｅ）の要素から構成される。
ａ）データ位置
ｂ）データサイズ
ｃ）タイムスタンプ
ｄ）視点ＩＤ（タイルｏｒビュー番号）
ｅ）映像／音声種別（１：映像、２：音声）
【００４３】
次に、ビュー位置情報ファイルの各要素について説明する。まず、ａ）データ位置について説明する。データ位置は、Ｓ＿ｔ＿ｆ＿ｉｄ（Ｂｙｔｅ）で表される。このとき
時刻：ｔ
フレーム番号：ｆ（最大値はｍ）
視点ｉｄ（タイルｏｒビュー番号）：ｉｄ（最大値はｎ）
を示している。
また、１ＧＯＰ分の時間はｌｇｏｐ（秒）としている。データ位置の算出方法は後述する。
【００４４】
次に、ｂ）データサイズについて説明する。データサイズは、前述したＵ＿ｔ＿ｆ＿ｉｄのファイルサイズによって求めることができる。
【００４５】
次に、ｃ）タイムスタンプについて説明する。タイムスタンプは、「ライブ再生開始からのＧＯＰ数」×ｌｇｏｐ（秒）で求めることができる。
【００４６】
次に、ｄ）視点ＩＤ（タイルｏｒビュー番号）について説明する。視点ＩＤは、視点ｉｄ：ｉｄで求めることができる。
【００４７】
次に、ｅ）映像／音声種別について説明する。映像／音声種別は、予め音声の視点ｉｄ：ｉｄを決定しておくことで、他の映像のビューと識別することができる。
【００４８】
ビュー位置情報ファイルは、データ位置，データサイズ，タイムスタンプ，視点ＩＤ（タイル／ビュー番号），映像／音声種別（１：映像、２：音声）の書式で記述される。この５つのデータを１行として、タイムスタンプ，視点ＩＤ，映像／音声種別毎に符号化時にデータが作成される。
【００４９】
ビュー位置情報ファイルのデータは、例えば、「１２００００，１０００，１００．０００，１，１」と記述される。これは、「映像データであり、視点ＩＤが１でタイムスタンプが１００秒のデータは、先頭から１２００００ｂｙｔｅスキップした後の１０００ｂｙｔｅのデータである」ことを表す。
【００５０】
ビュー位置情報ファイルは、例えば、
１２００００，１０００，１００．０００，１，１
１２１０００，１１００，１００．０００，２，１
１２２１００，１２００，１００．０００，３，１
１２３３００，１０００，１００．０００，４，１
１２４３００，    ５０，１００．０００，１，２
と記述されて保存される。
【００５１】
このように、ビュー位置情報ファイルを作成して、ビュー位置情報ファイル保存部１８に保存することで、高精細インタラクティブ映像ライブ配信時のＶＯＤコンテンツ生成が可能となる。
【００５２】
次に、図４を参照して、データ位置の算出方法を説明する。図４は、データ位置の算出方法を示すフローチャートである。図４に示す処理動作は、送信部１５ａが行うものである。
【００５３】
まず、時刻ｔのデータ位置の初期値をセットする。時刻ｔ＝０の場合のみ、Ｓ＿ｔ＿１＿１＝０とする。そして、Ｓ＿ｔ＿１＿１にＳ（ｔ−ｌｇｏｐ）＿ｍ＿ｎ＋Ｕ＿（ｔ−ｌｇｏｐ）＿ｍ＿ｎを代入する（ステップＳ１）。
【００５４】
次に、フレームｆに１を、ビューｉｄに１を代入する（ステップＳ２）。そして、ビューｉｄにｉｄ＋１を代入する（ステップＳ３）。
【００５５】
次に、フレームｆ＝１のデータ位置を、Ｓ＿ｔ＿ｆ＿ｉｄにＳ＿ｔ＿ｆ（ｉｄ−１）＋Ｕ＿ｔ＿ｆ＿（ｉｄ−１）を代入することによって求める（ステップＳ４）。そして、ビューｉｄ≧ｎ（ｉｄの最大値）を満たすか否かを判定し（ステップＳ５）、満たさなければステップＳ３に戻り、満たせば次へ進む。
【００５６】
次に、フレームｆにｆ＋１を代入し、ビューｉｄに１を代入する（ステップＳ６）。そして、フレームｆ（＞１）のデータ位置初期値を、Ｓ＿ｔ＿ｆ＿１にＳ＿ｔ＿（ｆ−１）＿ｎ＋Ｕ＿ｔ＿（ｆ−１）＿ｎを代入することによって求める（ステップＳ７）。
【００５７】
次に、ビューｉｄにｉｄ＋１を代入する（ステップＳ８）。そして、フレームｆ（＞１）以降の視点ＩＤのデータ位置を、Ｓ＿ｔ＿ｆ＿ｉｄにＳ＿ｔ＿ｆ（ｉｄ−１）＋Ｕ＿ｔ＿ｆ＿（ｉｄ−１）を代入することによって求める（ステップＳ９）。
【００５８】
次に、ビューｉｄ≧ｎを満たすか否かを判定し（ステップＳ１０）、満たさなければステップＳ８に戻り、満たせば次へ進む。
【００５９】
次に、フレームｆ≧ｍ（フレーム番号の最大値）を満たすか否かを判定し（ステップＳ１１）、満たさなければステップＳ６に戻り、満たせば次へ進む。
【００６０】
次に、ライブが終了（映像が終了）か否かを判定し（ステップＳ１２）、満たさなければ、時刻ｔにｔ＋ｌｇｏｐを代入して、ステップＳ１に戻り処理を繰り返す。一方、満たせば（映像が終了すれば）処理を終了する。
【００６１】
次に、配信サーバ１０における映像配信動作を説明する。クライアント端末２０からＶＯＤ配信を要求された際に、注視領域制御部１６がクライアント端末２０から注視領域情報と、再生時間（タイムスタンプ）情報とを受信する。注視領域情報の受信は、クライアント端末２０において、注視領域を変更する画面操作が行われた場合のみであり、注視領域を変更する画面操作が行わなければ、クライアント端末２０から注視領域情報が送信されないため、先に受信した注視領域情報が用いられる。また、再生時間（タイムスタンプ）情報の受信についても、クライアント端末２０において、映像のジャンプ操作（早送りや巻き戻しの操作も含む）が行われた場合のみであり、再生時間を変更する操作が行わなければ、クライアント端末２０から再生時間情報は送信されないため、再生開始からの再生経過時間が再生時間情報として用いられる。これを受けて、映像／音声情報保存部１４は、ビュー位置情報ファイル保存部１８を参照して、注視領域情報と、再生時間（タイムスタンプ）情報とを満たすビュー位置情報を読み出す。そして、映像／音声情報保存部１４は、読み出したビュー位置情報に基づいて、ＶＯＤファイル保存部１７から配信すべき映像データを読み出して送信部１５ａに出力する。これを受けて、送信部１５ａは、この映像データをクライアント端末２０に対して送信する。
【００６２】
次に、クライアント端末２０における映像再生動作を説明する。注視領域要求部２３は、配信サーバ１０に対してＶＯＤ配信を要求する際に、注視領域情報と再生時間（タイムスタンプ）情報とを配信サーバ１０に対して送信する。注視領域情報の送信は、クライアント端末２０において、注視領域を変更する画面操作が行われた場合のみであり、注視領域を変更する画面操作が行わなければ、クライアント端末２０から注視領域情報は送信されない。また、再生時間（タイムスタンプ）情報の受信についても、クライアント端末２０において、映像のジャンプ操作（早送りや巻き戻しの操作も含む）が行われた場合のみであり、再生時間を変更する操作が行わなければ、クライアント端末２０から再生時間情報は送信されない。これを受けて配信サーバ１０は要求された映像データをクライアント端末２０に対して配信する。この配信された映像データを受信部２４が受信し、映像／音声復号化部２５によって復号処理を行った後、映像／音声再生部２６によって映像を再生する。
【００６３】
このように、視聴に際して、映像再生を行うクライアント端末２０側から要求されるビューの情報に応じて映像／音声情報保存部１４に保存されたファイル情報にアクセスする際に、必要となるビューの映像情報のみを取り出すため、ランダムアクセスが可能となる。これを実現するため、映像／音声情報保存部１４に保存された映像情報のファイル情報のどの位置に、どの時間およびどのビューの情報が配置されているかを示すビュー位置情報ファイルをビュー位置情報ファイル保存部１８に保存するようにした。このため、ライブ配信用バッファのインデックス情報とは別にビュー位置情報ファイルを作成すると処理負荷が増大するという問題を解決することができる。
【００６４】
この構成により、４Ｋ、８Ｋ、および巨大なパノラマ映像等のハイビジョン（ＨＤ）品質を大きく上回る解像度の高精細映像を、視聴者の好きな位置や大きさで視聴する際に、カメラから入力されたライブ映像から、後日視聴可能なＶＯＤコンテンツをリアルタイムに作成することが可能となる。この際に、ＶＯＤコンテンツ用のビュー位置情報ファイルと、ライブ配信用のＧＯＰバッファの両方を個別に作成／管理するのではなく、ライブ配信用のＧＯＰバッファのインデックス情報を流用することでＶＯＤコンテンツ用のビュー位置情報ファイルの作成コストを低減させることができる。
【００６５】
以上説明したように、４Ｋ、８Ｋ、および巨大なパノラマ映像等のハイビジョン（ＨＤ）品質を大きく上回る解像度の高精細映像を、多視点映像符号化データとして作成する際に、高性能ＰＣ等の高スペック端末およびタブレット端末等の低スペックな端末でも復号、再生を行えることを前提に、スポーツや演劇等のライブ映像配信時に、後日、ＶＯＤコンテンツとして視聴可能な形式で保存を可能となる。
【００６６】
これを実現するために、高精細映像用ストリームの「タイル」／「ビュー」の概念を導入したインタラクティブ高精細映像ライブ配信システムから、多視点映像符号化ストリームの解析なしにリアルタイムにビュー位置情報ファイルを作成するようにした。これにより、ＶＯＤコンテンツ用のビュー位置情報ファイルと、ライブ配信用のＧＯＰバッファの両方を個別に作成／管理するのではなく、ライブ配信用のＧＯＰバッファのインデックス情報を流用することでＶＯＤコンテンツ用のビュー位置情報ファイルの作成コストを低減させることができる。
【００６７】
また、この作成方法を導入することにより、ライブ配信システムから高精細映像用ストリームとしてランダムアクセスが可能となり、ＶＯＤコンテンツとしての適用が可能となる。
【００６８】
前述した実施形態における配信サーバ１０及びクライアント端末２０をコンピュータで実現するようにしてもよい。その場合、この機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することによって実現してもよい。なお、ここでいう「コンピュータシステム」とは、ＯＳや周辺機器等のハードウェアを含むものとする。また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ−ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムを送信する場合の通信線のように、短時間の間、動的にプログラムを保持するもの、その場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリのように、一定時間プログラムを保持しているものも含んでもよい。また上記プログラムは、前述した機能の一部を実現するためのものであっても良く、さらに前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるものであってもよく、ＰＬＤ（Programmable Logic Device）やＦＰＧＡ（Field Programmable Gate Array）等のハードウェアを用いて実現されるものであってもよい。
【００６９】
以上、図面を参照して本発明の実施の形態を説明してきたが、上記実施の形態は本発明の例示に過ぎず、本発明が上記実施の形態に限定されるものではないことは明らかである。したがって、本発明の技術思想及び範囲を逸脱しない範囲で構成要素の追加、省略、置換、その他の変更を行ってもよい。
【産業上の利用可能性】
【００７０】
高精細映像部分配信システムにおいて、ＶＯＤ（Ｖｉｄｅｏ  ｏｎ  Ｄｅｍａｎｄ）配信方式を適用することが不可欠な用途に適用できる。
【符号の説明】
【００７１】
１０・・・配信サーバ、１１・・・映像／音声情報出力部、１２ａ・・・映像／音声符号化部、１３・・・複数映像位置情報送信部、１４・・・映像／音声情報保存部、１５ａ・・・送信部、１６・・・注視領域制御部、１７・・・ＶＯＤファイル保存部、１８・・・ビュー位置情報ファイル保存部、２０・・・クライアント端末、２１・・・複数映像位置情報受信部、２２・・・画面操作制御部、２３・・・注視領域要求部、２４・・・受信部、２５・・・映像／音声復号化部、２６・・・映像／音声再生部
【図１】
2015222861.tif 000003
【図２】
2015222861.tif 000004
【図３】
2015222861.tif 000005
【図４】
2015222861.tif 000006
【図５】
2015222861.tif 000007
【図６】
2015222861.tif 000008
【図７】
2015222861.tif 000009
【図８】
2015222861.tif 000010
【図９】
2015222861.tif 000011