(57)【要約】【課題】視聴中に表示する画面位置や画面の大きさが変化しても再生するべき映像が欠けてしまうことなく、映像の視聴を行うことができるようにする。【解決手段】全体映像データのうち指定した一部領域である映像再生領域の符号化映像データを映像配信装置から受信して再生する映像再生装置であって、映像配信装置に対して、指定した画面に映像を表示するために必要な解像度の映像再生領域の第１の映像データと、全体映像データを含み映像再生装置に表示する際の最低解像度の映像再生領域の第２の映像データとの配信を要求する配信要求手段と、第１の映像データと、第２の映像データとをそれぞれ符号化し、符号化映像データとして映像配信装置から配信された符号化映像データを受信する受信手段と、受信した符号化映像データを復号し、第１の映像データと第２の映像データとを重畳して指定した画面に表示する表示手段とを備える。【選択図】図１
2014116922.tif 000002
【特許請求の範囲】
【請求項１】
全体映像データのうち指定した一部領域である映像再生領域の符号化映像データを映像配信装置から受信して再生する映像再生装置であって、
前記映像配信装置に対して、指定した画面に映像を表示するために必要な解像度の前記映像再生領域の第１の映像データと、前記全体映像データを含み前記映像再生装置に表示する際の最低解像度の前記映像再生領域の第２の映像データとの配信を要求する配信要求手段と、
前記第１の映像データと、前記第２の映像データとをそれぞれ符号化し、前記符号化映像データとして前記映像配信装置から配信された前記符号化映像データを受信する受信手段と、
受信した前記符号化映像データを復号し、前記第１の映像データと前記第２の映像データとを重畳して指定した前記画面に表示する表示手段と
を備えることを特徴とする映像再生装置。
【請求項２】
前記全体映像データ上の前記画面の空間的位置、または前記画面の大きさが変更になった場合は、新たな前記画面に表示するべき前記符号化映像データを前記映像配信装置から受信し、受信した前記符号化映像データを復号して変更後の前記画面に表示することを特徴とする請求項１に記載の映像再生装置。
【請求項３】
全体映像データのうち指定された一部領域である映像再生領域の符号化映像データを映像再生装置に対して配信する映像配信装置であって、
前記映像再生装置から指定された画面に映像を表示するために必要な解像度の前記映像再生領域の第１の映像データと、前記全体映像データを含む前記映像再生装置に表示する際の最低解像度の前記映像再生領域の第２の映像データとを前記全体映像データからそれぞれ生成する配信データ生成手段と、
前記第１の映像データと、前記第２の映像データとをそれぞれ符号化して、前記符号化映像データを生成する符号化手段と、
前記符号化映像データを前記映像再生装置に対して配信する映像配信手段と
を備えることを特徴とする映像配信装置。
【請求項４】
前記第１の映像データの候補となる所定の条件を満たす映像データと、前記第２の映像データとを予め符号化した前記符号化映像データを複数保存しておく映像データ保存手段をさらに備え、
前記映像配信手段は、前記映像データ保存手段から前記符号化映像データを読み出して前記映像再生装置に対して配信することを特徴とする請求項３に記載の映像配信装置。
【請求項５】
前記映像データ保存手段は、データ量が最小となる前記符号化映像データのみを保存しておくことを特徴とする請求項４に記載の映像配信装置。
【請求項６】
前記配信データ生成手段は、必要な解像度の数と、前記映像再生領域の位置ずらし量に基づき、前記全体映像データから複数の前記第１の映像データを生成し、
前記符号化手段は、前記映像再生装置から指定された前記第１の映像データ及び前記第２の映像データのみを符号化することを特徴とする請求項３に記載の映像配信装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、低スペックの再生端末に対して高精細映像を配信するために、映像品質を制御して映像の配信、映像の再生を行う映像再生装置及び映像配信装置に関する。
【背景技術】
【０００２】
近年、４Ｋ解像度、８Ｋ解像度及び巨大なパノラマ映像等のハイビジョン品質を大きく上回る解像度を持つ高精細映像から、視聴者が好みの位置や大きさで自由に操作しながら映像を視聴する技術の研究が行われている（例えば、非特許文献１参照）。非特許文献１では、ハイビジョン品質を越える解像度の巨大なパノラマ映像を対象としている。非特許文献１は、巨大なパノラマ映像を、まず複数のタイルに分割し、それぞれのタイル単位で映像符号化を行っている。図１０にタイル分割の例を示す。図１０は、巨大なパノラマ映像を、複数のタイルに分割した例を示す説明図である。さらに、国際標準規格であるＨ．２６４／ＭＶＣフォーマットに従って、各タイルの映像符号化データをまとめて１つのパノラマ映像ストリームを構成している。
【０００３】
その上で、視聴者が、巨大なパノラマ映像から、前述した視聴スタイルのように好みの位置や大きさを自由に操作しながら視聴する場合は、この１つのパノラマ映像ストリームから、視聴者の視聴している領域（表示領域）を含むいくつかのタイルのみを読み込んで復号し、その復号結果の画像からクリッピングして表示装置への表示を行っている（図１１参照）。図１１は、縦３タイル、横４タイルを読み込んで復号し、表示画像部分の画像をクリッピングして表示する例を示す説明図である。
【０００４】
なお、視聴者の操作により表示画像の位置や大きさが変化した場合は、これに追随して読み込むタイルの位置を変更したり、大きさに応じて数を増減させ、これらを復号化することで、映像が途切れることなく表示を継続可能とするシステムとなっている。
【先行技術文献】
【非特許文献】
【０００５】
【非特許文献１】Hideaki Kimata, Shinya Shimizu, Yutaka Kunita, Megumi Isogai, and Yoshimitsu Ohtani :「Panorama video coding for user-driven interactive video application」,IEEE International Symposium on Consumer Electronics (ISCE) 2009,2009
【発明の概要】
【発明が解決しようとする課題】
【０００６】
ところで、非特許文献１のシステムは、汎用的な計算機上においてソフトウェアで構成することが可能であり、以下の（ａ）、（ｂ）の特性を有している。
（ａ）表示画像を得るのに、通常は複数のタイルを復号する必要がある。
（ｂ）表示画像の位置や大きさが変化すると、通常復号するタイルの数が増減する。
【０００７】
しかしながら、（ａ）を行うためには、複数のタイルをリアルタイムに復号可能な高スペックな復号化を行うことができる再生装置が必要となるため、低スペックな再生装置では復号化の処理能力が不足し、表示画像を得るのに必要となるタイルが復号できない状況が発生し、この結果、映像が欠けてしまうという問題がある。
【０００８】
また、このような問題を解決するために、ハードウェアによる専用復号化装置を導入した場合、（ｂ）の特性から、最大で高精細映像全体を表示画像とすることを想定した全てのタイル数分の専用復号化装置が必要となるが、低スペックな再生装置では一般には専用復号化装置は１つ程度である。仮に、図１１に示す表示画像を得ようとする場合、１２個（縦３個×横４個）のタイルのうちの１つのタイルしか復号化ができない状況が発生し、同様に映像が欠けてしまうという問題がある。
【０００９】
本発明は、このような事情に鑑みてなされたもので、視聴中に表示する画面位置や画面の大きさが変化しても再生するべき映像が欠けてしまうことなく、映像の視聴を行うことができる映像再生装置及び映像配信装置を提供することを目的とする。
【課題を解決するための手段】
【００１０】
本発明は、全体映像データのうち指定した一部領域である映像再生領域の符号化映像データを映像配信装置から受信して再生する映像再生装置であって、前記映像配信装置に対して、指定した画面に映像を表示するために必要な解像度の前記映像再生領域の第１の映像データと、前記全体映像データを含み前記映像再生装置に表示する際の最低解像度の前記映像再生領域の第２の映像データとの配信を要求する配信要求手段と、前記第１の映像データと、前記第２の映像データとをそれぞれ符号化し、前記符号化映像データとして前記映像配信装置から配信された前記符号化映像データを受信する受信手段と、受信した前記符号化映像データを復号し、前記第１の映像データと前記第２の映像データとを重畳して指定した前記画面に表示する表示手段とを備えることを特徴とする。
【００１１】
本発明は、前記全体映像データ上の前記画面の空間的位置、または前記画面の大きさが変更になった場合は、新たな前記画面に表示するべき前記符号化映像データを前記映像配信装置から受信し、受信した前記符号化映像データを復号して変更後の前記画面に表示することを特徴とする。
【００１２】
本発明は、全体映像データのうち指定された一部領域である映像再生領域の符号化映像データを映像再生装置に対して配信する映像配信装置であって、前記映像再生装置から指定された画面に映像を表示するために必要な解像度の前記映像再生領域の第１の映像データと、前記全体映像データを含む前記映像再生装置に表示する際の最低解像度の前記映像再生領域の第２の映像データとを前記全体映像データからそれぞれ生成する配信データ生成手段と、前記第１の映像データと、前記第２の映像データとをそれぞれ符号化して、前記符号化映像データを生成する符号化手段と、前記符号化映像データを前記映像再生装置に対して配信する映像配信手段とを備えることを特徴とする。
【００１３】
本発明は、前記第１の映像データの候補となる所定の条件を満たす映像データと、前記第２の映像データとを予め符号化した前記符号化映像データを複数保存しておく映像データ保存手段をさらに備え、前記映像配信手段は、前記映像データ保存手段から前記符号化映像データを読み出して前記映像再生装置に対して配信することを特徴とする。
【００１４】
本発明は、前記映像データ保存手段は、データ量が最小となる前記符号化映像データのみを保存しておくことを特徴とする。
【００１５】
本発明は、前記配信データ生成手段は、必要な解像度の数と、前記映像再生領域の位置ずらし量に基づき、前記全体映像データから複数の前記第１の映像データを生成し、前記符号化手段は、前記映像再生装置から指定された前記第１の映像データ及び前記第２の映像データのみを符号化することを特徴とする。
【発明の効果】
【００１６】
本発明によれば、視聴者の好みの画面位置や画面の大きさに合わせた解像度の映像データと、視聴中に表示する位置や大きさが変化しても映像が欠けることのないように映像全体を含む最低解像度の映像データとを重畳して表示するようにしたため、再生するべき映像が欠けてしまうことなく、映像の視聴を行うことができるという効果が得られる。
【図面の簡単な説明】
【００１７】
【図１】本発明の第１実施形態の構成を示すブロック図である。
【図２】本発明のビューの構成例を示す説明図である。
【図３】図１に示す映像配信装置１及び映像再生装置２の動作を示す図である。
【図４】各パラメータの定義を示す図である。
【図５】最適な解像度の映像が欠ける問題を示す図である。
【図６】符号化対象となるビュー数を抑制するための解像度数ｎの候補を抽出する処理動作を示すフローチャートである。
【図７】本発明の第２実施形態の構成を示すブロック図である。
【図８】図７に示す映像配信装置１及び映像再生装置２の動作を示す図である。
【図９】最大ビュー数以内で映像品質を最大とするように、デジタルズームの拡大率が最小となるビューの構成を決定する処理動作を示すフローチャートである。
【図１０】巨大なパノラマ映像を、複数のタイルに分割した例を示す説明図である。
【図１１】縦３タイル、横４タイルを読み込んで復号し、表示画像部分の画像をクリッピングして表示する例を示す説明図である。
【発明を実施するための形態】
【００１８】
＜第１実施形態＞
以下、図面を参照して、本発明の第１実施形態による映像配信装置及び映像再生装置を説明する。図１は第１実施形態の構成を示すブロック図である。この図において、符号１は、映像を配信するサーバコンピュータ装置で構成する映像配信装置である。符号２は、映像配信装置１から配信された映像を再生する映像再生装置であり、コンピュータ端末装置で構成する。
【００１９】
符号１０は、配信する映像／音声情報を記憶する情報記憶部である。符号１１は、映像再生装置２に対して送信すべき映像／音声情報を情報記憶部１０から読み出して、さらに映像情報を複数の解像度に変換して出力する映像／音声情報出力部である。なお、映像／音声情報は、カメラ等から映像／音声情報出力部１１に対してリアルタイムに直接入力された情報であってもよい。
【００２０】
符号１２は、映像／音声情報出力部１１から出力する映像／音声情報を符号化して出力する映像／音声符号化部である。映像／音声符号化部１２は、映像／音声情報のうち、映像情報を複数の映像に分割（例えば、図１０に示す分割）して符号化する。このとき、映像／音声符号化部１２は、分割して得られた複数の映像の位置を示す複数映像位置情報を送出する。複数映像位置情報は、例えば図１０のような分割の場合は、映像のサイズ（複数の解像度が有る場合は、それぞれの解像度毎の映像サイズ）、タイルのサイズを映像位置情報とし、予め左上からラスタスキャンして番号を付与するといった取り決めにより、映像位置を確定することができる情報である。
【００２１】
符号１３は、映像／音声符号化部１２から出力する複数映像位置情報を入力し、映像再生装置２に対して送信する複数映像情報送信部である。符号１４は、映像／音声符号化部１２から出力する符号化した映像／音声情報を保存する映像／音声情報保存部である。符号１５は、送信バッファを備え、映像／音声情報保存部１４に保存されている符号化映像／音声情報を映像再生装置２へ送信する送信部である。符号１６は、注視領域を制御する注視領域制御部である。映像／音声情報保存部１４は、注視領域制御部１６が出力する注視領域を示す情報に基づき保存されている映像／音声情報のうち、該当する映像／音声情報を読み出して、送信部１５へ出力する。
【００２２】
符号２１は、複数映像位置情報送信部１３から送信された複数映像位置情報を受信する複数映像位置情報受信部である。符号２２は、複数映像位置情報受信部２１が受信した複数映像位置情報に基づき、視聴している画面の操作結果から、次に必要となる適切な解像度のタイル群（＝注視領域）を決定する画面操作制御部である。符号２３は、映像配信装置１が配信すべき映像／音声情報として画面操作に応じた注視領域の映像／音声情報を映像配信装置１に対して要求する注視領域要求部である。注視領域制御部１６は、注視領域要求部２３から要求された注視領域の映像／音声情報を読み出すように映像／音声情報保存部１４に対して指示する。
【００２３】
符号２４は、受信バッファを備え、送信部１５から送信された符号化映像／音声情報を受信する受信部である。符号２５は、受信部２４において受信した符号化映像／音声情報を入力し、復号して出力する映像／音声復号化部である。符号２６は、映像／音声復号化部２５において復号された映像／音声情報を再生するための表示装置とスピーカとから構成する映像／音声再生部である。
【００２４】
図１に示す映像配信装置１及び映像再生装置２は、映像再生装置２側の複数映像位置情報受信部２１から画面操作制御部２２に対して、複数映像位置情報を伝え、視聴者が視聴している注視領域が変更された場合には、複数映像位置情報から、変更された視聴者の注視領域を抽出し、これを注視領域要求部２３に伝え、さらに、これを映像配信装置１側の注視領域制御部１６に送出する。これにより、映像配信装置１側では映像再生装置２側の注視領域にあった複数の映像を送信部１５に送出することで、視聴者の注視領域に適合した符号化済の映像情報が送信され、変更された視聴者の注視領域が視聴可能となる。
【００２５】
次に、図１に示す映像配信装置１及び映像再生装置２の動作を説明する。図２は、高精細映像（最高解像度）に対するビューの構成を示す図である。ビューとは、隣のタイルとの重なりの無い図１０に示すタイル構成とは異なり、隣と重なりのある冗長性を持つ構成で、この構成のうち固定されたサイズの１枚の映像情報のことである。ここでは、高スペックな映像再生装置向けのタイルと区別するためビューと称する。まず、映像／音声情報出力部１１は、情報記憶部１０に記憶されている最高解像度の高精細映像から複数の解像度（高解像度、中解像度、低解像度）の映像を生成し出力する。図２の中解像度は１つに限らず複数あっても良い。また、低解像度は、１つのビューのサイズに高精細映像全体が収まるサイズとなる（図２に示す低解像度に該当する）。
【００２６】
次に、映像／音声符号化部１２は、ある解像度の映像に対して、予め固定されたビューのサイズで、左端から少しずつビューの位置を右方向及び下方向にずらして、各ビューを構成する。図２に示す例では、高解像度の映像において、左端から（１）、（２）、（３）のように少しずつ右に位置をずらしてビューを構成している。また、ビューの複数映像位置情報は、映像のサイズ（複数の解像度が有る場合は、それぞれの解像度毎の映像サイズ）、ビューのサイズ、隣り合う右および下のビューのずらし量を映像位置情報とし、予め左上からラスタスキャンして番号を付与するといった取り決めにより、映像位置を確定することができる情報である。
【００２７】
その後、映像／音声符号化部１２は、それぞれのビュー単位で映像符号化を行い、さらに、国際標準規格であるＨ．２６４／ＭＶＣフォーマットに従って、各ビューの映像符号化データをまとめて１つの高精細映像用ストリームを構成して、映像／音声情報保存部１４に保存する。このような高精細映像用ストリームを構成することで、図３に示す処理動作によって、低スペックの映像再生装置２において、高精細映像を視聴者が好きな位置や大きさで視聴することができるようにうなる。図３は、図１に示す映像配信装置１及び映像再生装置２の動作を示す図である。
【００２８】
まず、低スペックの映像再生装置２から、映像の表示領域が含まれる適切な高解像度のビュー（図３に示すビューＡで、注視領域に相当する）と最低解像度のビュー（図３に示すビューＢ）を配信要求する（図３（ｉ））。
【００２９】
これを受けて、映像配信装置１は、映像再生装置２から要求されたビューＡ、Ｂを配信する（図３（ｉｉ））。映像再生装置２は、適切な高解像度のビューＡと最低解像度のビューＢを同時にデコード（２つのビューを復号）して重畳した映像を得る（図３（ｉｉｉ）。
【００３０】
次に、映像再生装置２は、得られた映像から視聴者の要求する位置、大きさの映像をクリッピングして、映像／音声再生部２６において映像を再生して表示する（図３（ｉｖ））。そして、視聴者の要求する位置、大きさ（映像の表示領域）が変更された場合は、適切な高解像度のビューを変更して、前述した処理動作を繰り返す。
【００３１】
候補となる“適切な高解像度のビュー”（図３に示すビューＡ）を予め多数符号化して準備しておくと、高い映像品質が得られることになるが、ビュー数が膨大となるとデータ量が飛躍的に増大する問題がある。しかし、一方で候補となる“適切な高解像度のビュー”の数を減らすと、デジタルズームの拡大率が上がり、映像品質（映像の鮮明さ）が低下するという問題が生じる。
【００３２】
そこで、これらの問題を解決するため以下の処理動作によって、映像品質を維持しながらも、符号化対象となるビュー数を抑制する高精細映像ストリームのビューの構成を決定する。
【００３３】
まず、各パラメータの定義を行う（図４参照）。図４は、各パラメータの定義を示す図である。
Ｖｘ：ビューの横のサイズ（ｐｉｘｅｌ）
Ｖｙ：ビューの縦のサイズ（ｐｉｘｅｌ）
α：隣り合うビューのずらし量の割合を表す係数（ビューずらし量係数（０＜α＜１））
β：隣り合う解像度との映像サイズの割合（解像度変換率（β＞１））
Ｄｘ：低スペックの映像再生装置２の横の表示解像度（ｐｉｘｅｌ）
Ｄｙ：低スペックの映像再生装置２の縦の表示解像度（ｐｉｘｅｌ）
【００３４】
ここでは、最適な高解像度のビューを１つのみデコードする前提があるため、以下の制約がある。
制約：表示領域が（Ｖｘ・（１−α），Ｖｙ・（１−α））（＝右及び下との隣り合うビューとの重なりのサイズ）より大きくなったら、下の解像度のビューに移る。
この制約を越えて表示領域が大きくなると、その解像度では、１つのビューで表示領域をカバーできないケースが発生し、最適な解像度の映像が欠ける問題が発生するためにこの制約が必要である（図５参照）。図５は、最適な解像度の映像が欠ける問題を示す図である。
【００３５】
上記の制約のもとで、映像品質として映像の鮮明さに影響をあたえるデジタルズームの拡大率（γ：γ＞１）を一定以下とした上で、符号化対象となるビュー数を抑制する処理動作を図６を参照して説明する。図６は、映像／音声符号化部１２が符号化対象となるビュー数を抑制するための解像度数ｎの候補を抽出する処理動作を示すフローチャートである。
【００３６】
まず、映像／音声符号化部１２は、解像度数ｎの初期値を決定する（ステップＳ１）。
ビューずらし量＝０で拡大率γｗが閾値γ´以下になるような最小の解像度数ｎを決定する。最初にオリジナルコンテンツサイズと最低解像度のサイズを以下で定義する。
オリジナルコンテンツサイズは、横：Ｚｘ（ｐｉｘｅｌ）、縦：Ｚｙ（ｐｉｘｅｌ）とする。最低解像度のサイズは、横：Ｖｘ（ビューの横のサイズ）、縦：Ｖｙ（ビューの縦のサイズ）とする。
【００３７】
このとき、解像度数ｎのときの解像度変換率βは（１）式となる。なお、ここでは、オリジナルコンテンツサイズとビューのサイズのアスペクト比は同一もしくは、オリジナルコンテンツの方がビューのサイズよりもアスペクト比としては横に長いものとする（以下、コンテンツ条件１という）。
【数１】
2014116922.tif 000003
【００３８】
もしくは、オリジナルコンテンツの方がビューのサイズよりもアスペクト比としては縦に長いものの場合は（２）式となる（以下、コンテンツ条件２という）。
【数２】
2014116922.tif 000004
【００３９】
次に、デジタルズームの拡大率γは、コンテンツ条件１の場合は（３）式、コンテンツ条件２の場合は（４）式によって求める。ここでは、前述の制約（表示領域が（Ｖｘ・（１−α），Ｖｙ・（１−α））（＝右及び下との隣り合うビューとの重なりのサイズ）より大きくなったら、下の解像度のビューに移る。）という条件から、下の解像度のビューに解像度が切り替わった直後のデジタルズームの拡大率γがもっとも大きくなる（映像の鮮明さが最も悪い）ことから、これをワーストケースのデジタルズームの拡大率としてγｗとする。
【数３】
2014116922.tif 000005
【数４】
2014116922.tif 000006
【００４０】
上記の式より、映像品質として映像の鮮明さに影響をあたえるワーストケースのデジタルズームの拡大率が求められる。
【００４１】
なお、コンテンツ設計者によりデジタルズームの拡大率（γ：γ＞１）の閾値（γ´）を規定する。
【００４２】
ここから、仮想的にα＝０としてデジタルズームの拡大率の最大値を求める。まず、初期値ｎ＝２のときのγｗを求め、γｗ≦γ´を満たすまでｎを１つずつ増加させ、最初に満たした解像度数ｎを初期値として決定する。
【００４３】
次に、映像／音声符号化部１２は、ビューずらし量係数αを決定する（ステップＳ２）。すなわち、解像度数ｎを前提とした場合のγｗ≦γ´を満たす、最大のαを求める。なお、解像度変換率βは解像度数ｎに依存するため、前述の計算式で解像度数ｎに合わせてその都度βを算出する。コンテンツ条件１の場合は、（５）式によってαを求める。また、コンテンツ条件２の場合は、（６）式によってαを求める。
【数５】
2014116922.tif 000007
【数６】
2014116922.tif 000008
【００４４】
次に、映像／音声符号化部１２は、制約条件のチェックを行う（ステップＳ３）。解像度数ｎ、ビューずらし量係数αが決定すると、必要となるビューの総数が算出可能となる。なお、例えば、複数のビューを１つの映像ストリームとして扱えるＨ．２６４ＭＶＣを使用した場合は、規格の制約上、ビューの総数は１０２４であり、これを超えることはできない。以下、制約条件となるビューの総数をＨｒｅｓとする。
【００４５】
このような制約条件のチェックのため、ビューの総数を算出する。まず、ビューずらし量係数αから「ビューずらし量」Ｅｘ，Ｅｙを（７）式、（８）式によって算出する。
横：Ｅｘ＝Ｅｖｅｎ（Ｖｘ×α）  ・・・（７）
縦：Ｅｙ＝Ｅｖｅｎ（Ｖｙ×α）  ・・・（８）
なお、上記で関数Ｅｖｅｎにて偶数化しているが、ビューの符号化時に支障が無ければ他の関数で整数化されても良い。
【００４６】
次に、ある解像度ｎａ（ｎａ＝０，１，２，３…，ｎ−１）のコンテンツサイズを、横：Ｆｎａｘ，縦：Ｆｎａｙと定義する。
ある解像度ｎａ（ｎａ＝０，１，２，３…，ｎ−１）のコンテンツサイズは、オリジナルコンテンツサイズＺｘ，Ｚｙと解像度変換率βから（９）式、（１０）式によって導出できる。ここで、解像度０がオリジナルコンテンツサイズとし、以後、解像度が低くなる毎に解像度１，２，３，４…，ｎ−１となる。
Ｆｎａｘ＝Ｅｖｅｎ（Ｚｘ／βｎａ）  ・・・（９）
Ｆｎａｙ＝Ｅｖｅｎ（Ｚｙ／βｎａ）  ・・・（１０）
なお、（９）式、（１０）式において関数Ｅｖｅｎにて偶数化しているが、ビューの符号化時に支障が無ければ他の関数で整数化されても良い。
【００４７】
また、ある解像度ｎａにおいて、コンテンツサイズから導出される、実際に符号化対象となる画像サイズを以下のように定義、算出する。ある解像度ｎａ（ｎａ＝０，１，２，３，…）において実際に符号化対象となる画像サイズは、
横：Ｆｎａｘ−Ｖｘ≦０の場合
Ｇｎａｘ＝Ｖｘ  ・・・（１１）
Ｆｎａｘ−Ｖｘ＞０の場合
Ｇｎａｘ＝Ｒｏｕｎｄｕｐ（Ｆｎａｘ−Ｖｘ）／Ｅｘ，０）×Ｅｘ＋Ｖｘ  ・・・（１２）
縦：Ｆｎａｙ−Ｖｙ≦０の場合
Ｇｎａｙ＝Ｖｙ  ・・・（１３）
Ｆｎａｙ−Ｖｙ＞０の場合
Ｇｎａｙ＝Ｒｏｕｎｄｕｐ（Ｆｎａｙ−Ｖｙ）／Ｅｙ，０）×Ｅｙ＋Ｖｙ  ・・・（１４）
ここで、Ｒｏｕｎｄｕｐ（ａ，ｂ）は、ａを小数点第ｂ位まで表示して以下切り上げの意味である。
【００４８】
さらに、Ｅｘ，Ｅｙから、ある解像度ｎａ（ｎａ＝０，１，２，３…）において符号化で必要となるビュー数は、（１５）式、（１６）式によって算出する。
Ｈｎａｘ＝Ｒｏｕｎｄｕｐ（Ｇｎａｘ−Ｖｘ／Ｅｘ，０）＋１  ・・・（１５）
Ｈｎａｙ＝Ｒｏｕｎｄｕｐ（Ｇｎａｙ−Ｖｙ／Ｅｙ，０）＋１  ・・・（１６）
ここで算出されたＨｎａｘ，Ｈｎａｙより必要となるビューの総数（Ｈｓｕｍ）を（１７）式で算出する。
【数７】
2014116922.tif 000009
【００４９】
そして、Ｈｓｕｍ≦Ｈｒｅｓの判定を行い、ＮＧであればｎ←ｎ＋１としてステップＳ２に戻る。
【００５０】
次に、映像／音声符号化部１２は、データ量を算出する（ステップＳ４）。解像度数ｎに対するデータ量Ｈｓｕｍ（ｎ）はＨｓｕｍ（ｎ）＝Ｈｓｕｍとする。
【００５１】
次に、映像／音声符号化部１２は、終了条件のチェックを行う（ステップＳ５）。終了条件のチェックは、解像度ｎ≦Ｈｒｅｓの判定を行い、ＯＫであればｎ←ｎ＋１としステップＳ２に戻り、ＮＧであれば処理を終了する。
【００５２】
最後に、映像／音声符号化部１２は、ｍｉｎ（Ｈｓｕｍ（ｎ））を満たすｎ（＝ｎｍｉｎ）を求め、この解像度数ｎｍｉｎと対応するビューずらし量係数αでコンテンツの符号化を行い、高精細映像用ストリームを作成する。ｍｉｎ（ａ（ｎ））は、取りうるｎのなかから、最小のａ（ｎ）を求める関数である。
【００５３】
このように、低スペックな映像再生装置でも復号可能なように、復号するタイル数（ビュー数）は最低限の数とする。具体的には、視聴者の好みの位置や大きさに合わせた適切な解像度のビュー（１つ目のビュー）と、その後、視聴中に表示する位置や大きさが変化しても映像が欠けることのないように同時に高精細映像全体を含む最低解像度のビュー（２つ目のビュー）の合計２つのビューを復号するようにした。さらに、復号するビューの数は２つで固定とした。これにより、２つのビューという最低限のデコード能力を持ちうれば、低スペックの映像再生装置であっても、映像が欠ける問題を解決しつつ、視聴者の好みの位置や大きさに合わせた高精細映像の視聴が可能となる。
【００５４】
また、低スペックの映像配信装置にビューから映像を切り出して表示する際のデジタルズームの拡大率を一定に抑えた上で、ビューの総数が最小となる（データ量が最小となる）ように高精細映像に対してビューを構成するようにした。これにより、ビューの数が膨大となると、データ量（符号化後に配信サーバに配置するファイルサイズ）が飛躍的に増大（例えば、Ｈ．２６４／ＭＶＣの規格上、通常の映像の最大１０２４倍）してしまう問題が発生することを防ぐことができる。
【００５５】
以上説明したように、高精細映像用ストリームに「ビュー」の概念を導入し、さらに、２つのビューのみを配信、再生するために、必要となる高精細映像用ストリームを作成する際に必要となる解像度数ｎとビューのずらし量係数αと、映像再生時のデジタルズームの拡大率γとの関係を最適化した。また、解像度数ｎ、ビューのずらし量係数α、映像再生時のデジタルズームの拡大率γの関係から、ワーストケースのデジタルズームの拡大率γｗ以下でデータ量が最小となる高精細映像用ストリームの作成するようにした。
【００５６】
これにより、４Ｋ解像度、８Ｋ解像度及び巨大なパノラマ映像等のハイビジョン（ＨＤ）品質を大きく上回る解像度の高精細映像を、視聴者の好きな位置や大きさで視聴する際に、低スペックな映像再生装置であっても視聴することができる。また、視聴者が好きな位置や大きさを変更する際に、映像が欠けることなく、位置や大きさを変更することができる。さらに、高精細映像用ストリームの符号化に際して、ワーストケースのデジタルズームの拡大率以下で、データ量を最小限に抑えることができる。
【００５７】
＜第２実施形態＞
次に、本発明の第２実施形態による映像配信装置及び映像再生装置を説明する。第２実施形態による映像配信装置及び映像再生装置は、ライブ映像の配信に対応するために、規格内のビューの総数（例えば、国際標準規格であるＨ．２６４／ＭＶＣであれば最大ビュー数は１０２４以内）、もしくはビューの切り出しを行うシステム上の性能限界に抑えて高精細映像のビューを構成し、一度、全てのビューを高精細映像から切り出した上で、その後、切り出した全てのビューでは無く、復号に必要な最低限の２つのビューのみを符号化して配信するものである。高精細映像を構成するビューの数が膨大となると、ライブ配信を前提として全ビューを符号化しようとした場合、飛躍的に増大したビューを符号化する装置の負荷を考慮すると、負荷の増大にあわせてシステム構成する装置数が膨大な数となる。さらに、映像／音声符号化部のクラスタ構成のスイッチ等の性能限界を超える可能性が高くなる問題が発生する。第２実施形態による映像配信装置及び映像再生装置は、このような問題を解決することができる。
【００５８】
図７は第２実施形態の構成を示すブロック図である。この図において、図１に示す第１実施形態による装置と同一の部分には同一の符号を付し、その説明を省略する。この図に示す装置が図１に示す装置と異なる点は、情報記憶部１０、映像／音声情報出力部１１、映像／音声符号化部１２及び映像／音声情報保存部１４に代えて、映像／音声情報取得部１７及び映像／音声符号化部１８が設けられている点である。
【００５９】
映像／音声情報取得部１７は、ライブ演奏等を撮像するカメラ等で構成し、撮像によって得られた映像／音声情報を映像／音声符号化部１８へ出力する。映像／音声符号化部１８は、映像／音声情報取得部１７から出力する映像／音声情報を符号化して出力する映像／音声符号化部である。映像／音声符号化部１８は、映像／音声情報のうち、映像情報を複数の映像に分割（例えば、図１０に示す分割）して符号化する。このとき、映像／音声符号化部１２は、分割して得られた複数の映像の位置を示す複数映像位置情報を複数映像位置情報送信部１３に対して送出する。複数映像位置情報は、例えば図１０のような分割の場合は、映像のサイズ（複数の解像度が有る場合は、それぞれの解像度毎の映像サイズ）、タイルのサイズを映像位置情報とし、予め左上からラスタスキャンして番号を付与するといった取り決めにより、映像位置を確定することができる情報である。映像／音声符号化部１８は、注視領域制御部１６が出力する注視領域を示す情報に基づき映像／音声情報のうち、該当する映像／音声情報を読み出して、送信部１５へ出力する。
【００６０】
次に、第２実施形態における高精細映像（最高解像度）に対するビューの構成を説明する。ビューは、前述した第１実施形態におけるビューと同等である。まず、最高解像度の高精細映像から複数の解像度（高解像度、中解像度、低解像度：図２参照）の映像を生成し出力する。中解像度は１つに限らず複数あっても良い。また、低解像度は、１つのビューのサイズに高精細映像全体が収まるサイズとなる（図２に示す低解像度に該当する）。
【００６１】
次に、映像／音声符号化部１８は、ある解像度の映像に対して、予め固定されたビューのサイズで、左端から少しずつビューの位置を右方向及び下方向にずらして、各ビューを構成する。図２に示す例では、高解像度の映像において、左端から（１）、（２）、（３）のように少しずつ右に位置をずらしてビューを構成している。
【００６２】
その後、映像再生装置２から要求されたビューのみ映像符号化を行い、さらに、国際標準規格であるＨ．２６４／ＭＶＣフォーマットに従って、前述で要求されたビューの映像符号化データをまとめて１つの高精細映像用ストリームを構成する。このような高精細映像用ストリームを構成することで、図８に示す処理動作によって、低スペックの映像再生装置２において、高精細映像を視聴者が好きな位置や大きさで視聴することができるようになる。図８は、図７に示す映像配信装置１及び映像再生装置２の動作を示す図である。
【００６３】
まず、低スペックの映像再生装置２から、映像の表示領域が含まれる適切な高解像度のビュー（図８のビューＡに相当）と最低解像度のビュー（図８のビューＢに相当）を配信要求する（図８（ｉ））。これを受けて、注視領域制御部１６は、映像／音声符号化部１８に対して、適切な高解像度のビューと、最低解像度のビューの符号化を要求する（図８（ｉｉ））。映像／音声符号化部１８は、高精細映像から構成する全てのビューの映像を切り出した後、適切な高解像度のビューと、最低解像度のビューの２つのビューのみを符号化する（図８（ｉｉｉ））。そして、映像／音声符号化部１８は、適切な高解像度のビューと、最低解像度のビューの２つのビューを１つのストリームとして送信する（図８（ｉｖ））。
【００６４】
次に、送信部１５は、適切な高解像度のビューと、最低解像度のビューの２つのビュー（ビューＡ、Ｂ）を配信する（図８（ｖ））。これを受けて、映像／音声復号化部２５は、適切な高解像度のビュー（ビューＡ）と最低解像度のビュー（ビューＢ）を同時にデコード（２つのビューを復号）して重畳した映像を得る（図８（ｖｉ））。そして、映像／音声再生部２６は、得られた映像から視聴者の要求する位置、大きさの映像をクリッピングして、再生することにより映像を表示する（図８（ｖｉｉ））。そして、視聴者の要求する位置、大きさ（映像の表示領域）が変更された場合は、適切な高解像度のビューを変更して、前述した処理動作を繰り返す。
【００６５】
このような処理を行うことにより、ビューＢを同時に配信して映像が欠けなくなるようにすることができるとともに、高精細映像用のビューを構成した上で、復号に必要なビューのみを符号化することより符号化の負荷を低減することもできる。
【００６６】
次に、具体的にビューの構成するための処理動作について説明する。規格内のビューの総数（例えば、Ｈ．２６４／ＭＶＣであれば最大１０２４）、もしくは、高精細映像からビューの切り出しを行うシステム上の性能限界が規格内のビュー数以下であればその総数に抑えて高精細映像用のビューを構成する必要がある。そこで、規格内のビューの数もしくは、高精細映像からビューの切り出しを行うシステム上の性能限界のビュー数（以後、規格内およびシステム上の性能限界のビュー数のうち少ない方を「最大ビュー数」とする）以内で映像品質を最大とするように高精細映像用のビューの構成を決定する。
【００６７】
まず、各パラメータの定義を行う。各パラメータは、第１実施形態のパラメータと同様である（図４参照）。
Ｖｘ：ビューの横のサイズ（ｐｉｘｅｌ）
Ｖｙ：ビューの縦のサイズ（ｐｉｘｅｌ）
α：隣り合うビューのずらし量の割合を表す係数（ビューずらし量係数（０＜α＜１））
β：隣り合う解像度との映像サイズの割合（解像度変換率（β＞１））
Ｄｘ：低スペックの映像再生装置２の横の表示解像度（ｐｉｘｅｌ）
Ｄｙ：低スペックの映像再生装置２の縦の表示解像度（ｐｉｘｅｌ）
【００６８】
ここでは、最適な高解像度のビューを１つのみデコードする前提があるため、以下の制約がある。
制約：表示領域が（Ｖｘ・（１−α），Ｖｙ・（１−α））（＝右及び下との隣り合うビューとの重なりのサイズ）より大きくなったら、下の解像度のビューに移る。
この制約を越えて表示領域が大きくなると、その解像度では、１つのビューで表示領域をカバーできないケースが発生し、最適な解像度の映像が欠ける問題が発生するためにこの制約が必要である（図５参照）。
【００６９】
上記の制約下のもとで、最大ビュー数以内で映像品質を最大とするように、映像品質として映像の鮮明さに影響をあたえるデジタルズームの拡大率（γ：γ＞１）が最小となるビューの構成（＝ビューずらし量：α、複数解像度の解像度数ｎ）を決定する処理動作を図９を参照して説明する。図９は、映像／音声符号化部１８が最大ビュー数以内で映像品質を最大とするように、映像品質として映像の鮮明さに影響をあたえるデジタルズームの拡大率（γ：γ＞１）が最小となるビューの構成を決定する処理動作を示すフローチャートである。
【００７０】
まず、映像／音声符号化部１８は、解像度数ｎの初期値（＝２）を設定する（ステップＳ１１）。次に、映像／音声符号化部１８は、解像度数ｎにおけるビューずらし量αｎを算出する（ステップＳ１２〜Ｓ１５）。解像度数ｎにおけるビューずらし量αｎを算出は、まず、オリジナルコンテンツサイズと最低解像度のサイズを以下で定義する。オリジナルコンテンツサイズは、横：Ｚｘ（ｐｉｘｅｌ）、縦：Ｚｙ（ｐｉｘｅｌ）とする。最低解像度のサイズは、横：Ｖｘ（ビューの横のサイズ）、縦：Ｖｙ（ビューの縦のサイズ）とする。
【００７１】
このとき、解像度数ｎのときの解像度変換率βは（１）式（第１実施形態と同様）となる。なお、ここでは、オリジナルコンテンツサイズとビューのサイズのアスペクト比は同一もしくは、オリジナルコンテンツの方がビューのサイズよりもアスペクト比としては横に長いものとする（以下、コンテンツ条件１という）。
【００７２】
もしくは、オリジナルコンテンツの方がビューのサイズよりもアスペクト比としては縦に長いものの場合は（２）式（第１実施形態と同様）となる（以下、コンテンツ条件２という）。
【００７３】
次に、映像／音声符号化部１８は、ビューずらし量の初期値としてαにΔα（Δαは０に近い非常に小さい数値）を設定する（ステップＳ１２）。続いて、映像／音声符号化部１８は、解像度数ｎ、ビューずらし量係数αからビューの総数を算出する（ステップＳ１３）。まず、ビューずらし量係数αから「ビューずらし量」Ｅｘ，Ｅｙを（７）式、（８）式（第１実施形態と同様）によって算出する。なお、（７）式、（８）式において、関数Ｅｖｅｎにて偶数化しているが、ビューの符号化時に支障が無ければ他の関数で整数化されても良い。
【００７４】
次に、ある解像度ｎａ（ｎａ＝０，１，２，３…，ｎ−１）のコンテンツサイズを、横：Ｆｎａｘ，縦：Ｆｎａｙと定義する。ある解像度ｎａ（ｎａ＝０，１，２，３…，ｎ−１）のコンテンツサイズは、オリジナルコンテンツサイズＺｘ，Ｚｙと解像度変換率βから（９）式、（１０）式（第１実施形態と同様）によって導出できる。ここで、解像度０がオリジナルコンテンツサイズとし、以後、解像度が低くなる毎に解像度１，２，３，４…，ｎ−１となる。なお、（９）式、（１０）式において関数Ｅｖｅｎにて偶数化しているが、ビューの符号化時に支障が無ければ他の関数で整数化されても良い。
【００７５】
また、ある解像度ｎａにおいて、コンテンツサイズから導出される、実際に符号化対象となる画像サイズを以下のように定義、算出する。ある解像度ｎａ（ｎａ＝０，１，２，３，…）において実際に符号化対象となる画像サイズは、第１実施形態と同様に、（１１）式〜（１４）式によって算出できる。
【００７６】
さらに、Ｅｘ，Ｅｙから、ある解像度ｎａ（ｎａ＝０，１，２，３…）において符号化で必要となるビュー数は、（１５）式、（１６）式（第１実施形態と同様）によって算出する。ここで算出されたＨｎａｘ，Ｈｎａｙより必要となるビューの総数（Ｈｓｕｍ）を（１７）式（第１実施形態と同様）で算出する。
【００７７】
そして、映像／音声符号化部１８は、終了条件のチェックを行う（ステップＳ１４）。複数のビューを１つの映像ストリームとして扱えるＨ．２６４ＭＶＣを使用した場合は、規格の制約上、規格内のビュー数の総数は１０２４であり、これを超えることはできない。また、高精細映像からビューの切り出しを行うシステム上の性能限界のビュー数が、規格内のビュー数以下であれば、最大ビュー数は規格内のビュー数以下となる。これに合わせて、制約条件となるビューの総数（＝最大ビュー数）をＨｒｅｓとする。したがって、映像／音声符号化部１８は、Ｈｓｕｍ≦Ｈｒｅｓを満たすかを判定し、ＮＧであれば、αにΔαを加算（α←α＋Δα）して、再度ビューの総数を算出する。一方、ＯＫであれば、このときのαをαｎ＝α（αｎは解像度ｎでのビューずらし量係数を示す）とする(ステップＳ１５）。
【００７８】
次に、映像／音声符号化部１８は、ワーストケースのデジタルズームの拡大率を算出する（ステップＳ１６）。デジタルズームの拡大率γは、コンテンツ条件１の場合は（３）式、コンテンツ条件２の場合は（４）式によって求める（第１実施形態と同様）。ここでは、前述の制約（表示領域が（Ｖｘ・（１−α），Ｖｙ・（１−α））（＝右及び下との隣り合うビューとの重なりのサイズ）より大きくなったら、下の解像度のビューに移る。）という条件から、下の解像度のビューに解像度が切り替わった直後のデジタルズームの拡大率γがもっとも大きくなる（映像の鮮明さが最も悪い）ことから、これをワーストケースのデジタルズームの拡大率としてγｗとする。上記の式より、映像品質として映像の鮮明さに影響をあたえるワーストケースのデジタルズームの拡大率が求められる。このγｗより、ｒ（ｎ）＝γｗ（ｒ（ｎ）は解像度数ｎのときのワーストケースのデジタルズームの拡大率を示す）として、解像度数ｎのときのワーストケースのデジタルズームの拡大率を保存する。
【００７９】
次に、映像／音声符号化部１８は、終了条件のチェックを行う（ステップＳ１７）。終了条件のチェックは、解像度ｎ≦Ｈｒｅｓの判定を行い、ＯＫであればｎ←ｎ＋１としステップＳ１２に戻り、ＮＧであれば処理を終了する。
【００８０】
最後に、映像／音声符号化部１８は、ｍｉｎ（ｒ（ｎ））を満たす解像度数ｎ（＝ｎｍｉｎ）を求め、この解像度数ｎｍｉｎと対応するビューずらし量係数αｎで、高精細映像から全てのビューの映像を切り出した後、配信要求のあったビューのみ映像符号化を行う。ｍｉｎ（ｒ（ｎ））は、取りうるｎのなかから、最小のｒ（ｎ）を求める関数である。
【００８１】
以上説明したように、ライブ映像の符号化に際して「ビュー」の概念を導入し、さらに、２つのビューのみを配信、再生するようにした。また、ライブ映像の符号化に際して、「ビュー」の符号化の際には映像再生装置が必要とするビューのみを符号化するようにして、符号化クラスタの規模を縮小した。さらに、必要となるライブ映像の符号化を行う際の「ビューの構成」として解像度数ｎとビューのずらし量係数αを決定する際に、最大ビュー数以内で、映像再生時のワーストケースのデジタルズームを最小限に抑え高品質な映像で再生するようにした。
【００８２】
これにより、４Ｋ、８Ｋおよび巨大なパノラマ映像等のハイビジョン（ＨＤ）品質を大きく上回る解像度の高精細のライブ映像を、視聴者の好きな位置や大きさで視聴する際に、低スペックな映像再生装置で視聴することができる。また、視聴者が好きな位置や大きさを変更する際に、映像が欠けることなく、位置や大きさを変更することができる。また、最大ビュー数以内で、ワーストケースのデジタルズームの拡大率を最小化したビューの構成で、ライブ映像の符号化を行うことができる。このため、ライブ映像を対象とした低スペックな映像再生装置で視聴者の好きな位置や大きさで視聴するスタイルの高品質な高精細映像の視聴が可能となる。
【００８３】
前述した実施形態における映像配信装置及び映像再生装置をコンピュータで実現するようにしてもよい。その場合、この機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することによって実現してもよい。なお、ここでいう「コンピュータシステム」とは、ＯＳや周辺機器等のハードウェアを含むものとする。また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ−ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムを送信する場合の通信線のように、短時間の間、動的にプログラムを保持するもの、その場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリのように、一定時間プログラムを保持しているものも含んでもよい。また上記プログラムは、前述した機能の一部を実現するためのものであっても良く、さらに前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるものであってもよく、ＰＬＤ（Programmable Logic Device）やＦＰＧＡ（Field Programmable Gate Array）等のハードウェアを用いて実現されるものであってもよい。
【００８４】
以上、図面を参照して本発明の実施の形態を説明してきたが、上記実施の形態は本発明の例示に過ぎず、本発明が上記実施の形態に限定されるものではないことは明らかである。したがって、本発明の技術思想及び範囲を逸脱しない範囲で構成要素の追加、省略、置換、その他の変更を行ってもよい。
【産業上の利用可能性】
【００８５】
低スペックの再生端末に対して高精細映像を配信するために、映像品質を制御して映像の配信、映像の再生を行うことが不可欠な用途に適用できる。
【符号の説明】
【００８６】
１・・・映像配信装置、１０・・・情報記憶部、１１・・・映像／音声情報出力部、１２・・・映像／音声符号化部、１３・・・複数映像位置情報送信部、１４・・・映像／音声情報保存部、１５・・・送信部、１６・・・注視領域制御部、１７・・・映像／音声情報取得部、１８・・・映像／音声符号化部、２・・・映像再生装置、２１・・・複数映像位置情報受信部、２２・・・画面操作制御部、２３・・・注視領域要求部、２４・・・受信部、２５・・・映像／音声復号化部、２６・・・映像／音声再生部
【図１】
2014116922.tif 000010
【図２】
2014116922.tif 000011
【図３】
2014116922.tif 000012
【図４】
2014116922.tif 000013
【図５】
2014116922.tif 000014
【図６】
2014116922.tif 000015
【図７】
2014116922.tif 000016
【図８】
2014116922.tif 000017
【図９】
2014116922.tif 000018
【図１０】
2014116922.tif 000019
【図１１】
2014116922.tif 000020