(57)【要約】【課題】再生処理の負荷を軽減できるとともに、映像が欠けることを抑えて高精細映像の視聴を可能にすることができる映像再生装置及び映像配信装置を提供する。【解決手段】映像配信装置は、映像表示画面に表示領域の映像データを表示するために必要な解像度を有する第１の映像データと、最低解像度を有する全体映像データからなる第２の映像データとを全体映像データからそれぞれ生成して配信する。映像再生装置は、要求に応じて配信された第１の映像データと、第２の映像データとをそれぞれ符号化した符号化映像データを受信し、受信した符号化映像データを復号し、第２の映像データに対して第１の映像データを重畳した映像データを映像表示画面に表示する。【選択図】図１
2014176017.tif 000002
【特許請求の範囲】
【請求項１】
全体映像データのうち指定された一部の領域を符号化した符号化映像データを受信して再生する映像再生装置であって、
映像表示画面に前記表示領域の映像を表示するために必要な解像度を有する第１の映像データと、最低解像度を有する前記全体映像データからなる第２の映像データとの配信を要求する配信要求手段と、
前記第１の映像データ及び前記第２の映像データのそれぞれが符号化された前記符号化映像データを受信する受信手段と、
受信した前記符号化映像データを復号し、前記第２の映像データに対して前記第１の映像データを重畳した映像データを前記映像表示画面に表示する表示手段と
を備えることを特徴とする映像再生装置。
【請求項２】
前記表示手段は、前記全体映像データ上の前記表示領域の位置または大きさが変更になった場合に、新たな前記符号化映像データを受信し、受信した前記符号化映像データを復号して変更後の前記表示領域を前記映像表示画面に表示することを特徴とする請求項１に記載の映像再生装置。
【請求項３】
前記映像表示画面のサイズを前記映像データの配信元に対して送信する装置情報送信手段を更に備え、
前記受信手段は、前記映像表示画面のサイズに基づいて生成された前記符号化映像データを受信することを特徴とする請求項１または２に記載の映像再生装置。
【請求項４】
全体映像データのうち指定した一部の領域を符号化した符号化映像データを配信する映像配信装置であって、
映像表示画面に前記表示領域の映像データを表示するために必要な解像度を有する第１の映像データと、最低解像度を有する前記全体映像データからなる第２の映像データとを前記全体映像データからそれぞれ生成する配信データ生成手段と、
前記第１の映像データと、前記第２の映像データとをそれぞれ符号化することにより前記符号化映像データを生成する符号化手段と、
前記符号化映像データを配信する映像配信手段と
を備えることを特徴とする映像配信装置。
【請求項５】
前記配信データ生成手段は、指定された拡大率に基づき決定されるＮ枚（Ｎは２以上の整数）の解像度の異なる前記全体映像データを用いて前記第１の映像データと第２の映像データを生成することを特徴とする請求項４に記載の映像配信装置。
【請求項６】
前記配信データ生成手段は、前記映像表示画面のサイズに基づき前記第１の映像データの解像度を決定することを特徴とする請求項４または５に記載の映像配信装置。
【請求項７】
全体映像データのうち指定した一部の領域を符号化した符号化映像データを受信して再生する映像再生装置が行う映像再生方法であって、
映像表示画面に前記表示領域の映像を表示するために必要な解像度を有する第１の映像データと、最低解像度を有する前記全体映像データからなる第２の映像データとの配信を要求する配信要求ステップと、
前記第１の映像データ及び前記第２の映像データのそれぞれが符号化された前記符号化映像データを受信する受信ステップと、
受信した前記符号化映像データを復号し、前記第２の映像データに対して前記第１の映像データを重畳した映像データを前記映像表示画面に表示する表示ステップと
を有することを特徴とする映像再生方法。
【請求項８】
全体映像データのうち指定した一部の領域を符号化した符号化映像データを配信する映像配信装置が行う映像配信方法であって、
映像表示画面に前記表示領域の映像データを表示するために必要な解像度を有する第１の映像データと、最低解像度を有する前記全体映像データからなる第２の映像データとを前記全体映像データからそれぞれ生成する配信データ生成ステップと、
前記第１の映像データと、前記第２の映像データとをそれぞれ符号化することにより前記符号化映像データを生成する符号化ステップと、
前記符号化映像データを配信する映像配信ステップと
を有することを特徴とする映像配信方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、低機能端末に対して高精細映像の部分配信を行って再生する映像再生装置、映像配信装置、映像再生方法及び映像配信方法に関する。
【背景技術】
【０００２】
近年、４Ｋ解像度、８Ｋ解像度及び巨大なパノラマ映像等のハイビジョン品質を大きく上回る解像度を持つ高精細映像から、視聴者が好みの位置や大きさで自由に操作しながら視聴する技術の研究が行われている。例えば、非特許文献１では、ハイビジョン品質を越える解像度の巨大なパノラマ映像を対象としている。
【０００３】
非特許文献１によると、巨大なパノラマ映像を、まず複数のタイルに分割し、それぞれのタイル単位で映像符号化を行っている。さらに、国際標準規格であるＨ．２６４／ＭＶＣフォーマットに従って、各タイルの映像符号化データをまとめて１つのパノラマ映像ストリームを構成している。図６は、巨大なパノラマ映像などの高精細映像を複数のタイルに分割した例を示す図である。
【０００４】
その上で、視聴者が、巨大なパノラマ映像から、視聴スタイルに応じて好みの位置や大きさを自由に操作しながら視聴する場合は、この１つのパノラマ映像ストリームから、視聴者の視聴している領域（表示領域）を含むいくつかのタイルのみを読み込んで復号し、その復号結果の映像からクリッピングして表示デバイスへの表示を行っている。図７は、復号対象のタイルと表示画像の関係を示す図である。図７に示す例では、縦３タイル、横４タイルを読み込んで復号し、枠で囲った表示画像をクリッピングして、これを表示領域として表示することなる。
【０００５】
なお、視聴者の操作により表示画像の位置や大きさが変化した場合は、これに追随して読み込むタイルの位置を変更したり、大きさに応じて数を増減させ、これらを復号化することで、映像が途切れることなく表示を継続可能とするシステムとなっている。
【０００６】
ここで、図８を参照して、従来技術による映像配信システムの構成を説明する。図８は、従来技術による映像配信システムの構成を示すブロック図である。映像配信システムは、コンピュータ装置で構成するサーバ１０と、コンピュータ装置で構成するクライアント２０によって構成する。図８において、映像／音声情報出力部１１が映像情報と音声情報を出力すると、映像／音声符号化部１２は、この映像情報と音声情報を符号化する。なお、映像情報と音声情報は、映像／音声情報出力部１１に予め保管されたファイル情報や、もしくは、カメラ等からリアルタイムに入力された情報でも良い。
【０００７】
次に、映像／音声符号化部１２は、映像情報を、例えば図６に示すように複数のタイルに分割して、タイル毎に符号化する。このとき、映像／音声符号化部１２は、分割した複数のタイルの位置を示す複数映像位置情報を複数映像位置情報送信部に対して出力する。なお、複数映像位置情報は、例えば図６に示す分割の場合には、全体映像のサイズ（複数の解像度が有る場合は、それぞれの解像度毎の映像サイズ）、タイルのサイズを映像位置情報とし、予め左上からラスタスキャンして番号を付与するといった取り決めにより、映像位置を確定した情報によって構成する。
【０００８】
一方、映像／音声情報保存部１４は、符号化を行った映像情報と音声情報を一時保存する。送信部１５は、映像／音声情報保存部１４に一時保存されている符号化映像情報と符号化音声情報とをクライアント２０へ送信する。これを受けて、クライアント２０の受信部は、符号化済の映像情報、符号化済の音声情報を受信する。そして、映像／音声復号部は符号化済の映像情報、符号化済の音声情報の復号を行う。映像／音声再生部は、復号された映像情報と音声情報を再生する。これにより、視聴者は映像／音声を視聴することが可能となる。
【０００９】
複数映像位置情報受信部２１は、画面操作制御部２２に対して複数映像位置情報を出力する。画面操作制御部２２は、視聴者が視聴している注視領域（注視領域は表示領域を含む複数のタイルから構成される）が変更された場合には、複数映像位置情報から、変更された視聴者の注視領域を抽出し、これを注視領域要求部２３に伝える。これを受けて、注視領域要求部２３は、サーバ１０の注視領域制御部１６に対して送信する。注視領域制御部１６は、注視領域の情報を映像／音声情報保存部１４へ出力する。映像／音声情報保存部１４は、注視領域を含む複数のタイルを送信部１５に出力することで、視聴者の注視領域に適合した符号化済の映像情報が送信され、変更された視聴者の注視領域が視聴可能となる。
【００１０】
ところで、従来技術による映像配信システムは、表示画像を得るのに、通常は複数のタイルを復号する必要がある、復号するタイルの数は、表示画像の位置や大きさが変化すると通常は増減する、という特性を有している。そのため、複数のタイルをリアルタイムに復号可能な高機能な復号化を行うことができるクライアント２０が必要となるため、低機能なクライアント２０では復号化の処理能力が不足し、表示画像を得るのに必要となるタイルが復号できず、この結果、映像が欠けてしまうという問題がある。
【００１１】
また、この問題を解決するために、ハードウェアによる専用復号化装置を導入したとした場合、最大で高精細映像全体を表示画像とすることを想定した全てのタイル数分の専用復号化装置が必要となるが、低機能なクライアント２０では一般には専用復号化装置は１〜２つ程度備えているのが一般的であり、仮に図７に示す表示画像を得ようとしても、復号すべき１２個のタイルのうちの１〜２つのタイルしか復号化できないため、依然として映像が欠けてしまう問題は解決できない。
【００１２】
そこで、前述した視聴スタイルを前提に、複数のタイル（Ｈ．２６４／ＭＶＣ形式）から１枚の映像（Ｈ．２６４／ＡＶＣ形式）を生成する技術が検討されている（例えば、非特許文献２参照）。この技術により、複数のタイルを復号化することなく、１枚の映像のみを復号化することで低機能な端末でも、専用復号化装置等を使用することにより、前述の問題を解決することができる可能性がある。
【先行技術文献】
【非特許文献】
【００１３】
【非特許文献１】Hideaki Kimata, Shinya Shimizu, Yutaka Kunita, Megumi Isogai, and Yoshimitsu Ohtani :「Panorama video coding for user-driven interactive video application」,IEEE International Symposium on Consumer Electronics (ISCE) 2009,2009
【非特許文献２】N.Uchihara,H.kasai,"Fast stream joiner for next-generation interactive video",IEEE Int.Conf.Consumer Electronisc2011(ICCE),pp.319-320,2011
【発明の概要】
【発明が解決しようとする課題】
【００１４】
しかしながら、非特許文献２に記載の映像配信システムにあっては、以下の特性を有している。
（１）１枚の映像を得るために復号するタイルの数は、表示画像の位置や大きさが変化すると通常は増減するため、１枚の映像サイズが変化する。
（２）１枚の映像のみでは、視聴者の好みの位置や大きさが変化した際に、視聴者の操作が想定よりも速いと、映像が欠けてしまう。
【００１５】
上記の（１）の特性は、低機能なクライアント端末で復号化する際には映像サイズが常に変化するため専用復号化装置の復号化の負荷が増大し、復号化できなくなる事象が発生しやすいという問題がある。さらに、上記の（２）の特性は、視聴者の好みの位置や大きさが変化した際に、適切な映像が配信されるまでの時間、映像が欠ける状態が発生するという問題がある。
【００１６】
本発明は、このような事情に鑑みてなされたもので、再生処理の負荷を軽減できるとともに、映像が欠けることを抑えて高精細映像の視聴を可能にすることができる映像再生装置、映像配信装置、映像再生方法及び映像配信方法を提供することを目的とする。
【課題を解決するための手段】
【００１７】
本発明は、全体映像データのうち指定された一部の領域を符号化した符号化映像データを受信して再生する映像再生装置であって、映像表示画面に前記表示領域の映像を表示するために必要な解像度を有する第１の映像データと、最低解像度を有する前記全体映像データからなる第２の映像データとの配信を要求する配信要求手段と、前記第１の映像データ及び前記第２の映像データのそれぞれが符号化された前記符号化映像データを受信する受信手段と、受信した前記符号化映像データを復号し、前記第２の映像データに対して前記第１の映像データを重畳した映像データを前記映像表示画面に表示する表示手段とを備えることを特徴とする。
【００１８】
本発明は、前記表示手段は、前記全体映像データ上の前記表示領域の位置または大きさが変更になった場合に、新たな前記符号化映像データを受信し、受信した前記符号化映像データを復号して変更後の前記表示領域を前記映像表示画面に表示することを特徴とする。
【００１９】
本発明は、前記映像表示画面のサイズを前記映像データの配信元に対して送信する装置情報送信手段を更に備え、前記受信手段は、前記映像表示画面のサイズに基づいて生成された前記符号化映像データを受信することを特徴とする。
【００２０】
本発明は、全体映像データのうち指定した一部の領域を符号化した符号化映像データを配信する映像配信装置であって、映像表示画面に前記表示領域の映像データを表示するために必要な解像度を有する第１の映像データと、最低解像度を有する前記全体映像データからなる第２の映像データとを前記全体映像データからそれぞれ生成する配信データ生成手段と、前記第１の映像データと、前記第２の映像データとをそれぞれ符号化することにより前記符号化映像データを生成する符号化手段と、前記符号化映像データを配信する映像配信手段とを備えることを特徴とする。
【００２１】
本発明は、前記配信データ生成手段は、指定された拡大率に基づき決定されるＮ枚（Ｎは２以上の整数）の解像度の異なる前記全体映像データを用いて前記第１の映像データと第２の映像データを生成することを特徴とする。
【００２２】
本発明は、前記配信データ生成手段は、前記映像表示画面のサイズに基づき前記第１の映像データの解像度を決定することを特徴とする。
【００２３】
本発明は、全体映像データのうち指定した一部の表示領域を符号化した符号化映像データを受信して再生する映像再生装置が行う映像再生方法であって、映像表示画面に前記表示領域の映像を表示するために必要な解像度を有する第１の映像データと、最低解像度を有する前記全体映像データからなる第２の映像データとの配信を要求する配信要求ステップと、前記第１の映像データ及び前記第２の映像データのそれぞれが符号化された前記符号化映像データを受信する受信ステップと、受信した前記符号化映像データを復号し、前記第２の映像データに対して前記第１の映像データを重畳した映像データを前記映像表示画面に表示する表示ステップとを有することを特徴とする。
【００２４】
本発明は、全体映像データのうち指定した一部の領域を符号化した符号化映像データを配信する映像配信装置が行う映像配信方法であって、映像表示画面に前記表示領域の映像データを表示するために必要な解像度を有する第１の映像データと、最低解像度を有する前記全体映像データからなる第２の映像データとを前記全体映像データからそれぞれ生成する配信データ生成ステップと、前記第１の映像データと、前記第２の映像データとをそれぞれ符号化することにより前記符号化映像データを生成する符号化ステップと、前記符号化映像データを配信する映像配信ステップとを有することを特徴とする。
【発明の効果】
【００２５】
本発明によれば、常に一定の映像サイズを復号化すればよいため、再生処理の負荷を軽減できるとともに、視聴者の好みの位置や大きさ変化しても映像が欠けることを抑えて高精細映像の視聴を可能にすることができるという効果が得られる。
【図面の簡単な説明】
【００２６】
【図１】本発明の一実施形態の構成を示すブロック図である。
【図２】高精細映像に対する合成タイルの構成例を示す図である。
【図３】高精細映像ストリームを持つサーバからクライアントへの映像ストリームの配信動作を示す図である。
【図４】高精細映像の最低解像度と再生端末のアスペクト比の例を示す図である。
【図５】解像度数ｎを決定する処理動作を示すフローチャートである。
【図６】巨大なパノラマ映像などの高精細映像を複数のタイルに分割した例を示す図である。
【図７】復号対象のタイルと表示画像の関係を示す図である。
【図８】従来技術による映像配信システムの構成を示すブロック図である。
【発明を実施するための形態】
【００２７】
以下、図面を参照して、本発明の一実施形態による映像配信システムを説明する。図１は同実施形態の構成を示すブロック図である。この図において、図８に示す従来の装置と同一の部分には同一の符号を付し、その説明を省略する。この図に示す装置が従来の装置と異なる点は、サーバ１０内に、合成タイル生成部１７、再生端末情報受信部１８が設けられ、クライアント２０内に、再生端末情報送信部２７が設けられている点である。
【００２８】
図１において、注視領域制御部１６は、映像／音声情報保存部１４に対して注視領域を出力する。映像／音声情報保存部１４は、合成タイル生成部１７に対して、注視領域の映像情報、音声情報を出力する。これを受けて、合成タイル生成部１７は、受信した映像情報から合成タイルを生成し、合成タイルとして再度符号化された映像情報及び音声情報を送信部１５に出力する。
【００２９】
一方、再生端末情報送信部２７は、クライアント２０（再生端末）の表示用ディスプレイの縦及び横のサイズを送信する。再生端末情報受信部１８は、この表示用ディスプレイの縦及び横のサイズを映像／音声符号化部１２へ出力する。このように再生端末情報送信部２７から表示用ディスプレイの縦及び横のサイズを送信することにより、サーバ１０側で合成タイルの大きさを決定することが可能になるとともに、クライアント２０に対して表示用ディスプレイのサイズに基づく最低解像度の映像サイズを決定できるようになる。
【００３０】
次に、高精細映像に対する複数の解像度の映像の作成及び合成タイルの構成例について説明する。図２は、高精細映像に対する合成タイルの構成例を示す図である。合成タイルを作成する場合、まず、図２（ａ）の最高解像度の高精細映像から複数の解像度（中解像度、低解像度）の映像を作成する。図２（ｂ）の中解像度は１つに限らず複数あっても良い。また、図２（ｃ）の最低解像度は、１つの合成タイルのサイズに高精細映像全体が収まるサイズとなる。映像／音声符号化部１２は、映像／音声情報出力部１１から出力された最高解像度の映像から複数の解像度の映像を生成する。
【００３１】
次に、ある解像度の映像に対して、固定化された縦及び横のタイル数から成る固定された合成タイル（図２の例では、横３タイル、縦２タイルで固定された合成タイル）を、左端から１タイルずつ合成タイルの位置を右方向及び下方向にずらして、各合成タイルを構成する。図２（ａ）では、高解像度の映像において、左端から右方向（横）に２タイル分、下方向（縦）１タイル分位置をずらした合成タイルを示している。そして、それぞれの合成タイル単位で、非特許文献２の手法により、複数のタイルを合成タイル化する。また、映像／音声情報保存部１４に保存されている映像情報を一度デコード（復号化）し、合成タイルと一致する位置の映像情報を再度エンコード（符号化）してもよい。
【００３２】
次に、映像の視聴処理動作を説明する。図３は、高精細映像ストリームを持つサーバ１０から低機能端末（クライアント２０）への映像ストリームの配信動作を示す図である。前述したように、一度、複数の解像度に分解し、それぞれをタイル分割したうえで、合成タイルを構成することで、図３に示すように、以下の手順で低機能端末で、高精細映像を、視聴者が好きな位置や大きさで視聴することができる。
【００３３】
まず、クライアント２０（低機能端末）から、映像の表示領域が含まれる、適切な高解像度の合成タイル（図３に示す合成タイルＡ）、最低解像度の合成タイル（図３の合成タイルＢ）を配信要求する（図３（ｉ））。これを受けて、サーバ１０は、クライアント２０から要求された合成タイルＡ、合成タイルＢを生成し、送信する（図３（ｉｉ））。
【００３４】
次に、クライアント２０は、適切な高解像度の合成タイル（合成タイルＡ）と最低解像度の合成タイル（合成タイルＢ）を同時にデコード（２つの合成タイルを復号）して重畳した映像を得る。そして、クライアント２０は、得られた映像から視聴者の要求する位置、大きさの映像をクリッピングし、クリッピングした表示領域を表示装置に表示する（図３（ｉｉｉ））。
【００３５】
次に、視聴者の要求する位置、大きさ（映像の表示領域）が変更された場合は、適切な高解像度の合成タイルを変更して、前述した処理動作を繰り返す。例えば、一定以上の位置だけの変更があった場合は、同じ解像度の映像の別の合成タイルを選択する。また、一定以上の表示領域の拡大があった場合は、より低い解像度の映像の合成タイルを選択することになる。
【００３６】
次に、最低解像度の映像サイズを決定する動作について説明する。まず、クライアント２０の表示用ディスプレイの縦及び横のサイズを映像／音声符号化部１２に出力する。映像／音声符号化部１２は、高精細映像のアスペクト比と、クライアント２０の表示用ディスプレイのアスペクト比を比較して、複数解像度の最低解像度のサイズを決定する。
【００３７】
具体的には、「表示用ディスプレイの横のサイズ／縦のサイズ」≧「高精細映像の横のサイズ／縦のサイズ」を満たす場合は、最低解像度の縦のサイズを表示用ディスプレイの縦のサイズに合わせる。最低解像度の横のサイズは、この縦のサイズを基準に高精細映像のアスペクト比に合わせて決定する。
【００３８】
一方、「表示用ディスプレイの横のサイズ／縦のサイズ」＜「高精細映像の横のサイズ／縦のサイズ」を満たす場合は、最低解像度の横のサイズを表示用ディスプレイの縦のサイズに合わせる。最低解像度の縦のサイズは、この横のサイズを基準に高精細映像のアスペクト比に合わせて決定する。
【００３９】
上記のような２つの合成タイルの配信動作により、映像が欠けてしまうという問題を解決しつつ、視聴者が好きな位置や大きさで視聴することができるようになる。
【００４０】
次に、拡大率γｗの観点から最適となる解像度数を決定する動作を説明する。常に一定の映像サイズで復号化することでクライアント２０の負荷を軽減するために、どのくらいの表示領域のサイズの時に、最適な解像度の合成タイルを使用するかを決定する必要がある。そこで、まず以下のパラメータを定義する。
Ｚｘ：高精細のオリジナル画像の横のサイズ（ｐｉｘｅｌ）
Ｚｙ：高精細のオリジナル画像の縦のサイズ（ｐｉｘｅｌ）
Ｄｘ：クライアント２０の表示用ディスプレイの横のサイズ（ｐｉｘｅｌ）
Ｄｙ：クライアント２０の表示用ディスプレイの縦のサイズ（ｐｉｘｅｌ）
Ｖｘ：タイルの横のサイズ（ｐｉｘｅｌ）
Ｖｙ：タイルの縦のサイズ（ｐｉｘｅｌ）
Ｃｘ：合成タイルの横のサイズ（ｐｉｘｅｌ）
Ｃｙ：合成タイルの縦のサイズ（ｐｉｘｅｌ）
ｎ：解像度数（ｎ≧２を満たす整数）
β：隣り合う解像度との映像サイズの割合（解像度変換率（β＞１））
【００４１】
ここで、解像度数とは異なる解像度の数を表す。例えば、図２及び図３の場合は３（最高解像度、中解像度、最低解像度）となる。なお、合成タイルのサイズは、クライアント２０の表示用ディスプレイでのＤｏｔ  ｂｙ  Ｄｏｔ表示を可能とするため、以下の条件をＡＮＤ条件で満たす（以下、合成タイル条件）ものとする。
合成タイル条件：Ｃｘ≧Ｄｘ  ＡＮＤ  Ｃｙ≧Ｄｙ  を満たすＣｘ，Ｃｙ
【００４２】
ここで、クライアント２０が低機能であることが前提であるため、合成タイルのサイズＣｘ，Ｃｙは、合成タイル条件を満たしつつ、最小のＣｘ，Ｃｙであることが推奨される。また、Ｃｘ，Ｃｙは合成タイルのサイズであることから、１つのタイルの横のサイズ（Ｖｘ）及び縦のサイズ（Ｖｙ）の整数倍になる。
【００４３】
次に、解像度数ｎのときの解像度変換率βは以下となる。図４は、高精細映像の最低解像度と再生端末のアスペクト比の例を示す図である。ここでは、図４に示すように、２つのパターンに分類して解像度変換率の計算を行う。
【００４４】
第１のパターンは、（Ｄｘ／Ｄｙ）≧（Ｚｘ／Ｚｙ）（以下、第１のコンテンツ条件という）の場合である。この場合は、オリジナルコンテンツより、クライアント２０の表示用ディスプレイの方が横長となるため、最低解像度の縦のサイズがＤｙとして決定されることから、縦のサイズから
【数１】
2014176017.tif 000003
として算出する（図４（ａ））。
【００４５】
第２のパターンは、（Ｄｘ／Ｄｙ）＜（Ｚｘ／Ｚｙ）（以下、第２のコンテンツ条件という）の場合である。この場合は、オリジナルコンテンツより、クライアント２０の表示用ディスプレイの方が縦長となるため、最低解像度の横のサイズがＤｘとして決定されることから、横のサイズから
【数２】
2014176017.tif 000004
として算出する（図４（ｂ））。
【００４６】
さらに、解像度変更時のルールを適用する。解像度変更時のルールは、「再生端末において、Ｄｏｔ  ｂｙ  Ｄｏｔで表示された状態になったら、１つ下の解像度に変更する」である。このルール化において、最適な解像度数ｎを求めるため、図５に示す処理を適用する。図５は、解像度数ｎを決定する処理動作を示すフローチャートである。
【００４７】
まず、映像／音声符号化部１２は、拡大率γｗを決定する（ステップＳ１）。拡大率γｗは、コンテンツ設計者が映像品質として規定したワーストケースのデジタルズームの拡大率を用いる（γｗ＞１）。なお、ワーストケースのデジタルズームの拡大率とは、合成タイルの映像からクライアント２０の表示ディスプレイに表示する際のデジタルズームの拡大率のうち、最も大きい拡大率（映像品質としては、最も悪い状態）を指す。また、ワーストケースが発生するのは、ある解像度から１つ解像度が下がった直後である。
【００４８】
次に、映像／音声符号化部１２は、解像度数ｎの初期値を設定する（ステップＳ２）。解像度数ｎは、図３の高精細映像ストリームを持つサーバ１０から低機能のクライアント２０への映像ストリームの配信例から、最低値が「２」である必要があるため、これを初期値とする。
【００４９】
次に、映像／音声符号化部１２は、制約条件のチェックを行う（ステップＳ３）。高精細映像用ストリームを生成するに際しては、ストリームとして採用する符号化規格により、使用できるタイルの総数の上限が規定される（例えば、Ｈ．２６４／ＭＶＣを採用した場合は上限は１０２４）。このタイルの総数の上限（以下、Ｈｒｅｓという）を超えないことが制約条件となる。
【００５０】
そこで、解像度数ｎで生成される高精細映像用ストリームのタイルの総数を以下にて算出する。まず、ある解像度ｎａ（ｎａ＝０，１，２，３…，ｎ−１）の画像サイズを横Ｆｎａｘ、  縦Ｆｎａｙと定義する。これは、オリジナル画像サイズＺｘ，Ｚｙと解像度変換率βから以下のような数３の式、および数４の式から導出できる。ここで、解像度０がオリジナル画像サイズとし、以後、解像度が低くなる毎に解像度１，２，３，４，．．．，ｎ−１となる。
【００５１】
また、解像度数ｎが決定されると、解像度変換率βの算出が可能となる。具体的には、上述の第１のコンテンツ条件、第２のコンテンツ条件のどちらかから、解像度変換率βを算出し、以下にて解像度ｎａ（ｎａ＝０，１，２，３…，ｎ−１）の画像サイズを算出する。
【数３】
2014176017.tif 000005
【数４】
2014176017.tif 000006
ここで、関数Ｅｖｅｎにて偶数化しているが、各解像度の映像符号化時に支障が無ければ他の関数で整数化されても良い。
【００５２】
次に、Ｆｎａｘ，Ｆｎａｙから、ある解像度ｎａ（ｎａ＝０，１，２，３…，ｎ−１）において符号化で必要となるタイル総数を以下の式で算出する。
【数５】
2014176017.tif 000007
【数６】
2014176017.tif 000008
ここで、Ｒｏｕｎｄｕｐ（ａ，ｂ）は、ａを小数点第ｂ位まで表示して以下切り上げの関数である。
【００５３】
次に、算出されたＨｎａｘ，Ｈｎａｙより必要となるタイルの総数（Ｈｓｕｍ）を以下の式で算出する。
【数７】
2014176017.tif 000009
【００５４】
そして、「Ｈｓｕｍ≦Ｈｒｅｓ」の判定を行い、ＮＧであればワーストケースのデジタルズームの拡大率（γｗ）に微小な量の値（Δγｗ）を増加（γｗ←γｗ＋Δγｗ）させて（ワーストケースのデジタルズームの拡大率を少し大きくして）、ステップＳ１の処理に戻る。
【００５５】
一方、ステップＳ３において、ＯＫであれば、映像／音声符号化部１２は、拡大率のチェックを行う（ステップＳ４）。ステップＳ３において算出された解像度変換率βを用いると、解像度数ｎのときのワーストケースのデジタルズームの拡大率（γｗ＿ｎ）は解像度変換率βと同じ値になる。
【００５６】
そこで、γｗ＿ｎ（＝β）≦γｗを満たすか否かに基づき拡大率のチェックを行う。この結果、ＯＫであれば、この時点の解像度数ｎを採用して処理を終了し、ＮＧであればｎを１増やして（ｎ←ｎ＋１）としてステップＳ３の処理に戻る。
【００５７】
次に、解像度のレベルを一つ下げるか否かを判定するための閾値について説明する。前述した処理によって解像度数ｎが決定されたら、解像度変更時のルール「再生端末において、Ｄｏｔ  ｂｙ  Ｄｏｔで表示された状態になったら、１つ下の解像度に変更する」を用いて、解像度変換の閾値が以下のように算出可能となる。
【００５８】
（Ｄｘ／Ｄｙ）≧（Ｚｘ／Ｚｙ）（第１のコンテンツ条件）の場合は、まず、最高解像度から次の解像度（解像度０→解像度１）の解像度変換の閾値は、解像度変更時のルールから以下にて定義され算出される。
【数８】
2014176017.tif 000010
【数９】
2014176017.tif 000011
【００５９】
以降の解像度（解像度ｎａ→解像度ｎａ＋１）の解像度変換の閾値では、各解像度の大きさの比率は解像度変換率βで定義されていることから、以下にて算出できる。
【数１０】
2014176017.tif 000012
【数１１】
2014176017.tif 000013
【００６０】
（Ｄｘ／Ｄｙ）＜（Ｚｘ／Ｚｙ）（第２のコンテンツ条件）の場合は、まず、最高解像度から次の解像度（解像度０→解像度１）の解像度変換の閾値は、解像度変更時のルールから以下にて定義され算出される。
【数１２】
2014176017.tif 000014
【数１３】
2014176017.tif 000015
【００６１】
以降の解像度（解像度ｎａ→解像度ｎａ＋１）の解像度変換の閾値では、各解像度の大きさの比率は解像度変換率βで定義されていることから、以下にて算出できる。
【数１４】
2014176017.tif 000016
【数１５】
2014176017.tif 000017
【００６２】
このように、４Ｋ解像度、８Ｋ解像度及び巨大なパノラマ映像等のハイビジョン（ＨＤ）品質を大きく上回る解像度の高精細映像を、多視点映像符号化データとして作成した後、タブレット端末等の低機能な再生端末でも復号、再生を行えることを前提に、視聴者が視聴領域を拡大／縮小しても映像サイズを一定に保つことで復号化のための負荷を抑えた上で、高精細映像の一部を部分的に配信することができるようになる。
【００６３】
これを実現するために、低機能な再生端末でも復号可能なように、映像を拡大／縮小しても復号する際の映像サイズを常に一定のサイズにするようにする。具体的には、視聴対象の高精細映像を予め複数の解像度で構成し、視聴者の好みの位置や大きさに合わせた適切な解像度のタイルから１枚の映像（合成タイル）を得るようにした。
【００６４】
また、視聴中に表示する位置や大きさが変化しても映像が欠けることのないように、視聴者の好みの位置や大きさに合わせた適切な解像度のタイルから生成される１枚の映像（１つ目の映像）に加えて、同時に高精細映像全体を含むタイルから生成される１枚の映像（２つ目の映像）の合計２つの映像を復号するようにした。
【００６５】
このようにすることで、２つの映像という最低限の復号化能力を持ちうれば、低機能再生端末であっても、常に一定の映像サイズで復号化することで負荷を軽減し、さらに、視聴者の好みの位置や大きさに合わせて、映像が欠けることなしに高精細映像の視聴を可能とすることができる。
【００６６】
以上説明したように、高精細映像用ストリームに「合成タイル」の概念を導入し、さらに、２つの合成タイルのみを配信して、再生するようにした。また、必要となる高精細映像用ストリームを作成する際に必要となる解像度数ｎと、映像再生時のデジタルズームの拡大率γとの関係を明らかにした。さらに、解像度数ｎ、映像再生時のデジタルズームの拡大率γの関係から、ワーストケースのデジタルズームの拡大率γｗ以下で実現可能な、タイル符号化時の負荷を最小化した高精細映像用ストリームの作成を可能とした。
【００６７】
これにより、４Ｋ解像度、８Ｋ解像度及び巨大なパノラマ映像等のハイビジョン（ＨＤ）品質を大きく上回る解像度の高精細映像を、視聴者の好きな位置や大きさで視聴する際に、低機能なクライアント（再生端末）で視聴することができる。また、視聴者が好きな位置や大きさを変更する際に、映像が欠けることなく、位置や大きさを変更することができる。また、解像度数ｎの決定方法として、ワーストケースのデジタルズームの拡大率以下で、最小の解像度数ｎを決定することができ、タイルの符号化時の負荷を最小限に抑えることができる。
【００６８】
なお、図１におけるサーバ１０、クライアント２０の機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することにより映像配信処理を行ってもよい。なお、ここでいう「コンピュータシステム」とは、ＯＳや周辺機器等のハードウェアを含むものとする。また、「コンピュータシステム」は、ホームページ提供環境（あるいは表示環境）を備えたＷＷＷシステムも含むものとする。また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ−ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムが送信された場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリ（ＲＡＭ）のように、一定時間プログラムを保持しているものも含むものとする。
【００６９】
また、上記プログラムは、このプログラムを記憶装置等に格納したコンピュータシステムから、伝送媒体を介して、あるいは、伝送媒体中の伝送波により他のコンピュータシステムに伝送されてもよい。ここで、プログラムを伝送する「伝送媒体」は、インターネット等のネットワーク（通信網）や電話回線等の通信回線（通信線）のように情報を伝送する機能を有する媒体のことをいう。また、上記プログラムは、前述した機能の一部を実現するためのものであってもよい。さらに、前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるもの、いわゆる差分ファイル（差分プログラム）であってもよい。
【００７０】
以上、図面を参照して本発明の実施の形態を説明してきたが、上記実施の形態は本発明の例示に過ぎず、本発明が上記実施の形態に限定されるものではないことは明らかである。したがって、本発明の技術思想及び範囲を逸脱しない範囲で構成要素の追加、省略、置換、その他の変更を行っても良い。
【産業上の利用可能性】
【００７１】
再生処理の負荷を軽減できるとともに、映像が欠けることなしに高精細映像の視聴を可能にすることが不可欠な用途に適用できる。
【符号の説明】
【００７２】
１０・・・サーバ、１１・・・映像／音声情報出力部、１２・・・映像／音声符号化部、１３・・・複数映像位置情報送信部、１４・・・映像／音声情報保存部、１５・・・送信部、１６・・・注視領域制御部、１７・・・合成タイル生成部、１８・・・再生端末情報受信部、２０・・・クライアント、２１・・・複数映像位置情報受信部、２２・・・画面操作制御部、２３・・・注視領域要求部、２４・・・受信部、２５・・・映像／音声復号化部、２６・・・映像／音声再生部、２７・・・再生端末情報送信部
【図１】
2014176017.tif 000018
【図２】
2014176017.tif 000019
【図３】
2014176017.tif 000020
【図４】
2014176017.tif 000021
【図５】
2014176017.tif 000022
【図６】
2014176017.tif 000023
【図７】
2014176017.tif 000024
【図８】
2014176017.tif 000025