(57)【要約】  本発明はビデオ符号化方法及び装置、機器、記憶媒体を提供し、符号化技術分野に関する。前記方法は、パノラマ画像フレームからなるパノラマビデオを取得することと、パノラマビデオを、それぞれパノラマビデオ中の全てのパノラマ画像フレームにおける同一の水平視角を有する領域からなり、水平視角の総和がパノラマ画像フレームの総水平視角であるＮ（Ｎは正整数である。）個の視角ビデオシーケンスに分割することと、Ｎ個の視角ビデオシーケンスにそれぞれ符号化を行って、Ｎ組の符号化データを得ることと、ユーザの観賞視角を確定することと、水平視角が観賞視角を含む視角ビデオシーケンスを選択し、視角ビデオシーケンスの符号化データをユーザに提供することと、を含み、一つのパノラマ画像フレーム中の各領域は互いに重ならない。
2019512969.tif 000002
【特許請求の範囲】
【請求項１】
所定の視角の風物を記録して形成された画像フレームであるパノラマ画像フレームからなるパノラマビデオを取得することと、
前記パノラマビデオを、それぞれ前記パノラマ画像フレームにおける同一の水平視角を有する領域からなり、水平視角の総和が前記パノラマ画像フレームの総水平視角であるＮ(Ｎは正整数である。)個の視角ビデオシーケンスに分割することと、
前記Ｎ個の視角ビデオシーケンスにそれぞれ符号化を行って、Ｎ組の符号化データを得ることと、
ユーザの観賞視角を確定することと、
水平視角が前記観賞視角を含む視角ビデオシーケンスを選択して、前記視角ビデオシーケンスの符号化データを前記ユーザに提供することと、を含み、
一つのパノラマ画像フレーム中の各領域は互いに重ならない、ビデオ符号化方法。
【請求項２】
前記パノラマビデオをＮ個の視角ビデオシーケンスに分割することは、
予め設定された視角分割ルールに従って、前記パノラマビデオ中の各パノラマ画像フレームを水平視角に基づいてＮ個の領域に分割することと、
全てのパノラマ画像フレームにおける同一の水平視角を有する領域で一つの視角ビデオシーケンスを構成して、前記Ｎ個の視角ビデオシーケンスを得ることと、を含む請求項１に記載の方法。
【請求項３】
時刻Ｔｉ（ｉは正整数である）で前記ユーザの観賞視角が変化したと確定すると、前記視角ビデオシーケンス中の第ｉ個の領域の符号化データの送信を禁止することと、
水平視角が変化後の前記観賞視角に合う視角ビデオシーケンスである更新視角ビデオシーケンスを選択し、前記更新視角ビデオシーケンス中の第ｉ個の領域の符号化データを前記ユーザに提供することと、
ｉをｉ＋１に更新し、時刻Ｔｉで、前記更新視角ビデオシーケンス中の第ｉ個の領域の符号化データを前記ユーザに提供するステップを循環的に実行することと、をさらに含む請求項１に記載の方法。
【請求項４】
前記水平視角が前記観賞視角を含む視角ビデオシーケンスを選択した後、
前記水平視角に隣り合い、且つ前記水平視角未満の連続するｎ個の水平視角に対応する視角ビデオシーケンスを取得し、前記水平視角に隣り合い、且つ前記水平視角よりも大きい連続するｍ（ｎとｍはいずれも正整数で、且つｎ＋ｍ≦Ｎ−１である。）個の水平視角に対応する視角ビデオシーケンスを取得することと、
前記ｎ＋ｍ個の視角ビデオシーケンス中の、同一のパノラマ画像フレームに属する各ｎ＋ｍ個の領域の符号化データを順に前記ユーザに提供することと、をさらに含む請求項１乃至３の中のいずれかに記載の方法。
【請求項５】
各視角ビデオシーケンスにおいて、第ｊ個の領域の符号化データは第ｊ−１個の領域の符号化データに基づいて生成されるか、或いは、第ｊ個の領域の符号化データは第ｊ−１（ｊとｌはいずれも正整数で、且つｌ＞ｊ≧２である）個の領域の符号化データと第ｌ個の領域の符号化データに基づいて生成され、
異なる視角ビデオシーケンス間で、任意の二つの領域の符号化データは時間領域で関係ない請求項１に記載の方法。
【請求項６】
前記領域が少なくとも二つのマクロブロックを含む場合、
各領域において、一つのマクロブロックの符号化データは空間領域内で隣り合うマクロブロックの符号化データに基づいて生成され、
異なる領域間において、空間領域内で隣り合う二つのマクロブロックの符号化データは関係ない請求項１に記載の方法。
【請求項７】
所定の視角の風物を記録して形成された画像フレームであるパノラマ画像フレームからなるパノラマビデオを取得し、前記パノラマビデオを、それぞれ前記パノラマビデオ中の全てのパノラマ画像フレームにおける同一の水平視角を有する領域からなり、水平視角の総和が前記パノラマ画像フレームの総水平視角であるＮ（Ｎは正整数である。）個の視角ビデオシーケンスに分割し、前記Ｎ個の視角ビデオシーケンスにそれぞれ符号化を行ってＮ組の符号化データを得、水平視角が観賞視角を含む視角ビデオシーケンスを選択して前記視角ビデオシーケンスの符号化データをユーザに提供するように構成されたエンコーダに前記ユーザの前記観賞視角を提供することと、
前記エンコーダから送信された前記符号化データを受信することと、
前記符号化データに復号化を行うことと、を含み、
一つのパノラマ画像フレーム中の各領域は互いに重ならないビデオ符号化方法。
【請求項８】
ｎ＋ｍ（ｎとｍはいずれも正整数で、且つｎ＋ｍ≦Ｎ−１である。）個の視角ビデオシーケンス中の、同一のパノラマ画像フレームに属する各ｎ＋ｍ個の領域の符号化データを順に受信することをさらに含み、
前記ｎ＋ｍ個の視角ビデオシーケンスは前記水平視角に隣り合い、且つ前記水平視角未満の連続するｎ個の水平視角に対応する視角ビデオシーケンス、及び、前記水平視角に隣り合い、且つ前記水平視角よりも大きい連続するｍ個の水平視角に対応する視角ビデオシーケンスである請求項７に記載の方法。
【請求項９】
前記符号化データに復号化を行うことは、
現在時刻で受信された、水平視角が前記観賞視角に合う視角ビデオシーケンス中の領域の符号化データに復号化を行って、得られた前記領域を放送することと、
前記現在時刻で受信された前記ｎ＋ｍ個の視角ビデオシーケンス中のｎ＋ｍ個の領域の符号化データをバッファリングすることと、を含む請求項８に記載の方法。
【請求項１０】
時刻Ｔｉで前記ユーザの観賞視角が変化すると、
バッファリングされた前記ｎ＋ｍ個の領域の符号化データから、更新視角ビデオシーケンス中の第ｉ個の領域の符号化データを選択し、前記符号化データに復号化を行って、得られた前記第ｉ個の領域を放送することをさらに含み、
前記更新視角ビデオシーケンスは水平視角が変化後の前記観賞視角に合う視角ビデオシーケンスである請求項９に記載の方法。
【請求項１１】
前記符号化データに復号化を行うことは、
現在時刻で受信された、水平視角が前記観賞視角に合う視角ビデオシーケンス中の領域の符号化データに復号化を行って、得られた前記領域を放送することと、
前記現在時刻で受信された前記ｎ＋ｍ個の視角ビデオシーケンス中のｎ＋ｍ個の領域の符号化データに復号化を行って、得られた前記ｎ＋ｍ個の領域をバッファリングすることと、を含む請求項８に記載の方法。
【請求項１２】
時刻Ｔｉで前記ユーザの観賞視角が変化すると、
バッファリングされた前記ｎ＋ｍ個の領域から、更新視角ビデオシーケンス中の第ｉ個の領域を選択して、前記第ｉ個の領域を放送することをさらに含み、
前記更新視角ビデオシーケンスは水平視角が変化後の前記観賞視角に合う視角ビデオシーケンスである請求項１１に記載の方法。
【請求項１３】
所定の視角の風物を記録して形成された画像フレームであるパノラマ画像フレームからなるパノラマビデオを取得するように構成されたビデオ取得モジュールと、
前記ビデオ取得モジュールが取得した前記パノラマビデオを、それぞれ前記パノラマビデオ中の全てのパノラマ画像フレームにおける同一の水平視角を有する領域からなり、水平視角の総和が前記パノラマ画像フレームの総水平視角であるＮ（Ｎは正整数である。）個の視角ビデオシーケンスに分割するように構成されたビデオ分割モジュールと、
前記ビデオ分割モジュールで得た前記Ｎ個の視角ビデオシーケンスにそれぞれ符号化を行って、Ｎ組の符号化データを得るように構成されたビデオ符号化モジュールと、
ユーザの観賞視角を確定するように構成された視角確定モジュールと、
水平視角が前記視角確定モジュールによって確定された前記観賞視角を含む視角ビデオシーケンスを選択して、前記視角ビデオシーケンスの符号化データを前記ユーザに提供するように構成された第１の提供モジュールと、を含み、
一つのパノラマ画像フレーム中の各領域は互いに重ならないビデオ符号化装置。
【請求項１４】
前記ビデオ分割モジュールは、
予め設定された視角分割ルールに従って、前記パノラマビデオ中の各パノラマ画像フレームを水平視角に基づいてＮ個の領域に分割するように構成された領域分割ユニットと、
前記領域分割ユニットが分割した全てのパノラマ画像フレームにおける同一の水平視角を有する領域で一つの視角ビデオシーケンスを構成して、前記Ｎ個の視角ビデオシーケンスを得るように構成されたシーケンス生成ユニットと、を含む請求項１３に記載の装置。
【請求項１５】
前記第１の提供モジュールは、さらに、
時刻Ｔｉ（ｉは正整数である。）で前記ユーザの観賞視角が変化したと確定すると、前記視角ビデオシーケンス中の第ｉ個の領域の符号化データの送信を禁止し、
水平視角が変化後の前記観賞視角に合う視角ビデオシーケンスである更新視角ビデオシーケンスを選択し、前記更新視角ビデオシーケンス中の第ｉ個の領域の符号化データを前記ユーザに提供し、
ｉをｉ＋１に更新し、時刻Ｔｉで、前記更新視角ビデオシーケンス中の第ｉ個の領域の符号化データを前記ユーザに提供するステップを循環的に実行するように構成される請求項１３に記載の装置。
【請求項１６】
前記第１の提供モジュールが水平視角が前記観賞視角に合う視角ビデオシーケンスを選択した後、前記水平視角に隣り合い、且つ前記水平視角未満の連続するｎ個の水平視角に対応する視角ビデオシーケンスを取得し、また、前記水平視角に隣り合い、且つ前記水平視角よりも大きい連続するｍ（ｎとｍはいずれも正整数で、且つｎ＋ｍ≦Ｎ−１である。）個の水平視角に対応する視角ビデオシーケンスを取得するように構成されたシーケンス選択モジュールと、
前記シーケンス選択モジュールが選択したｎ＋ｍ個の視角ビデオシーケンス中の、同一のパノラマ画像フレームに属する各ｎ＋ｍ個の領域の符号化データを順に前記ユーザに提供するように構成された第２の提供モジュールと、をさらに含む請求項１３乃至１５の中のいずれかに記載の装置。
【請求項１７】
各視角ビデオシーケンスにおいて、第ｊ個の領域の符号化データは第ｊ−１個の領域の符号化データに基いて生成されるか、或いは、第ｊ個の領域の符号化データは第ｊ−１（ｊとｌはいずれも正整数で、且つｌ＞ｊ≧２である。）個の領域の符号化データと第ｌ個の領域の符号化データに基いて生成され、
異なる視角ビデオシーケンス間において、任意の二つの領域の符号化データは時間領域で関係ない請求項１３に記載の装置。
【請求項１８】
前記領域が少なくとも二つのマクロブロックを含む場合、
各領域において、一つのマクロブロックの符号化データは空間領域内で隣り合うマクロブロックの符号化データに基いて生成され、
異なる領域間において、空間領域内で隣り合う二つのマクロブロックの符号化データは関係ない請求項１３に記載の装置。
【請求項１９】
所定の視角の風物を記録して形成された画像フレームであるパノラマ画像フレームからなるパノラマビデオを取得し、前記パノラマビデオを、それぞれ前記パノラマビデオ中の全てのパノラマ画像フレームにおける同一の水平視角を有する領域からなり、水平視角の総和が前記パノラマ画像フレームの総水平視角であるＮ（Ｎは正整数である。）個の視角ビデオシーケンスに分割し、前記Ｎ個の視角ビデオシーケンスにそれぞれ符号化を行ってＮ組の符号化データを得、水平視角が観賞視角を含む視角ビデオシーケンスを選択して前記視角ビデオシーケンスの符号化データをユーザに提供するように構成されたエンコーダに前記ユーザの前記観賞視角を提供するように構成された視角提供モジュールと、
前記エンコーダから送信された前記符号化データを受信するように構成された第１の受信モジュールと、
前記第１の受信モジュールが受信した前記符号化データに復号化を行うように構成されたデータ復号化モジュールと、を含み、
一つのパノラマ画像フレーム中の各領域は互いに重ならないビデオ符号化装置。
【請求項２０】
ｎ＋ｍ（ｎとｍはいずれも正整数で、且つｎ＋ｍ≦Ｎ−１である。）個の視角ビデオシーケンス中の、同一のパノラマ画像フレームに属する各ｎ＋ｍ個の符号化データを順に受信するように構成された第２の受信モジュールをさらに含み、
前記ｎ＋ｍ個の視角ビデオシーケンスは前記水平視角に隣り合い、且つ前記水平視角未満の連続するｎ個の水平視角に対応する視角ビデオシーケンス、及び、前記水平視角に隣り合い、且つ前記水平視角よりも大きい連続するｍ個の水平視角に対応する視角ビデオシーケンスである請求項１９に記載の装置。
【請求項２１】
前記データ復号化モジュールは、
現在時刻で受信された、水平視角が前記観賞視角に合う視角ビデオシーケンス中の領域の符号化データに復号化を行い、得られた前記領域を放送し、前記現在時刻で受信された前記ｎ＋ｍ個の視角ビデオシーケンス中のｎ＋ｍ個の領域の符号化データをバッファリングするように構成された第１の処理ユニットを含む請求項２０に記載の装置。
【請求項２２】
前記データ復号化モジュールは、
時刻Ｔｉで前記ユーザの観賞視角が変化すると、前記第１の処理ユニットによってバッファリングされた前記ｎ＋ｍ個の領域の符号化データから、更新視角ビデオシーケンス中の第ｉ個の領域の符号化データを選択し、前記符号化データに復号化を行って、得られた前記第ｉ個の領域を放送するように構成された第２の処理ユニットをさらに含み、
前記更新視角ビデオシーケンスは水平視角が変化後の前記観賞視角に合う視角ビデオシーケンスである請求項２１に記載の装置。
【請求項２３】
前記データ復号化モジュールは、
現在時刻で受信された、水平視角が前記観賞視角に合う視角ビデオシーケンス中の領域の符号化データに復号化を行い、得られた前記領域を放送し、前記現在時刻で受信された前記ｎ＋ｍ個の視角ビデオシーケンス中のｎ＋ｍ個の領域の符号化データに復号化を行って、得られた前記ｎ＋ｍ個の領域をバッファリングするように構成された第３の処理ユニットをさらに含む請求項２０に記載の装置。
【請求項２４】
前記データ復号化モジュールは、
時刻Ｔｉで前記ユーザの観賞視角が変化すると、前記第２の処理ユニットによってバッファリングされた前記ｎ＋ｍ個の領域から、更新視角ビデオシーケンス中の第ｉ個の領域を選択して、前記第ｉ個の領域を放送するように構成された第４の処理ユニットをさらに含み、
前記更新視角ビデオシーケンスは水平視角が変化後の前記観賞視角に合う視角ビデオシーケンスである請求項２３に記載の装置。
【請求項２５】
請求項１乃至６の中のいずれかに記載のビデオ符号化方法又は請求項７乃至１２の中のいずれかに記載のビデオ符号化方法を実行するためのコンピューターが実行可能な命令を記憶したコンピューター記憶媒体。
【請求項２６】
所定の視角の風物を記録して形成された画像フレームであるパノラマ画像フレームからなるパノラマビデオを取得することと、
前記パノラマビデオを、それぞれ前記パノラマ画像フレームにおける同一の水平視角を有する領域からなり、水平視角の総和が前記パノラマ画像フレームの総水平視角であるＮ（Ｎは正整数である。）個の視角ビデオシーケンスに分割することと、
前記Ｎ個の視角ビデオシーケンスにそれぞれ符号化を行って、Ｎ組の符号化データを得ることと、
ユーザの観賞視角を確定することと、
水平視角が前記観賞視角を含む視角ビデオシーケンスを選択し、前記視角ビデオシーケンスの符号化データを前記ユーザに提供することと、
を実行するための実行可能な命令を記憶するための第１の記憶媒体と、
記憶された実行可能な命令を実行するように構成された第１のプロセッサと、を含み、
一つのパノラマ画像フレーム中の各領域は互いに重ならないエンコーダ。
【発明の詳細な説明】
【技術分野】
【０００１】
本特許出願は、２０１６年０３月２２日に出願した中国特許出願番号２０１６１０１６３６４５.６で、出願人がテンセント科学技術（深セン）有限会社で、発明名称が「ビデオの符号化方法及び装置」を基礎とする優先権を主張し、その開示のすべてをここに取り込む。
【０００２】
本発明は、符号化技術分野に関し、特に、ビデオ符号化方法及び装置、機器、記憶媒体に関する。
【背景技術】
【０００３】
パノラマビデオは、一連のパノラマ画像フレームからなるビデオで、パノラマ画像フレームは、所定の視角の風物を記録して形成された画像フレームで、例えば、所定の視角は水平３６０°、鉛直１８０°であって、又は所定の視角は水平３６０°、鉛直２７０°などである。エンコーダは、パノラマカメラによってパノラマビデオを得た後、パノラマビデオを符号化し、符号化後のパノラマビデオをデコーダに送信して復号化して、ユーザに復号化後に得たパノラマビデオを見せる。
【０００４】
既存技術で提供したビデオを符号化する方法は、エンコーダがパノラマビデオ中の全てのパノラマ画像フレームを取得することと、各パノラマ画像フレームについて、該パノラマ画像フレームをＨ．２６４／ＡＶＣ（Ａｄｖａｎｃｅｄ  Ｖｉｄｅｏ  Ｃｏｄｉｎｇ、高級ビデオ符号化）に定義されたシンタックス構成に従って符号化して、下付き文字が連続するマクロブロック集合を得る、即ち、該パノラマ画像フレームの符号化データを得ることと、又は、各パノラマ画像フレームをＨ．２６５／ＨＥＶＣ（Ｈｉｇｈ  Ｅｆｆｉｃｉｅｎｃｙ  Ｖｉｄｅｏ  Ｃｏｄｉｎｇ、効率的ビデオ符号化）に定義されたシンタックス構成に従って符号化して、ブロック単位の矩形領域集合を得る、即ち、該パノラマ画像フレームの符号化データであることと、各パノラマ画像フレームに対応する符号化データをデコーダに送信することと、を含む。
【０００５】
ユーザの視角は通常、１５０°程度であるので、パノラマ画像フレーム中の１５０°程度の視角の符号化データのみが有効で、その他の符号化データはすべて無効であって、これらの無効の符号化データを受信して復号化するとリソースを浪費しています。
【発明の概要】
【発明が解決しようとする課題】
【０００６】
本発明の実施例は、パノラマビデオ中の全てのパノラマ画像フレームの符号化データを受信して復号化してリソースを浪費する問題を解決するため、ビデオの符号化方法及び装置、機器、記憶媒体を提供する。
【課題を解決するための手段】
【０００７】
本発明の実施例の技術案は以下のとおりである。
【０００８】
一態様によると、本発明の実施例は、
所定の視角の風物を記録して形成された画像フレームであるパノラマ画像フレームからなるパノラマビデオを取得することと、
前記パノラマビデオを、それぞれ前記パノラマビデオ中の全てのパノラマ画像フレームにおける同一の水平視角を有する領域からなり、水平視角の総和が前記パノラマ画像フレームの総水平視角であるＮ(Ｎは正整数である。)個の視角ビデオシーケンスに分割することと、
前記Ｎ個の視角ビデオシーケンスにそれぞれ符号化を行って、Ｎ組の符号化データを得ることと、
ユーザの観賞視角を確定することと、
水平視角が前記観賞視角を含む視角ビデオシーケンスを選択して、前記視角ビデオシーケンスの符号化データを前記ユーザに提供することと、を含み、
一つのパノラマ画像フレーム中の各領域は互いに重ならない、ビデオ符号化方法を提供する。
【０００９】
一方、本発明の実施例で、
所定の視角の風物を記録して形成された画像フレームであるパノラマ画像フレームからなるパノラマビデオを取得し、前記パノラマビデオを、それぞれ前記パノラマビデオ中の全てのパノラマ画像フレームにおける同一の水平視角を有する領域からなり、水平視角の総和が前記パノラマ画像フレームの総水平視角であるＮ（Ｎは正整数である。）個の視角ビデオシーケンスに分割し、前記Ｎ個の視角ビデオシーケンスにそれぞれ符号化を行ってＮ組の符号化データを得、水平視角が観賞視角を含む視角ビデオシーケンスを選択して前記視角ビデオシーケンスの符号化データをユーザに提供するように構成されたエンコーダに前記ユーザの前記観賞視角を提供することと、
前記エンコーダから送信された前記符号化データを受信することと、
前記符号化データに復号化を行うことと、を含み、
一つのパノラマ画像フレーム中の各領域は互いに重ならない、ビデオ符号化方法を提供する。
【００１０】
本発明の実施例はさらに、
所定の視角の風物を記録して形成された画像フレームであるパノラマ画像フレームからなるパノラマビデオを取得するように構成されたビデオ取得モジュールと、
前記ビデオ取得モジュールが取得した前記パノラマビデオを、それぞれ前記パノラマビデオ中の全てのパノラマ画像フレームにおける同一の水平視角を有する領域からなり、水平視角の総和が前記パノラマ画像フレームの総水平視角であるＮ（Ｎは正整数である。）個の視角ビデオシーケンスに分割するように構成されたビデオ分割モジュールと、
前記ビデオ分割モジュールで得た前記Ｎ個の視角ビデオシーケンスにそれぞれ符号化を行って、Ｎ組の符号化データを得るように構成されたビデオ符号化モジュールと、
ユーザの観賞視角を確定するように構成された視角確定モジュールと、
水平視角が前記視角確定モジュールによって確定された前記観賞視角を含む視角ビデオシーケンスを選択して、前記視角ビデオシーケンスの符号化データを前記ユーザに提供するように構成された第１の提供モジュールと、を含み、
一つのパノラマ画像フレーム中の各領域は互いに重ならない、ビデオ符号化装置を提供する。
【００１１】
本発明の実施例はさらに、
所定の視角の風物を記録して形成された画像フレームであるパノラマ画像フレームからなるパノラマビデオを取得し、前記パノラマビデオを、それぞれ前記パノラマビデオ中の全てのパノラマ画像フレームにおける同一の水平視角を有する領域からなり、水平視角の総和が前記パノラマ画像フレームの総水平視角であるＮ（Ｎは正整数である。）個の視角ビデオシーケンスに分割し、前記Ｎ個の視角ビデオシーケンスにそれぞれ符号化を行ってＮ組の符号化データを得、水平視角が観賞視角を含む視角ビデオシーケンスを選択して前記視角ビデオシーケンスの符号化データをユーザに提供するように構成されたエンコーダに前記ユーザの前記観賞視角を提供するように構成された視角提供モジュールと、
前記エンコーダから送信された前記符号化データを受信するように構成された第１の受信モジュールと、
前記第１の受信モジュールが受信した前記符号化データに復号化を行うように構成されたデータ復号化モジュールと、を含み、
一つのパノラマ画像フレーム中の各領域は互いに重ならない、ビデオ符号化装置を提供する。
【００１２】
本発明の実施例は、本発明の第１の態様又は第２の態様の実施例で提供するビデオ符号化方法を実行するためのコンピューターが実行可能な命令を記憶したコンピューター記憶媒体を提供する。
【００１３】
本発明の実施例は、
所定の視角の風物を記録して形成された画像フレームであるパノラマ画像フレームからなるパノラマビデオを取得することと、
前記パノラマビデオを、それぞれ前記パノラマ画像フレームにおける同一の水平視角を有する領域からなり、水平視角の総和が前記パノラマ画像フレームの総水平視角であるＮ（Ｎは正整数である。）個の視角ビデオシーケンスに分割することと、
前記Ｎ個の視角ビデオシーケンスにそれぞれ符号化を行って、Ｎ組の符号化データを得ることと、
ユーザの観賞視角を確定することと、
水平視角が前記観賞視角を含む視角ビデオシーケンスを選択し、前記視角ビデオシーケンスの符号化データを前記ユーザに提供することと、
を実行するための実行可能な命令を記憶するための第１の記憶媒体と、
記憶された実行可能な命令を実行するように構成された第１のプロセッサと、を含み、
一つのパノラマ画像フレーム中の各領域は互いに重ならない、エンコーダを提供する。
【発明の効果】
【００１４】
本発明の実施例で提供する技術案によると、パノラマビデオをＮ個の視角ビデオシーケンスに分割し、該Ｎ個の視角ビデオシーケンスにそれぞれ符号化を行って、Ｎ組の符号化データを得て、また、ユーザの観賞視角を確定し、水平視角が観賞視角を含む視角ビデオシーケンスを選択して、視角ビデオシーケンスの符号化データをユーザを提供することで、ユーザの観賞視角内の視角ビデオシーケンスの符号化データのみをユーザを提供して、観賞視角外の視角ビデオシーケンスの符号化データの伝送や復号化を回避し、パノラマビデオ中の全てのパノラマ画像フレームの符号化データを受信して復号化してリソースを浪費する問題を解決し、リソースを節約する効果を実現できる。
【図面の簡単な説明】
【００１５】
本発明の実施例の技術案をさらに明確に説明するため、以下、実施例の説明で必要な図面を簡単に説明し、以下で説明する図面が本発明の実施例の一部で、当業者は創造性のある行為を必要とせずにこれらの図面を基に他の図面を得られることはいうまでもない。
【００１６】
【図１】本発明の各実施例に係わるビデオ符号化方法を実施する環境を示す図である。
【図２】本発明の一実施例で提供するビデオ符号化方法を示すフローチャートである。
【図３Ａ】本発明の他の実施例で提供するビデオ符号化方法を示すフローチャートである。
【図３Ｂ】本発明の他の実施例で提供する領域の分割を示す図である。
【図３Ｃ】本発明の他の実施例で提供する視角ビデオシーケンスを示す図である。
【図３Ｄ】本発明の他の実施例で提供する伝送する視角ビデオシーケンス中の各領域を示す図である。
【図３Ｅ】本発明の他の実施例で提供するビデオ符号化方法を示す図である。
【図４】本発明の一実施例で提供するビデオ符号化装置の構成を示すブロック図である。
【図５】本発明の更なる他の実施例で提供するビデオ符号化装置の構成を示すブロック図である。
【図６】本発明の一実施例で提供するビデオ符号化装置の構成を示すブロック図である。
【図７】本発明の更なる他の実施例で提供するビデオ符号化装置の構成を示すブロック図である。
【発明を実施するための形態】
【００１７】
本発明の目的、技術案とメリットが明確になるように、以下、図面を結合して本発明の実施形態をさらに詳しく説明する。
【００１８】
図１は本発明の各実施例に係わるビデオ符号化方法を実施する環境を示す図で、図１のＡ図において、パノラマカメラ１０１と、ユーザ機器１０２とを含み、この時、エンコーダはパノラマカメラ１０１に設置され、デコーダはユーザ機器１０２に設置される。ここで、ユーザ機器１０２はバーチャルリアリティヘルメット、ＴＶ、コンピューター、携帯電話等であることができ、本実施例では限定しない。
【００１９】
パノラマカメラ１０１は、撮影してパノラマビデオを得た後、エンコーダによってパノラマビデオをＮ個の視角ビデオシーケンスに分割し、各視角ビデオシーケンスに符号化を行って、Ｎ組の符号化データを得る。また、ユーザの観賞視角に応じて、対応する符号化データをユーザ機器１０２に送信し、ユーザ機器１０２はデコーダによって該符号化データに復号化を行って、復号化して得た視角ビデオシーケンスを放送する。
【００２０】
本実施例において、図１のＢ図において、パノラマカメラ１０１と、サーバー１０２と、ユーザ機器１０３と、を含み、ここで、エンコーダはサーバー１０２に設置され、デコーダはユーザ機器１０３に設置される。
【００２１】
パノラマカメラ１０１は、撮影してパノラマビデオを得た後、パノラマビデオをサーバー１０２に送信し、サーバー１０２はエンコーダによってパノラマビデオをＮ個の視角ビデオシーケンスに分割し、各視角ビデオシーケンスに符号化を行って、Ｎ組の符号化データを得る。また、ユーザの観賞視角に応じて、対応する符号化データをユーザ機器１０３に送信し、ユーザ機器１０３はデコーダによって該符号化データに復号化を行って、復号化して得た視角ビデオシーケンスを放送する。
【００２２】
本発明の他の実施例において、図１の下図において、パノラマカメラ１０１と、サーバー１０２と、ユーザ機器１０３と、を含み、ここで、エンコーダはパノラマカメラ１０１に設置され、デコーダはユーザ機器１０３に設置される。
【００２３】
パノラマカメラ１０１は、撮影してパノラマビデオを得た後、エンコーダによってパノラマビデオをＮ個の視角ビデオシーケンスに分割し、各視角ビデオシーケンスに符号化を行って、Ｎ組の符号化データをえて、Ｎ組の符号化データをサーバー１０２に送信する。サーバー１０２はユーザの観賞視角に応じて、対応する符号化データをユーザ機器１０３に送信し、ユーザ機器１０３はデコーダによって該符号化データに復号化を行って、復号化して得た視角ビデオシーケンスを放送する。
【００２４】
図２を参照すると、本発明の一実施例で提供するビデオ符号化方法を示すフローチャートで、該ビデオ符号化方法を図１に示す実施環境に応用できる。該ビデオ符号化方法は、ステップ２０１〜ステップ２０８を含む。
【００２５】
ステップ２０１において、エンコーダが、パノラマビデオを取得し、該パノラマビデオはパノラマ画像フレームからなり、該パノラマ画像フレームは所定の視角の風物を記録して形成された画像フレームである。
【００２６】
ステップ２０２において、エンコーダが、パノラマビデオをＮ（Ｎは正整数である。）個の視角ビデオシーケンスに分割し、各視角ビデオシーケンスはパノラマビデオ中の全てのパノラマ画像フレームにおける同一の水平視角を有する領域からなり、且つＮ個の視角ビデオシーケンスの水平視角の総和はパノラマ画像フレームの総水平視角であり、ここで、一つのパノラマ画像フレーム中の各領域は互いに重ならない。
【００２７】
ステップ２０３において、エンコーダが、Ｎ個の視角ビデオシーケンスにそれぞれ符号化を行って、Ｎ組の符号化データを得る。
【００２８】
ステップ２０４において、デコーダが、エンコーダにユーザの観賞視角を提供する。
【００２９】
ステップ２０５において、エンコーダが、ユーザの観賞視角を確定する。
【００３０】
ステップ２０６において、エンコーダが、水平視角が観賞視角を含む視角ビデオシーケンスを選択し、該視角ビデオシーケンスの符号化データをユーザに提供する。
【００３１】
ステップ２０７において、デコーダが、エンコーダから送信された符号化データを受信する。
【００３２】
ステップ２０８において、デコーダが、符号化データに復号化を行う。
【００３３】
ここで、ステップ２０１、２０２、２０３、２０５、２０６をエンコーダ側の実施例として単独に実現することができ、ステップ２０４、２０７、２０８をデコーダ側の実施例として単独に実現するとができる。
【００３４】
上記のように、本発明の実施例で提供するビデオ符号化方法によると、パノラマビデオをＮ個の視角ビデオシーケンスに分割し、該Ｎ個の視角ビデオシーケンスにそれぞれ符号化を行って、Ｎ組の符号化データを得て、ユーザの観賞視角を確定し、水平視角が観賞視角を含む視角ビデオシーケンスを選択して、視角ビデオシーケンスの符号化データをユーザに提供することで、ユーザの観賞視角内の視角ビデオシーケンスの符号化データのみをユーザに提供し、観賞視角外の視角ビデオシーケンスの符号化データの伝送や復号化を回避し、パノラマビデオ中の全てのパノラマ画像フレームの符号化データを受信して復号化してリソースを浪費する問題を解決し、リソースを節約する効果を実現できる。
【００３５】
図３Ａを参照すると、本発明の他の実施例で提供するビデオ符号化方法を示すフローチャートで、該ビデオ符号化方法を図１に示す実施環境に応用できる。該ビデオ符号化方法、ステップ３０１〜ステップ３０１１を含む。
【００３６】
ステップ３０１において、エンコーダが、パノラマビデオを取得し、該パノラマビデオはパノラマ画像フレームからなり、該パノラマ画像フレームは所定の視角の風物を記録して形成された画像フレームである。
【００３７】
エンコーダがパノラマカメラに位置する場合、パノラマカメラはまず、異なる方位のカメラによってビデオを撮影して、全てのカメラが同時刻で撮影して得た各画像フレームをスティッチングして、各パノラマ画像フレームを得て、さらに、各パノラマ画像フレームでパノラマビデオを構成して、該パノラマビデオをエンコーダに提供する。エンコーダがサーバーに位置する場合、パノラマカメラは、上記フローでパノラマビデオを得た後、該パノラマビデオをサーバーに送信し、サーバーが該パノラマビデオをエンコーダに送信する。ここで、パノラマ画像フレームは所定の視角の風物を記録して形成された画像フレームで、例えば、所定の視角は水平３６０°、鉛直１８０°であるか、或いは、所定の視角は水平３６０°、鉛直２７０°等である。
【００３８】
ステップ３０２において、予め設定された視角分割ルールに従って、エンコーダがパノラマビデオ中の各パノラマ画像フレームを水平視角に基づいてＮ個の領域に分割し、Ｎは正整数である。
【００３９】
視角分割ルールはエンコーダに水平視角に基づいてパノラマ画像フレームに領域分割を行うことを指示し、一つのパノラマビデオ中の全てのパノラマ画像フレームの視角分割ルールは同じである。ここで、Ｎ個の視角ビデオシーケンスの水平視角の総和はパノラマ画像フレームの総水平視角で、且つ一つのパノラマ画像フレーム中の各領域は互いに重ならない。例えば、パノラマ画像フレームの総水平視角が３６０°である場合、Ｎ個の視角ビデオシーケンスの水平視角の総和は３６０°である。
【００４０】
本実施例において、一つのパノラマ画像フレーム中の各領域の水平視角の区間範囲は同じであることができれば、異なることもでき、本実施例において限定しない。例えば、視角分割ルールが４個の水平視角に均一に分割することであると、この時、各水平視角の区間範囲は９０°であって、即ち、０°〜９０°を一つの水平視角とし、９０°〜１８０°を一つの水平視角とし、１８０°〜２７０°を一つの水平視角とし、２７０°〜３６０°を一つの水平視角とする。又は、実現する場合、ユーザの常用の観賞視角に基づいて視角分割ルールを確定して、領域分割の正確性を向上させることもできる。例えば、ユーザの常用の観賞視角が１５°〜１６５°であると、視角分割ルールは、０°〜１５°を一つの水平視角とし、１５°〜１６５°を一つの水平視角とし、１６５°〜３６０°を一つの水平視角とする。
【００４１】
視角分割ルールに従って領域を分割する場合、視角分割ルールが３個の水平視角に均一に分割することであると、パノラマ画像フレーム０について、水平視角０°〜１２０°の領域をｖｉｅｗ０とし、１２０°〜２４０°の領域をｖｉｅｗ１とし、２４０°〜３６０°の領域をｖｉｅｗ２とする。パノラマ画像フレーム１については、水平視角０°〜１２０°の領域をｖｉｅｗ０とし、１２０°〜２４０°の領域をｖｉｅｗ１とし、２４０°〜３６０°の領域をｖｉｅｗ２とし、その他も類似で、パノラマ画像フレームＭについて、水平視角０°〜１２０°の領域をｖｉｅｗ０とし、１２０°〜２４０°の領域をｖｉｅｗ１とし、２４０°〜３６０°の領域をｖｉｅｗ２とし、図３Ｂの領域の分割を示す図を参照することができる。
【００４２】
尚、領域はマクロブロックからなる。マクロブロックは、ビデオ符号化アルゴリズムにおける単位で、一つのマクロブロックは一つの輝度画素ブロックと付加的な二つのクロマ画素ブロックからなる。一般的に、輝度画素ブロックは１６×１６大きさの画素ブロックで、二つのクロマ画素ブロックの大きさはその画像のサンプリング方式によって決められる。
【００４３】
一つの領域が少なくとも二つのマクロブロックを含む場合、各領域内のマクロブロックは空間領域において互いに依存する。即ち、各領域において、一つのマクロブロックの符号化データはそれと空間領域で隣接するマクロブロックの符号化データに基づいて生成したものである。
【００４４】
例えば、エンコーダがＦ０Ｖ１中のマクロブロック１とマクロブロック２が互いに依存すると定義すると、この時、マクロブロック１とマクロブロック２は空間領域で隣接で、且つマクロブロック１の符号化データはマクロブロック２の符号化データに基づいて生成したものである。
【００４５】
エンコーダが異なる領域間マクロブロックが空間領域内で互いに独立すると定義する。即ち、異なる領域間において、空間領域内で隣り合う二つのマクロブロックの符号化データは関係ない。
【００４６】
例えば、エンコーダがＦ０Ｖ１中のマクロブロック１とＦ０Ｖ２中のマクロブロック２が互いに依存しないと定義すると、この時、マクロブロック１とマクロブロック２は空間領域で隣り合い、マクロブロック１の符号化データの生成はマクロブロック２の符号化データに基づくものではない。
【００４７】
ステップ３０３において、エンコーダが全てのパノラマ画像フレームにおける同一の水平視角を有する領域で一つの視角ビデオシーケンスを構成して、Ｎ個の視角ビデオシーケンスを得る。
【００４８】
依然として上記実例で説明すると、図３Ｃの視角ビデオシーケンスを示す図を参照すると、図３Ｃにおいて、パノラマ画像フレームをＦと表し、領域をＶと表し、この時、Ｍ個のパノラマ画像フレームにおける水平視角が０°〜１２０°である領域を組み合せして、視角ビデオシーケンスＦ０Ｖ０、Ｆ１Ｖ０…ＦＭＶ０を得ることができ、Ｍ個のパノラマ画像フレームにおける水平視角が１２０°〜２４０°である領域を組み合せして、視角ビデオシーケンスＦ０Ｖ１、Ｆ１Ｖ１…ＦＭＶ１を得ることができ、Ｍ個のパノラマ画像フレームにおける水平視角が２４０°〜３６０°である領域を組み合せして、視角ビデオシーケンスＦ０Ｖ２、Ｆ１Ｖ２…ＦＭＶ２を得ることができる。
【００４９】
ここで、各視角ビデオシーケンス内の各領域は時間領域で互いに依存する。即ち、各視角ビデオシーケンスにおいて、第ｊ個の領域の符号化データは第ｊ−１個の領域の符号化データに基づいて生成したものであるか、或いは、第ｊ個の領域の符号化データは第ｊ−１個の領域の符号化データと第ｌ個の領域の符号化データに基づいて生成したものであり、ｊとｌはいずれも正整数で、且つｌ＞ｊ≧２である。
【００５０】
例えば、エンコーダがＦ０Ｖ１とＦ１Ｖ１が互いに依存すると定義すると、この時、Ｆ１Ｖ１の符号化データはＦ０Ｖ１の符号化データに基づいて生成される。
【００５１】
ここで、異なる視角ビデオシーケンス間の各領域は時間領域で互いに独立する。即ち、異なる視角ビデオシーケンスにおいて、任意の二つの領域の符号化データは時間領域で関係ない。
【００５２】
例えば、エンコーダがＦ０Ｖ１とＦ１Ｖ２が互いに依存しないと定義し、この時、Ｆ１Ｖ２の符号化データの生成はＦ０Ｖ１の符号化データに基づく必要がない。
【００５３】
ステップ３０４において、エンコーダがＮ個の視角ビデオシーケンスにそれぞれ符号化を行って、Ｎ組の符号化データを得る。
【００５４】
エンコーダが各視角ビデオシーケンスに符号化を行って、対応する１組の符号化データを得る。例えば、エンコーダが視角ビデオシーケンスＦ０Ｖ０、Ｆ１Ｖ０…ＦＭＶ０に符号化を行って、１組の符号化データを得て、視角ビデオシーケンスＦ０Ｖ１、Ｆ１Ｖ１…ＦＭＶ１に符号化を行って、１組の符号化データを得て、視角ビデオシーケンスＦ０Ｖ２、Ｆ１Ｖ２…ＦＭＶ２に符号化を行って、１組の符号化データを得る。
【００５５】
尚、エンコーダが複数のユーザにパノラマビデオの符号化データを提供する場合、エンコーダはＮ個の視角ビデオシーケンスの符号化データを予めて全部得て、異なるユーザの観賞視角に応じて、対応する視角ビデオシーケンスの符号化データを異なるユーザに提供することができる。エンコーダが一つのユーザのみにパノラマビデオの符号化データを提供する場合、該ユーザの観賞視角に応じて、エンコーダが対応する視角ビデオシーケンスのみに符号化を行って、符号化したデータを該ユーザに提供することで、リソースを節約することもできる。
【００５６】
ステップ３０５において、デコーダがエンコーダにユーザの観賞視角を提供する。
【００５７】
デコーダがまず、ユーザの観賞視角を取得して、該観賞視角をエンコーダを送信する。ここで、デコーダがユーザ機器における姿勢センサーによって得たユーザの頭部の回転角度に基づいて観賞視角を取得することができ、ユーザが入力した観賞視角を取得することもでき、本実施例において限定しない。
【００５８】
ステップ３０６において、エンコーダが、ユーザの観賞視角を確定する。
【００５９】
エンコーダが、デフォルトの観賞視角を取得して、該観賞視角をユーザの観賞視角とすることができ、この時、ステップ３０５を実行しないことができ、又は、エンコーダがデコーダから送信の観賞視角を受信することもでき、この時、ステップ３０５を実行しなければならない。
【００６０】
ステップ３０７において、エンコーダが、水平視角が観賞視角を含む視角ビデオシーケンスを選択し、該視角ビデオシーケンスの符号化データをユーザに提供する。
【００６１】
エンコーダが、観賞視角を含む一つの水平視角のみを選択することができる。例えば、ユーザの観賞視角が１５°〜１６５°である場合、水平視角が１５°〜１６５°である視角ビデオシーケンスがあると、水平視角が１５°〜１６５°である視角ビデオシーケンスを選択することができ、水平視角が１５°〜１６５°である視角ビデオシーケンスがなく、水平視角が１０°〜１８０°であるビデオシーケンスのみであると、水平視角が１０°〜１８０°である視角ビデオシーケンスを選択することができる。
【００６２】
エンコーダが少なくとも二つの隣接する水平視角を選択することもでき、該少なくとも二つの隣接する水平視角を組み合わせた水平視角は観賞視角を含む。例えば、ユーザの観賞視角が１５°〜１６５°である場合、水平視角が１０°〜９５°である視角ビデオシーケンスと水平視角が９５°〜１７０°である視角ビデオシーケンスがあると、当該二つの視角ビデオシーケンスを選択することができ、ここで、組み合わせた水平視角は１０°〜１７０°で、１５°〜１６５°の観賞視角を含む。
【００６３】
エンコーダは、視角ビデオシーケンスを確定した後、該視角ビデオシーケンスに対応する符号化データを取得して、該符号化データをユーザに提供する。
【００６４】
本実施例において、エンコーダは、符号化データの生成時刻の早い順で、各組の符号化データを順にユーザに提供することができる。例えば、視角ビデオシーケンスがＦ０Ｖ０、Ｆ１Ｖ０…ＦＭＶ０である場合、エンコーダは時刻Ｔ０でＦ０Ｖ０の符号化データをユーザに提供し、時刻Ｔ１でＦ１Ｖ０の符号化データをユーザに提供し、…、時刻ＴＭでＦＭＶ０の符号化データをユーザに提供する。
【００６５】
ステップ３０８において、デコーダが、エンコーダから送信された符号化データを受信する。
【００６６】
エンコーダによる符号化データの送信形態に対応して、デコーダは符号化データの送信順で、視角ビデオシーケンス中の各領域の符号化データを順に受信することができる。
【００６７】
例えば、視角ビデオシーケンスがＦ０Ｖ０、Ｆ１Ｖ０…ＦＭＶ０である場合、デコーダは、時刻Ｔ０でＦ０Ｖ０の符号化データを受信し、時刻Ｔ１でＦ１Ｖ０の符号化データを受信し、…、時刻ＴＭでＦＭＶ０の符号化データを受信することができる。
【００６８】
ユーザが観賞中に頭部を回転して、観賞視角が変化する場合があって、この時、エンコーダは、変化後の観賞視角を確定して、変化後の観賞視角に基づいて送信する符号化データを調整しなければならない。具体的に、本実施例で提供するビデオ符号化方法は、
１）時刻Ｔｉ（ｉは正整数である。）でユーザの観賞視角が変化したと確定した場合、視角ビデオシーケンス中の第ｉ個の領域の符号化データの送信を禁止することと、
２）水平視角が変化後の観賞視角に合う視角ビデオシーケンスである更新視角ビデオシーケンスを選択し、更新視角ビデオシーケンス中の第ｉ個の領域の符号化データをユーザに提供することと、
３）ｉをｉ＋１に更新し、時刻Ｔｉで、更新視角ビデオシーケンス中の第ｉ個の領域の符号化データをユーザに提供するステップを循環的に実行することとを更に含む。
【００６９】
ここで、時刻Ｔｉはエンコーダがユーザの観賞時間が変更されたと確定した時刻で、観賞視角の変化をエンコーダに通知するに時間が必要があるので、実際にユーザの観賞視角が変化した時刻は時刻Ｔｉより早いことがあり、時刻Ｔｉ−１、時刻Ｔｉ−２等であることができ、これは通知の伝送遅延によって決められる。例えば、ユーザが時刻Ｔｉ−１で観賞視角を調整すると、デコーダは時刻Ｔｉ−１で観賞視角の変化を確定し、この時、エンコーダに通知し、エンコーダは時刻Ｔｉで観賞視角が変化したと確定する。
【００７０】
実際に実現する場合、Ｔ０時刻でユーザの観賞視角に基づいて確定した視角ビデオシーケンスがＦ０Ｖ０、Ｆ１Ｖ０…ＦＭＶ０であると、エンコーダは各領域の符号化データを順に送信し、エンコーダが時刻Ｔ３でユーザの観賞視角が変化したと確定し、変化後の観賞視角に基づいて確定した更新視角ビデオシーケンスがＦ０Ｖ１、Ｆ１Ｖ１…ＦＭＶ１であると、順に送信された符号化データに対応する領域は、Ｆ０Ｖ０、Ｆ１Ｖ０、Ｆ２Ｖ０、Ｆ３Ｖ１、Ｆ４Ｖ１…ＦＭＶ１である。
【００７１】
本実施例において、各視角ビデオシーケンス内の各領域は時間領域で互いに依存し、即ち、視角ビデオシーケンスにおける後ろの領域の復号化はＩＤＲ（Ｉｎｓｔａｎｔａｎｅｏｕｓ  Ｄｅｃｏｄｉｎｇ  Ｒｅｆｒｅｓｈ、即時的復号化リフレッシュ）フレームから開始する全ての前方向領域に依存する。観賞視角が変化した場合、デコーダは更新視角ビデオシーケンス中の一つの領域の符号化データのみを受信し、該領域の復号化を前方向領域に依存して行わなければならないので、エンコーダは該領域の全ての前方向領域の符号化データをデコーダに送信しなければならない。該前方向領域を伝送する時間を節約し、放送途切れ問題を回避するため、エンコーダはさらに、観賞視角が変化する時の可能な更新視角ビデオシーケンスを予測し、該予測した更新視角ビデオシーケンスの符号化データをデコーダに送信することもできる。
【００７２】
ユーザは通常ゆっくり頭部を回転して観賞視角を調整するので、ステップ３０７で選択した視角ビデオシーケンスに隣り合う視角ビデオシーケンスを予測した更新視角ビデオシーケンスとすることができ、この時、ステップ３０９を実行する。
【００７３】
ステップ３０９において、エンコーダが、該水平視角に隣り合い、且つ該水平視角未満の連続するｎ個の水平視角に対応する視角ビデオシーケンスを取得し、該水平視角に隣り合い、且つ該水平視角よりも大きい連続するｍ（ｎとｍはいずれも正整数で、且つｎ＋ｍ≦Ｎ−１である。）個の水平視角に対応する視角ビデオシーケンスを取得し、該ｎ＋ｍ個の視角ビデオシーケンス中の同一のパノラマ画像フレームに属する各ｎ＋ｍ個の領域の符号化データを順にユーザを提供する。
【００７４】
例えば、４個の視角ビデオシーケンスの水平視角がそれぞれ０°〜１５°、１５°〜１６５°、１６５°〜１８０°、１８０°〜３６０°で、且つステップ３０７で水平視角が１５°〜１６５°である視角ビデオシーケンスＦ０Ｖ１、Ｆ１Ｖ１…ＦＭＶ１を選択したとすると、この時、１５°〜１６５°未満であって、且つ１５°〜１６５°に隣り合う水平視角が０°〜１５°であると確定して、水平視角が０°〜１５°である視角ビデオシーケンスＦ０Ｖ０、Ｆ１Ｖ０…ＦＭＶ０を取得し、さらに、１５°〜１６５°を超えて、且つ１５°〜１６５°に隣り合う水平視角が１６５°〜１８０°であると確定して、水平視角が１６５°〜１８０°である視角ビデオシーケンスＦ０Ｖ２、Ｆ１Ｖ２…ＦＭＶ２を取得することができる。
【００７５】
ｎ＋ｍ個の視角ビデオシーケンスを確定した後、エンコーダは、各時刻において、ｎ＋ｍ個の視角ビデオシーケンス中の同一のパノラマ画像フレームに属するｎ＋ｍ個の領域の符号化データをユーザに提供する。例えば、時刻Ｔ０で、パノラマ画像フレーム０に属するｎ＋ｍ個の領域の符号化データ、即ち、Ｆ０Ｖ０とＦ０Ｖ２の符号化データををユーザに提供し、時刻Ｔ１で、パノラマ画像フレーム１に属するｎ＋ｍ個の領域の符号化データ、即ち、Ｆ１Ｖ０とＦ１Ｖ２の符号化データをユーザに提供し、…、時刻ＴＭで、パノラマ画像フレームＭに属するｎ＋ｍ個の領域の符号化データ、即ち、ＦＭＶ０とＦＭＶ２の符号化データをユーザに提供する。
【００７６】
尚、エンコーダは、ｎ＋ｍ個の視角ビデオシーケンスの符号化データとステップ３０７中の符号化データとを一緒にユーザに提供して、視角変換時の途切れを回避することもできる。例えば、時刻Ｔ０で、Ｆ０Ｖ０、Ｆ０Ｖ１、Ｆ０Ｖ２の符号化データをユーザに提供し、時刻Ｔ１で、Ｆ１Ｖ０、Ｆ１Ｖ１、Ｆ１Ｖ２の符号化データをユーザに提供し、…、時刻ＴＭで、ＦＭＶ０、ＦＭＶ１、ＦＭＶ２の符号化データをユーザに提供する。
【００７７】
本実施例において、エンコーダが観賞視角に合う視角ビデオシーケンスの符号化データのみを提供すると、この時、伝送が占める帯域幅リソースが少なく、ユーザの観賞視角が変化すると、他の視角ビデオシーケンスも伝送しなければならないので、放送が途切れる問題が発生する。エンコーダが観賞視角に合う視角ビデオシーケンスの符号化データを伝送しつつ、ｎ＋ｍ個の他の視角ビデオシーケンスの符号化データも伝送すると、伝送が占める帯域幅リソースは多くなるが、ユーザの観賞視角が変化した時、直ちにバッファリングした視角ビデオシーケンスを放送して、ビデオの放送がスムーズになる。
【００７８】
ｎ＋ｍ<Ｎ−１である場合、全てのパノラマビデオの符号化データを伝送する必要がないので、帯域幅リソースを節約できる。
【００７９】
図３Ｄの伝送する視角ビデオシーケンス中の各領域を示す図を参照すると、図３Ｄにおいて、Ｔ０時刻で観賞視角に対応する視角ビデオシーケンスはＶｎで、Ｔ０時刻でバッファリングした視角ビデオシーケンスはＶｎ−１とＶｎ＋１である。Ｔ１時刻でエンコーダがユーザの観賞視角が変化したと確定すると、この時、観賞視角に対応する視角ビデオシーケンスはＶｎ−１で、Ｔ１時刻でバッファリングした視角ビデオシーケンスはＶｎ−２とＶｎである。
【００８０】
ステップ３１０において、デコーダが、ｎ＋ｍ個の視角ビデオシーケンス中の同一のパノラマ画像フレームに属する各ｎ＋ｍ個の領域の符号化データを順に受信する。
【００８１】
エンコーダによる符号化データの送信形態に対応して、デコーダは、符号化データの送信順に応じて、ｎ＋ｍ個の視角ビデオシーケンス中の同一のパノラマ画像フレームに属する各ｎ＋ｍ個の領域の符号化データを順に受信する。
【００８２】
例えば、デコーダは、時刻Ｔ０でＦ０Ｖ０とＦ０Ｖ２の符号化データを受信し、時刻Ｔ１でＦ１Ｖ０とＦ１Ｖ２の符号化データを受信し、…、時刻ＴＭでＦＭＶ０とＦＭＶ２の符号化データを受信する。
【００８３】
エンコーダが、ｎ＋ｍ個の視角ビデオシーケンスの符号化データとステップ３０７中の符号化データとを一緒にユーザに提供する場合、ステップ３１０をステップ３０８と合併することができる。即ち、デコーダは、時刻Ｔ０でＦ０Ｖ０、Ｆ０Ｖ１とＦ０Ｖ２の符号化データを受信し、時刻Ｔ１でＦ１Ｖ０、Ｆ１Ｖ１とＦ１Ｖ２の符号化データを受信し、…、時刻ＴＭで受信ＦＭＶ０、ＦＭＶ１とＦＭＶ２の符号化データを受信することができる。
【００８４】
ステップ３１１において、デコーダは、符号化データに復号化を行う。
【００８５】
本実施例において、ｎ＋ｍ個の視角ビデオシーケンス中の同一のパノラマ画像フレームに属する各ｎ＋ｍ個の領域の符号化データを順に受信した後、エンコーダは２種類の符号化データの処理方式を提供し、以下、２種類の処理方式をそれぞれ説明する。
【００８６】
第１種の処理方式において、現在時刻で受信した水平視角が観賞視角に合う視角ビデオシーケンス中の領域の符号化データに復号化を行い、得られた領域を放送し、現在時刻で受信したｎ＋ｍ個の視角ビデオシーケンス中のｎ＋ｍ個の領域の符号化データをバッファリングする。
【００８７】
観賞視角に対応する領域の符号化データのみに復号化を行い、他の領域の符号化データには復号化を行う必要がないので、リソースを節約することができ、当該処理方式は、観賞視角の変化が少ないシーンに応用できる。
【００８８】
例えば、現在時刻はＴ０時刻で、且つ観賞視角に対応する領域がＦ０Ｖ１であると、デコーダは、Ｆ０Ｖ１の符号化データを復号化して放送し、Ｆ０Ｖ０とＦ０Ｖ２の領域の符号化データをバッファリングする。この時、Ｆ０Ｖ０とＦ０Ｖ２の領域の符号化データの復号化を行う必要がないので、リソースを節約できる。
【００８９】
時刻Ｔｉで、デコーダがユーザの観賞視角が変化したと確定すると、第１種の処理方式に対応して、デコーダは、バッファリングしたｎ＋ｍ個の領域の符号化データから、更新視角ビデオシーケンス中の第ｉ個の領域の符号化データを選択して、符号化データに復号化を行って、得られた第ｉ個の領域を放送する。
【００９０】
例えば、Ｔ０時刻で、観賞視角に対応する視角ビデオシーケンスがＶ２であると、この時、デコーダはＦ０Ｖ１、Ｆ０Ｖ２とＦ０Ｖ３の符号化データを受信し、Ｆ０Ｖ２を放送する。Ｔ１時刻で、デコーダはユーザの観賞視角が変化したと確定し、この時エンコーダはユーザの観賞視角の変化が知らないので、Ｆ１Ｖ１、Ｆ１Ｖ２とＦ１Ｖ３の符号化データを伝送し、この時、デコーダはＦ１Ｖ１、Ｆ１Ｖ２とＦ１Ｖ３の符号化データを受信し、Ｆ１Ｖ１の復号化がＦ０Ｖ１に基づいて行わなければならないので、デコーダはまずＦ０Ｖ１の符号化データを復号化し、その後得られたＦ０Ｖ１に基づいてＦ１Ｖ１の符号化データを復号化して、得られたＦ１Ｖ１を放送する。Ｔ２時刻で、エンコーダはユーザの観賞視角が変化したと確し、Ｆ２Ｖ０、Ｆ２Ｖ１とＦ２Ｖ２の符号化データを伝送し、この時、デコーダはＦ２Ｖ０、Ｆ２Ｖ１とＦ２Ｖ２の符号化データを受信し、その前に復号化して得たＦ１Ｖ１に基づいてＦ２Ｖ１の符号化データを復号化して、得られたＦ２Ｖ１を放送し、その後も類似に処理する。
【００９１】
第２種の処理方式において、現在時刻で受信した、水平視角が観賞視角に合う視角ビデオシーケンス中の領域の符号化データに復号化を行って、得られた領域を放送し、現在時刻で受信したｎ＋ｍ個の視角ビデオシーケンス中のｎ＋ｍ個の領域の符号化データに復号化を行って、得られたｎ＋ｍ個の領域をバッファリングする。
【００９２】
例えば、現在時刻がＴ０時刻で、且つ観賞視角に対応する領域がＦ０Ｖ１であると、デコーダは、Ｆ０Ｖ１の符号化データを復号化して放送し、Ｆ０Ｖ０とＦ０Ｖ２の符号化データを復号化してバッファリングする。
【００９３】
時刻Ｔｉでユーザの観賞視角が変化すると、第２種の処理方式に対応して、デコーダが、バッファリングしたｎ＋ｍ個の領域から更新視角ビデオシーケンス中の第ｉ個の領域を選択して、第ｉ個の領域を放送する。
【００９４】
例えば、Ｔ０時刻で観賞視角に対応する視角ビデオシーケンスがＶ２であると、この時、デコーダは、Ｆ０Ｖ１、Ｆ０Ｖ２とＦ０Ｖ３の符号化データを受信して復号化し、Ｆ０Ｖ２を放送する。Ｔ１時刻で、デコーダがユーザの観賞視角が変化したと確定し、この時エンコーダはまだユーザの観賞視角の変化を知らないので、Ｆ１Ｖ１、Ｆ１Ｖ２とＦ１Ｖ３の符号化データを伝送し、この時、デコーダはＦ１Ｖ１、Ｆ１Ｖ２とＦ１Ｖ３の符号化データを受信し、Ｆ１Ｖ１の復号化にＦ０Ｖ１が必要であって、すでに復号化してＦ０Ｖ１を得たので、デコーダは直接にＦ０Ｖ１に基づいてＦ１Ｖ１の符号化データを復号化して、得られたＦ１Ｖ１を放送することができる。Ｔ２時刻で、エンコーダはユーザの観賞視角が変化したと確定し、Ｆ２Ｖ０、Ｆ２Ｖ１とＦ２Ｖ２の符号化データを伝送し、この時、デコーダはＦ２Ｖ０、Ｆ２Ｖ１とＦ２Ｖ２の符号化データを受信し、Ｆ１Ｖ１に基づいてＦ２Ｖ１の符号化データを復号化して、得られたＦ２Ｖ１を放送し、その後も類似に処理する。
【００９５】
全ての領域の符号化データをリアルタイムに復号化して放送の流暢性を向上させるので、このような実現方式は観賞視角の変化が多いシーンに応用できる。
【００９６】
ここで、ステップ３０１、３０２、３０３、３０４、３０６、３０７、３０９をエンコーダ側の実施例として単独に実現することができ、ステップ３０５、３０８、３１０、３１１をデコーダ側の実施例として単独に実現することができる。
【００９７】
簡単に理解するように、本実施例でエンコーダがパノラマカメラに位置し、デコーダがユーザ機器に位置し、且つサーバーがある場合を例に説明し、図３Ｅのビデオ符号化方法を示す図でを参照すると、具体的な実現フローはステップ３０１１〜ステップ３０２０を含む。
【００９８】
ステップ３０１１において、パノラマカメラが、カメラによってパノラマビデオを撮影する。
【００９９】
ステップ３０１２において、パノラマカメラが、エンコーダによってパノラマビデオをＮ個の視角ビデオシーケンスに分割して符号化を行って、Ｎ組の符号化データを得る。
【０１００】
ステップ３０１３において、パノラマカメラが、Ｎ組の符号化データをサーバーに送信する。
【０１０１】
ステップ３０１４において、サーバーが、Ｎ組の符号化データを受信する。
【０１０２】
ステップ３０１５において、ユーザ機器が、サーバーにユーザの観賞視角を送信する。
【０１０３】
ステップ３０１６において、サーバーが、ユーザの観賞視角を受信する。
【０１０４】
ステップ３０１７において、サーバーが、水平視角が観賞視角を含む視角ビデオシーケンスを選択し、その他のｎ＋ｍ個の視角ビデオシーケンスを取得する。
【０１０５】
ここで、ｎ＋ｍ個の視角ビデオシーケンスを取得するプロセスはステップ３０９での説明を参照できる。
【０１０６】
ステップ３０１８において、サーバーが、該視角ビデオシーケンスと該ｎ＋ｍ個の視角ビデオシーケンスの符号化データをユーザ機器に送信する。
【０１０７】
ステップ３０１９において、ユーザ機器が、該視角ビデオシーケンスと該ｎ＋ｍ個の視角ビデオシーケンスの符号化データを受信する。
【０１０８】
ステップ３０２０において、ユーザ機器が、デコーダによって水平視角が観賞視角に合う視角ビデオシーケンスの符号化データを復号化し、得られた視角ビデオシーケンスを放送し、ｎ＋ｍ個の視角ビデオシーケンスの符号化データをバッファリングする。
【０１０９】
上述のように、本発明の実施例で提供するビデオ符号化方法によると、パノラマビデオをＮ個の視角ビデオシーケンスに分割し、該Ｎ個の視角ビデオシーケンスにそれぞれ符号化を行って、Ｎ組の符号化データを得て、ユーザの観賞視角を確定し、水平視角が観賞視角を含む視角ビデオシーケンスを選択し、視角ビデオシーケンスの符号化データをユーザに提供することで、ユーザの観賞視角内の視角ビデオシーケンスの符号化データのみをユーザに提供し、観賞視角外の視角ビデオシーケンスの符号化データの伝送や復号化を回避し、パノラマビデオ中の全てのパノラマ画像フレームの符号化データを受信して復号化してリソースを浪費する問題を解決し、リソースを節約する効果を実現できる。
【０１１０】
そして、水平視角に隣り合い、且つ水平視角未満の連続するｎ個の水平視角に対応する視角ビデオシーケンスを取得し、また、水平視角に隣り合い、且つ水平視角よりも大きい連続するｍ個の水平視角に対応する視角ビデオシーケンスを取得し、前記ｎ＋ｍ個の視角ビデオシーケンス中の同一のパノラマ画像フレームに属するの各ｎ＋ｍ個の領域の符号化データを順にユーザに提供することで、水平視角が観賞視角に隣り合う視角ビデオシーケンスの符号化データをユーザに提供して、観賞視角が変化する時、デコーダが直ちに、バッファリングされた符号化データから対応する符号化データを取得することができ、観賞視角が変化した時、エンコーダが水平視角が変化後の観賞視角に合う視角ビデオシーケンスの符号化データをデコーダに伝送しなければならないので放送に途切れが発生する問題を解決し、ビデオの放送の流暢性を向上させる効果を実現できる。
【０１１１】
図４を参照すると、本発明の一実施例で提供するビデオ符号化装置の構成を示すブロック図で、該ビデオ符号化方法を図１に示す実施環境に応用できる。該ビデオ符号化装置は、ビデオ取得モジュール４１０と、ビデオ分割モジュール４２０と、ビデオ符号化モジュール４３０と、第１の提供モジュール４５０と、を含む。
【０１１２】
ビデオ取得モジュール４１０は、パノラマビデオを取得するように構成され、パノラマビデオはパノラマ画像フレームからなり、パノラマ画像フレームは所定の視角の風物を記録して形成された画像フレームである。
【０１１３】
ビデオ分割モジュール４２０は、ビデオ取得モジュール４１０が取得したパノラマビデオをＮ個の視角ビデオシーケンスに分割するように構成され、各視角ビデオシーケンスはパノラマビデオ中の全てのパノラマ画像フレームにおける同一の水平視角を有する領域からなり、且つＮ個の視角ビデオシーケンスの水平視角の総和はパノラマ画像フレームの総水平視角で、Ｎは正整数であって、ここで、一つのパノラマ画像フレーム中の各領域は互いに重ならない。
【０１１４】
ビデオ符号化モジュール４３０は、ビデオ分割モジュール４２０で得たＮ個の視角ビデオシーケンスにそれぞれ符号化を行って、Ｎ組の符号化データを得るように構成される。
【０１１５】
視角確定モジュール４４０は、ユーザの観賞視角を確定するように構成される。
【０１１６】
第１の提供モジュール４５０は、水平視角が視角確定モジュール４４０が確定した観賞視角を含む視角ビデオシーケンスを選択し、視角ビデオシーケンスの符号化データをユーザに提供するように構成される。
【０１１７】
上述のように、本発明の実施例で提供するビデオ符号化装置によると、パノラマビデオをＮ個の視角ビデオシーケンスに分割し、該Ｎ個の視角ビデオシーケンスにそれぞれ符号化を行って、Ｎ組の符号化データを得て、ユーザの観賞視角を確定し、水平視角が観賞視角を含む視角ビデオシーケンスを選択し、視角ビデオシーケンスの符号化データをユーザに提供することで、ユーザの観賞視角内の視角ビデオシーケンスの符号化データのみをユーザに提供して、観賞視角外の視角ビデオシーケンスの符号化データの伝送や復号化を回避し、パノラマビデオ中の全てのパノラマ画像フレームの符号化データを受信して復号化してリソースを浪費する問題を解決し、リソースを節約する効果を実現できる。
【０１１８】
図５を参照すると、本発明の他の一実施例で提供するビデオ符号化装置の構成を示すブロック図で、該ビデオ符号化方法を図１に示す実施環境に応用できる。該ビデオ符号化装置は、ビデオ取得モジュール５１０と、ビデオ分割モジュール５２０と、ビデオ符号化モジュール５３０と、視角確定モジュール５４０と、第１の提供モジュール５５０と、を含む。
【０１１９】
ビデオ取得モジュール５１０は、パノラマビデオを取得するように構成され、パノラマビデオはパノラマ画像フレームからなり、パノラマ画像フレームは所定の視角の風物を記録して形成された画像フレームである。
【０１２０】
ビデオ分割モジュール５２０は、ビデオ取得モジュール５１０が取得したパノラマビデオをＮ個の視角ビデオシーケンスに分割するように構成され、各視角ビデオシーケンスはパノラマビデオ中の全てのパノラマ画像フレームにおける同一の水平視角を有する領域からなり、且つＮ個の視角ビデオシーケンスの水平視角の総和はパノラマ画像フレームの総水平視角で、Ｎは正整数であって、ここで、一つのパノラマ画像フレーム中の各領域は互いに重ならない。
【０１２１】
ビデオ符号化モジュール５３０は、ビデオ分割モジュール５２０で得たＮ個の視角ビデオシーケンスにそれぞれ符号化を行って、Ｎ組の符号化データを得るように構成される。
【０１２２】
視角確定モジュール５４０は、ユーザの観賞視角を確定するように構成される。
【０１２３】
第１の提供モジュール５５０は、水平視角が視角確定モジュール５４０が確定した観賞視角を含む視角ビデオシーケンスを選択し、視角ビデオシーケンスの符号化データをユーザに提供するように構成される。
【０１２４】
本発明の他の実施例において、ビデオ分割モジュール５２０は、領域分割ユニット５２１と、シーケンス生成ユニット５２２と、を含む。
【０１２５】
領域分割ユニット５２１は、予め設定された視角分割ルールに従って、パノラマビデオ中の各パノラマ画像フレームを水平視角に基づいてＮ個の領域に分割するように構成される。
【０１２６】
シーケンス生成ユニット５２２は、領域分割ユニット５２１が分割した全てのパノラマ画像フレームにおける同一の水平視角を有する領域で一つの視角ビデオシーケンスを構成して、Ｎ個の視角ビデオシーケンスを得るように構成される。
【０１２７】
本発明の他の実施例において、第１の提供モジュール５４０はさらに、
時刻Ｔｉ（ｉは正整数である。）でユーザの観賞視角が変化したと確定すると、視角ビデオシーケンス中の第ｉ個の領域の符号化データの送信を禁止し、
水平視角が変化後の観賞視角に合う視角ビデオシーケンスである更新視角ビデオシーケンスを選択し、更新視角ビデオシーケンス中の第ｉ個の領域の符号化データをユーザに提供し、
ｉをｉ＋１に更新し、時刻Ｔｉで、更新視角ビデオシーケンス中の第ｉ個の領域の符号化データをユーザに提供するステップを循環的に実行するように構成される。
【０１２８】
本発明の他の実施例において、本実施例で提供するビデオ符号化装置は、シーケンス選択モジュール５６０と、第２の提供モジュール５７０と、をさらに含む。
【０１２９】
シーケンス選択モジュール５６０は、第１の提供モジュール５５０が水平視角が観賞視角に合う視角ビデオシーケンスを選択した後、水平視角に隣り合い、且つ水平視角未満の連続するｎ個の水平視角に対応する視角ビデオシーケンスを取得し、水平視角に隣り合い、且つ水平視角よりも大きい連続するｍ個の水平視角に対応する視角ビデオシーケンスを取得するように構成され、ｎとｍはいずれも正整数で、且つｎ＋ｍ≦Ｎ−１である。
【０１３０】
第２の提供モジュール５７０は、シーケンス選択モジュール５６０が選択したｎ＋ｍ個の視角ビデオシーケンス中の同一のパノラマ画像フレームに属する各ｎ＋ｍ個の領域の符号化データをユーザに提供するように構成される。
【０１３１】
本発明の他の実施例において、各視角ビデオシーケンスにおいて、第ｊ個の領域の符号化データは第ｊ−１個の領域の符号化データに基づいて生成されるものであって、又は、第ｊ個の領域の符号化データは第ｊ−１個の領域の符号化データと第ｌ個の領域の符号化データに基づいて生成されるものであって、ｊとｌはいずれも正整数で、且つｌ＞ｊ≧２である。
【０１３２】
異なる視角ビデオシーケンスにおいて、任意の二つの領域の符号化データは時間領域で関係ない。
【０１３３】
本発明の他の実施例において、領域が少なくとも二つのマクロブロックを含む場合、
各領域において、一つのマクロブロックの符号化データはそれと空間領域内で隣り合うマクロブロックの符号化データに基づいて生成される。
【０１３４】
異なる領域において、空間領域内で隣り合う二つのマクロブロックの符号化データは関係ない。
【０１３５】
上述のように、本発明の実施例で提供するビデオ符号化装置によると、パノラマビデオをＮ個の視角ビデオシーケンスに分割し、該Ｎ個の視角ビデオシーケンスにそれぞれ符号化を行って、Ｎ組の符号化データを得て、ユーザの観賞視角を確定し、水平視角が観賞視角を含む視角ビデオシーケンスを選択し、視角ビデオシーケンスの符号化データをユーザに提供することで、ユーザの観賞視角内の視角ビデオシーケンスの符号化データのみをユーザに提供して、観賞視角外の視角ビデオシーケンスの符号化データの伝送や復号化を回避し、パノラマビデオ中の全てのパノラマ画像フレームの符号化データを受信して復号化してリソースを浪費する問題を解決し、リソースを節約する効果を実現できる。
【０１３６】
そして、水平視角に隣り合い、且つ水平視角未満の連続するｎ個の水平視角に対応する視角ビデオシーケンスを取得し、水平視角に隣り合い、且つ水平視角よりも大きい連続するｍ個の水平視角に対応する視角ビデオシーケンスを取得し、前記ｎ＋ｍ個の視角ビデオシーケンス中の同一のパノラマ画像フレームに属する各ｎ＋ｍ個の領域の符号化データを順にユーザに提供することで、水平視角が観賞視角に隣り合う視角ビデオシーケンスの符号化データをユーザに提供し、観賞視角が変化する時、デコーダが直ちにバッファリングされた符号化データから対応する符号化データを取得し、観賞視角が変化した時、エンコーダが水平視角が変化後の観賞視角に合う視角ビデオシーケンスの符号化データをデコーダに伝送しなければならないので放送に途切れが発生する問題を解決し、ビデオの放送の流暢性を向上させる効果を実現できる。
【０１３７】
図６を参照すると、本発明の一実施例で提供するビデオ符号化装置の構成を示すブロック図で、該ビデオ符号化方法を図１に示す実施環境に応用できる。該ビデオ符号化装置は、視角提供モジュール６１０と、第１の受信モジュール６２０と、データ復号化モジュール６３０と、を含む。
【０１３８】
視角提供モジュール６１０は、所定の視角の風物を記録して形成された画像フレームであるパノラマ画像フレームからなるパノラマビデオを取得し、パノラマビデオを、それぞれパノラマビデオ中の全てのパノラマ画像フレームにおける同一の水平視角を有する領域からなり、水平視角の総和がパノラマ画像フレームの総水平視角であるＮ（Ｎは正整数である。）個の視角ビデオシーケンスに分割し、前記Ｎ個の視角ビデオシーケンスにそれぞれ符号化を行ってＮ組の符号化データを得、水平視角が観賞視角を含む視角ビデオシーケンスを選択して視角ビデオシーケンスの符号化データをユーザに提供するように構成されたエンコーダにユーザの観賞視角を提供するように構成され、ここで、一つのパノラマ画像フレーム中の各領域は互いに重ならない。
【０１３９】
第１の受信モジュール６２０は、エンコーダから送信された符号化データを受信するように構成される
【０１４０】
データ復号化モジュール６３０は、第１の受信モジュール６２０が受信した前記符号化データに復号化を行うように構成される。
【０１４１】
上述のように、本発明の実施例で提供するビデオ符号化装置によると、エンコーダにユーザの観賞視角を提供して、エンコーダがパノラマビデオをＮ個の視角ビデオシーケンスに分割し、該Ｎ個の視角ビデオシーケンスにそれぞれ符号化を行って、Ｎ組の符号化データを得て、水平視角が観賞視角を含む視角ビデオシーケンスを選択し、視角ビデオシーケンスの符号化データをユーザに提供することで、観賞視角外の視角ビデオシーケンスの符号化データの伝送や復号化を回避し、パノラマビデオ中の全てのパノラマ画像フレームの符号化データを受信して復号化してリソースを浪費する問題を解決し、リソースを節約する効果を実現できる。
【０１４２】
図７を参照すると、本発明の他の一実施例で提供するビデオ符号化装置の構成を示すブロック図で、該ビデオ符号化方法を図１に示す実施環境に応用できる。該ビデオ符号化装置は、視角提供モジュール７１０と、第１の受信モジュール７２０と、データ復号化モジュール７３０と、第２の受信モジュール７４０と、を含む。
【０１４３】
視角提供モジュール７１０は、所定の視角の風物を記録して形成された画像フレームであるパノラマ画像フレームからなるパノラマビデオを取得し、パノラマビデオを、それぞれパノラマビデオ中の全てのパノラマ画像フレームにおける同一の水平視角を有する領域からなり、水平視角の総和がパノラマ画像フレームの総水平視角であるＮ（Ｎは正整数である。）個の視角ビデオシーケンスに分割し、Ｎ個の視角ビデオシーケンスにそれぞれ符号化を行ってＮ組の符号化データを得、水平視角が観賞視角を含む視角ビデオシーケンスを選択して視角ビデオシーケンスの符号化データをユーザに提供するように構成されたエンコーダにユーザの観賞視角を提供するように構成され、ここで、一つのパノラマ画像フレーム中の各領域は互いに重ならない。
【０１４４】
第１の受信モジュール７２０は、エンコーダから送信された符号化データを受信するように構成される。
【０１４５】
データ復号化モジュール７３０は、第１の受信モジュール７２０が受信した前記符号化データに復号化を行うように構成される。
【０１４６】
本発明の他の実施例において、本実施例で提供するビデオ符号化装置は、第２の受信モジュール７４０をさらに含む。
【０１４７】
第２の受信モジュール７４０は、ｎ＋ｍ個の視角ビデオシーケンス中の同一のパノラマ画像フレームに属する各ｎ＋ｍ個の符号化データを順に受信するように構成され、ｎ＋ｍ個の視角ビデオシーケンスは水平視角に隣り合い、且つ水平視角未満の連続するｎ個の水平視角に対応する視角ビデオシーケンス、及び、水平視角に隣り合い、且つ水平視角よりも大きい連続するｍ個の水平視角に対応する視角ビデオシーケンスであって、ｎとｍはいずれも正整数で、且つｎ＋ｍ≦Ｎ−１である。
【０１４８】
本発明の他の実施例において、データ復号化モジュール７３０は、第１の処理ユニット７３１を含む。
【０１４９】
第１の処理ユニット７３１は、現在時刻で受信した水平視角が観賞視角に合う視角ビデオシーケンス中の領域の符号化データに復号化を行って、得られた領域を放送し、現在時刻で受信したｎ＋ｍ個の視角ビデオシーケンス中のｎ＋ｍ個の領域の符号化データをバッファリングするように構成される。
【０１５０】
本発明の他の実施例において、データ復号化モジュール７３０は、第２の処理ユニット７３２をさらに含む。
【０１５１】
第２の処理ユニット７３２は、時刻Ｔｉでユーザの観賞視角が変化すると、第１の処理ユニット７３１がバッファリングしたｎ＋ｍ個の領域の符号化データから、更新視角ビデオシーケンス中の第ｉ個の領域の符号化データを選択して、符号化データに復号化を行って、得られた第ｉ個の領域を放送するように構成される。
【０１５２】
ここで、更新視角ビデオシーケンスは水平視角が変化後の観賞視角に合う視角ビデオシーケンスである。
【０１５３】
本発明の他の実施例において、データ復号化モジュール７３０は、第３の処理ユニット７３３を含む。
【０１５４】
第３の処理ユニット７３３は、現在時刻で受信した水平視角が観賞視角に合う視角ビデオシーケンス中の領域の符号化データに復号化を行って、得られた領域を放送し、現在時刻で受信したｎ＋ｍ個の視角ビデオシーケンス中のｎ＋ｍ個の領域の符号化データに復号化を行って、得られたｎ＋ｍ個の領域をバッファリングするように構成される。
【０１５５】
本発明の他の実施例において、データ復号化モジュール７３０は第４の処理ユニット７３４を含む。
【０１５６】
第４の処理ユニット７３４は、時刻Ｔｉでユーザの観賞視角が変化すると、第３の処理ユニット７３３がバッファリングしたｎ＋ｍ個の領域から、更新視角ビデオシーケンス中の第ｉ個の領域を選択して、第ｉ個の領域を放送するように構成される。
【０１５７】
ここで、更新視角ビデオシーケンスは水平視角が変化後の観賞視角に合う視角ビデオシーケンスである。
【０１５８】
上述のように、本発明の実施例で提供するビデオ符号化装置によると、エンコーダにユーザの観賞視角を提供して、エンコーダがパノラマビデオをＮ個の視角ビデオシーケンスに分割し、該Ｎ個の視角ビデオシーケンスにそれぞれ符号化を行って、Ｎ組の符号化データを得て、水平視角が観賞視角を含む視角ビデオシーケンスを選択し、視角ビデオシーケンスの符号化データをユーザに提供することで、観賞視角外の視角ビデオシーケンスの符号化データの伝送や復号化を回避し、パノラマビデオ中の全てのパノラマ画像フレームの符号化データを受信して復号化してリソースを浪費する問題を解決し、リソースを節約する効果を実現できる。
【０１５９】
そして、ｎ＋ｍ個の視角ビデオシーケンス中の同一のパノラマ画像フレームに属する各ｎ＋ｍ個の領域の符号化データを順に受信し、ｎ＋ｍ個の視角ビデオシーケンスはエンコーダが取得した水平視角に隣り合い且つ水平視角未満の連続するｎ個の水平視角に対応する視角ビデオシーケンス、及び、エンコーダが取得した水平視角に隣り合い且つ水平視角よりも大きい連続するｍ個の水平視角に対応する視角ビデオシーケンスであって、エンコーダが水平視角が観賞視角に隣り合う視角ビデオシーケンスの符号化データをユーザに提供することで、観賞視角が変化した場合、デコーダが直ちにバッファリングされた符号化データから対応する符号化データを取得して、観賞視角が変化した時、エンコーダが水平視角が変化後の観賞視角に合う視角ビデオシーケンスの符号化データをデコーダに伝送しなければならないので放送に途切れが発生する問題を解決し、ビデオの放送の流暢性を向上させる効果を実現できる。
【０１６０】
本発明の実施例においてビデオ符号化装置が含むビデオ取得モジュール、ビデオ分割モジュール、ビデオ符号化モジュール、視角確定モジュール、第１の提供モジュール等手段、及び各手段に含まれる各ユニットをすべてエンコーダ中のプロセッサによって実現することができる。本発明の実施例においてビデオ符号化装置が含む視角提供モジュール、第１の受信モジュールとデータ復号化モジュール等手段及び各手段に含まれる各ユニットをすべてデコーダ中のプロセッサによって実現することができる。ここで、プロセッサで実現する機能を論理回路によって実現することができ、実施中において、プロセッサは中央処理装置（ＣＰＵ）、マイクロプロセッサ（ＭＰＵ）、デジタルシグナルプロセッサ（ＤＳＰ）又は現場でプログラム可能なゲートアレイ（ＦＰＧＡ）等であることができる。
【０１６１】
尚、本発明の実施例において、ソフトウェア機能モジュールの形態で上述したビデオ符号化方法を実現し、単独の製品として販売又は使用する場合、コンピューターが読み取り可能な記憶媒体に記憶することもできる。従って、本発明の実施例の技術案の実質又は既存技術に対する貢献のある部分をソフトウェア製品の形態で実現することができ、該コンピューターソフトウェア製品を記憶媒体に記憶し、一つのコンピューター機器（パーソナルコンピュータ、サーバ又はネットワーク機器等）に本発明の各実施例で説明した方法の全部又は一部を実行させる命令を含むことができる。上述した記憶媒体は、ＵＳＢ、モバイルハードディスク、読み出し専用メモリ（ＲＯＭ：Ｒｅａｄ−Ｏｎｌｙ  Ｍｅｍｏｒｙ）、磁気ディスク又は光ディスク等のプログラムコードを記憶できるさまざまな媒体を含む。これにより、本発明の実施例は如何なる特定のハードウェアとソフトウェアの結合に限定されない。
【０１６２】
対応して、本発明の実施例でさらにコンピューター記憶媒体を提供し、前記コンピューター記憶媒体に本発明の実施例におけるビデオ符号化方法を実行するためのコンピューターが実行可能な命令が記憶される。
【０１６３】
対応して、本発明の実施例によると、所定の視角の風物を記録して形成された画像フレームであるパノラマ画像フレームからなるパノラマビデオを取得することと、
前記パノラマビデオを、それぞれ前記パノラマ画像フレームにおける同一の水平視角を有する領域からなり、水平視角の総和が前記パノラマ画像フレームの総水平視角であるＮ（Ｎは正整数である。）個の視角ビデオシーケンスに分割することと、
前記Ｎ個の視角ビデオシーケンスにそれぞれ符号化を行って、Ｎ組の符号化データを得ることと、
ユーザの観賞視角を確定することと、
水平視角が前記観賞視角を含む視角ビデオシーケンスを選択し、前記視角ビデオシーケンスの符号化データを前記ユーザに提供することと、
を実行するための実行可能な命令を記憶するための第１の記憶媒体と、
記憶された実行可能な命令を実行するように構成された第１のプロセッサと、を含み、
一つのパノラマ画像フレーム中の各領域は互いに重ならないエンコーダを提供する。
【０１６４】
対応して、本発明の実施例で符号化・復号化システムを提供し、前記システムは、エンコーダとデコーダとを含み、ここで、前記エンコーダは、
所定の視角の風物を記録して形成された画像フレームであるパノラマ画像フレームからなるパノラマビデオを取得することと、
前記パノラマビデオを、それぞれ前記パノラマ画像フレームにおける同一の水平視角を有する領域からなり、水平視角の総和が前記パノラマ画像フレームの総水平視角であるＮ（Ｎは正整数である。）個の視角ビデオシーケンスに分割することと、
前記Ｎ個の視角ビデオシーケンスにそれぞれ符号化を行って、Ｎ組の符号化データを得ることと、
ユーザの観賞視角を確定することと、
水平視角が前記観賞視角を含む視角ビデオシーケンスを選択し、前記視角ビデオシーケンスの符号化データを前記ユーザに提供することと、
を実行するための実行可能な命令を記憶するための第１の記憶媒体と、
記憶された実行可能な命令を実行するように構成された第１のプロセッサと、を含み、
ここで、一つのパノラマ画像フレーム中の各領域は互いに重ならなく、
デコーダは、所定の視角の風物を記録して形成された画像フレームであるパノラマ画像フレームからなるパノラマビデオを取得し、前記パノラマビデオを、それぞれ前記パノラマビデオ中の全てのパノラマ画像フレームにおける同一の水平視角を有する領域からなり、水平視角の総和が前記パノラマ画像フレームの総水平視角であるＮ（Ｎは正整数である。）個の視角ビデオシーケンスに分割し、前記Ｎ個の視角ビデオシーケンスにそれぞれ符号化を行ってＮ組の符号化データを得、水平視角が観賞視角を含む視角ビデオシーケンスを選択して前記視角ビデオシーケンスの符号化データをユーザに提供するように構成されたエンコーダに前記ユーザの前記観賞視角を提供することと、
前記エンコーダから送信された前記符号化データを受信することと、
前記符号化データに復号化を行うことと、
を実行するための実行可能な命令を記憶するための第２の記憶媒体と、
記憶された実行可能な命令を実行するように構成された第２のプロセッサと、を含み、
ここで、一つのパノラマ画像フレーム中の各領域は互いに重ならない。
【０１６５】
尚、上記実施例で提供するビデオ符号化装置によるビデオ符号化は、上述した各機能モジュールの分割のみを例に説明したが、実際の応用において、需要に応じて上記機能を異なる機能モジュールに配分して完成させることができ、即ち、ビデオ符号化装置の内部構成を異なる機能モジュールに分割して、上述した機能の全部又は一部を完成することができる。そして、上記実施例で提供するビデオ符号化装置はビデオ符号化方法実施例と同一の構想に属し、その具体的な実現プロセスについては方法実施例を参照することができ、ここでは詳細な説明を省略する。
【０１６６】
上記本発明の実施例の番号は説明の便利を図るためのもので、実施例の優劣を示すものではない。
【０１６７】
上記実施例中のステップの全部又は一部をハードウェアによって実現することもでき、プログラムによって関連するハードウェアに完成を命令することもでき、当該プログラムをコンピューター読み取り可能な記憶媒体に記憶することができ、上述した記憶媒体は、読み取り専用メモリ、磁気ディスク又は光ディスク等であることができることを当業者は理解できる。
【０１６８】
以上は本発明の好適な実施例に過ぎず、本発明を限定するものではなく、本発明の精神や原則内で行う全ての修正、同等置換、改善等はすべて本発明の保護範囲内に含まれる。
【産業上の利用可能性】
【０１６９】
本発明の実施例において、パノラマビデオをＮ個の視角ビデオシーケンスに分割し、該Ｎ個の視角ビデオシーケンスにそれぞれ符号化を行って、Ｎ組の符号化データを得て、ユーザの観賞視角を確定し、水平視角が観賞視角を含む視角ビデオシーケンスを選択し、視角ビデオシーケンスの符号化データをユーザに提供することで、ユーザの観賞視角内の視角ビデオシーケンスの符号化データのみをユーザに提供し、観賞視角外の視角ビデオシーケンスの符号化データの伝送や復号化を回避し、パノラマビデオ中の全てのパノラマ画像フレームの符号化データを受信して復号化してリソースを浪費する問題を解決し、リソースを節約する効果を実現できる。
【符号の説明】
【０１７０】
１０１  パノラマカメラ
１０２  ユーザ機器
１０３  ユーザ機器
４１０  ビデオ取得モジュール
４２０  ビデオ分割モジュール
４３０  ビデオ符号化モジュール
４４０  視角確定モジュール
４５０  視角確定モジュール
５１０  ビデオ取得モジュール
５２０  ビデオ分割モジュール
５２１  領域分割ユニット
５２２  シーケンス生成ユニット
５３０  ビデオ符号化モジュール
５４０  視角確定モジュール
５５０  第１の提供モジュール
５６０  シーケンス選択モジュール
５７０  第２の提供モジュール
６１０  視角提供モジュール
６２０  第１の受信モジュール
６３０  データ復号化モジュール
７１０  視角提供モジュール
７２０  第１の受信モジュール
７３０  データ復号化モジュール
７３１  第１の処理ユニット
７３２  第２の処理ユニット
７３３  第３の処理ユニット
７３４  第４の処理ユニット
７４０  第２の受信モジュール
【図１Ａ】
2019512969.tif 000003
【図１Ｂ】
2019512969.tif 000004
【図２】
2019512969.tif 000005
【図３Ａ】
2019512969.tif 000006
【図３Ｂ】
2019512969.tif 000007
【図３Ｃ】
2019512969.tif 000008
【図３Ｄ】
2019512969.tif 000009
【図３Ｅ】
2019512969.tif 000010
【図４】
2019512969.tif 000011
【図５】
2019512969.tif 000012
【図６】
2019512969.tif 000013
【図７】
2019512969.tif 000014
【手続補正書】
【提出日】平成30年9月20日(2018.9.20)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
所定の視角の風物を記録して形成された画像フレームであるパノラマ画像フレームからなるパノラマビデオを取得することと、
前記パノラマビデオを、それぞれ前記パノラマ画像フレームにおける同一の水平視角を有する領域からなり、水平視角の総和が前記パノラマ画像フレームの総水平視角であるＮ(Ｎは正整数である。)個の視角ビデオシーケンスに分割することと、
前記Ｎ個の視角ビデオシーケンスにそれぞれ符号化を行って、Ｎ組の符号化データを得ることと、
ユーザの観賞視角を確定することと、
水平視角が前記観賞視角を含む視角ビデオシーケンスを選択して、前記視角ビデオシーケンスの符号化データを前記ユーザに提供することと、を含み、
一つのパノラマ画像フレーム中の各領域は互いに重ならない、ビデオ符号化方法。
【請求項２】
前記パノラマビデオをＮ個の視角ビデオシーケンスに分割することは、
予め設定された視角分割ルールに従って、前記パノラマビデオ中の各パノラマ画像フレームを水平視角に基づいてＮ個の領域に分割することと、
全てのパノラマ画像フレームにおける同一の水平視角を有する領域で一つの視角ビデオシーケンスを構成して、前記Ｎ個の視角ビデオシーケンスを得ることと、を含む請求項１に記載の方法。
【請求項３】
時刻Ｔｉ（ｉは正整数である）で前記ユーザの観賞視角が変化したと確定すると、前記視角ビデオシーケンス中の第ｉ個の領域の符号化データの送信を禁止することと、
水平視角が変化後の前記観賞視角に合う視角ビデオシーケンスである更新視角ビデオシーケンスを選択し、前記更新視角ビデオシーケンス中の第ｉ個の領域の符号化データを前記ユーザに提供することと、
ｉをｉ＋１に更新し、時刻Ｔｉで、前記更新視角ビデオシーケンス中の第ｉ個の領域の符号化データを前記ユーザに提供するステップを循環的に実行することと、をさらに含む請求項１に記載の方法。
【請求項４】
前記水平視角が前記観賞視角を含む視角ビデオシーケンスを選択した後、
前記水平視角に隣り合い、且つ前記水平視角未満の連続するｎ個の水平視角に対応する視角ビデオシーケンスを取得し、前記水平視角に隣り合い、且つ前記水平視角よりも大きい連続するｍ（ｎとｍはいずれも正整数で、且つｎ＋ｍ≦Ｎ−１である。）個の水平視角に対応する視角ビデオシーケンスを取得することと、
前記ｎ＋ｍ個の視角ビデオシーケンス中の、同一のパノラマ画像フレームに属する各ｎ＋ｍ個の領域の符号化データを順に前記ユーザに提供することと、をさらに含む請求項１乃至３の中のいずれかに記載の方法。
【請求項５】
各視角ビデオシーケンスにおいて、第ｊ個の領域の符号化データは第ｊ−１個の領域の符号化データに基づいて生成されるか、或いは、第ｊ個の領域の符号化データは第ｊ−１（ｊとｌはいずれも正整数で、且つｌ＞ｊ≧２である）個の領域の符号化データと第ｌ個の領域の符号化データに基づいて生成され、
異なる視角ビデオシーケンス間で、任意の二つの領域の符号化データは時間領域で関係なく、
前記領域が少なくとも二つのマクロブロックを含む場合、
各領域において、一つのマクロブロックの符号化データは空間領域内で隣り合うマクロブロックの符号化データに基づいて生成され、
異なる領域間において、空間領域内で隣り合う二つのマクロブロックの符号化データは関係ない請求項１に記載の方法。
【請求項６】
所定の視角の風物を記録して形成された画像フレームであるパノラマ画像フレームからなるパノラマビデオを取得し、前記パノラマビデオを、それぞれ前記パノラマビデオ中の全てのパノラマ画像フレームにおける同一の水平視角を有する領域からなり、水平視角の総和が前記パノラマ画像フレームの総水平視角であるＮ（Ｎは正整数である。）個の視角ビデオシーケンスに分割し、前記Ｎ個の視角ビデオシーケンスにそれぞれ符号化を行ってＮ組の符号化データを得、水平視角が観賞視角を含む視角ビデオシーケンスを選択して前記視角ビデオシーケンスの符号化データをユーザに提供するように構成されたエンコーダに前記ユーザの前記観賞視角を提供することと、
前記エンコーダから送信された前記符号化データを受信することと、
前記符号化データに復号化を行うことと、を含み、
一つのパノラマ画像フレーム中の各領域は互いに重ならないビデオ符号化方法。
【請求項７】
ｎ＋ｍ（ｎとｍはいずれも正整数で、且つｎ＋ｍ≦Ｎ−１である。）個の視角ビデオシーケンス中の、同一のパノラマ画像フレームに属する各ｎ＋ｍ個の領域の符号化データを順に受信することをさらに含み、
前記ｎ＋ｍ個の視角ビデオシーケンスは前記水平視角に隣り合い、且つ前記水平視角未満の連続するｎ個の水平視角に対応する視角ビデオシーケンス、及び、前記水平視角に隣り合い、且つ前記水平視角よりも大きい連続するｍ個の水平視角に対応する視角ビデオシーケンスである請求項６に記載の方法。
【請求項８】
前記符号化データに復号化を行うことは、
現在時刻で受信された、水平視角が前記観賞視角に合う視角ビデオシーケンス中の領域の符号化データに復号化を行って、得られた前記領域を放送することと、
前記現在時刻で受信された前記ｎ＋ｍ個の視角ビデオシーケンス中のｎ＋ｍ個の領域の符号化データをバッファリングすることと、を含む請求項７に記載の方法。
【請求項９】
時刻Ｔｉで前記ユーザの観賞視角が変化すると、
バッファリングされた前記ｎ＋ｍ個の領域の符号化データから、更新視角ビデオシーケンス中の第ｉ個の領域の符号化データを選択し、前記符号化データに復号化を行って、得られた前記第ｉ個の領域を放送することをさらに含み、
前記更新視角ビデオシーケンスは水平視角が変化後の前記観賞視角に合う視角ビデオシーケンスである請求項８に記載の方法。
【請求項１０】
前記符号化データに復号化を行うことは、
現在時刻で受信された、水平視角が前記観賞視角に合う視角ビデオシーケンス中の領域の符号化データに復号化を行って、得られた前記領域を放送することと、
前記現在時刻で受信された前記ｎ＋ｍ個の視角ビデオシーケンス中のｎ＋ｍ個の領域の符号化データに復号化を行って、得られた前記ｎ＋ｍ個の領域をバッファリングすることと、を含む請求項７に記載の方法。
【請求項１１】
時刻Ｔｉで前記ユーザの観賞視角が変化すると、
バッファリングされた前記ｎ＋ｍ個の領域から、更新視角ビデオシーケンス中の第ｉ個の領域を選択して、前記第ｉ個の領域を放送することをさらに含み、
前記更新視角ビデオシーケンスは水平視角が変化後の前記観賞視角に合う視角ビデオシーケンスである請求項１０に記載の方法。
【請求項１２】
所定の視角の風物を記録して形成された画像フレームであるパノラマ画像フレームからなるパノラマビデオを取得するように構成されたビデオ取得モジュールと、
前記ビデオ取得モジュールが取得した前記パノラマビデオを、それぞれ前記パノラマビデオ中の全てのパノラマ画像フレームにおける同一の水平視角を有する領域からなり、水平視角の総和が前記パノラマ画像フレームの総水平視角であるＮ（Ｎは正整数である。）個の視角ビデオシーケンスに分割するように構成されたビデオ分割モジュールと、
前記ビデオ分割モジュールで得た前記Ｎ個の視角ビデオシーケンスにそれぞれ符号化を行って、Ｎ組の符号化データを得るように構成されたビデオ符号化モジュールと、
ユーザの観賞視角を確定するように構成された視角確定モジュールと、
水平視角が前記視角確定モジュールによって確定された前記観賞視角を含む視角ビデオシーケンスを選択して、前記視角ビデオシーケンスの符号化データを前記ユーザに提供するように構成された第１の提供モジュールと、を含み、
一つのパノラマ画像フレーム中の各領域は互いに重ならないビデオ符号化装置。
【請求項１３】
所定の視角の風物を記録して形成された画像フレームであるパノラマ画像フレームからなるパノラマビデオを取得し、前記パノラマビデオを、それぞれ前記パノラマビデオ中の全てのパノラマ画像フレームにおける同一の水平視角を有する領域からなり、水平視角の総和が前記パノラマ画像フレームの総水平視角であるＮ（Ｎは正整数である。）個の視角ビデオシーケンスに分割し、前記Ｎ個の視角ビデオシーケンスにそれぞれ符号化を行ってＮ組の符号化データを得、水平視角が観賞視角を含む視角ビデオシーケンスを選択して前記視角ビデオシーケンスの符号化データをユーザに提供するように構成されたエンコーダに前記ユーザの前記観賞視角を提供するように構成された視角提供モジュールと、
前記エンコーダから送信された前記符号化データを受信するように構成された第１の受信モジュールと、
前記第１の受信モジュールが受信した前記符号化データに復号化を行うように構成されたデータ復号化モジュールと、を含み、
一つのパノラマ画像フレーム中の各領域は互いに重ならないビデオ符号化装置。
【請求項１４】
請求項１乃至５の中のいずれかに記載のビデオ符号化方法又は請求項６乃至１１の中のいずれかに記載のビデオ符号化方法を実行するためのコンピューターが実行可能な命令を記憶したコンピューター記憶媒体。
【請求項１５】
所定の視角の風物を記録して形成された画像フレームであるパノラマ画像フレームからなるパノラマビデオを取得することと、
前記パノラマビデオを、それぞれ前記パノラマ画像フレームにおける同一の水平視角を有する領域からなり、水平視角の総和が前記パノラマ画像フレームの総水平視角であるＮ（Ｎは正整数である。）個の視角ビデオシーケンスに分割することと、
前記Ｎ個の視角ビデオシーケンスにそれぞれ符号化を行って、Ｎ組の符号化データを得ることと、
ユーザの観賞視角を確定することと、
水平視角が前記観賞視角を含む視角ビデオシーケンスを選択し、前記視角ビデオシーケンスの符号化データを前記ユーザに提供することと、
を実行するための実行可能な命令を記憶するための第１の記憶媒体と、
記憶された実行可能な命令を実行するように構成された第１のプロセッサと、を含み、
一つのパノラマ画像フレーム中の各領域は互いに重ならないエンコーダ。
【手続補正２】
【補正対象書類名】図面
【補正対象項目名】図２
【補正方法】変更
【補正の内容】
【図２】
2019512969.tif 000015
【国際調査報告】
2019512969.tif 000016
2019512969.tif 000017
2019512969.tif 000018
2019512969.tif 000019