(57)【要約】  ビデオデータストリームは、削減されたビデオデータストリームの画像の制限が元のビデオデータストリームの画像の所定のサブ領域に制限されるようなやり方で、かつ再量子化が回避され、元のビデオデータストリームの基礎となるコーデックに対する削減されたビデオデータストリームの適合性が維持されるようなやり方で削減可能に表わされる。これは、ビデオデータストリームに、ペイロード部分に含まれるインデックスを参照するようにリダイレクトするための所定のサブ領域および置換インデックスの表示、および／または符号化パラメータ設定の第２のセットを生じるように第１のセットを調整するための置換パラメータを含む情報を提供することによって達成される。画像コンテンツの送信は、画像コンテンツが所定の方法で成形または順序付けされる必要がないという点で、より効率的にレンダリングされる。補助拡張情報にも同様の手順を適用することができる。既に削減されたデータストリームのパラメータおよび／または補助拡張情報の調整もまた説明される。さらなる態様によれば、ランダムアクセスポイントによって引き起こされるビデオデータストリームにおけるビットレートピークの悪影響は、ビデオデータストリームにランダムアクセスポイントの２セットを提供することによって削減される：１つ以上の第１のランダムアクセスポイントのセットのセットを形成するように、少なくとも第１の画像サブ領域内に時間的予測を中断して、１つ以上の画像の第１のセットをビデオデータストリームに符号化し、かつ、１つ以上の第２のランダムアクセスポイントのセットを形成するように、第１の画像サブ領域とは異なる第２の画像サブ領域内に時間的予測を中断して、１つ以上の画像の第２のセットをビデオデータストリームに符号化する。
2019506091.tif 000002
【特許請求の範囲】
【請求項１】
ビデオを表すビデオデータストリームであって、
符号化パラメータ設定（２０）を示すパラメータ設定部（１６）と、
ビデオの画像（１２）が、符号化パラメータ設定（２０）の第１のセット（２０ａ）を使用してパラメータ化された方法で符号化され、前記第１のセット（２０ａ）がペイロード部分に含まれるインデックス（４８）によってインデックス付けされるペイロード部分（１８）とを含み、
前記ビデオデータストリームは、
前記画像（１２）の所定のサブ領域（２２）の表示（５２）と、符号化パラメータ設定の第２のセット（２０ｂ）を参照するためのペイロード部分に含まれるインデックス（４８）をリダイレクト（７２）するための変位インデックス（５４）および／または符号化パラメータ設定の第２のセット（２０ｂ）を生じるように符号化パラメータ設定の前記第１のセット（２０ａ）を調整（８８）するための変位パラメータ（５６）とを含む情報（５０）を含み、
符号化パラメータの前記第２のセット（２０ｂ）は、
前記パラメータ化されたサブ領域（２２）の外側の前記画像（１２）の領域を参照する前記ペイロード部分（１８）の部分（７０）を除去（６８）し、かつ
前記画像（１２）の代わりに前記所定のサブ領域（２２）の周囲から測定された方法で位置を示すように前記ペイロード部分（１８）における位置表示（３２）を変更する（７８）
ことにより前記ビデオデータストリームと比較された削減ビデオデータストリーム（６２）が修正されるように選択され、
符号化パラメータ設定の前記第２のセット（２０ｂ）を使用するパラメータ化された態様で前記画像の前記所定のサブ領域（２２）を示すサブ領域固有画像（８６）に符号化された削減ペイロード部分を有する、ビデオデータストリーム。
【請求項２】
前記ビデオデータストリームおよび前記削減ビデオデータストリーム（６２）は、HEVCに準拠していることを特徴とする請求項１に記載のビデオデータストリーム。
【請求項３】
前記パラメータセット部分は、SPS NALユニットおよび/またはVPS NALユニットおよび／またはPPS NALユニットで構成されることを特徴とする請求項１または２に記載のビデオデータストリーム。
【請求項４】
前記符号化パラメータ設定は、
画像サイズ（２６）、
タイル構造（３８）、
バッファのサイズ及びタイミング（４６）
のうちの１つ以上を定義することを特徴とする請求項１ないし３のいずれかに記載のビデオデータストリーム。
【請求項５】
前記インデックス（４８）は、前記ペイロード部分（１８）のスライス（３４）のスライスヘッダに含まれ、各スライスは、所定のサブ領域（２２）の境界を横切らない画像（１２）に対応する領域（３６）を符号化している、請求項１ないし４のいずれかに記載のビデオデータストリーム。
【請求項６】
前記情報は、SEIメッセージ、VUI、またはパラメータセット拡張に含まれる、請求項１ないし５のいずれかに記載のビデオデータストリーム。
【請求項７】
前記ペイロード部は、画像が細分化され、列と行のタイル配列に配置されたタイルの単位でビデオの画像を符号化し、
指示（５２）は、タイルのセットとして所定のサブ領域を示すことを特徴とする、請求項１ないし６のいずれかに記載のビデオデータストリーム。
【請求項８】
前記ペイロード部分は、前記ペイロード部分がスライス（３４）の単位で細分化されるようにタイル（４２）の単位で符号化されたビデオの画像を有し、各スライスはタイルの間のタイル境界（４０）を横切っていない画像の対応する領域に符号化されることを特徴とする、請求項７に記載のビデオデータストリーム。
【請求項９】
変位インデックスによるリダイレクト（７２）が実行されるべきインデックス（４８）によってインデックスされ、かつ／または変位パラメータによって変位される符号化パラメータ設定の第１のセット（２０ａ）の一部は、
画像サイズ（２６）、
タイル構造（３８）、
バッファのサイズおよびタイミング（４６）
の１つまたはそれ以上に関連する、請求項１ないし８のいずれか１項に記載のビデオデータストリーム。
【請求項１０】
前記ペイロード部分（１８）は、前記所定のサブ領域（２２）内で、前記画像が、前記サブ領域（２２）の境界を越えた時間的予測を中断して符号化されるようにその中に符号化された前記ビデオの画像（１２）を有する、請求項１ないし９のいずれか１項に記載のビデオデータストリーム。
【請求項１１】
ビデオをビデオデータストリームに符号化するためのエンコーダであって、
符号化パラメータ設定（２０）を決定し、前記符号化パラメータ設定を示す前記ビデオデータストリームのパラメータセット部分（１６）を生成するように構成されたパラメータ設定器（８０ａ）と、
前記符号化パラメータ設定の第１のセット（２０ａ）を使用してパラメータ化された方法でビデオデータストリームのペイロード部分に前記ビデオの画像を符号化するように構成され、前記第１のセットはペイロード部分を含むインデックス（４８）によってインデックス付けされた符号化コア（８０ｂ）とを備え、
前記エンコーダは、
前記画像（１２）の所定のサブ領域（２２）の表示と、
符号化パラメータ設定の第２のセットを参照するために前記ペイロード部分、および／または符号化パラメータ設定の第２のセットを生じるよう符号化パラメータ設定の前記第１のセットを調整するための変位パラメータ（５６）により構成された前記インデックスをリダイレクトするための変位インデックス（５４）と、
を含む情報（５０）を有する前記ビデオデータストリームに供給するように構成され、
符号化パラメータの前記第２のセットは、
前記所定のサブ領域の外側の前記画像の領域を参照して前記ペイロード部分の部分を除去し（６８）
前記画像の代わりに前記所定のサブ領域の周囲から測定された方法で位置を示すように、前記ペイロード部分内の位置表示を変更する（７８）ことにより、
削減ビデオデータストリームが前記ビデオデータストリームと比較して修正されるように選択され、
符号化パラメータ設定の前記第２のセットを使用してパラメータ化された方法で前記画像の前記サブ領域を示すサブ領域固有画像をその中に符号化した削減ペイロード部分を有する、エンコーダ。
【請求項１２】
前記ビデオデータストリームおよび前記削減ビデオデータストリームは、HEVCに準拠している、請求項１１に記載のエンコーダ。
【請求項１３】
前記パラメータセット部分は、SPS NALユニットおよび／またはVPS NALユニットおよび／またはPPS NALユニットで構成されることを特徴とする請求項１１または１２に記載のエンコーダ。
【請求項１４】
前記符号化パラメータ設定は、
画像サイズ、
タイル構造、
バッファサイズ及びタイミング
のうちの１つ以上を定義する、請求項１１に記載のエンコーダ。
【請求項１５】
前記エンコーダは、前記ペイロード部分のスライスのスライスヘッダに前記インデックスを挿入し、前記所定のサブ領域の境界を越えない画像の対応する領域を各スライスに符号化するように構成される、請求項１１ないし１４のいずれかに記載のエンコーダ。
【請求項１６】
前記エンコーダは、情報をSEIメッセージ、VUIまたはパラメータセット拡張に挿入するように構成されている、請求項１１ないし１５のいずれかに記載のエンコーダ。
【請求項１７】
前記エンコーダは、前記画像が細分化され、表示は所定のサブ領域をタイルのセットとして示す列と行のタイル配列に配置されたタイルの単位で符号化されたビデオの画像をペイロード部分に符号化するように構成されている、請求項１１ないし１６のいずれかに記載のエンコーダ。
【請求項１８】
前記エンコーダは、ペイロード部分がスライスの単位で細分化されるようにタイルの単位で符号化されたビデオの画像をペイロード部分に符号化するように構成され、各スライスはタイルの間のタイル境界を横切っていない画像の対応する領域を符号化する、請求項１７に記載のエンコーダ。
【請求項１９】
変位インデックスによるリダイレクトが実行されるべきインデックスによってインデックスされた、および／または変位パラメータによって変位される第１の符号化パラメータ設定セットの一部は、
画像サイズ、
タイル構造、
バッファタイミング
の１つ以上に関連する、請求項１１ないし１８のいずれかに記載のエンコーダ。
【請求項２０】
前記エンコーダは、前記ビデオの画像を前記ペイロード部分に符号化して、前記所定のサブ領域（２２）内で前記画像が前記所定のサブ領域（２２）の境界を越えて時間的予測を中断するように符号化されるように構成されている、請求項１１ないし１９のいずれかに記載のエンコーダ。
【請求項２１】
ビデオデータストリームを処理するためのネットワーク装置であって、前記ビデオデータストリームは、
符号化パラメータ設定を示すパラメータセット部分と、
前記ビデオの画像が、ペイロード部分に含まれるインデックスによってインデックス付けされる前記符号化パラメータ設定の第１のセットを使用してパラメータ化された態様で符号化されるペイロード部分とを含み、
前記ネットワーク装置は、
前記ビデオデータストリームから
前記画像の所定のサブ領域の表示と、
符号化パラメータ設定の第２のセットを参照するための前記ペイロード部分、および／または符号化パラメータ設定の第２のセットを生じるように符号化パラメータ設定の前記第１のセットを調整するための変位パラメータにより構成された前記インデックスをリダイレクトするための変位インデックスと、
を含む情報を前記ビデオデータストリームから読出し（６４）、
符号化パラメータ設定の前記第２のセットが前記ペイロード部分のインデックスによりインデックス付けされるように前記リダイレクト（７２）および／または調整（８８）を実行し、
前記所定のサブ領域の外側の前記画像の領域を参照する前記ペイロード部分の部分を除去し（６８）、かつ
前記画像の代わりに前記所定のサブ領域の周囲から測定された位置を示すように前記ペイロード部分における位置表示（３２）を変更する（７８）
ことにより修正された削減ビデオデータストリームに前記ビデオデータストリームを削減し（６６）、
前記削減ビデオデータストリームは、符号化パラメータ設定の前記第２のセットを使用してパラメータ化される方法で前記画像の前記所定のサブ領域を示すサブ領域固有画像に符号化される削減されたペイロード部分を有するように構成された、ネットワーク装置。
【請求項２２】
前記ビデオデータストリームおよび前記削減ビデオデータストリームは、HEVCに準拠している、請求項２１に記載のネットワーク装置。
【請求項２３】
前記パラメータセット部分は、SPS NALユニットおよび／またはVPS NALユニットおよび／またはPPS NALユニットによって構成される、請求項２１または２２に記載のネットワーク装置。
【請求項２４】
前記符号化パラメータ設定は、以下の１つ以上を定義する、請求項２１ないし２３のいずれかに記載のネットワーク装置。
画像サイズ、
タイル構造、
バッファサイズ及びタイミング。
【請求項２５】
前記ネットワーク装置は、前記ペイロード部分のスライスのスライスヘッダに前記インデックスを配置するように構成され、各スライスは、前記所定のサブ領域の境界を横切らない画像の対応する領域に符号化されるように構成されている、請求項２１ないし２４のいずれかに記載のネットワーク装置。
【請求項２６】
前記ネットワーク装置は、SEIメッセージ、VUI、または前記ビデオデータストリームのパラメータセット拡張から前記情報を読取るように構成されている、請求項２１ないし２５のいずれかに記載のネットワーク装置。
【請求項２７】
前記ペイロード部分は、前記画像が細分化されたタイル単位で符号化されたビデオの画像を有し、前記画像は、列および行のタイル配列に配置され、前記表示は、所定のサブ領域をタイルのセットとして示す、請求項２１ないし２６のいずれかに記載のネットワーク装置。
【請求項２８】
前記ペイロード部分は、前記ペイロード部分がスライス単位で細分化されるように、タイルの単位で符号化されるビデオの画像を有し、各スライスはタイル間のタイル境界を横切らない画像の対応領域の各スライスがそれを横断しない画像の対応する領域に符号化される、請求項２７に記載のネットワーク装置。
【請求項２９】
変位インデックスによるリダイレクトが実行されるべきインデックスによってインデックスされた、および／または変位パラメータによって変位された符号化パラメータ設定の第１のセットの一部は、
画像サイズ、
タイル構造、
バッファサイズ及びタイミング、
の１つ以上に関連する、請求項２１ないし２８のいずれかに記載のネットワーク装置。
【請求項３０】
前記ペイロード部分（１８）は、前記所定のサブ領域（２２）内で、前記画像が、前記所定のサブ領域（２２）の境界を越えて時間的予測を中断して符号化されるように符号化された、前記ビデオの前記画像（１２）を有する、請求項２１ないし２９のいずれかに記載のネットワーク装置。
【請求項３１】
前記ネットワーク装置は、
ビデオデータストリームおよび削減ビデオデータストリームを復号化できるビデオデコーダであるか、
ビデオデコーダが前記削減ビデオデータストリームを復号化するに充分なプロファイルレベルであるが、プロファイルレベルが不十分でビデオデコーダが前記ビデオデータストリームを復号化することができないプロファイルレベルを有するビデオデコーダか、
制御信号に応じて、ビデオデータストリームおよび削減ビデオデータストリームの一方をビデオデコーダに転送するように構成されたネットワーク装置の１つである、請求項２１ないし２９のいずれかである、ネットワーク装置。
【請求項３２】
前記ビデオデータストリームは、前記画像（１２）の少なくとも１つの所定のサブ領域について少なくとも１つの所定のサブ領域の前記セットの前記対象画像領域への非変位コピーに関する対象画像領域（２１６）内の少なくとも１つの所定のサブ領域の前記セットの変位を示す変位情報（２０６）を含み、かつ
前記ネットワーク装置は、前記修正された変位情報に応じて変位された前記サブ領域固有画像の所定のサブ領域を有する前記対象画像領域にコピーされた前記サブ領域固有画像が前記変位情報に応じて変位された前記画像（１２）の少なくとも１つの所定のサブ領域（２１４）の前記セットを有する前記対象画像領域にコピーされた前記第１の画像の前記所定のサブ領域と前記対象画像領域内にコピーされた前記画像（１２）の前記所定のサブ領域（２２）を有する前記対象画像領域（２１６）内で一致するように、前記変位情報（２０６）を修正された変位情報（２０６'）に修正し、前記データストリームを削減する際に前記変位情報（２０６）を前記修正された変位情報（２０６'）に置換するように構成されており、または
前記修正された変位情報（２０６'）は、前記画像（１２）の前記所定のサブ領域に関連する前記ビデオデータストリームによって構成され、前記変位情報（２０６）は、前記画像に関連付けられた前記ビデオデータストリームに含まれ、前記ネットワーク装置は、前記データストリームを削減する際に前記変位情報（２０６）を除去し、前記サブ領域固有画像（８６）に関連付けるように前記修正された変位情報（２０６'）を前記削減ビデオデータストリームに持ち越す、請求項２１ないし３１のいずれかに記載のネットワーク装置。
【請求項３３】
前記ビデオの画像（１２）が符号化されたペイロード部分（１８）と、
前記ビデオの前記画像が前記ペイロード部分（１８）に符号化される態様と適合する補助拡張情報を示す補助拡張情報メッセージとを含み、
前記ビデオデータストリームは
前記画像（１２）の所定のサブ領域（２２）の表示（５２）と、
前記補助拡張情報メッセージを置換するための置換補助拡張情報メッセージと
を含む情報（５０）を含み、
前記置換補助拡張情報メッセージは
前記所定のサブ領域（２２）の外側で前記画像（１２）の領域を参照する前記ペイロード部分（１８）の部分（７０）を除去し（６８）かつ
前記画像（１２）の代わりに前記所定のサブ領域（２２）の周囲から測定された方法で位置を示すように前記ペイロード部分（１８）における位置表示（３２）を変更する（７８）
ことにより前記ビデオデータストリームと比較され修正された削減ビデオデータストリーム（６２）が、前記サブ領域固有画像（８６）が前記置換補助拡張情報メッセージが前記削減ペイロード部分（１８）に符号化される態様を適合する置換補助拡張情報を示す方法で前記画像の前記所定のサブ領域（２２）を示すサブ領域固有画像（８６）を符号化する削減ペイロード部分を有する、ビデオ（１４）を示すビデオデータストリーム。
【請求項３４】
前記ビデオの画像を前記ビデオデータストリームのペイロード部分に符号化するように構成された符号化コア（８０ｂ）と、
前記ビデオの前記画像が前記ペイロード部分（１８）に符号化された態様を適合する補助拡張情報を示す補助拡張情報メッセージを生成するように構成されたパラメータ設定器（８０ａ）とを含み、
前記符号化器は
前記画像（１２）の所定のサブ領域（２２）の表示および
前記補助拡張情報メッセージを置換するための置換補助拡張情報メッセージと
を含む情報（５０）を有する前記ビデオデータストリームを供給するように構成され、
前記置換補助拡張情報メッセージは
前記所定のサブ領域の外側で前記画像の領域を参照する前記ペイロード部分の部分を除去し（６８）、かつ
前記画像の代わりに前記所定のサブ領域の周囲から測定された方法で位置を示すように前記ペイロード部分における位置表示を変更する（７８）
ことにより前記ビデオデータストリームと比較し修正された削減ビデオデータストリームは、前記サブ領域固有画像（８６）が前記削減ペイロード部分（１８）に符号化された態様に適合する置換補助拡張情報を前記置換補助拡張情報メッセージが示すような方法で前記画像の前記所定のサブ領域（２２）を示すサブ領域固有画像（８６）に符号化された削減ペイロード部分を有する、ビデオをビデオデータストリームに符号化するためのエンコーダ。
【請求項３５】
ビデオデータストリームを処理するためのネットワーク装置であって、前記ビデオデータストリームは、
前記ビデオの画像が符号化されるペイロード部分と、
前記ビデオの前記画像が前記ペイロード部分（１８）に符号化される前記態様に適合する補助拡張情報を示す補助拡張情報メッセージとを含み、
前記ネットワーク装置は、
前記置換補助拡張情報メッセージが前記サブ領域固有画像（８６）が前記削減ペイロード部分（１８）に符号化された態様を適合する置換補助拡張情報を示すような態様で前記削減ビデオデータストリームが前記画像の前記所定のサブ領域を示すサブ領域固有画像を符号化された削減ペイロード部分を有するように、
前記画像の所定のサブ領域の表示と
前記補助拡張情報メッセージを置換すべきための置換補助拡張情報とを含む情報を前記ビデオデータストリームから読出し（６４）、
前記補助拡張情報メッセージを置換補助拡張情報メッセージにより置換し、
前記所定のサブ領域の外側に前記画像の領域を参照する前記ペイロード部分の部分を除去し（６８）、かつ
前記画像の代わりに前記所定のサブ領域の周囲から測定された位置を示すように前記ペイロード部分内の位置表示（３２）を変更する（７８）
ことにより修正された削減ビデオデータストリームに前記ビデオデータストリームを削減する（６６）
ように構成される、ネットワーク装置。
【請求項３６】
ビデオデータストリームを処理するためのネットワーク装置であって、
前記ビデオデータストリームのパラメータセット部分における符号化パラメータ設定を使用して除外なしにパラメータ化された態様で、および／または
前記ビデオデータストリームの補助拡張メッセージにより示された補助拡張情報を除外なしに適合する態様で、
前記ビデオの前記画像は前記ペイロード部分に符号化され、前記分割は前記画像の所定のサブ領域の外側に前記画像の領域を参照する前記ペイロード部分の排除に対応し、前記ビデオの画像が符号化されるペイロード部分の分割を含むビデオデータストリームを受信し、
前記画像の代わりに前記所定のサブ領域の周囲から測定された位置を示すように前記ペイロード部分における位置情報（３２）を変更し（７８）、かつ
前記符号化パラメータ設定を使用するパラメータ化されたおよび／または
前記調整された補助拡張情報により調整されたように補助拡張メッセージを示された補助拡張情報を補助拡張情報に適合する
ように前記画像の前記所定のサブ領域を示すサブ領域固有画像が符号化される前記ペイロード部分の前記分割を前記ビデオデータストリームが有するように前記パラメータセット部分に前記符号化パラメータ設定を調整し、および／または前記補助拡張情報メッセージを調整することにより前記ビデオデータストリームを修正するように構成された、ネットワーク装置。
【請求項３７】
前記ビデオデータストリームとともに前記所定のサブ領域（２２）に関する情報を受信するか、または前記所定のサブ領域（２２）上の前記情報を使用して、所定のサブ領域（２２）外の画像の領域を参照する前記ペイロードの一部（１８）の部分（７０）はダウンロードされない、請求項３６に記載のネットワーク装置。
【請求項３８】
画像（２０４）が符号化されたデータストリームであって、
前記データストリームは、
前記画像（２０４）の少なくとも１つの所定のサブ領域（２１４）のセットについて、目標画像領域（２１６）への少なくとも１つの所定のサブ領域の前記セットの非変位コピーに対する、前記少なくとも１つの所定のサブ領域の前記セットの前記目標画像領域（２１６）内での変位（２１８）を示す変位情報（２０６）を含むデータストリーム。
【請求項３９】
前記変位情報（２０６）は、
画像サンプル、
前記画像が細分化されたタイルであって、前記画像は、前記タイルの単位で相互依存性を符号化せずに符号化され、前記少なくとも１つのサブ領域（２１４）の前記セットの各々が前記タイルで構成されるタイル、
のうちの１つを単位として前記変位（２１８）を示す、請求項３８に記載のデータストリーム。
【請求項４０】
前記画像の少なくとも１つのサブ領域の前記セットは、サブ領域のアレイへの前記画像のギャップなし且つ重複自在の空間分割のサブセットである、請求項３８又は３９に記載のデータストリーム。
【請求項４１】
前記変位情報は、
前記画像の少なくとも１つの所定のサブ領域の前記セット内の前記所定のサブ領域のカウント（２２０）と、
前記目標画像領域のサイズを定義するサイズパラメータ（２２２）と、
前記画像の少なくとも１つの所定のサブ領域の前記セットの所定のサブ領域のそれぞれについて、前記目標画像領域内の前記画像の前記所定のサブ領域それぞれの変位の座標（２２４）とを含むか、あるいは、
前記変位情報は、前記画像の少なくとも１つのサブ領域の前記セットの所定のサブ領域それぞれについて、前記目標領域における前記各所定のサブ領域の位置に関する第１の位置情報と、前記画像内の前記各所定の領域の位置に関する第２の情報と、前記それぞれの所定のサブ領域を前記目標領域と前記画像との間にマッピングするときの回転に関する情報および／またはミラーリングに関する情報とを含む、請求項３８ないし３９のいずれかに記載のデータストリーム。
【請求項４２】
前記変位情報は、前記目標画像領域内の前記それぞれのサブ領域のスケーリング（２２６）をさらに示す、請求項４１に記載のデータストリーム。
【請求項４３】
前記データストリームは、前記変位情報に応じて変位された前記画像の少なくとも１つの所定のサブ領域の前記セットのいずれによっても覆われず、少なくとも１つの所定のサブ領域の前記セットが前記画像（２０４）を完全に覆わないときには前記画像の変位されない部分のいずれによっても覆われることのない前記目標画像領域（２１６）の部分（１３０）がそれを使って充填されることになるデフォルト充填を示すデフォルト充填情報（２２８）をさらに含む、請求項３８ないし４２のいずれかに記載のデータストリーム。
【請求項４４】
前記データストリームには、画像のシーケンスが符号化され、前記変位情報は前記画像のシーケンスに対して有効である、請求項３８ないし４２のいずれかに記載のデータストリーム。
【請求項４５】
画像が符号化されたデータストリームを復号化するためのデコーダであって、
前記データストリームから前記画像を再構成するように構成された復号化コア（２３４）と、
目標画像の領域内の前記画像の少なくとも１つの所定のサブ領域のセットのそれぞれを、前記データストリームに含まれる変位情報に従って変位させることによって、前記画像に基づいて前記目標画像を合成するように構成された変位器（２３６）とを含む、デコーダ。
【請求項４６】
前記変位器は、少なくとも１つの所定のサブ領域の前記セットが前記画像（２０４）を完全に覆っていない場合、前記画像の変位されていない部分を前記目標画像領域（２１６）に変位しないようにコピーするように構成されている、請求項４５に記載のデコーダ。
【請求項４７】
前記変位情報は、
画像サンプル、
前記画像が細分化されたタイルであって、前記画像は、前記タイルの単位で相互依存性を符号化せずに符号化され、少なくとも１つのサブ領域（２１４）の前記セットの各々が前記タイルによって構成されるタイル、
うちの１つを単位として前記各サブ領域の変位を示す、請求項４５または４６に記載のデコーダ。
【請求項４８】
前記画像の少なくとも１つのサブ領域の前記セットは、サブ領域のアレイへの、前記画像のギャップなし及び重複自在の空間分割のサブセットである、請求項４５ないし４７のいずれかに記載のデコーダ。
【請求項４９】
前記変位器は、
前記画像の少なくとも１つの所定のサブ領域の前記セット内の前記所定のサブ領域のカウントと、
前記目標画像領域のサイズを定義するサイズパラメータと、
画像の少なくとも１つの所定のサブ領域の前記セットの各所定のサブ領域について、目標画像領域内の前記画像の前記各所定のサブ領域の変位の座標とを、
前記データストリームから前記変位情報の一部として読込み、
前記画像の少なくとも１つの所定のサブ領域の前記のセットのうちのそれぞれの前記所定のサブ領域を、前記それぞれの所定のサブ領域について読込まれた変位の前記座標に応じて、前記目標画像の前記領域との前記画像の重複に対して変位させるように構成された、請求項４５ないし４８のいずれかに記載のデコーダ。
【請求項５０】
前記変位器は、前記画像に基づいて目標画像を、前記変位情報に応じて前記目標画像の前記領域内への前記画像の歪みのないコピーに対して変位された前記画像の少なくとも１つのサブ領域のセットのそれぞれを、前記データストリームに含まれる変位情報に応じてスケーリングすることによって、前記目標画像の前記領域内で合成するように構成されている、請求項４９に記載のデコーダ。
【請求項５１】
前記変位器は、前記変位情報に従って変位された前記画像の少なくとも１つの所定のサブ領域の前記セットが１つもなく、且つ、少なくとも１つの所定のサブ領域の前記セットが前記画像（２０４）を完全に覆っていない場合には前記画像の変位されていない部分もない前記目標画像領域の部分を、前記データストリームに含まれるデフォルト充填情報に従って充填するように構成されている、請求項４５ないし５０のいずれかに記載のデコーダ。
【請求項５２】
前記復号化コアは、前記データストリームから画像のシーケンスを再構成するように構成され、前記変位器は、前記変位情報を前記画像のシーケンスの前記画像に適用するように構成される、請求項４５ないし５１のいずれかに記載のデコーダ。
【請求項５３】
前記目標画像領域上に注入投影を適用して出力画像を形成するように構成されたレンダラ（２３８）をさらに備えた、請求項４５ないし５２のいずれかに記載のデコーダ。
【請求項５４】
第１の画像が符号化されたデータストリーム（２００）を、前記第１の画像の所定のサブ領域を示すサブ領域固有画像が符号化された削減データストリーム（２３２）に削減するように構成されたネットワーク装置であって、前記データストリーム（２００）は、前記第１の画像の少なくとも１つの所定のサブ領域のセットについて、目標画像領域（２１６）内の少なくとも１つの所定のサブ領域（２１４）の前記セットの、少なくとも１つの所定のサブ領域の前記セットの前記目標画像領域への非変位コピーに対する変位（２１８）を示す変位情報（２０６）を含み、
前記ネットワーク装置は、前記変位情報（２０６）を修正変位情報（２０６´）に修正して、前記サブ領域固有画像の少なくとも１つの所定のサブ領域のセットが前記修正変位情報に応じて変位されて、前記目標画像領域にコピーされた前記サブ領域固有画像が、前記目標画像領域内で、前記画像（１２）の少なくとも１つの所定のサブ領域（２１４）の前記セットが前記変位情報に応じて変位されて前記目標画像領域にコピーされた前記第１の画像の前記所定のサブ領域と一致し、且つ、前記ビデオデータストリームを削減する際に、前記変位情報（２０６）を前記修正変位情報（２０６´）と置換するように構成され、または
前記修正された変位情報は、前記第１の画像の前記所定のサブ領域に関連付けられた前記データストリームに含まれ、前記変位情報は、前記第１の画像に関連付けられた前記データストリームに含まれ、前記ネットワーク装置は、前記データストリームを削減する際に、前記変位情報を除去して、前記修正された変位情報を前記削減されたデータストリームに持ち越して、前記サブ領域固有画像と関連付けられるようにするように構成された、ネットワーク装置。
【請求項５５】
ビデオデータストリームは、
１つ以上の第１のランダムアクセスポイントのセットを形成するように、少なくとも第１の画像サブ領域（A）内に時間的予測を中断して、１つ以上の画像（画像A）の第１のセットをビデオデータストリームに符号化し、
１つ以上のランダムアクセスポイントを形成することに関して第１の画像サブ領域（A）とは異なる第２の画像サブ領域（B）内の時間的予測を中断して１つ以上の第２の１組の画像（画像B）をビデオデータストリームに符号化するように、
時間的予測を使用して画像のシーケンス（３０２）を符号化する、ビデオデータストリーム。
【請求項５６】
前記第１および第２のサブ領域は、重複することなく互いに当接することを特徴とする請求項５５に記載のビデオデータストリーム。
【請求項５７】
前記第１および第２のサブ領域は、前記ビデオデータストリームにおいて通知（３１９）された画像シーケンス（３０２）のオーバーラップフリーでギャップのない分割を形成する、請求項５６に記載のビデオデータストリーム。
【請求項５８】
前記１つ以上の画像（画像A）の第１のセットは、前記画像の領域全体にわたる時間的予測を完全に中断して、１つ以上の画像単位ランダムアクセスポイントのセットを形成するように、前記ビデオデータストリームに符号化される、請求項５７に記載のビデオデータストリーム。
【請求項５９】
第２の画像サブ領域（B）内に、第２の画像サブ領域の外部の空間部分に対する空間符号化依存性を中断して、１つ以上の画像（画像B）の第２のセットがビデオデータストリームに符号化される、請求項５５ないし５８のいずれかに記載のビデオデータストリーム。
【請求項６０】
１つ以上の画像の第２のセット（画像B）を示す信号化（３１８）をさらに含む、請求項５５ないし５９のいずれかに記載のビデオデータストリーム。
【請求項６１】
前記信号化（３１８）は、前記画像データストリームの、画像単位のランダムアクセスポイント（複数可）およびサブ領域固有のランダムアクセスポイントを区別するビデオデータストリームの画像タイプ信号化（３２０）を介して少なくとも部分的に1つ以上の画像（画像B）の前記第２の組を示す、請求項６０に記載のビデオデータストリーム。
【請求項６２】
前記信号化（３１８）は、１つ以上の画像（画像B）の第２のセットをサブ領域固有のランダムアクセスポイントにすることを示し１つ以上の画像（画像B）の第２のセットを第２の画像サブ領域（B）にさらに関連付ける前記ビデオデータストリームの前記画像タイプ信号化（３２０）によって１つ以上の画像の前記第２のセット（画像B）を示す、請求項６１に記載のビデオデータストリーム。
【請求項６３】
ビデオデータストリームの画像タイプ信号化（３２０）がビデオデータストリームのNALユニットヘッダに含まれる、請求項６１または６２に記載のビデオデータストリーム。
【請求項６４】
前記第１および第２のサブ領域は、画像（３０２）シーケンスのオーバーラップフリーおよびギャップレス分割を形成し、前記エンコーダは、前記オーバーラップフリーの信号化（３１９）およびギャップレス分割を前記ビデオデータストリームに提供するように構成されることを特徴とする請求項５５ないし６３のいずれかに記載のエンコーダ。
【請求項６５】
１つ以上の画像の前記第２のセットの１つ（画像B）および１つ以上の画像の前記第１のセットの復号化順で後続の１つ（画像A）の間の前記画像（３１７）は、前記第２の画像サブ領域（B）の外部の参照画像の画像領域（A）を参照しないように、前記第２の画像サブ領域（B）内の時間的予測を制限して、前記ビデオデータストリームに符号化する、請求項５５ないし６４のいずれかに記載のビデオデータストリーム。
【請求項６６】
１つ以上の画像の前記第２のセットの前記１つ（画像B）および１つ以上の画像の前記第１のセットの復号化順で後続の１つ（画像A）の間の前記画像（３１７）は、１つ以上の前記第２のセットの１つ（画像B）に関して復号化順で上流の参照画像を参照しないような方法で、前記第２の画像サブ領域（B）内の時間的予測を制限して前記ビデオデータストリームに符号化される、請求項５５および６５のいずれかに記載のビデオデータストリーム。
【請求項６７】
１つ以上の画像の前記第２のセットの前記１つ（画像B）および１つ以上の画像の前記第１のセットの復号化順で後続の１つ（画像A）の間の前記画像（３１７）は、１つ以上の前記第２のセットの１つ（画像B）および１つ以上の画像の前記第１のセットの復号化順で後続の１つ（画像A）および１つ以上の画像の前記第２のセットの１つ（画像B）のそれぞれの間の前記画像（３１７）のいずれかに属する参照画像の前記第２のサブ領域（B）を参照しないような方法で前記第２の画像サブ領域（B）の外側の画像領域（A）内で時間的予測を制限するとともに、１つ以上の画像の前記第２のセットの前記１つ（画像B）および１つ以上の画像の前記第１のセットの復号化順で後続の１つ（画像A）の間の前記画像（３１７）が前記ビデオデータストリームに符号化される請求項６５および６６のいずれかに記載のビデオデータストリーム。
【請求項６８】
１つ以上の前記第２のセットの前記１つ（画像B）および１つ以上の前記第１のセットの復号化順で後続の１つ（画像A）の間の画像（３１７）は、１つ以上の画像の前記第２のセットの前記１つ（画像B）および１つ以上の画像の前記第１のセットの復号化順で後続の１つ（画像A）および１つ以上の画像の前記第２のセットの前記１つ（画像B）の間の前記画像（３１７）のいずれかにそれぞれ属する参照画像の前記第２の画像サブ領域（B）を少なくとも部分的に参照する前記第２の画像サブ領域（B）の外側の前記画像領域（A）内で時間的予測を使用して、ビデオデータストリームに符号化され、
１つ以上の画像の前記第１のセットの復号化順で前記後続の１つ（画像A）の後の画像（３１７'）が、１つ以上の画像の前記第１のセットの前記後続の１つ（画像A）のいずれかおよび１つ以上の画像の前記第１のセットの前記後続の１つ（画像A）の後の１つ以上の前記第１のセットの後続の１つ（画像A）および画像（３１７'）のいずれかに属する復号化順で先行する参照画像の前記第２の画像サブ領域（B）を参照しないように前記第２の画像サブ領域（B）の外側の前記画像領域（A）内で時間的予測を制限するとともに、前記ビデオデータストリームに符号化される、
請求項６５および６６のいずれかに記載のビデオデータストリーム。
【請求項６９】
時間的予測を使用して一連の画像をビデオデータストリームに符号化するためのエンコーダであって、
１つ以上の第１のランダムアクセスポイントのセットを形成するように、第１の画像サブ領域内に少なくとも時間的予測を中断して、１つ以上の画像の第１のセットを前記ビデオデータストリームに符号化し、
１つ以上の第２のランダムアクセスポイントのセットを形成するように、第１の画像サブ領域とは異なる第２の画像サブ領域内に時間的予測を中断して、１つ以上の画像の第２のセットをビデオデータストリームにエンコードするように構成された、エンコーダ。
【請求項７０】
前記第１および第２のサブ領域は、重複することなく互いに当接することを特徴とする請求項６９に記載のエンコーダ。
【請求項７１】
前記第１および第２のサブ領域は、画像（３０２）シーケンスのオーバーラップフリーおよびギャップレス分割を形成し、前記エンコーダは、前記オーバーラップフリーの信号化（３１９）およびギャップレス分割を前記ビデオデータストリームに提供するように構成されることを特徴とする請求項７０に記載のエンコーダ。
【請求項７２】
画像単位のランダムアクセスポイントのセットを形成するように画像の領域全体にわたる時間的予測を完全に中断して、前記１つ以上の画像の前記第１のセットを前記ビデオデータストリームに符号化するように構成される、請求項６９に記載のエンコーダ。
【請求項７３】
前記第２の画像サブ領域（B）内に、前記第２の画像サブ領域の外部の空間部分に関する空間符号化依存性を中断して前記ビデオデータストリームに１つ以上の画像の前記第２のセットをエンコードするように構成された請求項６９ないし７２のいずれかに記載のエンコーダ。
【請求項７４】
１つ以上の画像の前記第２のセットを示す信号化をビデオデータストリームに挿入するようにさらに構成された請求項６９ないし７４のいずれかに記載のエンコーダ。
【請求項７５】
前記第２の画像サブ領域（B）の時間的予測が前記第２の画像サブ領域の外側に横たわる前記画像（３０２）の画像領域に接触しないように制限できるか接触できるように前記画像（３０２）が前記ビデオデータストリームに符号化されるかどうかにかかわらず画像の前記シーケンスを示す前記ビデオデータストリームへのさらなる信号化（３２１）を加えるように構成された、請求項６９ないし７４のいずれかに記載のエンコーダ。
【請求項７６】
前記エンコーダは、１つ以上の画像の前記第２のセットの１つおよび１つ以上の前記第１のセットの復号化順で後続の１つの間の画像を、前記第２の画像サブ領域の外側の参照画像の画像領域を参照しないような方法で前記第２の画像サブ領域内で時間的予測を制限するとともに前記ビデオデータストリームに符号化するように構成されている請求項６９ないし７５のいずれかに記載のエンコーダ。
【請求項７７】
前記エンコーダは、１つ以上の画像の前記第２のセットの１つ（画像B）および１つ以上の前記第１のセットの復号化順で後続の１つ（画像A）の間の画像（３１７）を、１つ以上の前記第２のセットの前記１つ（画像B）に関連する、復号化順で上流の参照画像を参照しないような方法で前記第２の画像サブ領域（B）内で時間的予測を制限されるとともに前記ビデオデータストリームに符号化されるように構成された請求項６９ないし７５のいずれかに記載のエンコーダ。
【請求項７８】
前記エンコーダは、１つ以上の画像の前記第２のセットの前記１つ（画像B）および１つ以上の画像の前記第１のセットの復号化順で後続の１つ（画像A）の間の前記画像（３１７）を、１つ以上の画像の前記第２のセットの１つ（画像B）および１つ以上の画像の前記第１のセットの復号化順で後続の１つ（画像A）および１つ以上の画像の前記第２のセットの１つ（画像B）のそれぞれの間の前記画像（３１７）のいずれかに属する参照画像の前記第２の画像サブ領域（B）を参照しないような方法で前記第２の画像サブ領域（B）の外側の前記画像領域（A）内で時間的予測を制限するとともに、前記ビデオデータストリームに符号化するように構成される請求項７６および７７のいずれかに記載のエンコーダ。
【請求項７９】
前記エンコーダは、
１つ以上の画像の前記第２のセットの前記１つ（画像B）および１つ以上の画像の前記第１のセットの復号化順で後続の１つ（画像A）の間の画像（３１７）を、１つ以上の画像の前記第２のセットの前記１つ（画像B）および１つ以上の画像の前記第１のセットの復号化順で後続の１つ（画像A）および１つ以上の画像の前記第２のセットの前記１つ（画像B）の間の前記画像（３１７）のいずれかにそれぞれ属する参照画像の前記第２の画像サブ領域（B）を少なくとも部分的に参照する前記第２の画像サブ領域（B）の外側の前記画像領域（A）内で時間的予測を使用して、ビデオデータストリームに符号化し、かつ、
１つ以上の画像の前記第１のセットの復号化順で前記後続の１つ（画像A）の後の画像を、１つ以上の画像の前記第１のセットの前記後続の１つ（画像A）のいずれかおよび１つ以上の画像の前記第１のセットの前記後続の１つ（画像A）の後の画像に属する復号化順で先行する参照画像の前記第２の画像サブ領域（B）を参照しないように前記第２の画像サブ領域（B）の外側の前記画像領域（A）内で時間的予測を制限するとともに、前記ビデオデータストリームに符号化する、
ように構成される請求項７６および７７のいずれかに記載のエンコーダ。
【請求項８０】
時間的予測を使用してビデオデータストリームから画像シーケンスを復号するためのデコーダであって、前記デコーダは、
少なくとも第１の画像サブ領域内に時間的予測を中断してビデオデータストリームに符号化される１つ以上の画像の第１のセットにおける１つ以上の第１のランダムアクセスポイントのセット、および
第１の画像サブ領域とは異なる第２の画像サブ領域内に時間的予測を中断してビデオデータストリームに符号化される１つ以上の画像の第２のセットにおける１つ以上の第２のランダムアクセスポイントのセット
を使用してランダムアクセスをサポートする、デコーダ。
【請求項８１】
前記現在の画像が前記第２のセットの１つ以上の画像の１つである場合に、
現在の画像から始まる一連の画像の復号化および／または出力を再開するが、画像シーケンスの復号化および／または出力のうちの少なくとも１つを第２の画像サブ領域に予備的に制限するように構成された、請求項８０に記載のデコーダ。
【請求項８２】
前記第１のランダムアクセスポイントのセットのうちの１つに遭遇すると前記予備制限を停止するように構成された請求項８１に記載のデコーダ。
【請求項８３】
現在の画像が１つ以上の前記第１または第２のセットの１つである場合には、
復号化を再開してから１つ以上の画像の各セットの１つの画像に遭遇するまで、画像のシーケンスの出力を制限するステップとを含み、１つ以上の画像のセットのそれぞれについて、１つ以上の画像のそれぞれのセットの各画像は、ビデオデータストリームに符号化され、１つ以上の画像のそれぞれのセットに固有の画像サブ領域内に一時的な予測を中断し、１つ以上の画像のセットのサブ領域は、互いに異なっており、一緒になって一連の画像の画像領域を完全にカバーするように構成された、請求項８０に記載のデコーダ。
【請求項８４】
前記第１および第２のサブ領域は、重複することなく当接し、デコーダは、現在のランダムアクセスポイントが第２のランダムアクセスポイントの１つであり、次のランダムアクセスポイントが第１のアクセスポイントのうちの１つである場合、現在のランダムアクセスポイントと次のランダムアクセスポイントとの間の第２の画像サブ領域に復号を制限する第２の画像サブ領域から第１の画像サブ領域も含むように復号化を拡張するように構成された、請求項８０ないし８３のいずれかに記載のデコーダ。
【請求項８５】
前記第１および第２のサブ領域は、画像（３０２）シーケンスのオーバーラップのないギャップのない分割を形成し、前記デコーダは、前記ビデオデータストリームにおける信号化（３１９）から分割を導出するように構成される、請求項８０に記載のデコーダ。
【請求項８６】
１つ以上の画像の第１のセットを１つ以上の画像単位のランダムアクセスポイントのセットとして処理するように構成された請求項８０ないし８３のいずれかに記載のデコーダ。
【請求項８７】
請求項５５ないし６８のいずれかに記載のデータストリームを復号するように構成された、請求項８０ないし８６のいずれかに記載のデコーダ。
【請求項８８】
請求項５０乃至６０のいずれかに記載の時間的予測を使用して画像（３０２）のシーケンスを符号化したビデオデータストリームを受信するように構成されたネットワーク装置であって、前記ネットワーク装置は、前記第２の画像サブ領域の外部の前記画像の画像領域に符号化した部分ビデオデータストリームを除去し、１つ以上の画像の第２のセットを画像単位のランダムアクセス画像として画像タイプ情報（３２０）によってサブ領域固有のランダムアクセスポイントとして示す１つ以上の画像の第２のセットを示す前記ビデオデータストリーム内の情報（３１８）を置き換えることによって、前記第２の画像サブ領域を示すそこに符号化されたサブ領域固有画像（３２６）を有する削減ビデオデータストリームを得るために前記データストリームを削減するように構成されている、ネットワーク装置。
【請求項８９】
請求項１ないし１０,３３,３８ないし４４および５５ないし６８のいずれかに記載のデータストリームを記憶したデジタル記憶媒体。
【請求項９０】
ビデオをビデオデータストリームに符号化するための方法であって、
符号化パラメータ設定（２０）を決定し、かつ前記符号化パラメータ設定を示す前記ビデオデータストリームのパラメータセット部分（１６）を生成するステップと、
前記符号化パラメータ設定の第１のセットを使用してパラメータ化された方法で前記ビデオデータストリームのペイロード部分に前記ビデオの画像を符号化し、前記第１のセットは前記ペイロード部分を含むインデックス（４８）によってインデックス付けされるステップと、
前記画像（１２）の所定のサブ領域（２２）の指示と
符号化パラメータ設定の第２のセットを参照するように前記ペイロード部分に含まれる前記インデックスをリダイレクトするための置換インデックス（５４）および／または符号化パラメータ設定の第２のセットを生じるように符号化パラメータ設定の前記第１のセットを調整するための置換パラメータ（５６）とを含む情報（５０）とともに前記ビデオデータストリームを提供するステップとを含み、
符号化パラメータの前記第２のセットは、
前記所定のサブ領域の外側の前記画像の領域を参照して前記ペイロード部分の部分を除去して（６８）
前記画像の代わりに前記所定のサブ領域の周囲から測定された方法で位置を示すように、前記ペイロード部分内の位置表示を変更する（７８）ことにより、
削減ビデオデータストリームが前記ビデオデータストリームと比較して修正されるように符号化パラメータ設定の前記第２のセットが選択され、
符号化パラメータ設定の前記第２のセットを使用してパラメータ化された方法で前記画像の前記サブ領域を示すサブ領域固有画像をその中に符号化した削減ペイロード部分を有する、方法。
【請求項９１】
ビデオデータストリームを処理するための方法であって、前記ビデオデータストリームは、
符号化パラメータ設定を示すパラメータセット部分と、
前記ビデオの画像が、前記ペイロード部分に含まれるインデックスによってインデックス付けされる前記符号化パラメータ設定の第１のセットを使用してパラメータ化された態様で符号化されるペイロード部分とを含み、
前記方法は、
前記削減ビデオデータストリームは、符号化パラメータ設定の前記第２のセットを使用してパラメータ化される方法で前記画像の前記所定のサブ領域を示すサブ領域固有画像に符号化される削減されたペイロード部分を有するように
前記ビデオデータストリームから
前記画像の所定のサブ領域の表示と、
符号化パラメータ設定の第２のセットを参照するための前記ペイロード部分および／または符号化パラメータ設定の第２のセットを生じるように符号化パラメータ設定の前記第１のセットを調整するための置換パラメータにより構成された前記インデックスをリダイレクトするための置換インデックスと
を含む情報を前記ビデオデータストリームから読出し（６４）、
符号化パラメータ設定の前記第２のセットが前記ペイロード部分のインデックスによりインデックス付けされるように前記リダイレクト（７２）および／または調整（８８）を実行し、
前記所定のサブ領域の外側の前記画像の領域を参照する前記ペイロード部分の部分を除去し（６８）、かつ
前記画像の代わりに前記所定のサブ領域の周囲から測定された位置を示すように前記ペイロード部分における位置表示（３２）を変更する（７８）
ことにより修正された削減ビデオデータストリームに前記ビデオデータストリームを削減する（６６）、方法。
【請求項９２】
前記ビデオの画像を前記ビデオデータストリームのペイロード部分へ符号化するステップと、
前記ビデオの前記画像が前記ペイロード部分（１８）へ符号化される態様と適合する補助拡張情報を示す補助拡張情報メッセージを生成するステップと、
前記画像（１２）の所定のサブ領域（２２）の表示と、
前記補助拡張情報メッセージを置換すべきための置換補助拡張情報メッセージ
とを含む情報とともに前記ビデオデータストリームを供給するステップとを含み、
前記置換補助拡張情報メッセージは
前記所定のサブ領域の外側の前記画像の領域を参照する前記ペイロード部分の部分を除去し（６８）、かつ
前記画像に代わって前記所定のサブ領域の周囲から測定された態様における位置を示すように前記ペイロード部分における位置表示を変更する（６８）
ことにより前記ビデオデータストリームと比較して修正された削減ビデオデータストリームは、前記サブ領域固有画像（８６）が前記削減ペイロード部分（１８）に符号化された前記態様を適合する置換補助拡張情報を前記置換補助拡張情報メッセージが示すような方法で前記画像の前記サブ領域を示すサブ領域固有画像に符号化された削減ペイロード部分を有する、ビデオをビデオデータストリームに符号化する方法。
【請求項９３】
ビデオデータストリームを処理するための方法であって、前記ビデオデータストリームは、
前記ビデオの画像が符号化されるペイロード部分と、
前記ビデオの前記画像が前記ペイロード部分（１８）に符号化される方法を適合する補助拡張情報を示す補助拡張情報メッセージとを含み、
前記方法は、
前記サブ領域固有画像（８６）が前記削減ペイロード部分（１８）に符号化された前記方法に適合する置換補助拡張情報を前記置換補助拡張情報メッセージが示すような方法で前記画像の前記所定のサブ領域を示すサブ領域固有画像に符号化された削減ペイロード部分を前記削減ビデオデータストリームが有するように、
前記画像の所定のサブ領域の表示と、
前記補助拡張情報メッセージを変位すべきための変位補助拡張情報メッセージと
を含む情報を前記ビデオデータストリームから読出す（６４）ステップと、
前記置換補助拡張情報メッセージにより前記補助拡張情報メッセージを置換し、
前記所定のサブ領域の外側の前記画像の領域を参照する前記ペイロード部分の部分を除去し（６８）、かつ
前記画像の代わりに前記所定のサブ領域の周囲から測定された位置を示すように前記ペイロード部分における位置表示（３２）を変更する（７８）
ことにより修正された削減ビデオデータストリームに前記ビデオデータストリームを削減する（６６）ステップとを含む、方法。
【請求項９４】
ビデオデータストリームを処理するための方法であって、
前記ビデオデータストリームのパラメータセット部分における符号化パラメータ設定を使用して除外なしにパラメータ化された態様で、および／または
前記ビデオデータストリームの補助拡張メッセージにより示された補助拡張情報を除外なしに適合する態様で、
前記ビデオの前記画像は前記ペイロード部分に符号化され、前記分割は前記画像の所定のサブ領域の外側に前記画像の領域を参照する前記ペイロード部分の排除に対応し、前記ビデオの画像が符号化されるペイロード部分の分割を含むビデオデータストリームを受信するステップと、
前記画像の代わりに前記所定のサブ領域の周囲から測定された位置を示すように前記ペイロード部分における位置表示（３２）を変更し（７８）、かつ
前記符号化パラメータ設定を使用するパラメータ化されたおよび／または
前記調整された補助拡張情報により調整されたように補助拡張メッセージを示された補助拡張情報を前記補助拡張情報に適合する
方法で前記画像の前記所定のサブ領域を示すサブ領域固有画像が符号化される前記ペイロード部分の前記分割を前記ビデオデータストリームが有するように前記パラメータセット部分に前記符号化パラメータ設定を調整し、および／または前記補助拡張情報メッセージを調整することにより前記ビデオデータストリームを修正するステップとを含む、方法。
【請求項９５】
画像符号化されたデータストリームを復号化する方法であって、
前記方法は、
データストリームから画像を再構成するステップと、
前記データストリームに含まれる情報を変位させることによって、前記対象画像の領域内の前記画像の少なくとも１つの所定のサブ領域のセットの各々を変位させることによって、前記画像に基づいて目標画像を合成するステップとを含む方法。
【請求項９６】
第１の画像の所定のサブ領域を示すサブ領域固有画像をその中に符号化した削減データストリーム（２３２）に、第１の画像を符号化したデータストリーム（２００）を削減するための方法であって、前記データストリーム（２００）は、少なくとも１つの所定のサブ領域の前記セットの前記対象画像領域への非変位コピーに関連する対象画像領域（２１６）内の少なくとも１つの所定のサブ領域（２１４）の前記セットの変位（２１８）を前記第１の画像の少なくとも１つの所定のサブ領域のセットについて示す変位情報（２０６）を含み、
前記方法は、前記修正された変位情報に応じて変位された前記サブ領域固有画像の少なくとも１つの所定のサブ領域のセットを有する前記対象画像領域にコピーされた前記サブ領域固有画像が前記変位情報に応じて変位された前記画像（１２）の少なくとも１つの所定のサブ領域（２１４）の前記セットを有する前記対象画像領域にコピーされた前記第１の画像の前記所定のサブ領域と前記対象画像領域内で一致するように、前記変位情報（２０６）を修正された変位情報（２０６'）に修正し、前記データストリームを削減する際に前記変位情報を前記修正された変位情報に置換するように構成されており、または
前記修正された変位情報は、前記第１の画像の前記所定のサブ領域に関連する前記データストリームによって構成され、前記変位情報は、前記第１の画像に関連付けられた前記データストリームに含まれ、前記方法は、前記データストリームを削減する際に前記変位情報を除去し、前記サブ領域固有画像に関連付けるように前記修正された変位情報を前記削減データストリームに持ち越す、方法。
【請求項９７】
時間的予測を使用して画像のシーケンスをビデオデータストリームに符号化する方法であって、前記方法は、
１つ以上の第１のランダムアクセスポイントのセットを形成するように、第１の画像サブ領域内に少なくとも時間的予測を中断して、前記ビデオデータストリームに１つ以上の画像の第１のセットを符号化するステップと、
１つ以上の第２のランダムアクセスポイントのセットを形成するように、前記第１の画像サブ領域とは異なる第２の画像サブ領域内の時間的予測を中断して、前記ビデオデータストリームに１つ以上の画像の第２のセットを符号化するステップとを含む、方法。
【請求項９８】
時間的予測を用いてビデオデータストリームから画像のシーケンスを復号する方法であって、この方法は、
少なくとも第１の画像サブ領域内に時間的予測を中断してビデオデータストリームに符号化される１つ以上の画像の第１のセットにおける１つ以上の第１のランダムアクセスポイントのセットおよび
第１の画像サブ領域とは異なる第２の画像サブ領域内に時間的予測を中断してビデオデータストリームに符号化される１つ以上の画像の第２のセットにおける１つ以上の第２のランダムアクセスポイントのセット
を用いてビデオデータストリームをランダムアクセスすることを含む、方法。
【請求項９９】
請求項５５ないし６８のいずれかに記載の時間的予測を用いて画像（３０２）のシーケンスを符号化したビデオデータストリームを受信するステップと、
第２の画像サブ領域の外部にある画像の画像領域を符号化した部分ビデオデータストリームを除去することによって、第２の画像サブ領域を示すサブ領域固有画像（３２６）を有する削減ビデオデータストリームを取得してデータストリームを削減するステップと、
１つ以上の画像の第２のセットを画像単位のランダムアクセス画像として示す画像タイプ情報（３２０）によって、サブ領域固有のランダムアクセスポイントとしての１つ以上の第２のセットの画像を示すビデオデータストリーム内の情報（３１８）を変位するステップとを含む方法。
【請求項１００】
コンピュータで実行される際に、請求項９０ないし９９のいずれかに記載の方法を実行するためのプログラムコードを有するコンピュータプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、ビデオ／画像符号化に関し、特に、この種のデータストリームの効率的削減を可能にする概念、この種のデータストリームのより容易な取扱いを可能にする概念、および／またはビデオストリームへのより有効なランダムアクセスを可能にする概念に関する。
【背景技術】
【０００２】
トランスコードなしに、すなわち、復号化および符号化を連続的に実行する必要性なしに、ビデオデータストリームのスケーラビリティを可能にするビデオコーデックが多く存在する。この種のスケーラブルなビデオデータストリームの例は、各スケーラブルビデオデータストリームのエンハンスメント層のいくつかを単に省略することにより、例えば時間解像度、空間解像度またはＳ／Ｎ比に関してスケーラブルであるデータストリームである。しかしながら、現在まで、シーン区切りに関する計算が複雑でないスケーラビリティを可能にするビデオコーデックは存在しない。ＨＥＶＣにおいて、ＨＥＶＣデータストリームを画像サブ領域に制限するための概念が存在しあるいは提案された。
【０００３】
さらに、アプリケーションに依存して、データストリームに符号化されるべき画像コンテンツは、通常提供される矩形の画像領域内で効果的に符号化されない形態であってもよい。例えば、パノラマ画像コンテンツは、２次元平面上に投射されてもよく、投射目標、すなわち、画像領域上へのパノラマシーンの到達範囲（footprint）は、非矩形であっても非凸でさえあってもよいように画像領域を形成する。その場合、画像／ビデオデータのより効率的な符号化が有利であろう。
【０００４】
さらに、ランダムアクセスポイントは、かなりのビットレートピークを引き起こすように、既存のビデオデータストリームに提供される。これらのビットレートピークに起因する悪影響を削減するために、これらのランダムなアクセスポイントの発生の時間粒度の低下を考えることができる。しかしながら、これは、そのようなビデオデータストリームにランダムにアクセスするための平均時間継続時間を増加させ、したがって、より効率的な方法でこの問題を手近に解決する概念を有することが有利であろう。
【発明の概要】
【発明が解決しようとする課題】
【０００５】
従って、本発明の目的は、上記の問題を解決することである。本出願によれば、これは独立請求項の主題によって達成される。
【課題を解決するための手段】
【０００６】
本出願の第１の態様によれば、削減されたビデオデータストリームの画像の制限が元のビデオデータストリームの画像の所定のサブ領域に単に制限されるように、かつ再量子化のようなトランスコーディングが回避され、元のビデオデータストリームの基礎となるコーデックに対する削減されたビデオデータストリームの適合性が維持されるようにビデオデータストリームが削減可能にレンダリングされる。これは、所定のサブ領域の指示、参照するためのペイロード部分により構成されたインデックスをリダイレクトするための置換インデックスおよび／または符号化パラメータ設定の第２のセットを生じるための符号化パラメータ設定の第１のセットを調整するための置換パラメータからなる情報を有するビデオデータストリームを提供することにより達成される。元のビデオデータストリームのペイロード部分は、ペイロード部分に含まれるインデックスによってインデックスされた符号化パラメータ設定の第１のセットを使用して、その中でパラメータ化され符号化されたビデオの画像を有する。それに加えてまたは代替として、補助強化情報に関して同様の手段が実現可能である。従って、リダイレクトおよび／または調整を実行することによって、ビデオデータストリームを削減ビデオデータストリームに削減し、符号化パラメータ設定の第２のセットがペイロード部分のインデックスによってインデックス付けされ、したがって有効符号化パラメータ設定セットになり、所定の外側の画像の領域を参照するペイロード部分の一部を除去し、画像の周囲の代わりに所定のサブ領域の周囲から測定された位置を示すようにペイロード部分のスライスアドレスのような位置表示を、変更するようにすることが可能である。あるいは、所定のサブ領域の外側を参照するペイロード部分の部分を含まないように既に削減されたデータストリームは、パラメータおよび／または補助拡張情報のフライ調整（fly adjustment）によって変更されてもよい。
【０００７】
本発明のさらなる態様によれば、画像（画像）コンテンツの送信は、画像コンテンツが所定の方法で、例えば、下層のコーデックによりサポートされる典型的に矩形の画像領域が書き込まれているような方法で画像コンテンツが形成または順序付けされる必要がないという点で、より効率的になされる。むしろ、その中に符号化された画像を有するデータストリームは、画像の少なくとも１つの所定のサブ領域のセットについて、セットの対象画像の領域への歪んでいないあるいは１対１対応のあるいは合同のコピーに関する対象画像の領域内の変位を示す変位情報を含むように提供されている。このような変位情報の提供は、例えば投射が非矩形の場合に例えばパノラマシーンの投射を画像内で伝達する場合に有用である。この変位情報は、データストリームの削減のために、例えば、予測等の遷移境界を横切る削減ビデオデータストリーム内で伝送されるべき興味深いパノラマビューセクションの場合などのように、削減されたビデオデータストリームのより小さい画像の中で伝達される画像コンテンツがその適性を失った場合にも有効である。
【０００８】
本発明のさらなる態様によれば、ランダムアクセスポイントによって引き起こされるビデオデータストリームにおけるビットレートピークの負の影響は、２組のランダムアクセスポイントを有するビデオデータストリームを提供することによって削減される：１つ以上の第１のランダムアクセスポイントのセットのセットを形成するように、少なくとも第１の画像サブ領域内に時間的予測を中断して、１つ以上の画像の第１のセットをビデオデータストリームに符号化し、かつ、１つ以上の第２のランダムアクセスポイントのセットを形成するように、第１の画像サブ領域とは異なる第２の画像サブ領域内に時間的予測を中断して、１つ以上の画像の第２のセットをビデオデータストリームに符号化する。このようにして、ビデオデータストリームにランダムにアクセスし、またはデコードを再開しようとするデコーダが、時間的に分散され、第２のランダムアクセスポイントの場合は第２の画像サブ領域に関して、第１のランダムアクセスポイントに関しては少なくとも第１の画像サブ領域に関して少なくともランダムアクセスを可能にする第１および第２のランダムアクセスポイントのうちの１つを選択することが可能である。
【０００９】
上記の概念は、一緒に有利に使用することができる。さらに、有利な実施形態は従属請求項の主題である。本出願の好ましい実施形態は、図面を参照して以下に説明される
【図面の簡単な説明】
【００１０】
【図１】図１は、ビデオデータストリームが削減可能なビデオデータストリームの画像のサブ領域に関する削減されたビデオデータストリームに削減可能であることによる第１の態様に関する本出願の実施例によるビデオデータストリームの概略図を示す図である。
【図２】図２は、画像が削減されたビデオデータストリームに符号化されるパラメータ化を示すために実施例に従って図１の削減可能なビデオデータストリームのペイロード部とパラメータセット部との間の相互依存性を示す概略図を示す。
【図３】図３は、図１のビデオデータストリームが削減を可能にする実施例により提供される情報の可能な内容を説明するための概略図を示す。
【図４】図４は、削減可能なビデオデータストリームを受信し、それから、削減されたビデオデータストリームを導出するネットワーク装置を示す概略図である。
【図５】図５は、パラメータセットリダイレクトを使用する一実施形態による、ビデオデータストリームを削減する際の動作モードを示す概略図を示す図である。
【図６】図６は、削減されたビデオデータストリームを受信して、代わりに元のビデオデータストリームの画像のサブ領域を単に示す削減されたビデオデータストリームの画像を再構成するビデオデコーダ８２を示す概略図である。
【図７】図７は、削減可能なビデオデータストリームが提供される情報内の置換を使用するパラメータセット調整を使用しているこの時点で、削減可能なビデオデータストリームを削減するときに代替的な動作モードの概略図を示す。
【図８】図８は、削減可能なビデオデータストリームが提供できる情報についてのシンタックスの例を示す図である。
【図９】図９は、削減可能なビデオデータストリームが提供できる情報についてのシンタックスの代わりの例を示す図である。
【図１０】図１０は、削減可能なビデオデータストリームが提供できる情報のシンタックスについてのさらなる例を示す図である。
【図１１】図１１は、SEIメッセージを変位するために、ここでは情報についてのシンタックスのさらなる例を示す図である。
【図１２】図１２は、マルチレイヤビデオデータストリームに関連して情報を形成するために使用することができるシンタックステーブルの例を示す図である。
【図１３】図１３は、これらのタイルの空間的な再配置の可能性を示すために、一実施形態にしたがって、一方の削減可能なビデオデータストリーム内の画像のサブ領域内のタイルと、他方の削減されたビデオデータストリームの画像内の対応するタイルとの間の関係を示す概略図を示す図である。
【図１４】図１４は、パノラマシーンの線形予測により得られる画像の一例を示す図である。
【図１５】図１５は、パノラマシーンの三次投影に対応する画像コンテンツの一例を示す図である。
【図１６】図１６は、図１５の三次投影コンテンツを再配置することにより使用して効率的に充填された画像を示す図である。
【図１７】図１７は、本発明の第２の態様に関する実施形態により提供することができるビデオデータストリームを使用する変位情報についてのシンタックステーブルの例を示す図である。
【図１８】図１８は、本願発明の第２の態様に関連する実施例によるビデオデータストリームの構成を示す概略図を示す図である。
【図１９】図１９は、実施例により情報を置き換えるための可能なコンテンツを示す概略図を示す図である。
【図２０】図２０は、変位情報および同時に削減可能なデータストリームを形成できるように構成されたエンコーダを示す概略図を示す図である。
【図２１】図２１は、どの様に変位情報が有利に使用されるべきかの可能性を示すために変位情報を含むデータストリームを受信するように構成されたデコーダを示す概略図を示す図である。
【図２２】図２２は、本願の更なる態様に関連する実施例によりサブ領域固有ランダムアクセス画像を含むビデオデータストリームを示す概略図を示す図である。
【図２３Ａ】図２３Ａは、異なる代替により使用されたサブ領域の可能な配置を示す概略図を示す図である。
【図２３Ｂ】図２３Ｂは、異なる代替により使用されたサブ領域の可能な配置を示す概略図を示す図である。
【図２３Ｃ】図２３Ｃは、異なる代替により使用されたサブ領域の可能な配置を示す概略図を示す図である。
【図２３Ｄ】図２３Ｄは、異なる代替により使用されたサブ領域の可能な配置を示す概略図を示す図である。
【図２３Ｅ】図２３Ｅは、異なる代替により使用されたサブ領域の可能な配置を示す概略図を示す図である。
【図２４】図２４は、その中にサブ領域固有ランダムアクセス画像をちりばめらされたビデオデータストリームを受信するように構成されたビデオデコーダを示す概略図を示す図である。
【図２５】図２５は、図２４の状況を示す概略図を示す図であるが、ビデオ復号器は、ビデオデータストリームをランダムにアクセスする際、ビデオを出力あるいは提示するまでサブ領域固有ランダムアクセス画像のサブ領域により入力ビデオデータストリームの画像領域を完全にカバレッジするまでビデオデコーダが待つ点においてビデオデコーダの操作の代替モードを示す図である。
【図２６】図２６は、サブ領域固有のランダムアクセス画像を含むビデオデータストリームを受信するネットワーク装置を示し、サブ領域はビデオデータストリームが削減可能に関するサブ領域を同時に形成する概略図を示す図である。
【図２７】図２７は、ネットワーク装置２３１が、どのようにして、削減されたビデオデータストリームにサブ領域固有の変位情報を提供するかの可能性を示すために、変位情報が与えられ、削減可能であるデータストリームを受信するネットワーク装置を示す概略図を示す図である。
【図２８】図２８は、例示的に円筒形のパノラマである画像の関心領域の分離領域の例を示す図である。
【図２９】図２９は、HEVCのTMCTS SEIのシンタックステーブルを示す図である。
【発明を実施するための形態】
【００１１】
本願の説明は、本願の上記で特定された態様に関する。ビデオデータストリームのサブ領域抽出／削減に関係する本願の第１の態様に関する背景を提供するために、そのような要望が生じ、この要望を満たす課題が記述されているアプリケーションの例と、その克服は、HEVCを例にとって以下のように動機づけられた。
【００１２】
空間サブセット、すなわち、タイルのセットは、時間動き制約タイルセット（TMCTS）SEIメッセージを使用してHEVCにおいてシグナリングすることができる。そのようなメッセージにおいて定義されたタイルセットは、「インター予測プロセスは、各識別されたタイルセットの外にサンプル値がなく、識別されたタイルセットの外側で１つ以上のサンプル値を使用して導出された分数サンプル位置にサンプル値がないように制約され、識別されたタイルセット内の任意のサンプルのインター予測のために使用される。」という特徴を有する。換言すれば、TMCTSのサンプルは、同じレイヤの同じTMCTSに関連付けられていないサンプルとは独立して復号化することができる。TMCTSは、矩形９００を使用して図Aに示すような１つ以上のタイルの１つ以上の矩形の結合を包含する。図において、ユーザが見る関心領域９００は、２つの不連続な画像パッチを包含する。
【００１３】
TMCTS SEIメッセージの詳細なシンタックスは、参考のため図Bに示されている。
【００１４】
ビデオ・トランスコードのような処理が重くなくても、ビデオ・ビットストリーム、すなわち関心領域（RoI）の独立して復号可能な矩形空間サブセットを作成することが有益である多くの用途がある。これらのアプリケーションは、限定されないが、
【００１５】
・パノラマビデオストリーミング：広角ビデオの固有の空間領域のみ。例えば、360°の視野角は、ヘッドマウントディスプレイを介してエンドユーザに表示される。
・アスペクト比調整ストリーミング：クライアント側の表示特性に応じて、符号化されたビデオのアスペクト比をサーバー側でライブ調整する。
・デコードの複雑さの調整：レベル制限によって所与のエンコードされたビデオビットストリームをデコードできないローコスト／ローテク装置は、ビデオの空間サブセットに対応する可能性がある。
【００１６】
上述の例示的なアプリケーションのリストのためのこれまで説明した最新の技術を考慮すると、多くの問題が生じる。
【００１７】
・ビデオビットストリームの空間サブセットのHRDパラメータ、すなわちバッファリング／タイミング情報をシステムレイヤに利用可能にする手段が存在しない。
・与えられたビデオビットストリームの空間サブセットを適合ビデオビットストリームに簡単に変換するために、ビデオに適合ポイントは存在しない。
・エンコーダが、与えられた識別子を持つタイルセットが、適合ビデオビットストリームに簡単に変換されるという保証を伝える手段は存在しない。
【００１８】
上に挙げた問題に対する解決策が与えられれば、上記の例のアプリケーションはすべて規格に準拠した方法で実現することができる。ビデオ符号化レイヤ内でこの能力を定義することは、アプリケーションレイヤおよびシステムレイヤにとって重要な適合点であると予想される。
【００１９】
HEVC仕様は、符号化されたビデオビットストリームの空間分解能、信号忠実度またはビュー数を削減する、時間分解能またはレイヤ量を削減し得るサブビットストリームの抽出のためのプロセスを既に含む。
【００２０】
本発明は、特定された問題、特に以下の解決策を提供する。
1.TMCTSに基づくサブ画像抽出プロセスの定義を介して、符号化されたビデオシーケンスから空間サブセット、すなわち、単一のTMCTSに基づくビデオビットストリームを抽出する手段
2.抽出されたサブ画像ビデオシーケンスの正しいパラメータセット値および（任意で）SEI情報を伝えて識別する手段
3.ビデオビットストリームおよびTMCTSに関するビットストリーム制約を可能にする特定のサブ領域抽出の保証を伝えるエンコーダについての手段
【００２１】
以下に説明される実施形態は、ビデオデータストリームにビデオデータストリームのペイロード部分からのビデオの画像の再構成に必要とされない情報をビデオデータストリームに提供することによって概説された問題を克服したものであり、情報は所定のサブ領域の指標および置換インデックスおよび／または置換パラメータを含み、その重要性および機能は以下でより詳細に説明される。以下の説明は、HEVCまたはHEVCの変更のみに限定されるものではない。むしろ、次に説明される実施形態は、削減されたサブ領域固有のビデオデータストリームを提供するための追加の適合ポイントをそのようなビデオコーディング技術に提供するために、任意のビデオコーデック技術において実装され得る。その後、HEVCの拡張を形成するために次に説明される実施形態が具体的にどのように実施されるかの詳細が提示される。
【００２２】
図１は、本出願の一実施形態によるビデオデータストリーム１０を示す。すなわち、ビデオデータストリームは、コンフォメーション維持方式で、ビデオデータストリーム１０に符号化されたビデオ１４の画像１２の所定のサブ領域を示すだけの削減ビデオデータストリームに削減可能であり、その画像は単にトランスコードを必要とすることなくビデオデータストリーム１０にエンコードされたビデオ１４の画像１２の所定のサブ領域を単に示し、あるいは、より正確には、再量子化、空間からスペクトルへの変換及びその逆のような時間がかかりかつ計算上複雑な動作、及び／又は動き推定の再実行のために使用することができる。
【００２３】
図１のビデオデータストリーム１０は、符号化パラメータ設定８０を示すパラメータセット部分１６と、ビデオ１４の画像１２が符号化されるペイロード部分１８とを含むように示されている。図１において、部分１６と１８とは、ペイロード部分１８にハッチングを使用し、パラメータセット部分１６がハッチングされていないことを示すことによって、互いに区別される。さらに、部分１６および１８は、必ずしもそうではないが、データストリーム１０内で相互にインターリーブされることが例示されている。
【００２４】
ペイロード部１８は、ビデオ１４の画像１２を特殊な方法でエンコードする。特に、図１は、ビデオデータストリーム１０が削減されたビデオデータストリームに削減可能である能力を持つべきことに関する例示的な所定のサブ領域２２を示す。ペイロード部分１８は、所定のサブ領域２２に関する限り、どの符号化依存性もサブ領域２２の境界を横断しないように制限されるように、その中に符号化された画像１２を有する。すなわち、ある画像１２は、サブ領域２２内の符号化がこの画像内のそのような領域２２の空間的な近傍に依存しないように、ペイロード部分１８に符号化される。画像１２が時間的予測を使用してペイロード部分１８に符号化される場合、時間的予測は、ビデオ１４の第１の画像のサブ領域２２内のどの部分も、サブ領域２２の外部のビデオ１４の参照（他の画像）に依存するように符号化されるサブ領域２２に制限されてもよい。すなわち、ビデオデータストリーム１４を生成する対応するエンコーダは、参照画像の部分を指し示さないような方法で、サブ領域２２を符号化するための利用可能な動きベクトルのセットを制限し、その結果、動き補償予測の形成は、参照画像のサブ領域２２の外側のサンプルを必要とするか、または関与させる。空間依存性に関する限り、空間依存性の制限は、例えば空間的にサブ領域２２の境界を横切る算術符号化を継続することによるサンプル単位の空間的な予測、符号化パラメータの空間的予測、および、符号化依存性に関する空間的な予測に関係することに留意されたい。
【００２５】
従って、ペイロード部分１８は、所定のサブ領域２２の外部の部分に到達しないようにコーディング依存性を制限することに従う輪郭を描いた画像１２を符号化し、従って例えば動きベクトル、画像参照インデックス、パーティション情報、符号化モード、変換係数又は量子化予測残差を示す残差サンプル値、またはこれらの１つまたは任意の組合せを示す含むシンタックス要素のシンタックス的に順序付けられたシーケンス２４を含むことができ量子化された予測残差を表す動きベクトル、画像参照インデックス、分割情報、符号化モード、変換係数または残差サンプル値、またはそれらの１つまたはそれらの任意の組合せを含む。しかしながら、最も重要なことに、ペイロード部分１８は、符号化パラメータ設定２０の第１のセット２０ａを使用してパラメータ化された方法でその中に符号化されたビデオ１４の画像１２を有する。例えば、セット２０ａにおける符号化パラメータ設定は、例えば、画像１２の画像・サイズ、例えば画像１２の垂直高さ及び水平幅を規定する。画像サイズがペイロード部１８への画像１２の符号化をどのように「パラメータ化」するかを説明するために、図２を簡単に参照する。図２は、セット２０ａの符号化パラメータ設定の１つの例としての画像サイズ符号化パラメータ２６を示す。明らかに、画像サイズ２６は、ペイロード部分１８によって「符号化」されなければならない画像領域のサイズを示し、ある画像１２のそれぞれのサブブロックが符号化されずに残っていることを示すことによって、黒色に対応し得るゼロのような所定のサンプル値によって例えば充填される。したがって、画像サイズ２６は、ペイロード部分１８のシンタックス記述２４の量またはサイズ３０に影響を及ぼす２８。さらに、画像サイズ２６は、例えば、位置指示３２の値範囲および位置指示３２がシンタックス記述２４に現れる順序に関して、ペイロード部分１８のシンタックス記述２４内の位置指示３２に影響を及ぼす。スライス３４は、図１に示すように、例えばデータストリーム１０がデコーダに送信可能なデータストリーム１０の部分である。各画像１２は、そのようなスライス３４の単位でデータストリーム１０に符号化され、画像１２がデータストリーム１０に符号化される復号順序に従ってスライス３４に細分化される。各スライス３４は、画像１２の対応する領域３６に対応し、その中に符号化されているが、領域３６はサブ領域２２の内部または外部のいずれかであり、すなわちサブ領域の境界を横切っていない。そのような場合、各スライス３４には、画像１２の画像領域内の対応する領域３６の位置を示す、すなわち画像１２の周囲に対するスライスアドレスが与えられてもよい。具体的な例を述べると、スライスアドレスは、画像１２の左上隅に関連して測定されてもよい。明らかに、このようなスライスアドレスは、画像サイズ２６の画像内のスライスアドレスの値を超える値を超えてはならない。
【００２６】
画像サイズ２６と同様に、符号化パラメータ設定のセット２０ａは、画像１２を細分化することができるタイルのタイル構造３８を定義することもできる。一点鎖線４０を使用して、図１は、タイルが列および行のタイル配列に配置されるように、タイル４２への画像１２のサブ分割の例を示す。タイル４２へのタイル細分化を使用してペイロード部分１８に符号化される画像１２の任意の場合において、これは、例えば、1）タイル境界を越えた空間相互依存性が許されず、したがって、使用されず、2）画像１２がデータストリーム１０に符号化される復号化順序はラスタ走査タイル順序で画像１２を横切る、すなわち、各タイルは、タイル順序で次のタイルを訪れる前に横切られる。したがって、タイル構造３８は、画像１２がペイロード部分１８に符号化され、それに応じてシンタックス記述２４に影響を及ぼす復号順序４４に影響２８を及ぼす。画像サイズ２６と同様の方法で、タイル構造３８は、ペイロード部分１８内の位置表示３２、すなわち位置表示３２の異なるインスタンス化がシンタックス記述２４内で発生することが許容される順序に関しても影響２８を及ぼす。
【００２７】
セット２０ａの符号化パラメータ設定はまた、バッファタイミング４６を含むことができる。バッファタイミング４６は、例えば、符号化画像バッファ除去時間を示すことができる。データストリーム１０の特定の部分、例えば個々のスライス３４または１つの画像１２を参照するデータストリーム１０の一部などは、デコーダの符号化画像バッファから除去されるべきであり、これらの時間的値は、データストリーム１０内の対応する部分のサイズに影響を及ぼす２８か、または関連しており、バッファタイミング４６は、ペイロード部分１８の量／サイズ３０に影響を及ぼす２８。
【００２８】
すなわち、図２の説明が例示されているように、ペイロード部分１８への画像１２の符号化は、一方では符号化パラメータ設定２０のセット２０ａおよび他方ではペイロード部分１８およびそのシンタックス記述２４は、任意のデータストリームに従うことが要求される適合か要件と矛盾するものとして識別されて、適合と識別されるという意味で、符号化パラメータ設定のセット２０ａを用いて「パラメータ化」または「記述」される。
【００２９】
符号化パラメータ設定の第１のセット２０ａは、ペイロード部分１８に含まれ、シンタックス記述２４が散在または包含されているインデックス４８によって参照されるか、またはインデックス付けされる。例えば、インデックス４８は、スライス３４のスライスヘッダに含まれてもよい。
【００３０】
符号化パラメータ設定のインデックス付きセット２０ａは、ペイロード部分１８と同時に、またはそれと共に、サブ領域２２に属さないペイロード部分１８の部分が取消され、結果として生じる削減データストリームは、適合を維持する。このアプローチは図１の実施形態により追従されない。一方でインデックス付きセット２０ａ内の符号化パラメータ設定と他方ではペイロード部分１８の両方の符号化パラメータ設定のこのような相関修正は、完全な復号化および符号化による迂回を必要としないが、それにも関わらず、この相関変更を実行するための計算オーバーヘッドは、相当量の解析ステップなどを必要とする。
【００３１】
従って、図１の実施形態は、ビデオデータストリーム１０が、ペイロード部分１８からビデオの画像１２を再構成するために必要とされない情報５０を含む、すなわち提供される別のアプローチに従う。情報は、所定のサブ領域の指示および変位指数および／または変位パラメータとを含むことができる。例えば、情報５０は、画像１２内のその位置に関して所定のサブ領域２２を示すことができる。情報５０は、例えば、タイル単位でサブ領域２２の位置を示すことができる。従って、情報５０は、サブ領域２２を形成するように各画像内のタイル４２のセットを識別することができる。各画像１２内のタイル４２のセットは、画像１２間で固定されてもよい。すなわち、各画像１２内でタイルが形成され、サブ領域２２は互いに位置合わせされ、サブ領域２２を形成するタイルのタイル境界は、異なる画像１２を空間的に含む。タイルのセットは、画像１２の連続した矩形のタイルサブアレイを形成するように制限されないことに言及するべきである。しかし、サブ領域２２を形成する各画像１２内のタイルのオーバーレイフリーでギャップのない当接部は、このギャップレス及びオーバーレイフリーの当接部又は並置が矩形領域を形成して存在することがある。しかし、当然のことながら、表示５０は、サブ領域２２をタイル単位で示すことに制限されない。いずれにしても、画像１２のタイル細分の使用は、単にオプションであることを想起されたい。表示５０は、例えば、サブ領域２２をサンプルの単位で、または何らかの他の手段によって示すことができる。さらに別の実施形態では、サブ領域２２の位置は、参加するネットワーク装置およびビデオデータストリーム１０を取扱うと考えられるデコーダに知られているデフォルト情報を形成することさえでき、情報５０は、サブ領域２２に関するまたは存在する還元性を単に示す。すでに上述したように、また図３に示すように、情報５０は、所定のサブ領域の表示５２以外に、置換インデックス５４および／または置換パラメータ５６を含む。置換インデックスおよび／または置換パラメータは、符号化パラメータ設定のインデックス付きセット、すなわち、ペイロード部分１８内のインデックスによってインデックス付けされた符号化パラメータ設定のセットを変更するためのものであり、符号化パラメータ設定のインデックス付きセットは、ペイロード部分１８が、一方ではサブ領域２２の外部の画像１２の部分に関連する部分の除去によって変更され、画像の周囲１２よりもむしろサブ領域２２の周囲に関連するように位置インデックス３２を変更する。
【００３２】
後者の状況を明確にするために、図１によれば、ビデオデータストリーム１０を受信し処理して、そこから削減ビデオデータストリーム６２を導出するように構成されたネットワーク装置６０を示す図４を参照する。「削減されたビデオデータストリーム」６２内の用語「削減された」は、すなわち第１に、削減されたビデオデータストリーム６２がビデオデータストリーム１０と比較して低いビットレートに対応するという事実と、第２に、削減されたビデオデータストリーム６２のより小さい画像は単に画像１２のサブ領域２２を示すという点で、削減されたビデオデータストリーム６２がその中に符号化される画像は、ビデオデータストリーム１０の画像１２より小さい。
【００３３】
以下でより詳細に説明するように、そのタスクを実行するために、方法装置６０は、データストリーム１０から情報５０を読取るように構成された読取器６４と、以下でより詳細に説明するように情報５０に基づいて、削減または伸長処理を実行する削減器６６とを含む。
【００３４】
図５は、情報５０内の置換インデックス５４を使用する例示的な場合のネットワーク装置６０の機能性を示す。具体的には、図５に示すように、ネットワーク装置６０は、例えばサブ領域２２に関係しない、すなわちサブ領域２２の外側の画像１２の領域に関してデータストリーム１０の部分７０を参照するペイロード部分１８から６８を除去するために情報５０を使用する。除去６８は、例えば、スライスベースで実行することができ、削減器（reducer）６６は、一方ではスライス３４のスライスヘッダ内の位置表示またはスライスアドレスと他方では情報５０内の表示５２とに基づいて、サブ領域２２に関係しないペイロード部分１８内のスライス３４を示す。
【００３５】
情報５０が変位インデックス５４を有する図５の例では、ビデオデータストリーム１０のパラメータセット部分１６は、符号化パラメータ設定のインデックスセット２０ａの他に、ペイロード部分１８内のインデックス４８によって参照されないか、またはインデックスされる符号化パラメータ設定のインデックスされていないセット２０ｂを有する。削減を実行する際に、削減器６６は、データストリーム１０内のインデックス４８を、曲線７２を用いて図５に示している置換による置換インデックス５４により、図５に例示的に示されているものと変位する。インデックス４８を置換インデックス５４に変位することにより、リダイレクト７２は、削減ビデオデータストリーム６２のペイロード部分に含まれるインデックスが符号化パラメータ設定の第２のセット２０ｂを参照またはインデックス付けすることに従って生じ、その結果、符号化パラメータ設定の第１のセット２０ａがインデックス付けされなくなる。従って、リダイレクト７２は、パラメータセット部分１６から符号化パラメータ設定のもはやインデックスされていないセット２０ａを除去７４する削減器６６を含むことができる。
【００３６】
削減器６６はまた、ペイロード部分１８内の位置表示３２を、所定のサブ領域２２の周囲に対して測定されるように変更する。この変更は、湾曲した矢印７８によって、ハッチングを使用しないデータストリーム１０内の位置表示３２を示す一方で、クロスハッチングされた方法で削減されたビデオデータストリーム６２において位置表示３２を示すことにより概略的に示されているビデオデータストリーム６２へのデータストリーム１０からの例示的に単に１つの表現された位置表示３２の変化とともに、図５に示されている。
【００３７】
したがって、図５の説明を要約すると、ネットワーク装置６０は、比較的低い複雑さしか伴わない方法で削減されたビデオデータストリーム６２を得ることができる。
削減されたビデオデータストリーム６２のペイロード部分１８の量／サイズ３０、位置表示３２、および復号化順序４４を正しくパラメータ化する、または適合させるために符号化パラメータ設定の組２０ｂを正しく適合させるという面倒な作業は、図１の破線の箱を用いて代表的に示されているエンコーダ８０内のような他の場所で実行される。代替手段は、以下でさらに説明するように、情報５０の評価と削減器６６による削減との間の順序を変更することである。
【００３８】
図６は、削減されたビデオデータストリーム６２がより小さい画像８６、すなわち画像１２に比べより小さいサイズの画像であり単にそのサブ領域２２を示す画像８６のビデオ８４にエンコードされることを示すために、削減されたビデオデータストリーム６２がビデオデコーダ８２に供給される状況を示す。したがって、ビデオ８４の再構成は、ビデオデコーダ８２が削減ビデオデータストリーム６２を復号することによって生じる。図５を参照して説明したように、削減ビデオデータストリーム６２は、符号化パラメータ設定の第２のセット２０ｂによってパラメータ化されたあるいは対応して記載されたように、より小さい画像８６に符号化された、削減されたペイロード部分１８を有する
【００３９】
ビデオエンコーダ８０は、例えば、サブ領域２２に関連して図１に関して説明した符号化制限に従って、画像１２をビデオデータストリーム１０に符号化することができる。
エンコーダ８０は、例えば、適切なレート歪み最適化機能の最適化を使用してこの符号化を実行してもよい。この符号化の結果として、ペイロード部分１８はセット２０ａをインデックス付けする。さらに、エンコーダ８０はセット２０ｂを生成する。この目的のために、エンコーダ８０は、例えば、サブ領域２２のサイズおよび占有されたタイルセットに対応するように、セット２０ａ内のそれらの値から画像サイズ２６およびタイル構造３８を適合させることができる。それを超えると、エンコーダ８０は、図５自体に関して上述したように削減処理を実質的に実行し、ビデオデコーダ８２などのデコーダが、符号化パラメータ設定の第２のセット２０ｂ内のこのように計算されたバッファタイミング４６を使用して符号化された画像バッファを正しく管理できるようにバッファタイミング４６を計算する。
【００４０】
ビデオエンコーダ８０は、例えば、サブ領域２２に関連して図１に関して説明した符号化制限に従って、画像１２をビデオデータストリーム１０に符号化することができる。この代替案によれば、図７に示されているように、パラメータセット部分１６は、符号化パラメータ設定のインデックス付きセット２０ａを単に含むだけであり、再インデックス付けまたはリダイレクト７２およびセット除去器７４は、削減器６６により実行される必要はない。しかしながら、これに代えて、削減器６６は、符号化パラメータ設定のセット２０ｂになるように符号化パラメータ設定のインデックス付きセット２０ａを調整するように、情報５０から得られた変位パラメータ５６を使用する。この代替案によれば、元のビデオデータストリーム１０から削減ビデオデータストリーム６２を導出するために、ステップ６８,７８および８８を実行する削減器６６は、比較的複雑な操作がない。
【００４１】
言換えれば、図７の場合、変位パラメータ５６は、例えば、画像サイズ２６、タイル構造３８および／またはバッファタイミング４６のうちの１つ以上を含むことができる。
【００４２】
図５および図７に注目すべきであり、図５および図７には、変位指数および変位パラメータの両方を含む情報５０との両方の代替物の混合物も存在し得ることが示されている。例えば、セット２０ａから２０ｂへの変更の対象となる符号化パラメータ設定は、SPS、PPS、VPSなどの異なるパラメータセットスライス上に分散することができ、またはそれらから構成することができる。したがって、これらのスライスのうちの異なるスライスについて、例えば図５または図７による異なる処理を実行することができる。
【００４３】
位置表示を変更７８するタスクに関して、このタスクは、例えば、ペイロード部分１８内のスライス３４の各ペイロードスライスに対して実行されるため、比較的頻繁に実行されなければならないが、位置表示３２の新しい変位値の計算は比較的複雑でないことに留意されたい。例えば、位置表示は、水平および垂直座標による位置を示すことができ、変更７８は、例えば、元の位置表示３２の対応する座標とデータストリーム１０と画像１２の左上隅に対するサブ領域２２のオフセットとの間の減算を形成することによって位置表示の新しい座標を計算することができる。あるいは、位置表示３２は、例えば画像１２が規則的に行と列に分かれているツリールートブロックなどの符号化ブロックの単位など、いくつかの適切な単位で、例えば上記の復号化順序に従う何らかの線形測度を使用して位置を示すことができる。そのような場合、位置表示は、サブ領域２２内のこれらの符号ブロックの符号化順序のみを考慮して新たにステップ７８内で計算される。これに関連して、ビデオデータストリーム１０から削減ビデオデータストリーム６２を形成するための、ちょうど概説された削減／抽出プロセスも、削減ビデオデータストリーム６２に符号化されたビデオ８４のより小さい画像８６は、空間的にステッチされた態様でセクション２２を示し、画像８４の同じ画像コンテンツは、空間的に異なる方法でサブ領域２２の画像１２内に配置され得るという態様で、削減ビデオデータストリーム６２を形成するのに適している。
【００４４】
図６に関して、図６に示すビデオデコーダ８２は、ビデオ１４の画像１２を再構成するためにビデオデータストリーム１０をデコードすることが可能であってもなくてもよいことに留意されたい。ビデオデコーダ８２がビデオデータストリーム１０をデコードできない理由は、例えばビデオデコーダ８２のプロファイルレベルが、削減ビデオデータストリーム６２のサイズおよび複雑さに対処するのに十分であるが、元のビデオデータストリーム１０を復号化するには不十分である可能性があることである。しかしながら、原理的には、データストリーム６２および１０の両方は、再インデックス付けおよび／またはパラメータ調整による符号化パラメータ設定のインデックス付けされたセットの上述した適切な適応により、１つのビデオコーデックに適合する。
【００４５】
削減されるべきビデオ・データ・ストリームの画像の特定のサブ領域に関するビデオ・ストリーム削減／抽出のためのかなり一般的な実施形態を削減することを説明した後、HEVCに関するこのような抽出に関する上記の動機および問題の説明を以下に再開し、上述の実施形態を実施するための固有の例を提供する。
【００４６】
１．単一層サブ領域のためのシグナリング態様
【００４７】
１．１．パラメータセット：
次のパラメータセットの側面は、空間サブセットを抽出するときに調整が必要である。
・VPS：単一層符号化に関する規範的情報
・SPS：
・レベル情報
・画像サイズ
・切取りまたは適合ウィンドウ情報
・バッファリングとタイミング情報（すなわちHRD情報）
・潜在的に、motion＿vectors＿over＿pic＿boundaries＿flag、min＿spatial＿segmentation＿idcなどのVUI（Video Usability Information）アイテム
【００４８】
シグナリングの実施形態
・シグナリング1A：エンコーダは、各TMCTSについて、付加的な未使用の（すなわち、全く起動していない）VPS、SPSおよびPPSを帯域内（すなわち、それぞれのNALユニットとして）に送信し、補助拡張情報（SEI）メッセージにおいてTMCTSへのマッピングを提供することができる。
【００４９】
シグナリング1A SEIのための例示的なシンタックス／セマンティクスを図８に示す。
【００５０】
シンタックス要素９０は、画像パラメータセット識別子から導出できるのでオプションである。
【００５１】
セマンティクスは以下のとおりである。
num＿extraction＿information＿sets＿minus1は、サブ画像抽出処理において適用されるべき所与のSignaling1A SEIに含まれる情報セットの数を示す。
【００５２】
num＿applicable＿tile＿set＿identifiers＿minus1は、サブ画像抽出処理のために続くi番目の情報セットが適用されるタイルセットのmcts＿idの値の個数を示す。
【００５３】
mcts＿identifier [i] [k]は、すべてのnum＿applicable＿tile＿set＿identifers＿minus1が、次のi番目の情報セットがサブ画像抽出処理に適用されるタイルセットのmcts＿idの値＋１を示す。
【００５４】
num＿mcts＿pps＿replacements [i]は、mcts＿id＿map [i]と等しいmcts＿idを有するタイルセットについてSignaling1A SEIにおいてシグナリングするpps識別子変位の数を示す。
【００５５】
mcts＿vps＿id [i]は、サブ画像抽出処理においてmcts＿vps＿idx [i]番目のビデオパラメータセットが、mcts＿id＿map [i]と等しいmcts＿idを有するタイルセットについて使用されることを示す。
【００５６】
mcts＿sps＿id [i]は、サブ画像抽出処理においてmcts＿sps＿idx [i]番目のシーケンスパラメータセットが、mcts＿id＿map [i]と等しいmcts＿idを有するタイルセットについて使用されることを示す。
【００５７】
mcts＿pps＿id＿in [i] [j]は、サブ画像抽出処理において変位されるべきmcts＿id＿map [i]に等しいmcts＿idを有するタイルセットのスライスヘッダシンタックス構造におけるnum＿mcts＿pps＿replacements [i] pps識別子のj番目の値を示す。
【００５８】
mcts＿pps＿id＿out [i] [j]は、サブ画像抽出処理において、値mcts＿pps＿id＿in [i] [j]に等しいpps識別子を変位するためにmcts＿id＿map [i]に等しいmcts＿idを有するタイルセットのスライスヘッダシンタックス構造内のnum＿mcts＿pps＿replacements pps識別子のj番目の値を示す。
【００５９】
・シグナリング1B：エンコーダは、各TMCTSに対してVPS、SPS、PPSを送信し、コンテナスタイルのSEIに含まれるすべてのTMCTSにマッピングすることができる。
【００６０】
シグナリング1B SEIのための例示的なシンタックス／セマンティクスを図９に示す。
【００６１】
黄色のシンタックス要素９２は画像パラメータセット識別子から導出することができるので、オプションである。
【００６２】
セマンティクスは以下の通りである。
num＿vps＿in＿message＿minus1は、サブ画像抽出処理で使用されるべき所与のSignaling1B SEIにおけるvpsシンタックス構造の数を示す。
【００６３】
num＿sps＿in＿message＿minus1は、サブ画像抽出処理で使用されるべき所与のSignaling1B SEIにおけるspsシンタックス構造の数を示す。
【００６４】
num＿pps＿in＿message＿minus1は、サブ画像抽出処理で使用されるべき所与のSignaling1B SEIのppsシンタックス構造の数を示す。
【００６５】
num＿extraction＿information＿sets＿minus1は、サブ画像抽出処理において適用される所与のSignaling1B SEIに含まれる情報セットの数を示す。
【００６６】
num＿applicable＿tile＿set＿identifiers＿minus1は、サブ画像抽出処理のために続くi番目の情報セットが適用されるタイルセットのmcts＿idの値の個数を示す。
【００６７】
mcts＿identifier [i] [k]は、すべてのnum＿applicable＿tile＿set＿identifers＿minus1と、次のi番目の情報セットがサブ画像抽出処理に適用されるタイルセットのmcts＿idの値の＋１を示す。
【００６８】
mcts＿vps＿idx [i]は、サブ画像抽出プロセスにおいてmcts＿id＿map [i]と等しいmcts＿idを有するタイルセットについて、Signaling1B SEIでシグナリングされたmcts＿vps＿idx [i]番目のビデオパラメータセットが使用されることを示す。
【００６９】
mcts＿sps＿idx [i]は、サブ画像抽出処理においてSignaling1B SEIでシグナリングされたmcts＿sps＿idx [i]番目のシーケンスパラメータセットが、mcts＿id＿map [i]と等しいmcts＿idを持つタイルセットに使用されることを示す。
【００７０】
num＿mcts＿pps＿replacements [i]は、mcts＿id＿map [i]と等しいmcts＿idを有するタイルセットについてSignaling1B SEIにおいてシグナリングするpps識別子変位の数を示す。
【００７１】
mcts＿pps＿id＿in [i] [j]は、サブ画像抽出処理において、変位されるべきmcts＿id＿map [i]に等しいmcts＿idを有するタイルセットのスライスヘッダシンタックス構造におけるnum＿mcts＿pps＿replacements [i] pps識別子のj番目の値を示す。
【００７２】
mcts＿pps＿idx＿out [i] [j]は、サブ画像抽出処理において、mcts＿pps＿id＿in [i] [j]に等しいpps識別子を有する画像パラメータセットが、Singalling1C SEIにおけるmcts＿pps＿idx＿out [i] [j]番目の信号処理された画像パラメータセットで変位されるべきである旨を示す。
【００７３】
・シグナリング1C：エンコーダは、導出できないTMCTSに関連するパラメータセット情報（本質的に付加的なバッファリング／タイミング（HRD）パラメータおよびSEI内の適用可能なTMCTSへのマッピング）を提供することができる。
【００７４】
シグナリング1C SEIのための例示的なシンタックス／セマンティクスを図１０に示す。
次のSEIのHRD情報は、抽出プロセスが元のVPS内のシンタックス要素の連続するブロックをSEIからのシンタックス要素のそれぞれの連続するブロックで置換えることができるように構成されている。
【００７５】
num＿extraction＿information＿sets＿minus1は、サブ画像抽出プロセスにおいて適用される所与のシグナリング1C SEIに含まれる情報セットの数を示す。num＿applicable＿tile＿set＿identifiers＿minus1は、サブ画像抽出処理のために続くi番目の情報セットが適用されるタイルセットのmcts＿idの値の個数を示す。
【００７６】
mcts＿identifier [i] [k]は、すべてのnum＿applicable＿tile＿set＿identifers＿minus1と、次のi番目の情報セットがサブ画像抽出プロセスに適用されるタイルセットのmcts＿idの１つの値を示す。
【００７７】
１に等しいmcts＿vps＿timing＿info＿present＿flag [i]は、mcts＿vps＿num＿units＿in＿tick [i]、mcts＿vps＿time＿scale [i]、mcts＿vps＿poc＿proportional＿to＿timing＿flag [i]およびmcts＿vps＿num＿hrd＿parameters [i]がVPSに存在することを示す。０に等しいmcts＿vps＿timing＿info＿present＿flag [i]は、mcts＿vps＿num＿units＿in＿tick [i]、mcts＿vps＿time＿scale [i]、mcts＿vps＿poc＿proportional＿to＿timing＿flag [i]およびmcts＿vps＿num＿hrd＿parameters [i]がSignaling1C SEIに存在しないことを示す。
【００７８】
mcts＿vps＿num＿units＿in＿tick [i]は、クロックティックカウンタの１増分（クロックティックと呼ばれる）に対応する周波数mcts＿vps＿time＿scaleHzで動作するクロックのi番目の時間単位である。mcts＿vps＿num＿units＿in＿tick [i]の値は０より大きくなければならない。クロックティック（秒単位）は、mcts＿vps＿num＿units＿in＿tickをmcts＿vps＿time＿scaleで割った商に等しくなる。例えば、ビデオ信号の画像レートが２５Hzである場合、mcts＿vps＿time＿scaleは２７００００００に等しく、mcts＿vps＿num＿units＿in＿tickは１，０８０，０００に等しく、したがってクロックチックは０．０４秒であり得る。
【００７９】
mcts＿vps＿time＿scale [i]は、１秒で渡すi番目の時間単位数である。例えば、２７MHzクロックを使用して時間を測定する時間座標系は、２７００００のvps＿time＿scaleを有する。vps＿time＿scaleの値は０より大きくなければならない。
【００８０】
１に等しいmcts＿vps＿poc＿proportional＿to＿timing＿flag [i]は、復号化順序で、CVSの最初の画像ではない、CVS内の各画像の画像順序カウント値が、CVSの最初の画像の出力時間に関連して、画像の出力時間に比例することを示す。０に等しいmcts＿vps＿poc＿proportional＿to＿timing＿flag [i]は、復号化順序で、CVSの最初の画像ではない、CVS内の各画像の画像順序カウント値が、CVS内の最初の画像の出力時間に関連する画像の出力時間に比例しても比例しなくてもよいことを示す。
【００８１】
mcts＿vps＿num＿ticks＿poc＿diff＿one＿minus1 [i] plus 1は、１に等しい画像順序カウント値の差に対応するクロックティックの数を指定する。mcts＿vps＿num＿ticks＿poc＿diff＿one＿minus1 [i]の値は、０〜２３２−２の範囲内でなければならない。
【００８２】
mcts＿vps＿num＿hrd＿parameters [i]は、Signaling1C SEIのi番目のエントリに存在するhrd＿parameters（）シンタックス構造の数を指定する。mcts＿vps＿num＿hrd＿parametersの値は、0からvps＿num＿layer＿sets＿minus1 + 1の範囲内でなければならない。
【００８３】
mcts＿hrd＿layer＿set＿idx [i] [j]は、Signaling1C SEI内のj番目のhrd＿parameters（）シンタックス構造が適用され、サブ画像抽出プロセスで使用されるレイヤセットのSignaling1C SEIにおけるi番目のエントリのVPSによって指定されたレイヤセットのリストに、インデックスを指定する。mcts＿hrd＿layer＿set＿idx [i] [j]の値は、（vps＿base＿layer＿internal＿flag？0：1）からvps＿num＿layer＿sets＿minus1までの範囲内でなければならない。mcts＿hrd＿layer＿set＿idx [i] [j]の値は、kと等しくない任意のjの値に対してhrd＿layer＿set＿idx [i] [k]の値と等しくならないことがビットストリーム適合の要件である。
【００８４】
１に等しいmcts＿cprms＿present＿flag [i] [j]は、すべてのサブレイヤに共通するHRDパラメータが、Signaling1C SEIのi番目のエントリのj番目のhrd＿parameters（）シンタックス構造に存在することを特定する。０に等しいmcts＿cprms＿present＿flag [i] [j]は、Signaling1C SEIのi番目のエントリのi番目のhrd＿parameters（）シンタックス構造にすべてのサブレイヤに共通のHRDパラメータが存在せず、 Signaling1C SEIのi番目のエントリの（i−1）番目のhrd＿parameters（）シンタックス構造と同じであることが導出されることを特定する。
【００８５】
上記のHRD情報はVPS関連であるので、SPS VUI HRDパラメータに対する同様の情報のシグナリングは、同じように具体化できる。例えば、上記のSEIを拡張するか、または個々のSEIメッセージとして拡張する。
【００８６】
本発明のさらなる実施形態が、シグナリング1A、1Bおよび1Cによって実行されるメカニズムを、VUIなどの他のビットストリームシンタックス構造またはパラメータセットの拡張として使用することができることは注目に値する。
【００８７】
1.2． SEIメッセージ
元のビデオビットストリーム内の次のSEIメッセージのいずれかが発生すると、TMCTS抽出後の不整合性を回避するための調整メカニズムが必要になることがある。
・HRD関連バッファリング期間、画像タイミングおよびデコードユニット情報SEI
・パンスキャンSEI
・* FramePackingArrangement * SEI
・DecodedPictureHash SEI
・TMCTS SEI
【００８８】
シグナリングの実施形態：
・シグナリング2A：エンコーダは、すべてのTMCTSのコンテナスタイルのSEI内のTMCTSに関連して、上記SEIの適切な変位を提供することができる。そのようなシグナリングは、シグナリング1Cの実施形態と組合せることができ、図１１に示されている。
換言すれば、上述した説明に加えて、または代わりに、ビデオ１４を表すビデオデータストリーム１０は、ビデオの画像１２がその中に符号化されるペイロード部分１８と、ペイロード部分１８に一致する補助拡張情報を示す補助拡張情報メッセージまたはより正確には、ビデオの画像１２がペイロード部分１８に符号化される方法を含むことができ、さらには画像１２の所定のサブ領域２２の表示５２を含む情報５０および補助増強情報メッセージを変位するための置換補助拡張情報メッセージを含み、置換補助拡張情報メッセージは、ペイロード部分１８の部分７０を除去６８しビデオデータストリームと比較して修正された削減ビデオデータストリーム６２を所定のサブ領域２２の外側の画像１２の領域を参照して、ペイロード部分１８内の位置表示３２を変更７８するように選択して、置換補助拡張情報メッセージが削減されたペイロード部分と一致する置換補助拡張情報を示す方法、すなわち、サブ領域固有画像８６が削減ペイロード部分１８に符号化される方法で画像の所定のサブ領域２２の周囲から測定された場所を示す。パラメータ設定器８０ａは、上述のパラメータ生成に加えて、または代替として、置換SEIメッセージによる潜在的な置換の対象である補助拡張情報メッセージを生成する。変位は、上述したリダイレクトおよび／または調整に加えて、または代替として、ネットワーク装置６０によって実行される。
【００８９】
０に等しいall＿tile＿sets＿flagは、ビットストリーム内で定義されたすべてのタイルセットについて、applicable＿mcts＿id [0]リストがwapplicable＿mcts＿id [i]によって指定されることを指定する。１に等しいall＿tile＿sets＿flagは、リストapply＿mcts＿id [0]は、値の昇順に現在のSEI NALユニットのnuh＿layer＿id以上である現在のアクセスユニットに存在するnuh＿layer＿idのすべての値からなることを指定する。
tile＿sets＿max＿temporal＿id＿plus1 minus1は、配列applied＿mcts＿id [i]の要素と等しいmcts＿idを有するタイルセットについて、サブ画像抽出プロセスで抽出されるべき最大時間レベルを示す。
【００９０】
num＿applicable＿tile＿set＿identifiers＿minus1 plus 1は、サブ画像抽出プロセスで次のSEIメッセージを使用する必要がある、次の適用可能なmcts idの数を指定する。
【００９１】
mcts＿identifier [i]は、タイルセットのサブ画像抽出プロセスを使用して、applicable＿mcts＿id [i]に等しいmcts＿idを有するそれぞれのタイルセットを抽出するときに次のSEIメッセージが挿入されるべきmcts＿idのすべてのnum＿applicable＿tile＿set＿identifiers＿minus1値を示す。
【００９２】
２．サブ画像抽出プロセス：
【００９３】
抽出プロセスの詳細は、明らかに、適用されるシグナリング方式に依存する。
【００９４】
タイルセットアップとTMCTS SEI、特に抽出されたTMCTSに関する制約は、適合出力を保証するために定式化されなければならない。ビットストリーム中の上記シグナリング実施形態のいずれかが存在すると、ビデオビットストリームの作成中にエンコーダが以下で定式化された制約に従うという保証を表す。
【００９５】
入力：
・ビットストリーム
・目標MCTS識別子MCTSIdTarget。
・目標レイヤ識別子リストlayerIdListTarget。
【００９６】
制約条件またはビットストリーム要件：
・tiles＿enabled＿flagが1に等しい。
・num＿tile＿columns＿minus1> 0 || num＿rows＿minus1> 0。
・MCTSIdTargetに等しいmcts＿id [i]を持つTMCTS SEIメッセージが存在し、出力されるべきすべての画像に関連付けられる。
・MCTSIdTargetに等しいmcts＿id [i]を持つTMCTSがTMCTS SEIに存在する。
・mcts＿id [i]がMCTSIdTargetに等しいTMCTSについての適切なレベルは、TMCTS SEIシンタックス要素mcts＿tier＿level＿idc＿present＿flag [i]、mcts＿tier＿idc [i]、mcts＿level＿idc [i]か、上記のシグナリング変数1Aまたは1Bの一方のいずれかにより示されるべきである。
・TMCTSのHRD情報は、シグナリング変数1A、1Bまたは1Cの１つを介してビットストリームに存在する。
・MCTSIdTargetに等しいmcts＿id [i]を持つTMCTS内のすべての矩形は、輝度サンプルで同じ高さまたは等しい幅、またはその両方を持つ。
【００９７】
プロセス：
・MCTSIdTargetに等しいmcts＿id [i]に関連付けられたタイルセットに存在しないすべてのタイルNALUを除去する。
・シグナリング1Xに応じてパラメータセットを置換／調整する。
・残りのNALUスライスヘッダーを次のように調整する。
【００９８】
○ slice＿segement＿addressとfirst＿slice＿segment＿in＿pic＿flagを調整して、タイルセット内のすべての矩形から共通の画像平面を作成する。
○ 必要に応じてpps＿idを調整する
・シグナリング２Aの存在下で、SEIを除去するか、置き換える。
【００９９】
代替の実施形態として、抽出プロセスの一部として上述した制約条件またはビットストリーム要件は、ビットストリーム内の専用シグナリング、例えば別個のSEIメッセージまたはVUI指示の形式をとることができ、その存在は抽出プロセス上のそれらのための必要条件である。
【０１００】
２．マルチレイヤ
【０１０１】
いくつかのシナリオでは、例えば領域ごとにさまざまな品質を提供するために、階層化されたコーデックに関心があるかもしれない。より低いレイヤ品質でより大きな空間領域を提供することは興味深いことかもしれず、その結果、ユーザによって必要とされ、かつ、広角ビデオの固有の領域が上位層で利用可能でない場合には、コンテンツは下位層でアップサンプリングされることができ、上位層のコンテンツと共に提示される。
【０１０２】
説明されたTMCTS SEIに加えて、HEVC仕様の階層化された拡張（すなわちAnnex F）において、レイヤ間予測のための性質の制約が同様であることを示すILCTS（Inter-layer Constrained Tile Sets）SEIメッセージが指定される。参考のために、シンタックステーブルを図１２に示す。
従って、本発明のさらなる部分として、付加的な情報を考慮に入れた階層化された符号化ビデオビットストリームのために、上記と同様の方法の抽出プロセスが実現される。
【０１０３】
マルチレイヤサブ画像のシグナリングアスペクトを考慮する場合の上述のシグナリングおよび処理との主な相違点は、ビットストリームの目標データ部分がもはやmcts＿id識別子の単一の値によって識別されないことである。その代わりに、レイヤセットの識別子と、適用可能であれば、各包含レイヤ内のTMCTSの複数の識別子と、適用可能であれば、含まれるレイヤ間の各ILCTS識別子が、ビットストリームの目標部分を識別する多次元ベクトルを形成する。
【０１０４】
本発明の実施形態は、シンタックス要素mcts＿identifier [i] [k]が、記述された多次元識別子ベクトルで置換えられた、上で開示された単一層シグナリング1A、1B、1Cおよび2Aの変形である。
【０１０５】
さらに、エンコーダ制約またはビットストリーム要件は、以下のように拡張される。
【０１０６】
２．２．抽出プロセス：
【０１０７】
入力：
・以下からなる多次元識別子ベクトル
・対象レイヤセットlayerSetIdTarget
・識別子layerSetIdTargetとともに設定されたレイヤ内の最上位レイヤについて少なくとも目標レイヤTMCTS識別子MCTSIdTarget＿Lx
・以下に対応する目標ILCTS識別子LTCTSIdTarget＿Lx＿refLy 
・ビットストリーム
【０１０８】
ビットストリーム要求
単一層の場合に定義されているものに加えて：
【０１０９】
・MCTSIdTarget＿Lxに等しいmcts＿id [i]を有するTMCTS SEIメッセージが、それぞれのレイヤLxについて存在し、かつILTCTSIdTarget＿Lx＿refLyに等しいilcts＿id [i]を有するILCTS SEIメッセージが、ビットストリームに含まれる使用される参照レイヤLyおよびレイヤセットlayerSetIdTargetを使用する任意についてそれぞれのレイヤLxに存在する。
【０１１０】
抽出されたビットストリーム部分に欠けている参照サンプルの存在を除外するために、ビットストリーム部分を定義するTMCTSおよびILCTSは、さらに以下の制約を満たさなければならない。
【０１１１】
・MCTSIdTarget＿LAに等しいmcts＿id [i]に関連付けられたタイルセットtsAを有する各参照レイヤAについて：tsAを構成するレイヤA内のタイルは、ILTCTSIdTarget＿LA＿refLyに等しいilcts＿id [i]を有するタイルセットに関連する同じタイルである。
・MCTSIdTarget＿LBに等しいmcts＿id [i]に関連付けられたタイルセットtsBを有する各被参照レイヤBについて：tsBを構成するレイヤBのタイルは、ilcts＿id [i] ILCTSIdTarget＿Lx＿refLBと示される関連参照タイルセットに完全に含まれる。
【０１１２】
プロセス
レイヤxごとに：mcts id [i]識別子MCTS Id Target＿Lxを持つタイルセット内に存在しないすべてのタイルNALユニットを除去する。
【０１１３】
本出願の次の態様に移る前に、サブ領域２２が１組のタイルで構成されていてもよいという上記の可能性に関して簡単な注記がなされなければならず、画像１２内のその相対位置は削減されたビデオデータストリーム６２によって表されるビデオ８４のより小さい画像８６内のこれらのタイルの互いへの相対位置とは異なってもよい。、
【０１１４】
図１３は、デコード順に沿って大文字AからIを用いて列挙されたタイル４２のアレイに細分される画像１２を示す。例示のみのために、図１３は例示的に１つの画像と、３×３タイル４２への細分を示す。画像１２が、符号化依存性がタイル境界４０を横切らないようにビデオデータストリーム１０に符号化され、符号化依存性が画像内空間相互依存性だけでなく例えば時間的独立性なども制限されることを想像されたい。従って、現在の画像内のタイル４２は、それ自体、または以前に符号化／復号化された画像、すなわち時間参照画像内の同一位置のタイルにのみ依存する。
【０１１５】
この状況では、サブ領域２２は、例えば、タイル[D、F、G、I]のセットのような不連続なタイル４２のセットから構成されてもよい。相互独立性のため、ビデオ８４の画像８６は、関与するタイルが異なる方法で画像８６内に空間的に配置されるようにサブ領域２２を示すことができる。これは、図１３に示されている：画像８６はまた、タイル４２の単位で削減ビデオデータストリーム６２に符号化されるが、画像１２のサブ領域２２を形成するタイルは、相互に別の位置関係で画像８６内に空間的に配置される。図１３の例では、サブ領域２２を形成するタイル４２は、画像１２が水平パノラマビューを示しているかのように、画像１２の反対側のタイルを占有し、これらの対向するサイドのタイルは実際にパノラマシーンの隣接部分を示す。しかしながら、画像８６では、各タイル行内のタイルは、画像１２におけるそれらの相対位置に対する相対的な位置を切替える。すなわち、例えばタイルFは、画像１２のタイルDおよびFの相互水平位置と比較して、タイルDに対して左側に現れる。
【０１１６】
本出願の次の態様に進む前に、タイル４２およびセクション２２のいずれも、その境界を越えないように符号化依存性が制限されている上述の方法で画像１２に符号化する必要がないことに留意すべきである。当然のことながら、この制限は、ビデオデータストリームの削減／抽出の上述の概念を緩和するが、そのような符号化依存性は、これらのエッジ部分での歪が用途に応じて受け入れることができる用途に応じて、サブ領域２２／タイル４２の境界に沿った小さなエッジ部分にのみ影響を及ぼす傾向がある。
【０１１７】
さらに、上述した実施形態は、現行のビデオコーデックを、説明された適合点を新たに含むように拡張する可能性、すなわち、ビデオストリームを、適合性を維持のみしながらオリジナル画像１２のサブ領域２２に関連する削減されたビデオストリームに削減する可能性を含むように拡張する可能性を示し、かつこの目的を達成するために、情報５０は、典型的には、SEIメッセージ、VUIまたはパラメータセット拡張、すなわち、好き嫌いに従ってデコーダによってスキップされ得る元のビデオデータストリームの部分に例示的に隠されていることに留意すべきである。しかしながら、代わりに、情報５０は、標準的な部分である部分でビデオデータストリーム内で伝達することができる。すなわち、新たなビデオコーデックは、最初から説明されたコンプライアンスポイント（compliance point）を含むように設定することができる。
【０１１８】
さらに、完全性のために、上述の実施形態のさらなる具体的な実施例が説明され、この実施例は、上記の実施形態を実施するようにHEVC規格を拡張する可能性を示す。このために、新しいSEIメッセージが提供される。換言すれば、個々のHEVC適合ビットストリームとして動き拘束タイルセット（MCTS）を抽出することを可能にするHEVC仕様への修正が記載されている。２つのSEIメッセージが使用され、以下で説明される。
【０１１９】
第１のSEIメッセージ、すなわちMCTS抽出情報セットSEIメッセージは、MCTS固有の変位パラメータセットのキャリッジのシンタックスを提供し、セマンティクスにおける抽出プロセスを定義する。第２のSEIメッセージ、すなわちMCTS抽出情報入れ子SEIメッセージは、MCTS固有の入れ子SEIメッセージのシンタックスを提供する。
【０１２０】
従って、これらのSEIメッセージをHEVCフレームワークに含めるために、HEVCの一般的なSEIメッセージシンタックスは、新しいタイプのSEIメッセージを含むように修正される。
【０１２１】
2019506091.tif 000003
【０１２２】
このように、リストSingleLayerSeiListは、ペイロードタイプ値３，６，９，１５，１６，１７，１９，２２，２３，４５，４７，５６，１２８，１２９，１３１，１３２，１３４を包括的に含むようにセットされる。同様に、リストVclAssociatedSeiListとPicUnitRepConSeiListとは、新しいSEIメッセージのタイプ番号１５２と１５３とによって拡張され、この番号は、当然説明目的のためだけに選択されている。
【０１２３】
HEVCの表D.1は、SEIメッセージの存続範囲に、SEIメッセージの新しいテープへのヒントを追加する。
【０１２４】
2019506091.tif 000004
【０１２５】
そのシンタックスは次のようになる。MCTS抽出情報セットSEIメッセージシンタックスは、次のように設計することができる。
【０１２６】
2019506091.tif 000005
【０１２７】
セマンティクスに関する限り、MCTS抽出情報セットSEIメッセージは、変位パラメータ５６を使用する情報５０の一例である。
MCTS抽出情報セットSEIメッセージは、以下に指定されるようなサブビットストリームMCTS抽出を実行するための補助情報を提供し、動き制限付きタイルセット、すなわち全体画像領域のフラグメント８４を形成するタイルのセットからHEVC適合ビットストリームを導出する。この情報は、抽出情報セットが適用される動き制約付きタイルセットの識別子をそれぞれ含む多数の抽出情報セットからなる。各抽出情報セットは、サブビットストリームMCTS抽出プロセス中に使用される変位ビデオパラメータセット、シーケンスパラメータセット、および画像パラメータセットのRBSPバイトを含む。
一組の画像に関連付けられた画像セットを、MCTS抽出情報セットSEIメッセージ（これを含む）を含むアクセスユニットからの画像とし、以下のいずれかの最初のものまでをデコード順に含める。
−MCTS抽出情報セットSEIメッセージを含む、デコード順で次のアクセスユニット。
−NoRaslOutputFlagが１であるデコード順で次のIRAP画像。
−NoClrasOutputFlagが１であるデコード順で次のIRAPアクセスユニット。
−NoClrasOutputFlagが１であるデコード順で次のIRAPアクセスユニット。
MCTS抽出情報セットSEIメッセージの範囲は、picturesPicSetのセットである。
MCT抽出情報セットタイルセットSEIメッセージが、associatedPicSet内の任意の画像について存在すると、時間的に動きが制約されたタイルセットSEIメッセージが、associatedPicSetの最初の画像について復号化順序で存在し、associatedPicSetの他の画像についても存在してもよい。時間的に動きが制約されたタイルセットSEIメッセージは、associatedPicSet内のすべての画像についてmcts＿identifer []と等しくなければならない。
MCTS抽出情報セットタイルセットSEIメッセージがassociatedPicSet内の任意の画像に対して存在する場合、MCTS抽出情報セットSEIメッセージは、associatedPicSetの最初の画像に対して復号化順序で存在しなければならず、associatedPicSetの他の画像に対しても存在する。
MCTS抽出情報セットタイルセットSEIメッセージがassociatedPicSet内の任意の画像に対して存在する場合、MCTS抽出情報セットSEIメッセージは、復号化順序でassociatedPicSetの最初の画像について存在しなければならず、associatedPicSetの他の画像についても存在してもよい。
associatedPicSet内の任意の画像についてアクティブである任意のPPSについて、tiles＿enabled＿flagが０に等しい場合、MCTS抽出情報セットSEIメッセージはassociatedPicSet内のいかなる画像についても存在してはならない。
associatedPicSet内の任意の画像についてアクティブであるすべてのPPSが、シンタックス要素num＿tile＿columns＿minus1、num＿tile＿rows＿minus1、uniform＿spacing＿flag、column＿width＿minus1 [i]およびrow＿height＿minus1 [i]の同じ値を有さない限り、MCTS抽出情報セットSEIメッセージはassociatedPicSet内のいかなる画像についても存在してはならない。
注１−この制約は１に等しいtiles＿fixed＿structure＿flagに関連する制約に類似しており、MCTS抽出情報セットSEIメッセージが存在する場合（これは必須ではないが）、tiles＿fixed＿structure＿flagが１に等しいことが望ましい。
associatedPicSetの画像に対して複数のMCTS抽出情報セットSEIメッセージが存在する場合、それらは同じ内容を含むものとする。
タイルセットtileSetAに属するタイルを含むNALユニットは、タイルセットtileSetAに属さないタイルを含んではならない。
各アクセスユニットにおけるMCTS抽出情報セットSEIメッセージの数は、５を超えてはならない。
num＿extraction＿info＿sets＿minus1 plus 1は、mcts抽出プロセスに適用されるMCTS抽出情報セットSEIメッセージに含まれる抽出情報セットの数を示す。num＿extraction＿info＿sets＿minus1[i]の値は、０〜２32−２の範囲内でなければならない。
i番目の抽出情報セットには、iに等しいMCTS抽出情報セット識別子の値が割り当てられる。
num＿associated＿tile＿set＿identifiers＿minus1 [i] plus 1は、i番目の抽出情報セット内のタイルセットのmcts＿idの値の数を示す。num＿extraction＿info＿sets＿minus1 [i]の値は、０〜２32−２の範囲内でなければならない。
mcts＿identifier [i] [j]は、i番目の抽出情報セットに関連付けられたmcts＿identifier [i] [j]に等しいmcts＿idでj番目のタイルセットを識別する。mcts＿identifier [i] [j]の値は、０〜２32−２の範囲内でなければならない。
num＿vps＿in＿extraction＿info＿set＿minus1 [i] plus 1は、i番目の抽出情報セット内の変位ビデオパラメータセットの数を示す。num＿vps＿in＿extraction＿info＿set＿minus1 [i]の値は、０〜１５の範囲内でなければならない。
vps＿rbsp＿data＿length [i] [j]は、i番目の抽出情報セットに設定された次のj番目の変位ビデオパラメータのバイト数vps＿rbsp＿data＿bytes [i] [j] [k]を示す。
num＿sps＿in＿extraction＿info＿set＿minus1 [i] plus 1は、i番目の抽出情報セット内の変位シーケンスパラメータセットの数を示す。num＿sps＿in＿extraction＿info＿set＿minus1 [i]の値は、0〜15の範囲内でなければならない。
sps＿rbsp＿data＿length [i] [j]は、i番目の抽出情報セットに設定された次のj番目の変位シーケンスパラメータであるsps＿rbsp＿data＿bytes [i] [j] [k]のバイト数を示す。
num＿pps＿in＿extraction＿info＿set＿minus1 [i] plus 1は、i番目の抽出情報セット内の変位画像パラメータセットの数を示す。num＿pps＿in＿extraction＿info＿set＿minus1 [i]の値は、0〜63の範囲内でなければならない。
pps＿nuh＿temporal＿id＿plus1 [i] [j]は、i番目の抽出情報セットについてのj番目の変位画像パラメータセットについてpps＿rbsp＿data＿bytes [i] [j] []で指定されたPPS RBSPで指定されたPPSデータに関連付けられたPPS NALユニットを生成するための一時識別子を指定する。
pps＿rbsp＿data＿length [i] [j]は、i番目の抽出情報セットに設定された次のj番目の変位画像パラメータセットのバイト数pps＿rbsp＿data＿bytes [i] [j] [k]を示す。
mcts＿alignment＿bit＿equal＿to＿zeroは０に等しくなければならない。
vps＿rbsp＿data＿bytes [i] [j] [k]は、i番目の抽出情報セット内の次のj番目の変位ビデオパラメータセットのRBSPのk番目のバイトを含む。
sps＿rbsp＿data＿bytes [i] [j] [k]は、i番目の抽出情報セットに設定された次のj番目の変位シーケンスパラメータのRBSPのk番目のバイトを含む。
pps＿rbsp＿data＿bytes [i] [j] [k]は、i番目の抽出情報セットに設定された次のj番目の変位画像パラメータのRBSPのk番目のバイトを含む。
サブビットストリームMCTS抽出プロセスは、以下のように適用される。
ビットストリームinBitstream、目標MCTS識別子mctsIdTarget、目標MCTS抽出情報セット識別子mctsEISIdTarget、および目標最高TemporalId値mctsTIdTargetをサブビットストリームMCTS抽出プロセスへの入力とする。
サブビットストリームMCTS抽出プロセスの出力は、サブビットストリームoutBitstreamである。
入力ビットストリームについてのビットストリーム適合の要件は、ビットストリームとともにこの節で規定されているプロセスの出力である任意の出力サブビットストリームが、適合するビットストリームであることである。
出力サブビットストリームは、以下のように導出される。
−ビットストリームoutBitstreamは、ビットストリームinBitstreamと同一に設定される。
−ausWithVPS、ausWithSPSおよびausWithPPSのリストは、VPS＿NUT、SPS＿NUTおよびPPS＿NUTタイプのVCL NALユニットを含むoutBitstream内のすべてのアクセスユニットで構成されるように設定される。
−０に等しいnuh＿layer＿idを有し、ネストされていないSEIメッセージを含むすべてのSEI NALユニットを除去する。
注2  - 「スマート」ビットストリーム抽出器は、サブビットストリームに適用可能なSEIメッセージが元のビットストリームのmcts＿extraction＿info＿nesting（）にネストされたSEIメッセージとして存在していれば、抽出されたサブビットストリームに適切な非ネストSEIメッセージを含めることができる。
−outBitstreamからすべてのタイプのNALユニットを除去する：
−mcts＿id [i]がmctsIdTargetに等しいタイルセットに属していないタイルを含むVCL NALユニット。
−タイプVPS＿NUT、SPS＿NUT、またはPPS＿NUTを有する非VCL NALユニット。
−mctsElSldTarget番目のMCTS抽出情報セット、つまり０からnum＿vps＿in＿extraction＿info＿minus1 [mctsEISIdTarget]の範囲のjのすべての値についてのvps＿rbsp＿data＿bytes [mctsEISIdTarget] [j] []におけるVPS RBSPデータから生成されたタイプVPS＿NUTを有するoutBitstream num＿vps＿in＿extraction＿info＿minus1 [mctsEISIdTarget] plus 1 NALユニット内のリストausWithVPS内の全てのアクセスユニットに挿入する。生成された各VPS＿NUTに対して、nuh＿layer＿idは０に等しく設定され、nuh＿temporal＿id＿plus1は１に等しく設定される。
−mctsEISIdTarget番目のMCTS抽出情報セット、つまり０からnum＿sps＿in＿extraction＿info＿minus1 [mctsEISIdTarget]の範囲のjのすべての値についてのsps＿rbsp＿data＿bytes [mctsEISIdTarget] [j] []におけるSPS RBSPデータから生成されたタイプSPS＿NUTを有するoutBitstream num＿sps＿in＿extraction＿info＿minus1 [mctsEISIdTarget] plus 1 NALユニット内のリストausWithSPS内の全てのアクセスユニットに挿入する。生成された各SPS＿NUTに対して、nuh＿layer＿idは０に等しく設定され、nuh＿temporal＿id＿plus1は１に等しく設定される。
−mctsEISIdTarget番目のMCTS抽出情報セット、つまり、pps＿nuh＿temporal＿id＿plus1 [mctsEISIdTarget] [j]がmctsTIdTarget以下の値を含む範囲０からnum＿pps＿in＿extraction＿info＿minus1 [mctsEISIdTarget]の範囲のjのすべての値についてのpps＿rbsp＿data＿bytes [mctsEISIdTarget] [j] []におけるPPS RBSPデータから生成されたタイプPPS＿NUTを有するoutBitstream NALユニット内のリストausWithPPS内の全てのアクセスユニットに挿入する。生成された各PPS＿NUTに対して、nuh＿layer＿idは０に等しく設定され、nuh＿temporal＿id＿plus1は、０からnum＿pps＿in＿extraction＿info＿minus1 [mctsEISIdTarget]の範囲内のjのすべての値に対して、pps＿nuh＿temporal＿id＿plus1 [mctsEISIdTarget] [j]に等しく設定され、pps＿nuh＿temporal＿id＿plus1 [mctsEISIdTarget] [j]はmctsTIdTarget以下である。
−mctsTIdTargetより大きいTemporalIdを持つすべてのNALユニットをoutBitstreamから除去する。
−outBitstreamの残りのVCL NALユニットごとに、次のようにスライスセグメントヘッダを調整する。
−各アクセスユニット内の最初のVCL NALユニットについて、first＿slice＿segment＿in＿pic＿flagの値を１に等しく設定し、それ以外の場合は０に等しく設定する。
−pps＿pic＿parameter＿set＿idがslice＿pic＿parameter＿set＿idと等しいPPSで定義されたタイル設定に従って、slice＿segment＿addressの値を設定する。
【０１２８】
MCTS抽出情報入れ子SEIメッセージは、次のように設計することができる。
【０１２９】
2019506091.tif 000006
【０１３０】
意味論に関して、MCTS抽出情報入れ子SEIメッセージは、情報５０を形成するためにMCTS抽出情報セットSEIメッセージに加えて、またはこれに代わって存在してもよいことに留意されたい。
【０１３１】
MCTS抽出情報入れ子SEIメッセージは、入れ子にされたSEIメッセージを搬送し、ネストされたSEIメッセージを、1つ以上の動きが制約されたタイルセットに対応するビットストリームサブセットと関連付けるためのメカニズムを提供する。
MCTS抽出情報セットSEIメッセージのセマンティクスで指定されたサブビットストリームMCTS抽出プロセスでは、MCTS抽出情報入れ子SEIメッセージに含まれる入れ子SEIメッセージを使用して、MCTS抽出情報入れ子SEIメッセージを含むアクセスユニット内の入れ子になっていないSEIメッセージを置換えることができる。
０に等しいall＿tile＿sets＿flagは、mcts＿identifierリストがmcts＿identifier [i]で構成されていることを示す。１に等しいall＿tile＿sets＿flagは、リストmcts＿identifier [i]が、現在のアクセスユニットに存在するtemporal＿motion＿constrained＿tile＿sets SEIメッセージのmcts＿id []のすべての値からなることを示す。
【０１３２】
num＿associated＿mcts＿identifiers＿minus1 plus 1は、続くmcts＿identifierの数を示す。num＿associated＿mcts＿identifiers＿minus1 [i]の値は、０〜２32−２の範囲内でなければならない。
mcts＿identifier [i]は、次の入れ子にされたSEIメッセージに関連付けられたmcts＿identifier [i]に等しいmcts＿idを持つタイルセットを示す。mcts＿identifier [i]の値は、０〜２32−２の範囲内でなければならない。
num＿seis＿in＿mcts＿extraction＿seis＿minus1 plus 1は、次の入れ子にされたSEIメッセージの数を示す。
mcts＿nesting＿zero＿bitは0に等しくなければならない。
【０１３３】
情報５０、すなわちパラメータおよび／またはSEI適応を導く情報の評価または生成は、代替的に外部エンコーダ８０で、すなわちストリーム１０への画像１２の実際の符号化が行われる場所の外で行うことができることは既に示された。このような代替案によれば、データストリーム１０は元のパラメータ２０ａおよび／または未削減ストリーム１０のみに関する元のSEIメッセージを伴うように送信されてもよい。オプションとして、画像１２の１つ以上のサポートされたサブ領域２２に関する情報がビデオストリーム１０に存在してもよいが、情報５０の評価は、１つ以上のサブ領域を決定するためにストリーム１２のタイル構造を単独で評価することに基づいてもよいため、これは必須ではない。そうすることで、情報５０の評価の煩雑な作業は、エンコーダサイトからクライアントに近い場所、または最終段のデコーダ８２のすぐ上流のようなユーザサイトにさえ移されるが、所望のサブ領域２２の外側の画像１２の領域を参照して、ペイロード部分１８の部分７０の送信を中止することによって、完全な、すなわち未削減のデータストリーム１０の送信を回避することができる。未削減のデータストリーム１２に関する元の符号化パラメータセット２０ａおよび／またはSEIメッセージは、当然のことながら送信されることになる。部分７０の実際の削減または除去６８を実行するネットワークエンティティ６０は、同様に情報５０の評価を実行するエンティティのすぐ上流に存在することができる。例えば、ストリーミング装置は、データストリーム１０のペイロード部分１８の部分のみを特にダウンロードし、部分７０に属さない。この目的のために、マニフェストファイルのようないくつかのダウンロード処方を使用することができる。この目的のためにDASHプロトコルを使用することができる。情報５０の評価は、実際には、図３または図５によるパラメータの実際のパラメータ調整、および／またはSEI変位の準備として、デコーダの前に存在するそのようなネットワーク装置内で行うことができる。全体として、ネットワーク装置は、上述した代替案に従って、ペイロード部分１８をより少ない部分７０だけ含むが部分７０を含むペイロード部分１８に画像１２の完全な符号化をパラメータ化するパラメータ２０ａを依然有する削減されたデータストリーム１０を受信するためのインタフェースを含むことができる。位置表示３２は依然として元の位置表示であってもよい。すなわち、受信されたデータストリームは実際に誤って符号化される。受信されたデータストリームは、パラメータ２０ｂを有する図５に示すデータストリーム６２に対応するが、依然として元のパラメータ２０ａであり、依然として位置表示３２は間違っている。そのストリーム内のインデックス５４は、そのストリーム内のパラメータ２０ａを参照し、未削減データストリームの元の符号化に対して変更されていない可能性がある。実際には、削減されていない元のデータストリームは、部分７０の省略によって受信された元のデータストリームとは単に異なる場合がある。任意選択で、１つ以上のSEIメッセージが含まれるが、これは元のコーディング、例えば元の画像１２のサイズまたは完全なコーディングの他の特性を参照する。この��うなネットワーク装置の出力には、デコーダ８２によって復号化されるデータストリーム６２が出力される。この入力と出力との間には、インバウンドデータストリーム１０が既に削減対象となっているサブ領域１２に適合するようにSEIメッセージおよび／またはパラメータを適合させるモジュールが接続されている。すなわち、そのようなモジュールは、タスク７４、すなわちパラメータ２０ｂとなるようにパラメータ２０ａを調整し、タスク７８、すなわち、サブ領域２２の周囲を正確に参照するように位置表示３２を調整する必要がある。削減が実行されたサブ領域２２についての知識は、サブ領域２２を参照してペイロード部分１８の部分にストリーム１０のダウンロードを特に制限する後者の場合に、そのようなネットワーク装置にとっては内部的であってもよいし、削減６８のタスクを想定して、ネットワーク装置の上流に存在してもよい別のネットワーク装置の場合は外部から供給される。入力と出力との間にモジュールを含むネットワーク装置については、例えばソフトウェア、ファームウェアまたはハードウェアにおける実装の点で、図４のネットワーク装置に関して上述したのと同じ記述が当てはまる。ちょうど概説された実施形態を要約すると、実施形態は、ビデオの画像が符号化されるペイロード部分の一部分を含むデータストリームを受信するように構成されたネットワーク装置に関する。この割合は、画像の所定のサブ領域２２の外側の画像の領域を参照するペイロード部分１８から部分７０を除外したときの結果に対応する。ビデオの画像１２は、データストリームのパラメータセット部分の符号化パラメータ設定を使用して、排除することなくパラメータ化された態様でペイロード部分１８に符号化される。すなわち、受信されたデータストリームのパラメータセット部分は、部分７０が残されていなければ、画像１２の符号化をペイロード部分１８にパラメータ化する。これに加えて又はこれに代えて、ビデオの画像１２は、データストリームの補助拡張メッセージによって示される補助拡張情報を排除することなく適合させるようにペイロード部分１８に符号化される。すなわち、受信されたデータストリームによって任意に含まれるSEIメッセージは、実際に未削減ペイロード部分１８と一致する。ネットワーク装置は、ペイロード部分内の位置表示３２を変更７８して、画像１２の代わりに所定のサブ領域２２の周囲から測定された位置を示すように受信データストリームを変更し、修正されたデータストリームがペイロード部分１８の一部、すなわち、７０を除くすべての部分または換言すれば画像の所定のサブ領域を示すサブ領域固有画像８４を有するように、パラメータセット部分の符号化パラメータ設定を調整しおよび／または、補助拡張情報メッセージを調整し、このように調整された符号化パラメータ設定を使用して正しくパラメータ化されるように符号化されたおよび／または調整後に調整された補助拡張情報メッセージにより示された補助拡張情報に補助拡張情報を一致させる。パラメータ２０ａに加えてパラメータ２０ｂの生成は、パラメータ設定２０ａおよび２０ｂの両方を運ぶデータストリームをもたらすように、前の実施形態に従ってエンコーダ８０によって行わ��ている。ここで、上記の代替案では、パラメータ２０ａは、オンザフライに準ずるパラメータ２０ｂに変えられる。パラメータ２０ｂへのパラメータ２０ａの調整は、サブ領域２２に関する知識を使用してパラメータ２０ａを修正することを必要とする。例えば、設定２０ａ内の画像サイズ２６は完全な画像１２のサイズに対応するが、画像サイズは、設定２０ｂの調整後に、サブ領域２２または画像８６のサイズをそれぞれ示す必要がある。同様に、設定２０ａ内のタイル構造３８は完全な画像１２のタイル構造に対応するが、タイル構造３８は、設定２０ｂの調整後に、サブ領域２２または画像８６のタイル構造をそれぞれ示さなければならない。同様の記述は、例えば、バッファサイズとタイミング４６に関して当てはまるが、排他的ではない。受信された受信データストリーム中に再送信されたSEIメッセージがない場合、調整は必要ない。あるいは、SEIメッセージを調整する代わりに、単に中止することもできる。
【０１３４】
上記の実施形態に関して、補助拡張情報の適応は、バッファサイズおよび／またはバッファタイミングデータに関連し得ることに留意されたい。換言すれば、分解されたまたは削減されたビデオストリームに適合するように、元のSEIと変位SEIとの間で適合する、あるいは異なる任意に存在するSEI内の情報のタイプは、少なくとも部分的に、バッファサイズおよび／またはバッファタイミングデータに関連する。すなわち、ストリーム１０内のSEIデータは、完全な符号化に関するバッファ・サイズおよび／またはバッファ・タイミング・データを有することができ、一方、図１に関して説明したような前者のものに加えて伝達されるあるいは前の段落で説明したようにオンザフライで生成される変位SEIデータは、削減ストリーム６２および／または削減画像８６に関するバッファサイズおよび／またはバッファタイミングデータを有する。
【０１３５】
以下の説明は、本出願の第２の態様、すなわちビデオコーデックの通常矩形の画像形状に適合しないビデオデータのより効率的な搬送を可能にするための概念に関する。前と同様に、第１の態様に関して、以下の説明は、一種の導入、すなわち、以下に説明する実施形態から生じる利点を動機付けるために、そのような問題が発生する可能性のあるアプリケーションの例示的な説明から始まる。しかしながら、また、この予備的な説明は、後に説明する実施形態の広さを制限するものとして理解されるべきではないことに留意すべきである。その上に、次に説明する本出願の態様は、上述した実施形態との有利な方法で組み合わせることもできることに留意されたい。これに関する詳細も以下に述べる。
【０１３６】
次に説明する問題は、特に上記のサブ領域抽出のような処理が適用されるとき、パノラマビデオに使用される様々な投影から生じる。
【０１３７】
例えば、以下の説明では、いわゆる３次投影を用いる。立方体射影は、心射図法（gnomonic projection）とも呼ばれる、直線射影の特殊な場合である。この投影は、シーンの画像表現が取得されるとき、ほとんどの従来のカメラシステム／レンズについて近似された変換を記述する。シーン内の直線は、図１４に示すように、結果として生じる画像内の直線にマッピングされる。
【０１３８】
３次投影は、直方体投影を適用して、立方体の周囲を、６つの面にマッピングする。各面は、立方体の中心から９０°×９０°の視野角を持つ。この種の立方体射影の結果は、図１５の画像Aとして示されている。共通の画像における６つの面の他の配列も同様に可能である。
【０１３９】
このようにして得られた画像A（すなわち、使用されていない画像領域１３０および矩形の形状がより少ない）をより符号化するためのフレンドリーな表現を導き出すために、画像パッチを画像内で移動させることができ、図１６に示すように、図Bが得られる。
【０１４０】
システムの観点から見ると、画像B（図１６）内の様々なイメージパッチが、画像Aの元の（ワールドビュー方向）連続表現、すなわち、画像Bの表現を与えられている画像A（図１５）を導出するための付加情報と空間的にどのように関連しているかの理解を持つことが重要である。特に、上述の環境の下で、図１〜図１３の符号化領域における上述のサブ領域抽出のような処理は、サーバ側またはネットワーク要素上で実行される。この場合、図Aの分離されたROI900を介して示された画像Bの一部のみが、エンド装置で利用可能である。エンド装置は、所定の（部分）ビデオの関連領域を、エンドディスプレイ／レンダリング装置が期待する正しい位置および領域に再マップすることができなければならない。上記の抽出プロセスに従って符号化されたビデオビットストリームを変更するサーバまたはネットワーク装置は、変更されたビデオビットストリームに応じて、それぞれの信号伝達変位シグナリングを生成し、追加または調整することができる。
【０１４１】
従って、後に説明される実施形態は、画像Bのサンプルのビデオビットストリーム（矩形）グループ内を示すシグナリングを提供する。さらに、水平および垂直方向における画像Bのサンプルに関するサンプルの各グループの変位。さらなる実施形態では、ビットストリームシグナリングは、画像Aの結果の画像サイズに関する明示的な情報を含む。さらに、変位されたサンプル群によってカバーされていないサンプル、または変位されたサンプル群によって最初にカバーされたサンプルのデフォルトの輝度値およびクロマ値。さらに、画像Aのサンプルの一部は、画像Bの対応するサンプルのサンプル値で初期化されているものとすることができる。
【０１４２】
例示的な実施形態は、図１７のシンタックス表に示されている。
【０１４３】
更なる実施形態は、置き換えられるサンプル群に属するサンプルの表示のためにタイル構造シグナリングを利用する。
【０１４４】
図１８に関して、第２の態様によるデータストリーム２００の実施形態が示されている。データストリーム２００は、そこに符号化されたビデオ２０２を有する。図１８の実施形態は、データストリーム２００のみに符号化された１つの画像を参照するように修正されてもよいが、第２の態様による実施形態が本願の他の態様のいずれかの実施形態と組合わされたそれらの例の理解を容易にするために、図１８は、データストリーム２００が画像データストリームではなくビデオデータストリームである例を示す。今述べたように、データストリーム２００は、そこに符号化されたビデオ２０２の画像２０４を有する。
【０１４５】
しかしながら、さらに、ビデオデータストリーム２００は、変位情報２０６を含む。変位情報は以下の意味を有する。実際には、データストリーム２００は、非矩形の外周を有する画像２０４内の画像コンテンツを搬送しなければならない。図１８は、参照符号２００におけるそのような画像コンテンツの一例を示す。すなわち、画像コンテンツ２０８は、データストリーム２００が１つのタイムスタンプ、すなわち１つの画像２０４内で搬送すべき画像コンテンツを示す。しかし、実際の画像コンテンツの外周２１０は非矩形である。図１８の例では、実際の画像コンテンツはむしろ立方体２１２の６辺の繰り出しに相当し、その側面は図１８の数字１の通常の分布を用いて立方体２１２の６つの辺に６つずつ、すなわち反対側の辺の数が合計７になるようにする。従って、各辺は、実際の画像コンテンツ２０８の１つのサブ領域２１４を表し、例えば、完全な３次元パノラマシーンのうちの６番目のものの、この例によれば正方形の形状であるそれぞれのサブ領域２１４への適切な投影を表すことができる。しかしながら、既に上述したように、サブ領域２１４は異なる形状であってもよく、行および列の規則的な配置とは異なる方法で画像コンテンツ２０８内に配置されてもよい。いずれにしても、２０８に示された実際の画像コンテンツは非矩形であり、従って、切離されたパノラマコンテンツ２０８を完全に包含する可能な最小の矩形目標画像領域２１６は、未使用部分１３０、すなわちパノラマシーンに関連する実際の画像コンテンツにより占有されない部分を有する。
【０１４６】
従って、データストリーム２００内で搬送されるビデオ２０２の画像２０４内の画像領域を「無駄にしない」ために、画像２０４は、サブ領域２１４の空間相対配置が対象画像領域２１６内のそれらの配置に対して相対的に変更されるように完全な現実の画像コンテンツ２０８を実行する。
【０１４７】
図１８に示すように、図１８は、４つのサブ領域、すなわち、サブ領域１，２，４および５が、画像２０４の歪ませないまたは合同コピー上で変位すべきでないがサブ領域３および６は変位されなければならない例を示す。例示的には、図１８において、変位は、２次元ベクトル２１８によって記述され得る純粋な並進変位であるが、代替の実施形態によれば、例えば、一方では画像２０４と他方では目標画像領域２１６との間で遷移する際のそれぞれのサブ領域のスケーリングおよび／または反射（ミラーリング）および／または回転を含む例えば変位のようなより複雑な変位を選択することができる。変位情報２０６は、画像２０４の少なくとも１つの所定のサブ領域のセットのそれぞれについて、画像２０４の対象画像領域２１６への歪みのない、または配置されていないコピーに対する対象画像領域２１６内のそれぞれのサブ領域の変位を示すことができる。例えば、図１８の例では、変位情報２０６は、サブ領域３および６のみを包含する一組のサブ領域２１４の変位を示すことができる。代替的に、変位情報２０６は、その左上隅のような対象領域２１６のいくつかのデフォルト点に対する、サブ領域２１４または変位されたサブ領域２１４のセットを示すことができる。デフォルトでは、図１８，１，２，４および５の例の画像２０４内の残りのサブ領域は、例えば、デフォルト・ポイントに対する対象画像２１６上への歪みのないまたは合同のコピーのような残りとして扱うことができる。
【０１４８】
図１９は、変位情報が、変位されるべきサブ領域２１４のカウント２２０と、対象画像領域２１６，２２２のサイズを示す対象画像領域サイズパラメータと、ｎ個の変位サブ領域のそれぞれについて、画像２０４内のそれらの本来の配置内のサブ領域２１４を対象領域２１６上にマッピングする場合に、前述のデフォルト点に対する変位、またはその相対位置を測定することにより、変位されるべき各サブ領域２１４の変位２１８を記述する、例えば座標２２４とを含むことができる。座標２２４に加えて、情報２０６は、移動されるべき各サブ領域２１４についてスケーリング２２６、すなわち、それぞれのサブ領域２１４をマッピングするときに、対象画像領域２１５内でそれぞれの座標２２４に従って移動されたそれぞれのサブ領域２１４がどのようにスケーリングされるべきかの指示を含む。スケーリング２２６は、変位していないサブ領域２１４に対して拡大または削減をもたらすことができる。代替的に、水平および／または垂直の反射および／または回転が、各サブ領域２１４について示され得る。さらに、変位情報２０６は、各サブ領域が対象領域２１６内に移動または配置されるために、それぞれのサブ領域２１４を移動させることなく対象領域２１６上にマッピングする場合には再びデフォルト点またはそれぞれのコーナーに対して測定されるそれぞれの領域の左上隅の座標および右下隅の座標を含むことができる。これにより、配置、スケーリングおよび反射が通知される。したがって、送信された画像２０４のサブ領域２１４は、画像２０４内のそれらの元の相対的な配置に対して自由に移動することができる。
【０１４９】
変位情報２０６は、例えば、画像２０４のシーケンスまたはビデオ２０２全体の場合のように、１つのタイムスタンプまたは１つの画像２０４より大きいビデオ２０２の時間間隔に対して、有効範囲、すなわち有効性を有することができる。さらに、図１８は、任意選択で、データストリーム２００が対象画像領域の部分１３０を復号化側で満たすべきことを用いるデフォルト充填を示すデフォルト充填情報２２８も含むことができることを示している。すなわち、これらの部分１３０はサブ領域２１４、すなわち、画像２０４の変位したまたは変位していないサブ領域２１４のいずれか１つのいずれによっても覆われていない。図１８の例では、例えば、サブ領域１，２，４および５は、図１８にハッチングされていない画像２０４の非変位部分を形成し、一方、画像２０４の残り、すなわち、図１８にハッチングで示したサブ領域３，６、およびこれら６つのサブ領域の全ては、部分１３０がデフォルト充填情報２２８に従って充填されるようにサブ領域３および６が情報２０６に従って変位された後に、対象画像領域２１６の斜線部分１３０を覆わない。
【０１５０】
データストリーム２００を生成するのに適したエンコーダ２３０が図２０に示されている。エンコーダ２３０は、データストリーム２００にエンコードする画像２０４を用いて対象画像領域を満たすために必要な変位を示す情報２０６をデータストリーム２００に単に付随させるか、または供給する。図２０はさらに、エンコーダ２３０が、例えば、図１ないし１３の実施形態のデータストリーム１０のようなコンプライアンス維持方法で削減可能となるようにデータストリーム２００を生成することができることを示す。換言すれば、エンコーダ２３０は、図１のエンコーダ８０を実現するように実施されてもよい。説明のために、図２０は、画像２０４がサブ領域２１４のアレイ、すなわち図１８の例によるサブ領域の２×３アレイに細分化される場合を示す。画像２０４は、画像１２、すなわち非削減データストリーム２００の画像に対応することができる。図２０は、エンコーダ２３０がデータストリーム２００を削減可能にすることに関するサブ領域２２を例示的に示す。図１に関して説明したように、いくつかのそのようなサブ領域２２が存在してもよい。この手段によって、ネットワーク装置は、データストリーム２００の一部を単に抽出し、画像８６が単にサブ領域２２を示す削減ビデオデータストリームを得るように、データストリーム２００を削減することができる。データストリーム２００が削減可能であり、サブ領域２２に関連する削減ビデオデータストリームが、参照符号２３２を使用して図２０に示されている。削減されていないビデオデータストリーム２００の画像２０４は画像２０４を示しているが、削減ビデオデータストリーム２３２の画像は単にサブ領域２２を示す。エンコーダ２３０は、削減ビデオデータストリーム２３２の画像のコンテンツで対象画像領域を満たす能力を有する削減ビデオデータストリーム２３２を受信するデコーダのようなレシーバを提供するために、サブ領域２２に固有の変位情報２０６'を有するビデオデータストリーム２００を付加的に提供できる。例えば図４の６０のようなネットワーク装置は、ビデオデータストリーム２００を削減してビデオデータストリーム２３２を削減させる結果、変位情報２０６を除去し、変位情報２０６'を削減ビデオデータストリーム２３２に単に引継ぐことができる。この測定によって、デコーダなどのレシーバは、図１８に示す対象画像領域２１６上に、サブ領域２２の内容に関連する削減ビデオデータストリーム２３２の画像の内容を満たすことができる。
【０１５１】
再び、図２０は、削減可能なビデオデータストリームに限定されるものとして理解されるべきではないことを強調すべきである。ビデオデータストリーム２００が削減可能である場合には、図１ないし図１３に関して上に提示されたものとは異なる概念が使用されてもよい。
【０１５２】
図２１は可能な受信を示す。復号器２３４は、ビデオデータストリーム２００または削減ビデオデータストリーム２３２を受信し、その画像、すなわちそれぞれ画像２０４または削減ビデオデータストリーム２３２に基づいてサブ領域２２を単に示す画像を再構成する。レシーバはデコーダであり、復号化コア２３４の他に、画像内容に基づいて、対象画像領域２１６を充填するためにビデオデータストリーム２００の場合は２０６、削減ビデオデータストリームの場合は２０６'の変位情報を使用する変位器２３６を備える。従って、変位器２３６の出力は、それぞれのデータストリーム２００または２３２の各画像に対して充填された対象画像領域２１６である。上述したように、対象画像領域のいくつかの部分は、画像内容によって満たされていないままである。任意選択的に、レンダラ２３８は、変位器２３６の後に、または変位器２３６の出力に接続されてもよい。レンダラ２３８は、現在見ているシーンセクションに対応する出力画像または出力シーン２４０を形成するように、対象画像領域２１６（または対象画像領域の充填領域内にある少なくともそのサブ領域）によって形成された対象画像に注入投影(injective projection)を適用する。レンダラ２３８によって実行される注入投影は、３次投影の逆であってもよい。
【０１５３】
従って、上記の実施形態は、パノラマシーンまたはセミパノラマシーンなどの画像データの矩形の領域単位のパッキングを可能にする。具体的なシンタックス例を以下に示す。以下に、射影されたフレームのソース矩形領域、すなわち２１６が、パックされたフレームの宛先矩形領域、すなわち２０４にどのようにパックされるかを指定する、フォーム内にRectRegionPacking（i）と呼ばれる擬似コードのシンタックス例が提示される。９０度、１８０度、または２７０度の水平ミラーリングおよび回転が示され、領域の幅および高さから垂直および水平リサンプリングが推測される。
【０１５４】
aligned（8）class RectRegionPacking（i）[
符号なし整数（32）proj＿reg＿width [i];
符号なし整数（32）proj＿reg＿height [i];
符号なし整数（32）proj＿reg＿top [i];
符号なし整数（32）proj＿reg＿left [i];
符号なし整数（8）transform＿type [i];
符号なし整数（32）packed＿reg＿width [i];
符号なし整数（32）packed＿reg＿height [i];
符号なし整数（32）packed＿reg＿top [i];
符号なし整数（32）packed＿reg＿left [i];
]
【０１５５】
セマンティクスは次のとおりである。
【０１５６】
proj＿reg＿width [i]、proj＿reg＿height [i]、proj＿reg＿top [i]およびproj＿reg＿left [i]は、それぞれ、投影フレーム、すなわち、２１６において、proj＿frame＿widthおよびproj＿frame＿heightに等しい幅および高さを有する画像単位で示される。iは、図１８と比較すると、それぞれの領域の場合の、すなわちタイル２１４のインデックスである。proj＿reg＿width [i]は、投影されたフレームのi番目の領域の幅を指定する。proj＿reg＿width [i]は０より大きくなければならない。proj＿reg＿height [i]は、投影されたフレームのi番目の領域の高さを指定する。proj＿reg＿height [i]は０より大きくなければならない。proj＿reg＿top [i]とproj＿reg＿left [i]は、投影されたフレームの一番上のサンプル行と一番左のサンプル列を指定する。値は、投影フレームの左上隅を内包的に示す０以上の値から、それぞれ排他的なproj＿frame＿heightおよびproj＿frame＿widthまでの範囲内に存在する。proj＿reg＿width [i]とproj＿reg＿left [i]は、proj＿reg＿width [i] + proj＿reg＿left [i]がproj＿frame＿widthより小さくなるように制約されなければならない。 proj＿reg＿height [i]およびproj＿reg＿top [i]は、proj＿reg＿height [i] + proj＿reg＿top [i]がproj＿frame＿heightより小さくなるように制約されなければならない。投影されたフレーム２１６が立体視である場合、proj＿reg＿width [i]、proj＿reg＿height [i]、proj＿reg＿top [i]およびproj＿reg＿left [i]は、投影されたフレーム上のこれらのフィールドによって識別される領域が投影されたフレームの単一の構成フレーム内にあるようになる。transform＿type [i]は、投影フレームのi番目の領域に適用された回転およびミラーリングを指定して、パックされたフレームにマッピングし、したがって、マッピングはそれぞれの領域２１４を領域２１６に戻すマップをするために逆転されなければならない。当然のことながら、画像２０４から対象領域２１６へのマッピングを示すことができる。transform＿type [i]が回転とミラーリングの両方を指定する場合、回転はミラーリングの後に適用される。当然のことながら、逆も可能である。実施形態に従って、以下の値が指定されるが、他の値が予約されてもよい。
【０１５７】
１：変換なし、２：水平方向にミラーリング、３：１８０度回転（反時計回り）、４：水平方向にミラーリングの後に１８０度回転（反時計回り）、５：水平方向にミラーリングの後に９０度回転（反時計回り）、６：９０度回転（反時計回り）、７：水平方向にミラーリングの後に２７０度回転（反時計回り）、８：２７０度回転（反時計回り）。値はEXIF方向タグに対応することに留意されたい。
【０１５８】
packed＿reg＿width [i]、packed＿reg＿height [i]、packed＿reg＿top [i]、およびpacked＿reg＿left [i]は、それぞれ、パックされたフレーム、すなわち画像２０４内のタイル２１４によって覆われた領域内の領域の幅、高さ、一番上のサンプル行、一番左のサンプル列を指定する。packed＿reg＿width [i]、packed＿reg＿height [i]、packed＿reg＿top [i]、およびpacked＿reg＿left [i]で指定される矩形は、packed＿reg＿width [j]、packed＿reg＿height [j]、packed＿reg＿top [j]で指定される矩形と重ならないものとする。 packed＿reg＿left [j] は0からi−1までの範囲を含むjの任意の値に対する。
【０１５９】
上記の例を要約して一般化すると、上記でさらに説明した実施形態は、画像２１４の領域またはタイル２１４のそれぞれについて、２つの矩形領域が示され、すなわち、それぞれの領域またはタイル２１４が対象領域２１６内をカバーする領域と、それぞれの領域またはタイル２１４が画像領域２０４内をカバーする矩形領域と、これらの２つの領域の間のそれぞれの領域またはタイル２１４の画像コンテンツ、すなわち反射および／または回転をマッピングするためのマッピング規則を含む点で異なる。異なるサイズの１対の領域をシグナリングすることによって、スケーリングを示すことができる。
【０１６０】
以下、本願の第３の態様について説明する。第３の態様は、アクセスポイントをビデオデータストリームに分配する有利な概念に関する。特に、ビデオデータストリームに符号化された画像の１つ以上のサブ領域に関連するアクセスポイントが紹介される。そこから生じる利点を以下に説明する。本出願の他の態様と同様に、第３の態様の説明は、発生する問題を説明する導入とともに存在する。第１の態様の説明と同様に、この紹介は例示的にHEVCを指すが、この状況は、HEVCおよびその拡張のみを参照するように、後で説明される実施形態を限定するものとして解釈されるべきではない。
【０１６１】
上記のTMCTSシステムとの関連では、固有のランダムアクセスポイントが明確な利益をもたらすかもしれない。異なる時間インスタンスにおけるタイルにおけるランダムアクセスは、ビデオシーケンス内の画像にわたってビットレートピークのより均等な分布を可能にする。HEVCにおける画像固有のランダムアクセスのための機構のすべてまたはサブセットは、タイルに転送することができる。
【０１６２】
画像固有のランダムアクセスメカニズムの１つは、a）提示順またはb）符号化および提示順に続く画像がイントラ符号化画像の前の画像サンプルへの予測依存性を継承するイントラ符号化画像またはアクセスユニットの指示である。
換言すれば、参照画像・バッファ・リセットは、b）の場合に瞬時に、またはa）の場合に最初の後続画像・オンのいずれかから指示される。HEVCでは、そのようなアクセスユニットは、固有のNALユニットタイプ、すなわちBLA、CRA（カテゴリaの上の両方）またはIDR（カテゴリーb上）のようないわゆるイントラランダムアクセスポイント（IRAP）アクセスユニットを介してネットワーク抽象化レイヤ（NAL））上に示される。以下でさらに説明される実施形態は、例えば新しいNALユニットタイプまたは後方互換性のためのSEIメッセージを介して、NALユニットヘッダレベル指示を使用することができ、SEIメッセージは、デコーダまたはネットワーク中間ボックス／装置フェッチユニットに対して所与のアクセスユニットは条件a）またはb）、すなわち、何らかの形の参照画像・バッファ・リセットが、スライス／タイル単位で適用される少なくとも１つのイントラ符号化スライス／タイルを含むことを示す。さらに、スライス／タイルは、NALユニットタイプの信号化に加えて、またはこれに代えて、エンコーダ側の画像に対するスライスヘッダレベルの指示によって識別することができる。事前の復号化動作は、抽出後の復号化に必要なDPBサイズを削減することを可能にする。
【０１６３】
このためには、fixed＿tile＿structureを有効にして表現された制約が満たされなければならず、指定されたアクセスユニットの前のタイルのサンプルは、現在の画像の同じタイル（および他のタイル）によって参照されるべきではない。
【０１６４】
いくつかの実施形態によれば、エンコーダは、RAを経験する各サブ領域について、参照画像における時間的予測の基準として使用される画像領域が、これらのさらなるサブ領域が同じようにRAを受けると、さらなるサブ領域によってカバーされる画像領域によって拡張されるように、サブ領域間の時間的予測を介して符号化依存性を制約できる。これらのスライス／タイル／部分領域は、ビットストリーム内、例えばNALユニットまたはスライスレベルまたはSEIメッセージ上に示される。このような構造は、サブ領域の抽出を妨げるが、拘束された時間的予測のペナルティを軽減する。サブ領域ランダムアクセスのタイプ（抽出を可能にするか否か）は、ビットストリーム表示と区別可能でなければならない。
【０１６５】
別の実施形態は、コーディング依存性の特定の構造を採用することによって上記のシグナリング機会を利用する。この構造では、画像単位ランダムアクセスポイントは、特定の時点および既存の最先端のシグナリングでドリフトなしに瞬時ランダムアクセスを可能にする粗い時間粒度で存在する。
【０１６６】
しかしながら、より細かい時間的細分性では、符号化構造は、より少なく変動するビットレート挙動に向けて、時間の経過とともに、イントラ符号化画像サンプルのビットレート負荷を分配するタイル単位ランダムアクセスを可能にする。
【０１６７】
サブ画像ビットストリーム抽出プロセスでは、このようなストリーム構造内のタイルベースのランダムアクセスを示す上記のSEIメッセージによって示されるNALユニットのタイプは、画像単位ランダムアクセスに変更され、必要に応じて、抽出されたサブビットストリームのそれぞれの画像において瞬時ランダムアクセスの機会を示す。
【０１６８】
本出願の第３の態様の実施形態によるビデオデータストリーム３００を図２２に関して説明する。ビデオデータストリーム３００は、一連の画像３０２、すなわちビデオ３０４をその中に符号化している。前述の他の実施形態と同様に、画像３０２が示される時間的順序は、画像３０２がデータストリーム３００に符号化される復号化順序と一致してもよいし、一致しなくてもよい提示時間順序に対応してもよい。すなわち、前の他の図に関しては記載されていないが、ビデオデータストリーム３００は、アクセスユニット３０６のシーケンスに細分化されてもよく、各アクセスユニット３０６は、画像３０２のそれぞれ１つに関連付けられ、画像３０２がアクセスユニット３０６のシーケンスに関連付けられた順序はデコード順序に対応する。
【０１６９】
画像３０２は、時間的予測を使用してビデオデータストリーム３００に符号化される。すなわち、画像３０２間の予測符号化画像は、復号化順に各画像に先行する１つ以上の時間参照画像に基づく時間的予測を使用して符号化される。
【０１７０】
単に１つのタイプのランダムアクセス画像を有する代わりに、ビデオデータストリーム３００は、後述するように、少なくとも２つの異なるタイプを含む。特に、通常のランダムアクセス画像は、時間的予測が使用されない画像である。以下に説明される実施形態によれば、ビデオデータストリーム３００は、このような通常の画像単位のランダムアクセス画像を含んでも、含まなくてもよい。
【０１７１】
今説明したように、ランダムアクセス画像は、復号化順序で前の画像に依存しない。したがって、それらは、ビデオデータストリーム３００の復号化へのランダムアクセスを可能にする。しかし、時間的予測なしに画像を符号化することは、削減効率の点でペナルティを符号化することを意味する。従って、通常のビデオデータストリームは、ランダムアクセス画像においてビットレートピーク、すなわちビットレート最大値を生じる。これらの問題は、上述の実施形態によって解決することができる。
【０１７２】
図２２の実施形態によれば、ビデオデータストリーム３００は、少なくとも第１の画像サブ領域A内に時間的予測を中断して形成する１つ以上のランダムアクセスポイントのセットを形成するビデオデータストリーム３００に符号化されるタイプAの１つ以上の画像の第１のセットと、第１の画像サブ領域Aとは異なる第２の画像サブ領域B内の時間的予測を中断しながら、ビデオデータストリーム３００の１つ以上の第２のランダムアクセスポイントのセットを形成する、ビデオデータストリーム３００に符号化されたタイプBの１つ以上の画像の第２のセットとを含む。
【０１７３】
図２２の場合、第１および第２の画像サブ領域AおよびBは、ハッチングを用いて示され、図２３ａに示されるように、互いに重畳せず、サブ領域AおよびBが共通の境界に沿って互いに隣接するサブ領域AおよびBが画像３０２の画像領域全体をカバーするようにする。しかしながら、これは必ずしも当てはまらない。図２３ｂに示すように、サブ領域AおよびBは部分的に重畳してもよく、または図２３ｃに示すように、第１の画像領域Aは実際に画像３０２の画像領域全体をカバーしてもよい。図２３ｃの場合、タイプAの画像は、時間的予測が完全にスイッチオフされる画像単位のランダムアクセスポイントであり、すなわち、それぞれの画像全体にわたって時間的予測なしにデータストリーム３００に符号化される。完全性のために、図２３ｄは、サブ領域Bが画像領域３０２の内側に配置される必要はないが、２つの画像３０２の外側画像境界３１０にも隣接できることを示している。図２３ｅは、タイプAおよびBの画像に加えて、関連するサブ領域Cを伴うタイプCの画像であり、一緒に画像３０２の画像領域を完全にカバーすることができることを示す。
【０１７４】
時間的予測が中断されている図２２の画像BおよびA内の領域をサブ領域AおよびBに制限した結果は、以下のとおりである。通常、画像３０２をビデオデータストリーム３００に符号化するためのビットレートは、時間的予測がそれぞれの画像領域全体にわたって使用されるのを控えるため、ランダムアクセスポイントを形成する画像では大きく、（復号化順序で）以前の画像からの予測は、（少なくとも提示順で）後続の画像について破綻している。図２２のタイプAおよびBの画像の場合、時間領域予測の使用の回避は、サブ領域AおよびBにおいてのみ使用され、その結果、これらの画像AおよびBのビットレートピーク３１２は、画像単位ランダムアクセスポイント画像と比較して比較的低い。しかし、以下で説明するように、ビットレートピーク３１２の減少は、少なくとも完全な画像のランダムアクセスレートに関して、サブ領域の境界における符号化依存性制約を除いて、比較的低コストで生じる。これを図２２に示す：ここで、曲線３１４は、時間ｔに依存するビットレートの時間的変化を示す関数を表すものとする。説明したように、画像AおよびBの時点のピーク３１２は、画像単位のランダムアクセス画像から生じるピークよりも低い。画像単位のランダムアクセス画像を単に使用する場合と比較して、ビデオデータストリーム３００の画像に関連するランダムアクセス速度は、全体領域をカバーするサブ領域に関連するランダムアクセス画像が横断される速度に対応し、図２２の場合には、タイプBの少なくとも１つの画像およびタイプAの少なくとも１つの画像に遭遇するレートである。図２３ｃの例のように、ビデオデータストリーム３００内に通常の画像単位のランダムアクセス画像が存在する場合、すなわち画像Aの場合でさえ、単にそのような画像がビデオデータストリームにわたって時間的に分散される通常のビデオデータストリームよりも利点がある。特に、そのような場合には、図２３ｃの場合のサブ領域関連ランダムアクセス画像、すなわち画像Bの存在が、以下でより詳細に説明するように、高いビットレートのピークとともに来る画像Aの画像レートを削減することができるように利用される。タイプAの画像間のビデオデータストリーム３００にタイプBの画像を散在させることによって増加したランダムアクセスレイテンシを補償することにより、ビデオデータストリームへのサブ領域制限されたランダムアクセスが次の画像ごとにランダムアクセスポイントすなわち次の画像Aに遭遇する。
【０１７５】
ビデオデータストリーム３００内の特別なタイプのランダムアクセス画像を利用するデコーダの説明に進む前に、サブ領域Bおよび／またはサブ領域Aに関していくつかの注意が作成され、ウェイ画像３０２は、サブ領域AおよびBの外部の同じ画像内で時間的予測を適用しながらサブ領域AおよびB内の時間的予測の中断を超えてサブ領域を考慮に入れることによって、ビデオデータストリーム３００に符号化される。
【０１７６】
図２２は破線のボックス３１６を使用して、ちょうど輪郭が描かれた画像AおよびBをそれぞれ含むように画像３０２をビデオデータストリーム３００に符号化するように構成されたビデオ符号器を示す。すでに上記で概説したように、ビデオエンコーダ３１６は、画像３０２をビデオデータストリーム３００に符号化するための動き補償予測を使用するハイブリッドビデオエンコーダであってもよい。ビデオエンコーダ３１６は、画像３０２を、オープンGOP構造またはクローズドGOP構造などのビデオデータストリーム３００にエンコードするために、任意のGOP（グループオブ画像）構造を使用することができる。サブ領域関連ランダムアクセス画像AおよびBに関しては、これは、ビデオエンコーダ３１６が画像３０２画像の間に散在することを意味し、そのサブ領域、すなわちAまたはBは、復号化順で前の任意の画像に依存しない。このようなサブ領域Bおよび／またはAは、図１ないし１３の実施形態によるサブ領域２２、すなわちビデオデータストリーム３００が削減可能なサブ領域に対応し得ることが、後に説明される。しかしながら、これは単なる例であり、還元性はビデオデータストリーム３００の必要な特性ではないが、画像３１２が図１〜１３に関連してサブ領域２２の境界に関して上に述べた説明と同様に、サブ領域Bおよび／またはAの境界に従うようにビデオデータストリーム３００に符号化されると有利であることに留意されたい。
【０１７７】
特に、ビデオデータストリーム３００内の画像３０２を符号化する際の空間符号化依存性メカニズムの到達範囲は通常短いが、それぞれのサブ領域B ／ Aを符号化するための符号化依存性が、それぞれのサブ領域の外側または空間的に近隣に符号化依存性を導入しないように、それぞれのサブ領域の境界を越えないようにサブ領域関連ランダムアクセス画像、すなわち図２２の画像AおよびBがビデオデータストリーム３００に符号化される場合に、利点がある。すなわち、それぞれのサブ領域B ／ A内で、サブ領域関連ランダムアクセス画像AおよびBは、それぞれのサブ領域A ／ Bの外側のそれぞれの画像の部分に時間的予測および空間符号化依存性なしに符号化される。これを超えると、ランダムアクセス画像AとBとの間の画像もまた、セクションのセクション境界を考慮に入れてビデオデータストリーム３００に符号化される場合に有利である。これに関して、直前のセクション固有ランダムアクセス画像サブ領域固有のランダムアクセスポイントを形成する。
【０１７８】
例えば、図２２において、画像Bは、サブ領域Bに関してサブ領域固有のランダムアクセスポイントを形成し、したがって、画像３０２がこの画像Bに続き、次のサブ領域ランダムアクセス画像、すなわち画像Aの第１の発生に先行する場合、有利である。−このシーケンスは、例示的に、中かっこブラケット３１７を使用して示される。−画像３０２は、セクションBの境界を考慮して符号化される。特に、セクションBはセクションBの外部にあるこれら画像または画像B自身のいかなる部分にも依存しないようにこれら画像がビデオデータストリームに符号化されるようにこれらの画像をビデオデータストリーム３００に符号化するための空間的および時間的予測および符号化依存性が制限される場合、有利である。それを超えると、画像Bはサブ領域Bに関してランダムアクセスポイントを形成するので、画像３１７のサブ領域Bを時間的に予測するための時間参照画像は、画像Bに対してアップストリームに存在するべきではない。画像BとAとの間の中間画像のサブ領域Bを符号化するための空間依存性は、同様に、すなわちサブ領域Bの外側の隣接する部分に依存性を導入しないように制限される。また、この制限は、用途に応じて緩和されてもよく、さらに、これを超えて、ドリフト誤差に対する可能な対策については、図１〜１３を参照されたい。同様に、先行するものが画像Bのようなサブ領域固有のランダムアクセス画像である間のランダムアクセス画像間の画像に関して今説明した制限は、空間依存性は、ドリフト誤差に関してあまり重大な影響を及ぼさない時間的予測に関してのみ適用してもよい。
【０１７９】
サブ領域Bすなわち直前のランダムアクセス画像、すなわち画像B内の画像３１７の符号化に関してのみサブ領域単位のランダムアクセス画像Bの直後の後続画像３１７（復号化順序に関して）を符号化するための符号化依存性の制限に関する直前の段落で述べられた議論は、サブ領域固有のランダムアクセスポイントを形成する。それとは別個に扱われるべき質問は、セクションBの外側の符号化画像３１７、すなわち図２２の場合のサブ領域Aの符号化依存性が、サブ領域Bに依存する画像３１７の外側部分の符号化をレンダリングするように制限されるべきかされるべきでないかという質問である。すなわち、質問は、画像３１７のサブ領域Aが、例えば、同じ画像のセクションBに到達しないように空間符号化依存性が制限されるように符号化されるべきかどうか、および、画像３１７のサブ領域Aを符号化するための時間符号化依存性は、符号化／復号化順序において先行する画像Bの１つまたは画像３１７のいずれかである参照画像のサブ領域Bに到達しないように制限されるべきであるかである。より正しくは、画像３１７のサブ領域Aを符号化するために使用される参照画像は、一方で画像３１７の前に符号化／復号化された画像の１つに属し、他方では先頭のランダムアクセス画像Bに属するか、または画像Bに関してアップストリーム（デコード順で）に位置することができるかであることに留意すべきである。画像Bに対して上流に位置する参照画像の場合、画像３１７の符号化サブ領域Aに対する時間的コーディング依存性は、サブ領域Bに到達しないように依然として制限される。
むしろ、ここで論じる質問は、画像３１７のサブ領域Aを符号化するための符号化依存性が、イントラまたは空間コーディング依存性が参照画像が画像Bの１つであり画像３１７の中の以前に符号化／復号化された画像に関する時間的符号化依存性であるかに関する限り、セクションBに到達しないように制限されるか、または制限されないかどうかである。どちらの選択肢にもメリットがある。画像３１７のサブ領域Aを符号化するときに画像Bのサブ領域Bおよび画像３１７のサブ領域境界にも従うと、すなわちサブ領域Aについて符号化依存性が制限されてサブ領域Bに到達しない場合、サブ領域AはセクションBとは独立した方法で符号化され続け、したがって、上述のようにデータストリーム３００が抽出可能または削減可能であるサブ領域を形成する。同じことが、サブ領域固有のランダムアクセス画像Aの直後に続く画像のサブ領域Bのコーディングに関して同じ状況を考えるとき、サブ領域Bにも当てはまる。サブ領域Aおよび／またはサブ領域Bなどの固有のサブ領域の削減性がそれほど重要でない場合、直前のコーディング依存性が、直接先行しているセクション単位のランダムアクセス画像は、サブ領域固有のランダムアクセスポイントを形成することが可能であることに関してサブ領域に到達する場合には、符号化効率に関して有益であることができる。その場合、例えば、先に進んだ議論のサブ領域Aのような他のサブ領域は、もはや削減することができないであろうが、ビデオエンコーダ３１６が例えばこれらの画像または画像Bのいずれかのサブ領域Bに基づいて画像３１７のサブ領域Aの一部を時間的に予測するように、サブ領域Bの境界を横切るように動きベクトルを選択することによる冗長性の利用に関してより少ない制限を有するので、コーディング効率は、増加する。例えば、データストリーム３００は、以下のことが行われた場合、もはや領域Aに関しては削減できないであろう。画像３１７は、画像３１７および画像Bのうちの参照画像の第２画像サブ領域Bを少なくとも部分的に参照する時間的予測を使用して、第２画像サブ領域Bの外側の画像領域A内のビデオデータストリーム３００に符号化される。すなわち、図２２の場合、画像３１７の時間的予測符号化領域A、すなわちAだけでなく、Bも参照するために、完全な画像領域が利用可能となる。復号順序に関して、画像Aに続く画像３１７'、すなわち、Aと図２２に示されていないタイプBの後続の画像との間の画像３１７'は、ビデオデータストリーム３００内にエンコードされるとともに、画像Aと画像３１７'の間の復号化順序に関して先行する参照画像の第２の画像サブ領域Bを参照しないように、第２の画像サブ領域Bの外側の画像領域A内の時間的予測を制限する。すなわち、図２２の場合、単に領域Aは画像３１７'の時間的予測符号化領域Aによって参照されるために利用可能である。サブ領域Bについても同様である。画像Bはサブ領域B内のサブ領域Bに付着し、画像BのBの符号化はサブ領域Aに加えてAも使用可能である。その場合、ストリーム３００は、もはやサブ領域Bに対して削減できないであろう。
【０１８０】
図２２のビデオデータストリーム３００をデコードするように構成されたデコーダの説明に進む前に、ビデオエンコーダ３１６は、ビデオ３０４全体に関連しまたは画像３０２のシーケンスを包含する範囲で画像は、対応する画像のサブ領域AおよびBへの空間的な細分化を示すか、または図２３ａ〜２３ｅに例示されるような代替物のいずれかに従って、ビデオデータストリーム３００に信号処理３１９を提供するように構成されてもよい。エンコーダ３１６はまた、画像AおよびBを示す信号化３１８、すなわち、信号化３１９によって示されたサブ領域のいずれかに関するサブ領域固有のランダムアクセスポイントである画像をマークする信号化３１８を有するデータストリーム３００を提供する。すなわち、信号化３１９は信号化３１９が有効な画像間で一定な空間細分化を示し、かつ信号化３１８は他の画像からサブ領域固有のランダムアクセス画像を区別し、これらサブ領域ランダムアクセス画像をサブ領域AおよびBの一方に関連付ける。
【０１８１】
一方で画像BとAとの間でビデオデータストリーム３００内を特に区別せず、画像タイプに関する限り他の画像でも区別することが可能である。図２２の例では、画像BおよびAは、「単なる」サブ領域固有のランダムアクセス画像であり、従って、IDRなどの実画像単位のランダムアクセス画像ではない。従って、ビデオデータストリーム３００内の画像タイプ信号３２０が関係する限り、ビデオデータストリーム３００は、一方では画像BとAとを区別せず、他方では時間的に予測された他の画像を区別しない。例えば、信号化３１８は、画像３０２がストリーム３００に符号化され、それによって、それぞれのスライスに対応する画像領域がセクションBを形成することを示す。あるいは、信号化３２０および３１８の組合せを使用して、ある画像がサブ領域固有のランダムアクセス画像であり、同じ画像が固有のサブ領域に属することをデコーダに示すことができる。例えば、信号化３２０は、固有の画像がサブ領域固有のランダムアクセス画像であることを示すために使用されるが、各画像がサブ領域固有のランダムアクセスポイントを表すサブ領域を明らかにしない。後者の指示は、信号化３１９によってシグナリングされた画像サブディビジョンのサブ領域のいずれかと、信号化３２０によって、ある画像信号をサブ領域固有のランダムアクセス画像に関連付ける信号化３１８によって実行される。しかしながら、B画像およびP画像、IDR画像のような画像単位のランダムアクセス画像、および画像AおよびBのようなサブ領域単位の画像ランダムアクセスポイントなどの時間的に予測された画像間を区別あるいは識別するばかりでなく、異なるサブ領域、すなわち画像AおよびBのそれぞれに対して異なる値を費やすことによって、画像AとBとの間に関するサブ領域単位のランダムアクセスポイント間でも、NALユニットタイプのシンタックスエレメントであってもよい信号化３２０を代わりに行うことができる。
【０１８２】
さらなる信号化３２１は、ビデオ符号器３１６によって挿入されて、データストリーム３００がそれぞれのサブ領域に関して削減可能であるか否かを特定のサブ領域について示すことができる。信号化３２１は、サブ領域の１つがどのデータストリーム３００が削減可能であるかに関するサブ領域であるとしてデータストリーム３００内で示されてもよく、一方で他のサブ領域がどのデータストリーム３００が削減可能であるかに関してそのようなサブ領域を形成しない。あるいは、信号化３２１は、すべてのサブ領域に関して削減性のバイナリ信号化を単に可能にするだけでよく、すなわち、信号化３２１は、すべてのサブ領域が、データストリーム３００が削減可能であるサブ領域であることを示すか、あるいは、データストリーム３００がこれらのサブ領域のいずれに対しても削減可能でないことを示す。しかしながら、信号化３２１は、図２２の例のサブ領域AおよびBのようなサブ領域が、それぞれデータストリーム３００が削減可能であるかに関して完全に独立して符号化されたサブ領域として処理されるか、または処理されないものとして取扱われるという効果を残し、この場合、前述のように、サブ領域の境界を越えて上述した非対称符号化依存性が使用される。
【０１８３】
これまで、サブ領域BおよびAは隣接領域であると示されていたが、サブ領域BおよびAは、代替的に、画像３０２のタイルのセットなどの非隣接領域であってもよいことに留意すべきである。画像３０２がこの例に従ってデータストリーム３００に符号化されてもよいタイルに関する固有の処理に関して、参照が図１から図１３の記述が参照される。
【０１８４】
図２３ｃに関して、画像Aは画像単位のランダムアクセス画像であるので、画像Aの画像タイプは他の時間的に予測された画像のものと異なり、従って、画像Aは画像タイプ信号伝達３２０内でシグナリングされることに留意されたい。
【０１８５】
図２４は、画像BおよびAを利用してビデオデータストリーム３００を復号するように構成されたビデオデコーダ３３０を示す。図２４のビデオデータストリーム３００は、図２２の説明に対応して例示的に示されている。すなわち、サブ領域関連ランダムアクセス画像BおよびAが、ビデオデータストリーム３００に符号化されたビデオ３０４の画像３０２の間に点在する。ビデオデコーダ３３０は、ビデオデータストリーム３００にランダムにアクセスする際に、次のランダムアクセス画像が発生するのを待つように、すなわち、サブ領域関連画像または画像単位ランダムアクセス画像を待つように構成される。画像単位のランダムアクセス画像を含まないビデオデータストリーム３００の場合、ビデオデコーダ３３０は、そのような画像に応答さえしなくてもよい。いずれにせよ、ビデオデコーダ３３０は、図２４の例では画像Bである第１のサブ領域関連ランダムアクセス画像に遭遇するとすぐに、ビデオデータストリーム３００の復号化を再開する。この画像Bから開始して、ビデオデコーダ３３０は、サブ領域Bのみを示す画像３２２の再構成、復号化および出力を開始する。あるいは、ビデオデコーダ３３０は、これらの画像のサブ領域Bの外側部分は、この外部サブ領域の参照画像が欠落しているため、ドリフトエラーが発生することを表示装置などの提示装置に示すこれらの画像に付随するシグナリングの有無にかかわらず、サブ領域Bの外側のこれらの画像３２２の部分を復号し、再構成して出力する。
【０１８６】
ビデオデコーダ３３０は、図２４の例の画像Aである次のランダムアクセス画像に遭遇するまで、このようにしてビデオデータストリーム３００を復号し続ける。サブ領域Aは、残りの画像領域、すなわちサブ領域Bの外側の画像３０２の領域に対するランダムアクセスポイントを表すので、ビデオデコーダ３３０は、画像A以降の画像３０２を完全に復号化し、再構築し、出力する。すなわち、図２４に関連して説明した機能によって、ユーザは、少なくともサブ領域B、すなわち最初に遭遇したサブ領域に関連するランダムアクセス画像Bに関して、より早くビデオ３０４を見る利点を得る機会が提供される。次に、残りの画像３０２をカバーするサブ領域に関する次のサブ領域関連のランダムアクセス画像に遭遇した後、ビデオデコーダ３３０は、ドリフトエラーなしに完全な画像３０２を提供することができる。図２３ｅの例では、これは、サブ領域A、BおよびCそれぞれに関するサブ領域固有のランダムアクセス画像のそれぞれの第１のものに遭遇した後の場合である。
【０１８７】
図２５は、ビデオデコーダ３３０の別の動作モードを示す。ここで、ビデオデコーダ３３０は、第１のサブ領域固有のランダムアクセス画像、ここでは画像Bに遭遇することから、サブ領域Bの復号化および再構成を開始するが、ビデオデコーダ３３０は、十分なランダムアクセス画像に遭遇するまで待って、ビデオ復号器３３０が実際に画像３０２を完全に出力するまで、そのサブ領域が画像３０２の全画像領域をカバーする。この例の場合、これは画像Aと画像Bとが遭遇した場合である。すなわち、画像Aからビデオデコーダ３３０は画像３０２を出力するが、サブ領域Bは画像Bから利用可能であったはずである。
【０１８８】
図２６は、サブ領域固有のランダムアクセス画像を含むビデオデータストリーム３００を受信するネットワーク装置３２２を示す。しかしながら、今度は、ビデオデータストリーム３００は、サブ領域固有のランダムアクセス画像の１つ以上のサブ領域に関して削減可能である。例えば、図２６は、ビデオデータストリーム３００がサブ領域Bに対して削減可能である場合を示している。削減性およびネットワーク装置３２２の対応する機能性に関して、この機能性が図１ないし１３の説明に対応するように構成されていてもよく、そうでなくてもよいことに留意されたい。いずれの場合でも、画像Bは、前述の信号化３１８を使用してビデオデータストリーム３００内に示される。ネットワーク装置３２２は、画像Bのみに関連するようにビデオデータストリーム３００を削減する場合には、ビデオデータストリーム３００から抽出するか、ビデオデータストリーム３００を削減ビデオデータストリーム３２４に削減し、その画像３２６は、ビデオ３０４のサブ領域Bのコンテンツ、すなわち非削減ビデオデータストリーム３００のコンテンツを単に示すビデオ３２８を形成する。しかしながら、この測定のように、サブ領域Bはもはや画像３２６に関するサブ領域を表さないので、削減ビデオデータストリーム３２４はもはや信号伝達３１８を含まない。むしろ、ビデオデータストリームのサブ領域固有のランダムアクセス画像Bのサブ領域Bに対応するビデオ３２８の画像は、画像タイプの信号伝達３２０によってIDR画像などのような画像単位のランダムアクセス画像となるように削減ビデオデータストリーム３２４内でシグナリングされる。これを行う方法は多様である。例えば、ネットワーク装置３２２は、ネットワーク装置３２２がネットワーク装置６０に対応するように構成されている場合には、図５および図７に関して上述したリダイレクトおよび／またはパラメータセットのリビジョンに加えて、ビデオデータストリーム３００をその削減ビデオデータストリーム３２４に向けて削減する際に、対応するNALユニットのNALユニットヘッダ内の画像タイプ信号伝達３２０を変更することができる。
【０１８９】
完全性のために、図２７は、図２０のデータストリーム２０を処理するように構成されたネットワーク装置２３１を示す。しかしながら、図２０は、情報５０のような削減可能なビデオデータストリーム２００に既に存在してもしていなくてもよいことを示している。このネットワーク装置２３１を介して、ビデオデータストリーム２００から削減されたビデオデータストリーム２３２にサブ領域固有変位情報２０６’を単に引継ぐことにより、ビデオデータストリーム２００を削減ビデオデータストリーム２３２に削減する際に変位情報２０６を廃棄するように構成することができるか、あるいは、ネットワーク装置２３１は、削減可能なビデオデータストリーム２００の画像に関するサブ領域２２の位置の知識に基づいて、サブ領域固有の変位情報２０６になるように、変位情報２０６の再調整を形成することができる。
【０１９０】
したがって、上記の説明は、例えば、時間動きおよび層間予測制約付きタイルセットの抽出のためのプロセスおよびシグナリングを明らかにした。単一または多層ビデオ符号化を使用する符号化ビデオビットストリームの抽出または空間サブセットも説明されている。
【０１９１】
上記の説明に関して、示された任意のエンコーダ、デコーダまたはネットワーク装置は、ハードウェア、ファームウェアまたはソフトウェアで具体化または実施され得ることに留意されたい。ハードウェアで実施される場合、それぞれのエンコーダ、デコーダまたはネットワーク装置は、例えば、特定用途向け集積回路（ASIC）の形態で実施されてもよい。ファームウェアに実装される場合、それぞれの装置はフィールドプログラマブルアレイとして実装されてもよく、ソフトウェアで実装される場合、それぞれの装置は、説明された機能を実行するようにプログラムされたプロセッサまたはコンピュータであってもよい。
【０１９２】
いくつかの態様は、装置の文脈で説明されているが、これらの態様は、対応する方法の説明も表しており、ブロックまたは装置は、方法ステップまたは方法ステップの特徴に対応することは明らかである。同様に、方法ステップの文脈で説明される態様は、対応するブロックまたは対応する装置のアイテムまたは特徴の記述も表す。方法ステップの一部または全部は、例えば、マイクロプロセッサ、プログラム可能なコンピュータまたは電子回路のようなハードウェア装置によって実行されてもよい（または使用されてもよい）。いくつかの実施形態では、最も重要な方法ステップの１つ以上は、そのような装置によって実行されてもよい。
【０１９３】
本発明の符号化されたデータストリームまたは信号は、デジタル記憶媒体に格納することができ、あるいは無線伝送媒体またはインターネットなどの有線伝送媒体のような伝送媒体上で伝送することができる。これまで、データストリームへのいくつかの情報の挿入または符号化が説明されているが、この説明は、結果としてのデータストリームがそれぞれの情報、フラグのシンタックス要素などを含むという開示と同時に理解される。
【０１９４】
特定の実施要件に応じて、本発明の実施形態は、ハードウェアまたはソフトウェアで実施することができる。実装は、電子的に読取り可能な制御信号が記憶されたフロッピーディスク、DVD、ブルーレイ、CD、ROM、PROM、EPROM、EEPROMまたはフラッシュメモリなどのデジタル記憶媒体を使用して実行することができ、それはそれぞれの方法が実行されるようにプログラム可能なコンピュータシステムと協働する（または協働することができる）。従って、デジタル記憶媒体はコンピュータ可読であってもよい。
【０１９５】
本発明によるいくつかの実施形態は、プログラム可能なコンピュータシステムと協働して、本明細書に記載の方法の１つが実行されるように、電子的に読取り可能な制御信号を有するデータキャリアを備える。
【０１９６】
一般に、本発明の実施形態は、コンピュータプログラム製品がコンピュータ上で動作するときに、方法の１つを実行するように動作するプログラムコードを有するコンピュータプログラム製品として実施することができる。プログラムコードは、例えば、機械読み取り可能なキャリアに格納することができる。
【０１９７】
他の実施形態は、本明細書に記載の方法の１つを実行するためのコンピュータプログラムを含み、機械読み取り可能なキャリアに格納される。
【０１９８】
換言すれば、本発明の方法の実施形態は、コンピュータプログラムがコンピュータ上で実行されるときに、本明細書に記載の方法の１つを実行するためのプログラムコードを有するコンピュータプログラムである。
【０１９９】
従って、本発明の方法のさらなる実施形態は、本明細書に記載の方法のうちの１つを実行するためのコンピュータプログラムを含むデータキャリア（またはデジタル記憶媒体またはコンピュータ可読媒体）である。データキャリア、デジタル記憶媒体または記録された媒体は、典型的には有形および／または非遷移型である。
【０２００】
したがって、本発明の方法のさらなる実施形態は、本明細書に記載の方法のうちの１つを実行するためのコンピュータプログラムを表すデータストリームまたは一連の信号である。データストリームまたは信号のシーケンスは、例えば、インターネットを介して、例えばデータ通信接続を介して転送されるように構成することができる。
【０２０１】
さらなる実施形態は、本明細書に記載の方法のうちの１つを実行するように構成された、または適用される処理手段、例えばコンピュータまたはプログラマブル論理装置を含む。
【０２０２】
さらなる実施形態は、本明細書で説明される方法の１つを実行するためのコンピュータプログラムがインストールされたコンピュータを含む。
【０２０３】
本発明によるさらなる実施形態は、本明細書で説明される方法の１つを実行するためのコンピュータプログラムをレシーバに（例えば、電子的にまたは光学的に）転送するように構成された装置またはシステムを含む。レシーバは、例えば、コンピュータ、モバイル装置、メモリ装置などであってもよい。この装置またはシステムは、例えば、コンピュータプログラムをレシーバに転送するためのファイルサーバを備えることができる。
【０２０４】
いくつかの実施形態では、プログラマブルロジック装置（例えば、フィールドプログラマブルゲートアレイ）を使用して、本明細書に記載の方法の機能の一部または全部を実行することができる。いくつかの実施形態では、フィールドプログラマブルゲートアレイは、本明細書で説明する方法の１つを実行するためにマイクロプロセッサと協働することができる。一般に、これらの方法は、好ましくは、任意のハードウェア装置によって実行される。
【０２０５】
本明細書に記載の装置は、ハードウェア装置を使用して、またはコンピュータを使用して、またはハードウェア装置とコンピュータとの組合せを使用して実装することができる。
【０２０６】
本明細書に記載された装置、または本明細書に記載の装置の任意の構成要素は、少なくとも部分的にハードウェアおよび／またはソフトウェアで実施されてもよい。
【０２０７】
ここに記載された方法は、ハードウェア装置を使用して、またはコンピュータを使用して、またはハードウェア装置とコンピュータとの組合せを使用して実行されてもよい。
【０２０８】
本明細書に記載の方法、または本明細書に記載の装置の任意の構成要素は、ハードウェアおよび／またはソフトウェアによって少なくとも部分的に実行することができる。
【０２０９】
上述の実施形態は、本願発明の原理の単なる例示である。本明細書に記載された構成および詳細の修正および変形は、当業者には明らかであることが理解される。従って、差し迫った特許請求の範囲によってのみ限定され、本明細書の実施形態の説明および説明によって示される固有の詳細によっては限定されないことが意図される。
【図１】
2019506091.tif 000007
【図２】
2019506091.tif 000008
【図３】
2019506091.tif 000009
【図４】
2019506091.tif 000010
【図５】
2019506091.tif 000011
【図６】
2019506091.tif 000012
【図７】
2019506091.tif 000013
【図８】
2019506091.tif 000014
【図９】
2019506091.tif 000015
【図１０】
2019506091.tif 000016
【図１１】
2019506091.tif 000017
【図１２】
2019506091.tif 000018
【図１３】
2019506091.tif 000019
【図１４】
2019506091.tif 000020
【図１５】
2019506091.tif 000021
【図１６】
2019506091.tif 000022
【図１７】
2019506091.tif 000023
【図１８】
2019506091.tif 000024
【図１９】
2019506091.tif 000025
【図２０】
2019506091.tif 000026
【図２１】
2019506091.tif 000027
【図２２】
2019506091.tif 000028
【図２３Ａ】
2019506091.tif 000029
【図２３Ｂ】
2019506091.tif 000030
【図２３Ｃ】
2019506091.tif 000031
【図２３Ｄ】
2019506091.tif 000032
【図２３Ｅ】
2019506091.tif 000033
【図２４】
2019506091.tif 000034
【図２５】
2019506091.tif 000035
【図２６】
2019506091.tif 000036
【図２７】
2019506091.tif 000037
【図２８】
2019506091.tif 000038
【図２９】
2019506091.tif 000039
【手続補正書】
【提出日】平成30年10月9日(2018.10.9)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
画像（２０４）が符号化されたデータストリームであって、
前記データストリームは、
前記画像（２０４）の少なくとも１つの所定のサブ領域（２１４）のセットについて、目標画像領域（２１６）への少なくとも１つの所定のサブ領域の前記セットの非変位コピーに対する、前記少なくとも１つの所定のサブ領域の前記セットの前記目標画像領域（２１６）内での変位（２１８）を示す変位情報（２０６）を含むデータストリーム。
【請求項２】
前記変位情報（２０６）は、
画像サンプル、
前記画像が細分化されたタイルであって、前記画像は、前記タイルの単位で相互依存性を符号化せずに符号化され、前記少なくとも１つのサブ領域（２１４）の前記セットの各々が前記タイルで構成されるタイル、
のうちの１つを単位として前記変位（２１８）を示す、請求項１に記載のデータストリーム。
【請求項３】
前記画像の少なくとも１つのサブ領域の前記セットは、サブ領域のアレイへの前記画像のギャップなし且つ重複自在の空間分割のサブセットである、請求項１又は２に記載のデータストリーム。
【請求項４】
前記変位情報は、
前記画像の少なくとも１つの所定のサブ領域の前記セット内の前記所定のサブ領域のカウント（２２０）と、
前記目標画像領域のサイズを定義するサイズパラメータ（２２２）と、
前記画像の少なくとも１つの所定のサブ領域の前記セットの所定のサブ領域のそれぞれについて、前記目標画像領域内の前記画像の前記所定のサブ領域それぞれの変位の座標（２２４）とを含むか、あるいは、
前記変位情報は、前記画像の少なくとも１つのサブ領域の前記セットの所定のサブ領域それぞれについて、前記目標領域における前記各所定のサブ領域の位置に関する第１の位置情報と、前記画像内の前記各所定の領域の位置に関する第２の情報と、前記それぞれの所定のサブ領域を前記目標領域と前記画像との間にマッピングするときの回転に関する情報および／またはミラーリングに関する情報とを含む、請求項１ないし２のいずれかに記載のデータストリーム。
【請求項５】
前記変位情報は、前記目標画像領域内の前記それぞれのサブ領域のスケーリング（２２６）をさらに示す、請求項４に記載のデータストリーム。
【請求項６】
前記データストリームは、前記変位情報に応じて変位された前記画像の少なくとも１つの所定のサブ領域の前記セットのいずれによっても覆われず、少なくとも１つの所定のサブ領域の前記セットが前記画像（２０４）を完全に覆わないときには前記画像の変位されない部分のいずれによっても覆われることのない前記目標画像領域（２１６）の部分（１３０）がそれを使って充填されることになるデフォルト充填を示すデフォルト充填情報（２２８）をさらに含む、請求項１ないし５のいずれかに記載のデータストリーム。
【請求項７】
前記データストリームには、画像のシーケンスが符号化され、前記変位情報は前記画像のシーケンスに対して有効である、請求項１ないし５のいずれかに記載のデータストリーム。
【請求項８】
画像が符号化されたデータストリームを復号化するためのデコーダであって、
前記データストリームから前記画像を再構成するように構成された復号化コア（２３４）と、
目標画像の領域内の前記画像の少なくとも１つの所定のサブ領域のセットのそれぞれを、前記データストリームに含まれる変位情報に従って変位させることによって、前記画像に基づいて前記目標画像を合成するように構成された変位器（２３６）とを含む、デコーダ。
【請求項９】
前記変位器は、少なくとも１つの所定のサブ領域の前記セットが前記画像（２０４）を完全に覆っていない場合、前記画像の変位されていない部分を前記目標画像領域（２１６）に変位しないようにコピーするように構成されている、請求項８に記載のデコーダ。
【請求項１０】
前記変位情報は、
画像サンプル、
前記画像が細分化されたタイルであって、前記画像は、前記タイルの単位で相互依存性を符号化せずに符号化され、少なくとも１つのサブ領域（２１４）の前記セットの各々が前記タイルによって構成されるタイル、
のうちの１つを単位として前記各サブ領域の変位を示す、請求項８または９に記載のデコーダ。
【請求項１１】
前記画像の少なくとも１つのサブ領域の前記セットは、サブ領域のアレイへの、前記画像のギャップなし及び重複自在の空間分割のサブセットである、請求項８ないし１０のいずれかに記載のデコーダ。
【請求項１２】
前記変位器は、
前記画像の少なくとも１つの所定のサブ領域の前記セット内の前記所定のサブ領域のカウントと、
前記目標画像領域のサイズを定義するサイズパラメータと、
画像の少なくとも１つの所定のサブ領域の前記セットの各所定のサブ領域について、目標画像領域内の前記画像の前記各所定のサブ領域の変位の座標とを、
前記データストリームから前記変位情報の一部として読込み、
前記画像の少なくとも１つの所定のサブ領域の前記のセットのうちのそれぞれの前記所定のサブ領域を、前記それぞれの所定のサブ領域について読込まれた変位の前記座標に応じて、前記目標画像の前記領域との前記画像の重複に対して変位させるように構成された、請求項８ないし１１のいずれかに記載のデコーダ。
【請求項１３】
前記変位器は、前記画像に基づいて目標画像を、前記変位情報に応じて前記目標画像の前記領域内への前記画像の歪みのないコピーに対して変位された前記画像の少なくとも１つのサブ領域のセットのそれぞれを、前記データストリームに含まれる変位情報に応じてスケーリングすることによって、前記目標画像の前記領域内で合成するように構成されている、請求項１２に記載のデコーダ。
【請求項１４】
前記変位器は、前記変位情報に従って変位された前記画像の少なくとも１つの所定のサブ領域の前記セットが１つもなく、且つ、少なくとも１つの所定のサブ領域の前記セットが前記画像（２０４）を完全に覆っていない場合には前記画像の変位されていない部分もない前記目標画像領域の部分を、前記データストリームに含まれるデフォルト充填情報に従って充填するように構成されている、請求項８ないし１３のいずれかに記載のデコーダ。
【請求項１５】
前記復号化コアは、前記データストリームから画像のシーケンスを再構成するように構成され、前記変位器は、前記変位情報を前記画像のシーケンスの前記画像に適用するように構成される、請求項８ないし１４のいずれかに記載のデコーダ。
【請求項１６】
前記目標画像領域上に注入投影を適用して出力画像を形成するように構成されたレンダラ（２３８）をさらに備えた、請求項８ないし１５のいずれかに記載のデコーダ。
【請求項１７】
データストリームに画像を符号化するためのエンコーダであって、
前記エンコーダは、
前記画像（２０４）の少なくとも１つの所定のサブ領域（２１４）のセットについて、目標画像領域（２１６）内の少なくとも１つの所定のサブ領域の前記セットの、少なくとも１つの所定のサブ領域の前記セットの前記目標画像領域（２１６）への非変位コピーに対する変位（２１８）を示す変位情報（２０６）を前記データストリームをもたらすように構成されている、エンコーダ。
【請求項１８】
第１の画像が符号化されたデータストリーム（２００）を、前記第１の画像の所定のサブ領域を示すサブ領域固有画像が符号化された削減データストリーム（２３２）に削減するように構成されたネットワーク装置であって、前記データストリーム（２００）は、前記第１の画像の少なくとも１つの所定のサブ領域のセットについて、目標画像領域（２１６）内の少なくとも１つの所定のサブ領域（２１４）の前記セットの、少なくとも１つの所定のサブ領域の前記セットの前記目標画像領域への非変位コピーに対する変位（２１８）を示す変位情報（２０６）を含み、
前記ネットワーク装置は、前記変位情報（２０６）を修正変位情報（２０６´）に修正して、前記サブ領域固有画像の少なくとも１つの所定のサブ領域のセットが前記修正変位情報に応じて変位されて、前記目標画像領域にコピーされた前記サブ領域固有画像が、前記目標画像領域内で、前記画像（１２）の少なくとも１つの所定のサブ領域（２１４）の前記セットが前記変位情報に応じて変位されて前記目標画像領域にコピーされた前記第１の画像の前記所定のサブ領域と一致し、且つ、前記ビデオデータストリームを削減する際に、前記変位情報（２０６）を前記修正変位情報（２０６´）と置換するように構成され、または
前記修正された変位情報は、前記第１の画像の前記所定のサブ領域に関連付けられた前記データストリームに含まれ、前記変位情報は、前記第１の画像に関連付けられた前記データストリームに含まれ、前記ネットワーク装置は、前記データストリームを削減する際に、前記変位情報を除去して、前記修正された変位情報を前記削減されたデータストリームに持ち越して、前記サブ領域固有画像と関連付けられるようにするように構成された、ネットワーク装置。
【請求項１９】
画像が符号化されたデータストリームを復号化するための方法であって、前記方法は、
前記データストリームから前記画像を再構成するステップと、
前記画像に基づき、目標画像を、前記データストリームに含まれる変位情報に従って、前記目標画像領域内の前記画像の少なくとも１つの所定のサブ領域のセットの各々を変位することによって合成するステップとを含む、方法。
【請求項２０】
データストリームに画像を符号化するための方法であって、
前記方法は、前記データストリームに、前記画像（２０４）の少なくとも１つの所定のサブ領域（２１４）のセットについて、目標画像領域（２１６）内の少なくとも１つの所定のサブ領域の前記セットの、少なくとも１つの所定のサブ領域の前記セットの前記目標画像領域への非変位コピーに対する変位（２１８）を示す変位情報（２０６）を供給するステップを含む、方法。
【請求項２１】
第１の画像が符号化されたデータストリーム（２００）を前記第１の画像の所定のサブ領域を示すサブ領域固有画像が符号化された削減データストリーム（２３２）に削減するための方法であって、前記データストリーム（２００）は、前記第１の画像の少なくとも１つの所定のサブ領域のセットについて、目標画像領域（２１４）内における少なくとも１つの所定のサブ領域の前記セットの、少なくとも１つの所定のサブ領域の前記セットの前記目標画像領域への非変位コピーに対する変位（２１８）を示す変位情報（２０６）を含み、
前記方法は、前記変位情報（２０６）を修正変位情報（２０６´）に修正して、前記サブ領域固有画像の少なくとも１つの所定のサブ領域のセットが前記修正変位情報に応じて変位されて、前記目標画像領域にコピーされた前記サブ領域固有画像が、前記目標画像領域内で、前記画像（１２）の少なくとも１つの所定のサブ領域（２１４）の前記セットが前記変位情報に応じて変位されて前記目標画像領域にコピーされた前記第１の画像の前記所定のサブ領域（２２）と一致するようにするステップと、前記ビデオデータストリームを削減する際に、前記変位情報（２０６）を前記修正変位情報（２０６´）と置換するするステップとを含む、または、
前記修正された変位情報は、前記第１の画像の前記所定のサブ領域に関連する前記データストリームに含まれ、前記変位情報は、前記第１の画像に関連付けられた前記データストリームに含まれ、前記方法は、前記データストリームを削減する際に前記変位情報を除去して、前記修正された変位情報を前記削減されたデータストリームに持ち越して前記サブ領域固有画像に関連付けられるようにするステップを含む、方法。
【請求項２２】
請求項１ないし７のいずれかに記載のデータストリームを記憶したデジタル記憶媒体。
【請求項２３】
コンピュータで実行される際に、請求項１９ないし２１のいずれかに記載の方法を実行するためのプログラムコードを有するコンピュータプログラム。
【請求項２４】
ビデオ（１４）を表すビデオデータストリームであって、
符号化パラメータ設定（２０）を示すパラメータセット部分（１６）と、
ビデオの画像（１２）が、符号化パラメータ設定（２０）の第１のセット（２０ａ）を使用してパラメータ化されて符号化されたペイロード部分（１８）であって、前記第１のセット（２０ａ）は前記ペイロード部分が含むインデックス（４８）によってインデックス化されるペイロード部分（１８）とを含み、
前記ビデオデータストリームは
前記画像（１２）の所定のサブ領域（２２）の表示（５２）と、
前記ペイロード部分が含む前記インデックス（４８）をリダイレクト（７２）して、符号化パラメータ設定の第２のセット（２０ｂ）を参照させるようにするための置換インデックス（５４）
とを含む情報（５０）を含み、
所定のサブ領域（２２）外の前記画像（１２）の領域を表す前記ペイロード部分（１８）の部分（７０）を除去（６８）すること、および
前記ペイロード部分（１８）における位置表示（３２）を変更（７８）して、前記画像（１２）ではなく前記所定のサブ領域（２２）の周長から測定して位置を示すようにすること
によって、前記ビデオデータストリームと比較すると修正された削減ビデオデータストリーム（６２）が、前記画像の所定のサブ領域（２２）を符号化パラメータ設定の前記第２のセット（２０ｂ）を使用してパラメータ化して示すサブ領域固有画像（８６）が符号化された削減ペイロード部分を有するように、符号化パラメータの前記第２のセット（２０ｂ）が選択される、ビデオデータストリーム。
【請求項２５】
ビデオ（１４）を表すビデオデータストリームであって、
符号化パラメータ設定（２０）を示すパラメータ設定部分（１６）と、
ビデオの画像（１２）が、前記符号化パラメータ設定（２０）の第１のセット（２０ａ）を使用してパラメータ化されて符号化された、ペイロード部分（１８）であって、前記第１のセット（２０ａ）は前記ペイロード部分が含むインデックス（４８）によってインデックス化されるペイロード部分（１８）とを含み、
前記ビデオデータストリームは、
前記画像（１２）の所定のサブ領域（２２）の表示（５２）と、
符号化パラメータ設定の前記第１のセット（２０ａ）を調整（８８）して、符号化パラメータ設定の第２のセット（２０ｂ）をもたらすための置換パラメータ（５６）であって、前記符号化パラメータ設定はバッファサイズおよびタイミング（４６）を定義する、置換パラメータ（５６）
とを含む情報（５０）を含み、
前記所定のサブ領域（２２）外の前記画像（１２）の領域を表す前記ペイロード部分（１８）の部分（７０）を除去（６８）すること、および
前記ペイロード部分（１８）における位置表示（３２）を変更して、前記画像（１２）ではなく前記所定のサブ領域（２２）の周長から測定して位置を示すようにする（７８）こと
によって、前記ビデオデータストリームと比べると修正された削減ビデオデータストリーム（６２）が、前記画像の前記所定のサブ領域（２２）を符号化パラメータ設定の前記第２のセット（２０ｂ）を使用してパラメータ化して示すサブ領域固有画像（８６）が符号化された削減ペイロード部分を有するように、符号化パラメータの前記第２のセット（２０ｂ）が選択される、ビデオデータストリーム。
【請求項２６】
前記ビデオデータストリームおよび前記削減ビデオデータストリーム（６２）は、ＨＥＶＣに準拠している、請求項２４または２５に記載のビデオデータストリーム。
【請求項２７】
前記パラメータセット部分は、ＳＰＳ  ＮＡＬユニットおよび／またはＶＰＳ  ＮＡＬユニットおよび／またはＰＰＳ  ＮＡＬユニットに含まれる、請求項２４ないし２６のいずれかに記載のビデオデータストリーム。
【請求項２８】
前記符号化パラメータ設定は、
画像サイズ（２６）、
タイル構造（３８）、
バッファサイズ及びタイミング（４６）
のうちの１つ以上を定義する、請求項２４ないし２７のいずれかに記載のビデオデータストリーム。
【請求項２９】
前記インデックス（４８）は、前記ペイロード部分（１８）のスライス（３４）のスライスヘッダに含まれ、各スライスには、前記所定のサブ領域（２２）の境界を越えない、画像（１２）の対応する領域（３６）が符号化されている、請求項２４ないし２８のいずれかに記載のビデオデータストリーム。
【請求項３０】
前記情報は、ＳＥＩメッセージ、ＶＵＩ、またはパラメータセット拡張に含まれる、請求項２４ないし２９のいずれかに記載のビデオデータストリーム。
【請求項３１】
前記ペイロード部分には、前記画像が細分化され、列と行から成るタイルアレイに配置されたタイル（４２）の単位で前記ビデオの前記画像が符号化され、
前記表示（５２）は、前記所定のサブ領域を前記タイルのセットとして示す、請求項２４ないし３０のいずれかに記載のビデオデータストリーム。
【請求項３２】
前記ペイロード部分には前記ビデオの前記画像がタイル（４２）単位で符号化されていて、前記ペイロード部分がスライス（３４）単位で細分化され、各スライスには前記タイルの間のタイル境界（４０）を越えない画像の対応する領域が符号化されている、請求項３１に記載のビデオデータストリーム。
【請求項３３】
前記置換インデックスによる前記リダイレクト（７２）が実行される前記インデックス（４８）によってインデックス化され、および／または前記置換パラメータによって置換される符号化パラメータ設定の前記第１のセット（２０ａ）の一部は、
画像サイズ（２６）、
タイル構造（３８）、
バッファサイズ及びタイミング（４６）
のうちの１つ以上に関連する、請求項２４ないし３２のいずれに記載のビデオデータストリーム。
【請求項３４】
前記ペイロード部分（１８）には、前記ビデオの前記画像（１２）が符号化されていて、前記所定のサブ領域（２２）内で前記画像が、前記所定のサブ領域（２２）の境界を越えた時間的予測の中断を伴って符号化されるようになっている、請求項２４ないし３３のいずれかに記載のビデオデータストリーム。
【請求項３５】
ビデオをビデオデータストリームに符号化するためのエンコーダであって、
符号化パラメータ設定（２０）を決定し、前記符号化パラメータ設定を示す前記ビデオデータストリームのパラメータセット部分（１６）を生成するように構成されたパラメータ設定器（８０ａ）と、
前記ビデオの画像を、前記符号化パラメータ設定の第１のセット（２０ａ）を使用してパラメータ化して、前記ビデオデータストリームのペイロード部分に符号化するように構成された符号化コア（８０ｂ）であって、前記第１のセットは前記ペイロード部分が含むインデックス（４８）によってインデックス化される、符号化コア（８０ｂ）とを備え、
前記エンコーダは、
前記画像（１２）の所定のサブ領域（２２）の表示と、
前記ペイロード部分が含む前記インデックスをリダイレクトして符号化パラメータ設定の第２のセットを参照させるための置換インデックス（５４）と、
を含む情報（５０）を前記ビデオデータストリームに供給するように構成され、
前記所定のサブ領域外の前記画像の領域を表す前記ペイロード部分の部分を除去（６８）すること、および
前記ペイロード部分における位置表示を変更（７８）して、前記画像ではなく前記所定のサブ領域の周長から測定して位置を示すようにすること、
によって、前記ビデオデータストリームと比べると修正された、削減ビデオデータストリームが、前記画像の前記サブ領域を符号化パラメータ設定の前記第２のセットを使用してパラメータ化して示すサブ領域固有画像が符号化された削減ペイロード部分を有するように、符号化パラメータの前記第２のセットが選択される、エンコーダ。
【請求項３６】
ビデオをビデオデータストリームに符号化するためのエンコーダであって、
符号化パラメータ設定（２０）を決定し、前記符号化パラメータ設定を示す前記ビデオデータストリームのパラメータセット部分（１６）を生成するように構成されたパラメータ設定器（８０ａ）と、
前記ビデオの画像を、前記符号化パラメータ設定の第１のセット（２０ａ）を使用してパラメータ化して、前記ビデオデータストリームのペイロード部分に符号化するように構成された符号化コア（８０ｂ）であって、前記第１のセットは前記ペイロード部分が含むインデックス（４８）によってインデックス化された、符号化コア（８０ｂ）とを備え、
前記エンコーダは
前記画像（１２）の所定のサブ領域（２２）の表示と
符号化パラメータ設定の前記第１のセットを調整して前記符号化パラメータ設定の第２のセットになるようにするための置換パラメータ（５６）であって、前記符号化パラメータ設定はバッファサイズおよびタイミング（４６）を定義する、置換パラメータ（５６）と
を含む情報（５０）を前記ビデオデータストリームに提供するように構成され、
前記所定のサブ領域外の前記画像の領域を表す前記ペイロード部分の部分を除去（６８）すること、および
前記ペイロード部分の位置表示を変更（７８）して、前記画像ではなく前記所定のサブ領域の周長から測定して位置を示すようにすること、
によって、前記ビデオデータストリームと比較すると修正された、削減ビデオデータストリームが、前記画像の前記サブ領域を、符号化パラメータ設定の前記第２のセットを使用してパラメータ化して示す、サブ領域固有画像が符号化された削減ペイロード部分を有するように、前記符号化パラメータの前記第２のセットが選択される、エンコーダ。
【請求項３７】
前記ビデオデータストリームおよび前記削減ビデオデータストリームは、ＨＥＶＣに準拠している、請求項３５または３６に記載のエンコーダ。
【請求項３８】
前記パラメータセット部分は、ＳＰＳ  ＮＡＬユニットおよび／またはＶＰＳ  ＮＡＬユニットおよび／またはＰＰＳ  ＮＡＬユニットに含まれる、請求項３５ないし３７のいずれかに記載のビデオデータストリーム。
【請求項３９】
前記符号化パラメータ設定は、
画像サイズ、
タイル構造、
バッファサイズ及びタイミング
のうちの１つ以上を定義する、請求項３５ないし３８のいずれかに記載のエンコーダ。
【請求項４０】
前記エンコーダは、前記インデックスを前記ペイロード部分のスライスのスライスヘッダに挿入し、各スライスに、前記所定のサブ領域の境界を越えない対応する画像の領域を符号化するように構成されている、請求項３５ないし３９のいずれかに記載のエンコーダ。
【請求項４１】
前記エンコーダは、前記情報をＳＥＩメッセージ、ＶＵＩ、またはパラメータセット拡張に挿入するように構成された、請求項３５ないし４０のいずれかに記載のエンコーダ。
【請求項４２】
前記エンコーダは、前記画像が細分化され、列と行から成るタイルアレイに配置されたタイルの単位で符号化された前記ビデオの前記画像を前記ペイロード部分に符号化するように構成され、前記表示は前記所定のサブ領域を前記タイルのセットとして示す、請求項３５ないし４１のいずれかに記載のエンコーダ。
【請求項４３】
前記エンコーダは、タイル単位で符号化された前記ビデオの前記画像を前記ペイロード部分に符号化して、前記ペイロード部分がスライス単位で細分化されるように構成され、各スライスには前記タイル間のタイル境界を越えない対応する画像の領域が符号化された、請求項４２に記載のエンコーダ。
【請求項４４】
前記置換インデックスによる前記リダイレクトを実行する前記インデックスによってインデックス化され、および／または前記置換パラメータによって置換される符号化パラメータ設定の前記第１のセットの一部は、
画像サイズ、
タイル構造、
バッファタイミング
のうちの１つ以上に関連する、請求項３５ないし４２のいずれに記載のエンコーダ。
【請求項４５】
前記エンコーダは、前記ペイロード部分に前記ビデオの前記画像を符号化して、前記所定のサブ領域（２２）において、前記画像が前記所定のサブ領域の境界を越える時間的予測の中断を伴って符号化されるようになるように構成されている、請求項３５ないし４４のいずれかに記載のエンコーダ。
【請求項４６】
ビデオデータストリームを処理するためのネットワーク装置であって、前記ビデオデータストリームは、
符号化パラメータ設定を示すパラメータセット部分と、
前記ビデオの画像が、前記符号化パラメータ設定の第１のセットを使用してパラメータ化されて符号化されたペイロード部分であって、前記第１のセットは前記ペイロード部分が含むインデックスによってインデックス化される、ペイロード部分とを含み、
前記ネットワーク装置は、
前記画像の所定のサブ領域の表示、および
前記ペイロード部分が含む前記インデックスをリダイレクトして、符号化パラメータ設定の第２のセットを表すための置換インデックス
とを含む情報を前記ビデオデータストリームから読出し（６４）、
前記リダイレクト（７２）および／または調整（８８）を実行して、符号化パラメータ設定の前記第２のセットが前記ペイロード部分のインデックスによりインデックス化されるようにすること、
前記所定のサブ領域外の前記画像の領域を表す前記ペイロード部分の部分を除去すること（６８）、および
前記ペイロード部分における位置表示（３２）を変更（７８）して、前記画像ではなく前記所定のサブ領域の周長から測定された位置を示すようにすること
によって修正された削減ビデオデータストリームに前記ビデオデータストリームを削減（６６）して、
前記削減ビデオデータストリームが、前記画像の前記所定のサブ領域を符号化パラメータ設定の前記第２のセットを使用してパラメータ化して示すサブ領域固有画像が符号化された削減ペイロード部分を有するように構成された、ネットワーク装置。
【請求項４７】
ビデオデータストリームを処理するためのネットワーク装置であって、前記ビデオデータストリームは、
符号化パラメータ設定を示すパラメータセット部分と、
前記ビデオの画像が、前記符号化パラメータ設定の第１のセットを使用してパラメータ化されて符号化されたペイロード部分であって、前記第１のセットは前記ペイロード部分が含むインデックスによってインデックス化される、ペイロード部分とを含み、
前記ネットワーク装置は、
前記画像の所定のサブ領域の表示、および
符号化パラメータ設定の第２のセットを表わす前記ペイロード部分により含まれる前記インデックスをリダイレクトする置換インデックス、
を含む情報を前記ビデオデータストリームから読出し（６４）、
前記リダイレクト（７２）および／または調整（８８）を実行して、符号化パラメータ設定の前記第２のセットが前記ペイロード部分のインデックスによりインデックス化されるようにすること、
前記所定のサブ領域外の前記画像の領域を表す前記ペイロード部分の部分を除去（６８）すること、および
前記ペイロード部分における位置表示（３２）を変更（７８）して、前記画像ではなく前記所定のサブ領域の周長から測定された位置を示すようにすること
によって修正された削減ビデオデータストリームに前記ビデオデータストリームを削減して（６６）、
前記削減ビデオデータストリームが、符号化パラメータ設定の前記第２のセットを使用してパラメータ化されたように前記画像の前記所定のサブ領域を示すサブ領域固有画像に符号化された削減ペイロード部分を有するように構成された、ネットワーク装置。
【請求項４８】
前記ビデオデータストリームおよび前記削減ビデオデータストリームは、ＨＥＶＣに準拠している、請求項４６または４７に記載のネットワーク装置。
【請求項４９】
前記パラメータセット部分は、ＳＰＳ  ＮＡＬユニットおよび／またはＶＰＳ  ＮＡＬユニットおよび／またはＰＰＳ  ＮＡＬユニットに含まれる、請求項４６ないし４８のいずれかに記載のネットワーク装置。
【請求項５０】
前記符号化パラメータ設定は、
画像サイズ、
タイル構造、
バッファサイズ及びタイミング
のうちの１つ以上を定義する、請求項４６ないし４９のいずれかに記載のエンコーダ。
【請求項５１】
前記ネットワーク装置は前記インデックスを前記ペイロード部分のスライスのスライスヘッダに配置するように構成され、各スライスには前記所定のサブ領域の境界を越えない画像の対応する領域が符号化されている、請求項４６ないし５０のいずれかに記載のネットワーク装置。
【請求項５２】
前記ネットワーク装置は、前記ビデオデータストリームのＳＥＩメッセージ、ＶＵＩ、またはパラメータセット拡張から前記情報を読出すように構成される、請求項４６ないし５１のいずれかに記載のネットワーク装置。
【請求項５３】
前記ペイロード部分には、前記画像が細分化され、且つ列および行から成るタイルアレイに配置されたタイルの単位で、前記ビデオの前記画像が符号化され、前記表示は前記所定のサブ領域を前記タイルのセットとして示す、請求項４６ないし５２のいずれかに記載のネットワーク装置。
【請求項５４】
前記ペイロード部分には、前記ペイロード部分がスライス単位で細分化されるように、前記ビデオの前記画像がタイル単位で符号化され、各スライスには前記タイルの間のタイル境界を越えない画像の対応する領域が符号化されている、請求項５３に記載のネットワーク装置。
【請求項５５】
前記置換インデックスによる前記リダイレクトが実行される前記インデックスによってインデックス化され、および／または前記置換パラメータによって置換される符号化パラメータ設定の前記第１のセットの一部は、
画像サイズ、
タイル構造、
バッファサイズ及びタイミング
のうちの１つ以上に関連する、請求項４６ないし５４のいずれかに記載のネットワーク装置。
【請求項５６】
前記ペイロード部分（１８）には、前記ビデオの前記画像が符号化されていて、前記所定のサブ領域（２２）において、前記画像が前記所定のサブ領域（２２）の境界を越える時間的予測の中断を伴って符号化されるようになっている、請求項４６ないし５５のいずれかに記載のネットワーク装置。
【請求項５７】
前記ネットワーク装置は、
前記ビデオデータストリームおよび前記削減ビデオデータストリームを復号化することができるビデオデコーダ
プロファイルレベルは前記ビデオデコーダにとって、前記ビデオデコーダが前記削減ビデオデータストリームを復号するには充分だが、前記プロファイルレベルが不十分で前記ビデオデコーダが前記ビデオデータストリームを復号することができない、ビデオデコーダおよび
制御信号に応じて、前記ビデオデータストリームおよび前記削減ビデオデータストリームの一方をビデオデコーダに転送するように構成されたネットワーク装置
のうちの１つである、請求項４６ないし５６のいずれかに記載のネットワーク装置。
【請求項５８】
前記ビデオデータストリームは、前記画像（１２）の少なくとも１つの所定のサブ領域（２１４）の前記セットについて、少なくとも１つの所定のサブ領域の前記目標画像領域への非変位コピーに関する目標画像領域（２１６）内の少なくとも１つの所定のサブ領域の前記セットの変位を示す変位情報（２０６）を含み、
前記ネットワーク装置は、前記変位情報を修正変位情報（２０６´）に修正して、前記サブ領域固有画像の所定のサブ領域が前記修正変位情報に応じて変位されて、前記目標画像領域にコピーされた前記サブ領域固有画像が、前記目標画像領域（２１６）内で、前記画像（１２）の少なくとも１つの所定のサブ領域（２１４）の前記セットが前記変位情報に応じて変位されて前記目標画像領域にコピーされた前記画像（１２）の前記所定のサブ領域（２２）と一致し、且つ、前記ビデオデータストリームを削減する際に、前記変位情報（２０６）を前記修正変位情報（２０６´）と置換するように構成され、
前記修正変位情報（２０６´）は前記画像（１２）の前記所定のサブ領域（２２）に関連付けられた前記ビデオデータストリームに含まれ、前記変位情報（２０６）は前記画像に関連付けられた前記ビデオデータストリームに含まれ、前記ネットワーク装置は、前記ビデオデータストリームを削減する際に、前記変位情報（２０６）を除去し、前記修正変位情報（２０６´）を前記削減ビデオデータストリームに持ち越して、前記サブ領域固有画像（８６）と関連付けられるようになるように構成される、
請求項４６ないし５７のいずれかに記載のネットワーク装置。
【請求項５９】
ビデオ（１４）を表すビデオデータストリームであって、
前記ビデオの画像（１２）が符号化されたペイロード部分（１８）と、
前記ビデオの前記画像が前記ペイロード部分（１８）に符号化される態様を適合させる補助拡張情報を示す補助拡張情報メッセージとを含み、
前記ビデオデータストリームは
前記画像（１２）の所定のサブ領域（２２）の表示（５２）と、
前記補助拡張情報メッセージを置換する置換補助拡張情報メッセージと
を含む情報（５０）を含み、
前記所定のサブ領域（２２）外の前記画像（１２）の領域を表す前記ペイロード部分（１８）の部分（７０）を除去（６８）すること、および
前記ペイロード部分（１８）における位置表示（３２）を変更して、前記画像（１２）ではなく前記所定のサブ領域（２２）の周長から測定して位置を示すようにすること
によって、前記ビデオデータストリームと比較すると修正された、削減ビデオデータストリーム（６２）が、
前記画像の前記所定のサブ領域（２２）を示すサブ領域固有画像（８６）が、前記置換補助拡張情報メッセージが前記サブ領域固有画像（８６）が前記削減ペイロード部分（１８）に符号化されている態様に適合する置換補助拡張情報を示すように符号化された削減ペイロード部分を有するように、前記置換補助拡張情報メッセージが選択される、ビデオデータストリーム。
【請求項６０】
前記補助拡張情報は、バッファサイズおよび／またはバッファタイミングデータに関連する、請求項５９に記載のビデオデータストリーム。
【請求項６１】
ビデオをビデオデータストリームに符号化するためのエンコーダであって、
前記ビデオの画像を前記ビデオデータストリームのペイロード部分に符号化するように構成された符号化コア（８０ｂ）と、
前記ビデオの画像が前記ペイロード部分（１８）に符号化される態様に適合する補助拡張情報を示す補助拡張情報メッセージを生成するように構成されたパラメータ設定器（８０ａ）とを含み、
前記符号化器は
前記画像（１２）の所定のサブ領域（２２）の表示および
前記補助拡張情報メッセージに置換される置換補助拡張情報メッセージと
を含む情報（５０）を前記ビデオデータストリームを供給するように構成され、
前記所定のサブ領域外の前記画像の領域を表す前記ペイロード部分の部分を除去（６８）すること、および
前記ペイロード部分における位置表示を変更（７８）して、前記画像ではなく前記所定のサブ領域の周長から測定して位置を示すようにすること
によって、前記ビデオデータストリームと比較すると修正された、削減ビデオデータストリームが、
前記サブ領域固有画像（８６）が前記削減ペイロード部分（１８）に符号化された態様に適合する置換補助拡張情報を前記置換補助拡張情報メッセージが示すように前記画像の前記サブ領域を示すサブ領域固有画像が符号化された削減ペイロード部分を有する、エンコーダ。
【請求項６２】
前記補助拡張情報はバッファサイズおよび／またはバッファタイミングデータに関連する、請求項６１に記載のエンコーダ。
【請求項６３】
ビデオデータストリームを処理するためのネットワーク装置であって、前記ビデオデータストリームは、
前記ビデオの画像が符号化されたペイロード部分と、
前記ビデオの前記画像が前記ペイロード部分（１８）に符号化された前記態様に適合する補助拡張情報を示す補助拡張情報メッセージとを含み、
前記ネットワーク装置は、
前記画像の所定のサブ領域の表示と
前記補助拡張情報メッセージに置換される置換補助拡張情報メッセージ
とを含む情報を前記ビデオデータストリームから読出し（６４）、
前記ビデオストリームを、
前記補助拡張情報メッセージを前記置換補助拡張情報メッセージで置換すること、
前記所定のサブ領域外の前記画像の領域を表す前記ペイロード部分の部分を除去（６８）すること、および
前記ペイロード部分における位置表示（３２）を変更（７８）して、前記画像ではなく前記所定のサブ領域の周長から測定された位置を示すようにすること
によって修正された削減ビデオデータストリームに削減（６６）して、
前記削減ビデオデータストリームが、前記置換補助拡張情報メッセージが前記サブ領域固有画像（８６）が前記削減ペイロード部分（１８）に符号化された様態に適合する置換補助拡張情報を示すように前記画像の前記所定のサブ領域を示すサブ領域固有画像が符号化された削減ペイロード部分を有するようにする
ように構成される、ネットワーク装置。
【請求項６４】
ビデオデータストリームを処理するためのネットワーク装置であって、
前記ビデオデータストリームのパラメータセット部分における符号化パラメータ設定を使用して例外なしにパラメータ化して、および／または
前記ビデオデータストリームの補助拡張メッセージにより示された補助拡張情報に例外なしに適合する態様で、
前記ビデオの画像が符号化されたペイロード部分のフラクションであって、前記画像の所定のサブ領域外の前記画像の領域を表す前記ペイロード部分の部分の排除に対応するフラクションを含み、前記ビデオの前記画像が前記ペイロード部分に符号化されるビデオデータストリームを受信し、
前記ペイロード部分における位置表示（３２）を変更して（７８）前記画像ではなく前記所定のサブ領域の周長から測定して位置を示すこと、および
前記パラメータ設定部分における前記符号化パラメータ設定を調整する、および／または前記補助拡張情報メッセージを調整して、
前記符号化パラメータ設定を使用してパラメータ化して、および／または
前記調整された補助拡張情報補助拡張メッセージによって調整されたとおりに示される補助拡張情報補助拡張情報に適合させる
ように、前記画像の前記所定のサブ領域を示すサブ領域固有画像が符号化された、前記ペイロード部分の前記フラクションを前記ビデオデータストリームが有すること
によって前記ビデオデータストリームを修正するように構成されている、ネットワーク装置。
【請求項６５】
前記所定のサブ領域（２２）に関する情報を前記ビデオデータストリームと合わせて受信するように構成された、あるいは前記所定のサブ領域（２２）に関する情報を前記ビデオデータストリームのダウンロードを制限するために使用して、前記所定のサブ領域（２２）外の前記画像の領域を表す前記ペイロード部分（１８）の部分（７０）が、ダウンロードされないように構成されている、請求項６４に記載のネットワーク装置。
【請求項６６】
ビデオをビデオデータストリームに符号化するための方法であって、
符号化パラメータ設定（２０）を決定し、かつ前記符号化パラメータ設定を示す前記ビデオデータストリームのパラメータセット部分（１６）を生成するステップと、
前記ビデオの画像を前記ビデオデータストリームのペイロード部分に、前記符号化パラメータ設定の第１のセット（２０ａ）を使ってパラメータ化して符号化するステップであって、前記第１のセットは前記ペイロード部分が含むインデックス（４８）によってインデックス化されている、ステップと、
前記ビデオデータストリームに、
前記画像（１２）の所定のサブ領域（２２）の表示と
前記ペイロード部分が含む前記インデックスをリダイレクトして、符号化パラメータ設定の第２のセットを表すようにするための置換インデックス（５４）と
を含む情報（５０）を供給するステップとを含み、
前記所定のサブ領域外の前記画像の領域を表す前記ペイロード部分の部分を除去（６８）すること、および
前記ペイロード部分における位置表示を変更（７８）して、前記画像ではなく前記所定のサブ領域の周長から測定して位置を示すようにすること
によって、前記ビデオデータストリームと比較すると修正された削減ビデオデータストリームが、
前記画像の前記サブ領域を、符号化パラメータ設定の前記第２のセットを使用してパラメータ化して示すサブ領域固有画像が符号化されている、削減ペイロード部分を有するように、符号化パラメータの前記第２のセットが選択される、方法。
【請求項６７】
ビデオをビデオデータストリームに符号化するための方法であって、
符号化パラメータ設定（２０）を決定し、前記符号化パラメータ設定を示す前記ビデオデータストリームのパラメータセット部分（１６）を生成するステップと、
前記ビデオの画像を前記ビデオデータストリームのペイロード部分に、前記符号化パラメータ設定の第１のセット（２０ａ）を使用してパラメータ化して符号化するステップであって、前記第１のセットは前記ペイロード部分が含むインデックス（４８）によってインデックス化される、ステップと、
前記ビデオデータストリームに、
前記画像（１２）の所定のサブ領域（２２）の表示と、
符号化パラメータ設定の前記第１のセットを調整して、符号化パラメータ設定の第２のセットをもたらすための置換パラメータ（５６）であって、前記符号化パラメータ設定がバッファサイズおよびタイミング（４６）を定義する置換パラメータ（５６）と
を含む情報（５０）を供給するステップとを含み、
前記所定のサブ領域外の前記画像の領域を表す前記ペイロード部分の部分を除去（６８）すること、および
前記ペイロード部分における位置表示を変更して、前記画像ではなく前記所定のサブ領域の周長から測定して位置を示すようにすること、
によって、前記ビデオデータストリームと比較すると修正された、削減ビデオデータストリームが、
前記画像の前記サブエリアを、符号化パラメータ設定の前記第２のセットを使用してパラメータ化して示す、サブ領域固有画像が符号化された削減ペイロード部分を有するように、符号化パラメータの前記第２のセットが選択される、方法。
【請求項６８】
ビデオデータストリームを処理するための方法であって、前記ビデオデータストリームは、
符号化パラメータ設定を示すパラメータセット部分と、
前記ビデオの画像が、前記符号化パラメータ設定の第１のセットを使用してパラメータ化されて符号化されたペイロード部分であって、前記第１のセットは、前記ペイロード部分に含まれるインデックスによってインデックス化される、ペイロード部分
とを含み、
前記方法は、
前記ビデオデータストリームから
前記画像の所定のサブ領域の表示と、
前記ペイロード部分が含む前記インデックスをリダイレクトして、符号化パラメータ設定の第２のセットを表すための置換インデックス、および／または符号化パラメータ設定の第１のセットを調整して、符号化パラメータ設定の第２のセットをもたらすための置換パラメータ
を含む情報を読出し（６４）、
前記ビデオデータストリームを、
前記リダイレクト（７２）および／または調整（８８）を実行して符号化パラメータ設定の前記第２のセットが前記ペイロード部分のインデックスによりインデックス化されるようにすること、
前記所定のサブ領域外の前記画像の領域を表す前記ペイロード部分の部分を除去（６８）すること、および
前記ペイロード部分における位置表示（３２）を変更して、前記画像ではなく前記所定のサブ領域の周長から測定された位置を示すようにすること
によって修正された削減ビデオデータストリームに削減（６６）して、
前記削減ビデオデータストリームが、前記画像の前記所定のサブ領域を示すサブ領域固有画像が、符号化パラメータ設定の前記第２のセットを用いてパラメータ化して符号化された削減ペイロード部分を有するように構成された、方法。
【請求項６９】
ビデオをビデオストリームに符号化するための方法であって、
前記ビデオの画像を前記ビデオデータストリームのペイロード部分に符号化するステップと、
前記ビデオの前記画像が前記ペイロード部分（１８）に符号化される態様と適合する補助拡張情報を示す補助拡張情報メッセージを生成するステップと、
前記ビデオデータストリームに、
前記画像（１２）の所定のサブ領域（２２）の表示と、
前記補助拡張情報メッセージに置換される置換補助拡張情報メッセージ
を含む情報（５０）を供給するステップとを含み、
前記所定のサブ領域外の前記画像の領域を表す前記ペイロード部分の部分を除去（６８）すること、および
前記ペイロード部分における位置表示を変更（７８）して、前記画像ではなく前記所定のサブ領域の周長から測定して位置を示すようにすること
によって、前記ビデオデータストリームと比較すると修正された削減ビデオデータストリームが、
前記画像の前記サブ領域を、前記置換補助拡張情報メッセージが、前記サブ領域固有画像（８６）が前記削減ペイロード部分（１８）に符号化された前記態様に適合する置換補助拡張情報を示すように前記画像の前記サブ領域を示すサブ領域固有画像が符号化された削減ペイロード部分を有するように、前記置換補助拡張情報メッセージが選択される、方法。
【請求項７０】
ビデオデータストリームを処理するための方法であって、前記ビデオデータストリームは、
前記ビデオの画像が符号化されたペイロード部分と、
前記ビデオの前記画像が前記ペイロード部分（１８）に符号化される方法に適合する補助拡張情報を示す補助拡張情報メッセージとを含み、
前記方法は、
前記ビデオストリームから、
前記画像の所定のサブ領域の表示と、
前記補助拡張情報メッセージに置換される置換補助拡張情報メッセージと
を含む情報を読出す（６４）ステップと、
前記ビデオストリームを、
前記補助拡張情報メッセージを前記置換補助拡張情報メッセージで置換すること、
前記所定のサブ領域外の前記画像の領域を表す前記ペイロード部分の部分を除去（６８）すること、および
前記ペイロード部分における位置表示（３２）を変更して、前記画像ではなく前記所定のサブ領域の周長から測定された位置を示すようにすること
によって修正された削減ビデオデータストリームに削減して、
前記削減ビデオデータストリームが、前記サブ領域固有画像（８６）が前記削減ペイロード部分（１８）に符号化された様態に適合させて前記置換補助拡張情報メッセージが置換補助拡張情報を示すように前記画像の前記所定のサブ領域を示すサブ領域固有画像が符号化された削減ペイロード部分を有するようにするステップとを含む、方法。
【請求項７１】
ビデオデータストリームを処理するための方法であって、
前記ビデオの前記画像が
前記ビデオデータストリームのパラメータセット部分における符号化パラメータ設定を使用して例外なしにパラメータ化して、および／または
前記ビデオデータストリームの補助拡張メッセージにより示された補助拡張情報を例外なしに適合させて、
符号化されているペイロード部分のフラクションを含むビデオデータストリームを受信するステップであって、前記フラクションは前記画像の所定のサブ領域外の前記画像の領域を表す前記ペイロード部分の排除に対応するステップと、
前記ペイロード部分の位置表示（３２）を変更（７８）して、前記画像ではなく前記所定のサブ領域の周長から測定された位置を示すようにすること、および
前記パラメータ設定部分における前記符号化パラメータ設定を調整し、および／または前記補助拡張情報メッセージを調整して、前記画像の前記所定のサブ領域を示すサブ領域固有画像が、
前記符号化パラメータ設定を使用してパラメータ化されて、および／または
前記調整された補助拡張情報補助拡張メッセージによって調整されたことが示された補助拡張情報補助拡張情報に適合させて、
符号化された前記ペイロード部分のフラクションを前記データストリームが有するようにすること
によって前記ビデオデータストリームを修正するステップとを含む、方法。
【請求項７２】
請求項２４ないし３４および請求項５９ないし６０のいずれかに記載のデータストリームを格納した、デジタル記憶媒体。
【請求項７３】
コンピュータ上で実行される際に、請求項６６ないし７１のいずれかに記載の方法を実行するためのプログラムコードを有する、コンピュータプログラム。
【請求項７４】
時間的予測を使用して画像のシーケンス（３０２）が符号化され、
前記ビデオストリームに１つ以上の画像（画像Ａ）の第１のセットが符号化されると共に少なくとも第１の画像サブ領域（Ａ）内で時間的予測が中断されて、１つ以上の第１のランダムアクセスポイントのセットが形成され、かつ
前記ビデオストリームに１つ以上の画像（画像Ｂ）の第２のセットが符号化されると共に前記第１の画像サブ領域（Ａ）とは異なる第２の画像サブ領域（Ｂ）内で時間的予測が中断されて、１つ以上の第２のランダムアクセスポイントのセットが形成されるようになっている、
ビデオデータストリーム。
【請求項７５】
前記第１および第２のサブ領域が重複することなく互いに当接する、請求項７４に記載のビデオデータストリーム。
【請求項７６】
前記第１および前記第２のサブ領域が、前記ビデオストリームにおいてシグナリング（３１９）される、重複がなくギャップもない前記画像のシーケンス（３０２）の分割を形成する、請求項７５に記載のビデオデータストリーム。
【請求項７７】
１つ以上の画像（画像Ａ）の前記第１のセットが前記ビデオデータに符号化されると共に、前記画像の領域全体にわたって時間的予測が中断されて１つ以上の画像単位ランダムアクセスポイントのセットが形成される、請求項７６に記載のビデオデータストリーム。
【請求項７８】
１つ以上の画像（画像Ｂ）の前記第２のセットが前記ビデオデータに符号化されると共に、前記第２の画像サブ領域（Ｂ）内において、前記第２の画像サブ領域外の空間部分にへの空間符号化依存が中断される、請求項７４ないし７７のいずれかに記載のビデオデータストリーム。
【請求項７９】
１つ以上の画像（画像Ｂ）の前記第２のセットを示すシグナル化（３１８）をさらに含む、請求項７４ないし７８のいずれかに記載のビデオデータストリーム。
【請求項８０】
前記シグナル化（３１８）は、画像単位ランダムアクセスポイントとサブ領域固有ランダムアクセスポイントとを区別する前記ビデオデータストリームの画像タイプシグナル化（３２０）によって少なくとも部分的に１つ以上の画像（画像Ｂ）の第２のセットを示す、請求項７９に記載のビデオデータストリーム。
【請求項８１】
前記シグナル化（３１８）は、サブ領域固有ランダムアクセスポイントになる１つ以上の画像（画像Ｂ）の第２のセットを示し、前記第２の画像サブ領域（Ｂ）に１つ以上の画像（画像Ｂ）の前記第２のセットをさらに関連付ける、前記ビデオデータストリームの前記画像タイプシグナル化（３２０）によって、１つ以上の画像（画像Ｂ）の前記第２のセットを示す、請求項８０に記載のビデオデータストリーム。
【請求項８２】
ビデオデータストリームの前記画像タイプシグナル化（３２０）は、前記ビデオデータストリームのＮＡＬユニットヘッダに含まれる、請求項８０または８１に記載のビデオデータストリーム。
【請求項８３】
前記画像のシーケンスについて、前記第２の画像サブ領域（Ｂ）の時間的予測が制限されていて、前記第２の画像サブ領域外の前記画像（３０２）の画像領域に接触しないように、あるいは接触できるように、前記画像（３０２）が前記ビデオデータストリームに符号化されているかを示すさらなるシグナル化（３２１）をさらに含む、請求項７４ないし８２のいずれかに記載のビデオデータストリーム。
【請求項８４】
１つ以上の画像の前記第２のセットのうちの１つ（画像Ｂ）と、１つ以上の画像の前記第１のセットの復号化順序での次の画像（画像Ａ）との間の画像（３１７）が、前記第２の画像サブ領域（Ｂ）外の参照画像の画像領域（Ａ）を参照しないように前記第２の画像サブ領域（Ｂ）における時間的予測を制限して、前記ビデオデータストリームに符号化されている、請求項７４ないし８３のいずれかに記載のビデオデータストリーム。
【請求項８５】
１つ以上の画像の前記第２のセットのうちの１つ（画像Ｂ）と、１つ以上の画像の前記第１のセットの復号化順序での次の画像（画像Ａ）との間の画像（３１７）が、１つ以上の画像の前記第２のセットの前記１つ（画像Ｂ）に関して、復号化順序で上流の参照画像を参照しないように前記第２の画像サブ領域（Ｂ）内における時間的予測を制限して、前記ビデオデータストリームに符号化されている、請求項７４ないし８４のいずれかに記載のビデオデータストリーム。
【請求項８６】
１つ以上の画像の前記第２のセットのうちの１つ（画像Ｂ）と、復号化順序において続く、１つ以上の画像の前記第１のセットのうちの１つ（画像Ａ）との間の前記画像（３１７）は、１つ以上の画像の前記第２のセットのうちの前記１つ（画像Ｂ）と、復号化順序において続く、１つ以上の画像の前記第１のセットのうちの１つ（画像Ａ）と、１つ以上の画像の前記第２のセットのうちの前記１つ（画像Ｂ）との間の前記画像（３１７）のいずれかにそれぞれ属する参照画像の前記第２の画像サブ領域（Ｂ）を参照しないように、前記第２の画像サブ領域（Ｂ）外の前記画像領域（Ａ）内での時間的予測を制限して、前記ビデオデータストリームに符号化するように構成される、請求項８４または８５のいずれかに記載のビデオデータストリーム。
【請求項８７】
１つ以上の画像の前記第２のセットのうちの１つ（画像Ｂ）と、復号化順序において続く、１つ以上の画像の前記第１のセットのうちの１つ（画像Ａ）との間の前記画像（３１７）は、１つ以上の画像の前記第２のセットのうちの前記１つ（画像Ｂ）と、復号化順序において続く、１つ以上の画像の前記第１のセットのうちの１つ（画像Ａ）、および１つ以上の画像の前記第２のセットのうちの前記１つ（画像Ｂ）の間の前記画像（３１７）のいずれかに属する参照画像の前記第２の画像サブ領域（Ｂ）を少なくとも部分的に表す、前記第２の画像サブ領域（Ｂ）外の前記画像領域（Ａ）内での時間的予測を使用して、前記ビデオデータストリームに符号化し、
１つ以上の画像の前記第１のセットの、復号化順序において前記続く１つ（画像Ａ）に続く画像（３１７’）は、１つ以上の画像の前記第１のセットの前記続く１つ（画像Ａ）および１つ以上の画像の前記第１のセットの前記続く１つ（画像Ａ）に続く前記画像（３１７’）のうちのいずれかに属する参照画像に、復号化順序において先行する前記第２の画像サブ領域（Ｂ）を参照しないように、前記第２の画像サブ領域（Ｂ）外の前記画像領域（Ａ）内での時間的予測を制限して、前記ビデオデータストリームに符号化される、請求項８４および８５のいずれかに記載のビデオデータストリーム。
【請求項８８】
時間的予測を使用して画像のシーケンスをビデオデータストリームに符号化するためのエンコーダであって、
前記エンコーダは、
１つ以上の画像の第１のセットを、少なくとも第１の画像サブ領域内での時間的予測の中断を伴って前記ビデオデータストリームに符号化して、１つ以上の第１のランダムアクセスポイントを形成し、かつ
１つ以上の画像の第２のセットを、前記第１の画像サブ領域とは異なる第２の画像サブ領域内での時間的予測の中断を伴って前記ビデオデータストリームに符号化して、１つ以上の第２のランダムアクセスポイントを形成するように構成された、エンコーダ。
【請求項８９】
前記第１および第２のサブ領域は重複することなく互いに当接する、請求項８８に記載のエンコーダ。
【請求項９０】
前記第１および第２のサブ領域は、画像（３０２）の前記シーケンスのオーバーラップなし及びギャップなし分割を形成するとともに、前記エンコーダは重複自在及びギャップなし分割のシグナル化（３１９）とともに前記ビデオデータストリームを供給するように構成されている、請求項８９に記載のデータストリーム。
【請求項９１】
画像単位のランダムアクセスポイントのセットを形成するように画像の領域全体にわたる時間的予測を完全に中断して、１つ以上の画像の前記第１のセットを前記ビデオデータストリームに符号化するように構成される、請求項８８に記載のエンコーダ。
【請求項９２】
前記第２の画像サブ領域（B）内に、前記第２の画像サブ領域外の空間部分に関する空間符号化依存性を中断して前記ビデオデータストリームに１つ以上の画像の前記第２のセットを符号化するように構成された請求項８８ないし９１のいずれかに記載のエンコーダ。
【請求項９３】
１つ以上の画像の前記第２のセットを示す前記ビデオデータストリーム内にシグナル化を挿入するようにさらに構成された請求項８８ないし９２のいずれかに記載のエンコーダ。
【請求項９４】
前記画像のシーケンスについて、前記第２の画像サブ領域（Ｂ）の時間的予測が制限されて、前記第２の画像サブ領域外にある前記画像（３０２）の画像領域に接触できない、あるいは接触できるように、画像（３０２）がビデオデータストリームに符号化されているかを示すさらなるシグナル化を前記ビデオデータストリームに挿入するように構成される、請求項８８ないし９３のいずれかに記載のエンコーダ。
【請求項９５】
前記エンコーダは、
１つ以上の画像の前記第２のセットのうちの１つと、復号化順序において続く、１つ以上の画像の前記第１のセットのうちの１つとの間の画像を、前記第２の画像サブ領域外の参照画像の画像領域を参照しないように前記第２の画像サブ領域内での時間的予測を制限して、前記ビデオデータストリームに符号化するように構成される、請求項８８ないし９４のいずれかに記載のエンコーダ。
【請求項９６】
前記エンコーダは、１つ以上の画像の前記第２のセットのうちの１つ（画像Ｂ）と、復号化順序において続く、１つ以上の画像の前記第１のセットのうちの１つ（画像Ａ）との間の画像（３１７）を、１つ以上の画像の前記第２のセットの前記１つ（画像Ｂ）に対して復号化順序で上流の参照画像を参照しないように、前記第２の画像サブ領域（Ｂ）内での時間的予測を制限して、前記ビデオデータストリームに、符号化するように構成される、請求項８８ないし９４のいずれかに記載のエンコーダ。
【請求項９７】
前記エンコーダは、１つ以上の画像の前記第２のセットのうちの１つ（画像Ｂ）と、復号化順序において続く、１つ以上の画像の前記第１のセットのうちの１つ（画像Ａ）との間の前記画像（３１７）を、１つ以上の画像の前記第２のセットのうちの前記１つ（画像Ｂ）と、復号化順序において続く、１つ以上の画像の前記第１のセットのうちの１つ（画像Ａ）と、１つ以上の画像の前記第２のセットのうちの前記１つ（画像Ｂ）との間の前記画像（３１７）のいずれかにそれぞれ属する参照画像の前記第２の画像サブ領域（Ｂ）を参照しないように、前記第２の画像サブ領域（Ｂ）外の前記画像領域（Ａ）内での時間的予測を制限して、前記ビデオデータストリームに符号化するように構成される、請求項９５または９６のいずれかに記載のエンコーダ。
【請求項９８】
前記エンコーダは、
１つ以上の画像の前記第２のセットのうちの１つ（画像Ｂ）と、復号化順序において続く、１つ以上の画像の前記第１のセットのうちの１つ（画像Ａ）との間の前記画像（３１７）を、１つ以上の画像の前記第２のセットのうちの前記１つ（画像Ｂ）と、復号化順序において続く、１つ以上の画像の前記第１のセットのうちの１つ（画像Ａ）、および１つ以上の画像の前記第２のセットのうちの前記１つ（画像Ｂ）の間の前記画像（３１７）のいずれかに属する参照画像の前記第２の画像サブ領域（Ｂ）を少なくとも部分的に表す、前記第２の画像サブ領域（Ｂ）外の前記画像領域（Ａ）内での時間的予測を使用して、前記ビデオデータストリームに符号化し、
１つ以上の画像の前記第１のセットの、復号化順序において前記続く１つ（画像Ａ）に続く画像を、１つ以上の画像の前記第１のセットの前記続く１つ（画像Ａ）および１つ以上の画像の前記第１のセットの前記続く１つ（画像Ａ）に続く画像のうちのいずれかに属する参照画像に、復号化順序において先行する前記第２の画像サブ領域（Ｂ）を参照しないように、前記第２の画像サブ領域（Ｂ）外の前記画像領域（Ａ）内での時間的予測を制限して、前記ビデオデータストリームに符号化するように構成された、請求項９５および９６のいずれかに記載のエンコーダ。
【請求項９９】
時間的予測を使用してビデオデータストリームから画像のシーケンスを復号するためのデコーダであって、前記デコーダは、
少なくとも第１の画像サブ領域内での時間的予測の中断を伴って前記ビデオデータストリームに符号化される１つ以上の画像の第１のセットにおける１つ以上の第１のランダムアクセスポイントのセット、および
前記第１の画像サブ領域とは異なる第２の画像サブ領域内での時間的予測の中断を伴って前記ビデオデータストリームに符号化される１つ以上の画像の第２のセットにおける１つ以上の第２のランダムアクセスポイントのセット
を使用してランダムアクセスをサポートする、デコーダ。
【請求項１００】
現在の画像が１つ以上の画像の前記第２のセットのうちの１つである場合に、
前記現在の画像を始点として前記画像のシーケンスの復号化および／または出力を再開するが、前記画像シーケンスの復号化および／または出力のうちの少なくとも１つを第２の画像サブ領域に予備的に制限するように構成された、請求項９９に記載のデコーダ。
【請求項１０１】
前記第１のランダムアクセスポイントのセットのうちの１つに遭遇すると前記予備的制限を停止するように構成された、請求項１００に記載のデコーダ。
【請求項１０２】
現在の画像が１つ以上の画像の前記第１または第２のセットの１つである場合には、
前記現在の画像を始点として前期画像の前記シーケンスの復号化を再開するが、復号化の再開から１つ以上の画像の各セットの１つの画像に遭遇するまで、前記画像のシーケンスの出力を制限するステップとを含み、１つ以上の画像のセットのそれぞれについて、１つ以上の画像の前記それぞれのセットの各画像は、１つ以上の画像の前記それぞれのセットについてサブ領域固有の画像内での時間的予測の中断を伴って、ビデオデータストリームに符号化され、１つ以上の画像の前記セットの前記サブ領域は互いに異なっており、まとめると前記画像の前記シーケンスの画像領域を完全にカバーするように構成された、請求項９９に記載のデコーダ。
【請求項１０３】
前記第１および第２のサブ領域は、重複することなく当接し、前記デコーダは、現在のランダムアクセスポイントが前記第２のランダムアクセスポイントのうちの１つであり、次のランダムアクセスポイントが前記第１のアクセスポイントのうちの１つである場合、前記現在のランダムアクセスポイントと次のランダムアクセスポイントとの間の前記第２の画像サブ領域まで復号化を制限し、前記第２の画像サブ領域から復号化を拡張して前記第１の画像サブ領域も含むようにするように構成された、請求項９９ないし１０２のいずれかに記載のデコーダ。
【請求項１０４】
前記第１および第２のサブ領域は、重複およびギャップのない前記画像（３０２）のシーケンスの分割を形成し、前記デコーダは、前記ビデオデータストリームにおけるシグナル化（３１９）から前記分割を導出するように構成される、請求項９９に記載のデコーダ。
【請求項１０５】
１つ以上の画像の前記第１のセットを１つ以上の画像単位のランダムアクセスポイントのセットとして処理するように構成された請求項９９ないし１０２のいずれかに記載のデコーダ。
【請求項１０６】
請求項７４ないし８７のいずれかに記載のデータストリームを復号するように構成された、請求項９９ないし１０５のいずれかに記載のデコーダ。
【請求項１０７】
請求項７４乃至８７のいずれかに記載の、時間的予測を使用して画像（３０２）のシーケンスが符号化されたビデオデータストリームを受信するように構成されたネットワーク装置であって、前記ネットワーク装置は、前記データストリームを削減して、前記第２の画像サブ領域外の前記画像の画像領域が符号化されたビデオデータストリームの部分を除去し、１つ以上の画像の前記第２のセットを画像単位のランダムアクセス画像として示す画像タイプ情報（３２０）により１つ以上の画像の前記第２のセットをサブ領域固有ランダムアクセスポイントとして示す前記ビデオデータストリーム内で情報（３１８）を置き換えることによって、前記第２の画像サブ領域を示す符号化されたサブ領域固有画像（３２６）を有する削減ビデオデータストリームを得るように構成された、ネットワーク装置。
【請求項１０８】
時間的予測を使用して画像のシーケンスをビデオデータストリームに符号化する方法であって、前記方法は、
１つ以上の画像の第１のセットを少なくとも第１の画像サブ領域における時間的予測の中断を伴って前記ビデオデータストリームに符号化して、１つ以上の第１のランダムアクセスポイントのセットを形成するステップと、
１つ以上の画像の第２のセットを前記第１の画像サブ領域とは異なる第２の画像サブ領域における時間的予測の中断を伴って符号化して、１つ以上の第２のランダムアクセスポイントのセットを形成するステップとを含む、方法。
【請求項１０９】
時間的予測を用いてビデオデータストリームから画像のシーケンスを復号する方法であって、前記方法は、
少なくとも第１の画像サブ領域内での時間的予測の中断を伴って前記ビデオデータストリームに符号化される１つ以上の画像の第１のセットにおける１つ以上の第１のランダムアクセスポイントのセットおよび
第１の画像サブ領域とは異なる第２の画像サブ領域内での時間的予測の中断を伴って前記ビデオデータストリームに符号化される１つ以上の画像の第２のセットにおける１つ以上の第２のランダムアクセスポイントのセット
を用いて前記ビデオデータストリームをランダムアクセスするステップを含む、方法。
【請求項１１０】
請求項７４ないし８７のいずれかに記載の時間的予測を用いて画像（３０２）のシーケンスが符号化されたビデオデータストリームを受信するステップと、
前記データストリームを削減して、前記第２の画像サブ領域外の前記画像の画像領域が符号化されたビデオデータストリームの部分を除去し、１つ以上の画像の前記第２のセットを画像単位のランダムアクセス画像として示す画像タイプ情報（３２０）により１つ以上の画像の前記第２のセットをサブ領域固有ランダムアクセスポイントとして示す前記ビデオデータストリーム内で情報（３１８）を置き換えることによって、前記第２の画像サブ領域を示す符号化されたサブ領域固有画像（３２６）を有する削減ビデオデータストリームを得るステップとを含む方法。
【請求項１１１】
請求項７４ないし８７のいずれかに記載のデータストリームを記憶したデジタル記憶媒体。
【請求項１１２】
コンピュータ上で実行される時、請求項１０８ないし１１０のいずれかに記載の方法を実行するためのプログラムコードを有するコンピュータプログラム。
【国際調査報告】
2019506091.tif 000040
2019506091.tif 000041
2019506091.tif 000042
2019506091.tif 000043
2019506091.tif 000044