(57)【要約】      （修正有）【課題】並列処理を許容する復号化器、トランスポートデマルチプレクサ、ビデオビットストリームおよび符号化器を提供する。【解決手段】スライス、ＷＰＰサブストリーム、タイル内に画像を記述し符号化されたローバイトシーケンスペイロードは、、切片境界全体にわたって符号化確率適合の継続を伴い再分割、切断される。導入された切片境界は、エントロピー符号化効率を減少させない。切片は、元のスライス、ＷＰＰサブストリーム、タイルより小さく、切断されていないスライス、ＷＰＰサブストリーム、タイルより早く、より小さい遅延で転送できる。第１の視点と組合せうる他の視点に基づきサブストリームマーカーＮＡＬユニットは、トランスポートデマルチプレクサがＮＡＬユニット内でスライスのデータを対応サブストリーム、タイルに割当可能にするため、マルチスレッド復号化器を、対応サブストリーム、タイルとともに並列に機能するよう使用される。【選択図】図３
2020167719.tif 000002
【特許請求の範囲】
【請求項１】
スライス、ＷＰＰサブストリームまたはタイルに画像を記述し、スライス、ＷＰＰサブストリームまたはタイルの切片において、符号化器からＣＡＢＡＣを使用して、符号化されたローバイトシーケンスペイロードを受信し、
切片境界全体のＣＡＢＡＣ確率適合を継続するとともに前記切片をエントロピー復号化し、
前記画像を得るために、前記ローバイトシーケンスペイロードを復号化する、
ように構成されていることを特徴とする復号化器。
【請求項２】
請求項１に記載の復号化器において、
前記ローバイトシーケンスは、前記画像をスライスに記述し、かつ、前記復号化器は、前記ローバイトシーケンスペイロードを復号化する際に、他のスライスのデータを使用せずに各スライスを別々に復号化するように構成されている、
ことを特徴とする復号化器。
【請求項３】
請求項１または２に記載の復号化器において、
前記ローバイトシーケンスペイロードは、前記画像をタイルに記述し、かつ、前記復号化器は、前記ローバイトシーケンスペイロードを復号化する際に、エントロピー復号化を実行し、前記複数のタイルをそれぞれ互いに独立にトランスフォーム復号化するように構成されている、
ことを特徴とする復号化器。
【請求項４】
先行する請求項のいずれかに記載の復号化器において、
前記ローバイトシーケンスペイロードは、前記画像をＷＰＰサブストリームに記述し、かつ、前記復号化器は、前記ローバイトシーケンスペイロードを復号化する際に、前記ＷＰＰサブストリームの波面並列処理を使用するように構成されている、
ことを特徴とする復号化器。
【請求項５】
先行する請求項のいずれかに記載の復号化器において、
前記切片は、スライスヘッダを使用してパケット化され、かつ、前記復号化器は、前記切片を受信する際に、新たなスライスを受信すると直ちに、ＣＡＢＡＣ確率をリセットすることにより前記ＣＡＢＡＣ確率適合を中断するか、または前記ＣＡＢＡＣ確率適合を続けるために、前記新たなスライスの前記スライスヘッダにおけるフラグ、または、前記新たなスライスのスライスタイプ、または、前記新たなスライスを含むＮＡＬユニットのＮＡＬユニットタイプに応答するように構成されている、
ことを特徴とする復号化器。
【請求項６】
先行する請求項のいずれかに記載の復号化器において、
前記ローバイトシーケンスペイロードは、前記画像をＷＰＰサブストリームまたはタイルに記述し、それらは、更に切片に再分割される、
ことを特徴とする復号化器。
【請求項７】
請求項６に記載の復号化器において、
前記復号化器は、前記切片を受信する際、各切片がどのＷＰＰサブストリームまたはタイルに属するかを確認することにより、前記切片をデインターリーブするように構成されている、
ことを特徴とする復号化器。
【請求項８】
先行する請求項のいずれかに記載の復号化器において、
各パケットが、前記画像の各ＷＰＰサブストリームまたはタイルの切片または前記画像の前記複数のＷＰＰサブストリームまたは複数のタイルのサブセットから成るような方法で、前記切片は、パケットにパケット化され、ＷＰＰサブストリームまたはタイル間で定義された順序で配列され、各パケットは、それぞれのパケットにパックされた切片の位置および／または長さを示すヘッダまたは前記それぞれのパケット内で前記切片を互いに分離するマーカーを有し、前記復号化器は、前記ローバイトシーケンスペイロードを受信する際に、前記パケット内の前記切片にアクセスするために前記ヘッダまたは前記マーカーを有する前記情報を使用するように構成されている、
ことを特徴とする復号化器。
【請求項９】
請求項８に記載の復号化器において、
前記画像の前記ＷＰＰサブストリームまたはタイルの第１の−前記ＷＰＰサブストリームまたはタイルの間で定義された順序に従って−切片は、低遅延特性インジケータからなり、前記画像の前記ＷＰＰサブストリームまたはタイルの第２のまたは後続の−前記ＷＰＰサブストリームまたはタイルの間で定義された順序に従って−切片を有するパケットは、連続性インジケータからなる、
ことを特徴とする復号化器。
【請求項１０】
請求項８または９による復号化器において、
前記パケットは、ＮＡＬユニットまたはスライスである、
ことを特徴とする復号化器。
【請求項１１】
トランスポートデマルチプレクサにおいて、
マルチプレックスバッファと、
ＷＰＰサブストリームまたはタイル内で画像の並列復号化を可能にするマルチスレッド復号化器により引かれるためのスライスバッファと、
ビデオビットストリームの既定の基本ストリームのＴＳパケットに属するデータを集め、かつ、前記データを前記マルチプレックスバッファに転送するように構成されたトランスポートバッファとを備え、
前記トランスポートデマルチプレクサは、前記マルチプレックスバッファの出力において前記ＴＳパケットにパケット化されたＮＡＬユニットシーケンスのＮＡＬユニットのＮＡＬユニットヘッダを評価し、前記ＮＡＬユニットシーケンスに挿入されたサブストリームマーカーを、前記サブストリームマーカー内で運ばれた前記サブストリームマーカーデータを蓄積するとともに落とし、かつサブストリームマーカーに続くＮＡＬユニット内におけるサブストリームまたはタイルのスライスのデータ、１つのスライスバッファにおける同じＷＰＰサブストリームまたはタイルを特定するデータフィールド、およびサブストリームマーカーに続くＮＡＬユニット内におけるＷＰＰサブストリームまたはタイルのスライスのデータ、異なるスライスバッファにおける異なるＷＰＰサブストリームまたはタイルを特定するデータフィールドを蓄積するように構成されている、
ことを特徴とするトランスポートデマルチプレクサ。
【請求項１２】
請求項１１に記載のトランスポートデマルチプレクサにおいて、
前記サブストリームマーカーは、前記サブストリームかタイルの前記スライスの前記データがいずれの範囲内であるかというＮＡＬユニットと異なるＮＡＬユニットタイプを有するサブストリームマーカーＮＡＬユニットである、
ことを特徴とするトランスポートデマルチプレクサ。
【請求項１３】
請求項１１または１２によるトランスポートデマルチプレクサにおいて、
前記ビデオビットストリームを受信して、各基本ストリームが他の基本ストリームのＴＳパケットのＰＩＤと異なるＰＩＤのＴＳパケットからなるように、ＴＳパケットのＴＳ
ヘッダの範囲内で含まれたＰＩＤに従い前記ビデオビットストリームのＴＳパケットを異なる基本ストリームへ分割するように構成されるデマルチプレクサをさらに備えた、
ことを特徴とするトランスポートデマルチプレクサ。
【請求項１４】
スライスまたはＷＰＰサブストリームまたはタイルにおいて画像を記述しているローバイトシーケンスペイロードを有し、ＣＡＢＡＣを使用して符号化されたビデオビットストリームを受信し、切片境界にわたりＣＡＢＡＣ確率適合を継続するとともに、前記ビデオビットストリームは、前記スライスまたはＷＰＰサブストリームまたはタイルの切片に分解するように構成され、
各切片は、各切片に対しどのＷＰＰサブストリームまたはタイルが属するかに関し特定する情報を有し、前記情報を使用して前記切片を前記スライスまたはＷＰＰサブストリームまたはタイルに関連付けることを特徴とするトランスポートデマルチプレクサ。
【請求項１５】
請求項１４に記載のトランスポートデマルチプレクサにおいて、
各切片のために、各切片により構成された前記情報には、前記画像内の開始位置のアドレス、が具備されており、それぞれのどの切片から連続的に各切片が属する前記スライス、ＷＰＰサブストリームまたはタイルの一部のカバーを開始する、
ことを特徴とするトランスポートデマルチプレクサ。
【請求項１６】
請求項１４または１５によるトランスポートデマルチプレクサにおいて、
前記デマルチプレクサは、各スライス、ＷＰＰサブストリーム、またはタイルをソートするように構成されており、
前記切片は、前記切片がパックされたパケットのパケットヘッダにおける復号順序数を用いる、
ことを特徴とするトランスポートデマルチプレクサ。
【請求項１７】
請求項１１ないし１３のいずれかに記載のトランスポートデマルチプレクサと、マルチスレッド復号化器とを備え、
前記マルチスレッド復号化器は、請求項５により実施される、
ことを特徴とするシステム。
【請求項１８】
符号化器において、
画像を符号化することにより、画像をスライス、ＷＰＰサブストリームまたはタイルに記述するためにローバイトシーケンスペイロードを形成するとともにＣＡＢＡＣを使用して前記ローバイトシーケンスをエントロピー符号化し、
切片における前記ローバイトシーケンスを送信し、切片境界全体にわたってエントロピー符号化しているＣＡＢＡＣ確率適合を継続する、
ことを特徴とする符号化器。
【請求項１９】
請求項１８に記載の符号化器において、
前記切片が最大転送ユニットサイズに合致するように、前記符号化器はローバイトシーケンスから構成される、
ことを特徴とする符号化器。
【請求項２０】
ＮＡＬユニットヘッダからなる一連のＮＡＬユニットを送信するビデオビットストリームにおいて、
前記一連のＮＡＬユニットは、サブストリームマーカーが挿入され、サブストリームまたはタイルの一つに等しいスライスのデータを運ぶＮＡＬユニットは、サブストリームマーカーが続き、データフィールドは、同一のサブストリームまたはタイルを確認し、
かつ異なるサブストリームまたはタイルのスライスのデータは、異なるサブストリームマーカーが続き、データフィールドは、異なるサブストリームまたはタイルを確認する、
ことを特徴とするビデオビットストリーム。
【請求項２１】
画像をスライス，ＷＰＰサブストリームまたはタイルに記述しているローバイトシーケンスペイロードから成りＣＡＢＡＣを使用して符号化されたビデオビットストリームにおいて、前記ビデオビットストリームは、切片境界全体にわたってＣＡＢＡＣ確率適合を継続するとともに、前記スライス，ＷＰＰサブストリームまたはタイルの切片に分解され、各切片は、前記切片間にそのランクの明示的な表示を含み、前記各切片が属する前記スライス、ＷＰＰサブストリーム、またはタイルへ順次分解される、
ことを特徴とするビデオビットストリーム。
【請求項２２】
請求項２１に記載のビデオビットストリームにおいて、
前記切片は、各パケットが前記画像の各ＷＰＰサブストリームまたはタイルの１つの切片からなるように、または前記画像の前記ＷＰＰサブストリームまたはタイルのサブセットからなるようにパケット化され、前記ＷＰＰサブストリームまたはタイルの間で定義された順序で配列され、各パケットは、前記それぞれのパケットにパックされた前記切片の位置および／または長さを示すヘッダまたは前記それぞれのパケット内で前記切片を互いに分離するマーカーからなる、
ことを特徴とするビデオビットストリーム。
【請求項２３】
請求項２１または２２に記載のビデオビットストリームにおいて、
前記画像の前記ＷＰＰサブストリームまたはタイルの第１の−前記ＷＰＰサブストリームまたはタイルの間で定義された順序に従って−切片からなるパケットは、低遅延特性インジケータからなり、前記画像の前記ＷＰＰサブストリームまたはタイルの第２のまたは後続の−前記ＷＰＰサブストリームまたはタイルの間で定義された順序に従って−切片からなるパケットは、連続性インジケータからなる、
ことを特徴とするビデオビットストリーム。
【請求項２４】
請求項２１ないし２３のいずれかに記載のビデオビットストリームにおいて、
前記パケットは、ＮＡＬユニットまたはスライスである、
ことを特徴とするビデオビットストリーム。
【請求項２５】
決定するための方法であって、
スライス、ＷＰＰサブストリームまたはタイルにおいて画像を記述しており、前記スライス、ＷＰＰサブストリームまたはタイルの切片において符号化器からＣＡＢＡＣを使用して符号化されたローバイトシーケンスペイロードを受信し、
切片境界全体にわたって継続ＣＡＢＡＣ確率適合を伴い前記切片をエントロピー復号化し、
前記画像を得るために前記ローバイトシーケンスペイロードを復号化する、
ことを特徴とする決定方法。
【請求項２６】
マルチプレックスバッファを使用するトランスポートデマルチプレックス方法であって、
ＷＰＰサブストリームまたはタイルの画像の並列復号化を可能にするマルチスレッド復号化器により引かれるためのスライスバッファ、および、ビデオビットストリームの既定の基本ストリームのＴＳパケットに属するデータを集めるように構成されるトランスポートバッファを備え、前記マルチプレックスバッファに前記データを転送する方法であって、
前記マルチプレックスバッファの出力で前記ＴＳパケットにパケット化されたＮＡＬユニットシーケンスのＮＡＬユニットのＮＡＬユニットヘッダを評価すること、
サブストリームマーカーＮＡＬユニットの範囲内で運ばれたサブストリームマーカーデータを格納することに伴いサブストリームマーカーＮＡＬユニットを下げ、かつ、
サブストリームマーカーＮＡＬユニットに続くＮＡＬユニットの範囲内のサブストリームまたはタイルのスライスのデータを格納し、そのデータフィールドは、１つのスライスバッファにおける同一のＷＰＰサブストリームまたはタイルを確認し、ＮＡＬユニットの範囲内のＷＰＰサブストリームまたはタイルのスライスのデータは、サブストリームマーカーＮＡＬユニットに続き、そのデータフィールドは、異なるスライスバッファにおける異なるＷＰＰサブストリームまたはタイルを確認する、
ことを特徴とするトランスポートデマルチプレックス方法。
【請求項２７】
トランスポートデマルチプレックス方法において、
スライス、ＷＰＰサブストリームまたはタイルに画像を記述しており、ＣＡＢＡＣを用いて符号化されたローバイトシーケンスペイロードを有するビデオビットストリームを受信し、
前記ビデオビットストリームは、切片境界全体にわたってＣＡＢＡＣ確率適合を継続しつつ、前記スライス、ＷＰＰサブストリームまたはタイルの切片に分解され、前記各切片は、各切片に対し、それぞれの切片が、どのＷＰＰサブストリームまたはタイルに属するかを特定する情報を有し、前記情報を使用して前記切片を前記スライス、ＷＰＰサブストリームまたはタイルに関連付ける、
ことを特徴とするトランスポートデマルチプレックス方法。
【請求項２８】
画像を符号化することにより、前記画像をスライス、ＷＰＰサブストリームまたはタイルに記述するためにローバイトシーケンスを形成し、ＣＡＢＡＣを使用して前記ローバイトシーケンスをエントロピー符号化し、切片における前記ローバイトシーケンスペイロードを伝送すること、および切片境界全体にわたるエントロピー符号化におけるＣＡＢＡＣ確率適合を継続する、
ことを特徴とする符号化方法。
【請求項２９】
コンピュータ上で実行されるとき、請求項２５ないし２８のいずれかに記載の方法を実行するためのプログラムコードを有することを特徴とするコンピュータプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、例えば発展しているＨＥＶＣ（High Efficiency Video Coding）、トランスポートデマルチプレクサおよびビデオビットストリーム等において並列処理を許容する符号化概念に関する。
【背景技術】
【０００２】
符号化器および復号化器の並列化は、ＨＥＶＣ規格により増加した処理要求のためのみならず、ビデオ解像度の予想される増加によっても非常に重要である。マルチコアアーキテクチャは、様々な現代の電子装置において利用できるようになっている。従って、複数のマルチコアアーキテクチャの利用を可能にする効率的な方法が、必要とされる。
【０００３】
ＬＣＵ（largest coding unit）（複数）の符号化または復号化は、ラスタースキャンで生じ、それにより、ＣＡＢＡＣ（Context based Adaptive Binary Arithmetic Coding）確率は各画像の特性に適合される。空間依存性が、隣接するＬＣＵ（複数）の間に存在する。異なる構成要素、たとえば動きベクトル、予測、イントラ予測およびその他のために、各ＬＣＵは、その左の、上の、左上のおよび右上の隣接するＬＣＵ（複数）に依存する。復号化の並列化を可能にするために、これらの依存性は、概して中断されることを必要とするか、あるいは最新のアプリケーションで中断される。
【０００４】
並列化、すなわち、エントロピースライス［３］を使用している波面処理、サブストリーム［２］［４］，〔１１〕を使用している波面並列処理（ＷＰＰ）動作、またはタイル［５］のいくつかの概念が、提案された。後者が、必ずしも復号化器または符号化器で並列化を許容するための波面処理と結合される必要があるわけではない。この観点から、タイルは、ＷＰＰサブストリームと類似している。エントロピースライス概念の更なる研究のための我々の最初の動機付けは、技術を実行することであり、それは符号化効率損失を低下させて、符号化器および復号化器の並列化方法のためのビットストリーム上の負担を軽減させる。
【０００５】
より良い理解を提供するために、特にＬＣＵ（複数）の使用の中で、Ｈ．２６４／ＡＶＣ［１］の構造に、最初に目を通すことができる。
【０００６】
Ｈ．２６４／ＡＶＣの符号化ビデオシーケンスは、ＮＡＬ（Network Abstruction Layer）ユニットストリームにおいて集められる一連のアクセスユニットから成り、それらは１つのシーケンスパラメータセットのみを使用する。各ビデオシーケンスは、独立に復号化されうる。符号化シーケンスは、一連の符号化画像から成る。符号化フレームは、全フレームまたは単一フィールドでありうる。各画像は、固定サイズのマクロブロックに分割される（ＨＥＶＣ［５］において：ＬＣＵ（複数）)。いくつかのマクロブロックまたはＬＣＵ（複数）は、一緒に１枚のスライスに併合されうる。１枚の画像は、従って、一つ以上のスライスの集まりである。このデータ分離の目的は、画像のエリアのサンプルの独立復号化を許容することであり、それは、他のスライスからのデータを使用せずに、スライスにより表される。
【０００７】
"エントロピースライス"［３］としばしば呼称される技術は、付加的なサブスライスへの従来のスライスの分割である。具体的には、それは、単一のスライスのエントロピー符号化データの分割を意味する。スライスにおけるエントロピースライスの配列は、異なる種類を有しうる。最も単純なものは、１枚のエントロピースライスとしてフレームにおけるＬＣＵ（複数）／マクロブロックの各行を使用することである。代わりに、列または別々の領域が、エントロピースライスとして利用されえて、それは各々により中断さえでき、互いに切り換えさえできる。例えば、図１のスライス１。
【０００８】
エントロピースライス概念の明らかな目的は、復号プロセス時間を改善するために、すなわちプロセスをスピードアップするために、並列ＣＰＵ／ＧＰＵおよびマルチコアアーキテクチャの利用を可能にすることである。現在のスライスは、他のスライスデータに関係なく、分析でき再構成されうるパーティションに分割されうる。いくつかの効果がエントロピースライス法により達成されうるにもかかわらず、これにより、いくつかの不利益が現れる。
【０００９】
〔２〕、〔１０〕、［１１］において提案され、部分的に〔５〕に組み込まれたように、エントロピースライス概念は、サブストリーム波面処理（ＷＰＰ）まで更に拡張された。ここで、サブストリームの反復スキームが、定義される。それは、エントロピースライスと比較して線ごとに改良されたエントロピー状態初期化を有する。
【００１０】
タイル概念は、画像情報の分離が符号化されるのを許容し、その一方で、各タイトルは、それ自身のラスタースキャン順序を有する。タイルは一般の構造により定義され、それはフレーム内で繰り返される。タイルは、ＬＣＵ（複数）またはＣＵ（複数）に関して特定の列幅および線高を有することもできる。タイトルは、独立に符号化されることもでき、復号器スレッドは、アクセスユニットのタイルを完全に、または、少なくとも独立した方法、すなわちエントロピー符号化および変換符号化、におけるいくらかの符号化動作ス
テップのために処理しうるように、タイトルが他のタイルとの共同処理を必要としない方法に符号化されることもできる。
【００１１】
従って、タイルは、後者の場合、例えばＨＥＶＣコーデックのフィルタステージに対するｕでは、タイル符号化器および復号化器が完全に、または、部分的に独立して、並行して実行するのと同様に動作するのを大いに許容する。
【００１２】
キャプチャ、符号化、伝送、復号化、および一連のビデオ通信システムのプレゼンテーションチェーン、あるいは類似のシステムにおける並列化技術の完全な使用を行うために、通信参加者間の転送およびアクセスは、全部のエンドツーエンドの遅延注入のために重要かつ時間を要するステップである。これは、並列化技術、例えばタイル、サブストリームまたはエントロピースライス等、を使用する場合に、特に問題である。
【００１３】
ＷＰＰサブストリームのデータアプローチは、パーティションの符号化データが処理される場合、データ局所性を持たない、すなわちアクセスユニットを復号化している単一スレッドは、次のＷＰＰサブストリームラインのデータにアクセスするために潜在的に大きいメモリ部分を飛び越える必要があることを意味する。完全に並列化された方法で動作するために、マルチスレッド復号化システムは、特定のデータ、すなわちＷＰＰサブストリームの伝送を待つ必要があり、波面処理を利用する。
【００１４】
ビデオストリーミングにおいて、より高い解像度（フルＨＤ、クアッドＨＤ等）を可能にすることは、伝送されるべきデータがより大きな量となることにつながる。時間感受性シナリオのために、いわゆる低遅延使用の場合、例えばテレビ会議（＜１４５ｍｓ）、またはゲームアプリケーション（＜４０ｍｓ）の非常に低いエンドツーエンドの遅延が、必要とされる。従って、伝送時間は、重要な要素になる。テレビ会議アプリケーションのためのＡＤＳＬのアップロードリンクを考慮されたい。ここで、ストリームのいわゆるランダムアクセスポイントは、通常、これらは、Ｉフレームを参照し、伝送中に、ボトルネックを生じる候補であろう。
【００１５】
ＨＥＶＣは、復号化器側と同様に符号化器で、タイル処理と同様にいわゆる波面処理を許容する。これは、エントロピースライス、ＷＰＰサブストリームまたはそれらの均一な組合せを用いて可能にされる。並列処理は、並列タイル符号化および復号化により許容されもする。
【００１６】
「非並列化ターゲッティング」の場合において、全スライスのデータが、一度に配信され、それ故、スライスの最後のＣＵは、それが送信された場合、復号化器によりアクセス可能である。単一スレッドの復号化器がある場合、これは問題ではない。
【００１７】
マルチスレッドのケースにおいて、複数のＣＰＵまたはコアが使用されうる場合、復号化プロセスは、しかしながら、符号化されたデータが波面復号化器またはタイル復号化器スレッドに到着すると、すぐに開始することを希望する。
【００１８】
このように、符号化効率において著しい減少の少ない並列処理環境の符号化遅延を減少可能にする概念を手元に有することは、好ましい。
【先行技術文献】
【非特許文献】
【００１９】
【非特許文献１】〔１〕  Thomas
【発明の概要】
【発明が解決しようとする課題】
【００２０】
従って、並列処理環境において、より効果的な、低遅延符号化を可能にする符号化概念、伝送デマルチプロセッシング概念およびビデオビットストリームを提供することが、本発明の目的である。
【課題を解決するための手段】
【００２１】
この目的は、添付の独立クレームの主題により達成される。
【００２２】
本出願の第１の態様によれば、スライス、ＷＰＰサブストリームまたはタイルにおける１枚の画像を表現しているローバイトシーケンスペイロード、およびコンテキスト適応二進算術符号化を用いた符号化は、コンテキスト適応二値算術符号化確率適合を継続しながら切片境界全体にわたって切片に再分割されるか切断される。この測定により、スライス、ＷＰＰサブストリームまたはタイルの範囲内で付加的に導入された切片境界は、これらの要素のエントロピー符号化効率の減少をもたらさない。しかしながら、他方で、切片は、元のスライス、ＷＰＰサブストリームまたはタイルより小さく、そして、したがってそれらは、切断されていない元の実体、すなわちスライス、ＷＰＰサブストリームまたはタイルより早く、すなわちより少ない遅延により、伝送されうる。
【００２３】
第１の態様と結合可能である他の態様に従って、サブストリームマーカーＮＡＬユニットは、マルチスレッド復号化器に対応する複数のサブストリームまたは複数のタイルを並行して提供しうるために、トランスポートデマルチプレクサがビデオビットストリームのＮＡＬユニットの範囲内でスライスのデータを対応する複数のサブストリームまたは複数のタイルに割り当てることを可能にするために、ビデオビットストリームの一連のＮＡＬユニットの範囲内で用いられる。
【００２４】
有利な実施態様は、従属クレームの主題である。更に、本発明の好ましい実施例は、図について以下で更に詳細に説明される。
【図面の簡単な説明】
【００２５】
【図１】エントロピースライスの可能な合成物を例示している概略図を示す。
【図２】３枚のスライスの上に広がる３つのタイルを例示している概略図を示す。
【図３】４つの可変長切片サイクルインターリーブスキームの切片のインターリーブの例を示している概略図を示す。
【図４】エントロピースライスデータの符号化、セグメンテーション、インターリーブおよび復号化を示している概略図を示す。
【図５】常にマーカーコードを使用していて、複数のＮＡＬユニット上の実際のスライスデータの中で広がっているスキームを周期的にインターリーブする４つの可変長切片の切片のインターリーブ実施例を例示している概略図を示す。パーティションが存在しない場合であっても、マーカーコードが用いられる。これは、切片識別子を使用し、マーカーに追従し、切片数を示すことで、更に強化しうる。これは、周期的モードのために必要とされるように、これは常にマーカーを送信する必要性を減少させる。
【図６Ａ】ＮＡＬユニットシンタックスを例示している疑似コードの表を示す。
【図６Ｂ】ＮＡＬユニットシンタックスを例示している疑似コードの表を示す。
【図７】シーケンスパラメータセットシンタックスを例示している疑似コードの表を示す。
【図８】低遅延スライス層ＲＢＳＰシンタックスを例示している疑似コードの表を示す。
【図９】スライスヘッダシンタックスを例示している疑似コードの表を示す。
【図１０】サブストリームマーカーシンタックスを例示している疑似コードの表を示す。
【図１１】エントロピースライスデータの単純なカプセル化のための実施例を例示している概略図を示す（ＡＦは、ＭＰＥＧ−２  ＴＳ  アダプションフィールドである）。
【図１２】エントロピースライスデータの単一のＥＳ（Elementary Stream）カプセル化のための他の実施例を例示している概略図を示す。
【図１３】エントロピースライスデータのパックドマルチＥＳカプセル化のための他の実施例を例示している概略図を示す。
【図１４】単一のＥＳのためのトランスポートデマルチプレクサを示している概略ブロック図を示す。
【図１５】マルチＥＳのためのトランスポートデマルチプレクサを示している概略ブロック図を示す。
【図１６】符号化器を示している概略ブロック図を示す。
【図１７】復号化器を示している概略ブロック図を示す。
【図１８】復号化器により実行されるステップのフローチャートを示す。
【図１９】ＲＴＰを使用しているマルチＥＳのための実施例を例示している概略図を示す。
【発明を実施するための形態】
【００２６】
時間を短縮するために、並列復号化器スレッドは、開始でき、フレームのそのデータを終了でき、下記の実施例は、データのセグメンテーション、並列化のための構造化、例えば一つ以上のタイルのデータまたは低遅延インターリーブアプローチによる小さい切片への一つ以上のＷＰＰサブストリームのデータ、を使用する。
【００２７】
従って、符号化器は、ＬＣＵ（複数）の特定セットまたはサブストリームの少なくともバイト配列部分またはタイルまたはそれらの部分に一致して、切片の形で符号化器から復号化器まで伝送パスを介して復号化器にデータを配信しうる。
【００２８】
切片が完全なＷＰＰサブストリームまたはタイルより小さくて、および／または伝送パスの実際の最大の転送ユニット（ＭＴＵ）に適しうるので、完全なアクセス装置のファイナライズの前に、符号化器および復号化器の間に転送ユニットにおいて配置されることができ、復号化器側の復号は、アクセスユニットの完全なＷＰＰサブストリームまたはタイルのシーケンシャル伝送を使用する場合よりも、非常に以前に始めうる。
【００２９】
これは、明らかに、復号化器における切片のより速い伝送および並列復号化プロセスのより早いスタートに結果的になる。その方法は、例えば波面法において、次のフレームの（複数の）スライスまたは（複数の）エントロピースライスが、次のフレームのエントロピースライスを復号化するための必要な情報がフレーム間参照の有効性による場合に基づいて、すでに復号化されうる場合、フレーム境界を通じても適用されうる。復号化順序における後続のそれらのすでに復号化可能なデータは、データパーツの依存性を先行する（複数の）フレーム、またはパラメータセット等の順序固定位置において信号伝送された使用された位置を示す固定参照方式、において示しているストリームにおける最大限許容された／信号伝送された動きベクトル長または付加的情報から導出しうる。
【００３０】
画像は、最大符号化ユニット（ＬＣＵ）−行（複数）につき１枚のエントロピースライスにより、またはＷＰＰサブストリームを用いて、または、分離されたエントロピースライスにおいてさらに含まれうる行につき１つのＷＰＰサブストリームとしての組合せさえも、符号化されうる。この種のデータ構造は、復号化器側でテクニックを処理している波面処理テクニックを利用するために必要である。または、タイルは、並列処理を許容するために使用しうる。
【００３１】
符号化プロセスの間、ＷＰＰストリームまたはタイルのデータを含む各スライスのビットストリームは、符号化器および復号化器の間で、最大転送ユニットサイズに合致するために、可変サイズの切片に分割しうる。そのとき、結果として生じた切片は、インターリーブされて、伝送のために通過でき、ＭＴＵサイズのパケットに入れられる。
【００３２】
復号化器側で処理を許容するために、各切片の前か後に、マーカーコードは、挿入されうる。ＨＥＶＣのための適切なマーカーコードは、"０ｘ００  ００  ０２"でありえて、それは、スタートコードエミュレーション防止さえ通過する。複数の切片を含むパケットを受信した後、レシーバまたは復号化器は、追加的な分析ステップを必要としないために、スタートコードエミュレーション防止プロセスの間、実際に含まれたビットストリームを分析しうる。例えば、切片識別のための２つのモードが、存在しうる。１に等しいｔｒａｎｃｈｅ＿ｉｄ（切片識別子）を有する切片から始まり、ｎに等しいｔｒａｎｃｈｅ＿ｉｄを有する切片まで、切片の周期的配列が、常に存在しうる。これは、第２の一般的な方法に安全にデータを信号伝送しうる。代替方式は、例えば８ビット値として、ｔｒａｎｃｈｅ＿ｉｄを示している、マーカーに続く、特定のヘッダでもよい。
【００３３】
インターリーブされた切片データをデインターリーブすることは、パケットにつき切片の数についての知識に基づいて適用可能で、それはＮＡＬユニットパケットでもよい。従って、ＷＰＰサブストリームまたはタイルの切片へのマッピングが、さらに存在しうる。このマッピングは、タイルの数／ＷＰＰサブストリームの数に暗に由来しうる、またはＳＰＳにおいて直接信号伝送されうる。マッピングは、デインターリーブプロセスにとって重要であり、その結果、特定のＷＰＰサブストリームまたはタイルのデータは、ＷＰＰサブストリームまたは問題のタイルを復号化することを担って波面または並列復号化器スレッドを確認されえて、役立ちうる。
【００３４】
低遅延カプセル化のためのインターリーブスキームの使用に関して、復号化器に知らせるために、ＮＡＬユニットヘッダにおいて低遅延フラグが、存在しうる。
【００３５】
他のモードは、トランスポート層上、すなわち、ＲＴＰ［８］［９］［１３］または  ＭＰＥＧ−２  トランスポートストリーム［７］層の復号化プロセスの外側で、インターリーブおよびデインターリーブでもよい：
【００３６】
従って、ヘッダはパケットの前に置かれうる、そして、現在の切片につきサイズ情報をバイトに含んでいるフラグにより切片の存在を示す。トランスポート層が復号化プロセスから切り離されるので、トランスポート層の付加的情報が少なくとも復号化器にそれらのデータを通過する前に削除される必要があるという理由で、マーカーコードを集積する必要性があるとはできない。トランスポート層は、それからまた、復号化器にビットストリーム送出のためのデータを並べ換える。
【００３７】
可変長ヘッダが、余分な多重化層に使用されうる。この多重化層は、コーデックの一部でもよく、復号化器の実際のローバイトシーケンスデータ（ＲＢＳＰ）アクセスの前に導入されることもできる。１つのヘッダ方式は、図３で見出しうる。しかし、そのインジケータと同様に１つのヘッダが、直接、長さを示している各切片の前にも存在しうる。すでに上述したように、インジケータをビットストリーム構造にマップする必要性が依然として存在する。
【００３８】
切片サイズは、恒常的なサイズ、例えば切片につきｘバイトでもよい。これは、例えば図４に示される等、単純な多重化方式に結果としてなる。
【００３９】
セグメントの恒常的なサイズは、その可変長のためビットストリームの終りで課題をもたらしうる。
【００４０】
実行可能な２つの一般的な解答が、存在する。最初の１つは、周期的ｘ−バイトセグメント（通常、スライスのビットストリーム表現は、バイト整列される）の生成および各復号化器エンジンによる、各バイトの消費の制御、すなわち、復号化器は、エントロピースライスの、または、マーカーコードを含む完成を見出す。
【００４１】
図示されるように、ヘッダにおける切片が可変長である場合、第２の方法は、切片長を信号伝送する。
【００４２】
セグメントおよびインターリーブモードのサイズは、１つのＳＥＩ（Supplemental Enh ancement Information）−メッセージにおいて、または、ＳＰＳ（Sequence Parameter  Set）において信号伝送されうる。
【００４３】
伝送スキームは、図４に示される。
【００４４】
他の興味深い方法は、パケット、例えばＮＡＬまたはスライスパケット、の切片のセットの終りでファイナライズコードまたはマーカーコードを使用することである。この場合、可変長セグメントが可能であり、従って、ビットストリームの完全な分析が、必要とされる。メモリアクセスをここで制限するために、多重化のためのこの付加的な分析方法は、スタートコードエミュレーション防止分析と結合されうる、そして、ＮＡＬユニットに含まれるＲＢＳＰデータにアクセスする前の第１段階として必要である。この種のマーカー方式は、図５に示される。
【００４５】
ここにあるアイデアは、データを切片にインターリーブする間、例えば現実のスライス、エントロピースライスや類似のもの等、より高レベル構造を、例えばＷＰＰサブストリームやタイル等、その含まれたより低レベルのデータ構造に、インターリーブ方法において分割することにある。各々がより低レベルの構造、例えば特定のＷＰＰサブストリームまたはタイル、に属するこれらの切片は、低遅延パケットにおいてインターリーブされ、それは特定のＮＡＬユニットであり、低遅延インターリーブフラグにより付加的に信号伝送されるＮＡＬユニット、またはスライスでさえ、または図において"ＮＡＬユニット♯１"として示されるように、フラグまたはスライスタイプにより低遅延インターリーブアプローチを示す軽量スライスヘッダでありうる、それ故、復号化器は、"シングル"スレッド復号化器に対し、整理機能を適用することを通知し、それは、復号化器における元の／デインターリーブされた順序における切片の順次処理を使用する。低遅延特性を得るために複数パケット上にインターリーブされた切片として現実のスライスを分割するために、トランスポート層は、最大ＭＴＵ（Maximum Transmission Unit）サイズのネットワークパケットへの低遅延インターリーブされたデータを含む前記ＮＡＬユニットを断片化しうる。複数のＮＡＬユニットへの現実のスライスデータの断片化は、符号化層によっても直接適用されうる、それ故、図５において"ＮＡＬユニット♯２"に示されるように、スライスの継続を含むＮＡＬユニットのその種のタイプを信号伝送する必要がある。複数のパケットにおいて、インターリーブされたデータのファイナライズを検出するために、図において"ＮＡＬユニット♯２"にも示されるように、特定のファイナライズコード、またはスライスまたはＮＡＬヘッダにおける完了を示すフラグの必要性が存在しうる。
【００４６】
ＮＡＬパケットが消失した場合、消失を検出する必要性も存在しうる。これは、ヘッダ、例えば軽量スライスヘッダ、例えば含まれた切片の第１のＭＢ等、または特定の切片＃１のみにおける追加情報に適用されうる。例えばＷＰＰサブストリームまたは切片の現実のサイズのためのオフセット等の情報を持った後、ファイナライズコードおよび先行ＮＡＬユニットとともにＮＡＬユニットを受信した後、サニティチェックを行うために、誰もがこれらのサイズ値（特定のＷＰＰサブストリームまたはタイルのオフセット値）を使用しうる。
【００４７】
即ち、記載されているように、切片は、各パケット３００が、ＷＰＰサブストリームまたはタイルの間で定義された順序で配列された画像の各ＷＰＰサブストリームまたはタイルの１つの切片Ｔ♯または画像の複数のＷＰＰサブストリームまたは複数のタイルの１つのサブセットから構成される方法で（その理由は、例えば、ある特定のＷＰＰサブストリームまたはタイルは、先行するパケットにより既に完全に運ばれているからである）パケット３００にパケット化されえ、各パケット３００は、画像の各ＷＰＰサブストリームまたはタイルの１つの切片Ｔ＃または画像（例えば、特定のＷＰＰサブストリームまたはタイルが前のパケットを経由してすでに完全に運ばれたので）各パケットは、それぞれのパケット３００にパックされた切片Ｔ♯の位置、および／または、長さを示す情報を有するヘッダ３０２、あるいはそれぞれのパケット３００内で切片Ｔ♯を互いに分離するマーカー３０４、を有し、復号化器は、ローバイトシーケンスペイロードを受信し、パケット内の切片にアクセスするためにヘッダ３０２またはマーカー３０４により構成された情報を使用するように構成されうる。画像のＷＰＰサブストリームまたはタイルの第１の−ＷＰＰサブストリームまたはタイルの間で定義された次数に従って−切片を有するパケット３００ａは、低遅延特性インジケータ３０６を有しうる。かつ、画像のＷＰＰサブストリームまたはタイルの第２またはそれ以降の−ＷＰＰサブストリームまたはタイルの間で定義された次数に従って−切片Ｔ♯、を有するパケット３００ｂは、連続性インジケータ３０８を有しうる。パケット３００は、ＮＡＬユニットまたはスライスでありうる。
【００４８】
以下に、切片への低遅延インターリーブのためのシンタックスおよびセマンティックスを信号伝送するための実施例が、提供されている。
【００４９】
それにもかかわらず、上述したように、切片データ、例えばＷＰＰサブストリームまたはタイルのデータ等、を分割することは、スライスレベルまたは下記にも適用されうる。
【００５０】
現在、１つの方法が示され、そして、それは付加的な処理ステップを減少するためにスタートコードエミュレーション防止のための分析と結合されうる。従って、インターリーブは、ＨＥＶＣコーデックのＲＢＳＰレベルで適用される。
【００５１】
一つの切片は、低遅延データアクセスのためにＮＡＬユニットペイロード部において分割ＲＢＳＰデータをインターリーブされるべきセクションに分割するとみなされうる。一つの切片のファイナライズは、コード０ｘ０００００２により示されうる、かつ、８ビットの切片識別子ｔｒａｎｃｈｅ＿ｉｄが続きうる。前記切片は、周期的態様でインターリーブされうる、その結果、前記切片エンドコードは、暗に導出されるｔｒａｎｃｈｅ＿ｉｄにより後続されない。単一切片におけるＲｂｓｐデータは、タイルのデータ、サブストリームのデータ、スライスのデータかエントロピー・スライスのデータに対応する。
【００５２】
ＮＡＬユニットシンタックスにおいて、"ｌｏｗ  ｄｅｌａｙ  ｅｎｃａｐｓｕｌａｔｉｏｎ＿ｆｌａｇ"により示された低遅延インターリーブのための２つのモードが許容されうる。それは、切片の周期的配置であり、また、ＮＡＬユニットヘッダにおける例えば"ｌｏｗ  ｄｅｌａｙ  ｃｙｃｌｉｃ＿ｆｌａｇ"等のフラグによるマーカーコーダに続く付加的な識別子"ｔｒａｎｃｈｅ＿ｉｄ"による切片の指示でもある。これら２つのフラグは、Ｓｅｑｕｅｎｃｅ  Ｐａｒａｍｅｔｅｒ  ＳｅｔｓまたはＡＰＳにさえも存在しうる。周期的切片配置のために、分析の間、例えばＳＰＳにおいて"ｎｕｍ＿ｌｏｗ＿ｄｅｌａｙ＿ｔｒａｎｃｈｅｓ"として設けられたように、切片の数を知っている必要が依然存在しうる。
【００５３】
ＮＡＬユニットにおいて、インターリーブされた"ＬＤ＿ｒｂｓｐ＿ｂｙｔｅ"（複数）は、ＮＡＬシンタックスにおける最後のforループにおける現実の逐次ＲＢＳＰ順序への並べ換えが、パーサにより読まれる：
for ( i= 0, i++, i < num＿low＿delay＿tranches)[
for ( j= 0, j++, j < NumBytesInRBSP[i] )[
rbsp＿byte[NumBytesInRBSP++] = LD＿rbsp＿byte[j][i]
]
"ｌｏｗ＿ｄｅｌａｙ＿ｔｒａｎｃｈｅ＿ｌｅｎｇｈｔ＿ｍｉｎｕｓ１"に示されたように、循環的に配置された切片の固定サイズのためにＳＰＳまたはＡＰＳにおける明確な信号伝送も存在しうる。後者は、ＮＡＬユニットシンタックスの実施例において使用されていないが、図４に示されるように、パケット化を念頭においた場合、容易である。図６のＮＡＬユニットシンタックスにおいて、図５に示すようなパケット化および上述の議論は、基本的であった。
【００５４】
複数のパケット、例えばスライスおよび／またはＮＡＬユニット等の上の切片のこのインターリーブ特性を可能にするために、グローバルバッファ、例えば切片のためのＬＤ＿ｒｂｓｐ＿ｂｙｔｅのアレイ、のための要求が、既に受信されたＮＡＬユニットのＲＢＳＰデータに繰り返しアクセスするために、存在しうる。
【００５５】
ファイナライズコードを受信した後に、誤り回復力を可能にするために、あるいは、切片のための受信バイト数の合計が、前記含有された切片データに記述された通りのオフセット値から、例えばそれぞれの問題になっている切片が一部であるＷＰＰサブストリームまたはタイルに関するデータから、導出されうる切片サイズに等しい場合に。
【００５６】
インターリーブされた低遅延切片に配置されたＷＰＰサブストリームのための重要な要求は、切片ｎ＋１により切片ｎからのデータのみがアクセスされ、それは、既に切片ｎ内に与えられ、既に蓄積されるか復号化器で利用可能である。
【００５７】
スライスレベル上の再順序化／デインターリーブのための低遅延スライス層ＲＢＳＰシンタックスは、次のように設計されうる。特に、前記シンタックスは、その場合にＮＡＬユニット層上のように同じ振る舞いを有するべきであるが、前記並べ換えは、前記スライスレベル上で定義されねばならない。図８は、低遅延スライス層ＲＢＳＰシンタックスを示す。
【００５８】
インターリーブされた切片をパケット化するためにスライスヘッダを使用する場合、新たなスライスを受信した場合、ＣＡＢＡＣ状態をリセットするのではなく、例えばＷＰＰサブストリームの切片のエントロピー符号化が割り込まれるべきではないので、コーデックレベルを示す必要が存在しうる。スライスのＣＡＢＡＣをリセットしないことは、スライスヘッダにおいて"ｎｏ＿ｃａｂａｃ＿ｒｅｓｅｔ＿ｆｌａｇ"として示される。示されるスライスヘッダは、低遅延スライスに適しており、従って、ｅｎｔｒｏｐｙ＿ｓｌｉｃｅの特徴は、存在しなければならない。対応するスライスヘッダシンタックスは、図９に示される。
【００５９】
前記トランスポート層は、符号化層におけるサブストリーム／タイル／切片（トランスポート層上で、我々は、サブストリーム、またはタイル、またはサブストリームまたはタイルの一部、またはビットストリームの一部により表されうる抽象的存在を仮定し、それは類似の機能、即ち、並列復号化または漸進的な復号化器のリフレッシュを可能にする）が互いに独立に処理されうる場合その事実に基づいて、復号化器ユニットに転送されるデータのスケジューリングの最適化を可能にする。１つの可能性は、いくつかの復号化装置に並行して切片を最小遅延で送り始めることである。前記ビットストリームは、トランスポート層上で独立に取り扱うことが可能な最小の項目である一連のＮＡＬユニットからなる。それ故、トランスポート層上で取り扱う次の方法は、セパレートスライスまたはエントロピースライスＮＡＬユニットに含まれるサブストリーム／タイル／切片に基づく。
【００６０】
トランスポート層は、符号化層が漸次復号化器リフレッシュを使用する場合その事実に基づき復号化器性能および誤り回復力も最適化すべきである。１つの選択肢は、ビットストリームの前の部分が例えば伝送エラーにより正しく受信されない場合、あるいは例えば伝送チャンネル間のスイッチにより全く受信されなかった場合、ビットストリームの無関係の部分を捨てることである。
【００６１】
この種の開発／最適化を許可するために、異なる情報が、トランスポート層に信号伝送される。
【００６２】
一般的なサイド情報は、記述子を用いて信号伝送される。
−サブストリーム／タイルの個数、そこでは"１"は、全てのビデオフレームを含む      唯一のストリーム／タイルが存在することを意味する
−全てのサブストリーム／タイルに共通する情報、例えば、全てのサブストリーム      ／タイルが同じサイズか、あるいは、バッファ要求が同じか
−各サブストリーム／タイルに関する独立した情報、例えば、サブストリーム／タ      イルが異なるサイズか、あるいはそのバッファ要求が異なるか
−逐次復号化器リフレッシュステップの個数、そこでは"１"は、逐次復号化器リフ      レッシュ要求が使用されないことを意味する
−これらのサブストリーム／タイルが、低遅延並列処理が可能かを示す１つのフラグ
【００６３】
サブストリーム／タイルの個数が＞１の場合、各シンタックス要素は、ストリーム内のあるサブストリーム／タイルを含む各データブロックの前に挿入される。これらのシンタックス要素は、ＮＡＬユニットシンタックスに続くが、符号化層（例えばｎａｌ＿ｕｎｉｔ＿ｔｙｐｅ＝０ｘ１９またはｎａｌ＿ｕｎｉｔ＿ｔｙｐｅ＝０ｘ１Ｆ）により使用されない一意的なＮＡＬユニットタイプを使用し、次にサブストリームマーカーと呼ばれる。
【００６４】
これらシンタックス要素は、マーカーとして使用され、少なくともサブストリーム／タイルと同一視されるデータフィールドに続くデータブロックに関してキャリー情報として使用される。
【００６５】
漸次復号化器リフレッシュステップの個数＞１の場合、これらシンタックス要素もサブストリーム／タイルがイントラ符号化された（逐次復号化器リフレッシュを可能にする）旨を示すフラグを掲げる。
【００６６】
対応するシンタックスは、図１０に示される。以下の拘束が適用されうる。
ｆｏｒｂｉｄｄｅｎ＿ｚｅｒｏ＿ｂｉｔは、０に等しい。
ｎａｌ＿ｒｅｆ＿ｆｌａｇは、０に等しい。
ｎａｌ＿ｕｎｉｔ＿ｔｙｐｅは、０ｘ１９に等しい。
ｓｕｂｓｔｒｅａｍ＿ＩＤ：画像に属する第１のスライスのための０から始まるカウンタ値、同じ画像に属する各更なるスライスまたはエントロピースライスにより増加する。
ｉｓ＿ｉｎｔｒａ：'１'である場合、以下のＮＡＬユニットは、イントラ符号化スライスまたはイントラ符号化エントロピースライスを含む。
【００６７】
トランスポートマルチプレックスにおけるビデオストリームのカプセル化のための方法は、図１１に示され、そこでは、各スライスまたはエントロピースライスがトランスポートストリームパケットの整数個において別に伝送される。ペイロードのサイズが固定サイズのＴＳパケットの利用できるバイトに正確に一致しない場合、最後のＴＳパケットは、適応フィールドを含む。
【００６８】
ＭＰＥＧ−２トランスポートストリームのエレメンタリーストリームの類似のビヘイビアが、図１９にて示したように、ＲＴＰセッションまたはリアルタイム転送プロトコルのＲＴＰストリームにより設けられうる点に留意すべきである。ＲＴＰ［８］において、ＲＴＰストリーム（ＳＤＰ［１２］に示すように、メディアタイプおよびペイロードタイプにより確認される）は、それ自身のＲＴＰセッションに含まれうる、そこにおいて、ＲＴＰセッションは、（ＩＰ）ネットワークアドレス、（ＵＤＰ）ポート、その上にソース識別子（ＳＳＲＣ）により確認される。ＳＰＤにおいて示されたメディアセッションは、複数のＲＴＰセッションを含みうる、そして、各々が異なるメディアタイプを含む。しかし、異なるＲＴＰストリームの同じメディアストリーム（例えばビデオ）を転送することも、可能であり、そこにおいて、ＲＴＰストリームは、同じＲＴＰセッション（下の１に類似している）に含まれうるか、またはそれらのＲＴＰセッション（下の２に類似している）に含まれうる。図１９は、ケース２を例示する。
【００６９】
ＲＴＰペイロードフォーマット［９］［１３］は、復号化順序番号（ＤＯＮ）を有し、それらは、［９］［１３］にて説明されたように、エラー回復力目的のために復号化順序から故意に外れて送信される場合に、レシーバでＮＡＬユニットの復号化順序を回復するのを可能にする。追加マーカーＭＫＲは、従って、必要でない。ＷＰＰサブストリームまたはタイルの切片を転送する場合に、それらが符号化プロセスから利用可能になるときの順で、前記ＤＯＮは、それらを単一の復号化器に提供する前に、切片の復号化順序を回復するために用いることもできる。しかし、この場合において、追加の遅延は、復号化プロセスの前に別々のデインターリーブプロセスのために、復号化器で導入される。本明細書に記載されているシステムは、データがレシーバに到達する間に、符号化された切片を直接、異なるＷＰＰサブストリームまたはタイルの復号化プロセスに提供しうる。ＲＴＰヘッダにおけるＲＴＰシーケンス番号により示されるように、ＷＰＰサブストリームまたはタイルに関連した切片の識別は、スライスセグメントのスライスセグメントヘッダおよびパケットの伝送順序のスライスアドレスにより導出されうる。このシナリオにおいて、ＤＯＮが、下位互換性、すなわち、復号化器が、到着したとき復号化順序外で送信されたＷＰＰサブストリームまたはタイルの切片を復号化する改良された能力を備えない、用途のみに使われる。復号化順序外の切片データの送信は、ＷＰＰサブストリームおよびタイルのレベルに関してちょうど適用される、すなわち伝送データにおいて、単一のＷＰＰサブストリームまたはタイルの切片は、復号化順序において伝送され、異なるＷＰＰサブストリームまたはタイルのデータがインターリーブされる。
【００７０】
２つの考えられるオプションが、存在する：
１．すべてのスライスおよびエントロピースライスは、同じ基本ストリーム、すな    わち同じＰＩＤが、そのビデオストリームのすべてのＴＳパケットに割り当てられる    、に含まれる；
以下のテキストで、この方法は、一回のＥＳカプセル化に言及される。
２．異なるＰＩＤは、同じビデオビットストリームのスライスおよびエントロピー  スライスに割り当てられる；以下のテキストで、この方法は、マルチＥＳカプセル化に  言及される。
【００７１】
第１のオプションが、同じＰＩＤをすべてのＥＳに設定することでより一般の構造の特例として扱われる場合、図１１は両方のオプションに有効である。
【００７２】
単一のＥＳのカプセル化のためのより効率的な方法は、図１２に示される。ここで、画像につき多くとも１つの適応分野が、必要である。
【００７３】
複数のＥＳのカプセル化のためのより効率的な方法は、図１３に示される。ここで、適応分野は、他のスライス、例えば次の画像の同一箇所に配置されたタイルの代わりに回避され、適応分野は、同じトランスポートストリームパケットにおいて、すぐに開始する。
【００７４】
マルチスレッドの復号化器を目標としている１つの単一の基本ストリーム（ＥＳ）を有するカプセル化のためのトランスポートデマルチプレクサの考えられる構造は、図１４に示される。図のエントロピースライスは、特定のＷＰＰサブストリームまたはタイルのデータを含みうる。
【００７５】
トランスポートバッファ（ＴＢ）は、トランスポートパケットに属するデータを集めて、マルチプレックスバッファ（ＭＢ）に、それを転送する。ＭＢの出力で、ＮＡＬユニットヘッダは評価され、サブストリームマーカーは、低下される。その一方で、サブストリームマーカーにおいて運ばれるデータは、格納される。各スライスまたはエントロピースライスのデータは、一旦復号化器スレッドが利用できるならば、それがマルチスレッド復号化器により取り出されるところから、別々のスライスバッファ（ＳＢ）に格納される。
【００７６】
マルチスレッド復号化器をターゲットとしている複数の基本ストリームを有するカプセル化のためのトランスポートデマルチプレクサの考えうる構造は、図１５に示される。
【００７７】
上記の概説された概念は、換言すれば再び以下で記載される。下記の説明は、従って、個々に前記説明の付加的な詳細により、結合可能である。
【００７８】
図１６は、本出願の実施例による符号化器の一般的な構造を示す。符号化器１０は、マルチスレッド法、あるいはそうでない、すなわち単にシングルスレッドで作動が可能であるように実装しうる。すなわち、符号化器１０は、例えば、複数のＣＰＵカーネルを使用して実装しうる。換言すれば、符号化器１０は並列処理をサポートしうるが、そうしなければならないことはない。本出願の符号化概念は、並列処理符号化器が、しかしながら、能率的に、圧縮効率を低下させることのない並列処理を適用しうる。並列処理能力に関して、類似の記載は復号化器に当てはまり、それは図１７に関して後ほど記載されている。
【００７９】
符号化器１０はビデオ符号化器であるが、一般に、符号化器１０は画像符号化器でもよい。ビデオ１４の画像１２は、入力１６で符号化器１０に入力するとして示される。
【００８０】
符号化器１０は、ハイブリッド符号化器、すなわち、画像１２が予測器１８で予測され、残差決定器２２、例えば減算器等、により得られた予測残差２０が、変換／量子化モジュール２４において、変換、例えばＤＣＴのようなスペクトル分解、および量子化を受ける。こうして得られた量子化残差２６は、エントロピー符号化器２８においてエントロピー符号化、すなわちコンテキスト適応二値算術符号化を受ける。復号化器が利用できる残差の再構成的なバージョン、すなわち、逆量子化および再変換残差信号３０は、再変換および再量子化モジュール３１により回復され、合成器３３により予測器１８の予測信号３２と合成され、それにより画像１２の再構成３４が得られる。しかしながら、符号化器１０は、ブロックベースで動作する。従って、再構成された信号３４は、ブロック境界で不連続性が生じ、従って、フィルタ３６は、どの予測器１８が後に符号化画像に基づき参照画像３８を生じるために、再構成された信号３４に適用されうる。図１６の破線により示されたように、予測器１８は、しかしながら、再構成された信号３４もフィルタ３６または中間バージョンなしで直接利用する。画像を符号化する場合において、フィルタ３６は、放置しうる。
【００８１】
予測器１８は、画像１２のあるブロックを予測するために、異なる予測モードの間から選択しうる。以前に符号化された画像に基づきどのブロックが予測されたかに応じた一時的予測モード、どのブロックが同じ画像の以前に符号化されたブロックに基づき予測されたかに応じた空間予測モード、より上位層、例えばより上位の空間分解能でまたはさらなるビューポイントから、場面を示す画像のどのブロックが、より下位層、例えばより下位の空間分解能でまたは他のビューポイントから、この場面を示す対応画像に基づき予測されたかに基づく層間予測モードが存在しうる。
【００８２】
あるシンタックスが、量子化残差データ２６、すなわち、変換係数レベルおよび他の残差データ、のみならず例えば予測器１８により決定された画像１２の個々のブロックのための予測モードおよび予測パラメータを含んでいる符号化モードデータをコンパイルするために使用され、かつ、これらのシンタックス要素は、エントロピー符号化器２８によるエントロピー符号化に依存する。従って、エントロピー符号化器２８により出力された、得られたデータストリームは、ローバイトシーケンスペイロード４０と呼ばれる。
【００８３】
図１６の符号化器１０の要素は、図１６に示されるように相互接続される。
【００８４】
図１７は、図１６の符号化器に適合する復号化器を示し、すなわち、ローバイトシーケンスペイロードを復号しうる。図１７の復号化器は、一般に参照符号５０により示され、エントロピー復号化器５２、再変換／逆量子化モジュール５４、合成器５６、フィルタ５８および予測器６０からなる。エントロピー復号化器４２は、ローバイトシーケンスペイロード４０を受信し、残差信号６２および符号化パラメータ６４を回復するために、コンテキスト適応二値算術復号化を用いてエントロピー復号化を行う。前記再変換／逆量子化モジュール５４は、残差信号６２の逆量子化および再変換を行い、こうして得られた残差信号を合成器５６に転送する。合成器５６は、合成器５６により予測信号６６および残差信号６５を合成することで再構成された信号６８に基づき符号化パラメータ６４を用いて前記予測信号６６を順に形成する予測器６０から予測信号６６も受信する。図１６に関し、既に上記で説明したように、予測器６０は、再構成された信号６８のフィルタリングされたバージョンまたはそのいくつかの中間バージョンを、代わりにまたは付加的に使用しうる。最終的に再生され復号化器５０の出力７０から出力されるべき画像は、合成信号６８のフィルタされないバージョンまたはいくつかのフィルタされたバージョンの上で、同様に決定されうる。
【００８５】
タイルの概念に従って、画像１２は、タイルに再分割され、かつこれらタイル内の少なくともブロックの予測は、空間予測の基礎として、単に同じタイルに関するデータの使用を制限される。この測定により、少なくとも予測は、個々のタイルに対し並列に実行しうる。例証目的のみで、図１６は、９つのタイルに再分割されたものとして画像１２を示す。図１６に示すように、各タイルの９つのブロックへの再分割も、単に実施例としての機能を果たす。さらに、完全性のために、タイルを別々に符号化する方法は、空間予測（イントラ予測）に制限されえない点に留意すべきである。むしろ、タイルの境界にわたってそれぞれのタイルの符号化パラメータの任意の予測およびそれぞれのタイルの境界にわたってそれぞれのタイルのエントロピー符号化におけるコンテキストセレクションの任意の依存性は、同じタイルのデータのみに依存するように制限されるために、禁じられうる。従って、前記復号化器は、ちょうど述べた操作を並列に、すなわち、タイルを単位にして、実行しうる。
【００８６】
いくつかの伝送チャネルにより伝送するために、シンタックス要素は、エントロピー符号化器２８によりスライス方向にエントロピー符号化されなければならない。この目的を達成するため、エントロピー符号化器２８は、タイルのブロックを、第１のタイルのブロックを最初に横断してスキャンし、その後、タイル順その他に次のタイルのブロックに進める。ラスタースキャン順は、例えば、タイル内でタイルごとにブロックをスキャンするために用いうる。スライスは、その後、伝送の最小単位であるＮＡＬユニットにパックされる。スライスをエントロピー符号化する前に、エントロピー符号器２８は、そのＣＡＢＡＣ確率、すなわち、そのスライスのシンタックス要素を算術符号化するのに使用される確率、を初期化する。前記エントロピー復号化器５２は、同じこと、すなわち、スライス開始での確率を初期化する。確率は、様々なコンテキストの現実のシンボル確率統計値に連続的に適合され、従ってＣＡＢＡＣ確率のリセットは、適合状態からの偏差を示すので、各初期化は、しかしながら、エントロピー符号化効率に悪影響を与える。当業者に知られているように、確率が現実のシンボル確率統計値に適合する場合のみに、エントロピー符号化は、最適圧縮につながる。
【００８７】
従って、復号化器は、本出願の実施例に一致して、図１８に示されるように動作する。前記復号化器は、ステップ８０において、タイルにおける切片内にタイル８２における画像１２を描くローバイトシーケンスペイロードを受信する。図１８において、タイル順８４における前記第１のタイル８２は、切頂されあるいは２つの切片８６ａおよび８６ｂに分割されるように、模範的に示され、各々はタイル内のブロックのシーケンスのサブシーケンスを模範的に覆う。そのとき、ステップ８２において、切片８６ａおよび８６ｂは、エントロピー復号化される。しかしながら、切片８６ａおよび８６ｂのエントロピー復号化において、ＣＡＢＡＣ確率適応は、切片境界にわたって連続している。すなわち、切片８６ａを復号化している間、ＣＡＢＡＣ確率は、連続的に現実のシンボル統計に適合され、かつエントロピー復号化切片８６ａの終りの状態は、エントロピー復号化切片８６ｂの開始に適合される。ステップ９０において、ローバイトシーケンスペイロード、従ってエントロピー復号化、は、画像１２を得るために復号化される。
【００８８】
タイル８２の内部に位置する切片境界９２を横断してＣＡＢＡＣ確率適合を継続することにより、これら切片境界は、画像１２の再分割を越えてタイル８２へのエントロピー符号化効率に悪影響を与えない。他方では、タイル並列処理は、依然可能である。そのうえ、切片を個々に送信することは、可能であり、かつ、切片は、完璧なタイル８２より小さいので、それぞれのタイルの第１の切片が受信されエントロピー復号化されるとすぐに、ステップ９０における各タイルの復号化が、開始できる。
【００８９】
図１６から１８の記述は、第１に、タイルの使用に関係する。上述したように、タイルは、画像の空間分割から生じる。タイルと同様に、スライスも画像を空間的に再分割する。スライスは、従って、並列符号化／復号化の手段でもある。タイルと同様、スライスが個々に復号化可能なように、予測等は、禁止される。従って、図１６から１８も、スライスを切片に分割するのに有効である。
【００９０】
ＷＰＰサブストリームを使用する際、同上があてはまる。ＷＰＰサブストリームも、画像１２の空間分割、即ちＷＰＰサブストリームへの分割を表す。タイルおよびスライスと対照的に、ＷＰＰサブストリームは、予測上に制限を課さず、ＷＰＰサブストリームを越えてセレクションに接触しない。ＷＰＰサブストリームは、図４に示すように、例えばＬＣＵ行のようなブロック行に沿って伸長する、そして、並列処理を可能にするために、単に１つの妥協が、ＷＰＰサブストリーム（図４参照）９２間に定義されたようにかつ第１のＷＰＰサブストリームを除く各ＷＰＰサブストリーム９２に対しＣＡＢＡＣエントロピー符号化に関して順になされ、ＣＡＢＡＣ確率は、完全にリセットされないが、導入され、あるいは、等しく設定され、ＣＡＢＡＣ確率は、各ＷＰＰサブストリームに対し、画像１２の同じ側、図４に示されたように、例えば左側などで、ＬＣＵ順序が開始するとともに、第２のＬＣＵ９４まですぐ先行するＷＰＰサブストリームをエントロピー復号化された後に生じる。従って、ＷＰＰサブストリームのシーケンスの間でのいくらかの符号化遅延に従い、これらＷＰＰサブストリーム９２は、画像１２が並列に、すなわち同時に復号化される部分が、左から右へ傾いた態様で画像を横断して動くある種の波面９６を形成するように、並列に復号化しうる。
【００９１】
すなわち、図１６から１８の記述をＷＰＰサブストリームへ送信する際に、任意のＷＰＰサブストリーム９２（図４）も、それぞれのＷＰＰサブストリーム９２の内部におけるこれら切片９８ａおよび９８ｂの間の境界１００におけるＣＡＢＡＣ確率適合の割り込みなしで切片９８ａおよび９８ｂに再分割され、それにより、両切片９８ａおよび９８ｂの個々の伝送能力によるエントロピー符号化効率に関するペナルティを避けるが波面並列処理の使用能力を維持し、切片は完全なＷＰＰサブストリーム９２より小さいためこの波面並列処理を早く開始できる。
【００９２】
図１ないし１５に関し、上述したように、ＮＡＬユニットに切片をパケット化して伝送するいくつかの可能性が存在する。参照が、図３になされ、その切片またはサブストリームのタイルまたはサブストリームまたはスライスが、各サブストリームまたはタイルの第ｎ切片に先行し、切片境界が局在するのを可能にする情報を示すヘッダとともに算術符号化領域において切片に分割される。他の実施例は、図９において示されるものである。そこで、タイルまたはＷＰＰサブストリームの切片への再分割が、スライス構造をわずかに変更することで実行される：スライスは、タイルまたはＷＰＰサブストリーム境界で開始される、すなわち、タイルまたはＷＰＰサブストリームの最初で開始される。No＿cabac＿reset＿flagがゼロにセットされ、それにより、通常のＣＡＢＡＣ確率は、初期化／リセットを引き起こす。しかしながら、タイルまたはＷＰＰサブストリームの内部で始まる切片を運ぶスライスは、１にセットされるno＿cabac＿reset＿flagを有し、それにより前述のＣＡＢＡＣ確率適応の継続を引き起こす。
【００９３】
デインターリーブに関する限り、それは、レセプションステップ８０において行われる、例えば、各切片に対し、どのＷＰＰサブストリームまたはタイルに関して、それぞれの切片が属するかが決定される。例えば、現在の画像のＷＰＰサブストリームまたはタイルの数を通した総当り循環など異なる可能性が、上述される。その代わりに、前記切片を運ぶためにスライスヘッダを使用する場合に、前記スライスヘッダは、現在の画像１２の範囲内でそれぞれのスライスの開始を見つけ出しうる指示からなる。
【００９４】
この点に関し、スライスの分解に留意すべきであり、切片へのＷＰＰサブストリームまたはタイルは、各スライス、ＷＰＰサブストリーム、またはタイル内で定義された復号化順序に沿って実行される：すなわち、各スライス内で、ＷＰＰサブストリームまたはタイル、それぞれのスライスにより空間的にカバーされた画像の部分、ＷＰＰサブストリームまたはタイルは、それぞれのスライスに符号化され／から復号化され、その復号化順序におけるＷＰＰサブストリームまたはタイル、およびそれぞれのスライスの各切片、ＷＰＰサブストリームまたはタイルは、その復号化順にそれぞれのスライス、ＷＰＰサブストリームまたはタイルの連続的な部分を覆う。この態様により、同じスライス、ＷＰＰサブストリーム、またはタイルに属する切片の間で、順序、すなわち、符号化／復号化の順序が定義され、そして、各切片は、その順序内でランクを持つ。ＷＰＰサブストリームまたはタイルへの画像の再分割は、復号化器に信号伝送されるので、前記復号化器は、再分割について承知している。従って、各切片をそれぞれのＷＰＰサブストリームまたはタイルに関連付けるために、例えば、各切片がタイル／ＷＰＰサブストリームの符号化／復号化順序を用いてそれぞれの切片が連続的に画像を覆う上から開始位置とみなす開始アドレスを有する場合、それぞれの切片が一部であることは、十分であろう。あるタイルあるいはＷＰＰサブストリームに属する切片間の順序でさえ、トランスポートデマルチプレクサでまたは開始位置を用いて復号化器により再構成しうる。しかしながら、再ソートのために、ＲＴＰ伝送に関し上述したように、低位ＯＳＩ（Open Systems Interconnection）層の転送パケットヘッダの情報は、例えば、復号化順序数、すなわちＤＯＮを使用しうる。今述べたタイプの転送デマルチプレクサは、等しいＷＰＰサブストリームの切片のデータまたは１つのスライスバッファにおけるタイルおよびＷＰＰサブストリームの切片のデータまたは異なるＷＰＰサブストリームに関連付けられたタイルまたは異なるスライスバッファにおけるタイルを蓄積するために上で議論した転送デマルチプレクサと同様に構成しうる。上述したように、スライス構造、すなわち、スライスヘッダは、切片を運ぶのに使用しうる。
【００９５】
次に、図１１から１５の実施例が、再度換言するために、参照される。これらの図面に記述されたように、スライスＳｉはＮＡＬユニットへパケット化され、各ＮＡＬユニット１１０（図１１参照）は、ＮＡＬユニットヘッダ１１２を有する。スライスＳｉはノーマルのスライスもしくは図９に従い切片を運ぶスライスでありうる点に留意すべきである。従って、これらスライスは、単に１つのＷＰＰサブストリームに関するデータまたは現在の画像のタイル、すなわち、第ｉのＷＰＰサブストリームまたはタイルをそれぞれ運ぶ。断片化のために、前記ＮＡＬユニット１１０は、トランスポートストリーム（ＴＳ）パケット１１４、すなわちそのペイロードセクション１１６により伝送される。そうするために、各ＮＡＬユニット１１０および前記対応するスライスＳｉは、ｉを示すそれぞれのサブストリームマーカーＭＫＲ、すなわち、ＮＡＬユニット１１０に直接後続する直接後続するスライスが属する前記ＷＰＰサブストリームまたはタイルにより先行される。
【００９６】
異なるＷＰＰサブストリームまたはタイルに属するスライスを運ぶＮＡＬユニット１１０は、図１１から１３に説明されたように、１つ以上の基本ストリームＥＳ上にまたは図１１から１３に説明された同じ基本ストリーム上に分配される。上述したように、"基本ストリーム"は、それ自身のＲＴＰセッション中の分離ＲＴＰストリームも特定しうる。
【００９７】
図１４および１５に関して説明したように、トランスポートデマルチプレクサは、マルチプレックスバッファＭＢ、スライスバッファＳＢおよび転送バッファＴＢを有する。スライスバッファＳＢは、ＷＰＰサブストリームまたはタイルの画像を並列復号化するマルチスレッド復号器ＭＴＤにより引き込まれる。転送バッファＴＢは、ビデオビットストリームのＴＳパケットに属するデータを集め、そのデータをマルチプレックスバッファＭＢに転送するように構成されている。転送デマルチプレクサは、マルチプレックスバッファＭＢの出力でＴＳパケットにパケット化されたＮＡＬユニットシーケンスのＮＡＬユニットのＮＡＬユニットヘッダを評価し、サブストリームマーカーＮＡＬユニット内に運ばれたサブストリームマーカーデータを蓄積するとともにサブストリームマーカーＮＡＬユニットＭＫＲを落とし、サブストリームマーカーＮＡＬユニットに続くＮＡＬユニット内のサブストリームのスライスまたはタイルのデータ、ひとつの、すなわち同じスライスバッファＳＢ内の等しいＷＰＰサブストリームまたはタイルとみなすデータフィールド、および、サブストリームマーカーＮＡＬユニットに続くＮＡＬユニット内のＷＰＰサブストリームまたはタイルのスライスのデータ、異なるスライスバッファＳＢにおける異なるＷＰＰサブストリームまたはタイルと見なすデータフィールド、を蓄積するように構成されている。図１５に示されるように、トランスポートデマルチプレクサは、図１５におけるＴＳ  ｄｅｍｕｘと呼ばれるデマルチプレクサからなり、ビデオビットストリームを受信し、ビデオビットストリームのＴＳパケットを異なる基本ストリームに分割、すなわち、ビデオビットストリームのＴＳパケットを異なる基本ストリームに分配する。前記デマルチプレクサは、この分割または分配を、各基本ストリームが他の基本ストリームのＴＳパケットのＰＡＤと異なるＴＳパケットからなるように、ＴＳパケットのＴＳヘッダに含まれる複数のＰＩＤ（図１５中ではＰＩＤｓと記す）に従って実行する。
【００９８】
すなわち、スライスが図９の実施例の意味で切片と対応する場合に、それぞれのＷＰＰサブストリームまたはタイルの対応するスライスバッファＳＢがそこに含まれるデータを有すると同時に、前記ＭＴＤ、すなわち、前記マルチスレッド復号化器が、現在の画像の１つ以上のＷＰＰサブストリームまたはタイルを処理開始しうる、その結果、遅延が減少する。
【００９９】
若干の態様が、装置に関連して記載されているが、これらの態様は、対応する方法の記載も表すことは明らかである。ここで、１ブロックまたはデバイスは、方法ステップまたは方法ステップの特徴に対応する。類似して、方法ステップに関連して記載されている形態は、対応するブロックまたは項目または対応する装置の特徴の説明を表す。方法のステップのいくつかまたは全てが、例えば、マイクロプロセッサ、プログラミング可能なコンピュータ、または電子回路のようなハードウェア装置により（または使用して）実行されうる。若干の実施の形態において、最も重要な方法ステップの若干またはより多くは、そのような装置により実行されうる。
【０１００】
発明の符号化されたビットストリームは、デジタル記憶メディア上に記憶され、または、例えば無線伝送メディアまたはインターネットなどの有線伝送メディア上に伝送される。
【０１０１】
この上記貢献は、それ故、例えばタイル、波面並列処理（ＷＰＰ）サブストリーム、スライスまたはエントロピースライスなどにおける構造化、とりわけ低遅延カプセル化および新たなＨＥＶＣ符号化規格により提供されるような構造化ビデオデータのための方法を記述する。技術は、とりわけエントロピースライス／スライス／タイル／サブストリームのインターリーブされた伝送を介した並列処理符号化器−トランスミッタ−レシーバ−復号化器環境における低遅延伝送を可能にするものを提供する。明細書の導入部で概説されたボトルネック問題を解決するために、および伝送遅延および復号化時間、すなわちエンドツーエンド遅延を最小化するために、並列伝送および処理のためのインターリーブされたエントロピースライススキームが、とりわけ提供される。
【０１０２】
特定の実現要求に応じて、本発明の実施の形態は、ハードウェアにおいて、または、ソフトウェアにおいて、実行されうる。その実施態様は、それぞれの方法が実行されるように、プログラミング可能なコンピュータシステムと協働するか（または、協働しうる）、そこに格納された電子的に読み込み可能な制御信号を有するデジタル記憶媒体、例えば、フロッピー（登録商標）ディスク、ＤＶＤ、ブルーレイ、ＣＤ、ＲＯＭ、ＰＲＯＭ、ＥＰＲＯＭ、ＥＥＰＲＯＭ、またはＦＬＡＳＨメモリを使用して実行されうる。従って、デジタル記憶媒体は、コンピュータ読み込み可能でもよい。
【０１０３】
本発明による若干の実施の形態は、本願明細書において記載される方法のうちの１つが実行されるように、プログラミング可能なコンピュータシステムと協働することができる電子的に読み込み可能な制御信号を有するデータキャリアを含む。
【０１０４】
通常、本発明の実施の形態は、プログラムコードを有するコンピュータプログラム製品として実施され、コンピュータプログラム製品がコンピュータ上で実行する場合、プログラムコードは、方法のうちの１つを実行するために作動される。プログラムコードは、機械可読キャリアに、例えば、格納されうる。
【０１０５】
他の実施の形態は、機械可読キャリアに格納され、本願明細書において記載される方法のうちの１つを実行するためのコンピュータプログラムを含む。
【０１０６】
換言すれば、従って、コンピュータプログラムがコンピュータ上で実行する場合、本発明の方法の実施の形態は、本願明細書において記載される方法のうちの１つを実行するためのプログラムコードを有するコンピュータプログラムである。
【０１０７】
従って、本発明の方法の更なる実施の形態は、その上に記録され、本願明細書において記載される方法のうちの１つを実行するためのコンピュータプログラムを含むデータキャリア（または、デジタル記憶媒体、またはコンピュータ可読媒体）である。データキャリア、デジタル記憶媒体または記録された媒体は、一般的には、有形でありおよび／または、非過渡的である。
【０１０８】
従って、本発明の方法の更なる実施の形態は、本願明細書において記載される方法のうちの１つを実行するためのコンピュータプログラムを表しているデータストリームまたは一連の信号である。例えば、データストリームまたは一連の信号は、データ通信接続、例えば、インターネットを介して転送されるように構成されうる。
【０１０９】
更なる実施の形態は、本願明細書において記載される方法のうちの１つを実行するために構成され、または適応される処理手段、例えば、コンピュータ、またはプログラミング可能な論理回路を含む。
【０１１０】
更なる実施の形態は、その上にインストールされ、本願明細書において記載される方法のうちの１つを実行するためのコンピュータプログラムを有するコンピュータを含む。
【０１１１】
本発明による更なる実施の形態は、レシーバに本願明細書に記載される方法のうちの１つを実行するためのコンピュータプログラムを（例えば、電子的にまたは光学的に）転送するために構成される装置またはシステムを含む。レシーバは、例えば、コンピュータ、モバイル機器、メモリ素子等でもよい。装置またはシステムは、例えば、レシーバにコンピュータプログラムを転送するためのファイルサーバを含む。
【０１１２】
いくつかの実施の形態において、プログラミング可能な論理回路（例えば、フィールドプログラマブルゲートアレイ）が、本願明細書において記載されるいくつかのまたは全ての機能を実行するために使用されうる。いくつかの実施の形態において、フィールドプログラマブルゲートアレイは、本願明細書において記載される方法の１つを実行するために、マイクロプロセッサと協働しうる。一般に、方法は、いくつかのハードウェア装置により、好ましくは実行される。
【０１１３】
上述した実施の形態は、本発明の原則の例を表すだけである。本願明細書において記載される装置の修正および配置の変更および詳細は、他の当業者にとって明らかであるものと理解される。従って、既決の特許請求の範囲だけによりのみ制限され、ならびに、本願発明の記述および説明により表された明細書の詳細な記載によっては、制限されない。
【０１１４】
文献
［１］Thomas Wiegand, Gary J. Sullivan, Gisle Bjontegaard, Ajay Luthra, "Overvie      w of the H.264/AVC Video Coding Standard", IEEE Trans. Circuits Syst. Vide      o Technol., vol. 13, N7, July 2003.
［２］JCTVC-E196, "Wavefront Parallel Processing", 5th JCT-VC Meeting, Geneva 2011.
［３］JCTVC-D070, "Lightweight slicing for entropy coding", 4th Meeting, Daegu, 2011.
［４］JCTVC-D073, "Periodic initialization for wavefront coding functionality",      4th Meeting, Daegu, 2011.
［５］HEVC WD5: Working Draft 5 of High-Efficiency Video Coding JTCVC-G1103, 5th
JCT-VC Meeting, Geneva Meeting November 2011.
［６］JTCVC-D243, "Analysis of entropy slices approaches", 4th Meeting, Daegu, 2011.
［７］ISO/IEC 13818-1/2011, MPEG-2 Transport Stream including AMDs 1-6.
［８］IETF Real-time transport protocol, RTP RFC 3550.
［９］IETF RTP Payload Format, IETF RFC 6184.
［１０］JCTVC-F275, Wavefront and Cabac Flush: Different Degrees of Parallelism
Without Transcoding, , Torino Meeting
［１１］JCT-VC-F724, Wavefront Parallel Processing for HEVC Encoding and Decodin        g,Torino Meeting** at end of description
［１２］IETF Session Description Protocol (SDP), RFC 4566 
［１３］IETF RTP Payload Format for High Efficiency Video Coding, draft-schierl-
payload-h265
【図１】
2020167719.tif 000003
【図２】
2020167719.tif 000004
【図３】
2020167719.tif 000005
【図４】
2020167719.tif 000006
【図５】
2020167719.tif 000007
【図６Ａ】
2020167719.tif 000008
【図６Ｂ】
2020167719.tif 000009
【図７】
2020167719.tif 000010
【図８】
2020167719.tif 000011
【図９】
2020167719.tif 000012
【図１０】
2020167719.tif 000013
【図１１】
2020167719.tif 000014
【図１２】
2020167719.tif 000015
【図１３】
2020167719.tif 000016
【図１４】
2020167719.tif 000017
【図１５】
2020167719.tif 000018
【図１６】
2020167719.tif 000019
【図１７】
2020167719.tif 000020
【図１８】
2020167719.tif 000021
【図１９】
2020167719.tif 000022
【手続補正書】
【提出日】令和2年7月20日(2020.7.20)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
画像のＬＣＵ行１行あたり１つのＷＰＰサブストリームで前記画像をＷＰＰストリームで記述するローバイトシーケンスペイロードであって、前記ローバイトペイロードシーケンスは符号化器からのＣＡＢＡＣを使用して、前記ＷＰＰサブストリームがセグメント化された切片で符号化され、前記ＷＰＰサブストリームはセグメント化されたことによって切片境界が導入される、前記ローバイトシーケンスペイロードを受信し、
前記ＷＰＰサブストリーム内に導入された前記切片境界を越えるＣＡＢＡＣ確率適合を継続するとともに前記切片をエントロピー復号化し、
前記ローバイトシーケンスペイロードを復号化して、予測残差データの再変換を使用して前記画像を得る、
ように構成されている、
ことを特徴とする復号化器。
【請求項２】
前記切片はスライスヘッダを使用してパケット化され、かつ、前記復号化器は、前記切片を受信する際に、新たに受信した新たな切片の前記スライスヘッダ内のフラグ、または、前記新たな切片のスライスタイプ、または、前記新たな切片を含むＮＡＬユニットのＮＡＬユニットタイプに応答して、ＣＡＢＡＣ確率をリセットして前記ＣＡＢＡＣ確率適合を中断する、または前記ＣＡＢＡＣ確率適合を継続するように構成されている、
ことを特徴とする、請求項１に記載の復号化器。
【請求項３】
前記復号化器は、前記切片を受信する際、各切片について、前記各切片がどのＷＰＰサブストリームに属するかを識別することにより、前記切片をデインターリーブするように構成されている、
ことを特徴とする、請求項１または２に記載の復号化器。
【請求項４】
前記切片は、各パケットが、前記画像の各ＷＰＰサブストリームの１つの切片または前記ＷＰＰストリームの間で定義された順序で配列された、前記画像の前記ＷＰＰサブストリームのサブセットを含むように、パケットにパケット化され、各パケットは、それぞれのパケットにパックされた切片の位置および／または長さを示すヘッダまたは前記それぞれのパケット内の前記切片を互いに分離するマーカーを含み、前記復号化器は、前記ローバイトシーケンスペイロードを受信する際に、前記ヘッダまたは前記マーカーが含む情報を使用して前記パケット内の前記切片にアクセスするように構成されている、
ことを特徴とする、請求項１ないし３のいずれかに記載の復号化器。
【請求項５】
前記画像の前記ＷＰＰサブストリームの、前記ＷＰＰサブストリームの間で定義された順序において最初の切片を有するパケットは低遅延特性インジケータを含み、前記画像の前記ＷＰＰサブストリームの、前記ＷＰＰサブストリームの間で定義された順序において２番目以降の切片を有するパケットは連続性インジケータを含む、
ことを特徴とする、請求項４に記載の復号化器。
【請求項６】
前記パケットは、ＮＡＬユニットまたはスライスである、
ことを特徴とする、請求項４または５に記載の復号化器。
【請求項７】
前記ローバイトシーケンスペイロードは様々な視点に対応するレイヤに場面を符号化した、
ことを特徴とする、請求項１に記載の復号化器。
【請求項８】
前記ローバイトシーケンスペイロードは、その中に前記画像をレイヤで符号化している、
ことを特徴とする、請求項１に記載の復号化器。
【請求項９】
画像を符号化することによってローバイトシーケンスペイロードを形成し、画像のＬＣＵ行１行あたり１つのＷＰＰサブストリームで前記画像をＷＰＰサブストリームに記述するとともにＣＡＢＡＣを使用して前記ローバイトシーケンスをエントロピー符号化し、
前記ＷＰＰサブストリームがセグメント化された切片で前記ローバイトシーケンスを送信し、前記ＷＰＰサブストリームはセグメント化されたことで切片境界が導入され、
前記ＷＰＰサブストリーム内に導入された前記切片境界を越えた前記エントロピー符号化においてＣＡＢＡＣ確率適合を継続するように構成される符号化器であって、
前記符号化器は、前記ローバイトシーケンスペイロードを形成するために予測残差データの変換を使用するように構成されている、
ことを特徴とする符号化器。
【請求項１０】
前記符号化器は、前記切片が最大転送ユニットサイズに合致するように前記ローバイトシーケンスを形成するように構成されている、
ことを特徴とする、請求項９に記載の符号化器。
【請求項１１】
前記ローバイトシーケンスペイロードは、様々な視点に対応するレイヤに場面を符号化した、
ことを特徴とする、請求項９に記載の符号化器。
【請求項１２】
前記ローバイトシーケンスペイロードは、その中に前記画像をレイヤで符号化している、
ことを特徴とする、請求項９に記載の符号化器。
【請求項１３】
時間予測モードを使用して、画像をスライスまたはＷＰＰサブストリームまたはタイルで記述し、ＣＡＢＡＣを使用して符号化されているローバイトシーケンスペイロードを含むビデオビットストリームであって、前記ビデオビットストリームは前記スライスまたはＷＰＰサブストリームまたはタイルの切片に分解されるとともに、切片境界を越えてＣＡＢＡＣ確率適合を継続する、ビデオビットストリームを格納したデジタル記憶媒体であって、
前記各切片は、情報を使用して前記切片が前記スライス、ＷＰＰサブストリームまたはタイルに関連付けることが可能になるように、各切片について、前記各切片がどのＷＰＰサブストリームまたはタイルに属するかを識別する前記情報を含み、
前記ローバイトシーケンスペイロードは予測残差データを変換したものを含む、
ことを特徴とする、デジタル記憶媒体。
【請求項１４】
前記ローバイトシーケンスペイロードは、様々な視点に対応するレイヤに場面を符号化した、
ことを特徴とする、請求項１３に記載のデジタル記憶媒体。
【請求項１５】
前記ローバイトシーケンスペイロードは、その中に前記画像をレイヤで符号化している、
ことを特徴とする、請求項１３に記載のデジタル記憶媒体。
【請求項１６】
画像のＬＣＵ行１行あたり１つのＷＰＰサブストリームで前記画像をＷＰＰサブストリームに記述し、前記ＷＰＰサブストリームがセグメント化された前記ＷＰＰサブストリームの切片で、符号化器からのＣＡＢＡＣを使用して符号化されたローバイトシーケンスペイロードを受信するステップであって、前記ＷＰＰサブストリームはセグメント化されたことによって切片境界が導入される、ステップと、
前記切片をエントロピー復号化するとともに、前記ＷＰＰサブストリーム内に導入された前記切片境界を越えてＣＡＢＡＣ確率適合を継続するステップと、
前記ローバイトシーケンスペイロードを復号化して前記画像を得るステップと、
を含む、復号化のための方法であって、
前記方法は前記ローバイトシーケンスペイロードを形成するために予測残差データの変換を使用するステップを含む、
ことを特徴とする復号化方法。
【請求項１７】
画像を符号化することによってローバイトシーケンスペイロードを形成して、前記画像を、前記画像のＬＣＵ行１行あたり１つのＷＰＰサブストリームでＷＰＰサブストリームに記述するとともにＣＡＢＡＣを使用して前記ローバイトシーケンスをエントロピー符号化するステップと、
前記ＷＰＰサブストリームがセグメント化された切片で前記ローバイトシーケンスを伝送するステップであって、前記ＷＰＰストリームはセグメント化されたことによって切片境界が導入される、ステップと、
前記エントロピー符号化するステップにおいて、前記ＷＰＰサブストリーム内に導入された前記切片境界を越えてＣＡＢＡＣ確率適合を継続するステップと
を含む、符号化のための方法であって、
前記方法は前記ローバイトシーケンスペイロードを形成するために予測残差データの変換を使用するステップを含む、
ことを特徴とする、符号化方法。
【請求項１８】
コンピュータ上で動作するとき、請求項１６または１７のいずれかに記載の方法を実行するためのプログラムコードを有する、
ことを特徴とする、コンピュータプログラム。