(57)【要約】サブビットストリームの抽出および書き換えプロセスを簡素化するためのシステムおよび方法を説明する。例示的な方法において、ビデオは、少なくともベースレイヤと第１の非ベースレイヤを含むマルチレイヤスケーラブルビットストリームとして符号化される。ビットストリームは、第１の非ベースレイヤのスライスセグメントのそれぞれがベースレイヤのピクチャパラメータセットを参照するという制約に従う。付加的な制約および余剰ハイレベルシンタックス要素も説明される。実施形態は、（ｉ）サブビットストリーム抽出プロセスの出力レイヤセットの制約、（ｉｉ）サブビットストリーム抽出プロセスのＶＰＳ作成、および（ｉｉｉ）サブビットストリーム抽出プロセスのＳＰＳ／ＰＰＳ作成を対象としている。
2017510117.tif 000002
【特許請求の範囲】
【請求項１】
ビデオを、少なくともベースレイヤと第１の非ベースレイヤとを含むマルチレイヤスケーラブルビットストリームとして符号化するステップであって、前記レイヤのそれぞれは、複数の画像スライスセグメントを含み、および前記ベースレイヤは、少なくとも１つのピクチャパラメータセット（ＰＰＳ）を含む、ステップを含み、
前記ベースレイヤと前記第１の非ベースレイヤはそれぞれ、複数の画像スライスセグメントを含み、および前記第１の非ベースレイヤの前記画像スライスセグメントのそれぞれは、前記ベースレイヤの前記ピクチャパラメータセットのそれぞれ１つを参照する、方法。
【請求項２】
前記第１の非ベースレイヤの前記画像スライスセグメントのそれぞれは、ゼロのレイヤ識別子ｎｕｈ＿ｌａｙｅｒ＿ｉｄを有するピクチャパラメータセットを参照する、請求項１に記載の方法。
【請求項３】
前記ベースレイヤは、ゼロのレイヤ識別子ｎｕｈ＿ｌａｙｅｒ＿ｉｄを有する複数のネットワーク抽象化レイヤ（ＮＡＬ）ユニットを備え、および前記第１の非ベースレイヤは、ゼロよりも大きいレイヤ識別子ｎｕｈ＿ｌａｙｅｒ＿ｉｄを有する複数のネットワーク抽象化レイヤ（ＮＡＬ）ユニットを備える、請求項１に記載の方法。
【請求項４】
前記マルチレイヤスケーラブルビットストリームはさらに、第２の非ベースレイヤを含む、請求項１に記載の方法。
【請求項５】
前記非ベースレイヤは、独立レイヤである、請求項１に記載の方法。
【請求項６】
各レイヤは、レイヤ識別子と関連付けられ、および前記マルチレイヤスケーラブルビットストリームは、複数のネットワーク抽象化レイヤ（ＮＡＬ）ユニットを備え、各ＮＡＬユニットがレイヤ識別子を含む、請求項１に記載の方法。
【請求項７】
前記ベースレイヤは、少なくとも１つのシーケンスパラメータセット（ＳＰＳ）を含み、および前記第１の非ベースレイヤの前記画像スライスセグメントのそれぞれは、前記ベースレイヤの前記シーケンスパラメータセットのそれぞれ１つを参照する、請求項１に記載の方法。
【請求項８】
前記第１の非ベースレイヤの前記画像スライスセグメントのそれぞれは、ゼロのレイヤ識別子ｎｕｈ＿ｌａｙｅｒ＿ｉｄを有するシーケンスパラメータセットを参照する、請求項７に記載の方法。
【請求項９】
前記マルチレイヤスケーラブルビットストリームをシングルレイヤビットストリームとして書き換えるステップをさらに含む、請求項１に記載の方法。
【請求項１０】
マルチレイヤスケーラブルビットストリームは、ｓｐｓ＿ｍａｘ＿ｓｕｂ＿ｌａｙｅｒｓ＿ｍｉｎｕｓ１パラメータをさらに備え、および前記ｓｐｓ＿ｍａｘ＿ｓｕｂ＿ｌａｙｅｒｓ＿ｍｉｎｕｓ１パラメータは、前記書き換えプロセス中に変更されない、請求項９に記載の方法。
【請求項１１】
マルチレイヤスケーラブルビットストリームは、ｐｒｏｆｉｌｅ＿ｔｉｅｒ＿ｌｅｖｅｌ（）パラメータをさらに備え、および前記ｐｒｏｆｉｌｅ＿ｔｉｅｒ＿ｌｅｖｅｌ（）パラメータは、前記書き換えプロセス中に変更されない、請求項９に記載の方法。
【請求項１２】
前記マルチレイヤスケーラブルビットストリームは、第１の複数のビデオパラメータを有する少なくとも１つのシーケンスパラメータセット（ＳＰＳ）と、第２の複数のビデオパラメータを有する少なくとも１つのビデオパラメータセット（ＶＰＳ）と、を含み、
前記第１の非ベースレイヤの前記画像スライスセグメントのそれぞれは、前記ベースレイヤの前記シーケンスパラメータセットのそれぞれ１つと、前記ビデオパラメータセットのそれぞれ１つと、を参照し、
前記第１の複数のビデオパラメータの第１のサブセットと前記第２の複数のビデオパラメータの第２のサブセットは等しい、請求項１に記載の方法。
【請求項１３】
前記第１の複数のビデオパラメータの前記第１のサブセットと第２の複数のビデオパラメータの前記第２のサブセットは、パラメータ：
ｃｈｒｏｍａ＿ｆｏｒｍａｔ＿ｖｐｓ＿ｉｄｃ
ｓｅｐａｒａｔｅ＿ｃｏｌｏｕｒ＿ｐｌａｎｅ＿ｖｐｓ＿ｆｌａｇ
ｐｉｃ＿ｗｉｄｔｈ＿ｖｐｓ＿ｉｎ＿ｌｕｍａ＿ｓａｍｐｌｅｓ
ｐｉｃ＿ｈｅｉｇｈｔ＿ｖｐｓ＿ｉｎ＿ｌｕｍａ＿ｓａｍｐｌｅｓ
ｂｉｔ＿ｄｅｐｔｈ＿ｖｐｓ＿ｌｕｍａ＿ｍｉｎｕｓ８
ｂｉｔ＿ｄｅｐｔｈ＿ｖｐｓ＿ｃｈｒｏｍａ＿ｍｉｎｕｓ８
を含む、請求項１２に記載の方法。
【請求項１４】
前記第１の複数のビデオパラメータの第１のサブセットと前記第２の複数のビデオパラメータの前記第２のサブセットは、ｒｅｐ＿ｆｏｒｍａｔ（）シンタックス構造のパラメータを含む、請求項１２に記載の方法。
【請求項１５】
前記マルチレイヤスケーラブルビットストリームをシングルレイヤビットストリームとして書き換えるステップであって、前記書き換えは、前記第１の非ベースレイヤの前記画像スライスセグメントによって参照される前記シーケンスパラメータセットおよびビデオパラメータセットを変えずに実施される、ステップをさらに含む、請求項１２に記載の方法。
【請求項１６】
少なくともベースレイヤと第１の非ベースレイヤを含むマルチレイヤスケーラブルビットストリームとして符号化されたビデオを受信するステップであって、前記レイヤのそれぞれは、複数の画像スライスセグメントを含み、および前記ベースレイヤは、少なくとも１つのピクチャパラメータセット（ＰＰＳ）を含む、ステップであって、
前記ベースレイヤと前記第１の非ベースレイヤはそれぞれ、複数の画像スライスセグメントを含み、および前記第１の非ベースレイヤの前記画像スライスセグメントのそれぞれは、前記ベースレイヤの前記ピクチャパラメータセットのそれぞれ１つを参照する、ステップと、
前記ビデオをシングルレイヤビットストリームとして書き換えるステップと、
を含む方法。
【請求項１７】
ネットワークインタフェースを介して前記シングルレイヤビットストリームを送るステップをさらに含む、請求項１６に記載の方法。
【請求項１８】
前記少なくとも１つのピクチャパラメータセットは、シンタックス要素のセットを含み、および前記ビデオの書き換えは、シンタックス要素の前記セットを保存することを含む、請求項１６に記載の方法。
【請求項１９】
前記ベースレイヤは、少なくとも１つのシーケンスパラメータセット（ＳＰＳ）を含み、および前記第１の非ベースレイヤの前記画像スライスセグメントのそれぞれは、前記ベースレイヤの前記シーケンスパラメータセットのそれぞれ１つを参照する、請求項１６に記載の方法。
【請求項２０】
前記少なくとも１つのシーケンスパラメータセットは、シンタックス要素のセットを含み、および前記ビデオの書き換えは、シンタックス要素の前記セットを保存することを含む、請求項１９に記載の方法。
【請求項２１】
シンタックス要素の前記セットは、要素：
ｓｐｓ＿ｍａｘ＿ｓｕｂ＿ｌａｙｅｒｓ＿ｍｉｎｕｓ１
ｓｐｓ＿ｔｅｍｐｏｒａｌ＿ｉｄ＿ｎｅｓｔｉｎｇ＿ｆｌａｇ
ｐｒｏｆｉｌｅ＿ｔｉｅｒ＿ｌｅｖｅｌ（）
を含む、請求項１６に記載の方法。
【請求項２２】
プロセッサと非一過性の記憶媒体とを含むビデオエンコーダであって、前記記憶媒体は、前記プロセッサ上で実行される時に、
ビデオを少なくともベースレイヤと第１の非ベースレイヤとを含むマルチレイヤスケーラブルビットストリームとして符号化し、前記レイヤのそれぞれは、複数の画像スライスセグメントを含み、および前記ベースレイヤは、少なくとも１つのピクチャパラメータセット（ＰＰＳ）を含み、
前記ベースレイヤと前記第１の非ベースレイヤはそれぞれ、複数の画像スライスセグメントを含み、および前記第１の非ベースレイヤの前記画像スライスセグメントのそれぞれは、前記ベースレイヤの前記ピクチャパラメータセットのそれぞれ１つを参照するように機能する命令を格納する、ビデオエンコーダ。
【請求項２３】
前記ベースレイヤは、少なくとも１つのシーケンスパラメータセット（ＳＰＳ）を含み、および前記第１の非ベースレイヤの前記画像スライスセグメントのそれぞれは、前記ベースレイヤの前記ピクチャパラメータセットのそれぞれ１つを参照する、請求項２２に記載のエンコーダ。
【請求項２４】
前記マルチレイヤスケーラブルビットストリームは、第１の複数のビデオパラメータを有する少なくとも１つのシーケンスパラメータセット（ＳＰＳ）と、第２の複数のビデオパラメータを有する少なくとも１つのビデオパラメータセット（ＶＰＳ）と、を含み、
前記第１の非ベースレイヤの前記画像スライスセグメントのそれぞれは、前記ベースレイヤの前記シーケンスパラメータセットのそれぞれ１つと、および前記ビデオパラメータセットのそれぞれ１つと、を参照し、
前記第１の複数のビデオパラメータの第１のサブセットと前記第２の複数のビデオパラメータの第２のサブセットは等しい、請求項２２に記載のエンコーダ。
【請求項２５】
前記第１の複数のビデオパラメータの前記第１のサブセットと前記第２の複数のビデオパラメータの前記第２のサブセットは、ｒｅｐ＿ｆｏｒｍａｔ（）シンタックス構造の前記パラメータを含む、請求項２４に記載のエンコーダ。
【発明の詳細な説明】
【技術分野】
【０００１】
（関連出願の相互参照）
【０００２】
本出願は、正規出願であり、３５Ｕ．Ｓ．Ｃ．§１１９（ｃ）に従い、２０１４年１月２日に出願された米国特許仮出願第６１／９２３，１９０号明細書の利益を主張し、参照により本明細書に完全に組み込まれる。
【背景技術】
【０００３】
過去２０年間にわたり、効率的なデジタルビデオの通信、分配および消費を可能にするさまざまなデジタルビデオ圧縮技術が開発されて規格化されている。Ｈ．２６１、ＭＰＥＧ−１、ＭＰＥＧ−２、Ｈ．２６３、ＭＰＥＧ−４（パート２）、およびＨ．２６４／ＡＶＣ（ＭＰＥＧ−４パート１０アドバンスドビデオコーディング）などの、商業的に広く展開している規格の多くは、ＩＳＯ／ＩＥＣおよびＩＴＵ−Ｔによって開発されている。新しい高度なビデオ圧縮技術の出現および成熟により、ＩＴＵ−Ｔのビデオ符号化専門家グループ（ＶＣＥＧ）とＩＳＯ／ＩＥＣのＭＰＥＧによって共同開発された新しいビデオ符号化規格である、高効率ビデオコーディング（ＨＥＶＣ）が２０１３年の初めに国際規格として認可され、現在最高水準のＨ．２６４／ＡＶＣよりもかなり高い符号化効率を実現することができる。
【０００４】
従来のデジタルビデオサービス（ＴＶ信号を衛星、ケーブルおよび地上波の伝送チャネルを介して送るなど）に比べて、ＩＰＴＶ、ビデオチャット、モバイルビデオおよびストリーミングビデオなどの、新しいビデオアプリケーションがますます異種環境において展開されている。そのような異種性はクライアントならびにネットワークにおいて存在する。クライアント側では、Ｎスクリーンシナリオ、つまり、ビデオコンテンツを、スマートフォン、タブレット、ＰＣおよびＴＶを含む、さまざまな画面サイズおよび表示能力を有するデバイス上で消費することがすでに行われており、市場を独占し続けることが期待される。ネットワーク側では、ビデオは、インターネット、Ｗｉ−Ｆｉネットワーク、モバイル（３Ｇおよび４Ｇ）ネットワーク、および／またはそれらの任意の組み合わせを通じて送信される。ユーザ経験およびビデオのサービス品質を改善するために、スケーラブルビデオ符号化は、魅力的な解決策である。スケーラブルビデオ符号化は、信号を最高の解像度で一度に符号化することであるが、可能であるストリームのサブセットからの復号化は、あるアプリケーションによって要求されるおよび／またはクライアントデバイスによってサポートされる固有のレートおよび解像度に応じて異なる。ここで使用される「解像度」という語は、限定されないが、空間解像度（ピクチャサイズ）、時間解像度（フレームレート）、およびビデオ品質（ＭＯＳなどの主観品質、および／またはＰＳＮＲまたはＳＳＩＭまたはＶＱＭなどの客観品質）を含む、多数のビデオパラメータによって定義されることに留意されたい。一般的に使用される他のビデオパラメータは、クロマフォーマット（ＹＵＶ４２０またはＹＵＶ４２２など）、ビット深度（８ビットまたは１０ビットビデオなど）、複雑さ、ビュー、色域、およびアスペクト比（１６：９または４：３）を含む。ＭＰＥＧ−２ Ｖｉｄｅｏ、Ｈ．２６３、ＭＰＥＧ−４ ＶｉｓｕａｌおよびＨ．２６４などの、既存の国際ビデオ規格はすべて、スケーラビリティモードをサポートするツールおよび／またはプロファイルを有する。ＨＥＶＣ規格バージョン１が２０１３年１月に規格化された時、ＨＥＶＣを拡張してスケーラブル符号化をサポートする作業も進められている。ＨＥＶＣのスケーラブル拡張の第１段階は、少なくとも空間スケーラビリティ（即ち、スケーラブルビットストリームが２以上の空間解像度の信号を包含する）、品質スケーラビリティ（即ち、スケーラブルビットストリームが２以上の品質レベルの信号を包含する）、および標準スケーラビリティ（即ち、スケーラブルビットストリームがＨ．２６４／ＡＶＣを使用して符号化されたベースレイヤとＨＥＶＣを使用して符号化された１または複数のエンハンスメントレイヤを包含する）をサポートすることが期待される。品質スケーラビリティはまた、ＳＮＲスケーラビリティと呼ばれることが多い。さらに、３Ｄビデオが今日ますます人気を得るにつれて、ビュースケーラビリティの別個の作業（即ち、スケーラブルビットストリームが２Ｄと３Ｄの両方のビデオ信号を包含する）がＪＣＴ−３Ｖにおいて進められている。
【０００５】
ＨＥＶＣのスケーラブルおよびマルチビュー拡張用の共通仕様書は、第１２回ＪＣＴＶＣ会合でノキア社、クアルコム社、インターデジタル社、ヴィディオ社によって共同提案された。第１３回ＪＣＴＶＣ会合において、参照インデックスベースのフレームワークがＨＥＶＣ（ＳＨＶＣ）のスケーラブル拡張の唯一の解決策として採用された。ＳＨＶＣのシンタクス、セマンティックおよび復号化プロセスを指定するさらなるＳＨＶＣ作業ドラフトは、２０１３年１１月の第１５回ＪＣＴＶＣ会合の後に完成した、ＳＨＶＣドラフト４である。
【発明の概要】
【０００６】
本明細書では、サブビットストリーム抽出および書き換えプロセスに関するシステムおよび方法が説明されている。抽出および書き換えプロセスを簡素化するためにいくつかの制約および余剰ハイレベルシンタックス要素が本明細書で提案されている。実施形態は、（ｉ）サブビットストリーム抽出プロセスの出力レイヤセットの制約、（ｉｉ）サブビットストリーム抽出プロセスのＶＰＳ作成、および（ｉｉｉ）サブビットストリーム抽出プロセスのＳＰＳ／ＰＰＳ作成を対象としている。
【０００７】
いくつかの実施形態において、ビデオをマルチレイヤスケーラブルビットストリームとして符号化する方法が説明されている。そのビットストリームは、少なくともベースレイヤおよび第１の非ベースレイヤを含む。レイヤのそれぞれは、複数の画像スライスセグメントを含み、少なくともベースレイヤは、少なくとも１つのピクチャパラメタセット（ＰＰＳ）を含む。ベースレイヤおよび第１の非ベースレイヤのそれぞれは、複数の画像スライスセグメントを含む。第１の非ベースレイヤの画像スライスセグメントのそれぞれは、ベースレイヤのピクチャパラメータセットのそれぞれの１つを参照する。より詳細には、いくつかの実施形態において、第１の非ベースレイヤの画像スライスセグメントのそれぞれは、ゼロのレイヤ識別子ｎｕｈ＿ｌａｙｅｒ＿ｉｄを有するピクチャパラメータセットを参照することができる。
【０００８】
ベースレイヤは、ゼロのレイヤ識別子ｎｕｈ＿ｌａｙｅｒ＿ｉｄを有する複数のネットワーク抽象化レイヤ（ＮＡＬ）を含むことができ、そして第１の非ベースレイヤは、ゼロよりも大きいレイヤの識別子ｎｕｈ＿ｌａｙｅｒ＿ｉｄを有する複数のネットワーク抽象化レイヤ（ＮＡＬ）を含むことができる。非ベースレイヤは、独立レイヤであってよい。ビットストリームは、第２の非ベースレイヤなどの、付加的なレイヤをさらに含むことができる。
【０００９】
各レイヤは、レイヤ識別子と関連付けられる。マルチレイヤスケーラブルビットストリームは、複数のネットワーク抽象化レイヤ（ＮＡＬ）ユニットを含むことができ、各ＮＡＬユニットは、レイヤ識別子を含む。
【００１０】
ベースレイヤは、少なくとも１つのシーケンスパラメータセット（ＳＰＳ）を含むことができ、第１の非ベースレイヤの画像スライスセグメントのそれぞれが、ベースレイヤのシーケンスパラメータセットのそれぞれの１つを参照する。第１の非ベースレイヤの画像スライスセグメントはそれぞれ、ゼロのレイヤの識別子ｎｕｈ＿ｌａｙｅｒ＿ｉｄを有するシーケンスパラメータセットを参照することができる。
【００１１】
いくつかの実施形態において、マルチレイヤスケーラブルビットストリームは、シングルレイヤビットストリームとして書き換えられる。このような実施形態において、マルチレイヤスケーラブルビットストリームがｓｐｓ＿ｍａｘ＿ｓｕｂ＿ｌａｙｅｒｓ＿ｍｉｎｕｓ１パラメータを含む場合、ｓｐｓ＿ｍａｘ＿ｓｕｂ＿ｌａｙｅｒｓ＿ｍｉｎｕｓ１パラメータは好適には、書き換えプロセス中に変更されない。マルチレイヤスケーラブルビットストリームがｐｒｏｆｉｌｅ＿ｔｉｅｒ＿ｌｅｖｅｌ（）パラメータを含む場合、ｐｒｏｆｉｌｅ＿ｔｉｅｒ＿ｌｅｖｅｌ（）パラメータは好適には、書き換えプロセス中に変更されない。
【００１２】
いくつかの実施形態において、マルチレイヤスケーラブルビットストリームは、第１の複数のビデオパラメータを有する少なくとも１つのシーケンスパラメータセット（ＳＰＳ）を含み、そしてマルチレイヤスケーラブルビットストリームはさらに、第２の複数のビデオパラメータを有する少なくとも１つのビデオパラメータセット（ＶＰＳ）を含む。第１の非ベースレイヤの画像スライスセグメントのそれぞれは、ベースレイヤのシーケンスパラメータセットのそれぞれの１つを参照し、およびビデオパラメータセットのそれぞれの１つを参照し、第１の複数のビデオパラメータセットの第１のサブセットと第２の複数のビデオパラメータセットの第２のサブセットは等しい。第１の複数のビデオパラメータと第２の複数のビデオパラメータセットのそれぞれのサブセットは、ｒｅｐ＿ｆｏｒｍａｔ（）シンタックス構造のパラメータを含むことができる。いくつかの実施形態において、第１の複数のビデオパラメータと第２の複数のビデオパラメータは、以下のパラメータを含む：
ｃｈｒｏｍａ＿ｆｏｒｍａｔ＿ｖｐｓ＿ｉｄｃ
ｓｅｐａｒａｔｅ＿ｃｏｌｏｕｒ＿ｐｌａｎｅ＿ｖｐｓ＿ｆｌａｇ
ｐｉｃ＿ｗｉｄｔｈ＿ｖｐｓ＿ｉｎ＿ｌｕｍａ＿ｓａｍｐｌｅｓ
ｐｉｃ＿ｈｅｉｇｈｔ＿ｖｐｓ＿ｉｎ＿ｌｕｍａ＿ｓａｍｐｌｅｓ
ｂｉｔ＿ｄｅｐｔｈ＿ｖｐｓ＿ｌｕｍａ＿ｍｉｎｕｓ８
ｂｉｔ＿ｄｅｐｔｈ＿ｖｐｓ＿ｃｈｒｏｍａ＿ｍｉｎｕｓ８
【００１３】
いくつかの実施形態において、マルチレイヤスケーラブルビットストリームは、シングルレイヤビットストリームとして書き換えられ、その書き換えは、第１の非ベースレイヤの画像スライスセグメントによって参照されるシーケンスパラメータセットおよびビデオパラメータセットを変えずに遂行される。
【００１４】
本開示では、例えば、ビットストリーム抽出器などのミドルボックスによって遂行できる方法をさらに説明する。いくつかの例示的な方法において、マルチレイヤスケーラブルビットストリームとして符号化されたビデオが受信される。ビデオは、少なくともベースレイヤと第１の非ベースレイヤを含む。レイヤのそれぞれは、複数の画像スライスセグメントを含み、ベースレイヤは、少なくとも１つのピクチャパラメータセット（ＰＰＳ）を含む。ベースレイヤおよび第１の非ベースレイヤのそれぞれは、複数の画像スライスセグメントを含み、そして第１の非ベースレイヤの画像スライスセグメントのそれぞれは、ベースレイヤのピクチャパラメータセットのそれぞれの１つを参照する。ビデオはその後、シングルレイヤビットストリームとして書き換えられる。シングルレイヤビットストリームは、ネットワークインタフェースを介して送信することができる。ピクチャパラメータセットのうちの少なくとも１つは、シンタックス要素のセットを含むことができる。これらのシンタックス要素は、書き換えプロセスに保存することができる。
【００１５】
いくつかの実施形態において、ベースレイヤは、少なくとも１つのシーケンスパラメータセット（ＳＰＳ）を含み、そして第１の非ベースレイヤの画像スライスセグメントのそれぞれは、ベースレイヤのシーケンスパラメータセットのそれぞれの１つを参照する。このような実施形態において、シーケンスパラメータセットがシンタックス要素のセットを含む場合、書き換えプロセスは、シンタックス要素のセットを保存することを含む。保存されたシンタックス要素のセットは、例えば、以下の要素を含むことができる：
ｓｐｓ＿ｍａｘ＿ｓｕｂ＿ｌａｙｅｒｓ＿ｍｉｎｕｓ１
ｓｐｓ＿ｔｅｍｐｏｒａｌ＿ｉｄ＿ｎｅｓｔｉｎｇ＿ｆｌａｇ
ｐｒｏｆｉｌｅ＿ｔｉｅｒ＿ｌｅｖｅｌ（）
【００１６】
本明細書で説明される方法は、プロセッサおよび非一過性の記憶媒体に備わっているビデオエンコーダおよび／またはネットワークエンティティによって遂行され、そして本明細書で説明される方法を遂行するようにプログラムすることができる。
【図面の簡単な説明】
【００１７】
例として添付図面と共に提示された、以下の説明からより詳細な理解を得ることができる。
【図１】ブロックベースのビデオエンコーダの例を示すブロック図である。
【図２】ブロックベースのビデオデコーダの例を示すブロック図である。
【図３】２レイヤのスケーラブルビデオエンコーダの例示的なアーキテクチャの図である。
【図４】２レイヤのスケーラブルビデオデコーダの例示的なアーキテクチャの図である。
【図５】２つのビューのビデオ符号化構造の例を示す図である。
【図６】例示的なレイヤ間予測構造を示す図である。
【図７】符号化されたビットストリーム構造の例を示す図である。
【図８】シングルレイヤのサブビットストリーム抽出の例を示す図である。
【図９】複数レイヤのサブビットストリーム抽出の例を示す図である。
【図１０】書き換えプロセスの例を示す図である。
【図１１】複数のホップのサブビットストリーム抽出のためのビットストリーム（ビットストリームＡ）のレイヤセットの例を示す図である。
【図１２】独立した非ベースレイヤにシグナルするレイヤセットの制約の例を示す図である。
【図１３】ビットストリーム抽出器を含む例示的な通信システムを示す図である。
【図１４】例示的なネットワークエンティティを示す図である。
【図１５】例示的な無線送信／受信ユニット（ＷＴＲＵ）を示す図である。
【発明を実施するための形態】
【００１８】
これより、具体的な実施形態の詳細な説明をさまざまな図を参照して提供する。この説明は、可能である実装の詳細な例を提供するが、提供される詳細は、一例であることを意図し、適用の範囲を限定するものではないことに留意されたい。
【００１９】
図１は、ブロックベースのビデオエンコーダ、例えば、ハイブリッドビデオ符号化システムを示すブロック図である。ビデオエンコーダ１００は、入力ビデオ信号１０２を受信することができる。入力ビデオ信号１０２は、ブロックごとに処理される。ビデオブロックは、任意のサイズであってよい。例えば、ビデオブロックユニットは、１６×１６ピクセルを含むことができる。１６×１６ピクセルのビデオブロックユニットは、マクロブロック（ＭＢ）と呼ばれることもある。高効率ビデオコーディング（ＨＥＶＣ）において、拡張されたブロックサイズ（例えば、符号化ツリーユニット（ＣＴＵ）または符号化ユニット（ＣＵ）と呼ばれることもあり、２つの語は、本開示において同等である）を使用して、高解像度（例えば、１０８０ｐ以上）のビデオ信号を効率的に圧縮することができる。ＨＥＶＣにおいて、ＣＵは、６４×６４ピクセルまでにすることができる。ＣＵを、別個の予測方法を適用することができる、予測ユニット（ＰＵ）にパーティションすることができる。
【００２０】
入力ビデオブロック（例えば、ＭＢまたはＣＵ）では、空間予測１６０および／または時間予測１６２を遂行することができる。空間予測（例えば、「イントラ予測」）は、同じビデオピクチャ／スライスのすでに符号化された隣接ブロックからのピクセルを使用して、現在のビデオブロックを予測することができる。空間予測は、ビデオ信号に内在する空間的冗長性を削減することができる。時間予測（例えば、「インター予測」または「動き補償予測」）は、すでに符号化されたビデオピクチャ（例えば、「参照ピクチャ」と呼ばれることもある）からのピクセルを使用して、現在のビデオブロックを予測することができる。時間予測は、ビデオ信号に内在する時間的冗長性を削減することができる。ビデオブロックの時間予測信号は、参照ピクチャの現在のブロックとその予測ブロックとの間の動きの量および／または方向を示すことができる、１または複数の動きベクトルによってシグナルすることができる。（例えば、Ｈ．２６４／ＡＶＣおよび／またはＨＥＶＣの場合のように）複数の参照ピクチャがサポートされると、ビデオブロックでは、その参照ピクチャインデックスが送られる。参照ピクチャインデックスを使用して、参照ピクチャストア１６４のどの参照ピクチャから時間予測信号が来ているかを識別することができる。
【００２１】
エンコーダのモード決定ブロック１８０は、例えば、空間および／または時間予測の後、予測モードを選択することができる。予測ブロックは、１１６において現在のビデオブロックから差し引かれる。予測残差は、１０４において変換され、および／または１０６において量子化される。量子化された残差係数は、１１０において逆量子化され、および／または１１２において逆変換されて、再構築された残差を形成することができ、それが戻って予測ブロック１２６に付加されて、再構築されたビデオブロックを形成することができる。
【００２２】
インループフィルタリング（例えば、デブロッキングフィルタ、サンプル適応オフセット、適応ループフィルタ、および／またはその他）を、再構築されたビデオブロックが参照ピクチャストア１６４に入れられる前に再構築されたビデオブロックに１６６において適用することができ、および／または今後のビデオブロックを符号化するために使用することができる。ビデオエンコーダ１００は、出力ビデオストリーム１２０を出力することができる。出力ビデオビットストリーム１２０を形成するために、符号化モード（例えば、インター予測モードまたはイントラ予測モード）、予測モード情報、動き情報、および／または量子化された残差係数をエントロピー符号化ユニット１０８に送って、ビットストリームを形成するように圧縮するおよび／またはパックすることができる。参照ピクチャストア１６４は、復号化ピクチャバッファ（ＤＰＢ）と呼ばれることもある。
【００２３】
図２は、ブロックベースのビデオデコーダの例を示すブロック図である。ビデオデコーダ２００は、ビデオビットストリーム２０２を受信することができる。ビデオビットストリーム２０２は、エントロピー復号化ユニット２０８においてアンパックされおよび／またはエントロピー復号化される。ビデオビットストリームを符号化するために使用される符号化モードおよび／または予測情報を空間予測ユニット２６０（例えば、イントラ符号化される場合）および／または時間予測ユニット２６２（例えば、インター符号化される場合）に送って、予測ブロックを形成することができる。インター符号化される場合、予測情報は、予測ブロックサイズ、１または複数の動きベクトル（例えば、動きの方向および量を示すことができる）、および／または１または複数の参照インデックス（例えば、予測信号を取得する参照ピクチャを示すことができる）を備える。動き補償予測は、時間予測ブロックを形成する時間予測ユニット２６２によって適用される。
【００２４】
残差変換係数を逆量子化ユニット２１０および逆変換ユニット２１２に送って、残差ブロックを再構築することができる。予測ブロックと残差ブロックは、２２６において合わせられる。再構築されたブロックは、参照ピクチャストア２６４に格納される前にインループフィルタリング２６６を通過する。参照ピクチャストア２６４内の再構築されたビデオは、表示デバイスを駆動するために使用するおよび／または今後のビデオブロックを予測するために使用することができる。ビデオデコーダ２００は、再構築されたビデオ信号２２０を出力する。参照ピクチャストア２６４はまた、復号化ピクチャバッファ（ＤＰＢ）と呼ばれることもある。
【００２５】
シングルレイヤのビデオエンコーダは、シングルビデオシーケンス入力を受け取って、シングルレイヤのデコーダに送信されるシングル圧縮ビットストリームを作成することができる。デジタルビデオサービス（例えば、限定されないが、ＴＶ信号を衛星、ケーブルおよび地上波の伝送チャネルを介して送るなど）に対するビデオコーデックを設計することができる。異種環境で展開されるビデオコーデックアプリケーションを用いて、マルチレイヤビデオ符号化技術をさまざまなアプリケーションを可能にするビデオ符号化規格の拡張として開発することができる。例えば、スケーラブルビデオ符号化および／またはマルチビュービデオ符号化などの、複数レイヤのビデオ符号化技術は、各レイヤが特定の空間解像度、時間解像度、フィデリティ、および／またはビューのビデオ信号を再構築するために復号化される２以上のビデオレイヤに対処するように設計することができる。図１および図２に関してシングルレイヤのエンコーダおよびデコーダが説明されているが、本明細書で説明される概念は、複数レイヤのエンコーダおよび／またはデコーダを例えば、マルチビューおよび／またはスケーラブルな符号化技術に利用することができる。
【００２６】
スケーラブルビデオ符号化は、異種ネットワークを介して異なる能力を有するデバイス上で実行するビデオアプリケーションの経験品質を改善することができる。スケーラブルビデオ符号化は、信号を最高の表現（例えば、時間解像度、空間解像度、品質など）で一度に符号化することができるが、可能であるビデオストリームのサブセットからの復号化は、クライアントデバイス上で実行するあるアプリケーションによって要求される固有のレートおよび表現に応じて異なる。スケーラブルビデオ符号化は、スケーラブルでない解決策に比べて帯域幅および／または記憶領域を節約することができる。例えば、ＭＰＥＧ−２ Ｖｉｄｅｏ、Ｈ．２６３、ＭＰＥＧ−４ Ｖｉｓｕａｌ、Ｈ．２６４などの、国際ビデオ規格は、スケーラビリティのモードをサポートするツールおよび／またはプロファイルを有することができる。
【００２７】
表示１は、異なるタイプのスケーラビリティとそれらをサポートすることができる対応する規格を並べた例を提供している。ビット深度スケーラビリティおよび／またはクロマフォーマットスケーラビリティは、例えば、主に専門的なビデオアプリケーションによって使用されるビデオフォーマット（例えば、８ビットよりも高位のビデオ、およびＹＵＶ４：２：０よりも高位のクロマサンプリングフォーマット）と結び付いている。アスペクト比スケーラビリティを提供することができる。
【００２８】
【表１】
2017510117.tif 000003
【００２９】
スケーラブルビデオ符号化は、ベースレイヤのビットストリームを使用して、ビデオパラメータの第１のセットと関連付けられたビデオ品質の第１のレベルを提供することができる。スケーラブルビデオ符号化は、１または複数のエンハンスメントレイヤのビットストリームを使用して、強化パラメータのうちの１または複数のセットと関連付けられたより高い品質の１または複数のレベルを提供することができる。ビデオパラメータのセットは、空間解像度、フレームレート、（例えば、ＳＮＲ、ＰＳＮＲ、ＶＱＭ、視覚的品質などの形式において）再構築されたビデオ品質、（例えば、２以上のビューを有する）３Ｄ能力、ルマおよびクロマビット深度、クロマフォーマット、および基本的なシングルレイヤ符号化規格のうちの１または複数を含むことができる。異なる使用事例は、例えば、表１に示すような、異なるタイプのスケーラビリティを使用することができる。スケーラブル符号化のアーキテクチャは、１または複数のスケーラビリティ（例えば、表１に記載されたスケーラビリティ）をサポートするように構成することができる一般的構造を提示することができる。スケーラブル符号化のアーキテクチャは、最小限の構成努力で異なるスケーラビリティをサポートするようにフレキシブルにすることができる。スケーラブル符号化のアーキテクチャは、符号化ロジック（例えば、符号化および／または復号化ロジック）がスケーラブル符号化システム内で最大限に再使用されるような、ブロックレベルのオペレーションの変更を要求しなくてもよい少なくとも１つの好適なオペレーティングモードを含むことができる。例えば、ピクチャレベルのレイヤ間処理および管理ユニットに基づいてスケーラブル符号化のアーキテクチャを提供することができ、そこにおいてレイヤ間予測をピクチャレベルで遂行することができる。
【００３０】
図３は、２レイヤのスケーラブルビデオエンコーダの例示的なアーキテクチャの図である。ビデオエンコーダ３００は、ビデオ（例えば、エンハンスメントレイヤビデオ入力）を受信することができる。エンハンスメントレイヤのビデオは、より低いレベルのビデオ入力（例えば、ベースレイヤビデオ入力）を生成するダウンサンプラ３０２を使用してダウンサンプリングされ得る。エンハンスメントレイヤビデオ入力とベースレイヤビデオ入力は、ダウンサンプリングプロセスを経て互いに対応することができ、そして空間スケーラビリティを実現することができる。ベースレイヤエンコーダ３０４（例えば、この例ではＨＥＶＣエンコーダ）は、ベースレイヤビデオ入力をブロックごとに符号化して、ベースレイヤのビットストリームを作成することができる。図１は、図３のベースレイヤエンコーダとして使用することができる例示的なブロックベースのシングルレイヤのビデオエンコーダの図である。
【００３１】
エンハンスメントレイヤにおいて、エンハンスメントレイヤ（ＥＬ）エンコーダ３０６は、ベースレイヤのビデオ入力よりも高い空間解像度（例えば、および／または他のビデオパラメータのより高い値）にすることができる、ＥＬ入力ビデオ入力を受信することができる。ＥＬエンコーダ３０６は、ベースレイヤビデオエンコーダ３０４とかなり似た方法で、例えば、圧縮を実現するための空間および／または時間予測を使用して、ＥＬビットストリームを作り出すことができる。レイヤ間予測（ＩＬＰ）をＥＬエンコーダ３０６において利用可能にしてその符号化性能を改善することができる。現在のエンハンスメントレイヤの符号化されたビデオ信号に基づいて予測信号を導出することができる空間および時間予測とは異なり、レイヤ間予測は、ベースレイヤ（例えば、および／またはスケーラブルなシステムにおいて３以上のレイヤがある場合の他の低位レイヤ）からの符号化されたビデオ信号に基づいて予測信号を導出することができる。レイヤ間予測、ピクチャレベルのＩＬＰおよびブロックレベルのＩＬＰのうちの少なくとも２つの形式をスケーラブルなシステムで使用することができる。本明細書ではピクチャレベルのＩＬＰおよびブロックレベルのＩＬＰを論じる。ビットストリームマルチプレクサ３０８は、ベースレイヤのビットストリームとエンハンスメントレイヤのビットストリームを組み合わせてスケーラブルビットストリームを作り出すことができる。
【００３２】
図４は、２レイヤのスケーラブルビデオデコーダの例示的なアーキテクチャの図である。図４の２レイヤのスケーラブルビデオデコーダのアーキテクチャは、図３のスケーラブルエンコーダに対応することができる。ビデオデコーダ４００は、例えば、スケーラブルエンコーダ（例えば、スケーラブルエンコーダ３００）からスケーラブルビットストリームを受信することができる。デマルチプレクサ４０２は、スケーラブルビットストリームをベースレイヤのビットストリームとエンハンスメントレイヤのビットストリームに分離することができる。ベースレイヤデコーダ４０４は、ベースレイヤのビットストリームを復号化することができ、そしてベースレイヤのビデオを再構築することができる。図２は、図４のベースレイヤデコーダとして使用することができる例示的なブロックベースのシングルレイヤのビデオデコーダの図である。
【００３３】
エンハンスメントレイヤデコーダ４０６は、エンハンスメントレイヤのビットストリームを復号化することができる。ＥＬデコーダ４０６は、ベースレイヤビデオデコーダ４０４とかなり似た方法でＥＬビットストリームを復号化することができる。エンハンスメントレイヤデコーダは、その復号化を現在のレイヤからの情報および／または１または複数の独立レイヤ（例えば、ベースレイヤ）からの情報を使用して行うことができる。例えば、そのような１または複数の独立レイヤからの情報は、ピクチャレベルのＩＬＰおよび／またはブロックレベルのＩＬＰが使用される時に完了することができる、レイヤ間処理を通過することができる。図示されていないが、ＭＵＸ９０８において、ベースレイヤのビットストリームとエンハンスメントレイヤのビットストリームの付加的なＩＬＰ情報を一緒に多重化することができる。そのＩＬＰ情報をＤＥＭＵＸ１００２によって逆多重化することができる。
【００３４】
図５は、２つのビューのビデオ符号化構造の例を示す図である。５００において大まかに示すように、図５は、２つのビューのビデオ符号化に対する時間および次元間／レイヤ予測の例を示している。一般的な時間予測に加え、（例えば、破線で例示された）レイヤ間予測は、複数のビデオレイヤの間で相関を探索することによって圧縮効率を改善するために使用され得る。この例において、レイヤ間予測を２つのビュー間で遂行することができる。
【００３５】
レイヤ間予測をＨＥＶＣスケーラブル符号化拡張に用いて、例えば、複数レイヤの間で強い相関を探索するおよび／またはスケーラブルな符号化効率を改善することができる。
【００３６】
図６は、例えば、ＨＥＶＣスケーラブル符号化システムを考慮に入れることができる、例示的なレイヤ間予測構造を示す図である。６００において大まかに示すように、エンハンスメントレイヤの予測は、（例えば、２つのレイヤ間の空間解像度が異なっていれば、アップサンプリングの後に）再構築されたベースレイヤの信号からの動き補償予測によって、現在のエンハンスメントレイヤ内の時間予測によって、および／またはベースレイヤの再構築信号と時間予測信号を平均化することによって形成することができる。低位レイヤピクチャの完全な再構築を遂行することができる。同様の概念を３以上のレイヤを有するＨＥＶＣスケーラブル符号化に利用することができる。
【００３７】
図７は、符号化されたビットストリーム構造の例を示す図である。符号化されたビットストリーム７００は、多数のＮＡＬ（ネットワーク抽象化レイヤ）ユニット７０１で構成されている。ＮＡＬユニットは、符号化スライス７０６などの、符号化されたサンプルデータか、またはパラメータセットデータ、スライスヘッダデータ７０５または補助的エンハンスメント情報データ７０７（ＳＥＩメッセージと呼ばれることもある）などの、ハイレベルシンタックスのメタデータを包含することができる。パラメータセットは、複数のビットストリームレイヤに適用することができる（例えば、ビデオパラメータセット７０２（ＶＰＳ））か、または１つのレイヤ内の符号化されたビデオシーケンスに適用することができる（例えば、シーケンスパラメータセット７０３（ＳＰＳ））か、または１つの符号化されたビデオシーケンス内の多数の符号化ピクチャに適用することができる（例えば、ピクチャパラメータセット７０４（ＰＰＳ））不可欠なシンタックス要素を包含するハイレベルシンタックス構造である。パラメータセットは、ビデオビットストリームの符号化ピクチャと一緒に送られるか、または他の手段（信頼性のあるチャネル、ハードコーディングなどを使用する帯域外伝送を含む）を通じて送られるいずれかになる。スライスヘッダ７０５はまた、比較的少ないまたはあるスライスまたはピクチャタイプのみに関連したいくつかのピクチャ関連情報を包含することができるハイレベルシンタックス構造でもある。ＳＥＩメッセージ７０７は、復号化プロセスで必要ないかもしれないが、ピクチャの出力タイミングまたは表示ならびに損失検出および隠蔽などの、さまざまな他の目的に使用することができる情報を搬送する。
【００３８】
これより、特にビデオ符号化信号処理およびプロトコルシグナリングのシステムの態様および方法を説明する。
【００３９】
シングルレイヤのビデオビットストリーム内の時間スケーラビリティを容易にするサブビットストリーム抽出プロセスは、ＨＥＶＣ規格で指定された。その規格は、ターゲット最高ＴｅｍｐｏｒａｌＩｄ値を有する入力ＨＥＶＣ準拠のビットストリーム、およびターゲットレイヤ識別子リストからサブビットストリームを抽出するプロセスを指定する。抽出プロセス中、ターゲット最高時間ｉｄよりも大きい時間ｉｄまたはターゲット識別子リストに含まれていないレイヤ識別子を有するすべてのＮＡＬは、除去されて、いくつかのＳＥＩ ＮＡＬユニットも規格で指定されたある条件に従って除去される。出力が抽出されたビットストリームは、ｎｕｈ＿ｌａｙｅｒ＿ｉｄが０に等しいおよびＴｅｍｐｏｒａｌＩｄが０に等しいと符号化されたスライスセグメントＮＡＬユニットを包含する。
【００４０】
同じサブビットストリーム抽出プロセスは、マルチビュー拡張（ＭＶ−ＨＥＶＣ）およびスケーラビリティ拡張（ＳＨＶＣ）などの、ＨＥＶＣの拡張に適用される。図８は、シングルレイヤのサブビットストリーム抽出の例を示している。入力シングルレイヤは、４つの時間サブレイヤ、ｔＩｄ０（２１２）、ｔＩｄ１（２０８）、ｔＩｄ２（２０４）およびｔＩｄ３（２０２）を有する。ターゲット最高時間ｉｄは１であり、出力サブビットストリームは、抽出プロセスの後、時間サブレイヤｔＩｄ０（２１０）とｔＩｄ１（２０６）のみを包含する。
【００４１】
図９は、複数レイヤのサブビットストリーム抽出の例を示している。入力ビットストリームは、３つのレイヤ（３０２、３０６、３１０）を有し、そして各レイヤは、異なる数の時間サブレイヤを包含する。ターゲットレイヤ識別子リストは、レイヤ０とレイヤ１を含み、そして最高ｔｅｍｐｏｒａｌＩｄ値は１である。結果として、抽出後の出力サブビットストリームは、２つのレイヤ：レイヤ０（３０８）とレイヤ１（３０４）の２つのみの時間サブレイヤ（ｔＩｄ０およびｔＩｄ１）を包含する。
【００４２】
サブビットストリーム抽出プロセスの１つの特別な例は、複数レイヤのビットストリームから独立したシングルレイヤを抽出することである。このようなプロセスは、書き換えプロセスと呼ばれる。このような書き換えプロセスの目的は、パラメータセットのシンタックスを変更することによってＨＥＶＣ ｖ１準拠のビットストリームの形で独立した非ベースレイヤを抽出することである。
【００４３】
図１０は、書き換えプロセスの例であり、２つの独立レイヤ、レイヤ−０（４０８）とレイヤ−１（４０６）がある。対照的に、レイヤ−２（４０２）は、レイヤ−０とレイヤ−１の両方に依存する。非ベースの独立レイヤである、レイヤ−１は、レイヤｉｄが０に等しい、シングルレイヤビットストリームを形成するビットストリームから抽出される。出力が抽出されたビットストリームは、そのパラメータセットのシンタックス要素が変更されるまたは再形成されることもあり、ＨＥＶＣ ｖ１（シングルレイヤ）デコーダによって復号可能であるものとする。
【００４４】
複数レイヤのサブビットストリーム抽出プロセスは、ビデオパラメータセット（ＶＰＳ）、シーケンスパラメータセット（ＳＰＳ）、およびピクチャパラメータセット（ＰＰＳ）などのパラメータセットに設計されたシングルレイヤの所与のレイヤ依存シグナリングよりも複雑である。例えば、シンタックス要素の大半は、ＶＰＳの連続レイヤ構造に基づいて構成される。抽出プロセスは、ＶＰＳ、ＳＰＳおよび／またはＰＰＳの関連するパラメータセットのシンタックスのプレゼンスに影響を与えるであろう、レイヤ構造を変更することができる。一部のシンタックス要素もパラメータセットのレイヤｉｄによって条件付けられる。従って、抽出プロセスは、このようなシンタックス要素のプレゼンスにも影響を与えるであろう。
【００４５】
１つの解決策は、ビットストリーム抽出器、例えば、（以下に説明される）ネットワーク要素１４９０などのミドルボックスに、パラメータセットのすべてのレイヤ依存シンタックスを解析し、そして抽出した特定のビットストリームに基づいて新しいパラメータセットを作成するように要求することである。これは、抽出器の作業負荷を増やすだけでなく、抽出器にすべてのパラメータセットのシンタックスをパースしてそのパラメータセットを再生する能力および知識を有することを強制するであろう。さらに、ｎｕｈ＿ｌａｙｅｒ＿ｉｄが０に等しい書き換えプロセスは、未使用のＳＰＳおよびＰＰＳを除去し、そして抽出されたレイヤが参照するＳＰＳ／ＰＰＳを再フォーマットしなければならないであろう。しかしながら、これらのすべての問題は、ＳＨＶＣ作業ドラフトｖ４において対象になっていないし、十分に取り上げられてもいない。
【００４６】
本明細書では、サブビットストリーム抽出および書き換えプロセスの改善を説明する。抽出および書き換えプロセスを簡素化するためにいくつかの制約および余剰ハイレベルシンタックス要素が提供されている。
【００４７】
一実施形態において、方法は、サブビットストリーム抽出プロセスにレイヤセットの制約を利用する。レイヤセットは、別のビットストリームに対するサブビットストリーム抽出プロセスのオペレーションによってまた別のビットストリームから生成されたビットストリーム内で表されるレイヤのセットである。ＨＥＶＣは、ＶＰＳのレイヤセットの数を指定して、各レイヤセットは、１または複数のレイヤを包含することができる。レイヤセットは、すべて動作ポイントで構成される。動作ポイントは、「別のビットストリームに対するサブビットストリーム抽出プロセスのオペレーションによってその別のビットストリームから生成されたビットストリーム、ターゲット最高ＴｅｍｐｏｒａｌＩｄ、および入力時のターゲットレイヤ識別子リスト」として定義される。
【００４８】
レイヤセットは、実際のスケーラビリティレイヤのセットであり、レイヤセットは、抽出されるビットストリームがスケーラブルビデオデコーダによって独立して復号化されるように、現在のビットストリームからどのレイヤを抽出することができるかを示す。レイヤセットのＴｅｍｐｏｒａｌＩｄ値は、個々のレイヤのすべての時間サブレイヤを含む、６に等しい。シングルレイヤセットにおいて、複数の動作ポイントがあり得る。
【００４９】
シングルレイヤセットにおいて、動作ポイントはさらに、時間スケーラビリティのサブセットならびにサブレイヤの組み合わせを識別することができる。動作ポイントのターゲット最高ＴｅｍｐｏｒａｌＩｄがレイヤセットの最大ＴｅｍｐｏｒａｌＩｄに等しい場合、動作ポイントは、そのレイヤセットと同一である。従って、動作ポイントは、レイヤセットまたはレイヤセットの１つの特定のサブセットになり得る。
【００５０】
レイヤセットは、既存のすべてのレイヤ、または多数の依存レイヤ、または独立レイヤと依存レイヤとの混合を含み得る。独立レイヤは、直接参照レイヤを持たないレイヤである。依存レイヤは、少なくとも１つの直接参照レイヤを有するレイヤである。レイヤセットの数は、抽出されることが可能なサブビットストリームの数を指定する。抽出されたサブビットストリームは、別のビットストリームがレイヤセットによって指定される限り、その別のビットストリームの形でさらに抽出され得る。
【００５１】
図１１は、複数のホップのサブビットストリーム抽出のためのビットストリーム（ビットストリームＡ）のレイヤセットの例である。５つのレイヤが存在し、レイヤ−０とレイヤ−２は、独立レイヤである。３つのレイヤセットにレイヤ−４、レイヤ−３またはレイヤ−１を出力するようにシグナルすることができる。レイヤセット１は、さらに抽出されてレイヤ−２を出力し、そしてレイヤセット２もさらに抽出されてレイヤ−０を出力する。
【００５２】
サブビットストリーム抽出プロセスの１つの固有の事例は、ビットストリームから独立した非ベースレイヤを抽出する、書き換えプロセスである。独立した非ベースレイヤは、レイヤセットにシグナルされていなければ、パラメータセットのシンタックスから導出される。ミドルボックスの導出プロセスを簡素化するために、一実施形態において、エンコーダは、すべての独立した非ベースレイヤに関するＳＥＩまたはＶＰＳ ＶＵＩセクションの信号を作成する。
【００５３】
図１２は、独立した非ベースレイヤにシグナルするレイヤセットの制約の例である。この実施形態において、ネットワーク要素１４９０などのミドルボックスは、パラメータを再生する必要があるというよりはむしろ、エンコーダによって提供されるＶＵＩまたはＳＥＩから抽出する。さらなる代替的実施形態において、エンコーダは、そのＶＵＩまたはＳＥＩをＶＰＳレイヤセットにシグナルする。ミドルボックス１４９０はまた、レイヤの依存性を判定するためにさらなる解析を行う必要も免れる。
【００５４】
表示２は、独立した非ベースレイヤのＳＥＩメッセージの実施形態のシンタックステーブルである。
【００５５】
【表２】
2017510117.tif 000004
【００５６】
表１において、ｓｅｉ＿ｎｕｍ＿ｉｎｄｅｐｅｎｄｅｎｔ＿ｎｏｎｂａｓｅ＿ｌａｙｅｒ＿ｍｉｎｕｓ１に１をプラスして、独立した非ベースレイヤの数を指定し、ｓｅｉ＿ｉｎｄｅｐｅｎｄｅｎｔ＿ｌａｙｅｒ＿ｉｄ［１］は、独立した非ベースレイヤのｎｕｈ＿ｌａｙｅｒ＿ｉｄ値を指定する。適合ビットストリームになるために、提案されたＨＥＶＣドラフトでは、サブビットストリーム抽出の出力ビットストリームが、ｎｕｈ＿ｌａｙｅｒ＿ｉｄが０に等しいおよびＴｅｍｐｏｒａｌＩｄが０に等しいと符号化されたスライスセグメントＮＡＬユニットを包含しなければならないことを要求している。しかしながら、これは、レイヤセットが（ｎｕｈ＿ｌａｙｅｒ＿ｉｄが０に等しい）ベースレイヤを含まないことを定義することができるため、問題となる。
【００５７】
従って、いくつかの実施形態において、この問題は、書き換えプロセスに対する以下の制約を使用することによって緩和される。サブビットストリーム抽出プロセスの後の出力サブビットストリームにおいて、特定の出力レイヤセット、ｌａｙｅｒＳｅｔＩｄｘの１つの独立レイヤの符号化されたスライスセグメントＮＡＬユニットのｎｕｈ＿ｌａｙｅｒ＿ｉｄ値が０に等しいと設定しなければならない。
【００５８】
さらに実施形態は、サブビットストリーム抽出プロセスのＶＰＳ作成に向けられる。ＶＰＳおよびその拡張は、主にセッションネゴシエーションとビデオ会議およびストリーミングアプリケーション用に設計されている。最も多いレイヤ関連のシンタクス要素は、最大数のレイヤ（ｖｐｓ＿ｍａｘ＿ｌａｙｅｒｓ＿ｍｉｎｕｓ１）が与えられた連続レイヤインデックスに基づいて構成される。例えば、直接依存フラグｄｉｒｅｃｔ＿ｄｅｐｅｎｄｅｎｃｙ＿ｆｌａｇ［ｉ］［ｊ］は、ｉ番目のレイヤとｊ番目のレイヤとの間の依存性を示し、ここにｊはｉよりも小さい。サブビットストリーム抽出プロセスの後、いくつかのレイヤが除去されて、元の連続レイヤ構造が壊れるであろう。ｄｉｒｅｃｔ＿ｄｅｐｅｎｄｅｎｃｙ＿ｆｌａｇ［ｉ］［ｊ］などの、元のレイヤ構造と結び付いたシンタックス要素は、新しいサブビットストリームにもはや適用可能ではないであろう。
【００５９】
このような問題を解決する１つの方法は、完全に新しいＶＰＳを作成し、サブビットストリーム抽出プロセスの一部として既存のＶＰＳと置き換えることである。ビットストリーム抽出器（例えば、ミドルボックス）は、パラメータセットのシンタックス構造をパースし、抽出されるレイヤのパラメータセットのシンタックスを抽出するまたは導出して除去されるレイヤのシンタックスを除去し、抽出されるレイヤ構造に基づいて残りのパラメータセットのシンタックスを再構成し、そしてＶＰＳおよびその拡張を再フォーマットする必要がある。このようなアプローチは、現在の仕様と合致しているが、ミドルボックスにますます作業負荷を加え、望ましくない。
【００６０】
いくつかの実施形態において、サブビットストリーム抽出プロセス中のＶＰＳシグナリングが簡素化される。特に、一実施形態において、サブビットストリーム抽出プロセス用のＶＰＳシンタックス設計を改善することができる。
【００６１】
一実施形態において、ミドルボックスは、パラメータセットのシンタックスの知識を用いずにサブビットストリーム抽出プロセスを行う。実施形態において、ビットストリームは、各レイヤセットがビットストリームに存在する対応するＶＰＳを有するように形式化される。ＶＰＳ識別子（ｖｐｓ＿ｖｉｄｅｏ＿ｐａｒａｍｅｔｅｒ＿ｓｅｔ＿ｉｄ）がレイヤセットのインデックスに等しいようにデフォルトで設定されるように強制されるか、またはＶＰＳが参照しているレイヤセットを識別するレイヤセットのインデックスがＶＰＳにシグナルされる。しかしながら、現在のＶＰＳ ｉｄ信号長は、４ビットである一方、ｖｐｓ＿ｎｕｍ＿ｌａｙｅｒ＿ｓｅｔｓ＿ｍｉｎｕｓ１の最大値は、１０２４レイヤセットまで可能である、１０２３である。最大数のレイヤセットを収容するために、ＶＰＳ ｉｄと対応するＳＰＳの参照シグナリングの拡大を実装することができる。
【００６２】
ＶＰＳ識別子拡張シグナリング、例えば、ｖｐｓ＿ｖｉｄｅｏ＿ｐａｒａｍｅｔｅｒ＿ｓｅｔ＿ｉｄ＿ｅｘｔｅｎｓｉｏｎをＶＰＳ構造に付加して、ｖｐｓ＿ｖｉｄｅｏ＿ｐａｒａｍｅｔｅｒ＿ｓｅｔ＿ｉｄが特定の値、例えば、１５に等しい場合、有効にすることができる。ＶＰＳを参照するために使用されるｓｐｓ＿ｖｉｄｅｏ＿ｐａｒａｍｅｔｅｒ＿ｓｅｔ＿ｉｄの拡張もまた、ＳＰＳのｎｕｈ＿ｌａｙｅｒ＿ｉｄが０よりも大きいおよびｓｐｓ＿ｖｉｄｅｏ＿ｐａｒａｍｅｔｅｒ＿ｓｅｔ＿ｉｄが特定の値、例えば、１５に等しい場合に、新しい要素シンタックス、例えば、ｓｐｓ＿ｖｉｄｅｏ＿ｐａｒａｍｅｔｅｒ＿ｓｅｔ＿ｉｄ＿ｅｘｔｅｎｓｉｏｎによってＳＰＳに拡大される。提案されたシンタックス要素のセマンティックは、以下の通りである。
【００６３】
ｖｐｓ＿ｖｉｄｅｏ＿ｐａｒａｍｅｔｅｒ＿ｓｅｔ＿ｉｄ＿ｅｘｔｅｎｓｉｏｎは、ｖｐｓ＿ｖｉｄｅｏ＿ｐａｒａｍｅｔｅｒ＿ｓｅｔ＿ｉｄが１５に等しい場合、他のシンタックス要素によって参照されるＶＰＳを識別する。ｖｐｓ＿ｖｉｄｅｏ＿ｐａｒａｍｅｔｅｒ＿ｓｅｔ＿ｉｄ＿ｅｘｔｅｎｓｉｏｎの値は、０から１０２４までの範囲になる。
【００６４】
ｓｐｓ＿ｖｉｄｅｏ＿ｐａｒａｍｅｔｅｒ＿ｓｅｔ＿ｉｄ＿ｅｘｔｅｎｓｉｏｎは、アクティブＶＰＳのｖｐｓ＿ｖｉｄｅｏ＿ｐａｒａｍｅｔｅｒ＿ｓｅｔ＿ｉｄ＿ｅｘｔｅｎｓｉｏｎの値を指定する。ｓｐｓ＿ｖｐｓ＿ｖｉｄｅｏ＿ｐａｒａｍｅｔｅｒ＿ｓｅｔ＿ｉｄ＿ｅｘｔｅｎｓｉｏｎの値は、０から１０２４までの範囲になる。
【００６５】
ＶＰＳ ｉｄを拡大せずにＶＰＳを各レイヤセットにマッチさせる代替的方法は、ＳＨＶＣメインプロファイルで許可されたレイヤセットの数を制限することである。
【００６６】
別の方法は、パラメータセットのシンタックスをさまざまな動作ポイントに関連付けるまたは固有のレイヤセットを用いることである。レイヤセットに関連付けられたＶＰＳシンタックス要素は、プリフィックス“ｉｓ”を用いて表３に示している。
【００６７】
各シンタックス要素は、同じセマンティックをそれに対応するＶＰＳのシンタックス要素と共有するが、各シンタックス要素の値は、特定のレイヤ構造を有する個々のレイヤセットに基づいて指定される。
【００６８】
表３に示したレイヤセット情報は、ミドルボックスが、特定のレイヤセットパラメータの値を対応するＶＰＳパラメータにコピーするか、またはサブビットストリーム抽出がレイヤセットのインデックスによって行われる特定のレイヤセットの対応するｌａｙｅｒ＿ｓｅｔ＿ｉｎｆｏ（）を直接参照するいずれかによって、各レイヤセットの特定の値を認識して、ＶＰＳを再形成することができるように、ＶＰＳ、ＶＰＳ拡張、ＶＰＳ ＶＵＩまたはＳＥＩメッセージにシグナルされる。
【００６９】
【表３】
2017510117.tif 000005
【００７０】
さらなる実施形態において、ＡＶＣ表示レイヤを使用することができる。ベースレイヤが（“１”）Ｈ．２６４または（“０”）ＨＥＶＣに適合するかどうかを指定するシンタックス要素ａｖｃ＿ｂａｓｅ＿ｌａｙｅｒ＿ｆｌａｇがＶＰＳにシグナルされる。しかしながら、現在の仕様が複数の独立した非ベースレイヤをビットストリームで利用可能にさせるので、Ｈ．２６４に適合する独立した非ベースレイヤは、ビットストリームで利用可能になり得る。従って、ａｖｃ＿ｂａｓｅ＿ｌａｙｅｒ＿ｆｌａｇは、シナリオを示すのに十分ではない。ここで、表４に示すように、ＡＶＣレイヤインジケータフラグが各独立レイヤにシグナルされることが提案される。
【００７１】
【表４】
2017510117.tif 000006
【００７２】
ａｖｃ＿ｌａｙｅｒ＿ｆｌａｇが１に等しいことは、ｎｕｈ＿ｌａｙｅｒ＿ｉｄがｌａｙｅｒ＿ｉｄ＿ｉｎ＿ｎｕｈ［ｉ］に等しいレイヤがＲｅｃ．ＩＴＵ−Ｔ  Ｈ．２６５｜ＩＳＯ／ＩＥＣ  １４４９６−１０に適合することを指定する。ａｖｃ＿ｌａｙｅｒ＿ｆｌａｇが０に等しいことは、ベースレイヤがＨＥＶＣ仕様に適合することを指定する。ａｖｃ＿ｌａｙｅｒ＿ｆｌａｇが無ければ、０であると推測される。
【００７３】
ａｖｃ＿ｌａｙｅｒ＿ｆｌａｇ［ｉ］が１に等しい場合、Ｒｅｃ．ＩＴＵ−Ｔ  Ｈ．２６４｜ＩＳＯ／ＩＥＣ  １４４９６−１０が適合するレイヤにおいて、参照ピクチャリストを構築するためにＲｅｃ．ＩＴＵ−Ｔ  Ｈ．２６４｜ＩＳＯ／ＩＥＣ  １４４９６−１０符号化プロセスを適用した後、出力参照ピクチャリストｒｅｆＰｉｃＬｉｓｔ０とｒｅｆＰｉｃＬｉｓｔ１（適用可能な場合）は、ＴｅｍｐｏｒａｌＩｄが符号化ピクチャのＴｅｍｐｏｒａｌＩｄよりも大きいピクチャを全く包含しない。入力としてのｔｅｍｐｏｒａｌ＿ｉｄの任意の値にＲｅｃ．ＩＴＵ−Ｔ  Ｈ．２６４｜ＩＳＯ／ＩＥＣ  １４４９６−１０細分箇所Ｇ．特別な例．１で指定されたサブビットストリーム抽出プロセスを使用して導出される、Ｒｅｃ．ＩＴＵ−Ｔ  Ｈ．２６４｜ＩＳＯ／ＩＥＣ  １４４９６−１０が適合するレイヤのすべてのサブビットストリームは、結果として各ＣＶＳがＲｅｃ．ＩＴＵ−Ｔ  Ｈ．２６４｜ＩＳＯ／ＩＥＣ  １４４９６−１０付属書 Ａ．ＧおよびＨで指定されたプロファイルのうちの１または複数に適合する、ＣＶＳのセットになる。
【００７４】
ａｖｃ＿ｌａｙｅｒ＿ｆｌａｇ［ｉ］が１に等しい場合、ｓｐｓ＿ｓｃａｌｉｎｇ＿ｌｉｓｔ＿ｒｅｆ＿ｌａｙｅｒ＿ｉｄの値がｌａｙｅｒ＿ｉｄ＿ｉｎ＿ｎｕｈ［ｉ］に等しくないということがビットストリーム適合の要件である。
【００７５】
ａｖｃ＿ｌａｙｅｒ＿ｆｌａｇ［ｉ］が１に等しい場合、ｐｐｓ＿ｓｃａｌｉｎｇ＿ｌｉｓｔ＿ｒｅｆ＿ｌａｙｅｒ＿ｉｄがｌａｙｅｒ＿ｉｄ＿ｉｎ＿ｎｕｈ［ｉ］に等しくないということがビットストリーム適合の要件である。
【００７６】
別の実施形態において、以下の方法が使用される：ＨＥＶＣのスケーラブル拡張に対してベースレイヤのみがＡＶＣ／Ｈ．２６４フォーマットで符号化され、どのエンハンスメントもＡＶＣ／Ｈ．２６４フォーマットで符号化されない。これらの実施形態において、ＡＶＣレイヤ表示シグナリングは必要とされない。
【００７７】
ＳＰＳおよびＰＰＳ作成を書き換えプロセスに使用することができる。シーケンスパラメータセットは、特定のレイヤに対してアクティブになるように指定され、そしてＰＰＳは、多数のピクチャに対してアクティブになるように指定される。同じＳＰＳを複数のレイヤで共有することができ、そして同じＰＰＳを複数のレイヤを通じて多数のピクチャで共有することができる。ＳＰＳおよびＰＰＳで指定された大部分のシンタックス要素の値は、サブビットストリーム抽出プロセスの後に継承される。
【００７８】
サブビットストリーム抽出プロセスの特別な例は、独立した非ベースレイヤに適用される０よりも大きいｎｕｈ＿ｌａｙｅｒ＿ｉｄを有する書き換えプロセスである。書き換えプロセスは、必要に応じてハイレベルシンタックスを書き換えることによって、例えば、ｎｕｈ＿ｌａｙｅｒ＿ｉｄを０に設定することによって複数レイヤのビットストリームからの独立レイヤをＨＥＶＣ ｖ１に適合するビットストリームの形で抽出することである。
【００７９】
ｓｐｓ＿ｍａｘ＿ｓｕｂ＿ｌａｙｅｒｓ＿ｍｉｎｕｓ１、ｓｐｓ＿ｔｅｍｐｏｒａｌ＿ｉｄ＿ｎｅｓｔｉｎｇ＿ｆｌａｇ、ｐｒｏｆｉｌｅ＿ｔｉｅｒ＿ｌｅｖｅｌ（）、およびｒｅｐ＿ｆｏｒｍａｔ（）などの多数のシンタックス要素は、ｎｕｈ＿ｌａｙｅｒ＿ｉｄの値に依存するＳＰＳ／ＰＰＳに対して別々にシグナルされる。書き換えプロセスの後、抽出されたレイヤのアクティブＳＰＳおよびＰＰＳのレイヤｉｄは、規格で指定されたＳＰＳおよびＰＰＳの制約のために０に変更される。その場合、ミドルボックスは、ＳＰＳまたはＰＰＳを再形成して独立した非ベースレイヤに対してアクティブにする必要があり得る。
【００８０】
いくつかの実施形態において、ＳＰＳおよびＰＰＳシグナリングに対して制約が課せられる。書き換えプロセスを容易にする１つの方法は、ｓｐｓ＿ｍａｘ＿ｓｕｂ＿ｌａｙｅｒｓ＿ｍｉｎｕｓ１およびｓｐｓ＿ｔｅｍｐｏｒａｌ＿ｉｄ＿ｎｅｓｔｉｎｇ＿ｆｌａｇおよびｐｒｏｆｉｌｅ＿ｔｉｅｒ＿ｌｅｖｅｌ（）のようなシンタックス要素が書き換えプロセスの後で現状を維持するように、独立レイヤにｎｕｈ＿ｌａｙｅｒ＿ｉｄが０に等しいＳＰＳおよびＰＰＳを参照するように強制することである。
【００８１】
さらに、さらなる実施形態において
ｃｈｒｏｍａ＿ｆｏｒｍａｔ＿ｖｐｓ＿ｉｄｃ
ｓｅｐａｒａｔｅ＿ｃｏｌｏｕｒ＿ｐｌａｎｅ＿ｖｐｓ＿ｆｌａｇ
ｐｉｃ＿ｗｉｄｔｈ＿ｖｐｓ＿ｉｎ＿ｌｕｍａ＿ｓａｍｐｌｅｓ
ｐｉｃ＿ｈｅｉｇｈｔ＿ｖｐｓ＿ｉｎ＿ｌｕｍａ＿ｓａｍｐｌｅｓ
ｂｉｔ＿ｄｅｐｔｈ＿ｖｐｓ＿ｌｕｍａ＿ｍｉｎｕｓ８、および
ｂｉｔ＿ｄｅｐｔｈ＿ｖｐｓ＿ｃｈｒｏｍａ＿ｍｉｎｕｓ８
の値は、独立した非ベースレイヤのアクティブＶＰＳの対応するｒｅｐ＿ｆｏｒｍａｔ（）シンタックス構造にシグナルされ、そして独立した非ベースレイヤによって参照されるｎｕｈ＿ｌａｙｅｒ＿ｉｄが０に等しいアクティブＳＰＳにシグナルされる
ｃｈｒｏｍａ＿ｆｏｒｍａｔ＿ｖｐｓ＿ｉｄｃ
ｓｅｐａｒａｔｅ＿ｃｏｌｏｕｒ＿ｐｌａｎｅ＿ｖｐｓ＿ｆｌａｇ
ｐｉｃ＿ｗｉｄｔｈ＿ｖｐｓ＿ｉｎ＿ｌｕｍａ＿ｓａｍｐｌｅｓ
ｐｉｃ＿ｈｅｉｇｈｔ＿ｖｐｓ＿ｉｎ＿ｌｕｍａ＿ｓａｍｐｌｅｓ
ｂｉｔ＿ｄｅｐｔｈ＿ｖｐｓ＿ｌｕｍａ＿ｍｉｎｕｓ８、および
ｂｉｔ＿ｄｅｐｔｈ＿ｖｐｓ＿ｃｈｒｏｍａ＿ｍｉｎｕｓ８
に等しい。
【００８２】
書き換えプロセスの後、同じＳＰＳおよびＰＰＳは、ベースレイヤによって直接参照される。
【００８３】
書き換えプロセスのためにＳＰＳを再形成する別の方法は、ｎｕｈ＿ｌａｙｅｒ＿ｉｄの値に基づいてＳＰＳに別々にシグナルされるそれらのシンタックス要素を再構成し、そしてそれらのシンタックス要素の値を書き換えることである。ｓｐｓ＿ｍａｘ＿ｓｕｂ＿ｌａｙｅｒｓ＿ｍｉｎｕｓ１、ｓｐｓ＿ｔｅｍｐｏｒａｌ＿ｉｄ＿ｎｅｓｔｉｎｇ＿ｆｌａｇ、ｐｒｏｆｉｌｅ＿ｔｉｅｒ＿ｌｅｖｅｌ（）などのシンタックス要素の値は、書き換えプロセス中にＶＰＳからコピーされる。
【００８４】
ｒｅｐ＿ｆｏｒｍａｔ（）に関して、独立した非ベースレイヤのアクティブＶＰＳにシグナルされるｃｈｒｏｍａ＿ｆｏｒｍａｔ＿ｉｄｃ、ｐｉｃ＿ｗｉｄｔｈ＿ｉｎ＿ｌｕｍａ＿ｓａｍｐｌｅｓ、ｐｉｃ＿ｈｅｉｇｈｔ＿ｉｎ＿ｌｕｍａ＿ｓａｍｐｌｅｓ、ｂｉｔ＿ｄｅｐｔｈ＿ｌｕｍａ＿ｍｉｎｕｓ８およびｂｉｔ＿ｄｅｐｔｈ＿ｃｈｒｏｍａ＿ｍｉｎｕｓ８などの対応するｒｅｐ＿ｆｏｒｍａｔ（）の各要素の値は、ＳＰＳにシグナルされる対応するｃｈｒｏｍａ＿ｆｏｒｍａｔ＿ｉｄｃ、ｐｉｃ＿ｗｉｄｔｈ＿ｉｎ＿ｌｕｍａ＿ｓａｍｐｌｅｓ、ｐｉｃ＿ｈｅｉｇｈｔ＿ｉｎ＿ｌｕｍａ＿ｓａｍｐｌｅｓ、ｂｉｔ＿ｄｅｐｔｈ＿ｌｕｍａ＿ｍｉｎｕｓ８およびｂｉｔ＿ｄｅｐｔｈ＿ｃｈｒｏｍａ＿ｍｉｎｕｓ８にコピーされる。
【００８５】
独立した非ベースレイヤのアクティブＳＰＳおよびＰＰＳのｎｕｈ＿ｌａｙｅｒ＿ｉｄは、書き換えプロセス中に０に変更される。
【００８６】
ＶＰＳおよびその拡張が書き換えプロセス中に廃棄される可能性があるので、ＳＰＳ／ＰＰＳ書き換えプロセスに必要なｓｐｓ＿ｍａｘ＿ｓｕｂ＿ｌａｙｅｒｓ＿ｍｉｎｕｓ１、ｓｐｓ＿ｔｅｍｐｏｒａｌ＿ｉｄ＿ｎｅｓｔｉｎｇ＿ｆｌａｇ、ｐｒｏｆｉｌｅ＿ｔｉｅｒ＿ｌｅｖｅｌ（）、およびｒｅｐ＿ｆｏｒｍａｔ（）の複製コピーをＳＰＳ ＶＵＩまたはＳＥＩメッセージにシグナルしてＳＰＳ／ＰＰＳ書き換えを容易にすることができる。
【００８７】
図１３は、通信システムの例を示す図である。通信システムは、通信ネットワークを介して通信するエンコーダ１３００およびデコーダ１３１４、１３１６、１３１８を備えることができる。エンコーダ１３００は、マルチプレクサエンコーダであり、図３のピクチャレベルのＩＬＰサポートを有するマルチレイヤ（例えば、２レイヤ）スケーラブル符号化システムと同様にすることができる。エンコーダ１３００は、マルチレイヤスケーラブルビットストリーム１３０１を作成する。スケーラブルビットストリーム１３０１は、少なくともベースレイヤと非ベースレイヤを含む。ビットストリーム１３０１は、一連のレイヤ−０ ＮＡＬユニット（ユニット１３０２など）および一連のレイヤ−１ ＮＡＬユニット１３０４として概略的に示されている。
【００８８】
エンコーダ１３００およびデコーダ１３１４、１３１６、１３１８は、限定されないが、デジタルテレビ、無線ブロードキャストシステム、ネットワーク要素／端末などの有線通信デバイスおよび／または無線送信／受信ユニット（ＷＴＲＵ）、コンテンツまたはウェブサーバ（例えば、ハイパーテキストトランスファープロトコル（ＨＴＴＰ）サーバ）などのサーバ、パーソナルデジタルアシスタント（ＰＤＡ）、ラップトップまたはデスクトップコンピュータ、タブレットコンピュータ、デジタルカメラ、デジタルレコーディングデバイス、ビデオゲーミングデバイス、ビデオゲームコンソール、セルラーまたは衛星無線電話、デジタルメディアプレーヤおよび／またはその他の幅広い種類に組み込むことができる。
【００８９】
エンコーダ１３００とデコーダ１３１４、１３１６、１３１８との間の通信ネットワークは、適した任意のタイプの通信ネットワークにすることができる。例えば、通信ネットワークは、音声、データ、ビデオ、メッセージング、ブロードキャストなどのコンテンツを複数の無線ユーザに提供する、多元接続システムにすることができる。通信ネットワークは、複数の無線ユーザが、無線帯域幅を含むシステムリソースの共有を通じてそのようなコンテンツにアクセスすることを可能にできる。例えば、通信ネットワークは、符号分割多元接続（ＣＤＭＡ）、時分割多元接続（ＴＤＭＡ）、周波数分割多元接続（ＦＤＭＡ）、直交ＦＤＭＡ（ＯＦＤＭＡ）、シングルキャリアＦＤＭＡ（ＳＣ−ＦＤＭＡ）および／またはその他などの、１または複数のチャネルアクセス方法を用いることができる。通信ネットワークは、接続された複数の通信ネットワークを含むことができる。通信ネットワークは、インターネットおよび／またはセルラーネットワーク、Ｗｉ−Ｆｉホットスポット、インターネットサービスプロバイダ（ＩＳＰ）ネットワーク、および／またはその他の１または複数のプライベート商業ネットワークを含むことができる。
【００９０】
ビットストリーム抽出器１３０６は、ネットワークのエンコーダとデコーダとの間に位置付けすることができる。ビットストリーム抽出器１３０６は、例えば、以下で説明されるネットワークエンティティ１４９０のコンポーネントを使用して実装することができる。ビットストリーム抽出器１３０６は、マルチレイヤビットストリーム１３０１を調整して異なる環境の異なるデコーダに合わせるように機能する。例えば、デコーダ１３１６は、マルチレイヤビットストリームを復号化する能力を有することができ、図４に示したデコーダ４００と同様であってよい。従って、ビットストリーム抽出器１３１０によってマルチレイヤデコーダ１３１６に送られるビットストリーム１３１０は、元のマルチレイヤビットストリーム１３０１と同一である。異なるデコーダ１３１４をＷＴＲＵまたは帯域幅が限定される他のモバイルデバイスに実装することができる。従って、ビットストリーム抽出器１３０６は、ＮＡＬユニットを１または複数の非ベースレイヤ（ユニット１３０４など）から除去するようにオペレートすることができ、結果として元のマルチレイヤストリーム１３０１よりも低いビットレートを有するビットストリーム１３０８が生じる。
【００９１】
ビットストリーム抽出器１３０６はまた、高帯域幅ネットワーク接続を有するが、マルチレイヤビデオを復号化する能力がない、レガシーデコーダ１３１８にサービスを提供することもできる。上記の書き換えプロセスにおいて、ビットストリーム抽出器１３０６は、元のビットストリーム１３０１を、シングルレイヤのみを含む新しいビットストリーム１３１２に書き換える。
【００９２】
図１４は、通信ネットワーク内で、例えば、ミドルボックスまたはビットストリーム抽出器として使用することができる例示的なネットワークエンティティ１４９０を示している。図１４に示すように、ネットワークエンティティ１４９０は、通信インタフェース１４９２、プロセッサ１４９４、および非一過性のデータ記憶媒体１４９６を含み、それらのすべては、バス、ネットワーク、または他の通信路１４９８によって通信可能にリンクされている。
【００９３】
通信インタフェース１４９２は、１または複数の有線通信インタフェースおよび／または１または複数の無線通信インタフェースを含むことができる。有線通信に関して、通信インタフェース１４９２は、例として、イーサネットインタフェースなどの１または複数のインタフェースを含むことができる。無線通信に関して、通信インタフェース１４９２は、１または複数のアンテナ、１または複数のタイプの無線（例えば、ＬＴＥ）通信用に設計されたおよび構成された１または複数のトランシーバ／チップセットなどのコンポーネント、および／または当業者が適していると見なしたその他のコンポーネントを含むことができる。そして無線通信に関してさらに、通信インタフェース１４９２は、無線通信（例えば、ＬＴＥ通信、Ｗｉ−Ｆｉ通信その他）のネットワーク側で−クライアント側とは対照的に−動作するのに適したスケールおよび構成を備えることができる。従って、通信インタフェース１４９２は、カバレッジエリア内の複数の移動局、ＵＥ、または他のアクセス端末に供給するために適切な機器および回路（恐らく複数のトランシーバを含む）を含むことができる。
【００９４】
プロセッサ１４９４は、当業者が適していると見なした１または複数のプロセッサの任意のタイプを含むことができ、いくつかの例は、汎用マイクロプロセッサおよび専用ＤＳＰを含む。
【００９５】
データストレージ１４９６は、任意の非一過性のコンピュータ可読媒体、または当業者が適していると見なした１または複数の任意のタイプの非一過性のデータストレージとして使用される可能性のある、いくつかの例では、ほんの数例を挙げればフラッシュメモリ、リードオンリーメモリ（ＲＯＭ）、およびランダムアクセスメモリ（ＲＡＭ）を含む媒体の組み合わせの形をとることができる。図１４に示すように、データストレージ１４９６は、プロセッサ１４９４によって実行可能な本明細書で説明されるさまざまなネットワークエンティティの機能のさまざまな組み合わせを実施するプログラム命令１４９７を包含する。
【００９６】
いくつかの実施形態において、本明細書で説明されるミドルボックス、ビットストリーム抽出器、および他の機能は、図１４のネットワークエンティティ１４９０の構造と同様の構造を有するネットワークエンティティによって実施される。いくつかの実施形態において、そのような機能のうちの１または複数は、各ネットワークエンティティが図１４のネットワークエンティティ１４９０の構造と同様の構造を有する、複数のネットワークエンティティのセットを組み合わせて実施される。さまざまな異なる実施形態において、ネットワークエンティティ１９０は、無線アクセスネットワーク（ＲＡＮ）（の１または複数のエンティティ）、コアネットワーク、基地局、Ｎｏｄｅ−Ｂ、無線ネットワークコントローラ（ＲＮＣ）、メディアゲートウェイ（ＭＧＷ）、モバイル交換センター（ＭＳＣ）１４６、サービングＧＰＲＳサポートノード（ＳＧＳＮ）、ゲートウェイＧＰＲＳサポートノード（ＧＧＳＮ）ｅＮｏｄｅ−Ｂ、モバイル管理エンティティ（ＭＭＥ）、サービングゲートウェイ、パケットデータネットワーク（ＰＤＮ）ゲートウェイ、アクセスサービスネットワーク（ＡＳＮ）ゲートウェイ、モバイルＩＰホームエージェント（ＭＩＰ−ＨＡ）、または認証、承認およびアカウンティング（ＡＡＡ）のうちの１または複数である−または少なくとも含む。上述のリストは、例として提供され限定されるものではないが、他のネットワークエンティティおよび／またはネットワークエンティティの組み合わせは、本明細書で説明されるネットワークエンティティの機能を実施するさまざまな実施形態において使用され得る。
【００９７】
図１５は、ビデオエンコーダ、デコーダ、またはビットストリーム抽出器のようなミドルボックスを実装することができる、例示的なＷＴＲＵのシステム図である。例示したように、ＷＴＲＵ１５００は、プロセッサ１５１８、トランシーバ１５２０、送信／受信要素１５２２、スピーカ／マイクロフォン１５２４、キーパッドまたはキーボード１５２６、ディスプレイ／タッチパッド１５２８、ノンリムーバブルメモリ１５３０、リムーバブルメモリ１５３２、電源１５３４、全地球測位システム（ＧＰＳ）チップセット１５３６、および／または他の周辺機器１５３８を含むことができる。ＷＴＲＵ１５００は、実施形態と整合性を保った上で、上述の要素の任意のサブコンビネーションを含むことができることが認識されよう。さらに、エンコーダ（例えば、エンコーダ１００）および／またはデコーダ（例えば、デコーダ２００）が組み込まれている端末は、図１５のＷＴＲＵ１５００に関連して本明細書で説明される要素の一部またはすべてを含むことができる。
【００９８】
プロセッサ１５１８は、汎用プロセッサ、専用プロセッサ、従来型プロセッサ、デジタル信号プロセッサ（ＤＳＰ）、グラフィックスプロセッシングユニット（ＧＰＵ）、複数のマイクロプロセッサ、ＤＳＰコアと協働する１または複数のマイクロプロセッサ、コントローラ、マイクロコントローラ、特定用途向け集積回路（ＡＳＩＣ）、現場プログラム可能ゲートアレイ（ＦＰＧＡ）回路、その他のタイプの集積回路（ＩＣ）、ステートマシンその他にすることができる。プロセッサ１５１８は、信号符号化、データ処理、電力制御、入力／出力処理、および／またはＷＴＲＵ１５００が有線および／または無線環境でオペレートすることを可能にするその他の機能性を遂行できる。プロセッサ１５１８をトランシーバ１５２０に結合することができ、そのトランシーバを送信／受信要素１５２２に結合することができる。図１５は、プロセッサ１５１８とトランシーバ１５２０とを別個のコンポーネントとして示しているが、プロセッサ１５１８とトランシーバ１５２０とを電子パッケージまたはチップに統合できることが認識されよう。
【００９９】
送信／受信要素１５２２は、エアインタフェース１５１５を介して信号を別の端末に送信するおよび／または別の端末から受信するように構成することができる。例えば、一実施形態において、送信／受信要素１５２２は、ＲＦ信号を送信するおよび／または受信するように構成されたアンテナにすることができる。１または複数の実施形態において、送信／受信要素１５２２は、例として、ＩＲ、ＵＶ、または可視光線信号を送信するおよび／または受信するように構成されたエミッタ／検出器にすることができる。１または複数の実施形態において、送信／受信要素１５２２は、ＲＦ信号と光信号との両方を送信するおよび／または受信するように構成することができる。送信／受信要素１５２２は、無線信号の任意の組み合わせを送信するおよび／または受信するように構成することができることが認識されよう。
【０１００】
さらに、送信／受信要素１５２２を単一の要素として図１５に示しているが、ＷＴＲＵ１５００は、任意の数の送信／受信要素１５２２を含むことができる。より詳細には、ＷＴＲＵ１５００は、ＭＩＭＯ技術を用いることができる。従って、一実施形態において、ＷＴＲＵ１５００は、エアインタフェース１５１５を介して無線信号を送信するおよび受信するための２以上の送信／受信要素１５２２（例えば、複数のアンテナ）を含むことができる。
【０１０１】
トランシーバ１５２０は、送信／受信要素１５２２によって送信される信号を変調し、および／または送信／受信要素１５２２によって受信される信号を復調するように構成することができる。上記のように、ＷＴＲＵ１５００は、マルチモード能力を有することができる。従って、トランシーバ１５２０は、ＷＴＲＵ１５００が、例えば、ＵＴＲＡおよびＩＥＥＥ８０２．１１などの、複数のＲＡＴ経由で通信することを可能にする複数のトランシーバを含むことができる。
【０１０２】
ＷＴＲＵ１５００のプロセッサ１５１８は、スピーカ／マイクロフォン１５２４、キーバッド１５２６、および／またはディスプレイ／タッチパッド１５２８（例えば、液晶ディスプレイ（ＬＣＤ）表示ユニットまたは有機発光ダイオード（ＯＬＥＤ）表示ユニット）に結合することができ、そしてそれらからユーザ入力データを受信することができる。プロセッサ１５１８はまた、スピーカ／マイクロフォン１５２４、キーバッド１５２６、および／またはディスプレイ／タッチパッド１５２８にユーザデータを出力することもできる。さらに、プロセッサ１５１８は、ノンリムーバブルメモリ１５３０および／またはリムーバブルメモリ１５３２などの、適した任意のタイプのメモリからの情報にアクセスして、それらのメモリにデータを格納することができる。ノンリムーバブルメモリ１５３０は、ランダムアクセスメモリ（ＲＡＭ）、リードオンリーメモリ（ＲＯＭ）、ハードディスク、またはその他のタイプのメモリ記憶デバイスを含むことができる。リムーバブルメモリ１５３２は、契約者識別モジュール（ＳＩＭ）カード、メモリスティック、セキュアデジタル（ＳＤ）メモリカードその他を含むことができる。１または複数の実施形態において、プロセッサ１５１８は、サーバまたはホームコンピュータ（図示せず）など物理的にＷＴＲＵ１５００に置かれていないメモリからの情報にアクセスして、それらのメモリにデータを格納することができる。
【０１０３】
プロセッサ１５１８は、電源１５３４から電力を受信することができ、その電力をＷＴＲＵ１５００の他のコンポーネントに分散するおよび／または制御するように構成することができる。電源１５３４は、ＷＴＲＵ１５００に電力供給するのに適した任意のデバイスにすることができる。例えば、電源１５３４は、１または複数の乾電池（例えば、ニッケルカドミウム（ＮｉＣｄ）、ニッケル亜鉛（ＮｉＺｎ）、ニッケル水素（ＮｉＭＨ）、リチウムイオン（Ｌｉ−ｉｏｎ）など）、太陽電池、燃料電池その他を含むことができる。
【０１０４】
プロセッサ１５１８は、ＷＴＲＵ１５００の現在のロケーションに関するロケーション情報（例えば、経緯度）を提供するように構成することができる、ＧＰＳチップセット１５３６に結合され得る。追加または代替として、ＧＰＳチップセット１５３６からの情報により、ＷＴＲＵ１５００は、端末（例えば、基地局）からエアインタフェース１５１５を介してロケーション情報を受信し、および／または２以上の近隣の基地局から受信される信号のタイミングに基づいてそのＷＴＲＵのロケーションを判定することができる。ＷＴＲＵ１５００は、実施形態と整合性を保った上で、適した任意のロケーション判定方法によってロケーション情報を獲得できることが認識されよう。
【０１０５】
プロセッサ１５１８は、付加的な特徴、機能性および／または有線または無線接続性を提供する、１または複数のソフトウェアモジュールおよび／またはハードウェアモジュールを含むことができる、他の周辺機器１５３８にさらに結合され得る。例えば、周辺機器１５３８は、加速度計、方向センサ、動きセンサ、近接センサ、電子コンパス、衛星トランシーバ、デジタルカメラおよび／またはビデオレコーダ（例えば、写真および／またはビデオ用）、ユニバーサルシリアルバス（ＵＳＢ）ポート、振動デバイス、テレビトランシーバ、ハンズフリーヘッドセット、Ｂｌｕｅｔｏｏｔｈ（登録商標）モジュール、周波数変調（ＦＭ）無線ユニット、およびデジタル音楽プレーヤ、メディアプレーヤ、ビデオゲームプレーヤモジュールなどのソフトウェアモジュール、インターネットブラウザその他を含むことができる。
【０１０６】
例として、ＷＴＲＵ１５００は、無線信号を送信および／または受信するように構成することができ、そしてユーザ機器（ＵＥ）、移動局、固定式または移動式加入者ユニット、ページャ、セルラー電話、携帯情報端末（ＰＤＡ）、スマートフォン、ラップトップ、ネットブック、タブレットコンピュータ、パーソナルコンピュータ、無線センサ、家電製品、または圧縮されたビデオ通信を受信するおよび処理する能力があるその他の端末を含むことができる。
【０１０７】
ＷＴＲＵ１５００および／または通信ネットワーク（例えば、通信ネットワーク８０４）は、広域帯ＣＤＭ（ＷＣＤＭＡ：登録商標）を使用してエアインタフェース１５１５を確立することができる、ＵＴＲＡ(ユニバーサル移動体通信システム（ＵＭＴＳ）地上波無線アクセス）などの無線技術を実装することができる。ＷＣＤＭＡは、高速パケットアクセス（ＨＳＰＡ）および／または発展型ＨＳＰＡ（ＨＳＰＡ＋）などの通信プロトコルを含むことができる。ＨＳＰＡは、高速ダウンリンクパケットアクセス（ＨＳＤＰＡ）および／または高速アップリンクパケットアクセス（ＨＳＵＰＡ）を含むことができる。ＷＴＲＵ１５００および／または通信ネットワーク（例えば、通信ネットワーク８０４）は、ロングタームエボリューション（ＬＴＥ）および／またはＬＴＥアドバンスト（ＬＴＥ−Ａ）を使用してエアインタフェース１５１５を確立することができる、Ｅ−ＵＴＲＡ（発展型ＵＭＴＳ地上波無線アクセス）など無線技術を実装することができる。
【０１０８】
ＷＴＲＵ１５００および／または通信ネットワーク（例えば、通信ネットワーク８０４）は、ＩＥＥＥ８０２．１６（例えば、ＷｉＭＡＸ（Ｗｏｒｌｄｗｉｄｅ  Ｉｎｔｅｒｏｐｅｒａｂｉｌｉｔｙ  ｆｏｒ  Ｍｉｃｒｏｗａｖｅ  Ａｃｃｅｓｓ）、ＣＤＭＡ２０００、ＣＤＭＡ２０００１Ｘ、ＣＤＭＡ２０００ＥＶ−ＤＯ、ＩＳ−２０００（Ｉｎｔｅｒｉｍ  Ｓｔａｎｄａｒｄ  ２０００）、ＩＳ−９５（Ｉｎｔｅｒｉｍ  Ｓｔａｎｄａｒｄ  ９５）、ＩＳ−８５６（Ｉｎｔｅｒｉｍ  Ｓｔａｎｄａｒｄ  ８５６）、ＧＳＭ（Ｇｌｏｂａｌ  Ｓｙｓｔｅｍ  ｆｏｒ  Ｍｏｂｉｌｅ  ｃｏｍｍｕｎｉｃａｔｉｏｎｓ：登録商標）、ＥＤＧＥ（Ｅｎｈａｎｃｅｄ  Ｄａｔａ  ｒａｔｅｓ  ｆｏｒ  ＧＳＭ  Ｅｖｏｌｕｔｉｏｎ）、ＧＥＲＡＮ（ＧＳＭ  ＥＤＧＥ）その他などの無線技術を実装することができる。ＷＴＲＵ１５００および／または通信ネットワーク（例えば、通信ネットワーク８０４）は、ＩＥＥＥ８０２．１１、ＩＥＥＥ８０２．１５その他など無線技術を実装することができる。
【０１０９】
特徴および要素が特定の組み合わせにおいて上述されているが、各特徴または要素を単独で、または他の特徴および要素との任意の組み合わせにおいて使用することができることが当業者には認識されよう。さらに、本明細書で説明される方法は、コンピュータまたはプロセッサによって実行されるコンピュータ可読媒体に組み込まれるコンピュータプログラム、ソフトウェア、またはファームウェアに実装することができる。コンピュータ可読媒体の例は、（有線および／または無線接続を介して送信される）電子信号およびコンピュータ可読記憶媒体を含む。コンピュータ可読記憶媒体の例は、限定されないが、リードオンリーメモリ（ＲＯＭ）、ランダムアクセスメモリ（ＲＡＭ）、レジスタ、キャッシュメモリ、半導体メモリデバイス、内部ハードディスクおよびリムーバブルディスクなどの磁気媒体、光磁気媒体、およびＣＤ−ＲＯＭディスク、およびデジタル多用途ディスク（ＤＶＤ）などの光媒体を含む。ソフトウェアと協働するプロセッサを使用して、ＷＴＲＵ、ＵＥ、端末、基地局、ＲＮＣ、または任意のホストコンピュータで使用される無線周波数トランシーバを実装することができる。
【図１】
2017510117.tif 000007
【図２】
2017510117.tif 000008
【図３】
2017510117.tif 000009
【図４】
2017510117.tif 000010
【図５】
2017510117.tif 000011
【図６】
2017510117.tif 000012
【図７】
2017510117.tif 000013
【図８】
2017510117.tif 000014
【図９】
2017510117.tif 000015
【図１０】
2017510117.tif 000016
【図１１】
2017510117.tif 000017
【図１２】
2017510117.tif 000018
【図１３】
2017510117.tif 000019
【図１４】
2017510117.tif 000020
【図１５】
2017510117.tif 000021
【国際調査報告】
2017510117.tif 000022
2017510117.tif 000023
2017510117.tif 000024
2017510117.tif 000025
2017510117.tif 000026
2017510117.tif 000027