(57)【要約】  ビデオ符号化のためのＳＶＣファイル形式とＲＴＰペイロード形式のための間接的アグリゲータＮＡＬユニットである。本発明の間接的アグリゲータＮＡＬユニットは、ビットストリーム内のスケーラビリティ依存性を容易に識別することを可能とするのであり、それによって、高速で効率的なストリーム操作が可能となる。更に、本発明におけるその間接的アグリゲータＮＡＬユニットは、Ｈ．２６４／ＡＶＣデコーダ、ＡＶＣファイル形式パーサ、そしてＨ．２６４／ＡＶＣ  ＲＴＰペイロードパーサを用いてのストリームにおけるベース層の処理が依然として可能であることを保証する。【選択図】図３
2009537078.tif 000002
【特許請求の範囲】
【請求項１】
第１のアルゴリズムに従って復号可能なピクチャのベース層と、第２のアルゴリズムに従って復号可能な該ピクチャの少なくとも１つのエンハンスメント層と、を含むスケーラブル符号化されたビデオ信号をカプセル化するための方法であって、
前記ベース層と前記少なくとも１つのエンハンスメント層とをアクセスユニットへ符号化すること、
を含み、
前記アクセスユニットは、復号のために用いられる少なくとも１つの基本データユニットと、前記アクセスユニットの少なくとも一部と関連するスケーラビリティ情報基本データユニットとを含み、該スケーラビリティ情報基本データユニットは、前記第１のアルゴリズムに従った復号の間は無視されるよう構成される、方法。
【請求項２】
前記スケーラビリティ情報基本データユニットは、前記アクセスユニット内のピクチャに関連する、請求項１に記載の方法。
【請求項３】
前記スケーラビリティ情報基本データユニットは、前記アクセスユニットの少なくとも一部に関する情報を含む、請求項１に記載の方法。
【請求項４】
前記情報は、優先度と、時間的レベルと、依存性順序指標と、より高い依存性順序指標に関連する基本データユニットが、復号のために前記アクセスユニットの前記少なくとも一部を必要とするかどうかについての指標と、前記アクセスユニットの前記少なくとも一部が、異なった層が現在の層へと切り替えることが可能であるような層切り替えポイントであるかどうかについての指標と、及びそれらの組み合わせと、から成るグループから選択される、請求項３に記載の方法。
【請求項５】
前記スケーラブル符号化されたビデオ信号をファイルへカプセル化することを更に含む、請求項１に記載の方法。
【請求項６】
前記スケーラブル符号化されたビデオ信号は、ＩＳＯベースメディアファイル形式、ＡＶＣファイル形式、ＳＶＣファイル形式、３ＧＰファイル形式、３Ｇ２ファイル形式、のうちの少なくとも１つのファイル形式に従ったファイルへとカプセル化される、請求項５に記載の方法。
【請求項７】
前記スケーラブル符号化されたビデオ信号をパケットストリームへカプセル化することを更に含む、請求項１に記載の方法。
【請求項８】
前記パケットストリームはＲＴＰストリームを含む、請求項７に記載の方法。
【請求項９】
前記スケーラビリティ情報基本データユニットは、Ｈ．２６４／ＡＶＣデコーダ、ＡＶＣファイルパーサ、Ｈ．２６４／ＡＶＣ  ＲＴＰデペイローダイザ、ＳＶＣデコーダ、のうちの少なくとも１つによって無視されるよう構成される、請求項１に記載の方法。
【請求項１０】
前記スケーラビリティ情報基本データユニットに基づいて、前記符号化されたビデオ信号から前記アクセスユニットの前記関連する部分を除去することを更に含む、請求項１に記載の方法。
【請求項１１】
前記スケーラビリティ情報基本データユニットに基づいて、前記符号化されたビデオ信号からの前記アクセスユニットの前記関連する部分の処理を停止することを更に含む、請求項１に記載の方法。
【請求項１２】
第１のアルゴリズムに従って復号可能なピクチャのベース層と、第２のアルゴリズムに従って復号可能な該ピクチャの少なくとも１つのエンハンスメント層と、を含むスケーラブル符号化されたビデオ信号をカプセル化するための、コンピュータ読み取り可能な媒体上に符号化されたコンピュータプログラム製品であって、
前記ベース層と前記少なくとも１つのエンハンスメント層とをアクセスユニットへ符号化するためのコンピュータコード、
を含み、
前記アクセスユニットは、復号のために用いられる少なくとも１つの基本データユニットと、前記アクセスユニットの少なくとも一部と関連するスケーラビリティ情報基本データユニットとを含み、該スケーラビリティ情報基本データユニットは、前記第１のアルゴリズムに従った復号の間は無視されるよう構成される、コンピュータプログラム製品。
【請求項１３】
前記スケーラビリティ情報基本データユニットは、前記アクセスユニット内のピクチャに関連する、請求項１２に記載のコンピュータプログラム製品。
【請求項１４】
前記スケーラビリティ情報基本データユニットは、前記アクセスユニットの少なくとも一部に関する情報を含む、請求項１２に記載のコンピュータプログラム製品。
【請求項１５】
前記情報は、優先度と、時間的レベルと、依存性順序指標と、より高い依存性順序指標に関連する基本データユニットが、復号のために前記アクセスユニットの前記少なくとも一部を必要とするかどうかについての指標と、前記アクセスユニットの前記少なくとも一部が、異なった層が現在の層へと切り替えることが可能であるような層切り替えポイントであるかどうかについての指標と、及びそれらの組み合わせと、から成るグループから選択される、請求項１４に記載のコンピュータプログラム製品。
【請求項１６】
前記スケーラブル符号化されたビデオ信号をファイルへカプセル化することを更に含む、請求項１２に記載のコンピュータプログラム製品。
【請求項１７】
前記スケーラブル符号化されたビデオ信号は、ＩＳＯベースメディアファイル形式、ＡＶＣファイル形式、ＳＶＣファイル形式、３ＧＰファイル形式、３Ｇ２ファイル形式、から成るグループのうちの少なくとも１つのファイル形式に従ったファイルへとカプセル化される、請求項１６に記載のコンピュータプログラム製品。
【請求項１８】
前記スケーラブル符号化されたビデオ信号をパケットストリームへカプセル化することを更に含む、請求項１２に記載のコンピュータプログラム製品。
【請求項１９】
前記パケットストリームはＲＴＰストリームを含む、請求項１８に記載のコンピュータプログラム製品。
【請求項２０】
前記スケーラビリティ情報基本データユニットは、Ｈ．２６４／ＡＶＣデコーダ、ＡＶＣファイルパーサ、Ｈ．２６４／ＡＶＣ  ＲＴＰデペイローダイザ、ＳＶＣデコーダ、のうちの少なくとも１つによって無視されるよう構成される、請求項１２に記載のコンピュータプログラム製品。
【請求項２１】
前記スケーラビリティ情報基本データユニットに基づいて、前記符号化されたビデオ信号から前記アクセスユニットの前記関連する部分を除去することを更に含む、請求項１２に記載のコンピュータプログラム製品。
【請求項２２】
前記スケーラビリティ情報基本データユニットに基づいて、前記符号化されたビデオ信号からの前記アクセスユニットの前記関連する部分の処理を停止することを更に含む、請求項１２に記載のコンピュータプログラム製品。
【請求項２３】
プロセッサと、
前記プロセッサに通信接続されたメモリユニットであって、第１のアルゴリズムに従って復号可能なピクチャのベース層と、第２のアルゴリズムに従って復号可能な該ピクチャの少なくとも１つのエンハンスメント層と、を含むスケーラブル符号化されたビデオ信号をカプセル化するためのコンピュータプログラム製品を含む、メモリユニットと、
を含む電子デバイスであって、
前記コンピュータプログラム製品は、前記ベース層と前記少なくとも１つのエンハンスメント層とをアクセスユニットへ符号化するためのコンピュータコードを含み、該アクセスユニットは、復号のために用いられる少なくとも１つの基本データユニットと、該アクセスユニットの少なくとも一部と関連するスケーラビリティ情報基本データユニットとを含み、該スケーラビリティ情報基本データユニットは、前記第１のアルゴリズムに従った復号の間は無視されるよう構成される、電子デバイス。
【請求項２４】
符号化された、第１のアルゴリズムに従って復号可能なピクチャのベース層と、第２のアルゴリズムに従って復号可能な該ピクチャの少なくとも１つのエンハンスメント層と、を含むアクセスユニットを含む、カプセル化された、スケーラブル符号化されたビデオ信号であって、
前記アクセスユニットは、復号のために用いられる少なくとも１つの基本データユニットと、前記アクセスユニットの少なくとも一部と関連するスケーラビリティ情報基本データユニットとを含み、該スケーラビリティ情報基本データユニットは、前記第１のアルゴリズムに従った復号の間は無視されるよう構成される、信号。
【請求項２５】
第１のアルゴリズムに従って復号可能なピクチャのベース層と、第２のアルゴリズムに従って復号可能な該ピクチャの少なくとも１つのエンハンスメント層と、を含む、カプセル化された、スケーラブル符号化されたビデオ信号を復号するための方法であって、
アクセスユニットから前記ベース層と前記少なくとも１つのエンハンスメント層とを復号すること、
を含み、
前記アクセスユニットは、復号のために用いられる少なくとも１つの基本データユニットと、前記アクセスユニットの少なくとも一部と関連するスケーラビリティ情報基本データユニットとを含み、該スケーラビリティ情報基本データユニットは、前記第１のアルゴリズムに従った復号の間は無視されるよう構成される、方法。
【発明の詳細な説明】
【技術分野】
【０００１】
発明の分野
本発明は一般に、ビデオ符号化に関する。より詳細には、本発明は、スケーラブルビデオの符号化、記憶、そして移送に関する。
【０００２】
発明の背景
本節は、請求の範囲において列挙される本発明に対しての背景又は前後関係を与えることを意図されている。ここにおける説明は、追求可能であった概念を含んでもよいのではあるが、しかしながら、必ずしも以前に着想された、又は追及された概念とは限らない。従って、ここにおいて別段の指示がされない限り、本節において説明される内容は本出願における明細書と請求の範囲に対しての先行技術ではなく、そして、本節に含まれることをもって先行技術であると認められるものでもない。
【０００３】
スケーラブルビデオ符号化（ＳＶＣ：Ｓｃａｌａｂｌｅ  Ｖｉｄｅｏ  Ｃｏｄｉｎｇ）は、スケーラブルなビデオビットストリームを与える。スケーラブルビデオビットストリームは、スケーラブルでないベース層と、１以上のエンハンスメント層とを含む。エンハンスメント層は、時間分解能（すなわち、フレームレート）、空間分解能、又は、下位層又はその一部によって表示されるビデオコンテンツの質を強化してよい。スケーラブル層は、単一のリアルタイム転送プロトコル（ＲＴＰ：ｒｅａｌ−ｔｉｍｅ  ｔｒａｎｓｐｏｒｔ  ｐｒｏｔｏｃｏｌ）のストリームに集約されるか、又は独立して移送されることが可能である。
【０００４】
ビデオ符号化層（ＶＣＬ：ｖｉｄｅｏ  ｃｏｄｉｎｇ  ｌａｙｅｒ）とネットワーク抽象化層（ＮＡＬ：ｎｅｔｗｏｒｋ  ａｂｓｔｒａｃｔｉｏｎ  ｌａｙｅｒ）との概念は、ＡＶＣ（ａｄｖａｎｃｅｄ  ｖｉｄｅｏ  ｃｏｄｉｎｇ）から継承される。ＶＣＬは、コーデックの信号処理機能性（例えば、変換、量子化、動き補償予測、ループ・フィルタ、フレーム間予測、等の様なメカニズム）を含む。ベース又はエンハンスメント層についての符号化されたピクチャは、１以上のスライスから成る。ＮＡＬは、ＶＣＬによって生成された各々のスライスを、１以上のＮＡＬユニットにカプセル化する。
【０００５】
各々のＳＶＣ層は、その層の符号化されたビデオビットを表すＮＡＬユニットによって形成される。１つだけの層を運ぶＲＴＰストリームは、その層に所属するＮＡＬユニットだけを運ぶであろう。完全にスケーラブルなビデオビットストリームを運ぶＲＴＰストリームは、ベース層と１以上のエンハンスメント層についてのＮＡＬユニットを運ぶであろう。ＳＶＣは、これらＮＡＬユニットの復号の順序を指定する。
【０００６】
エンハンスメント層の全部を移送し、復号するということはせずに、ビジュアルコンテンツの質をスケーリングする概念は、粗粒のスケーラビリティ（ＣＧＳ：ｃｏａｒｓｅ−ｇｒａｉｎｅｄ  ｓｃａｌａｂｉｌｉｔｙ）として示される。
【０００７】
ある場合には、所定のエンハンスメント層のビットレートを、個々のＮＡＬユニットからのビットを切り捨てることにより低減させることが可能である。切り捨ては、再生されたエンハンスメント層のビデオの質の素直な劣化をもたらす。この概念は、きめの細かいスケーラビリティ（ＦＧＳ：ｆｉｎｅ−ｇｒａｉｎｅｄ  （ｇｒａｎｕｌａｒｉｔｙ）  ｓｃａｌａｂｉｌｉｔｙ）として知られている。
【０００８】
Ｈ．２６４／ＡＶＣビデオ符号化標準によれば、アクセスユニットは１つのプライマリ符号化されたピクチャを含む。あるシステムにおいては、アクセスユニットデリミタＮＡＬユニットをビットストリームに挿入することにより、アクセスユニット境界の検出を単純化することが可能である。ＳＶＣにおいては、アクセスユニットは複数のプライマリ符号化されたピクチャを含んでよいのであるが、しかしながら、ｄｅｐｅｎｄｅｎｃｙ＿ｉｄ、ｔｅｍｐｏｒａｌ＿ｌｅｖｅｌ、そしてｑｕａｌｉｔｙ＿ｌｅｖｅｌのユニークな組み合わせの各々に対しては高々１ピクチャである。
【０００９】
スケーラブルビデオ符号化は、質を最大限のレベルまで向上させるエンハンスメント情報の符号化、及び、ある最低限の質を有する「ベース層」の符号化を伴う。ＳＶＣストリームのベース層は典型的に、ＡＶＣ準拠である。言い換えれば、ＡＶＣデコーダは、ＳＶＣストリームのベース層を復号してＳＶＣ固有のデータを無視することが可能である。この特徴は、ＳＶＣに固有である、符号化されたスライスＮＡＬユニットのタイプを特定することによって実現されたのであり、それらはＡＶＣにおいて将来使用するためにと保存されたのであり、そしてＡＶＣ仕様に従ってスキップされるに違いない。
【００１０】
ＳＶＣアクセスユニット内におけるピクチャとそれらのスケーラビリティ特性の識別は、少なくとも２つの目的のために重要である。第１に、サーバ又はゲートウェイ内で圧縮領域ストリームを薄くするために、この識別は重要である。大量のデータを処理する必要があるため、これらの要素は、除去可能なピクチャを可能な限り迅速に識別しなければならない。第２に、所望の質と複雑度を有するストリームのプレイバックのために、この識別は重要である。受信機や再生機は、スケーラブルストリーム中における、復号が不可能であるか又は復号したくないそれらピクチャを識別できるべきである。
【００１１】
ｍｅｄｉａ−ａｗａｒｅゲートウェイ又はＲＴＰミキサ（例えば、マルチポイント会議制御ユニット、回線交換、パケット交換ビデオ電話通信の間でのゲートウェイ、ＰｏＣ（ｐｕｓｈ−ｔｏ−ｔａｌｋ  ｏｖｅｒ  ｃｅｌｌｕｌａｒ）サーバ、ＤＶＢ−Ｈ（ｄｉｇｉｔａｌ  ｖｉｄｅｏ  ｂｒｏａｄｃａｓｔｉｎｇ−ｈａｎｄｈｅｌｄ）システムにおけるＩＰエンカプスレータ、又は放送の送信を無線ホームネットワークへローカルに転送するセットトップボックス、であってよい）の１つの機能は、下りリンクの現行のネットワーク条件に従って転送されるストリームのビットレートを制御することである。入力データを大規模に処理することなしに、例えば、単にパケット又は容易に識別されるパケットの一部をドロップすることで、転送されるデータのレートを制御することが望ましい。層構造の符号化のためには、ゲートウェイは、転送されるストリームの復号に影響を与えない、ピクチャ又はピクチャシーケンスの全体をドロップすべきである。Ｈ．２６４／ＡＶＣ  ＲＴＰペイロード仕様でのインターリーブされたパケット化モードは、事実上任意のアクセスユニットにおける任意のＮＡＬユニットの同一ＲＴＰペイロード（集約パケットと称される）へのカプセル化を可能とする。特に、符号化されたピクチャ全体を１つのＲＴＰペイロードにおいてカプセル化することは要求されないのであり、むしろ符号化されたピクチャについてのＮＡＬユニットは複数のＲＴＰパケットに分割されてよい。
【００１２】
このようなパケット集約の自由は多くのアプリケーションにとって歓迎すべきものである一方、それによって、ゲートウェイ操作における数多くの面倒な事態が引き起こされる。第１に、ある集約パケットを与えたとき、その集約パケット内に含まれる各々のＮＡＬユニットヘッダを解析する前においては、そのＮＡＬユニットがどのピクチャに所属するのか、ということが分からない。従って、インターリーブされたパケット化モードをＳＶＣに対して適用する場合、パケット内のＮＡＬユニット各々のヘッダを解析する前においては、含まれるＮＡＬユニットの属する層が分からない。結果的にゲートウェイは、幾らかでも、全てを、又は多少なりとも、そのパケットのＮＡＬユニットを転送するかどうかを決定する前に、ＮＡＬユニット各々のヘッダを解析しなければならない。第２に、付加拡張情報（ＳＥＩ：Ｓｕｐｐｌｅｍｅｎｔａｌ  Ｅｎｈａｎｃｅｍｅｎｔ  Ｉｎｆｏｒｍａｔｉｏｎ）とパラメータセットのＮＡＬユニット等のような、あるＮＡＬユニットに対しては、同一のアクセスユニットについてのビデオ符号化層（ＶＣＬ）ＮＡＬユニットを受信する前に、それらの所属するアクセスユニットを識別することは不可能である。従ってゲートウェイは、ＶＣＬでないＮＡＬユニットの、関連するピクチャへのマッピングを解決するために、バッファと幾らかの状態情報を保持する必要があるかもしれない。
【００１３】
従来のビデオ符号化標準においては、ピクチャヘッダは符号化されたピクチャを分離するために用いられる。しかしながら、Ｈ．２６４／ＡＶＣ標準において、そしてＳＶＣにおいては、シンタックス中にピクチャヘッダが含まれない。加えて、パーサはストリーム中におけるＮＡＬユニット各々に対するスケーラビリティ情報を解析する能力を持っているかもしれないのではあるが、これには少々大規模な処理能力が要求されるのであり、あるパーサはこの能力を有しないかもしれない。
【００１４】
上記に加え、以前には、ＳＶＣファイル形式検証モデル２（ＳＶＣ  ｆｉｌｅ  ｆｏｒｍａｔ  ｖｅｒｉｆｉｃａｔｉｏｎ  ｍｏｄｅｌ  ２）内においてアグリゲータＮＡＬユニットが提案されている（ＭＰＥＧ文書のＭ７５８６）。このシステムにおいて、そのアグリゲータＮＡＬユニットは、そのペイロード中の関連するＮＡＬユニットを備えたコンテナである。アグリゲータＮＡＬユニットは、Ｈ．２６４／ＡＶＣとＳＶＣ仕様において特定されていないタイプを有するのであり、Ｈ．２６４／ＡＶＣとＳＶＣのデコーダにおいては無視されるに違いない。しかしながら、Ｈ．２６４／ＡＶＣ標準に従ったベース層ピクチャがアグリゲータＮＡＬユニット内に入れられる場合、それはもはやＨ．２６４／ＡＶＣデコーダを用いては復号できないのであり、Ｈ．２６４／ＡＶＣ  ＲＴＰのデペイローダイザ（ｄｅｐａｙｌｏａｄｉｚｅｒ）又はＡＶＣファイル形式のパーサを用いて解析することもできない。
【発明の開示】
【００１５】
発明の概要
本発明は、ＳＶＣファイル形式とＲＴＰペイロード形式のための間接的アグリゲータＮＡＬユニットを提供する。本発明の間接的アグリゲータＮＡＬユニットは、ビットストリーム内のスケーラビリティ依存性を容易に識別することを可能とするのであり、それによって、高速で効率的なストリーム操作が可能となる。更に、本発明におけるその間接的アグリゲータＮＡＬユニットは、Ｈ．２６４／ＡＶＣデコーダ、ＡＶＣファイル形式パーサ、そしてＨ．２６４／ＡＶＣ  ＲＴＰペイロードパーサを用いてのストリームにおけるベース層の処理が依然として可能であることを保証する。
【００１６】
本発明におけるこれらの、そしてその他の利点と特徴とは、その編成や運用方法と共に、この後に続く詳細な説明から、添付図面と併用した時に明らかとなるであろう。そこにおいて同様の要素は、以下に説明される複数の図面に渡って同様の数字を有する。
【発明を実施するための最良の形態】
【００１７】
好ましい実施例の詳細な説明
本発明は、スケーラブルビデオ符号化において使用するために、間接的アグリゲータＮＡＬユニット（より総称的にはスケーラビリティ情報基本データユニット）を提供する。間接的アグリゲータＮＡＬユニットは、他のＮＡＬユニットを含まない。代わりに、本発明における間接的アグリゲータＮＡＬユニットは、それ自身を他の一緒のＮＡＬユニットに関連付けるためのメカニズムを含む。これらのメカニズムは後続のバイトの数、後続のＮＡＬユニットの数、そしてより高いレベルのフレーミング内に残っているＮＡＬユニットの数を含むが、それらに制限されるわけではない。例えば、より高いレベルのフレーミング内に残っているＮＡＬユニットは、間接的アグリゲータＮＡＬユニットも併せて存在するような同一のＲＴＰペイロード内にある。
【００１８】
本発明における間接的ＮＡＬユニットのための構造は、全ての関連するＮＡＬユニットに対して共通である、属性または特性情報を更に含む。その共通の属性又は特性情報は、スケーラビリティ情報と、関連するＮＡＬユニットが、そこにおいて異なったスケーラブル層をもって現在の層に切り替えることが可能であるようなスケーラブル層切り替えポイントを形成するかどうか、とを含むが、それらに制限されるわけではない。スケーラビリティ情報は、ｓｉｍｐｌｅ＿ｐｒｉｏｒｉｔｙ＿ｉｄ、  ｄｉｓｃａｒｄａｂｌｅ＿ｆｌａｇ、  ｄｅｐｅｎｄｅｎｃｙ＿ｉｄ、  ｔｅｍｐｏｒａｌ＿ｌｅｖｅｌ、そしてｑｕａｌｉｔｙ＿ｌｅｖｅｌというシンタックス要素を含む、少なくとも１つの「拡張された」、ＳＶＣ仕様中で特定されるＮＡＬユニットヘッダを、含んでよい。
【００１９】
本発明の間接的アグリゲータＮＡＬユニットは、Ｈ．２６４／ＡＶＣベース層のみのための処理ユニットによって無視されるべきタイプとして特定されるような、ＮＡＬユニットタイプから、選択される。言い換えれば、Ｈ．２６４／ＡＶＣデコーダ、ＡＶＣファイル形式パーサ、そしてＨ．２６４／ＡＶＣ  ＲＴＰのデペイローダイザは、本発明の間接的アグリゲータＮＡＬユニットを無視すべきである。更に間接的アグリゲータＮＡＬユニットは、復号過程において標準的効果の原因とはならないので、ＳＶＣデコーダに無視されてよい。間接的アグリゲータＮＡＬユニットについてのシンタックスとセマンティックスの、ＳＶＣファイル形式に対する例と、そしてＳＶＣ  ＲＴＰペイロード形式に対する別の例が、以下に与えられる。本発明は、カプセル化と符号化の形式についてのこれら特別の例に制限されるのではないということに注意すべきである。
【００２０】
ＳＶＣファイル形式に関しては、アグリゲータＮＡＬユニットによって、ＮＡＬＵ−ｍａｐ−ｇｒｏｕｐエントリを矛盾なく反復的にすることが可能となる。アグリゲータＮＡＬユニットは、同一のサンプルに所属し、同一のスケーラビリティ情報を持っているＳＶＣ  ＮＡＬユニットをグループ化するために用いられる。アグリゲータＮＡＬユニットは、スケーラブルな拡張ＮＡＬユニット（ＳＶＣ  ＮＡＬユニット）と同一のヘッダを使用するのであるが、しかしながら新しいＮＡＬユニットのタイプである。アグリゲータＮＡＬユニットは、エクストラクタＮＡＬユニットを含んでよい。エクストラクタＮＡＬユニットは、アグリゲータＮＡＬユニットを参照してよい。
【００２１】
ストリームを読み取る時、もしアグリゲータＮＡＬＵが必要でない（即ち、それが望ましくない層に所属している）ならば、そのユニットとそのコンテンツとは容易に廃棄される（ｌｅｎｇｔｈフィールドを用いて）。そのアグリゲータＮＡＬＵが必要ならば、そのヘッダは容易に廃棄され、そのコンテンツは保有される。
【００２２】
アグリゲータＮＡＬユニットは、２以上のＳＶＣ  ＮＡＬユニットを新しい１つのＮＡＬユニットにカプセル化する。そのアグリゲータＮＡＬユニットは、ＳＶＣ  ＮＡＬユニットと同一のシンタックス（ＳＶＣ仕様において特定されている通りの）を用いたＮＡＬユニットヘッダを使う。アグリゲータＮＡＬユニットは、他の任意のＮＡＬユニットと同じようにサンプル内に記憶される。
【００２３】
全てのＮＡＬユニットは、アグリゲータＮＡＬユニット内での復号順序を保って留まる。同一のｑｕａｌｉｔｙ＿ｌｅｖｅｌに所属するＮＡＬユニットがグループ化される場合、ｑｕａｌｉｔｙ＿ｌｅｖｅｌ＞０を有するＮＡＬユニットの順序は変化するかもしれない。アグリゲータＮＡＬユニットに対するシンタックスは以下の通りである。
【００２４】
class aligned(8) AggregatorNALUnit(AggregatorNALUnitSize) {
unsigned int i = 2;
/* NALUnitHeader as specified in the SVC spec */
bit(l) forbidden_zero_bit;
bit(2) NAL_ref_idc;
bit(5) NAL_unit_type = AggregatorNALUnitType = const(30);
bit(6) simple_dependency_ID;
bit(l) discardable_flag;
bit(l) extension_flag;
if (extension_flag) { 
quality_level = simple_dependency_ID;
bit (3) temporal_level;
bit (3) dependency_ID;
bit (2) quality_ID;
i++;
}
/* end of NAL unit header */
do { 
unsigned int((lengthSizeMinusOne+l)*8)
NALUnitLength;
bit(NALUnitLength * 8) SVCNALUnit;
i += (lengthSizeMinusOne+l)+NALUnitLength;
} while (i<AggregatorNALUnitSize);
}
アグリゲータＮＡＬユニットに対するセマンティックスは以下の通りである。
ＮＡＬＵｎｉｔＨｅａｄｅｒ：（８又は１６ビット）ＳＶＣ仕様において特定されている通り：
ＮＡＬ＿ｕｎｉｔ＿ｔｙｐｅが、アグリゲータＮＡＬユニットタイプ（タイプ３０）にセットされる。
スケーラビリティ情報（ＮＡＬ＿ｒｅｆ＿ｉｄｃ、ｓｉｍｐｌｅ＿ｄｅｐｅｎｄｅｎｃｙ＿ＩＤ、ｄｉｓｃａｒｄａｂｌｅ＿ｆｌａｇ、拡張されたスケーラビリティ情報）は、あらゆる集約されたＮＡＬユニットのヘッダ内におけるものと同一の値を持つものとする。
ＮＡＬＵｎｉｔＬｅｎｇｔｈ：後に続くＮＡＬユニットのサイズを特定する。このフィールドのサイズは、ｌｅｎｇｔｈＳｉｚｅＭｉｎｕｓＯｎｅエントリを用いて特定される。
ＳＶＣＮＡＬＵｎｉｔ：ＳＶＣ仕様において特定されている通りのＳＶＣ  ＮＡＬユニットであり、ＳＶＣ  ＮＡＬユニットヘッダを含む。ＳＶＣ  ＮＡＬユニットのサイズは、ＮＡＬＵｎｉｔＬｅｎｇｔｈによって特定される。
【００２５】
アグリゲータＮＡＬユニットは、同一のスケーラビリティ層のＳＶＣ  ＮＡＬユニットを収集すると仮定する。同様にむしろ、異なった層のＳＶＣ  ＮＡＬユニットをグループ化してもよい（例えば、全てのｑｕａｌｉｔｙ  ｌｅｖｅｌ（ＦＧＳフラグメント）のグループ化や、同一のｄｅｐｅｎｄｅｎｃｙ＿ＩＤを有する全てのＮＡＬユニットのグループ化など）。今回の場合において、ａｇｇｒｅｇａｔｉｏｎ  ＮＡＬユニットヘッダは、ｄｅｐｅｎｄｅｎｃｙ＿ＩＤ及び／又はｔｅｍｐｏｒａｌ＿ｌｅｖｅｌ、ｑｕａｌｉｔｙ＿ＩＤの最も低いＳＶＣ  ＮＡＬユニットのスケーラビリティ情報を信号で合図するであろう。
【００２６】
ＮＡＬユニットヘッダによって合図されないかもしれないスケーラビリティのレベルに所属するＳＶＣ  ＮＡＬユニット（例えば、興味ある領域に所属するＳＶＣ  ＮＡＬユニット）をグループ化するために、アグリゲータＮＡＬユニットを用いることができる。そのようなアグリゲータＮＡＬユニットの説明は、その層の説明と、そのＮＡＬユニットのマップグループを用いてなされてよい。この場合において、同一のスケーラビリティ情報を有する２以上のアグリゲータＮＡＬユニットが、１サンプル中に存在してよい。
【００２７】
アグリゲータＮＡＬユニットによって、あらゆるＡＵにおける各々の層に対するＮＡＬユニットの数を一定にすることができる。一定パターンを保証するため、以下のことが起こりうる。ＡＶＣベース層のＮＡＬＵｓがアグリゲータＮＡＬユニットにグループ化されうる（ＳＶＣストリーム内で用いられる場合）。この場合において、ｔｅｍｐｏｒａｌ＿ｌｅｖｅｌ、ｄｅｐｅｎｄｅｎｃｙ＿ＩＤ、そしてｑｕａｌｉｔｙ＿ＩＤは全て０に設定される。ＡＶＣベース層のＮＡＬＵｓは、ｅｘｔｒａｃｔｏｒＮＡＬによって参照されうる。何らかの理由により、このＡＵ内に、特定の層についてのＮＡＬＵが存在しない場合には、この位置には空のアグリゲータＮＡＬユニットが存在してよい。
【００２８】
ＳＶＣビデオに対するＲＴＰペイロード方式に関しては、ペイロードコンテンツスケーラビリティ情報ＮＡＬユニットは、一般的に以下の通りである。ＳＶＣ  ＮＡＬユニットは、１、２、又は３バイトのヘッダと、ペイロードバイトストリングとを備える。ヘッダは、ＮＡＬユニットのタイプ、（潜在的な）ビットエラーの存在又はＮＡＬユニットペイロード内のシンタックス違反、復号過程に対してのＮＡＬユニットの相対的な重要性に関する情報、そして（ヘッダが３バイトである場合のオプションである）スケーラブル層の復号の依存性情報、を指示する。
【００２９】
ＮＡＬユニットヘッダは、今回のＲＴＰペイロード形式のペイロードヘッダとしても、また役に立つ。ＮＡＬユニットペイロードが、すぐ次に続く。ＮＡＬユニットヘッダのシンタックスとセマンティックスとは［ＳＶＣ］において特定されているのではあるが、ＮＡＬユニットヘッダの本質的な性質を以下に要約する。
【００３０】
ＮＡＬユニットヘッダの最初のバイトは、以下の形式をとる。
+---------------+
|0|1|2|3|4|5|6|7|
+-+-+-+-+-+-+-+-+
|F|NRI|  Type   |
+---------------+
【００３１】
ｆｏｒｂｉｄｄｅｎ＿ｚｅｒｏ＿ｂｉｔ  （Ｆ）：１ビット。Ｈ．２６４仕様においては、１の値をシンタックス違反として宣言している。
【００３２】
ｎａｌ＿ｒｅｆ＿ｉｄｃ  （ＮＲＩ）：２ビット。００の値は、ピクチャ間予測のための参照ピクチャを再構築するために、そのＮＡＬユニットのコンテンツが使用されないことを指示する。そのようなＮＡＬユニットは、同一の層における参照ピクチャのインテグリティを危険に晒すことなく廃棄可能である。００よりも大きい値は、ＮＡＬユニットの復号において参照ピクチャのインテグリティを保持する必要があるということを指示する。あるスライス又はスライスデータパーティショニングＮＡＬユニットに対して、ＮＲＩ値が１１であるということは、そのＮＡＬユニットが［ＳＶＣ］において特定されるキーピクチャのデータを含むということを指示する。
【００３３】
情報メモ：キーピクチャの概念はＳＶＣにおいて導入されたのであり、Ｈ．２６４の２００３、２００５バージョンに準拠したビットストリーム中の任意のピクチャがこのルールに従うと仮定すべきではない。
【００３４】
ｎａｌ＿ｕｎｉｔ＿ｔｙｐｅ  （Ｔｙｐｅ）：５ビット。この構成要素は、ＮＡＬユニットペイロードタイプを特定する。以前、（数ある中での）２０と２１のＮＡＬユニットタイプが、将来の拡張のために予約された。ＳＶＣはこれら２つのＮＡＬユニットタイプを用いている。それらは、移送の観点から助けとなるもう１つのバイトの存在を指示する。
+---------------+
|0|1|2|3|4|5|6|7|
+-+-+-+-+-+-+-+-+
|   PRID    |D|E|
+---------------+
【００３５】
ｓｉｍｐｌｅ＿ｐｒｉｏｒｉｔｙ＿ｉｄ  （ＰＲＩＤ）：６ビット。この構成要素は、ＮＡＬユニットに対する優先度識別子を特定する。ｅｘｔｅｎｓｉｏｎ＿ｆｌａｇが０に等しいとき、ｓｉｍｐｌｅ＿ｐｒｉｏｒｉｔｙ＿ｉｄはｄｅｐｅｎｄｅｎｃｙ＿ｉｄ、ｔｅｍｐｏｒａｌ＿ｌｅｖｅｌ、そしてｑｕａｌｉｔｙ＿ｌｅｖｅｌの値を推測するために用いられる。ｓｉｍｐｌｅ＿ｐｒｉｏｒｉｔｙ＿ｉｄが存在しないとき、それは０に等しいことが暗示されている。
【００３６】
ｄｉｓｃａｒｄａｂｌｅ＿ｆｉａｇ  （Ｄ）：１ビット。値１は、ｄｅｐｅｎｄｅｎｃｙ＿ｉｄ  ＞  ｃｕｒｒＤｅｐｅｎｄｅｎｃｙｌｄであるＮＡＬユニットの復号過程において、ＮＡＬユニット（ｄｅｐｅｎｄｅｎｃｙ＿ｉｄ  ＝  ｃｕｒｒＤｅｐｅｎｄｅｎｃｙｌｄ）のコンテンツが使用されないということを指示する。そのようなＮＡＬユニットは、より大きい値のｄｅｐｅｎｄｅｎｃｙ＿ｉｄを有する、より高いスケーラブル層のインテグリティを危険に晒すことなく廃棄可能である。ｄｉｓｃａｒｄａｂｌｅ＿ｆｌａｇが０に等しいならば、ＮＡＬユニットの復号において、より大きい値のｄｅｐｅｎｄｅｎｃｙ＿ｉｄを有する、より高いスケーラブル層のインテグリティを保持する必要があるということを指示する。
【００３７】
ｅｘｔｅｎｓｉｏｎ＿ｆｌａｇ  （Ｅ）：１ビット。値１は、ＮＡＬユニットヘッダの３番目のバイトが存在するということを指示する。２番目のバイトのＥビットが１であるとき、ＮＡＬユニットヘッダは３番目のバイトにまで及ぶ。
+---------------+
|0|1|2|3|4|5|6|7|
+-+-+-+-+-+-+-+-+
| TL  | DID | QL|
+---------------+
【００３８】
ｔｅｍｐｏｒａｌ＿ｌｅｖｅｌ  （ＴＬ）：３ビット。この構成要素は、時間スケーラビリティ又はフレームレートを指示するために用いられる。より小さなｔｅｍｐｏｒａｌ＿ｌｅｖｅｌの値のピクチャから成る層は、より低いフレームレートを有する。
【００３９】
ｄｅｐｅｎｄｅｎｃｙ＿ｉｄ  （ＤＩＤ）：３ビット。この構成要素は、層間での符号化の依存性の階層構造を指示するために用いられる。任意の時間位置において、ｄｅｐｅｎｄｅｎｃｙ＿ｉｄ値のより大きいピクチャを符号化するための層間予測のために、ｄｅｐｅｎｄｅｎｃｙ＿ｉｄ値のより小さいピクチャを用いてよい。
【００４０】
Ｑｕａｌｉｔｙ＿ｌｅｖｅｌ  （ＱＬ）：２ビット。この構成要素は、ＦＧＳ層の階層構造を指示するために用いられる。任意の時間位置において、そして同一のｄｅｐｅｎｄｅｎｃｙ＿ｉｄ値を用いて、ＱＬに等しいｑｕａｌｉｔｙ＿ｌｅｖｅｌ値を有するＦＧＳピクチャは、そのＦＧＳピクチャか、又は、ｑｕａｌｉｔｙ＿ｌｅｖｅｌ値がＱＬ−１に等しいベースクオリティピクチャ（ＱＬ−１  ＝  ０  であるときの、ＦＧＳでないピクチャ）を、層間予測のために用いる。ＱＬが０より大きいとき、そのＮＡＬユニットはＦＧＳスライス、又はその一部を有する。
【００４１】
本実施形態において、ペイロードコンテンツスケーラビリティ情報（ＰＡＣＳＩ：ｐａｙｌｏａｄ  ｃｏｎｔｅｎｔ  ｓｃａｌａｂｉｌｉｔｙ  ｉｎｆｏｒｍａｔｉｏｎ）ＮＡＬユニットと称される、新たなＮＡＬユニットタイプが特定される。ＰＡＣＳＩ  ＮＡＬユニットは、もし存在するならば、集約パケットにおける第１のＮＡＬユニットでなければならず、そして他のタイプのパケット内に存在してはならない。ＰＡＣＳＩ  ＮＡＬユニットは、ペイロード内の残り全てのＮＡＬユニットに対して共通であるスケーラビリティ特性を指示するのであり、従ってＭＡＮＥｓがそのパケットを転送するか又は廃棄するか決定することを、より容易とする。送信器は、ＰＡＣＳＩ  ＮＡＬユニットを作成してよいし、受信器はそれらを無視することが可能である。
【００４２】
ＰＡＣＳＩ  ＮＡＬユニットのための、そのＮＡＬユニットタイプは、Ｈ．２６４／ＡＶＣ仕様とＲＦＣ  ３９８４とにおいて特定されていない値の中から選択される。それ故に、Ｈ．２６４／ＡＶＣベース層を有しＰＡＣＳＩ  ＮＡＬユニットを含むＳＶＣストリームを、ＲＦＣ  ３９８４の受信器とＨ．２６４／ＡＶＣのデコーダを用いて処理することが可能である。
【００４３】
集約パケットにおける第１の集約ユニットがＰＡＣＳＩ  ＮＡＬユニットを含む場合、同一のパケット内には少なくとも１つの追加的集約ユニットが存在しなければならない。ＲＴＰヘッダフィールドは、その集約パケット内の残りのＮＡＬユニットに従って設定される。
【００４４】
ＰＡＣＳＩ  ＮＡＬユニットがマルチ時間集約パケット内に含まれるとき、そのＰＡＣＳＩ  ＮＡＬユニットに対する復号順序番号は、そのＰＡＣＳＩ  ＮＡＬユニットが、その集約パケット内のＮＡＬユニット間の復号順序における第１のＮＡＬユニットであることを指示するよう設定しなければならないか、又は、そのＰＡＣＳＩ  ＮＡＬユニットは、その集約パケット内の残りのＮＡＬユニット間での復号順序における第１のＮＡＬユニットと同一の復号順序番号を有する。
【００４５】
ＰＡＣＳＩ  ＮＡＬユニットの構造は、次のように特定される。
0                   1                   2
0 1 2 3 4 5 6 7 8 9 0 1 2 3 4 5 6 7 8 9 0 1 2 3
+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+
|F|NRI|  Type   |   PRID    |D|E| TL  | DID | QL|
+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+
【００４６】
ＰＡＣＳＩ  ＮＡＬユニット内のフィールドの値は、次の通りに設定されなければならない。
−Ｆビットは、ペイロード内の残りのＮＡＬユニットのいずれかにおけるＦビットが１に等しいならば、１に設定されなければならない。それ以外の場合、Ｆビットは０に設定されなければならない。
−ＮＲＩフィールドは、ペイロード内の残りのＮＡＬユニット間での最も高いＮＲＩフィールド値に設定されなければならない。
−Ｔｙｐｅフィールドは３０に設定されなければならない。
−ＰＲＩＤフィールドは、ペイロード内の残りのＮＡＬユニット間での最も低いＰＲＩＤフィールド値に設定されなければならない。ペイロード内の残りのＮＡＬユニットのうちの１つにおいてＰＲＩＤフィールドが存在しない場合は、ＰＡＣＳＩ  ＮＡＬユニットにおけるＰＲＩＤフィールドは０に設定されなければならない。
−Ｄビットは、ペイロード内の残りのＮＡＬユニットのいずれかにおけるＤビットが０に等しいならば、０に設定されなければならない。それ以外の場合、Ｄビットは１に設定されなければならない。
−Ｅビットは１に設定されなければならない。
−ＴＬフィールドは、ペイロード内の残りのＮＡＬユニット間での最も低いＴＬフィールド値に設定されなければならない。
−ＤＩＤフィールドは、ペイロード内の残りのＮＡＬユニット間での最も低いＤＩＤフィールド値に設定されなければならない。
−ＱＬフィールドは、ペイロード内の残りのＮＡＬユニット間での最も低いＱＬフィールド値に設定されなければならない。
【００４７】
本発明の間接的アグリゲータＮＡＬユニットは、ビットストリーム内のスケーラビリティ依存性を容易に識別することを可能とするのであり、それによって、高速で効率的なストリーム操作が可能となる。その間接的アグリゲータＮＡＬユニットは、Ｈ．２６４／ＡＶＣデコーダ、ＡＶＣファイル形式パーサ、そしてＨ．２６４／ＡＶＣ  ＲＴＰペイロードパーサを用いてのストリームにおけるベース層の処理が依然として可能であることを保証する。
【００４８】
復号の場合において、復号されるべきビットストリームは、事実上如何なるタイプのネットワーク内に配置されたリモートデバイスからでも受信される可能性がある、ということに注意すべきである。更には、ビットストリームはローカルなハードウェア又はソフトウェアから受信される可能性がある。また当然のことながら、ここに含まれる文章と例とは具体的に１つの符号化過程を説明しているのではあるが、同一の概念と原理とを対応する符号化過程にも適用できるし、逆もまた同様であるということは、当業者ならば即座に理解できる。
【００４９】
図１は、その内部において、符号化の側と復号の側との両方について本発明を実施可能であるような、１つの代表的電子デバイス１２を示す。しかしながら、本発明が電子デバイス１２の特定の１タイプに制限されることを意図されたものではないというのは当然である。図１の電子デバイス１２は、ディスプレイ３２、キーパッド３４、マイクロフォン３６、イヤーピース３８、赤外線ポート４２、アンテナ４４、本発明の１つの実施形態に従ってＵＩＣＣ形式であるスマートカード４６、カードリーダ４８、無線インターフェース回路５２、コーデック回路５４、コントローラ５６、そしてメモリ５８を備える。個々の回路と要素とは、全て当該技術分野で周知であるようなタイプであって、例えば携帯電話のＮｏｋｉａ  ｒａｎｇｅ内のものである。
【００５０】
図２は、本発明と共に用いるための一般的マルチメディア通信システムを示す。データソース１００は、アナログ、非圧縮デジタル、又は圧縮されたデジタル形式、又はこれら形式の任意の組み合わせで、ソース信号を提供する。エンコーダ１１０は、ソース信号を符号化されたメディアビットストリームへと符号化する。エンコーダ１１０は、音声と映像のように２以上のメディアタイプを符号化する能力を有していてよいし、又は２以上のエンコーダ１１０が、ソース信号における異なったメディアタイプを符号化するために要求されてもよい。エンコーダ１１０はまた、画像とテキストのように合成して作られた入力を得てもよいし、又は、合成メディアについての符号化されたビットストリームを作り出す能力を有するかもしれない。以下においては、説明を単純なものとするために、１つのメディアタイプについての１つの符号化されたメディアビットストリームの処理のみを考える。しかしながら、典型的なリアルタイム放送サービスは複数のストリーム（典型的には、少なくとも１つの音声、ビデオ、そしてサブタイトルテキストのストリーム）を含むということに注意すべきである。また、システムには多くのエンコーダが備えられてよいということ、しかしながら以下においては一般性を失うことなく説明を単純化するために１つのエンコーダ１１０だけを考えるということにも注意すべきである。
【００５１】
符号化されたメディアビットストリームは、ストレージ１２０へと送信される。ストレージ１２０は、符号化されたメディアビットストリームを記憶するための如何なるタイプの大容量記憶装置を含んでもよい。ストレージ１２０内での符号化されたメディアビットストリームの形式は、基本的な自己完結型のビットストリーム形式であってよいし、又は、１以上の符号化されたメディアビットストリームが、格納ファイル内へとカプセル化されてもよい。あるシステムは、「ライブで」動作する。すなわち、ストレージを省略して、符号化されたメディアビットストリームをエンコーダ１１０から直接送信器１３０へと送信する。符号化されたメディアビットストリームはそれから必要に応じて、送信器１３０（サーバとも呼ばれる）へと送信される。送信において用いられる形式は、基本的な自己完結型のビットストリーム形式であってよいし、パケットストリーム形式であってよいし、又は、１以上の符号化されたメディアビットストリームが、格納ファイル内へとカプセル化されてもよい。エンコーダ１１０、ストレージ１２０、そしてサーバ１３０は、同一の物理デバイス内に常駐しても、又は別個のデバイス内に備えられていてもよい。エンコーダ１１０とサーバ１３０は、ライブのリアルタイムコンテンツをもって動作してもよい。その場合において、符号化されたメディアビットストリームは恒久的に記憶されるのではなく、むしろ、処理の遅延、送信の遅延、そして符号化されたメディアのビットレートの差異をならすために、コンテンツエンコーダ１１０及び／又はサーバ１３０内で短い時間の間バッファされるのが典型的である。
【００５２】
サーバ１３０は、符号化されたメディアビットストリームを、通信プロトコルスタックを用いて送信する。スタックにはリアルタイプ転送プロトコル（ＲＴＰ）、ユーザデータグラムプロトコル（ＵＤＰ：Ｕｓｅｒ  Ｄａｔａｇｒａｍ  Ｐｒｏｔｏｃｏｌ）、そしてインターネットプロトコル（ＩＰ）が含まれてよいが、これらに制限されるわけではない。通信プロトコルスタックがパケット指向である場合には、サーバ１３０は、符号化されたメディアビットストリームをパケットへとカプセル化する。例えば、ＲＴＰが使われている場合には、サーバ１３０は、ＲＴＰペイロード形式に従い、符号化されたメディアビットストリームをＲＴＰパケットへとカプセル化する。典型的に、各々のメディアタイプは専用のＲＴＰペイロード形式を有している。システムには２以上のサーバ１３０が含まれてもよいのであるが、単純化のために、以下の説明では１つのサーバ１３０のみを考えるということに再び注意すべきである。
【００５３】
サーバ１３０は、通信ネットワークを介してゲートウェイ１４０に接続されているかもしれないし、又は接続されていないかもしれない。ゲートウェイ１４０は、ある通信プロトコルスタックに従ったパケットストリームの別の通信プロトコルスタックへの変換や、データストリームのマージ及びフォーキングや、例えば下りリンクの現行のネットワーク条件に応じて転送ストリームのビットレートを制御するといったような下りリンク及び／又は受信器の能力に応じたデータストリームの操作等、異なったタイプの機能を実行してよい。ゲートウェイ１４０の例としては、マルチポイント会議制御ユニット（ＭＣＵｓ）、回線交換、パケット交換ビデオ電話通信の間でのゲートウェイ、ＰｏＣ（Ｐｕｓｈ−ｔｏ−ｔａｌｋ  ｏｖｅｒ  Ｃｅｌｌｕｌａｒ）サーバ、ＤＶＢ−Ｈ（ｄｉｇｉｔａｌ  ｖｉｄｅｏ  ｂｒｏａｄｃａｓｔｉｎｇ−ｈａｎｄｈｅｌｄ）システムにおけるＩＰエンカプスレータ、又は放送の送信を無線ホームネットワークへローカルに転送するセットトップボックス、が含まれる。ＲＴＰが使われている場合、ゲートウェイ１４０はＲＴＰミキサと呼ばれ、ＲＴＰ接続のエンドポイントとしての役目を果たす。
【００５４】
システムには１以上の受信器１５０が備えられ、それは典型的に、送信された信号を受信し、復調し、そして符号化されたメディアビットストリームへと脱カプセル化する能力を有する。その符号化されたメディアビットストリームは典型的に、デコーダ１６０によって更に処理されるのであり、デコーダ１６０は１以上の非圧縮メディアストリームを出力する。最終的にはレンダラ１７０が、例えばラウドスピーカーやディスプレイを用いてその非圧縮メディアストリームを再生してよい。受信器１５０、デコーダ１６０、そしてレンダラ１７０は、同一の物理デバイス内に常駐しても、又は別個のデバイス中に備えられていてもよい。
【００５５】
ビットレート、復号の複雑性、そしてピクチャサイズに関するスケーラビリティは、異機種間環境やエラーの多い環境にとっては魅力ある性質である。この性質は、受信するデバイスにおいてのビットレート制約、ディスプレイ解像度、ネットワーク回線容量、そしてコンピュータ能力といった制限に対抗するために、魅力的である。
【００５６】
スケーラビリティは、層構造の符号化と移送優先順位付けとを組み合わせるような移送システム内において、誤り耐性を改善するために用いることができる。「移送優先順位付け」という用語は、異なったエラー／損失率を有する異なったチャンネルを提供するための、不均一誤り保護を含め、移送において異なった質のサービスを提供するための、様々なメカニズムを指している。それらの性質に依存して、データは別々に割り当てられる。例えば、ベース層は誤り保護の程度が高いチャンネルを介して運ばれるかもしれないし、エンハンスメント層はよりエラーの多いチャンネルを介して送信されるかもしれない。
【００５７】
マルチポイントでのマルチメディア放送アプリケーションにおいては、ネットワーク回線容量の制約を、符号化の時点では予測できないかもしれない。従って、スケーラブルなビットストリームを用いるべきである。図３は、各々のルータがその能力に応じてビットストリームをはぎ落とすことができる、ＩＰマルチキャスティング配列を示す。図３には、幾つものクライアントＣ１−Ｃ３に対してビットストリームを提供するサーバＳが示されている。ビットストリームは、ルータＲ１−Ｒ３によってクライアントへとルーティングされる。この例において、サーバは、１２０ｋｂｉｔ／ｓ、６０ｋｂｉｔ／ｓ、そして２８ｋｂｉｔ／ｓという、少なくとも３つのビットレートへとスケーリングすることが可能なクリップを提供している。
【００５８】
クライアントとサーバとが通常のユニキャスト接続を通じて接続されている場合、サーバは、送信されるマルチメディアクリップのビットレートを一時的チャンネル回線容量に従って調節しようと試みるかもしれない。１つの解決法は、層構造のビットストリームを用いて、送信されるエンハンスメント層の数を変えることにより帯域幅の変化に適応するということである。
【００５９】
本発明は方法ステップ一般に関連して説明されているのであり、それは、ネットワーク化された環境中のコンピュータによって実行される、例えばプログラムコードのようなコンピュータ実行可能な命令を含むプログラム製品による実施形態において実行可能である。一般的に、プログラムモジュールには、特定のタスクを実行するか、又は特定の抽象データ型を実装する、ルーチン、プログラム、オブジェクト、コンポーネント、データ構造等が含まれる。データ構造に関連してコンピュータ実行可能な命令、そしてプログラムモジュールは、ここにおいて開示される方法のステップを実行するためのプログラムコードについての例を表す。一連の、そのような実行可能な命令又は関連するデータ構造の特定のものは、そのようなステップにおいて説明される機能を実装するための対応する動作の例を表す。
【００６０】
規則に基づいたロジックと、さまざまなデータベース検索ステップ、相関ステップ、比較ステップ、決定ステップ、を遂行するための他のロジックと、を用いての標準的プログラミング技法を使って、本発明のソフトウェア、ＷＥＢでの実行を成すことが可能である。ここにおいて、そして請求の範囲において用いられる、「コンポーネント（構成要素）」、「モジュール」という単語は、１行以上のソフトウェアコード、及び／又はハードウェア装置、及び／又はマニュアル入力を受信するための機器、を用いての実装をその範囲に含むことを意図されたものであることに、併せて注意すべきである。
【００６１】
本発明における実施形態の上記の説明は、描写と説明の目的で与えられてきた。その説明によって全てを網羅することを意図したものでも、また本発明を、その開示された通りの正確な形式へと制限することを意図したものでもないのであって、上述の教示に照らして修正や変更を考えることは可能であるし、又は本発明を実行することで、その修正、変更がもたらされるかもしれない。実施形態は、本発明の原理を説明するために、そして、本発明をさまざまな実施形態において、そして意図された特定の用途に適するようにとさまざまな修正をした上で、利用することを当業者にとって可能とするための実用的な応用を説明するためにと、選択され、そして説明されたものである。
【図面の簡単な説明】
【００６２】
【図１】図１は、本発明の機能性を実装するためのエンコーダ又はデコーダとして役に立つことができる電子デバイスに含まれる回路の図解的な表現である。
【図２】図２は、本発明と共に用いるための一般的マルチメディア通信システムを示す。
【図３】図３は、各々のルータがその能力に応じてビットストリームをはぎ落とすことができる、ＩＰマルチキャスティング配列を示す。
【図１】
2009537078.tif 000003
【図２】
2009537078.tif 000004
【図３】
2009537078.tif 000005
【国際調査報告】
2009537078.tif 000006
2009537078.tif 000007
2009537078.tif 000008