(57)【要約】デバイスは、補足エンハンスメント情報（ＳＥＩ）メッセージによって記述されるコード化ビデオピクチャのシーケンスとは別個にＳＥＩメッセージが記憶されるように、ビデオデータをカプセル化する。例示的なデバイスは、コード化ビデオピクチャとは別個の１つまたは複数のＳＥＩメッセージを生成する制御ユニットと、ＳＥＩメッセージは、コード化ビデオピクチャのシーケンスの各々を記述し、コード化ビデオピクチャのうちの２つ以上に共通の要素を含み、コード化ビデオピクチャのシーケンスとは別個にＳＥＩメッセージを出力する出力インターフェースとを含む。例示的な宛先デバイスは、コード化ビデオピクチャとは別個にＳＥＩメッセージを受信し、ＳＥＩメッセージを使用してコード化ビデオピクチャをレンダリングする。
2013536623.tif 000002
【特許請求の範囲】
【請求項１】
コード化ビデオピクチャのシーケンスを備えるカプセル化されたビデオデータを出力する方法であって、前記方法は、
前記コード化ビデオピクチャとは別個の１つまたは複数の補足エンハンスメント情報（ＳＥＩ）メッセージを生成することと、前記ＳＥＩメッセージは、前記コード化ビデオピクチャのシーケンスの各々を記述し、前記コード化ビデオピクチャのうちの２つ以上に共通の要素を含み、
前記コード化ビデオピクチャのシーケンスとは別個に前記ＳＥＩメッセージを出力することと、
を備える方法。
【請求項２】
前記ＳＥＩメッセージは、２つ以上のアクセスユニットに適用可能なシーケンスレベルＳＥＩメッセージを備え、前記２つ以上のアクセスユニットは前記コード化ビデオピクチャのシーケンスを備え、前記１つまたは複数のＳＥＩメッセージを生成することは、前記アクセスユニットから前記シーケンスレベルＳＥＩメッセージを分離することを備える、請求項１に記載の方法。
【請求項３】
前記ＳＥＩメッセージは、Ｈ．２６４／Ａｄｖａｎｃｅｄ  Ｖｉｄｅｏ  Ｃｏｄｉｎｇ（ＡＶＣ）、Ｈ．２６４のＳｃａｌａｂｌｅ  Ｖｉｄｅｏ  Ｃｏｄｉｎｇ（ＳＶＣ）拡張、およびＨ．２６４のＭｕｌｔｉｖｉｅｗ  Ｖｉｄｅｏ  Ｃｏｄｉｎｇ（ＭＶＣ）拡張のうちの少なくとも１つのＳＥＩメッセージタイプとして定義される、請求項１に記載の方法。
【請求項４】
出力することは、前記ＳＥＩメッセージと前記コード化ビデオピクチャとをビデオファイルの形態でカプセル化することを備え、
出力することは、さらに、前記コード化ビデオピクチャのシーケンスを含むファイルユニットとは別個のファイルユニット中に前記ＳＥＩメッセージを含めることを備える、
請求項１に記載の方法。
【請求項５】
前記ＳＥＩメッセージを含む前記別個のファイルユニットは前記ビデオファイルのパラメータセットトラックを備え、前記パラメータセットトラックは、さらに、前記コード化ビデオピクチャのシーケンスのシーケンスパラメータセットデータおよびピクチャパラメータセットデータのうちの少なくとも１つを備える、請求項４に記載の方法。
【請求項６】
メディア表現のための初期化セグメントは前記別個のファイルユニットを備える、請求項４に記載の方法。
【請求項７】
前記ＳＥＩメッセージを生成することは、前記ＳＥＩメッセージのうちの少なくとも１つ内に、前記ＳＥＩメッセージに対応する前記コード化ビデオピクチャのシーケンスの持続時間をシグナリングするシグナリング情報を生成することを備える、請求項１に記載の方法。
【請求項８】
前記コード化ビデオピクチャのシーケンスはコード化ビデオピクチャの第１のシーケンスを備え、前記ＳＥＩメッセージはＳＥＩメッセージの第１のセットを備え、前記方法は、
コード化ビデオピクチャの第２のシーケンスとは別個の１つまたは複数のＳＥＩメッセージの第２のセットを生成することと、前記ＳＥＩメッセージの第２のセットは、前記コード化ビデオピクチャの第２のシーケンスの各々を記述し、前記コード化ビデオピクチャの第２のシーケンスのうちの２つ以上に共通の要素を含み、
前記コード化ビデオピクチャの第２のシーケンスとは別個に前記ＳＥＩメッセージの第２のセットを出力することと、
をさらに備える請求項１に記載の方法。
【請求項９】
出力することは、
前記ＳＥＩメッセージと前記コード化ビデオピクチャのシーケンスとを備えるビデオデータを符号化することと、
ネットワーク上で前記符号化されたビデオデータをストリーミングすることと、
を備える請求項１に記載の方法。
【請求項１０】
前記ビデオデータをストリーミングすることは、少なくとも１つの伝送制御プロトコル（ＴＣＰ）接続を介して前記ビデオデータをストリーミングすることを備える、請求項９に記載の方法。
【請求項１１】
前記少なくとも１つのＴＣＰ接続はハイパーテキスト転送プロトコル（ＨＴＴＰ）接続を備える、請求項１０に記載の方法。
【請求項１２】
生成することは、コーデックレベルのビデオエンコーダによって、前記コード化ビデオピクチャのシーケンスとは別個に前記ＳＥＩメッセージを符号化することを備える、請求項１に記載の方法。
【請求項１３】
コード化ビデオピクチャのシーケンスを備えるカプセル化されたビデオデータを出力するための装置であって、前記装置は、
前記コード化ビデオピクチャとは別個の１つまたは複数の補足エンハンスメント情報（ＳＥＩ）メッセージを生成するように構成された制御ユニットと、前記ＳＥＩメッセージは、前記コード化ビデオピクチャのシーケンスの各々を記述し、前記コード化ビデオピクチャのうちの２つ以上に共通の要素を含み、
前記コード化ビデオピクチャのシーケンスとは別個に前記ＳＥＩメッセージを出力するように構成された出力インターフェースと、
を備える装置。
【請求項１４】
前記ＳＥＩメッセージは、２つ以上のアクセスユニットに適用可能なシーケンスレベルＳＥＩメッセージを備え、前記２つ以上のアクセスユニットは前記コード化ビデオピクチャのシーケンスを備え、前記制御ユニットは、前記アクセスユニットから前記シーケンスレベルＳＥＩメッセージを分離するように構成された、請求項１３に記載の装置。
【請求項１５】
前記制御ユニットは、前記ＳＥＩメッセージと前記コード化ビデオピクチャとをビデオファイルの形態でカプセル化するように構成され、前記制御ユニットは、前記コード化ビデオピクチャのシーケンスを含むファイルユニットとは別個のファイルユニット中に前記ＳＥＩメッセージを含めるように構成された、請求項１３に記載の装置。
【請求項１６】
前記ＳＥＩメッセージを含む前記別個のファイルユニットは前記ビデオファイルのパラメータセットトラックを備え、前記パラメータセットトラックは、さらに、前記コード化ビデオピクチャのシーケンスのシーケンスパラメータセットデータおよびピクチャパラメータセットデータのうちの少なくとも１つを備える、請求項１５に記載の装置。
【請求項１７】
メディア表現のための初期化セグメントは前記別個のファイルユニットを備える、請求項１５に記載の装置。
【請求項１８】
前記制御ユニットは、前記ＳＥＩメッセージのうちの少なくとも１つ内に、前記ＳＥＩメッセージに対応する前記コード化ビデオピクチャのシーケンスの持続時間をシグナリングするシグナリング情報を生成するように構成された、請求項１３に記載の装置。
【請求項１９】
前記コード化ビデオピクチャのシーケンスはコード化ビデオピクチャの第１のシーケンスを備え、前記ＳＥＩメッセージはＳＥＩメッセージの第１のセットを備え、
前記制御ユニットは、コード化ビデオピクチャの第２のシーケンスとは別個の１つまたは複数のＳＥＩメッセージの第２のセットを生成するように構成され、前記ＳＥＩメッセージの第２のセットは、前記コード化ビデオピクチャの第２のシーケンスの各々を記述し、前記コード化ビデオピクチャの第２のシーケンスのうちの２つ以上に共通の要素を含み、
前記出力インターフェースは、前記コード化ビデオピクチャの第２のシーケンスとは別個に前記ＳＥＩメッセージの第２のセットを出力するように構成された、請求項１３に記載の装置。
【請求項２０】
前記装置は、
集積回路と、
マイクロプロセッサと、
前記制御ユニットを含むワイヤレス通信デバイスと、
のうちの少なくとも１つを備える、請求項１３に記載の装置。
【請求項２１】
コード化ビデオピクチャのシーケンスを備えるカプセル化されたビデオデータを出力するための装置であって、前記装置は、
前記コード化ビデオピクチャとは別個の１つまたは複数の補足エンハンスメント情報（ＳＥＩ）メッセージを生成する手段と、前記ＳＥＩメッセージは、前記コード化ビデオピクチャのシーケンスの各々を記述し、前記コード化ビデオピクチャのうちの２つ以上に共通の要素を含み、
前記コード化ビデオピクチャのシーケンスとは別個に前記ＳＥＩメッセージを出力する手段と、
を備える装置。
【請求項２２】
前記ＳＥＩメッセージは、２つ以上のアクセスユニットに適用可能なシーケンスレベルＳＥＩメッセージを備え、前記２つ以上のアクセスユニットは前記コード化ビデオピクチャのシーケンスを備え、前記１つまたは複数のＳＥＩメッセージを生成する手段は、前記アクセスユニットから前記シーケンスレベルＳＥＩメッセージを分離する手段を備える、請求項２１に記載の装置。
【請求項２３】
前記出力する手段は、前記ＳＥＩメッセージと前記コード化ビデオピクチャとをビデオファイルの形態でカプセル化する手段を備え、
前記出力する手段は、前記コード化ビデオピクチャのシーケンスを含むファイルユニットとは別個のファイルユニット中に前記ＳＥＩメッセージを含める手段をさらに備える、
請求項２１に記載の装置。
【請求項２４】
前記ＳＥＩメッセージを含む前記別個のファイルユニットは前記ビデオファイルのパラメータセットトラックを備え、前記パラメータセットトラックは、さらに、前記コード化ビデオピクチャのシーケンスのシーケンスパラメータセットデータおよびピクチャパラメータセットデータのうちの少なくとも１つを備える、請求項２３に記載の装置。
【請求項２５】
メディア表現のための初期化セグメントが前記別個のファイルユニットを備える、請求項２３に記載の装置。
【請求項２６】
前記ＳＥＩメッセージを生成する手段は、前記ＳＥＩメッセージのうちの少なくとも１つ内に、前記ＳＥＩメッセージに対応する前記コード化ビデオピクチャのシーケンスの持続時間をシグナリングするシグナリング情報を生成する手段を備える、請求項２１に記載の装置。
【請求項２７】
前記コード化ビデオピクチャのシーケンスはコード化ビデオピクチャの第１のシーケンスを備え、前記ＳＥＩメッセージがＳＥＩメッセージの第１のセットを備え、前記装置は、
コード化ビデオピクチャの第２のシーケンスとは別個の１つまたは複数のＳＥＩメッセージの第２のセットを生成する手段と、前記ＳＥＩメッセージの第２のセットは、前記コード化ビデオピクチャの第２のシーケンスの各々を記述し、前記コード化ビデオピクチャの第２のシーケンスのうちの２つ以上に共通の要素を含み、
前記コード化ビデオピクチャの第２のシーケンスとは別個に前記ＳＥＩメッセージの第２のセットを出力する手段と、
をさらに備える、請求項２１に記載の装置。
【請求項２８】
前記出力する手段は、
前記ＳＥＩメッセージと前記コード化ビデオピクチャのシーケンスとを備えるビデオデータを符号化する手段と、
ネットワーク上で前記符号化されたビデオデータをストリーミングする手段と、
を備える、請求項２１に記載の装置。
【請求項２９】
実行されたとき、コード化ビデオデータを出力するための装置のプロセッサに、
前記コード化ビデオピクチャとは別個の１つまたは複数の補足エンハンスメント情報（ＳＥＩ）メッセージを生成させる命令と、前記ＳＥＩメッセージは、前記コード化ビデオピクチャのシーケンスの各々を記述し、前記コード化ビデオピクチャのうちの２つ以上に共通の要素を含み、
前記コード化ビデオピクチャのシーケンスとは別個に前記ＳＥＩメッセージを出力させる命令と、
が記憶されたコンピュータ可読記憶媒体を備えるコンピュータプログラム製品。
【請求項３０】
前記出力させる命令は、前記ＳＥＩメッセージと前記コード化ビデオピクチャとをビデオファイルの形態でカプセル化させる命令を備え、
前記出力させる命令は、さらに、前記コード化ビデオピクチャのシーケンスを含むファイルユニットとは別個のファイルユニット中に前記ＳＥＩメッセージを含ませる命令を備える、請求項２９に記載のコンピュータプログラム製品。
【請求項３１】
前記ＳＥＩメッセージを含む前記別個のファイルユニットは前記ビデオファイルのパラメータセットトラックを備え、前記パラメータセットトラックは、さらに、前記コード化ビデオピクチャのシーケンスのシーケンスパラメータセットデータおよびピクチャパラメータセットデータのうちの少なくとも１つを備える、請求項３０に記載のコンピュータプログラム製品。
【請求項３２】
メディア表現のための初期化セグメントは前記別個のファイルユニットを備える、請求項３０に記載のコンピュータプログラム製品。
【請求項３３】
前記ＳＥＩメッセージを生成させる命令は、前記ＳＥＩメッセージのうちの少なくとも１つ内に、前記ＳＥＩメッセージに対応する前記コード化ビデオピクチャのシーケンスの持続時間をシグナリングするシグナリング情報を生成させる命令を備える、請求項２９に記載のコンピュータプログラム製品。
【請求項３４】
コード化ビデオピクチャの前記シーケンスはコード化ビデオピクチャの第１のシーケンスを備え、前記ＳＥＩメッセージはＳＥＩメッセージの第１のセットを備え、
コード化ビデオピクチャの第２のシーケンスとは別個の１つまたは複数のＳＥＩメッセージの第２のセットを生成させる命令と、前記ＳＥＩメッセージの第２のセットは、前記コード化ビデオピクチャの第２のシーケンスの各々を記述し、前記コード化ビデオピクチャの第２のシーケンスのうちの２つ以上に共通の要素を含み、
前記コード化ビデオピクチャの第２のシーケンスとは別個に前記ＳＥＩメッセージの第２のセットを出力させる命令と、
をさらに備える、請求項２９に記載のコンピュータプログラム製品。
【請求項３５】
符号化ビデオデータを受信する方法であって、前記方法は、
ビデオファイルのコード化ビデオピクチャのシーケンスを記述する補足エンハンスメント情報（ＳＥＩ）メッセージを受信することと、前記ＳＥＩメッセージは、前記コード化ビデオピクチャのシーケンスの各々を記述し、前記コード化ビデオピクチャのうちの２つ以上に共通の要素を含み、
前記ＳＥＩメッセージとは別個に前記ビデオファイルの前記コード化ビデオピクチャのシーケンスを受信することと、
前記コード化ビデオピクチャのシーケンスが復号された後に、前記ＳＥＩメッセージに基づいて前記コード化ビデオピクチャのシーケンスをレンダリングすることと、
を備える方法。
【請求項３６】
前記ＳＥＩメッセージについての第１の要求をサブミットすることと、前記ＳＥＩメッセージを受信することは、前記第１の要求に応答して前記ＳＥＩメッセージを受信することを備え、
前記ＳＥＩメッセージを受信した後にのみ、前記コード化ビデオピクチャのシーケンスについての第２の要求をサブミットすることと、前記コード化ビデオピクチャのシーケンスを受信することは、前記第２の要求に応答して前記コード化ビデオピクチャのシーケンスを受信することを備える、
をさらに備える請求項３５に記載の方法。
【請求項３７】
前記ＳＥＩメッセージはＳＥＩメッセージの第１のセットを備え、前記コード化ビデオピクチャのシーケンスはコード化ビデオピクチャの第１のシーケンスを備え、前記方法は、さらに、
前記コード化ビデオピクチャの第１のシーケンスを受信した後に、ＳＥＩメッセージの第２のセットについての第３の要求をサブミットすることと、
前記第３の要求に応答して前記ＳＥＩメッセージの第２のセットを受信することと、
前記ＳＥＩメッセージの第２のセットによって記述されるコード化ビデオピクチャの第２のシーケンスについての第４の要求をサブミットすることと、
前記ＳＥＩメッセージの第２のセットを受信した後に、前記コード化ビデオピクチャの第２のシーケンスを受信することと、
前記コード化ビデオピクチャの第２のシーケンスが復号された後に、前記ＳＥＩメッセージの第２のセットに基づいて前記コード化ビデオピクチャの第２のシーケンスをレンダリングすることと、
を備える請求項３６に記載の方法。
【請求項３８】
パラメータセットトラックと、コード化ビデオピクチャを含まないトラックフラグメントと、コード化ビデオデータを含まない第３世代パートナーシッププロジェクト（３ＧＰＰ）フォーマットファイルとのうちの少なくとも１つから、前記ＳＥＩメッセージを抽出することをさらに備える、請求項３５に記載の方法。
【請求項３９】
前記ＳＥＩメッセージをパースし、復号することをさらに備え、前記ＳＥＩメッセージは、前記コード化ビデオピクチャのシーケンスを備えるアクセスユニットとは別個にコーディングされる、請求項３５に記載の方法。
【請求項４０】
符号化ビデオデータを受信するための装置であって、前記装置は、
ビデオファイルのコード化ビデオピクチャのシーケンスを記述する補足エンハンスメント情報（ＳＥＩ）メッセージを受信し、前記ＳＥＩメッセージは、前記コード化ビデオピクチャのシーケンスの各々を記述し、前記コード化ビデオピクチャのうちの２つ以上に共通の要素を含み、
前記ＳＥＩメッセージとは別個に前記ビデオファイルの前記コード化ビデオピクチャのシーケンスを受信する
ように構成された制御ユニットと、
前記コード化ビデオピクチャのシーケンスが復号された後に、前記コード化ビデオピクチャのシーケンスをレンダリングするように構成されたビデオ出力と、
を備える装置。
【請求項４１】
前記制御ユニットは、前記ＳＥＩメッセージについての第１の要求をサブミットし、前記第１の要求に応答して前記ＳＥＩメッセージを受信し、前記ＳＥＩメッセージを受信した後にのみ前記コード化ビデオピクチャのシーケンスについての第２の要求をサブミットし、前記第２の要求に応答して前記コード化ビデオピクチャのシーケンスを受信するように構成された、請求項４０に記載の装置。
【請求項４２】
前記ＳＥＩメッセージはＳＥＩメッセージの第１のセットを備え、前記コード化ビデオピクチャのシーケンスはコード化ビデオピクチャの第１のシーケンスを備え、前記制御ユニットは、
前記コード化ビデオピクチャの第１のシーケンスを受信した後にＳＥＩメッセージの第２のセットについての第３の要求をサブミットし、
前記第３の要求に応答して前記ＳＥＩメッセージの第２のセットを受信し、
前記ＳＥＩメッセージの第２のセットによって記述されたコード化ビデオピクチャの第２のシーケンスについての第４の要求をサブミットし、
前記ＳＥＩメッセージの第２のセットを受信した後に前記コード化ビデオピクチャの第２のシーケンスを受信するように構成され、
前記ビデオ出力は、前記コード化ビデオピクチャの第２のシーケンスが復号された後に、前記ＳＥＩメッセージの第２のセットに基づいて前記コード化ビデオピクチャの第２のシーケンスをレンダリングするように構成された、
請求項４１に記載の装置。
【請求項４３】
前記制御ユニットは、パラメータセットトラックと、コード化ビデオピクチャを含まないトラックフラグメントと、コード化ビデオデータを含まない第３世代パートナーシッププロジェクト（３ＧＰＰ）フォーマットファイルとのうちの少なくとも１つから、前記ＳＥＩメッセージを抽出するように構成された、請求項４０に記載の装置。
【請求項４４】
前記装置は、
集積回路と、
マイクロプロセッサと、
前記制御ユニットを含むワイヤレス通信デバイスと、
のうちの少なくとも１つを備える、請求項４０に記載の装置。
【請求項４５】
符号化ビデオデータを受信するための装置であって、前記装置は、
ビデオファイルのコード化ビデオピクチャのシーケンスを記述する補足エンハンスメント情報（ＳＥＩ）メッセージを受信する手段と、前記ＳＥＩメッセージは、前記コード化ビデオピクチャのシーケンスの各々を記述し、前記コード化ビデオピクチャのうちの２つ以上に共通の要素を含み、
前記ＳＥＩメッセージとは別個に前記ビデオファイルの前記コード化ビデオピクチャのシーケンスを受信する手段と、
前記コード化ビデオピクチャのシーケンスが復号された後に、前記ＳＥＩメッセージに基づいて前記コード化ビデオピクチャのシーケンスをレンダリングする手段と、
を備える装置。
【請求項４６】
前記ＳＥＩメッセージについての第１の要求をサブミットする手段と、前記ＳＥＩメッセージを受信する手段は、前記第１の要求に応答して前記ＳＥＩメッセージを受信する手段を備え、
前記ＳＥＩメッセージを受信した後にのみ前記コード化ビデオピクチャのシーケンスについての第２の要求をサブミットする手段と、前記コード化ビデオピクチャのシーケンスを受信する手段は、前記第２の要求に応答して前記コード化ビデオピクチャのシーケンスを受信する手段を備える、
をさらに備える、請求項４５に記載の装置。
【請求項４７】
前記ＳＥＩメッセージはＳＥＩメッセージの第１のセットを備え、前記コード化ビデオピクチャのシーケンスはコード化ビデオピクチャの第１のシーケンスを備え、前記装置は、
前記コード化ビデオピクチャの第１のシーケンスを受信した後に、ＳＥＩメッセージの第２のセットについての第３の要求をサブミットする手段と、
前記第３の要求に応答して前記ＳＥＩメッセージの第２のセットを受信する手段と、
前記ＳＥＩメッセージの第２のセットによって記述されるコード化ビデオピクチャの第２のシーケンスについての第４の要求をサブミットする手段と、
前記ＳＥＩメッセージの第２のセットを受信した後に、前記コード化ビデオピクチャの第２のシーケンスを受信する手段と、
前記コード化ビデオピクチャの第２のシーケンスが復号された後に、前記ＳＥＩメッセージの第２のセットに基づいて前記コード化ビデオピクチャの第２のシーケンスをレンダリングする手段と、
をさらに備える、請求項４６に記載の装置。
【請求項４８】
パラメータセットトラックと、コード化ビデオピクチャを含まないトラックフラグメントと、コード化ビデオデータを含まない第３世代パートナーシッププロジェクト（３ＧＰＰ）フォーマットファイルとのうちの少なくとも１つから、前記ＳＥＩメッセージを抽出する手段をさらに備える、請求項４５に記載の装置。
【請求項４９】
実行されたとき、コード化ビデオデータを受信するための装置のプロセッサに、
ビデオファイルのコード化ビデオピクチャのシーケンスを記述する補足エンハンスメント情報（ＳＥＩ）メッセージを受信させる命令と、前記ＳＥＩメッセージは、前記コード化ビデオピクチャのシーケンスの各々を記述し、前記コード化ビデオピクチャのうちの２つ以上に共通の要素を含み、
前記ＳＥＩメッセージとは別個に前記ビデオファイルの前記コード化ビデオピクチャのシーケンスを受信させる命令と、
前記コード化ビデオピクチャのシーケンスが復号された後に、前記ＳＥＩメッセージに基づいて前記コード化ビデオピクチャのシーケンスをレンダリングさせる命令と、
が記憶されたコンピュータ可読記憶媒体を備えるコンピュータプログラム製品。
【請求項５０】
前記ＳＥＩメッセージについての第１の要求をサブミットさせる命令と、前記ＳＥＩメッセージを受信させる命令は、前記第１の要求に応答して前記ＳＥＩメッセージを受信させる命令を備え、
前記ＳＥＩメッセージを受信した後にのみ前記コード化ビデオピクチャのシーケンスについての第２の要求をサブミットさせる命令と、前記コード化ビデオピクチャのシーケンスを受信させる命令は、前記第２の要求に応答して前記コード化ビデオピクチャのシーケンスを受信させる命令を備え、
をさらに備える、請求項４９に記載のコンピュータプログラム製品。
【請求項５１】
前記ＳＥＩメッセージはＳＥＩメッセージの第１のセットを備え、前記コード化ビデオピクチャのシーケンスはコード化ビデオピクチャの第１のシーケンスを備え、
前記コード化ビデオピクチャの第１のシーケンスを受信した後に、ＳＥＩメッセージの第２のセットについての第３の要求をサブミットさせる命令と、
前記第３の要求に応答して前記ＳＥＩメッセージの第２のセットを受信させる命令と、
前記ＳＥＩメッセージの第２のセットによって記述されるコード化ビデオピクチャの第２のシーケンスについての第４の要求をサブミットさせる命令と、
前記ＳＥＩメッセージの第２のセットを受信した後に、前記コード化ビデオピクチャの第２のシーケンスを受信させる命令と、
前記コード化ビデオピクチャの第２のシーケンスが復号された後に、前記ＳＥＩメッセージの第２のセットに基づいて前記コード化ビデオピクチャの第２のシーケンスをレンダリングさせる命令と、
をさらに備える、請求項５０に記載のコンピュータプログラム製品。
【請求項５２】
パラメータセットトラックと、コード化ビデオピクチャを含まないトラックフラグメントと、コード化ビデオデータを含まない第３世代パートナーシッププロジェクト（３ＧＰＰ）フォーマットファイルとのうちの少なくとも１つから、前記ＳＥＩメッセージを抽出させる命令をさらに備える、請求項４９に記載のコンピュータプログラム製品。
【発明の詳細な説明】
【技術分野】
【０００１】
本開示は、符号化ビデオデータのトランスポートに関する。
【背景技術】
【０００２】
[0002]デジタルビデオ機能は、デジタルテレビジョン、デジタルダイレクトブロードキャストシステム、ワイヤレスブロードキャストシステム、携帯情報端末（ＰＤＡ）、ラップトップまたはデスクトップコンピュータ、デジタルカメラ、デジタル記録デバイス、デジタルメディアプレーヤ、ビデオゲームデバイス、ビデオゲームコンソール、セルラー電話または衛星無線電話、ビデオ遠隔会議デバイスなどを含む、広範囲にわたるデバイスに組み込まれ得る。デジタルビデオデバイスは、デジタルビデオ情報をより効率的に送信および受信するために、ＭＰＥＧ−２、ＭＰＥＧ−４、ＩＴＵ−Ｔ  Ｈ．２６３またはＩＴＵ−Ｔ  Ｈ．２６４／ＭＰＥＧ−４、Ｐａｒｔ１０、Ａｄｖａｎｃｅｄ  Ｖｉｄｅｏ  Ｃｏｄｉｎｇ（ＡＶＣ）によって定義された規格、およびそのような規格の拡張に記載されているビデオ圧縮技法など、ビデオ圧縮技法を実装する。
【０００３】
[0003]ビデオ圧縮技法は、ビデオシーケンスに固有の冗長性を低減または除去するために空間的予測および／または時間的予測を実行する。ブロックベースのビデオコーディングの場合、ビデオフレームまたはスライスがマクロブロックに区分され得る。各マクロブロックはさらに区分され得る。イントラコード化（Ｉ）フレームまたはスライス中のマクロブロックは、隣接マクロブロックに関する空間的予測を使用して符号化される。インターコード化（ＰまたはＢ）フレームまたはスライス中のマクロブロックは、同じフレームまたはスライス中の隣接マクロブロックに関する空間的予測、あるいは他の参照フレームに関する時間的予測を使用し得る。
【０００４】
[0004]ビデオデータが符号化された後、ビデオデータは送信または記憶のためにパケット化され得る。ビデオデータは、国際標準化機構（ＩＳＯ）ベースメディアファイルフォーマットなどの様々な規格と、ＡＶＣなどのそのような規格の拡張とのうちのいずれかに準拠するビデオファイルにアセンブルされ得る。
【０００５】
[0005]Ｈ．２６４／ＡＶＣに基づく新しいビデオコーディング規格を開発するための取り組みが行われている。１つのそのような規格は、Ｈ．２６４／ＡＶＣのスケーラブル拡張であるスケーラブルビデオコーディング（ＳＶＣ）規格である。別の規格は、Ｈ．２６４／ＡＶＣのマルチビュー拡張になったマルチビュービデオコーディング（ＭＶＣ）である。ＡＶＣ規格のバージョンは、ＪＶＴ−ＡＤ００７、「Editors' draft revision to ITU-T Rec. H.264 | ISO/IEC 14496-10 Advanced Video Coding - in preparation for ITU-T SG 16 AAP Consent (in integrated form)」、３０ｔｈ  ＪＶＴ  ｍ ｅｅｔｉｎｇ、Ｇｅｎｅｖａ、ＣＨ、２００９年２月に記載されており、http://wftp3.itu.int/av-arch/jvt-site/2009_01_Geneva/JVT-AD007.zipから入手可能である。この文書はＳＶＣとＭＶＣとをＡＶＣ仕様に組み込んでいる。
【発明の概要】
【０００６】
[0006]概して、本開示では、たとえば、ＨＴＴＰストリーミングに従ってビデオファイルのストリーミングをサポートするために、ビデオファイルのコード化ビデオピクチャを記述するシーケンスデータセットを与えるための技法について説明する。シーケンスデータセットは、たとえば、シーケンスパラメータセット、ピクチャパラメータセット、および、たとえば、シーケンスレベルＳＥＩメッセージなど、いくつかの補足エンハンスメント情報（ＳＥＩ：Supplemental Enhancement Information）メッセージを含み得る。これらの技法は、シーケンスデータセットによって記述されたコード化ビデオピクチャからシーケンスデータセットを分離することを含む。すなわち、シーケンスレベルＳＥＩメッセージによって記述されたコード化ビデオピクチャにシーケンスレベルＳＥＩメッセージを含めるのではなく、本開示の技法は、コード化ビデオピクチャからシーケンスレベルＳＥＩメッセージを分離することを含む。したがって、シーケンスレベルＳＥＩメッセージは、コード化ビデオピクチャとは別個にソースデバイスから宛先デバイスに転送される。いくつかの例では、シーケンスレベルＳＥＩメッセージを含むシーケンスデータセットは、シーケンスデータセットが関係するコード化ビデオピクチャの転送の前に、ソースデバイスから宛先デバイスに転送される。
【０００７】
[0007]一例では、カプセル化されたビデオデータを出力する方法は、コード化ビデオピクチャとは別個の１つまたは複数の補足エンハンスメント情報（ＳＥＩ）メッセージを生成することと、ＳＥＩメッセージは、コード化ビデオピクチャのシーケンスの各々を記述し、コード化ビデオピクチャのうちの２つ以上に共通のエレメントを含み、コード化ビデオピクチャのシーケンスとは別個にＳＥＩメッセージを出力することと、を含む。
【０００８】
[0008]別の例では、カプセル化されたビデオデータを出力するための装置は、コード化ビデオピクチャとは別個の１つまたは複数の補足エンハンスメント情報（ＳＥＩ）メッセージを生成するように構成された制御ユニットと、ＳＥＩメッセージは、コード化ビデオピクチャのシーケンスの各々を記述し、コード化ビデオピクチャのうちの２つ以上に共通の要素を含み、コード化ビデオピクチャのシーケンスとは別個にＳＥＩメッセージを出力するように構成された出力インターフェースと、を含む。
【０００９】
[0009]別の例では、カプセル化されたビデオデータを出力するための装置は、コード化ビデオピクチャとは別個の１つまたは複数の補足エンハンスメント情報（ＳＥＩ）メッセージを生成するための手段と、ＳＥＩメッセージは、コード化ビデオピクチャのシーケンスの各々を記述し、コード化ビデオピクチャのうちの２つ以上に共通のエレメントを含み、コード化ビデオピクチャのシーケンスとは別個にＳＥＩメッセージを出力するための手段と、を含む。
【００１０】
[0010]別の例では、コンピュータプログラム製品は、実行されたとき、カプセル化されたビデオデータを出力するためのソースデバイスのプロセッサに、コード化ビデオピクチャとは別個の１つまたは複数の補足エンハンスメント情報（ＳＥＩ）メッセージを生成させる命令と、ＳＥＩメッセージは、コード化ビデオピクチャのシーケンスの各々を記述し、コード化ビデオピクチャのうちの２つ以上に共通の要素を含み、コード化ビデオピクチャのシーケンスとは別個にＳＥＩメッセージを出力させる命令と、を備えるコンピュータ可読媒体を含む。
【００１１】
[0011]別の例では、符号化されたビデオデータを受信する方法は、ビデオファイルのコード化ビデオピクチャのシーケンスを記述する補足エンハンスメント情報（ＳＥＩ）メッセージを受信することと、ＳＥＩメッセージは、コード化ビデオピクチャのシーケンスの各々を記述し、コード化ビデオピクチャのうちの２つ以上に共通の要素を含み、ＳＥＩメッセージとは別個にビデオファイルのコード化ビデオピクチャのシーケンスを受信することと、コード化ビデオピクチャのシーケンスが復号された後に、ＳＥＩメッセージに基づいてコード化ビデオピクチャのシーケンスをレンダリングすることと、を含む。
【００１２】
[0012]別の例では、符号化されたビデオデータを受信するための装置は、ビデオファイルのコード化ビデオピクチャのシーケンスを記述する補足エンハンスメント情報（ＳＥＩ）メッセージを受信することと、ＳＥＩメッセージは、コード化ビデオピクチャのシーケンスの各々を記述し、コード化ビデオピクチャのうちの２つ以上に共通の要素を含み、ＳＥＩメッセージとは別個にビデオファイルのコード化ビデオピクチャのシーケンスを受信することと、を行うように構成された制御ユニットと、コード化ビデオピクチャのシーケンスが復号された後に、コード化ビデオピクチャのシーケンスをレンダリングするように構成されたビデオ出力と、を含む。
【００１３】
[0013]別の例では、符号化されたビデオデータを受信するための装置は、ビデオファイルのコード化ビデオピクチャのシーケンスを記述する補足エンハンスメント情報（ＳＥＩ）メッセージを受信する手段と、ＳＥＩメッセージは、コード化ビデオピクチャのシーケンスの各々を記述し、コード化ビデオピクチャのうちの２つ以上に共通の要素を含み、ＳＥＩメッセージとは別個にビデオファイルのコード化ビデオピクチャのシーケンスを受信する手段と、コード化ビデオピクチャのシーケンスが復号された後に、ＳＥＩメッセージに基づいてコード化ビデオピクチャのシーケンスをレンダリングする手段と、を含む。
【００１４】
[0014]別の例では、コンピュータプログラム製品は、符号化ビデオデータを受信するための宛先デバイスのプロセッサに、ビデオファイルのコード化ビデオピクチャのシーケンスを記述する補足エンハンスメント情報（ＳＥＩ）メッセージを受信させる命令と、ＳＥＩメッセージは、コード化ビデオピクチャのシーケンスの各々を記述し、コード化ビデオピクチャのうちの２つ以上に共通の要素を含み、ＳＥＩメッセージとは別個にビデオファイルのコード化ビデオピクチャのシーケンスを受信させる命令と、コード化ビデオピクチャのシーケンスが復号された後に、ＳＥＩメッセージに基づいてコード化ビデオピクチャのシーケンスをレンダリングさせる命令と、を備えるコンピュータ可読記憶媒体を含む。
【００１５】
[0015]１つまたは複数の例の詳細を添付の図面および以下の説明に記載する。他の特徴、目的、および利点は、説明および図面、ならびに特許請求の範囲から明らかになるであろう。
【図面の簡単な説明】
【００１６】
【図１】オーディオ／ビデオ（Ａ／Ｖ）ソースデバイスがオーディオおよびビデオデータをＡ／Ｖ宛先デバイスに転送する例示的なシステムを示すブロック図。
【図２】例示的なカプセル化ユニットの構成要素を示すブロック図。
【図３】様々なロケーションにおけるシーケンスレベルＳＥＩメッセージを含み得る例示的なビデオファイルの要素を示すブロック図。
【図４】シーケンスレベルＳＥＩメッセージを含むパラメータセットトラックを含む別の例示的なビデオファイルの要素を示すブロック図。
【図５】それぞれのプレゼンテーションのためのそれぞれのシーケンスデータセットを含むThird Generation Partnership Project（３ＧＰＰ）ファイルを含むプレゼンテーションの例示的なセットを示すブロック図。
【図６】ビデオファイル内にシーケンスデータセットをカプセル化し、そのビデオファイルをソースデバイスから宛先デバイスに与えるための例示的な方法を示すフローチャート。
【図７】複数のシーケンスデータセットを含むビデオファイルの別の例を示すブロック図。
【発明を実施するための形態】
【００１７】
[0023]概して、本開示は、ハイパーテキスト転送プロトコル（ＨＴＴＰ）ストリーミングなどのストリーミングネットワークプロトコルを使用してビデオデータの配信をサポートするための技法について説明する。特に、本開示の技法は、ビデオデータを、例えばビデオファイルの形態で送信するときに、特定のビデオサンプルから、シーケンスレベルＳＥＩメッセージのようないくつかの補足エンハンスメント情報（ＳＥＩ）メッセージを分離することを対象とする。さらに、本技法は、符号化されたビデオピクチャの復号およびレンダリングをサポートするために、宛先デバイスにおいてシーケンスレベルＳＥＩメッセージを解釈することを含む。
【００１８】
[0024]本開示ではまた、コーデックレベルにおいてビデオサンプルからＳＥＩメッセージを分離することについて説明するが、ＳＥＩメッセージは、たとえば、ＳＥＩメッセージがアクセスユニットに関連するときに、必ずしも特定のコード化ピクチャに関連する必要があるとは限らない。コード化ピクチャからＳＥＩメッセージが分離された場合、どの持続時間にＳＥＩメッセージが適用可能であるかを指定するタイミング情報がＳＥＩメッセージの一部としてシグナリングされ得る。
【００１９】
[0025]ＳＥＩメッセージは、いくつかの符号化されたビデオピクチャを復号および／または表示するようにデコーダおよび／またはレンダラを支援するために使用される情報を含むことがある。また、ＳＥＩメッセージは誤り耐性を与えるために使用され得る。いくつかのＳＥＩメッセージは、シーケンスレベルであり（たとえば、コード化ピクチャグループ（ＧＯＰ）またはコード化ビデオピクチャの他のシーケンスに関係し）、他のＳＥＩメッセージは特定のコード化ピクチャに関係し得る。ＳＥＩメッセージは、一般に、特定のコード化ピクチャとともに送信される。すなわち、ＳＥＩメッセージを検索するために、デコーダは通常、そのＳＥＩメッセージを含むコード化ピクチャを検索する必要がある。デコーダがコード化ピクチャのためのデータを必要としない場合、これは、一般に、帯域幅の浪費につながる。その上、場合によっては、様々なコード化ピクチャの２つのＳＥＩメッセージまたは２つのＧＯＰは、本質的に同じ情報を含んでいることがあり、それにより、ＳＥＩメッセージを繰り返し送信することは同様に、帯域幅の浪費を引き起こすことがある。
【００２０】
[0026]本開示の技法は、たとえば、ＳＥＩメッセージがコード化ビデオピクチャのシーケンスのシーケンスデータを記述する場合、コード化ビデオデータとは別個に（たとえば、独立して）ＳＥＩメッセージを送信することを含む。シーケンスデータは、コード化ビデオピクチャのシーケンスに共通であるデータに対応し得る。Ｈ．２６４／ＡＶＣ（アドバンストビデオコーディング）に関係するいくつかの例では、ＳＥＩメッセージがパンスキャン矩形（pan-scan rectangle）に関係する情報とステレオビデオ情報とを含むとき、ＳＥＩメッセージはパラメータセットエレメンタリストリームとともに送信され得る。パラメータセットエレメンタリストリームは、シーケンスパラメータセット（ＳＰＳ）および／またはピクチャパラメータセット（ＰＰＳ）メッセージを含み得る。すなわち、パラメータセットエレメンタリストリームは、これらの技法に従って、１つまたは複数のＳＥＩメッセージに加えてＰＰＳおよび／またはＳＰＳメッセージを含み得る。Ｈ．２６４／ＡＶＣにおけるそのようなＳＥＩメッセージの一例は、フレームパッキング配置（frame packing arrangement）ＳＥＩであり、これは、どのように画像ペアの２つのビューが１つのフレーム中に一緒にインターリーブされるかについての情報を指定する。別の例として、スケーラブルビデオコーディング（ＳＶＣ）に関して、ＳＥＩメッセージがスケーラビリティ情報を与えるとき、ＳＥＩメッセージはパラメータセットエレメンタリストリーム中で送られ得る。さらに別の例として、マルチビュービデオコーディング（ＭＶＣ）では、ＳＥＩメッセージがビュースケーラビリティ情報、マルチビュー取得情報、および／またはマルチビューシーン情報を含むとき、ＳＥＩメッセージはパラメータセットエレメンタリストリーム中に含まれ得る。
【００２１】
[0027]従来のシーケンスレベルＳＥＩメッセージは、瞬時(instantaneous)デコーダリフレッシュ（ＩＤＲ）ピクチャを備えるアクセスユニットなどのいくつかのアクセスユニットに関連付けられている。しかしながら、本開示の技法は、アクセスユニットからシーケンスレベルＳＥＩメッセージを分離することを対象とする。したがって、本開示の技法は、シーケンスレベルＳＥＩメッセージを含むアクセスユニットを検索するのではなく、クライアントデバイスが、シーケンスレベルＳＥＩメッセージによって記述されたコード化ビデオピクチャとは別個にシーケンスレベルＳＥＩメッセージを検索することを可能にし得る。したがって、クライアントデバイスがコード化ビデオピクチャのシーケンスの一部分のみを復号および表示するように構成された場合、クライアントデバイスは、そうでなければＳＥＩメッセージが一緒に含まれるＩＤＲピクチャなどの他のピクチャを検索する必要なしに、シーケンスの一部分のみを検索し得る。本開示の技法によれば、クライアントデバイスは、コード化ビデオピクチャの所望される一部分とは別個にＳＥＩメッセージを検索し得る。
【００２２】
[0028]いくつかの例では、シーケンスレベルＳＥＩメッセージ（および／または他のシーケンスデータ）をパラメータセットトラック中に含めるのではなく、代わりに、シーケンスレベルＳＥＩメッセージはファイル中に連続的に含まれ、それにより、ＨＴＴＰ−Ｇｅｔオペレーションは、任意のポイントにおいてビデオファイルを復号および表示するために使用され得る情報を検索するためにクライアントによって使用される。すなわち、ユーザは、ビデオファイル中の任意のポイントをシークし、デコーダは、追加の不要なコード化ビデオデータ、たとえば、シーク要求に対応するビデオファイル内の時間ロケーションに先行し、シーク要求の時間ロケーションにおいて、およびそれを越えてビデオデータを復号するために使用されないコード化ビデオデータ、を検索することなしにＳＥＩメッセージを検索し得る。
【００２３】
[0029]ビデオ表現またはオーディオ表現は１つまたは複数のセグメントを含み得る。各表現は初期化セグメントを含むことがあるか、または表現中の各メディアセグメントは自己初期化していることがある。初期化セグメントは、対応する表現のデータ、たとえば、初期化セグメントによって記述されるメディアセグメントにアクセスするための初期化情報を含むことがある。初期化セグメントは、概して、メディアデータを含んでおらず、代わりに初期化データのみを含み得る。各メディアコンポーネントが、オーディオ、ビデオ、または時限テキスト（timed text）など、個々のメディアタイプの符号化バージョンである場合、各表現は、１つまたは複数のメディアコンポーネントを含み得る。メディアコンポーネントは、１つの表現内の連続する複数のメディアセグメントの境界にわたって時間連続であり得る。
【００２４】
[0030]さらに別の例として、本開示の技法は、シーケンスデータ（たとえば、ＰＰＳ、ＳＰＳ、およびシーケンスレベルＳＥＩメッセージ）、特に、コード化ビデオデータを含んでいないファイルセグメント、すなわち、ビデオサンプルを送ることを含む。ソースデバイスおよび宛先デバイスは、シーケンスデータを含むビデオサンプルのロケーションを用いて、および／またはこれらのビデオサンプルのロケーションを決定するための方法とを用いて構成される。シーケンスデータは、いくつかの例では、符号化されたビデオデータが送られる前に、サーバからクライアントに送られる。すなわち、ソースデバイスは、シーケンスデータによって参照される符号化されたビデオデータを送る前に、クライアントデバイスに、ＰＰＳ、ＳＰＳ、およびシーケンスレベルＳＥＩメッセージなど、シーケンスデータを与え得る。ファイルセグメントに基づくＨＴＴＰストリーミングでは、ＳＥＩメッセージ、たとえば、シーケンスレベルＳＥＩメッセージは、シーケンスパラメータセットおよびピクチャパラメータセットなどのパラメータセットとともに、コード化オーディオまたはビデオサンプルを含んでいない初期化セグメント中に入れられる。
【００２５】
[0031]本開示の技法は、ＩＳＯベースメディアファイルフォーマット、スケーラブルビデオコーディング（ＳＶＣ）ファイルフォーマット、Ａｄｖａｎｃｅｄ  Ｖｉｄｅｏ  Ｃｏｄｉｎｇ（ＡＶＣ）ファイルフォーマット、Ｔｈｉｒｄ  Ｇｅｎｅｒａｔｉｏｎ  Ｐａｒｔｎｅｒｓｈｉｐ  Ｐｒｏｊｅｃｔ（３ＧＰＰ）ファイルフォーマット、および／またはマルチビュービデオコーディング（ＭＶＣ）ファイルフォーマットのいずれかに準拠するビデオファイルに適用され得る。ＩＳＯベースメディアファイルフォーマットは、メディアの交換、管理、編集、およびプレゼンテーションを可能にする、フレキシブルな、拡張可能なフォーマットのプレゼンテーションのための、時限メディア情報を含むように設計される。ＩＳＯベースメディアファイルフォーマット（ＩＳＯ／ＩＥＣ１４４９６−１２：２００４）は、時間ベースメディアファイルのための一般的な構造を定義するＭＰＥＧ−４  Ｐａｒｔ１２において規定されている。それは、Ｈ．２６４／ＭＰＥＧ−４ＡＶＣビデオ圧縮のサポートを定義したＡＶＣファイルフォーマット（ＩＳＯ／ＩＥＣ１４４９６−１５）、３ＧＰＰファイルフォーマット、ＳＶＣファイルフォーマット、およびＭＶＣファイルフォーマットなどのファミリー中の他のファイルフォーマットに対する基準として使用される。３ＧＰＰファイルフォーマットおよびＭＶＣファイルフォーマットはＡＶＣファイルフォーマットの拡張である。ＩＳＯベースメディアファイルフォーマットは、オーディオビジュアルプレゼンテーションなどのメディアデータの時限シーケンスのためのタイミング、構造、およびメディア情報を含む。ファイル構造はオブジェクト指向である。ファイルは、非常に単純に基本オブジェクトに分解され、オブジェクトの構造はそれらのタイプから暗示される。
【００２６】
[0032]ＩＳＯベースメディアファイルフォーマット（およびそれの拡張）に準拠するファイルは、「ボックス」と呼ばれる一連のオブジェクトとして形成される。ＩＳＯベースメディアファイルフォーマット中のデータはボックス中に含まれ、ファイル内のボックスの外部にデータがある必要はない。これは、特定のファイルフォーマットによって必要とされる初期シグナチャを含む。「ボックス」は、一意のタイプ識別子と長さとによって定義されるオブジェクト指向ビルディングブロックであり得る。一般に、プレゼンテーションは１つのファイル中に含まれ、メディアプレゼンテーションは独立型（self-contained）である。ムービーコンテナ（ムービーボックス）はメディアのメタデータを含み、ビデオおよびオーディオフレームは、メディアデータコンテナ中に含まれており、他のファイル中にあり得る。
【００２７】
[0033]プレゼンテーション（動きシーケンス）は、いくつかのファイル中に含まれていることがある。タイミングおよびフレーミング（位置およびサイズ）情報は概してＩＳＯベースメディアファイル中にあり、補助ファイルは本質的に任意のフォーマットを使用し得る。このプレゼンテーションは、プレゼンテーションを含んでいるシステムに対して「ローカル」であり得るか、あるいはネットワークまたは他のストリーム配信機構を介して与えられ得る。
【００２８】
[0034]ファイルは、論理構造と時間構造と物理構造とを有し得、これらの構造は結合される必要はない。ファイルの論理構造は、次に時間並列（time-parallel）トラックのセットを含む（ビデオデータとオーディオデータの両方を潜在的に含む）ムービーまたはビデオクリップであり得る。ファイルの時間構造は、トラックが時間的なサンプルのシーケンスを含み、それらのシーケンスは、オプションのエディットリストによってムービー全体のタイムラインにマッピングされ得る。ファイルの物理構造は、メディアデータサンプル自体から、論理、時間、および構造的分解のために必要とされるデータを分離し得る。この構造的情報は、ムービーボックス中に集められ、場合によってはムービーフラグメントボックスによって時間的に拡張され得る。ムービーボックスは、サンプルの論理関係およびタイミング関係をドキュメント化し、また、サンプルが配置される場所へのポインタを含む。これらのポインタは、同じファイルまたはたとえばＵＲＬによって参照される別のファイルへのものである。
【００２９】
[0035]各メディアストリームは、そのメディアタイプ（オーディオ、ビデオなど）に専用のトラック中に含まれ、さらにサンプルエントリによってパラメータ表示され得る。サンプルエントリは、厳密なメディアタイプ（ストリームを復号するために必要とされるデコーダのタイプ）の「名前」と、必要とされるそのデコーダのパラメータ表示を含む。名前はまた、４文字コード、たとえば、「ｍｏｏｖ」、または「ｔｒａｋ」の形態をとる。ＭＰＥＧ−４メディアについてだけでなく、このファイルフォーマットファミリーを使用する他の編成によって使用されるメディアタイプについても、定義済みのサンプルエントリフォーマットがある。
【００３０】
[0036]メタデータのサポートは、概して２つの形態をとる。第１に、時限メタデータが、適切なトラックに記憶され、必要に応じて、それが表しているメディアデータと同期され得る。第２に、ムービーまたは個々のトラックにアタッチされた非時限メタデータの全般的サポートがあり得る。構造的サポートは、全般的であり、メディアデータ、すなわち、コード化ビデオピクチャの記憶と同様の方法で、ファイル中の他の場所または別のファイル中でのメタデータリソースの記憶を可能にする。さらに、これらのリソースは名前付きであり、保護され得る。
【００３１】
[0037]ＩＳＯベースメディアファイルフォーマットでは、サンプルグルーピングは、１つのサンプルグループのメンバーであるべきトラック中のサンプルの各々の割当てである。サンプルグループ中のサンプルは連続である必要はない。たとえば、ＡＶＣファイルフォーマットにおけるＨ．２６４／ＡＶＣを提示するとき、１つの時間レベルのビデオサンプルは、１つのサンプルグループにサンプリングされ得る。サンプルグループは、ＳａｍｐｌｅＴｏＧｒｏｕｐボックス（ｓｂｄｐ）とＳａｍｐｌｅＧｒｏｕｐＤｅｓｃｒｉｐｔｉｏｎボックスとの２つのデータ構造によって表される。ＳａｍｐｌｅＴｏＧｒｏｕｐボックスは、サンプルグループへのサンプルの割当てを表す。対応するグループのプロパティについて説明するために、各サンプルグループエントリのためのＳａｍｐｌｅＧｒｏｕｐＤｅｓｃｒｉｐｔｉｏｎボックスの一インスタンスがある。
【００３２】
[0038]オプションのメタデータトラックは、それが有する「興味深い特性」をもつ各トラックをタグ付けするために使用され、その値はグループの他のメンバー（たとえば、それのビットレート、スクリーンサイズ、または言語）とは異なり得る。トラック内のいくつかのサンプルは、特殊な特性を有するか、または個々に識別され得る。その特性の一例は、同期ポイント（しばしば、ビデオＩフレーム）である。これらのポイントは、各トラック中の特殊なテーブルによって識別され得る。より一般には、トラックサンプル間の依存性の性質は、メタデータを使用してドキュメント化されることもある。メタデータは、ちょうどビデオトラックのように、ファイルフォーマットサンプルのシーケンスとして構造化され得る。そのようなトラックはメタデータトラックと呼ばれる。各メタデータサンプルはメタデータステートメントとして構造化される。対応するファイルフォーマットサンプルまたはその構成サンプルについて質問され得る様々な質問（question）に対応する、様々な種類のステートメントがある。
【００３３】
[0039]メディアがストリーミングプロトコルを介して配信されるとき、メディアは、それがファイルにおいて表される形から変換される必要があり得る。これの一例は、メディアがリアルタイムプロトコル（ＲＴＰ）を介して送信されるときである。ファイルでは、たとえば、ビデオの各フレームが、ファイルフォーマットサンプルとして連続して記憶される。ＲＴＰでは、これらのフレームをＲＴＰパケット中に配置するために、使用されるコーデックに固有のパケット化ルールが順守されなければならない。ストリーミングサーバは、実行（run-time）時にそのようなパケット化を計算するように構成され得る。ただし、ストリーミングサーバの支援のためのサポートがある。ヒントトラック(hint track)と呼ばれる特殊なトラックがファイルに入れられ得る。
【００３４】
[0040]ヒントトラックは、特定のプロトコルのためのメディアトラックからどのようにパケットストリームを形成するかに関する、ストリーミングサーバのための一般的な命令を含む。これらの命令の形態はメディア独立型であるので、新しいコーデックが導入されたときにサーバが修正される必要がない。さらに、符号化および編集（editing）ソフトウェアはストリーミングサーバに気づいていない。ファイル上で編集が完了すると、ファイルをストリーミングサーバに置く前に、ヒントトラックをファイルに追加するために、ヒンター（hinter）と呼ばれる１個のソフトウェアが使用され得る。一例として、ＭＰＥＧ−４ファイルフォーマット規格におけるＲＴＰストリームのための定義されたヒントトラックフォーマットがある。
【００３５】
[0041]「プログレッシブダウンロード」という用語は、一般に、ＨＴＴＰプロトコルを使用した、サーバからクライアントへのデジタルメディアファイルの転送を説明するために使用される。コンピュータから開始されるとき、コンピュータは、ダウンロードが完了する前にメディアの再生を開始する。ストリーミングメディアとプログレッシブダウンロードとの間の１つの相違は、デジタルメディアにアクセスしているエンドユーザデバイスによるデジタルメディアデータの受信および記憶方法にある。プログレッシブダウンロード再生が可能であるメディアプレーヤは、ファイルのヘッダ中に配置されたメタデータが損なわれておらず、デジタルメディアファイルのローカルバッファがデジタルメディアファイルがウェブサーバからダウンロードされたときのままであることに依存する。指定された量のバッファデータがローカル再生デバイスに利用可能になった時点で、デバイスはメディアを再生し始め得る。この指定された量のバッファデータは、エンコーダ設定においてコンテンツの製作者によってファイルに埋め込まれ、クライアントコンピュータのメディアプレーヤによって課される追加のバッファ設定によって補強され得る。
【００３６】
[0042]ＡＶＣおよび３ＧＰＰはＩＳＯベースメディアファイルフォーマットの拡張であり、ＳＶＣおよびＭＶＣはＡＶＣファイルフォーマットの拡張である。したがって、本開示の技法は、ＩＳＯベースメディアファイルフォーマット、ＡＶＣファイルフォーマットおよびそれらの拡張、たとえば、ＳＶＣおよびＭＶＣ、ならびに／あるいはＴｈｉｒｄ  Ｇｅｎｅｒａｔｉｏｎ  Ｐａｒｔｎｅｒｓｈｉｐ  Ｐｒｏｊｅｃｔ（３ＧＰＰ）ファイルフォーマットに準拠するビデオファイルに対して適用され得る。本技法は、これらのフォーマットのこれらおよび他の拡張にさらに適用され得、ＳＥＩメッセージが記述するビデオデータとは別個にＳＥＩメッセージを与えるように他のファイルフォーマットを拡張するためにさらに適用され得る。したがって、例としてＡＶＣに関して一般的に説明するが、本開示の技法は概して他のファイルフォーマットに適用され得ることを理解されたい。
【００３７】
[0043]Ｍｏｖｉｎｇ  Ｐｉｃｔｕｒｅｓ  Ｅｘｐｅｒｔｓ  Ｇｒｏｕｐ（ＭＰＥＧ）は、ＩＳＯベースメディアファイルフォーマットの拡張としてＡＶＣファイルフォーマットを開発した。ＡＶＣファイルフォーマットでは、シーケンスパラメータセットおよびピクチャパラメータセットを含むパラメータセットは、ビデオトラック中にあるビデオエレメンタリストリームに関連付けられ得る。パラメータセットトラックと呼ばれる別のトラック中にパラメータセットを有することも可能であり、この別のトラックは、ＳＰＳまたはＰＰＳネットワークアブストラクションレイヤ（ＮＡＬ：network abstraction layer）ユニットであるサンプルを含んでいるパラメータセットエレメンタリストリームを含む。しかしながら、ＳＥＩメッセージを使用するピクチャより前の復号時間をもつサンプル中にこのＳＥＩメッセージが提示される限り、ＳＥＩメッセージＮＡＬユニットのロケーションはＡＶＣファイルフォーマットでは制限されない。
【００３８】
[0044]ＡＶＣファイルフォーマットはＳＶＣおよびＭＶＣ拡張を有し、それぞれＳＶＣおよびＭＶＣの記憶をサポートする。ＳＶＣおよびＭＶＣでは、１つのビデオトラックまたは複数のビデオトラック中に複数のレイヤ／ビューが含まれ得る。レイヤ／ビューが様々な編成で提示されるとき、オペレーションポイントを構築するために、ＳＶＣおよびＭＶＣ仕様において定義されたツールがある。
【００３９】
[0045]ＳＶＣのいくつかの機能はＨ．２６４／ＡＶＣから引き継がれている。前のスケーラブル規格と比較して、ＳＶＣ規格は、たとえば、階層時間スケーラビリティ、レイヤ間予測、シングルループ復号、およびフレキシブルトランスポートインターフェースなどの様々な利点を与え得る。Ｈ．２６４／ＡＶＣは、高度の時間スケーラビリティを可能にするフレキシブルな階層Ｂピクチャコーディング構造を与える。Ｈ．２６４／ＡＶＣから引き継がれたこの特徴により、ＳＶＣは、異なる解像度をもつレイヤの時間スケーラビリティをサポートする。ＳＶＣでは、ピクチャグループ（ＧＯＰ）は、いわゆるキーピクチャと、このキーピクチャと前のキーピクチャとの間に出力／表示順序で配置されたすべてのピクチャとを含む。キーピクチャは、規則的または不規則な間隔でコーディングされ得、前のキーピクチャを動き補償予測のための基準として使用してイントラコーディングされるか、またはインターコーディングされ得る。非キーピクチャは、より低い時間レベルをもつピクチャから階層的に予測され、キーピクチャは、最も低い時間レベルを有し得る。ピクチャの時間レベルは、ＮＡＬユニットヘッダＳＶＣ拡張中のシンタックス要素ｔｅｍｐｏｒａｌ＿ｉｄによって示され得る。
【００４０】
[0046]ＳＶＣは、テクスチャと残差と動きとに基づいて、空間スケーラビリティと信号対雑音比（ＳＮＲ）スケーラビリティとのレイヤ間予測を導入する。ＳＶＣにおける空間スケーラビリティは、２つのレイヤ間の任意の解像度比に一般化され得る。ＳＮＲスケーラビリティは、粗粒度スケーラビリティ（ＣＧＳ：Coarse Granularity Scalability）、中粒度スケーラビリティ（ＭＧＳ：Medium Granularity Scalability）、または細粒度スケーラビリティ（ＦＧＳ：Fine Grain Scalability）によって実現され得る。ＳＶＣでは、２つの空間レイヤまたはＣＧＳレイヤは、（ＮＡＬユニットヘッダ中でｄｅｐｅｎｄｅｎｃｙ＿ｉｄによって示され得る）異なる依存性レイヤに属するが、２つのＭＧＳレイヤは同じ依存性レイヤ中にあり得る。１つの依存性レイヤは、品質エンハンスメント（quality enhancement）レイヤに対応する、０からより高い値までのｑｕａｌｉｔｙ＿ｉｄをもつ品質レイヤを含み得る。ＳＶＣは、レイヤ間冗長性を低減するために利用されるレイヤ間予測方法を与える。それらは、レイヤ間テクスチャ予測、レイヤ間残差予測、およびレイヤ間動き予測として要約される。
【００４１】
[0047]ＳＶＣはまた、スケーラブルマルチメディアアプリケーションシステムへのコーデックのシームレスな統合を可能にする、フレキシブルなシステムおよびトランスポートインターフェース設計を提供する。圧縮およびスケーラビリティプロビジョニングとは異なり、システムおよびトランスポートインターフェースは、コーデック機能に焦点を当てており、一般的にビデオコーデックについては、インターオペラビリティおよび準拠、拡張性、ランダムアクセス、タイミング、バッファ管理、ならびに誤り耐性などであり、特にスケーラブルコーディングについては、後方互換性、スケーラビリティ情報プロビジョニング、およびスケーラビリティ適応などである。
【００４２】
[0048]ＳＶＣはシングルループ復号方式をさらに提供する。シングルループ復号方式では、ターゲットレイヤのみが動き補償され、完全復号される必要がある。したがって、一般に、あらゆる空間レイヤまたはＳＮＲスケーラブルレイヤに対して動き補償および完全復号が実行される、他のマルチループ復号方式と比較して、ＳＶＣのシングルループ復号方式は復号複雑度ならびにＤＰＢサイズを大幅に低減することができる。
【００４３】
[0049]ＳＶＣおよびＭＶＣは、たとえば、ＮＡＬユニットヘッダ、シーケンスパラメータセット、およびＳＥＩメッセージ中に、同様のハイレベルシンタックス設計を有する。ＳＶＣとＭＶＣの両方において、ビットストリーム全体の抽出は、帯域幅またはデバイス能力の適応のために、ある程度までサポートされる。抽出されたサブビットストリームは異なるオペレーションポイントに対応する。
【００４４】
[0050]いくつかの例では、本開示の技法は、Ｈ．２６４／ＡＶＣコーデック、または、ＳＶＣ、ＭＶＣ、またはＨ．２６４／ＡＶＣの他の拡張などのＡＶＣに基づくコーデックに適用され得る。そのようなコーデックは、ＳＥＩメッセージが１つのコード化ピクチャ、たとえば、アクセスユニットに関連するときにそのＳＥＩメッセージを認識するように構成され、ＳＥＩメッセージは、ＩＳＯベースメディアファイルフォーマットまたはＭＰＥＧ−２システムビットストリームでアクセスユニット内にカプセル化され得る。本技法はまた、ＳＥＩメッセージによって記述されるアクセスユニットとは別個にＳＥＩメッセージを搬送することを可能にするために、将来のコーディング規格、たとえば、Ｈ．２６５／ＨＥＶＣに対処する。
【００４５】
[0051]別の例として、３ＧＰＰに関して、ダウンロードおよびプログレッシブダウンロードのために３ＧＰファイルに対してＨＴＴＰ／ＴＣＰ／ＩＰトランスポートがサポートされる。さらに、ビデオストリーミングにＨＴＴＰを使用することはいくつかの利点を与え、ＨＴＴＰに基づくビデオストリーミングサービスが普及しつつある。ＨＴＴＰストリーミングは、ネットワーク上でビデオデータをトランスポートするための新しい技法を開発するために新たな労力が必要とされないように、既存のインターネットコンポーネントおよびプロトコルが使用されることを含むいくつかの利点を与え得る。他のトランスポートプロトコル、たとえばＲＴＰペイロードフォーマットは、メディアフォーマットおよびシグナリングコンテキストを認識するために、中間ネットワークデバイス、たとえば中間ボックスを必要とする。また、ＨＴＴＰストリーミングはクライアント主導型であり得、それにより、制御問題を回避し得る。
【００４６】
[0052]たとえば、最適性能を取得するための特徴を活用するために、サーバは、まだ肯定応答されていないパケットのサイズとコンテンツとを追跡する。サーバはまた、ＲＤ最適切替え／シニング（thinning）決定を行うために、ファイル構造を分析し、クライアントバッファの状態を再構成し得る。さらに、ネゴシエートされたプロファイルに準拠した状態を保つために、ビットストリーム変動に関する制約が満たされ得る。ＨＴＴＰは、ＨＴＴＰ１．１が実装されたウェブサーバにおいて、新しいハードウェアまたはソフトウェア実装を必ずしも必要とはしない。ＨＴＴＰストリーミングはまた、ＴＣＰフレンドリネス(TCP friendliness)とファイアウォールトラバーサル（firewall traversal）とを実現する。
【００４７】
[0053]ＨＴＴＰストリーミングでは、頻繁に使用される動作にはＧＥＴおよびパーシャルＧＥＴがある。ＧＥＴオペレーションは、所与のユニフォームリソースロケータ（ＵＲＬ）またはユニフォームリソースネーム（ＵＲＮ）に関連するファイル全体を取り出す。パーシャルＧＥＴオペレーションは、入力パラメータとしてバイト範囲を受信し、受信したバイト範囲に対応するファイルの連続するいくつかのバイトを取り出す。したがって、パーシャルＧＥＴオペレーションは１つまたは複数の個々のムービーフラグメントを得ることができるので、ＨＴＴＰストリーミングのためのムービーフラグメントが与えられ得る。ムービーフラグメントには、異なるトラックのいくつかのトラックフラグメントがあり得ることに留意されたい。ＨＴＴＰストリーミングでは、メディアプレゼンテーションは、クライアントがアクセス可能であるデータの構造化された集合であり得る。クライアントは、ストリーミングサービスをユーザに提示するために、メディアデータ情報を要求し、ダウンロードし得る。
【００４８】
[0054]図１は、オーディオ／ビデオ（Ａ／Ｖ）ソースデバイス２０がオーディオおよびビデオデータをＡ／Ｖ宛先デバイス４０にトランスポートする例示的なシステム１０を示すブロック図である。図１のシステム１０は、ビデオ通信会議システム、サーバ／クライアントシステム、放送事業者／受信機システム、またはＡ／Ｖソースデバイス２０などのソースデバイスからＡ／Ｖ宛先デバイス４０などの宛先デバイスにビデオデータが送られる任意の他のシステムに対応し得る。いくつかの例では、Ａ／Ｖソースデバイス２０およびＡ／Ｖ宛先デバイス４０は双方向情報交換を実行し得る。すなわち、Ａ／Ｖソースデバイス２０およびＡ／Ｖ宛先デバイス４０は、オーディオおよびビデオデータの符号化と復号（および、送信と受信）の両方が可能であり得る。いくつかの例では、オーディオエンコーダ２６は、ボコーダとも呼ばれるボイスエンコーダを備え得る。
【００４９】
[0055]Ａ／Ｖソースデバイス２０は、図１の例では、オーディオソース２２とビデオソース２４とを備える。オーディオソース２２は、たとえば、オーディオエンコーダ２６によって符号化されるべき、キャプチャされたオーディオデータを表す電気信号を生成するマイクロフォンを備え得る。代替的に、オーディオソース２２は、前に記録されたオーディオデータを記憶する記憶媒体、コンピュータシンセサイザなどのオーディオデータ生成器、またはオーディオデータの任意の他のソースを備え得る。ビデオソース２４は、ビデオエンコーダ２８によって符号化されるべきビデオデータを生成するビデオカメラ、前に記録されたビデオデータで符号化された記憶媒体、ビデオデータ生成ユニット、またはビデオデータの任意の他のソースを備え得る。
【００５０】
[0056]未加工オーディオおよびビデオデータは、アナログまたはデジタルデータを備え得る。アナログデータは、オーディオエンコーダ２６および／またはビデオエンコーダ２８によって符号化される前にデジタル化され得る。オーディオソース２２は、通話参加者が話している間、通話参加者からオーディオデータを取得し、同時に、ビデオソース２４は、通話参加者のビデオデータを取得し得る。他の例では、オーディオソース２２は、記憶されたオーディオデータを備えるコンピュータ可読記憶媒体を備え得、ビデオソース２４は、記憶されたビデオデータを備えるコンピュータ可読記憶媒体を備え得る。このようにして、本開示で説明する技法は、ライブ、ストリーミング、リアルタイムオーディオおよびビデオデータ、またはアーカイブされた、あらかじめ記録されたオーディオおよびビデオデータに適用され得る。
【００５１】
[0057]ビデオフレームに対応するオーディオフレームは、概して、ビデオフレーム内に含まれている、ビデオソース２４によってキャプチャされたビデオデータと同時にオーディオソース２２によってキャプチャされたオーディオデータを含んでいるオーディオフレームである。たとえば、通話参加者が概して話すことによってオーディオデータを生成する間、オーディオソース２２はオーディオデータをキャプチャし、同時に、すなわちオーディオソース２２がオーディオデータをキャプチャしている間、ビデオソース２４は通話参加者のビデオデータをキャプチャする。したがって、オーディオフレームは、１つまたは複数の特定のビデオフレームに時間的に対応し得る。したがって、ビデオフレームに対応するオーディオフレームは、概して、オーディオデータとビデオデータとが同時にキャプチャされる状況、およびオーディオフレームとビデオフレームとが、それぞれ、同時にキャプチャされたオーディオデータとビデオデータとを備える状況に対応する。
【００５２】
[0058]いくつかの例では、オーディオエンコーダ２６は、符号化オーディオフレームのオーディオデータが記録された時間を表す、各符号化オーディオフレームにおけるタイムスタンプを符号化し、同様に、ビデオエンコーダ２８は、符号化ビデオフレームのビデオデータが記録された時間を表す、各符号化ビデオフレームにおけるタイムスタンプを符号化し得る。そのような例では、ビデオフレームに対応するオーディオフレームは、タイムスタンプを備えるオーディオフレームと、同じタイムスタンプを備えるビデオフレームとを備え得る。Ａ／Ｖソースデバイス２０は、オーディオエンコーダ２６および／またはビデオエンコーダ２８がタイムスタンプを生成するか、あるいはオーディオソース２２およびビデオソース２４がオーディオおよびビデオデータをそれぞれタイムスタンプに関連付けるために使用し得る内部クロックを含む。
【００５３】
[0059]いくつかの例では、オーディオソース２２は、オーディオデータが記録された時間に対応するデータをオーディオエンコーダ２６に送り、ビデオソース２４は、ビデオデータが記録された時間に対応するデータをビデオエンコーダ２８に送る。いくつかの例では、オーディオエンコーダ２６は、符号化オーディオデータの相対的時間順序付けを示すために、符号化オーディオデータ中のシーケンス識別子を符号化するが、必ずしもオーディオデータが記録された絶対時刻を示す必要はない。同様に、ビデオエンコーダ２８も、符号化ビデオデータの相対的時間順序付けを示すためにシーケンス識別子を使用し得る。同様に、いくつかの例では、シーケンス識別子は、タイムスタンプにマッピングされるか、または場合によってはタイムスタンプと相関する。
【００５４】
[0060]本開示の技法は、概して、符号化マルチメディア（たとえば、オーディオおよびビデオ）データのトランスポートと、トランスポートされたマルチメディアデータの受信ならびに後続の解釈および復号とを対象とする。図１の例に示すように、ビデオソース２４はシーンの複数のビューをビデオエンコーダ２８に与える。
【００５５】
[0061]Ａ／Ｖソースデバイス２０は、Ａ／Ｖ宛先デバイス４０に「サービス」を提供し得る。サービスは、概して、ＭＶＣデータの利用可能なビューのサブセットに対応する。たとえば、ＭＶＣデータは、０から７まで順序付けられた８つのビューについて利用可能である。あるサービスは、２つのビューを有するステレオビデオに対応し、別のサービスは４つのビューに対応し、さらに別のサービスは８つのビューすべてに対応し得る。概して、サービスは、利用可能なビューの任意の組合せ（すなわち、任意のサブセット）に対応する。サービスはまた、利用可能なビューならびにオーディオデータの組合せに対応する。Ａ／Ｖソースデバイス２０が、Ａ／Ｖソースデバイス２０によって提供されるサービスごとにオペレーションポイント記述子をさらに与え得るように、オペレーションポイントがサービスに対応し得る。
【００５６】
[0062]各データストリームは（オーディオかビデオかにかかわらず）エレメンタリストリームと呼ばれる。エレメンタリストリームは、デジタル的にコーディングされた（場合によっては圧縮された）プログラムの単一の構成要素である。たとえば、プログラムのコーディングされたビデオまたはオーディオ部分はエレメンタリストリームである。エレメンタリストリームは、ビデオファイル内にカプセル化される前に、パケット化エレメンタリストリーム（ＰＥＳ：packetized elementary stream）に変換され得る。同じプログラム内では、１つのエレメンタリストリームに属するＰＥＳパケットを他のものから区別するためにストリームＩＤが使用される。エレメンタリストリームの基本データ単位はパケット化エレメンタリストリーム（ＰＥＳ）パケットである。したがって、ＭＶＣビデオデータの各ビューはそれぞれのエレメンタリストリームに対応する。同様に、オーディオデータは１つまたは複数のそれぞれのエレメンタリストリームに対応する。たとえば、シーケンスパラメータセット、ピクチャパラメータセット、およびシーケンスレベルＳＥＩメッセージを含み得るシーケンスデータセットは、本開示の技法によれば、パラメータセットトラックまたはパラメータセットエレメンタリストリーム中に含まれ得る。本開示の技法は、パケット化エレメンタリストリーム（ＰＥＳ）、プログラムストリーム（ＰＳ）、およびトランスポートストリーム（ＴＳ）、ならびにそれらのＡＶＣ拡張、ＳＶＣ拡張、およびＭＶＣ拡張を含む、ＭＰＥＧ−２システムに準拠するビデオファイルまたはビデオストリームに適用され得る。
【００５７】
[0063]ＭＶＣコード化ビデオシーケンスは、各々がエレメンタリストリームであるいくつかのサブビットストリームに分離され得る。各サブビットストリームは、ＭＶＣ  ｖｉｅｗ＿ｉｄサブセットを使用して識別され得る。各ＭＶＣ  ｖｉｅｗ＿ｉｄサブセットの概念に基づいて、ＭＶＣビデオサブビットストリームが定義される。ＭＶＣビデオサブビットストリームは、ＭＶＣ  ｖｉｅｗ＿ｉｄサブセットに記載されているビューのＮＡＬユニットを含んでいる。プログラムストリームは、概して、エレメンタリストリームのものであるＮＡＬユニットのみを含んでいる。それはまた、任意の２つのエレメンタリストリームが同じビューを含むことができないように設計されている。
【００５８】
[0064]図１の例では、カプセル化ユニット３０は、ビデオエンコーダ２８からビデオデータを備えるエレメンタリストリームを受信し、オーディオエンコーダ２６からオーディオデータを備えるエレメンタリストリームを受信する。いくつかの例では、ビデオエンコーダ２８およびオーディオエンコーダ２６はそれぞれ、符号化データからＰＥＳパケットを形成するためのパケッタイザを含む。他の例では、ビデオエンコーダ２８およびオーディオエンコーダ２６は、それぞれ、符号化データからＰＥＳパケットを形成するため、それぞれのパケッタイザとインターフェースする。さらに他の例では、カプセル化ユニット３０は、符号化オーディオデータと符号化ビデオデータとからＰＥＳパケットを形成するためのパケッタイザを含む。
【００５９】
[0065]本開示で使用する「プログラム」は、オーディオデータとビデオデータとの組合せ、たとえば、Ａ／Ｖソースデバイス２０のサービスによって配信されたオーディオエレメンタリストリームと利用可能なビューのサブセットとを備え得る。各ＰＥＳパケットは、ＰＥＳパケットが属するエレメンタリストリームを識別するｓｔｒｅａｍ＿ｉｄを含む。カプセル化ユニット３０は、エレメンタリストリームをビデオファイルにアセンブルすることを担う。
【００６０】
[0066]カプセル化ユニット３０は、オーディオエンコーダ２６とビデオエンコーダ２８とからプログラムのエレメンタリストリームのＰＥＳパケットを受信し、ＰＥＳパケットから対応するネットワークアブストラクションレイヤ（ＮＡＬ）ユニットを形成する。Ｈ．２６４／ＡＶＣ（Ａｄｖａｎｃｅｄ  Ｖｉｄｅｏ  Ｃｏｄｉｎｇ）の例では、コード化ビデオセグメントは、ビデオテレフォニー、ストレージ、ブロードキャスト、またはストリーミングなどの適用例に対処する「ネットワークフレンドリーな」ビデオ表現を与えるＮＡＬユニットに編成される。ＮＡＬユニットは、Ｖｉｄｅｏ  Ｃｏｄｉｎｇ  Ｌａｙｅｒ（ＶＣＬ）ＮＡＬユニットと非ＶＣＬ  ＮＡＬユニットとにカテゴリー分類され得る。ＶＣＬユニットは、コア圧縮エンジンを含むことがあり、ブロック、マクロブロック、および／またはスライスレベルのデータを含み得る。他のＮＡＬユニットは非ＶＣＬ  ＮＡＬユニットであり得る。いくつかの例では、通常はプライマリコード化ピクチャとして提示される、１つの時間インスタンス中のコード化ピクチャは、１つまたは複数のＮＡＬユニットを含むアクセスユニット中に含まれる。
【００６１】
[0067]非ＶＣＬ  ＮＡＬユニットは、特に、パラメータセットＮＡＬユニットとＳＥＩ  ＮＡＬユニットとを含み得る。パラメータセットは、（シーケンスパラメータセット（ＳＰＳ：sequence parameter set）中の）シーケンスレベルヘッダ情報と（ピクチャパラメータセット（ＰＰＳ：picture parameter set）中の）まれに変化するピクチャレベルヘッダ情報とを含むことがある。パラメータセット（たとえば、ＰＰＳおよびＳＰＳ）がある場合、まれに変化する情報をシーケンスごとまたはピクチャごとに繰り返す必要はなく、したがってコーディング効率が改善され得る。さらに、パラメータセットの使用は重要なヘッダ情報の帯域外送信を可能にし、誤り耐性のための冗長送信の必要を回避する。帯域外送信の例では、ＳＥＩ  ＮＡＬユニットなど、他のＮＡＬユニットとは異なるチャネル上でパラメータセットＮＡＬユニットが送信され得る。
【００６２】
[0068]補足エンハンスメント情報（ＳＥＩ）は、ＶＣＬ  ＮＡＬユニットからのコード化ピクチャサンプルを復号するためには必要でないが、復号、表示、誤り耐性、および他の目的に関係するプロセスを支援する情報を含むことがある。ＳＥＩメッセージは、非ＶＣＬ  ＮＡＬユニット中に含まれていることがある。ＳＥＩメッセージは、一部の標準規格の規範的部分であり、したがって、常に標準準拠デコーダ実装のために必須であるとは限らない。ＳＥＩメッセージは、シーケンスレベルのＳＥＩメッセージまたはピクチャレベルのＳＥＩメッセージであり得る。ＳＶＣの例ではスケーラビリティ情報ＳＥＩメッセージ、ＭＶＣではビュースケーラビリティ情報ＳＥＩメッセージなど、ＳＥＩメッセージ中に何らかのシーケンスレベル情報が含まれていることがある。これらの例示的なＳＥＩメッセージは、たとえば、オペレーションポイントの抽出およびそれらのオペレーションポイントの特性に関する情報を伝達する。
【００６３】
[0069]本開示の技法によれば、カプセル化ユニット３０は、シーケンスレベルＳＥＩメッセージが、シーケンスレベルＳＥＩメッセージによって記述されたコード化ビデオピクチャから分離されるようにビデオファイルのデータを構成し得る。このようにして、カプセル化ユニット３０は、コード化ビデオデータを含む特定のアクセスユニットからシーケンスレベルＳＥＩメッセージを分離し得る。たとえば、カプセル化ユニット３０は、たとえば、ＡＶＣ、またはＭＶＣおよびＳＶＣなどのその拡張に従って符号化されたビデオデータのＳＰＳデータおよびＰＰＳデータとともに、シーケンスレベルＳＥＩメッセージをパラメータセットエレメンタリストリーム中に含める。さらに、ビデオデータがＭＶＣおよび／またはＳＶＣに従って符号化される例では、カプセル化ユニット３０は、サブセットＳＰＳをパラメータセットエレメンタリストリーム中に含める。
【００６４】
[0070]いくつかの例では、カプセル化ユニット３０は、パラメータセットエレメンタリストリーム中にいくつかのＳＥＩメッセージのみを配置するように構成される。たとえば、Ｈ．２６４／ＡＶＣの場合、カプセル化ユニット３０は、パンスキャン矩形情報およびステレオビデオ情報を記述するＳＥＩメッセージをパラメータセットエレメンタリストリーム中に含める。別の例として、ＳＶＣの場合、カプセル化ユニット３０は、スケーラビリティ情報を記述するＳＥＩメッセージをパラメータセットエレメンタリストリーム中に含め得る。さらに別の例として、ＭＶＣの場合、カプセル化ユニット３０は、ビュースケーラビリティ情報、マルチビュー取得情報、およびマルチビューシーン情報を記述するＳＥＩメッセージを含める。
【００６５】
[0071]一般に、ＳＰＳおよびＰＰＳ（ならびに、たとえば、ＭＶＣおよびＳＶＣのためのサブセットＳＰＳ）は、シーケンスレベルＳＥＩメッセージとともに、「シーケンスデータセット」と総称される。上記で説明したように、シーケンスデータセットは、パラメータセットエレメンタリストリームなどの別個のトラック中に含まれ得る。いくつかの例では、別個のパラメータトラック中にシーケンスデータセットを配置するのではなく、カプセル化ユニット３０は、宛先デバイス４０がＨＴＴＰパーシャルＧＥＴ要求を使用してシーケンスデータセット全体を取り出すことができるように、シーケンスのシーケンスデータセットを連続的にファイル中に提示し得る。たとえば、シーケンスデータセットは、コード化ビデオデータ、たとえば、コード化ビデオピクチャの一部分またはコード化ビデオピクチャ全体を含んでいない専用のビデオサンプル中に含まれる。
【００６６】
[0072]シーケンスデータセットによって記述されたビデオデータからシーケンスデータセットを分離することによって、宛先デバイス４０は、シーケンスデータセットによって記述されたビデオデータとは別個にシーケンスデータセットを取り出し得る。このようにして、ソースデバイス２０は、シーケンスデータセットによって記述されたビデオデータを宛先デバイス４０に送信するより前に、シーケンスデータセットを宛先デバイス４０に送信し得る。したがって、ソースデバイス２０は、コード化ビデオピクチャを含むムービーフラグメントが宛先デバイス４０に送られる前に、シーケンスデータセットを宛先デバイス４０に送り得る。
【００６７】
[0073]いくつかの例では、たとえば、３ＧＰＰビデオファイルの使用に関して、シーケンスデータセットは、宛先デバイス４０がメディアプレゼンテーション記述子にアクセスした後に宛先デバイス４０に送られ得る別個の３ＧＰＰファイル中に含まれる。すなわち、宛先デバイス４０は、ビデオデータのシーケンスのメディアプレゼンテーション記述子を取り出し、次いで、ビデオデータのシーケンスのシーケンスデータセットを含む３ＧＰＰファイルを取り出し、次いで、ビデオデータ自体のシーケンスを取り出す。いくつかの例では、シーケンスデータセットは、メディアプレゼンテーション記述子自体の一部を形成する。いくつかの例では、シーケンスデータセットは、コード化ビデオデータを含んでいないムービーボックスの一部に含まれる。いくつかの例では、シーケンスデータセットは、ムービーボックスの後に配置されるムービーフラグメントを形成する。
【００６８】
[0074]カプセル化ユニット３０は、ＮＡＬが属するプログラムを識別するヘッダ、ならびに、たとえば、オーディオデータ、ビデオデータ、あるいはＮＡＬユニットが対応するトランスポートまたはプログラムストリームを記述するデータといったペイロードを備えるＮＡＬユニットを形成し得る。たとえば、Ｈ．２６４／ＡＶＣでは、ＮＡＬユニットは１バイトのヘッダと変動するサイズのペイロードとを含む。一例では、ＮＡＬユニットヘッダは、ｐｒｉｏｒｉｔｙ＿ｉｄ要素と、ｔｅｍｐｏｒａｌ＿ｉｄ要素と、ａｎｃｈｏｒ＿ｐｉｃ＿ｆｌａｇ要素と、ｖｉｅｗ＿ｉｄ要素と、ｎｏｎ＿ｉｄｒ＿ｆｌａｇ要素と、ｉｎｔｅｒ＿ｖｉｅｗ＿ｆｌａｇ要素とを備える。従来のＭＶＣでは、４バイトＭＶＣ  ＮＡＬユニットヘッダとＮＡＬユニットペイロードとを含む、プレフィックスＮＡＬユニットとＭＶＣコード化スライスＮＡＬユニットとを除いて、Ｈ．２６４によって定義されたＮＡＬユニットが保持される。
【００６９】
[0075]ＮＡＬヘッダのｐｒｉｏｒｉｔｙ＿ｉｄ要素は、単純なワンパス（one-path）ビットストリーム適合プロセスのために使用され得る。ｔｅｍｐｏｒａｌ＿ｉｄ要素は、異なる時間レベルが異なるフレームレートに対応する場合、対応するＮＡＬユニットの時間レベルを指定するために使用され得る。
【００７０】
[0076]ａｎｃｈｏｒ＿ｐｉｃ＿ｆｌａｇ要素は、ピクチャがアンカーピクチャであるか非アンカーピクチャであるかを示す。アンカーピクチャと、出力順序（すなわち、表示順序）でそれに続くすべてのピクチャとは、復号順序（すなわち、ビットストリーム順序）で前のピクチャを復号することなしに正しく復号され、したがってランダムアクセスポイントとして使用され得る。アンカーピクチャと非アンカーピクチャとは異なる依存性を有することができ、その両方はシーケンスパラメータセット中でシグナリングされる。他のフラグについては、本章の以下のセクションで説明され、使用される。そのようなアンカーピクチャはまた、オープンＧＯＰ（Ｇｒｏｕｐ  Ｏｆ  Ｐｉｃｔｕｒｅｓ）アクセスポイントと呼ばれることもあり、ｎｏｎ＿ｉｄｒ＿ｆｌａｇ要素が０に等しいとき、クローズＧＯＰアクセスポイントもサポートされる。ｎｏｎ＿ｉｄｒ＿ｆｌａｇ要素は、ピクチャが瞬時デコーダリフレッシュ（ＩＤＲ：instantaneous decoder refresh）であるかビューＩＤＲ（Ｖ−ＩＤＲ）ピクチャであるかを示す。概して、ＩＤＲピクチャと、出力順序またはビットストリーム順序でそれに続くすべてのピクチャとは、復号順序または表示順序のいずれかで前のピクチャを復号することなしに正しく復号され得る。
【００７１】
[0077]ｖｉｅｗ＿ｉｄ要素は、ビューを識別するために使用され得るシンタックス情報を備え、それは、ＭＶＣデコーダ内でデータ対話性のために、たとえば、ビュー間予測のために、およびデコーダ外で、たとえば、レンダリングのために使用され得る。ｉｎｔｅｒ＿ｖｉｅｗ＿ｆｌａｇ要素は、対応するＮＡＬユニットが他のビューによってビュー間予測のために使用されるかどうかを指定し得る。ＡＶＣに準拠し得る、ベースビューの４バイトＮＡＬユニットヘッダ情報を搬送するために、ＭＶＣにおいてプレフィックスＮＡＬユニットが定義される。ＭＶＣのコンテキストにおいて、ベースビューアクセスユニットは、ビューの現在の時間インスタンスのＶＣＬ  ＮＡＬユニット、ならびにＮＡＬユニットヘッドのみを含むプレフィックスＮＡＬユニットを含む。Ｈ．２６４／ＡＶＣデコーダはプレフィックスＮＡＬユニットを無視し得る。
【００７２】
[0078]そのペイロード中にビデオデータを含むＮＡＬユニットは、様々な粒度（granularity）レベルのビデオデータを備え得る。たとえば、ＮＡＬユニットは、ビデオデータのブロック、マクロブロック、複数のマクロブロック、ビデオデータのスライス、またはビデオデータのフレーム全体を備える。カプセル化ユニット３０は、ビデオエンコーダ２８から符号化ビデオデータをエレメンタリストリームのＰＥＳパケットの形態で受信し得る。カプセル化ユニット３０は、各エレメンタリストリームを対応するプログラムに関連付け得る。
【００７３】
[0079]カプセル化ユニット３０はまた、複数のＮＡＬユニットからアクセスユニットをアセンブルし得る。概して、アクセスユニットは、ビデオデータのフレームを表すための、ならびにそのフレームに対応するオーディオデータが利用可能であるときにそのようなオーディオデータを表すための、１つまたは複数のＮＡＬユニットを備え得る。アクセスユニットは、概して、１つの出力時間インスタンスについてすべてのＮＡＬユニット、たとえば１つの時間インスタンスについてすべてのオーディオおよびビデオデータを含む。たとえば、各ビューが２０フレーム毎秒（ｆｐｓ）のフレームレートを有する場合、各時間インスタンスは０．０５秒の時間間隔に対応する。この時間間隔中に、同じアクセスユニット（同じ時間インスタンス）のすべてのビューについて特定のフレームが同時にレンダリングされ得る。Ｈ．２６４／ＡＶＣに対応する例では、アクセスユニットは、プライマリコード化ピクチャとして提示される、１つの時間インスタンス中のコード化ピクチャを備える。したがって、アクセスユニットは、共通の時間インスタンスのすべてのオーディオおよびビデオフレーム、たとえば、時間Ｘに対応するすべてのビューを備え得る。また、本開示では、特定のビューの符号化ピクチャを「ビューコンポーネント」と呼ぶ。すなわち、ビューコンポーネントは、特定の時間における特定のビューの符号化ピクチャ（またはフレーム）を備え得る。したがって、アクセスユニットは、共通の時間インスタンスのすべてのビューコンポーネントを備えるものと定義され得る。アクセスユニットの復号順序は、必ずしも出力または表示順序と同じである必要はない。
【００７４】
[0080]多くのビデオコーディング規格の場合と同様に、Ｈ．２６４／ＡＶＣは、誤りのないビットストリームのためのシンタックスと、セマンティクスと、復号プロセスとを定義し、そのいずれも特定のプロファイルまたはレベルに準拠する。Ｈ．２６４／ＡＶＣはエンコーダを指定しないが、エンコーダは、生成されたビットストリームがデコーダの規格に準拠することを保証することを課される。ビデオコーディング規格のコンテキストでは、「プロファイル」は、アルゴリズム、機能、またはツールと、それらに適用される制約とのサブセットに対応する。たとえば、Ｈ．２６４規格によって定義される「プロファイル」は、Ｈ．２６４規格によって指定されたビットストリームシンタックス全体のサブセットである。「レベル」は、たとえば、ピクチャの解像度、ビットレート、およびマクロブロック（ＭＢ）処理レートに関係するデコーダメモリおよび計算など、デコーダリソース消費の制限に対応する。プロファイルはｐｒｏｆｉｌｅ＿ｉｄｃ（プロファイルインジケータ）値を用いてシグナリングされ、レベルはｌｅｖｅｌ＿ｉｄｃ（レベルインジケータ）値を用いてシグナリングされ得る。
【００７５】
[0081]Ｈ．２６４規格は、たとえば、与えられたプロファイルのシンタックスによって課される限界内で、復号されたピクチャの指定されたサイズのような、ビットストリーム中のシンタックス要素がとる値に応じて、エンコーダおよびデコーダのパフォーマンスにおける大きい変動が要求される可能性が依然としてあることを認識している。Ｈ．２６４規格は、さらに、多くのアプリケーションにおいて、特定のプロファイル内でシンタックスのすべての仮定的使用を処理することが可能なデコーダを実装することが現実的でも経済的でもないことを認識している。したがって、Ｈ．２６４規格は、ビットストリーム中のシンタックス要素の値に課された制約の指定されたセットとして「レベル」を定義している。これらの制約は、値に関する単純な限界であり得る。代替的に、これらの制約は、値の演算の組合せ（たとえば、ピクチャ幅×ピクチャ高さ×毎秒復号されるピクチャの数）に関する制約の形態をとり得る。Ｈ．２６４規格は、さらに、個別の実装形態が、サポートされるプロファイルごとに異なるレベルをサポートすることを規定している。
【００７６】
[0082]プロファイルに準拠するデコーダは、通常、プロファイル中で定義されたすべての機能をサポートする。たとえば、コーディング機能として、Ｂピクチャコーディングは、Ｈ．２６４／ＡＶＣのベースラインプロファイルではサポートされないが、Ｈ．２６４／ＡＶＣの他のプロファイルではサポートされる。１つのレベルに準拠するデコーダは、当該レベルにおいて定義された制限を超えたリソースを必要としない任意のビットストリームを復号できなければならない。プロファイルおよびレベルの定義は、説明可能性のために役立ち得る。たとえば、ビデオ送信中に、プロファイル定義とレベル定義のペアが全送信セッションについてネゴシエートされ、同意される。より詳細には、Ｈ．２６４／ＡＶＣでは、レベルは、たとえば、処理する必要があるマクロブロックの数に関する制限と、復号されたピクチャバッファ（ＤＰＢ）サイズと、コード化ピクチャバッファ（ＣＰＢ）サイズと、垂直動きベクトル範囲と、２つの連続するＭＢごとの動きベクトルの最大数と、Ｂブロックが８×８ピクセル未満のサブマクロブロックパーティションを有することができるかどうかとを定義する。このようにして、デコーダは、デコーダがビットストリームを適切に復号することができるかどうかを決定し得る。
【００７７】
[0083]パラメータセットは、概して、シーケンスパラメータセット（ＳＰＳ）中のシーケンスレイヤヘッダ情報とピクチャパラメータセット（ＰＰＳ）中のまれに変化するピクチャレイヤヘッダ情報とを含む。パラメータセットがある場合、このまれに変化する情報をシーケンスごとまたはピクチャごとに繰り返す必要はなく、したがってコーディング効率が改善される。さらに、パラメータセットの使用はヘッダ情報の帯域外送信を可能にし、誤り耐性を達成するための冗長送信の必要を回避できる。帯域外送信では、他のＮＡＬユニットとは異なるチャネル上でパラメータセットＮＡＬユニットが送信される。
【００７８】
[0084]ＳＶＣおよびＭＶＣの例は、スケーラブルビデオまたはマルチビュービデオのためのシーケンスパラメータセット（ＳＰＳ）拡張を与える。ＳＰＳ拡張情報は、他のＮＡＬユニットとは異なるＮＡＬユニットタイプを有する、サブＳＰＳ  ＮＡＬユニット中に含まれ得る。サポートされるオペレーションポイントについてのプロファイルおよびレベル情報は、ＳＰＳ拡張情報を含むＮＡＬユニット中に含まれ得る。
【００７９】
[0085]メディアプレゼンテーションは、異なる複数の代替表現（たとえば、異なる品質をもつ複数のビデオサービス）の記述を含むメディアプレゼンテーション記述（ＭＰＤ）を含み得、記述は、たとえば、コーデック情報、プロファイル値、およびレベル値を含み得る。様々なプレゼンテーションの複数のムービーフラグメントにアクセスする方法を決定するために、宛先デバイス４０はメディアプレゼンテーションのＭＰＤを取り出す。ムービーフラグメントは、ビデオファイルのムービーフラグメントボックス（ｍｏｏｆボックス）中に配置される。
【００８０】
[0086]ＩＴＵ−Ｔ  Ｈ．２６１、Ｈ．２６２、Ｈ．２６３、ＭＰＥＧ−１、ＭＰＥＧ−２およびＨ．２６４／ＭＰＥＧ−４  ｐａｒｔ１０などのビデオ圧縮規格は、時間冗長性を低減するために動き補償時間予測を利用する。エンコーダは、動きベクトルに従って現在のコード化ピクチャを予測するために、いくつかの前の（本明細書ではフレームとも呼ぶ）符号化ピクチャからの動き補償予測を使用する。典型的なビデオコーディングには３つの主要なピクチャタイプがある。それらは、イントラコード化ピクチャ（「Ｉピクチャ」または「Ｉフレーム」）と、予測ピクチャ（「Ｐピクチャ」または「Ｐフレーム」）と、双方向予測ピクチャ（「Ｂピクチャ」または「Ｂフレーム」）と、である。Ｐピクチャは、時間順序で現在のピクチャの前の参照ピクチャのみを使用する。Ｂピクチャでは、Ｂピクチャの各ブロックは、１つまたは２つの参照ピクチャから予測され得る。これらの参照ピクチャは、時間順序で現在のピクチャの前または後に位置し得る。
【００８１】
[0087]Ｈ．２６４コーディング規格によれば、一例として、Ｂピクチャは、前にコーディングされた参照ピクチャの２つのリスト、すなわち、リスト０とリスト１とを使用する。これらの２つのリストは、それぞれ、過去および／または将来のコード化ピクチャを時間順序で含むことができる。Ｂピクチャ中のブロックは、いくつかの方法、すなわちリスト０参照ピクチャからの動き補償予測、リスト１参照ピクチャからの動き補償予測、またはリスト０参照ピクチャとリスト１参照ピクチャの両方の組合せからの動き補償予測のうちの１つで予測され得る。リスト０参照ピクチャとリスト１参照ピクチャの両方の組合せを得るために、２つの動き補償基準エリアが、それぞれリスト０参照ピクチャおよびリスト１参照ピクチャから取得される。それらの組合せは現在のブロックを予測するために使用される。
【００８２】
[0088]ＩＴＵ−Ｔ  Ｈ．２６４規格は、ルーマ成分については１６×１６、８×８、または４×４、およびクロマ成分については８×８など、様々なブロックサイズのイントラ予測をサポートし、ならびにルーマ成分については１６×１６、１６×８、８×１６、８×８、８×４、４×８および４×４、およびクロマ成分については対応するスケーリングされたサイズなど、様々なブロックサイズのインター予測をサポートする。本開示では、「×」と「by」は、垂直ディメンション（dimension）および水平ディメンションに関するブロックのピクセルディメンション、たとえば、１６×１６ピクセルまたは１６by１６ピクセルを指すために互換的に使用される。一般に、１６×１６ブロックは、垂直方向に１６ピクセルを有し（ｙ＝１６）、水平方向に１６ピクセルを有する（ｘ＝１６）。同様に、Ｎ×Ｎブロックは、一般に、垂直方向にＮピクセルを有し、水平方向にＮピクセルを有し、Ｎは、非負整数値を表す。ブロック中のピクセルは行と列に構成される。
【００８３】
[0089]１６×１６よりも小さいブロックサイズは１６×１６マクロブロックのパーティションと呼ばれることがある。ビデオブロックは、ピクセル領域中のピクセルデータのブロックを備え、あるいは、たとえば、離散コサイン変換（ＤＣＴ）、整数変換、ウェーブレット変換、またはコード化ビデオブロックと予測ビデオブロックとの間のピクセル差分を表す残差ビデオブロックデータへの概念的に同様の変換などの変換を適用した後の変換領域中の変換係数のブロックを備え得る。場合によっては、ビデオブロックは、変換領域中の量子化変換係数のブロックを備え得る。
【００８４】
[0090]ビデオブロックは、小さいほどより良い解像度が得られ、高い詳細レベルを含むビデオフレームの位置決めに使用され得る。一般に、マクロブロック、およびサブブロックと呼ばれることがある様々なパーティションは、ビデオブロックと見なされ得る。さらに、スライスは、マクロブロックおよび／またはサブブロックなど、複数のビデオブロックであると見なされ得る。各スライスはビデオフレームの単独で復号可能なユニットであり得る。代替的に、フレーム自体が復号可能なユニットであるか、またはフレームの他の部分が復号可能なユニットとして定義され得る。「コード化ユニット」または「コーディングユニット」という用語は、フレーム全体、フレームのスライス、シーケンスとも呼ばれるピクチャグループ（ＧＯＰ）のようなビデオフレームの単独で復号可能な任意のユニット、または、適用可能なコーディング技法に従って定義される別の単独で復号可能なユニットを指すことがある。
【００８５】
[0091]マクロブロックという用語は、１６×１６ピクセルを備える２次元ピクセルアレイに従ってピクチャおよび／またはビデオデータを符号化するためのデータ構造を指す。各ピクセルはクロミナンス成分と輝度成分とを備える。したがって、マクロブロックは、各々が８×８ピクセルの２次元アレイを備える４つの輝度ブロックと、各々が１６×１６ピクセルの２次元アレイを備える２つのクロミナンスブロックと、コード化ブロックパターン（ＣＢＰ）、符号化モード（たとえば、イントラ（Ｉ）またはインター（ＰまたはＢ）符号化モード）、イントラ符号化ブロックのパーティションのパーティションサイズ（たとえば、１６×１６、１６×８、８×１６、８×８、８×４、４×８、または４×４）、あるいはインター符号化マクロブロックのための１つまたは複数の動きベクトルなどのシンタックス情報を備えるヘッダと、を定義し得る。
【００８６】
[0092]ビデオエンコーダ２８、ビデオデコーダ４８、オーディオエンコーダ２６、オーディオデコーダ４６、カプセル化ユニット３０、およびカプセル化解除ユニット３８は、それぞれ、適用可能なとき、１つまたは複数のマイクロプロセッサ、デジタル信号プロセッサ（ＤＳＰ）、特定用途向け集積回路（ＡＳＩＣ）、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、ディスクリート論理回路、ソフトウェア、ハードウェア、ファームウェアなどの様々な好適な処理回路のいずれか、またはそれらの任意の組合せとして実装され得る。ビデオエンコーダ２８およびビデオデコーダ４８の各々は１つまたは複数のエンコーダまたはデコーダ中に含まれ得、そのいずれも複合ビデオエンコーダ／デコーダ（コーデック）の一部として統合され得る。同様に、オーディオエンコーダ２６およびオーディオデコーダ４６の各々は１つまたは複数のエンコーダまたはデコーダ中に含められ得、そのいずれかは複合ＣＯＤＥＣの一部として統合され得る。ビデオエンコーダ２８、ビデオデコーダ４８、オーディオエンコーダ２６、オーディオデコーダ４６、カプセル化ユニット３０、および／またはカプセル化解除ユニット３８を含む装置は、集積回路、マイクロプロセッサ、および／またはセルラー電話などのワイヤレス通信デバイスを備え得る。
【００８７】
[0093]カプセル化ユニット３０が、受信したデータに基づいてＮＡＬユニットおよび／またはアクセスユニットをビデオファイルにアセンブルした後、カプセル化ユニット３０はビデオファイルを出力のために出力インターフェース３２に渡す。いくつかの例では、カプセル化ユニット３０は、ビデオファイルをローカルに記憶するか、またはビデオファイルを直接宛先デバイス４０に送るのではなく、出力インターフェース３２を介してビデオファイルをリモートサーバに送る。出力インターフェース３２は、たとえば、送信機、トランシーバ、たとえば、オプティカルドライブ、磁気メディアドライブ（たとえば、フロッピー（登録商標）ドライブ）など、コンピュータ可読媒体にデータを書き込むためのデバイス、ユニバーサルシリアルバス（ＵＳＢ）ポート、ネットワークインターフェース、または他の出力インターフェースを備える。出力インターフェース３２は、ビデオファイルを、たとえば、送信信号、磁気メディア、光メディア、メモリ、フラッシュドライブ、または他のコンピュータ可読媒体など、コンピュータ可読媒体３４に出力する。
【００８８】
[0094]最終的に、入力インターフェース３６はコンピュータ可読媒体３４からデータを取り出す。入力インターフェース３６は、たとえば、オプティカルドライブ、磁気メディアドライブ、ＵＳＢポート、受信機、トランシーバ、または他のコンピュータ可読媒体インターフェースを備える。入力インターフェース３６は、ＮＡＬユニットまたはアクセスユニットをカプセル化解除ユニット３８に与える。カプセル化解除ユニット３８は、ビデオファイルの要素を構成(constituent)ＰＥＳストリームにカプセル化解除し、符号化データを取り出すためにＰＥＳストリームをパケット化解除し、たとえば、ストリームのＰＥＳパケットヘッダによって示されるように、符号化データがオーディオの一部であるのかビデオストリームの一部であるのかに応じて、符号化データをオーディオデコーダ４６またはビデオデコーダ４８に送る。オーディオデコーダ４６は、符号化オーディオデータを復号し、復号されたオーディオデータをオーディオ出力４２に送り、ビデオデコーダ４８は、符号化ビデオデータを復号し、ストリームの複数のビューを含み得る復号されたビデオデータをビデオ出力４４に送る。
【００８９】
[0095]さらに、カプセル化解除ユニット３８は、ＰＰＳデータ、ＳＰＳデータ、および／またはシーケンスレベルＳＥＩメッセージを含み得る復号シーケンスデータセットをビデオ出力４４に送り得る。ビデオ出力４４は、シーンの単一のビューまたはシーンの複数のビューを使用するディスプレイ、たとえば、同時に、または高速に交互に連続してシーンの各ビューを提示するステレオスコープ（stereoscopic）ディスプレイまたはオートステレオスコープ（autostereoscopic）ディスプレイを備えることができる。ビデオ出力４４は、復号されたビデオピクチャを表示するためにシーケンスデータセットを使用し得る。シーケンスレベルＳＥＩメッセージは、復号プロセスを支援するためにも使用され得るが、ＳＥＩメッセージは、ビデオシーケンスのサンプルを適切に復号するために必要とされない。したがって、ビデオデコーダ４８は、ビデオファイルのビデオサンプルを復号するときに、シーケンスレベルＳＥＩメッセージをも使用し得る。
【００９０】
[0096]上記のように、ＳＥＩメッセージは様々な目的のために使用され得る。たとえば、シーケンスレベルＳＥＩメッセージは、表示されたときにビデオデータを様々なスクリーンサイズに適応するように調整するためのパンアンドスキャン情報を記述する。したがって、ビデオ出力４４（または、それの制御ユニット）は、ビデオ出力４４によって表示されるようにビデオデータを調整するために、シーケンスレベルＳＥＩメッセージを使用し得る。
【００９１】
[0097]別の例として、シーケンスレベルＳＥＩメッセージはステレオビデオ情報を記述し得る。すなわち、シーケンスレベルＳＥＩメッセージは、どのピクチャが３次元ビデオアプリケーションのための「左」画像であるか、または「右」画像であるかを記述し得る。したがって、ビデオ出力４４は、どのように３次元ビデオデータを提示すべきかを判断するために、シーケンスレベルＳＥＩメッセージを使用し得る。たとえば、ビデオ出力４４は、光の様々な偏光を使用して、または様々なカラーフィルタ（たとえば、赤および緑）を用いて、左画像と右画像とを表示するか、あるいは、ビデオ出力４４に関連付けられたアクティブ眼鏡が、光を通すレンズが交互に変わるように、左画像と右画像とが交互に高速に変わる。
【００９２】
[0098]さらに別の例として、たとえば、ビデオファイルがＳＶＣまたはＭＶＣに従って構築される例では、シーケンスレベルＳＥＩメッセージはスケーラビリティ情報を与える。したがって、ビデオデコーダ４８は、エンハンスメントレイヤ情報が受信されたかどうかを決定するために、したがって、受信したエンハンスメントレイヤデータを使用すべきかどうかを決定するために、またはベースレイヤビデオデータをアップサンプリングするために値を補間すべきかを決定するために、シーケンスレベルＳＥＩメッセージを使用し得る。
【００９３】
[0099]別の例として、たとえば、ビデオファイルがＭＶＣに従って構築される例では、シーケンスレベルＳＥＩメッセージは、マルチビュー取得情報またはマルチビューシーン情報を与え得る。一般に、マルチビュー取得情報ＳＥＩメッセージは、たとえば、内部および外部カメラパラメータ、ビューの数、焦点距離、主点、スキューファクタ、回転パラメータ、および／または変換パラメータなどの収集環境のパラメータを指定する。マルチビューシーン情報ＳＥＩメッセージは、複数のビューがキャプチャされるときの、それらのビュー間の最大視差を指定し得る。この情報は、３次元ビデオデータを復号および／またはレンダリングするときに、たとえば、既存の画像から追加の画像を構築するときに、ビデオデコーダ４８および／またはビデオ出力４４によって使用され得る。マルチビューシーン情報はまた、１つまたは複数のカメラの特性、または、たとえば、最高１０２４個のビューのカメラ設定によって生じる最大視差がどのくらいかなど、画像収集中の状態を記述し得る。マルチビューシーン情報はまた、カメラキャリブレーションおよび修正に関係する詳細を与え得る。
【００９４】
[00100]図２は、例示的なカプセル化ユニット３０の構成要素を示すブロック図である。図２の例では、カプセル化ユニット３０は、ビデオ入力インターフェース８０と、オーディオ入力インターフェース８２と、ビデオファイル作成ユニット６０と、ビデオファイル出力インターフェース８４とを含む。この例では、ビデオファイル作成ユニット６０は、ネットワークアブストラクションレイヤ（ＮＡＬ）ユニットコンストラクタ６２と、ＳＥＩメッセージ抽出ユニット６４と、シーケンスデータセット作成ユニット６６とを含む。
【００９５】
[00101]ビデオ入力インターフェース８０およびオーディオ入力インターフェース８２は、それぞれ符号化ビデオデータおよび符号化オーディオデータを受信する。ビデオ入力インターフェース８０およびオーディオ入力インターフェース８２は、データが符号化されると、符号化ビデオデータおよび符号化オーディオデータを受信するか、または符号化ビデオデータおよび符号化オーディオデータをコンピュータ可読媒体から取り出し得る。符号化ビデオデータおよび符号化オーディオデータを受信すると、ビデオ入力インターフェース８０およびオーディオ入力インターフェース８２は、ビデオファイルにアセンブルするために符号化ビデオデータおよび符号化オーディオデータをビデオファイル作成ユニット６０に受け渡す。
【００９６】
[00102]ビデオファイル作成ユニット６０は、それによる機能およびプロシージャを実行するように構成されたハードウェア、ソフトウェア、および／またはファームウェアを含む制御ユニットに対応し得る。制御ユニットは、概して、カプセル化ユニット３０による機能をさらに実行し得る。ビデオファイル作成ユニット６０がソフトウェアおよび／またはファームウェアで実施される例では、カプセル化ユニット３０は、ビデオファイル作成ユニット６０のための命令を備えるコンピュータ可読媒体と、命令を実行するための処理ユニットとを含み得る。ビデオファイル作成ユニット６０のサブユニット（この例では、ＮＡＬユニットコンストラクタ６２、ＳＥＩメッセージ抽出ユニット６４、およびシーケンスデータセット作成ユニット６６）の各々は、個々のハードウェアユニットおよび／またはソフトウェアモジュールとして実装され、機能的に統合されるか、または追加のサブユニットにさらに分離され得る。ビデオファイル作成ユニット６０は、たとえば、１つまたは複数のマイクロプロセッサ、特定用途向け集積回路（ＡＳＩＣ）、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、デジタル信号プロセッサ（ＤＳＰ）、またはそれらの任意の組合せなど、任意の好適な処理ユニットまたは処理回路に対応し得る。ビデオファイル作成ユニット６０は、ＮＡＬユニットコンストラクタ６２、ＳＥＩメッセージ抽出ユニット６４、およびシーケンスデータセット作成ユニット６６のいずれかまたはすべてのための命令を記憶する非一時的コンピュータ可読媒体、ならびに命令を実行するためのプロセッサをさらに含み得る。
【００９７】
[00103]概して、ビデオファイル作成ユニット６０は、受信したオーディオおよびビデオデータを含むビデオファイルを作成し得る。ＮＡＬユニットコンストラクタ６２は、符号化ビデオおよびオーディオサンプルを含むＮＡＬユニットを形成し得る。ビデオファイル作成ユニット６０は、特定の時間インスタンスについてのすべてのＮＡＬユニットを含むアクセスユニットをアセンブルするようにさらに構成され得る。さらに、ビデオファイル作成ユニット６０は、シーケンスレベルＳＥＩメッセージによって記述された符号化されたビデオピクチャからシーケンスレベルＳＥＩメッセージを分離し、シーケンスレベルＳＥＩメッセージによって記述された符号化されたビデオピクチャとは別個に、シーケンスレベルＳＥＩメッセージを作成されたビデオファイルに記憶するように構成され得る。
【００９８】
[00104]ビデオエンコーダ２８（図１）は、ビデオデータのサンプルとともにＳＥＩメッセージを含み得る。いくつかの個々のサンプルのためのビデオエンコーダ２８から受信したＳＥＩメッセージは、場合によっては、サンプルの各々のためのＳＥＩメッセージと同じである。したがって、個々のサンプルのためのＳＥＩメッセージがサンプルの各々のためのＳＥＩメッセージと同じ（またはまったく同様）であると判断すると、ＳＥＩメッセージ抽出ユニット６４は、サンプルの各々のための同じＳＥＩメッセージを送信するのではなく、ＳＥＩメッセージによって記述されたサンプルからＳＥＩメッセージを分離し得る。２つ以上の符号化されたビデオピクチャに関係し得るそのようなＳＥＩメッセージは、シーケンスレベルＳＥＩメッセージと呼ばれることがある。
【００９９】
[00105]追加または代替として、ビデオファイル作成ユニット６０は、コード化ビデオピクチャのシーケンスのためのシーケンスレベルＳＥＩメッセージを生成するように構成され得る。このようにして、ビデオファイル作成ユニット６０は、シーケンスレベルＳＥＩメッセージを生成し得るか、またはビデオサンプルのうちの１つまたは複数を記述するシーケンスレベルＳＥＩメッセージを形成するためにビデオサンプルから既存のＳＥＩメッセージを分離し得る。
【０１００】
[00106]シーケンスデータセット作成ユニット６６は、ビデオファイル作成ユニット６０によって生成されたビデオファイルのシーケンスデータセットを作成し得る。シーケンスデータセット作成ユニット６６は、シーケンスレベルＳＥＩメッセージをシーケンスパラメータセットおよび／またはピクチャパラメータセットデータとともにグループ化し得る。たとえば、シーケンスデータセット作成ユニット６６は、ＳＰＳと、ＰＰＳと、いくつかの例では、（たとえば、ＳＶＣおよびＭＶＣに関して）サブセットＳＰＳとを含むパラメータセットエレメンタリストリーム中に、シーケンスレベルＳＥＩメッセージを含める。別の例として、シーケンスデータセット作成ユニット６６は、コード化ビデオピクチャのシーケンスのシーケンスレベルＳＥＩメッセージを、作成されたビデオファイルの連続セクション中に含める。すなわち、シーケンスデータセット作成ユニット６６は、コード化ビデオピクチャの特定のシーケンスのためのシーケンスレベルＳＥＩメッセージについてのデータが、連続する一連の１つまたは複数のバイト中に一緒にグループ化されることを保証し得る。たとえば、シーケンスデータセット作成ユニット６６は、シーケンスレベルＳＥＩメッセージとシーケンスデータセットについての他のデータとを、コード化ビデオピクチャのどの部分も含んでいない特定のビデオサンプル中にアセンブルする。
【０１０１】
[00107]別の例として、たとえば、３ＧＰＰに関して、シーケンスデータセット作成ユニット６６は、コード化ビデオピクチャのシーケンスについてのシーケンスデータセットを、シーケンスデータセットによって記述されたコード化ビデオピクチャのシーケンスを含む１つまたは複数の３ＧＰＰファイルに先行する比較的小さい３ＧＰＰファイル中にアセンブルする。代替的に、シーケンスデータセット作成ユニット６６は、シーケンスデータセットを、１つまたは複数の３ＧＰＰファイルを含む１つまたは複数の関係するプレゼンテーションのメディアプレゼンテーション記述（ＭＰＤ）ファイル中に含め得る。
【０１０２】
[00108]さらに別の例として、シーケンスデータセット作成ユニット６６は、ムービーボックス（ｍｏｏｖボックス）がコード化ビデオピクチャを含まないとき、ビデオファイルのムービーボックス内にシーケンスデータセットを含める。別の例として、シーケンスデータセット作成ユニット６６は、ビデオファイルのムービーボックス（ｍｏｏｖボックス）の後であるが、コード化ビデオピクチャを含む任意のムービーフラグメントボックス（ｍｏｏｆボックス）の前に発生するシーケンスデータセットをムービーフラグメントボックス内に含める。
【０１０３】
[00109]ＳＰＳ、ＰＰＳ、シーケンスレベルＳＥＩメッセージ、および／またはサブセットＳＰＳをシーケンスデータセット中にグループ化することによって、シーケンスデータセット作成ユニット６６は、シーケンスデータを宛先デバイス４０などのクライアントデバイスに与えるタスクを簡略化し得る。このようにして、シーケンスレベルＳＥＩメッセージは、シーケンスレベルＳＥＩメッセージによって記述されたコード化ビデオピクチャが宛先デバイス４０に送信される前に、宛先デバイス４０に送信され得る。
【０１０４】
[00110]一般に、シーケンスデータセットのＳＰＳ、ＰＰＳ、およびシーケンスレベルＳＥＩメッセージは、シーケンスデータセットによって記述されたビデオサンプルのシーケンスについて一定のままであると予想される。しかしながら、場合によっては、ＳＰＳ、ＰＰＳ、および／またはシーケンスレベルＳＥＩメッセージのいくつかの部分は、個々のコード化ビデオピクチャについて、あるいはコード化ビデオピクチャのセットまたはサブシーケンスについてわずかに変動し得る。たとえば、いくつかのコード化ビデオピクチャをカプセル化するビデオファイル中には、ＳＰＳ、ＰＰＳ、またはシーケンスレベルＳＥＩメッセージの同じ情報を必ずしも共有しない１つまたは複数のシーケンスが存在する。
【０１０５】
[00111]このとき、シーケンスデータセット作成ユニット６６は複数のパラメータセットトラックを作成し得、各トラックは、ＳＰＳ、ＰＰＳ、および／またはＳＥＩメッセージのセット、ならびにトラックのシーケンスデータセットが当てはまるときを示すタイミング情報のインジケーションを含み得る。たとえば、タイミング情報は、トラックがビデオシーケンスに当てはまり始める時間を示すビデオシーケンスの開始時間、および／またはタイミング情報を含むトラックがもはや当てはまらないビデオシーケンスの終了時間を示し得る。代替的に、各トラックについてのタイミング情報は終了時間だけを示し得、それにより、特定のパラメータセットトラックの終了時間に達すると、クライアントデバイスは、次のパラメータセットトラックにジャンプし得る。そのようなタイミング情報は、協定世界時（ＵＴＣ:coordinated universal time）に対応するか、またはパラメータセットトラックが、ファイルカプセル化フォーマットのビデオ全体のために使用される時間スケールに当てはまる（終了時間の）最後のビデオサンプルの持続時間に対応し得る。
【０１０６】
[00112]複数のパラメータセットトラックのうちの１つは、ビデオファイルのすべてのサンプルに当てはまり得る。シーケンスデータセット作成ユニット６６は、パラメータセットトラックについてのタイミング情報を、任意のムービーサンプルまたはムービーフラグメントよりも後のＵＴＣ時間に設定することによって、ビデオファイルのすべてのサンプルに当てはまるパラメータセットトラックを示し得る。代替的に、シーケンスデータセット作成ユニット６６は、ビデオファイルのすべてのサンプルに当てはまるパラメータセットトラックについてのタイミング情報について、持続時間０を示し得る。
【０１０７】
[00113]シーケンスデータセット作成ユニット６６が複数のパラメータセットトラックを作成する例では、シーケンスデータセット作成ユニット６６は、パラメータセットトラックの各々にそれぞれの一意の識別子を割り当て得る。宛先デバイス４０などのクライアントデバイスが、たとえば、ローカル再生によって、またはＨＴＴＰストリーミング中に、特定の時間ロケーションをシークするように要求するとき、宛先デバイス４０は、いくつかのパラメータセットトラックのうちのどのパラメータセットトラックが、シークされた時間ロケーションに当てはまるかを判断し得る。クライアントデバイスは、それぞれのパラメータセットトラックがシークされた時間ロケーションよりも後のビデオサンプルに当てはまることを示すタイミング情報を有するパラメータセットトラックの識別子を要求し得る。サーバ（たとえば、ソースデバイス２０）は、関係するパラメータセットトラックが、たとえば、ＨＴＴＰストリーミングのコンテキスト中でクライアントに配信されることを保証するために、そのような関係するパラメータセットトラックをマークするようにデータ構造を維持し得る。ローカル再生中、クライアントは、関係するパラメータセットトラックがクライアントデバイスによってパースされることを保証するために、同様のデータ構造を維持し得る。
【０１０８】
[00114]その上、いくつかのパラメータセットトラックを含めるのではなく、シーケンスデータセット作成ユニット６６は、各々がファイル内に連続的に記憶される得るいくつかのシーケンスデータセットをビデオファイル中に含め得る。すなわち、シーケンスデータセットの各々は、シーケンスデータセットのうちの特定のシーケンスデータセットについてのすべてのデータが連続するように連続的に記憶され得るが、シーケンスデータセットは互いに連続的に記憶される必要はない。たとえば、シーケンスデータセット作成ユニット６６は、シーケンスデータセットが関係する一連のフラグメントに先行するビデオフラグメントにシーケンスデータセットを記憶し、その一連のフラグメントの後に新しいシーケンスデータセットを記憶する。新しいシーケンスデータセットは、新しいシーケンスデータセットを記憶しているフラグメントに続く他のビデオフラグメントに関係し得る。複数のシーケンスデータセットをファイルに記憶するとき、シーケンスデータセット作成ユニット６６は、シーケンスデータセットの各々についてのタイミング情報、ならびにシーケンスデータセットの各々についての一意の識別子を与え得る。
【０１０９】
[00115]ビデオファイル作成ユニット６０が、シーケンスレベルＳＥＩメッセージによって記述されたコード化ビデオピクチャから分離されたシーケンスレベルＳＥＩメッセージを含むビデオファイルを生成した後、ビデオファイル作成ユニット６０は、そのビデオファイルをビデオファイル出力インターフェース８４に渡す。ビデオファイル出力インターフェース８４は、たとえば、ソースデバイス２０の出力インターフェース３２に、ビデオファイルを出力する。いくつかの例では、ビデオファイル出力インターフェース８４は、ビデオファイルをソースデバイス２０の記憶媒体（図示せず）に出力する。ビデオファイルは、ソースデバイス２０内にローカルに記憶され、ＤＶＤ、ブルーレイ（登録商標）ディスク、フラッシュドライブ、フロッピー（登録商標）ディスクなどのポータブル記憶媒体、または他のポータブル記憶媒体に記憶され、たとえば、ＨＴＴＰストリーミングなどのストリーミングプロトコルに従って、ネットワークを介して出力され、または場合によっては、ビデオファイルが宛先デバイス４０などのクライアントデバイスによって受信され得るような方法で出力され得る。このようにして、ビデオデータ、たとえば、シーケンスレベルＳＥＩメッセージおよびシーケンスレベルＳＥＩメッセージによって記述されたコード化ビデオピクチャの出力は、ビデオデータの記憶、転送、送信、およびブロードキャストを含み得る。
【０１１０】
[00116]図３は、様々なロケーションにおけるシーケンスレベルＳＥＩメッセージを含み得る例示的なビデオファイル１００の要素を示すブロック図である。上記で説明したように、ＩＳＯベースメディアファイルフォーマットおよびそれの拡張によるビデオファイルは、データを「ボックス」と呼ばれる一連のオブジェクトに記憶する。図３の例では、ビデオファイル１００は、ファイルタイプ（ＦＴＹＰ）ボックス１０２と、ムービー（ＭＯＯＶ）ボックス１０４と、ムービーフラグメント（ＭＯＯＦ）ボックス１１２と、ムービーフラグメントランダムアクセス（ＭＦＲＡ）ボックス１１４とを含む。
【０１１１】
[00117]ファイルタイプボックス１０２は、概して、ビデオファイル１００のためのファイルタイプを記述する。ファイルタイプボックス１０２は、ビデオファイル１００のための最も良い使用を記述する仕様を識別するデータを含み得る。ファイルタイプボックス１０２は、ＭＯＯＶボックス１０４、ムービーフラグメントボックス１１２、およびＭＦＲＡボックス１１４の前に配置され得る。
【０１１２】
[00118]ＭＯＯＶボックス１０４は、図３の例では、ムービーヘッダ（ＭＶＨＤ）ボックス１０６と、トラック（ＴＲＡＫ）ボックス１０８と、１つまたは複数のムービーエクステンド（ＭＶＥＸ）ボックス１１０とを含む。概して、ＭＶＨＤボックス１０６は、ビデオファイル１００の一般的な特性を記述し得る。たとえば、ＭＶＨＤボックス１０６は、ビデオファイル１００が最初に作成されたとき、ビデオファイル１００が最後に変更されたときに記述するデータ、ビデオファイル１００のための時間スケール、ビデオファイル１００のための再生の持続時間、またはビデオファイル１００を概して記述する他のデータを含み得る。
【０１１３】
[00119]ＴＲＡＫボックス１０８は、ビデオファイル１００のトラックのためのデータを含み得る。ＴＲＡＫボックス１０８は、ＴＲＡＫボックス１０８に対応するトラックの特性を記述するトラックヘッダ（ＴＫＨＤ）ボックスを含み得る。いくつかの例では、ＴＲＡＫボックス１０８はコード化ビデオピクチャを含むが、他の例では、トラックのコード化ビデオピクチャは、ＴＲＡＫボックス１０８のデータによって参照され得るムービーフラグメント１１２中に含まれる。
【０１１４】
[00120]いくつかの例では、ビデオファイル１００は２つ以上のトラックを含む。したがって、ＭＯＯＶボックス１０４は、ビデオファイル１００中のトラックの数に等しいいくつかのＴＲＡＫボックスを含み得る。ＴＲＡＫボックス１０８は、ビデオファイル１００の対応するトラックの特性を記述し得る。たとえば、ＴＲＡＫボックス１０８は、対応するトラックのための時間および／または空間情報を記述し得る。ＭＯＯＶボックス１０４のＴＲＡＫボックス１０８と同様のＴＲＡＫボックスは、カプセル化ユニット３０（図１）がビデオファイル１００などのビデオファイル中のパラメータセットトラックを含むとき、パラメータセットトラックの特性を記述し得る。カプセル化ユニット３０は、パラメータセットトラックを記述しているＴＲＡＫボックス内のパラメータセットトラック中のシーケンスレベルＳＥＩメッセージの存在をシグナリングし得る。
【０１１５】
[00121]ＭＶＥＸボックス１１０は、ビデオファイル１００が、たとえば、もしあれば、ＭＯＯＶボックス１０４内に含まれたビデオデータに加えて、ムービーフラグメント１１２を含むことをシグナリングするために、対応するムービーフラグメント１１２の特性を記述し得る。ビデオデータをストリーミングするコンテキストでは、コード化ビデオピクチャは、ＭＯＯＶボックス１０４中ではなくムービーフラグメント１１２中に含まれ得る。したがって、すべてのコード化ビデオピクチャは、ＭＯＯＶボックス１０４中ではなく、ムービーフラグメント１１２中に含まれ得る。
【０１１６】
[00122]ＭＯＯＶボックス１０４は、ビデオファイル１００中のムービーフラグメント１１２の数に等しいいくつかのＭＶＥＸボックス１１０を含み得る。ＭＶＥＸボックス１１０の各々は、ムービーフラグメント１１２のうちの対応する１つの特性を記述し得る。たとえば、各ＭＶＥＸボックスは、ムービーフラグメント１１２のうちの対応する１つについての持続時間を記述するムービーエクステンドヘッダ（ＭＥＨＤ）ボックスを含む。
【０１１７】
[00123]上記のように、カプセル化ユニット３０は、実際のコード化ビデオデータを含まないビデオサンプルにシーケンスデータセットを記憶し得る。ビデオサンプルは、概して、特定の時間インスタンスにおけるコード化ピクチャの表現であるアクセスユニットに対応し得る。ＡＶＣのコンテキストでは、コード化ピクチャは、アクセスユニットおよび他の関連する非ＶＣＬ  ＮＡＬユニットのすべてのピクセルを構築するためのＳＥＩメッセージなどの情報を含んでいる１つまたは複数のＶＣＬ  ＮＡＬユニットを含む。したがって、カプセル化ユニット３０は、シーケンスレベルＳＥＩメッセージを含み得るシーケンスデータセットをムービーフラグメント１１２のうちの１つ中に含め得る。カプセル化ユニット３０は、ムービーフラグメント１１２のうちの１つに対応するＭＶＥＸボックス１１０のうちの１つ内のムービーフラグメント１１２のうちの１つ中に存在するときの、シーケンスデータセットおよび／またはシーケンスレベルＳＥＩメッセージの存在をさらにシグナリングし得る。
【０１１８】
[00124]ムービーフラグメント１１２は１つまたは複数のコード化ビデオピクチャを含み得る。いくつかの例では、ムービーフラグメント１１２は、各々がいくつかのコード化ビデオピクチャ、たとえば、フレームまたはピクチャを含み得る１つまたは複数のピクチャグループ（ＧＯＰ）を含む。さらに、上記で説明したように、ムービーフラグメント１１２は、いくつかの例ではシーケンスデータセットを含む。ムービーフラグメント１１２の各々は、ムービーフラグメントヘッダ（ＭＦＨＤ）ボックスを含み得る。ＭＶＨＤボックスは、ムービーフラグメントについてのシーケンス番号など、対応するムービーフラグメントの特性を記述し得る。ムービーフラグメント１１２は、ビデオファイル１００中のシーケンス番号の順に含まれ得る。
【０１１９】
[00125]ＭＦＲＡボックス１１４は、ビデオファイル１００のムービーフラグメント１１２内のランダムアクセスポイントを記述し得る。これは、ビデオファイル１００内の特定の時間ロケーションのシークを実行するのを支援し得る。ＭＦＲＡボックス１１４は、概してオプションであり、ビデオファイル中に含まれる必要はない。同様に、宛先デバイス４０などのクライアントデバイスは、ビデオファイル１００のビデオデータを正しく復号し、表示するために必ずしもＭＦＲＡボックス１１４を参照する必要があるとは限らない。ＭＦＲＡボックス１１４は、ビデオファイル１００のトラックの数に等しいか、またはいくつかの例では、ビデオファイル１００のメディアトラック（たとえば、非ヒントトラック）の数に等しい数のトラックフラグメントランダムアクセス（ＴＦＲＡ）ボックスを含み得る。
【０１２０】
[00126]図４は、シーケンスレベルＳＥＩメッセージ１５６を含んでいるパラメータセットトラック１４６を含む別の例示的なビデオファイル１４０の要素を示すブロック図である。特に、ビデオファイル１４０は、ＭＯＯＶボックス１４２とＭＤＡＴボックス１５０とを含む。ビデオファイル１４０は、とりわけ、ファイルタイプボックスおよび／またはＭＦＲＡボックスなどの他のボックスをさらに含み得る。
【０１２１】
[00127]図４の例では、ＭＯＯＶボックス１４２は、ビデオデータトラック１４４と、パラメータセットトラック１４６とを含む。パラメータセットトラック１４６は、ピクチャパラメータセット（ＰＰＳ）１５２と、シーケンスパラメータセット（ＳＰＳ）１５４と、シーケンスレベル補足エンハンスメント情報（ＳＬ  ＳＥＩ）メッセージ１５６とに対応する。ビデオデータトラック１４４はビデオフラグメント１６０Ａ〜１６０Ｎ（ビデオフラグメント１６０）に対応する。概して、ビデオフラグメント１６０は、各々、１つまたは複数のコード化ビデオピクチャを含み得る。
【０１２２】
[00128]図４の例では、ＰＰＳ１５２、ＳＰＳ１５４、シーケンスレベルＳＥＩメッセージ１５６、およびビデオフラグメント１６０についてのデータがＭＤＡＴボックス１５０に記憶されている。ＰＰＳ１５２、ＳＰＳ１５４、およびシーケンスレベルＳＥＩメッセージ１５６はシーケンスパラメータセットと総称され得る。いくつかの例では、パラメータセットトラック１４６は２つ以上のピクチャパラメータセットを含む。ＰＰＳ１５２、ＳＰＳ１５４、およびシーケンスレベルＳＥＩメッセージ１５６は、概して、ビデオフラグメント１６０の特性を記述する。これらの特性は、ビデオフラグメント１６０を選択、復号および／またはレンダリングする際に、宛先デバイス４０などのクライアントデバイスを支援し得る。
【０１２３】
[00129]一例として、ビデオファイル１４０がＡＶＣファイルフォーマットに対応するとき、シーケンスレベルＳＥＩメッセージ１５６は、パンスキャン矩形ＳＥＩメッセージ、ステレオビデオ情報ＳＥＩメッセージ、および／またはフレームパッキング配置ＳＥＩメッセージのうちの１つまたは複数を含み得る。別の例として、ビデオファイル１４０がＳＶＣファイルフォーマットに対応するとき、シーケンスレベルＳＥＩメッセージ１５６はスケーラビリティ情報ＳＥＩメッセージを含み得る。別の例として、ビデオファイル１４０がＭＶＣファイルフォーマットに対応するとき、シーケンスレベルＳＥＩメッセージ１５６は、ビュースケーラビリティ情報ＳＥＩメッセージ、マルチビュー取得情報ＳＥＩメッセージ、および／またはマルチビューシーン情報ＳＥＩメッセージのうちの１つまたは複数を含み得る。
【０１２４】
[00130]ビデオファイルは、ビデオデータトラック１４４と同様のいくつかのメディアトラックを含み得る。ビデオデータトラックの各々は、様々な復号要件および／またはレンダリング要件に対応し得る様々な特性を有し得る。宛先デバイス４０は、特に、シーケンスデータセットによってシグナリングされるメディアトラックについてのビデオフラグメントの特性に基づいて、メディアトラックのうちの１つを選択し得る。たとえば、宛先デバイス４０は、それぞれビデオデコーダ４８およびビデオ出力４４の復号能力および／またはレンダリング能力に基づいて、トラックのうちの１つを選択し得る。宛先デバイス４０は、ＰＰＳ１５２とＳＰＳ１５４とシーケンスレベルＳＥＩメッセージ１５６とを含むパラメータセットトラック１４６に基づいて、ビデオフラグメント１６０の特性を判断し得る。
【０１２５】
[00131]宛先デバイス４０は、シーケンスパラメータセットによって記述された任意のコード化サンプルの前に、シーケンスパラメータセット、たとえば、ＭＯＯＶボックス１０４、シーケンスパラメータセットを含むムービーフラグメント１１２のうちの１つ、シーケンスパラメータセットを含むがコード化ビデオデータを含まないビデオサンプル、またはビデオファイル１００の他の要素を取り出すように構成され得る。追加または代替として、ソースデバイス２０は、シーケンスパラメータセットによって記述された任意のコード化ビデオピクチャを宛先デバイス４０に与える前に、シーケンスパラメータセットを宛先デバイス４０に与えるように構成され得る。その上、ソースデバイス２０は、宛先デバイス４０からのムービーフラグメント１１２のうちの１つについての要求を、宛先デバイス４０がムービーフラグメント１１２のうちの要求された１つについてのシーケンスデータセットの最初に要求されたデータを持っていないときに、拒否するように構成され得る。
【０１２６】
[00132]図５は、それぞれのプレゼンテーションのためのそれぞれのシーケンスデータセットを含む３ＧＰＰファイル１８６、１９４を含むプレゼンテーション１８２、１９０の例示的なセット１９８を示すブロック図である。すなわち、セット１９８は追加のプレゼンテーションを含み得るが、図５には例として２つのプレゼンテーション１８２、１９０が示されている。
【０１２７】
[00133]メディアプレゼンテーション記述（ＭＰＤ）１８０は、セット１９８のプレゼンテーション、たとえば、プレゼンテーション１８２、１９０を記述するデータを含む。ＭＰＤ１８０は、たとえば、プレゼンテーションのユニフォームリソースロケータ（ＵＲＬ）および／またはユニフォームリソースネーム（ＵＲＮ）を記述し得る。ＭＰＤ１８０は、セット１９８中のプレゼンテーションの各々の特性をさらに記述し得る。たとえば、ＭＰＤ１８０は、プレゼンテーションの各々についてのシーケンスデータセットを含み得る。ＭＰＤ１８０は、プレゼンテーションの各々に記憶された３ＧＰＰビデオファイルの数も記述し得る。
【０１２８】
[00134]図５の例では、プレゼンテーション１８２は、ヘッダデータ１８４と、シーケンスデータセットをもつ３ＧＰＰファイル１８６と、３ＧＰＰファイル１８８Ａ〜１８８Ｎ（３ＧＰＰファイル１８８）とを含む。同様に、この例では、プレゼンテーション１９０は、ヘッダデータ１９２と、シーケンスデータセットをもつ３ＧＰＰファイル１９４と、３ＧＰＰファイル１９６Ａ〜１９６Ｎ（３ＧＰＰファイル１９６）とを含む。文字「Ｎ」は、３ＧＰＰファイル１８８と３ＧＰＰファイル１９６の両方についてのカーディナリティを指定するために使用されるが、Ｎは、プレゼンテーション１８２および１９０について必ずしも同じであるとは限らない。すなわち、プレゼンテーション１８２およびプレゼンテーション１９０、ならびにセット１９８のプレゼンテーションのいずれかには、異なる数の３ＧＰＰファイルが存在し得る。
【０１２９】
[00135]ヘッダデータ１８４は、プレゼンテーション１８２のいくつかの特性、たとえば、プレゼンテーション１８２中の３ＧＰＰファイルの数、３ＧＰＰファイル１８８の各々の始端に対応するメモリアドレス、（たとえば、バイト単位の）３ＧＰＰファイル１８８の長さ、（たとえば、秒単位、分単位などの）３ＧＰＰファイル１８８の持続時間、３ＧＰＰファイル１８８を適切に復号およびレンダリングするためのクライアントデバイスの予想される復号能力および／またはレンダリング能力、あるいは他のデータを記述し得る。プレゼンテーション１８２は、たとえば、ＩＳＯベースメディアファイルフォーマット規格、および／または３ＧＰＰ規格などのそれの拡張によって記述される追加のデータを含み得る。３ＧＰＰファイル１８８はコード化ビデオピクチャを含み得る。シーケンスデータセットをもつ３ＧＰＰファイル１８６は、たとえば、３ＧＰＰファイル１８８のうちの１つまたは複数に含まれるコード化ビデオピクチャのシーケンスのコード化ビデオピクチャを記述するシーケンスデータセットを含む。
【０１３０】
[00136]図５の例では、セット１９８のプレゼンテーションは、ビデオデータの同じシーケンスの様々なプレゼンテーションに対応し得る。すなわち、プレゼンテーションの各々は、再生中に、たとえば、復号およびレンダリングされるときに同様であり得る。ただし、ビデオデータは、セット１９８の様々なプレゼンテーション内で別様にコーディングまたは提示され得る。たとえば、プレゼンテーション１９０のビデオサンプルは、より高いまたはより低い解像度を有し、より高いまたはより低いビットレートで符号化され、特定のデコーダバッファサイズを予定し、特定のフレームレートを有し、特定のマクロブロック復号レートを予定し、あるいは他の特性に基づいて互いに区別され得る。カプセル化ユニット３０（図１）などのカプセル化ユニットは、プレゼンテーション１８２の３ＧＰＰファイル１８６およびプレゼンテーション１９０の３ＧＰＰファイル１９４など、プレゼンテーション内の３ＧＰＰファイル中にシーケンスデータセットを配置し得る。追加または代替として、カプセル化ユニット３０は、セット１９８の１つまたは複数のプレゼンテーションについてのシーケンスデータをＭＰＤ１８０に記憶し得る。
【０１３１】
[00137]図６は、ビデオファイル内にシーケンスデータセットをカプセル化し、そのビデオファイルをソースデバイスから宛先デバイスに与えるための例示的な方法を示すフローチャートである。例および説明のために、ソースデバイス２０および宛先デバイス４０（図１）の構成要素に関して説明するが、任意の好適なデバイスが図６の技法を実装し得ることを理解されたい。
【０１３２】
[00138]初めに、カプセル化ユニット３０は、符号化されたビデオピクチャのシーケンスを受信する（２１０）。ビデオエンコーダ２８などのエンコーダは、コード化サンプルとともにシーケンスレベルＳＥＩメッセージを含んでいることがある。追加または代替として、カプセル化ユニット３０は、ビデオエンコーダ２８とは別個にシーケンスレベルＳＥＩメッセージを作成し得る。いずれの場合も、カプセル化ユニット３０は、シーケンスレベルＳＥＩメッセージによって記述されたコード化ビデオピクチャからシーケンスレベルＳＥＩメッセージを分離する（２１２）。
【０１３３】
[00139]すなわち、カプセル化ユニット３０は、シーケンスレベルＳＥＩメッセージと、シーケンスレベルＳＥＩメッセージによって記述されたコード化ビデオピクチャとを含むビデオファイルを作成する（２１４）。ただし、そうする際に、カプセル化ユニット３０は、シーケンスレベルＳＥＩメッセージによって記述されたコード化ビデオピクチャとは別個にシーケンスレベルＳＥＩメッセージを記憶し得る。このようにすると、ＳＥＩメッセージは、コード化ビデオピクチャとは別個に送信および処理され得る。たとえば、本開示の技法によれば、カプセル化ユニット３０は、作成されたビデオファイルのパラメータセットトラックにシーケンスレベルＳＥＩメッセージを記憶し得る。別の例として、カプセル化ユニット３０は、コード化ビデオピクチャを含まないトラックフラグメント中のシーケンスレベルＳＥＩメッセージ、コード化ビデオピクチャを含まない別の３ＧＰＰファイル、およびコード化ビデオピクチャと同様であるが実際にはコード化ビデオデータを含まないデータ構造を、ビデオファイルを記述するメディアプレゼンテーション記述に記憶し、あるいは場合によってはシーケンスレベルＳＥＩメッセージによって記述されたコード化ビデオピクチャからシーケンスレベルＳＥＩメッセージを分離し得る。
【０１３４】
[00140]カプセル化ユニット３０は、次いでビデオファイルを出力する（２１６）。たとえば、カプセル化ユニット３０は、ソースデバイス２０に、たとえば、光ディスク、フロッピー（登録商標）ディスク、フラッシュドライブ、ハードドライブ、ソリッドステートドライブ、または他の記憶媒体などの記憶媒体に、ビデオファイルを書き込ませ得る。そのような記憶媒体は宛先デバイス４０に物理的に移送され得る。代替的に、ソースデバイス２０は、たとえば、ブロードキャスト、ネットワーク送信、または他の送信技法によって、ビデオファイルを宛先デバイス４０に送信し得る。いずれの場合も、宛先デバイス４０は、最終的にビデオファイルを受信する（２１８）。
【０１３５】
[00141]いくつかの例では、ソースデバイス２０は、たとえば、ソースデバイス２０に対して宛先デバイス４０によって発行された１つまたは複数のＨＴＴＰ  ＧｅｔまたはパーシャルＧＥＴ要求に応答して、ビデオファイルの別個の部分を宛先デバイス４０に与え得る。宛先デバイス４０は、シーケンスデータセット、たとえば、シーケンスレベルＳＥＩメッセージを含むパラメータセットトラックの全部または一部分を取り出すための第１のＨＴＴＰ  ＧｅｔまたはパーシャルＧＥＴ要求と、シーケンスデータセットによって記述されたコード化ビデオピクチャを取り出すための第２の（またはそれ以上の）ＨＴＴＰ  ＧｅｔまたはパーシャルＧＥＴ要求とをソースデバイス２０に発行し得る。
【０１３６】
[00142]ビデオファイルを受信した後に、宛先デバイス４０は、シーケンスレベルＳＥＩメッセージに基づいてビデオファイルを復号する（２２０）。すなわち、ビデオデコーダ４８は、復号プロセスを支援するためにシーケンスレベルＳＥＩメッセージのデータを使用し得る。同様に、ビデオディスプレイ４４は、復号されたビデオデータを表示するために、復号されたビデオデータのレンダリングを支援するためにシーケンスレベルＳＥＩメッセージを使用する（２２２）。たとえば、ビデオデコーダ４８および／またはビデオディスプレイ４４（あるいは、レンダリングユニットまたはそれのレンダリングエンジン）は、シーケンスレベルＳＥＩメッセージを使用して、どのようにビデオデータをビデオディスプレイ４４のネイティブ解像度に適応させるかを判断し、画像が（たとえば、ステレオビデオデータのための）左画像であるか右画像であるかを判断し、どのようにフレームがパックされるかを判断し、ビデオデータについてのスケーラビリティ情報を判断し、マルチビュー取得情報を判断し、ならびに／あるいはマルチビューシーン情報を判断する。
【０１３７】
[00143]図７は、ビデオファイル２４０の別の例を示すブロック図である。図７の例では、ビデオファイル２４０は、ムービー（ＭＯＯＶ）ボックス２４２と、ムービーデータ（ＭＤＡＴ）ボックス２５０とを含む。ＭＯＯＶボックス２４２は、ビデオデータトラックと、いくつかのパラメータセットトラック２４６Ａ〜２４６Ｃとを含む。図７の例には３つのパラメータセットトラックが示されているが、ビデオファイルは、概して、任意の数のパラメータセットトラックを含み得ることを理解されたい。
【０１３８】
[00144]ビデオデータトラック２４４は、各々がＭＤＡＴボックス２５０に記憶され得るいくつかの様々なビデオフラグメント２５４Ａ〜２５４Ｃに対応する。この例では、ビデオフラグメント２５４Ａ、２５４Ｂおよび２５４Ｃの各セットは、異なるシーケンスレベル情報を有し得る。たとえば、シーケンスレベル情報は、ビデオフラグメント２５４Ａと２５４Ｂと２５４Ｃとの間で変化し得る。したがって、ビデオフラグメント２５４Ａ、２５４Ｂおよび２５４Ｃの各々は、それぞれのシーケンスデータセットを有し得る。この例では、シーケンスデータセット２５２Ａはビデオフラグメント２５４Ａに関係し、シーケンスデータセット２５２Ｂはビデオフラグメント２５４Ｂに関係し、シーケンスデータセット２５２Ｃはビデオフラグメント２５４Ｃに関係する。
【０１３９】
[00145]ビデオフラグメントの所与のセットについてシーケンスデータセットは、シーケンス中のビデオフラグメントの各々に当てはまり得る。たとえば、シーケンスデータセット２５２Ａはビデオフラグメント２５４Ａの各々に当てはまる。しかしながら、ビデオフラグメント２５４Ｂの１つまたは複数の特性はビデオフラグメント２５４Ａとは異なり得る。したがって、シーケンスデータセット２５２Ｂはビデオフラグメント２５４Ｂの特性を記述し得る。
【０１４０】
[00146]各シーケンスデータセットはそれぞれのパラメータセットトラックに対応し得る。図７の例では、パラメータセットトラック２４６Ａはシーケンスデータセット２５２Ａに対応し、パラメータセットトラック２４６Ｂはシーケンスデータセット２５２Ｂに対応し、パラメータセットトラック２４６Ｃはシーケンスデータセット２５２Ｃに対応する。各パラメータセットトラックは、対応するシーケンスデータセットがビデオデータトラック２４４のビデオフラグメントに当てはまる時間を記述するデータを含み得る。たとえば、パラメータセットトラック２４６Ａは、ビデオフラグメント２５４Ａのうちの最後のビデオフラグメントに対応する時間の後にはシーケンスデータセット２５２Ａがもはや当てはまらないことを示すデータを含む。このタイミング情報は、ＵＴＣ時間であり得るか、または再生持続時間に対応し得る。
【０１４１】
[00147]いくつかの例では、ビデオファイルは、ビデオフラグメント２５４Ａ〜２５４Ｃのすべてに対応する追加のパラメータセットトラックを含む。そのような例では、宛先デバイスは、すべてのビデオフラグメントに当てはまるパラメータセットトラックからのデータと、所与のビデオフラグメントに特に当てはまるパラメータセットトラックからのデータの両方を利用し得る。
【０１４２】
[00148]例としてＭＯＯＶボックス２４２中に含まれるものとして示されるが、シーケンスデータセット２５２は、本開示で説明した他のロケーションのいずれかに含まれ得ることを理解されたい。たとえば、シーケンスデータセットは、特定のビデオフラグメント中に、特定の３ＧＰＰファイル中に、メディアプレゼンテーション記述内に、あるいはビデオファイル内のまたはそれに関連付けられた別の１つまたは複数のロケーションに含まれ得る。
【０１４３】
[00149]１つまたは複数の例では、説明した機能は、ハードウェア、ソフトウェア、ファームウェア、またはそれらの任意の組合せで実装され得る。ソフトウェアで実装した場合、機能は、１つまたは複数の命令またはコードとしてコンピュータ可読媒体上に記憶されるか、あるいはコンピュータ可読媒体を介して送信され、ハードウェアベースの処理ユニットによって実行され得る。コンピュータ可読媒体は、たとえば、通信プロトコルに従ってある場所から別の場所へのコンピュータプログラムの転送を可能にする任意の媒体を含むデータ記憶媒体または通信媒体など、有形媒体に対応するコンピュータ可読記憶媒体を含み得る。このようにして、コンピュータ可読媒体は、概して、（１）非一時的である有形コンピュータ可読記憶媒体、あるいは（２）信号または搬送波などの通信媒体に対応し得る。データ記憶媒体は、本開示で説明した技法の実装のための命令、コードおよび／またはデータ構造を取り出すために１つまたは複数のコンピュータあるいは１つまたは複数のプロセッサによってアクセスされ得る任意の利用可能な媒体であり得る。コンピュータプログラム製品はコンピュータ可読媒体を含み得る。
【０１４４】
[00150]限定ではなく例として、そのようなコンピュータ可読記憶媒体は、ＲＡＭ、ＲＯＭ、ＥＥＰＲＯＭ、ＣＤ−ＲＯＭまたは他の光ディスクストレージ、磁気ディスクストレージ、または他の磁気ストレージデバイス、フラッシュメモリ、あるいは命令またはデータ構造の形態の所望のプログラムコードを記憶するために使用され得、コンピュータによってアクセスされ得る、任意の他の媒体を備えることができる。また、いかなる接続もコンピュータ可読媒体と適切に呼ばれる。たとえば、命令が、同軸ケーブル、光ファイバケーブル、ツイストペア、デジタル加入者回線（ＤＳＬ）、または赤外線、無線、およびマイクロ波などのワイヤレス技術を使用して、ウェブサイト、サーバ、または他のリモートソースから送信される場合、同軸ケーブル、光ファイバケーブル、ツイストペア、ＤＳＬ、または赤外線、無線、およびマイクロ波などのワイヤレス技術は、媒体の定義に含まれる。ただし、コンピュータ可読記憶媒体およびデータ記憶媒体は、接続、搬送波、信号、または他の一時媒体を含まないが、代わりに非一時的有形記憶媒体を対象とすることを理解されたい。本明細書で使用するディスク（disk）およびディスク（disc）は、コンパクトディスク（disc）（ＣＤ）、レーザディスク（disc）、光ディスク（disc）、デジタル多用途ディスク（disc）（ＤＶＤ）、フロッピー（登録商標）ディスク（disk）およびブルーレイディスク（disc）を含み、ディスク（disk）は、通常、データを磁気的に再生し、ディスク（disc）は、データをレーザで光学的に再生する。上記の組合せもコンピュータ可読媒体の範囲内に含めるべきである。
【０１４５】
[00151]命令は、１つまたは複数のデジタル信号プロセッサ（ＤＳＰ）などの１つまたは複数のプロセッサ、汎用マイクロプロセッサ、特定用途向け集積回路（ＡＳＩＣ）、フィールドプログラマブル論理アレイ（ＦＰＧＡ）、あるいは他の等価な集積回路またはディスクリート論理回路によって実行され得る。したがって、本明細書で使用する「プロセッサ」という用語は、前述の構造、または本明細書で説明した技法の実装に好適な他の構造のいずれかを指し得る。さらに、いくつかの態様では、本明細書で説明した機能は、符号化および復号のために構成された専用のハードウェアおよび／またはソフトウェアモジュール内に提供され得、あるいは複合コーデックに組み込まれ得る。また、本技法は、１つまたは複数の回路または論理要素中に十分に実装され得る。
【０１４６】
[00152]本開示の技法は、ワイヤレスハンドセット、集積回路（ＩＣ）またはＩＣのセット（たとえば、チップセット）を含む、多種多様なデバイスまたは装置において実施され得る。本開示では、開示する技法を実行するように構成されたデバイスの機能的態様を強調するために様々な構成要素、モジュール、またはユニットについて説明したが、それらの構成要素、モジュール、またはユニットを、必ずしも異なるハードウェアユニットによって実現する必要はない。むしろ、上記で説明したように、様々なユニットが、好適なソフトウェアおよび／またはファームウェアとともに、上記で説明したように１つまたは複数のプロセッサを含んで、コーデックハードウェアユニットにおいて組み合わせられるか、または相互動作ハードウェアユニットの集合によって与えられ得る。
【０１４７】
[00153]様々な例について説明した。これらおよび他の例は以下の特許請求の範囲内に入る。
【図１】
2013536623.tif 000003
【図２】
2013536623.tif 000004
【図３】
2013536623.tif 000005
【図４】
2013536623.tif 000006
【図５】
2013536623.tif 000007
【図６】
2013536623.tif 000008
【図７】
2013536623.tif 000009
【手続補正書】
【提出日】平成25年3月21日(2013.3.21)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
コード化ビデオピクチャのシーケンスを備えるカプセル化されたビデオデータを出力する方法であって、前記方法は、
前記コード化ビデオピクチャとは別個の１つまたは複数の補足エンハンスメント情報（ＳＥＩ）メッセージを生成することと、前記ＳＥＩメッセージは、前記コード化ビデオピクチャのシーケンスの各々を記述し、前記コード化ビデオピクチャのうちの２つ以上に共通の要素を含み、
メディア表現のための初期化セグメントを備える第１のファイル中に前記ＳＥＩメッセージをカプセル化することと、前記第１のファイルはコード化ビデオピクチャを含まない、
前記第１のファイルとは別個の１つまたは複数のビデオファイル中に前記コード化ビデオピクチャのシーケンスをカプセル化することと、
前記１つまたは複数の別個のビデオファイルのうちのいずれかを出力する前に前記第１のファイルを出力することと、
を備える方法。
【請求項２】
前記ＳＥＩメッセージは、２つ以上のアクセスユニットに適用可能なシーケンスレベルＳＥＩメッセージを備え、前記２つ以上のアクセスユニットは前記コード化ビデオピクチャのシーケンスを備え、前記１つまたは複数のＳＥＩメッセージを生成することは、前記アクセスユニットから前記シーケンスレベルＳＥＩメッセージを分離することを備える、請求項１に記載の方法。
【請求項３】
前記ＳＥＩメッセージは、Ｈ．２６４／Ａｄｖａｎｃｅｄ  Ｖｉｄｅｏ  Ｃｏｄｉｎｇ（ＡＶＣ）、Ｈ．２６４のＳｃａｌａｂｌｅ  Ｖｉｄｅｏ  Ｃｏｄｉｎｇ（ＳＶＣ）拡張、およびＨ．２６４のＭｕｌｔｉｖｉｅｗ  Ｖｉｄｅｏ  Ｃｏｄｉｎｇ（ＭＶＣ）拡張のうちの少なくとも１つのＳＥＩメッセージタイプとして定義される、請求項１に記載の方法。
【請求項４】
前記第１のファイルは、１つまたは複数のシーケンスパラメータセット（ＳＰＳ）と、１つまたは複数のピクチャパラメータセット（ＰＰＳ）と、前記第１のファイル中に連続的に配置された前記１つまたは複数のＳＥＩメッセージとを備えるシーケンスデータセットを備える、
請求項１に記載の方法。
【請求項５】
前記シーケンスデータセットのためのネットワークストリーミングプロトコルに従って要求を受信することをさらに備え、前記要求はＨＴＴＰ  ＧＥＴ要求またはＨＴＴＰパーシャルＧＥＴ要求を備え、前記第１のファイルを出力することは、前記要求に応答して前記第１のファイルを出力することを備える、
請求項４に記載の方法。
【請求項６】
前記ＳＥＩメッセージを含む前記第１のファイルはパラメータセットトラックの少なくとも一部分を備え、前記パラメータセットトラックは、さらに、前記コード化ビデオピクチャのシーケンスのシーケンスパラメータセットデータおよびピクチャパラメータセットデータのうちの少なくとも１つを備える、請求項１に記載の方法。
【請求項７】
前記ＳＥＩメッセージを生成することは、前記ＳＥＩメッセージのうちの少なくとも１つ内に、前記ＳＥＩメッセージに対応する前記コード化ビデオピクチャのシーケンスの持続時間をシグナリングするシグナリング情報を生成することを備える、請求項１に記載の方法。
【請求項８】
前記コード化ビデオピクチャのシーケンスはコード化ビデオピクチャの第１のシーケンスを備え、前記ＳＥＩメッセージはＳＥＩメッセージの第１のセットを備え、前記方法は、
コード化ビデオピクチャの第２のシーケンスとは別個の１つまたは複数のＳＥＩメッセージの第２のセットを生成することと、前記ＳＥＩメッセージの第２のセットは、前記コード化ビデオピクチャの第２のシーケンスの各々を記述し、前記コード化ビデオピクチャの第２のシーケンスのうちの２つ以上に共通の要素を含み、
前記コード化ビデオピクチャの第２のシーケンスとは別個に前記ＳＥＩメッセージの第２のセットを出力することと、
をさらに備える請求項１に記載の方法。
【請求項９】
出力することは、
前記ＳＥＩメッセージと前記コード化ビデオピクチャのシーケンスとを備えるビデオデータを符号化することと、
ネットワーク上で前記符号化されたビデオデータをストリーミングすることと、
を備える請求項１に記載の方法。
【請求項１０】
前記ビデオデータをストリーミングすることは、少なくとも１つの伝送制御プロトコル（ＴＣＰ）接続を介して前記ビデオデータをストリーミングすることを備える、請求項９に記載の方法。
【請求項１１】
前記少なくとも１つのＴＣＰ接続はハイパーテキスト転送プロトコル（ＨＴＴＰ）接続を備える、請求項１０に記載の方法。
【請求項１２】
生成することは、コーデックレベルのビデオエンコーダによって、前記コード化ビデオピクチャのシーケンスとは別個に前記ＳＥＩメッセージを符号化することを備える、請求項１に記載の方法。
【請求項１３】
コード化ビデオピクチャのシーケンスを備えるカプセル化されたビデオデータを出力するための装置であって、前記装置は、
前記コード化ビデオピクチャとは別個の１つまたは複数の補足エンハンスメント情報（ＳＥＩ）メッセージを生成し、前記ＳＥＩメッセージは、前記コード化ビデオピクチャのシーケンスの各々を記述し、前記コード化ビデオピクチャのうちの２つ以上に共通の要素を含み、
メディア表現のための初期化セグメントを備える第１のファイル中に前記ＳＥＩメッセージをカプセル化し、前記第１のファイルは任意のコード化ビデオピクチャを含まず、
前記コード化ビデオピクチャのシーケンスを、前記第１のファイルとは別個の１つまたは複数のビデオファイル中にカプセル化する、
ように構成された制御ユニットと、
前記１つまたは複数の別個のビデオファイルのうちのいずれかを出力する前に前記第１のファイルを出力するように構成された出力インターフェースと、
を備える装置。
【請求項１４】
前記ＳＥＩメッセージは、２つ以上のアクセスユニットに適用可能なシーケンスレベルＳＥＩメッセージを備え、前記２つ以上のアクセスユニットは前記コード化ビデオピクチャのシーケンスを備え、前記制御ユニットは、前記アクセスユニットから前記シーケンスレベルＳＥＩメッセージを分離するように構成された、請求項１３に記載の装置。
【請求項１５】
前記第１のファイルは、１つまたは複数のシーケンスパラメータセット（ＳＰＳ）と、１つまたは複数のピクチャパラメータセット（ＰＰＳ）と、前記第１のファイル中に連続的に配置された前記１つまたは複数のＳＥＩメッセージとを備えるシーケンスデータセットを備える、請求項１３に記載の装置。
【請求項１６】
前記制御ユニットは、前記シーケンスデータセットのためのネットワークストリーミングプロトコルに従って要求を受信するようにさらに構成され、前記要求はＨＴＴＰ  ＧＥＴ要求またはＨＴＴＰパーシャルＧＥＴ要求を備え、前記制御ユニットは、前記出力インターフェースに、前記要求に応答して前記第１のファイルを出力させるように構成された、請求項１５に記載の装置。
【請求項１７】
前記ＳＥＩメッセージを含む前記第１のファイルはパラメータセットトラックの少なくとも一部分を備え、前記パラメータセットトラックは、さらに、前記コード化ビデオピクチャのシーケンスのシーケンスパラメータセットデータおよびピクチャパラメータセットデータのうちの少なくとも１つを備える、請求項１３に記載の装置。
【請求項１８】
前記制御ユニットは、前記ＳＥＩメッセージのうちの少なくとも１つ内に、前記ＳＥＩメッセージに対応する前記コード化ビデオピクチャのシーケンスの持続時間をシグナリングするシグナリング情報を生成するように構成された、請求項１３に記載の装置。
【請求項１９】
前記コード化ビデオピクチャのシーケンスはコード化ビデオピクチャの第１のシーケンスを備え、前記ＳＥＩメッセージはＳＥＩメッセージの第１のセットを備え、
前記制御ユニットは、コード化ビデオピクチャの第２のシーケンスとは別個の１つまたは複数のＳＥＩメッセージの第２のセットを生成するように構成され、前記ＳＥＩメッセージの第２のセットは、前記コード化ビデオピクチャの第２のシーケンスの各々を記述し、前記コード化ビデオピクチャの第２のシーケンスのうちの２つ以上に共通の要素を含み、
前記出力インターフェースは、前記コード化ビデオピクチャの第２のシーケンスとは別個に前記ＳＥＩメッセージの第２のセットを出力するように構成された、請求項１３に記載の装置。
【請求項２０】
前記装置は、
集積回路と、
マイクロプロセッサと、
前記制御ユニットを含むワイヤレス通信デバイスと、
のうちの少なくとも１つを備える、請求項１３に記載の装置。
【請求項２１】
コード化ビデオピクチャのシーケンスを備えるカプセル化されたビデオデータを出力するための装置であって、前記装置は、
前記コード化ビデオピクチャとは別個の１つまたは複数の補足エンハンスメント情報（ＳＥＩ）メッセージを生成する手段と、前記ＳＥＩメッセージは、前記コード化ビデオピクチャのシーケンスの各々を記述し、前記コード化ビデオピクチャのうちの２つ以上に共通の要素を含み、
メディア表現のための初期化セグメントを備える第１のファイル中に前記ＳＥＩメッセージをカプセル化する手段と、前記第１のファイルはコード化ビデオピクチャを含まない、
前記第１のファイルとは別個の１つまたは複数のビデオファイル中に前記コード化ビデオピクチャのシーケンスをカプセル化する手段と、
前記１つまたは複数の別個のビデオファイルのうちのいずれかを出力する前に前記第１のファイルを出力する手段と、
を備える装置。
【請求項２２】
前記ＳＥＩメッセージは、２つ以上のアクセスユニットに適用可能なシーケンスレベルＳＥＩメッセージを備え、前記２つ以上のアクセスユニットは前記コード化ビデオピクチャのシーケンスを備え、前記１つまたは複数のＳＥＩメッセージを生成する手段は、前記アクセスユニットから前記シーケンスレベルＳＥＩメッセージを分離する手段を備える、請求項２１に記載の装置。
【請求項２３】
前記第１のファイルは、１つまたは複数のシーケンスパラメータセット（ＳＰＳ）と、１つまたは複数のピクチャパラメータセット（ＰＰＳ）と、前記第１のファイル中に連続的に配置された前記１つまたは複数のＳＥＩメッセージとを備えるシーケンスデータセットを備える、請求項２１に記載の装置。
【請求項２４】
前記シーケンスデータセットのためのネットワークストリーミングプロトコルに従って要求を受信する手段をさらに備え、前記要求はＨＴＴＰ  ＧＥＴ要求またはＨＴＴＰパーシャルＧＥＴ要求を備え、前記第１のファイルを出力することは、前記要求に応答して前記第１のファイルを出力することを備える、請求項２３に記載の装置。
【請求項２５】
前記ＳＥＩメッセージを含む前記第１のファイルはパラメータセットトラックの少なくとも一部分を備え、前記パラメータセットトラックは、さらに、前記コード化ビデオピクチャのシーケンスのシーケンスパラメータセットデータおよびピクチャパラメータセットデータのうちの少なくとも１つを備える、請求項２１に記載の装置。
【請求項２６】
前記ＳＥＩメッセージを生成する手段は、前記ＳＥＩメッセージのうちの少なくとも１つ内に、前記ＳＥＩメッセージに対応する前記コード化ビデオピクチャのシーケンスの持続時間をシグナリングするシグナリング情報を生成する手段を備える、請求項２１に記載の装置。
【請求項２７】
前記コード化ビデオピクチャのシーケンスはコード化ビデオピクチャの第１のシーケンスを備え、前記ＳＥＩメッセージがＳＥＩメッセージの第１のセットを備え、前記装置は、
コード化ビデオピクチャの第２のシーケンスとは別個の１つまたは複数のＳＥＩメッセージの第２のセットを生成する手段と、前記ＳＥＩメッセージの第２のセットは、前記コード化ビデオピクチャの第２のシーケンスの各々を記述し、前記コード化ビデオピクチャの第２のシーケンスのうちの２つ以上に共通の要素を含み、
前記コード化ビデオピクチャの第２のシーケンスとは別個に前記ＳＥＩメッセージの第２のセットを出力する手段と、
をさらに備える、請求項２１に記載の装置。
【請求項２８】
前記出力する手段は、
前記ＳＥＩメッセージと前記コード化ビデオピクチャのシーケンスとを備えるビデオデータを符号化する手段と、
ネットワーク上で前記符号化されたビデオデータをストリーミングする手段と、
を備える、請求項２１に記載の装置。
【請求項２９】
実行されたとき、コード化ビデオデータを出力するための装置のプロセッサに、
前記コード化ビデオピクチャとは別個の１つまたは複数の補足エンハンスメント情報（ＳＥＩ）メッセージを生成させる命令と、前記ＳＥＩメッセージは、前記コード化ビデオピクチャのシーケンスの各々を記述し、前記コード化ビデオピクチャのうちの２つ以上に共通の要素を含み、
メディア表現のための初期化セグメントを備える第１のファイル中に前記ＳＥＩメッセージをカプセル化させる命令と、前記第１のファイルはコード化ビデオピクチャを含まない、
前記第１のファイルとは別個の１つまたは複数のビデオファイル中に前記コード化ビデオピクチャのシーケンスをカプセル化させる命令と、
前記１つまたは複数の別個のビデオファイルのうちのいずれかを出力する前に前記第１のファイルを出力させる命令と、
が記憶されたコンピュータ可読記憶媒体を備えるコンピュータプログラム製品。
【請求項３０】
前記第１のファイルは、１つまたは複数のシーケンスパラメータセット（ＳＰＳ）と、１つまたは複数のピクチャパラメータセット（ＰＰＳ）と、前記第１のファイル中に連続的に配置された前記１つまたは複数のＳＥＩメッセージとを備えるシーケンスデータセットを備える、請求項２９に記載のコンピュータプログラム製品。
【請求項３１】
前記プロセッサに、前記シーケンスデータセットのためのネットワークストリーミングプロトコルに従って要求を受信させる命令をさらに備え、前記要求はＨＴＴＰ  ＧＥＴ要求またはＨＴＴＰパーシャルＧＥＴ要求を備え、前記プロセッサに前記第１のファイルを出力させる命令は、前記プロセッサに、前記要求に応答して前記第１のファイルを出力させる命令を備える、請求項３０に記載のコンピュータシステムプログラム製品。
【請求項３２】
前記ＳＥＩメッセージを含む前記第１のファイルはパラメータセットトラックの少なくとも一部分を備え、前記パラメータセットトラックは、さらに、前記コード化ビデオピクチャのシーケンスのシーケンスパラメータセットデータおよびピクチャパラメータセットデータのうちの少なくとも１つを備える、請求項２９に記載のコンピュータプログラム製品。
【請求項３３】
前記ＳＥＩメッセージを生成させる命令は、前記ＳＥＩメッセージのうちの少なくとも１つ内に、前記ＳＥＩメッセージに対応する前記コード化ビデオピクチャのシーケンスの持続時間をシグナリングするシグナリング情報を生成させる命令を備える、請求項２９に記載のコンピュータプログラム製品。
【請求項３４】
コード化ビデオピクチャの前記シーケンスはコード化ビデオピクチャの第１のシーケンスを備え、前記ＳＥＩメッセージはＳＥＩメッセージの第１のセットを備え、
コード化ビデオピクチャの第２のシーケンスとは別個の１つまたは複数のＳＥＩメッセージの第２のセットを生成させる命令と、前記ＳＥＩメッセージの第２のセットは、前記コード化ビデオピクチャの第２のシーケンスの各々を記述し、前記コード化ビデオピクチャの第２のシーケンスのうちの２つ以上に共通の要素を含み、
前記コード化ビデオピクチャの第２のシーケンスとは別個に前記ＳＥＩメッセージの第２のセットを出力させる命令と、
をさらに備える、請求項２９に記載のコンピュータプログラム製品。
【請求項３５】
符号化ビデオデータを受信する方法であって、前記方法は、
メディア表現のための初期化セグメントを備える第１のファイル中のカプセル化された補足エンハンスメント情報（ＳＥＩ）メッセージを受信することと、前記第１のファイルはコード化ビデオピクチャを含まず、前記ＳＥＩメッセージは、前記第１のファイルとは別個の１つまたは複数のビデオファイル中にカプセル化されたコード化ビデオピクチャのシーケンスを記述し、前記ＳＥＩメッセージは、前記コード化ビデオピクチャのシーケンスの各々を記述し、前記コード化ビデオピクチャのうちの２つ以上に共通の要素を含み、
前記第１のファイルの前記カプセル化されたＳＥＩメッセージを受信した後に、前記１つまたは複数のビデオファイルの前記カプセル化されたコード化ビデオピクチャのシーケンスを受信することと、
前記コード化ビデオピクチャのシーケンスが復号された後に、前記ＳＥＩメッセージに基づいて前記コード化ビデオピクチャのシーケンスをレンダリングすることと、
を備える方法。
【請求項３６】
前記ＳＥＩメッセージについての第１の要求をサブミットすることと、前記カプセル化されたＳＥＩメッセージを受信することは、前記第１の要求に応答して前記カプセル化されたＳＥＩメッセージを受信することを備え、
前記カプセル化されたＳＥＩメッセージを受信した後にのみ、前記カプセル化されたコード化ビデオピクチャのシーケンスのうちの１つまたは複数についての第２の要求をサブミットすることと、前記カプセル化されたコード化ビデオピクチャのシーケンスを受信することは、前記第２の要求に応答して前記カプセル化されたコード化ビデオピクチャのシーケンスのうちの前記１つまたは複数を受信することを備える、
をさらに備える請求項３５に記載の方法。
【請求項３７】
前記ＳＥＩメッセージはＳＥＩメッセージの第１のセットを備え、前記コード化ビデオピクチャのシーケンスはコード化ビデオピクチャの第１のシーケンスを備え、前記方法は、さらに、
前記コード化ビデオピクチャの第１のシーケンスを受信した後に、ＳＥＩメッセージの第２のセットについての第３の要求をサブミットすることと、
前記第３の要求に応答して前記ＳＥＩメッセージの第２のセットを受信することと、
前記ＳＥＩメッセージの第２のセットによって記述されるコード化ビデオピクチャの第２のシーケンスについての第４の要求をサブミットすることと、
前記ＳＥＩメッセージの第２のセットを受信した後に、前記コード化ビデオピクチャの第２のシーケンスを受信することと、
前記コード化ビデオピクチャの第２のシーケンスが復号された後に、前記ＳＥＩメッセージの第２のセットに基づいて前記コード化ビデオピクチャの第２のシーケンスをレンダリングすることと、
を備える請求項３６に記載の方法。
【請求項３８】
パラメータセットトラックと、コード化ビデオピクチャを含まないトラックフラグメントと、コード化ビデオデータを含まない第３世代パートナーシッププロジェクト（３ＧＰＰ）フォーマットファイルとのうちの少なくとも１つから、前記ＳＥＩメッセージを抽出することをさらに備える、請求項３５に記載の方法。
【請求項３９】
前記ＳＥＩメッセージをパースし、復号することをさらに備え、前記ＳＥＩメッセージは、前記コード化ビデオピクチャのシーケンスを備えるアクセスユニットとは別個にコーディングされる、請求項３５に記載の方法。
【請求項４０】
符号化ビデオデータを受信するための装置であって、前記装置は、
メディア表現のための初期化セグメントを備える第１のファイル中のカプセル化された補足エンハンスメント情報（ＳＥＩ）メッセージを受信し、前記第１のファイルはコード化ビデオピクチャを含まず、前記ＳＥＩメッセージは、前記第１のファイルとは別個の１つまたは複数のビデオファイル中にカプセル化されたコード化ビデオピクチャのシーケンスを記述し、前記ＳＥＩメッセージは、前記コード化ビデオピクチャのシーケンスの各々を記述し、前記コード化ビデオピクチャのうちの２つ以上に共通の要素を含み、
前記第１のファイルの前記カプセル化されたＳＥＩメッセージを受信した後に、前記１つまたは複数のビデオファイルの前記カプセル化されたコード化ビデオピクチャのシーケンスを受信する
ように構成された制御ユニットと、
前記コード化ビデオピクチャのシーケンスが復号された後に、前記コード化ビデオピクチャのシーケンスをレンダリングするように構成されたビデオ出力と、
を備える装置。
【請求項４１】
前記制御ユニットは、前記カプセル化されたＳＥＩメッセージについての第１の要求をサブミットし、前記第１の要求に応答して前記カプセル化されたＳＥＩメッセージを受信し、前記カプセル化されたＳＥＩメッセージを受信した後にのみ前記カプセル化されたコード化ビデオピクチャのシーケンスのうちの１つまたは複数についての第２の要求をサブミットし、前記第２の要求に応答して前記カプセル化されたコード化ビデオピクチャのシーケンスのうちの前記１つまたは複数を受信するように構成された、請求項４０に記載の装置。
【請求項４２】
前記ＳＥＩメッセージはＳＥＩメッセージの第１のセットを備え、前記コード化ビデオピクチャのシーケンスはコード化ビデオピクチャの第１のシーケンスを備え、前記制御ユニットは、
前記コード化ビデオピクチャの第１のシーケンスを受信した後にＳＥＩメッセージの第２のセットについての第３の要求をサブミットし、
前記第３の要求に応答して前記ＳＥＩメッセージの第２のセットを受信し、
前記ＳＥＩメッセージの第２のセットによって記述されたコード化ビデオピクチャの第２のシーケンスについての第４の要求をサブミットし、
前記ＳＥＩメッセージの第２のセットを受信した後に前記コード化ビデオピクチャの第２のシーケンスを受信するように構成され、
前記ビデオ出力は、前記コード化ビデオピクチャの第２のシーケンスが復号された後に、前記ＳＥＩメッセージの第２のセットに基づいて前記コード化ビデオピクチャの第２のシーケンスをレンダリングするように構成された、
請求項４１に記載の装置。
【請求項４３】
前記制御ユニットは、パラメータセットトラックと、コード化ビデオピクチャを含まないトラックフラグメントと、コード化ビデオデータを含まない第３世代パートナーシッププロジェクト（３ＧＰＰ）フォーマットファイルとのうちの少なくとも１つから、前記ＳＥＩメッセージを抽出するように構成された、請求項４０に記載の装置。
【請求項４４】
前記装置は、
集積回路と、
マイクロプロセッサと、
前記制御ユニットを含むワイヤレス通信デバイスと、
のうちの少なくとも１つを備える、請求項４０に記載の装置。
【請求項４５】
符号化ビデオデータを受信するための装置であって、前記装置は、
メディア表現のための初期化セグメントを備える第１のファイル中のカプセル化された補足エンハンスメント情報（ＳＥＩ）メッセージを受信する手段と、前記第１のファイルはコード化ビデオピクチャを含まず、前記ＳＥＩメッセージは、前記第１のファイルとは別個の１つまたは複数のビデオファイル中にカプセル化されたコード化ビデオピクチャのシーケンスを記述し、前記ＳＥＩメッセージは、前記コード化ビデオピクチャのシーケンスの各々を記述し、前記コード化ビデオピクチャのうちの２つ以上に共通の要素を含み、
前記第１のファイルの前記カプセル化されたＳＥＩメッセージを受信した後に、前記１つまたは複数のビデオファイルの前記カプセル化されたコード化ビデオピクチャのシーケンスを受信する手段と、
前記コード化ビデオピクチャのシーケンスが復号された後に、前記ＳＥＩメッセージに基づいて前記コード化ビデオピクチャのシーケンスをレンダリングする手段と、
を備える装置。
【請求項４６】
前記ＳＥＩメッセージについての第１の要求をサブミットする手段と、前記カプセル化されたＳＥＩメッセージを受信する手段は、前記第１の要求に応答して前記カプセル化されたＳＥＩメッセージを受信する手段を備え、
前記カプセル化されたＳＥＩメッセージを受信した後にのみ、前記カプセル化されたコード化ビデオピクチャのシーケンスのうちの１つまたは複数についての第２の要求をサブミットする手段と、前記カプセル化されたコード化ビデオピクチャのシーケンスを受信する手段は、前記第２の要求に応答して前記カプセル化されたコード化ビデオピクチャのシーケンスのうちの前記１つまたは複数を受信する手段を備える、
をさらに備える、請求項４５に記載の装置。
【請求項４７】
前記ＳＥＩメッセージはＳＥＩメッセージの第１のセットを備え、前記コード化ビデオピクチャのシーケンスはコード化ビデオピクチャの第１のシーケンスを備え、前記装置は、
前記コード化ビデオピクチャの第１のシーケンスを受信した後に、ＳＥＩメッセージの第２のセットについての第３の要求をサブミットする手段と、
前記第３の要求に応答して前記ＳＥＩメッセージの第２のセットを受信する手段と、
前記ＳＥＩメッセージの第２のセットによって記述されるコード化ビデオピクチャの第２のシーケンスについての第４の要求をサブミットする手段と、
前記ＳＥＩメッセージの第２のセットを受信した後に、前記コード化ビデオピクチャの第２のシーケンスを受信する手段と、
前記コード化ビデオピクチャの第２のシーケンスが復号された後に、前記ＳＥＩメッセージの第２のセットに基づいて前記コード化ビデオピクチャの第２のシーケンスをレンダリングする手段と、
をさらに備える、請求項４６に記載の装置。
【請求項４８】
パラメータセットトラックと、コード化ビデオピクチャを含まないトラックフラグメントと、コード化ビデオデータを含まない第３世代パートナーシッププロジェクト（３ＧＰＰ）フォーマットファイルとのうちの少なくとも１つから、前記ＳＥＩメッセージを抽出する手段をさらに備える、請求項４５に記載の装置。
【請求項４９】
実行されたとき、コード化ビデオデータを受信するための装置のプロセッサに、
メディア表現のための初期化セグメントを備える第１のファイル中のカプセル化された補足エンハンスメント情報（ＳＥＩ）メッセージを受信させる命令と、前記第１のファイルはコード化ビデオピクチャを含まず、前記ＳＥＩメッセージは、前記第１のファイルとは別個の１つまたは複数のビデオファイル中にカプセル化されたコード化ビデオピクチャのシーケンスを記述し、前記ＳＥＩメッセージは、前記コード化ビデオピクチャのシーケンスの各々を記述し、前記コード化ビデオピクチャのうちの２つ以上に共通の要素を含み、
前記第１のファイルの前記カプセル化されたＳＥＩメッセージを受信した後に、前記１つまたは複数のビデオファイルの前記カプセル化されたコード化ビデオピクチャのシーケンスを受信させる命令と、
前記コード化ビデオピクチャのシーケンスが復号された後に、前記ＳＥＩメッセージに基づいて前記コード化ビデオピクチャのシーケンスをレンダリングさせる命令と、
が記憶されたコンピュータ可読記憶媒体を備えるコンピュータプログラム製品。
【請求項５０】
前記ＳＥＩメッセージについての第１の要求をサブミットさせる命令と、前記カプセル化されたＳＥＩメッセージを受信させる命令は、前記第１の要求に応答して前記カプセル化されたＳＥＩメッセージを受信させる命令を備え、
前記ＳＥＩメッセージを受信した後にのみ前記カプセル化されたコード化ビデオピクチャのシーケンスのうちの１つまたは複数についての第２の要求をサブミットさせる命令と、前記カプセル化されたコード化ビデオピクチャのシーケンスを受信させる命令は、前記第２の要求に応答して前記カプセル化されたコード化ビデオピクチャのシーケンスのうちの前記１つまたは複数を受信させる命令を備え、
をさらに備える、請求項４９に記載のコンピュータプログラム製品。
【請求項５１】
前記ＳＥＩメッセージはＳＥＩメッセージの第１のセットを備え、前記コード化ビデオピクチャのシーケンスはコード化ビデオピクチャの第１のシーケンスを備え、
前記コード化ビデオピクチャの第１のシーケンスを受信した後に、ＳＥＩメッセージの第２のセットについての第３の要求をサブミットさせる命令と、
前記第３の要求に応答して前記ＳＥＩメッセージの第２のセットを受信させる命令と、
前記ＳＥＩメッセージの第２のセットによって記述されるコード化ビデオピクチャの第２のシーケンスについての第４の要求をサブミットさせる命令と、
前記ＳＥＩメッセージの第２のセットを受信した後に、前記コード化ビデオピクチャの第２のシーケンスを受信させる命令と、
前記コード化ビデオピクチャの第２のシーケンスが復号された後に、前記ＳＥＩメッセージの第２のセットに基づいて前記コード化ビデオピクチャの第２のシーケンスをレンダリングさせる命令と、
をさらに備える、請求項５０に記載のコンピュータプログラム製品。
【請求項５２】
パラメータセットトラックと、コード化ビデオピクチャを含まないトラックフラグメントと、コード化ビデオデータを含まない第３世代パートナーシッププロジェクト（３ＧＰＰ）フォーマットファイルとのうちの少なくとも１つから、前記ＳＥＩメッセージを抽出させる命令をさらに備える、請求項４９に記載のコンピュータプログラム製品。
【手続補正２】
【補正対象書類名】明細書
【補正対象項目名】０１４７
【補正方法】変更
【補正の内容】
【０１４７】
[00153]様々な例について説明した。これらおよび他の例は以下の特許請求の範囲内に入る。
以下に、本願出願の当初の特許請求の範囲に記載された発明を付記する。
［１］コード化ビデオピクチャのシーケンスを備えるカプセル化されたビデオデータを出力する方法であって、前記方法は、
前記コード化ビデオピクチャとは別個の１つまたは複数の補足エンハンスメント情報（ＳＥＩ）メッセージを生成することと、前記ＳＥＩメッセージは、前記コード化ビデオピクチャのシーケンスの各々を記述し、前記コード化ビデオピクチャのうちの２つ以上に共通の要素を含み、
前記コード化ビデオピクチャのシーケンスとは別個に前記ＳＥＩメッセージを出力することと、を備える方法。
［２］前記ＳＥＩメッセージは、２つ以上のアクセスユニットに適用可能なシーケンスレベルＳＥＩメッセージを備え、前記２つ以上のアクセスユニットは前記コード化ビデオピクチャのシーケンスを備え、前記１つまたは複数のＳＥＩメッセージを生成することは、前記アクセスユニットから前記シーケンスレベルＳＥＩメッセージを分離することを備える、［１］に記載の方法。
［３］前記ＳＥＩメッセージは、Ｈ．２６４／Ａｄｖａｎｃｅｄ  Ｖｉｄｅｏ  Ｃｏｄｉｎｇ（ＡＶＣ）、Ｈ．２６４のＳｃａｌａｂｌｅ  Ｖｉｄｅｏ  Ｃｏｄｉｎｇ（ＳＶＣ）拡張、およびＨ．２６４のＭｕｌｔｉｖｉｅｗ  Ｖｉｄｅｏ  Ｃｏｄｉｎｇ（ＭＶＣ）拡張のうちの少なくとも１つのＳＥＩメッセージタイプとして定義される、［１］に記載の方法。
［４］出力することは、前記ＳＥＩメッセージと前記コード化ビデオピクチャとをビデオファイルの形態でカプセル化することを備え、
出力することは、さらに、前記コード化ビデオピクチャのシーケンスを含むファイルユニットとは別個のファイルユニット中に前記ＳＥＩメッセージを含めることを備える、［１］に記載の方法。
［５］前記ＳＥＩメッセージを含む前記別個のファイルユニットは前記ビデオファイルのパラメータセットトラックを備え、前記パラメータセットトラックは、さらに、前記コード化ビデオピクチャのシーケンスのシーケンスパラメータセットデータおよびピクチャパラメータセットデータのうちの少なくとも１つを備える、［４］に記載の方法。
［６］メディア表現のための初期化セグメントは前記別個のファイルユニットを備える、［４］に記載の方法。
［７］前記ＳＥＩメッセージを生成することは、前記ＳＥＩメッセージのうちの少なくとも１つ内に、前記ＳＥＩメッセージに対応する前記コード化ビデオピクチャのシーケンスの持続時間をシグナリングするシグナリング情報を生成することを備える、［１］に記載の方法。
［８］前記コード化ビデオピクチャのシーケンスはコード化ビデオピクチャの第１のシーケンスを備え、前記ＳＥＩメッセージはＳＥＩメッセージの第１のセットを備え、前記方法は、
コード化ビデオピクチャの第２のシーケンスとは別個の１つまたは複数のＳＥＩメッセージの第２のセットを生成することと、前記ＳＥＩメッセージの第２のセットは、前記コード化ビデオピクチャの第２のシーケンスの各々を記述し、前記コード化ビデオピクチャの第２のシーケンスのうちの２つ以上に共通の要素を含み、
前記コード化ビデオピクチャの第２のシーケンスとは別個に前記ＳＥＩメッセージの第２のセットを出力することと、
をさらに備える［１］に記載の方法。
［９］出力することは、
前記ＳＥＩメッセージと前記コード化ビデオピクチャのシーケンスとを備えるビデオデータを符号化することと、
ネットワーク上で前記符号化されたビデオデータをストリーミングすることと、
を備える［１］に記載の方法。
［１０］前記ビデオデータをストリーミングすることは、少なくとも１つの伝送制御プロトコル（ＴＣＰ）接続を介して前記ビデオデータをストリーミングすることを備える、［９］に記載の方法。
［１１］前記少なくとも１つのＴＣＰ接続はハイパーテキスト転送プロトコル（ＨＴＴＰ）接続を備える、［１０］に記載の方法。
［１２］生成することは、コーデックレベルのビデオエンコーダによって、前記コード化ビデオピクチャのシーケンスとは別個に前記ＳＥＩメッセージを符号化することを備える、［１］に記載の方法。
［１３］コード化ビデオピクチャのシーケンスを備えるカプセル化されたビデオデータを出力するための装置であって、前記装置は、
前記コード化ビデオピクチャとは別個の１つまたは複数の補足エンハンスメント情報（ＳＥＩ）メッセージを生成するように構成された制御ユニットと、前記ＳＥＩメッセージは、前記コード化ビデオピクチャのシーケンスの各々を記述し、前記コード化ビデオピクチャのうちの２つ以上に共通の要素を含み、
前記コード化ビデオピクチャのシーケンスとは別個に前記ＳＥＩメッセージを出力するように構成された出力インターフェースと、
を備える装置。
［１４］前記ＳＥＩメッセージは、２つ以上のアクセスユニットに適用可能なシーケンスレベルＳＥＩメッセージを備え、前記２つ以上のアクセスユニットは前記コード化ビデオピクチャのシーケンスを備え、前記制御ユニットは、前記アクセスユニットから前記シーケンスレベルＳＥＩメッセージを分離するように構成された、［１３］に記載の装置。
［１５］前記制御ユニットは、前記ＳＥＩメッセージと前記コード化ビデオピクチャとをビデオファイルの形態でカプセル化するように構成され、前記制御ユニットは、前記コード化ビデオピクチャのシーケンスを含むファイルユニットとは別個のファイルユニット中に前記ＳＥＩメッセージを含めるように構成された、［１３］に記載の装置。
［１６］前記ＳＥＩメッセージを含む前記別個のファイルユニットは前記ビデオファイルのパラメータセットトラックを備え、前記パラメータセットトラックは、さらに、前記コード化ビデオピクチャのシーケンスのシーケンスパラメータセットデータおよびピクチャパラメータセットデータのうちの少なくとも１つを備える、［１５］に記載の装置。
［１７］メディア表現のための初期化セグメントは前記別個のファイルユニットを備える、［１５］に記載の装置。
［１８］前記制御ユニットは、前記ＳＥＩメッセージのうちの少なくとも１つ内に、前記ＳＥＩメッセージに対応する前記コード化ビデオピクチャのシーケンスの持続時間をシグナリングするシグナリング情報を生成するように構成された、［１３］に記載の装置。
［１９］前記コード化ビデオピクチャのシーケンスはコード化ビデオピクチャの第１のシーケンスを備え、前記ＳＥＩメッセージはＳＥＩメッセージの第１のセットを備え、
前記制御ユニットは、コード化ビデオピクチャの第２のシーケンスとは別個の１つまたは複数のＳＥＩメッセージの第２のセットを生成するように構成され、前記ＳＥＩメッセージの第２のセットは、前記コード化ビデオピクチャの第２のシーケンスの各々を記述し、前記コード化ビデオピクチャの第２のシーケンスのうちの２つ以上に共通の要素を含み、
前記出力インターフェースは、前記コード化ビデオピクチャの第２のシーケンスとは別個に前記ＳＥＩメッセージの第２のセットを出力するように構成された、［１３］に記載の装置。
［２０］前記装置は、
集積回路と、
マイクロプロセッサと、
前記制御ユニットを含むワイヤレス通信デバイスと、
のうちの少なくとも１つを備える、［１３］に記載の装置。
［２１］コード化ビデオピクチャのシーケンスを備えるカプセル化されたビデオデータを出力するための装置であって、前記装置は、
前記コード化ビデオピクチャとは別個の１つまたは複数の補足エンハンスメント情報（ＳＥＩ）メッセージを生成する手段と、前記ＳＥＩメッセージは、前記コード化ビデオピクチャのシーケンスの各々を記述し、前記コード化ビデオピクチャのうちの２つ以上に共通の要素を含み、
前記コード化ビデオピクチャのシーケンスとは別個に前記ＳＥＩメッセージを出力する手段と、
を備える装置。
［２２］前記ＳＥＩメッセージは、２つ以上のアクセスユニットに適用可能なシーケンスレベルＳＥＩメッセージを備え、前記２つ以上のアクセスユニットは前記コード化ビデオピクチャのシーケンスを備え、前記１つまたは複数のＳＥＩメッセージを生成する手段は、前記アクセスユニットから前記シーケンスレベルＳＥＩメッセージを分離する手段を備える、［２１］に記載の装置。
［２３］前記出力する手段は、前記ＳＥＩメッセージと前記コード化ビデオピクチャとをビデオファイルの形態でカプセル化する手段を備え、
前記出力する手段は、前記コード化ビデオピクチャのシーケンスを含むファイルユニットとは別個のファイルユニット中に前記ＳＥＩメッセージを含める手段をさらに備える、
［２１］に記載の装置。
［２４］前記ＳＥＩメッセージを含む前記別個のファイルユニットは前記ビデオファイルのパラメータセットトラックを備え、前記パラメータセットトラックは、さらに、前記コード化ビデオピクチャのシーケンスのシーケンスパラメータセットデータおよびピクチャパラメータセットデータのうちの少なくとも１つを備える、［２３］に記載の装置。
［２５］メディア表現のための初期化セグメントが前記別個のファイルユニットを備える、［２３］に記載の装置。
［２６］前記ＳＥＩメッセージを生成する手段は、前記ＳＥＩメッセージのうちの少なくとも１つ内に、前記ＳＥＩメッセージに対応する前記コード化ビデオピクチャのシーケンスの持続時間をシグナリングするシグナリング情報を生成する手段を備える、［２１］に記載の装置。
［２７］前記コード化ビデオピクチャのシーケンスはコード化ビデオピクチャの第１のシーケンスを備え、前記ＳＥＩメッセージがＳＥＩメッセージの第１のセットを備え、前記装置は、
コード化ビデオピクチャの第２のシーケンスとは別個の１つまたは複数のＳＥＩメッセージの第２のセットを生成する手段と、前記ＳＥＩメッセージの第２のセットは、前記コード化ビデオピクチャの第２のシーケンスの各々を記述し、前記コード化ビデオピクチャの第２のシーケンスのうちの２つ以上に共通の要素を含み、
前記コード化ビデオピクチャの第２のシーケンスとは別個に前記ＳＥＩメッセージの第２のセットを出力する手段と、
をさらに備える、［２１］に記載の装置。
［２８］前記出力する手段は、
前記ＳＥＩメッセージと前記コード化ビデオピクチャのシーケンスとを備えるビデオデータを符号化する手段と、
ネットワーク上で前記符号化されたビデオデータをストリーミングする手段と、
を備える、［２１］に記載の装置。
［２９］実行されたとき、コード化ビデオデータを出力するための装置のプロセッサに、
前記コード化ビデオピクチャとは別個の１つまたは複数の補足エンハンスメント情報（ＳＥＩ）メッセージを生成させる命令と、前記ＳＥＩメッセージは、前記コード化ビデオピクチャのシーケンスの各々を記述し、前記コード化ビデオピクチャのうちの２つ以上に共通の要素を含み、
前記コード化ビデオピクチャのシーケンスとは別個に前記ＳＥＩメッセージを出力させる命令と、
が記憶されたコンピュータ可読記憶媒体を備えるコンピュータプログラム製品。
［３０］前記出力させる命令は、前記ＳＥＩメッセージと前記コード化ビデオピクチャとをビデオファイルの形態でカプセル化させる命令を備え、
前記出力させる命令は、さらに、前記コード化ビデオピクチャのシーケンスを含むファイルユニットとは別個のファイルユニット中に前記ＳＥＩメッセージを含ませる命令を備える、［２９］に記載のコンピュータプログラム製品。
［３１］前記ＳＥＩメッセージを含む前記別個のファイルユニットは前記ビデオファイルのパラメータセットトラックを備え、前記パラメータセットトラックは、さらに、前記コード化ビデオピクチャのシーケンスのシーケンスパラメータセットデータおよびピクチャパラメータセットデータのうちの少なくとも１つを備える、［３０］に記載のコンピュータプログラム製品。
［３２］メディア表現のための初期化セグメントは前記別個のファイルユニットを備える、［３０］に記載のコンピュータプログラム製品。
［３３］前記ＳＥＩメッセージを生成させる命令は、前記ＳＥＩメッセージのうちの少なくとも１つ内に、前記ＳＥＩメッセージに対応する前記コード化ビデオピクチャのシーケンスの持続時間をシグナリングするシグナリング情報を生成させる命令を備える、［２９］に記載のコンピュータプログラム製品。
［３４］コード化ビデオピクチャの前記シーケンスはコード化ビデオピクチャの第１のシーケンスを備え、前記ＳＥＩメッセージはＳＥＩメッセージの第１のセットを備え、
コード化ビデオピクチャの第２のシーケンスとは別個の１つまたは複数のＳＥＩメッセージの第２のセットを生成させる命令と、前記ＳＥＩメッセージの第２のセットは、前記コード化ビデオピクチャの第２のシーケンスの各々を記述し、前記コード化ビデオピクチャの第２のシーケンスのうちの２つ以上に共通の要素を含み、
前記コード化ビデオピクチャの第２のシーケンスとは別個に前記ＳＥＩメッセージの第２のセットを出力させる命令と、
をさらに備える、［２９］に記載のコンピュータプログラム製品。
［３５］符号化ビデオデータを受信する方法であって、前記方法は、
ビデオファイルのコード化ビデオピクチャのシーケンスを記述する補足エンハンスメント情報（ＳＥＩ）メッセージを受信することと、前記ＳＥＩメッセージは、前記コード化ビデオピクチャのシーケンスの各々を記述し、前記コード化ビデオピクチャのうちの２つ以上に共通の要素を含み、
前記ＳＥＩメッセージとは別個に前記ビデオファイルの前記コード化ビデオピクチャのシーケンスを受信することと、
前記コード化ビデオピクチャのシーケンスが復号された後に、前記ＳＥＩメッセージに基づいて前記コード化ビデオピクチャのシーケンスをレンダリングすることと、を備える方法。
［３６］前記ＳＥＩメッセージについての第１の要求をサブミットすることと、前記ＳＥＩメッセージを受信することは、前記第１の要求に応答して前記ＳＥＩメッセージを受信することを備え、
前記ＳＥＩメッセージを受信した後にのみ、前記コード化ビデオピクチャのシーケンスについての第２の要求をサブミットすることと、前記コード化ビデオピクチャのシーケンスを受信することは、前記第２の要求に応答して前記コード化ビデオピクチャのシーケンスを受信することを備える、
をさらに備える［３５］に記載の方法。
［３７］前記ＳＥＩメッセージはＳＥＩメッセージの第１のセットを備え、前記コード化ビデオピクチャのシーケンスはコード化ビデオピクチャの第１のシーケンスを備え、前記方法は、さらに、
前記コード化ビデオピクチャの第１のシーケンスを受信した後に、ＳＥＩメッセージの第２のセットについての第３の要求をサブミットすることと、
前記第３の要求に応答して前記ＳＥＩメッセージの第２のセットを受信することと、
前記ＳＥＩメッセージの第２のセットによって記述されるコード化ビデオピクチャの第２のシーケンスについての第４の要求をサブミットすることと、
前記ＳＥＩメッセージの第２のセットを受信した後に、前記コード化ビデオピクチャの第２のシーケンスを受信することと、
前記コード化ビデオピクチャの第２のシーケンスが復号された後に、前記ＳＥＩメッセージの第２のセットに基づいて前記コード化ビデオピクチャの第２のシーケンスをレンダリングすることと、
を備える［３６］に記載の方法。
［３８］パラメータセットトラックと、コード化ビデオピクチャを含まないトラックフラグメントと、コード化ビデオデータを含まない第３世代パートナーシッププロジェクト（３ＧＰＰ）フォーマットファイルとのうちの少なくとも１つから、前記ＳＥＩメッセージを抽出することをさらに備える、［３５］に記載の方法。
［３９］前記ＳＥＩメッセージをパースし、復号することをさらに備え、前記ＳＥＩメッセージは、前記コード化ビデオピクチャのシーケンスを備えるアクセスユニットとは別個にコーディングされる、［３５］に記載の方法。
［４０］符号化ビデオデータを受信するための装置であって、前記装置は、
ビデオファイルのコード化ビデオピクチャのシーケンスを記述する補足エンハンスメント情報（ＳＥＩ）メッセージを受信し、前記ＳＥＩメッセージは、前記コード化ビデオピクチャのシーケンスの各々を記述し、前記コード化ビデオピクチャのうちの２つ以上に共通の要素を含み、
前記ＳＥＩメッセージとは別個に前記ビデオファイルの前記コード化ビデオピクチャのシーケンスを受信する
ように構成された制御ユニットと、
前記コード化ビデオピクチャのシーケンスが復号された後に、前記コード化ビデオピクチャのシーケンスをレンダリングするように構成されたビデオ出力と、
を備える装置。
［４１］前記制御ユニットは、前記ＳＥＩメッセージについての第１の要求をサブミットし、前記第１の要求に応答して前記ＳＥＩメッセージを受信し、前記ＳＥＩメッセージを受信した後にのみ前記コード化ビデオピクチャのシーケンスについての第２の要求をサブミットし、前記第２の要求に応答して前記コード化ビデオピクチャのシーケンスを受信するように構成された、［４０］に記載の装置。
［４２］前記ＳＥＩメッセージはＳＥＩメッセージの第１のセットを備え、前記コード化ビデオピクチャのシーケンスはコード化ビデオピクチャの第１のシーケンスを備え、前記制御ユニットは、
前記コード化ビデオピクチャの第１のシーケンスを受信した後にＳＥＩメッセージの第２のセットについての第３の要求をサブミットし、
前記第３の要求に応答して前記ＳＥＩメッセージの第２のセットを受信し、
前記ＳＥＩメッセージの第２のセットによって記述されたコード化ビデオピクチャの第２のシーケンスについての第４の要求をサブミットし、
前記ＳＥＩメッセージの第２のセットを受信した後に前記コード化ビデオピクチャの第２のシーケンスを受信するように構成され、
前記ビデオ出力は、前記コード化ビデオピクチャの第２のシーケンスが復号された後に、前記ＳＥＩメッセージの第２のセットに基づいて前記コード化ビデオピクチャの第２のシーケンスをレンダリングするように構成された、
［４１］に記載の装置。
［４３］前記制御ユニットは、パラメータセットトラックと、コード化ビデオピクチャを含まないトラックフラグメントと、コード化ビデオデータを含まない第３世代パートナーシッププロジェクト（３ＧＰＰ）フォーマットファイルとのうちの少なくとも１つから、前記ＳＥＩメッセージを抽出するように構成された、［４０］に記載の装置。
［４４］前記装置は、
集積回路と、
マイクロプロセッサと、
前記制御ユニットを含むワイヤレス通信デバイスと、
のうちの少なくとも１つを備える、［４０］に記載の装置。
［４５］符号化ビデオデータを受信するための装置であって、前記装置は、
ビデオファイルのコード化ビデオピクチャのシーケンスを記述する補足エンハンスメント情報（ＳＥＩ）メッセージを受信する手段と、前記ＳＥＩメッセージは、前記コード化ビデオピクチャのシーケンスの各々を記述し、前記コード化ビデオピクチャのうちの２つ以上に共通の要素を含み、
前記ＳＥＩメッセージとは別個に前記ビデオファイルの前記コード化ビデオピクチャのシーケンスを受信する手段と、
前記コード化ビデオピクチャのシーケンスが復号された後に、前記ＳＥＩメッセージに基づいて前記コード化ビデオピクチャのシーケンスをレンダリングする手段と、
を備える装置。
［４６］前記ＳＥＩメッセージについての第１の要求をサブミットする手段と、前記ＳＥＩメッセージを受信する手段は、前記第１の要求に応答して前記ＳＥＩメッセージを受信する手段を備え、
前記ＳＥＩメッセージを受信した後にのみ前記コード化ビデオピクチャのシーケンスについての第２の要求をサブミットする手段と、前記コード化ビデオピクチャのシーケンスを受信する手段は、前記第２の要求に応答して前記コード化ビデオピクチャのシーケンスを受信する手段を備える、
をさらに備える、［４５］に記載の装置。
［４７］前記ＳＥＩメッセージはＳＥＩメッセージの第１のセットを備え、前記コード化ビデオピクチャのシーケンスはコード化ビデオピクチャの第１のシーケンスを備え、前記装置は、
前記コード化ビデオピクチャの第１のシーケンスを受信した後に、ＳＥＩメッセージの第２のセットについての第３の要求をサブミットする手段と、
前記第３の要求に応答して前記ＳＥＩメッセージの第２のセットを受信する手段と、
前記ＳＥＩメッセージの第２のセットによって記述されるコード化ビデオピクチャの第２のシーケンスについての第４の要求をサブミットする手段と、
前記ＳＥＩメッセージの第２のセットを受信した後に、前記コード化ビデオピクチャの第２のシーケンスを受信する手段と、
前記コード化ビデオピクチャの第２のシーケンスが復号された後に、前記ＳＥＩメッセージの第２のセットに基づいて前記コード化ビデオピクチャの第２のシーケンスをレンダリングする手段と、
をさらに備える、［４６］に記載の装置。
［４８］パラメータセットトラックと、コード化ビデオピクチャを含まないトラックフラグメントと、コード化ビデオデータを含まない第３世代パートナーシッププロジェクト（３ＧＰＰ）フォーマットファイルとのうちの少なくとも１つから、前記ＳＥＩメッセージを抽出する手段をさらに備える、［４５］に記載の装置。
［４９］実行されたとき、コード化ビデオデータを受信するための装置のプロセッサに、
ビデオファイルのコード化ビデオピクチャのシーケンスを記述する補足エンハンスメント情報（ＳＥＩ）メッセージを受信させる命令と、前記ＳＥＩメッセージは、前記コード化ビデオピクチャのシーケンスの各々を記述し、前記コード化ビデオピクチャのうちの２つ以上に共通の要素を含み、
前記ＳＥＩメッセージとは別個に前記ビデオファイルの前記コード化ビデオピクチャのシーケンスを受信させる命令と、
前記コード化ビデオピクチャのシーケンスが復号された後に、前記ＳＥＩメッセージに基づいて前記コード化ビデオピクチャのシーケンスをレンダリングさせる命令と、
が記憶されたコンピュータ可読記憶媒体を備えるコンピュータプログラム製品。
［５０］前記ＳＥＩメッセージについての第１の要求をサブミットさせる命令と、前記ＳＥＩメッセージを受信させる命令は、前記第１の要求に応答して前記ＳＥＩメッセージを受信させる命令を備え、
前記ＳＥＩメッセージを受信した後にのみ前記コード化ビデオピクチャのシーケンスについての第２の要求をサブミットさせる命令と、前記コード化ビデオピクチャのシーケンスを受信させる命令は、前記第２の要求に応答して前記コード化ビデオピクチャのシーケンスを受信させる命令を備え、
をさらに備える、［４９］に記載のコンピュータプログラム製品。
［５１］前記ＳＥＩメッセージはＳＥＩメッセージの第１のセットを備え、前記コード化ビデオピクチャのシーケンスはコード化ビデオピクチャの第１のシーケンスを備え、
前記コード化ビデオピクチャの第１のシーケンスを受信した後に、ＳＥＩメッセージの第２のセットについての第３の要求をサブミットさせる命令と、
前記第３の要求に応答して前記ＳＥＩメッセージの第２のセットを受信させる命令と、
前記ＳＥＩメッセージの第２のセットによって記述されるコード化ビデオピクチャの第２のシーケンスについての第４の要求をサブミットさせる命令と、
前記ＳＥＩメッセージの第２のセットを受信した後に、前記コード化ビデオピクチャの第２のシーケンスを受信させる命令と、
前記コード化ビデオピクチャの第２のシーケンスが復号された後に、前記ＳＥＩメッセージの第２のセットに基づいて前記コード化ビデオピクチャの第２のシーケンスをレンダリングさせる命令と、
をさらに備える、［５０］に記載のコンピュータプログラム製品。
［５２］パラメータセットトラックと、コード化ビデオピクチャを含まないトラックフラグメントと、コード化ビデオデータを含まない第３世代パートナーシッププロジェクト（３ＧＰＰ）フォーマットファイルとのうちの少なくとも１つから、前記ＳＥＩメッセージを抽出させる命令をさらに備える、［４９］に記載のコンピュータプログラム製品。
【国際調査報告】
2013536623.tif 000010
2013536623.tif 000011
2013536623.tif 000012
2013536623.tif 000013