ビデオデコーダを備えるコンピューティングシステムにおいて、待ち時間の制約を示す1又は複数のシンタックスエレメントを受信し解析するステップと、ビデオシーケンスの複数のフレームの符号化データを受信するステップと、前記ビデオデコーダで、前記複数のフレームのうちの1つを再構成するために、前記符号化データの少なくとも一部を復号化するステップと、前記の再構成されたフレームを出力するステップと、を有する方法。前記待ち時間の制約は、フレーム並べ替え待ち時間の制約であり、前記方法は、前記1又は複数のシンタックスエレメントを解析するステップと、前記1又は複数のシンタックスエレメントに基づき、前記フレーム並べ替え待ち時間の制約を決定するステップと、前記フレーム並べ替え待ち時間の制約を用いて、前記ビデオシーケンスの前記複数のフレームの出力順序の観点から、前記再構成されたフレームの出力準備ができたときを決定するステップと、を更に有する請求項1に記載の方法。前記ビデオシーケンスの前記複数のフレームは、時間的階層構造に従って編成され、異なるシンタックスエレメントは、前記時間的階層構造の異なる時間レイヤについてのフレーム並べ替え待ち時間の異なる制約を示し、前記方法は、前記出力の時間分解能に依存して、前記フレーム並べ替え待ち時間の異なる制約のうちの1つを選択するステップ、を更に有する請求項2に記載の方法。前記待ち時間の制約は、フレーム並べ替え待ち時間の制約であり、前記フレーム並べ替え待ち時間の制約は、前記ビデオシーケンス内の任意のフレームについて許容される並べ替え待ち時間である、請求項1に記載の方法。前記1又は複数のシンタックスエレメント及び前記符号化データは、符号化ビデオビットストリームのシンタックスの一部として伝達され、前記方法は、復号化ピクチャバッファの最大サイズを示すバッファサイズシンタックスエレメント及び並べ替えのためのフレームメモリの最大サイズを示すフレームメモリシンタックスエレメントを受信及び解析するステップであって、前記バッファサイズシンタックスエレメント及び前記フレームメモリシンタックスエレメントは、前記待ち時間の制約を示す前記1又は複数のシンタックスエレメントと異なる、ステップ、を更に有する請求項1に記載の方法。前記1又は複数のシンタックスエレメントは、シーケンスパラメータセット、ピクチャパラメータセット、前記符号化データも含むメディア格納ファイルのシンタックス、前記符号化データも含むメディア送信ストリームのシンタックス、メディア特性交渉プロトコル、前記符号化データと共に多重化されたメディアシステム情報、又は前記符号化データに関連するメディアメタデータの一部として伝達される、請求項1に記載の方法。前記1又は複数のシンタックスエレメントの1つの可能な値は、前記待ち時間の制約が不定である又は既定値を有すると示し、前記1又は複数のシンタックスエレメントの他のの可能な値は、前記待ち時間の制約に値する整数を示し、又は前記1又は複数のシンタックスエレメントの値は、並べ替えのためのフレームメモリの最大サイズに対する前記待ち時間の制約に値する整数を示し、前記並べ替えのためのフレームメモリの最大サイズは、異なるシンタックスエレメントで示される、請求項1に記載の方法。コンピューティングシステムにおいて、ビデオシーケンスの複数のフレーム間のフレーム間依存性と一致する待ち時間の制約を示す1又は複数のシンタックスエレメントを設定するステップと、前記1又は複数のシンタックスエレメントを出力するステップであって、それにより、前記複数のフレームの出力順序の観点から、再構成フレームの出力準備ができたときの決定を実現する、ステップと、を有する方法。前記待ち時間の制約は、フレーム並べ替え待ち時間の制約であり、前記コンピューティングシステムはビデオエンコーダを備え、前記方法は、ビデオシーケンスの複数のフレームを受信するステップと、前記ビデオエンコーダで、符号化データを生成するために前記複数のフレームを符号化するステップであって、前記符号化するステップは、前記フレーム並べ替え待ち時間の制約と一致する前記フレーム間依存性を用いる、ステップと、格納又は送信のために前記符号化データを出力するステップと、を更に有する請求項8に記載の方法。プロセッサとメモリと記憶装置とを有するコンピューティングシステムであって、前記コンピューティングシステムは、フレーム並べ替え待ち時間の制約を示す1又は複数のシンタックスエレメントを受信し解析するステップと、前記1又は複数のシンタックスエレメントに基づき前記フレーム並べ替え待ち時間の制約を決定するステップであって、前記フレーム並べ替え待ち時間の制約は、出力順序で所与のフレームに先行でき符号化順序で該所与のフレームの後に続くことができるフレームの最大数の観点で表される、ステップと、ビデオシーケンスの複数のフレームの符号化データを受信するステップと、ビデオデコーダで、前記複数のフレームのうちの1つを再構成するために、前記符号化データの少なくとも一部を復号化するステップと、前記の再構成されたフレームを出力するステップであって、前記ビデオシーケンスの前記複数のフレームの出力順序の観点から、前記再構成されたフレームの出力準備ができたときを決定するために前記フレーム並べ替え待ち時間の制約を用いるステップを含む、ステップと、を有する方法を実行するようにされたコンピューティングシステム。纏めると、ビデオ符号化及び復号化において待ち時間を減少させる技術及びツールを提示する。この技術及びツールは、待ち時間を低減し、リアルタイム通信における反応を向上する。例えば、技術及びツールは、ビデオフレームの並べ替えに起因する待ち時間を制限することにより、及びビデオフレームの符号化データに伴う1又は複数のシンタックスエレメントでフレーム並べ替え待ち時間の制約を示すことにより、全体の待ち時間を低減する。本願明細書に記載の技術及びツールの一態様によると、ビデオエンコーダのようなツール、ビデオエンコーダを有するリアルタイム通信ツール、又は他のツールは、待ち時間の制約例えば、ビデオシーケンスの複数のフレーム間のフレーム間依存性と一致するフレーム並べ替え待ち時間の制約を示す1又は複数のシンタックスエレメントを設定する。ツールは、シンタックスエレメントを出力し、それにより、フレームの出力順序の観点から、再構成フレームが出力準備ができたときの決定をより簡単且つ迅速に実現する。本願明細書に記載の技術及びツールの別の態様によると、ビデオデコーダのようなツール、ビデオデコーダを有するリアルタイム通信ツール、又は他のツールは、待ち時間の制約例えば、フレーム並べ替え待ち時間の制約を示す1又は複数のシンタックスエレメントを受信し解析する。ツールは、ビデオシーケンスの複数のフレームの符号化データも受信する。符号化データの少なくとも一部は、フレームのうちの1つを再構成するために復号化される。ツールは、シンタックスエレメントに基づき制約を決定でき、次に待ち時間の制約を用いて、出力順序の観点から再構成フレームの出力準備ができたときを決定できる。ツールは、再構成フレームを出力する。本発明の前述の及び他の目的、特徴及び利点は、添付の図面を参照して進められる以下の詳細な説明から一層明らかになるだろう。詳細な説明は、ビデオ符号化及び復号化において待ち時間を減少させる技術及びツールを提示する。この技術及びツールは、待ち時間を減少するのを助け、リアルタイム通信における反応を向上する。ビデオ符号化/復号化シナリオでは、入力ビデオフレームが受信されたときとフレームが再生されるときとの間の特定の遅延は避けられない。フレームは、エンコーダにより符号化され、デコーダへ配信され、デコーダにより復号化される。そして、特定量の待ち時間が、符号化リソース、復号化リソース及び/又はネットワーク帯域についての実際的制限により引き起こされる。しかしながら、他の待ち時間は回避できる。例えば、待ち時間は、レート歪み性能を向上するために例えばシーケンスの遙か前方にあるピクチャからのフレーム間依存性を利用するために、エンコーダ及びデコーダにより導入される可能性がある。このような待ち時間は、レート歪み性能、プロセッサ稼働率又は再生の滑らかさの点で不利益があるかも知れないが、低減できる。ここに記載される技術及びツールにより、待ち時間を抑制することによりしたがって、フレーム間依存性の時間範囲を制限することにより及び待ち時間の制約をデコーダに示すことにより、待ち時間は減少される。例えば、待ち時間の制約は、フレーム並べ替え待ち時間の制約である。代替で、待ち時間の制約は、秒、ミリ秒、又は別の時間量の観点からの制約である。次に、デコーダは、待ち時間の制約を決定し、どのフレームが出力する準備ができているかを決定するときに該制約を使用できる。このように、遅延は、遠隔デスクトップ会議、ビデオ電話、監視ビデオ、ウェブカメラビデオ及び他のリアルタイム通信アプリケーションの場合に減少できる。ここに記載する幾つかの技術革新は、H.264及び/又はHEVC規格に特有のシンタックスエレメント及び動作を参照して説明される。これらの技術革新は、他の規格又はフォーマットでも実施できる。より一般的には、本願明細書に記載する例に対して種々の代替が可能である。フローチャート図を参照して説明する特定の技術は、フローチャートに示す段階の順序を変更することにより、特定の段階を分割し、繰り返し、又は省略する等により変更できる。ビデオ符号化及び復号化の待ち時間を減少する種々の態様は、組みあわせて又は別個に用いることができる。異なる実施形態は、1又は複数の記載の技術及びツールを用いる。ここに記載する技術及びツールの幾つかは、背景で述べた1又は複数の問題を解決する。通常、所与の技術/ツールは、これらの全ての問題を解決しない。<I.例示的なコンピューティングシステム>図1は、幾つかの記載の技術及びツールが実施され得る適切なコンピューティングシステム100の汎用的な例を示す。技術及びツールは多様な汎用又は特定目的コンピューティングシステムで実施できるので、コンピューティングシステム100は使用又は機能の範囲に関する如何なる限定も示唆しない。図1を参照すると、コンピューティングシステム100は、1又は複数の処理ユニット110、115及びメモリ120、125を有する。図1では、この最も基本的な構成130は破線で囲まれる。処理ユニット110、115は、コンピュータ実行可能命令を実行する。処理ユニットは、汎用中央演算処理装置CPU、ASICapplicationspecificintegratedcircuitのプロセッサ又は任意の他の種類のプロセッサであり得る。マルチプロセッシングシステムでは、処理能力を増大するために複数の処理ユニットがコンピュータ実行可能命令を実行する。例えば、図1は、中央処理ユニット110と共にグラフィック処理ユニット又はコプロセッシングユニット115も示す。有形メモリ120、125は、処理ユニットによりアクセス可能な、揮発性メモリ例えば、レジスタ、キャッシュ、RAM、不揮発性メモリ例えば、ROM、EEPROM、フラッシュメモリ等、又は2つの組みあわせであっても良い。メモリ120、125は、処理ユニットによる実行に適するコンピュータ実行可能命令の形式で、ビデオ符号化及び復号化の待ち時間を減少する1又は複数の技術革新を実施するソフトウェア180を格納する。コンピュータシステムは、追加機能を有しても良い。例えば、コンピューティングシステム100は、記憶装置140、1又は複数の入力装置150、1又は複数の出力装置160、1又は複数の通信接続170を有する。バス、制御部又はネットワークのような相互接続メカニズム図示しないは、コンピューティングシステム100のコンポーネントを相互接続する。通常、オペレーティングシステムソフトウェア図示しないは、コンピューティングシステム100において実行する他のソフトウェアのために動作環境を提供し、コンピューティングシステム100のコンポーネントの活動を調整する。有形記憶装置140は、取り外し可能又は取り外し不可能であっても良く、磁気ディスク、磁気テープ若しくはカセット、CD-ROM、DVD、又は非一時的方法で情報を格納するために使用可能な且つコンピューティングシステム100内でアクセス可能な任意の他の媒体を含む。記憶装置140は、ビデオ符号化及び復号化の待ち時間を減少する1又は複数の技術革新を実施するソフトウェア180のための命令を格納する。入力装置150は、キーボード、マウス、ペン又はトラックボールのようなタッチ入力装置、音声入力装置、スキャン装置、又はコンピューティングシステム100に入力を供給する別の装置であっても良い。ビデオ符号化では、入力装置150は、カメラ、ビデオカード、TVチューナカード、又はアナログ若しくはデジタル形式でビデオ入力を受け付ける同様の装置、又はビデオサンプルをコンピューティングシステム100に読み込むCD-ROM若しくはCD-RWであっても良い。出力装置160は、ディスプレイ、プリンタ、スピーカ、CDライタ、又はコンピューティングシステム100から出力を供給する別の装置であっても良い。通信接続170は、通信媒体を介して他のコンピューティングエンティティとの通信を可能にする。通信媒体は、コンピュータ実行可能命令、オーディオ又はビデオ入力又は出力、又は変調データ信号内の他のデータのような情報を伝達する。変調データ信号は、1又は複数の特性セットを有する信号であるか、又は信号内の情報をエンコードするために変更されても良い。例として、限定ではなく、通信媒体は、電気的、光学的、RF又は他のキャリアを使用できる。技術及びツールは、コンピュータ可読媒体の一般的概念で記載され得る。コンピュータ可読媒体は、コンピューティング環境内でアクセス可能な任意の利用可能な有形媒体である。例として、限定ではなく、コンピューティングシステム100と共に、コンピュータ可読媒体は、メモリ120、125、記憶装置140及びそれらの任意の組みあわせを有する。技術及びツールは、対象の実際の又は仮想のプロセッサ上のコンピューティングシステムで実行される、プログラムモジュールに含まれるようなコンピュータ実行可能命令の一般的概念で記載され得る。概して、プログラムモジュールは、特定のタスクを実行し又は特定の抽象データ型を実装する、ルーチン、プログラム、ライブラリ、オブジェクト、クラス、コンポーネント、データ構造、等を含む。プログラムモジュールの機能は、種々の実施形態で必要に応じて結合され又はプログラムモジュール間で分割されても良い。プログラムモジュールのためのコンピュータ実行可能命令は、ローカル又は分散型コンピューティングシステム内で実行されても良い。用語システム及び装置は本願明細書では同義的に用いられる。文脈上特に断らない限り、いずれの用語も、コンピューティングシステム又はコンピューティング装置の種類に関して如何なる限定も示唆しない。概して、コンピューティングシステム又はコンピューティング装置は、ローカル又は分散型であり、特定目的ハードウェア及び/又は汎用ハードウェアと本願明細書に記載の機能を実施するソフトウェアとの任意の組合せを含み得る。提示のために、詳細な説明は、コンピューティングシステム内のコンピュータ動作を記載するために決定する及び使用するのような用語を用いる。これらの用語は、コンピュータにより実行される動作の高レベルの抽象化であり、人間により行われる動作と混同されるべきではない。これらの用語に対応する実際のコンピュータ動作は、実装に依存して変化する。<II.例示的なネットワーク環境>図2A及び2Bは、ビデオエンコーダ220及びビデオデコーダ270を有する例示的なネットワーク環境201、202を示す。エンコーダ220及びデコーダ270は、適切な通信プロトコルを用いて、ネットワーク250を介して接続される。ネットワーク250は、インターネット又は他のコンピュータネットワークを含み得る。図2Aに示すネットワーク環境201では、各リアルタイム通信RTCツール210は、双方向通信のためにエンコーダ220及びデコーダ270の両方を含む。所与のエンコーダ220は、エンコーダ220からの符号化データを受け付ける対応するデコーダ270と共に、SMPTE421M規格、ISO-IEC14496-10規格H.264又はAVCとしても知られる、HEVC規格、別の規格、又は独自フォーマットに従う出力を生成できる。双方向通信は、ビデオ会議、ビデオ電話、又は他の2者間通信シナリオの一部であり得る。ず2Aのネットワーク環境201は2つのリアルタイム通信ツール210を有するが、代わりに、ネットワーク環境201は、多者通信に参加する3以上のリアルタイム通信ツール210を有することも可能である。リアルタイム通信ツール210は、エンコーダ220による符号化を管理する。図3は、リアルタイム通信ツール210に含まれ得る例示的なエンコーダシステム300を示す。代替で、リアルタイム通信ツール210は、別のエンコーダシステムを用いる。リアルタイム通信ツール210は、デコーダ270による復号化も管理する。図4は、リアルタイム通信ツール210に含まれ得る例示的なデコーダシステム400を示す。代替で、リアルタイム通信ツール210は、別のデコーダシステムを用いる。図2Bに示すネットワーク環境202では、符号化ツール212は、デコーダ270を含む複数の再生ツール214に配信するためにビデオを符号化するエンコーダ220を有する。一方向通信は、ビデオ監視システム、ウェブカメラ監視システム、遠隔デスクトップ会議プレゼンテーション、又はビデオが符号化されある場所から1又は複数の他の場所へ送信される他のシナリオのために提供され得る。図2Bのネットワーク環境202は2つの再生ツール214を有するが、ネットワーク環境202は、より多くの又はより少ない再生ツール214を有することも可能である。概して、再生ツール214は、符号化ツール212と通信し、受信すべき再生ツール214のビデオストリームを決定する。再生ツール214は、このストリームを受信し、受信符号化データを適切な期間の間バッファリングし、復号化及び再生を始める。図3は、符号化ツール212に含まれ得る例示的なエンコーダシステム300を示す。代替で、符号化ツール212は、別のエンコーダシステムを用いる。符号化ツール212は、1又は複数の再生ツール214との接続を管理するサーバ側制御ロジックも有し得る。図4は、再生ツール214に含まれ得る例示的なデコーダシステム400を示す。代替で、再生ツール214は、別のデコーダシステムを用いる。再生ツール214は、符号化ツール212との接続を管理するクライアント側制御ロジックも有し得る。幾つかの場合には、待ち時間例えば、フレーム並べ替え待ち時間を示すためのシンタックスエレメントの使用は、特定の規格又はフォーマットに固有である。例えば、符号化データは、規格又はフォーマットに従って定められる基本符号化ビデオビットストリームのシンタックスの一部として、又は符号化データに関連する定められたメディアメタデータとして、待ち時間の制約を示す1又は複数のシンタックスエレメントを含み得る。このような場合には、リアルタイム通信ツール210、符号化ツール212及び/又は待ち時間の減少した再生ツール214は、コーデックに依存する。ここで、これらのツールが行う決定は、特定の規格又はフォーマットのビットストリームシンタックスに依存し得る。他の場合には、待ち時間例えば、フレーム並べ替え待ち時間の制約を示すためのシンタックスエレメントの使用は、特定の規格又はフォーマットの範囲外である。例えば、待ち時間の制約を示すシンタックスエレメントは、メディア送信ストリームのシンタックス、メディア記憶ファイル、又はより一般的にはメディアシステム多重プロトコル若しくは転送プロトコルの一部として伝達され得る。或いは、待ち時間を示すシンタックスエレメントは、メディア特性交渉プロトコルに従って、リアルタイム通信ツール210、符号化ツール212及び/又は再生ツール214の間で交渉され得る。このような場合には、リアルタイム通信ツール210、符号化ツール212及び/又は待ち時間の減少した再生ツール214は、コーデックに依存しない。ここで、これらのツールは、符号化中に設定されたフレーム間依存性に対する制御レベルを条件に、任意の利用可能なビデオエンコーダ及びデコーダと共に動作し得る。<III.例示的なエンコーダシステム>図3は、幾つかの記載の実施形態が実装され得る関連する例示的なエンコーダシステム300の図である。エンコーダシステム300は、リアルタイム通信のための短待ち時間符号化モード、トランスコーディングモード、及びファイル若しくはストリームからのメディア再生のための通常符号化モードのような複数の符号化モードのうちの任意のモードで動作可能な汎用符号化ツールであり得る。或いは、エンコーダシステム300は、前述の符号化モードのうちの1つに適応される特定目的符号化ツールであり得る。エンコーダシステム300は、オペレーティングシステムモジュールとして、アプリケーションライブラリの一部として、又は独立型アプリケーションとして実装できる。概して、エンコーダシステム300は、ビデオソース310からソースビデオフレームシーケンス311を受信し、チャネル390への出力として符号化データを生成する。チャネルへ出力される符号化データは、待ち時間の減少した復号化を実現するために、待ち時間例えば、フレーム並べ替え待ち時間についての制約を示す1又は複数のシンタックスエレメントを含み得る。ビデオソース310は、カメラ、チューナカード、記憶媒体、又は他のデジタルビデオソースであり得る。ビデオソース310は、例えば30フレーム毎秒のフレームレートでビデオフレームシーケンスを生成する。本願明細書で用いられるように、用語フレームは、概して、ソース、符号化又は再構成画像データを表す。プログレッシブビデオでは、フレームはプログレッシブビデオフレームである。例示的な実施形態では、インタレースビデオでは、インタレースビデオフレームは符号化の前にデインタレースされる。代替で、2つの相補的インタレースビデオフィールドは、インタレースビデオフレーム又は別個のフィールドとして符号化される。プログレッシブビデオフレームを示すこととは別に、用語フレームは、単一のペアリングされていないビデオフィールド、ビデオフィールドの相補的ペア、所与の時間のビデオオブジェクトを表すビデオブジェクトプレーン、又は大きな画像内の関心領域を示し得る。ビデオオブジェクトプレーン又は領域は、シーンの複数のオブジェクト又は領域を含む大きな画像の一部であり得る。到来するソースフレーム311は、複数のフレームバッファ記憶領域321、322、...、32nを含むソースフレーム一時記憶記憶領域320に格納される。フレームバッファ321、322、等は、ソースフレーム記憶領域320に1つのソースフレームを保持する。1又は複数のソースフレーム311がフレームバッファ321、322、等に格納された後、フレームセレクタ330は、ソースフレーム記憶領域320から個々のソースフレームを周期的に選択する。エンコーダ340への入力のためにフレームがフレームセレクタ330により選択される順序は、フレームがビデオソース310により生成される順序と異なっても良い。例えば、フレームは、時間的後方予測を実現するために順序の前の方にあっても良い。エンコーダ340の前に、エンコーダシステム300は、選択されたフレーム331を符号化する前に前処理例えば、フィルタリングを実行するプリプロセッサ図示しないを有し得る。エンコーダ340は、選択されたフレーム331を符号化し、符号化フレーム341を生成し、メモリ管理制御信号342も生成する。現在フレームが符号化された最初のフレームではない場合、符号化処理を実行するとき、エンコーダ340は、復号化フレーム一時記憶記憶領域360に格納されている1又は複数の前に符号化/復号化したフレーム369を用いても良い。このような格納された復号化フレーム369は、現在ソースフレーム331のコンテンツのインターフレーム予測のための参照フレームとして用いられる。概して、エンコーダ340は、動き推定及び補償、周波数変換、量子化及びエントロピ符号化のような符号化タスクを実行する複数の符号化モジュールを有する。エンコーダ340により実行される正確な動作は、圧縮フォーマットに依存して変化し得る。出力符号化データのフォーマットは、WindowsMediaVideoフォーマット、VC-1フォーマット、MPEG-xフォーマット例えば、MPEG1、MPEG2又はMPEG4、H.26xフォーマット例えば、H261、H262、H263、H264、HEVCフォーマット又は他のフォーマットであり得る。符号化フレーム341及びメモリ管理制御信号342は、復号化処理エミュレータ350により処理される。復号化処理エミュレータ350は、デコーダの機能の一部、例えば、動き推定及び補償でエンコーダ340により用いられる参照フレームを再構成するための復号化タスクを実施する。復号化処理エミュレータ350は、メモリ管理制御信号342を用いて、所与の符号化フレーム341が、符号化されるべき後続フレームのインターフレーム予測で参照フレームとして用いるために、再構成され及び格納される必要があるか否かを決定する。制御信号342が符号化フレーム341は格納される必要があると示す場合、復号化処理エミュレータ350は、符号化フレーム8341を受信し対応する復号化フレーム351を生成するデコーダにより行われる復号化処理をモデル化する。こうするとき、エンコーダ340が復号化フレーム記憶領域360に格納された復号化フレーム369を用いているとき、復号化処理エミュレータ350も、復号化処理の一部として記憶領域360からの復号化フレーム369を用いる。復号化フレーム一時記憶記憶領域360は、複数のフレームバッファ記憶領域361、362、...、36nを有する。復号化処理エミュレータ350が、参照フレームとしての使用のためにエンコーダ340によりもはや必要とされないフレームを有するフレームバッファ361、362、...、36nを識別するために、メモリ管理制御信号342を用いて、記憶領域360のコンテンツを管理する。復号化処理をモデル化した後に、復号化処理エミュレータ350は、この方法で識別されたフレームバッファ361、362等に新たな復号化フレーム351を格納する。符号化フレーム341及びメモリ管理制御信号342も、一時符号化データ領域370にバッファリングされる。符号化データ領域370に集められた符号化データは、基本符号化ビデオビットストリームのシンタックスの一部として、待ち時間の制約を示す1又は複数のシンタックスエレメントを有し得る。或いは、符号化データ領域370に集められた符号化データは、符号化ビデオデータに関連するメディアメタデータの一部として例えば、1又は複数の相補的拡張情報supplementalenhancementinformation:SEIメッセージ又はビデオ使用性情報videousabilityinformation:VUIメッセージ内の1又は複数のパラメータとして、待ち時間の制約を示すシンタックスエレメントを有し得る。一時符号化データ領域370から集められたデータ371は、チャネルエンコーダ380により処理される。チャネルエンコーダ380は、メディアストリームとして送信するために集められたデータをパケット化し得る。この場合、チャネルエンコーダ380は、メディア送信ストリームのシンタックスの一部として、待ち時間の制約を示すシンタックスエレメントを追加できる。或いは、チャネルエンコーダ380は、ファイルとして格納するために集められたデータを編成し得る。この場合、チャネルエンコーダ380は、メディア格納ファイルのシンタックスの一部として、待ち時間の制約を示すシンタックスエレメントを追加できる。或いは、更に一般的には、チャネルエンコーダ380は、1又は複数のメディアシステム多重化プロトコル又は転送プロトコルを実装できる。この場合、チャネルエンコーダ380は、プロトコルのシンタックスの一部として、待ち時間の制約を示すシンタックスエレメントを追加できる。チャネルエンコーダ380は、格納、通信接続又は出力のための別のチャネルを表すチャネル390に出力を提供する。<IV.例示的なデコーダシステム>図4は、幾つかの記載の実施形態が実装され得る関連する例示的なデコーダシステム400の図である。デコーダシステム400は、リアルタイム通信のための短待ち時間復号化モード、及びファイル若しくはストリームからのメディア再生のための通常復号化モードのような複数の復号化モードのうちの任意のモードで動作可能な汎用復号化ツールであり得る。或いは、デコーダシステム400は、前述の復号化モードのうちの1つに適応される特定目的復号化ツールであり得る。デコーダシステム400は、オペレーティングシステムモジュールとして、アプリケーションライブラリの一部として、又は独立型アプリケーションとして実装できる。概して、デコーダシステム400は、符号化データをチャネル410から受信し、出力先490への出力として再構成フレームを生成する。符号化データは、待ち時間の減少した復号化を実現するために、待ち時間例えば、フレーム並べ替え待ち時間についての制約を示す1又は複数のシンタックスエレメントを含み得る。デコーダシステム400は、格納、通信接続又は符号化データのための別のチャネルを表すチャネル410を入力として有する。チャネル410は、チャネル符号化された符号化データを生成する。チャネルデコーダ420は、符号化データを処理できる。例えば、チャネルデコーダ420は、メディアストリームとして送信するために集められたデータをデパケット化し得る。この場合、チャネルデコーダ420は、メディア送信ストリームのシンタックスの一部として、待ち時間の制約を示すシンタックスエレメントを解析パース、parseできる。或いは、チャネルデコーダ420は、ファイルとして格納するために集められた符号化ビデオデータを分離する。この場合、チャネルデコーダ420は、メディア格納ファイルのシンタックスの一部として、待ち時間の制約を示すシンタックスエレメントを解析パース、parseできる。或いは、更に一般的には、チャネルデコーダ420は、1又は複数のメディアシステム逆多重化プロトコル又は転送プロトコルを実装できる。この場合、チャネルデコーダ420は、プロトコルのシンタックスの一部として、待ち時間の制約を示すシンタックスエレメントを解析できる。チャネルデコーダ420から出力される符号化データ421は、十分な量のデータが受信されるまで、一時符号化データ領域430に格納される。符号化データ421は、符号化フレーム431及びメモリ管理制御信号432を有する。符号化データ領域430内の符号化データ421は、基本符号化ビデオビットストリームのシンタックスの一部として、待ち時間の制約を示す1又は複数のシンタックスエレメントを有し得る。或いは、符号化データ領域430内の符号化データ421は、符号化ビデオデータに関連するメディアメタデータの一部として例えば、1又は複数のSEIメッセージ又はVUIメッセージ内の1又は複数のパラメータとして、待ち時間の制約を示すシンタックスエレメントを有し得る。概して、符号化データ領域430は、符号化データ421がデコーダ450により使用されるまで、符号化データ421を一時的に格納する。この点で、符号化フレーム431及びメモリ管理制御信号432の符号化データは、符号化データ領域430からデコーダ450へ送られる。復号化が続くにつれ、新しい符号化データが符号化データ領域430に追加され、符号化データ領域430に残っている古い符号化データはデコーダ450へ送られる。デコーダ450は、符号化フレーム431を周期的に復号化して対応する復号化フレーム451を生成する。適切な場合、復号化処理を実行するとき、デコーダ450は、1又は複数の以前復号化フレーム469をインターフレーム予測の参照フレームとして用いても良い。デコーダ450は、このような以前復号化フレーム469を復号化フレーム一時記憶記憶領域460から読み出す。概して、デコーダ450は、エントロピ復号化、逆量子化、逆周波数変換、及び動き補償のような復号化タスクを実行する複数の復号化モジュールを有する。デコーダ450により実行される正確な動作は、圧縮フォーマットに依存して変化し得る。復号化フレーム一時記憶記憶領域460は、複数のフレームバッファ記憶領域461、462、...、46nを有する。復号化フレーム記憶領域460は、復号化ピクチャバッファの一例である。デコーダ450は、メモリ管理制御信号432を用いて、復号化フレーム451を格納できるフレームバッファ461、462等を識別する。デコーダ450は、そのフレームバッファに復号化フレーム451を格納する。出力シーケンサ480は、メモリ管理制御信号432を用いて、出力順序で生成されるべき次のフレームが復号化フレーム記憶領域460内で利用できるときを識別する。符号化-復号化システムの待ち時間を低減するために、出力シーケンサ480は、待ち時間の制約を示すシンタックスエレメントを用いて、出力順序で生成されるべきフレームの識別を迅速に処理する。出力順序で生成されるべき次のフレーム481が復号化フレーム記憶領域460内で利用可能なとき、該フレームは、出力シーケンサ480により読み出され、出力先490例えば、ディスプレイに出力される。概して、フレームが復号化フレーム記憶領域460から出力シーケンサ480により出力される順序は、フレームがデコーダ450により復号化される順序と異なっても良い。<V.待ち時間の低減した符号化及び復号化を実現するシンタックスエレメント>大部分のビデオコーデックシステムでは、符号化順序復号化順序又はビットストリーム順序とも称されるは、ビデオフレームがビットストリーム内の復号化データ内に現れる、したがって復号化中に処理される順序である。符号化順序は、符号化前にフレームがカメラによりキャプチャされる順序と異なっても良く、復号化フレームが復号化後に表示、格納又はその他の場合には出力される順序出力順序又は表示順序と異なっても良い。出力順序に対するフレームの並べ替えは、主に圧縮性能の観点で有利であるが、符号化及び復号化処理のエンドエンド間の待ち時間を増大してしまう。本願明細書に記載の技術及びツールは、ビデオフレームの並べ替えに起因する待ち時間を低減し、また、並べ替え待ち時間の制約に関する情報をデコーダシステムに提供することにより、デコーダシステムによる待ち時間の低減も実現する。このような待ち時間の低減は、多くの目的で有用である。例えば、待ち時間の低減は、ビデオ会議システムを用いた双方向ビデオ通信で生じるタイムラグを低減するために用いることができ、遠隔にいる参加者間の会話の流れ及び通信の双方向性がより素早く且つ自然になる。A.出力タイミング及び出力順序のためのアプローチH.264規格によると、デコーダは、復号化フレームの出力準備ができたときを決定するために2つのアプローチを用いることができる。デコーダは、例えば、ピクチャタイミングSEIメッセージ内で伝達されるとき復号化タイムスタンプ及び出力タイムスタンプの形式のタイミング情報を用いることができる。或いは、デコーダは、復号化フレームが出力準備ができたときを決定するために種々のシンタックスエレメントで伝達されるバッファリング性能限界を用いることができる。タイミング情報は、各復号化フレームに関連付けることができる。デコーダは、復号化フレームが出力できるときを決定するためにタイミング情報を用いることができる。しかしながら、実際には、このようなタイミング情報は、デコーダには利用可能でないかも知れない。さらに、タイミング情報が利用可能なときでも、幾つかのデコーダは、デコーダがタイミング情報が利用可能か否かに拘わらず動作するよう設計されているために実際にはこの情報を用いない。バッファリング性能限界は、シンタックスエレメントmaxdecframebuffering、シンタックスエレメントnumreorderframes、相対順序情報ピクチャ順番pictureordercountと称される及びビットストリーム内で伝達される他のメモリ管理制御情報を含む、H.264規格及びHEVC規格のドラフトバージョンに従う幾つかのシンタックスエレメントで示される。シンタックスエレメントmaxdecframebuffering又はMaxDpbFramesとして指定される導出された変数は、フレームバッファのユニット内の復号化ピクチャバッファdecodedpicturebuffer:DPBの所要サイズを指定する。したがって、シンタックスエレメントmaxdecframebufferingは、符号化ビデオシーケンスに用いられるトップレベルのメモリ容量を表し、デコーダに正しい順序でピクチャを出力させる。シンタックスエレメントnumreorderframes又はmaxnumreorderframesは、符号化順序で任意のフレーム又は相補的フィールドペア、又は非ペアフィールドに先行する及び出力順序で後続するフレーム又は相補的フィールドペア、又は非ペアフィールドの最大数を示す。言い換えると、numreorderframesは、ピクチャ並べ替えに必要なメモリ容量についての制約を指定する。シンタックスエレメントmaxnumrefframesは、シーケンス内の任意のピクチャのインター予測のために復号化処理により用いられ得る短期及び長期参照フレーム又は相補的参照フィールドペア、又は非ペア参照フィールドの最大数を指定する。シンタックスエレメントmaxnumrefframesは、復号化参照ピクチャのマーク付けのためにスライディングウインドウの大きさも決定する。numreorderframesと同様に、maxnumrefframesは必要メモリ容量についての制約を指定する。デコーダは、maxdecframebuffering又はMaxDpbFrames及びnumreorderframesシンタックスエレメントを用いて、バッファリング性能限界を超えたときを決定する。これは、例えば、新しい復号化フレームがDPBに格納する必要があるが、DPB内に利用可能な残り領域がないときに生じる。この状況では、デコーダは、ピクチャ順番情報を用いて、復号化されたピクチャの中からどれが出力順序で最も早いかを識別する。次に、出力順序で最も早いピクチャが出力される。このような処理は、格納する必要のある新しいピクチャの到着によりピクチャがDPBの外にはじき出されるので、バンピングと呼ばれることが多い。デコーダは、maxdecframebuffering又はMaxDpbFrames及びnumreorderframesシンタックスエレメントで示される情報は、デコーダで必要なメモリ容量を決定するのに十分である。しかしながら、ピクチャを出力するためのバンピング処理を制御するために用いられるとき、このような情報の使用は、望ましくない待ち時間を導入し得る。H.264規格で定められるように、maxdecframebuffering及びnumreorderframesシンタックスエレメントは、任意の特定のピクチャに適用され得る並べ替えの量についての限界を定めず、したがってエンドエンド間待ち時間についての限界を定めない。これらのシンタックスエレメントの値に関係なく、特定のピクチャは出力前の任意の長い時間の間、DPB内に保持され得る。この長い時間は、エンコーダによるソースピクチャの事前バッファリングにより追加される実質的待ち時間に対応する。B.フレーム並べ替え待ち時間の制約を示すシンタックスエレメント本願明細書に記載の技術及びツールは、ビデオ通信システムにおける待ち時間を低減する。符号化ツール、リアルタイム通信ツール又は他のツールは、符号化ビデオシーケンス内の任意のフレームに適用できる並べ替え範囲についての限界を設定する。例えば、この限界は、出力順序において符号化ビデオシーケンス内の任意の所与のフレームに先行できるフレーム及び符号化順序において後続できるフレームの数として表される。この限界は、シーケンス内の任意の特定のフレームについて許容される並べ替え待ち時間を制限する。言い方を変えると、この限界は、任意の特定のフレームに適用できる符号化順序と出力順序との間の並べ替えの時間範囲をフレームの観点で制限する。並べ替え順序の制限は、エンドエンド間遅延を低減するのに役立つ。また、このような限界の設定は、待ち時間の低減が重要な使用シナリオのためのリアルタイムシステムの交渉プロトコル又はアプリケーション仕様で有用であり得る。1又は複数のシンタックスエレメントは、フレーム並べ替え待ち時間についての制約を示す。フレーム並べ替え待ち時間についての制約を伝達することは、双方向リアルタイム通信又は他の使用シナリオでのシステムレベルの交渉を可能にする。これは、フレーム並べ替え待ち時間についての制約を直接表しメディアストリーム又はセッションの特性を特徴付ける方法を提供する。ビデオデコーダは、復号化ビデオフレームの出力の待ち時間を低減させるために、フレーム並べ替え待ち時間についての示された制約を用いることができる。特に、フレームバンピング処理と比べて、フレーム並べ替え待ち時間についての制約を伝達することは、デコーダが、出力準備のできているDPB内のフレームをより簡単に且つ素早く識別することを可能にする。例えば、デコーダは、フレームの符号化順序と出力順序との間の差を計算することにより、DPB内のフレームの待ち時間状態を決定できる。フレームの待ち時間状態をフレーム並べ替え待ち時間についての制約と比較することにより、デコーダは、フレーム並べ替え待ち時間についての制約に達したときを決定できる。デコーダは、この限界に達したフレームを直ちに出力できる。これは、種々のシンタックスエレメント及び追跡構造を用いるバンピング処理と比べて、デコーダが出力準備のできているフレームをより迅速に識別するのを助ける。このように、デコーダは、復号化フレームが出力できるときを迅速に且つ早く決定できる。フレームが出力できるときをデコーダがより迅速に及び早く識別できるほど、デコーダは、ディスプレイ又は後続の処理段階により迅速に及び早くビデオを出力できる。したがって、フレーム並べ替え待ち時間についての制約を用いて、デコーダは、復号化フレーム記憶領域が一杯になる前に、復号化フレーム記憶領域からフレームを出力し始めることができるが、依然として適合した復号化を提供できるつまり、フレームが別の従来の方式を用いて復号化されたフレームとビットレベルで正確に一致するように、全てのフレームを復号化する。これは、待ち時間シンタックスエレメントにより示されるフレーム遅延が復号化フレーム記憶領域のフレーム単位のサイズより遙かに小さいとき、遅延を有意に低減する。図5A-5Eは、異なるフレーム間依存性を有するフレームのシリーズ501-505を示す。シリーズは、1ピクチャ並べ替えに必要なメモリ容量についての制約つまり、例えばシンタックスエレメントnumreorderframesで示されるような、並べ替えの目的で参照フレームを格納するために用いられるフレームバッファの数、及び2例えば、変数MaxLatencyFramesにより指定されるようなフレーム並べ替え待ち時間についての制約、の異なる値により特徴付けられる。図5A-5Eでは、所与のフレームFjkについて、下付文字jは出力順序内のフレームの位置を示し、上付文字kは符号化順序内のフレームの位置を示す。フレームは、出力順序で示され、出力順序では下付文字の値は左から右へ増大する。矢印は、動き補償のためのフレーム間依存性を示す。これにより、符号化順序において先行するフレームは、符号化順序において後続のフレームの予測に用いられる。簡単のため、図5A-5Eは、参照フレームが変わり得るマクロブロック、ブロック等のレベルではなくフレームレベルでのフレーム間依存性を示す。図5A-5Eは、所与のフレームのための参照フレームとして最大2フレームを示す。実際には、幾つかの実装では、所与のフレーム内の異なるマクロブロック、ブロック等が、異なる参照フレームを用いることができ、2以上の参照フレームを所与のフレームのために用いることができる。図5Aでは、シリーズ501は9個のフレームを有する。出力順序における最後のフレームF81は、最初のフレームF00を参照フレームとして用いる。シリーズ501内の他のフレームは、最後のフレームF81及び最初のフレームF00の両方を参照フレームとして用いる。これは、フレームF00が最初に復号化され、次にフレームF81が続き、次にフレームF12が続く、等である。図5Aに示すシリーズ501では、numreorderframesの値は1である。デコーダシステムの処理の任意の時点で、図5Aに示すフレームのうち、並べ替え目的で復号化フレーム記憶領域に格納されるフレームは1個のみF81である。最初のフレームも、参照フレームF00として用いられ格納されるが、並べ替え目的では格納されない。最初のフレームF00の出力順序は中間フレームの出力順序より小さいので、最初のフレームF00はnumreorderframesの目的でカウントされない。numreorderframesが低い値にもかかわらず、シリーズ501は比較的長い待ち時間を有する。MaxLatencyFramesの値は7である。最初のフレームF00を符号化した後、エンコーダは、次のフレームF12がシリーズ501の最後のフレームF81に依存するので、出力順序で次のフレームF12を符号化する前に、8以上のソースフレームをバッファリングするまで待つ。MaxLatencyFramesの値は、事実上、任意の特定の符号化フレームについて下付文字の値と上付文字の値との間の最大許容差である。図5Bで、図5Aのシリーズ501のように、シリーズ502は9個のフレームを有するが、フレーム間依存性は異なる。フレームの時間的並べ替えは、短い範囲に渡って生じる。その結果、シリーズ502は非常に小さい待ち時間を有し、MaxLatencyFramesの値は1である。numreorderframesの値は依然として1である。図5Cでは、シリーズ503は10個のフレームを有する。最長フレーム間依存性は、図5の最長フレーム間依存性よりも時間的範囲の点で短いが、図5Bの最長フレーム間依存性よりも長い。シリーズ503は、numreorderframesの同じく低い値1を有するが、MaxLatencyFramesの比較的低い値2を有する。したがって、シリーズ503は、図5Aのシリーズ501よりも小さいエンドエンド間待ち時間を可能にするが、図5Bのシリーズ502の許容可能待ち時間ほど小さくはない。図5Dで、シリーズ504は、フレーム間依存性に従う3つの時間レイヤを有する時間的階層構造に編成されるフレームを有する。最下位の時間分解能レイヤは、最初のフレームF00及び最後のフレームF81を有する。次の時間分解能レイヤは、最初のフレームF42を追加し、最初のフレームF00及び最後のフレームF81に依存する。最上位の時間分解能レイヤは、残りのフレームを追加する。図5Dに示すシリーズ504は、少なくとも最上位の時間分解能レイヤで、最後のフレームF81の符号化順序と出力順序との間の差により、numreorderframesの比較的低い値2を有するが、MaxLatencyFramesの比較的高い値7を有する。中間の時間分解能レイヤ又は最下位の時間分解能レイヤのみが復号化される場合、フレーム並べ替え遅延についての制約は、中間レイヤでは1又は最下位レイヤでは0まで低減できる。種々の時間分解能で待ち時間の低減した復号化を実現するために、シンタックスエレメントは、時間的階層構造内の異なるレイヤについてフレーム並べ替え待ち時間の制約を示すことができる。図5Eで、シリーズ505は、異なるフレーム間依存性に従う3つの時間レイヤを有する時間的階層構造に編成されるフレームを有する。最下位の時間分解能レイヤは、最初のフレームF00、中間フレームF41及び最後のフレームF85を有する。次の時間分解能レイヤは、最初のフレームF00及び中間フレームF41に依存するフレームF22と中間フレームF41及び最後のフレームF85に依存するフレームF66を追加する。最上位の時間分解能レイヤは、残りのフレームを追加する。図5Dのシリーズ504と比べると、図5Eのシリーズ505は、少なくとも最上位の時間分解能レイヤで、中間フレームF41及び最後のフレームF85の符号化順序と出力順序との間の差により、numreorderframesの比較的低い値2を有するが、MaxLatencyFramesの比較的低い値3を有する。中間の時間分解能レイヤ又は最下位の時間分解能レイヤのみが復号化される場合、フレーム並べ替え遅延についての制約は、中間レイヤでは1又は最下位レイヤでは0まで低減できる。図5A-5Eに示す例では、MaxLatencyFramesの値が分かる場合、デコーダは、出力順序で先行するフレームを受信すると、中間出力のために準備の出来ている特定のフレームを識別できる。所与のフレームで、フレームの出力順序の値からフレームの符号化順序の値を差し引いたものは、MaxLatencyFramesの値に等しくても良い。この場合、所与のフレームは、出力順序で先行するフレームが受信されると直ぐに出力のために準備される。これに対し、このようなフレームは、追加フレームが受信されるまで又はシーケンスの終わりに達するまで、numreorderframesだけを用いて出力の準備ができていると識別できなかった。特に、デコーダは、MaxLatencyFramesの値を用いて以下のフレームの早期の出力を可能にすることができる。図5Aのシリーズ501中、フレームF81図5Bのシリーズ502中、フレームF21、F43、F65、F87図5Cのシリーズ503中、フレームF31、F64、F97図5Dのシリーズ504中、フレームF81図5Eのシリーズ505中、フレームF41、F85さらに、システムレベルでのMaxLatencyFramesの値の宣言又は交渉は、numreorderframesを用いた並べ替え記憶容量の測定及び該容量の指示によっては使用できない方法で、ビットストリーム又はセッションの待ち時間特性の要約表現を提供できる。C.例示的な実装フレーム並べ替え待ち時間の制約を示すシンタックスエレメントは、実装に依存して種々の方法で伝達できる。シンタックスエレメントは、シーケンスパラメータセットsequenceparameterset:SPS、ピクチャパラメータセットpictureparameterset:PPS又はビットストリームの他の要素の一部として伝達され、SEIメッセージ、VUIメッセージ又は他のメタデータの一部として伝達され、又は特定の他の方法で伝達され得る。任意の実装において、制約値を示すシンタックスエレメントは、符号無し指数ゴロム符号化、特定の他の形式のエントロピ符号化、又は固定長符号化を用いることにより符号化され、次に伝達できる。デコーダは、シンタックスエレメントを受信した後に、対応する復号化を実行する。第1の実装では、フラグmaxlatencylimitationflagが伝達される。このフラグが第1の2進値例えば0を有する場合、フレーム並べ替え待ち時間について如何なる制約も課せられない。この場合、maxlatencyframesシンタックスエレメントの値は、伝達されないか無視される。その他の場合フラグが1のような第2の2進値を有する場合、maxlatencyframesシンタックスエレメントの値は、フレーム並べ替え待ち時間の制約を示すために伝達される。例えば、この場合、maxlatencyframesシンタックスエレメントの伝達された値は、任意の非負整数値であり得る。第2の実装では、シンタックスエレメントmaxlatencyframesplus1は、フレーム並べ替え待ち時間の制約を示すために伝達される。maxlatencyframesplus1が第1の2進値例えば0を有する場合、フレーム並べ替え待ち時間について如何なる制約も課せられない。他の値例えば、非ゼロ値では、フレーム並べ替え待ち時間についての制約の値は、maxlatencyframesplus1-1に設定される。例えば、maxlatencyframesplus1の値は、包括的に0乃至232-2の範囲内である。同様に、第3の実装では、シンタックスエレメントmaxlatencyframesは、フレーム並べ替え待ち時間の制約を示すために伝達される。maxlatencyframesが第1の値例えば最大値を有する場合、フレーム並べ替え待ち時間について如何なる制約も課せられない。他の値例えば、最大値より小さい値では、フレーム並べ替え待ち時間についての制約の値は、maxlatencyframesに設定される。第4の実装では、フレーム並べ替え待ち時間についての制約は、フレームメモリの最大サイズに関連して示される。例えば、待ち時間の制約は、numreorderframesシンタックスエレメントに対する増大として伝達される。通常、フレームの観点のフレーム並べ替え待ち時間についての制約は、numreorderframesより大きいか又はそれに等しい。待ち時間の制約を伝達する際にビットを節約するために、例えば、符号無し指数ゴロム符号化、特定の他の形式のエントロピ符号化を用いて待ち時間の制約とnumreorderframesとの間の差が符号化され、そして伝達される。シンタックスエレメントmaxlatencyincreaseplus1は、フレーム並べ替え待ち時間の制約を示すために伝達される。maxlatencyincreaseplus1が第1の値例えば0を有する場合、フレーム並べ替え待ち時間について如何なる制約も課せられない。他の値例えば、非ゼロ値では、フレーム並べ替え待ち時間についての制約の値は、numreorderframesmaxlatencyincreaseplus1-1に設定される。例えば、maxlatencyincreaseplus1の値は、包括的に0乃至232-2の範囲内である。代替で、フレーム並べ替え待ち時間についての制約を示す1又は複数のシンタックスエレメントは、他の特定の方法で伝達される。D.待ち時間の制約を示す他の方法前述の例の多くでは、待ち時間の制約は、フレーム数の観点で表されるフレーム並べ替え待ち時間についての制約である。より一般的には、待ち時間の制約は、フレーム数の観点から表される、又は秒、ミリ秒若しくは別の時間指標の観点から表される遅延についての制約である。例えば、待ち時間の制約は、1秒又は0.5秒のような絶対時間指標として表すことができる。エンコーダは、このような時間指標をビデオのフレームレートを考慮してフレーム数に変換し、次にビデオシーケンスの複数のフレーム間のフレーム間依存性がフレーム数と一致するようにビデオを符号化する。或いは、フレーム並べ替え及びフレーム間依存性に関係なく、エンコーダは、時間指標を用いて、符号化ビデオのビットレート、符号化の複雑さ、ネットワーク帯域幅などの短期間変動を平滑化するために遅延が用いられる範囲を制限できる。デコーダは、この時間指標を用いて、フレームが復号化ピクチャバッファから出力され得るときを決定できる。待ち時間の制約は、送信側と受信側との間で交渉され、符号化ビデオのビットレートの短期的変動を平滑化する能力、符号化の複雑さの短期的変動を平滑化する能力、ネットワーク帯域幅の短期的変動を平滑化する能力、及び/又は増大する遅延から利益を享受する別の要因で、応答をトレードオフする遅延がない。このような交渉では、フレームレートと独立した方法で待ち時間の制約を定め特徴付けることが有用であり得る。次に、制約は、ビデオのフレームレートを考慮して、符号化及び復号化中に適用できる。或いは、制約は、ビデオのフレームレートに関係なく、符号化及び復号化中に適用できる。E.シンタックスエレメントを設定及び出力する一般的な技術図6は、待ち時間の低減した復号化を実現するシンタックスエレメントを設定及び出力する例示的な技術600を示す。例えば、図2A及び2Bを参照して説明したリアルタイム通信ツール又は符号化ツールは、技術600を実行する。或いは、別のツールが技術600を実行する。始めに、ツールは、ビデオシーケンスの複数のフレーム間のフレーム間依存性に一致する待ち時間例えば、フレーム並べ替え待ち時間、時間指標の観点からの待ち時間についての制約を示す1又は複数のシンタックスエレメントを設定する610。ツールがビデオエンコーダを有するとき、同一のツールがフレームを受信し、フレームを符号化してフレーム並べ替え待ち時間の制約と一致するフレーム間依存性を用いて符号化データを生成し、そして格納又は送信のために符号化データを出力し得る。通常、フレーム並べ替え待ち時間の制約は、ビデオシーケンス内の任意のフレームに対して許容される並べ替え待ち時間である。制約は、種々の方法で表すことができるが、種々の他の意味を有する。例えば、制約は、出力順序で所与のフレームに先行できるが符号化順序で所与のフレームに続くことができるフレームの最大数の観点で表現できる。或いは、制約は、ビデオシーケンス内の任意のフレームについて、符号化順序と出力順序との間の最大差として表すことができる。或いは、個々のフレームに焦点を当てると、制約は、ビデオシーケンス内の所与の特定のフレームに関連する並べ替え待ち時間として表すことができる。或いは、フレームのグループに焦点を当てると、制約は、ビデオシーケンス内のフレームのグループに関連する並べ替え待ち時間として表すことができる。或いは、制約は特定の他の方法で表すことができる。次に、ツールは、シンタックスエレメントを出力する620。これは、複数のフレームの出力順序の観点から、再構成フレームが出力準備ができたときの決定を実現する。シンタックスエレメントは、基本符号化ビデオストリーム内のシーケンスパラメータセット又はピクチャパラメータセットの一部として、フレームの符号化データも含むメディア格納ファイル又はメディア送信ストリームのシンタックスの一部として、例えば、システムレベルの交渉の際のストリーム又はセッションパラメータ値の交換中にメディア特性交渉プロトコルの一部として、フレームの符号化データと共に多重化されたメディアシステム情報の一部として、又は例えば、SEIメッセージ又はVUIメッセージ内のフレームの符号化データに関連するメディアメタデータの一部として、出力できる。異なるシンタックスエレメントが、メモリ容量要件を示すために出力され得る。例えば、maxdecframebufferingのようなバッファサイズシンタックスエレメントはDPBの最大サイズを示すことができ、numreorderframesのようなフレームメモリシンタックスエレメントは並べ替えのためのフレームメモリの最大サイズを示すことができる。待ち時間の制約の値は、V.C章で記載したような種々の方法で表すことができる。例えば、ツールは、シンタックスエレメントの存在又は不在を示すフラグを出力する。フラグがシンタックスエレメントは不在であると示す場合、待ち時間の制約は、不定であるか、又は既定値を有する。その他の場合、シンタックスエレメントは、待ち時間の制約に従い、待ち時間の制約を示す。或いは、シンタックスエレメントの1つの値が、待ち時間の制約は不定又は既定値であると示し、シンタックスエレメントの他の可能な値が、待ち時間の制約に値する整数を示す。或いは、待ち時間の制約がフレーム並べ替え待ち時間の制約である場合には、シンタックスエレメントの所与の値は、並べ替えのためのフレームメモリの最大サイズに対するフレーム並べ替え待ち時間の制約に値する整数を示す。これは、numreorderframesのような異なるシンタックスエレメントで示される。或いは、待ち時間の制約は特定の他の方法で表される。幾つかの実装では、ビデオシーケンスのフレームは、時間的階層構造に従って編成される。この場合、異なるシンタックスエレメントは、時間的階層構造の異なる時間レイヤについてのフレーム並べ替え待ち時間の異なる制約を示し得る。F.シンタックスエレメントを受信及び使用する一般的な技術図7は、待ち時間の低減した復号化を実現するシンタックスエレメントを受信及び使用する例示的な技術700を示す。例えば、図2A及び2Bを参照して説明したリアルタイム通信ツール又は再生ツールは、技術700を実行する。或いは、別のツールが技術700を実行する。始めに、ツールは、待ち時間例えば、フレーム並べ替え待ち時間、時間指標の観点からの待ち時間についての制約を示す1又は複数のシンタックスエレメントを受信し解析する710。例えば、解析は、待ち時間の制約を示す1又は複数のシンタックスエレメントをビットストリームから読み出すことを含む。ツールは、ビデオシーケンスの複数のフレームの符号化データも受信する720。ツールは、シンタックスエレメントを解析し、シンタックスエレメントに基づき待ち時間の制約を決定できる。通常、フレーム並べ替え待ち時間の制約は、ビデオシーケンス内の任意のフレームに対して許容される並べ替え待ち時間である。前の章で述べたように、制約は、種々の方法で表すことができるが、種々の他の意味を有する。シンタックスエレメントは、基本符号化ビデオストリーム内のシーケンスパラメータセット又はピクチャパラメータセットの一部として、メディア格納ファイル又はメディア送信ストリームのシンタックスの一部として、メディア特性交渉プロトコルの一部として、符号化データと共に多重化されたメディアシステム情報の一部として、又は符号化データに関連するメディアメタデータの一部として、伝達できる。ツールは、メモリ容量要件を示す異なるシンタックスエレメント、例えばmaxdecframebufferingのようなバッファサイズシンタックスエレメント及びnumreorderframesのようなフレームメモリシンタックスエレメントを受信し解析できる。待ち時間の制約の値は、V.C章で記載したような種々の方法で表すことができる。例えば、ツールは、シンタックスエレメントの存在又は不在を示すフラグを受信する。フラグがシンタックスエレメントは不在であると示す場合、待ち時間の制約は、不定であるか、又は既定値を有する。その他の場合、シンタックスエレメントは、待ち時間の制約に従い、待ち時間の制約を示す。或いは、シンタックスエレメントの1つの値が、待ち時間の制約は不定又は既定値であると示し、シンタックスエレメントの他の可能な値が、待ち時間の制約に値する整数を示す。或いは、待ち時間の制約がフレーム並べ替え待ち時間の制約である場合には、シンタックスエレメントの所与の値は、並べ替えのためのフレームメモリの最大サイズに対するフレーム並べ替え待ち時間の制約に値する整数を示す。これは、numreorderframesのような異なるシンタックスエレメントで示される。或いは、待ち時間の制約は特定の他の方法で伝達される。図7に戻り、ツールは、フレームのうちの1つを再構成するために符号化データの少なくとも一部を復号化する730。ツールは、再構成フレームを出力する740。これを行う際、ツールは、例えば、ビデオシーケンスのフレームの出力順序の観点で、再構成フレームの出力準備ができるときを決定するために、待ち時間の制約を用いることができる。幾つかの実装では、ビデオシーケンスのフレームは、時間的階層構造に従って編成される。この場合、異なるシンタックスエレメントは、時間的階層構造の異なる時間レイヤについてのフレーム並べ替え待ち時間の異なる制約を示し得る。ツールは、出力の時間分解能に依存して、フレーム並べ替え待ち時間の異なる制約のうちの1つを選択できる。開示の発明の原理を適用できる多くの可能な実施形態に照らし、図示の実施形態は本発明の単なる好適な例であり、本発明を限定するものと考えられるべきではないことが理解される。むしろ、本発明の範囲は添付の請求の範囲によって定められる。したがって、出願人は、添付の請求の範囲の範囲及び精神の範囲内に包含される全てを出願人の発明として請求する。