(57)【要約】本開示は、無線変調スキームにおいて定義された基層と強化層との間で、マルチメディアを割り付けするため及び再割り付けするための技術を説明する。再割り付け技術は、例えば無線通信チャネルに関連づけられた帯域幅制約を満たすエンコーディングレートを減らすために、双方向予測（Ｂ）フレームが基層に初めから割り付けられたかどうか、また、再エンコードリクエストがエンコーダに発行されたかどうか、に依存して変更することができる。説明された技術は、チャネルリソースを効率的に使用し、チャネル間の帯域幅のバランスをとり、そしてアプリケーション層におけるエラー弾性を多分改善することに役に立つことができる。いくつかのケースにおいては、該技術は、全体的な総計帯域幅の使用を減らすように役に立つことができる。
2010515297.tif 000002
【特許請求の範囲】
【請求項１】
無線変調スキームにおいて定義される基層と強化層との間でマルチメディアデータを割り付けることと、
前記基層と前記強化層との間の前記マルチメディアデータの前記の割り付けを分析することと、
前記の分析に基づいて前記基層と前記強化層との間で前記マルチメディアデータを再割り付けすることと、
前記無線変調スキームの前記基層と前記強化層において前記の再割り付けされたマルチメディアデータを伝送することと、
を備えている方法。
【請求項２】
前記マルチメディアデータを割り付けることは、スライスデータ区分スキームにしたがって、前記基層と前記強化層との間で前記マルチメディアデータを割り付けることを備えており、
前記マルチメディアデータを再割り付けすることは、前記スライスデータ区分スキームにしたがって、前記基層と前記強化層との間で前記マルチメディアデータを再割り付けすることを備えているので、前記マルチメディアデータを再割り付けすることにおいて、１つまたは複数のマルチメディアフレームに関連づけられた１サブセットのスライスデータ区分は、前記基層から前記強化層へと移動させられる、
請求項１に記載の方法。
【請求項３】
前記マルチメディアデータを割り付けることは、前記基層にイントラ（Ｉ）フレームと予測（Ｐ）フレームとを割り当てることと、前記強化層に双方向予測（Ｂ）フレームを割り当てることと、を備えている、
請求項２に記載の方法。
【請求項４】
前記Ｉフレームは、２つのレベルの区分を定義し、
前記Ｐ及びＢフレームは、３つのレベルの区分を定義する、
請求項３に記載の方法。
【請求項５】
前記マルチメディアデータを割り付けることは、
前記基層に、イントラ（Ｉ）フレームと予測（Ｐ）フレームとを割り当てることと、
前記基層に、第１サブセットの双方向予測（Ｂ）フレームを割り当てることと、
前記強化層に、第２サブセットのＢフレームを割り当てることと、
を備えている、
請求項２に記載の方法。
【請求項６】
前記マルチメディアデータの前記割り付けを分析することは、前記の割り付けられたマルチメディアデータに関して再エンコードリクエストが発行されたかどうかを決定することを含んでおり、
前記マルチメディアデータを再割り付けすることは、再エンコードリクエストが発行されたどうかに少なくとも部分的に基づいて、前記基層と前記強化層との間で前記マルチメディアデータを再割り付けすることを含んでいる、
請求項１に記載の方法。
【請求項７】
前記マルチメディアデータの前記割り付けを分析することは、前記基層において双方向予測（Ｂ）フレームがあるかどうかを決定することを含んでおり、
前記マルチメディアデータを再割り付けすることは、前記基層においてＢフレームがあるかどうかに少なくとも部分的に基づいて、前記基層と前記強化層との間で前記マルチメディアデータを再割り付けすることを含んでいる、
請求項６に記載の方法。
【請求項８】
前記基層においてＢフレームがなく、再エンコードリクエストが発行されていなかったときには、前記マルチメディアデータを再割り付けすることは、
前記強化層へと前記基層において１サブセットの情報を冗長で割り付けること、
を含んでいる、
請求項７に記載の方法。
【請求項９】
前記基層においてＢフレームがなく、再エンコードリクエストが発行されていなかったときには、前記マルチメディアデータを再割り付けすることは、
前記強化層へとアシスタンス情報を符号化すること、
を含んでおり、
前記アシスタンス情報は、エラー対処のためのデコーダに対してアシスタンスを提供する、
請求項７に記載の方法。
【請求項１０】
前記基層においてＢフレームがなく、再エンコードリクエストが発行されていたときには、前記マルチメディアデータを再割り付けすることは、
前記強化層へ、初めから前記基層にある１つまたは複数の予測（Ｐ）フレームの一部を移動させること、
を含んでいる、請求項７に記載の方法。
【請求項１１】
前記基層においてＢフレームがあり、再エンコードリクエストが発行されていなかったときには、前記マルチメディアデータを再割り付けすることは、
あまり重要ではないＢフレームとより重要であるＢフレームとを識別するために、前記基層において前記Ｂフレームを評価することと、
前記強化層へ、初めから前記基層にある前記あまり重要ではないＢフレームのうち１つまたは複数を移動させることと、
を含んでいる、
請求項７に記載の方法。
【請求項１２】
前記マルチメディアデータを割り付けることは、
冗長な方法で、前記強化層において前記あまり重要ではないＢフレームを符号化すること、
をさらに含んでいる、
請求項１１に記載の方法。
【請求項１３】
前記基層においてＢフレームがあって、再エンコードリクエストが発行されていたときには、前記マルチメディアデータを再割り付けすることは、
あまり重要ではないＢフレームとより重要であるＢフレームとを識別するために、前記基層において前記Ｂフレームを評価することと、
前記強化層へ、初めから前記基層にある前記あまり重要ではないＢフレームのうち１つまたは複数を移動させることと、
を含んでいる、請求項７に記載の方法。
【請求項１４】
前記マルチメディアデータを再割り付けすることは、
冗長な方法で、前記強化層において前記あまり重要ではないＢフレームを符号化すること、をさらに含んでいる、
請求項１１に記載の方法。
【請求項１５】
前記再割り付けされたマルチメディアを伝送する前に、前記無線変調スキームの前記基層と前記強化層において前記再割り付けされたマルチメディアを変調すること、
をさらに備えている請求項１に記載の方法。
【請求項１６】
無線変調スキームにおいて定義される基層と強化層との間でマルチメディアデータを割り付けるエンコーダモジュールと、
前記基層と前記強化層との間のマルチメディアデータの前記の割り付けを分析し、前記の分析に基づいて前記基層と前記強化層との間で前記マルチメディアデータを再割り付けする再割り付けモジュールと、
前記無線変調スキームにしたがって、前記基層と前記強化層において前記の再割り付けされたマルチメディアデータを伝送する送信機と、
を備えている装置。
【請求項１７】
前記エンコーダモジュールは、スライスデータ区分スキームにしたがって、前記基層と前記強化層との間で前記マルチメディアデータを割り付けており、
前記再割り付けモジュールは、前記スライスデータ区分スキームにしたがって、前記基層と前記強化層との間で前記マルチメディアデータを再割り付けするので、前記マルチメディアデータを再割り付けすることにおいて、前記再割り付けモジュールは、１つまたは複数のマルチメディアフレームに関連づけられた１サブセットのスライスデータ区分を、前記基層から前記強化層へと移動させる、
請求項１６に記載の装置。
【請求項１８】
前記エンコーダモジュールは、
前記基層に、イントラ（Ｉ）フレームと、予測（Ｐ）フレームとを割り当て、
前記強化層に、双方向予測（Ｂ）フレームを割り当てる、
請求項１７に記載の装置。
【請求項１９】
前記Ｉフレームは、２つのレベルの区分を定義し、
前記Ｐ及びＢフレームは、３つのレベルの区分を定義する、
請求項１８に記載の装置。
【請求項２０】
前記エンコーダモジュールは、
前記基層に、イントラ（Ｉ）フレームと予測（Ｐ）フレームとを割り当て、
前記基層に、第１サブセットの双方向予測（Ｂ）フレームを割り当て、
前記強化層に、第２サブセットのＢフレームを割り当てる、
請求項１７に記載の装置。
【請求項２１】
前記再割り付けモジュールは、
前記割り付けられたマルチメディアデータに関して再エンコードリクエストが発行されたかどうかを決定し、
再エンコードリクエストが発行されたどうかに少なくとも部分的に基づいて、前記基層と前記強化層との間で前記マルチメディアデータを再割り付けする、
請求項１６に記載の装置。
【請求項２２】
前記再割り付けモジュールは、
前記基層において双方向予測（Ｂ）フレームがあるかどうかを決定し、
前記基層においてＢフレームがあるかどうかに少なくとも部分的に基づいて、前記基層と前記強化層との間で前記マルチメディアデータを再割り付けする、
請求項２１に記載の装置。
【請求項２３】
前記基層においてＢフレームがなく、再エンコードリクエストが発行されていなかったときには、前記再割り付けモジュールは、
前記強化層へと前記基層において１サブセットの情報を冗長で割り付ける、
請求項２２に記載の装置。
【請求項２４】
前記基層においてＢフレームがなく、再エンコードリクエストが発行されていなかったときには、前記再割り付けモジュールは、
前記強化層へとアシスタンス情報を符号化し、
前記アシスタンス情報は、エラー対処のためのデコーダに対してアシスタンスを提供する、
請求項２２に記載の装置。
【請求項２５】
前記基層においてＢフレームがなく、再エンコードリクエストが発行されていたときには、前記再割り付けモジュールは、
前記強化層へ、初めから前記基層にある１つまたは複数の予測（Ｐ）フレームの一部を移動させる、
請求項２２に記載の装置。
【請求項２６】
前記基層においてＢフレームがあり、再エンコードリクエストが発行されていなかったときには、前記再割り付けモジュールは、
あまり重要ではないＢフレームとより重要であるＢフレームとを識別するために、前記基層において前記Ｂフレームを評価し、
前記強化層へ、初めから前記基層にある前記あまり重要ではないＢフレームのうち１つまたは複数を移動させる、
請求項２２に記載の装置。
【請求項２７】
前記再割り付けモジュールは、
冗長な方法で、前記強化層において前記あまり重要ではないＢフレームを符号化する、
請求項２６に記載の装置。
【請求項２８】
前記基層においてＢフレームがあり、再エンコードリクエストが発行されていたときには、前記再割り付けモジュールは、
あまり重要ではないＢフレームとより重要であるＢフレームとを識別するために、前記基層において前記Ｂフレームを評価し、
前記強化層に初めから前記基層にある前記あまり重要ではないＢフレームのうち１つまたは複数を移動させる、
請求項２２に記載の装置。
【請求項２９】
前記再割り付けモジュールは、
冗長な方法で、前記強化層において前記あまり重要ではないＢフレームを符合化する、
請求項２８に記載の方法。
【請求項３０】
前記無線変調スキームの前記基層と前記強化層とにおいて前記割り付けられたマルチメディアデータを変調するモジュレータと、
をさらに備えている請求項１６に記載の装置。
【請求項３１】
無線変調スキームにおいて定義される基層と強化層との間でマルチメディアデータを割り付けるための手段と、
前記基層と前記強化層との間の前記マルチメディアデータの前記の割り付けを分析するための手段と、
前記の分析に基づいて、前記基層と前記強化層との間で前記マルチメディアデータを再割り付けするための手段と
前記無線変調スキームの前記基層と前記強化層において前記の再割り付けされたマルチメディアデータを伝送するための手段と、
を備えているデバイス。
【請求項３２】
割り付けるための前記手段は、スライスデータ区分スキームにしたがって前記基層と前記強化層との間で前記マルチメディアデータを割り付け、
再割り付けするための前記手段は、前記スライスデータ区分スキームにしたがって前記基層と前記強化層との間で前記マルチメディアを再割り付けするので、前記マルチメディアデータを再割り付けすることにおいて、１つまたは複数のマルチメディアフレームに関連づけられた１サブセットのスライスデータ区分は、前記基層から前記強化層へと移動させられる、請求項３１に記載のデバイス。
【請求項３３】
割り付けるための前記手段は、
前記基層に、イントラ（Ｉ）フレームと予測（Ｐ）フレームとを割り当て、
前記強化層に、双方向予測（Ｂ）フレームを割り当てる、
請求項３２に記載のデバイス。
【請求項３４】
前記Ｉフレームは、２つのレベルの区分を定義し、
前記Ｐ及びＢフレームは、３つのレベルの区分を定義する、
請求項３３に記載のデバイス。
【請求項３５】
割り付けるための前記手段は、
前記基層に、イントラ（Ｉ）フレームと予測（Ｐ）フレームとを割り当て、
前記基層に、第１サブセットの双方向予測（Ｂ）フレームを割り当て、
前記強化層に、第２サブセットのＢフレームを割り当てる、
請求項３２に記載のデバイス。
【請求項３６】
分析するための前記手段は、前記割り付けられたマルチメディアデータに関して再エンコードリクエストが発行されたかどうかを決定し、
前記マルチメディアデータを再割り付けするための前記手段は、再エンコードリクエストが発行されたどうかに少なくとも部分的に基づいて、前記基層と前記強化層との間で前記マルチメディアデータを再割り付けする、
請求項３１に記載のデバイス。
【請求項３７】
分析するための前記手段は、前記基層において双方向予測（Ｂ）フレームがあるかどうかを決定し、
前記マルチメディアデータを再割り付けするための前記手段は、前記基層においてＢフレームがあるかどうかに少なくとも部分的に基づいて、前記基層と前記強化層との間で前記マルチメディアデータを再割り付けする、
請求項３６に記載のデバイス。
【請求項３８】
前記基層においてＢフレームがなく、再エンコードリクエストが発行されていなかったときには、前記マルチメディアデータを再割り付けするための前記手段は、
前記強化層へと、前記基層において１サブセットの情報を冗長で割り付ける、
請求項３７に記載のデバイス。
【請求項３９】
前記基層においてＢフレームがなく、再エンコードリクエストが発行されていなかったときには、前記マルチメディアデータを再割り付けするための前記手段は、
前記強化層へとアシスタンス情報を符号化し、
前記アシスタンス情報は、エラー対処のためのデコーダに対してアシスタンスを提供する、
請求項３７に記載のデバイス。
【請求項４０】
前記基層においてＢフレームがなく、再エンコードリクエストが発行されていたときには、前記マルチメディアデータを再割り付けするための前記手段は、
前記強化層へ、初めから前記基層にある１つまたは複数の予測（Ｐ）フレームの一部を移動させる、請求項３７に記載のデバイス。
【請求項４１】
前記基層においてＢフレームがあって、再エンコードリクエストが発行されていなかったときには、前記マルチメディアデータを再割り付けするための前記手段は、
あまり重要ではないＢフレームとより重要であるＢフレームとを識別するために、前記基層において前記Ｂフレームを評価し、
前記強化層へ、初めから前記基層にある前記あまり重要ではないＢフレームのうち１つまたは複数を移動させる、
請求項３７に記載のデバイス。
【請求項４２】
前記マルチメディアデータを割り付けるための前記手段は、
冗長な方法で、前記強化層において前記あまり重要ではないＢフレームを符号化する、
請求項４１に記載の方法。
【請求項４３】
前記基層においてＢフレームがあり、再エンコードリクエストが発行されていたときには、前記マルチメディアデータを再割り付けするための前記手段は、
あまり重要ではないＢフレームとより重要であるＢフレームとを識別するために、前記基層において前記Ｂフレームを評価し、
前記強化層へ、初めから前記基層にある前記あまり重要ではないＢフレームのうち１つまたは複数を移動させる、
請求項３７に記載のデバイス。
【請求項４４】
前記マルチメディアデータを再割り付けするための前記手段は、
冗長な方法で、前記強化層において前記あまり重要ではないＢフレームを符号化する、
請求項４３に記載のデバイス。
【請求項４５】
前記無線変調スキームの前記基層と前記強化層において、前記の再割り付けされたマルチメディアデータを変調するための手段、
をさらに備えている請求項３１に記載のデバイス。
【請求項４６】
インストラクションを備えているコンピュータ可読媒体を備えるコンピュータプロダクトであって、前記インストラクションは、少なくとも１つのコンピュータに、
無線変調スキームにおいて定義される基層と強化層との間でマルチメディアデータを割り付けさせ、
前記基層と前記強化層との間の前記マルチメディアデータの前記割り付けを分析させ、
前記の分析に基づいて、前記基層と前記強化層との間で前記マルチメディアデータを再割り付けさせ、
前記無線変調スキームの前記基層と前記強化層とにおいて前記の再割り付けされたマルチメディアデータを伝送させる、
コンピュータプロダクト。
【請求項４７】
前記インストラクションは、前記のコンピュータに、
スライスデータ区分スキームにしたがって、前記基層と前記強化層との間で前記マルチメディアデータを割り付けさせ、
前記マルチメディアデータを再割り付けすることにおいて、１つまたは複数のマルチメディアフレームに関連づけられた１サブセットのスライスデータ区分が、前記基層から前記強化層へと移動させられるように、前記スライスデータ区分スキームにしたがって、前記基層と前記強化層との間で前記マルチメディアを再割り付けさせる、
請求項４６に記載のコンピュータプログラムプロダクト。
【請求項４８】
前記マルチメディアデータを割り付けることは、
前記基層に、イントラ（Ｉ）フレームと、予測（Ｐ）フレームとを割り当てることと
前記強化層に、双方向予測（Ｂ）フレームを割り当てることと、
を含んでいる、
請求項４７に記載のコンピュータプログラムプロダクト。
【請求項４９】
前記Ｉフレームは、２つのレベルの区分を定義し、
前記Ｐ及びＢフレームは、３つのレベルの区分を定義する、
請求項４８に記載のコンピュータプログラムプロダクト。
【請求項５０】
前記マルチメディアデータを割り付けることは、
前記基層に、イントラ（Ｉ）フレームと予測（Ｐ）フレームとを割り当てることと、
前記基層に、第１サブセットの双方向予測（Ｂ）フレームを割り当てることと、
前記強化層に、第２サブセットのＢフレームを割り当てることと、
を含んでいる、
請求項４７に記載のコンピュータプログラムプロダクト。
【請求項５１】
前記マルチメディアデータの前記割り付けを分析することは、前記割り付けられたマルチメディアデータに関して、再エンコードリクエストが発行されたかどうかを決定することを含んでおり、
前記マルチメディアデータを再割り付けすることは、再エンコードリクエストが発行されたどうかに少なくとも部分的に基づいて、前記基層と前記強化層との間で前記マルチメディアデータを再割り付けすることを含んでいる、
請求項４６に記載のコンピュータプログラムプロダクト。
【請求項５２】
前記マルチメディアデータの前記割り付けを分析することは、前記基層において双方向予測（Ｂ）フレームがあるかどうかを決定することを含んでおり、
前記マルチメディアデータを再割り付けすることは、前記基層においてＢフレームがあるかどうかに少なくとも部分的に基づいて、前記基層と前記強化層との間で前記マルチメディアデータを再割り付けすることを含んでいる、
請求項５１に記載のコンピュータプログラムプロダクト。
【請求項５３】
前記基層においてＢフレームがなく、再エンコードリクエストが発行されていなかったときには、前記マルチメディアデータを再割り付けすることは、
前記強化層へと前記基層において１サブセットの情報を冗長で割り付けること、
を含んでいる、
請求項５２に記載のコンピュータプログラムプロダクト。
【請求項５４】
前記基層においてＢフレームがなく、再エンコードリクエストが発行されていなかったときには、前記マルチメディアデータを再割り付けすることは、
前記強化層へとアシスタンス情報を符号化すること、
を含んでおり、前記アシスタンス情報は、エラー対処のためのデコーダに対してアシスタンスを提供する、
請求項５２に記載のコンピュータプログラムプロダクト。
【請求項５５】
前記基層においてＢフレームがなく、再エンコードリクエストが発行されていたときには、前記マルチメディアデータを再割り付けすることは、
前記強化層へ、初めから前記基層にある１つまたは複数の予測（Ｐ）フレームの一部を移動させること、
を含んでいる、
請求項５２に記載のコンピュータプログラムプロダクト。
【請求項５６】
前記基層においてＢフレームがあって、再エンコードリクエストが発行されていなかったときには、前記マルチメディアデータを再割り付けすることは、
あまり重要ではないＢフレームとより重要であるＢフレームとを識別するために、前記基層において前記Ｂフレームを評価することと、
前記強化層へ、初めから前記基層にあるあまり重要ではないＢフレームのうち１つまたは複数を移動させることと、
を含んでいる、
請求項５２に記載のコンピュータプログラムプロダクト。
【請求項５７】
前記マルチメディアデータを割り付けることは、
冗長な方法で、前記強化層において前記あまり重要ではないＢフレームを符号化すること、
をさらに含んでいる、
請求項５６に記載のコンピュータプログラムプロダクト。
【請求項５８】
前記基層においてＢフレームがあり、再エンコードリクエストが発行されていたときには、前記マルチメディアデータを再割り付けすることは、
あまり重要ではないＢフレームとより重要であるＢフレームとを識別するために、前記基層において前記Ｂフレームを評価することと、
前記強化層へ、初めから前記基層にあるあまり重要ではないＢフレームのうち１つまたは複数を移動させることと、
を含んでいる、
請求項５２に記載のコンピュータプログラムプロダクト。
【請求項５９】
前記マルチメディアデータを再割り付けすることは、
冗長な方法で、前記強化層において前記あまり重要ではないＢフレームを符号化すること、
をさらに含んでいる、
請求項５８に記載のコンピュータプログラムプロダクト。
【請求項６０】
前記インストラクションは、前記コンピュータに、
前記無線変調スキームの前記基層と前記強化層において前記の再割り付けされたマルチメディアを変調させる、
請求項４６に記載のコンピュータプログラムプロダクト。
【発明の詳細な説明】
【利益の主張】
【０００１】
本願は、２００６年１２月２２日に出願された、米国仮出願６０／８７１，６４２号の利益を主張し、その全体の内容は、参照によってここにおいて組み込まれる。
【分野】
【０００２】
本開示は、マルチメディア符号化(multimedia coding)、および符号化されたマルチメディアコンテンツの無線通信に関する。
【背景】
【０００３】
デジタルマルチメディア機能(digital multimedia capabilities)は、デジタルテレビ、デジタルダイレクトブロードキャストシステム(digital direct broadcast systems)、無線通信デバイス、無線ブロードキャストシステム、携帯情報端末(personal digital assistants)（ＰＤＡｓ）、ラップトップあるいはデスクトップコンピュータ、デジタルカメラ、デジタル記録デバイス、ビデオゲームデバイス、ビデオゲームコンソール、セルラあるいは衛星無線電話(cellular or satellite radio telephones)、デジタルメディアプレーヤ、及び同様なもの、を含んでいる広範囲のデバイスに組み込まれることができる。デジタルマルチメディアデバイスは、より効率的にデジタルビデオデータを、送信し且つ受信し、あるいは保存し且つ検索するために、ＭＰＥＧ−２、ＭＰＥＧ−４、あるいはＨ．２６４／ＭＰＥＧ−４パート１０、のアドバンスドビデオ符号化(Advanced Video Coding)（ＡＶＣ）、のようなビデオ符号化技術(video coding techniques)をインプリメントする(implement)ことができる。ビデオ符号化技術は、ビデオシーケンス固有の冗長性(redundancy)を減らすあるいは取り除くために、空間及び時間予測を介してビデオ圧縮を実行することができる。
【０００４】
ビデオ符号化において、圧縮は、しばしば、空間予測(spatial prediction)、動き推定及び動き補正ベースの時間予測(motion estimation and motion compensation based temporal prediction)、そして変換符号化(transform coding)を含む。イントラ符号化(intra-coding)は、与えられたビデオフレーム内のビデオブロック間の空間冗長性を減らすあるいは取り除くために、空間予測と変換符号化に依存する。インター符号化(inter-coding)は、ビデオシーケンスの連続ビデオフレームのビデオブロック間の時間冗長性を減らしあるいは取り除くために、時間予測と変換符号化に依存する。イントラ符号化されたフレーム(intra-coded frames)（「Ｉフレーム」）は、他のフレームのインター符号化についての参照(references)同様、ランダムアクセスポイントとしてしばしば使用される。しかしながら、Ｉフレームは、典型的に、他のフレームよりも少ない圧縮を示す(exhibit)。
【０００５】
インター符号化の場合、ビデオエンコーダは、２以上の隣接フレーム間のビデオブロックを整合させる運動(movement)をトラッキングするために、動き推定を実行する。インター符号化されたフレームは、前のフレームから予測されたブロックを含む予測フレーム(predictive frames)（「Ｐフレーム」）と、ビデオシーケンスの前の後続フレーム(previous and subsequent frames of a video sequence)から予測されたブロックを含む双方向予測フレーム(bidirectional predictive frames)（「Ｂフレーム」）と、を含んでいる。Ｐ及びＢのフレームに関しては、動き推定は動きベクトルを生成し、そしてそれは、参照フレーム(reference frames)において、対応する予測ビデオブロックに関するビデオブロックの置換(displacement)を示す。動き補償は、参照フレームから予測ビデオブロックを生成するために、動きベクトルを使用する。動き補償の後で、残余ビデオブロック(residual video block)は、符号化されるべきオリジナルビデオブロック(original video block)から、予測ビデオブロックを差し引くことによって形成される。ビデオエンコーダは、残余ブロックの通信と関連づけられたビットレートをさらに減らすために、変換、量子化、および変換係数符号化のプロセスをたいてい適用する。Ｉ及びＰフレームは、Ｐ及びＢフレームのインター符号化のための参照ブロックを定義するように一般に使用されており、また、いくつかのケースにおいては、特定Ｂフレーム（ＢＲフレームを指している）は、他のＢフレームの参照として使用されることができる。
【０００６】
いくつかのビデオ符号化は、スケーラブルな技術(scalable techniques)を活用する。例えば、スケーラブルなビデオ符号化(scalable video coding)（ＳＶＣ）は、基層および１つまたは複数のスケーラブルな強化層が使用されるビデオ符号化を指す。ＳＶＣに関しては、基層は、典型的に、基本レベルの質で、マルチメディアデータを搬送する。１つまたは複数の強化層は、より空間的な、時間的な、及び／またはＳＮＲ品質レベルをサポートするために、追加マルチメディアデータ(additional multimedia data)を搬送する。一例として、基層は、強化層の伝送よりもより確かな方法で送信されることができる。強化層は、基層のフレームに空間解像(spatial resolution)を加えることができる、あるいは、全体のフレームレートを増やすために追加フレームを加えることができる。一例において、変調された信号の最も確かな部分が、基層を伝送するように使用されることができる一方で、変調された信号のあまり確かではない部分が、強化層を送信するように使用されることができる。
【０００７】
ＳＶＣは、様々なビデオ符号化アプリケーションにおいて使用されることができる。ＳＶＣ技術が一般に使用される１つの特定分野は、無線マルチメディアブロードキャストアプリケーションにおいてある。マルチメディアブロードキャスティング技術(Multimedia broadcasting techniques)は、順方向リンク専用(Forward Link Only)（ＦＬＯ）、デジタルマルチメディアブロードキャスティング(Digital Multimedia Broadcasting)（ＤＭＢ）、及びデジタルビデオブロードキャスティングハンドヘルド(Digital Video Broadcasting −Handheld)（ＤＶＢ−Ｈ）と呼ばれるもの、を含む。無線デジタルマルチメディアブロードキャスティング(wireless digital multimedia broadcasting)は、一連のブロードキャストチャネルとして多くの加入者デバイス(subscriber devices)にコンテンツを配信することができ、従来のテレビのものと同様なマルチメディアコンテンツ選択経験を提供する。各ブロードキャストチャネルは、エンコードされたオーディオ／ビデオストリーム、オーディオ／ビデオクリップ、あるいは他の情報のコンテンツ、を備えているデジタルデータを搬送する。デジタルブロードキャストチャネルは、マルチプルモバイル無線加入者ユニット(multiple mobile wireless subscriber units)（例えば、モバイルハンドセット、あるいはマルチメディア「セル電話(cell phones)」と呼ばれる）にマルチキャストベースで同時に配信される。各モバイル無線加入者ユニットは、デジタルブロードキャストを受信し、また、ユーザへのプレゼンテーション(presentation)のために特定ブロードキャストチャネルにチューンする(tune)ことができる。ブロードキャストチャネルを切り替えるために、それぞれの無線装置(respective wireless apparatus)は、異なるブロードキャストチャネルからデジタルデータを獲得し、そして、ユーザにチャネルをブロードキャストする関連づけられた異なるコンテンツ、を提供するためにデータをデコードする。
【発明の概要】
【０００８】
本開示は、無線変調スキームで定義された(defined in a wireless modulation scheme)基層と強化層との間でマルチメディアデータを割り付けするための及び再割り付けする(allocating and reallocating)ための技術を説明する。様々な送信モード、例えば、「ＦＬＯ無線インタフェース」によってプロビジョンされる(provisioned)もののうちのいくつか、は２つの異なる情報のフローの同時伝送(concurrent transmission)を可能にする。これらの異なる情報フローは、基層チャネルと強化層チャネルとを定義するアプリケーション層における仮想の無線「チャネル」としてみなされることができる。基層チャネルは、無線送信の信頼性の点において、より高品質である。
【０００９】
本開示は、チャネルリソースを効率的に使用し、チャネル間で帯域幅のバランスをとり、そしてアプリケーション層におけるエラー弾性(error resilience)を多分改善するために、基層と強化層との間でマルチメディアデータを割り付けする(allocate)及び再割り付けする(reallocate)、多くの方法を提案する。基層と強化層との間のマルチメディアデータの再割り付けは、例えば帯域幅制約を満たすエンコーディングレート(encoding rate)を減らすために、双方向予測（Ｂ）フレームが基層に初めから割り付けられたかどうか(whether bidirectional predictive (B) frames were originally allocated to the base layer)、また、再エンコードリクエストがエンコーダに発行されたかどうか(whether a re-encode request has been issued to encoders)、に依存して変わることができる。
【００１０】
一例において、方法は、無線変調スキームにおいて定義された基層と強化層との間でマルチメディアデータを割り付けることと(allocating)、基層と強化層との間でマルチメディアデータの割り付けを分析することと(analyzing)、該分析に基づいて基層と強化層との間でマルチメディアデータを再割り付けすることと(reallocating)、無線変調スキームの基層と強化層において再割り付けされたマルチメディアデータを送信することと(transmitting)、を備える。
【００１１】
別の例においては、装置(apparatus)は、無線変調スキームにおいて定義された基層と強化層との間でマルチメディアデータを割り付けるエンコーダモジュール(encoder module)と、基層と強化層との間でマルチメディアデータの割り付けを分析し、該分析に基づいて基層と強化層との間でマルチメディアデータを再割り付けする再割り付けモジュール(reallocation module)と、無線変調スキームにしたがって基層と強化層において再割り付けされたマルチメディアデータを送信する送信機(transmitter)と、を備えている。
【００１２】
別の例においては、デバイスは、無線変調スキームにおいて定義された基層と強化層との間でマルチメディアデータを割り付けるための手段(means for allocating)と、基層と強化層との間のマルチメディアデータの割り付けを分析するための手段(means for analyzing)と、該分析に基づいて基層と強化層との間でマルチメディアデータを再割り付けするための手段(means for reallocating)と、無線変調スキームの基層と強化層において再割り付けされたマルチメディアデータを送信するための手段(means for transmitting)と、を備える。
【００１３】
本開示に説明された技術は、ハードウェア、ソフトウェア、ファームウェア、あるいは、それのいずれの組み合わせ、においてインプリメントされることができる。ソフトウェアでインプリメントされる場合には、ソフトウェアは、マイクロプロセッサ、特定用途向け集積回路（ＡＳＩＣ）、フィールドプログラマブルゲートアレイ(field programmable gate array)（ＦＰＧＡ）、あるいはデジタルシグナルプロセッサ(digital signal processor )（ＤＳＰ）、のような１つまたは複数のプロセッサで実行されることができる。該技術を実行するソフトウェアは、コンピュータ可読メディアに最初に保存され、そして、プロセッサにおいて、ロードされ、実行されることができる。
【００１４】
したがって、本開示はまた、実施のときに、少なくとも１つのコンピュータに、無線変調スキームにおいて定義された基層と強化層との間でマルチメディアデータを割り付けさせ、基層と強化層との間でマルチメディアの割り付けを分析させ、該分析に基づいて基層と強化層との間でマルチメディアデータを再割り付けさせ、そして、無線変調スキームの基層と強化層において再割り付けされたマルチメディアデータを送信させる、インストラクション(instructions)を備えているコンピュータ可読メディア(computer-readable medium)を熟考する(contemplates)。
【００１５】
いくつかのケースにおいては、コンピュータ可読メディアは、コンピュータプログラムプロダクト(computer program product)の一部分を形成することができ、そしてそれは、製造業者(manufacturers)に対して販売され、および／または、ビデオコーディングデバイス(video coding device)において使用されることができる。コンピュータプログラムプロダクトは、コンピュータ可読媒体を含むことができ、そしていくつかのケースにおいては、パッケージング材料(packaging materials)を含むこともできる。
【００１６】
本開示の１つまたは複数の態様の詳細が、添付の図面、および下記の説明の中で述べられている。本開示において説明された技術の他の特徴、目的、および利点は、詳細な説明および図面、ならびに特許請求の範囲から明らかであろう。
【図面の簡単な説明】
【００１７】
【図１】図１は、本開示の技術を利用することができる、例示的なデータ符号化及び通信システムを図示しているブロック図である。
【図２】図２は、２つの異なる仮想チャネル(virtual channels)を含むように定義された無線チャネル(wireless channels)の図である。
【図３】図３は、基層と強化層を定義する方法で、ビットを符号化するために使用されることができる、例示的な信号コンスタレーション(signal constellation)を図示している図である。
【図４】図４−５は、本開示に一貫して、基層と強化層との間でマルチメディアデータを割り付けるための、及び再割り付けするための、例示的な技術を図示しているフロー図である。
【図５】図４−５は、本開示に一貫して、基層と強化層との間でマルチメディアデータを割り付けるための、及び再割り付けするための、例示的な技術を図示しているフロー図である。
【詳細な説明】
【００１８】
本開示は、無線変調スキームにおいて定義された基層と強化層との間でマルチメディアデータを割り付けするための及び再割り付けするための技術を説明する。用語「マルチメディアデータ(multimedia data)」は、一般にビデオあるいはオーディオビデオデータを指す。様々な送信モード、例えば、「ＦＬＯ無線インタフェース」によってプロビジョンされるもののうちのいくつかは、２以上の異なる情報フローの同時送信を可能にすることができる。これらの異なる情報フローは、物理層変調スキームに関して、アプリケーション層において定義されることができ、そして、基層チャネルと強化層チャネルを定義する仮想の無線「チャネル」としてみなされることができる。基層チャネルは、無線送信の信頼性の点からより高品質である。
【００１９】
本開示は、基層と強化層の間でマルチメディアデータを割り付け及び再割り付けする、多くの方法を提案する。再割り付け技術は、例えば無線通信チャネルに関連づけられた帯域幅制約を満たすエンコーディングレートを減らすために、双方向予測（Ｂ）フレームが基層に初めから割り付けられたかどうか、また、再エンコードリクエストがエンコーダに発行されたかどうか、に依存して変わってもよい。説明された技術は、チャネルリソースを効率的に利用し、チャネル間の帯域幅のバランスをとり、そしてアプリケーション層においてエラー弾性を多分改善することに役に立つことができる。いくつかのケースにおいて、該技術は、全体的な総計帯域幅の使用(overall aggregate bandwidth usage)を減らすことに役立つことができる。
【００２０】
ＦＬＯ無線インタフェースの仕様書(specification)の現在の修正は、１６―ＱＡＭ（１６点（４ビット）直交振幅変調方式）信号のそれと似ている、階層制の信号コンスタレーション(hierarchical signal constellation)にしたがって、無線変調を定義する。該コンスタレーションは、合計１６点をもたらす、４つの異なる象限のそれぞれにおいて４点を定義する。各値は、対応する変調されたキャリア信号のベクトル空間表示(vector space representation)に対応し、また、４ビットの２進数によって表されることができる。コンスタレーションの設計（変調パラメータの選択）を通じて、各象限の２点は、その象限の他の２点よりも、無線送信における受信信頼性の点において、より高い品質を有することができる。すなわち、対応する点がどの象限に位置するか識別する、４ビットの２進数によって定義されたビットのうちの２つは、無線伝送におけるそれらの正確な受信信頼性の点において、特定象限の４点のうちの１つを指す残りの２ビットよりも高品質である。１６−ＱＡＭ信号のより高品質なビットは、基層を定義するように使用されることができ、また、より低い品質のビットは、強化層を定義するように使用されることができる。基層および強化層に割り付けられるコンテンツにかかわらず、ビットのすべては、無線通信で送信される。したがって、基層においてもっとデータがある場合には、従来通りに(conventionally)、ビットをパディングすること(padding bits)が強化層で加えられることができる。
【００２１】
本開示は、例えば基層と強化層との間でマルチメディアデータを再割り付けすることによって、この強化層における「使用されていない(unused)」帯域幅をより活用する技術を提案する。様々なシナリオにおいて、Ｂフレーム（あるいは「低いプライオリティの(low priority)」Ｂフレーム）に関連づけられたデータは、異なる層間でマルチメディアデータのよりよいバランスを達成するために、基層から強化層へと移動させられることができる。さらに、基層におけるマルチメディアデータは、強化層において冗長で符号化されることができ、あるいは、アシスタンス情報は、デコードを促進する(aid)及びアシストする(assist)ために、強化層において定義されることができ、その結果、使用されていない帯域幅をより活用する。さらに別のケースにおいては、予測（Ｐ）フレームの一部は、基層から強化層へと移動させられることができる。そのような部分は、例えば、スライスデータ区分スキームにしたがって定義された最も低いプライオリティのＰフレーム情報を備えることができる。いくつかのケースにおいては、マルチメディアデータが基層から強化層へと移動させられる場合、そのようなフレームの冗長符号化(redundant coding)は強化層で行なわれることができる。これらの異なる技術は、異なるシナリオにおいて、例えば、Ｂフレームが基層に初めから割り付けされたかどうか、また、再エンコードリクエストがエンコーダに対して発行されたかどうか、のような要因に基づいて、適用することができる。
【００２２】
図１は、本開示の技術を利用することができる、例示的なシステム２を図示しているブロック図である。システム２は、多くの他のシステムもまたここに説明されている技術を利用することができるであろう単なる例である。システム２は、エンコーディングデバイス(encoding device)１０から複数の加入者デバイス１２Ａ−１２Ｃへのマルチメディアコンテンツの無線ブロードキャスティングをサポートする一例のシステムである。本開示の技術は、そのようなブロードキャストに特に役立つが、例えば、テレビ電話をサポートするシステム、あるいは、オンデマンドのポイントツーポイントのビデオストリーミングサービス(on-demand point-to-point video streaming services)のようなビデオ情報の通信及びビデオ符号化をサポートする他のシステム、のようなビデオ情報の２方法の無線通信をサポートするシステムに適用することもできるであろう。
【００２３】
マルチメディアブロードキャスティング技術は、順方向リンク専用(Forward Link Only)（ＦＬＯ）、デジタルマルチメディアブロードキャスティング(Digital Multimedia Broadcasting)（ＤＭＢ）、及びデジタルビデオブロードキャスティングハンドヘルド(Digital Video Broadcasting −Handheld)（ＤＶＢ−Ｈ）、と呼ばれるものを含んでいる。デジタルマルチメディアブロードキャスティングは、一連のブロードキャストチャネル(a series of broadcast channels)として、多くの加入者デバイス１２Ａ−１２ｃにコンテンツを配信することができ、従来のテレビのものと同様なマルチメディアコンテンツ選択経験を提供する。各ブロードキャストチャネルは、エンコードされたオーディオ／ビデオストリーム、オーディオ／ビデオクリップ、あるいは他の情報のコンテンツ、を備えているデジタルデータを搬送する。デジタルブロードキャストチャネルは、デバイス１０からマルチプル加入者デバイス１２Ａ−１２Ｃへとマルチキャストベースで同時に配信される。加入者デバイス１２Ａ−１２Ｃは、モバイル無線加入者ユニット（例えばモバイルハンドセット、あるいは、マルチメディア「セル電話」と呼ばれる）を備えることができる。モバイル無線加入者ユニット１２Ａ−１２Ｃのそれぞれは、デジタルブロードキャストを受信し、ユーザへのプレゼンテーションのために特定チャネルにチューンすることができる。チャネルを切り替えるために、それぞれの加入者ユニットは、異なるチャネルからデジタルデータを獲得し、そして、ユーザに異なるコンテンツを提供するためにデータをデコードする。
【００２４】
また、システム２は、単なる例である。ここにおいて説明されている技術は、２つまたは複数の層を定義する無線変調スキームを使用するいずれのシステムにおいて使用されることができるであろう。異なる層（基層及び強化層）は、いくつかのケースにおいて仮想チャネルとして見なされることができる。他の例示的なシステムは、ダイレクト２方式無線通信（ブロードキャストよりもむしろ）を使用することができ、あるいは、基地局あるいは他のシステムコンポーネントを介して、２以上のデバイス間で通信することができる。例えば、他の例において、本開示の技術は、他のテレビ電話アプリケーションあるいはテレビ会議のためにビデオ符号化を実行するデバイスによって使用されることができる。
【００２５】
システム２において、衛星送信機(satellite transmitter)４は、衛星受信機(satellite receiver)６に多くのブロードキャストチャネルを送信する。異なるブロードキャストチャネルにおける情報は、衛星デコードユニット(satellite decode unit)８によってデコードされ、そのあと、プレ処理ユニット(Pre-processing unit)１４によってプレ処理される。プレ処理ユニット１４は、無線ブロードキャストのためにより役立つフォーマットでビデオコンテンツを作るために、例えば標準画質(standard definition)からクォータービデオグラフィックアレイ(Quarter Video Graphics Array)（ＱＶＧＡ）へと、及び／または、インタレースされたものからプログレッシブスキャンへと、解像及びフォーマット変更を容易にすることができる。一例において、コンポーネント４、６、および８は、衛星テレビをブロードキャストしデコードするための従来の機器を備えることができる。しかしながら、他のケースにおいては、マルチメディアコンテンツのブロードキャストチャネルは、ケーブルテレビのプロバイダ、あるいはいずれの他のソース、によって供給されることができるであろう。プレ処理ユニット１４は、一般的に、無線ブロードキャストにとって便利なフォーマットにマルチメディアコンテンツを処理する。
【００２６】
デバイス１０は、マルチメディアコンテンツの無線ブロードキャスティングを容易にする。デバイス１０は、マルチメディアコンテンツのチャネルをエンコードするエンコーダモジュール１６を含むことができる。エンコーダモジュール１６は、単一のモジュールを備えることができ、あるいはマルチメディアコンテンツの異なるチャネルを扱ういくつかの異なるエンコーダモジュールを備えることができる。例えば、エンコーダモジュール１６は、複数の異なるサービス、あるいはマルチメディアデータの１つまたは複数のフローを含むコンテンツ、をエンコードすることができる。マルチプレックスモジュール(multiplex module)１８は、マルチキャストにエンコードされたフローを組み合わせることができる。エンコードされたチャネルは、ニュース、スポーツ、天気、経済情報、映画のようなマルチメディアコンテンツあるいはサービス、及び／またはアプリケーション、プログラム、スクリプト(scripts)、あるいはいずれの他のタイプの適切なコンテンツあるいはサービス、を含むことができる。本開示の一態様においては、デバイス１０は、時間の期間にわたって受信されたマルチメディアデータのフローの部分をエンコードし、組み合わせて、そして送信する。
【００２７】
一例として、デバイス１０は、秒ごとのベースで(on a per second basis)フロー上で操作することができる。一例として、デバイス１０は、複数のフローあるいはチャネルのマルチメディアデータの１秒セグメント(one-second segments)をエンコードし、データのスーパーフレームを形成するためにマルチメディアデータの１秒セグメントを組み合わせて、そして、送信機２４を介して無線チャネル１５にわたってスーパーフレームを送信することができる。ここに使用されるように、用語「スーパーフレーム(superframe)」は、１秒時間期間あるいはウィンドウ(a one second time period or window)、のような時間期間あるいはウィンドウにわたって集められたマルチメディアデータのセグメントのグループを指す。マルチメディアデータのセグメントは、ビデオあるいはオーディオビデオデータの１つまたは複数のフレーム(one or more frames of video or audio-video data)を含むことができる。本開示の様々な態様は、データの１秒セグメントのコンテキストにおいて説明されることができるにもかかわらず、該技術は、データの他のセグメントを結合させ伝送するために使用されることもでき、それは、例えば、時間の固定期間であってもよいし、あるいは時間の固定期間でなくてもよい、時間の異なる期間にわたって受信されたデータのセグメント、あるいは、個別フレーム若しくは複数セットのデータのフレーム、である。言いかえれば、スーパーフレームは、１秒期間よりも、あるいは、可変時間インターバル(variable time intervals)さえよりも、より大きいあるいはより小さい時間インターバルをカバーするように定義されることができるであろう。
【００２８】
マルチプレックスモジュール１８は、エンコーダモジュール１６にフィードバックを提供することができ、そしてそれは、いくつかのケースにおいては、再エンコーダリクエストを含むことができる。このように、マルチプレックスモジュール１８は、無線チャネル１５の利用可能な無線帯域幅を効率的に活用するために、エンコーダモジュール１６によって１つまたは複数の特定チャネルに適用されたエンコーディングレートを調節することができる。マルチプレックスモジュール１８は、エンコードされたコンテンツを分析し、無線チャネル１５上で利用可能な帯域幅と、そのようなコンテンツを送信するのに必要とされる帯域幅の量を、比較することができる。必要である場合には、マルチプレックスモジュール１８は、コーディングレート(coding rate)が１つまたは複数のコンテンツストリームについて減らされるように、エンコーダモジュール１６に対して１つまたは複数の再エンコードリクエストを発行することができる。マルチプレックスモジュール１８がマルチキャストを作成した後で、モジュレータ(modulator)２２は、無線物理層の変調スキームにしたがって情報を変調する。送信機２４は、１つまたは複数のアンテナ２８を介して、無線チャネル１５にわたって、加入者デバイス１２Ａ−１２Ｃにマルチキャストを送信する。
【００２９】
下記でより詳細に説明されるように、エンコーダモジュール１６は、無線変調スキームでモジュレータ２２についてプロビジョンされた基層と強化層においてマルチメディアデータを割り付ける。再割り付けモジュール２５は、基層と強化層との間でマルチメディアデータの割当てを分析し、該分析に基づいて、基層と強化層との間でマルチメディアデータを再割り付けする。モジュレータ２２は、再割り付けされたマルチメディアデータを変調し、送信機２４は、無線変調スキームにしたがって、基層と強化層において再割り付けされたマルチメディアデータを送信する。再割り付けモジュール２５によるマルチメディアデータの再割り付けは、チャネルリソースを効率的に利用し、チャネル間の帯域幅のバランスをとり、アプリケーション層におけるエラー弾性を多分改善することに役立つことができ、および／または、全体的な総計帯域幅の使用を減らすことに役立つことができる。再割り付けモジュール２５は、エンコーダモジュール１６のサブルーチンを備えることができるが、簡略化のために別々に図示される。実際、デバイス１０の図示されたコンポーネントは、ハードウェア、ソフトウェア、及びファームウェアのいずれの組み合わせにおいてインプリメントされてもよく、また、図１で示されたいずれのあるいはすべての、コンポーネントあるいはモジュールは、回路あるいはソフトウェアルーチンにおいて組み合わせられることができる。
【００３０】
無線チャネル１５は、いずれの無線プロトコルにしたがって操作することができ、また、固定された帯域幅を有してもよい。言いかえると、マルチメディアデータの組み合わせられたフローを送信するために利用可能な伝送チャネルリソースの量は制限されている。無線コンテキストにおいては、伝送チャネルリソースは、無線リンクあるいは無線インタフェースリソースを備えることができる。したがって、デバイス１０がチャネル１５を介して送信することができるビットの数は、伝送に利用可能である伝送チャネルリソースの量によって制限される。例として、無線チャネル１５は、例えばＦＬＯ、ＤＭＢ、あるいはＤＶＢ−Ｈのような１つあるいは複数の無線ブロードキャスト技術にしたがって、あるいは、例えばモバイル通信用のグローバルシステム（ＧＳＭ）、符号分割多元接続（ＣＤＭＡ）、ＣＤＭＡ２０００、広域ＣＤＭＡ（Ｗ−ＣＤＭＡ）、ＣＤＭＡ １ｘエボリューションーデータ最適化(CDMA 1x Evolution-Data Optimized)（ＥＶ−ＤＯ）、周波数分割多元接続（ＦＤＭＡ）、直交周波数分割多重化（ＯＦＤＭ）、時分割多元接続（ＴＤＭＡ）あるいは、様々なＩＥＥＥ８０１．１１ｘ規格によって規定された無線ネットワーキングを容易にするために開発された標準の広範なファミリのような、１つまたは複数の無線接続技術にしたがって、操作することができる。
【００３１】
いくつかの態様においては、本開示に記載された技術は、ＦＬＯ無線インタフェースの仕様書で、技術規格ＴＩＡ−１０９９（「ＦＬＯ仕様書」）として発行される予定の、「地上モバイルマルチメディアマルチキャストのための順方向リンク専用無線インタフェース仕様書(Forward Link Only Air Interface Specification for Terrestrial Mobile Multimedia Multicast)」を使用して、地上モバイルマルチメディアマルチキャスト（ＴＭ３）システムにおいてリアルタイムビデオサービスを配信するためにＨ．２６４アドバンスドビデオ符号化(H.264 Advanced Video Coding)適用されることができる。すなわち、無線チャネル１５は、ＦＬＯ仕様書、あるいは同様なもの、にしたがって、無線ビデオ情報をブロードキャストするために使用される無線情報チャネルを備えることができる。ＦＬＯ仕様書は、ビットストリームシンタクス及びセマンティックス(bitstream syntax and semantics)及びＦＬＯ無線インタフェースに適切なデコードプロセスを定義している例を含む。あるいは、ビデオは、ＤＶＢ−Ｈ(デジタルビデオブロードキャストハンドヘルド)、ＩＳＤＢ−Ｔ（統合されたサービスデジタルブロードキャストー地上(integrated services digital broadcast - terrestrial)）あるいは、ＤＭＢ（デジタルマルチメディアブロードキャスティング）のような他の標準にしたがって、ブロードキャストされることができる。
【００３２】
ＦＬＯ無線インタフェースにおいてプロビジョンされたレイヤード送信モード(Layered transmit modes)（モード数∈｛６，７，８，９，１０，１１｝）は、２つの異なるサービス品質レベルにおける、２つの（潜在的に関連づけられた）情報のフローの、同時送信及び受信を可能にする。これは、階層的変調技術及び信号コンスタレーションの構造に基づいて、達成され、エネルギー比(energy ratio)、インナー（ターボ(Turbo)）コードレート及びアウター（リードソロモン(Reed-Solomon)）コードレートは、これら２つの仮想チャネルの相対的信頼性(relative reliabilities)を決定する。図２は、２つの異なる仮想チャネル（３１Ａ及び３１Ｂ）を含むように定義された無線チャネル１５の図である。物理層において、変調は、１つの変調チャネルを実際に備えることができるが、仮想チャネル３１Ａ及び３１Ｂは、アプリケーション層において定義されることができる。
【００３３】
典型的なアプリケーションのシナリオにおいては、高いプライオリティデータストリーム、例えばスカラブルビデオコーダの基層ビットストリーム、はより信頼のあるチャネル３１Ａを通じて送信され、そしてしたがって、より高いＱｏＳを提供される。より低い重要性のデータストリーム(lower significance data stream)、例えば同じスカラブルビデオコーダの強化層ビットストリーム、はより低い信頼性チャネル３１Ｂを通じて送信されるであろう、また、より低いＱｏＳを結果として経験するであろう。
【００３４】
ＦＬＯ無線インタフェース仕様書の現在の改定に関して、利用可能な階層的信号のコンスタレーションは、図３に示されているように、１６−ＱＡＭのものに似ている。コンスタレーションにおける各（信号）ポイントに関連づけられた各合成４ビット二進数は、２つのデータストリーム（基層及び強化層）のそれぞれから２ビットを備える。また、物理層において定義された変調は、実際、１つの変調チャネルを備えることができるが、いくつかの仮想チャネルは、異なる層に対して、シグナルコンスタレーション（例えば図３において示されるもの）の特定ビットを割り当てることによって(by assigning)アプリケーション層において定義されることができる。例えば図３に関して、各象限内で、最上位ビット(most significant)（一番左）及び各４ビット二進数のうち第３最上位ビット（左から３番目）は、共同で(jointly)その象限に固有である同じ値を有する。したがって、第１最上位ビット位置値と、第３最上位ビット位置値と、の組み合わせは、受信された信号の象限（サブクラスタ）を識別する。
【００３５】
他方で、各象限内で、その象限において存在する各４ビット二進数の第２最上位ビット（左から２番目）、及び最下位ビット(least significant bit)（右から１番目）は、これらのビット位置は与えられた受信信号についてのサブクラスタにおいて固有に識別されることを可能にする（４つの）可能のある異なる値のすべてを、共同で仮定する。コンスタレーションの構造（異なるインターポイントの距離）により、チャネル雑音による信号コンタミネーションの存在において、誤りのインターサブクラスタ信号遷移(false inter-sub-cluster signal transitions)は、誤りのイントラサブクラスタ信号遷移(false intra-sub-cluster signal transitions)よりも、起こる可能性がより低い。したがって、チャネル雑音により、同じサブクラスタにおける別の信号と同じ信号を混乱することよりも、異なるサブクラスタに属する別の信号と信号を混乱する可能性はより低く、第１最上位ビット位置及び第３最上位ビット位置が残りの２ビット位置よりもよりよく雑音に対して保存されるということを示すサブクラスタを意味している(implying)。したがって、図３に関して、最上位ビット位置のビット値と、第３最上位ビット位置のビット値は、基層データによって寄与されるべきであり、一方で、第２最上位ビット位置のビット値及び最下位ビット位置のビット値は、強化層データによって寄与されるべきである。もちろん、本開示にしたがって、他の多くの信号のコンスタレーションは、定義されあるいは使用されることができるであろう。同じリードソロモンコードレート(Reed-Solomon code rate)が、両方のデータストリーム（基層及び強化層）について使用されることができ、そして、結果は、各スーパーフレームについて、両方のデータストリームの帯域幅は、整合すべきであるということである。
【００３６】
従来のシナリオにおいては、チャネル３１Ａ及び３１Ｂの帯域幅整合（基層及び強化層に対応している）は、より少ない帯域幅のデータストリームのパディングの使用を通じて、達成される。レート制御アルゴリズム(rate control algorithms)の使用にもかかわらず、通常、かなりの不整合(considerable mismatch)があり、そしてそれは、無駄な帯域幅(wasted bandwidth)を導出する。
【００３７】
レイヤード送信モードの２つの仮想チャネル３１Ａ及び３１Ｂによって達成されたサービス品質は、かなり異なる。信頼性のないチャネルにわたって機能することを予期されたストリーミングビデオアプリケーションは、満足なパフォーマンスについてのある特徴をサポートする必要がある。これらのうちの１つは、容認できるレイテンシで、ランダムアクセスの可能(enabling of random access)、すなわち、コンテンツを変更するチャネル切り替え、である。別の特徴は、適合イントラリフレッシュ(Adaptive Intra Refresh)（ＡＩＲ）は、漸進的デコーダリフレッシュ(Gradual Decoder Refresh)（ＧＤＲ）としても知られており、そしてそれは、エラー／損失のケースにおいて時間エラー伝播(temporal error propagation)を緩和することを目的としている。ＡＩＲ／ＧＤＲはまた、ランダムアクセスのための有効なツールとして使用されることができる。２つの重要な特徴についてのサポートは、典型的に、より信頼性のあるチャネルにわたって送信される基層において、インプリメントされ、そして提供されるべきである。基層ビットストリーム(base layer bitstream)は、空間、時間、及び信号サンプルのフィデルティ(fidelity)の点において、品質の必須要件を満たすことを必要とすることができる。上記で言及された２つの特徴は、基層帯域幅の必要性を増加させることができる。このことは、基層及び強化層における帯域幅の整合をよりチャレンジング(challenging)にすることができる。
【００３８】
２つの異なるサービスの品質（ＱｏＳ）クラスは、圧縮されたデータについてのプライオリティ／重要性(priority/significance)の２レベルの量子化(two-level quantization)をもたらす。よりフレキシブルな設定は、２以上のサービス品質レベルを可能にすべきである。この必要性と当然結びつく設計の一例が、ここにおいて説明されている。
【００３９】
ＢスライスあるいはＢフレームは、圧縮効率のための絶対必要なツール(an indispensable tool)を供給する。しかしながら、ＢフレームあるいはＢスライスの数を任意で増やすことは、レート歪みパフォーマンス(rate-distortion performance)についての、あるいは、時間スケーラビリティを通じて基層及び強化層の帯域幅の整合についての、適切な設計ではない。Ｈ．２６４／ＡＶＣ標準は、「一般化されたＢピクチャ(Generalized B Pictures)」（ＢＲフレームと示されている）を可能にしており、そしてそれは、デコード順における他のＢピクチャについての参照として役に立つことができる。このプロビジョンに基づいて、ＧＯＰストラクチャ（ディスプレイ順における）は、以下のように考慮されることができる：
Ｉ１   Ｂ１   ＢＲ１   Ｂ２   Ｐ１   Ｂ３   ＢＲ２   Ｂ４   Ｐ２   Ｂ５   ＢＲ３   Ｂ６   Ｐ３…,等
上記において、自明な数字の表記に加えて、ＢＲ＊は、通常Ｂピクチャについての参照として役立つ一般化されたＢピクチャを示す。このＧＯＰストラクチャに関して、次のように圧縮されたデータ内で３つの（プライオリティ／重要性）のクラスを識別することが可能である：
クラス１。｛Ｉ１，Ｐ１，Ｐ２，Ｐ３，…｝は、３０ｆｐｓ名目時間レートを想定して、７．５ｆｐｓレンダリング(rendering)を提供する。クラス２。｛ＢＲ１，ＢＲ２，ＢＲ３，…｝は、クラス１に関連して１５ｆｐｓレンダリングを提供する。
【００４０】
クラス３。｛Ｂ１，Ｂ２，Ｂ３，Ｂ４，Ｂ５，Ｂ６，…｝は、クラス１及び２に関連して３０ｆｐｓレンダリングを提供する。また、Ｉは「イントラ(intra)」を指し、Ｐは、「予測(predictive)」を指し、またＢは、「双方向予測(bi-directionally predictive)」を指す。
【００４１】
クラス１が基層に割り付けられ、また、クラス３が強化層へと割り付けられる、アレンジメント(arrangement)を正当化することは容易である。クラス２を考慮すると、ＢＲフレームは、クラス３のフレームに対して参照フレーム（部分的に）として、役立つので、クラス２は、論理的に、強化層によって提供されるものよりも、よりよい保護(protection)を受けるに値することができる。また、コンテンツの性質により、７．５ｆｐｓが適切な時間レートでない場合には、そのときには、このことは、基層へとクラス２を移動させるために別の動機を提供する。他方では、基層におけるクラス１とクラス２の両方で、両方の層における等しい帯域幅を達成することは、より可能性がないものとなるであろう。さらに、クラス１がクラス２（及びクラス３）として役立つので、クラス１に提供されたＱｏＳは、クラス２についてのものよりも論理的に良質であるべきであろう。したがって、プライオリティ／重要性に関連して、クラス２は、基層と強化層との間のどこかでより正確に属し、そしてそれは、２つの層（基層と強化層）のみを有しているシステムにおいて存在しなくてもよい。
【００４２】
コーディングデバイスの全体的な設計は、チャレンジングなタスク(a challenging task)である。このような設計においては、以下のことが望ましい。
【００４３】
１．無駄な帯域幅を明示的に回避すること
２．基層データセットと強化層データセットとの間で帯域幅の整合をイネーブルすること
３．不均等エラー保護(Unequal Error Protection)（ＵＥＰ）、すなわちＱｏＳを、２レベル以上で提供することができること
４．エラー弾性を改善すること
これらの目標は、効率的な及び標準的なコンプライアントな方法(in an efficient and standard compliant manner)で、得られるべきである。
【００４４】
本開示の技術は、基層における超過帯域幅のケースと強化層における超過帯域幅のケースとの間で、区別する(distinguish)ことができる。強化層における超過帯域幅のケースは、代替アンバランス(alternate imbalance)よりも、より良性(benign)である。強化層における過剰帯域幅のケースにおいては、基層をパディングする代わりに、強化層における超過マルチメディアデータの部分は、基層へと移動させられることができる。これは、強化層よりも、より高品質なサービス（ＱｏＳ）を再配置されたデータ(relocated data)に供給することができる。これはまた、組み合わせられたフローについての減らされた全体的な帯域幅を導くことができる。輸送及びＳｙｎｃ層フレーミング/パケット化のプロビジョン(Transport and Sync Layer framing/packetization provisions)は、信号を送り、このタイプのデータシャッフリングを管理するように使用されることができる。
【００４５】
下記で記載される技術は、例えばビデオアクセスユニット(video access units)（ＶＡＵｓ）のような、符号化されたマルチメディアデータのまっすぐな区分化が基層におけるより高い帯域を導き出すより実践的な問題、に対する解決(resolution)に集中する。マルチメディアデータをより信頼性の高いチャネルからより信頼性の低いチャネルへと移動させることは、ほとんどのケースにおいては、実行可能ではなく、そして、マルチメディアチャネルをより信頼性の高いチャネルからより信頼性の低いチャネルへと移動させることは、些細なタスクではないため、これは深刻な問題である。
【００４６】
本開示の技術は、基層帯域幅と強化層帯域幅との間のよりよい整合を達成するためのフル再エンコード(full re-encode)が可能ではない、あるいは、すくなくとも望まれていない、ということを仮定することができる。これらの仮定、すなわち基層帯域幅は強化層帯域幅よりも大きい、の下で、フル再エンコードは、オプションではなく、下記の議論は、いくつかの特定のケースに焦点を当てている。動作の異なるコースが、コーディングデバイスが基層と強化層との間のアンバランスを緩和するために、提案されている。次のケースにおいては、エンコーダモジュール１６は、無線変調スキームにおいて定義された基層及び強化層に対して、圧縮されたマルチメディア情報の（仮の）割り付けを行うということが仮定されることができる。再割り付けモジュール２５は、基層と強化層との間のマルチメディアデータの割当てを分析し、その分析に基づいて、基層と強化層との間のマルチメディアデータを再割り付けする。この再割り付けは、下記で対処される(addressed)異なるケースにしたがって生じうる。再割り付けに続いて、送信機２４は、無線変調スキームにしたがって、基層及び強化層で再割り付けされたマルチメディアデータを送信することができる。
【００４７】
ケース１においては、強化層において再割り付けされているようにすぐに影響を受ける(amenable)基層におけるマルチメディアデータがなく、また、マルチプレックスモジュール１８は、現在のスーパーフレーム(current superframe)について帯域幅調節(bandwidth adjustment)（低減）をリクエストしていない。Ｂフレームは、強化層において再割り付けされているようにすぐに影響を受けるフレーム(frames that are immediately amenable to being reallocated in the enhancement layer)であると考慮されることができる。したがって、ケース１では、基層に割り付けられたＢフレームがなくてもよい。ケース１では、そのまま基層帯域幅を保護し、そして、改善されたエラー弾性について強化層において利用可能なスペアの帯域幅を十分に利用するインセンティブがあってもよい。
【００４８】
一例においては、ケース１は、強化層へと基層のスライスの選択サブセットの冗長表示(redundant representations)を導き出すことができるであろう。冗長表示は、基層によって提供される同じ品質レベルになくてもよい。実際に、基層Ｉスライス及びＰスライスは、強化層のＢスライスよりもかなり高い帯域幅を典型的に消費するということに注意して、利用可能なスペアの帯域幅(spare bandwidth available)のより効率的な使用をするために、強化層における、Ｉスライス及びＰスライスのより粗い（低品質の）冗長の描画(a coarser (lower quality) redundant rendition)を利用することは望ましいかもしれない。他方で、この代替表示を生成する追加タスクでコーディングデバイスに重荷を負わせることは、望ましいことではないかもしれない。このジレンマへの標準コンプライアント解決は、スライスデータ区分化(Slice Data Partitioning)（ＳＤＰ）を通じて、達成されることができる。
【００４９】
特に、ＳＤＰは、コア時間スケーラビリティフレームワークと共に、効率的で、単純で、効果的なＳＮＲスケーラビリティのエイド(aid)として使用されることができる。したがって、選択基層ＶＡＵｓの選択スライスの選択区分（潜在的にＡ区分とＢ区分）の冗長複製は、スペアの強化層帯域幅において提供されることができる。ただ１つの追加（冗長）表示を提供するために、Ｈ．２６４／ＡＶＣにおける「冗長符号化されたピクチャ／スライス」プロビジョンが利用されることができる。
【００５０】
ＳＤＰにおいては、符号化されたマルチメディアデータは、異なる区分へと分割される。ＩＴＵ−Ｔ Ｈ．２６４にしたがって、Ｉフレーム（あるいはスライス）は、最大２つの区分（Ａ及びＢ）まで有することができ、Ｂ及びＰフレーム（あるいはスライス）は、最大３つの区分（Ａ、Ｂ、及びＣ）まで有することができる。パートＡ区分は、スライスヘッダ情報、マクロブロック（ＭＢ）タイプ、イントラ予測モード及び符号化で使用された動きベクトルのような、最も重要な情報を含んでいる。パートＢ区分は、イントラＭＢｓについての残余情報を含んでいる。パートＣ区分は、インターＭＢｓについての残余情報を含んでいる。生バイトシーケンスペイロード(Raw Byte Sequence Payload)（ＲＢＳＰ)シンタクス（Ｈ．２６４ Ａｎｎｅｘ Ｂ)と共にＳＤＰを利用することは、各Ｂ及びＣ区分ごとの典型的に４つの追加バイト（３つのスタートコードプレフィックスバイト及び１つのＮＡＬＵヘッダーバイト）の使用を必要とする。このオーバーヘッドの数字(overhead figure)は、ＲＢＳＰトレーリングビット(RBSP trailing bits)によって、各Ｂ及びＣ区分につきもう１バイトによって増加されることができる。冗長符号化の場合、最も重要な情報（パートＡ区分）は、基層及び強化層の両方における冗長符号化についてプライオリティが与えられることができる。また、下記でより詳細に説明されるように、マルチメディアデータが基層から強化層へと移動する必要がある場合には、ＳＤＰスキームにおいて定義されたパートＣ区分情報は、そのプライオリティがＰ及びＢフレームについての３つの異なる区分の最低であるので、移動させられるべきよい候補(good candidate)を提供することができる。
【００５１】
別の例として、ケース１は、部分あるいは全体のビデオアクセス単位(video access units)（ＶＡＵｓ）および／または強化層におけるスライスの、選択サブセットの冗長表示を導き出すことができるであろう。統計的に、Ｂ ＶＡＵ／スライスのサイズは、典型的には２、３０のバイトと小さいということに注意すると、それは、時には、ＢスライスにおいてＳＤＰを使用するのに非効率であり、特にマルチプルスライスでＢ ＶＡＵｓの場合、である。したがって、このケースにおいては、冗長表示は、選択非区分化されたＢ ＶＡＵｓ(select unpartitioned B VAUs)および／または強化層において符号化されているＢスライス、の正確な複製によって提供されることができる。しかしながら、かならずしもすべてのＢ ＶＡＵｓは、等しく重要であるわけではない。それらが存在するときには、ＢＲ ＶＡＵｓは、通常（非参照）Ｂ ＶＡＵｓと比較して、より高いプライオリティ及び重要性を有する。通常のＢ ＶＡＵｓ内で、より高い動きのコンテンツで時間セグメントのサンプリングを可能にするものは、残りのＢ ＶＡＵｓと比較してより重要である。これらの基準は、どのＢ ＶＡＵｓが強化層において冗長で表されるべきであるか（ＢＲｓが存在するときにそれらで開始する）、を決定するために使用されることができる。
【００５２】
このコンテキストにおける冗長表示は、ＢＲ ＶＡＵｓ及び他の望ましいデータのための非均等なエラー保護(Unequal Error Protection)（ＵＥＰ）についての効率的なメカニズムを提供するということに注目すべきである。Ｂ ＶＡＵ／スライスのサイズが小さいので、Ｂ ＶＡＵｓ／スライスについての１つまたは複数の追加（冗長）表示が提供されることができる。Ｈ．２６４標準規格によってプロビジョンされたすでに許容の１つの冗長符号化されたピクチャを超えて(beyond the already permissible one redundant coded picture provisioned by the H.264 standard)、マルチプル冗長表示を達成する標準コンプライアント方法は、「ｕｓｅｒ＿ｄａｔａ＿ｕｎｒｅｇｉｓｔｅｒｅｄ」の補足的強化情報(Supplemental Enhancement Information)（ＳＥＩ）メッセージタイプの使用を通じてである。オリジナル複製と冗長（正確な）複製の両方を含んでいる、同じデータの奇数（≧３）の複製の冗長伝送を全体で仮定すると、デコーディングデバイスは、すべての受信された複製が疑問であるとき、あるいは、すべての受信された複製が、残りの消去された物理層パケット(Physical Layer Packets)（ＰＬＰｓ）から始まるとき、「多数のデコード(majority decoding)」スキームを実行することができる。このアプローチのための基本的な先行条件(fundamental prerequisite)は、ビデオデコード層が誤ったデータを優雅に処理することができるべきであるということである。強化層データセット内に実現された繰返し符号(repetition code)は、冗長で符号化されるデータセグメントの伝送信頼性を高める(elevate)ことができる。
【００５３】
冗長データの複数複製によって経験される伝送インスタントダイバーシティ(transmission-instant diversity)（時間内）は、複製のうちの少なくとも１つは、チャネル欠陥にもかかわらずそのまま受信されるであろうという蓋然性を高めることができる。ここで、最終点として、同じ信頼性（ＱｏＳ）を提供して、同層、すなわち強化層、内で冗長性を導入する提案は、異なる層において冗長性を導入することと比較して、より直感でよく効くアプローチ(a more intuitive and potent approach)として、際立つということに注意されるべきである。
【００５４】
ケース１の別のオプションは、そのエラー処理及び隠蔽(concealment)においてデコーダを援助するために、超過強化層の帯域幅(excess enhancement layer bandwidth)においてアシスタンス情報（すなわち、デコードのヒント）符号化し、伝送することである。冗長マルチメディアデータ伝送の代わりに、あるいは、付け加えて、デバイス１０は、エラー処理及び隠蔽を援助するために、情報の包括を考慮することができ、そしてそれは、デコーダがチャネル欠陥を取り扱うので、デコーダをサポートすることができる。これらのアシスタンス情報は、「スキップ＆フリーズ(skip & freeze)」及び「デコード及び隠蔽(decode & conceal)」動作のような、誤っていないＶＡＵデータ同様誤ったＶＡＵデータを扱うためのデコーダにおいて、より良質の情報意思決定(better informed decision making)を可能にすることができる。さらに、このようなアシスタンス情報は、デコーダが最も適切な（コンテンツ及び損失の構造依存）隠蔽方法を選択することに役立つことができるであろう。
【００５５】
アシスタンス情報は、スーパーフレーム（ＳＦ）構造の記載、すなわちＢ ＶＡＵロケーション、時間（単一方向及び双方向）の同様メトリック、シーン変更／ショットバウンダリインジケータ、グローバル動きディスクリプタ(global motion descriptors)、イントラスライス再シンクロナイゼーションポイントディスクリプタ(intra-slice resynchronization point descriptors)、例えばイントラ予測モード、平均輝度及び色度の値(mean luminance and chrominance values)、及び非自明な／複雑な動きフィールドセグメントについての動きベクトル、のような空間エラー隠蔽(Spatial Error Concealment)（ＳＥＣ)及び時間エラー隠蔽(Temporal Error Concealment)（ＴＥＣ)サポート情報、の形態であってもよい。
【００５６】
現在のＳＦについてのアシスタンス情報に加えて、別のＳＦインターバル、すなわち前の及び／または次のＳＦインターバル、についてのアシスタンス情報の伝送もまた使用されることができる。このことは、増大された時間ダイバーシティから利益を得ることができる。エンコーダあるいはデコーダのいずれかにおいて処理遅延を増大させることは望ましいことではないにも関わらず、適切な単純メトリック及び注意深いパケット化の選択で、いずれの結果として生じるレイテンシは、エンコーダ及びデコーダの両方において、簡単に制御されることができる。
【００５７】
ケース２において、強化層において再割り付けされるようにすぐに影響をうける基層におけるマルチメディアデータはなく、マルチプレックスモジュール１８は、すでに、現在のスーパーフレームについて帯域幅調節（低減）をリクエストしている。また、Ｂフレームは、強化層において再割り付けされるようにすぐに影響を受けるフレームであると考えられることができる。したがって、ケース２においては、基層に割り付けられたＢフレームはない可能性があり、マルチプレックスモジュール１８は、現在のスーパーフレームのために帯域幅調節（低減）をすでにリクエストしている。
【００５８】
これらのケース２の状況下で、エンコーダ処理におけるいずれのバイアスも基層帯域幅を減らすためのものであるべきである。しかしながら、ＩおよびＰのＶＡＵｓだけが基層に含まれるとき、この基層帯域幅の低減は、非自明である。基層帯域幅における低減を効率的に実現するための１つの解決策は、ＳＤＰを通じた単純なＳＮＲスケーラビリティに基づいている。スーパーフレームの最後のＰ ＶＡＵで始めて、選択Ｐスライス／フレームのパートＣ区分は、強化層へと移動させられることができる。このプロセスを、基層のスーパーフレームの終わりで開始する（そして、必要な程度にスーパーフレームの始まりのほうへ移動させる）ことは、強化層が失われる場合には、結果として生じるであろう、いずれの望ましくない再構築のドリフトを制限するように役立つ。この逆（終わりから初めに向かって）の処理順序を通じて、強化層のデータ損失による再構築のドリフトは、現在のスーパーフレーム内で最小の時間スパンに制限されることができる。基層の現在のスーパーフレームの終わりにこのプロセスを開始することはまた、ドリフトの時間伝播を制御するための次のＳＦ（ｓ）におけるＡＩＲ／ＧＤＲからの迅速な利益(a quick benefit)をも可能にする。
【００５９】
ケース２のアプローチにしたがって、パートＡ区分及びパートＢ区分は、基層において保存されるべきである。パートＣ区分（基層から強化層まで）のいずれの再割り付けを通じて実行可能なものを超えて、基層帯域幅と強化層帯域幅との間のいずれの残りの不整合、及び強化層の対応するスペアの帯域幅は、ケース１についてアウトライン化されたアプローチのうちの１つを使用することを通じて、対処されることができる(can be addressed)。
【００６０】
ケース３では、強化層で再割り付けされるようにすぐに影響をうける基層のマルチメディアデータがあり、マルチプレックスモジュール１８は、現在のスーパーフレームについての帯域幅の調整（低減）をリクエストしていない。したがって、ケース３においては、基層に割り付けられたＢフレーム（例えばＢＲフレーム）があり、マルチプレックスモジュール１８は、現在のスーパーフレームについての帯域幅の調整（低減）をリクエストしていない。
【００６１】
このケース３においては、マルチプレックス１８から帯域幅低減リクエストがないので、基層帯域幅を保存するインセンティブが見たところでは(seemingly)あり、そして、ケース１についてアウトライン化された提案のうち１つまたは複数を通じて、強化層で存在するスペアの帯域幅を十分に利用する。しかしながら、効率的な帯域幅の使用の最高重要度に基づいて、コーディングデバイスは、基層帯域幅を減らすフィージビリティを評価すべきである。この目的についての原理イネーブラ(principle enabler towards this end)は、必ずしても、すべてのＢ／ＢＲフレームが等しく重要であるとはかぎらないということである。これは、特に、Ｂ／ＢＲフレームを使用しているユニフォームＧＯＰ構造にあてはまる。適応性のあるＧＯＰ（非同一のＧＯＰとしても知られている）構造で、すなわちビデオシーケンスの非同一動きコンテンツ(non-uniform motion content)と、非同一の時間サンプリングについての対応する機会と、はすでに考慮されうる。
【００６２】
[64]  ケース３においては、第１のオプションは、基層から強化層へと、通常Ｂフレーム（非参照Ｂフレーム）を移動させるものであってもよい。しかしながら、非参照Ｂフレームは、典型的には、基層に含まれていない。ＢＲフレーム（参照Ｂフレーム）で始めて、最低動きコンテンツを備えた時間セグメントをサンプリングして、ＢＲフレームデータは、強化層へと移動させられることができる。このプロセスにおいては、強化層の名目よりも良質のエラー防止をこれらのＢＲフレームに提供するために、冗長性が強化層において提供されることができる。すなわち、基層から強化層へと再割り付けられるＢＲフレームは、強化層において、冗長な方法で、符号化されることができる。ビデオシーケンスの基本品質時間レンダリングについて「必要不可欠／より重要である(essential / more significant)」と考えられるＢＲフレームは、いまだに基層において保存されるべきである。
【００６３】
ケース４においては、強化層において再割り付けされているようにすぐに影響を受ける基層のマルチメディアデータがあり、マルチプレックスモジュール１８は、すでに、現在のスーパーフレームについて、帯域幅調節（低減）をリクエストしている。したがって、ケース４においては、基層に割り付けられたＢフレーム（例えばＢＲフレーム）があり、マルチプレックスモジュール１８は、現在のスーパーフレームについての帯域幅調節（低減）をすでにリクエストしている。
【００６４】
ケース４の状況の下では、処理におけるバイアスは、基層帯域幅を減らすためにあるべきである。ケース３にしたがって、第１のオプションは、基層から強化層へと普通のＢフレーム（非参照Ｂフレーム）を移動させることであってもよい。また、ケース３にしたがって、あまり重要ではないＢＲフレーム(BR frames of lesser significance)で開始して、選択ＢＲフレームのデータは、もし実行可能であれば、強化層においてプロビジョンしている冗長性で、強化層へ移動させられることができる。このケースにおいては、焦点は、主に、基層帯域幅の要件を低くし、そのあとで、基層及び強化層の帯域幅を整合させることにある。エラー弾性改善を当面の目標(an immediate goal)にすることは、このケースにおいては、難しい。
【００６５】
図４は、本開示と一致した技術を図示しているフロー図である。図４に示されるように、エンコーダモジュール１６は、無線変調スキームにおいて定義された基層と強化層の間で、マルチメディアデータを割り付ける（４１）。再割り付けモジュール２５は、そのあと、基層と強化層との間でマルチメディアデータの割り付けを分析し（４２）、そして、該分析に基づいて、基層と強化層との間で、マルチメディアデータを再割り付けする（４３）。送信機２４は、無線変調スキームにしたがって、例えば様々な加入者デバイス１２Ａ−１２Ｃに対して無線チャネル１５にわたって、基層及び強化層において、再割り付けされたマルチメディアデータを送信する（４４）。モジュレータ２２は、送信機２４によるマルチメディアデータの伝送の前に、変調（エンコーダモジュール１６及び再割り付けモジュール２５によって定義された割り付け及び再割り付けによって定義されるように）を実行することができる。
【００６６】
上記でより詳細に説明されているように、エンコーダモジュール１６は、スライスデータ区分スキームにしたがって、基層と強化層との間でマルチメディアデータを割り付けることができる。このケースにおいては、再割り付けモジュール２５は、スライスデータ区分スキームにしたがって、基層と強化層の間でマルチメディアデータを再割り付けする。例えば、再割り付けモジュール２５は、基層から強化層へと、１つまたは複数のマルチメディアフレームに関連づけられた１サブセットのスライスデータ区分を移動させることができる。例えば、ＰフレームのタイプＣ区分は、基層においてＢフレームがないときには移動させられることができる。スライスデータ区分にしたがって、Ｉフレームは、２つのレベルの区分（タイプＡ及びタイプＢの区分）を定義することができ、また、Ｐ及びＢフレームは、３つのレベルの区分（タイプＡ、タイプＢ、及びタイプＣの区分）を定義することができる。
【００６７】
いくつかのケースにおいては、エンコーダモジュール１６は、基層にＩフレーム及びＰフレームを割り当てる(assign)ことができ、また、強化層にＢフレームを割り当てることができる。他のケースにおいて、エンコーダモジュール１６は、Ｉフレーム及びＰフレームを基層に割り当てることができ、基層に第１サブセットのＢフレームを割り当て、そして、強化層に第２サブセットのＢフレームを割り当てることができる。再割り付けモジュール２５によって行なわれた分析は、Ｂフレームが基層にあるかどうかの決定を含むことができる。分析はまた、マルチプレックスモジュール１８がエンコーダモジュール１６に対していずれの再エンコードリクエストを発行したかどうかの決定を含むことができる。
【００６８】
一例において、再割り付けモジュール２５は、再エンコードリクエストが最割り付けされたマルチメディアデータに関して発行されたかどうかを決定し、そして、再エンコードリクエストが発行されたかどうか少なくとも部分に基づいて、基層と強化層との間でマルチメディアデータを再割り付けする。さらに、最割り付けモジュール２５は、基層においてＢフレームがあるかどうかを決定し、そして、基層においてＢフレームがあるかどうかに少なくとも部分的に基づいて、基層と強化層との間でマルチメディアデータを再割り付けすることができる。
【００６９】
図５は、本開示と一致する技術を図示する別のフロー図である。図５に示されているように、エンコーダモジュール１６は、無線変調スキームに定義づけられた基層と強化層との間でマルチメディアデータを割り付ける（５１）。再割り付けモジュール２５は、そのあと、基層においてＢフレームがあるかどうか（５２）、また、再エンコードリクエストが発行されたかどうか（５３Ａと５３Ｂ）を決定するために基層と強化層との間のマルチメディアデータの割り付けを分析する。再割り付けモジュール２５は、そのあと、例えばケース１（５４）、ケース２（５５）、ケース３（５６）あるいはケース４（５７）にしたがって、これらの要因に基づいて、基層と強化層との間でマルチメディアデータを再割り付けする。
【００７０】
例えば、基層においてＢフレームがなく（５２のいいえ分岐）、再エンコードリクエストが発行されていない（５３Ａのいいえ分岐）ときには、再割り付けモジュール２５は、強化層へと基層の１サブセットの情報の１つまたは複数の複製を冗長で割り付けることができる。これはケース１（５４）の１つの可能性である。基層における１サブセットの情報の１つまたは複数の複製の冗長な割り付けは、フレームベース、スライスベース、あるいはスライスデータ区分ベース、で行われることができる。最も重要なフレーム、スライスあるいはスライスデータ区分は、ケース１にしたがった冗長な割り付けの最良の候補である、というのは、データは、基層に残り、そして、加えられたデータのセキュリティのために強化層において冗長で符号化される。
【００７１】
あるいは、基層においてＢフレームがなく（５２のいいえ分岐）、再エンコードリクエストが発行されていなかったとき（５３Ａのいいえ分岐）、再割り付けモジュール２５は、強化層へとアシスタンス情報を符号化することができ、該アシスタンス情報は、エラー処理のためのデコーダに対してアシスタンスを提供する。これはケース１（５４）の代替的な可能性である。多くの可能性のある、アシスタンス情報が上記でリストアップされている。
【００７２】
基層においてＢフレームがなく（５２のいいえ分岐）、再エンコードリクエストが発行される（５３Ａのはい分岐）ときには、再割り付けモジュール２５は、強化層へと、初めから基層にある１つまたは複数の予測（Ｐ）フレームの一部を移動させる。これはケース２（５５）である。特に、ケース２においては、一部のＰフレームの運動(movement)は、基層から強化層へとＰフレームのパートＣ区分（スライスデータ区分によって定義される）を移動させることを含むことができる。与えられたスーパーフレーム内の、もっとあとのＰフレーム(later P frames)（時間が遅い）は、最初に移動させられるべきである。望まれる場合には、基層から強化層へと移動されるいずれのデータも強化された信頼性のために強化層において冗長で符号化されるように、冗長は、プロビジョンされることができる。
【００７３】
基層においてＢフレームがあり（５２のはい分岐）、再エンコードリクエストが発行されていなかった（５３Ｂのいいえ分岐）ときには、再割り付けモジュール２５は、あまり重要ではないＢフレーム(less significant B frames)、あるいはより重要であるＢフレーム(more significant B frames)、を識別するために基層におけるＢフレームを評価し、そして、強化層へと、初めから基層にあるあまり重要ではないＢフレームのうち１つまたは複数を移動させることができる。本開示は、他の方法が使用されることができるであろうにも関わらず、異なるＢフレームに優先順位をつけるための１つの方法を上記で提供する。このケース、すなわちケース３（５６）、においては、再割り付けモジュール２５は、冗長な方法で強化層においてあまり重要ではないＢフレームを符号化することができる。すなわち、基層から強化層へと移動させられるいずれのＢフレームも、強化層において冗長な方法で符号化されることができる。
【００７４】
基層においてＢフレームがあり（５２のはい分岐）、再エンコードリクエストが発行される（５３Ｂのはい分岐）ときには、再割り付けモジュール２５は、あまり重要ではないＢフレーム及びより重要であるＢフレームを識別するために基層のＢフレームを評価し、強化層へと、初めから基層にある１つまたは複数のあまり重要ではないＢフレームを移動させる。このケースはケース４（５７）である。さらに、本開示は、他の方法が使用されることができるにもかかわらず、異なるＢフレームに優先順位をつけるための方法の一例を上記で提供する。ケース３、ケース４、のときに、基層から強化層へと移動させられるいずれのＢフレームも、強化層において冗長な方法で符号化されることができる。
【００７５】
いったんマルチメディアデータが再び割り付けられると、送信機２４は、例えば無線変調スキームにしたがって、基層及び強化層において再割り付けされたマルチメディアデータを送信する（５８）。このような方法で、マルチメディアデータは、様々な加入者デバイス１２Ａ−１２Ｃに、無線チャネル１５にわたって送信される。ここに説明された割り付け及び再割り付けの技術は、チャネルリソースを効率的に使用し、チャネル間の帯域幅のバランスをとり、そしてアプリケーション層におけるエラー弾性を多分改善することに役立つことができる。
【００７６】
ここにおいて説明された教示(teachings)に基づいて、当業者は、ここに開示される態様は、いずれの他の態様から独立してインプリメントされる(implemented)ことができるということ、そして、これらの態様のうちの２つ以上が様々な方法で組み合わされることができるということ、を理解するべきである。ここにおいて説明された技術は、ハードウェア、ソフトウェア、ファームウェアあるいはそれらのいずれの組み合わせにおいてインプリメントされることができる。ハードウェアにおいてインプリメントされる場合には、技術は、デジタルハードウェア、アナログハードウェア、あるいはそれらの組み合わせ、を使用して実現されることができる。ソフトウェアにおいてインプリメントされる場合には、技術は、コンピュータ可読メディア上で１つまたは複数の保存されたあるいは送信されたインストラクションあるいはコードによって、少なくとも部分的に実現されることができる。コンピュータ可読メディアは、コンピュータストレージメディア、通信メディア、あるいはその両方を含むことができ、また、１つの場所から別の場所へとするコンピュータプログラムの転送を容易にするいずれのメディアも含むことができる。ストレージメディアは、コンピュータによってアクセスされることができるいずれの入手可能なメディアであってもよい。
【００７７】
例として、また制限するものではなく、そのようなコンピュータ可読媒体は、シンクロナスダイナミックランダムアクセスメモリ(synchronous dynamic random access memory)（ＳＤＲＡＭ）、読取り専用メモリ(read-only memory)（ＲＯＭ）、不揮発性ランダムアクセスメモリ(non-volatile random access memory)（ＮＶＲＡＭ）、プログラマブル読取り専用メモリＰＲＯＭ、消去可能プログラマブル読取り専用メモリ（ＥＰＲＯＭ）、電気的消去可能プログラマブル読取り専用メモリ(electrically erasable programmable read-only memory)（ＥＥＰＲＯＭ）、フラッシュメモリ(FLASH memory)、ＣＤ−ＲＯＭあるいは他の光学ディスクストレージ、磁気ディスクストレージあるいは他の磁気ストレージデバイス、あるいは、インストラクションあるいはデータストラクチャの形態において望ましいプログラムコードを搬送するあるいは保存するために使用されることができるあるいはコンピュータによってアクセスされることができるいずれの他のタンジブルメディア(tangible medium)、のようなＲＡＭを備えることができる。
【００７８】
また、いずれの接続(connection)もコンピュータ可読媒体と適切に名付けられる。例えば、ソフトウェアが、ネットワークケーブル、同軸ケーブル、光ファイバーケーブル、ツイストペア、デジタル加入者ライン（ＤＳＬ）、あるいは、赤外線、無線、及びマイクロ波のような無線技術を使用して、ウェブサイト、サーバ、あるいは、他の遠隔ソースから送信される場合には、そのときには、ネットワークケーブル、同軸ケーブル、光ファイバーケーブル、ツイストペア、ＤＳＬ、あるいは赤外線、無線、およびマイクロ波のような無線技術は、メディアの定義に含まれている。ここにおいて使用されているように、ディスク(disk)とディスク(disk)は、コンパクトディスク(compact disc)（ＣＤ）、レーザーディスク（登録商標）(laser disc)、光学ディスク(optical disc)、デジタル汎用ディスク(digital versatile disc)（ＤＶＤ）、フロッピー（登録商標）ディスク(disk)およびブルーレイディスク(blu-ray disc)を含んでおり、ディスク(disks)は、大抵、データを磁気で再生しているが、ディスク(discs)は、レーザーで光学的に再生する。上記のものの組み合わせもまた、コンピュータ可読媒体の範囲内に含まれているべきである。
【００７９】
コンピュータプログラムプロダクトは、ここにおいて開示されているように、コンピュータ可読メディアに関連づけられたいずれの材料(materials)同様にコンピュータ可読メディアを含んでおり、そしてそれは、その中でコンピュータ可読メディアがパッケージされるパッケージ材料を含む。コンピュータプログラムプロダクトのコンピュータ可読メディアに関連づけられたコードは、コンピュータによって、例えば１つまたは複数のデジタル信号プロセッサ（ＤＳＰｓ）、汎用マイクロプロセッサ、ＡＳＩＣｓ、ＦＰＧＡｓ、若しくは他の均等の集積化されたあるいはディスクリート論理回路のような１つまたは複数のプロセッサによって、実行されることができる。いくつかの態様においては、ここにおいて説明される機能性は、データをエンコードし、デコードし、変調し、そして送信するために構成された、あるいは、組み合わせられたＣＯＤＥＣ及び無線モジュレータ／送信機に組み込まれた、専用ソフトウェアモジュールあるいはハードウェアモジュール内で提供されることができる。
【００８０】
様々な態様が説明されてきた。これら及び他の態様は、以下の請求項の範囲内である。
【図１】
2010515297.tif 000003
【図２】
2010515297.tif 000004
【図３】
2010515297.tif 000005
【図４】
2010515297.tif 000006
【図５】
2010515297.tif 000007
【国際調査報告】
2010515297.tif 000008
2010515297.tif 000009
2010515297.tif 000010