(57)【要約】  この開示は、デジタルマルチメディアコンテンツのチャネル間における切り替えに関して用いられるチャネル切り替えフレームを符号化するための技法に関連する。特に、符号化デバイスは、１つ以上の空間誤り隠蔽アルゴリズムを用いて復号デバイスにおいて希望される忠実度で再構築することができる１つ以上の画素ブロックを除外するようにチャネル切り替えフレームを符号化することができる。希望される忠実度で再構築することができる前記チャネル切り替えフレームの前記１つ以上の画素ブロックを除外することは、前記チャネル切り替えフレームの一部分を符号化するために必要な帯域幅量を低減させ、それによって利用可能な帯域幅のより効率的な利用を可能にする。【選択図】図３
2010526516.tif 000002
【特許請求の範囲】
【請求項１】
マルチメディアデータを処理するための方法であって、
マルチメディアデータフレームをフレーム間符号化することであって、前記フレーム間符号化されたフレームは、複数の画素ブロックを含むことと、
前記フレーム間符号化されたフレームにおける符号化された前記マルチメディアデータの少なくとも一部を備えるチャネル切り替えフレームをフレーム内符号化することであって、前記チャネル切り替えフレームは、空間誤り隠蔽アルゴリズムを用いて希望される忠実度で再構築することができる前記フレーム間符号化されたフレームの前記複数の画素ブロックのうちの１つ以上を除外するように符号化されること、とを備える、方法。
【請求項２】
前記チャネル切り替えフレームをフレーム内符号化することは、前記フレーム間符号化されたフレームにおける符号化された前記マルチメディアデータの１つ以上のスライスを含むように前記チャネル切り替えフレームをフレーム内符号化することを備える請求項１に記載の方法。
【請求項３】
前記複数の画素ブロックのうちの１つ以上を解析して前記空間誤り隠蔽アルゴリズムを用いて前記希望される忠実度で再構築することができる前記除外された画素ブロックを識別することをさらに備える請求項１に記載の方法。
【請求項４】
前記複数の画素ブロックのうちの１つ以上を解析することは、
前記空間誤り隠蔽アルゴリズムを適用して前記複数の画素ブロックのうちの１つ以上を再構築することと、
前記複数の再構築された画素ブロックの各々と前記フレーム間符号化されたフレームの前記複数の画素ブロックのうちの対応する１つとの間の差分メトリックを計算することと、
しきい値よりも小さいか又は同じである対応する差分メトリックを有する画素ブロックを、前記空間誤り隠蔽アルゴリズムを用いて希望される忠実度で再構築することができる前記除外された画素ブロックとして識別すること、とを備える請求項３に記載の方法。
【請求項５】
前記差分メトリックを計算することは、差分の絶対値の和（ＳＡＤ）、差分の二乗の和（ＳＳＤ）、変換された差分の絶対値の和（ＳＡＴＤ）、及び変換された差分の二乗の和（ＳＳＴＤ）のうちの１つを計算することを備える請求項４に記載の方法。
【請求項６】
前記空間誤り隠蔽アルゴリズムを適用することは、対応する復号モジュールによって用いられる少なくとも１つの空間誤り隠蔽アルゴリズムを適用することを備える請求項４に記載の方法。
【請求項７】
前記複数の画素ブロックのうちの１つ以上を解析することは、
前記複数の画素ブロックのうちの１つ以上と関連づけられた情報を解析して前記画素ブロックが前記空間誤り隠蔽アルゴリズムを用いて前記希望される忠実度で再構築できるかどうかを決定することと、
１つ以上の隣接画素ブロックを用いて十分に補間することができる画素ブロックを、前記空間誤り隠蔽アルゴリズムを用いて希望される忠実度で再構築することができる前記除外された画素ブロックとして識別すること、とをさらに備える請求項３に記載の方法。
【請求項８】
前記複数の画素ブロックのうちの１つ以上と関連づけられた情報を解析することは、前記画素ブロックの画素データにおける方向性構造を決定することと、
一貫した方向性構造を有する画素ブロックを、前記空間誤り隠蔽アルゴリズムを用いて前記希望される忠実度で再構築することができる前記除外された画素ブロックとして識別すること、とを備える請求項７に記載の方法。
【請求項９】
前記マルチメディアデータフレームをフレーム間符号化することは、時間予測符号化を用いて前記フレーム間符号化されたフレームの前記画素ブロックの第１の部分組をフレーム間符号化することと、前記フレーム間符号化されたフレームの前記画素ブロックの第２の部分組をフレーム内符号化すること、とを備え、
前記チャネル切り替えフレームをフレーム内符号化することは、前記フレーム間符号化されたフレームの前記画素ブロックの前記第２の部分組の前記画素ブロックのうちの１つ以上に対応する前記マルチメディアデータを符号化せずに前記フレーム間符号化されたフレームの前記画素ブロックの前記第１の部分組の前記画素ブロックのうちの１つ以上に対応する前記マルチメディアデータを含むように前記チャネル切り替えフレームをフレーム内符号化することを備える請求項１に記載の方法。
【請求項１０】
前記マルチメディアデータフレームをフレーム間符号化することは、時間予測符号化を用いて前記フレーム間符号化されたフレームの前記画素ブロックの第１の部分組をフレーム間符号化することと、前記フレーム間符号化されたフレームの前記画素ブロックの第２の部分組をフレーム内符号化すること、とを備え、
前記チャネル切り替えフレームをフレーム内符号化することは、前記対応するフレーム間符号化されたフレームの前記画素ブロックの前記第１の部分組の前記画素ブロックのうちの１つ以上に対応する前記チャネル切り替えフレームによって含められた前記マルチメディアデータと比較して低下された品質で前記フレーム間符号化されたフレームの前記画素ブロックの前記第２の部分組の前記画素ブロックのうちの１つ以上に対応する前記マルチメディアデータをフレーム内符号化することを備える請求項１に記載の方法。
【請求項１１】
前記フレーム間符号化されたフレーム及び前記チャネル切り替えフレームは、第１のフレーム間符号化されたフレームと第１のチャネル切り替えフレームとを備え、
第２のマルチメディアデータフレームをフレーム間符号化することと、
前記第２のフレーム間符号化されたフレームにおける符号化された前記マルチメディアデータの少なくとも一部を備える第２のチャネル切り替えフレームをフレーム内符号化すること、とを備え、前記第２のチャネル切り替えフレームは、前記空間誤り隠蔽アルゴリズムを用いて前記希望される忠実度で再構築することができる前記第２のフレーム間符号化されたフレームの１つ以上の画素ブロックを除外するように符号化される請求項１に記載の方法。
【請求項１２】
前記第１のチャネル切り替えフレームは、前記第１のフレーム間符号化されたフレームにおける符号化された前記マルチメディアデータの第１のスライスを符号化し、前記第２のチャネル切り替えフレームは、前記第２のフレーム間符号化されたフレームにおける符号化された前記マルチメディアデータの第２のスライスを符号化する請求項１１に記載の方法。
【請求項１３】
マルチメディアデータを処理するための装置であって、
マルチメディアデータフレームをフレーム間符号化し、及び
前記フレーム間符号化されたフレームにおける符号化された前記マルチメディアデータの少なくとも一部を備えるチャネル切り替えフレームをフレーム内符号化する符号化モジュールを備え、前記フレーム間符号化されたフレームは、複数の画素ブロックを含み、前記チャネル切り替えフレームは、空間誤り隠蔽アルゴリズムを用いて希望される忠実度で再構築することができる前記フレーム間符号化されたフレームの１つ以上の画素ブロックを除外するように符号化される、装置。
【請求項１４】
前記符号化モジュールは、前記フレーム間符号化されたフレームにおける符号化された前記マルチメディアデータのスライスを含むように前記チャネル切り替えフレームをフレーム内符号化する請求項１３に記載の装置。
【請求項１５】
前記符号化モジュールは、前記複数の画素ブロックのうちの１つ以上を解析して前記空間誤り隠蔽アルゴリズムを用いて前記希望される忠実度で再構築することができる前記除外された画素ブロックを識別する請求項１３に記載の装置。
【請求項１６】
前記符号化モジュールは、
前記空間誤り隠蔽アルゴリズムを適用して前記複数の画素ブロックのうちの１つ以上を再構築し、
前記複数の再構築された画素ブロックの各々と前記フレーム間符号化されたフレームの前記複数の画素ブロックのうちの対応する１つとの間の差分メトリックを計算し、及び
しきい値よりも小さいか又は同じである対応する差分メトリックを有する画素ブロックを、前記空間誤り隠蔽アルゴリズムを用いて前記希望される忠実度で再構築することができる前記除外された画素ブロックとして識別する請求項１５に記載の装置。
【請求項１７】
前記符号化モジュールは、差分の絶対値の和（ＳＡＤ）、差分の二乗の和（ＳＳＤ）、変換された差分の絶対値の和（ＳＡＴＤ）、及び変換された差分の二乗の和（ＳＳＴＤ）のうちの１つを計算する請求項１６に記載の装置。
【請求項１８】
前記符号化モジュールは、対応する復号モジュールによって用いられる少なくとも１つの空間誤り隠蔽アルゴリズムを適用することを備える請求項１６に記載の装置。
【請求項１９】
前記符号化モジュールは、前記複数の画素ブロックのうちの１つ以上と関連づけられた情報を解析して前記画素ブロックが前記空間誤り隠蔽アルゴリズムを用いて前記希望される忠実度で再構築できるかどうかを決定し、及び
十分に補間することができる画素ブロックを、前記空間誤り隠蔽アルゴリズムを用いて前記希望される忠実度で再構築することができる前記除外された画素ブロックとして識別する請求項１５に記載の装置。
【請求項２０】
符号化モジュールは、
前記複数の画素ブロックのうちの１つ以上と関連づけられた情報を解析し、
前記画素ブロックの画素データにおける方向性構造を決定することを備え、及び
一貫する方向性構造を有する画素ブロックを、前記空間誤り隠蔽アルゴリズムを用いて前記希望される忠実度で再構築することができる前記除外された画素ブロックとして識別する請求項１９に記載の装置。
【請求項２１】
前記符号化モジュールは、
時間予測符号化を用いて前記フレーム間符号化されたフレームの前記画素ブロックの第１の部分組をフレーム間符号化し、
前記フレーム間符号化されたフレームの前記画素ブロックの第２の部分組をフレーム内符号化し、及び
前記フレーム間符号化されたフレームの前記画素ブロックの前記第２の部分組の前記画素ブロックのうちの１つ以上に対応する前記マルチメディアデータを符号化せずに前記フレーム間符号化されたフレームの前記画素ブロックの前記第１の部分組の前記画素ブロックのうちの１つ以上に対応する前記マルチメディアデータを含むように前記チャネル切り替えフレームをフレーム内符号化する請求項１３に記載の装置。
【請求項２２】
前記符号化モジュールは、
時間予測符号化を用いて前記フレーム間符号化されたフレームの前記画素ブロックの第１の部分組をフレーム間符号化し、
前記フレーム間符号化されたフレームの前記画素ブロックの第２の部分組をフレーム内符号化し、及び
前記対応するフレーム間符号化されたフレームの前記画素ブロックの前記第１の部分組の前記画素ブロックのうちの１つ以上に対応する前記チャネル切り替えフレームによって含められた前記マルチメディアデータと比較して低下された品質で前記フレーム間符号化されたフレームの前記画素ブロックの前記第２の部分組の前記画素ブロックのうちの１つ以上に対応する前記マルチメディアデータをフレーム内符号化する請求項１３に記載の装置。
【請求項２３】
前記フレーム間符号化されたフレーム及び前記チャネル切り替えフレームは、第１のフレーム間符号化されたフレームと第１のチャネル切り替えフレームとを備え、及び
前記符号化モジュールは、第２のマルチメディアデータフレームをフレーム間符号化し及び前記第２のフレーム間符号化されたフレームにおける符号化された前記マルチメディアデータの少なくとも一部を備える第２のチャネル切り替えフレームをフレーム内符号化し、前記第２のチャネル切り替えフレームは、前記空間誤り隠蔽アルゴリズムを用いて前記希望される忠実度で再構築することができる前記第２のフレーム間符号化されたフレームの１つ以上の画素ブロックを除外するように符号化される請求項１３に記載の装置。
【請求項２４】
前記符号化モジュールは、
前記第１のフレーム間符号化されたフレームにおける符号化された前記マルチメディアデータの第１のスライスを備えるように前記第１のチャネル切り替えフレームをフレーム内符号化し、及び
前記第２のフレーム間符号化されたフレームにおける符号化された前記マルチメディアデータの第２のスライスを備えるように前記第２のチャネル切り替えフレームをフレーム内符号化する請求項１３に記載の装置。
【請求項２５】
マルチメディアデータを処理するための装置であって、マルチメディアデータフレームをフレーム間符号化するための手段であって、前記フレーム間符号化されたフレームは、複数の画素ブロックを含む手段と、
前記フレーム間符号化されたフレームにおける符号化された前記マルチメディアデータの少なくとも一部を備えるチャネル切り替えフレームをフレーム内符号化するための手段であって、前記チャネル切り替えフレームは、空間誤り隠蔽アルゴリズムを用いて希望される忠実度で再構築することができる前記フレーム間符号化されたフレームの前記複数の画素ブロックのうちの１つ以上を除外するように符号化される手段と、を備える、装置。
【請求項２６】
前記フレーム内符号化する手段は、前記フレーム間符号化されたフレームにおける符号化された前記マルチメディアデータの１つ以上のスライスを含むように前記チャネル切り替えフレームをフレーム内符号化する請求項２５に記載の装置。
【請求項２７】
前記複数の画素ブロックのうちの１つ以上を解析して前記空間誤り隠蔽アルゴリズムを用いて前記希望される忠実度で再構築することができる前記除外された画素ブロックを識別するための手段をさらに備える請求項２５に記載の装置。
【請求項２８】
前記解析する手段は、
前記空間誤り隠蔽アルゴリズムを適用して前記複数の画素ブロックのうちの１つ以上を再構築するための手段と、
前記複数の再構築された画素ブロックの各々と前記フレーム間符号化されたフレームの前記複数の画素ブロックのうちの対応する１つとの間の差分メトリックを計算するための手段と、
しきい値よりも小さいか又は同じである対応する差分メトリックを有する画素ブロックを、前記空間誤り隠蔽アルゴリズムを用いて前記希望される忠実度で再構築することができる前記除外された画素ブロックとして識別するための手段と、含む請求項２７に記載の装置。
【請求項２９】
前記解析する手段は、差分の絶対値の和（ＳＡＤ）、差分の二乗の和（ＳＳＤ）、変換された差分の絶対値の和（ＳＡＴＤ）、及び変換された差分の二乗の和（ＳＳＴＤ）のうちの１つを計算する請求項２８に記載の装置。
【請求項３０】
前記解析する手段は、対応する復号モジュールによって用いられる少なくとも１つの空間誤り隠蔽アルゴリズムを適用する請求項２８に記載の装置。
【請求項３１】
前記解析する手段は、
前記複数の画素ブロックのうちの１つ以上と関連づけられた情報を解析して前記画素ブロックが前記空間誤り隠蔽アルゴリズムを用いて前記希望される忠実度で再構築できるかどうかを決定するための手段と、
十分に補間することができる画素ブロックを、前記空間誤り隠蔽アルゴリズムを用いて前記希望される忠実度で再構築することができる前記除外された画素ブロックとして識別するための手段と、を含む請求項２７に記載の装置。
【請求項３２】
前記解析する手段は、前記画素ブロックの画素データにおける方向性構造を決定するための手段と、
一貫した方向性構造を有する画素ブロックを、前記空間誤り隠蔽アルゴリズムを用いて前記希望される忠実度で再構築することができる前記除外された画素ブロックとして識別するための手段と、を含む請求項３１に記載の装置。
【請求項３３】
前記フレーム間符号化する手段は、時間予測符号化を用いて前記フレーム間符号化されたフレームの前記画素ブロックの第１の部分組をフレーム間符号化し、及び    
前記フレーム内符号化する手段は、前記フレーム間符号化されたフレームの前記画素ブロックの第２の部分組の前記画素ブロックのうちの１つ以上に対応する前記マルチメディアデータを符号化せずに前記フレーム間符号化されたフレームの前記画素ブロックの前記第１の部分組の前記画素ブロックのうちの１つ以上に対応する前記マルチメディアデータを含むように前記フレーム間符号化されたフレームの前記画素ブロックの前記第２の部分組をフレーム内符号化し及び前記チャネル切り替えフレームをフレーム内符号化する請求項２５に記載の装置。
【請求項３４】
前記フレーム間符号化する手段は、時間予測符号化を用いて前記フレーム間符号化されたフレームの前記画素ブロックの第１の部分組をフレーム間符号化し、        
前記フレーム内符号化する手段は、前記フレーム間符号化されたフレームの前記画素ブロックの第２の部分組をフレーム内符号化し、及び、前記チャネル切り替えフレームに関して、前記対応するフレーム間符号化されたフレームの前記画素ブロックの前記第１の部分組の前記画素ブロックのうちの１つ以上に対応する前記チャネル切り替えフレームによって含められた前記マルチメディアデータと比較して低下された品質で前記フレーム間符号化されたフレームの前記画素ブロックの前記第２の部分組の前記画素ブロックのうちの１つ以上に対応する前記マルチメディアデータをフレーム内符号化する請求項２５に記載の装置。
【請求項３５】
前記フレーム間符号化されたフレーム及び前記チャネル切り替えフレームは、第１のフレーム間符号化されたフレームと第１のチャネル切り替えフレームとを備え、
前記フレーム間符号化する手段は、第２のマルチメディアデータフレームをフレーム間符号化し、
前記フレーム内符号化する手段は、前記第２のフレーム間符号化されたフレームにおける符号化された前記マルチメディアデータの少なくとも一部を備える第２のチャネル切り替えフレームをフレーム内符号化し、前記第２のチャネル切り替えフレームは、前記空間誤り隠蔽アルゴリズムを用いて前記希望される忠実度で再構築することができる前記第２のフレーム間符号化されたフレームの１つ以上の画素ブロックを除外するように符号化される請求項２５に記載の装置。
【請求項３６】
前記第１のチャネル切り替えフレームは、前記第１のフレーム間符号化されたフレームにおける符号化された前記マルチメディアデータの第１のスライスを符号化し、前記第２のチャネル切り替えフレームは、前記第２のフレーム間符号化されたフレームにおける符号化された前記マルチメディアデータの第２のスライスを符号化する請求項３５に記載の装置。
【請求項３７】
命令が格納されたコンピュータによって読み取り可能な媒体を備えるマルチメディアデータを処理するためのコンピュータプログラム製品であって、前記命令は、
マルチメディアデータフレームをフレーム間符号化するための符号であって、前記フレーム間符号化されたフレームは、複数の画素ブロックを含む符号と、
前記フレーム間符号化されたフレームにおける符号化された前記マルチメディアデータの少なくとも一部を備えるチャネル切り替えフレームをフレーム内符号化するための符号であって、前記チャネル切り替えフレームは、空間誤り隠蔽アルゴリズムを用いて希望される忠実度で再構築することができる前記フレーム間符号化されたフレームの前記複数の画素ブロックのうちの１つ以上を除外するように符号化される符号と、を備える、コンピュータプログラム製品。
【請求項３８】
前記チャネル切り替えフレームをフレーム内符号化するための符号は、前記フレーム間符号化されたフレームにおける符号化された前記マルチメディアデータのスライスを含むように前記チャネル切り替えフレームをフレーム内符号化するための符号を備える請求項３７に記載のコンピュータプログラム製品。
【請求項３９】
前記複数の画素ブロックのうちの１つ以上を解析して前記空間誤り隠蔽アルゴリズムを用いて前記希望される忠実度で再構築することができる前記除外された画素ブロックを識別するための符号をさらに備える請求項３７に記載のコンピュータプログラム製品。
【請求項４０】
前記複数の画素ブロックのうちの１つ以上を解析するための前記符号は、
前記空間誤り隠蔽アルゴリズムを適用して前記複数の画素ブロックのうちの１つ以上を再構築するための符号と、
前記複数の再構築された画素ブロックの各々と前記フレーム間符号化されたフレームの前記複数の画素ブロックのうちの対応する１つとの間の差分メトリックを計算するための符号と、
しきい値よりも小さいか又は同じである対応する差分メトリックを有する画素ブロックを、前記空間誤り隠蔽アルゴリズムを用いて前記希望される忠実度で再構築することができる前記除外された画素ブロックとして識別するための符号と、を備える請求項３９に記載のコンピュータプログラム製品。
【請求項４１】
前記差分メトリックを計算するための前記符号は、差分の絶対値の和（ＳＡＤ）、差分の二乗の和（ＳＳＤ）、変換された差分の絶対値の和（ＳＡＴＤ）、及び変換された差分の二乗の和（ＳＳＴＤ）のうちの１つを計算するための符号を備える請求項４０に記載のコンピュータプログラム製品。
【請求項４２】
前記少なくとも１つの空間誤り隠蔽アルゴリズムを適用するための前記符号は、対応する復号モジュールによって用いられる少なくとも１つの空間誤り隠蔽アルゴリズムを適用するための符号を備える請求項４０に記載のコンピュータプログラム製品。
【請求項４３】
前記複数の画素ブロックのうちの１つ以上を解析するための前記符号は、
前記複数の画素ブロックのうちの１つ以上と関連づけられた情報を解析して前記画素ブロックが前記空間誤り隠蔽アルゴリズムを用いて前記希望される忠実度で再構築できるかどうかを決定するための符号と、
十分に補間することができる画素ブロックを、前記空間誤り隠蔽アルゴリズムを用いて前記希望される忠実度で再構築することができる前記除外された画素ブロックとして識別するための符号と、をさらに備える請求項３９に記載のコンピュータプログラム製品。
【請求項４４】
前記複数の画素ブロックのうちの１つ以上と関連づけられた情報を解析するための前記符号は、前記画素ブロックの画素データにおける方向性構造を決定するための符号を備え、
識別するための前記符号は、一貫する方向性構造を有する画素ブロックを、前記空間誤り隠蔽アルゴリズムを用いて前記希望される忠実度で再構築することができる前記除外された画素ブロックとして識別するための符号を備える請求項４３に記載のコンピュータプログラム製品。
【請求項４５】
前記１つ以上のフレームをフレーム間符号化するための符号は、時間予測符号化を用いて前記フレーム間符号化されたフレームの前記画素ブロックの第１の部分組をフレーム間符号化するための符号と、前記フレーム間符号化されたフレームの前記画素ブロックの第２の部分組をフレーム内符号化するための符号と、を備え、
前記チャネル切り替えフレームの前記一部分をフレーム内符号化するための符号は、前記フレーム間符号化されたフレームの前記画素ブロックの前記第２の部分組の前記画素ブロックのうちの１つ以上に対応する前記マルチメディアデータを符号化せずに前記フレーム間符号化されたフレームの前記画素ブロックの前記第１の部分組の前記画素ブロックのうちの１つ以上に対応する前記マルチメディアデータを含むように前記チャネル切り替えフレームをフレーム内符号化するための符号を備える請求項３７に記載のコンピュータプログラム製品。
【請求項４６】
前記１つ以上のフレームをフレーム間符号化するための前記符号は、時間予測符号化を用いて前記フレーム間符号化されたフレームの前記画素ブロックの第１の部分組をフレーム間符号化するための符号と、前記フレーム間符号化されたフレームの前記画素ブロックの第２の部分組をフレーム内符号化するための符号とを備え、
前記チャネル切り替えフレームの前記一部分をフレーム内符号化するための前記符号は、前記対応するフレーム間符号化されたフレームの前記画素ブロックの前記第１の部分組の前記画素ブロックのうちの１つ以上に対応する前記チャネル切り替えフレームによって含められた前記マルチメディアデータと比較して低下された品質で前記フレーム間符号化されたフレームの前記画素ブロックの前記第２の部分組の前記画素ブロックのうちの１つ以上に対応する前記マルチメディアデータをフレーム内符号化するための符号を備える請求項３７に記載のコンピュータプログラム製品。
【請求項４７】
前記フレーム間符号化されたフレーム及び前記チャネル切り替えフレームは、第１のフレーム間符号化されたフレームと第１のチャネル切り替えフレームとを備え、
第２のマルチメディアデータフレームをフレーム間符号化するための符号と、前記第２のフレーム間符号化されフレームにおける符号化された前記マルチメディアデータの少なくとも一部を備える第２のチャネル切り替えフレームをフレーム内符号化するための符号と、を備え、前記第２のチャネル切り替えフレームは、前記空間誤り隠蔽アルゴリズムを用いて前記希望される忠実度で再構築することができる前記第２のフレーム間符号化されたフレームの１つ以上の画素ブロックを除外するように符号化される請求項３７に記載のコンピュータプログラム製品。
【請求項４８】
前記第１のチャネル切り替えフレームは、前記第１のフレーム間符号化されたフレームにおける符号化された前記マルチメディアデータの第１のスライスを符号化し及び前記第２のチャネル切り替えフレームは前記第２のフレーム間符号化されたフレームにおける符号化された前記マルチメディアデータの第２のスライスを符号化する請求項４７に記載のコンピュータプログラム製品。
【請求項４９】
マルチメディアデータを処理するための方法であって、
第１のチャネルと関連づけられた複数の符号化されたマルチメディアデータフレームを入手することであって、前記複数の符号化されたフレームは、フレーム間符号化されたフレームとチャネル切り替えフレームとを含み、前記チャネル切り替えフレームは、前記フレーム間符号化されたフレームにおける符号化された前記マルチメディアデータの少なくとも一部に対応するフレーム内符号化されたマルチメディアデータを含むことと、
イベントに応じて、前記フレーム内符号化されたマルチメディアデータに対応する前記チャネル切り替えフレームの画素ブロックを復号することと、
少なくとも１つの空間誤り隠蔽アルゴリズムを用いて前記チャネル切り替えフレーム内における符号化されなかった１つ以上の画素ブロックを再構築すること、とを備える、方法。
【請求項５０】
第２のチャネルから前記第１のチャネルへの切り替え要求を受信することと、前記第２のチャネルから前記第１のチャネルに切り替えることと、
前記要求に応じて前記第１のチャネルの前記チャネル切り替えフレームの前記画素ブロックを復号すること、とをさらに備える請求項４９に記載の方法。
【請求項５１】
前記フレーム間符号化されたフレームを復号することと、
前記フレーム間符号化されたフレームの前記符号化された及び前記復号されたデータのうちの１つ内において前記再構築された画素ブロックが希望される忠実度よりも低い忠実度を結果的に有することになる破損を検出することと、
前記破損を検出することに応じて前記第１のチャネルの前記チャネル切り替えフレームの画素ブロックを復号すること、とをさらに備える請求項４９に記載の方法。
【請求項５２】
前記フレーム間符号化されたフレームは、フレーム間符号化された画素ブロックの第１の部分組と、フレーム内符号化された画素ブロックの第２の部分組とを備え、
前記フレーム間符号化されたフレームのブロックの前記第２の部分組の前記フレーム内符号化された画素ブロックのうちの１つ以上を復号することと、
前記フレーム間符号化されたフレームの前記復号されたフレーム内符号化された画素ブロック、前記チャネル切り替えフレームの前記復号された画素ブロック、及び前記チャネル切り替えフレームの前記再構築された画素ブロックを結合して復号されたデータフレームを生成すること、とをさらに備える請求項４９に記載の方法。
【請求項５３】
前記チャネル切り替えフレーム内における符号化されなかった前記１つ以上の画素ブロックを再構築することは、前記チャネル切り替えフレーム内において符号化されず及び前記フレーム間符号化されたフレームにおけるフレーム内符号化されなかった前記画素ブロックを、前記チャネル切り替えフレームの前記復号された画素ブロック及び前記フレーム間符号化されたフレームの前記復号されたフレーム内符号化された画素ブロックのうちの少なくとも１つに基づいて前記空間誤り隠蔽アルゴリズムを用いて再構築することを備える請求項５２に記載の方法。
【請求項５４】
前記フレーム間符号化されたフレームは、フレーム間符号化された画素ブロックの第１の部分組と、フレーム内符号化された画素ブロックの第２の部分組と、を備え、前記フレーム間符号化されたフレームのブロックの前記第２の部分組の前記フレーム内符号化された画素ブロックのうちの１つ以上を復号して前記チャネル切り替えフレームの前記対応する画素ブロックの品質を向上させることをさらに備える請求項４９に記載の方法。
【請求項５５】
前記複数の符号化されたフレームは、前記チャネル切り替えフレームに後続する少なくとも１つのフレーム間符号化されたフレームを含み、前記チャネル切り替えフレームに先行するいずれの符号化されたフレームも基準にせずに前記チャネル切り替えフレームに後続する前記フレーム間符号化されたフレームを復号することをさらに備える請求項４９に記載の方法。
【請求項５６】
前記チャネル切り替えフレームは、第１のチャネル切り替えフレームを備え、第２のチャネル切り替えフレームを受信することをさらに備える請求項４９に記載の方法。
【請求項５７】
マルチメディアデータを処理するための装置であって、
第１のチャネルと関連づけられた複数の符号化されたマルチメディアデータフレームを入手し、及びイベントに応じて、前記フレーム内符号化されたマルチメディアデータに対応する前記チャネル切り替えフレームを復号する選択式復号モジュールであって、前記複数の符号化されたフレームは、フレーム間符号化されたフレームとチャネル切り替えフレームとを含み、前記チャネル切り替えフレームは、前記フレーム間符号化されたフレームにおける符号化された前記マルチメディアデータの少なくとも一部に対応するフレーム内符号化されたマルチメディアデータを備える選択式復号モジュールと、
少なくとも１つの空間誤り隠蔽アルゴリズムを用いて前記チャネル切り替えフレームの一部分内における符号化されなかった１つ以上の画素ブロックを再構築する空間誤り隠蔽モジュールと、を備える、装置。
【請求項５８】
前記選択式復号モジュールは、第２のチャネルから前記第１のチャネルへの切り替え要求を受信し、前記第２のチャネルから前記第１のチャネルに切り替え、及び前記要求に応じて前記第１のチャネルの前記チャネル切り替えフレームの前記画素ブロックを復号する請求項５７に記載の装置。
【請求項５９】
前記選択式復号モジュールは、前記フレーム間符号化されたフレームを復号し、前記フレーム間符号化されたフレームの前記符号化された又は前記復号されたデータのうちの１つ内において前記再構築された画素ブロックが希望される忠実度よりも低い忠実度を結果的に有することになる破損を検出し、前記破損を検出することに応じて前記第１のチャネルの前記チャネル切り替えフレームの画素ブロックを復号する請求項５７に記載の装置。
【請求項６０】
前記フレーム間符号化されたフレームは、フレーム間符号化された画素ブロックの第１の部分組と、フレーム内符号化された画素ブロックの第２の部分組と、を備え、
前記選択式復号モジュールは、前記フレーム間符号化されたフレームのブロックの前記第２の部分組の前記フレーム内符号化された画素ブロックのうちの１つ以上を復号し、及び前記フレーム間符号化されたフレームの前記復号されたフレーム内符号化された画素ブロック、前記チャネル切り替えフレームの前記復号された画素ブロック、及び前記チャネル切り替えフレームの前記再構築された画素ブロックを結合して復号されたデータフレームを生成する請求項５７に記載の装置。
【請求項６１】
前記空間誤り隠蔽モジュールは、チャネル切り替えフレーム内において符号化されず及び前記フレーム間符号化されたフレームにおいてフレーム内符号化されなかった前記画素ブロックを、前記チャネル切り替えフレームの前記復号された画素ブロック及び前記フレーム間符号化されたフレームの前記復号されたフレーム内符号化された画素ブロックのうちの少なくとも１つに基づいて前記空間誤り隠蔽アルゴリズムを用いて再構築する請求項６０に記載の装置。
【請求項６２】
前記フレーム間符号化されたフレームは、フレーム間符号化された画素ブロックの第１の部分組と、フレーム内符号化された画素ブロックの第２の部分組と、を備え、
前記選択式復号モジュールは、前記フレーム間符号化されたフレームのブロックの前記第２の部分組の前記フレーム内符号化された画素ブロックのうちの１つ以上を復号して前記チャネル切り替えフレームの前記対応する画素ブロックの品質を向上させる請求項５７に記載の装置。
【請求項６３】
前記複数の符号化されたフレームは、前記チャネル切り替えフレームに後続する少なくとも１つのフレーム間符号化されたフレームを含み、前記選択式復号モジュールは、前記チャネル切り替えフレームに先行する前記符号化されたフレームのいずれも基準にせずに前記チャネル切り替えフレームに後続する前記少なくとも１つのフレーム間符号化されたフレームを復号する請求項５７に記載の装置。
【請求項６４】
前記チャネル切り替えフレームは、第１のチャネル切り替えフレームを備え、前記複数の符号化されたフレームは、第２のチャネル切り替えフレームを含む請求項５７に記載の装置。
【請求項６５】
マルチメディアデータを処理するための装置であって、
第１のチャネルと関連づけられた複数の符号化されたマルチメディアデータフレームを入手するための手段であって、前記複数の符号化されたフレームは、フレーム間符号化されたフレームとチャネル切り替えフレームとを含み、前記チャネル切り替えフレームは、前記フレーム間符号化されたフレームにおける符号化された前記マルチメディアデータの少なくとも一部に対応するフレーム内符号化されたマルチメディアデータを備える手段と、
イベントに応じて、前記フレーム内符号化されたマルチメディアデータに対応する前記チャネル切り替えフレームの画素ブロックを復号するための手段と、
少なくとも１つの空間誤り隠蔽アルゴリズムを用いて前記チャネル切り替えフレーム内における符号化されなかった以上の画素ブロックを再構築するための手段と、を備える、装置。
【請求項６６】
第２のチャネルから前記第１のチャネルへの切り替え要求を受信するための手段と、
前記第２のチャネルから前記第１のチャネルに切り替えるための手段と、をさらに備え、
前記復号する手段は、前記要求に応じて前記第１のチャネルの前記チャネル切り替えフレームの前記画素ブロックを復号する請求項６５に記載の装置。
【請求項６７】
前記復号する手段は、前記フレーム間符号化されたフレームを復号し、前記フレーム間符号化されたフレームの前記符号化された及び前記復号されたデータのうちの１つ内において前記再構築された画素ブロックが希望される忠実度よりも低い忠実度を結果的に有することになる破損を検出し、前記破損を検出することに応じて前記第１のチャネルの前記チャネル切り替えフレームの画素ブロックを復号する請求項６５に記載の装置。
【請求項６８】
前記フレーム間符号化されたフレームは、フレーム間符号化された画素ブロックの第１の部分組と、フレーム内符号化された画素ブロックの第２の部分組と、を備え、前記復号する手段は、前記フレーム間符号化されたフレームのブロックの前記第２の部分組の前記フレーム内符号化された画素ブロックのうちの１つ以上を復号し、及び前記フレーム間符号化されたフレームの前記復号されたフレーム内符号化された画素ブロック、前記チャネル切り替えフレームの前記復号された画素ブロック、及び前記チャネル切り替えフレームの前記再構築された画素ブロックを結合して復号されたデータフレームを生成する請求項６５に記載の装置。
【請求項６９】
前記再構築する手段は、前記チャネル切り替えフレーム内において符号化されず及び前記フレーム間符号化されたフレームにおいてフレーム内符号化されなかった前記画素ブロックを、前記チャネル切り替えフレームの前記復号された画素ブロック及び前記フレーム間符号化されたフレームの前記復号されたフレーム内符号化された画素ブロックのうちの少なくとも１つに基づいて前記空間誤り隠蔽アルゴリズムを用いて再構築する請求項６８に記載の装置。
【請求項７０】
前記フレーム間符号化されたフレームは、フレーム間符号化された画素ブロックの第１の部分組と、フレーム内符号化された画素ブロックの第２の部分組と、を備え、前記復号する手段は、前記フレーム間符号化されたフレームのブロックの前記第２の部分組の前記フレーム内符号化された画素ブロックのうちの１つ以上を復号して前記チャネル切り替えフレームの前記対応する画素ブロックの品質を向上させる請求項６５に記載の装置。
【請求項７１】
前記複数の符号化されたフレームは、前記チャネル切り替えフレームに後続する少なくとも１つのフレーム間符号化されたフレームを含み、前記復号する手段は、前記チャネル切り替えフレームに先行するいずれの前記符号化されたフレームも基準にせずに前記チャネル切り替えフレームに後続する前記フレーム間符号化されたフレームを復号する請求項６５に記載の装置。
【請求項７２】
前記チャネル切り替えフレームは、第１のチャネル切り替えフレームを備え、前記入手する手段は、第２のチャネル切り替えフレームを入手する請求項６５に記載の装置。
【請求項７３】
命令が格納されたコンピュータによって読み取り可能な媒体を備えるマルチメディアデータを処理するためのコンピュータプログラム製品であって、前記命令は、
第１のチャネルと関連づけられた複数の符号化されたマルチメディアデータフレームを入手するための符号であって、前記複数の符号化されたフレームは、フレーム間符号化されたフレームとチャネル切り替えフレームとを含み、前記チャネル切り替えフレームは、前記フレーム間符号化されたフレームにおける符号化された前記マルチメディアデータの少なくとも一部に対応するフレーム内符号化されたマルチメディアデータを備える符号と、
イベントに応じて、前記フレーム内符号化されたマルチメディアデータに対応する前記チャネル切り替えフレームの画素ブロックを復号するための符号と、
少なくとも１つの空間誤り隠蔽アルゴリズムを用いて前記チャネル切り替えフレーム内における符号化されなかった１つ以上の画素ブロックを再構築するための符号と、を備える、コンピュータプログラム製品。
【請求項７４】
前記命令は、
第２のチャネルから前記第１のチャネルへの切り替え要求を受信するための符号と、
前記第２のチャネルから前記第１のチャネルに切り替えるための符号と、
前記要求に応じて前記第１のチャネルの前記チャネル切り替えフレームの前記画素ブロックを復号するための符号と、をさらに備える請求項７３に記載のコンピュータプログラム製品。
【請求項７５】
前記命令は、
前記フレーム間符号化されたフレームを復号するための符号と、前記フレーム間符号化されたフレームの前記符号化された及び前記復号されたデータのうちの１つ内において前記再構築された画素ブロックが希望される忠実度よりも低い忠実度を結果的に有することになる破損を検出するための符号と、
前記破損を検出することに応じて前記第１のチャネルの前記チャネル切り替えフレームの画素ブロックを復号するための符号と、をさらに備える請求項７３に記載のコンピュータプログラム製品。
【請求項７６】
前記フレーム間符号化されたフレームは、フレーム間符号化された画素ブロックの第１の部分組と、フレーム内符号化された画素ブロックの第２の部分組と、を備え、前記命令は、
前記フレーム間符号化されたフレームのブロックの前記第２の部分組の前記フレーム内符号化された画素ブロックのうちの１つ以上を復号するための符号と、
前記フレーム間符号化されたフレームの前記復号されたフレーム内符号化された画素ブロック、前記チャネル切り替えフレームの前記復号された画素ブロック、及び前記チャネル切り替えフレームの前記再構築された画素ブロックを結合して復号されたデータフレームを生成するための符号と、をさらに備える請求項７３に記載のコンピュータプログラム製品。
【請求項７７】
前記チャネル切り替えフレーム内における符号化されなかった前記１つ以上の画素ブロックを再構築するための前記符号は、前記チャネル切り替えフレーム内において符号化されず及び前記フレーム間符号化されたフレームにおけるフレーム内符号化されなかった前記画素ブロックを、前記チャネル切り替えフレームの前記復号された画素ブロック及び前記フレーム間符号化されたフレームの前記復号されたフレーム内符号化された画素ブロックのうちの少なくとも１つに基づいて前記空間誤り隠蔽アルゴリズムを用いて再構築するための符号を備える請求項７６に記載のコンピュータプログラム製品。
【請求項７８】
前記フレーム間符号化されたフレームは、フレーム間符号化された画素ブロックの第１の部分組と、フレーム内符号化された画素ブロックの第２の部分組と、を備え、前記命令は、前記フレーム間符号化されたフレームのブロックの前記第２の部分組の前記フレーム内符号化された画素ブロックのうちの１つ以上を復号して前記チャネル切り替えフレームの前記対応する画素ブロックの品質を向上させるための符号をさらに備える請求項７３に記載のコンピュータプログラム製品。
【請求項７９】
前記複数の符号化されたフレームは、前記チャネル切り替えフレームに後続する少なくとも１つのフレーム間符号化されたフレームを含み、前記命令は、前記チャネル切り替えフレームに先行するいずれの符号化されたフレームも基準にせずに前記チャネル切り替えフレームに後続する前記フレーム間符号化されたフレームを復号するための符号をさらに備える請求項７３に記載のコンピュータプログラム製品。
【請求項８０】
前記チャネル切り替えフレームは、第１のチャネル切り替えフレームを備え、第２のチャネル切り替えフレームを受信することを前記コンピュータに行わせる命令をさらに備える請求項７３に記載のコンピュータプログラム製品。
【発明の詳細な説明】
【技術分野】
【０００１】
この開示は、デジタルマルチメディアに関するものである。この開示は、より具体的には、デジタルマルチメディアコンテンツチャネル間で切り替えるための技法に関するものである。
【背景技術】
【０００２】
様々なデジタルマルチメディア放送技法が開発され、移動無線デバイスによる受信に合わせて最適化されてきている。該技法は、順方向リンク専用（ＦＬＯ）と、デジタルマルチメディア放送（ＤＭＢ）と、デジタル映像放送−ハンドヘルド（ＤＶＢ−Ｈ）と、を含む。デジタルマルチメディア放送は、典型的には、１つ以上のデジタルマルチメディア符号化基準、例えば、ムービング・ピクチャ・エキスパーツ・グループ（ＭＰＥＧ）−１、ＭＰＥＧ−２、ＭＰＥＧ−４、国際電気通信連合（ＩＴＵ）Ｈ．２６３基準、又はＨ．２６４、に依拠する。ＩＴＵ  Ｈ．２６４基準は、ＭＰＥＧ−４、Ｐａｒｔ−１０、“アドバンストビデオコーディング”に対応する。これらの符号化基準は、一般的には、データを圧縮された形で符号化することによってマルチメディアシーケンスの送信効率をサポートする。
【０００３】
幾つかの放送技法は、一連の物理チャネル又は論理チャネルとしてコンテンツを配送し、従来のテレビと同様のコンテンツ選択経験を提供する。各物理チャネル又は論理チャネルは、音声／映像ストリーム、音声／映像クリップ、又はその他の情報コンテンツを符号化するデジタルデータを搬送する。チャネルを切り替えるために、モバイルデバイスは、デジタルデータを、例えば１つ以上のパケット又はフレームの形で、選択されたチャネルから取得し、そのデータを復号してユーザーにコンテンツを提示する。チャネルの選択及び提示が不必要に遅延するのは望ましくないことであり、ユーザーが慣れている“チャネルサーフィン”経験を損なう。従って、チャネル切り替え時間の短縮は、放送における１つの重要な関心事である。
【発明の概要】
【０００４】
この開示の一定の側面においては、マルチメディアデータを処理するための方法は、マルチメディアデータフレームをフレーム間符号化することであって、前記フレーム間符号化されたフレームは、複数の画素ブロックを含むことと、前記フレーム間符号化されたフレームにおける符号化された前記マルチメディアデータの少なくとも一部を備えるチャネル切り替えフレームをフレーム内符号化することであって、前記チャネル切り替えは、空間誤り隠蔽アルゴリズムを用いて希望される忠実度（ｆｉｄｅｌｉｔｙ）で再構築することができる前記フレーム間符号化されたフレームの前記複数の画素ブロックのうちの１つ以上を除外するように符号化されること、とを備える。
【０００５】
一定の側面においては、マルチメディアデータを処理するための装置は、マルチメディアデータフレームをフレーム間符号化する符号化モジュールを備える。前記フレーム間符号化されたフレームは、複数の画素ブロックを含む。前記符号化モジュールは、前記フレーム間符号化されたフレームにおける符号化された前記マルチメディアデータの少なくとも一部を備えるチャネル切り替えフレームをフレーム内符号化もする。前記チャネル切り替えフレームは、空間誤り隠蔽アルゴリズムを用いて希望される忠実度で再構築することができる前記フレーム間符号化されたフレームの１つ以上の画素ブロックを除去ように符号化される。
【０００６】
一定の側面においては、マルチメディアデータを処理するための装置は、マルチメディアデータフレームをフレーム間符号化するための手段を備え、前記フレーム間符号化されたフレームは、複数の画素ブロックを含む。前記装置は、前記フレーム間符号化されたフレームにおける符号化された前記マルチメディアデータの少なくとも一部を備えるチャネル切り替えフレームをフレーム内符号化するための手段をさらに備える。前記チャネル切り替えフレームは、空間誤り隠蔽アルゴリズムを用いて希望される忠実度で再構築することができる前記フレーム間符号化されたフレームの前記複数の画素ブロックのうちの１つ以上を除外するように符号化される。  
一定の側面においては、命令を有するコンピュータによって読み取り可能な媒体を備える、マルチメディアデータを処理するためのコンピュータプログラム製品であって、前記命令は、マルチメディアデータフレームをフレーム間符号化するための符号を備え、前記フレーム間符号化されたフレームは、複数の画素ブロックと、前記フレーム間符号化されたフレームにおける符号化された前記マルチメディアデータの少なくとも一部を備えるチャネル切り替えフレームをフレーム内符号化するための符号と、を含み、前記チャネル切り替えフレームは、空間誤り隠蔽アルゴリズムを用いて希望される忠実度で再構築することができる前記フレーム間符号化されたフレームの前記複数の画素ブロックのうちの１つ以上を除外するように符号化される。
【０００７】
一定の側面においては、マルチメディアデータフレームを処理するための方法は、第１のチャネルと関連づけられた複数の符号化されたマルチメディアデータフレームを入手することを備え、前記複数の符号化されたフレームは、フレーム間符号化されたフレームと、前記フレーム間符号化されたフレームにおける符号化された前記マルチメディアデータの少なくとも一部に対応するフレーム内符号化されたマルチメディアデータを備えるチャネル切り替えフレームと、を含む。さらに、前記方法は、イベントに応じて、前記フレーム内符号化されたマルチメディアデータに対応する前記チャネル切り替えフレームの画素ブロックを復号することを備える。前記方法は、少なくとも１つの空間誤り隠蔽アルゴリズムを用いて前記チャネル切り替えフレーム内において符号化されなかった１つ以上の画素ブロックを再構築することも備える。
【０００８】
一定の側面においては、マルチメディアデータを処理するための装置は、第１のチャネルと関連づけられた複数の符号化されたマルチメディアデータフレームを入手し、及びイベントに応じて、前記フレーム内符号化されたマルチメディアデータに対応する前記チャネル切り替えフレームを復号する選択式復号モジュールであって、前記複数の符号化されたフレームは、フレーム間符号化されたフレームと、前記フレーム間符号化されたフレームにおける符号化された前記マルチメディアデータの少なくとも一部に対応するフレーム内符号化されたマルチメディアデータを備えるチャネル切り替えフレームと、を含む選択式復号モジュール、を備える。前記装置は、少なくとも１つの空間誤り隠蔽アルゴリズムを用いて前記チャネル切り替えフレームの前記一部内において符号化されない１つ以上の画素ブロックを再構築する空間誤り隠蔽モジュールも含む。
【０００９】
一定の側面においては、マルチメディアデータを処理するための装置は、第１のチャネルと関連づけられた複数の符号化されたマルチメディアデータフレームを入手するための手段であって、前記複数の符号化されたフレームは、フレーム間符号化されたフレームと、前記フレーム間符号化されたフレームにおける符号化された前記マルチメディアデータの少なくとも一部分に対応するフレーム内符号化されたマルチメディアデータを備えるチャネル切り替えフレームと、を含む手段と、イベントに応じて、前記フレーム内符号化されたマルチメディアデータに対応する前記チャネル切り替えフレームの画素ブロックを復号するための手段と、少なくとも１つの空間誤り隠蔽アルゴリズムを用いて前記チャネル切り替えフレーム内の符号化されなかった１つ以上の画素ブロックを再構築するための手段と、を備える。
【００１０】
一定の側面においては、命令を有するコンピュータによって読み取り可能な媒体を備える、マルチメディアデータを処理するためのコンピュータプログラム製品であって、前記命令は、第１のチャネルと関連づけられた複数の符号化されたマルチメディアデータフレームを入手するための符号を備え、前記複数の符号化されたフレームは、フレーム間符号化されたフレームと、前記フレーム間符号化されたフレームにおける符号化された前記マルチメディアデータの少なくとも一部に対応するフレーム内符号化されたマルチメディアデータを備えるチャネル切り替えフレームと、を含む。前記命令は、イベントに応じて、前記フレーム内符号化されたマルチメディアデータに対応する前記チャネル切り替えフレームの画素ブロックを復号するための符号と、少なくとも１つの空間誤り隠蔽アルゴリズムを用いて前記チャネル切り替えフレーム内の符号化されなかった１つ以上の画素ブロックを再構築するための符号と、をさらに備える。
【００１１】
１つ以上の例の詳細が添付図面及び以下の説明において示される。その他の特徴、目的、及び利点が、以下の説明と図面から、及び請求項から明確になるであろう。
【図面の簡単な説明】
【００１２】
【図１】ここにおいて説明されるチャネル切り替え技法を採用する映像符号化及び復号システムを示すブロック図である。
【図２】この開示の技法を用いて符号化される符号化されたマルチメディアシーケンスの典型的部分を示した図である。
【図３】この開示の技法を用いて符号化される符号化されたマルチメディアシーケンスの典型的部分を示した図である。
【図４】典型的符号化モジュールをさらに詳細に示したブロック図である。
【図５】典型的選択式復号モジュールをさらに詳細に示したブロック図である。
【図６】この開示の技法によりマルチメディアデータシーケンスを符号化する符号化モジュールの典型的動作を示した流れ図である。
【図７】この開示の技法により符号化されたマルチメディアデータシーケンスを復号する選択式復号モジュールの典型的動作を示した流れ図である。
【図８】この開示の技法により符号化された典型的チャネル切り替えフレームを示した図である。
【図９】この開示の技法により符号化された他の典型的チャネル切り替えフレーム及び対応するフレーム間符号化されたフレームを示した図である。
【発明を実施するための形態】
【００１３】
この開示は、デジタルマルチメディアに関するものであり、より具体的には、デジタルマルチメディアコンテンツチャネル間の切り替えのために用いられるチャネル切り替えフレーム（ＣＳＦ）を符号化するための技法に関するものである。特に、符号化デバイスは、１つ以上の空間誤り隠蔽（ＳＥＣ）アルゴリズムを用いて復号デバイスにおいて十分に再構築することができる１つ以上の画素ブロック（ここにおいては“ブロック”と呼ばれる）を除外するようにチャネル切り替えフレームを符号化することができる。例えば、符号化デバイスは、希望される忠実度で、すなわちしきい値よりも高いか又は同じである忠実度で再構築することができる１つ以上のブロックを除外するようにチャネル切り替えフレームを符号化することができる。空間誤り隠蔽を用いて希望される忠実度で再構築することができるチャネル切り替えフレームの１つ以上のブロックを除外することは、チャネル切り替えフレームを符号化するために必要な帯域幅量を低減させ、それによって利用可能な帯域幅のより効率的な利用を可能にする。
【００１４】
幾つかの側面においては、符号化デバイスは、復号デバイスによって用いられる特定の空間誤り隠蔽アルゴリズム又はアルゴリズム（複数）を承知していること及び復号デバイスの空間誤り隠蔽アルゴリズムを用いて希望される忠実度でブロックを再構築できるかどうかを決定することができる。符号化デバイスは、例えば、ブロックの符号化−復号されたバージョンとＳＥＣを介して生成されたブロックのバージョンとの間における差分の絶対値の和（ＳＡＤ）、差分の二乗の和（ＳＳＤ）、変換された差分の和（ＳＴＤ）、ピーク信号対雑音比（ＰＳＮＲ）、又はその他の測定値、等の尺度に基づいて再構築の十分度、例えば忠実度、を決定することができる。一例として、符号化デバイスは、３０ｄＢ以上であるＰＳＮＲでブロックを再構築できるときに希望される忠実度でブロックを構築可能であると決定することができる。
【００１５】
代替として、符号化デバイスは、復号デバイスによってサポートされる特定の空間誤り隠蔽アルゴリズムを知らないことができ及びブロックと関連づけられた情報を解析してブロックを十分に補間できるかどうかを決定することによっていずれのブロックを復号デバイスによって十分に再構築できるかを決定することができる。符号化デバイスは、同じフレーム内の情報、そして特に隣接ブロックから入手可能な情報を用いてブロックを十分に補間できるかどうかを決定することができる。ブロックを十分に補間できるかどうかの評価は、例えば、信号の平滑さ又は方向性評価に基づくことができ、従ってこの評価を特定のＳＥＣアルゴリズムから切り離すことができる。例えば、幾つかの実施形態においては、符号化デバイスは、ブロック分類技法を用いてブロックの複雑さを決定することができる。符号化デバイスは、いずれかの方向性構造が存在するかを決定し、方向性構造がブロック内に存在するときにそのブロックは十分に補間可能であるとして分類することができる。
【００１６】
図１は、ここにおいて説明されるチャネル切り替え技法を採用する映像符号化及び復号システム１０を示すブロック図である。符号化及び復号システム１０は、送信チャネル１６によって接続された符号化デバイス１２と復号デバイス１４とを含む。符号化デバイス１２は、１つ以上のデジタルマルチメディアデータシーケンスを符号化し、符号化されたシーケンスを復号のために及び可能なことに復号デバイス１４のユーザーへの提示のために送信チャネル１６において復号デバイス１４に送信する。送信チャネル１６は、有線又は無線の媒体、又はその組み合わせを備えることができる。
【００１７】
符号化デバイス１２は、１つ以上のマルチメディアデータチャネルをブロードキャストするために用いられるブロードキャストネットワーク構成要素の一部を成すことができる。従って、符号化されたシーケンスの各々は、マルチメディアデータチャネルに対応することができる。一例として、符号化デバイス１２は、符号化されたマルチメディアデータの１つ以上のチャネルを無線デバイスにブロードキャストするために用いられる無線基地局、サーバー、又はいずれかのインフラストラクチャノードの一部を成すことができる。この場合は、符号化デバイス１２は、符号化されたデータを複数の無線デバイス、例えば復号デバイス１４、に送信することができる。しかしながら、単純化することを目的として図１には単一の復号デバイス１４が示される。
【００１８】
復号デバイス１４は、符号化デバイス１２によって送信された符号化されたマルチメディアデータを受信し及びユーザーに提示するために映像データを復号するユーザーデバイスを備えることができる。一例として、復号デバイス１４は、デジタルテレビ、無線通信デバイス、ゲームプレイ装置、ポータブルデジタルアシスタント（ＰＤＡ）、ラップトップコンピュータ、デスクトップコンピュータ、デジタル音楽及び映像デバイス、例えば 商標“ｉＰｏｄ”の名称で販売されるデバイス、ラジオテレフォン、例えばセルラー、衛星又は地上に基づくラジオテレフォン、又は映像ストリーミング、ビデオテレフォニー、又はその両方に関して装備されるその他の無線移動端末、の一部として実装することができる。復号デバイス１４は、移動デバイス又は静止デバイスと関連づけることができる。ブロードキャスト用途においては、符号化デバイス１２は、複数のユーザーと関連づけられた複数の復号デバイス１４に符号化された映像を送信することができる。
【００１９】
幾つかの側面においては、双方向通信用途に関して、符号化及び復号システム１０は、セッション開始プロトコル（ＳＩＰ）、国際電気通信連合標準化セクター（ＩＴＵ−Ｔ）Ｈ．３２３基準、ＩＴＵ−Ｔ Ｈ．３２４基準、又はその他の基準に従ってビデオテレフォニー又は映像ストリーミングをサポートすることができる。一方向又は双方向通信に関して、符号化デバイス１２は、映像圧縮基準、例えばムービング・ピクチャ・エキスパーツ・グループ（ＭＰＥＧ）−２、ＭＰＥＧ−４、ＩＴＵ−Ｔ Ｈ．２６３、又は、ＭＰＥＧ−４、Ｐａｒｔ１０、アドバンストビデオコーディング（ＡＶＣ）に対応するＩＴＵ−Ｈ．２６４、に従って符号化されたマルチメディアデータを生成することができる。図１には示されていないが、符号化デバイス１２及び復号デバイス１４は、音声符号器及び復号器とそれぞれ一体化することができ、共通のデータシーケンス又は別個のデータシーケンス内の音声及び映像の両方の符号化を処理するための適切なマルチプレクサ−デマルチプレクサ（ＭＵＸ−ＤＥＭＵＸ）モジュール、又はその他のハードウェア、ファームウェア、又はソフトウェアを含むことができる。該当する場合は、ＭＵＸ−ＤＥＭＵＸモジュールは、ＩＴＵ−Ｈ．２２３マルチプレクサプロトコル、又はユーザーデータグラムプロトコル（ＵＤＰ）等のその他のプロトコルに準拠することができる。
【００２０】
幾つかの側面においては、この開示は、技術基準ＴＩＡ−１０９９、Ａｕｇ．２００６として発行された順方向リンク専用（ＦＬＯ）エアインタフェース仕様“Forward Link Only Air Interface Specification for Terrestrial Mobile Multimedia Multicast”（地上移動マルチメディアマルチキャストに関する順方向リンク専用エアインタフェース仕様）（“ＦＬＯ仕様”）を用いて地上移動マルチメディアマルチキャスト（ＴＭ３）システムにおいてリアルタイムマルチメディアサービスを配送するためのエンハンストＨ．２６４映像符号化への適用を企図する。しかしながら、この開示において説明されるチャネル切り替え技法は、特定の型のブロードキャスト、マルチキャスト、又はポイント・ツー・ポイントシステムに限定されない。
【００２１】
図１に示されるように、符号化デバイス１２は、符号化モジュール１８と、送信機２０と、を含む。符号化モジュール１８は、１つ以上のデータフレームを含む１つ以上の入力マルチメディアシーケンスを受信し、受信されたマルチメディアシーケンスのフレームを選択的に符号化する。符号化モジュール１８は、入力されたマルチメディアシーケンスを１つ以上のソース（図１には示されない）から受信する。幾つかの側面においては、符号化モジュール１８は、例えば衛星を介して１つ以上の映像コンテンツプロバイダから入力マルチメディアシーケンスを受信することができる。他の例として、符号化モジュール１８は、符号化デバイス１２内に組み入れられるか又は符号化デバイス１２に結合された画像キャプチャデバイス（図１には示されない）からマルチメディアシーケンスを受け取ることができる。代替として、符号化モジュール１８は、符号化デバイス１２内の又は符号化デバイス１２に結合されたメモリ又はアーカイブ（図１には示されない）からマルチメディアシーケンスを受け取ることができる。マルチメディアシーケンスは、符号化されてブロードキャストとして又はオンデマンドで送信されるライブのリアルタイムの又はほぼリアルタイムの映像、音声、又は映像と音声のシーケンスを備えることができ、又は符号化してブロードキャストとして又はオンデマンドで送信するために予め記録されて格納された映像、音声、又は映像と音声を備えることができる。幾つかの側面においては、マルチメディアシーケンスの少なくとも一部分は、例えばゲームプレイにおける場合のようにコンピュータによって生成することができる。この開示の技法は、マルチメディアデータに関して実行することとして説明されるが、マルチメディアに加えて音声通信及びデータ通信を処理するために類似の技法を用いることができる。
【００２２】
いずれの場合も、符号化モジュール１８は、複数のフレームを符号化して複数の符号化されたフレームを送信機２０を介して復号デバイス１４に送信する。符号化モジュール１８は、１つ以上の符号化技法を用いて入力されたマルチメディアシーケンスのフレームを符号化することができる。例えば、符号化デバイス１８は、フレーム内符号化技法を用いてこれらのフレームのうちの１つ以上を符号化することができる。フレーム内符号化技法を用いた符号化されるフレームは、その他のフレームを基準にせずに符号化され、イントラ（“Ｉ”）フレームとしばしば呼ばれる。符号化モジュール１８は、フレーム間符号化技法を用いてフレームのうちの１つ以上を符号化することもできる。フレーム間符号化技法を用いて符号化されたフレームは、１つ以上のその他のフレームを基準にして符号化される。フレーム間符号化されたフレームは、１つ以上の予測“Ｐ”フレーム、双方向（“Ｂ”）フレーム、又はその組み合わせを含むことができる。Ｐフレームは、少なくとも１つの時間的に前のフレームを基準にして符号化され、Ｂフレームは、少なくとも１つの時間的に前のフレーム及び少なくとも１つの時間的に後のフレームを基準にして符号化される。
【００２３】
符号化モジュール１８は、フレームを複数のブロックに分割してこれらのブロックの各々を別々に符号化するようにさらに構成することができる。一例として、符号化モジュール１８は、複数の１６×１６ブロックにフレームを分割することができる。幾つかのブロックは、“マクロブロック”としばしば呼ばれ、小分割ブロック（ここでは“サブブロック”としばしば呼ばれる）から成るグループを備える。一例として、１６×１６マクロブロックは、４つの８×８サブブロック、又はその他の小分割ブロックを備えることができる。例えば、Ｈ．２６４基準は、様々な異なるサイズ、例えば１６×１６、１６×８、８×１６、８×８、４×４、８×４、４×８、を有するブロックの符号化を可能にする。さらに、拡大として、あらゆるサイズのサブブロック、例えば、２×１６、１６×２、２×２、４×１６、及び８×２、をマクロブロック内に含めることができる。従って、符号化モジュール１８は、フレームを幾つかのブロックに分割し及び画素ブロックの各々をフレーム内符号化されたブロック又はフレーム間符号化されたブロックとして符号化するように構成することができ、これらの各々を一般的にブロックと呼ぶことができる。幾つかの側面においては、符号化モジュール１８は、異なる符号化技法を用いて単一のフレーム間符号化フレーム内のブロックを符号化することができる。換言すると、符号化デバイス１８は、フレーム内符号化技法を用いてデータフレーム内の幾つかのブロックを符号化し及びフレーム間符号化技法を用いて同じデータフレーム内のその他のブロックを符号化することができ、従ってフレームがＰ（又はＢ）ブロック及びＩブロックの両方を含むことができる。以上のように、ここにおいて用いられる用語であるフレーム間符号化されるフレームは、ブロックの少なくとも一部分がフレーム間符号化技法を用いて符号化されるあらゆるフレームを意味する。
【００２４】
さらに、符号化モジュール１８は、復号デバイス１４のチャネル切り替え能力を向上させるために１つ以上のチャネル切り替えフレームを符号化及び送信する。ここにおいて用いられる用語“チャネル切り替えフレーム”は、対応するフレーム間符号化されたデータフレームのマルチメディアデータの少なくとも一部を含むフレーム内符号化されたデータフレームを意味する。換言すると、チャネル切り替えフレームは、対応するフレーム間符号化されたデータフレームのマルチメディアデータの少なくとも一部の第２の符号化されたバージョンであるとみることができる。この方法により、チャネル切り替えフレームは、フレーム間符号化されたフレームのうちの対応する１つと共配置され、幾つかの場合においては、以下において詳細に説明されるように対応するフレーム間符号化されたフレームの代わりに復号することができる。動作においては、チャネル切り替えが希望されるときには、復号デバイス１４は、選択されたチャネルと関連づけられた映像をより素早く生成するために共配置されたフレーム間符号化されたフレームの代わりにチャネル切り替えフレームにアクセスする。しかしながら、幾つかの側面においては、対応するフレーム間符号化されたフレームの一部は、チャネル切り替えフレームとともに復号することができる。
【００２５】
符号化モジュール１８は、ここにおいて説明される技法によりチャネル切り替えフレームをフレーム内符号化する。より具体的には、符号化モジュール１８は、利用可能な帯域幅をより効率的に利用するためにチャネル切り替えフレームの１つ以上のブロックを除外するようにチャネル切り替えフレームをフレーム内符号化する。符号化モジュール１８は、チャネル切り替えフレーム内の全ブロックをフレーム内符号化する代わりに、フレーム内の選択されたブロックの符号化をスキップし、それによりチャネル切り替えフレーム内の符号化された情報の量を減少させる。特に、符号化モジュール１８は、１つ以上の空間誤り隠蔽アルゴリズムを用いて復号デバイス１４において希望される忠実度で再構築できるチャネル切り替えフレームの１つ以上のブロックを除外するようにチャネル切り替えフレームを符号化する。換言すると、符号化モジュール１８は、スキップされた場合でも依然として同じフレーム内の隣接ブロックからの情報を用いて復号デバイス１４によって再構築することができるブロックを識別し、これらのブロックをチャネル切り替えフレームから省く。この方法により、符号化モジュール１８は、チャネル切り替えフレームを符号化するために必要な帯域幅量を低減させる。
【００２６】
幾つかの側面においては、符号化モジュール１８は、復号デバイス１４によって用いられる特定の空間誤り隠蔽アルゴリズム又はアルゴリズム（複数）を承知していることができ及び復号デバイス１４の空間誤り隠蔽アルゴリズムを用いて希望される忠実度でブロックを再構築できるかどうかを決定することができる。符号化モジュール１８は、例えば、再構築されたブロックの忠実度、例えばブロックの符号化−復号されたバージョンとＳＥＣを介して生成されたブロックのバージョンとの間の比較に基づく忠実度、を決定することができる。再構築されたブロックの忠実度の尺度として用いることができるメトリック例は、ＳＡＤ、ＳＳＤ、ＳＴＤ、ＰＳＮＲ、又はその他の差分メトリック、又は人間の視覚上の知覚に近似するメトリック、を含む。一例として、符号化モジュール１８は、３０ｄＢよりも大きいか又は同じであるＰＳＮＲを用いてブロックを再構築できるときに希望される忠実度で再構築できると決定することができる。
【００２７】
代替として、符号化モジュール１８は、復号デバイス１４によってサポートされる特定の空間誤り隠蔽アルゴリズムを知らないことができ及びブロックと関連づけられた情報を解析して復号デバイスによってブロックを十分に補間できるかどうかを決定することによっていずれのブロックを復号デバイスによって希望される忠実度で再構築できるかを決定することができる。符号化モジュール１８は、隣接ブロック内の情報を用いてブロックを十分に補間できるかどうかを決定することができる。ブロックを十分に補間できるかどうかの評価は、例えば、信号の平滑さ又は方向性の評価に基づくことができる。例えば、幾つかの実施形態においては、符号化モジュール１８は、ブロック分類技法を用いてブロックの複雑さを決定することができる。符号化モジュールは、いずれかの方向性構造が存在するかを決定し、方向性構造がブロック内に存在するときに十分に補間可能であるとして分類することができる。
【００２８】
さらに、符号化モジュール１８は、対応するフレーム間符号化されたフレーム内に存在するフレーム内符号化されたブロックに対応するブロックを除外するようにチャネル切り替えフレームの少なくとも一部分を符号化するように構成することができる。換言すると、符号化モジュール１８は、対応するフレーム間符号化されたフレーム内のフレーム内符号化されたブロックに対応するチャネル切り替えフレーム内のブロックは符号化しない。代替として、符号化モジュール１８は、対応するフレーム間符号化されたフレームのフレーム内符号化されたブロックに対応するチャネル切り替えフレームのブロックの一部分を、これらのブロックの符号化を完全にスキップする代わりに低下された品質で符号化することができる。これは、チャネル切り替えフレームを符号化するために符号化モジュール１８によって用いられる帯域幅量も低減させる。符号化モジュール１８は、チャネル切り替えフレーム又はその他の符号化されたフレーム内における符号化されたブロックの品質を向上させるために、又は単にチャネル切り替えフレームによって使用される帯域幅を縮小するために余分の帯域幅を利用することができる。
【００２９】
符号化デバイス１２は、符号化されたデータフレームを送信機２０を介して送信する。符号化デバイス１２は、チャネル切り替えフレーム及びその他の符号化されたデータフレームを帯域内通信として送信することができる。代替として、符号化デバイス１２は、チャネル切り替えフレームを帯域外通信として送信し及びその他の符号化されたデータフレームを帯域内通信として送信することができる。例えば、符号化デバイス１２は、チャネル切り替えフレームを補助的拡張情報（ＳＥＩ）内に埋め込むことができる。幾つかの側面においては、符号化デバイス１２は、復号デバイス１４による受信確率を高めるためにスケーラブル符号化を利用すること及びチャネル切り替えフレームを基本層において送信することができる。代替として、符号化デバイス１２は、例えば基本層の帯域幅と拡張層の帯域幅との間を均衡させるためにチャネル切り替えフレームを拡張層において送信することができる。送信機２０は、符号化されたマルチメディアを送信チャネル１６を介して送信するための適切なモデム及びドライバ回路を含むことができる。無線用途に関しては、送信機２６は、符号化されたマルチメディアデータを搬送する無線データを送信するためのＲＦ回路を含む。
【００３０】
復号デバイス１４は、符号化されたデータを受信機２２を介して受信する。送信機２０と同様に、受信機２２は、符号化されたマルチメディアを送信チャネル１６において受信するための適切なモデム及びドライバ回路を含むことができ、及び無線用途において符号化されたマルチメディアデータを搬送する無線データを受信するためのＲＦ回路を含むことができる。幾つかの例においては、符号化デバイス１２及び復号デバイス１４は、各々が送信チャネル１６において送信される符号化されたマルチメディア及びその他の情報に関するソースデバイス及び受信デバイスの両方としての働きをすることができるように可逆（ｒｅｃｉｐｒｏｃａｌ）送信及び受信回路を各々含むことができる。この場合は、符号化デバイス１２及び復号デバイス１４の両方が、マルチメディアシーケンスを送信及び受信すること、従って双方向通信に参加することができる。換言すると、マルチメディア符号化デバイス１０の例示される構成要素は、符号器／復号器（ＣＯＤＥＣ）の一部として組み入れることができる。
【００３１】
選択式復号モジュール２４は、受信機２２を介して受信された符号化されたデータフレームを選択的に復号する。最初は、選択式復号モジュール２４は、通常は、符号化されたデータシーケンスを復号する。換言すると、選択式復号モジュール２４は、符号化されたシーケンス内において符号化されたチャネル切り替えフレームがあたかも存在しないものとして符号化されたシーケンスのフレーム間符号化された及びフレーム内符号化されたフレームを復号する。しかしながら、選択式復号モジュール２４は、イベントの検出に応じてチャネルに関する対応するフレーム間符号化されたフレームの代わりに１つ以上のチャネル切り替えフレームを復号する。そのイベントは、例えば、チャネル切り替え要求の検出又は希望される忠実度においてフレームを復号するのを困難にするような符号化されたデータの破損上の誤りの検出であることができる。例えば、チャネル切り替え要求に応じて、選択式復号モジュール２４は、対応するフレーム間符号化されたフレームを復号する代わりに新しいチャネルに関するチャネル切り替えフレームのうちの１つ以上を復号する。チャネル切り替えフレームはフレーム内符号化されたデータブロックを備えるため、独立して復号可能であり、すなわち、その他の符号化されたフレームを基準にしない。従って、チャネル切り替えフレームは、復号されたフレームが前チャネル及び新チャネルからのコンテンツのミックスによって歪んで見えることがないように切り替え遷移中における時間的依存性を制限する。チャネル切り替えフレームは、チャネル切り替え以外の目的のために用いることも可能である。例えば、復号デバイス１４は、誤り伝播を止めるために対応するフレーム間符号化されたフレームの代わりにチャネル切り替えフレームを復号すること、再同期化を可能にすること、又は早送り又は巻き戻しを可能にすることができる。この意味で、チャネル切り替えフレームは、チャネル切り替えを含むがチャネル切り替えに必ずしも限定されない複数の機能をサポートするランダムアクセスフレームとして機能することができる。
【００３２】
符号化モジュール１８が各々のフレーム間符号化されたフレームのフレーム内符号化されたブロックに対応するブロックを除外するようにチャネル切り替えフレームを符号化した場合は、選択式復号モジュール２４は、チャネル切り替えフレームの一部分のフレーム内符号化されたブロックをチャネル切り替えフレームの除外されたブロックに対応するフレーム間符号化されたフレームのフレーム内符号化されたブロックによって補強することができる。従って、選択式復号モジュール２４は、フレーム内符号化されたチャネル切り替えフレームの一部分及びチャネル切り替えフレームの除外されたブロックに対応するフレーム間符号化されたフレームの一部分を用いて復号されたフレームを生成することができる。この場合も、対応するフレーム間符号化されたフレームは、フレーム内符号化されたチャネル切り替えフレームと時間的に相互に関連させることができ、チャネル切り替えフレームのフレーム内符号化されたコンテンツに対応するフレーム間符号化された情報を搬送することができる。フレーム間符号化されたフレームは、通常は、チャネルを観ている安定状態中に復号される。しかしながら、復号デバイス１４がまさにそのチャネルに切り替わった時点で、上述されるように、フレーム内符号化されたチャネル切り替えフレームが、単独で又は対応するフレーム間符号化されたフレームからのフレーム内符号化されたブロックとともに復号される。
【００３３】
さらに、符号化モジュール１８が各々のフレーム間符号化されたフレームのフレーム内符号化されたブロックに対応するチャネル切り替えフレームのブロックを低下された品質で又は引き下げられたビットレートで符号化した場合は、選択式復号モジュール２４は、チャネル切り替えフレームの品質が低下されたフレーム内符号化されたブロックを復号し、対応するフレーム間符号化されたフレームの対応するフレーム内符号化されたブロックを用いてこれらのブロックの品質を向上させることができる。従って、この場合は、上記の場合と同じように、選択式復号モジュール２４は、チャネル切り替えフレーム及びチャネル切り替えフレームに対応するフレーム間符号化されたフレームの両方からのフレーム内符号化されたフレームに依存することができる。
【００３４】
選択式復号モジュール２４は、１つ以上の空間誤り隠蔽アルゴリズムを用いてチャネル切り替えフレームの１つ以上のブロックを再構築する。特に、選択式復号モジュール２４は、復号デバイス１４において希望される忠実度で再構築可能であると決定されたことに起因して符号化モジュール１８によってスキップされたブロックを再構築する。復号デバイス１４は、チャネル切り替えフレームの一部分の１つ以上の復号されたブロックに基づいてスキップされたブロックを再構築することができる。従って、復号デバイス１４は、前の及び／又は後続するフレームのブロックからの情報を用いる代わりに同じフレーム内の隣接ブロックからの情報に基づいてスキップされた画素ブロックを再構築する。チャネル切り替えフレームの復号されたブロックは、幾つかの場合においては、チャネル切り替えフレーム内において符号化されているフレーム内符号化されたブロック及びチャネル切り替えフレームのフレーム内符号化されたブロックを補強するために用いられる対応するフレーム間符号化されたフレームのフレーム内符号化されたブロックの組み合わせを含むことができる。従って、チャネル切り替えフレームの復号されたブロックは、チャネル切り替えフレーム内の符号化されたフレーム内符号化されたブロック及びチャネル切り替えフレームのブロックを補強するために用いられる復号されたブロックの両方を含むのを観ることができる。
【００３５】
選択式復号モジュール２４は、チャネル切り替えフレームの復号されたフレーム内符号化されたブロック及び再構築されたブロックを結合して復号されたデータフレームを生成する。さらに、チャネル切り替えフレームのフレーム内符号化されたブロックが対応するフレーム間符号化されたフレームのフレーム内符号化されたブロックによって補強される場合は、選択式復号モジュール２４は、対応するフレーム間符号化されたフレームの復号されたフレーム内符号化されたブロックをチャネル切り替えフレームのフレーム内符号化されたブロック及び再構築されたブロックとともにさらに結合して復号されたデータフレームを生成することができる。復号デバイス１４は、復号されたデータフレームを、復号デバイス１４内に組み入れるか又は有線又は無線接続を介して復号デバイス１４に結合された個別デバイスとして提供することができるディスプレイ（示されていない）を介してユーザーにさらに提示することができる。
【００３６】
選択式復号モジュール２４がチャネル切り替えフレームを復号後は、選択式復号モジュール２４は、チャネル切り替えフレームに先行するいずれの符号化されたフレームも基準にせずにチャネル切り替えフレームに引き続く１つ以上のフレーム間符号化されたフレームを復号する。換言すると、後続するフレーム間符号化されたフレームによるチャネル切り替えフレームよりも前のフレームへのすべての前方依存は、前チャネル及び現在のチャネルのコンテンツのミックスに起因する歪みをさらに防止するために除去される。
【００３７】
幾つかの側面においては、符号化デバイス１２は、一定の時間にわたって受信されたマルチメディアシーケンスの一部を符号化、結合、及び送信することができる。一例として、符号化デバイス１２は、受信されたマルチメディアシーケンスに対して１秒ごとに動作することができる。特に、符号化デバイス１２は、複数の入力されたマルチメディアシーケンスの１秒のデータセグメントを符号化し、符号化された１秒のデータセグメントを結合してデータスパーフレームを形成し、そのスーパーフレームを送信機２０を介して送信チャネル１６において送信する。ここにおいて用いられる用語“スーパーフレーム”は、ある時間的期間又は窓、例えば１秒の時間的期間又は窓、にわたって収集されたデータセグメントのグループを意味する。この場合は、符号化デバイス１２は、スーパーフレーム内のチャネル切り替えフレームをその他の符号化されたフレームと結合することができる。一定の側面においては、符号化デバイス１２は、各スーパーフレーム内のチャネルの各々に関するチャネル切り替えフレームを含むことができ、例えば、１秒ごとにチャネル切り替えフレームを符号化して送信することができる。技法は、その他のデータセグメントに関する、例えば固定された期間である場合とない場合がある異なる期間にわたって受信されたデータセグメントに関する、又は個々のデータフレーム又はデータフレームの組に関する、符号化、結合及び送信に関しても利用することができる。換言すると、スーパーフレームは、１秒の期間よりも長い又は短い間隔、さらには可変の時間的間隔さえも網羅するように定義することが可能である。この開示全体を通じて、（例えば、スーパーフレームの概念と類似する）特定の塊のマルチメディアデータは、特定のサイズ及び／又は継続時間を有する特定の塊のマルチメディアデータを意味し、ここで、特定のサイズ及び／又は継続時間は、少なくとも部分的には、マルチメディアデータを渡すために用いられるシステムの物理層及び／又はＭＡＣ層の特徴及び／又パラメータに基づくことに注目すること。特定のサイズ及び／又は継続時間は、静的に及び／又は動的に割り当て可能であることに注目すること。
【００３８】
上記の技法は、符号化デバイス１２及び／又は復号デバイス１４内に個々に実装することができ、又は該技法のうちの２つ以上、又はすべての技法をまとめて実装することができる。符号化デバイス１２及び復号デバイス１４内の構成要素は、ここにおいて説明される技法を実装するために適用可能な構成要素の典型例である。しかしながら、符号化デバイス１２及び復号デバイス１４は、希望される場合は、その他の数多くの構成要素を含むことができる。例えば、符号化デバイス１２は、各々が１つ以上のマルチメディアデータシーケンスを受け取ってここにおける技法に従って各々のマルチメディアデータシーケンスを符号化する複数の符号化モジュールを含むことができる。この場合は、符号化デバイス１２は、データセグメントを送信のために結合するための少なくとも１つのマルチプレクサをさらに含むことができる。さらに、符号化デバイス１２及び復号デバイス１４は、符号化された映像の送信及び受信のための適切な変調、復調、周波数変換、フィルタリング、及び増幅器の各構成要素を含むことができ、無線周波数（ＲＦ）無線構成要素とアンテナとを適宜含む。しかしながら、例示を容易にするために、該構成要素は図１に含まれていない。
【００３９】
符号化デバイス１２及び復号デバイス１４内の構成要素は、１つ以上のプロセッサ、デジタル信号プロセッサ、特定用途向け集積回路（ＡＳＩＣ）、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、ディスクリートロジック、ソフトウェア、ハードウェア、ファームウェア、又はその組み合わせとして実装することができる。異なる特徴をモジュールとして描くことは、符号化デバイス１２及び復号デバイス１４の異なる機能上の側面を強調することが意図され、該モジュールを別個のハードウェア又はソフトウェア構成要素によって実現させなければならないということは必ずしも意味しない。むしろ、１つ以上のモジュールと関連づけられた機能は、共通の又は別個のハードウェア又はソフトウェア構成要素内に組み入れることができる。従って、この開示は、符号化デバイス１２及び復号デバイス１４の例に限定されるべきでない。
【００４０】
図２は、この開示の技法を用いて符号化される符号化されたマルチメディアシーケンス３０Ａ及び３０Ｂ（総称するときは“符号化されたシーケンス３０”）の一部分を示した図である。符号化されたシーケンス３０Ａは、第１のチャネル（“ＣＨ．１”のラベルが付される）に対応し、符号化されたシーケンス３０Ｂは、第２のチャネル（“ＣＨ．２”のラベルが付される）に対応する。一例として、符号化されたシーケンス３０Ａは、ＥＳＰＮに対応することができ、他方、符号化されたシーケンス３０Ｂは、ＣＮＮに対応することができる。図２に示される例は、２つのチャネルのみに関する符号化されたシーケンスを示すが、この開示の技法は、あらゆる数のチャネルに関するあらゆる数の符号化されたシーケンスに適用可能であり、１つのチャネルからの１つの符号化されたシーケンスを含む。
【００４１】
符号化されたシーケンス３０の各々は、複数の符号化されたフレームを含む。符号化されたフレームは、様々なフレーム間符号化技法又はフレーム内符号化技法によって符号化された各々の入力フレームの圧縮バージョンを表す。符号化されたシーケンス３０は、フレーム間符号化されたフレーム３２Ａ乃至３２Ｘ（総称するときには“フレーム間符号化されたフレーム３２”）、フレーム内符号化されたフレーム３４Ａ及び３４Ｂ（総称するときには“フレーム内符号化されたフレーム３４”）、及びチャネル切り替えフレーム（ＣＳＦ）３６Ａ乃至３６Ｄ（総称するときには“チャネル切り替えフレーム３６”）のうちの各々の１つを含む。フレーム間符号化されたフレーム３２は、１つ以上のその他のフレームを基準にする各々の入力フレームのフレーム間符号化されたバージョンである。図２に示されるように、フレーム間符号化されたフレーム３２は、Ｐフレーム、Ｂフレーム又はその組み合わせを含むことができる。上述されるように、フレーム間符号化されたフレーム３２は、複数のブロックに分割することができ、そのうちの第１の部分組はフレーム間符号化技法を用いて符号化され、そのうちの第２の部分組は、フレーム内符号化技法を用いて符号化される。例えば、符号化されたシーケンス３０Ａのフレーム間符号化されたフレーム３２Ｃ（すなわち、Ｐ２）は、予測符号化（すなわち、フレーム間符号化）を用いて符号化されたブロックに加えてフレーム内符号化された１つ以上のブロックを含むことができる。他方、フレーム内符号化されたフレーム３４は、その他のフレームを基準にせずに符号化された各々の入力されたフレームのフレーム内符号化されたバージョンである。フレーム内符号化されたフレーム３４は、例えば、映像シーケンス開始時又はシーン変化時に生じることができる。
【００４２】
符号化されたシーケンス３０は、１つ以上のチャネル切り替えフレーム３６も含む。上述されるように、チャネル切り替えフレーム３６は、フレーム間符号化されたフレーム３２のうちの１つの１つ以上の画素ブロックに対応するフレーム内符号化されたマルチメディアデータを備える。換言すると、チャネル切り替えフレーム３６は、フレーム間符号化されたフレーム３２のうちの対応する１つにおける符号化されたマルチメディアデータの少なくとも一部の第２のバージョンである。図２に示される例においては、チャネル切り替えフレーム３６Ａは、対応するフレーム間符号化されたフレーム３２Ｅにおける符号化されたマルチメディアデータの少なくとも一部分のフレーム内符号化されたバージョンを備える。同様に、チャネル切り替えフレーム３６Ｂ、３６Ｃ及び３６Ｄは、対応するフレーム間符号化されたフレーム３２Ｋ、３２Ｍ及び３２Ｓにおける符号化されたマルチメディアデータの少なくとも一部のフレーム内符号化されたバージョンである。図２に示されるように、チャネル切り替えフレーム３６は、映像シーケンス内のチャネル切り替えフレーム３６の時間的位置は同じ映像シーケンス内のフレーム間符号化されたフレーム３２の時間的位置に対応するという意味でフレーム間符号化されたフレーム３２の対応する１つと時間的に共配置することができる。
【００４３】
この開示の技法により、チャネル切り替えフレーム３６のうちの少なくとも１つは、空間誤り隠蔽アルゴリズムを用いて希望される忠実度で再構築することができる１つ以上のブロックを除外するように符号化される。特に、符号化デバイス１２（図１）は、復号デバイス１４（図１）によって希望される忠実度で再構築することができるチャネル切り替えフレーム３６の１つ以上のブロックを識別する。符号化デバイス１２は、識別されたブロックの少なくとも一部を除外するようにチャネル切り替えフレーム３６を符号化する。空間誤り隠蔽を用いて再構築することができるブロックを除外するようにチャネル切り替えフレーム３６を符号化することは、チャネル切り替えフレーム３６を符号化するために必要な帯域幅量を低減させることができる。符号化デバイス１２は、チャネル切り替えフレーム３６における符号化されたブロック又は符号化されたフレームのその他のブロックの品質を高めるために、又は単にチャネル切り替えフレーム３２を符号化するために利用される帯域幅量を低減させるために、余分の帯域幅を用いることができる。
【００４４】
チャネル切り替えフレーム３６を符号化するために用いられる帯域幅量をさらに低減させるために、符号化デバイス１２は、対応するフレーム間符号化されたフレーム３２のフレーム内符号化されたブロックに対応するブロックを除外するようにチャネル切り替えフレーム３６を符号化するように構成することができる。一例として、フレーム間符号化されたフレーム３２Ｅが１つ以上のフレーム内符号化されたブロックを含む場合は、符号化デバイス１２は、フレーム間符号化されたフレーム３２Ｅのフレーム内符号化されたブロックの少なくとも一部を除外するようにチャネル切り替えフレーム３６Ａを符号化することができる。
【００４５】
復号側において、復号デバイス１４は、後述されるように、符号化されたシーケンス３０を受け取り、符号化されたシーケンス３０を復号する。例示する目的上、復号デバイスは現在はチャネル１（ＣＨ１）に設定されており従って符号化されたシーケンス３０Ａを復号すると仮定する。復号デバイス１４は、フレーム間符号化されたフレーム３２のうちの対応する１つの代わりにチャネル切り替えフレーム３６のうちの１つを復号することを復号デバイス１４に行わせるイベントが発生するまではあたかもチャネル切り替えフレーム３６のうちのいずれも受信されないものとして符号化されたシーケンス３０Ａを復号する。このイベントは、例えばＣＨ１からＣＨ２へのチャネル切り替え要求であることができる。この場合は、復号デバイス１４は、新しいチャネルのコンテンツを最初に取得するためにフレーム間符号化されたフレーム３２のうちの対応する１つの代わりにチャネル切り替えフレーム３６を復号する。代替として、復号デバイス１４は、例えばチャネル切り替えフレーム３６の復号されたデータを補足するために、チャネル切り替えフレームを復号することに加えて対応するフレーム間符号化されたフレームの一部分を復号することができる。これは、復号デバイス１４が、フレーム内符号化されたフレーム３４を待つ代わりに又は前チャネルと新チャネルからのコンテンツのミックスによって歪みが生じた状態の復号されたフレームを生成することになるフレーム間符号化されたフレーム３２のうちの１つのみの符号化を行う代わりにチャネル切り替えフレーム３６から新チャネルのコンテンツを提供するのを可能にする。一例として、復号デバイス１４がフレーム間符号化されたフレーム３２Ｆにおいてチャネル１（ＣＨ１）からチャネル２（ＣＨ２）への切り替え要求を受け取った場合は、復号デバイスは、その切り替え要求を識別してその要求に応じてチャネル切り替えフレーム３６Ｄを復号する。上述されるように、復号デバイス１４は、フレーム間符号化されたフレーム３２Ｓの一部をさらに復号することができる。例えば、復号デバイス１４は、チャネル切り替えフレーム３４Ｄに加えてフレーム間符号化されたフレーム３２Ｓのフレーム内符号化されたブロックの少なくとも一部分をさら復号することができる。この方法により、復号デバイス１４は、イベントに応じてチャネル切り替えフレーム３６Ｄを復号する。
【００４６】
チャネル切り替えフレーム３６は、チャネル切り替え以外の目的、例えば、誤り伝播を止める、再同期化を可能にする、又は早送り又は巻き戻しを可能にするために用いることができる。特に、フレーム間符号化されたフレーム３２のうちの対応する１つの代わりにチャネル切り替えフレーム３６のうちの１つを復号デバイス１４に復号させるイベントは、隠蔽能力を超える符号化されたデータの破損上の誤りの検出であることができる。換言すると、符号化されたデータの破壊上の誤りは、結果的に、希望される忠実度より低い忠実度を有する誤り隠蔽を用いてブロックが再構築されることになる。例えば、誤りは、ネットワークを通じての送信中に導入される可能性がある。該誤りは、フレーム間符号化されたフレーム３２の復号を妨げるか又は不可能にすることがある。この場合は、復号デバイス１４は、誤り伝播を止めるためにチャネル切り替えフレーム３６のうちの１つを復号する。上述されるように、復号デバイス１４は、チャネル切り替えフレーム３６のみを復号することができ又はチャネル切り替えフレーム３６に加えてフレーム間符号化されたフレーム３２のうちの対応するフレームの一部分を復号することができる。例えば、復号デバイス１４がフレーム３２Ａ乃至３２Ｄのうちのいずれかを復号中に大規模な符号化されたデータの破損を検出した場合は、復号デバイス１４は、シーケンス全体にわたる誤りの伝播を止めるようにチャネル切り替えフレーム３６Ａを復号することができる。チャネル切り替えフレーム３６Ａを復号しないと、誤りは、フレーム内符号化されたフレームに遭遇するまで、例えばイントラフレーム３４Ａまで、シーケンス全体を通じて伝播する可能性がある。この方法により、復号デバイス１４は、誤りがある状態で受信された基準データによって破損された既存のマルチメディアシーケンスの再同期化を生じさせるためにチャネル切り替えフレーム３６を用いたイントラリフレッシュを強制するとみることができる。
【００４７】
復号デバイス１４は、１つ以上の空間誤り隠蔽アルゴリズムを用いて符号化されなかったチャネル切り替えフレーム３６の１つ以上のブロックをさらに再構築する。特に、復号デバイス１４は、チャネル切り替えフレーム３６の１つ以上の復号されたブロックに基づいて空間誤り隠蔽を用いてブロックを再構築する。幾つかの側面においては、復号デバイス１４は、フレーム間符号化されたフレーム３２のうちの対応する１つのフレーム内符号化されたブロックによってチャネル切り替えフレーム３６へのフレーム内符号化されたブロックを補強する。従って、チャネル切り替えフレーム３６は、フレーム内符号化されたブロックの組み合わせを含むとみることができ、フレーム内符号化されたブロックの一部は、フレーム間符号化されたフレーム３２のうちの対応する１つにおいて符号化することができる。この場合は、復号デバイス１４は、チャネル切り替えフレーム３６のフレーム内符号化されたブロック及びフレーム間符号化されたフレーム３２のうちの対応する１つを用いていずれのフレームにおいても符号化されなかったブロックを再構築することができる。
【００４８】
さらに、復号デバイス１４は、チャネル切り替えフレーム３６に先行する符号化されたフレームのうちのいずれも基準にせずにチャネル切り替えフレーム３６に後続するフレーム間符号化されたフレーム３２を復号する。上記のチャネル切り替え例に戻り、復号デバイス１４は、チャネル切り替えフレーム３６Ｄに先行する符号化されたフレームのうちのいずれも基準にせずにフレーム間符号化されたフレーム３２Ｕを復号する。例えば、フレーム間符号化されたフレーム３２Ｕがフレーム３２Ｑ及び３２Ｓを基準にした場合は、復号デバイス１４は、フレーム３２Ｑを基準にせずにフレーム間符号化されたフレーム３２Ｕを復号する。換言すると、後続するフレーム間符号化されたフレーム３２によるチャネル切り替えフレーム３６よりも前のフレームへのすべての前方依存は、前チャネル及び現在のチャネルのコンテンツのミックスに起因する歪みをさらに防止するために除去される。この目的のため、符号化デバイス１２は、チャネル切り替えフレームに先行するいずれの符号化されたフレームも基準にせずに符号化されたチャネル切り替えフレームに後続するフレームを符号化するように構成することができる。代替として、復号デバイス１４は、該依存が存在する場合において、チャネル切り替えフレームに先行する符号化されたフレームを基準にしないことによって該依存に固執せず、それによりチャネル切り替えフレーム３６のうちの１つの復号時における該依存を除去するように構成することができる。
【００４９】
符号化されたシーケンス３０は、例示することのみを目的として示される。符号化されたシーケンス３０内におけるチャネル切り替えフレームの位置を選択する様々な方法を用いることができる。さらに、符号化されたシーケンス３０は、より多い又はより少ないフレーム間符号化されたフレーム３２をチャネル切り替えフレーム３６間に配置する異なる配置を含むことができる。図２に示される例は、チャネル切り替えフレーム３６が、空間誤り隠蔽を介して復号デバイスにおいて再構築可能であると決定されたブロックなしのフレーム全体を備えるものとして描く。しかしながら、この開示の技法は、チャネル切り替えフレームの一部分のみ、例えばスライス、が対応するフレーム間符号化されたフレームのデータの第２のバージョンとして符号化されるその他の例においても利用できることが注記されるべきである。該技法は後述される。
【００５０】
図３は、この開示の技法を用いて符号化される符号化されたマルチメディアシーケンス４０Ａ及び４０Ｂ（総称するときには“符号化されたマルチメディアシーケンス４０”）の一部分を示す図である。符号化されたマルチメディアシーケンス４０は、図２の符号化されたマルチメディアシーケンス３０に実質的に準じるが、チャネル切り替えフレーム４６Ａ乃至４６Ｃは、対応するフレーム間符号化されたフレームのデータの一部のみを含むように符号化される。より具体的には、チャネル切り替えフレーム４６Ａ乃至４６Ｃは、 フレーム間符号化されたフレーム４２のうちの対応する１つのマルチメディアデータのスライスのみの第２のバージョンを符号化する。
【００５１】
図３に示される例においては、チャネル切り替えフレーム４６Ａ乃至４６Ｃは、フレーム間符号化されたフレーム４２のうちの対応する１つの符号化されたスライスを備える。換言すると、チャネル切り替えフレーム４６Ａ乃至４６Ｃは、各々のフレーム間符号化されたフレームの斜線付き部分のみを符号化する。例えば、チャネル切り替えフレーム４６Ａは、対応するフレーム間符号化されたフレーム４２Ａのうちの各々のスライスのみの第２のバージョンを符号化する。同様に、チャネル切り替えフレーム４６Ｂ及び４６Ｃの一部分は、対応するフレーム間符号化されたフレーム４２Ｇ及び４２Ｍのうちの各々のスライスのみの第２のバージョンをそれぞれ符号化する。この開示の技法により、符号化デバイス１２は、１つ以上の空間誤り隠蔽アルゴリズムを用いて復号デバイス１４によって希望される忠実度で再構築することができるスライスの１つ以上のブロックを除外するようにチャネル切り替えフレームを符号化することができる。
【００５２】
復号側において、復号デバイス１４は、イベント、例えば、チャネル切り替え要求、復号誤り、データ紛失、等に応じてチャネル切り替えフレーム４６を復号する。しかしながら、チャネル切り替えフレーム４６Ａ乃至４６Ｃの各々は対応するフレーム間符号化されたフレームのスライスしか符号化しないため、復号デバイス１４は、最初に新チャネルのコンテンツを取得するため又は強制されたイントラリフレッシュを行うためにチャネル切り替えフレーム４６Ａ乃至４６Ｃの各々を復号することができる。特に、チャネル切り替えフレーム４６Ａの復号は、結果的に、新チャネルのコンテンツが部分的に取得される。チャネル切り替えフレーム４６Ｂの復号は、結果的に、新チャネルのコンテンツの他の部分がさらに取得され、チャネル切り替えフレーム４６Ｃの復号は、結果的に、新チャネルのコンテンツの他の部分がさらに取得される。すべてのチャネル切り替えフレーム４６Ａ乃至４６Ｃを復号後は、新チャネルのコンテンツ全体が入手される。
【００５３】
復号デバイス１４は、チャネル切り替えフレームが対応するフレーム間符号化されたフレーム３２のマルチメディアデータの一部（例えば、スライス）しか符号化しないときには新チャネルのコンテンツを最初に取得する上で又は既存のチャネルをイントラリフレッシュする上でより長い時間を要するが、チャネル切り替えフレームを符号化するのに必要なビット数は、対応するフレーム間符号化されたフレームのコンテンツ全体を含むチャネル切り替えフレームを符号化するために要求されるビット数よりも少ない。従って、対応するフレーム間符号化されたフレームのデータスライスのみを備えるチャネル切り替えをフレーム内符号化することは、特定の符号化及び復号システムにより適する。
【００５４】
図３に示される例は、例示することのみを目的とする。符号化されたシーケンス４０内におけるチャネル切り替えフレーム４６の様々な符号化方法を用いることができる。例えば、チャネル切り替えフレーム４６の符号化された部分は、異なるタイプのスライス、例えば、碁盤目模様のスライス又はその他のスライス配置、を備えることができる。さらに、チャネル切り替えフレーム４６の符号化された部分は、スライス以外の符号化単位を備えることができる。例えば、符号化単位は、スライスよりも小さい符号化単位を形成するブロックグループを備えることができる。代替として、符号化単位は、マルチメディアデータの１つのスライスよりも大きい符号化単位を形成する画素グループを備えることができる。
【００５５】
図４は、符号化モジュール５０をさらに詳細に示したブロック図である。符号化モジュール５０は、例えば、図１の符号化デバイス１２の符号化モジュール１８を表すことができる。符号化モジュール５０は、フレーム処理モジュール５２と、チャネル切り替えフレーム（ＣＳＦ）制御モジュール５４と、フレーム内符号化モジュール５６と、フレーム間符号化モジュール５８と、を含む。ＣＳＦ制御モジュール５４は、空間誤り隠蔽（ＳＥＣ）近似モジュール６０と、フレーム間符号化されたフレーム解析モジュール６２と、をさらに含む。
【００５６】
フレーム処理モジュール５２は、１つ以上のマルチメディアシーケンスの入力されたマルチメディアデータフレームを１つ以上のソースから受信し、受信されたマルチメディアシーケンスのフレームを処理する。特に、フレーム処理モジュール５２は、マルチメディアシーケンスの着信フレームを解析し、着信フレームの解析に基づいて着信フレームを符号化するか又はスキップするかを決定する。幾つかの側面においては、符号化デバイス１２は、送信チャネル１６全体にわたる帯域幅を保存するためにフレームスキップを用いて引き下げられたフレームレートでマルチメディアシーケンスに含まれる情報を符号化することができる。さらに、符号化される着信フレームに関して、フレーム処理モジュール５２は、Ｉフレーム、Ｐフレーム、又はＢフレームのいずれのフレームとしてフレームを符号化するかを決定するように構成することもできる。
【００５７】
フレーム処理モジュール５２は、フレームを複数のブロックに分割し及びこれらのブロックの各々を別々に符号化又はスキップすべきかどうかを決定するようにさらに構成することができる。さらに、符号化されるべきブロックに関して、フレーム処理モジュール５２は、ブロックをフレーム内符号化ブロック又はフレーム間符号化ブロックのいずれのブロックとして符号化するかを決定するように構成することができる。フレーム処理モジュール５２は、例えば、フレーム又は画素ブロックのコンテンツ及び可能なことに１つ以上の隣接フレーム及びそのフレーム内の１つ以上の隣接ブロックのコンテンツに基づいて、フレーム及び／又は画素ブロックを符号化するか又はスキップするかの決定、及びフレーム及び／又は画素ブロックをどのように符号化すべきかの決定を行うことができる。
【００５８】
フレーム内符号化モジュール５６は、フレーム処理モジュール５２によって選択されたフレーム又はブロックを、フレーム内符号化を用いてフレーム内符号化フレーム又はブロックとして符号化する。上述されるように、フレーム内符号化モジュール５６は、その他の時間的に配置されたフレームを基準にせずにフレーム内符号化用に選択された情報を符号化する。幾つかの側面においては、フレーム内符号化モジュール５６は、同じ時間的フレーム内のその他のブロックにおける冗長性を利用するために空間予測を用いることができる。フレーム間符号化モジュール５８は、フレーム処理モジュール５２によってフレーム間符号化フレーム又はブロックとして選択されたフレーム又はブロックを符号化する。フレーム間符号化モジュール５８は、例えば、１つ以上の時間的に配置されたフレームを基準にしてデータフレームを符号化するために動き推定及び動き補償、等の予測技法を用いることができる。ブロックの第１の部分組がフレーム間符号化ブロックとして符号化され、ブロックの第２の部分組がフレーム内符号化ブロックとして符号化されるフレーム間符号化データフレームに関して、フレーム内符号化されるべきブロックは、フレーム内符号化モジュール５６を用いて符号化され、フレーム間符号化されるべきブロックは、フレーム内符号化モジュール５８を用いて符号化され、次に結合されてフレーム間符号化されたフレームが形成される。
【００５９】
ＣＳＦ制御モジュール５４は、復号デバイス１４のチャネル切り替え能力を向上させるために１つ以上のチャネル切り替えフレームの少なくとも一部分の符号化を制御する（図１）。チャネル切り替えフレームは、対応するフレーム間符号化されたデータフレームの１つ以上のデータスライス又はその他の符号化データ単位を符号化することができる。上述されるように、チャネル切り替えフレームは、対応するフレーム間符号化されたデータフレーム、例えば共配置されたフレーム間符号化されたフレーム、のマルチメディアデータを含む１つ以上のフレーム内符号化されたブロックを含む。換言すると、チャネル切り替えフレームは、対応するフレーム間符号化されたフレームにおける符号化されたマルチメディアデータの第２のバージョンを備える。ＣＳＦ制御モジュール５４は、特定の時間単位ごとに１回チャネル切り替えフレームをフレーム内符号化するのをフレーム内符号化モジュール５６に行わせることができる。一例として、ＣＳＦ制御モジュール５４は、１秒に１回、例えばスーパーフレームごとに１回、チャネル切り替えフレームをフレーム内符号化するのをフレーム内符号化モジュール５６に行わせることができる。代替として、ＣＳＦ制御モジュール５４は、均一でないパターンでの、例えば均一でない信号に依存するパターンでのチャネル切り替えフレームのフレーム内符号化を行わせることができる。
【００６０】
この開示の技法により、ＣＳＦ制御モジュール５４は、１つ以上の空間誤り隠蔽（ＳＥＣ）アルゴリズムを用いて復号デバイス１４において希望される忠実度で再構築することができるチャネル切り替えフレームの１つ以上のブロックを識別し、フレーム内符号化モジュール５６は、識別されたブロックを除外する、すなわち識別されたブロックの符号化をスキップする、ようにチャネル切り替えフレームを符号化する。幾つかの側面においては、ＳＥＣ近似モジュール６０は、チャネル切り替えフレームのブロックのうちの１つ以上に関して、１つ以上の空間誤り隠蔽アルゴリズムを用いてブロックのバージョンを生成する。ＳＥＣ近似モジュール６０は、例えば、復号デバイス１４によって実装されることが知られている１つ以上の空間誤り隠蔽アルゴリズムを用いてブロックの空間隠蔽されたバージョンを生成することができる。ＳＥＣ近似モジュール６０は、チャネル切り替えフレームの１つ以上の空間隠蔽されたブロックを評価し、空間誤り隠蔽アルゴリズムを用いる再構築が十分であるかどうかを決定する。例えば、ＳＥＣ近似モジュール６０は、複数の再構築されたブロックの各々とチャネル切り替えフレームの一部分の複数の画素ブロックのうちの対応する１つと間の差分メトリックを計算することができる。ＳＥＣ近似モジュール６０は、しきい値よりも小さいか又は同じである対応する差分メトリックを有するブロックを、少なくとも１つの空間誤り隠蔽アルゴリズムを用いて再構築することができるブロックとして識別する。ＳＥＣ近似モジュール６０は、例えば、ＳＥＣアルゴリズムによって複製されたブロックと原ブロックとの間の差分又はＳＥＣアルゴリズムによって複製されたブロックと原ブロックの符号化−復号されたバージョンとの間の差分を定量化するために差分の絶対値の和（ＳＡＤ）、差分の二乗の和（ＳＳＤ）、変換された差分の絶対値の和（ＳＡＴＤ）、及び変換された差分の二乗の和（ＳＳＴＤ）を計算することができる。
【００６１】
その他の側面においては、ＳＥＣ近似モジュール６０は、復号デバイス１４によってサポートされる空間誤り隠蔽アルゴリズムを承知していないことができる。この場合は、ＳＥＣ近似モジュール６０は、ブロックを十分に補間できるかどうかに基づいて未知の空間誤り隠蔽アルゴリズムを用いて１つ以上のブロックが再構築されるかどうかを評価することができる。上述されるように、ＳＥＣ近似モジュール６０は、同じフレーム内の情報、そして特に隣接ブロックから入手可能な情報、を用いてブロックを十分に補間できるかどうかを決定することができる。ブロックを十分に補間できるかどうかの評価は、例えば、信号の平滑さ又は方向性の評価に基づくことができ、従って特定のＳＥＣアルゴリズムから評価を切り離すことができる。例えば、ＳＥＣ近似モジュール６０は、ブロックの画素データ内の方向性構造を解析し、一貫した方向性構造を有するブロックを、少なくとも１つの空間誤り隠蔽アルゴリズムを用いて希望される忠実度で再構築できるブロックとして識別することができる。
【００６２】
さらに、チャネル切り替えフレームを符号化するために用いられる帯域幅量をさらに低減させるために、フレーム間符号化されたフレーム解析モジュール６２は、チャネル切り替えフレームに対応するフレーム間符号化されたフレームを解析して対応するフレーム間符号化されたフレームのフレーム内符号化されたブロックを識別することができる。幾つかの側面においては、フレーム内符号化モジュール５６は、対応するフレーム間符号化されたフレームのフレーム内符号化されたブロックに対応するブロックのうちの１つ以上を除外するようにチャネル切り替えフレームを符号化するように構成することができる。これで、復号デバイス１４は、チャネル切り替えフレームのフレーム内符号化されたブロックを、チャネル切り替えフレームに対応するフレーム間符号化されたフレームのフレーム内符号化されたブロックによって補強することができる。その他の側面においては、フレーム内符号化モジュール５６は、対応するフレーム間符号化されたフレームのフレーム内符号化されたブロックに対応するチャネル切り替えフレームのブロックを、これらのブロックを完全にスキップする代わりに低下された品質又は引き下げられたビットレートで符号化するように構成することができる。復号デバイス１４は、チャネル切り替えフレームの低下された品質のフレーム内符号化されたブロックを復号すること及び対応するフレーム間符号化されたフレームの対応するフレーム内符号化されたフレームを用いてこれらのブロックの品質を向上させることができる。ＣＳＦ制御モジュール５４は、スキップすべきブロックとして識別されたブロックに関するスキップコマンドをフレーム内符号化モジュール５６に送る。
【００６３】
符号化モジュール５０内の構成要素は、ここにおいて説明される技法を実装するために適用可能な構成要素の典型例である。しかしながら、符号化モジュール５０は、希望される場合は数多くのその他の構成要素を含むことができる。符号化モジュール５０内の構成要素は、１つ以上のプロセッサ、デジタル信号プロセッサ、特定用途向け集積回路（ＡＳＩＣ）、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、ディスクリートロジック、ソフトウェア、ハードウェア、ファームウェア、又はそのあらゆる組み合わせとして実装することができる。異なる特徴をモジュールとして描くことは、符号化モジュール５０の異なる機能上の側面を強調することが意図されており、該モジュールは別個のハードウェア又はソフトウェア構成要素によって実現しなければならないことは必ずしも意味しない。むしろ、１つ以上のモジュールと関連づけられた機能は、共通の又は別個のハードウェア又はソフトウェア構成要素内に組み入れることができる。
【００６４】
図５は、典型的な選択式復号モジュール７０をさらに詳細に示すブロック図である。選択式復号モジュール７０は、図１の復号デバイス１４の復号デバイス１４の選択式復号モジュール２４を代表することができる。選択式復号モジュール７０は、復号モジュール７２と、空間誤り隠蔽（ＳＥＣ）モジュール７４と、フレーム処理モジュール７６と、を含む。
【００６５】
復号モジュール７２は、符号化されたフレームのシーケンスを受信し、これらのシーケンスのフレームを選択的に復号する。符号化されたフレームシーケンスは、複数のフレーム間及び／又はフレーム内符号化されたフレームと、フレーム間符号化されたフレームの各々の１つに対応する１つ以上のチャネル切り替えフレームの少なくとも一部分と、を含む。復号モジュール７２は、フレーム間符号化されたフレームのうちの対応する１つの代わりにチャネル切り替えフレームのうちの１つの一部分を復号することを復号モジュール７２に行わせるイベントが発生するまではあたかもいずれのチャネル切り替えフレームも受信されないものとして符号化されたフレームシーケンスを復号する。幾つかの側面においては、このイベントは、チャネル切り替え要求であることができる。
【００６６】
この要求に応じて、復号モジュール７２は、新チャネルのコンテンツを最初に取得するためにフレーム間符号化されたフレームのうちの対応する１つの代わりに新チャネルと関連づけられたチャネル切り替えフレームの一部分を復号する。チャネル切り替えフレームの一部分を復号することは、幾つかの利点を提供することができる。第１に、適切な量の時間において受信できないことがあるフレーム内符号化されたフレームを待つ代わりにチャネル切り替えフレームからの新チャネルのコンテンツを提供することを可能にする。第２に、以前のフレームのコンテンツに依存しないフレームの復号を可能にし、以前のフレームのコンテンツに依存することは、チャネル切り替えの場合に前チャネルからのコンテンツと新チャネルからのコンテンツのミックスによって歪められた復号されたフレームが生じることになる。
【００６７】
代替として、イベントは、例えば、送信中に導入された誤り又はネットワークにおける送信中のデータ紛失の結果である１つ以上のフレームの破損の検出であることができる。この場合は、復号モジュール７２は、誤り伝播を低減させるためにフレーム間符号化されたフレームのうちの対応する１つの代わりに１つ以上のチャネル切り替えフレームのうちの一部分を復号する。この方法により、復号モジュール７２は、誤りがある状態で受信された又は失われた基準データによって破損された既存のマルチメディアシーケンスの再同期化を行わせるために１つ以上のチャネル切り替えフレームの一部分を用いたイントラリフレッシュを強制するとみることができる。
【００６８】
復号モジュール７２は、チャネル切り替えフレームの復号された部分を補完するためにチャネル切り替えフレームの一部分に対応するフレーム間符号化されたフレームのフレーム内符号化されたブロックをさら復号することができる。幾つかの側面においては、復号モジュール７２は、チャネル切り替えフレームの一部分のフレーム内符号化されたブロックを、チャネル切り替えフレームに対応するフレーム間符号化されたフレームのフレーム内符号化されたブロックによって補強することができる。この方法により、復号モジュール７２は、ＣＳＦ及びＣＳＦに対応するフレーム間符号化されたフレームの１つ以上のフレーム内符号化されたブロックの両方を復号し、対応するフレーム間符号化されたフレームのフレーム内符号化されたブロックをあたかもチャネル切り替えフレームの一部であるものとして取り扱う。その他の側面においては、復号モジュール７２は、対応するフレーム間符号化されたフレームの対応するフレーム内符号化されたフレームを用いてチャネル切り替えフレームの一部分のフレーム内符号化されたブロックの品質を向上させることができる。
【００６９】
ＳＥＣモジュール７４は、１つ以上の空間誤り隠蔽アルゴリズムを用いてチャネル切り替えフレームの１つ以上のブロックを再構築する。特に、ＳＥＣモジュール７４は、復号デバイス１４において希望される忠実度で再構築可能であると決定されたことに起因して符号化モジュール１８によってスキップされたブロックを再構築する。ＳＥＣモジュール７４は、チャネル切り替えフレームの一部分の１つ以上の復号されたブロックに基づいてスキップされたブロックを再構築することができ、チャネル切り替えフレームの一部分において符号化されたフレーム内符号化されたブロックと、チャネル切り替えフレームの一部分のフレーム内符号化されたブロックを補強するために用いられる対応するフレーム間符号化されたフレームのフレーム内符号化されたブロックと、を含むことができる。
【００７０】
フレーム処理モジュール７６は、復号モジュール７２によって復号されたチャネル切り替えフレームのフレーム内符号化されたブロック及びＳＥＣモジュール７４によって再構築されたブロックを結合して復号されたデータフレームを生成する。この場合も、チャネル切り替えフレームの復号されたブロックは、チャネル切り替えフレームの一部分における符号化されたフレーム内符号化されたブロックと、チャネル切り替えフレームの一部分のフレーム内符号化されたブロックを補強するために用いられる対応するフレーム間符号化されたフレームのフレーム内符号化されたブロックと、を含むことができる。フレーム処理モジュール７６によって生成されたデータフレームは、復号デバイス１４内に組み入れられるか又は有線又は無線接続を介して復号デバイス１４に結合された個別デバイスとして提供されるディスプレイを介してユーザーにさらに提示することができる。
【００７１】
選択式復号モジュール７０内の構成要素は、ここにおいて説明される技法を実装するために適用可能な構成要素の典型例である。しかしながら、選択式復号モジュール７０は、希望される場合は数多くのその他の構成要素を含むことができる。選択式復号モジュール７０内の構成要素は、１つ以上のプロセッサ、デジタル信号プロセッサ、特定用途向け集積回路（ＡＳＩＣ）、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、ディスクリートロジック、ソフトウェア、ハードウェア、ファームウェア、又はそのあらゆる組み合わせとして実装することができる。異なる特徴をモジュールとして描くことは、選択式復号モジュール７０の異なる機能上の側面を強調することが意図されており、該モジュールは別個のハードウェア又はソフトウェア構成要素によって実現しなければならないことは必ずしも意味しない。むしろ、１つ以上のモジュールと関連づけられた機能は、共通の又は別個のハードウェア又はソフトウェア構成要素内に組み入れることができる。
【００７２】
図６は、この開示の技法によるマルチメディアデータシーケンスを符号化する符号化モジュールの典型的動作を示した流れ図である。最初に、フレーム処理モジュール５２（図４）は、入力されたマルチメディアデータフレームを含むマルチメディアシーケンスを受け取る（８０）。符号化デバイス１２（図１）は、イントラフレームをマルチメディアシーケンスの第１のフレームとして符号化する（８２）。特に、フレーム内符号化モジュール５６（図４）は、フレーム内符号化技法を用いてマルチメディアシーケンスの第１のフレームをフレーム内符号化する。符号化デバイス１２は、マルチメディアシーケンスの次のフレームをフレーム間符号化する（８４）。データフレームは、複数のブロックに分割することができ、符号化デバイス１２は、フレーム間符号化モジュール５８を用いて次のフレームの全ブロックをフレーム間符号化することができる（図４）。代替として、ブロックの第１の部分組は、フレーム間符号化モジュール５８を介してフレーム間符号化することができ、ブロックの第２の部分組は、フレーム内符号化モジュール５６を用いてフレーム内符号化することができる。
【００７３】
ＣＳＦ制御モジュール５４（図４）は、チャネル切り替えフレーム（ＣＳＦ）間隔が経過しているかどうかを決定する（８６）。上述されるように、符号化デバイス１２は、周期的に、例えば１秒に１回、チャネル切り替えフレームを符号化して送信するように構成することができる。この場合は、ＣＳＦ制御モジュール５４は、最後のチャネル切り替えフレームが送信されて以降の時間量を追跡することができる。チャネル切り替えフレーム間隔が経過していないときには、符号化デバイス１２は、他のフレーム間符号化フレームを符号化する（８４）。幾つかの場合においては、イントラリフレッシュする必要であるとき又はシーン変化時と同様に、符号化デバイス１２は、次のフレームをフレーム内符号化フレームとして符号化することができる。
【００７４】
チャネル切り替えフレーム間隔が経過しているときには、ＳＥＣ近似モジュール６０は、１つ以上の空間誤り隠蔽アルゴリズムを用いて復号デバイス１４におい希望される忠実度で再構築することができるフレーム間符号化されたフレームの１つ以上のブロックを識別する（９０）。ＳＥＣ近似モジュール６０が復号デバイス１４によって用いられる空間誤り隠蔽アルゴリズムを承知している場合は、ＳＥＣ近似モジュール６０は、復号デバイス１４の１つ以上の空間誤り隠蔽アルゴリズムを用いてブロックの空間隠蔽されたバージョンを生成することができる。ＳＥＣ近似モジュール６０は、複数の再構築されたブロックの各々と対応するフレーム間符号化されたフレームの複数の画素ブロックのうちの対応する１つとの間の差分メトリックを計算することができる。これに基づき、ＳＥＣ近似モジュール６０は、しきい値よりも小さいか又は同じである対応する差分メトリックを有するブロックを、少なくとも１つの空間誤り隠蔽アルゴリズによって再構築できるブロックとして識別することができる。ＳＥＣ近似モジュール６０が復号デバイス１４によってサポートされる空間誤り隠蔽アルゴリズムを知らない場合は、ＳＥＣ近似モジュール６０は、１つ以上のブロックが十分に補間できる尤度に基づいて空間誤り隠蔽を用いて希望される忠実度でこれらのブロックが再構築されるかどうかを評価することができる。ブロックを十分に補間できるかどうかの評価は、例えば、信号の平滑さ又は方向性の評価に基づくことができる。
【００７５】
さらに、フレーム間符号化されたフレーム解析モジュール６２は、対応するフレーム間符号化されたフレームにおけるフレーム内符号化されたブロックに対応するブロックを識別することもできる（９２）。符号化モジュール１８は、識別されたブロックのうちの１つ以上を除外するようにチャネル切り替えフレームの少なくとも一部分を符号化する（９４）。特に、符号化モジュール１８は、空間誤り隠蔽を用いて簡単に複製できない画素ブロックをフレーム内符号化する。しかしながら、符号化モジュールは、空間誤り隠蔽を用いて希望される忠実度で再構築できる画素ブロックのフレーム内符号化はスキップする。この方法により、符号化モジュール１８は、空間誤り隠蔽アルゴリズムを用いて再構築することができるとして識別されたブロックのうちの少なくとも１つを除外するようにチャネル切り替えフレームを符号化する。幾つかの側面においては、符号化モジュール１８は、対応するフレーム間符号化されたフレームのフレーム内符号化されたブロックに対応するチャネル切り替えフレームのブロックのうちの少なくとも１つを除外するようにチャネル切り替えフレームの一部分をさらに符号化することができる。代替として、符号化モジュール１８は、対応するフレーム間符号化されたフレームのフレーム内符号化されたブロックに対応するチャネル切り替えフレームの一部分のブロックを、これらのブロックを完全にスキップする代わりに低下された品質で又は引き下げられたビットレートで符号化することができる。
【００７６】
チャネル切り替えフレームを符号化後は、符号化モジュール１８は、後続するフレーム間符号化フレームを符号化する（８４）。符号化モジュール１８は、フレーム間符号化フレームがチャネル切り替えフレームに先行するフレームを前方基準にしないように後続するフレーム間符号化フレームを符号化することができる。その代わりに、符号化モジュール１８は、チャネル切り替えフレーム又はチャネル切り替えフレームに対応するフレーム間符号化されたフレームを基準にして後続するフレーム間符号化フレームを符号化することができる。
【００７７】
図７は、この開示の技法により符号化されたマルチメディアデータシーケンスを復号する選択式復号モジュール、例えば図１の選択式復号モジュール２４、の典型的動作を示す流れ図である。選択式復号モジュール２４は、第１のチャネルから符号化されたフレームを選択し（１００）、選択されたフレームを復号する（１０２）。選択式復号モジュール２４は、復号されたフレーム内に有意な破損が存在するかどうかを決定する（１０４）。復号モジュール２４は、ブロックが希望される忠実度よりも低い忠実度で再構築されるときに破損が有意であると決定することができる。破損は、例えば、送信中に導入された誤り又はネットワークを通じてのデータ送信中におけるデータ紛失の結果であることができる。基礎になるトランスポート機構に依存し、有意な破損は、異なるメトリックに基づいて決定することが可能である。一定の側面においては、選択式復号モジュール２４は、破損している、すなわち復元不能である現在の符号化された映像フレームの物理層パケット（ＰＬＰ）数を示す１つ以上のカウンタを維持する。その他の側面においては、１ビットのネットワーク抽象化層ユニット（ＮＡＬＵ）ヘッダ、例えば“禁止ゼロビット”は、０である場合はＮＡＬＵがビット誤りを搬送しないと表示し、１に設定された場合はビット誤りを有する破損であると表示することができる。選択式復号モジュール２４は、破損している現在の映像フレームの符号化されたデータ量、すなわち、１に設定されている禁止ゼロビット数、を有意な破損のインジケータとしてのしきい値と比較することができる。このしきい値は、フレーム符号化タイプに依存することができ、例えば、選択式復号モジュール２４は、誤り処理を目的としてＣＳＦの次のインスタンスに報告せずにＢフレームが１００％破損していることを許容し、他方、その他のフレームに関する時間的基準として用いられるフレームは、３０％のしきい値を有することができる。
【００７８】
選択式復号モジュール２４が、復号されたフレーム内に有意な破損が存在すると決定したときには、選択式復号モジュール２４は、第１のチャネルに関するチャネル切り替えフレームを入手する（１０６）。例えば、選択式復号モジュール２４は、後続するフレーム間符号化されたフレームのうちの１つに対応するチャネル切り替えフレームを入手することができる。選択式復号モジュール２４は、第１のチャネルに関するチャネル切り替えフレームの一部分を復号する（１０８）。この方法により、選択式復号モジュール２４は、対応するフレーム間符号化されたフレームの代わりにチャネル切り替えフレームの一部分を復号する。
【００７９】
選択式復号モジュール２４が、復号されたフレーム内に有意な破損が存在しないと決定したときには、選択式復号モジュール２４は、チャネル切り替え要求が存在しているかどうかを決定する（１１０）。チャネル切り替え要求が存在しないときには、選択式復号モジュール２４は、次の符号化されたフレームを選択し、選択されたフレームを復号する（１００）。選択式復号モジュール２４が、チャネル切り替え要求が存在していると決定したときには、選択式復号モジュール２４は、第２のチャネルに関するチャネル切り替えフレームを入手する（１１２）。より具体的には、選択式復号モジュール２４は、第２のチャネルに関する後続するフレーム間符号化されたフレームのうちの１つに対応するチャネル切り替えフレームを入手する。選択式復号モジュール２４は、対応するフレーム間符号化されたフレームの代わりに第２のチャネルに関するチャネル切り替えフレームを復号する（１１６）。
【００８０】
チャネル切り替えフレームを復号後は、選択式復号モジュール２４は、チャネル切り替えフレームの復号された部分を補完するためにチャネル切り替えフレームの一部分に対応するフレーム間符号化されたフレームのフレーム内符号化されたブロックをさらに復号することができる（１１８）。幾つかの側面においては、選択式復号モジュール２４は、チャネル切り替えフレームのフレーム内符号化されたブロックを、チャネル切り替えフレームに対応するフレーム間符号化されたフレームのフレーム内符号化されたブロックによって補強することができる。この方法により、選択式復号モジュール２４は、対応するフレーム間符号化されたフレームのフレーム内符号化されたブロックをあたかもチャネル切り替えフレームの一部であるものとして処理する。その他の側面においては、選択式復号モジュール２４は、対応するフレーム間符号化されたフレームの対応するフレーム内符号化されたフレームを用いてチャネル切り替えフレームのフレーム内符号化されたブロックの品質を向上させることができる。
【００８１】
選択式復号モジュール２４は、１つ以上の空間誤り隠蔽アルゴリズムを用いてチャネル切り替えフレームの１つ以上のブロックを再構築する（１２０）。特に、選択式復号モジュール２４は、復号デバイス１４において再構築可能であるという決定に起因して符号化モジュール１８によってスキップされたブロックを再構築する。選択式復号モジュール２４は、チャネル切り替えフレームの１つ以上の復号されたブロックに基づいてスキップされたブロックを再構築することができ、チャネル切り替えフレームにおけるフレーム内符号化されたブロックと、チャネル切り替えフレームのフレーム内符号化されたブロックを補強するために用いられる対応するフレーム間符号化されたフレームのフレーム内符号化されたブロックと、を含むことができる。
【００８２】
図８は、この開示の技法により符号化された典型的チャネル切り替えフレーム１２０を示す。特に、チャネル切り替えフレーム１２０は、１つ以上の空間誤り隠蔽アルゴリズムを用いてチャネル切り替えフレーム１２０の１つ以上の符号化されたブロックから希望される忠実度で再構築することができる１つ以上のブロックを除外するように符号化される。図８に示される例においては、チャネル切り替えフレーム１２０は、斜線付きブロック１２２Ａ乃至１２２Ｆを除外するように符号化される。図８の例においては、チャネル切り替えフレーム１２０は、８×８ブロックの画素ブロックを備える。しかしながら、これらの技法は、その他のサイズのチャネル切り替えフレームに適用可能である。さらに、図８のチャネル切り替えフレームはフレーム全体を備えるが、技法は、対応するフレーム間符号化されたフレームのスライスのフレーム内符号化されたバージョンを備えるチャネル切り替えフレームを符号化するために適用することができる。例えば、チャネル切り替えフレームは、斜線付きブロック１２２Ａ及び１２２Ｂを除外するためにフレーム内符号化された第１の２つのブロック行、すなわち行０及び１、を含むフレーム間符号化されたフレームのスライスを備えるように符号化することができる。
【００８３】
図９は、この開示の技法により符号化された他の典型的チャネル切り替えフレーム１３０を対応するフレーム間符号化されたフレーム１３２とともに示す。チャネル切り替えフレーム１３０は、図８のチャネル切り替えフレーム１２０と同様に、１つ以上の空間誤り隠蔽アルゴリズムを用いて符号化されたブロックのうちの１つ以上から再構築することができる１つ以上のブロックを除外するように符号化される。しかしながら、チャネル切り替えフレーム１３０は、対応するフレーム間符号化されたフレーム１３２のフレーム内符号化されたブロックに対応するブロックを除外するようにも符号化される（すなわち、図９において“Ｉ”のラベルが付されたブロック）。図９のチャネル切り替えフレーム１３０は、８×８ブロックの画素ブロックを備える。しかしながら、これらの技法は、その他のサイズのチャネル切り替えフレームに対しても適用可能である。さらに、これらの技法は、対応するフレーム間符号化されたフレームのスライスのフレーム内符号化されたバージョンを備えるチャネル切り替えフレームを符号化するために適用することができる。例えば、チャネル切り替えフレームは、斜線付きブロック１３４Ｃ乃至１３４Ｆ及び斜交線付きブロック１３６Ａ乃至１３６Ｄを除外するためにフレーム内符号化されたブロックの行２乃至５を含むフレーム間符号化されたフレームのスライスを備えるように符号化することができる。
【００８４】
ここにおいて説明される教示に基づき、ここにおいて開示される側面は、その他の側面とは無関係に実装できること及びこれらの側面のうちの２つ以上を様々な方法で組み合わせることができることが明らかなはずである。ここにおいて説明される技法は、ハードウェア内、ソフトウェア内、ファームウェア内、又はそのいずれかの組み合わせ内において実装することができる。ハードウェア内に実装される場合は、これらの技法は、デジタルハードウェア、アナログハードウェア又はその組み合わせを用いて実現することができる。ソフトウェア内に実装される場合は、これらの技法は、１つ以上の命令又は符号が格納されているコンピュータによって読み取り可能な媒体を含むコンピュータプログラム製品によって少なくとも部分的に実現することができる。
【００８５】
一例として、ただし制限することなしに、該コンピュータによって読み取り可能な媒体は、ＲＡＭ、例えば同期ダイナミックランダムアクセスメモリ（ＳＤＲＡＭ）、読み取り専用メモリ（ＲＯＭ）、非揮発性ランダムアクセスメモリ（ＮＶＲＡＭ）、ＲＯＭ、電気的消去可能プログラマブル読み取り専用メモリ（ＥＥＰＲＯＭ）、消去可能プログラマブル読み取り専用メモリ（ＥＰＲＯＭ）、ＦＬＡＳＨメモリ、ＣＤ−ＲＯＭ、又はその他の光学ディスク記憶装置、磁気ディスク記憶装置又はその他の磁気記憶装置、又は希望されるプログラムコードを命令又は命令構造の形態で搬送又は格納するために用いることができ及びコンピュータによってアクセス可能であるその他のあらゆる有形な媒体を備えることができる。
【００８６】
コンピュータプログラム製品のコンピュータによって読み取り可能な媒体と関連づけられた命令又は符号は、コンピュータによって、例えば、１つ以上のプロセッサ、例えば、１つ以上のデジタル信号プロセッサ（ＤＳＰ）、汎用マイクロプロセッサ、ＡＳＩＣ、ＦＰＧＡ、又はその他の同等の集積回路又は個別論理回路、によって実行することができる。
【００８７】
幾つかの側面及び例が説明されている。しかしながら、これらの例の様々な修正が可能であり、さらに、ここにおいて提示される原理は、その他の側面に対しても同様に適用することができる。これらの及びその他の側面は、以下の請求項の適用範囲内である。
【図１】
2010526516.tif 000003
【図２】
2010526516.tif 000004
【図３】
2010526516.tif 000005
【図４】
2010526516.tif 000006
【図５】
2010526516.tif 000007
【図６】
2010526516.tif 000008
【図７】
2010526516.tif 000009
【図８】
2010526516.tif 000010
【図９】
2010526516.tif 000011
【手続補正書】
【提出日】平成22年5月24日(2010.5.24)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
マルチメディアデータを処理するための方法であって、
マルチメディアデータフレームをフレーム間符号化することであって、前記フレーム間符号化されたフレームは、複数の画素ブロックを含むことと、
前記フレーム間符号化されたフレームにおける符号化された前記マルチメディアデータの少なくとも一部を備えるチャネル切り替えフレームをフレーム内符号化することであって、前記チャネル切り替えフレームをフレーム内符号化することは、１つ以上の画素ブロックを空間誤り隠蔽アルゴリズムを用いて少なくともしきい値の忠実度で再構築することができる場合に前記フレーム間符号化されたフレームの複数の画素ブロックの１つ以上を前記チャネル切り替えフレームから除外するための決定を行うことを備える、方法。
【請求項２】
前記チャネル切り替えフレームをフレーム内符号化することは、前記フレーム間符号化されたフレームにおける符号化された前記マルチメディアデータの１つ以上のスライスを含むように前記チャネル切り替えフレームをフレーム内符号化することを備える請求項１に記載の方法。
【請求項３】
前記複数の画素ブロックのうちの１つ以上を解析して、前記１つ以上の画素ブロックを前記空間誤り隠蔽アルゴリズムを用いて前記少なくともしきい値の忠実度で再構築できるかどうかを決定することをさらに備える請求項１に記載の方法。
【請求項４】
前記複数の画素ブロックのうちの１つ以上を解析することは、
前記空間誤り隠蔽アルゴリズムを適用して前記複数の画素ブロックのうちの１つ以上を再構築することと、
前記複数の再構築された画素ブロックの各々と前記フレーム間符号化されたフレームの前記複数の画素ブロックのうちの対応する１つとの間の差分メトリックを計算することと、
差分しきい値よりも小さいか又は同じである対応する差分メトリックを有する画素ブロックを、前記空間誤り隠蔽アルゴリズムを用いて前記少なくともしきい値の忠実度で再構築することができる前記１つ以上の画素ブロックとして識別すること、とを備える請求項３に記載の方法。
【請求項５】
前記差分メトリックを計算することは、差分の絶対値の和（ＳＡＤ）、差分の二乗の和（ＳＳＤ）、変換された差分の絶対値の和（ＳＡＴＤ）、及び変換された差分の二乗の和（ＳＳＴＤ）のうちの１つを計算することを備える請求項４に記載の方法。
【請求項６】
前記空間誤り隠蔽アルゴリズムを適用することは、対応する復号モジュールによって用いられる少なくとも１つの空間誤り隠蔽アルゴリズムを適用することを備える請求項４に記載の方法。
【請求項７】
前記複数の画素ブロックのうちの１つ以上を解析することは、
前記複数の画素ブロックのうちの１つ以上と関連づけられた情報を解析して前記画素ブロックが前記空間誤り隠蔽アルゴリズムを用いて前記少なくともしきい値の忠実度で再構築できるかどうかを決定することと、
１つ以上の隣接画素ブロックを用いて十分に補間することができる画素ブロックを、前記空間誤り隠蔽アルゴリズムを用いて前記少なくともしきい値の忠実度で再構築することができる前記１つ以上の画素ブロックとして識別すること、とを備える請求項３に記載の方法。
【請求項８】
前記複数の画素ブロックのうちの１つ以上と関連づけられた情報を解析することは、前記画素ブロックの画素データにおける方向性構造を決定することと、
一貫した方向性構造を有する画素ブロックを、前記空間誤り隠蔽アルゴリズムを用いて前記少なくともしきい値の忠実度で再構築することができる前記１つ以上の画素ブロックとして識別すること、とを備える請求項７に記載の方法。
【請求項９】
前記フレーム間符号化されたフレームは画素ブロックの第１および第２の部分組を備え、前記マルチメディアデータフレームをフレーム間符号化することは、時間予測符号化を用いて前記フレーム間符号化されたフレームの前記画素ブロックの前記第１の部分組をフレーム間符号化することと、前記フレーム間符号化されたフレームの前記画素ブロックの前記第２の部分組をフレーム内符号化すること、とを備え、
前記チャネル切り替えフレームをフレーム内符号化することは、前記フレーム間符号化されたフレームの前記画素ブロックの前記第２の部分組の前記画素ブロックのうちの１つ以上に対応する前記マルチメディアデータを符号化せずに前記フレーム間符号化されたフレームの前記画素ブロックの前記第１の部分組の前記画素ブロックのうちの１つ以上に対応する前記マルチメディアデータを含むように前記チャネル切り替えフレームをフレーム内符号化することを備える請求項１に記載の方法。
【請求項１０】
前記フレーム間符号化されたフレームは画素ブロックの第１および第２の部分組を備え、前記マルチメディアデータフレームをフレーム間符号化することは、時間予測符号化を用いて前記フレーム間符号化されたフレームの前記画素ブロックの前記第１の部分組をフレーム間符号化することと、前記フレーム間符号化されたフレームの前記画素ブロックの前記第２の部分組をフレーム内符号化すること、とを備え、
前記チャネル切り替えフレームをフレーム内符号化することは、前記対応するフレーム間符号化されたフレームの前記画素ブロックの前記第１の部分組の前記画素ブロックのうちの１つ以上に対応する前記チャネル切り替えフレームによって含められた前記マルチメディアデータと比較して低下された品質で前記フレーム間符号化されたフレームの前記画素ブロックの前記第２の部分組の前記画素ブロックのうちの１つ以上に対応する前記マルチメディアデータをフレーム内符号化することを備える請求項１に記載の方法。
【請求項１１】
前記フレーム間符号化されたフレーム及び前記チャネル切り替えフレームは、第１のフレーム間符号化されたフレームと第１のチャネル切り替えフレームとを備え、前記方法はさらに、
第２のマルチメディアデータフレームをフレーム間符号化することと、
前記第２のフレーム間符号化されたフレームにおける符号化された前記マルチメディアデータの少なくとも一部を備える第２のチャネル切り替えフレームをフレーム内符号化すること、とを備え、前記第２のチャネル切り替えフレームをフレーム内符号化することは、前記第２のフレーム間符号化されたフレームの１つ以上の画素ブロックを空間誤り隠蔽アルゴリズムを用いて少なくともしきい値の忠実度で再構築することができる場合に前記第２のフレーム間符号化されたフレームの前記１つ以上の画素ブロックを前記第２のチャネル切り替えフレームから除外するための決定を行うことを備える、方法。
【請求項１２】
前記第１のチャネル切り替えフレームは、前記第１のフレーム間符号化されたフレームにおける符号化された前記マルチメディアデータの第１のスライスを符号化し、前記第２のチャネル切り替えフレームは、前記第２のフレーム間符号化されたフレームにおける符号化された前記マルチメディアデータの第２のスライスを符号化する請求項１１に記載の方法。
【請求項１３】
マルチメディアデータを処理するための装置であって、
マルチメディアデータフレームをフレーム間符号化し、及び
前記フレーム間符号化されたフレームにおける符号化された前記マルチメディアデータの少なくとも一部を備えるチャネル切り替えフレームをフレーム内符号化する符号化モジュールを備え、前記符号化モジュールは、１つ以上の画素ブロックを空間誤り隠蔽アルゴリズムを用いて少なくともしきい値の忠実度で再構築することができる場合に前記フレーム間符号化されたフレームの１つ以上の画素ブロックを前記チャネル切り替えフレームから除外するための決定を行う、方法。
【請求項１４】
前記符号化モジュールは、前記フレーム間符号化されたフレームにおける符号化された前記マルチメディアデータのスライスを含むように前記チャネル切り替えフレームをフレーム内符号化する請求項１３に記載の装置。
【請求項１５】
前記符号化モジュールは、前記複数の画素ブロックのうちの１つ以上を解析して、前記１つ以上の画素ブロックを前記空間誤り隠蔽アルゴリズムを用いて少なくともしきい値の忠実度で再構築できるかどうかを決定する請求項１３に記載の装置。
【請求項１６】
前記符号化モジュールは、
前記空間誤り隠蔽アルゴリズムを適用して前記複数の画素ブロックのうちの１つ以上を再構築し、
前記複数の再構築された画素ブロックの各々と前記フレーム間符号化されたフレームの前記複数の画素ブロックのうちの対応する１つとの間の差分メトリックを計算し、及び
差分しきい値よりも小さいか又は同じである対応する差分メトリックを有する画素ブロックを、前記空間誤り隠蔽アルゴリズムを用いて前記少なくともしきい値の忠実度で再構築することができる前記１つ以上の画素ブロックとして識別すること、とを備える請求項１５に記載の方法。
【請求項１７】
前記符号化モジュールは、差分の絶対値の和（ＳＡＤ）、差分の二乗の和（ＳＳＤ）、変換された差分の絶対値の和（ＳＡＴＤ）、及び変換された差分の二乗の和（ＳＳＴＤ）のうちの１つを計算する請求項１６に記載の装置。
【請求項１８】
前記符号化モジュールは、対応する復号モジュールによって用いられる少なくとも１つの空間誤り隠蔽アルゴリズムを適用することを備える請求項１６に記載の装置。
【請求項１９】
前記符号化モジュールは、前記複数の画素ブロックのうちの１つ以上と関連づけられた情報を解析して、前記画素ブロックを前記空間誤り隠蔽アルゴリズムを用いて少なくともしきい値の忠実度で再構築できるかどうかを決定し、及び
十分に補間することができる画素ブロックを、前記空間誤り隠蔽アルゴリズムを用いて前記少なくともしきい値の忠実度で再構築することができる前記１つ以上の画素ブロックとして識別する請求項１５に記載の装置。
【請求項２０】
符号化モジュールは、
前記複数の画素ブロックのうちの１つ以上と関連づけられた情報を解析し、
前記画素ブロックの画素データにおける方向性構造を決定することを備え、及び
一貫する方向性構造を有する画素ブロックを、前記空間誤り隠蔽アルゴリズムを用いて前記少なくともしきい値の忠実度で再構築することができる前記１つ以上の画素ブロックとして識別する請求項１９に記載の装置。
【請求項２１】
前記フレーム間符号化されたフレームは画素ブロックの第１および第２の部分組を備え、
前記符号化モジュールは、
時間予測符号化を用いて前記フレーム間符号化されたフレームの前記画素ブロックの前記第１の部分組をフレーム間符号化し、
前記フレーム間符号化されたフレームの前記画素ブロックの前記第２の部分組をフレーム内符号化し、及び
前記フレーム間符号化されたフレームの前記画素ブロックの前記第２の部分組の前記画素ブロックのうちの１つ以上に対応する前記マルチメディアデータを符号化せずに前記フレーム間符号化されたフレームの前記画素ブロックの前記第１の部分組の前記画素ブロックのうちの１つ以上に対応する前記マルチメディアデータを含むように前記チャネル切り替えフレームをフレーム内符号化する請求項１３に記載の装置。
【請求項２２】
前記フレーム間符号化されたフレームは画素ブロックの第１および第２の部分組を備え、
前記符号化モジュールは、
時間予測符号化を用いて前記フレーム間符号化されたフレームの前記画素ブロックの前記第１の部分組をフレーム間符号化し、
前記フレーム間符号化されたフレームの前記画素ブロックの前記第２の部分組をフレーム内符号化し、及び
前記対応するフレーム間符号化されたフレームの前記画素ブロックの前記第１の部分組の前記画素ブロックのうちの１つ以上に対応する前記チャネル切り替えフレームによって含められた前記マルチメディアデータと比較して低下された品質で前記フレーム間符号化されたフレームの前記画素ブロックの前記第２の部分組の前記画素ブロックのうちの１つ以上に対応する前記マルチメディアデータをフレーム内符号化する請求項１３に記載の装置。
【請求項２３】
前記フレーム間符号化されたフレーム及び前記チャネル切り替えフレームは、第１のフレーム間符号化されたフレームと第１のチャネル切り替えフレームとを備え、及び
前記符号化モジュールは、前記第２のフレーム間符号化されたフレームの１つ以上の画素ブロックを空間誤り隠蔽アルゴリズムを用いて少なくともしきい値の忠実度で再構築することができる場合に前記第２のフレーム間符号化されたフレームの前記１つ以上の画素ブロックを前記第２のチャネル切り替えフレームから除外するための決定を行う、方法
【請求項２４】
前記符号化モジュールは、
前記第１のフレーム間符号化されたフレームにおける符号化された前記マルチメディアデータの第１のスライスを備えるように前記第１のチャネル切り替えフレームをフレーム内符号化し、及び
前記第２のフレーム間符号化されたフレームにおける符号化された前記マルチメディアデータの第２のスライスを備えるように前記第２のチャネル切り替えフレームをフレーム内符号化する請求項１３に記載の装置。
【請求項２５】
マルチメディアデータを処理するための装置であって、マルチメディアデータフレームをフレーム間符号化するための手段であって、前記フレーム間符号化されたフレームは、複数の画素ブロックを含む手段と、
前記フレーム間符号化されたフレームにおける符号化された前記マルチメディアデータの少なくとも一部を備えるチャネル切り替えフレームをフレーム内符号化するための手段であって、前記チャネル切り替えフレームをフレーム内符号化するための手段は、１つ以上の画素ブロックを空間誤り隠蔽アルゴリズムを用いて少なくともしきい値の忠実度で再構築することができると判断された場合に前記フレーム間符号化されたフレームの複数の画素ブロックの１つ以上を除外するための決定を行う、方法。
【請求項２６】
前記フレーム内符号化する手段は、前記フレーム間符号化されたフレームにおける符号化された前記マルチメディアデータの１つ以上のスライスを含むように前記チャネル切り替えフレームをフレーム内符号化する請求項２５に記載の装置。
【請求項２７】
前記複数の画素ブロックのうちの１つ以上を解析して、前記１つ以上の画素ブロックを前記空間誤り隠蔽アルゴリズムを用いて前記少なくともしきい値の忠実度で再構築できるか否かを決定するための手段をさらに備える請求項２５に記載の装置。
【請求項２８】
前記解析する手段は、
前記空間誤り隠蔽アルゴリズムを適用して前記複数の画素ブロックのうちの１つ以上を再構築するための手段と、
前記複数の再構築された画素ブロックの各々と前記フレーム間符号化されたフレームの前記複数の画素ブロックのうちの対応する１つとの間の差分メトリックを計算するための手段と、
差分しきい値よりも小さいか又は同じである対応する差分メトリックを有する画素ブロックを、前記空間誤り隠蔽アルゴリズムを用いて前記少なくともしきい値の忠実度で再構築することができる前記１つ以上の画素ブロックとして識別するための手段とを含む請求項２７に記載の装置。
【請求項２９】
前記解析する手段は、差分の絶対値の和（ＳＡＤ）、差分の二乗の和（ＳＳＤ）、変換された差分の絶対値の和（ＳＡＴＤ）、及び変換された差分の二乗の和（ＳＳＴＤ）のうちの１つを計算する請求項２８に記載の装置。
【請求項３０】
前記解析する手段は、対応する復号モジュールによって用いられる少なくとも１つの空間誤り隠蔽アルゴリズムを適用する請求項２８に記載の装置。
【請求項３１】
前記解析する手段は、
前記複数の画素ブロックのうちの１つ以上と関連づけられた情報を解析して前記画素ブロックが前記空間誤り隠蔽アルゴリズムを用いて前記少なくともしきい値の忠実度で再構築できるかどうかを決定するための手段と、
十分に補間することができる画素ブロックを、前記空間誤り隠蔽アルゴリズムを用いて前記少なくともしきい値の忠実度で再構築することができる前記１つ以上の画素ブロックとして識別するための手段と、を含む請求項２７に記載の装置。
【請求項３２】
前記解析する手段は、前記画素ブロックの画素データにおける方向性構造を決定するための手段と、
一貫した方向性構造を有する画素ブロックを、前記空間誤り隠蔽アルゴリズムを用いて前記少なくともしきい値の忠実度で再構築することができる前記１つ以上の画素ブロックとして識別するための手段と、を含む請求項３１に記載の装置。
【請求項３３】
前記フレーム間符号化されたフレームは画素ブロックの第１および第２の部分組を備え、
前記フレーム間符号化する手段は、時間予測符号化を用いて前記フレーム間符号化されたフレームの前記画素ブロックの前記第１の部分組をフレーム間符号化し、及び    
前記フレーム内符号化する手段は、前記フレーム間符号化されたフレームの前記画素ブロックの前記第２の部分組の前記画素ブロックのうちの１つ以上に対応する前記マルチメディアデータを符号化せずに前記フレーム間符号化されたフレームの前記画素ブロックの前記第１の部分組の前記画素ブロックのうちの１つ以上に対応する前記マルチメディアデータを含むように前記フレーム間符号化されたフレームの前記画素ブロックの前記第２の部分組をフレーム内符号化し及び前記チャネル切り替えフレームをフレーム内符号化する請求項２５に記載の装置。
【請求項３４】
前記フレーム間符号化されたフレームは画素ブロックの第１および第２の部分組を備え、
前記フレーム間符号化する手段は、時間予測符号化を用いて前記フレーム間符号化されたフレームの前記画素ブロックの前記第１の部分組をフレーム間符号化し、        
前記フレーム内符号化する手段は、前記フレーム間符号化されたフレームの前記画素ブロックの前記第２の部分組をフレーム内符号化し、及び、前記チャネル切り替えフレームに関して、前記対応するフレーム間符号化されたフレームの前記画素ブロックの前記第１の部分組の前記画素ブロックのうちの１つ以上に対応する前記チャネル切り替えフレームによって含められた前記マルチメディアデータと比較して低下された品質で前記フレーム間符号化されたフレームの前記画素ブロックの前記第２の部分組の前記画素ブロックのうちの１つ以上に対応する前記マルチメディアデータをフレーム内符号化する請求項２５に記載の装置。
【請求項３５】
前記フレーム間符号化されたフレーム及び前記チャネル切り替えフレームは、第１のフレーム間符号化されたフレームと第１のチャネル切り替えフレームとを備え、
前記フレーム間符号化する手段は、第２のマルチメディアデータフレームをフレーム間符号化し、
前記フレーム内符号化する手段は、前記第２のフレーム間符号化されたフレームにおける符号化された前記マルチメディアデータの少なくとも一部を備える第２のチャネル切り替えフレームをフレーム内符号化し、前記フレーム内符号化する手段は、前記第２のフレーム間符号化されたフレームの１つ以上の画素ブロックを空間誤り隠蔽アルゴリズムを用いて少なくともしきい値の忠実度で再構築することができる場合に前記第２のフレーム間符号化されたフレームの前記１つ以上の画素ブロックを前記第２のチャネル切り替えフレームから除外するための決定を行う装置。
【請求項３６】
前記第１のチャネル切り替えフレームは、前記第１のフレーム間符号化されたフレームにおける符号化された前記マルチメディアデータの第１のスライスを符号化し、前記第２のチャネル切り替えフレームは、前記第２のフレーム間符号化されたフレームにおける符号化された前記マルチメディアデータの第２のスライスを符号化する請求項３５に記載の装置。
【請求項３７】
命令が格納されたコンピュータによって読み取り可能な媒体を備えるマルチメディアデータを処理するためのコンピュータプログラム製品であって、前記命令は、
マルチメディアデータフレームをフレーム間符号化するためのコードであって、前記フレーム間符号化されたフレームは、複数の画素ブロックを含むコードと、
前記フレーム間符号化されたフレームにおける符号化された前記マルチメディアデータの少なくとも一部を備えるチャネル切り替えフレームをフレーム内符号化するためのコードであって、前記チャネル切り替えフレームをフレーム内符号化するためのコードは、前記１つ以上の画素ブロックを空間誤り隠蔽アルゴリズムを用いて少なくともしきい値の忠実度で再構築することができる場合に前記フレーム間符号化されたフレームの前記複数の画素ブロックの１つ以上を前記チャネル切り替えフレームから除外するための決定を行う、コンピュータプログラム製品。
【請求項３８】
前記チャネル切り替えフレームをフレーム内符号化するためのコードは、前記フレーム間符号化されたフレームにおける符号化された前記マルチメディアデータのスライスを含むように前記チャネル切り替えフレームをフレーム内符号化するためのコードを備える請求項３７に記載のコンピュータプログラム製品。
【請求項３９】
前記複数の画素ブロックのうちの１つ以上を解析して、前記１つ以上の画素ブロックを前記空間誤り隠蔽アルゴリズムを用いて前記少なくともしきい値の忠実度で再構築できるかどうかを決定するためのコードをさらに備える請求項３７に記載のコンピュータプログラム製品。
【請求項４０】
前記複数の画素ブロックのうちの１つ以上を解析するための前記コードは、
前記空間誤り隠蔽アルゴリズムを適用して前記複数の画素ブロックのうちの１つ以上を再構築するためのコードと、
前記複数の再構築された画素ブロックの各々と前記フレーム間符号化されたフレームの前記複数の画素ブロックのうちの対応する１つとの間の差分メトリックを計算するためのコードと、
差分しきい値よりも小さいか又は同じである対応する差分メトリックを有する画素ブロックを、前記空間誤り隠蔽アルゴリズムを用いて前記少なくともしきい値の忠実度で再構築することができる前記１つ以上の画素ブロックとして識別するためのコードと、を備える請求項３９に記載のコンピュータプログラム製品。
【請求項４１】
前記差分メトリックを計算するための前記コードは、差分の絶対値の和（ＳＡＤ）、差分の二乗の和（ＳＳＤ）、変換された差分の絶対値の和（ＳＡＴＤ）、及び変換された差分の二乗の和（ＳＳＴＤ）のうちの１つを計算するためのコードを備える請求項４０に記載のコンピュータプログラム製品。
【請求項４２】
前記少なくとも１つの空間誤り隠蔽アルゴリズムを適用するための前記コードは、対応する復号モジュールによって用いられる少なくとも１つの空間誤り隠蔽アルゴリズムを適用するためのコードを備える請求項４０に記載のコンピュータプログラム製品。
【請求項４３】
前記複数の画素ブロックのうちの１つ以上を解析するための前記コードは、
前記複数の画素ブロックのうちの１つ以上と関連づけられた情報を解析して前記画素ブロックが前記空間誤り隠蔽アルゴリズムを用いて前記少なくともしきい値の忠実度で再構築できるかどうかを決定するためのコードと、
十分に補間することができる画素ブロックを、前記空間誤り隠蔽アルゴリズムを用いて前記少なくともしきい値の忠実度で再構築することができる前記１つ以上の画素ブロックとして識別するためのコードと、をさらに備える請求項３９に記載のコンピュータプログラム製品。
【請求項４４】
前記複数の画素ブロックのうちの１つ以上と関連づけられた情報を解析するための前記コードは、前記画素ブロックの画素データにおける方向性構造を決定するためのコードを備え、
識別するための前記コードは、一貫した方向性構造を有する画素ブロックを、前記空間誤り隠蔽アルゴリズムを用いて前記少なくともしきい値の忠実度で再構築することができる前記１つ以上の画素ブロックとして識別するためのコードを備える請求項４３に記載のコンピュータプログラム製品。
【請求項４５】
前記フレーム間符号化されたフレームは画素ブロックの第１および第２の部分組を備え、
前記フレームをフレーム間符号化するためのコードは、時間予測符号化を用いて前記フレーム間符号化されたフレームの前記画素ブロックの前記第１の部分組をフレーム間符号化するためのコードと、前記フレーム間符号化されたフレームの前記画素ブロックの前記第２の部分組をフレーム内符号化するためのコードと、を備え、
前記チャネル切り替えフレームをフレーム内符号化するためのコードは、前記フレーム間符号化されたフレームの前記画素ブロックの前記第２の部分組の前記画素ブロックのうちの１つ以上に対応する前記マルチメディアデータを符号化せずに前記フレーム間符号化されたフレームの前記画素ブロックの前記第１の部分組の前記画素ブロックのうちの１つ以上に対応する前記マルチメディアデータを含むように前記チャネル切り替えフレームをフレーム内符号化するためのコードを備える請求項３７に記載のコンピュータプログラム製品。
【請求項４６】
前記フレーム間符号化されたフレームは画素ブロックの第１および第２の部分組を備え、
前記フレームをフレーム間符号化するための前記コードは、時間予測符号化を用いて前記フレーム間符号化されたフレームの前記画素ブロックの前記第１の部分組をフレーム間符号化するためのコードと、前記フレーム間符号化されたフレームの前記画素ブロックの前記第２の部分組をフレーム内符号化するためのコードとを備え、
前記チャネル切り替えフレームをフレーム内符号化するための前記コードは、前記対応するフレーム間符号化されたフレームの前記画素ブロックの前記第１の部分組の前記画素ブロックのうちの１つ以上に対応する前記チャネル切り替えフレームによって含められた前記マルチメディアデータと比較して低下された品質で前記フレーム間符号化されたフレームの前記画素ブロックの前記第２の部分組の前記画素ブロックのうちの１つ以上に対応する前記マルチメディアデータをフレーム内符号化するためのコードを備える請求項３７に記載のコンピュータプログラム製品。
【請求項４７】
前記フレーム間符号化されたフレーム及び前記チャネル切り替えフレームは、第１のフレーム間符号化されたフレームと第１のチャネル切り替えフレームとを備え、
第２のマルチメディアデータフレームをフレーム間符号化するためのコードと、前記第２のフレーム間符号化されフレームにおける符号化された前記マルチメディアデータの少なくとも一部を備える第２のチャネル切り替えフレームをフレーム内符号化するためのコードと、を備え、前記第２のチャネル切り替えフレームをフレーム内符号化するためのコードは、前記第２のフレーム間符号化されたフレームの１つ以上の画素ブロックを空間誤り隠蔽アルゴリズムを用いて少なくともしきい値の忠実度で再構築することができる場合に前記第２のフレーム間符号化されたフレームの前記１つ以上の画素ブロックを前記第２のチャネル切り替えフレームから除外するための決定を行うためのコードをさらに具備する請求項３７に記載のコンピュータプログラム製品。
【請求項４８】
前記第１のチャネル切り替えフレームは、前記第１のフレーム間符号化されたフレームにおける符号化された前記マルチメディアデータの第１のスライスを符号化し及び前記第２のチャネル切り替えフレームは前記第２のフレーム間符号化されたフレームにおける符号化された前記マルチメディアデータの第２のスライスを符号化する請求項４７に記載のコンピュータプログラム製品。
【請求項４９】
マルチメディアデータを処理するための方法であって、
第１のチャネルと関連づけられた複数の符号化されたマルチメディアデータフレームを入手することであって、前記複数の符号化されたフレームは、フレーム間符号化されたフレームとチャネル切り替えフレームとを含み、前記チャネル切り替えフレームは、前記フレーム間符号化されたフレームにおける符号化された前記マルチメディアデータの少なくとも一部に対応するフレーム内符号化されたマルチメディアデータを含むことと、
イベントに応じて、前記フレーム内符号化されたマルチメディアデータに対応する前記チャネル切り替えフレームの画素ブロックを復号することと、
少なくとも１つの空間誤り隠蔽アルゴリズムを用いて前記チャネル切り替えフレーム内における符号化されなかった１つ以上の画素ブロックを再構築すること、とを備える、方法。
【請求項５０】
第２のチャネルから前記第１のチャネルへの切り替え要求を受信することと、前記第２のチャネルから前記第１のチャネルに切り替えることと、
前記要求に応じて前記第１のチャネルの前記チャネル切り替えフレームの前記画素ブロックを復号すること、とをさらに備える請求項４９に記載の方法。
【請求項５１】
前記フレーム間符号化されたフレームを復号することと、
前記フレーム間符号化されたフレームの前記符号化された及び前記復号されたデータのうちの１つ内において前記再構築された画素ブロックがしきい値の忠実度よりも低い忠実度を結果的に有することになる破損を検出することと、
前記破損を検出することに応じて前記第１のチャネルの前記チャネル切り替えフレームの画素ブロックを復号すること、とをさらに備える請求項４９に記載の方法。
【請求項５２】
前記フレーム間符号化されたフレームは、フレーム間符号化された画素ブロックの第１の部分組と、フレーム内符号化された画素ブロックの第２の部分組とを備え、
前記フレーム間符号化されたフレームのブロックの前記第２の部分組の前記フレーム内符号化された画素ブロックのうちの１つ以上を復号することと、
前記フレーム間符号化されたフレームの前記復号されたフレーム内符号化された画素ブロック、前記チャネル切り替えフレームの前記復号された画素ブロック、及び前記チャネル切り替えフレームの前記再構築された画素ブロックを結合して復号されたデータフレームを生成すること、とをさらに備える請求項４９に記載の方法。
【請求項５３】
前記チャネル切り替えフレーム内における符号化されなかった前記１つ以上の画素ブロックを再構築することは、前記チャネル切り替えフレーム内において符号化されず及び前記フレーム間符号化されたフレームにおけるフレーム内符号化されなかった前記画素ブロックを、前記チャネル切り替えフレームの前記復号された画素ブロック及び前記フレーム間符号化されたフレームの前記復号されたフレーム内符号化された画素ブロックのうちの少なくとも１つに基づいて前記空間誤り隠蔽アルゴリズムを用いて再構築することを備える請求項５２に記載の方法。
【請求項５４】
前記フレーム間符号化されたフレームは、フレーム間符号化された画素ブロックの第１の部分組と、フレーム内符号化された画素ブロックの第２の部分組と、を備え、前記フレーム間符号化されたフレームのブロックの前記第２の部分組の前記フレーム内符号化された画素ブロックのうちの１つ以上を復号して前記チャネル切り替えフレームの前記対応する画素ブロックの品質を向上させることをさらに備える請求項４９に記載の方法。
【請求項５５】
前記複数の符号化されたフレームは、前記チャネル切り替えフレームに後続する少なくとも１つのフレーム間符号化されたフレームを含み、前記チャネル切り替えフレームに先行するいずれの符号化されたフレームも基準にせずに前記チャネル切り替えフレームに後続する前記フレーム間符号化されたフレームを復号することをさらに備える請求項４９に記載の方法。
【請求項５６】
前記チャネル切り替えフレームは、第１のチャネル切り替えフレームを備え、第２のチャネル切り替えフレームを受信することをさらに備える請求項４９に記載の方法。
【請求項５７】
マルチメディアデータを処理するための装置であって、
第１のチャネルと関連づけられた複数の符号化されたマルチメディアデータフレームを入手し、及びイベントに応じて、前記フレーム内符号化されたマルチメディアデータに対応する前記チャネル切り替えフレームを復号する選択式復号モジュールであって、前記複数の符号化されたフレームは、フレーム間符号化されたフレームとチャネル切り替えフレームとを含み、前記チャネル切り替えフレームは、前記フレーム間符号化されたフレームにおける符号化された前記マルチメディアデータの少なくとも一部に対応するフレーム内符号化されたマルチメディアデータを備える選択式復号モジュールと、
少なくとも１つの空間誤り隠蔽アルゴリズムを用いて前記チャネル切り替えフレームの一部分内における符号化されなかった１つ以上の画素ブロックを再構築する空間誤り隠蔽モジュールと、を備える、装置。
【請求項５８】
前記選択式復号モジュールは、第２のチャネルから前記第１のチャネルへの切り替え要求を受信し、前記第２のチャネルから前記第１のチャネルに切り替え、及び前記要求に応じて前記第１のチャネルの前記チャネル切り替えフレームの前記画素ブロックを復号する請求項５７に記載の装置。
【請求項５９】
前記選択式復号モジュールは、前記フレーム間符号化されたフレームを復号し、前記フレーム間符号化されたフレームの前記符号化された又は前記復号されたデータのうちの１つ内において前記再構築された画素ブロックがしきい値の忠実度よりも低い忠実度を結果的に有することになる破損を検出し、前記破損を検出することに応じて前記第１のチャネルの前記チャネル切り替えフレームの画素ブロックを復号する請求項５７に記載の装置。
【請求項６０】
前記フレーム間符号化されたフレームは、フレーム間符号化された画素ブロックの第１の部分組と、フレーム内符号化された画素ブロックの第２の部分組と、を備え、
前記選択式復号モジュールは、前記フレーム間符号化されたフレームのブロックの前記第２の部分組の前記フレーム内符号化された画素ブロックのうちの１つ以上を復号し、及び前記フレーム間符号化されたフレームの前記復号されたフレーム内符号化された画素ブロック、前記チャネル切り替えフレームの前記復号された画素ブロック、及び前記チャネル切り替えフレームの前記再構築された画素ブロックを結合して復号されたデータフレームを生成する請求項５７に記載の装置。
【請求項６１】
前記空間誤り隠蔽モジュールは、チャネル切り替えフレーム内において符号化されず及び前記フレーム間符号化されたフレームにおいてフレーム内符号化されなかった前記画素ブロックを、前記チャネル切り替えフレームの前記復号された画素ブロック及び前記フレーム間符号化されたフレームの前記復号されたフレーム内符号化された画素ブロックのうちの少なくとも１つに基づいて前記空間誤り隠蔽アルゴリズムを用いて再構築する請求項６０に記載の装置。
【請求項６２】
前記フレーム間符号化されたフレームは、フレーム間符号化された画素ブロックの第１の部分組と、フレーム内符号化された画素ブロックの第２の部分組と、を備え、
前記選択式復号モジュールは、前記フレーム間符号化されたフレームのブロックの前記第２の部分組の前記フレーム内符号化された画素ブロックのうちの１つ以上を復号して前記チャネル切り替えフレームの前記対応する画素ブロックの品質を向上させる請求項５７に記載の装置。
【請求項６３】
前記複数の符号化されたフレームは、前記チャネル切り替えフレームに後続する少なくとも１つのフレーム間符号化されたフレームを含み、前記選択式復号モジュールは、前記チャネル切り替えフレームに先行する前記符号化されたフレームのいずれも基準にせずに前記チャネル切り替えフレームに後続する前記少なくとも１つのフレーム間符号化されたフレームを復号する請求項５７に記載の装置。
【請求項６４】
前記チャネル切り替えフレームは、第１のチャネル切り替えフレームを備え、前記複数の符号化されたフレームは、第２のチャネル切り替えフレームを含む請求項５７に記載の装置。
【請求項６５】
マルチメディアデータを処理するための装置であって、
第１のチャネルと関連づけられた複数の符号化されたマルチメディアデータフレームを入手するための手段であって、前記複数の符号化されたフレームは、フレーム間符号化されたフレームとチャネル切り替えフレームとを含み、前記チャネル切り替えフレームは、前記フレーム間符号化されたフレームにおける符号化された前記マルチメディアデータの少なくとも一部に対応するフレーム内符号化されたマルチメディアデータを備える手段と、
イベントに応じて、前記フレーム内符号化されたマルチメディアデータに対応する前記チャネル切り替えフレームの画素ブロックを復号するための手段と、
少なくとも１つの空間誤り隠蔽アルゴリズムを用いて前記チャネル切り替えフレーム内における符号化されなかった以上の画素ブロックを再構築するための手段と、を備える、装置。
【請求項６６】
第２のチャネルから前記第１のチャネルへの切り替え要求を受信するための手段と、
前記第２のチャネルから前記第１のチャネルに切り替えるための手段と、をさらに備え、
前記復号する手段は、前記要求に応じて前記第１のチャネルの前記チャネル切り替えフレームの前記画素ブロックを復号する請求項６５に記載の装置。
【請求項６７】
前記復号する手段は、前記フレーム間符号化されたフレームを復号し、前記フレーム間符号化されたフレームの前記符号化された及び前記復号されたデータのうちの１つにおいて前記再構築された画素ブロックがしきい値の忠実度よりも低い忠実度を結果的に有することになる破損を検出し、前記破損を検出することに応じて前記第１のチャネルの前記チャネル切り替えフレームの画素ブロックを復号する請求項６５に記載の装置。
【請求項６８】
前記フレーム間符号化されたフレームは、フレーム間符号化された画素ブロックの第１の部分組と、フレーム内符号化された画素ブロックの第２の部分組と、を備え、前記復号する手段は、前記フレーム間符号化されたフレームのブロックの前記第２の部分組の前記フレーム内符号化された画素ブロックのうちの１つ以上を復号し、及び前記フレーム間符号化されたフレームの前記復号されたフレーム内符号化された画素ブロック、前記チャネル切り替えフレームの前記復号された画素ブロック、及び前記チャネル切り替えフレームの前記再構築された画素ブロックを結合して復号されたデータフレームを生成する請求項６５に記載の装置。
【請求項６９】
前記再構築する手段は、前記チャネル切り替えフレーム内において符号化されず及び前記フレーム間符号化されたフレームにおいてフレーム内符号化されなかった前記画素ブロックを、前記チャネル切り替えフレームの前記復号された画素ブロック及び前記フレーム間符号化されたフレームの前記復号されたフレーム内符号化された画素ブロックのうちの少なくとも１つに基づいて前記空間誤り隠蔽アルゴリズムを用いて再構築する請求項６８に記載の装置。
【請求項７０】
前記フレーム間符号化されたフレームは、フレーム間符号化された画素ブロックの第１の部分組と、フレーム内符号化された画素ブロックの第２の部分組と、を備え、前記復号する手段は、前記フレーム間符号化されたフレームのブロックの前記第２の部分組の前記フレーム内符号化された画素ブロックのうちの１つ以上を復号して前記チャネル切り替えフレームの前記対応する画素ブロックの品質を向上させる請求項６５に記載の装置。
【請求項７１】
前記複数の符号化されたフレームは、前記チャネル切り替えフレームに後続する少なくとも１つのフレーム間符号化されたフレームを含み、前記復号する手段は、前記チャネル切り替えフレームに先行するいずれの前記符号化されたフレームも基準にせずに前記チャネル切り替えフレームに後続する前記フレーム間符号化されたフレームを復号する請求項６５に記載の装置。
【請求項７２】
前記チャネル切り替えフレームは、第１のチャネル切り替えフレームを備え、前記入手する手段は、第２のチャネル切り替えフレームを入手する請求項６５に記載の装置。
【請求項７３】
命令が格納されたコンピュータによって読み取り可能な媒体を備えるマルチメディアデータを処理するためのコンピュータプログラム製品であって、前記命令は、
第１のチャネルと関連づけられた複数の符号化されたマルチメディアデータフレームを入手するためのコードであって、前記複数の符号化されたフレームは、フレーム間符号化されたフレームとチャネル切り替えフレームとを含み、前記チャネル切り替えフレームは、前記フレーム間符号化されたフレームにおける符号化された前記マルチメディアデータの少なくとも一部に対応するフレーム内符号化されたマルチメディアデータを備えるコードと、
イベントに応じて、前記フレーム内符号化されたマルチメディアデータに対応する前記チャネル切り替えフレームの画素ブロックを復号するためのコードと、
少なくとも１つの空間誤り隠蔽アルゴリズムを用いて前記チャネル切り替えフレーム内における符号化されなかった１つ以上の画素ブロックを再構築するためのコードと、を備える、コンピュータプログラム製品。
【請求項７４】
前記命令は、
第２のチャネルから前記第１のチャネルへの切り替え要求を受信するためのコードと、
前記第２のチャネルから前記第１のチャネルに切り替えるためのコードと、
前記要求に応じて前記第１のチャネルの前記チャネル切り替えフレームの前記画素ブロックを復号するためのコードと、をさらに備える請求項７３に記載のコンピュータプログラム製品。
【請求項７５】
前記命令は、
前記フレーム間符号化されたフレームを復号するためのコードと、前記フレーム間符号化されたフレームの前記符号化された及び前記復号されたデータのうちの１つにおいて前記再構築された画素ブロックがしきい値の忠実度よりも低い忠実度を結果的に有することになる破損を検出するためのコードと、
前記破損を検出することに応じて前記第１のチャネルの前記チャネル切り替えフレームの画素ブロックを復号するためのコードと、をさらに備える請求項７３に記載のコンピュータプログラム製品。
【請求項７６】
前記フレーム間符号化されたフレームは、フレーム間符号化された画素ブロックの第１の部分組と、フレーム内符号化された画素ブロックの第２の部分組と、を備え、前記命令は、
前記フレーム間符号化されたフレームのブロックの前記第２の部分組の前記フレーム内符号化された画素ブロックのうちの１つ以上を復号するためのコードと、
前記フレーム間符号化されたフレームの前記復号されたフレーム内符号化された画素ブロック、前記チャネル切り替えフレームの前記復号された画素ブロック、及び前記チャネル切り替えフレームの前記再構築された画素ブロックを結合して復号されたデータフレームを生成するためのコードと、をさらに備える請求項７３に記載のコンピュータプログラム製品。
【請求項７７】
前記チャネル切り替えフレーム内における符号化されなかった前記１つ以上の画素ブロックを再構築するための前記コードは、前記チャネル切り替えフレーム内において符号化されず及び前記フレーム間符号化されたフレームにおけるフレーム内符号化されなかった前記画素ブロックを、前記チャネル切り替えフレームの前記復号された画素ブロック及び前記フレーム間符号化されたフレームの前記復号されたフレーム内符号化された画素ブロックのうちの少なくとも１つに基づいて前記空間誤り隠蔽アルゴリズムを用いて再構築するためのコードを備える請求項７６に記載のコンピュータプログラム製品。
【請求項７８】
前記フレーム間符号化されたフレームは、フレーム間符号化された画素ブロックの第１の部分組と、フレーム内符号化された画素ブロックの第２の部分組と、を備え、前記命令は、前記フレーム間符号化されたフレームのブロックの前記第２の部分組の前記フレーム内符号化された画素ブロックのうちの１つ以上を復号して前記チャネル切り替えフレームの前記対応する画素ブロックの品質を向上させるためのコードをさらに備える請求項７３に記載のコンピュータプログラム製品。
【請求項７９】
前記複数の符号化されたフレームは、前記チャネル切り替えフレームに後続する少なくとも１つのフレーム間符号化されたフレームを含み、前記命令は、前記チャネル切り替えフレームに先行するいずれの符号化されたフレームも基準にせずに前記チャネル切り替えフレームに後続する前記フレーム間符号化されたフレームを復号するためのコードをさらに備える請求項７３に記載のコンピュータプログラム製品。
【請求項８０】
前記チャネル切り替えフレームは、第１のチャネル切り替えフレームを備え、第２のチャネル切り替えフレームを受信することを前記コンピュータに行わせる命令をさらに備える請求項７３に記載のコンピュータプログラム製品。
【国際調査報告】
2010526516.tif 000012
2010526516.tif 000013
2010526516.tif 000014