(57)【要約】  本発明の実施形態は、マルチレイヤ・ビットストリーム中の複数のレイヤを管理および統合するためのシステムおよび方法を含んでいる。
2009543501.tif 000002
【特許請求の範囲】
【請求項１】
マルチレイヤ・ビットストリーム中の複数のレイヤを統合する方法であって、
ａ）第１レイヤの量子化された変換係数を逆量子化し、それによって第１レイヤの変換係数を作成するステップ；
ｂ）第１レイヤの変換係数を第２レイヤの特性と整合するようにスケーリングし、それによって第１レイヤのスケーリングされた変換係数を作成するステップ；
ｃ）第２レイヤの量子化された変換係数を逆量子化し、それによって第２レイヤの変換係数を作成するステップ；および
ｄ）第１レイヤのスケーリングされた変換係数を第２レイヤの変換係数と統合して、統合された係数を形成するステップを含む方法。
【請求項２】
マルチレイヤ・ビットストリーム中の複数のレイヤを統合するためのシステムであって、
ａ）第１レイヤの量子化された変換係数を逆量子化し、それによって第１レイヤの変換係数を作成するための第１の逆量子化器；
ｂ）上記の第１レイヤの変換係数を第２レイヤの特性と整合するようにスケーリングし、それによって第１レイヤのスケーリングされた変換係数を作成するためのスケーラ；
ｃ）第２レイヤの量子化された変換係数を逆量子化し、それによって第２レイヤの変換係数を作成するための第２の逆量子化器；および
ｄ）第１レイヤのスケーリングされた変換係数を第２レイヤの変換係数と統合して、統合された係数を形成するための係数統合器を含むシステム。
【請求項３】
ＳＶＣ準拠のビットストリームをＡＶＣ準拠のデータに変換するための方法であって、
ａ）予測データと、基本レイヤの残差データと、拡張レイヤの残差データとを含むＳＶＣ準拠のビットストリームを受け取るステップ；
ｂ）上記基本レイヤの残差データを逆量子化し、それによって基本レイヤの変換係数を作成するステップ；
ｃ）上記拡張レイヤの残差データを逆量子化し、それによって拡張レイヤの変換係数を作成するステップ；
ｄ）上記基本レイヤの変換係数を上記拡張レイヤの量子化特性と整合するようにスケーリングし、それによって基本レイヤのスケーリングされた変換係数を作成するステップ；および
ｅ）基本レイヤのスケーリングされた変換係数を拡張レイヤの変換係数と統合して、統合された係数を形成するステップを含む方法。
【請求項４】
マルチレイヤ・ビットストリーム中の複数のレイヤを統合する方法であって、
ａ）第１レイヤの量子化された変換係数を受け取るステップ；
ｂ）第１レイヤの量子化された変換係数を第２レイヤの特性と整合するようにスケーリングし、それによって第１レイヤの量子化されスケーリングされた変換係数を作成するステップ；
ｃ）第２レイヤの量子化された変換係数を受け取るステップ；および
ｄ）第１レイヤのスケーリングされた変換係数を第２レイヤの量子化された変換係数と統合して、量子化され統合された係数を形成するステップを含む方法。
【請求項５】
マルチレイヤ・ビットストリーム中の複数のレイヤを条件付きで統合する方法であって、
ａ）第１レイヤの量子化された変換係数を受け取るステップ；
ｂ）第２レイヤの量子化された変換係数を受け取るステップ；
ｃ）レイヤ統合指標を受け取るステップ；
ｄ）上記レイヤ統合指標が変換領域累算を示している場合に、第１レイヤの量子化された変換係数を第２レイヤの特性と整合するようにスケーリングし、それによって、第１レイヤの量子化されスケーリングされた変換係数を作成するステップ；および
ｅ）上記レイヤ統合指標が変換領域累算を示している場合に、第１レイヤのスケーリングされた変換係数を第２レイヤの量子化された変換係数と統合して、量子化され統合された係数を形成するステップを含む方法。
【請求項６】
マルチレイヤ・ビットストリームから拡張レイヤを再構成する方法であって、
ａ）第１レイヤのイントラ予測モードを受け取るステップ；
ｂ）第１レイヤの予測モードが第２レイヤの予測に使用されることを示す、第２レイヤのビットストリーム予測指標を受け取るステップ；
ｃ）第１レイヤの予測モードを用いて、第２レイヤ中の隣接するブロック・データに基づく第２レイヤ予測を構成するステップ；および
ｄ）上記第２レイヤ予測を残差情報と統合し、それによって、再構成された第２レイヤを作成するステップを含む方法。
【請求項７】
マルチレイヤ・ビットストリーム中の複数のレイヤを統合する方法であって、
ａ）マルチレイヤ画像の第１レイヤの第１の空間解像度を決定するステップ；
ｂ）上記マルチレイヤ画像の第２レイヤの第２の空間解像度を決定するステップ；
ｃ）上記第１の空間解像度を上記第２の空間解像度と比較するステップ；
ｄ）上記第１の空間解像度が上記第２の空間解像度と実質的に等しい場合に、ステップｅ）〜ｆ）を実行するステップ；
ｅ）第１レイヤの変換係数を第２レイヤの特性と整合するようにスケーリングし、それによって、第１レイヤのスケーリングされた変換係数を作成するステップ；
ｆ）第１レイヤのスケーリングされた変換係数を第２レイヤの変換係数と統合して、統合された係数を形成するステップ；
ｇ）第１レイヤの空間解像度が第２レイヤの空間解像度と実質的に等しくない場合に、ステップｈ）〜ｋ）を実行するステップ；
ｈ）第１レイヤの変換係数を逆変換し、それによって第１レイヤの空間領域値を生成するステップ；
ｉ）第２レイヤの変換係数を逆変換し、それによって第２レイヤの空間領域値を生成するステップ；
ｊ）第１レイヤの空間領域値を第２レイヤの解像度と整合するようにスケーリングし、それによって、第１レイヤのスケーリングされた空間領域値を生成するステップ；および
ｋ）第１レイヤのスケーリングされた空間領域値を第２レイヤの空間領域値と統合し、それによって、統合された空間領域残差値を生成するステップを含む方法。
【請求項８】
マルチレイヤ・ビットストリーム中の複数のレイヤを統合するためのシステムであって、
ａ）マルチレイヤ画像の第１レイヤの第１の空間解像度を決定すると共に、上記マルチレイヤ画像の第２レイヤの第２の空間解像度を決定するための解像度決定器；
ｂ）上記第１の空間解像度を上記第２の空間解像度と比較するための比較器；
ｃ）上記第１の空間解像度が上記第２の空間解像度と実質的に等しい場合に、ステップｅ）〜ｆ）を実行するためのコントローラ；
ｄ）第２レイヤの特性と整合するように第１レイヤの変換係数をスケーリングし、それによって、第１レイヤのスケーリングされた変換係数を作成するための係数スケーラ；
ｅ）第１レイヤのスケーリングされた変換係数を第２レイヤの変換係数と統合して、統合された係数を形成するための係数統合器；
ｆ）第１レイヤの空間解像度が第２レイヤの空間解像度と実質的に等しくない場合に、ステップｇ）〜ｉ）を選択的に実行するコントローラ；
ｇ）第１レイヤの変換係数を逆変換し、それによって第１レイヤの空間領域値を生成すると共に、第２レイヤの変換係数を逆変換し、それによって第２レイヤの空間領域値を生成するための逆変換器；
ｈ）第１レイヤの空間領域値を第２レイヤの解像度と整合するようにスケーリングして、それによって第１レイヤのスケーリングされた空間領域値を生成するための空間領域スケーラ；および
ｉ）第１レイヤのスケーリングされた空間領域値を第２レイヤの空間領域値と統合し、それによって、統合された空間領域残差値を生成するための空間領域統合器を含むシステム。
【請求項９】
マルチレイヤ・ビットストリーム中の複数のレイヤを統合する方法であって、
ａ）第１の空間解像度を持つ第１レイヤのための非量子化された変換係数を受け取るステップ；
ｂ）第１の空間解像度を持つ第２レイヤのための非量子化された変換係数を受け取るステップ；
ｃ）第１レイヤの変換係数をスケーリングし、それによって、第１レイヤのスケーリングされた変換係数を作成するステップ；
ｄ）第１レイヤのスケーリングされた変換係数を第２レイヤの変換係数と統合し、それによって、統合された変換係数を作成するステップ；
ｅ）統合された変換係数を逆変換し、それによって、統合された空間領域残差値を作成するステップ；
ｆ）第２の空間解像度を持つ第３レイヤのための非量子化された変換係数を受け取るステップ；
ｇ）統合された空間領域残差値を第２の空間解像度へリサンプリングし、それによって統合されリサンプリングされた空間領域値を作成するステップ；
ｈ）第３レイヤの変換係数を逆変換し、それによって第３レイヤの空間領域値を作成するステップ；および
ｉ）統合されリサンプリングされた空間領域値を第３レイヤの空間領域値と統合するステップを含む方法。
【請求項１０】
マルチレイヤ・ビットストリーム中の複数のレイヤを統合する方法であって、
ａ）第１の空間解像度を持つ第１レイヤのための量子化された変換係数を受け取るステップ；
ｂ）上記第１の空間解像度を持つ第２レイヤのための量子化された変換係数を受け取るステップ；
ｃ）第１レイヤの量子化された変換係数をスケーリングし、それによって第１レイヤの量子化されスケーリングされた変換係数を作成するステップ；
ｄ）第１レイヤの量子化されスケーリングされた変換係数を第２レイヤの量子化された変換係数と統合し、それによって、量子化され統合された変換係数を作成するステップ；
ｅ）量子化され統合された変換係数を逆量子化し、それによって、統合された変換係数を作成するステップ；
ｆ）統合された変換係数を逆変換し、それによって、統合された残差空間領域値を作成するステップ；
ｇ）第２の空間解像度を持つ第３レイヤのための量子化された変換係数を受け取るステップ；
ｈ）統合された残差空間領域値を第２の空間解像度へリサンプリングし、それによって、統合されリサンプリングされた空間領域値を作成するステップ；
ｉ）第３レイヤの量子化された変換係数を逆量子化し、それによって第３レイヤの変換係数を作成するステップ；
ｊ）第３レイヤの変換係数を逆変換し、それによって第３レイヤの空間領域値を作成するステップ；および
ｋ）統合されリサンプリングされた空間領域値を第３レイヤの空間領域値と統合するステップを含む方法。
【請求項１１】
マルチレイヤ・ビットストリーム中の複数のレイヤを統合する方法であって、
ａ）第１の空間解像度を持つ第１レイヤのための非量子化された変換係数を受け取るステップ；
ｂ）第１レイヤの非量子化された変換係数を逆変換し、それによって第１レイヤの空間領域値を生成するステップ；
ｃ）上記第１の空間解像度より高い第２の空間解像度を持つ第２レイヤのための非量子化された変換係数を受け取るステップ；
ｄ）第２の空間解像度を持つ第３レイヤのための非量子化された変換係数を受け取るステップ；
ｅ）第１レイヤの空間領域値を第２の空間解像度へアップサンプリングし、それによって第１レイヤのアップサンプリングされた空間領域値を生成するステップ；
ｆ）第２レイヤの非量子化された変換係数を第３レイヤの非量子化された変換係数と統合し、それによって、統合された変換係数を作成するステップ；
ｇ）統合された変換係数を逆変換し、それによって第１の統合された空間領域残差値を作成するステップ；および
ｈ）第１レイヤのアップサンプリングされた空間領域値を第１の統合された空間領域残差値と統合するステップを含む方法。
【請求項１２】
マルチレイヤ・ビットストリーム中の複数のレイヤを統合する方法であって、
ａ）第１の空間解像度を持つ第１レイヤのための量子化された変換係数を受け取るステップ；
ｂ）第１の空間解像度を持つ第２レイヤのための量子化された変換係数を受け取るステップ；
ｃ）第１の空間解像度を持つ第３レイヤのための量子化された変換係数を受け取るステップ；
ｄ）第１レイヤの量子化された変換係数を第２レイヤの特性整合するようにスケーリングし、それによって第１レイヤの量子化されスケーリングされた変換係数を作成するステップ；
ｅ）第１レイヤの量子化されスケーリングされた変換係数を第２レイヤの量子化された変換係数と統合し、それによって、量子化され統合された変換係数を作成するステップ；
ｆ）量子化され統合された変換係数を逆量子化し、それによって、統合された変換係数を作成するステップ；
ｇ）第３レイヤの量子化された変換係数を逆量子化し、それによって第３レイヤの非量子化された変換係数を作成するステップ；
ｈ）統合された変換係数を第３レイヤの非量子化された変換係数と統合し、それによって３つのレイヤの統合された変換係数を作成するステップ；および
ｉ）３つのレイヤの統合された変換係数を逆変換し、それによって、統合された空間領域値を作成するステップを含む方法。
【請求項１３】
マルチレイヤ・ビットストリーム中の複数のレイヤを統合する方法であって、
ｉ）マルチレイヤ画像の第２レイヤが残差予測を使用しているかを判定するステップ；
ii）第２レイヤが残差予測を使用している場合のみ、以降の各ステップを実行するステップ；
iii）マルチレイヤ画像の第１レイヤの第１の空間解像度を決定するステップ；
ｉｖ）第２レイヤの第２の空間解像度を決定するステップ；
ｖ）上記第１の空間解像度を上記第２の空間解像度と比較するステップ；
vi）第１の空間解像度が第２の空間解像度と実質的に等しい場合に、ステップｖｉｉ）〜ｖｉｉｉ）を実行するステップ；
vii）第１レイヤの変換係数を第２レイヤの特性と整合するようにスケーリングし、それによって、第１レイヤのスケーリングされた変換係数を作成するステップ；
viii）第１レイヤのスケーリングされた変換係数を第２レイヤの変換係数と統合して、統合された係数を形成するステップ；
ix）第１レイヤの空間解像度が第２レイヤの空間解像度と実質的に等しくない場合に、ステップｘ）〜xiii）を実行するステップ；
ｘ）第１レイヤの変換係数を逆変換し、それによって第１レイヤの空間領域値を生成するステップ；
xi）第２レイヤの変換係数を逆変換し、それによって第２レイヤの空間領域値を生成するステップ；
xii）第１レイヤの空間領域値を第２レイヤの解像度と整合するようにスケーリングして、それによって第１レイヤのスケーリングされた空間領域値を生成するステップ；および
xiii）第１レイヤのスケーリングされた空間領域値を第２レイヤの空間領域値と統合し、それによって、統合された空間領域値を生成するステップを含む方法。
【請求項１４】
マルチレイヤ・ビットストリーム中の変換係数をスケーリングする方法であって、
上記マルチレイヤ・ビットストリームに基づいて第１レイヤの量子化パラメータを決定するステップ；
上記マルチレイヤ・ビットストリームに基づいて第２レイヤの量子化パラメータを決定するステップ；および
第１レイヤの量子化パラメータおよび第２レイヤの量子化パラメータに基づいて第１レイヤの変換係数をスケーリングするステップを含む方法。
【請求項１５】
エントロピー符号化プロセスを制御するための方法であって、
ａ）対象マクロブロックに隣接する第１の隣接マクロブロックを識別するステップ；
ｂ）対象マクロブロックに隣接する第２の隣接マクロブロックを識別するステップ；
ｃ）第１の隣接マクロブロックが別のレイヤを参照して符号化されているかを示す第１のマクロブロック指標を決定するステップ；
ｄ）第２の隣接マクロブロックが別のレイヤを参照して符号化されているかを示す第２のマクロブロック指標を決定するステップ；および
ｅ）第１のマクロブロック指標および第２のマクロブロック指標に基づいてエントロピー符号化制御値を決定するステップを含む方法。
【請求項１６】
エントロピー符号化プロセスを制御するための方法であって、
ａ）対象マクロブロックに隣接する第１の隣接マクロブロックを識別するステップ；
ｂ）対象マクロブロックに隣接する第２の隣接マクロブロックを識別するステップ；
ｃ）上記第１の隣接マクロブロックが利用可能であるかを判定するステップ；
ｄ）上記第１の隣接マクロブロックがレイヤ間予測モードで符号化されているかを判定するステップ；
ｅ）上記第１の隣接マクロブロックが空間領域で符号化されているかを判定するステップ；
ｆ）上記第１の隣接マクロブロックがＤＣ予測モードでイントラ予測されているかを判定するステップ；
ｇ）上記第１の隣接マクロブロックが別のレイヤを参照して符号化されているかを判定するステップ；
ｈ）ステップｃ）〜ｇ）の何れかが真であれば、第１の隣接ブロック・フラグを１にセットするステップ；
ｉ）上記第２の隣接マクロブロックが利用可能かを判定するステップ；
ｊ）上記第２の隣接マクロブロックがレイヤ間予測モードで符号化されているかを判定するステップ；
ｋ）上記第２の隣接マクロブロックが空間領域で符号化されているかを判定するステップ；
ｌ）上記第２の隣接マクロブロックがＤＣ予測モードでイントラ予測されているかを判定するステップ；
ｍ）上記第２の隣接マクロブロックが別のレイヤを参照して符号化されているかを判定するステップ；
ｎ）ステップｉ）〜ｍ）の何れかが真であれば、第２の隣接ブロック・フラグ値を１にセットするステップ；および
ｏ）上記第１の隣接ブロック・フラグ値と上記第２の隣接ブロック・フラグ値とを加算してエントロピー符号化制御値を生成するステップを含む方法。
【請求項１７】
予測モードを決定するための方法であって、
ａ）対象マクロブロックに隣接する第１の隣接マクロブロックを識別するステップ；
ｂ）対象マクロブロックに隣接する第２の隣接マクロブロックを識別するステップ；および
ｃ）以下の条件ｉ）〜ｖｉ）：
ｉ）第１の隣接マクロブロックが利用可能である；
ii）第１の隣接マクロブロックがレイヤ間予測モードで符号化されている；
iii）第１の隣接マクロブロックが別のレイヤを参照して符号化されている；
iv）第２の隣接マクロブロックが利用可能である；
ｖ）第２の隣接マクロブロックがレイヤ間予測モードで符号化されている；
vi）第２の隣接マクロブロックが別のレイヤを参照して符号化されている；
の何れかが真であれば、対象ブロックの推定された予測モードを予め定められたモードにセットするステップを含む方法。
【請求項１８】
マルチレイヤ・ビットストリーム中の複数のレイヤを統合する方法であって、
ａ）符号化画像係数と符号化ブロック・パターン（Ｃｂｐ）情報とを含むビットストリームであって、上記Ｃｂｐ情報がビットストリーム中における変換係数を含む領域を識別するビットストリームを受け取るステップ；
ｂ）上記Ｃｂｐ情報を復号するステップ；
ｃ）Ｃｂｐ情報を用いて変換係数を含むビットストリーム領域を識別することによって、ビットストリームを解析するステップ；
ｄ）ビットストリーム中の第１レイヤの変換係数をビットストリーム中の第２レイヤの特性と整合するようにスケーリングするステップ；
ｅ）第１レイヤのスケーリングされた変換係数を第２レイヤの変換係数に加算して、統合されたレイヤ中の統合された係数を形成するステップ；および
ｆ）統合されたレイヤ中における変換係数を含む領域を識別する情報である、統合されたレイヤのための統合されたＣｂｐ情報を計算するステップを含む方法。
【請求項１９】
マルチレイヤ・ビットストリーム中の複数のレイヤを統合するためのシステムであって、
ｇ）符号化画像係数と符号化ブロック・パターン（Ｃｂｐ）情報とを含むビットストリームであって、上記Ｃｂｐ情報がビットストリーム中における変換係数を含む領域を識別するものであるビットストリームを受け取るための受信機；
ｈ）Ｃｂｐ情報を復号するためのデコーダ；
ｉ）Ｃｂｐ情報を用いて変換係数を含むビットストリーム領域を識別することによって、ビットストリームを解析するためのパーサ；
ｊ）ビットストリーム中の第１レイヤの変換係数をビットストリー中の第２レイヤの特性と整合するようにスケーリングするためのスケーラ；
ｋ）第１レイヤのスケーリングされた変換係数を第２レイヤの変換係数に加算して、統合されたレイヤ中の統合された係数を形成するための加算器；および
ｌ）統合されたレイヤ中における変換係数を含む領域を識別する情報である、統合されたレイヤのための統合されたＣｂｐ情報を計算するための計算器を含むシステム。
【請求項２０】
変換サイズが拡張レイヤ中で示されていない場合に、再構成変換サイズを選択するための方法であって、
ａ）下位レイヤの変換サイズを決定するステップ；
ｂ）下位レイヤの変換サイズが予め定められた変換サイズに実質的に類似しているかを判断するステップ；
ｃ）下位レイヤの変換サイズが予め定められた変換サイズに実質的に類似している場合に、予め定められた変換サイズの逆変換を再構成変換として選択するステップ；および
ｄ）下位レイヤの変換サイズが予め定められた変換サイズに実質的に類似していない場合に、デフォルト変換サイズの逆変換を再構成変換として選択するステップを含む方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明の実施形態は、マルチレイヤ・ビットストリームにおける処理および処理管理のための方法およびシステムを含んでいる。本発明は、特に、１）マルチレイヤ・ビットストリーム中の複数のレイヤを統合する(comibine)ための方法およびシステム、２）条件付きの変換領域残差の累算(transform-domain residual accumulation)のための方法およびシステム、３）残差レイヤのスケーリングのための方法およびシステム、４）隣接するブロックの特性に基づく画像処理制御のための方法およびシステム、５）符号化ブロック・パターン情報の保守および使用のための方法およびシステム、および、６）変換の選択および管理のための方法およびシステムに関するものである。
【背景技術】
【０００２】
エンコーダ出力のビットレートを下げるために、スケーラブルなビットストリームは、レイヤ間予測の一形態を含みうる。典型的なシステムは、ＡＶＣ｜Ｈ．２６４ビデオ符号化標準のためのスケーラブルなビデオ拡張におけるレイヤ間予測を含んでいる。上記拡張はＳＶＣとして一般に知られており、ＳＶＣシステムはT. Wiegand, G. Sullivan, J. Reichel, H. Schwarz and M. Wien, "Joint Draft 9 of SVC amendment (revision 2)", JVT-V201, Marrakech, Morocco, January 13-19, 2007に記載されている。上記ＳＶＣシステムにおいて、レイヤ間予測は、列挙された(enumerated)下位レイヤから列挙された上位レイヤへ動きおよびモードの情報を投影する(project)ことによって実現される。それに加えて、予測残差が、列挙された下位レイヤから列挙された上位レイヤへ投影される。したがって、上記の上位レイヤのビットストリームは、復号された出力の質を改善するために追加の残差を含むことができる。
【発明の概要】
【０００３】
本発明の第１の態様によれば、マルチレイヤ・ビットストリーム中の複数のレイヤを統合する方法であって、ａ）第１レイヤの量子化された変換係数を逆量子化し、それによって第１レイヤの変換係数を作成するステップ；ｂ）第１レイヤの変換係数を第２レイヤの特性(characteristic)と整合する(match)ようにスケーリングし、それによって第１レイヤのスケーリングされた変換係数を作成するステップ；ｃ）第２レイヤの量子化された変換係数を逆量子化し、それによって第２レイヤの変換係数を作成するステップ；およびｄ）第１レイヤのスケーリングされた変換係数を第２レイヤの変換係数と統合して、統合された係数を形成するステップを含む方法が提供される。
【０００４】
上記第１レイヤは、基本レイヤであってもよい。
【０００５】
第１レイヤの量子化された変換係数を逆量子化するステップは、第１の量子化パラメータを用いるステップを含んでいてもよく、第２レイヤの量子化された変換係数を逆量子化するステップは、第２の量子化パラメータを用いるステップを含んでいてもよい。
【０００６】
上記第１レイヤおよび上記第２レイヤは、異なる空間解像度を有していてもよい。
【０００７】
上記第２レイヤは、拡張レイヤであってもよい。
【０００８】
上記方法は、上記の統合された係数を逆変換し、それによって空間領域残差値を生成するステップをさらに含んでいてもよい。
【０００９】
上記方法は、上記空間領域残差値を上記空間領域予測値と統合するステップをさらに含んでいてもよい。
【００１０】
上記方法は、ａ）第３レイヤの量子化された変換係数を逆量子化し、それによって第３レイヤの変換係数を作成するステップ；ｂ）上記の統合された係数を第３レイヤの特性と整合するようにスケーリングし、それによって、統合されスケーリングされた係数を作成するステップ；およびｃ）上記の統合されスケーリングされた係数を上記の第３レイヤの変換係数と統合するステップをさらに含んでいてもよい。
【００１１】
上記方法は、上記の統合された係数を含む、統合されたビットストリームを生成するステップをさらに含んでいてもよい。
【００１２】
上記の統合されたビットストリームは、イントラ予測モードをさらに含んでいてもよい。
【００１３】
上記の統合されたビットストリームは、動きベクトルをさらに含んでいてもよい。
【００１４】
本発明の第２の態様によれば、マルチレイヤ・ビットストリーム中の複数のレイヤを統合するためのシステムであって、ａ）第１レイヤの量子化された変換係数を逆量子化し、それによって第１レイヤの変換係数を作成するための第１の逆量子化器；ｂ）上記の第１レイヤの変換係数を第２レイヤの特性と整合するようにスケーリングし、それによって第１レイヤのスケーリングされた変換係数を作成するためのスケーラ；ｃ）第２レイヤの量子化された変換係数を逆量子化し、それによって第２レイヤの変換係数を作成するための第２の逆量子化器；およびｄ）第１レイヤのスケーリングされた変換係数を第２レイヤの変換係数と統合して、統合された係数を形成するための係数統合器を含むシステムが提供される。
【００１５】
上記システムは、上記の統合された係数を含む、統合されたビットストリームを生成するためのビットストリーム生成器をさらに含んでいてもよい。
【００１６】
上記システムは、上記の統合された係数を逆変換し、それによって空間領域残差値を生成するための逆変換器と、上記空間領域残差値を上記空間領域予測値と統合するための第２の統合器とをさらに含んでいてもよい。
【００１７】
本発明の第３の態様によれば、ＳＶＣ準拠のビットストリームをＡＶＣ準拠のデータに変換するための方法であって、ａ）予測データと、基本レイヤの残差データと、拡張レイヤの残差データとを含むＳＶＣ準拠のビットストリームを受け取るステップ；ｂ）上記基本レイヤの残差データを逆量子化し、それによって基本レイヤの変換係数を作成するステップ；ｃ）上記拡張レイヤの残差データを逆量子化し、それによって拡張レイヤの変換係数を作成するステップ；ｄ）上記基本レイヤの変換係数を上記拡張レイヤの量子化特性と整合するようにスケーリングし、それによって基本レイヤのスケーリングされた変換係数を作成するステップ；およびｅ）基本レイヤのスケーリングされた変換係数を拡張レイヤの変換係数と統合して、統合された係数を形成するステップを含む方法が提供される。
【００１８】
上記方法は、上記統合された係数を予測データと統合してＡＶＣ準拠のビットストリームを形成するステップをさらに含んでいてもよい。
【００１９】
上記予測データは、イントラ予測モード指標を含んでいてもよい。
【００２０】
上記予測データは、動きベクトルを含んでいてもよい。
【００２１】
上記方法は、上記統合された係数を逆変換し、それによって空間領域残差値を作成するステップをさらに含んでいてもよい。
【００２２】
上記方法は、空間領域予測値を取得するステップと、上記空間領域予測値を上記空間領域残差値と統合して、復号された画像を形成するステップとをさらに含んでいてもよい。
【００２３】
本発明の第４の態様によれば、マルチレイヤ・ビットストリーム中の複数のレイヤを統合する方法であって、ａ）第１レイヤの量子化された変換係数を受け取るステップ；ｂ）第１レイヤの量子化された変換係数を第２レイヤの特性と整合するようにスケーリングし、それによって第１レイヤの量子化されスケーリングされた変換係数を作成するステップ；ｃ）第２レイヤの量子化された変換係数を受け取るステップ；およびｄ）第１レイヤのスケーリングされた変換係数を第２レイヤの量子化された変換係数と統合して、量子化され統合された係数を形成するステップを含む方法が提供される。
【００２４】
上記方法は、量子化され統合された係数を逆量子化して、統合された係数を生成するステップをさらに含んでいる。
【００２５】
上記方法は、統合された係数を逆変換し、それによって空間領域残差値を生成するステップをさらに含んでいる。
【００２６】
上記方法は、上記空間領域残差値を空間領域予測値と統合するステップをさらに含んでいる。
【００２７】
上記方法は、量子化され統合された係数を含む、統合されたビットストリームを生成するステップをさらに含んでいる。
【００２８】
本発明の第５の態様によれば、マルチレイヤ・ビットストリーム中の複数のレイヤを条件付きで統合する方法であって、ａ）第１レイヤの量子化された変換係数を受け取るステップ；ｂ）第２レイヤの量子化された変換係数を受け取るステップ；ｃ）レイヤ統合指標を受け取るステップ；ｄ）上記レイヤ統合指標が変換領域累算を示している場合に、第１レイヤの量子化された変換係数を第２レイヤの特性と整合するようにスケーリングし、それによって、第１レイヤの量子化されスケーリングされた変換係数を作成するステップ；およびｅ）上記レイヤ統合指標が変換領域累算を示している場合に、第１レイヤのスケーリングされた変換係数を第２レイヤの量子化された変換係数と統合して、量子化され統合された係数を形成するステップを含む方法が提供される。
【００２９】
上記レイヤ統合指標は、第２レイヤのビットストリーム中のデータから取得されてもよい。
【００３０】
上記方法は、上記レイヤ統合指標が変換領域累算を示している場合に、平滑化参照予測を無効にするステップをさらに含んでいてもよい。
【００３１】
本発明の第６の態様によれば、マルチレイヤ・ビットストリームから拡張レイヤを再構成する方法であって、ａ）第１レイヤのイントラ予測モードを受け取るステップ；ｂ）第１レイヤの予測モードが第２レイヤの予測に使用されることを示す、第２レイヤのビットストリーム予測指標を受け取るステップ；ｃ）第１レイヤの予測モードを用いて、第２レイヤ中の隣接するブロック・データに基づく第２レイヤ予測を構成するステップ；およびｄ）上記第２レイヤ予測を残差情報と統合し、それによって、再構成された第２レイヤを作成するステップを含む方法が提供される。
【００３２】
本発明の第７の態様によれば、マルチレイヤ・ビットストリーム中の複数のレイヤを統合する方法であって、ａ）マルチレイヤ画像の第１レイヤの第１の空間解像度を決定するステップ；ｂ）上記マルチレイヤ画像の第２レイヤの第２の空間解像度を決定するステップ；ｃ）上記第１の空間解像度を上記第２の空間解像度と比較するステップ；ｄ）上記第１の空間解像度が上記第２の空間解像度と実質的に等しい場合に、ステップｅ）〜ｆ）を実行するステップ；ｅ）第１レイヤの変換係数を第２レイヤの特性と整合するようにスケーリングし、それによって、第１レイヤのスケーリングされた変換係数を作成するステップ；ｆ）第１レイヤのスケーリングされた変換係数を第２レイヤの変換係数と統合して、統合された係数を形成するステップ；ｇ）第１レイヤの空間解像度が第２レイヤの空間解像度と実質的に等しくない場合に、ステップｈ）〜ｋ）を実行するステップ；ｈ）第１レイヤの変換係数を逆変換し、それによって第１レイヤの空間領域値を生成するステップ；ｉ）第２レイヤの変換係数を逆変換し、それによって第２レイヤの空間領域値を生成するステップ；ｊ）第１レイヤの空間領域値を第２レイヤの解像度と整合するようにスケーリングし、それによって、第１レイヤのスケーリングされた空間領域値を生成するステップ；およびｋ）第１レイヤのスケーリングされた空間領域値を第２レイヤの空間領域値と統合し、それによって、統合された空間領域残差値を生成するステップを含む方法が提供される。
【００３３】
上記特性は、量子化パラメータを含んでいてもよい。
【００３４】
上記変換係数は、非量子化された(de-quantized)変換係数であってもよい。
【００３５】
上記変換係数は量子化された変換係数であってもよく、また、上記変換係数は逆変換の前に逆量子化されてもよい。
【００３６】
上記スケーリングするステップは、ａ）第１レイヤの量子化パラメータを決定するステップ；ｂ）第２レイヤの量子化パラメータを決定するステップ；およびｃ）第１レイヤの量子化パラメータと第２レイヤの量子化パラメータとに基づいて上記第１レイヤの変換係数をスケーリングするステップを含んでいてもよい。
【００３７】
上記方法は、上記第１の空間解像度が上記第２の空間解像度と実質的に等しい場合に、統合された係数を逆変換し、それによって空間領域残差値を生成するステップをさらに含んでいてもよい。
【００３８】
上記方法は、上記第１の空間解像度が上記第２の空間解像度と実質的に等しい場合に、上記空間領域残差値を空間領域予測値と統合するステップをさらに含んでいてもよい。
【００３９】
上記方法は、上記第１の空間解像度が上記第２の空間解像度と実質的に等しくない場合に、統合された空間領域残差値を空間領域予測値と統合し、それによって、統合された空間領域値を作成するステップをさらに含んでいてもよい。
【００４０】
上記方法は、上記第１の空間解像度が上記第２の空間解像度と実質的に等しい場合に、統合された係数を含む、統合されたビットストリームを生成するステップをさらに含んでいてもよい。
【００４１】
上記の統合されたビットストリームは、上記第１の空間解像度が上記第２の空間解像度と実質的に等しい場合、イントラ予測モードをさらに含んでいてもよい。
【００４２】
上記の統合されたビットストリームは、上記第１の空間解像度が上記第２の空間解像度と実質的に等しい場合、動きベクトルをさらに含んでいてもよい。
【００４３】
上記方法は、上記第１の空間解像度が上記第２の空間解像度と実質的に等しくない場合に、統合された空間領域値を変換し、それによって、統合された変換領域係数を作成するステップをさらに含んでいてもよい。
【００４４】
上記方法は、上記第１の空間解像度が上記第２の空間解像度と実質的に等しくない場合に、統合された変換領域係数を含む、統合されたビットストリームを生成するステップをさらに含んでいてもよい。。
【００４５】
上記の統合されたビットストリームは、上記第１の空間解像度が上記第２の空間解像度と実質的に等しくない場合、イントラ予測モードをさらに含んでいてもよい。
【００４６】
上記の統合されたビットストリームは、上記第１の空間解像度が上記第２の空間解像度と実質的に等しくない場合、動きベクトルをさらに含んでいてもよい。
【００４７】
本発明の第８の態様によれば、マルチレイヤ・ビットストリーム中の複数のレイヤを統合するためのシステムであって、ａ）マルチレイヤ画像の第１レイヤの第１の空間解像度を決定すると共に、上記マルチレイヤ画像の第２レイヤの第２の空間解像度を決定するための解像度決定器；ｂ）上記第１の空間解像度を上記第２の空間解像度と比較するための比較器；ｃ）上記第１の空間解像度が上記第２の空間解像度と実質的に等しい場合に、ステップｅ）〜ｆ）を実行するためのコントローラ；ｄ）第２レイヤの特性と整合するように第１レイヤの変換係数をスケーリングし、それによって、第１レイヤのスケーリングされた変換係数を作成するための係数スケーラ；ｅ）第１レイヤのスケーリングされた変換係数を第２レイヤの変換係数と統合して、統合された係数を形成するための係数統合器；ｆ）第１レイヤの空間解像度が第２レイヤの空間解像度と実質的に等しくない場合に、ステップｇ）〜ｉ）を選択的に実行するコントローラ；ｇ）第１レイヤの変換係数を逆変換し、それによって第１レイヤの空間領域値を生成すると共に、第２レイヤの変換係数を逆変換し、それによって第２レイヤの空間領域値を生成するための逆変換器；ｈ）第１レイヤの空間領域値を第２レイヤの解像度と整合するようにスケーリングして、それによって第１レイヤのスケーリングされた空間領域値を生成するための空間領域スケーラ；およびｉ）第１レイヤのスケーリングされた空間領域値を第２レイヤの空間領域値と統合し、それによって、統合された空間領域残差値を生成するための空間領域統合器を含むシステムが提供される。
【００４８】
上記逆変換器は、さらに、上記第１の空間解像度が上記第２の空間解像度と実質的に等しい場合に、統合された係数を逆変換し、それによって空間領域残差値を生成してもよい。
【００４９】
上記空間領域統合器は、さらに、上記第１の空間解像度が上記第２の空間解像度と実質的に等しい場合に、上記空間領域残差値を空間領域予測値と統合してもよい。
【００５０】
上記空間領域統合器は、さらに、上記第１の空間解像度が上記第２の空間解像度と実質的に等しくない場合に、統合された空間領域残差値を空間領域予測値と統合し、それによって、統合された空間領域値を作成してもよい。
【００５１】
上記システムは、上記第１の空間解像度が上記第２の空間解像度と実質的に等しい場合に、統合された係数を含む、統合されたビットストリームを生成するためのビットストリーム生成器をさらに含んでいてもよい。
【００５２】
上記第１の空間解像度が上記第２の空間解像度と実質的に等しい場合、上記の統合されたビットストリームはイントラ予測モードをさらに含んでいてもよい。
【００５３】
上記の統合されたビットストリームは、上記第１の空間解像度が上記第２の空間解像度と実質的に等しい場合、動きベクトルをさらに含んでいてもよい。
【００５４】
上記システムは、上記第１の空間解像度が第２の空間解像度と実質的に等しくない場合に、統合された空間領域値を変換し、それによって、統合された変換領域係数を作成するための変換器をさらに含んでいてもよい。
【００５５】
上記システムは、上記第１の空間解像度が上記第２の空間解像度と実質的に等しくない場合に、統合された変換領域係数を含む、統合されたビットストリームを生成するためのビットストリーム生成器をさらに含んでいてもよい。
【００５６】
上記の統合されたビットストリームは、上記第１の空間解像度が上記第２の空間解像度と実質的に等しくない場合、イントラ予測モードをさらに含んでいてもよい。
【００５７】
上記の統合されたビットストリームは、上記第１の空間解像度が上記第２の空間解像度と実質的に等しくない場合、動きベクトルをさらに含んでいてもよい。
【００５８】
本発明の第９の態様によれば、マルチレイヤ・ビットストリーム中の複数のレイヤを統合する方法であって、ａ）第１の空間解像度を持つ第１レイヤのための非量子化された変換係数を受け取るステップ；ｂ）第１の空間解像度を持つ第２レイヤのための非量子化された変換係数を受け取るステップ；ｃ）第１レイヤの変換係数をスケーリングし、それによって、第１レイヤのスケーリングされた変換係数を作成するステップ；ｄ）第１レイヤのスケーリングされた変換係数を第２レイヤの変換係数と統合し、それによって、統合された変換係数を作成するステップ；ｅ）統合された変換係数を逆変換し、それによって、統合された空間領域残差値(residual spatial-domain values)を作成するステップ；ｆ）第２の空間解像度を持つ第３レイヤのための非量子化された変換係数を受け取るステップ；ｇ）統合された空間領域残差値を第２の空間解像度へリサンプリングし、それによって統合されリサンプリングされた空間領域値を作成するステップ；ｈ）第３レイヤの変換係数を逆変換し、それによって第３レイヤの空間領域値を作成するステップ；およびｉ）統合されリサンプリングされた空間領域値を第３レイヤの空間領域値と統合するステップを含む方法が提供される。
【００５９】
本発明の第１０の態様によれば、マルチレイヤ・ビットストリーム中の複数のレイヤを統合する方法であって、ａ）第１の空間解像度を持つ第１レイヤのための量子化された変換係数を受け取るステップ；ｂ）上記第１の空間解像度を持つ第２レイヤのための量子化された変換係数を受け取るステップ；ｃ）第１レイヤの量子化された変換係数をスケーリングし、それによって第１レイヤの量子化されスケーリングされた変換係数を作成するステップ；ｄ）第１レイヤの量子化されスケーリングされた変換係数を第２レイヤの量子化された変換係数と統合し、それによって、量子化され統合された変換係数を作成するステップ；ｅ）量子化され統合された変換係数を逆量子化し、それによって、統合された変換係数を作成するステップ；ｆ）統合された変換係数を逆変換し、それによって、統合された残差空間領域値を作成するステップ；ｇ）第２の空間解像度を持つ第３レイヤのための量子化された変換係数を受け取るステップ；ｈ）統合された残差空間領域値を第２の空間解像度へリサンプリングし、それによって、統合されリサンプリングされた空間領域値を作成するステップ；ｉ）第３レイヤの量子化された変換係数を逆量子化し、それによって第３レイヤの変換係数を作成するステップ；ｊ）第３レイヤの変換係数を逆変換し、それによって第３レイヤの空間領域値を作成するステップ；およびｋ）統合されリサンプリングされた空間領域値を第３レイヤの空間領域値と統合するステップを含む方法が提供される。
【００６０】
本発明の第１１の態様によれば、マルチレイヤ・ビットストリーム中の複数のレイヤを統合する方法であって、ａ）第１の空間解像度を持つ第１レイヤのための非量子化された変換係数を受け取るステップ；ｂ）第１レイヤの非量子化された変換係数を逆変換し、それによって第１レイヤの空間領域値を生成するステップ；ｃ）上記第１の空間解像度より高い第２の空間解像度を持つ第２レイヤのための非量子化された変換係数を受け取るステップ；ｄ）第２の空間解像度を持つ第３レイヤのための非量子化された変換係数を受け取るステップ；ｅ）第１レイヤの空間領域値を第２の空間解像度へアップサンプリングし、それによって第１レイヤのアップサンプリングされた空間領域値を生成するステップ；ｆ）第２レイヤの非量子化された変換係数を第３レイヤの非量子化された変換係数と統合し、それによって、統合された変換係数を作成するステップ；ｇ）統合された変換係数を逆変換し、それによって第１の統合された空間領域残差値を作成するステップ；およびｈ）第１レイヤのアップサンプリングされた空間領域値を第１の統合された空間領域残差値と統合するステップを含む方法が提供される。
【００６１】
本発明の第１２の態様によれば、マルチレイヤ・ビットストリーム中の複数のレイヤを統合する方法であって、ａ）第１の空間解像度を持つ第１レイヤのための量子化された変換係数を受け取るステップ；ｂ）第１の空間解像度を持つ第２レイヤのための量子化された変換係数を受け取るステップ；ｃ）第１の空間解像度を持つ第３レイヤのための量子化された変換係数を受け取るステップ；ｄ）第１レイヤの量子化された変換係数を第２レイヤの特性(properties)と整合するようにスケーリングし、それによって第１レイヤの量子化されスケーリングされた変換係数を作成するステップ；ｅ）第１レイヤの量子化されスケーリングされた変換係数を第２レイヤの量子化された変換係数と統合し、それによって、量子化され統合された変換係数を作成するステップ；ｆ）量子化され統合された変換係数を逆量子化し、それによって、統合された変換係数を作成するステップ；ｇ）第３レイヤの量子化された変換係数を逆量子化し、それによって第３レイヤの非量子化された変換係数を作成するステップ；ｈ）統合された変換係数を第３レイヤの非量子化された変換係数と統合し、それによって３つのレイヤの統合された変換係数を作成するステップ；およびｉ）３つのレイヤの統合された変換係数を逆変換し、それによって、統合された空間領域値を作成するステップを含む方法が提供される。
【００６２】
本発明の第１３の態様によれば、マルチレイヤ・ビットストリーム中の複数のレイヤを統合する方法であって、ｉ）マルチレイヤ画像の第２レイヤが残差予測を使用しているかを判定するステップ；ii）第２レイヤが残差予測を使用している場合のみ、以降の各ステップを実行するステップ；iii）マルチレイヤ画像の第１レイヤの第１の空間解像度を決定するステップ；ｉｖ）第２レイヤの第２の空間解像度を決定するステップ；ｖ）上記第１の空間解像度を上記第２の空間解像度と比較するステップ；vi）第１の空間解像度が第２の空間解像度と実質的に等しい場合に、ステップｖｉｉ）〜ｖｉｉｉ）を実行するステップ；vii）第１レイヤの変換係数を第２レイヤの特性と整合するようにスケーリングし、それによって、第１レイヤのスケーリングされた変換係数を作成するステップ；viii）第１レイヤのスケーリングされた変換係数を第２レイヤの変換係数と統合して、統合された係数を形成するステップ；ix）第１レイヤの空間解像度が第２レイヤの空間解像度と実質的に等しくない場合に、ステップｘ）〜xiii）を実行するステップ；ｘ）第１レイヤの変換係数を逆変換し、それによって第１レイヤの空間領域値を生成するステップ；xi）第２レイヤの変換係数を逆変換し、それによって第２レイヤの空間領域値を生成するステップ；xii）第１レイヤの空間領域値を第２レイヤの解像度と整合するようにスケーリングして、それによって第１レイヤのスケーリングされた空間領域値を生成するステップ；およびxiii）第１レイヤのスケーリングされた空間領域値を第２レイヤの空間領域値と統合し、それによって、統合された空間領域値を生成するステップを含む方法が提供される。
【００６３】
本発明の第１４の態様によれば、マルチレイヤ・ビットストリーム中の変換係数をスケーリングする方法であって、上記マルチレイヤ・ビットストリームに基づいて第１レイヤの量子化パラメータを決定するステップ；上記マルチレイヤ・ビットストリームに基づいて第２レイヤの量子化パラメータを決定するステップ；および第１レイヤの量子化パラメータおよび第２レイヤの量子化パラメータに基づいて第１レイヤの変換係数をスケーリングするステップを含む方法が提供される。
【００６４】
上記スケーリングは、次の関係に従って行われるものであってもよい。
【００６５】
【数１】
2009543501.tif 000003
【００６６】
（ここで、TSecondLayerおよびTFirstLayerはそれぞれ第２レイヤおよび第１レイヤにおける変換係数を示し、ｋは整数であり、Qp_FirstLayerおよびQp_SecondLayerはそれぞれ第１レイヤおよび第２レイヤのための量子化パラメータである）
ｋは、６に等しくてもよい。
【００６７】
上記スケーリングは、次の関係に従って行われるものであってもよい。
【００６８】
【数２】
2009543501.tif 000004
【００６９】
（ここで、／／は整数除算を示し、％はモジュロ演算を示し、ＭおよびScaleMatrixは定数であり、TSecondLayerおよびTFirstLayerはそれぞれ第２レイヤおよび第１レイヤにおける変換係数を示し、ｋは整数であり、Qp_FirstLayerおよびQp_SecondLayerはそれぞれ第１レイヤおよび第２レイヤのための量子化パラメータである）
Qp_Diffが０未満であると分かっている場合には、Qp_Diffを０にリセットしてもよい。
【００７０】
ScaleMatrixは[512 573 642 719 806 902]に等しくてもよく、また、Ｍは５１２に等しくてもよい。
【００７１】
ScaleMatrixは[8 9 10 11 13 14]に等しくてもよく、また、Ｍは８に等しくてもよい。
【００７２】
上記スケーリングは、次の関係に従って行われるものであってもよい。
【００７３】
【数３】
2009543501.tif 000005
【００７４】
（ここで、／／は整数除算を示し、％はモジュロ演算を示し、ＭおよびScaleMatrixは定数であり、TSecondLayerおよびTFirstLayerはそれぞれ第２レイヤおよび第１レイヤにおける変換係数を示し、ｋは整数であり、Qp_FirstLayerおよびQp_SecondLayerはそれぞれ第１レイヤおよび第２レイヤのための量子化パラメータである）
Qp_Diffが０未満であると分かっている場合には、Qp_Diffを０にリセットしてもよい。
【００７５】
ScaleMatrixは[291 325 364 408 457 512 573 642 719 806 902]に等しくてもよく、また、Ｍは５１２に等しくてもよい。
【００７６】
上記方法は、スケーリングされた第１レイヤの変換係数を第２レイヤの変換係数と統合し、それによって、統合された係数を作成するステップをさらに含んでいてもよい。
【００７７】
上記方法は、統合された係数を含む、統合されたビットストリームを生成するステップをさらに含んでいてもよい。
【００７８】
上記方法は、第１レイヤの変換係数に依存する重み係数ＳＦと第２レイヤの変換係数に依存する重み係数ＳＳとを決定するステップをさらに含み、上記スケーリングが、次の関係に従って行われるものであってもよい。
【００７９】
【数４】
2009543501.tif 000006
【００８０】
（ここで、TSecondLayerおよびTFirstLayerはそれぞれ第２レイヤおよび第１レイヤにおける変換係数を示し、ｋは整数であり、Qp_FirstLayerおよびQp_SecondLayerはそれぞれ第１レイヤおよび第２レイヤのための量子化パラメータである）
上記方法は、第１レイヤの変換係数に依存する重み係数ＳＦを決定するステップ；および第２レイヤの変換係数に依存する重み係数ＳＳを決定するステップをさらに含み、上記スケーリングが、次の関係に従って行われるものであってもよい。
【００８１】
【数５】
2009543501.tif 000007
【００８２】
（ここで、／／は整数除算を示し、％はモジュロ演算を示し、ＭおよびScaleMatrixは定数であり、TSecondLayerおよびTFirstLayerはそれぞれ第２レイヤおよび第１レイヤにおける変換係数をそれぞれ意味し、ｋは整数であり、Qp_FirstLayerおよびQp_SecondLayerはそれぞれ第１レイヤおよび第２レイヤのための量子化パラメータである）
ＳＦおよびＳＳは、マルチレイヤ・ビットストリーム中に明示的に存在していてもよい。
【００８３】
ＳＦおよびＳＳは、マルチレイヤ・ビットストリームから算出されてもよい。
【００８４】
上記方法は、乗法的であり、かつ変換係数に依存する重み係数Ｗ１を決定するステップと、加法的であり、かつ変換係数に依存する重み係数Ｗ２を決定するステップとをさらに含み、上記スケーリングが、次の関係に従って行われるものであってもよい。
【００８５】
【数６】
2009543501.tif 000008
【００８６】
（ここで、／／は整数除算を示し、％はモジュロ演算を示し、ＭおよびScaleMatrixは定数であり、TSecondLayerおよびTFirstLayerはそれぞれ第２レイヤおよび第１レイヤにおける変換係数を示し、ｋは整数であり、Qp_FirstLayerおよびQp_SecondLayerはそれぞれ第１レイヤおよび第２レイヤのための量子化パラメータである）
Ｗ１およびＷ２は、マルチレイヤ・ビットストリーム中に明示的に存在していてもよい。
【００８７】
Ｗ１およびＷ２は、マルチレイヤ・ビットストリームから算出されてもよい。
【００８８】
上記方法は、統合された係数を逆量子化し、それによって、統合され非量子化された変換係数を生成するステップをさらに含んでいてもよい。
【００８９】
上記方法は、統合され非量子化された変換係数を逆変換し、それによって空間領域残差値を生成するステップをさらに含んでいてもよい。
【００９０】
上記方法は、上記空間領域残差値を空間領域予測値と統合するステップをさらに含んでいてもよい。
【００９１】
本発明の第１５の態様によれば、マルチレイヤ・ビットストリーム中の変換係数をスケーリングするためのシステムであって、上記マルチレイヤ・ビットストリームに基づいて第１レイヤの量子化パラメータを決定するための第１のパラメータ決定器；上記マルチレイヤ・ビットストリームに基づいて第２レイヤの量子化パラメータを決定するための第２のパラメータ決定器；および第１レイヤの量子化パラメータおよび第２レイヤの量子化パラメータに基づいて第１レイヤの変換係数をスケーリングするためのスケーラを含むシステムが提供される。
【００９２】
本発明の第１６の態様によれば、エントロピー符号化プロセスを制御するための方法であって、ａ）対象(target)マクロブロックに隣接する第１の隣接マクロブロックを識別するステップ；ｂ）対象マクロブロックに隣接する第２の隣接マクロブロックを識別するステップ；ｃ）第１の隣接マクロブロックが別のレイヤを参照して符号化されているかを示す第１のマクロブロック指標を決定するステップ；ｄ）第２の隣接マクロブロックが別のレイヤを参照して符号化されているかを示す第２のマクロブロック指標を決定するステップ；およびｅ）第１のマクロブロック指標および第２のマクロブロック指標に基づいてエントロピー符号化制御値を決定するステップを含む方法が提供される。
【００９３】
上記方法は、上記エントロピー符号化制御値を用いてイントラ予測モードを符号化するステップをさらにんでいてもよい。
【００９４】
上記方法は、上記エントロピー符号化制御値を用いてイントラ予測モードを復号するステップをさらに含んでいてもよい。
【００９５】
上記方法は、上記エントロピー符号化制御値を用いて上記対象マクロブロックを符号化するステップをさらに含んでいてもよい。
【００９６】
上記方法は、上記エントロピー符号化制御値を用いて上記対象マクロブロックを復号するステップをさらに含んでいてもよい。
【００９７】
上記対象マクロブロックは、色差マクロブロックであってもよい。
【００９８】
マクロブロックは、マクロブロックがタイプIntraBLである場合に、別のレイヤを参照して符号化されていると判定されてもよい。
【００９９】
上記エントロピー符号化制御値は、コンテキストを含んでいてもよい。
【０１００】
上記コンテキストは、累積的なマクロブロック情報を基礎とするものであってもよい。
【０１０１】
本発明の第１７の態様によれば、エントロピー符号化プロセスを制御するための方法であって、ａ）対象マクロブロックに隣接する第１の隣接マクロブロックを識別するステップ；ｂ）対象マクロブロックに隣接する第２の隣接マクロブロックを識別するステップ；ｃ）上記第１の隣接マクロブロックが利用可能であるかを判定するステップ；ｄ）上記第１の隣接マクロブロックがレイヤ間予測モードで符号化されているかを判定するステップ；ｅ）上記第１の隣接マクロブロックが空間領域で符号化されているかを判定するステップ；ｆ）上記第１の隣接マクロブロックがＤＣ予測モードでイントラ予測されているかを判定するステップ；ｇ）上記第１の隣接マクロブロックが別のレイヤを参照して符号化されているかを判定するステップ；ｈ）ステップｃ）〜ｇ）の何れかが真であれば、第１の隣接ブロック・フラグを１にセットするステップ；ｉ）上記第２の隣接マクロブロックが利用可能かを判定するステップ；ｊ）上記第２の隣接マクロブロックがレイヤ間予測モードで符号化されているかを判定するステップ；ｋ）上記第２の隣接マクロブロックが空間領域で符号化されているかを判定するステップ；ｌ）上記第２の隣接マクロブロックがＤＣ予測モードでイントラ予測されているかを判定するステップ；ｍ）上記第２の隣接マクロブロックが別のレイヤを参照して符号化されているかを判定するステップ；ｎ）ステップｉ）〜ｍ）の何れかが真であれば、第２の隣接ブロック・フラグ値を１にセットするステップ；およびｏ）上記第１の隣接ブロック・フラグ値と上記第２の隣接ブロック・フラグ値とを加算してエントロピー符号化制御値を生成するステップを含む方法が提供される。
【０１０２】
上記方法は、上記エントロピー符号化制御値を用いて上記対象マクロブロックを符号化するステップをさらに含んでいてもよい。
【０１０３】
上記方法は、上記エントロピー符号化制御値を用いて上記対象マクロブロックを復号するステップをさらに含んでいてもよい。
【０１０４】
上記対象マクロブロックは、色差マクロブロックであってもよい。
【０１０５】
マクロブロックは、該マクロブロックがタイプIntraBLである場合に別のレイヤを参照して符号化されていると判定されてもよい。
【０１０６】
マクロブロックは、該マクロブロックがタイプＩ＿ＰＣＭである場合に空間領域で符号化されていると判定されてもよい。
【０１０７】
上記エントロピー符号化制御値は、コンテキストを含んでいてもよい。
【０１０８】
上記コンテキストは、累積的なマクロブロック情報を基礎とするものであってもよい。
【０１０９】
本発明の第１８の態様によれば、予測モードを決定するための方法であって、ａ）対象マクロブロックに隣接する第１の隣接マクロブロックを識別するステップ；ｂ）対象マクロブロックに隣接する第２の隣接マクロブロックを識別するステップ；およびｃ）以下の条件ｉ）〜ｖｉ）：ｉ）第１の隣接マクロブロックが利用可能である；ii）第１の隣接マクロブロックがレイヤ間予測モードで符号化されている；iii）第１の隣接マクロブロックが別のレイヤを参照して符号化されている；iv）第２の隣接マクロブロックが利用可能である；ｖ）第２の隣接マクロブロックがレイヤ間予測モードで符号化されている；vi）第２の隣接マクロブロックが別のレイヤを参照して符号化されている；の何れかが真であれば、対象ブロックの推定された(estimated)予測モードを予め定められたモードにセットするステップを含む方法が提供される。
【０１１０】
上記の予め定められたモードは、ＤＣ予測モードであってもよい。
【０１１１】
上記方法は、対象ブロックの実際の予測モードを対象ブロックの内容に基づいて特定するステップをさらに含んでいてもよい。
【０１１２】
上記方法は、推定された予測モードを実際の予測モードと比較するステップをさらに含んでいてもよい。
【０１１３】
上記方法は、メッセージを符号化するステップであって、上記メッセージが、実際の予測モードが推定された予測モードと同じである場合に、推定された予測モードを用いて対象ブロックを予測するようデコーダに指示するものであるステップをさらに含んでいてもよい。
【０１１４】
上記方法は、メッセージを復号するステップであって、上記メッセージが、実際の予測モードが推定された予測モードと同じである場合に、推定された予測モードを用いて対象ブロックを予測するようデコーダに指示するものであるステップをさらに含んでいてもよい。
【０１１５】
上記方法は、メッセージを復号するステップであって、上記メッセージが、実際の予測モードが推定された予測モードと同じでない場合に、実際の予測モードを用いて対象ブロックを予測するようデコーダに指示するものであるステップをさらに含んでいてもよい。
【０１１６】
上記方法は、メッセージを符号化するステップであって、上記メッセージが、実際の予測モードが推定された予測モードと同じでない場合に、実際の予測モードを用いて対象ブロックを予測するようデコーダに指示するものであるステップをさらに含んでいてもよい。
【０１１７】
対象ブロックの推定された予測モードは、輝度予測モードであってもよい。
【０１１８】
本発明の第１９の態様によれば、エントロピー符号化プロセスを制御するためのシステムであって、ａ）対象マクロブロックに隣接する第１の隣接マクロブロックを識別するための第１の識別子；ｂ）対象マクロブロックに隣接する第２の隣接マクロブロックを識別するための第２の識別子；ｃ）第１の隣接マクロブロックが別のレイヤを参照して符号化されているかを示す第１のマクロブロック指標を決定するための第１の指標決定器；ｄ）第２の隣接マクロブロックが別のレイヤを参照して符号化されているかを示す第２のマクロブロック指標を決定するための第２の指標決定器；およびｅ）第１のマクロブロック指標および第２のマクロブロック指標に基づいてエントロピー符号化制御値を決定するための値決定器を含むシステムが提供される。
【０１１９】
本発明の第２０の態様によれば、マルチレイヤ・ビットストリーム中の複数のレイヤを統合する方法であって、ａ）符号化画像係数と符号化ブロック・パターン（Ｃｂｐ）情報とを含むビットストリームであって、上記Ｃｂｐ情報がビットストリーム中における変換係数を含む領域を識別するビットストリームを受け取るステップ；ｂ）上記Ｃｂｐ情報を復号するステップ；ｃ）Ｃｂｐ情報を用いて変換係数を含むビットストリーム領域を識別することによって、ビットストリームを解析するステップ；ｄ）ビットストリーム中の第１レイヤの変換係数をビットストリーム中の第２レイヤの特性と整合するようにスケーリングするステップ；ｅ）第１レイヤのスケーリングされた変換係数を第２レイヤの変換係数に加算して、統合されたレイヤ中の統合された係数を形成するステップ；およびｆ）統合されたレイヤ中における変換係数を含む領域を識別する情報である、統合されたレイヤのための統合されたＣｂｐ情報を計算するステップを含む方法が提供される。
【０１２０】
上記計算は、第２レイヤ中の係数が第１レイヤから予測される場合にのみ行ってもよい。
【０１２１】
上記方法は、統合された係数を逆変換し、それによって空間領域値を作成するステップをさらに含んでいてもよい。
【０１２２】
上記方法は、統合されたＣｂｐ情報に基づいて空間領域値の領域を選択的にフィルタリングするステップをさらに含んでいてもよい。
【０１２３】
上記第１レイヤおよび第２レイヤは、異なる空間解像度を有していてもよい。
【０１２４】
上記第１レイヤおよび第２レイヤは、異なるビット深度を有していてもよい。
【０１２５】
上記第１レイヤは、基本レイヤであってもよい。
【０１２６】
上記第２レイヤは、拡張レイヤであってもよい。
【０１２７】
上記の統合されたＣｂｐ情報を計算するステップは、統合された係数を検査する(test)ステップを含んでいてもよい。
【０１２８】
上記の統合されたＣｂｐ情報を計算するステップは、第１レイヤと第２レイヤとの２進論理和(binary-OR)を演算するステップを含んでいてもよい。
【０１２９】
上記の統合されたＣｂｐ情報を計算するステップは、係数リストを走査して、残差情報を有する領域を識別するステップを含んでいてもよい。
【０１３０】
本発明の第２１の態様によれば、マルチレイヤ・ビットストリーム中の複数のレイヤを統合するためのシステムであって、ｇ）符号化画像係数と符号化ブロック・パターン（Ｃｂｐ）情報とを含むビットストリームであって、上記Ｃｂｐ情報がビットストリーム中における変換係数を含む領域を識別するものであるビットストリームを受け取るための受信機；ｈ）Ｃｂｐ情報を復号するためのデコーダ；ｉ）Ｃｂｐ情報を用いて変換係数を含むビットストリーム領域を識別することによって、ビットストリームを解析するためのパーサ；ｊ）ビットストリーム中の第１レイヤの変換係数をビットストリー中の第２レイヤの特性と整合するようにスケーリングするためのスケーラ；ｋ）第１レイヤのスケーリングされた変換係数を第２レイヤの変換係数に加算して、統合されたレイヤ中の統合された係数を形成するための加算器；およびｌ）統合されたレイヤ中における変換係数を含む領域を識別する情報である、統合されたレイヤのための統合されたＣｂｐ情報を計算するための計算器を含むシステムが提供される。
【０１３１】
上記計算は、第２レイヤ中の係数が第１レイヤから予測される場合にのみ行ってもよい。
【０１３２】
上記方法は、統合された係数を逆変換し、それによって空間領域値を作成するための逆変換器をさらに含んでいてもよい。
【０１３３】
上記システムは、統合されたＣｂｐ情報に基づいて空間領域値の領域を選択的にフィルタリングするためのフィルタをさらに含んでいてもよい。
【０１３４】
上記第１レイヤおよび上記第２レイヤは、異なる空間解像度を有していてもよい。
【０１３５】
上記第１レイヤおよび上記第２レイヤは、異なるビット深度を有していてもよい。
【０１３６】
上記第１レイヤは、基本レイヤであってもよい。
【０１３７】
上記第２レイヤは、拡張レイヤであってもよい。
【０１３８】
上記の統合されたＣｂｐ情報の計算は、統合された係数の検査を含んでいてもよい。
【０１３９】
上記の統合されたＣｂｐ情報の計算は、第１レイヤと第２レイヤとの２進論理和の演算を含んでいてもよい。
【０１４０】
上記の統合されたＣｂｐ情報の計算は、係数リストを走査して、残差情報を有する領域を識別することを含んでいてもよい。
【０１４１】
本発明の第２２の態様によれば、変換サイズが拡張レイヤ中で示されていない場合に、再構成変換サイズを選択するための方法であって、ａ）下位レイヤの変換サイズを決定するステップ；ｂ）下位レイヤの変換サイズが予め定められた変換サイズに実質的に類似しているかを判断するステップ；ｃ）下位レイヤの変換サイズが予め定められた変換サイズに実質的に類似している場合に、予め定められた変換サイズの逆変換を再構成変換として選択するステップ；およびｄ）下位レイヤの変換サイズが予め定められた変換サイズに実質的に類似していない場合に、デフォルト(default)変換サイズの逆変換を再構成変換として選択するステップを含む方法が提供される。
【０１４２】
上記デフォルト変換サイズは、再構成変換のために選択されたか否かにかかわらず、ビットストリームを解析するために使用されてもよい。
【０１４３】
上記方法は、拡張レイヤの係数を再構成変換で逆変換するステップをさらに含んでいてもよい。
【０１４４】
上記の予め定められた変換サイズは、８×８であってもよい。
【０１４５】
上記の予め定められた変換サイズは、１６×１６であってもよい。
【０１４６】
上記方法は、拡張レイヤのための予測モードを決定するステップと、拡張レイヤが下位レイヤから予測されることを拡張レイヤの予測モードが示している場合にのみ、ステップａ）〜ｄ）を実行するステップとをさらに含んでいてもよい。
【０１４７】
上記方法は、デフォルト変換サイズにフォーマットされた、拡張レイヤの複数の係数を抽出するステップをさらに含んでいてもよい。
【０１４８】
上記方法は、拡張レイヤの複数の抽出された係数を予め定められた変換サイズに再フォーマットするステップをさらに含んでいてもよい。
【０１４９】
上記方法は、デフォルト変換サイズにフォーマットされた、拡張レイヤの複数の量子化された係数を抽出するステップをさらに含んでいてもよい。
【０１５０】
上記方法は、拡張レイヤの複数の量子化され抽出された係数を予め定められた変換サイズに再フォーマットし、それによって、拡張レイヤの複数の量子化され再フォーマットされた係数を作成するステップをさらに含んでいてもよい。
【０１５１】
上記方法は、ｉ）下位レイヤの複数の量子化された変換係数を逆量子化し、それによって下位レイヤの複数の変換係数を作成するステップ；ii）下位レイヤの複数の変換係数を拡張レイヤの特性と整合するようにスケーリングし、それによって下位レイヤの複数のスケーリングされた変換係数を作成するステップ；iii）拡張レイヤの量子化され再フォーマットされた係数を逆量子化し、それによって拡張レイヤの変換係数を作成するステップ；およびiv）下位レイヤのスケーリングされた変換係数を拡張レイヤの変換係数と統合して、統合された係数を形成するステップをさらに含んでいてもよい。
【０１５２】
上記方法は、統合された係数を含む、統合されたビットストリームを生成するステップをさらに含んでいてもよい。
【０１５３】
上記の統合されたビットストリームは、イントラ予測モードをさらに含んでいてもよい。
【０１５４】
上記の統合されたビットストリームは、動きベクトルをさらに含んでいてもよい。
【０１５５】
上記方法は、統合された係数を再構成変換を用いて逆変換し、それによって空間領域残差値を生成するステップをさらに含んでいてもよい。
【０１５６】
上記方法は、上記空間領域残差値を上記空間領域予測値と統合するステップをさらに含んでいてもよい。
【０１５７】
上記方法は、ｉ）下位レイヤの複数の量子化された変換係数を拡張レイヤの特性と整合するようにスケーリングし、それによって下位レイヤの複数の量子化されスケーリングされた変換係数を作成するステップ；およびii）下位レイヤの複数の量子化されスケーリングされた変換係数を拡張レイヤの量子化され再フォーマットされた係数と統合して、量子化され統合された係数を形成するステップをさらに含んでいてもよい。
【０１５８】
上記方法は、量子化され統合された係数を逆量子化し、それによって、統合された係数を作成するステップをさらに含んでいてもよい。
【０１５９】
上記方法は、統合された係数を含む、統合されたビットストリームを生成するステップをさたに含んでいてもよい。
【０１６０】
上記の統合されたビットストリームは、イントラ予測モードをさらに含んでいてもよい。
【０１６１】
上記の統合されたビットストリームは、動きベクトルをさらに含んでいてもよい。
【０１６２】
上記方法は、再構成変換を用いて統合された係数を逆変換て、それによって空間領域残差値を生成するステップをさらに含んでいてもよい。
【０１６３】
上記方法は、上記空間領域残差値を上記空間領域予測値と統合するステップをさらに含んでいてもよい。
【０１６４】
本発明の第２３の態様によれば、変換サイズが拡張レイヤ中で示されていない場合に、再構成変換サイズを選択するためのシステムであって、ａ）下位レイヤの変換サイズを決定するためのサイズ決定器；ｂ）下位レイヤの変換サイズが予め定められた変換サイズに実質的に類似しているかを判定するための判定器；ｃ）下位レイヤの変換サイズが予め定められた変換サイズに実質的に類似している場合に、予め定められた変換サイズの逆変換を再構成変換として選択するための第１の選択器；およびｄ）下位レイヤの変換サイズが予め定められた変換サイズに実質的に類似していない場合に、デフォルト変換サイズの逆変換を再構成変換として選択するための第２の選択器を含むシステムが提供される。
【０１６５】
本発明の一部の実施形態は、マルチレイヤ・ビットストリーム中の処理および処理管理のための方法およびシステムを含む。
【０１６６】
本発明の前述および他の目的、特徴、および利点は、本発明に関する以下の詳細な説明を添付図面と併せて参酌すれば、より容易に理解されるだろう。
【図面の簡単な説明】
【０１６７】
【図１Ａ】変換領域係数のスケーリングを含む本発明の実施形態を示す図である。
【図１Ｂ】量子化された変換係数の累算、および量子化された変換領域係数のスケーリングを含む本発明の実施形態を示す図である。
【図２Ａ】変換領域係数のスケーリング、および再構成なしのビットストリーム書き換え(rewriting)を含む本発明の実施形態を示す図である。
【図２Ｂ】量子化された変換係数または変換インデックスの累算、および再構成なしのビットストリーム書き換えを含む本発明の実施形態を示す図である。
【図３】変換サイズの選択を含む本発明の実施形態を示す図である。
【図４】条件付きの変換サイズの指示(indication)および選択を含む本発明の実施形態を示す図である。
【図５】量子化パラメータに基づく係数スケーリングを含む本発明の実施形態を示す図である。
【図６】隣接マクロブロック・データに基づくエントロピー・エンコーダ制御値の計算を含む本発明の実施形態を示す図である。
【図７】隣接マクロブロックの条件の組み合わせに基づくエントロピー・エンコーダ制御値の決定を含む本発明の実施形態を示す図である。
【図８】隣接マクロブロック・データに基づく、推定された予測モードの決定および予測モードの情報伝達(signaling)を含む本発明の実施形態を示す図である。
【図９】統合されたレイヤの符号化ブロック・パターンの計算を含む本発明の実施形態を示す図である。
【図１０】レイヤの空間解像度に基づく選択的な変換累算を含む本発明の実施形態を示す図である。
【図１１】変換サイズの選択を含む本発明の実施形態を示すブロック図である。
【図１２】量子化パラメータに基づく係数スケーリングを含む本発明の実施形態を示すブロック図である。
【図１３】隣接マクロブロック・データに基づくエントロピー・エンコーダ制御値の計算を含む本発明の実施形態を示す図である。
【図１４】統合されたレイヤの符号化ブロック・パターンの計算を含む本発明の実施形態を示す図である。
【図１５】レイヤの空間解像度に基づく選択的な変換累算を含む本発明の実施形態を示すブロック図である。
【発明を実施するための形態】
【０１６８】
本発明の実施形態は、図面を参照することによって最も良く理解できるであろう。全ての図面を通して、同様の部分を同様の数字で示している。上に挙げた各図は、この詳細な説明の一部として明示的に組み込まれるものとする。
【０１６９】
本発明の構成要素は、ここで概略的に説明し図面中に概略的に示したように、多種多様な異なる構成に構成および設計できることが容易に理解できるであろう。したがって、本発明の方法およびシステムの実施形態についての以下のより詳細な説明は、本発明の範囲を制限することを意図したものではなく、本発明の現在の好ましい実施形態の代表例にすぎない。
【０１７０】
本発明の実施形態の構成要素は、ハードウェア、ファームウェア、および／またはソフトウェアで実現できる。ここで開示した典型的な実施形態は、これら形態の１つについて記述したものにすぎず、当業者であれば、本発明の範囲内にある限りこれらの形態の何れにおいてもこれら構成要素を実施できることが理解できるであろう。
【０１７１】
本発明の一部の実施形態は、スケーラブルなビデオ符号化のための残差の累算のための方法およびシステムを含んでいる。一部の実施形態は、スケーラブルなビットストリームを復号するための方法およびシステムを含んでいる。上記ビットストリームを、エンコーダによって生成し、続いてデコーダに格納および／または伝送することができる。上記デコーダは、上記ビットストリームを解析し、解析されたシンボルを復号された画像のシーケンスに変換することができる。
【０１７２】
スケーラブルなビットストリームは、異なる複数の表現の原画像シーケンスを含みうる。１つの具体例では、上記ビットストリーム中の第１レイヤは、上記画像シーケンスの低品質バージョンを含んでおり、上記ビットストリーム中の第２レイヤは、上記画像シーケンスのより高品質のバージョンを含んでいる。第２の具体例では、上記ビットストリーム中の第１レイヤは、上記画像シーケンスの低解像度バージョンを含んでおり、上記ビットストリーム中の第２レイヤは、上記画像シーケンスのより高い解像度バージョンを含んでいる。より複雑な例は当業者に容易に理解できるであろう。より複雑な例は、異なる複数の品質および異なる複数の解像度の組み合わせを含む、複数の表現の画像シーケンスおよび／またはストリームを含みうる。
【０１７３】
エンコーダ出力のビットレートを下げるために、スケーラブルなビットストリームは、レイヤ間予測の一形態を含みうる。典型的な実施形態は、ＡＶＣ｜Ｈ．２６４ビデオ符号化標準のためのスケーラブルなビデオ拡張におけるレイヤ間予測を含みうる。上記拡張はＳＶＣとして一般に知られており、ＳＶＣシステムはT. Wiegand, G. Sullivan, J. Reichel, H. Schwarz and M. Wien, "Joint Draft 9 of SVC amendment (revision 2)", JVT-V201, Marrakech, Morroco, January 13-19, 2007に記載されている。上記文献は、参照によって本明細書に組み込まれるものとする。上記ＳＶＣシステムにおいて、レイヤ間予測は、列挙された下位レイヤから列挙された上位レイヤまで動きおよびモードの情報を投影することによって実現される。それに加えて、予測残差が、列挙された下位レイヤから列挙された上位レイヤへ投影される。したがって、上記の上位レイヤのビットストリームは、復号された出力の質を改善するために追加の残差を含むことができる。
【０１７４】
ISO/IEC JTC1/SC29/WG11 Information Technology - Coding of Audio-Visual Objects - Part 10: Advanced Video Coding, ISO/IEC 14496-10, 2005も、参照によって本明細書に組み込まれるものとする。
【０１７５】
ITU-T Recommendation H.264: "Advanced video coding for generic audio visual services", March 2003も、参照によって本明細書に組み込まれるものとする。
【０１７６】
〔ＳＶＣからＡＶＣへのビットストリームの書き換え〕
現在のＳＶＣシステムは、基本レイヤに加えてどんなレイヤでもＡＶＣデバイスをサポートできるトランスコーディングを必要としている。これは、ＳＶＣの応用範囲を制限する。本発明の実施形態は、ＳＶＣビットストリームをＡＶＣ準拠のビットストリームへ高速で書き換えることを可能にするために、粗粒度スケーラブルな(coarse grain scalable)レイヤのシンタックス(syntax)およびセマンティックス(semantics)への変更を含んでいる。一部の実施形態では、ネットワークデバイスは、誤差(drift)なしに、かつ、シーケンスを再構成する必要なしに、ＳＶＣデータをＡＶＣビットストリームへ書き換えることができる。これは、一部の実施形態では、多数の粗粒度スケーラブルなレイヤをまとめる(merge)ことにより実現できる。
【０１７７】
本発明の一部の実施形態は、ＳＶＣからＡＶＣへのビットストリームの書き換えを含んでいる。このプロセスは、ＳＶＣビットストリームを入力として取り込むステップ、およびＡＶＣビットストリームを出力として生成するステップを含みうる。これは概念的にトランスコーディングに類似している。しかしながら、一部の実施形態は、ＳＶＣの単一ループ構造を利用し、ＳＶＣビットストリームをＡＶＣシンタックス要素上に直接マッピングすることを可能にする。一部の実施形態は、誤差をもたらすことなしに、かつビデオシーケンスの再構成なしに、この機能を実行することができる。
【０１７８】
ＳＶＣからＡＶＣへのビットストリームへの高速書き換えを可能にする実施形態は、ＳＶＣの端々(SVC end-to-end)によってもたらされる追加の費用を負担する必要をなくす。したがって、それは、スケーラブルな機能性がもはや必要でない場合には廃棄(discard)できる。これらの実施形態は、ＳＶＣの応用範囲を大きく拡張することができる。典型的な実施形態の限定されない例として、最終の伝送リンクが制約された速度の伝送リンクであるようなシナリオを考える。これは、携帯機器への無線リンクであってもよく、それに代えて高解像度ディスプレイへの無線リンクであってもよい。いずれの場合も、我々は、ＳＶＣのスケーラビリティ特徴を用いて送信機での速度を知的に適応させることができる。しかしながら、ビットストリームからＳＶＣ成分を取り除くことは、受信デバイスがＳＶＣ機能を必要としないので、有利である。これは、より少数のビットが付加ビット(overhead)に割り当てられ、より多くのビットが画像データに利用可能であるので、伝送されるビデオの視覚的な品質を改善する。
【０１７９】
ビットストリーム書き換えの第２の限定されない例として、多数の異種のデバイスをサポートするシステムを考える。低速の伝送リンクで接続されているデバイスは、ＳＶＣビットストリームの一部であるＡＶＣ基本レイヤを受け取り、より高速の伝送リンクで接続されているデバイスはＡＶＣ基本レイヤに加えて付加的なＳＶＣ拡張を受け取る。この拡張データを見るために、これらの受信機は、ＳＶＣシーケンスを復号および再構成することができなければならない。これは、これらデバイスを多数用いる用途については、ＳＶＣを配備するための多額の出費を招く。セットトップ・ボックス（または他の復号ハードウェア）は、各受信機に配備しなければならない。より費用効率が高い解決策として、ネットワーク内でＳＶＣからＡＶＣへビットストリームを書き換えるプロセスを使用して、全てのデバイスにＡＶＣデータを送出することができる。これは、ＳＶＣの配備コストを低減する。
【０１８０】
ビットストリーム書き換えの第３の限定されない例として、クライアントデバイスへの最終的な送出のためにメディア・サーバ上にコンテンツを格納するためにＳＶＣを利用する適用を考える。ＳＶＣフォーマットは、多数のＡＶＣビットストリームをサーバに保存するのと比較して、必要とする格納スペースが少ないので、非常に魅力的である。しかしながら、それは、さらに、サーバ内のトランスコーディング演算がＡＶＣクライアントをサポートするか、あるいはクライアント上のＳＶＣ能力をサポートすることを必要とする。ＳＶＣからＡＶＣへのビットストリームの書き換えを可能にすることは、ネットワーク全体にわたってトランスコーディングおよび／またはＳＶＣの能力を計算上要求することを必要とせずに、メディア・サーバがＳＶＣを利用して効率を符号化することを可能にする。
【０１８１】
ビットストリーム書き換えの第４の限定されない例として、ＳＶＣからＡＶＣへビットストリームを書き換えるプロセスは、ＳＶＣデコーダのハードウェアの設計を簡素化する。現在、ＳＶＣデコーダは、ＡＶＣの復号および再構成のロジック全体にわたって修正を必要とする。ＳＶＣからＡＶＣビットストリームへの書き換えを可能にすることで、ＡＶＣとＳＶＣとの間の差は、エントロピー・デコーダおよび係数スケーリング演算に集約される。これは、最終の再構成ループがＡＶＣ再構成プロセスと同一であるので、ＳＶＣ復号プロセスの設計を簡素化する。さらに、ＳＶＣ再構成ステップは、１つのブロック当たりただ１つの予測演算とただ１つの逆変換演算とを含むことが保証される。これは、現在のＳＶＣ演算と異なるものであり、多数の逆変換演算とイントラ予測のための可変の参照データとを必要とする。
【０１８２】
本発明の一部の実施形態は、ＳＶＣビットストリームからＡＶＣビットストリームへの直接マッピングを可能にするために、ＳＶＣ粗粒度スケーラビリティ・レイヤに対する変更を含んでいる。これらの変更は、修正されたIntraBLモードと、インター符号化（画面間符号化）された拡張レイヤ中のBLSkipブロックの変換についての制限とを含む。一部の実施形態では、これらの変更は、シーケンス基準で、場合によってはシーケンス基準およびスライス基準の両方で、送られたフラグによって実施できる。
【０１８３】
〔インター符号化ブロック〕
一部の実施形態は、インター符号化ブロックのための変更を含んでいる。これらの変更は、以下のものを含んでいる。基本レイヤ・ブロックから推定(infer)されるブロックは、基本レイヤ・ブロックと同じ変換を用いなければならない。例えば、粗粒度スケーラブルなレイヤ中のブロックが１に等しいbase_mode_flagを有しており、かつ同じ場所にある基本レイヤ・ブロックが４×４変換を用いる場合、拡張レイヤ・ブロックも４×４変換を用いなければならない。
【０１８４】
基本レイヤ・ブロックから推定され、かつ残差予測を用いるブロックの再構成は、変換領域に生じなければならない。ここで、基本レイヤ・ブロックが空間領域中で再構成され、次いで、残差が拡張レイヤ中で伝送されるであろう。これらの実施形態では、基本レイヤ・ブロックの変換係数は、デコーダでスケーリングされ、拡張レイヤ中の情報によって微調整(refine)され、次いで逆変換される。
【０１８５】
avc_rewriteフラグが１である場合、smoothed_reference_flagは０であるものとする。
【０１８６】
〔イントラ符号化ブロック〕
イントラ符号化（画面内符号化）ブロックは、ＳＶＣからＡＶＣへの書き換えの問題に、追加の障害を生じさせる。上記ＣＧＳシステム内では、拡張レイヤ中のブロックをIntraBLモードで符号化してもよい。このモードは、基本レイヤ中のイントラ符号化ブロックが復号され予測に使用されるべきであることを情報伝達する。その後、追加の残差を、拡張レイヤ中で情報伝達することができる。ＳＶＣからＡＶＣへの書き換えを行うシステム内では、これは障害を作成する。なぜなら、再構成されたイントラ符号化ブロックを、その近傍の空間的予測と情報伝達された残差との和として記述することができないからである。したがって、イントラ符号化ブロックをＳＶＣからＡＶＣへトランスコードされなければならない。これは、追加の計算上の複雑さを必要とする。さらに、それは、動き補償を介して伝播(propagate)しうる符号化誤差をもたらす。
【０１８７】
本発明の一部の実施形態について図１Ａを参照して説明する。これらの実施形態に係る、デコーダまたはリライタ（システム）は、第１の逆量子化器５、スケーラ６、第２の逆量子化器１１、第１の加算器（係数統合器）７、逆変換器１０、および第２の加算器（第２の統合器）９を含んでいる。これらの実施形態では、基本レイヤの残差（基本レイヤの量子化された変換係数）１、予測モード・データ２、および拡張レイヤの残差（拡張レイヤの量子化された変換係数）３を、デコーダまたはリライタで受け取る。近隣ブロック・データ４も、デコーダ／リライタで既知である。第１の逆量子化器５が、基本レイヤの残差データ１を逆量子化し、それによって基本レイヤの変換係数を作成することができ、また、スケーラ６が、変換係数を拡張レイヤの特性と整合するようにスケーリングし、それによって基本レイヤのスケーリングされた変換係数を作成することができる。一部の実施形態では、整合される特性は、量子化パラメータ特性を含みうる。さらにまた、拡張レイヤの残差３が、第２の逆量子化器１１によって逆量子化され、第１の加算器７によって、基本レイヤのスケーリングされた残差の係数（基本レイヤのスケーリングされた変換係数）に加算され、それによって統合された係数を形成することができる。その後、逆変換器１０が、統合された係数を逆変換して空間領域強度値を生成する。一部の実施形態では、拡張レイヤ情報を、必要としない場合には無視することができる。予測モード・データ２および近隣ブロック・データ４は、イントラ予測８による予測ブロックの決定に使用される。その後、第２の加算器９が、基本レイヤおよび拡張レイヤからの空間領域強度値に対して予測ブロックを加算して、復号されたブロック１２を生成する。
【０１８８】
本発明の一部の実施形態について図１Ｂを参照して説明する。これらの実施形態では、基本レイヤの残差１、予測モード２、および拡張レイヤの残差３を、デコーダまたはリライタで受け取る。近隣ブロック・データ１３５も、デコーダ／リライタで既知であり、予測（１３４）に使用できる。これらの実施形態では、基本レイヤの量子化された変換係数１を拡張レイヤの特性と整合するようにスケーリングし（１３０）、それによって基本レイヤのスケーリングされた変換係数を作成することができる。一部の実施形態では、整合される特性は、量子化パラメータ特性を含みうる。拡張レイヤの量子化された変換係数を基本レイヤの量子化されスケーリングされた変換係数３に加算して（１３１）、量子化され統合された係数を作成することができる。その後、量子化され統合された係数を逆量子化して（１３２）、統合され非量子化された係数を生成することができる。その後、統合され非量子化された係数を逆変換して（１３３）、統合された空間領域値を生成することができる。その後、これらの空間領域値を予測データと統合して（１３６）、再構成された画像１３７を形成することができる。
【０１８９】
本発明の一部の実施形態について図２Ａを参照して説明する。これらの実施形態では、ビットストリームが、画像の完全な再構成なしに再符号化される。これらの実施形態では、基本レイヤ（ＢＬ）の残差データ１を、デコーダ、トランスコーダ、エンコーダのデコーダ部分、もしくは他のデバイスまたはモジュールで受け取ることができる。拡張レイヤ（ＥＬ）の残差データ３も、上記のデバイスまたはモジュールで受け取ることができる。これらの実施形態では、第１の逆量子化器５が、ＢＬの残差１を逆量子化してＢＬの変換係数を生成することができる。その後、スケーラ６が、これらのＢＬの変換係数を拡張レイヤの特性と整合するようにスケーリングし、それによってＢＬの変換係数を作成することができる。一部の実施形態では、この拡張レイヤの特性は、量子化パラメータであってもよく、解像度パラメータであってもよく、基本レイヤを拡張レイヤに関連付ける何らかの他のパラメータであってもよい。さらにまた、第２の逆量子化器１１が、拡張レイヤデータ３を逆量子化して拡張レイヤの係数１８を生成することができる。その後、係数統合器１９が、スケーリングされたＢＬ係数１６を、スケーリングされたＢＬ係数と統合して、統合された係数１７を生成することができる。その後、ビットストリーム・エンコーダ（ビットストリーム生成器）１３が、統合された係数を縮小レイヤ(reduced-layer)または単一レイヤのビットストリームに書き換えることができる。ビットストリーム・エンコーダ１３は、さらに予測データ２をビットストリーム中に書き込むことができる。ビットストリーム・エンコーダ１３の機能は、量子化機能、エントロピー符号化機能、および他の機能をさらに含んでいてもよい。
【０１９０】
本発明の一部の実施形態について図２Ｂを参照して説明する。これらの実施形態では、ビットストリームは、画像の完全な再構成なしに、かつ逆量子化なしに、再符号化される。これらの実施形態では、基本レイヤ（ＢＬ）の残差データ３６を、デコーダ、トランスコーダ、エンコーダのデコーダ部分、もしくは他のデバイスまたははモジュールで受け取ることができる。拡張レイヤ（ＥＬ）データ３７も、上記デバイスまたはモジュールで受け取ることができる。これらの実施形態では、ＢＬの信号３６および拡張レイヤの信号３７をエントロピー復号して、量子化された係数またはインデックス２１および２３を生成することができる。その後、ＢＬの量子化インデックス２１を拡張レイヤの特性と整合するようにスケーリングし（２０）、それによってＢＬのスケーリングされたインデックスを作成することができる。一部の実施形態では、この拡張レイヤの特性は、量子化パラメータであってもよく、解像度パラメータであってもよく、基本レイヤを拡張レイヤに関連付ける何らかの他のパラメータであってもよい。その後、スケーリングされたＢＬインデックス２６をＥＬのインデックス２３と統合して（２４）、統合されたインデックス２７を生成することができる。その後、ビットストリーム・エンコーダ２５が、統合された係数を縮小レイヤまたは単一レイヤのビットストリーム２８に書き換えることができる。ビットストリーム・エンコーダ２５は、さらに予測データ３５をビットストリーム中に書き込むことができる。ビットストリーム・エンコーダ２５の機能は、量子化機能、エントロピー符号化機能、および他の機能も含みうる。
【０１９１】
これらの実施形態では、基本レイヤ・ブロックを完全に再構成する必要はない。それに代えて、イントラ予測モードおよび残差データが両方とも、拡張レイヤにマッピングされる。その後、拡張レイヤから追加の残差データが加算される。最後に、上記ブロックが再構成される。このアプローチの利点は、損失なしに、かつ基本レイヤを完全に復号する必要なしに、拡張ブロックを単一レイヤのビットストリーム中に書くことができるということである。
【０１９２】
本発明の一部の実施形態は、残差予測フラグの使用なしに、ＣＧＳシステム中の複数のレイヤ間で動きデータを伝播することを含んでいる。これらの実施形態は、基本レイヤから拡張レイヤへイントラ予測モードを伝播させる、改良されたIntraBL方法を含んでいる。その後、イントラ予測が拡張レイヤで行われる。
【０１９３】
これらの実施形態では、IntraBLブロックの変換タイプは、同じ場所にある基本レイヤ・ブロックと同じでなければならない。例えば、基本レイヤ・ブロックが８×８変換を用いる場合、拡張レイヤ・ブロックも８×８変換を用いなければならない。
【０１９４】
一部の実施形態では、ビットストリームの独立した処理を可能にするために、８×８変換フラグも拡張レイヤ中で伝送することができる。
【０１９５】
一部の典型的な実施形態では、基本レイヤ中の１６×１６変換によって符号化されたブロックも、拡張レイヤ中の１６×１６変換によって符号化される。しかしながら、拡張レイヤ・ブロックは４×４走査のパターンおよび方法で伝送される。すなわち一部の実施形態では、１６×１６ブロックのＤＣ係数およびＡＣ係数が別々に送られない。
【０１９６】
本発明の一部の実施形態について図３および図１１を参照して説明する。これらの実施形態に係るシステムは、サイズ決定器２０１、決定器２０２、第１の選択器２０３、および第２の選択器２０４を含んでいる。マルチレイヤ画像を含むこれらの実施形態では、１つのレイヤから別のレイヤへイントラ予測モードおよび変換データを推定することができる。一部の実施形態では、サイズ決定器２０１が第１レイヤの変換サイズを決定することができる（３０）。第１レイヤは、基本レイヤであってもよく、別のレイヤを予測する基となるレイヤであってもよい。これらの実施形態では、予め定められた変換サイズが確立される。その後、第１レイヤの変換サイズが、予め定められた（予め規定された）変換サイズと比較される。すなわち、判定器２０２は、下位レイヤの変換サイズが予め定められた変換サイズと同じである（実質的に類似している）かを判定する。第１レイヤの変換サイズが予め定められた変換サイズと同じである場合（３１）、第１の選択器２０３が予め定められた変換サイズを逆変換演算に選択する（３３）。第１レイヤの変換サイズが予め定められた変換サイズと同じでない場合（３１）、第２の選択器２０４がデフォルト変換サイズを逆変換演算に選択する（３２）。一部の実施形態では、予め定められた変換サイズを８×８とすることができ、また、デフォルト変換サイズを４×４とすることができる。
【０１９７】
一部の実施形態では、予め定められた変換サイズも、特別の走査のパターンおよび方法に関連付けることができる。これらの実施形態では、第１レイヤの変換サイズと予め定められた変換サイズとの関係も、特別な符号化の方法およびパターンをトリガーすることができる。例えば、一部の実施形態では、予め定められた変換サイズを１６×１６とすることができ、予め定められた１６×１６のサイズと実際の下位レイヤのサイズとの一致は、「１６×１６が使用されることになっているが、ＡＣ係数およびＤＣ係数が一緒に伝送される４×４の走査パターンおよび走査方法でデータが符号化されている」ことを示しうる。
【０１９８】
本発明の一部の実施形態について図４を参照して説明する。これらの実施形態では、マルチレイヤ・ビットストリームを解析（４０）および処理して、基本レイヤの変換サイズを決定すると共に、ＢＬの係数値を生成する。ビットストリームの拡張レイヤも解析して（４１）、変換指標が存在するかを判定する。拡張レイヤの変換指標がビットストリーム中に存在する場合（４２）、指し示された変換サイズをＥＬの係数の逆変換に用いることができる（４３）。拡張レイヤの変換指標がビットストリーム中に存在しない場合（４２）、基本レイヤの変換サイズが８×８であるかを判定する（４４）。基本レイヤの変換サイズが８×８である場合、８×８変換サイズを用いて拡張レイヤを逆変換する（４６）。基本レイヤの変換サイズが８×８でない場合、４×４などのようなデフォルト変換サイズを用いて拡張レイヤを逆変換することができる（４５）。
【０１９９】
本発明の一部の実施形態では、イントラ予測モードは、IntraBLブロック中の基本レイヤからイントラ予測モードを推定することによって、基本レイヤから直接コピーすることができる。一部の代替の実施形態では、それは、基本レイヤのモードと異なり符号化することができる。一部の実施形態では、ＡＶＣ中でイントラ予測モードを情報伝達するための現行の方法を用いることができる。しかしながら、これらの実施形態では、予測されるモード（または最も可能性の高いモード）は、基本レイヤのモードと等しくなるよう設定される。
【０２００】
一部の実施形態では、８×８変換フラグを拡張レイヤのビットストリームから省略してもよく、また、変換を基本レイヤモードから推定してもよい。
【０２０１】
一部の実施形態では、１６×１６変換係数を、基本レイヤ中および拡張レイヤ中の両方において同じ方法で情報伝達することができる。１６×１６変換の存在は、拡張レイヤ中の追加のフラグで情報伝達してもよく、基本レイヤのビットストリームから推定してもよい。
【０２０２】
本発明の一部の実施形態は、IntraBLブロックのための残差予測フラグを含んでいる。これらの実施形態は、基本レイヤの残差を適応的に使用して拡張レイヤのイントラ予測されたブロックを改良することを可能にする。
【０２０３】
本発明の一部の実施形態では、ＡＶＣビットストリームに直接マッピングすることができない、ＳＶＣビットストリーム中のモードを全て、エンコーダが無効にすることができる。これらの実施形態のための情報伝達は、ＳＶＣビットストリーム中で行うことができる。一部の典型的な実施形態では、この情報伝達は、シーケンス・ヘッダー中、シーケンス・パラメータ・セット中、ピクチャ・パラメータ・セット中、スライス・ヘッダ中、または他の所で、起こりうる。一部の実施形態で、この情報伝達は、ＳＥＩメッセージ中で起こりうる。典型的な実施形態では、この情報伝達は、空間スケーラビリティＳＥＩメッセージ中で起こりうる。一部の実施形態では、この情報伝達は他の帯域外方法によって起こり得るし、一部の場合には、ＳＶＣ復号演算に対して標準の変更を加えることを必要としないであろう。
【０２０４】
一部の実施形態では、エンコーダがこの動作モードを情報伝達すると、デコーダは、ＡＶＣに翻訳できるビットストリームをエンコーダが生成しているとみなすことができる。一部の典型的な実施形態では、エンコーダは、このモードで動作しているとき、IntraBLブロックモードまたは平滑化参照ツールを用いなくてもよい。さらに、これらの実施形態では、エンコーダは、基本レイヤの変換係数をスケーリングし、次いで伝送された残差を加算することによって、残差データを組み込む(incorporate)ことができることを保証できる。これらの実施形態は、エンコーダが基本レイヤ中および拡張レイヤ中で同じ変換方法を用いることを必要とする可能性がある。
【０２０５】
〔ＣＧＳのためのＳＶＣからＡＶＣへのビットストリーム書き換え：シンタックス〕
F.7.3.2 シーケンス・パラメータ・セットＳＶＣ拡張のシンタックス
【０２０６】
【表１】
2009543501.tif 000009
【０２０７】
【表２】
2009543501.tif 000010
【０２０８】
F.7.3.4 スケーラブルな拡張におけるスライス・ヘッダ
【０２０９】
【表３】
2009543501.tif 000011
【０２１０】
【表４】
2009543501.tif 000012
【０２１１】
【表５】
2009543501.tif 000013
【０２１２】
【表６】
2009543501.tif 000014
【０２１３】
【表７】
2009543501.tif 000015
【０２１４】
F.7.3.6.3 スケーラブルな拡張における残差のシンタックス
【０２１５】
【表８】
2009543501.tif 000016
【０２１６】
【表９】
2009543501.tif 000017
【０２１７】
【表１０】
2009543501.tif 000018
【０２１８】
F.7.3.2 シーケンス・パラメータ・セットＳＶＣ拡張のセマンティックス
０に等しいnal_unit_extension_flagは、（dependency_id，temporal_level，quality_level）へのsimple_priority_idのマッピングを指定するパラメータがシーケンス・パラメータ・セット中で次に続くことを示す。１に等しいnal_unit_extension_flagは、（dependency_id，temporal_level，quality_level）へのsimple_priority_idのマッピングを指定するパラメータが存在しないことを示す。nal_unit_extension_flagが存在しない場合、nal_unit_extension_flagが１に等しいと推定されるものとする。現(current)シーケンス・パラメータ・セットを参照する、２０および２１に等しいnal_unit_typeを持つ、全てのＮＡＬユニットのＮＡＬユニットシンタックス要素extension_flagは、nal_unit_extension_flagに等しいものとする。
【０２１９】
注：profile_idcが８３に等しくない場合、現シーケンス・パラメータ・セットを参照する、２０および２１に等しいnal_unit_typeを持つ、全てのＮＡＬユニットのシンタックス要素extension_flagは、１に等しいものとする．
number_of_simple_priority_id_values_minus1に１を加えた値は、（dependency_id，temporal_level，quality_level）へのマッピングがシーケンス・パラメータ・セット中で次に続くパラメータによって指定される、simple_priority_idの値の個数を指定する。number_of_simple_priority_id_values_minus1の値は、０〜６３の範囲内にあるものとする。
【０２２０】
priority_id、dependency_id_list[priority_id]、temporal_level_list[priority_id]、quality_level_list[priority_id]は、従属節F.7.4.1で示すシンタックス要素dependency_id、temporal_level、およびquality_levelを推定するプロセスを指定する。priority_idの全ての値についてdependency_list[priority_id]、temporal_level_list[priority_id]、およびquality_level_list[priority_id]が存在しない場合、dependency_list[priority_id]、temporal_level_list[priority_id]、およびquality_level_list[priority_id]が０に等しいと推定されるものとする。
【０２２１】
extended_spatial_scalabilityは、基本レイヤのアップサンプリングのための幾何学的パラメータに関連付けられたシンタックス要素の存在を示す。extended_spatial_scalabilityが０に等しい場合、幾何学的パラメータがビットストリーム中にない。extended_spatial_scalabilityが１に等しい場合、幾何学的パラメータがシーケンス・パラメータ・セット中にある。extended_spatial_scalabilityが２に等しい場合、幾何学的パラメータがslice_data_in_scalable_extension中にある。３の値は、extended_spatial_scalabilityには未使用である。extended_spatial_scalabilityが存在しない場合、extended_spatial_scalabilityが０に等しいと推定されるものとする。
【０２２２】
scaled_base_left_offsetは、アップサンプリングされた基本レイヤのピクチャの左上の画素と現レイヤのピクチャの左上の画素との間の水平オフセットを２つの輝度サンプルの単位で指定する。scaled_base_left_offsetが存在しない場合、scaled_base_left_offsetが０に等しいと推定されるものとする。
【０２２３】
変数ScaledBaseLeftOffsetは、次のように規定される:
ScaledBaseLeftOffset＝２＊scaled_base_left_offset  （Ｆ−４０）
変数ScaledBaseLeftOffsetCは、次のように規定される：
ScaledBaseLeftOffsetC＝ScaledBaseLeftOffset／SubWidthC  （Ｆ−４１）
scaled_base_top_offsetは、アップサンプリングされた基本レイヤのピクチャの左上の画素と現レイヤのピクチャの左上の画素との間の垂直オフセットを２つの輝度サンプルの単位で指定する。scaled_base_top_offsetが存在しない場合、scaled_base_top_offsetが０に等しいと推定されるものとする。
【０２２４】
変数ScaledBaseTopOffsetは、次のように規定される。
【０２２５】
ScaledBaseTopOffset＝２＊scaled_base_top_offset  （Ｆ−４２）
変数ScaledBaseTopOffsetCは、次のように規定される。
【０２２６】
ScaledBaseTopOffsetC＝ScaledBaseTopOffset／SubHeightC  （Ｆ−４３）
scaled_base_right_offsetは、アップサンプリングされた基本レイヤのピクチャの右下画素と現レイヤのピクチャの右下画素との間の水平オフセットを２つの輝度サンプルの単位で指定する。scaled_base_right_offsetが存在しない場合、scaled_base_right_offsetが０に等しいと推定されるものとする。
【０２２７】
変数ScaledBaseRightOffsetは、次のように規定される。
【０２２８】
ScaledBaseRightOffset＝２＊scaled_base_right_offset  （Ｆ−４４）
変数ScaledBaseWidthは、次のように規定される：
ScaledBaseWidth
＝PicWidthInMbs*16-ScaledBaseLeftOffset-ScaledBaseRightOffset (Ｆ-４５)
変数ScaledBaseWidthCは、次のように規定される：
ScaledBaseWidthC＝ScaledBaseWidth／SubWidthC  （Ｆ−４６）
scaled_base_bottom_offsetは、アップサンプリングされた基本レイヤのピクチャの右下画素と現レイヤのピクチャの右下画素との間の垂直オフセットを２つの輝度サンプルの単位で指定する。scaled_base_bottom_offsetが存在しない場合、scaled_base_bottom_offsetが０に等しいと推定されるものとする。
【０２２９】
変数ScaledBaseBottomOffsetは、次のように規定される。
【０２３０】
ScaledBaseBottomOffset＝２＊scaled_base_bottom_offset  （Ｆ−４７）
変数ScaledBaseHeightは、次のように規定される。
【０２３１】
ScaledBaseHeight
＝PicHeightInMbs*16-ScaledBaseTopOffset-ScaledBaseBottomOffset (Ｆ-48)
変数ScaledBaseHeightCは、次のように規定される。
【０２３２】
ScaledBaseHeightC＝ScaledBaseHeight／SubHeightC  （Ｆ−４９）
chroma_phase_x_plus1は、現レイヤのピクチャの水平方向のサンプリング・スペースの４分の１の単位で色差成分の水平方向位相シフトを指定する。chroma_phase_x_plus1が存在しない場合、chroma_phase_x_plus1が０に等しいと推定されるものとする。chroma_phase_x_plus1は、０〜１の範囲内にある、２および３の値は未使用である。
【０２３３】
chroma_phase_y_plus1は、現レイヤのピクチャの垂直方向のサンプリング・スペースの４分の１の単位で色差成分の垂直方向位相シフトを指定する。chroma_phase_y_plus1が存在しない場合、chroma_phase_y_plus1が等しいと推定されるものとする。chroma_phase_y_plus1は、０〜２の範囲内にあり、３の値は未使用である。注：vui_parameters中で指定された色種類(chroma type)は、同じsequence_parameter_set中の色相(chroma phase)パラメータchroma_phase_x_plus1およびchroma_phase_y_plus1と一致していなければならない。
【０２３４】
avc_rewrite_flagは、エントロピー符号の復号および符号化と変換係数のスケーリングとだけによって、伝送されたシーケンスを劣化なしにＡＶＣビットストリームとして書き換えることができることを示す。IntraBLブロックには代替の方法が使用され、エンコーダによる変換サイズの選択に制限がかけられる。
【０２３５】
avc_adaptive_rewrite_flagは、avc_rewrite_flagがスライス・ヘッダ中で送られることを示す。
【０２３６】
本発明の一部の実施形態は、量子化された変換係数を「非量子化された」バージョンまたは代替の量子化領域のいずれかにマッピングするスケーリング・プロセスを含んでいる。一部の実施形態では、avc_rewrite_flagが上述したようにこれらのプロセスが無効にされていることを情報伝達する場合、現行のＨ．２６４／ＡＶＣビデオ符号化規格で規定されたプロセスに従って、全てのレイヤ中の復号された変換係数を「非量子化する」ことができる。しかしながら、これらの実施形態が有効にされていることをavc_rewrite_flagが情報伝達する場合、所望の拡張レイヤに先行する複数のレイヤ中において、復号された、量子化された変換係数またはインデックスが「非量子化され」ない。それに代えて、量子化された係数またはインデックスが、下位レイヤ（特に、所望の拡張レイヤに依存する(depend on)レイヤ）から次に上位のレイヤ（特に、前述した下位レイヤに明示的に依存するレイヤであって、依存の順序において、所望の拡張レイヤにより近いレイヤ）へマッピングされる。
【０２３７】
本発明の一部の実施形態について図５および図１２を参照して説明する。これらの実施形態に係るシステムは、第１のパラメータ決定器２１１、第２のパラメータ決定器２１２、およびスケーラ２１３を含む。これらの実施形態では、マッピング・プロセスは以下のように動作しうる。初めに、第１のパラメータ決定器２１１が、下位レイヤのビットストリーム中における量子化パラメータ、すなわちＱｐ値を決定する（５０）。次いで、第２のパラメータ決定器２１２が、上位レイヤ中における量子化パラメータ、すなわちＱｐ値を決定する（５１）。次に、スケーラ２１３で、下位レイヤの係数（第１レイヤの変換係数）を、量子化パラメータに基づいた率だけスケーリングすることができる（５２）。
【０２３８】
一部の実施形態では、下位レイヤのＱｐ値と上位レイヤのＱｐ値との差を計算することができる。一部の実施形態では、変換係数を次のプロセスでスケーリングすることができる。
【０２３９】
【数７】
2009543501.tif 000019
【０２４０】
（ここで、THigherLayerおよびTLowerLayerはそれぞれ上位レイヤおよび下位レイヤにおける変換係数を示し、ｎは整数であり、Qp_LowerLayerおよびQp_HigherLayerはそれぞれ下位レイヤおよび上位レイヤのための量子化パラメータである）
マッピング・プロセスの計算は、多くの計算を単純化する方法で実施することができる。例えば、次のシステムが同等である。
【０２４１】
【数８】
2009543501.tif 000020
【０２４２】
（ここで、／／が整数除算を示し、％はモジュロ演算を示し、ＭおよびScaleMatrixは予め定められた定数である）
これらの予め定められた値の一具体例は、次の通りである。
【０２４３】
ScaleMatrix＝[512 573 642 719 806 902]
Ｍ＝５１２
しかしながら、ＭおよびScaleMatrixについて他の値を用いてもよいことが容易に理解できるはずである。
【０２４４】
単純化された上記の例は、Qp_Diffの値が常に０より大きいとみなす。従って、一部の実施形態では、アプリケーションが、スケーリング演算を行う前にQp_Diffの値をチェックすることができる。Qp_Diffの値が０より小さい場合、さらなる処理に先立って０の値をそれに再割り当てすることができる。一部の実施形態では、Qp_LowerLayerがQp_HigherLayer以上であるとみなすことができる。
【０２４５】
一部の代替の実施形態では、次のシステムを実施することができる。
【０２４６】
【数９】
2009543501.tif 000021
【０２４７】
典型的な実施形態では、予め定められた値を次のように選択することができる。
【０２４８】
ScaleMatrix＝[291 325 364 408 457 512 573 642 719 806 902]
Ｍ＝５１２
一部の実施形態では、変換係数を下位レイヤから上位レイヤにマッピングした後、上述のプロセスを利用する一部の場合において、係数を微調整していてもよい。微調整の後、第２のスケーリング演算を使用することができる。このスケーリング演算は、変換係数を「非量子化する(de-quantize)」ものとすることができる。
【０２４９】
上述した一部の実施形態は１つの下位レイヤおよび１つの上位レイヤについてしか記述していなかったが、一部の実施形態は２つより多くのレイヤを含んでいてもよい。例えば、典型的な３つのレイヤの場合は、次のように機能することができる。最初に、最下位レイヤを復号することができる。その後、上述の方法によって変換係数を第２レイヤにマッピングすることができる。その後、マッピングされた変換係数を微調整することができる。次に、上述の方法を用いてこれらの変換係数を第３レイヤにマッピングすることができる。その後、これらの変換係数を微調整することができ、その結果として得られる係数を、ＡＶＣ／Ｈ．２６４ビデオ符号化標準によって規定されたスケーリング演算などのようなスケーリング演算によって「非量子化する」ことができる。
【０２５０】
本発明の一部の実施形態について図６および図１３を参照して説明する。これらの実施形態に係るシステムは、第１の識別器２２１、第２の識別器２２２、第１の指標決定器２２３、第２の指標決定器２２４、および値決定器２２５を含んでいる。これらの実施形態では、隣接するマクロブロックに関連付けられた情報を用いて、対象ブロックまたはマクロブロックのための符号化演算または復号演算を通知することができる。一部の実施形態では、第１の隣接マクロブロックが第１の識別器２２１によって識別され（６０）、第２の隣接マクロブロックが第２の識別器２２２によって識別される（６１）。その後、第１の指標決定器２２３が第１の隣接マクロブロック指標を決定し（６２）、第２の指標決定器２２４が第２の隣接マクロブロック指標を決定する（６３）。その後、値決定器２２５が、これらの隣接マクロブロック指標に基づいてエントロピー・エンコーダ制御値を決定することができる（６４）。
【０２５１】
本発明の一部の実施形態について図７を参照して説明する。これらの実施形態では、第１の隣接マクロブロックを識別し（７１）、第２の隣接マクロブロックを識別する（７２）。その後、第１の隣接マクロブロックの属性を調べて、第１のマクロブロックが予め規定された条件を満たすかを判定することができる（７３）。さらにまた、第２の隣接マクロブロックを条件も調べて、予め規定された条件が満たされているかを判定することができる（７４）。一部の実施形態では、これらの条件は、「マクロブロックが利用可能であるか」、「マクロブロックがレイヤ間予測モードで符号化されているか」、「マクロブロックが空間領域において符号化されているか」、「マクロブロックがＤＣ予測でイントラ予測されているか」、および「マクロブロックが別の時間的に一致するレイヤを参照して符号化されているか」という条件を含みうる。第１のマクロブロック７５について上記条件の何れかが満たされている場合、第１のマクロブロック・フラグが、準拠を示すようにセットされる（８０）。何れの条件も満たされていない場合、上記フラグは、不準拠を示すようにセットされる（７６）。一部の実施形態では、何れかの条件が満たされた場合（８０）、フラグを「０」にセットし、何れの条件も満たされていない場合（７６）、フラグを「１」にセットすることができる。第２の隣接マクロブロックについて同じプロセス７４、７９を続けることができる。そのプロセスでは、条件が満たされていない場合（７８）、フラグを１つの値にセットし、条件が満たされている（８１）場合、フラグを別の値にセットすることができる。両方の隣接マクロブロックが調べられ、かつ関連付けられた２つのフラグがセットされている場合、これらのフラグを加算することができる（８２）。その後、加算結果の値をエントロピー・エンコーダ制御値として使用することができる。
【０２５２】
本発明の一部の実施形態について図８を参照して説明する。これらの実施形態では、第１の隣接マクロブロックは識別され（９０）、第２の隣接マクロブロックが識別される（９１）。その後、第１の隣接マクロブロックおよび第２の隣接マクロブロックの属性を調べて、マクロブロックが予め規定された条件を満たしているかを判定する（９２）。一部の実施形態では、これらの条件は、「マクロブロックは利用可能であるか」、「マクロブロックがレイヤ間予測モードで符号化されているか」、および「マクロブロックが別のレイヤを参照して符号化されているか」という条件を含みうる。何れかのマクロブロックについて上記条件の何れかが満たされている場合（９４）、推定された予測モードを、予め定められたモードにセットする。一部の実施形態では、予め定められたモードをＤＣ予測モードとすることができる。
【０２５３】
これらの実施形態では、さらに、実際の予測モードを特定することもできる。実際の予測モードは、画像の内容に基づくものとすることができる。最小のエラーまたは低減されたエラーを生じる方法を用いて、予測モードを決定することができる。実際の予測モードが推定された予測モードと同じである場合（９４）、推定された予測モードの使用を示すようにビットストリームを符号化することができる。デコーダ側で、同じプロセスを続けて、ビットストリームを復号する時に、推定されたモードを選択することができる。実際の予測モードが推定された予測モードと同じでない場合（９４）、実際のモードおよびその選択を示すようにメッセージを送ることができる（９５）。推定された予測モードおよび実際の予測モードの情報伝達に関する詳細は、ＪＶＴ  ＡＶＣ規格書で知ることができる。ＪＶＴ  ＡＶＣ規格書は参照によって本明細書に組み込まれるものとする。
【０２５４】
本発明の一部の実施形態は、イントラ符号化されたブロック中の輝度情報および色情報のための、イントラ予測モードの符号化を含んでいてもよい。伝統的に、これらのモードを、コンテキスト適応的な方法で情報伝達し、空間的隣接部の予測モードに依存する方法で符号化する。本発明の一部の実施形態では、条件付きのプロセスを用いてもよい。これらの実施形態では、隣接部がレイヤ間予測を利用しない場合、隣接部から予測モードを予測することができる。レイヤ間予測を利用するブロックは、次の方法の１つで処理することができる。一部の典型的な実施形態では、ブロックを、それが最も可能性の高い予測モードを有するかのように処理することができる。Ｈ．２６４／ＡＶＣ関連の実施形態では、これは、輝度予測の場合についてＤＣ予測モード（モード２）とすることができる。
【０２５５】
一部の代替の実施形態では、ブロックを、それがインター符号化されたブロックであり、かつ予測領域のOUTSIDE（「外部」）であるかのように、処理してもよい。これらの実施形態では、OUTSIDEは、ＪＶＴ  ＳＶＣプロジェクト・グループの中でテストするのに利用されたソフトウェアを含む特定のコンテキストを有している。このソフトウェアは、ＪＳＶＭとして一般に知られている。
【０２５６】
一部の環境では、符号化されたモードを情報伝達するための、予測モードの符号化およびコンテキストの選択は、別々のプロセスとしてもよい。これら２つのプロセスに異なる予測方法を用いてもよい。例えば、レイヤ間予測を使用するブロックを含む、全てのイントラ符号化されたブロックについて、実際の予測モードを用いて予測モードを符号化してもよい。しかしながら、これらの同じブロックは、上述した規則の１つなどのような別の規則を利用して、符号化値を符号化するためのコンテキストを取得してもよい。例えば、上記コンテキストは、レイヤ間予測を利用するイントラ・ブロックが、最も可能性の高い予測モードを有しているものと仮定することができる。これらの実施形態の一部は、異なる複数のレイヤに対応する複数のビットストリームを独立して処理することを可能にする。
【０２５７】
本発明の一部の実施形態は、ＪＶＴ  ＳＶＣ標準（これは参照によって本明細書に含まれるものとする）の中で規定されている、「符号化ブロック・パターン」情報、すなわちＣｂｐの保守を含んでいる。この情報は、画像（またはマクロブロック）内における、残差情報を含むサブ領域を規定する。一部の場合には、ビットストリーム・デコーダは、最初にＣｂｐを復号し、次に情報を利用してビットストリームの残りを解析するので、その情報がビットストリームを復号するために必要となりうる。（例えば、Ｃｂｐは、存在しうる変換係数リストの数を規定することができる。）多くのデコーダでは、Ｃｂｐは、復号されたフレームを再構成するためにも利用される。例えば、Ｃｂｐが残差情報を示す場合、デコーダは、逆変換を計算することだけが必要である。一部の実施形態では、ビットストリーム中で伝送されたＣｂｐは、解析プロセスが変換係数を抽出するために利用することができる。しかしながら、それは再構成プロセスにはもはや有用ではないかもしれない。なぜならサブ領域が前のレイヤからの残差情報を含みうるからである。
【０２５８】
従って、本発明の実施形態のデコーダは、（１）再構成プロセス内のＣｂｐ情報を利用しないものであってもよく、（２）ビットストリームを解析した後にＣｂｐを再計算しないものであってもよい。再計算プロセスの例は、残差情報を含むサブ領域を識別するために全ての係数リストを走査すること、あるいは、それに代えて、伝送されたＣｂｐとＣｂｐ（これらは下位レイヤデータを再構成するために利用される）との間の２進論理和演算の計算によって新しいＣｂｐを生成することを含んでいる。この場合、「下位レイヤデータ」は、レイヤ間予測プロセス中に利用されるレイヤを意味する。
【０２５９】
本発明の一部の実施形態について図９および図１４を参照して説明する。これらの実施形態に係るシステムは、受信機２３１、デコーダ２３２、解析器２３３、スケーラ２３４、加算器２３５、および計算器２３６を含んでいる。これらの実施形態では、受信機２３１が、Ｃｂｐ情報および符号化画像データを含むビットストリームを受け取る（１００）。デコーダ２３２がＣｂｐ情報を復号し（１０１）、Ｃｂｐ情報を用いてビットストリームのどの部分が変換係数データを含むかを判定することができる。その後、解析器２３３が、Ｃｂｐ情報を用いてビットストリームを解析して、基本レイヤおよび全ての拡張レイヤ中における、量子化されたインデックスまたは非量子化された変換係数を識別することができる（１０２）。その後、スケーラ２３４が、基本レイヤまたは下位レイヤのインデックスまたは係数を拡張レイヤと整合するようにスケーリングすることができる（１０３）。その後、加算器２３５が、スケーリングされたインデックスまたは係数を拡張レイヤに加算する（すなわち拡張レイヤと統合する）して、統合されたレイヤを形成することができる（１０４）。その後、計算器２３６が、元の基本レイヤまたは下位レイヤと新しい統合されたレイヤとの間での係数位置の変化を反映するように、Ｃｂｐ情報を再計算または更新することができる（１０５）。その後、新しい統合したＣｂｐ情報は、その後に続く、統合したレイヤ、あるいは結果として得られた再構成された画像を処理することに使用できる。一部の実施形態では、統合されたＣｂｐ情報を、ＡＶＣ規格書で規定されたループ・フィルタ演算に利用できる。
【０２６０】
本発明の一部の実施形態は、８×８変換を有効にするフラグを処理するための方法およびシステムを含んでいる。これらの実施形態は、ＪＶＴ  ＳＶＣ標準に関連しうる。これらの実施形態では、ブロックが、レイヤ間予測でイントラ符号化されており、かつ残差データを含んでいない場合、このフラグを伝送する必要がない。一部の実施形態では、フレーム間予測が指定サイズ（例えば８×８など）より小さなブロックを利用している場合、フラグを伝送する必要がない。これらの実施形態は、１つまたは複数の下位レイヤの中で伝送された変換フラグをコピーし、このフラグを再構成プロセス中に使用することができる。
【０２６１】
本発明の一部の実施形態は、８×８変換を有効にするフラグを処理するための代替の方法およびシステムを含んでいる。これらの実施形態では、ブロックが残差データを含んでいない場合、このフラグを伝送する必要がない。この場合がレイヤ間予測に利用される下位レイヤに生じたのであれば、上位レイヤは、残差データを送る時に８×８変換を有効にすることを選択することができる。これは、伝送されないが８×８変換を無効にするような、フラグのデフォルト値であってもよい。一部の実施形態では、この特別な場合において、デコーダは、下位レイヤおよび上位レイヤが異なる変換を使用できるようにすることができる。
【０２６２】
本発明の一部の実施形態は、量子化行列を処理するための方法およびシステムを含んでいる。量子化行列は、当該技術分野の専門家には、重み行列またはスケーリング行列としても知られている。これらの行列は、「非量子化」プロセスを変化させ、エンコーダおよびデコーダが周波数依存の（または変換係数依存の）量子化を適用することを可能にしうる。これらの実施形態では、スケーリング行列の存在は、上述のマッピング・プロセスで記述されたスケーリング・プロセスを変更する。一部の実施形態では、マッピング手順は、次のように記述できる。
【０２６３】
【数１０】
2009543501.tif 000022
【０２６４】
（ここで、THigherLayerおよびTLowerLayerはそれぞれ上位レイヤおよび下位レイヤにおける変換係数を示し、ｎは整数であり、Qp_LowerLayerおよびQp_HigherLayerはそれぞれ下位レイヤと上位レイヤのための量子化パラメータであり、Ｓ＿ＬおよびＳ＿Ｈはそれぞれ下位レイヤおよび上位レイヤのためのスケーリング率である）
重み行列を調整するために、一部の実施形態は、前記マッピング・プロセス中で示したアルゴリズムの修正版を利用できる。このアルゴリズムの修正版は、上記の説明を参照して以下のように規定できる。
【０２６５】
【数１１】
2009543501.tif 000023
【０２６６】
（ここで、Ｓ＿Ｌ［ｎ］およびＳ＿Ｈ［ｎ］は、明示的に存在してもよく、それに代えてビットストリームから取得されてもよい）
重み行列を調整する代替の実施形態では、追加の重み行列をビットストリーム中で送ることができる。この追加の重み行列は、下位レイヤからレイヤを予測するのに必要な周波数の重みを明示的に規定することができる。例えば、重み行列は次のように使用できる。
【０２６７】
【数１２】
2009543501.tif 000024
【０２６８】
（ここで、Ｗ１およびＷ２は、ビットストリームに含まれる重み行列である）
一部の実施形態では、Ｗ１またはＷ２の何れかが伝送されなくてもよい。これらの実施形態では、伝送されない行列は０に等しい要素を有するものとみなすことができる。
【０２６９】
本発明の実施形態は、スケーラブルなビデオコーデックを、変更、作成および／または適用するための方法およびシステムを含んでいる。一部の実施形態は、より少数のレイヤを有するビットストリームへの、マルチレイヤ・ビットストリームの高速変換を可能にする。一部の実施形態は、マルチレイヤのビットストリームから単一レイヤのビットストリームへの変換を含んでいる。一部の典型的な実施形態は、ＡＶＣビットストリームからＳＶＣビットストリームへの変換を含んでいる。
【０２７０】
本発明の実施形態は、残差予測に関する。これらの実施形態は、変換領域内および空間領域内の両方で演算を行う残差予測プロセスを含むことができる。典型的な実施形態では、ビットストリーム中の上位レイヤがビットストリーム中の下位レイヤを参照し、かつ両レイヤが同じ空間解像度を含む場合、残差予測プロセスは、残差の変換係数を下位レイヤから上位レイヤへマッピングするステップを含むことができる。このマッピング・プロセスは、スケーリングされた変換係数または（スケーリングされていない）変換係数のレベルに有効である。一部の実施形態では、スケーリングされた変換係数の残差予測のプロセスは、次段落のように定めることができる。
【０２７１】
A.8.11.4.1 スケーリングされた変換係数のための残差累算プロセス
このプロセスへの入力は、
マクロブロックがフィールドまたはフレームのマクロブロックであるかを示す変数fieldMb
輝度変換のタイプを示す変数lumaTrafo
２５６＋２＊MbWidthC＊MbHeightCの要素を持つスケーリングされた変換係数値のリストsTCoeff
であり、
このプロセスの出力は、スケーリングされた変換係数値sTCoeffの修正版を含んでいる。
【０２７２】
サブ節G.8.11.3（これは、本明細書に含まれるものとするＳＶＣ規格で規定されている）に記載されたスケーリングされた変換係数のための進歩的な微調整プロセスは、fieldMb、lumaTrafo、およびsTCoeffを入力とし、sTCoeffの修正版を出力として、起動させることができる。
【０２７３】
反対に、一部の実施形態では、拡張レイヤが、異なる空間解像度を含む下位レイヤをレイヤ間予測に利用する場合に、空間領域内で残差予測プロセスを行ってもよい。これらの実施形態では、参照されたレイヤからの残差は、強度領域内で再構成され、拡張レイヤの解像度に補間される。代替シナリオにおいて、参照レイヤからの残差は、空間領域内で参照レイヤから導かれた予測に加算される。その後、この加算の結果が拡張レイヤに補間される。
【０２７４】
本発明の一部の実施形態について図１０および図１５を参照して説明する。これらの実施形態に係るシステムは、解像度決定器２４１、比較器２４２、コントローラ２４３、係数スケーラ２４４、係数統合器２４５、逆変換器２４６、および空間領域統合器２４７を含んでいる。これらの実施形態では、現レイヤを調べて、現レイヤが残差予測を使用しているかを判定することができる（１１０）。残差予測が使用されていない場合、累算は必要ではない（１１１）。残差予測が使用されている場合（１１０）、解像度決定器２４１が現レイヤおよび参照レイヤの空間解像度を決定する（１１２、１１３）。その後、比較器２４２が、現レイヤの空間解像度を参照レイヤの空間解像度と比較する（１１４）。コントローラ２４３は、これら空間解像度が同じである場合に、係数スケーラ２４４および係数統合器２４５がステップ１１６および１１７を行うことを選択的に許容する。すなわち、これらの空間解像度が同じである場合（１１４）、参照レイヤ（これから現レイヤが予測される）の係数またはインデックスを、係数スケーラ２４４がスケーリングし（１１６）、係数統合器２４５が現レイヤのインデックスまたは係数と統合する（１１７）ことができる。コントローラ２４３は、これらの空間解像度が同じでない場合に、逆変換器２４６および空間領域統合器２４７がステップ１１５、１１８、および１２０を行うことを選択的に許容する。すなわち、空間解像度が同じでない場合（１１４）、現レイヤおよび参照レイヤのインデックスを非量子化し、結果として得られた係数を逆変換することができる（１１５，１１８）。その後、空間領域統合器２４７が、現レイヤおよび参照レイヤ中の得られた空間領域値を統合して、再構成された画像を形成することができる（１２０）。
【０２７５】
上記の説明から容易に分かるように、残差予測の方法は、予測のために参照された、列挙された上位レイヤおよび列挙された下位レイヤの解像度に依存する。不運にも、空間領域内における残差情報の累算は、変換領域内における残差の累算およびそれに続く空間領域への変換とは等しくないかもしれないので、これは問題である。標準化された復号プロセスの場合、これは、エンコーダおよびデコーダとの間での誤差、および符号化効率の減少をもたらしうる。
【０２７６】
現行のＳＶＣシステムは、空間領域内でのみ残差予測を行うことで、この問題を解決しようとしている。しかしながら、本発明の一部の実施形態は、両方の領域内で残差予測を行う復号プロセスを含んでいる。より詳細には、残差予測が有効にされ、かつ拡張レイヤとレイヤ間予測のために参照されたレイヤとが同じ解像度である場合、変換領域内で残差が累算される。しかしながら、残差予測が有効にされ、かつ拡張レイヤとレイヤ間予測のために参照されたレイヤとが異なる解像度である場合、空間領域内で残差が累算される。
【０２７７】
典型的な復号プロセスは、次のように記述される。
【０２７８】
【数１３】
2009543501.tif 000025
【０２７９】
【数１４】
2009543501.tif 000026
【０２８０】
【数１５】
2009543501.tif 000027
【０２８１】
上記の擬似コードには明示的に記述されていないが、他の典型的な実施形態は、規定された復号プロセスに対する他の拡張を含んでいる。一部の実施形態では、イントラ・レイヤ予測を、スケーラブルなビットストリーム中の複数のレイヤで行ってもよい。これがビデオ符号化規格の中で許容される場合、全ての処理に先立って関数GenerateIntraLayerPredictionを呼び出してもよい。この関数の出力は、アレイｒＹＣＣに加算することができる。さらに、一部の実施形態では、関数GenerateIntraLayerPredictionを上記の擬似コード中で呼び出さない。代わりに、outYCC=GeneateIntraLayerPrediction(layerID)+rYCCの行がoutYCC=rYCCに置き換えられるであろう。
【０２８２】
本発明の一部の実施形態では、残差の累算プロセスを、スケーリングされていない変換係数について行ってもよい。この場合、スケーリングされた変換係数を構成する前にレイヤ間予測プロセスを行うことができる。一部の実施形態の態様は、「画像スケーラビリティのための方法およびシステム」("Methods and Systems for Image Scalability")というタイトルが付けられ、２００６年７月１０日に出願され、Ｃ．アンドリュー・セガル(C. Andrew Segall)によって発明された米国仮特許出願第６０／８０６，９３０号に記載されている。一部の実施形態の態様は、「粗粒度スケーラビリティのためにビットストリームを書き換えるためのシステムおよび方法」("Systems and Methods for Bit-Stream Rewriting for Coarse Grain Scalability")というタイトルがつけられ、２００６年１０月６日に出願され、Ｃ．アンドリュー・セガルによって発明された米国仮特許出願第６０／８２８，６１８号に記載されている。
【０２８３】
典型的な手順のための擬似コードは、以下の通りである。
【０２８４】
【数１６】
2009543501.tif 000028
【０２８５】
【数１７】
2009543501.tif 000029
【０２８６】
【数１８】
2009543501.tif 000030
【０２８７】
本発明の一部の実施形態は、スケーラブルなビットストリームを入力として取り込み、再構成された画像シーケンスを生成するデコーダを含んでいる。上記のスケーラブルなビットストリームは、ビットストリームの列挙された下位レイヤからビットストリームの列挙された上位レイヤへ情報を投影するためにレイヤ間予測プロセスを用いる。
【０２８８】
本発明の一部の実施形態は、変換領域内および空間領域内の両方で残差情報を累算するような復号プロセスを含んでいる。ビットストリーム中の列挙されたレイヤが同じ解像度を持つ画像シーケンスを記述している場合、ビットストリーム中の列挙されたレイヤ間で変換領域内の累算が行われる。
【０２８９】
本発明の一部の実施形態は、レイヤ間予測に利用されるレイヤとは異なる空間解像度を持つ現レイヤを処理する場合だけ、累算された変換係数を空間領域に変換するような復号プロセスを含んでいる。変換係数は、空間領域に変換され、続いてアップサンプリング（すなわち補間）される。その後、変換係数リストは、０に等しくなるようセットされる。
【０２９０】
本発明の一部の実施形態は、現在の復号レイヤとレイヤ間予測のために利用されるレイヤとの間で解像度が異なるようになるまで、変換領域内で残差を累算するような復号プロセスを含んでいる。その後、変換係数リストを０にセットし、続く同じ空間解像度を持つレイヤを参照するレイヤの処理では、変換領域内で累算を行う。
【０２９１】
本発明の一部の実施形態は、イントラ・レイヤ予測を行うこと、スケーリングされた変換係数に基づいて逆変換の計算を行うこと、０でない可能性がある残差の信号に対して逆変換演算の出力を加算すること、およびこの前の加算の結果をイントラ・レイヤ予測プロセスの出力と加算することによって、出力ビットストリームを生成するような、復号プロセスを含んでいる。
【０２９２】
本発明の一部の実施形態は、スケーリングされていない変換係数または変換係数レベルに基づいてレイヤ間予測を行うことをさらに可能にする復号プロセスを含む。
【０２９３】
本発明の一部の実施形態は、出力のために再構成されないビットストリームのレイヤ内でイントラ・レイヤ予測を行うことをさらに可能にする復号プロセスを含む。このイントラ・レイヤ予測の結果は、累算された空間残差に加算される。
【０２９４】
本発明の一部の実施形態は、残差予測プロセス中にクリッピングを行うような復号プロセスを含んでいる。
【０２９５】
以上の明細書中で使用した用語および表現は、ここでは制限の用語としてではなく説明の用語として使用したものであり、そのような用語および表現の使用には図示および説明した特徴およびその一部の均等物を除外しようとする意図はなく、本発明の範囲は次に記載する請求項によってのみ規定され制限されるものと認識されるべきである。
【０２９６】
本発明の実施形態のシステムの各要素は、次のようにＣＰＵを用いてソフトウェアによって実現してもよい。
【０２９７】
すなわち、上記システムは、各機能を実現する制御プログラムの命令を実行するＣＰＵ（Central Processing Unit；中央処理装置）、プログラムを記録したＲＯＭ（Read Only Memory；読み取り専用メモリ）、プログラムがその上で実行されるＲＡＭ（Random Access Memory；ランダムアクセスメモリ）、上記プログラムおよび各種のデータを格納するメモリ等の記憶装置（記録媒体）などの構成要素を含むことができる。本発明の目的は、上記各機能を実現するためのソフトウェアである上記システムの制御プログラムのプログラムコード（例えば、実行可能コードプログラム、中間コードプログラム、ソースプログラムなど）をコンピュータで読み取り可能な形で記録媒体上に記録し、この記録媒体を上記システムに供給し、そのコンピュータ（もしくはＣＰＵまたはＭＰＵ）が上記記録媒体から上記プログラムコードを読み出して上記プログラムを実行する形でも、達成可能である。。
【０２９８】
そのような記録媒体の例は、磁気テープおよびカセットテープ等のテープ；フレキシブルディスクおよびハードディスク等の磁気ディスク；ＣＤ−ＲＯＭ／ＭＯ／ＭＤ／ＤＶＤ／ＣＤ−Ｒ等の光ディスクを含むディスク；ＩＣカード（メモリカードを含む）等のカード；マスクＲＯＭ、ＥＰＲＯＭ（Erasable Programmable Read Only Memory；および、消去可能プログラマブルＲＯＭ）、ＥＥＰＲＯＭ（Electrically Erasable Programmable Read Only Memory；電気的消去可能プログラマブルＲＯＭ）、またはフラッシュＲＯＭ等の半導体メモリを含んでいる。
【０２９９】
それに代えて、上記システムを通信網に接続して、プログラムコードを通信ネットワーク経由で供給可能としてもよい。通信ネットワークの制限されない例は、インターネット、イントラネット、エクストラネット、ＬＡＮ、ＩＳＤＮ、ＶＡＮ、ＣＡＴＶ網、仮想専用網（virtual private network）、電話回線網、移動体通信網、および衛星通信網を含んでいる。通信ネットワークを構成する伝送媒体の制限されない例は、ＩＥＥＥ１３９４、ＵＳＢ、電力線通信、ケーブルテレビ回線、電話回線、およびＡＤＳＬ回線等のような有線媒体；ＩｒＤＡおよびリモートコントローラ等の赤外線；Ｂｌｕｅｔｏｏｔｈ（登録商標）、ＩＥＥＥ８０２．１１、ＨＤＲ、携帯電話網、衛星回線および地上波デジタル放送網等の電波からなる。なお、本発明は、プログラムコードの電子的な伝送によって具現化された、搬送波によって、あるいはデータ信号列として、実現され得る。
【図１Ａ】
2009543501.tif 000031
【図１Ｂ】
2009543501.tif 000032
【図２Ａ】
2009543501.tif 000033
【図２Ｂ】
2009543501.tif 000034
【図３】
2009543501.tif 000035
【図４】
2009543501.tif 000036
【図５】
2009543501.tif 000037
【図６】
2009543501.tif 000038
【図７】
2009543501.tif 000039
【図８】
2009543501.tif 000040
【図９】
2009543501.tif 000041
【図１０】
2009543501.tif 000042
【図１１】
2009543501.tif 000043
【図１２】
2009543501.tif 000044
【図１３】
2009543501.tif 000045
【図１４】
2009543501.tif 000046
【図１５】
2009543501.tif 000047
【国際調査報告】
2009543501.tif 000048
2009543501.tif 000049
2009543501.tif 000050
2009543501.tif 000051