(57)【要約】  動き情報符号化装置及び方法、動き情報復号化装置及び方法、これを採用したスケーラブル映像符号化装置及び方法と、スケーラブル映像復号化装置及び方法が開示される。動き情報符号化装置は、スケーラブル映像符号化により生成されたスケーラブルビットストリームで、第１階層の動きデータと第２階層の動きデータとに対して互いに対応する第１ブロックと第２ブロックとの間の動き補償モードによって、前記第２ブロックの動き補償モードの符号化規則を決定する符号化規則決定部と、前記決定された符号化規則に基づいて、前記第２階層の動きデータのための前記第２ブロックの動き補償モードを符号化する動き補償モード符号化部とを備える。
2008507194.tif 000002
【特許請求の範囲】
【請求項１】
第１階層の動きデータを、基本動きデータと向上動きデータとからなるスケーラブル動きデータで生成し、前記向上動きデータを第２階層に分散させて、各階層別に動きデータとテクスチャーデータとで構成される複数のビットストリームを生成するスケーラブル符号化部と、
前記複数のビットストリームを多重化してスケーラブルビットストリームを出力する多重化部とを備えることを特徴とするスケーラブル映像符号化装置。
【請求項２】
前記第１階層は、低いビットレートを使用する階層であり、前記第２階層は、前記低いビットレートを使用する階層以後の階層であることを特徴とする請求項１に記載のスケーラブル映像符号化装置。
【請求項３】
前記スケーラブル符号化部は、
前記第１階層に対して、第１ブロック単位で動き推定を行って基本動きデータを生成し、第２ブロック単位で動き推定を行って向上動きデータを生成する第１動き推定部と、
前記第２階層に対して、前記第２ブロック単位で動き推定を行って向上動きデータを生成する第２動き推定部と、
前記第１動き推定部から提供される基本動きデータと向上動きデータ、あるいは第２動き推定部から提供される動きデータを符号化する符号化部とを備えることを特徴とする請求項１に記載のスケーラブル映像符号化装置。
【請求項４】
前記第２ブロックのパーティションは、前記第１ブロックのパーティションより精密なことを特徴とする請求項３に記載のスケーラブル映像符号化装置。
【請求項５】
前記第１ブロックは、１６×１６、１６×８、６×１６、及び８×８パーティションのうち少なくとも一つ以上を含み、前記第２ブロックは、１６×１６、１６×８、６×１６、８×８、８×４、４×８、及び４×４パーティションのうち少なくとも一つ以上を含むことを特徴とする請求項４に記載のスケーラブル映像符号化装置。
【請求項６】
前記符号化部は、前記第１階層の基本動きデータと向上動きデータとに対して、互いに対応する第１ブロックと第２ブロックとの間の動き補償モードによって前記第２ブロックの動き補償モードの符号化規則を決定して、前記向上動きデータの動き補償モードを符号化するのに必要なビット数を減少させることを特徴とする請求項３に記載のスケーラブル映像符号化装置。
【請求項７】
前記符号化部は、前記第２ブロックの動き補償モードの符号化規則をフレーム単位で決定することを特徴とする請求項６に記載のスケーラブル映像符号化装置。
【請求項８】
前記符号化部は、前記第２ブロックに対して決定された動き補償モードの符号化規則を表す指示子を符号化して各ビットストリームに含めることを特徴とする請求項６に記載のスケーラブル映像符号化装置。
【請求項９】
前記第２ブロックの動き補償モードは、パーティション単位で決定される第１スキップモード、直接モード、両方向モード、順方向モード、及び逆方向モードと第２ブロック単位で決定される第２スキップモードのうち少なくとも一つ以上を含むことを特徴とする請求項３に記載のスケーラブル映像符号化装置。
【請求項１０】
前記符号化部では、前記第１ブロックと前記第２ブロックとの動き補償モードが同じ場合に基づいて、前記第２ブロックの動き補償モードの符号化に必要なビット数が減少する場合、前記第２ブロックの動き補償モードを前記第２スキップモードで符号化することを特徴とする請求項９に記載のスケーラブル映像符号化装置。
【請求項１１】
前記符号化部では、前記第２ブロックに属するあらゆるパーティションの動き補償モードは同一であり、前記第１ブロックと第２ブロックとの動き補償モードが相異なる場合に基づいて、前記第２ブロックの動き補償モードの符号化に必要なビット数の減少がなされる場合、前記第２ブロックの動き補償モードを前記第２スキップモードと前記第２ブロックの一つの動き補償モードとで符号化することを特徴とする請求項９に記載のスケーラブル映像符号化装置。
【請求項１２】
スケーラブル映像符号化により生成されたスケーラブルビットストリームで、第１階層の基本動きデータと向上動きデータとに対して、互いに対応する第１ブロックと第２ブロックとの間の動き補償モードによって、前記第２ブロックの動き補償モードの符号化規則を決定する符号化規則決定部と、
前記決定された符号化規則に基づいて、前記向上動きデータのための前記第２ブロックの動き補償モードを符号化する動き補償モード符号化部とを備えることを特徴とする動き情報符号化装置。
【請求項１３】
スケーラブル映像符号化により生成されたスケーラブルビットストリームで、第１階層の動きデータと第２階層の動きデータとに対して、互いに対応する第１ブロックと第２ブロックとの間の動き補償モードによって、前記第２ブロックの動き補償モードの符号化規則を決定する符号化規則決定部と、
前記決定された符号化規則に基づいて、前記第２階層の動きデータのための前記第２ブロックの動き補償モードを符号化する動き補償モード符号化部とを備えることを特徴とする動き情報符号化装置。
【請求項１４】
前記符号化規則決定部は、
前記第１ブロックと第２ブロックとの間の動き補償モードによって前記第２ブロックの動き補償モードの符号化規則を決定して、前記向上動きデータの動き補償モードを符号化するのに必要なビット数を減少させることを特徴とする請求項１３に記載の動き情報符号化装置。
【請求項１５】
前記第２ブロックのパーティションは、前記第１ブロックのパーティションより精密なことを特徴とする請求項１４に記載の動き情報符号化装置。
【請求項１６】
前記第１ブロックは、１６×１６、１６×８、６×１６、及び８×８パーティションのうち少なくとも一つ以上を含み、前記第２ブロックは、１６×１６、１６×８、６×１６、８×８、８×４、４×８、及び４×４パーティションのうち少なくとも一つ以上を含むことを特徴とする請求項１４に記載の動き情報符号化装置。
【請求項１７】
前記符号化規則決定部は、前記第２ブロックの動き補償モードの符号化規則をフレーム単位で決定することを特徴とする請求項１３に記載の動き情報符号化装置。
【請求項１８】
前記符号化規則決定部は、前記第２ブロックに対して決定された動き補償モードの符号化規則を表す指示子を符号化して、各ビットストリームに含めることを特徴とする請求項１３に記載の動き情報符号化装置。
【請求項１９】
前記第２ブロックの動き補償モードは、パーティション単位で決定される第１スキップモード、直接モード、両方向モード、順方向モード、及び逆方向モードと、第２ブロック単位で決定される第２スキップモードとのうち少なくとも一つ以上を含むことを特徴とする請求項１３に記載の動き情報符号化装置。
【請求項２０】
前記符号化規則決定部では、前記第１ブロックと前記第２ブロックとの動き補償モードが同じ場合に基づいて、前記第２ブロックの動き補償モードの符号化に必要なビット数が減少する場合、前記第２ブロックの動き補償モードを、前記第１ブロックの動き補償モードを参照する前記第２スキップモードで符号化することを特徴とする請求項１９に記載の動き情報符号化装置。
【請求項２１】
前記符号化規則決定部では、前記符号化部では前記第２ブロックに属するあらゆるパーティションの動き補償モードは同一であり、前記第１ブロックと第２ブロックとの動き補償モードが相異なる場合に基づいて、前記第２ブロックの動き補償モードの符号化に必要なビット数が減少する場合、前記第２ブロックの動き補償モードを、前記第２スキップモードと前記第２ブロックの動き補償モードとで符号化することを特徴とする請求項１９に記載の動き情報符号化装置。
【請求項２２】
第１階層の動きデータを、基本動きデータと向上動きデータとからなるスケーラブル動きデータに生成し、前記向上動きデータを第２階層に分散させて、各階層別に動きデータとテクスチャーデータとで構成される複数のビットストリームを生成するステップと、
前記複数のビットストリームを多重化してスケーラブルビットストリームを提供するステップとを含むことを特徴とするスケーラブル映像符号化方法。
【請求項２３】
スケーラブル映像符号化により生成されたスケーラブルビットストリームで、第１階層の基本動きデータと向上動きデータとに対して、互いに対応する第１ブロックと第２ブロックとの間の動き補償モードによって、前記第２ブロックの動き補償モードの符号化規則を決定するステップと、
前記決定された符号化規則に基づいて、前記向上動きデータのための前記第２ブロックの動き補償モードを符号化するステップとを含むことを特徴とする動き情報符号化方法。
【請求項２４】
スケーラブル映像符号化により生成されたスケーラブルビットストリームで、第１階層の動きデータと第２階層の動きデータとに対して互いに対応する第１ブロックと第２ブロックとの間の動き補償モードによって、前記第２ブロックの動き補償モードの符号化規則を決定するステップと、
前記決定された符号化規則に基づいて、前記第２階層の動きデータのための前記第２ブロックの動き補償モードを符号化するステップとを含むことを特徴とする動き情報符号化方法。
【請求項２５】
スケーラブルビットストリームを逆多重化して各階層のビットストリームに分離する逆多重化部と、
分離された第１階層のビットストリームを、１次的に基本動きデータを参照し、２次的に基本動きデータと向上動きデータとを参照して復号化する第１階層復号化部と、
分離された第２階層のビットストリームを、前記第１階層復号化部で復号化された映像と動きデータとを参照して復号化する第２階層復号化部とを備えることを特徴とするスケーラブル映像復号化装置。
【請求項２６】
スケーラブルビットストリームから分離された第１階層と第２階層とのビットストリームに対して、前記第２階層のビットストリームに含まれた指示子を解析し、解析された指示子による符号化規則に対応する復号化規則を決定する指示子解析部と、
前記指示子解析部で決定された復号化規則に基づいて、前記第２階層の動き補償モードを復号化する動き補償モード復号化部と、を備えることを特徴とする動き情報復号化装置。
【請求項２７】
スケーラブルビットストリームから分離された基本動きデータを含む第１階層のビットストリームに対して、前記第１階層の向上動きデータを含む第２階層のビットストリームに含まれた指示子を解析し、解析された指示子による符号化規則に対応する復号化規則を決定する指示子解析部と、
前記指示子解析部で決定された復号化規則に基づいて、前記向上動きデータの動き補償モードを復号化する動き補償モード復号化部と、を備えることを特徴とする動き情報復号化装置。
【請求項２８】
スケーラブルビットストリームを逆多重化して各階層のビットストリームに分離する逆多重化部と、
分離された第１階層のビットストリームを、１次的に基本動きデータを参照し、２次的に基本動きデータと向上動きデータとを参照して復号化する第１階層復号化部と、
分離された第２階層のビットストリームを、前記第１階層復号化部で復号化された映像と動きデータとを参照して復号化する第２階層復号化部と、を備えることを特徴とするスケーラブル映像復号化装置。
【請求項２９】
スケーラブルビットストリームから分離された第１階層と第２階層とのビットストリームに対して、前記第２階層のビットストリームに含まれた指示子を解析し、解析された指示子による符号化規則に対応する復号化規則を決定する指示子解析部と、
前記指示子解析部で決定された復号化規則に基づいて、前記第２階層の動き補償モードを復号化する動き補償モード復号化部と、を備えることを特徴とする動き情報復号化装置。
【請求項３０】
スケーラブルビットストリームから分離された基本動きデータを含む第１階層のビットストリームに対して、前記第１階層の向上動きデータを含む第２階層のビットストリームに含まれた指示子を解析し、解析された指示子による符号化規則に対応する復号化規則を決定する指示子解析部と、
前記指示子解析部で決定された復号化規則に基づいて、前記向上動きデータの動き補償モードを復号化する動き補償モード復号化部とを備えることを特徴とする動き情報復号化装置。
【請求項３１】
スケーラブルビットストリームを逆多重化して各階層のビットストリームに分離するステップと、
分離された第１階層のビットストリームを、１次的に基本動きデータを参照し、２次的に基本動きデータと向上動きデータとを参照して復号化するステップと、
分離された第２階層のビットストリームを、前記第１階層のビットストリームから復号化された映像と動きデータを参照して復号化するステップとを含むことを特徴とするスケーラブル映像復号化方法。
【請求項３２】
スケーラブルビットストリームから分離された第１階層と第２階層とのビットストリームに対して、前記第２階層のビットストリームに含まれた指示子を解析し、解析された指示子による符号化規則に対応する復号化規則を決定するステップと、
前記決定された復号化規則に基づいて、前記第２階層の動き補償モードを復号化するステップとを含むことを特徴とする動き情報復号化方法。
【請求項３３】
スケーラブルビットストリームから分離された基本動きデータを含む第１階層のビットストリームに対して、前記第１階層の向上動きデータを含む第２階層のビットストリームに含まれた指示子を解析し、解析された指示子による符号化規則に対応する復号化規則を決定するステップと、
前記決定された復号化規則に基づいて、前記向上動きデータの動き補償モードを復号化するステップとを含むことを特徴とする動き情報復号化方法。
【請求項３４】
スケーラブル映像符号化により生成されたスケーラブルビットストリームで、第１階層の動きデータと第２階層の動きデータとに対して、互いに対応する第１ブロックと第２ブロックとの間の動き補償モードが同一な場合、前記第２ブロックの動き補償モードのための単一モードを割り当てる符号化規則決定部と、
互いに対応する第１ブロックと第２ブロックとの間の動き補償モードが同一な場合、前記第２ブロックの動き補償モードに前記単一モードを伝送することを特徴とする動き情報符号化装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、スケーラブル映像符号化及び復号化に係り、特に、低いビットレートで復元された映像に対する主観的な画質を改善させるための動き情報符号化装置及び方法、動き情報復号化装置及び方法、これを採用したスケーラブル映像符号化装置及び方法とスケーラブル映像復号化装置及び方法に関する。
【背景技術】
【０００２】
一般的に、動き補償映像符号化方式の符号化効率は、動きデータと残差、すなわち、テクスチャーデータに対してビットをどのように割り当てるかによって大きく変わる。最適のビット割り当てのためには、ビットレートだけでなく視空間的な解像度を考慮する必要がある。単一の動きフィールドを持つ場合、視空間的な解像度とビットレートの多様なスケールに対して最適の符号化効率を提供するスケーラブルビットストリームを生成し難い。したがって、動きデータに対してもスケーラブルな表現を含める必要がある。
【０００３】
ＡＶＣ（Ａｄｖａｎｃｅｄ  Ｖｉｄｅｏ  Ｃｏｄｉｎｇ）基盤のＭＣＴＦ（Ｍｏｔｉｏｎ  Ｃｏｍｐｅｎｓａｔｅｄ  Ｔｅｍｐｏｒａｌ  Ｆｉｌｔｅｒｉｎｇ）方法では、ＳＮＲ（信号対雑音比）スケーラビリティと空間的スケーラビリティとを提供するために、２つの相異なる概念を使用している。ＳＮＲスケーラビリティを得るためには、ＭＣＴＦの結果で得られる低域通過ピクチャー及び高域通過ピクチャーを、階層化された表現（ｌａｙｅｄ  ｒｅｐｒｅｓｅｎｔａｔｉｏｎ）を使用して符号化する。各向上階層では、元来のサブバンドピクチャーと、基本階層及び以前向上階層の復号化以後に得られる復元されたサブバンドピクチャーとの間に計算された残差データの近似値を伝送する。同じ空間的スケーラビリティを持つあらゆるＳＮＲ階層に対しては、同じ動きフィールドが使われ、残差データは、以前ＳＮＲ階層から予測される。しかし、各空間的階層に対しては、互いに別個の動きフィールドが予測されて伝送される。すなわち、相異なる空間的階層の各動きフィールドは独立的に符号化され、残差データは、以前空間的階層からの予測なしに伝送される。下位空間的階層からの予測は、イントラマクロブロックの符号化だけのために利用される。このように動きデータ及び残差データの予測によってＡＶＣ基盤ＭＣＴＦ方法の符号化効率を改善させることができる。
【０００４】
しかし、前記のような方法に基づいて得られるスケーラブルビットストリームのうち、低いビットレートを使用する階層では、残差データと比較する時動きデータの量が相対的に多いため、画質低下を深刻化させるという問題点があった。
【発明の開示】
【発明が解決しようとする課題】
【０００５】
本発明が解決しようとする技術的課題は、低いビットレートで復元された映像に対する主観的な画質を改善させるための動き情報符号化装置及び方法と、動き情報復号化装置及び方法を提供するところにある。
【０００６】
本発明が解決しようとする他の技術的課題は、前記動き情報符号化装置及び方法と、動き情報復号化装置及び方法とを採択するスケーラブル映像符号化装置及び方法と、復号化装置及び方法とを提供するところにある。
【課題を解決するための手段】
【０００７】
前記技術的課題を達成するために、本発明による動き情報符号化装置は、スケーラブル映像符号化により生成されたスケーラブルビットストリームで、第１階層の基本動きデータと向上動きデータとに対して、互いに対応する第１ブロックと第２ブロックとの間の動き補償モードによって、前記第２ブロックの動き補償モードの符号化規則を決定する符号化規則決定部と、前記決定された符号化規則に基づいて、前記向上動きデータのための前記第２ブロックの動き補償モードを符号化する動き補償モード符号化部とを備える。
【０００８】
前記技術的課題を達成するために、本発明による動き情報符号化装置は、スケーラブル映像符号化により生成されたスケーラブルビットストリームで、第１階層の動きデータと第２階層の動きデータとに対して、互いに対応する第１ブロックと第２ブロックとの間の動き補償モードによって、前記第２ブロックの動き補償モードの符号化規則を決定する符号化規則決定部と、前記決定された符号化規則に基づいて、前記第２階層の動きデータのための前記第２ブロックの動き補償モードを符号化する動き補償モード符号化部とを備えることを特徴とする。
【０００９】
前記技術的課題を達成するために、本発明による動き情報符号化方法は、スケーラブル映像符号化により生成されたスケーラブルビットストリームで、第１階層の基本動きデータと向上動きデータとに対して、互いに対応する第１ブロックと第２ブロックとの間の動き補償モードによって、前記第２ブロックの動き補償モードの符号化規則を決定するステップと、前記決定された符号化規則に基づいて、前記向上動きデータのための前記第２ブロックの動き補償モードを符号化するステップと、を含む。
【００１０】
前記技術的課題を達成するために、本発明による動き情報復号化装置は、スケーラブルビットストリームから分離された第１階層と第２階層とのビットストリームに対して、前記第２階層のビットストリームに含まれた指示子を解析し、解析された指示子による符号化規則に対応する復号化規則を決定する指示子解析部と、前記指示子解析部で決定された復号化規則に基づいて、前記第２階層の動き補償モードを復号化する動き補償モード復号化部とを備える。
【００１１】
前記技術的課題を達成するために、本発明による動き情報復号化装置は、スケーラブルビットストリームから分離された基本動きデータを含む第１階層のビットストリームに対して、前記第１階層の向上動きデータを含む第２階層のビットストリームに含まれた指示子を解析し、解析された指示子による符号化規則に対応する復号化規則を決定する指示子解析部と、前記指示子解析部で決定された復号化規則に基づいて、前記向上動きデータの動き補償モードを復号化する動き補償モード復号化部とを備えることを特徴とする。
【００１２】
前記技術的課題を達成するために、本発明による動き情報復号化方法は、スケーラブルビットストリームから分離された第１階層と第２階層とのビットストリームに対して、前記第２階層のビットストリームに含まれた指示子を解析し、解析された指示子による符号化規則に対応する復号化規則を決定するステップと、前記決定された復号化規則に基づいて、前記第２階層の動き補償モードを復号化するステップとを含む。
【００１３】
前記技術的課題を達成するために、本発明による動き情報復号化方法は、スケーラブルビットストリームから分離された基本動きデータを含む第１階層のビットストリームに対して、前記第１階層の向上動きデータを含む第２階層のビットストリームに含まれた指示子を解析し、解析された指示子による符号化規則に対応する復号化規則を決定するステップと、前記決定された復号化規則に基づいて、前記向上動きデータの動き補償モードを復号化するステップとを含む。
【００１４】
前記技術的課題を達成するために、本発明によるスケーラブル映像復号化装置は、スケーラブルビットストリームを逆多重化して各階層のビットストリームに分離する逆多重化部と、分離された第１階層のビットストリームを、１次的に基本動きデータを参照し、２次的に基本動きデータと向上動きデータとを参照して復号化する第１階層復号化部と、分離された第２階層のビットストリームを、前記第１階層復号化部で復号化された映像と動きデータとを参照して復号化する第２階層復号化部と、を備える。
【００１５】
前記技術的課題を達成するために、本発明によるスケーラブル映像復号化方法は、スケーラブルビットストリームを逆多重化して各階層のビットストリームに分離するステップと、分離された第１階層のビットストリームを、１次的に基本動きデータを参照し、２次的に基本動きデータと向上動きデータとを参照して復号化するステップと、分離された第２階層のビットストリームを、前記第１階層のビットストリームから復号化された映像と動きデータを参照して復号化するステップとを含む。
【００１６】
前記動き情報符号化方法及び復号化方法と、スケーラブル映像符号化方法及び復号化方法は、望ましくは、コンピュータで実行させるためのプログラムを記録したコンピュータで読み取り可能な記録媒体で具現できる。また、前記動き情報符号化方法あるいはスケーラブル映像符号化方法によって生成されるスケーラブルビットストリームは、望ましくは、コンピュータで読み取り可能な記録媒体に記録あるいは保存されうる。
【発明の効果】
【００１７】
本発明によれば、低いビットレートで復元された映像に対する主観的な、すなわち、視覚的な画質を改善させることができる。
【発明を実施するための最良の形態】
【００１８】
以下、添付された図面を参照して本発明の望ましい実施形態について詳細に説明する。
【００１９】
図１は、本発明の一実施形態によるスケーラブル映像符号化装置の構成を示すブロック図であり、スケーラブル符号化部１１０及び多重化部１３０を備えてなる。図１を参照するに、スケーラブル符号化部１１０は、所定のスケーラブル符号化方式に基づいて、それぞれ動きデータとテクスチャーデータとを持つ複数の階層のビットストリームからなるスケーラブルビットストリームを生成する。
【００２０】
第１実施形態で、スケーラブル符号化部１１０は、図２Ａに示したように、低いビットレートを使用する階層の場合、動きデータを基本動きデータと向上動きデータとで構成し、テクスチャーデータのためにあらかじめ決定されたビット数と比較する時、向上動きデータに割り当てられるビット数ほど増加したビット数をテクスチャーデータに割り当てる。一方、低いビットレートを使用する階層以後の高いビットレートを使用する階層の場合、テクスチャーデータのためにあらかじめ決定されたビット数と比較する時、低いビットレートを使用する階層の向上動きデータに割り当てられるビット数ほど減少したビット数をテクスチャーデータに割り当てる。このように割り当てられたビット数に基づいて符号化を行って、基本階層ビットストリームと少なくとも一つ以上の向上階層ビットストリームとを生成し、多重化部１３０に提供する。図２Ｂに示したように、生成されるビットストリームのうち低いビットレートを使用する階層の場合、基本動きデータとテクスチャーデータとでビットストリームを構成し、低いビットレートより高いビットレートを使用する階層の場合に動きデータ、低いビットレートを使用する階層の向上動きデータ及びテクスチャーデータでビットストリームを構成する。使われるビットレートは、基本階層ビットストリームから漸進的に増加する。したがって、基本階層ビットストリームは最も低いビットレートに伝送される。ここで、基本階層ビットストリームは、独立的に復号可能なビットストリームであり、向上階層ビットストリームは、基本階層ビットストリームを改善するために使われるビットストリームである。向上階層ビットストリームは、ビットストリームのスケーラビリティのレベルに対応して少なくとも一つ以上生成されうる。
【００２１】
第２実施形態で、スケーラブル符号化部１１０は、第１実施形態と同様に低いビットレートを使用する階層の場合、動きデータを基本動きデータと向上動きデータとで構成する。合わせて、基本動きデータと向上動きデータとの間の互いに対応するブロックに対して、基本動きデータのための動き補償モードと向上動きデータのための動き補償モードとによって、向上動きデータのための動き補償モードを符号化する。その結果、向上動きデータのための動き補償モードを符号化するのに使われるビット数が大幅減少しうる。以後、第１実施形態と同様に、基本動きデータとテクスチャーデータとでビットストリームを構成し、低いビットレートより高いビットレートを使用する階層の場合に動きデータ、低いビットレートを使用する階層の向上動きデータ及びテクスチャーデータでビットストリームを構成する。
【００２２】
第３実施形態で、スケーラブル符号化部１１０は、図６に示したように、それぞれ単一動きフィールドとテクスチャーフィールドとでなる複数階層のビットストリームを生成する。合わせて、第１階層と第２階層との間の互いに対応するブロックに対して、第１階層のブロックに対する動き補償モードと第２階層のブロックに対する動き補償モードとによって、第２階層の動き補償モードを符号化する。その結果、第２階層の各ブロックに対する動き補償モードを符号化するのに使われるビット数が大幅減少しうる。第１階層と第２階層とは互いに密接して位置しており、図６で、階層０と階層１、階層１と階層２、あるいは階層２と階層３に該当する。
【００２３】
スケーラブル符号化部１１０で使われるスケーラブル符号化方式には、空間的スケーラブル符号化方式、時間的スケーラブル符号化方式、ＳＮＲスケーラブル符号化方式、ＦＧＳ（Ｆｉｎｅ  Ｇｒａｎｕｌａｒｉｔｙ  Ｓｃａｌａｂｉｌｉｔｙ）符号化方式などが広く知られている。例えば、空間的スケーラブル符号化方式による基本階層ビットストリームは、解像度が低いか、またはサイズの小さなビットストリームであり、向上階層ビットストリームは、解像度やサイズを大きくするために必要なビットストリームである。ＴＶ放送に空間的スケーラブル符号化方式を使用する場合、既存のＴＶ受信装置及びＨＤＴＶ受信装置いずれにも再生できる基本階層ビットストリームと、ＨＤＴＶ受信装置のみで再生できる向上階層ビットストリームとを生成して、これらビットストリームを多重化することによって、既存のＴＶ受信機及びＨＤＴＶ受信機いずれとも互換されるビットストリームを作ることができる。
【００２４】
時間的スケーラブル符号化方式は、時間的な解像度を選択的に高めるためのスケーラブル符号化方式である。例えば、基本階層ビットストリームの時間解像度が秒当たり３０フレームである場合、向上階層ビットストリームを利用して秒当たり６０フレームに時間解像度を高めることができる。ＳＮＲスケーラブル符号化方式は、再生映像の画質を選択的に高めるためのスケーラブル符号化方式である。例えば、再生時に低画質の符号化されたビットストリームを含んでいる基本階層ビットストリームを復号した後、これに基づいて向上階層ビットストリームを復号することで、高画質の映像再生を可能にする方式である。ＦＧＳ符号化方式は、さらに多くの段階のスケーラビリティを保証するためのものである。ＦＧＳ符号化方式は、急変する伝送環境の中で、送信者が伝送環境が保証する最小限の帯域幅で作った基本品質の映像情報である基本階層ビットストリームと、最大帯域幅で作った向上した映像情報である向上階層ビットストリームとを伝送し、受信側で基本階層ビットストリームを受信した状態で、向上階層ビットストリームを受信できない場合、その時まで受信されたビットストリームを利用して向上した映像情報を復元できるスケーラブル符号化方式である。
【００２５】
多重化部１３０は、スケーラブル符号化部１１０から提供される基本階層ビットストリームと少なくとも一つの向上階層ビットストリームとを多重化して、図２Ｂあるいは図６に図示されたような構造のスケーラブルビットストリームを出力する。ここで、多重化部１３０は、生成されたスケーラブルビットストリームを復号化装置に伝送する前に、一時的に保存または記録するメモリのような記録媒体（図示せず）をさらに備えることができる。
【００２６】
図２Ａ及び図２Ｂは、図１に図示されたスケーラブル映像符号化装置により、一例のスケーラブルビットストリームが生成される過程を説明するためのものであり、スケーラブルビットストリームは、時間的スケーラブル符号化方式に基づいて４層の階層で構成され、低いビットレートに該当する階層の動きフィールドのスケーラビリティレベルが１である場合を例として挙げたものである。もちろん、低いビットレートに該当する階層の動きフィールドのスケーラビリティレベルは、２以上になることもある。階層０  ２１１は、ＱＣＩＦ（Ｑｕａｒｔｅｒ  Ｃｏｍｍｏｎ  Ｉｎｔｅｒｍｅｄｉａｔｅ  Ｆｏｒｍａｔ）映像が１秒に７．５フレーム、階層１  ２３１は、ＱＣＩＦ映像が１秒に１５フレーム、階層２  ２５１は、ＣＩＦ（Ｃｏｍｍｏｎ  Ｉｎｔｅｒｍｅｄｉａｔｅ  Ｆｏｒｍａｔ）映像が１秒に３０フレーム、階層３  ２７１は、４ＣＩＦ映像が１秒に６０フレームが提供される。ここで、階層０  ２１１は、基本階層ビットストリームに該当し、階層１ないし階層３  ２３１、２５１、２７１は、向上階層ビットストリームに該当する。階層０  ２１１は９６Ｋｂｐｓ、階層１  ２３１は１９２Ｋｂｐｓ、階層２  ２５１は３８４Ｋｂｐｓ、階層３  ２１１は７５０Ｋｂｐｓのビットレートで伝送される。
【００２７】
本発明による一例のスケーラブルビットストリームは、低いビットレートに該当する階層、例えば、階層０  ２１１と階層１  ２３１の場合、動きフィールドがスケーラビリティを持つように設計する。これを、図１に図示された符号化装置と結び付けてさらに細部的に説明する。
【００２８】
図２Ａを参照するに、スケーラブル符号化部１１０では、階層０  ２１１に対して基本動きデータと向上動きデータとを生成して、それぞれ第１基本動きフィールド（Ｍ＿ＢＬ０）２１２と第１向上動きフィールド（Ｍ＿ＥＬ０）２１３とで構成し、テクスチャーデータを生成して第１テクスチャーフィールド（Ｔ＿Ｌ０）２１４で構成する。同様に、階層１  ２３１に対して基本動きデータと向上動きデータとを生成して、それぞれ第２基本動きフィールド（Ｍ＿ＢＬ１）２３２と第２向上動きフィールド（Ｍ＿ＥＬ１）２３３とで構成し、テクスチャーデータを生成して第２テクスチャーフィールド（Ｔ＿Ｌ１）２３４で構成する。一方、階層２  ２５１と階層３  ２７１とについては、それぞれ動きデータを生成して単一の第１動きフィールド（Ｍ＿Ｌ２）２５２と第２動きフィールド（Ｍ＿Ｌ３）２７２とで構成し、テクスチャーデータを生成して第３テクスチャーフィールド（Ｔ＿Ｌ２）２５３と第４テクスチャーフィールド（Ｔ＿Ｌ３）２７３とで構成する。
【００２９】
図２Ｂを参照するに、スケーラブル符号化部１３０では、図２Ａに図示された階層０  ２１１及び階層１  ２３１の第１及び第２向上動きフィールド（Ｍ＿ＥＬ０）２１３、（Ｍ＿ＥＬ１）２３３が、階層２  ２５１及び階層３  ２７１の第３及び第４テクスチャーフィールド（Ｔ＿Ｌ２）２５３、（Ｔ＿Ｌ３）２７３に分散されるように多重化して、スケーラブルビットストリームを生成する。これによれば、階層０  ２１１は、第１基本動きフィールド（Ｍ＿ＢＬ０）２１２と第１テクスチャーフィールド（Ｔ＿Ｌ０）２１５とで、階層１  ２３１は、第２基本動きフィールド（Ｍ＿ＢＬ１）２３２と第２テクスチャーフィールド（Ｔ＿Ｌ１）２３５とで、階層２  ２５１は、第１動きフィールド（Ｍ＿Ｌ２）２５２と、第１向上動きフィールド（Ｍ＿ＥＬ０）２１３と第３テクスチャーフィールド（Ｔ＿Ｌ２）２５４とで、階層３  ２７１は、第２動きフィールド（Ｍ＿Ｌ３）２７２と、第２向上動きフィールド（Ｍ＿ＥＬ１）２３３と第４テクスチャーフィールド（Ｔ＿Ｌ３）２７４とでなる。一方、階層０ないし階層３には、それぞれ割り当てられるビット数が決定されているので、階層０  ２１１の場合、第１向上動きフィールド（Ｍ＿ＥＬ０）２１３に割り当てるビット数が第１テクスチャーフィールド（Ｔ＿Ｌ０）２１５により割り当てられ、同様に、階層１  ２３１の場合、第２向上動きフィールド（Ｍ＿ＥＬ１）２３３に割り当てるビット数が第２テクスチャーフィールド（Ｔ＿Ｌ１）２３５にさらに割り当てられうるので、低いビットレートである階層０  ２１１、あるいは階層０  ２１１と階層１  ２３１とを利用して映像を復元する場合、従来に比べて画質が向上することが分かる。一方、階層２  ２５１及び階層３  ２７１の場合、第３及び第４テクスチャーフィールド（Ｔ＿Ｌ２）２５４、（Ｔ＿Ｌ３）２７４が階層０  ２１１及び階層１  ２３１の第１及び第２向上動きフィールド（Ｍ＿ＥＬ０）２１３、（Ｍ＿ＥＬ１）２３３に該当するビット数ほどビット数が減少しうるが、画質変化を招く程ではない。一方、低いビットレートを使用する階層の動きフィールドのスケーラビリティレベルが２以上である場合、向上動きフィールドが２以上になり、各向上動きフィールドが低いビットレートを使用する階層以後の階層に対して順次に分散させて配置されうる。
【００３０】
図３は、本発明の一実施形態による動き情報符号化装置の構成を示すブロック図であり、図１に図示されたスケーラブル符号化部１１０に含まれる。図３に図示された動き情報符号化装置は、第１動き推定部３１０、第２動き推定部３３０、及び符号化部３５０を備えてなる。第１動き推定部３１０は、基本動きデータ生成部３１１及び向上動きデータ生成部３１３を備えてなる。ここで、向上動きデータ生成部３１０は、動きフィールドのスケーラビリティレベルによって少なくとも一つ以上備えることができる。
【００３１】
図３を参照するに、第１動き推定部３１０は、あらかじめ設定された低いビットレートに該当する少なくとも一つの階層に対する動きフィールドを構成する基本動きデータと向上動きデータとを生成するためのものである。第１動き推定部３１０において、基本動きデータ生成部３１１は、第１ブロックに対して第１パーティション単位で、現在フレームと少なくとも一つ以上の以前フレーム及び／あるいは少なくとも一つ以上の以後フレームのような参照フレームを利用した動き推定を行って、各パーティション別に動きベクトルを生成する。この時、図７に示したように、第１ブロックは、１６×１６の大きさを持ち、４つのパーティション形態を持つことができ、最も大きい第１パーティション単位は１６×１６であり、最も小さな第１パーティション単位は４×４になる。第１ブロックの動き推定方向及びパーティション形態は、次の式（１）で定義される費用関数
【００３２】
【数１】
2008507194.tif 000003
を最小化できるように決定される。
【００３３】
【数２】
2008507194.tif 000004
ここで、Ｉは、４つのパーティション形態のうち、各場合に対して第１ブロックを構成するパーティションを意味する。例えば、図７Ａの場合、１６×１６である１個のパーティションが第１ブロックを構成するので、Ｉは１、図７Ｂの場合、１６×８である２個のパーティションが第１ブロックを構成するので、Ｉは２、図７Ｃの場合、８×１６である２個のパーティションが第１ブロックを構成するので、Ｉは２、図７Ｄの場合、８×８である４個のパーティションが第１ブロックを構成するので、Ｉは４になる。一方、
【００３４】
【数３】
2008507194.tif 000005
は、各パーティション形態に対して、パーティション（ｉ）別に動き推定方向及び動きベクトル
【００３５】
【数４】
2008507194.tif 000006
を適用した場合、ＳＡＤ（Ｓｕｍ  ｏｆ  Ａｂｓｏｌｕｔｅ  Ｄｉｆｆｅｒｅｎｃｅｓ）を表す。
【００３６】
【数５】
2008507194.tif 000007
は、各パーティション（ｉ）での動き推定方向及び動きベクトルを表し、
【００３７】
【数６】
2008507194.tif 000008
は、ラグランジュ倍数（Ｌａｇｒａｎｇｅ  ｍｕｌｔｉｐｌｉｅｒ）を表し、
【００３８】
【数７】
2008507194.tif 000009
は、各パーティション（ｉ）に対して動き推定方向及び動きベクトル
【００３９】
【数８】
2008507194.tif 000010
に割り当てられるビット数を意味する。
【００４０】
基本動きデータ生成部３１１では、一フレームにかけて１６×１６サイズである第１ブロック単位でパーティション形態、第１パーティション単位で各パーティションの動き推定方向、すなわち、参照フレームのインデックス、及び各パーティションの動きベクトルを含む基本動きデータを生成する。
【００４１】
向上動きデータ生成部３１３は、第１ブロックに対応する位置の第２ブロックに対して、第２パーティション単位で現在フレームと、少なくとも一つ以上の以前フレーム及び／あるいは以後フレームのような参照フレームとを利用した動き推定を行って、各パーティション別に動きベクトルを生成する。この時、図８に示したように、第２ブロックは１６×１６のサイズを持ち、最も大きい第２パーティション単位は、１６×１６であり、最も小さな第２パーティション単位は４×４となる。第２ブロックの動き推定方向及びパーティション形態は、前記数式１と同様に、費用関数を最小化させるように決定される。ただし、基本動きデータのための第１ブロックの動き推定方向及びパーティション形態を決定する時と、向上動きデータのための第２ブロックの動き推定方向及びパーティション形態を決定する時、相異なるラグランジュ倍数の値を持つ。これにより、動き情報のスケーラビリティが得られる。
【００４２】
同様に、向上動きデータ生成部３１３では、一フレームにかけて１６×１６サイズの第２ブロック単位のパーティション形態、第２ブロック単位あるいは第２パーティション単位で各パーティションの動き推定方向、すなわち、参照フレームのインデックス、及び各パーティション単位で動きベクトルを含む向上動きデータを生成する。
【００４３】
ここで、第１ブロックと第２ブロックのサイズは同一であるが、第２ブロックのパーティション形態が第１ブロックに比べてさらに精密である。したがって、基本動きデータは経た動き予測により、向上動きデータは精密動き予測によって得られる。
【００４４】
第２動き推定部３３０は、低いビットレートに該当する階層以後の階層のビットストリームを構成する動きデータを生成するためのものであり、動きデータは、現在フレームと、少なくとも一つ以上の以前フレーム及び／あるいは少なくとも一つ以上の以後フレーム映像とを利用した通例的な動き推定過程を通じて生成される。動きデータには、一フレームにかけて１６×１６サイズである第２ブロック単位のパーティション形態、第２パーティション単位で各パーティションの動き推定方向、すなわち、参照フレームのインデックス、及び各パーティション単位で動きベクトルが含まれる。
【００４５】
符号化部３５０は、第１動き推定部３１０あるいは第２動き推定部３３０から提供される動きデータを符号化する。特に、符号化部３５０は、対応する第１及び第２ブロック間の動き補償モードに対して３つの形態をあらかじめ設定し、各形態に対して第２ブロックの符号化規則をあらかじめ設定する。符号化部３５０は、フレーム単位で第１動き推定部３１０から提供される基本動きデータと向上動きデータとの対応する第１及び第２ブロック間の動き補償モードの形態をカウントし、各形態による符号化規則を利用して、一フレーム内の第２ブロックの動き補償モードを符号化する。一フレームに対する符号化結果、第２ブロックの動き補償モードを符号化するのに必要なビット数を減少させるように、符号化部３５０は、第２ブロックの動き補償モードを符号化するのに使われた累積されたビット数が最も小さい符号化規則を、該当フレームでの第２ブロックの動き補償モードの符号化規則と決定する。符号化部３５０は、決定された符号化規則を表す指示子を可変長符号化し、決定された符号化規則に基づいて第２ブロックの動き補償モードを可変長符号化する。
【００４６】
図４は、本発明による動き情報符号化方法が適用されうるスケーラブルビットストリームの他の例を示す図であり、各階層４１１、４３１、４５１、４７１は、ビットレートに関係なく単一の動きフィールド４１２、４３２、４５２、４７２とテクスチャーフィールド４１３、４３３、４５３、４７３とを持つ。
【００４７】
図４を参照するに、第１ブロックは、例えば、階層０  ４１１に存在する動きフィールド４１２の動きデータに該当し、第２ブロックは、例えば、階層１  ４３１に存在する動きフィールド４３２の動きデータに該当する。このように、図３に図示された符号化部３５０での符号化原理は、図２Ａのように、一つの階層でスケーラビリティを持つ動きデータ、あるいは図４のように、二つの階層にそれぞれ含まれた動きデータに対してもいずれも適用できる。
【００４８】
図５は、図３に図示された符号化部３５０の細部的な構成を示すブロック図であり、符号化規則決定部５１０及び動き補償モード符号化部５３０を備えてなる。図５を参照するに、符号化規則決定部５１０は、フレーム単位で第１動き推定部３１０から提供される基本動きデータと向上動きデータとに対応する第１及び第２ブロック間の動き補償モードの形態をカウントし、各形態による符号化規則を利用して一フレーム内の第２ブロックの動き補償モードを符号化する。符号化規則決定部５１０は、第２ブロックの動き補償モードを符号化する元来のビット数と累積されたビット数とのの差が最も大きい形態に該当する符号化規則を、該当フレームでの第２ブロックの動き補償モードの符号化規則と決定する。
【００４９】
動き補償モード符号化部５３０は、決定された符号化規則を表す指示子を可変長符号化し、決定された符号化規則に基づいて第２ブロックの動き補償モードを可変長符号化する。
【００５０】
図６は、図３に図示された基本動きデータ生成部３１１あるいは向上動きデータ生成部３１３で、基本動きデータあるいは向上動きデータの生成に使われる動き推定方向、すなわち、動き補償モードを説明するためのものであり、図６Ａは、第１スキップ（ＳｋｉＰ）モード、図６Ｂは、直接（ＤｉｔｅｃＴ）モード、図６Ｃは、両方向（ＢｉＤ）モード、図６Ｄは、順方向（ＦｗＤ）モード、図６Ｅは、逆方向（ＢｗＤ）モードをそれぞれ表す。
【００５１】
図７は、図３に図示された基本動きデータ生成部３１１で、基本動きデータの生成に使われる第１ブロックのパーティション形態を説明するためのものであり、図７Ａは、１個の１６×１６、図７Ｂは、２個の１６×８、図７Ｃは、２個の８×１６、図７Ｄは、４個の８×８で第１ブロックを構成することを示す。すなわち、第１ブロックを構成する最も大きい第１パーティション単位は、１６×１６であり、最も小さな第１パーティション単位は８×８である。
【００５２】
図８は、図３に図示された向上動きデータ生成部３１３での向上動きデータの生成に使われ、第１ブロックに対応する第２ブロックのパーティション形態を説明するためのものであり、図８Ａは、１個の１６×１６、図８Ｂは、２個の８×１６、図８Ｃは、２個の１６×８、図８Ｄは、４個の８×８を示し、８×８パーティションは再び２個の４×８、２個の８×４、４個の４×４でさらに細密に構成することを示す。すなわち、第２ブロックを構成する最も大きい第２パーティション単位は１６×１６であり、最も小さな第２パーティション単位は４×４である。
【００５３】
図９Ａないし図９Ｃは、図３に図示された符号化部３５０で向上動きデータ符号化時に追加される新たな動き補償モード、すなわち、第２ブロック単位の第２スキップ（Ｎｅｗ＿ＳｋｉＰ）モードを説明する図である。ここで、基本動きデータのための第１ブロックのパーティション形態は、図７Ａのように最も大きい第１パーティション単位である１６×１６を持ち、向上動きデータのための第２ブロックのパーティション形態は、図８Ｄのように、８×８の第２パーティション単位を持つ場合を例としたものである。まず、フレーム全体の基本動きデータと向上動きデータとに含まれた動き補償モードを、第１ブロック及び第２ブロックを参照して比較し、低い低ビットレートに該当する各階層あるいはそれぞれ動きフィールドを持つ二つの階層に対して、一フレームの第２ブロックの動き補償モードの形態を表す指示子（Ｓｋｉｐ＿ｉｎｄｉｃａｔｏｒ）を決定し、この指示子は、可変長符号化されて毎フレームで第２ブロックと関連した動きフィールドの開始部分に記録される。一フレームの動き補償モードのタイプを表す指示子（Ｓｋｉｐ＿ｉｎｄｉｃａｔｏｒ）は、図９Ａないし図９Ｃの各形態によって３つがあり、図９Ａの場合、‘Ｓｋｉｐ＿ｉｎｄｉｃａｔｏｒ’は‘０’、図９Ｂの場合、‘Ｓｋｉｐ＿ｉｎｄｉｃａｔｏｒ’は‘１０’、図９Ｃの場合、‘Ｓｋｉｐ＿ｉｎｄｉｃａｔｏｒ’は‘１１’の値で可変長符号化する。これをさらに細部的に説明する。
【００５４】
図９Ａは、向上動きデータのための第２ブロック９１３の４個のパーティションの動き補償モードがいずれも同一であり、４個の第２ブロック７１３に対応する基本動きデータのための第１ブロック７１１の動き補償モードと第２ブロック７１３の動き補償モードとが同じ形態を表し、この形態によって、第２ブロックの動き補償モードのビット数が減少する場合、‘Ｓｋｉｐ＿ｉｎｄｉｃａｔｏｒ’に‘０’が割り当てられる。この場合、基本動きデータのためには、第１ブロック９１１に対して第１パーティション単位で動き補償モードを可変長符号化する。一方、向上動きデータのためには、第１ブロックに対応する第２ブロック９１３に対し、第２パーティション単位で動き補償モードを別途に可変長符号化する必要なく、第２スキップモードに対する可変長符号のみを伝送する。すなわち、‘Ｓｋｉｐ＿ｉｎｄｉｃａｔｏｒ’が‘０’である場合、第２スキップモードに対する可変長符号を、第２ブロックの動き補償モードに伝送する。これによれば、動き補償モードを符号化するために割り当てられるビット数が従来に比べて大幅減少することが分かる。一方、一フレームで第２ブロックの動き補償モードの形態を図９Ａに決定した場合、第１ブロックと第２ブロックとの間の動き補償モードの形態が図９Ａ以外の形態を持つ場合には、第２ブロックのあらゆるパーティションに対する動き補償モードを符号化する。
【００５５】
これを復号化側面で説明すれば、スケーラブルビットストリームの動きデータを可変長復号化し、低いビットレートに該当する各階層のフレームごとにフレーム全体の動き補償モードのタイプを表す指示子（Ｓｋｉｐ＿ｉｎｄｉｃａｔｏｒ）をチェックして、‘Ｓｋｉｐ＿ｉｎｄｉｃａｔｏｒ’が‘０’であり、第２スキップモード（Ｎｅｗ_Ｓｋｉｐ）が受信された場合には、第１ブロックに対して復号化された可変長符号に該当する動き補償モードを、第１ブロックに対応する第２ブロックの４個のパーティションにも同一に適用すると解析する。すなわち、‘Ｓｋｉｐ＿ｉｎｄｉｃａｔｏｒ’が‘０’であり、第２スキップモードが受信されれば、第１ブロックの動き補償モードを参照して第２ブロックの動き補償モードを決定する。
【００５６】
図９Ｂは、向上動きデータのための第２ブロック９３３の４個のパーティションの動き補償モードがいずれも同一であり、第２ブロック７３３に対応する第１ブロック７３１の動き補償モードと、第２ブロック９３３の動き補償モードとが相異なる場合を示し、この形態によって、第２ブロックの動き補償モードのビット数が減少する場合、‘Ｓｋｉｐ＿ｉｎｄｉｃａｔｏｒ’に‘１０’が割り当てられる。この場合、基本動きデータのためには、第１ブロック９３１に対して第１パーティション単位で動き補償モードを可変長符号化する。一方、向上動きデータのためには、第１ブロックに対応する４個の第２ブロック９３３に対し、第２パーティション単位で動き補償モードを別途に可変長符号化する必要なく、第２スキップモードに対する可変長符号と第２ブロックの動き補償モードに対する可変長符号とを伝送する。すなわち、‘Ｓｋｉｐ＿ｉｎｄｉｃａｔｏｒ’が‘１０’である場合、第２スキップモードに対する可変長符号及び第２ブロックの動き補償モードに対する可変長符号を、第２ブロックの動き補償モードに伝送する。これによれば、動き補償モードを符号化するために割り当てられるビット数が従来に比べて減少しうることが分かる。一方、一フレームで第２ブロックの動き補償モードの形態を図９Ｂに決定した場合、第１ブロックと第２ブロックとの間の動き補償モードの形態が、図９Ａまたは図９Ｂ以外の形態を持つ場合には、第２ブロックのあらゆるパーティションに対する動き補償モードを符号化する。
【００５７】
これを復号化側面で説明すれば、スケーラブルビットストリームの動きデータを可変長復号化し、低ビットレートに該当する各階層のフレームごとにフレーム全体の動き補償モードのタイプを表す指示子（Ｓｋｉｐ＿ｉｎｄｉｃａｔｏｒ）をチェックして、‘Ｓｋｉｐ＿ｉｎｄｉｃａｔｏｒ’が‘１０’であり、第２スキップモードが受信された場合には、第２ブロックに対して復号化された可変長符号に該当する動き補償モードを第２ブロックの各パーティションにいずれも同一に適用すると解釈する。そなわち、‘Ｓｋｉｐ＿ｉｎｄｉｃａｔｏｒ’が‘１０’であり、第２スキップモードが受信されれば、第１ブロックの動き補償モードは参照せず、第２ブロックの自体動き補償モードを用いて第２ブロックのパーティションの動き補償モードを決定する。
【００５８】
第１ブロックに対して復号化された可変長符号に該当する動き補償モードを適用し、第２ブロックに対して復号化された可変長符号に該当する動き補償モードを４個の第２ブロックすべてに同一に適用すると解釈する。
【００５９】
図９Ｃは、向上動きデータのための第２ブロック９５３の４個のパーティションの動き補償モードが互いに異なる場合を表し、‘Ｓｋｉｐ＿ｉｎｄｉｃａｔｏｒ’に‘１１’が割り当てられる。この場合、基本動きデータのためには、第１ブロック９５１に対して第１パーティション単位で動き補償モードを可変長符号化する。一方、向上動きデータのためには、第１ブロックに対応する第２ブロックを第２パーティション単位で動き補償モードをそれぞれ可変長符号化する。
【００６０】
次の表１は、基本動きデータのための第１ブロックの動き補償モードの種類と、各動き補償モードに割り当てられる可変長符号とを例として表す。
【００６１】
【表１】
2008507194.tif 000011
ここで、第１スキップ（ＳｋｉＰ）モード、直接（ＤｉｔｅｃＴ）モード、両方向（ＢｉＤ）モード、順方向り（ＦｗＤ）モード、及び逆方向（ＢｗＤ）モードはいずれも第１パーティション単位で設定される。
【００６２】
次の表２は、向上動きデータのための第２ブロックの動き補償モードの種類と、各動き補償モードに割り当てられる可変長符号との例を表す。表１と比較すれば、第２スキップモードが追加されたことが分かる。
【００６３】
【表２】
2008507194.tif 000012
ここで、第１スキップ（ＳｋｉＰ）モード、直接（ＤｉｔｅｃＴ）モード、両方向（ＢｉＤ）モード、順方向（ＦｗＤ）モード、及び逆方向（ＢｗＤ）モードはいずれも第２パーティション単位で設定され、第２スキップ（Ｎｅｗ＿ＳｋｉＰ）モードは第２ブロック単位で設定される。
【００６４】
図１０は、本発明の一実施形態によるスケーラブル映像復号化装置の構成を示すブロック図であり、逆多重化部１０１０、基本階層復号化部１０３０及び向上階層復号化部１０５０を備えてなる。ここで、向上階層復号化部１０５０は、符号化装置で設定されたビットストリームのスケーラビリティのレベルに対応して、少なくとも一つ以上備えることができる。
【００６５】
図１０を参照するに、逆多重化部１０１０は、入力されたスケーラブルビットストリームから各階層別にビットストリームを分離し、基本階層ビットストリームと向上階層ビットストリームとを、それぞれ基本階層復号化部１０３０及び向上階層復号化部１０５０に提供する。ここで、逆多重化部１０１０は、符号化装置から提供されるスケーラブルビットストリームを復号化する前に、一時的に保存または記録するメモリのような記録媒体をさらに備えることができる。
【００６６】
基本階層復号化部１０３０は、分離された基本階層ビットストリームを復号化する。基本階層復号化部１０３０で復号化された映像は、低画質の復元映像であり、独立的にディスプレイされる。もし、スケーラブルビットストリームが図２Ｂのような場合、基本階層復号化部１０３０は、１次的にまず基本動きデータを参照してテクスチャーデータを復号化し、後ほど分離される向上動きデータをさらに参照してテクスチャーデータを復号化する。
【００６７】
向上階層復号化部１０５０は、分離された向上階層ビットストリームを、基本階層復号化部１０３０で復号化された映像を参照して復号化する。向上階層復号化部１０５０で復号化された映像は、向上階層の数が増加するほど高画質の復元映像に該当する。
【００６８】
基本階層復号化部１０３０及び向上階層復号化部１０５０には、符号化装置のスケーラブル符号化部１１０で行われたスケーラブル符号化方式に対応する復号化方式に基づいて復号化過程を行う。
【００６９】
図１１は、本発明の一実施形態による動き復号化装置の構成を示すブロック図であり、指示子解析部１１１０及び動き補償モード復号化部１１３０を備えてなり、図２Ａに図示されたスケーラブルビットストリームの場合、低いビットレートを使用する基本階層復号化部１０３０に含まれ、図４に図示されたスケーラブルビットストリームの場合、低いビットレートを使用する向上階層復号化部１０５０に含まれうる。
【００７０】
図１１を参照するに、指示子解析部１１１０は、一フレームの開始部分、例えば、ヘッダに含まれた指示子を解析して、解析された指示子による符号化規則に対応する復号化規則を決定する。例えば、指示子、すなわち、‘Ｓｋｉｐ＿ｉｎｄｉｃａｔｏｒ’が‘０’である場合、第２スキップモードのみ使われた符号化規則に対応する復号化規則を、第２ブロックの動き補償モード復号化に対して適用し、指示子、すなわち、‘Ｓｋｉｐ＿ｉｎｄｉｃａｔｏｒ’が‘１０’である場合、第２スキップモードと第２ブロックの動き補償モードとが使われた符号化規則に対応する復号化規則を、第２ブロックの動き補償モード復号化に対して適用する。一方、指示子、すなわち、‘Ｓｋｉｐ＿ｉｎｄｉｃａｔｏｒ’が‘１１’である場合、第２スキップモードが使われないために、あらかじめ定義された可変長復号化規則を第２ブロックの動き補償モード復号化に対して適用する。
【００７１】
動き補償モード復号化部１１３０は、指示子解析部１１１０で決定された復号化規則に基づいて第２ブロックの動き補償モードを復号化する。
【００７２】
図１２Ａ及び図１２Ｂは、各階層に時間的スケーラビリティを提供する場合、各階層での動き情報の符号化状態を比較するためのものであり、図１２Ａは、従来技術（Ａｎｃｈｏｒ）によるスケーラブルビットストリームを、図１２Ｂは、本発明によるスケーラブルビットストリームを示す。
【００７３】
図１２Ａを参照するに、各時間的階層にいずれも単一動きフィールドが使われる。すなわち、階層０には、時間的階層０及び１に単一動きフィールドＳが、階層１には、時間的階層２に単一動きフィールドＳが、階層４には、時間的階層３に単一動きフィールドＳが伝送され、階層２及び階層３の場合、動きフィールドが伝送されない。一方、図１２Ｂを参照するに、最も高い時間的階層４に対してのみ単一動きフィールドＳが伝送され、図１２Ａとは異なって、階層０には、時間的階層０及び１に基本動きフィールドＢが、階層１には、時間的階層２に基本動きフィールドＢが、階層２には、時間的階層０及び１に分散された向上動きフィールドＥが伝送され、階層３には、時間的階層２に分散された向上動きフィールドＥが伝送される。
【００７４】
図１３Ａ及び図１３Ｂは、それぞれ従来技術と本発明とによるスケーラブル符号化アルゴリズムにより復元された映像の主観的画質を比較した図であり、バス（ＢＵＳ）シーケンスで２４番目フレームを９６Ｋｂｐｓで復元した映像を互いに比較したものである。図１４Ａ及び図１４Ｂは、それぞれ従来技術と本発明とによるスケーラブル符号化アルゴリズムにより復元された映像の主観的画質を比較した図であり、フットボール（ＦＯＯＴＢＡＬＬ）シーケンスで２５８番目フレームを１９２Ｋｂｐｓで復元した映像を互いに比較したものである。図１５Ａ及び図１５Ｂは、それぞれ従来技術と本発明とによるスケーラブル符号化アルゴリズムにより復元された映像の主観的画質を比較した図であり、フォアマン（ＦＯＲＥＭＡＮ）シーケンスで９２番目フレームを３２Ｋｂｐｓで復元した映像を互いに比較したものである。これによれば、図１３Ｂ、図１４Ｂ、及び図１５Ｂに図示された本発明により復元された映像の画質が、図１３Ａ、図１４Ａ、及び図１５Ａに図示された従来技術により復元された映像の画質に比べてはるかに改善されたことを主観的あるいは視覚的に確認することができる。
【００７５】
本発明による動き情報符号化方法及び復号化方法と、スケーラブル映像符号化方法及び復号化方法は、望ましくは、コンピュータで実行させるためのプログラム、コードあるいはコードセグメントを記録したコンピュータで読み取り可能な記録媒体で具現できる。また、本発明による動き情報符号化方法あるいはスケーラブル映像符号化方法によって生成されるビットストリームは、望ましくは、コンピュータで読み取り可能な記録媒体に記録あるいは保存されうる。コンピュータで読み取り可能な記録媒体は、コンピュータシステムによって読み取られるデータが保存されるあらゆる種類の記録装置を含む。コンピュータで読み取り可能な記録媒体の例には、ＲＯＭ、ＲＡＭ、ＣＤ−ＲＯＭ、磁気テープ、フロッピー（登録商標）ディスク、光データ保存装置などがあり、また、キャリアウェーブ（例えば、インターネットを通じた伝送）の形態で具現されるものも含む。また、コンピュータで読み取り可能な記録媒体は、ネットワークに連結されたコンピュータシステムに分散されて、分散方式でコンピュータで読み取り可能なコードが保存されて実行されうる。そして、本発明によるスケーラブル動き情報符号化方法及び復号化方法と、スケーラブル映像符号化方法及び復号化方法を具現するための機能的なプログラム、コード及びコードセグメントは、本発明が属する技術分野のプログラマーにより容易に推論されうる。
【００７６】
本発明について前記実施形態を参考にして説明したが、これは例示的なものに過ぎず、当業者ならば、これより多様な変形及び均等な他の実施形態が可能であるという点を理解できるであろう。したがって、本発明の真の技術的保護範囲は、特許請求の範囲の技術的思想により定められねばならない。
【図面の簡単な説明】
【００７７】
【図１】本発明の一実施形態によるスケーラブル映像符号化装置の構成を示すブロック図である。
【図２Ａ】図１に図示されたスケーラブル映像符号化装置により、一例のスケーラブルビットストリームが生成される過程を説明する図である。
【図２Ｂ】図１に図示されたスケーラブル映像符号化装置により、一例のスケーラブルビットストリームが生成される過程を説明する図である。
【図３】本発明の一実施形態による動き情報符号化装置の構成を示すブロック図である。
【図４】本発明による動き情報符号化方法が適用されうるスケーラブルビットストリームの他の例を示す図である。
【図５】図３に図示された符号化部の細部的な構成を示すブロック図である。
【図６Ａ】動きデータの生成に使われる動き推定方向を説明するための図である。
【図６Ｂ】動きデータの生成に使われる動き推定方向を説明するための図である。
【図６Ｃ】動きデータの生成に使われる動き推定方向を説明するための図である。
【図６Ｄ】動きデータの生成に使われる動き推定方向を説明するための図である。
【図６Ｅ】動きデータの生成に使われる動き推定方向を説明するための図である。
【図７Ａ】図３に図示された基本動きデータ生成部で、基本動きデータの生成に使われる第１ブロックのパーティション形態を説明するための図である。
【図７Ｂ】図３に図示された基本動きデータ生成部で、基本動きデータの生成に使われる第１ブロックのパーティション形態を説明するための図である。
【図７Ｃ】図３に図示された基本動きデータ生成部で、基本動きデータの生成に使われる第１ブロックのパーティション形態を説明するための図である。
【図７Ｄ】図３に図示された基本動きデータ生成部で、基本動きデータの生成に使われる第１ブロックのパーティション形態を説明するための図である。
【図８Ａ】図３に図示された向上動きデータ生成部で、向上動きデータの生成に使われる第２ブロックのパーティション形態を説明するための図である。
【図８Ｂ】図３に図示された向上動きデータ生成部で、向上動きデータの生成に使われる第２ブロックのパーティション形態を説明するための図である。
【図８Ｃ】図３に図示された向上動きデータ生成部で、向上動きデータの生成に使われる第２ブロックのパーティション形態を説明するための図である。
【図８Ｄ】図３に図示された向上動きデータ生成部で、向上動きデータの生成に使われる第２ブロックのパーティション形態を説明するための図である。
【図９Ａ】図３に図示された符号化部で、向上動きデータ符号化時に適用される新たな動き補償モードを説明する図である。
【図９Ｂ】図３に図示された符号化部で、向上動きデータ符号化時に適用される新たな動き補償モードを説明する図である。
【図９Ｃ】図３に図示された符号化部で、向上動きデータ符号化時に適用される新たな動き補償モードを説明する図である。
【図１０】本発明の一実施形態によるスケーラブル映像復号化装置の構成を示すブロック図である。
【図１１】本発明の一実施形態による動き復号化装置の構成を示すブロック図である。
【図１２Ａ】各階層に時間的スケーラビリティを提供する場合、従来技術によるスケーラブルビットストリームと、本発明によるスケーラブルビットストリームとにおいて、各階層での動き情報の符号化状態を比較する図である。
【図１２Ｂ】各階層に時間的スケーラビリティを提供する場合、従来技術によるスケーラブルビットストリームと、本発明によるスケーラブルビットストリームとにおいて、各階層での動き情報の符号化状態を比較する図である。
【図１３Ａ】バスシーケンスで２４番目フレームを９６Ｋｂｐｓで、それぞれ従来技術と本発明とによるスケーラブル符号化アルゴリズムにより復元させた映像の主観的画質を比較した図であり、復元した映像を互いに比較したものである。
【図１３Ｂ】バスシーケンスで２４番目フレームを９６Ｋｂｐｓで、それぞれ従来技術と本発明とによるスケーラブル符号化アルゴリズムにより復元させた映像の主観的画質を比較した図であり、復元した映像を互いに比較したものである。
【図１４Ａ】フットボール（ＦＯＯＴＢＡＬＬ）シーケンスで２５８番目フレームを１９２Ｋｂｐｓで、従来技術と本発明とによるスケーラブル符号化アルゴリズムにより復元させた映像の主観的画質を比較した図である。
【図１４Ｂ】フットボール（ＦＯＯＴＢＡＬＬ）シーケンスで２５８番目フレームを１９２Ｋｂｐｓで、従来技術と本発明とによるスケーラブル符号化アルゴリズムにより復元させた映像の主観的画質を比較した図である。
【図１５Ａ】フォアマン（ＦＯＲＥＭＡＮ）シーケンスで９２番目フレームを３２Ｋｂｐｓで、従来技術と本発明とによるスケーラブル符号化アルゴリズムにより復元させた映像の主観的画質を比較した図である。
【図１５Ｂ】フォアマン（ＦＯＲＥＭＡＮ）シーケンスで９２番目フレームを３２Ｋｂｐｓで、従来技術と本発明とによるスケーラブル符号化アルゴリズムにより復元させた映像の主観的画質を比較した図である。
【図１】
2008507194.tif 000013
【図２Ａ】
2008507194.tif 000014
【図２Ｂ】
2008507194.tif 000015
【図３】
2008507194.tif 000016
【図４】
2008507194.tif 000017
【図５】
2008507194.tif 000018
【図６Ａ】
2008507194.tif 000019
【図６Ｂ】
2008507194.tif 000020
【図６Ｃ】
2008507194.tif 000021
【図６Ｄ】
2008507194.tif 000022
【図６Ｅ】
2008507194.tif 000023
【図７Ａ】
2008507194.tif 000024
【図７Ｂ】
2008507194.tif 000025
【図７Ｃ】
2008507194.tif 000026
【図７Ｄ】
2008507194.tif 000027
【図８Ａ】
2008507194.tif 000028
【図８Ｂ】
2008507194.tif 000029
【図８Ｃ】
2008507194.tif 000030
【図８Ｄ】
2008507194.tif 000031
【図９Ａ】
2008507194.tif 000032
【図９Ｂ】
2008507194.tif 000033
【図９Ｃ】
2008507194.tif 000034
【図１０】
2008507194.tif 000035
【図１１】
2008507194.tif 000036
【図１２Ａ】
2008507194.tif 000037
【図１２Ｂ】
2008507194.tif 000038
【図１３Ａ】
2008507194.tif 000039
【図１３Ｂ】
2008507194.tif 000040
【図１４Ａ】
2008507194.tif 000041
【図１４Ｂ】
2008507194.tif 000042
【図１５Ａ】
2008507194.tif 000043
【図１５Ｂ】
2008507194.tif 000044
【国際調査報告】
2008507194.tif 000045
2008507194.tif 000046