(57)【要約】  少なくとも２つの映像フォーマットと互換されるスケーラブル・ビットストリームを生成する映像符号化及び／または復号化方法、記録媒体、装置において、拡張階層識別子を生成する段階、映像に含まれた低周波帯域の色差成分と輝度成分とを符号化し、基本階層ビットストリームを生成する段階、及び映像に含まれた残りの帯域の色差成分を符号化し、拡張階層ビットストリームを生成する段階からなる。
2010531609.tif 000002
【特許請求の範囲】
【請求項１】
少なくとも２つの映像フォーマットと互換性のあるスケーラブル・ビットストリームを生成する映像符号化方法において、
拡張階層識別子を生成する段階と、
映像データに含まれた低周波帯域の色差成分と輝度成分とを符号化し、基本階層ビットストリームを生成する段階と、
前記映像データに含まれた前記低周波帯域以外の残りの帯域の色差成分を符号化し、拡張階層ビットストリームを生成する段階とからなる映像符号化方法。
【請求項２】
前記拡張階層識別子は、前記スケーラブル・ビットストリームのシーケンスレベル、ＧＯＰレベル、ピクチャレベル、マクロブロックレベル及びブロックレベルのうち、少なくとも１つのレベルに含まれることを特徴とする請求項１に記載の映像符号化方法。
【請求項３】
前記拡張階層識別子は、前記スケーラブル・ビットストリームに存在する予備領域に含まれることを特徴とする請求項１に記載の映像符号化方法。
【請求項４】
前記映像が４：２：２映像フォーマットを有する場合、前記基本階層ビットストリームは、４：２：０映像フォーマットと互換される色差成分を含み、前記低周波帯域の色差成分は、４：２：２映像フォーマットを有する前記映像の色差成分を、垂直方向に分析フィルタリングすることによって得ることを特徴とする請求項１に記載の映像符号化方法。
【請求項５】
前記映像が４：２：２映像フォーマットを有する場合、前記拡張階層ビットストリームは、４：２：２映像フォーマットを構成するためのさらなる色差成分を含み、前記残りの帯域の色差成分は、４：２：２映像フォーマットを有する前記映像データの色差成分を、垂直方向に分析フィルタリングすることによって得られる高周波帯域の色差成分であることを特徴とする請求項４に記載の映像符号化方法。
【請求項６】
前記映像が４：４：４映像フォーマットを有する場合、前記基本階層ビットストリームは、４：２：０映像フォーマットと互換される色差成分を含み、前記低周波帯域の色差成分は、４：４：４映像フォーマットを有する前記映像の色差成分を、水平及び垂直方向に分析フィルタリングすることによって得られる低・低周波数（ＬＬ）帯域の色差成分であることを特徴とする請求項１に記載の映像符号化方法。
【請求項７】
前記映像が４：４：４映像フォーマットを有する場合、前記拡張階層ビットストリームは、４：２：２あるいは４：４：４映像フォーマットを構成するためのさらなる色差成分を含み、前記残りの帯域の色差成分は、４：４：４映像フォーマットを有する前記原映像の色差成分を、水平及び垂直方向に分析フィルタリングすることによって得られる低・高周波数（ＬＨ）帯域、高・低周波数（ＨＬ）帯域及び高・高周波数（ＨＨ）帯域の色差成分であることを特徴とする請求項６に記載の映像符号化方法。
【請求項８】
少なくとも２つの映像フォーマットを支援しつつ，フォワード互換性を有するスケーラブル・ビットストリームを生成する映像符号化装置において、
映像の色差成分に対してフィルタリングを行い、低周波帯域と残りの帯域とに分離する分析フィルタリング部と、
前記映像の輝度成分と前記低周波帯域の色差成分とを符号化し、基本階層ビットストリームを生成する第１符号化部と、
前記低周波帯域以外の残りの帯域の色差成分を符号化し、拡張階層ビットストリームを生成する第２符号化部と、
前記基本階層ビットストリーム及び前記拡張階層ビットストリームを統合し、拡張階層識別子を含み、前記スケーラブル・ビットストリームを生成するビットストリーム統合部とを含む映像符号化装置。
【請求項９】
前記拡張階層識別子は、前記スケーラブル・ビットストリームのシーケンスレベル、ＧＯＰレベル、ピクチャレベル、マクロブロックレベル及びブロックレベルのうち、少なくとも１つのレベルに含まれることを特徴とする請求項８に記載の映像符号化装置。
【請求項１０】
前記拡張階層識別子は、前記スケーラブル・ビットストリームに存在する予備領域に含まれることを特徴とする請求項８に記載の映像符号化装置。
【請求項１１】
前記映像が４：２：２映像フォーマットを有する場合、前記基本階層ビットストリームは、４：２：０映像フォーマットと互換される色差成分を含み、前記低周波帯域の色差成分は、４：２：２映像フォーマットを有する前記映像の色差成分を、垂直方向に分析フィルタリングすることによって得られることを特徴とする請求項８に記載の映像符号化装置。
【請求項１２】
前記映像が４：２：２映像フォーマットを有する場合、前記拡張階層ビットストリームは、４：２：２映像フォーマットを構成するためのさらなる色差成分を含み、前記残りの帯域の色差成分は、４：２：２映像フォーマットを有する前記映像の色差成分を、垂直方向に分析フィルタリングすることによって得られる高周波帯域の色差成分であることを特徴とする請求項１１に記載の映像符号化装置。
【請求項１３】
前記映像が４：４：４映像フォーマットを有する場合、前記基本階層ビットストリームは、４：２：０映像フォーマットと互換される色差成分を含み、前記低周波帯域の色差成分は、４：２：４映像フォーマットを有する前記映像の色差成分を、水平及び垂直方向に分析フィルタリングすることによって得られる低・低周波数（ＬＬ）帯域の色差成分であることを特徴とする請求項８に記載の映像符号化装置。
【請求項１４】
前記映像が４：４：４映像フォーマットを有する場合、前記拡張階層ビットストリームは、４：２：２あるいは４：４：４映像フォーマットを構成するためのさらなる色差成分を含み、前記残りの帯域の色差成分は、４：２：４映像フォーマットを有する前記原映像の色差成分を、水平及び垂直方向に分析フィルタリングすることによって得られる低・高周波数（ＬＨ）帯域、高・低周波数（ＨＬ）帯域及び高・高周波数（ＨＨ）帯域の色差成分であることを特徴とする請求項１３に記載の映像符号化装置。
【請求項１５】
前記映像の色差成分に対して水平方向に奇数対称フィルタを適用し、前記水平方向のフィルタリング結果に対して、垂直方向に偶数対称フィルタを適用することを特徴とする請求項１３に記載の映像符号化装置。
【請求項１６】
ビットストリームが拡張階層識別子を含むか否かを検査する拡張階層識別子検査部と、
前記拡張階層識別子を含まないビットストリームで基本階層ビットストリームを復号化し、第１映像フォーマットの復元映像を生成する第１復号化部と、
前記ビットストリームのうち、前記拡張階層識別子を含む拡張階層ビットストリームを復号化し、低周波帯域以外の残りの帯域の色差成分を生成する第２復号化部と、
前記第１復号化部で生成された前記第１映像フォーマットの復元映像に含まれた低周波帯域の色差成分と、前記第２復号化部で生成された高周波帯域の色差成分とを合成し、前記第１映像フォーマットの復元映像に含まれた輝度成分と共に、第２映像フォーマットの復元映像を生成する合成フィルタリング部とを含む映像復号化装置。
【請求項１７】
前記第１映像フォーマットが４：２：０であり、前記第２映像フォーマットが４：２：２あるいは４：４：４である場合、前記基本階層ビットストリームは、４：２：０映像フォーマットを支援する色差成分を含み、前記拡張階層ビットストリームは、４：２：２あるいは４：４：４映像フォーマットを構成するためのさらなる色差成分を含むことを特徴とする請求項１６に記載の映像復号化装置。
【請求項１８】
前記４：２：０映像フォーマットと互換される色差成分は、低周波帯域の色差成分であり、前記４：２：２映像フォーマットを構成するためのさらなる色差成分は、高周波帯域の色差成分であり、前記低周波帯域の色差成分と前記高周波帯域の色差成分とを合成フィルタリングし、前記４：２：２映像フォーマットを支援する色差成分を生成することを特徴とする請求項１７に記載の映像復号化装置。
【請求項１９】
前記４：２：０映像フォーマットと互換される色差成分は、低・低周波数（ＬＬ）帯域の色差成分であり、前記４：４：４映像フォーマットを構成するためのさらなる色差成分は、低・高周波数（ＬＨ）帯域、高・低周波数（ＨＬ）帯域、高・高周波数（ＨＨ）帯域の色差成分であり、前記低・低周波数（ＬＬ）帯域、前記低・高周波数（ＬＨ）帯域、前記高・低周波数（ＨＬ）帯域及び前記高・高周波数（ＨＨ）帯域の色差成分を、垂直／水平方向に合成フィルタリングし、前記４：４：４映像フォーマットと互換される色差成分を生成することを特徴とする請求項１７に記載の映像復号化装置。
【請求項２０】
ビットストリームが拡張階層識別子を含むか否かを検査する段階と、
前記拡張階層識別子を含まないビットストリームで基本階層ビットストリームを復号化し、第１映像フォーマットの映像データを復号化する段階と、
前記拡張階層識別子を含むビットストリームに含まれた拡張階層ビットストリームを復号化し、低周波帯域以外の残りの帯域の色差成分を復号化する段階と、
前記第１映像フォーマットの復号化された映像で、低周波帯域の色差成分と、前記残りの帯域の色差成分に含まれた高周波帯域の色差成分とを合成し、前記第１映像フォーマットの復号化された映像に含まれた輝度成分と共に、第２映像フォーマットの映像データを復号化する段階とを含む映像復号化方法。
【請求項２１】
前記第１映像フォーマットが４：２：０であり、前記第２映像フォーマットが４：２：２あるいは４：４：４である場合、前記基本階層ビットストリームは、４：２：０映像フォーマットと互換される色差成分を含み、前記拡張階層ビットストリームは、４：２：２あるいは４：４：４映像フォーマットを構成するためのさらなる色差成分を含むことを特徴とする請求項２０に記載の映像復号化方法。
【請求項２２】
前記４：２：０映像フォーマットと互換される色差成分は、低周波帯域の色差成分であり、前記４：２：２映像フォーマットを構成するためのさらなる色差成分は、高周波帯域の色差成分であり、前記低周波帯域の色差成分と前記高周波帯域の色差成分とを合成フィルタリングし、前記４：２：２映像フォーマットと互換される色差成分を生成することを特徴とする請求項２１に記載の映像復号化方法。
【請求項２３】
前記４：２：０映像フォーマットと互換される色差成分は、低・低周波数（ＬＬ）帯域の色差成分であり、前記４：４：４映像フォーマットを構成するためのさらなる色差成分は、低・高周波数（ＬＨ）帯域、高・低周波数（ＨＬ）帯域、高・高周波数（ＨＨ）帯域の色差成分であり、前記低・低周波数（ＬＬ）帯域、前記低・高周波数（ＬＨ）帯域、前記高・低周波数（ＨＬ）帯域及び前記高・高周波数（ＨＨ）帯域の色差成分を、垂直／水平方向に合成フィルタリングし、前記４：４：４映像フォーマットと互換される色差成分を生成することを特徴とする請求項２１に記載の映像復号化方法。
【請求項２４】
フォワード互換性を有しつつ、少なくとも２つの映像フォーマットと互換されるスケーラブル・ビットストリームを生成する映像符号化方法において、前記スケーラブル・ビットストリームは、拡張階層識別子と、映像に含まれた低周波帯域の色差成分と輝度成分とを符号化して形成される基本階層ビットストリームと、前記映像で、前記低周波帯域以外の残りの帯域の色差成分を符号化して形成される拡張階層ビットストリームとからなる方法を実行させるためのプログラムを記録したコンピュータで読み取り可能な記録媒体。
【請求項２５】
拡張階層識別子を受信する段階と、
前記拡張階層識別子に基づいて、第１映像フォーマットで映像データを復号化する段階をと含み、前記第１映像フォーマットは、第２映像フォーマットとは異なることを特徴とする映像データ復号化方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明の一つ以上の実施形態は、映像データ符号化及び／または復号化の方法、記録媒体、及び装置に係り、さらに詳細には、少なくとも２つの映像フォーマットを支援しつつ、フォワード互換性（forward  compatibility）を有するスケーラブル・ビットストリームを生成したり復号化する映像符号化及び／または復号化の方法、記録媒体、及び装置に関する。
【背景技術】
【０００２】
従来技術によるビデオコーデックにおいて、例えば、ＶＣ−１エンコーダのような基本エンコーダの映像フォーマットを、４：２：０から単純に４：２：２あるいは４：４：４に変更する場合、ＶＣ−１デコーダは、映像フォーマットが変更された改善されたエンコーダから生成されるビットストリームを読み取って再生することが不可能である。最近、このように固定された映像フォーマットだけではなく、多様な映像フォーマットで符号化されたビットストリームを、ＶＣ−１デコーダ及び他の改善されたデコーダで復元させるフォワード互換性が保証されるビデオコーデックの開発必要性が大きく叫ばれている。
【０００３】
すなわち、フォワード互換性が保証されない新しいビデオコーデックは、既存の基本ビデオコーデックのみを有する端末機を支援できないために、互いに異なるスペックを有する端末機間のコンテンツ再使用などが不可能になる。また、すでに構築しておいたビデオコーデック市場を克服しなければならないので、新しいビデオコーデックが市場で定着するまでに時間がかかるという短所がある。
【発明の概要】
【発明が解決しようとする課題】
【０００４】
本発明の一つ以上の実施形態がなそうとする技術的課題は、少なくとも２つの映像フォーマットを支援しつつ、フォワード互換性を有するスケーラブル・ビットストリームを生成する映像符号化装置及び方法を提供するところにある。
【０００５】
本発明の一つ以上の実施形態がなそうとする他の技術的課題は、少なくとも２つの映像フォーマットを支援しつつ、フォワード互換性を有するスケーラブル・ビットストリームを復号化する映像復号化装置及び方法を提供するところにある。
【課題を解決するための手段】
【０００６】
前記技術的課題を達成するために本発明は、フォワード互換性を有しつつ、少なくとも２つの映像フォーマットと互換されるスケーラブル・ビットストリームを生成する映像符号化方法において、前記スケーラブル・ビットストリームは、拡張階層識別子と、映像に含まれた低周波帯域の色差成分と輝度成分とを符号化して形成される基本階層ビットストリームと、前記映像で、前記低周波帯域以外の残りの帯域の色差成分を符号化して形成される拡張階層ビットストリームとからなる。
【０００７】
前記技術的課題を達成するために本発明は、フォワード互換性を有しつつ、少なくとも２つの映像フォーマットと互換されるスケーラブル・ビットストリームを生成する映像符号化装置において、映像の色差成分に対してフィルタリングを行い、低周波帯域と残りの帯域とに分離する分析フィルタリング部と、前記映像の輝度成分と前記低周波帯域の色差成分とを符号化し、基本階層ビットストリームを生成する第１符号化部と、前記低周波帯域以外の残りの帯域の色差成分を符号化し、拡張階層ビットストリームを生成する第２符号化部と、前記基本階層ビットストリーム及び前記拡張階層ビットストリームを統合し、拡張階層識別子を含み、前記スケーラブル・ビットストリームを生成するビットストリーム統合部とを含む。
【０００８】
前記技術的課題を達成するために、本発明による映像復号化装置は、ビットストリームが拡張階層識別子を含むか否かを検査する拡張階層識別子検査部と、前記ビットストリームのうち、前記拡張階層識別子を含まない基本階層ビットストリームを復号化し、第１映像フォーマットの復元映像を生成する第１復号化部と、前記ビットストリームのうち、前記拡張階層識別子を含む拡張階層ビットストリームを復号化し、低周波帯域以外の残りの帯域の色差成分を生成する第２復号化部と、前記第１復号化部で生成された前記第１映像フォーマットの復元映像に含まれた低周波帯域の色差成分と、前記第２復号化部で生成された高周波帯域の色差成分とを合成し、前記第１映像フォーマットの復元映像に含まれた輝度成分と共に、第２映像フォーマットの復元映像を生成する合成フィルタリング部とを含む。
【０００９】
前記技術的課題を達成するために、本発明による映像復号化方法は、ビットストリームが拡張階層識別子を含むか否かを検査する段階と、前記ビットストリームのうち、前記拡張階層識別子を含まない基本階層ビットストリームを復号化し、第１映像フォーマットの復元映像を生成する段階と、前記ビットストリームのうち、前記拡張階層識別子を含む拡張階層ビットストリームを復号化し、低周波帯域以外の残りの帯域の色差成分を生成する段階と、前記第１映像フォーマットの復元映像に含まれた低周波帯域の色差成分と、前記残りの帯域の色差成分に含まれた高周波帯域の色差成分とを合成し、前記第１映像フォーマットの復元映像に含まれた輝度成分と共に、第２映像フォーマットの復元映像を生成する段階とを含む。
【００１０】
前記技術的課題を達成するために、本発明によるコンピュータで読み取り可能な記録媒体は、フォワード互換性を有しつつ、少なくとも２つの映像フォーマットと互換されるスケーラブル・ビットストリームを生成する映像符号化方法において、前記スケーラブル・ビットストリームは、拡張階層識別子と、映像に含まれた低周波帯域の色差成分と輝度成分とを符号化して形成される基本階層ビットストリームと、前記映像で、前記低周波帯域以外の残りの帯域の色差成分を符号化して形成される拡張階層ビットストリームとからなる方法を実行させるためのコンピュータで読取り可能なコードを記録する。
【００１１】
前記技術的課題を達成するために、本発明によるコンピュータで読み取り可能な記録媒体は、ビットストリームが拡張階層識別子を含むか否かを検査する段階と、前記ビットストリームのうち、前記拡張階層識別子を含まない基本階層ビットストリームを復号化し、第１映像フォーマットの復元映像を生成する段階と、前記ビットストリームのうち、前記拡張階層識別子を含む拡張階層ビットストリームを復号化し、低周波帯域以外の残りの帯域の色差成分を生成する段階と、前記第１映像フォーマットの復元映像に含まれた低周波帯域の色差成分と、前記残りの帯域の色差成分に含まれた高周波帯域の色差成分とを合成し、前記第１映像フォーマットの復元映像に含まれた輝度成分と共に、第２映像フォーマットの復元映像を生成する段階とを含む映像復号化方法を実行するためのコンピュータで読取り可能なコードを記録する。
【発明の効果】
【００１２】
本発明によるビデオコーデックは、フォワード互換性を提供するので、モバイルホン、ＤＶＤプレーヤ、携帯用ミュージックプレーヤあるいはカーステレオのような、有線あるいは無線の電子機器に搭載された改善されたビデオコーデックだけではなく、既存の基本ビデオコーデックにも採用されるなど、支援する映像フォーマットに関係なくして多様なビデオコーデックに適用できるメリットがある。
【図面の簡単な説明】
【００１３】
【図１】本発明によるスケーラブル映像符号化装置及びスケーラブル映像復号化装置の概念を説明するための図である。
【図２】本発明によるスケーラブル映像符号化装置から得られるスケーラブル・ビットストリームのシンタックスの一例を示す図である。
【図３Ａ】図２に図示された拡張階層シーケンスレベルに含まれる情報の例を示す図である。
【図３Ｂ】図２に図示された拡張階層ピクチャデータに含まれる情報の例を示す図である。
【図４】本発明によるスケーラブル映像符号化装置で、拡張階層識別子をローディングするための区間としてのスタートコードの例を示す図である。
【図５】本発明によるスケーラブル映像符号化装置の第１実施形態による構成を示したブロック図である。
【図６】本発明によるスケーラブル映像復号化装置の第１実施形態による構成を示したブロック図である。
【図７】本発明によるスケーラブル映像符号化装置の第２実施形態による構成を示したブロック図である。
【図８】本発明によるスケーラブル映像復号化装置の第２実施形態による構成を示したブロック図である。
【図９Ａ】フォワード互換性を有する４：２：０映像フォーマットを支援する映像復号化装置の一実施形態の構成を示したブロック図である。
【図９Ｂ】フォワード互換性を有する４：２：２映像フォーマットを支援する映像復号化装置の一実施形態の構成を示したブロック図である。
【図１０Ａ】図５及び図７における符号化部の一実施形態の構成を示したブロック図である。
【図１０Ｂ】図６、図８、図９Ａ及び図９Ｂにおける復号化部の一実施形態の構成を示したブロック図である。
【図１１Ａ】４：４：４映像フォーマットについて説明する図である。
【図１１Ｂ】４：４：４映像フォーマットについて説明する図である。
【図１２Ａ】４：２：２映像フォーマットについて説明する図である。
【図１２Ｂ】４：２：２映像フォーマットについて説明する図である。
【図１３Ａ】４：２：０映像フォーマットについて説明する図である。
【図１３Ｂ】４：２：０映像フォーマットについて説明する図である。
【図１４】映像フォーマットを拡張させるためのウェーブレット基盤の分析フィルタ及び合成フィルタの適用について説明する図である。
【図１５】リフティング構造を利用した分析フィルタ及び合成フィルタの適用について説明する図である。
【図１６Ａ】リフティング構造の分析フィルタと合成フィルタとを垂直方向に色差成分に適用し、４：２：０映像フォーマットを４：２：２映像フォーマットに拡張するスケーラブル符号化過程を示した図である。
【図１６Ｂ】リフティング構造の分析フィルタと合成フィルタとを垂直方向に色差成分に適用し、４：２：０映像フォーマットを４：２：２映像フォーマットに拡張するスケーラブル復号化過程を示した図である。
【図１７Ａ】リフティング構造の分析フィルタと合成フィルタとを水平／垂直方向に色差成分に適用し、４：２：０映像フォーマットを４：２：２あるいは４：４：４映像フォーマットに拡張するスケーラブル符号化過程を示した図である。
【図１７Ｂ】リフティング構造の分析フィルタと合成フィルタとを水平／垂直方向に色差成分に適用し、４：２：０映像フォーマットを４：２：２あるいは４：４：４映像フォーマットに拡張するスケーラブル復号化過程を示した図である。
【図１８】リフティング構造のHaarフィルタを一次元画素アレイに適用した例を示した図である。
【図１９】リフティング構造の５／３タップウェーブレット・フィルタを一次元画素アレイに適用した例を示した図である。
【図２０】４：２：０映像フォーマットを４：２：２映像フォーマットに拡張するためのビットストリームの階層構造を示した図である。
【図２１】４：２：０映像フォーマットを４：２：２及び４：４：４映像フォーマットに拡張するためのビットストリームの階層構造を示した図である。
【図２２】２：１ダウンサンプリングのために、奇数対称フィルタを適用した例を示した図である。
【図２３】２：１ダウンサンプリングのために、偶数対称フィルタを適用した例を示した図である。
【図２４】奇数対称フィルタの場合、フィルタ値の分布の例を示した図である。
【図２５】偶数対称フィルタの場合、フィルタ値の分布の例を示した図である。
【発明を実施するための形態】
【００１４】
以下、添付された図面を参照しつつ、本発明の望ましい実施形態について詳細に説明する。
【００１５】
図１は、本発明による映像符号化装置及び映像復号化装置の概念について説明するためのものであり、エンコーダパートは、基本エンコーダの役割を行う第１エンコーダ１１３と、改善されたエンコーダの役割を行う第２エンコーダ１１７とを例にとり、デコーダパートは、基本デコーダの役割を行い、第１エンコーダ１１３に対応する第１デコーダ１５３と、改善されたデコーダの役割を行い、第２エンコーダ１１７に対応する第２デコーダ１５７とを例にとる。一実施形態で、第１エンコーダ１１３は、第１映像フォーマットによるビットストリームを生成し、第２エンコーダ１１７は、第１映像フォーマットを支援しつつ、第２映像フォーマット及び／または第３映像フォーマットによるスケーラブル・ビットストリームを生成する。
【００１６】
説明の便宜のために、第１映像フォーマットは、４：２：０、第２映像フォーマットは、４：２：２、第３映像フォーマットは、４：４：４を例にとる。これによれば、第１エンコーダ１１３の一例として、４：２：０映像フォーマットを支援するＶＣ−１エンコーダが採択されうる。
【００１７】
図１を参照するに、第１エンコーダ１１３で生成されたビットストリーム１３１は、第１デコーダ１５３だけではなく、第２デコーダ１５７でも復号化が遂行されうる。第２エンコーダ１１７で生成されたスケーラブル・ビットストリーム１３７は、第２デコーダ１５７で復号化が遂行され、第１デコーダ１５３では、スケーラブル・ビットストリームに含まれた拡張階層ビットストリームを無視した状態で、基本階層ビットストリームに対して復号化が遂行されうる。かようなフォワード互換性（forward  compatability）を提供できる第２エンコーダ１１７が本発明の映像符号化装置に該当し、第２デコーダ１５７が本発明の映像復号化装置に該当する。
【００１８】
図２は、本発明による映像符号化装置から得られるスケーラブル・ビットストリームのシンタックスの一例を示すものであり、基本階層ビットストリームと拡張階層ビットストリームとからなる。
【００１９】
図２を参照するに、スケーラブル・ビットストリームは、具体的に、基本階層のシーケンスレベル２１１、拡張階層のシーケンスレベル２１３、基本階層のＧＯＰ（group  of  pictures）レベル２１５、拡張階層のＧＯＰレベル２１７、拡張階層のピクチャレベル２１９、基本階層のピクチャレベル２２１、基本階層のピクチャデータ２２３及び拡張階層のピクチャデータ２２５を含んでなる。ここで、拡張階層のピクチャレベル２１９が、基本階層のピクチャレベル２２１の前に位置しているが、拡張階層のピクチャレベル２１９が、基本階層のピクチャレベル２２１の後に位置することも可能である。一方、基本階層のＧＯＰレベル２１５と拡張階層のＧＯＰレベル２１７は、オプションとして備わりうる。
【００２０】
ここで、シーケンスは、少なくとも一つ以上の符号化されたピクチャ、あるいは少なくとも一つ以上のＧＯＰによって構成される。ＧＯＰは、少なくとも一つ以上の符号化されたピクチャによって構成され、ＶＣ−１ビデオコーデック（codec）の場合、エントリポイント（entry-point）が使われもする。ここで、各ＧＯＰで、最初のピクチャは、ランダムアクセスを提供できる。一方、ピクチャは、マクロブロックに分解され、映像フォーマットが４：２：０である場合、各マクロブロックは、４個の輝度ブロックと２個の色差ブロックとからなる。
【００２１】
図３Ａ及び図３Ｂは、図２に図示された各レベルに含まれる情報の例を示すものである。図３Ａは、拡張階層シーケンスレベル２１３に含まれる情報であり、拡張階層で提供できる付加プロファイル及びレベル３１１、及び映像フォーマット３１３を含む。ここで、映像フォーマット３１３は、基本階層シーケンスレベル２１１で定義することが可能な場合、拡張階層シーケンスレベル２１３に含めなくてもよい。図３Ｂは、拡張階層ピクチャデータレベル２２５に含まれる情報であり、変更された映像フォーマットに対応する第１帯域の色差映像３１５、あるいは第２帯域の色差映像３１７を含む。
【００２２】
図４は、本発明による映像符号化装置から得られるスケーラブル・ビットストリームにおいて、拡張階層識別子を含み、拡張階層と関連した情報をローディングするための領域について説明するためのものである。第１エンコーダ１１３がＶＣ−１エンコーダである場合、一実施形態では、４バイト単位のスタートコード（start  code）を使用する。ＶＣ−１エンコーダである場合、スタートコードは、アドバンスト・プロファイル（advanced  profile）以上で支援されうる。一方、スタートコードは、各レベルのヘッダの最初の領域に含まれうる。
【００２３】
図４を参照し、一実施形態として使われたＶＣ−１のスタートコードで、拡張階層と関連した情報をローディングする過程について説明する。スタートコードにおいて、サフィックス（suffix）に定義されるＢＤＵ（bitstream  data  unit）タイプのうち、未来の使用のために予約された予備領域（reserved area）４５１，４５２，４５３，４５４を、拡張階層と関連した情報をローディングするために使用する。ここで、ＢＤＵは、同じ階層レベルにある他の情報とは、独立してパージングされうる圧縮データ単位を意味し、例えば、シーケンス・ヘッダ、エントリポイント・ヘッダ、符号化されたピクチャあるいはスライスでありうる。スタートコードのサフィックスに定義されるＢＤＵタイプのうち、禁止（forbidden）領域４２２以外の残りの領域４１１〜４２１は、基本階層と関連した情報をローディングするためのものである。ここで、スタートコードは一例に過ぎず、ビットストリームの構成要素のうち、他の部分を使用することもできる。
【００２４】
一方、拡張階層は、シーケンスレベル、ＧＯＰレベル、フレームレベル、フィールドレベル及びスライスレベルを含む。拡張階層の情報は、一実施形態で、第２予備領域４５２及び第４予備領域４５４のうち、いずれか一つに含まれうる。具体的に述べれば、第２予備領域４５２のうち「０ｘ０９」、あるいは第４予備領域４５４のうち「０ｘ４０」として、拡張階層のシーケンスレベルに係わるヘッダにスタートコードが含まれ、第２予備領域４５２のうち「０ｘ０８」、あるいは第４予備領域４５４のうち「０ｘ３Ｆ」として、拡張階層のＧＯＰレベルに係わるヘッダにスタートコードが含まれ、第２予備領域４５２のうち「０ｘ０７」、あるいは第４予備領域４５４のうち「０ｘ３Ｅ」として、拡張階層のフレームレベルに係わるヘッダにスタートコードが含まれ、第２予備領域４５２のうち「０ｘ０６」、あるいは第４予備領域４５４のうち「０ｘ３Ｄ」として、拡張階層のフィールドレベルに係わるヘッダにスタートコードが含まれ、第２予備領域４５２のうち「０ｘ０６」、あるいは第４予備領域４５４のうち「０ｘ３Ｃ」として、拡張階層のデータに係わるヘッダに拡張色差データのためのスタートコードが含まれる。
【００２５】
これについてさらに細部的に説明すれば、次の通りである。
【００２６】
第２予備領域４５２のうち「０ｘ０９」として定義される拡張階層シーケンスレベルに係わるヘッダのスタートコードに含めることができる情報としては、基本階層以外に、拡張階層によって達成できる付加的なプロファイル及びレベル情報、及び映像フォーマット情報を挙げることができる。具体的に、基本階層のシーケンスレベルでプロファイルは、２ビットで定義され、「３」はアドバンスト・プロファイルを、「０−２」は予備領域を示す。
【００２７】
一方、レベルは３ビットで定義され、「０００」は、ＡＰ＠ＬＯ、「００１」はＡＰ＠Ｌ１、「０１０」はＡＰ＠Ｌ２、「０１１」はＡＰ＠Ｌ３、「１００」はＡＰ＠Ｌ４、「１０１−１１１」は予備領域を示す。拡張階層に係わる情報として含まれうる拡張された映像フォーマット情報は、基本階層のシーケンスレベルに含まれる変数、例えば、ＶＣ−１エンコーダである場合、「ＣＯＬＯＲＤＩＦＦ」変数を活用して示したり、第２予備領域４５２のうち「０ｘ０９」に含めることができる。すなわち、基本階層の変数を活用する場合、拡張階層では、変更される映像フォーマット情報を別途に伝送する必要がない。「ＣＯＬＯＲＤＩＦＦ」変数の例について述べれば、「１」は、４：２：０映像フォーマットを定義するのに使用し、「２」と「３」は、予備領域として指定されているので、望ましくは、４：２：２映像フォーマットと４：４：４映像フォーマットとを定義するのに使用できる。一方、拡張階層に係わる情報として、付加的なＨＲＤ（hypothetical  reference  decoder）変数が含まれうる。ＨＲＤ変数は、仮想ビデオバッファ変数であり、デコーダで、バッファ運用のために参考にする変数である。
【００２８】
第２予備領域４５２のうち「０ｘ０８」として定義される拡張階層ＧＯＰレベルに係わるヘッダのスタートコードは、映像フォーマットがＧＯＰ単位に変更されない場合には、不要であるので、予備領域として指定され、映像フォーマットがＧＯＰ単位に変更される場合、必要となる。
【００２９】
第２予備領域４５２のうち「０ｘ０５」として定義される拡張階層のデータのヘッダに係わるスタートコードは、基本階層と比較し、拡張階層の映像フォーマットが変更されない場合に不要なので、予備領域として指定される。すなわち、基本階層と拡張階層との映像フォーマットが互いに異なる場合、例えば、基本階層の映像フォーマットが４：２：０であり、拡張階層の映像フォーマットが４：２：２であるか、基本階層の映像フォーマットが４：２：０であり、拡張階層の映像フォーマットが４：４：４である場合、４個の輝度ブロックと２個の色差ブロックとに係わるデータを、基本階層から伝送すると同時に、拡張階層では、変更された映像フォーマットを支援できるように、映像フォーマットに対応して第１帯域の色差映像、あるいは第２帯域の色差映像を伝送する。一方、４個の輝度ブロックに係わるデータは、映像フォーマットに関係なくして同一であるので、拡張階層から別途のデータを伝送する必要はない。
【００３０】
一方、前記拡張階層と関連した情報は、図４に記載されたスタートコードに制限されるものではなく、シーケンスレベル、ＧＯＰレベル、ピクチャレベル、マクロブロックレベル、ブロックレベルで、未来の使用のために残した予備領域に含まれうる。また、ビットストリームを伝送するために、映像ビットストリームをペイロード（payload）にし、これをパッケージングするシステム階層やネットワーク・プロトコルの多様な階層に、多様な形態として拡張階層識別子を含むこともできる。
【００３１】
図５は、本発明による映像符号化装置の第１実施形態による構成を示したブロック図であり、第１分析フィルタリング部５１０、第１符号化部５３０、第２符号化部５５０及び第１ビットストリーム統合部５７０を含んでなる。この場合、第１分析フィルタリング部５１０、第１符号化部５３０、第２符号化部５５０及び第１ビットストリーム統合部５７０は、少なくとも一つ以上のプロセッサ（図示せず）でもって具現されうる。
【００３２】
図５を参照するに、第１分析フィルタリング部５１０は、４：２：２原映像の色差成分に対してフィルタリングを行い、低周波帯域と高周波帯域とに分離する。このとき望ましくは、垂直ウェーブレット・フィルタリング（wavelet  filtering）が適用されうる。分離された低周波帯域の色差成分は、第１符号化部５３０に、分離された高周波帯域の色差成分は、第２符号化部５５０にそれぞれ提供される。
【００３３】
第１符号化部５３０は、４：２：２原映像の輝度成分と、低周波帯域の色差成分とを入力として４：２：０映像に再構成し、再構成された４：２：０映像を符号化し、基本階層ビットストリームを生成する。
【００３４】
第２符号化部５５０は、第１分析フィルタリング部５１０から提供される高周波帯域の色差成分を符号化し、４：２：２映像を構成するための拡張階層ビットストリームを生成する。
【００３５】
第１ビットストリーム統合部５７０は、第１符号化部５３０から提供される基本階層ビットストリームと、第２符号化部５５０から提供される４：２：２映像フォーマットを構成するための拡張階層ビットストリームとを統合し、拡張階層識別子を含んでスケーラブル・ビットストリームを生成する。
【００３６】
図６は、図５に図示された映像符号化装置に対応し、本発明による映像復号化装置の第１実施形態による構成を示したブロック図であり、第１拡張階層識別子検査部６１０、第１復号化部６３０、第１スイッチング部６５０、第２復号化部６７０及び第１合成フィルタリング部６９０を含んでなる。第１拡張階層識別子検査部６１０、第１復号化部６３０、第１スイッチング部６５０、第２復号化部６７０及び第１合成フィルタリング部６９０は、少なくとも一つ以上のプロセッサ（図示せず）でもって具現されうる。
【００３７】
図６を参照するに、第１拡張階層識別子検査部６１０は、ビットストリームが拡張階層識別子を含んでいるか否かを検査し、拡張階層識別子を含まない場合、入力されたビットストリーム、すなわち、基本階層ビットストリームをそのまま第１復号化部６３０に提供する。一方、拡張階層識別子を含む場合、入力されるビットストリーム、すなわち、スケーラブル・ビットストリームから、基本階層ビットストリームと拡張階層ビットストリームとを分離し、それぞれ第１復号化部６３０と第２復号化部６７０とに提供する。一方、拡張階層識別子を含むか否かによって、第１スイッチング部６５０を切り替えるための第１制御信号を出力する。
【００３８】
第１復号化部６３０は、拡張階層識別子を含むか否かに関係なく、第１拡張階層識別子検査部６１０から提供される基本階層ビットストリームに対して復号化を行い、４：２：０復元映像を生成する。
【００３９】
第１スイッチング部６５０は、第１拡張階層識別子検査部６１０から提供される第１制御信号によって動作し、第１復号化部６３０から提供される４：２：０復元映像をそのまま出力したり、第１合成フィルタリング部６９０に提供する。すなわち、第１制御信号が拡張階層識別子を含まないことを意味する場合、第１スイッチング部６５０で、端子ａと端子ｂとが連結され、第１復号化部６３０から提供される４：２：０復元映像は、そのまま出力される。第１制御信号が拡張階層識別子を含むことを意味する場合、第１スイッチング部６５０で、端子ａと端子ｃとが連結され、第１復号化部６３０から提供される４：２：０復元映像は、第１合成フィルタリング部６９０に提供される。
【００４０】
第２復号化部６７０は、ビットストリームに拡張階層識別子が含まれた場合、第１拡張階層識別子検査部６１０から提供される拡張階層ビットストリームに対して復号化を行い、復元された高周波帯域の色差成分を生成する。
【００４１】
第１合成フィルタリング部６９０は、第１スイッチング部６５０から提供される４：２：０復元映像と、第２復号化部６７０から提供される復元された高周波帯域の色差成分とを入力とし、４：２：０復元映像に含まれた低周波帯域の色差成分と、復元された高周波帯域の色差成分とに対してフィルタリングを行い、４：２：２復元映像を生成する。このとき望ましくは、第１分析フィルタリング部５１０に対応し、垂直ウェーブレット・フィルタリングを適用できる。
【００４２】
これによれば、図６に図示された映像復号化装置は、４：２：０映像フォーマットを支援する映像符号化装置で生成されたビットストリーム、あるいは４：２：０及び４：２：２映像フォーマットを支援する映像符号化装置で生成されたビットストリームに対して、いずれも復号化が可能である。
【００４３】
図７は、本発明による映像符号化装置の第２実施形態による構成を示したブロック図であり、第２分析フィルタリング部７１０、第３符号化部７３０、第４符号化部７５０、第５符号化部７７０及び第２ビットストリーム統合部７９０を含んでなる。この場合、第２分析フィルタリング部７１０、第３符号化部７３０、第４符号化部７５０、第５符号化部７７０及び第２ビットストリーム統合部７９０は、少なくとも一つ以上のプロセッサ（図示せず）でもって具現されうる。
【００４４】
図７を参照するに、第２分析フィルタリング部７１０は、４：４：４原映像の色差成分に対してフィルタリングを行い、複数個の帯域に分離する。このとき望ましくは、水平及び垂直のウェーブレット・フィルタリングを順次に適用できる。具体的に、まず４：４：４原映像に対して水平方向の分析フィルタ（図示せず）を適用し、低周波帯域と高周波帯域とに分離する。分離された低周波帯域と高周波帯域とに対してさらに、水平方向の分析フィルタ（図示せず）を適用し、低周波−低周波帯域（ＬＬ帯域）、高周波−低周波帯域（ＨＬ帯域）、低周波−高周波帯域（ＬＨ帯域）、高周波−高周波帯域（ＨＨ帯域）に分離する。一方、垂直方向の分析フィルタと水平方向の分析フィルタは、第２分析フィルタリング部７１０に含まれる。このうち、分離されたＬＬ帯域の色差成分は、第３符号化部７３０に、分離されたＬＨ帯域の色差成分は、第４符号化部７５０に、分離されたＨＬ帯域及びＨＨ帯域の色差成分は、第５符号化部７７０にそれぞれ提供される。
【００４５】
第３符号化部７３０は、４：４：４原映像の輝度成分と、ＬＬ帯域の色差成分とを入力として４：２：０映像に再構成し、再構成された４：２：０映像を符号化し、基本階層ビットストリームを生成する。
【００４６】
第４符号化部７５０は、第２分析フィルタリング部７１０から提供されるＬＨ帯域の色差成分を符号化し、４：２：２映像を構成するための第１拡張階層ビットストリームを生成する。
【００４７】
第５符号化部７７０は、第２分析フィルタリング部７１０から提供されるＨＬ帯域及びＨＨ帯域の色差成分を符号化し、４：４：４映像を構成するための第２拡張階層ビットストリームを生成する。
【００４８】
第２ビットストリーム統合部７９０は、第３符号化部７３０から提供される基本階層ビットストリーム、第４符号化部７５０から提供される第１拡張階層ビットストリーム及び第５符号化部７７０から提供される第２拡張階層ビットストリームを統合し、拡張階層識別子を含んでスケーラブル・ビットストリームを生成する。
【００４９】
図８は、図７に図示された映像符号化装置に対応し、本発明による映像復号化装置の第２実施形態による構成を示したブロック図であり、第２拡張階層識別子検査部８１０、第３復号化部８２０、第２スイッチング部８３０、第４復号化部８４０、第２合成フィルタリング部８５０、第５復号化部８６０及び第３合成フィルタリング部８７０を含んでなる。この場合、第２拡張階層識別子検査部８１０、第３復号化部８２０、第２スイッチング部８３０、第４復号化部８４０、第２合成フィルタリング部８５０、第５復号化部８６０及び第３合成フィルタリング部８７０は、少なくとも一つ以上のプロセッサ（図示せず）でもって具現されうる。
【００５０】
図８を参照するに、第２拡張階層識別子検査部８１０は、ビットストリームが拡張階層識別子を含んでいるか否かを検査し、拡張階層識別子を含まない場合、入力されたビットストリーム、すなわち、基本階層ビットストリームをそのまま第３復号化部８２０に提供する。一方、拡張階層識別子を含む場合、入力されるビットストリーム、すなわち、スケーラブル・ビットストリームから、基本階層ビットストリーム、第１拡張階層ビットストリーム、第２拡張階層ビットストリームを分離し、それぞれ第３復号化部８２０、第４復号化部８４０及び第５復号化部８６０に提供する。一方、拡張階層識別子を含むか否かによって、第２スイッチング部８３０を切り替えるための第２制御信号を出力する。
【００５１】
第３復号化部８２０は、拡張階層識別子を含むか否かに関係なく、第２拡張階層識別子検査部８１０から提供される基本階層ビットストリームに対して復号化を行い、４：２：０映像フォーマットの復元映像を生成する。
【００５２】
第２スイッチング部８３０は、第２拡張階層識別子検査部８１０から提供される第２制御信号によって動作し、第３復号化部８２０から提供される４：２：０復元映像をそのまま出力したり、第２合成フィルタリング部８５０に提供する。すなわち、第２制御信号が拡張階層識別子を含まないことを意味する場合、第２スイッチング部８３０で、端子ａと端子ｂとが連結され、第３復号化部８２０から提供される４：２：０復元映像は、そのまま出力される。第２制御信号が拡張階層識別子を含むことを意味する場合、第２スイッチング部８３０で、端子ａと端子ｃとが連結され、第３復号化部８２０から提供される４：２：０復元映像は、第２合成フィルタリング部８５０に提供される。
【００５３】
第４復号化部８４０は、ビットストリームに拡張階層識別子が含まれた場合、第２拡張階層識別子検査部８１０から提供される第１拡張階層ビットストリームに対して復号化を行い、復元されたＬＨ帯域の色差成分を生成する。
【００５４】
第２合成フィルタリング部８５０は、第２スイッチング部８３０から提供される４：２：０復元映像と、第４復号化部８４０から提供される復元されたＬＨ帯域の色差成分とを入力とし、４：２：０復元映像に含まれたＬＬ帯域の色差成分と、復元されたＬＨ帯域の色差成分とに対してフィルタリングを行い、４：２：２復元映像を生成する。このとき望ましくは、第２分析フィルタリング部８１０に対応し、垂直ウェーブレット・フィルタリングを適用できる。第２合成フィルタリング部８５０で生成される４：２：２復元映像は、必要によってそのまま出力されたり、第３合成フィルタリング部８７０に提供される。
【００５５】
第５復号化部８６０は、ビットストリームに拡張階層識別子が含まれた場合、第２拡張階層識別子検査部８１０から提供される第２拡張階層ビットストリームに対して復号化を行い、復元されたＨＬ帯域及びＨＨ帯域の色差成分を生成する。
【００５６】
第３合成フィルタリング部８７０は、第２合成フィルタリング部８５０から提供される４：２：２復元映像と、第５復号化部８６０から提供される復元されたＨＬ帯域及びＨＨ帯域の色差成分とを入力とし、４：２：２復元映像に含まれたＬＬ帯域及びＬＨの色差成分と、復元されたＨＬ帯域及びＨＨ帯域の色差成分とに対してフィルタリングを行い、４：４：４復元映像を生成する。このとき望ましくは、第２分析フィルタリング部８１０に対応し、水平方向の合成フィルタによるウェーブレット・フィルタリングを適用できる。
【００５７】
これによれば、図８に図示された映像復号化装置は、４：２：０映像フォーマットと互換される映像符号化装置で生成されたビットストリーム、あるいは４：２：０／４：２：２／４：４：４映像フォーマットと互換される映像符号化装置で生成されたビットストリームに対して、いずれも復号化が可能である。
【００５８】
図９Ａはフォワード互換性を有し、４：２：０映像フォーマットと互換される映像復号化装置の一実施形態、図９Ｂは、フォワード互換性を有し、４：２：２映像フォーマットと互換される映像復号化装置の一実施形態の構成を示したブロック図である。図９Ａに図示された映像復号化装置は、第３拡張階層識別子検査部９１１及び第６復号化部９１３を含んでなり、図９Ｂに図示された映像復号化装置は、第４拡張階層識別子検査部９３１、第７復号化部９３３、第８復号化部９３５、第９復号化部９３７及び第４合成フィルタリング部９３９を含んでなる。
【００５９】
図９Ａを参照するに、第３拡張階層識別子検査部９１１は、ビットストリームが拡張階層識別子を含んでいるか否かを検査し、拡張階層識別子を含まない場合、入力されたビットストリーム、すなわち、基本階層ビットストリームをそのまま第６復号化部９１３に提供する。一方、拡張階層識別子を含む場合、入力されるビットストリーム、すなわち、スケーラブル・ビットストリームから基本階層ビットストリームを抽出し、第６復号化部９１３に提供する。
【００６０】
第６復号化部９１３は、第３拡張階層識別子検査部９１１から提供される４：２：０映像フォーマットのビットストリーム、あるいは基本階層ビットストリームを復号化し、４：２：０復元映像を生成する。
【００６１】
これによれば、図９Ａに図示された映像復号化装置は、通常の４：２：０映像フォーマットと互換される映像符号化装置から提供されたビットストリームに対して復元できるだけではなく、スケーラブル・ビットストリームが入力されても基本階層ビットストリームを抽出して復元できる。
【００６２】
一方、図９Ｂを参照するに、第４拡張階層識別子検査部９３１は、ビットストリームが拡張階層識別子を含んでいるか否かを検査し、拡張階層識別子を含まない場合、入力されたビットストリーム、すなわち、基本階層ビットストリームをそのまま第７復号化部９３３に提供する。一方、拡張階層識別子を含む場合、入力されるビットストリーム、すなわち、スケーラブル・ビットストリームから、基本階層ビットストリームと第１拡張階層ビットストリームとを抽出し、それぞれ第８復号化部９３５と第９復号化部９３７とに提供する。
【００６３】
第８復号化部９３５は、第４拡張階層識別子検査部９３１から提供される基本階層ビットストリームを復号化し、４：２：０復元映像を生成し、生成された４：２：０復元映像を、第４合成フィルタリング部９３９に提供する。
【００６４】
第９復号化部９３７は、第４拡張階層識別子検査部９３１から提供される第１拡張階層ビットストリームに対して復号化を行い、復元されたＬＨ帯域の色差成分を生成する。
【００６５】
第４合成フィルタリング部９３９は、第８復号化部９３５から提供される４：２：０復元映像と、第９復号化部９３７から提供される復元されたＬＨ帯域の色差成分とを入力とし、４：２：０復元映像に含まれたＬＬ帯域の色差成分と、復元されたＬＨ帯域の色差成分とに対してフィルタリングを行い、４：２：２復元映像を生成する。このとき望ましくは、第２分析フィルタリング部８１０に対応し、垂直ウェーブレット・フィルタリングを適用できる。
【００６６】
図９Ｂに図示された映像復号化装置は、通常の４：２：２映像フォーマットを支援する映像符号化装置から提供されたビットストリームに対して復元できるだけではなく、スケーラブル・ビットストリームが入力されても、基本階層ビットストリームと、第１拡張階層ビットストリームとを抽出して復元できる。
【００６７】
図１０Ａは、図５及び図７において符号化部５３０，５５０，７３０，７５０，７７０、図１０Ｂは、図６、図８、図９Ａ及び図９Ｂにおいて、復号化部６３０，６７０，８２０，８４０，８６０，９１３，９３３，９３５，９３７の一実施形態の構成を示したブロック図であり、ＭＰＥＧ−２、ＭＰＥＧ−４、Ｈ．２６４などに広く使われるＭＣ−ＤＣＴ（Motion-Compensated  Discrete  Cosine  Transform）ビデオコーデックを示し、これに限定されるものではなく、応用によって、修正あるいは変形が加えられうる。図１０Ａに図示された符号化部は、減算部１０１１、変換部１０１２、量子化部１０１３、エントロピ符号化部１０１４、第１逆量子化部１０１５、第１逆変換部１０１６、第１加算部１０１７及び第１予測部１０１８を含んでなる。図１０Ｂに図示された復号化部は、エントロピ復号化部１０３１、第２逆量子化部１０３２、第２逆変換部１０３３、第２加算部１０３４及び第２予測部１０３５を含んでなる。図１０Ａ及び図１０Ｂに図示された符号化部及び復号化部については、広く公知されているので、ここでは、その細部的な動作説明を省略する。
【００６８】
図１１Ａ及び図１１Ｂは、４：４：４映像フォーマットを示し、ここでは、１フレームに対して、輝度成分と色差成分とが同じ解像度を有し、色差成分は、輝度成分と位相が一致する。
【００６９】
図１２Ａ及び図１２Ｂは、４：２：２映像フォーマットを示し、色差成分を２：１にサンプリングし、水平方向に解像度を減らしたものである。この場合には、１つの画素位置についてダウンサンプリングされた色差成分と輝度成分との位相が、垂直及び垂直の方向に一致する。
【００７０】
図１３Ａ及び図１３Ｂは、４：２：０映像フォーマットを示し、色差成分を垂直及び水平の方向に、それぞれ２：１にサンプリングし、解像度を減らしたものである。この場合には、１つの画素位置についてダウンサンプリングされた色差成分と輝度成分との間に、水平方向には位相が一致するが、垂直方向には、０．５画素ほどの位相シフトが発生する。かような位相シフトは、適用される分析フィルタによって変わりうる。ここで、「Ｘ」は輝度成分、「Ｏ」は色差成分を示す。
【００７１】
図１４は、映像フォーマットを拡張させるためのウェーブレット基盤の分析フィルタ及び合成フィルタの適用について説明する図であり、輝度成分は変更させずに、色差成分のみその解像度を変更させる。符号化過程について述べれば、４：４：４映像に含まれた色差成分１４００に対して、水平方向にウェーブレット分析フィルタリング１４１０を行い、低周波帯域であるＬ帯域の色差成分１４２１と、高周波帯域であるＨ帯域の色差成分１４２３とに分離する。このとき、Ｌ帯域の色差成分１４２１と輝度成分は、４：２：２映像を構成する。Ｌ帯域の色差成分１４２１とＨ帯域の色差成分１４２３とに対して、垂直方向にウェーブレット分析フィルタリング１４３０を行い、Ｌ帯域１４２１からＬＬ帯域１４４１及びＬＨ帯域１４４２、Ｈ帯域１４２３からＨＬ帯域１４４３及びＨＨ帯域１４４４に分離する。このとき、ＬＬ帯域の色差成分１４４１と輝度成分は、４：２：０映像を構成する。ここでさらにＬＨ帯域の色差成分１４４２を追加すれば、４：２：２映像を構成する。その後、残りの帯域、すなわち、ＨＬ帯域１４４３及びＨＨ帯域１４４４を追加すれば、４：４：４映像を構成する。
【００７２】
復号化過程について述べれば、符号化過程の逆であって、ＬＬ帯域１４４１、ＬＨ帯域１４４２、ＨＬ帯域１４４３、ＨＨ帯域１４４４に対して、垂直方向にウェーブレット合成フィルタリング１４５０を行い、低周波帯域であるＬ帯域の色差成分１４６１と、高周波帯域であるＨ帯域の色差成分１４６３とを生成する。このとき、Ｌ帯域の色差成分１４６１と輝度成分は、４：２：２映像を構成する。Ｌ帯域の色差成分１４６１と、Ｈ帯域の色差成分１４６３とに対して、水平方向にウェーブレット合成フィルタリング１４７０を行い、４：４：４映像に含まれる色差成分１４８０を生成する。色差成分１４８０と輝度成分は、４：４：４映像を構成する。
【００７３】
図１５は、リフティング（lifting）構造を利用した分析フィルタ１５１０及び合成フィルタ１５３０の適用について説明する図である。まず、符号化過程に、分析フィルタ１５１０を適用することによって、映像を、低周波数成分で構成された低周波帯域値と、高周波数成分で構成された高周波帯域値とに分離できる。具体的に、偶数位置にある画素値から予測値を求め、予測値と奇数位置にある画素値との差分値を求めて高周波帯域値に構成する。この高周波帯域値を更新値に設定し、更新値をさらに偶数位置にある画素値に加算し、低周波帯域値に構成する。リフティング構造を利用した分析フィルタ１５１０の結果、すなわち、（ｘ，ｙ）位置にある画素の高周波帯域値Ｈ［ｘ］［ｙ］と低周波帯域値Ｌ［ｘ］［ｙ］は、次の式（１）のように示すことができる。
【００７４】
Ｈ［ｘ］［ｙ］＝ｓ［ｘ］［２ｙ＋１］−Ｐ（ｓ［ｘ］［２ｙ］）
Ｌ［ｘ］［ｙ］＝ｓ［ｘ］［２ｙ］＋ＵＨ［ｘ］［ｙ］                （１）
ここで、リフティング構造を適用するための予測値Ｐ（．）と更新値Ｕ（．）は、次の式（２）のように示すことができる。
【００７５】
【数１】
2010531609.tif 000003
一方、Haarフィルタあるいは５／３タップウェーブレット・フィルタを適用する場合、予測値Ｐ（．）と更新値Ｕ（．）は、それぞれ次の式（３）及び式（４）のように示すことができる。
【００７６】
【数２】
2010531609.tif 000004
一方、復号化過程に使われる合成フィルタ１５３０の適用は、分析フィルタ１５１０と逆順の過程を経て、低周波帯域値と高周波帯域値とを合成して画素値を復元する。具体的に、高周波帯域値を更新値に設定し、更新値を低周波帯域値から減算し、偶数位置にある画素値を求める。偶数位置にある画素値から予測値を求め、予測値を高周波帯域値に加え、奇数位置にある画素値を求める。リフティング構造を利用した合成フィルタ１５３０の結果、すなわち、（ｘ，２ｙ）である偶数位置及び（ｘ，２ｙ＋１）である奇数位置にある画素値は、次の式（５）のように示すことができる。
【００７７】
ｓ［ｘ］［２ｙ］＝Ｌ［ｘ］［ｙ］−ＵＨ［ｘ］［ｙ］
ｓ［ｘ］［２ｙ＋１］＝Ｈ［ｘ］［ｙ］＋Ｐ（ｓ［ｘ］［２ｙ］）      （５）
前記のリフティング構造の分析フィルタ１５１０と合成フィルタ１５３０とを適用すれば、無損失復元が可能であるという長所がある。従って、これを利用するスケーラブル映像符号化の場合、基本階層と拡張階層とをいずれも復元すれば、高品質の映像復元が可能である。
【００７８】
図１６Ａ及び図１６Ｂは、リフティング構造の分析フィルタと合成フィルタとを、垂直方向に色差成分に適用して階層構造に構成することによって、４：２：０映像フォーマットを４：２：２映像フォーマットに拡張するスケーラブル符号化及び復号化の過程をそれぞれ示した図である。
【００７９】
図１６Ａを参照するに、４：２：２映像に含まれた色差成分１６０１に、垂直方向の分析フィルタを適用し（１６１０）、低周波帯域の色差成分１６２１と高周波帯域の色差成分１６２３とに分離する。低周波帯域の色差成分１６２１を符号化し（１６３１）、符号化された低周波帯域の色差成分１６４１は、符号化された輝度成分と共に、４：２：０映像フォーマットを支援する基本階層ビットストリームを生成する。一方、高周波帯域の色差成分１６２３を符号化し（１６３３）、符号化された高周波帯域の色差成分１６４３は、４：２：２映像を構成するための拡張階層ビットストリームに生成する。
【００８０】
図１６Ｂを参照するに、４：２：０映像フォーマットと互換される映像復号化装置の場合、基本階層ビットストリームと拡張階層ビットストリームとを含むスケーラブル・ビットストリームが受信されても、基本階層ビットストリームだけ抽出して復号化を行い、４：２：０復元映像を生成する一方、拡張階層ビットストリームは無視する。これを介して、既存の映像復号化装置、すなわち、ＶＣ−１デコーダでも映像フォーマットが拡張されたビットストリームを復元できるフォワード互換性を達成できる。具体的に、基本階層ビットストリームに含まれた低周波帯域の色差成分１６５１を復号化し（１６６１）、復号化された低周波帯域の色差成分１６７１は、復号化された輝度成分と共に４：２：０復元映像を生成する。一方、４：２：２映像フォーマットを支援する映像復号化装置の場合、まず、基本階層ビットストリームを復号化し、４：２：０復元映像を得る（１６８０）。さらに、拡張階層ビットストリームに含まれた高周波帯域の色差成分１６５３を復号化し（１６６３）、復号化された高周波帯域の色差成分１６７３と、４：２：０復元映像に含まれた復号化された低周波帯域の色差成分１６７１とは合成され、復号化された輝度成分と共に、４：２：２復元映像を生成する。
【００８１】
図１７Ａ及び図１７Ｂは、リフティング構造の分析フィルタと合成フィルタとを、水平／垂直方向に色差成分に適用し、階層構造に構成することによって、４：２：０映像フォーマットを、４：２：２あるいは４：４：４映像フォーマットに拡張する符号化及び復号化の過程をそれぞれ示した図である。
【００８２】
図１７Ａを参照するに、４：４：４映像に含まれた色差成分１７００に、水平方向の分析フィルタと垂直方向の分析フィルタとを順次に適用し（１７１０）、ＬＬ帯域の色差成分１７２１、ＬＨ帯域の色差成分１７２２、ＨＬ帯域の色差成分１７２３、ＨＨ帯域の色差成分１７２４に分離する。ＬＬ帯域の色差成分１７２１を符号化し（１７３１）、符号化されたＬＬ帯域の色差成分１７４１は、符号化された輝度成分と共に、４：２：０映像フォーマットと互換される基本階層ビットストリームを生成する。一方、ＬＨ帯域の色差成分１７２２、ＨＬ帯域の色差成分１７２３、ＨＨ帯域の色差成分１７２４を符号化し（１７３３）、符号化されたＬＨ帯域の色差成分１７４２、ＨＬ帯域の色差成分１７４３、ＨＨ帯域の色差成分１７４４は、４：２：２あるいは４：４：４映像を構成するための拡張階層ビットストリームに生成する。ここで、拡張階層ビットストリームは、４：２：２映像を構成するための第１拡張階層ビットストリームと、４：４：４映像を構成するための第２拡張階層ビットストリームとで構成されうる。
【００８３】
図１７Ｂを参照するに、４：２：０映像フォーマットと互換される映像復号化装置の場合、基本階層ビットストリームと拡張階層ビットストリームとを含むスケーラブル・ビットストリームが受信されても、基本階層ビットストリームだけ抽出して復号化を行い、４：２：０映像フォーマットの復元映像を生成する一方、拡張階層ビットストリームは無視する。これを介して、既存の映像復号化装置、すなわち、ＶＣ−１デコーダでも映像フォーマットが拡張されたビットストリームを復元できるフォワード互換性を達成できる。具体的に、基本階層ビットストリームに含まれたＬＬ帯域の色差成分１７５１を復号化し（１７６１）、復号化されたＬＬ帯域の色差成分１７７１は、復号化された輝度成分と共に４：２：０復元映像を生成する。一方、４：２：２あるいは４：４：４映像フォーマットを支援する映像復号化装置の場合、まず、基本階層ビットストリームを復号化し、４：２：０復元映像を得る。さらに、拡張階層ビットストリームに含まれたＬＨ帯域の色差成分１７５２、ＨＬ帯域の色差成分１７５３、ＨＨ帯域の色差成分１７５４を復号化し（１７６３）、復号化されたＬＨ帯域の色差成分１７７２、ＨＬ帯域の色差成分１７７３、ＨＨ帯域の色差成分１７７４及び４：２：０復元映像に含まれた復号化されたＬＬ帯域の色差成分１７７１は合成され、復号化された輝度成分と共に４：４：４復元映像を生成する。一方、復号化されたＬＨ帯域の色差成分１７７２と、４：２：０復元映像に含まれた復号化されたＬＬ帯域の色差成分１７７１とは合成され、復号化された輝度成分と共に、４：２：２復元映像を生成することも可能である。
【００８４】
図１８は、リフティング構造のHaarフィルタを、一次元画素アレイに適用した例を示した図であり、式（１）、式（２）及び式（３）の適用過程を示す。
【００８５】
図１９は、リフティング構造の５／３タップウェーブレット・フィルタを、一次元画素アレイに適用した例を示した図であり、式（１）、式（２）及び式（４）の適用過程を示す。これによれば、高周波帯域の場合、周囲の３個の画素を適用し、低周波帯域の場合、周囲の５個の画素を適用する。
【００８６】
図２０は、４：２：０映像フォーマットを、４：２：２映像フォーマットに拡張するためのビットストリームの階層構造を示した図であり、色差成分で、垂直方向の低周波帯域成分と輝度成分とを、４：２：０映像フォーマットで基本階層で符号化し、４：２：２映像フォーマットに拡張させるために、色差成分で、垂直方向の高周波帯域成分を拡張階層でさらに符号化する。
【００８７】
図２１は、４：２：０映像フォーマットを、４：２：２及び４：４：４の映像フォーマットに拡張するためのビットストリームの階層構造を示した図であり、色差成分で、ＬＬ帯域成分と輝度成分とを４：２：０映像フォーマットで基本階層で符号化し、４：２：２映像フォーマットに拡張させるために、色差成分で、ＬＨ帯域成分を第１拡張階層でさらに符号化し、４：４：４映像フォーマットに拡張させるために、色差成分で、ＨＬ帯域及びＨＨ帯域成分を、第２拡張階層でさらに符号化する。
【００８８】
図２２は、２：１ダウンサンプリングのために、奇数対称フィルタを適用した例を示した図であり、フィルタタブが奇数個であるので、真ん中の係数を中心に両側に、フィルタ値ｈ（ｎ）が同じである対称形構造を有する。奇数対称フィルタの場合、フィルタ値の分布は、一例として図２４に図示されている通りである。奇数対称フィルタを使用すれば、ダウンサンプリングを行った後、画素の位置が本来の画素の偶数番目の位置と一致する。
【００８９】
図２３は、２：１ダウンサンプリングのために、偶数対称フィルタを適用した例を示した図であり、フィルタタブが偶数個であるので、真ん中の２つの係数を中心に両側に、フィルタ値ｈ（ｎ）が同じである対称形構造を有し、その結果、本来の画素の偶数番目の位置で、０．５画素ほど位相シフトが発生する。偶数対称フィルタの場合、フィルタ値の分布は、一例として図２５に図示されている通りである。
【００９０】
４：４：４映像フォーマットを４：２：２映像フォーマットに変換するとき、色差成分を水平方向にダウンサンプリングするが、このとき、色差成分が輝度成分の偶数位置とその位相が一致する必要がある。このために、図２２及び図２４で説明した通り、水平方向の場合、奇数対称フィルタを適用する。奇数対称フィルタの例としては、式（１）、式（２）、式（４）で説明した５／３タップウェーブレット・フィルタを挙げることができる。もし色差成分に偶数対称フィルタを適用すれば、水平方向の色差成分の位相が、本来の４：２：２映像フォーマットの色差成分とその位相が変わり、後で４：４：４映像フォーマットで復元する場合、誤差が大きくなる。
【００９１】
一方、４：２：２映像フォーマットを４：２：０映像フォーマットに変換するとき、色差成分を垂直方向にダウンサンプリングするが、このとき、色差成分が、輝度成分の偶数位置の比べて、０．５画素ほど位相をシフトさせる必要がある。このために、図２３及び図２５で説明した通り、垂直方向の場合、偶数対称フィルタを適用する。偶数対称フィルタの例としては、式（１）、式（２）、式（３）で説明したHaarフィルタを挙げることができる。もし色差成分に奇数対称フィルタを適用すれば、垂直方向の色差成分の位相が、本来の４：２：２映像フォーマットの色差成分とその位相が同じになり、後で４：２：２映像フォーマットで復元する場合、誤差が大きくなる。
【００９２】
前記の実施形態では、スケーラブル・ビットストリームの形態を１つの基本階層ビットストリームと１つの拡張階層ビットストリームとで構成した実施形態に基づいて、二種の映像フォーマットが互いに異なる二種のコーデックを支援することについて説明しているが、拡張階層ビットストリームを複数個にすることによって、二種以上のコーデックを支援することも可能である。
【００９３】
本発明はまた、コンピュータで読み取り可能な記録媒体にコンピュータで読取り可能なコードとして具現することが可能である。コンピュータで読取り可能な記録媒体は、コンピュータシステムによって読取り可能なデータが保存されるあらゆる種類の記録装置を含む。コンピュータで読取り可能な記録媒体の例としては、ＲＯＭ、ＲＡＭ、ＣＤ−ＲＯＭ、磁気テープ、フロッピー（登録商標）ディスク、光データ保存装置などがある。また、コンピュータで読取り可能な記録媒体は、ネットワークに連結されたコンピュータシステムに分散され、分散方式でコンピュータで読取り可能なコードが保存されて実行されうる。そして、本発明を具現するための機能的な（functional）プログラム、コード及びコードセグメントは、本発明が属する技術分野のプログラマらによって容易に推論されうる。
【００９４】
前述の通り、本発明の実施形態によれば、フォワード互換性が保証される新しいビデオコーデックを提供するために、スケーラブルビデオエンコーダは、基本階層ビットストリームと拡張階層ビットストリームとからなるスケーラブル・ビットストリームを生成し、スケーラブル・ビットストリームを受信する既存の基本デコーダは、スケーラブル・ビットストリームから得られる基本階層ビットストリームを利用して復号化を行い、スケーラブルビデオデコーダは、スケーラブル・ビットストリームに含まれた基本階層ビットストリームと拡張階層ビットストリームとをいずれも利用して復号化を行うことによって、改善されたビデオコーデックと既存のビデオコーデックとが互いに融化されて共存できるというメリットがある。よって、具体的に、既存のＷＭＶ（Window  Media  Video）コーデックあるいはＶＣ−１コーデックと、新しい映像フォーマットを支援するビデオコーデックとが共に使われうるというメリットがある。
【００９５】
以上、図面と明細書とでもって最適実施形態を開示した。ここで、特定の用語が使われたが、それらは単に、本発明について説明するための目的で使われたものであり、意味限定や特許請求の範囲に記載された本発明の範囲を制限するために使われたものではない。従って、本技術分野の当業者ならば、それらから多様な変形及び均等な他実施形態が可能であるという点を理解することが可能であろう。従って、本発明の真の技術的保護範囲は、特許請求の範囲の技術的思想によって決まるものである。
【図１】
2010531609.tif 000005
【図２】
2010531609.tif 000006
【図３Ａ】
2010531609.tif 000007
【図３Ｂ】
2010531609.tif 000008
【図４】
2010531609.tif 000009
【図５】
2010531609.tif 000010
【図６】
2010531609.tif 000011
【図７】
2010531609.tif 000012
【図８】
2010531609.tif 000013
【図９Ａ】
2010531609.tif 000014
【図９Ｂ】
2010531609.tif 000015
【図１０Ａ】
2010531609.tif 000016
【図１０Ｂ】
2010531609.tif 000017
【図１１Ａ】
2010531609.tif 000018
【図１１Ｂ】
2010531609.tif 000019
【図１２Ａ】
2010531609.tif 000020
【図１２Ｂ】
2010531609.tif 000021
【図１３Ａ】
2010531609.tif 000022
【図１３Ｂ】
2010531609.tif 000023
【図１４】
2010531609.tif 000024
【図１５】
2010531609.tif 000025
【図１６Ａ】
2010531609.tif 000026
【図１６Ｂ】
2010531609.tif 000027
【図１７Ａ】
2010531609.tif 000028
【図１７Ｂ】
2010531609.tif 000029
【図１８】
2010531609.tif 000030
【図１９】
2010531609.tif 000031
【図２０】
2010531609.tif 000032
【図２１】
2010531609.tif 000033
【図２２】
2010531609.tif 000034
【図２３】
2010531609.tif 000035
【図２４】
2010531609.tif 000036
【図２５】
2010531609.tif 000037
【国際調査報告】
2010531609.tif 000038
2010531609.tif 000039