(57)【特許請求の範囲】
【請求項１】
入力映像を階層別に符号化する多階層映像符号化方法であって、
入力映像のフォーマットダウンコンバージョンを行い、前記ダウンコンバージョンが行われた映像を符号化することにより基本階層ビット列を生成するステップと、
前記入力映像から求められた階層別残差映像を符号化することにより異なるフォーマットを有する階層ビット列を生成するステップと、を含み、
前記階層別残差映像は、
前記基本階層ビット列から基本階層映像を復元し、前記復元された基本階層映像のフォーマットアップコンバージョンを行うことにより得られた映像と、前記入力映像のフォーマットダウンコンバージョンを行うことにより得られた映像との間の差である第１の残差映像を決定するステップと、
第ｎの階層ビット列から第ｎの階層映像を復元するステップと、
第ｎの階層映像を第（ｎ−１）の階層でのフォーマットアップコンバージョンが行われた映像に合せるステップと、
前記合せられた結果のフォーマットアップコンバージョンを行うことにより得られた映像と、前記入力映像間の差を計算することにより第ｎの残差映像を決定するステップと、により得られ、ｎ＝｛２，．．．，ｋ−１｝であり、ｋは、３以上の整数である、
ことを特徴とする多階層映像符号化方法。
【請求項２】
前記階層ビット列は、異なるフォーマットを有するように対応する階層より下位階層から復元された映像を用いて生成される、
ことを特徴とする請求項１に記載の多階層映像符号化方法。
【請求項３】
前記残差映像は、前記復元された映像のフォーマットアップコンバージョンを行うことにより求められた映像及び前記入力映像を用いて生成される、
ことを特徴とする請求項２に記載の多階層映像符号化方法。
【請求項４】
前記フォーマットアップコンバージョンは、ビット解像度変換、空間解像度変換、カラー色差情報変換、及びトーンマッピングの中の少なくとも１つを用いて実行される、
ことを特徴とする請求項３に記載の多階層映像符号化方法。
【請求項５】
入力映像を階層別に符号化する多階層映像符号化装置であって、
フォーマットダウンコンバージョンが行われた入力映像を符号化することにより基本階層ビット列を生成する基本階層符号化部と、
前記入力映像から求められた残差映像を符号化することにより異なるフォーマットを有する階層ビット列を生成する残差符号化部と、
前記基本階層ビット列から基本階層映像を復元し、前記復元された基本階層映像のフォーマットアップコンバージョンを行うことにより得られた映像と、前記入力映像のフォーマットダウンコンバージョンを行うことにより得られた映像との間の差である第１の残差映像を決定する第１の残差決定部と、
復元された第ｎの階層映像を第（ｎ−１）の階層でのフォーマットアップコンバージョンが行われた映像に合せる加算部と、
前記加算部の結果のフォーマットアップコンバージョンを行うことにより得られた映像と前記入力映像間の差を計算することにより第ｎの残差映像を決定する第ｎの残差決定部と、
を有し、ｎ＝｛２，．．．，ｋ−１｝であり、ｋは、３以上の整数である、ことを特徴とする多階層映像符号化装置。
【請求項６】
前記階層ビット列は、階層別に異なるフォーマットを有するように対応する階層より下位階層から復元された映像を用いて生成される、
ことを特徴とする請求項５に記載の多階層映像符号化装置。
【請求項７】
前記残差映像は、前記復元された映像のフォーマットアップコンバージョンを行うことにより求められた映像及び前記入力映像を用いて生成される、
ことを特徴とする請求項６に記載の多階層映像符号化装置。
【請求項８】
前記フォーマットアップコンバージョンは、ビット解像度変換、空間解像度変換、カラー色差情報変換、及びトーンマッピングの中の少なくとも１つを用いて実行される、
ことを特徴とする請求項７に記載の多階層映像符号化装置。
【請求項９】
階層映像を復号化する多階層映像復号化方法であって、
基本階層ビット列を復号化することにより基本階層映像を出力するステップと、
符号化された階層ビット列を復号化することにより残差映像を出力するステップと、前記残差映像は、前記基本階層ビット列から基本階層映像を復元して得られた基本階層映像のフォーマットアップコンバージョンを行うことにより得られた映像と、前記入力映像のフォーマットダウンコンバージョンを行うことにより得られた映像との間の差であり、
前記基本階層映像のフォーマットアップコンバージョンが行われた階層映像と前記残差映像とから、復元された階層映像を出力するステップと、
前記基本階層映像のフォーマットアップコンバージョンを行うことにより得られた映像を前記残差映像の中の第１の残差映像に合せることにより復元された階層映像を生成するステップと、
第（ｎ−１）の残差映像を第（ｎ−２）の階層でのフォーマットアップコンバージョンが行われた映像に合せることにより復元された第（ｎ−１）の階層映像を生成するステップと、
第ｎの残差映像を前記復元された第（ｎ−１）の階層映像に合せることにより復元された第ｎの階層映像を生成するステップと、
を有し、
ｎ＝｛２，．．．，ｋ−１｝であり、ｋは、３以上の整数であり、前記フォーマットアップコンバージョンは、ビット解像度変換、空間解像度変換、カラー色差情報変換、及びトーンマッピングの順序で実行される、ことを特徴とする多階層映像復号化方法。
【請求項１０】
前記復元された階層映像は、同一の階層での残像映像と対応する階層より下位階層での復元された階層映像を用いて生成される、
ことを特徴とする請求項９に記載の多階層映像復号化方法。
【請求項１１】
前記復元された階層映像は、下位階層で復元された階層映像のフォーマットアップコンバージョンを行うことにより得られた映像を同一の階層での残差映像に合せることにより生成される、
ことを特徴とする請求項１０に記載の多階層映像復号化方法。
【請求項１２】
前記復元された階層映像は、前記基本階層映像より高画質を有する映像を含む、
ことを特徴とする請求項９に記載の多階層映像復号化方法。
【請求項１３】
前記基本階層映像のフォーマットアップコンバージョンを行うことにより得られた映像を前記残差映像の中の第１の残差映像に合せることにより復元された階層映像を生成するステップと、
第ｎの残差映像を第（ｎ−１）の階層でのフォーマットアップコンバージョンが行われた映像に合せることにより復元された第ｎの階層映像を生成するステップとをさらに有し、ｎ＝｛２，．．．，ｋ−１｝であり、ｋは、３以上の整数である、
ことを特徴とする請求項９に記載の多階層映像復号化方法。
【請求項１４】
階層別映像を復号化する多階層映像復号化装置であって、
基本階層ビット列を復号化することにより基本階層映像を出力する基本階層復号化部と、
符号化された階層ビット列を復号化することにより残差映像を出力する残差復号化部と、前記残差映像は、前記基本階層ビット列を復元して得られた基本階層映像のフォーマットアップコンバージョンを行うことにより得られた映像と、前記入力映像のフォーマットダウンコンバージョンを行うことにより得られた映像との間の差であり、
前記基本階層映像のフォーマットアップコンバージョンを行うフォーマットアップコンバータと、
前記残差復号化部の出力と前記フォーマットアップコンバータの出力とから、復元された階層映像を出力する映像復元部と、
前記基本階層映像のフォーマットアップコンバージョンを行うことにより得られた映像を前記残差映像の中の第１の残差映像に合せることにより復元された階層映像を生成する第１の映像復元部と、
第（ｎ−１）の残差映像を第（ｎ−２）の階層でのフォーマットアップコンバージョンが行われた映像に合せることにより復元された第（ｎ−１）の階層映像を生成する第（ｎ−１）の映像復元部と、
を有し、
復元された第ｎの階層映像は、第ｎの残差映像を前記復元された第（ｎ−１）の階層映像に合せることにより生成され、ｎ＝｛２，．．．，ｋ−１｝であり、ｋは、３以上の整数であり、
前記フォーマットアップコンバージョンは、ビット解像度変換、空間解像度変換、カラー色差情報変換、及びトーンマッピングの順序で実行される、ことを特徴とする多階層映像復号化装置。
【請求項１５】
前記復元された階層映像は、対応する階層より下位階層で復元された映像及び同一の階層での残差映像を用いて生成される、
ことを特徴とする請求項１４に記載の多階層映像復号化装置。
【請求項１６】
前記復元された階層映像は、下位階層で復元された映像のフォーマットアップコンバージョンを行うことにより得られた映像を同一の階層での残差映像に合せることにより生成される、
ことを特徴とする請求項１５に記載の多階層映像復号化装置。
【請求項１７】
前記復元された階層映像は、前記基本階層映像より高画質を有する映像を含む、
ことを特徴とする請求項１４に記載の多階層映像復号化装置。
【請求項１８】
前記映像復元部の中のいずれか１つは、
前記基本階層映像のフォーマットアップコンバージョンを行うことにより得られた映像を前記残差映像の中の第１の残差映像に合せることにより復元された階層映像を生成する第１の映像復元部と、
第ｎの残差映像を第（ｎ−１）の階層でのフォーマットアップコンバージョンが行われた映像に合せることにより復元された第ｎの階層映像を生成する第ｎの映像復元部とを有し、ｎ＝｛２，．．．，ｋ−１｝であり、ｋは、３以上の整数である、
ことを特徴とする請求項１４に記載の多階層映像復号化装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、様々なネットワーク及びデバイス環境で高画質サービスを提供するための映像の符号化及び復号化装置及び方法に関し、特に、残差（residual）映像を用いる多階層映像の符号化及び復号化のための装置及び方法に関する。
【背景技術】
【０００２】
多階層映像符号化／復号化は、ネットワークの様々な帯域幅、デバイスの様々な復号化性能、及びユーザの制御による様々なサービス品質（ＱｏＳ）を満足させるために提案された。すなわち、符号化器は、１回の符号化により多階層映像ビット列を発生させ、復号化器は、その復号化性能に従って多階層映像ビット列を復号化する。時間及び空間信号対雑音比（ＳＮＲ）階層符号化を行うことができ、アプリケーションシナリオに基づいて２つ以上の階層が使用可能である。
【０００３】
しかしながら、多階層映像で基本階層（base  layer）ビット列と拡張階層（enhancement  layer）ビット列間の相関度を用いる従来の多階層映像符号化／復号化方法は、複雑度が高く、その複雑度は、基本階層符号化器／復号化器の特性に基づく。したがって、従来の多階層映像符号化／復号化方法は、２つ以上の拡張階層を形成する際に複雑度がより一層増加する。
【０００４】
また、多階層映像復号化方法は、基本階層及び拡張階層映像を変換するのに必要とされるビット解像度変換（bit  depth  conversion）、空間解像度変換（resolution  conversion）、カラー色差情報変換（chroma  conversion）、及び選択的なトーンマッピング（tone  mapping）を複合的に実行するための明確な方法の提示が要求される。
【発明の概要】
【発明が解決しようとする課題】
【０００５】
本発明の目的は、少なくとも上述した問題点及び／又は不都合に取り組み、少なくとも以下の便宜を提供することにある。すなわち、本発明の目的は、残差映像を用いて複雑度が低い多階層映像符号化／復号化装置及び方法を提供することにある。
【０００６】
本発明の他の目的は、基本階層に対して任意の符号化器を使用することができる多階層映像符号化／復号化装置及び方法を提供することにある。
【０００７】
本発明のまた他の目的は、２つ以上の拡張階層を形成するビット列を生成する際にも複雑度の増加が大きくないので、様々なネットワーク環境で様々なデバイスに映像サービスを提供することができる多階層映像符号化装置及び方法を提供することにある。
【０００８】
本発明のさらなる他の目的は、多階層映像復号化のためのフォーマットアップコンバージョンを行う際に映像特性を保持することができる多階層映像復号化装置及び方法を提供することにある。
【課題を解決するための手段】
【０００９】
上記のような目的を達成するために、本発明の一態様によれば、入力映像を階層別に符号化する多階層映像符号化方法を提供する。上記方法は、入力映像のフォーマットダウンコンバージョンを行い、上記ダウンコンバージョンが行われた映像を符号化することにより基本階層ビット列を生成するステップと、上記入力映像から求められた階層別残差映像を符号化することにより異なるフォーマットを有する階層ビット列を生成するステップとを含む。
【００１０】
本発明の他の態様によれば、入力映像を階層別に符号化する多階層映像符号化装置を提供する。上記装置は、フォーマットダウンコンバージョンが行われた入力映像を符号化することにより基本階層ビット列を生成する基本階層符号化部と、上記入力映像から求められた残差映像を符号化することにより異なるフォーマットを有する階層ビット列を生成する残差符号化部とを含む。
【００１１】
本発明のさらに他の態様によれば、階層映像を復号化する多階層映像復号化方法を提供する。上記方法は、基本階層ビット列を復号化することにより基本階層映像を出力するステップと、符号化された階層ビット列を復号化することにより残差映像を出力するステップと、上記基本階層映像及び上記階層映像の中の少なくとも１つのフォーマットアップコンバージョンを行い、上記フォーマットアップコンバージョンが行われた階層映像の中の少なくとも１つを用いて異なるフォーマットを有する上記階層映像を復元するステップとを含む。
【００１２】
本発明のさらなる他の態様によれば、階層別映像を復号化する多階層映像復号化装置を提供する。上記装置は、基本階層ビット列を復号化することにより基本階層映像を出力する基本階層復号化部と、符号化された階層ビット列を復号化することにより残差映像を出力する残差復号化部と、上記基本階層映像及び上記残差映像のフォーマットアップコンバージョンを行うフォーマットアップコンバータと、上記残差復号化部の出力と上記フォーマットアップコンバータの出力とを合わせることにより復元された階層映像を出力する映像復元部とを含む。
【発明の効果】
【００１３】
本発明は、残差映像を使用することにより多階層映像符号化／復号化装置の複雑度を減少させることができる。また、本発明は、多階層映像符号化及び復号化を可能にすることにより、様々なネットワーク（例えば、広帯域インターネット、ＷｉＦｉ、衛星放送、地上放送波など）環境下で復号化特性を有する様々なデバイス（例えば、電話機、ＴＶ、携帯マルチメディアプレーヤー（Portable  Multimedia  Player：ＰＭＰ）など）に最適の映像サービスを提供することができる。さらに、公知の標準映像コーデックは、互換性を保持しつつ基本階層符号化／復号化のために使用されることができる。
【００１４】
また、本発明は、セットトップボックス（Set-top  box）のようなラップトップシミュレータ(laptop  simulator)に様々なネットワークインターフェース（例えば、ＷｉＦｉ、ＨＤＭＩなど）を用いて多階層映像サービスを送信することができる。例えば、無線接続ポイントを用いるＷｉＦｉネットワークは、ラップトップシミュレータから送信された基本階層（例えば、ＱＶＧＡ）映像サービス又は第２の階層(例えば、ＶＧＡ)映像サービスを提供することができる。さらに、ラップトップシミュレータに接続されたＨＤＭＩは、第３の階層映像サービス（例えば、高品質映像）を提供することができる。
【００１５】
その上、本発明は、ビット解像度変換、空間解像度変換、カラー色差情報変換、及び選択的なトーンマッピングを用いて映像変換を行うことにより様々な階層で復号化される映像の画質を最適に保証することができるという長所がある。
【図面の簡単な説明】
【００１６】
本発明の実施形態の上述した及び他の様相、特徴、及び利点は、以下の添付図面が併用された後述の詳細な説明から、より一層明らかになるだろう。
【図１】本発明の実施形態による多階層映像符号化装置の構成を示す図である。
【図２】本発明の他の実施形態による多階層映像符号化装置の構成を示す図である。
【図３】本発明の実施形態による多階層映像復号化装置の構成を示す図である。
【図４】本発明の他の実施形態による多階層映像符号化装置の構成を示す図である。
【図５】図１乃至図４の実施形態におけるフォーマットアップコンバージョンのために必要な映像変換順序を示す図である。
【図６】復号化器が図５の映像変換工程を実行するために必要とされる情報を符号化器から受信すべきビット列シンタックスの一例を示す図である。
【発明を実施するための形態】
【００１７】
図面中、同一の図面参照符号は、同一な素子、特性、及び構造を意味することが分かるはずである。
【００１８】
添付の図面を参照した下記の説明は、特許請求の範囲の記載及びこれと均等なものの範囲内で定められるような本発明の実施形態の包括的な理解を助けるために提供するものであり、この理解を助けるための様々な特定の詳細を含むが、唯一つの実施形態に過ぎない。従って、本発明の範囲及び趣旨を逸脱することなく、ここに説明する実施形態の様々な変更及び修正が可能であるということは、当該技術分野における通常の知識を有する者には明らかである。また、明瞭性と簡潔性の観点から、当業者に良く知られている機能や構成に関する具体的な説明は、省略する。
【００１９】
下記の説明において、本発明の実施形態は、説明の便宜上、１つの基本階層映像及び２つの拡張階層を含む３階層映像を処理するための多階層映像符号化／復号化方式を仮定する。また、３階層符号化は、３個のビット列を生成することを意味し、３階層復号化は、３個のビット列を復元することを意味する。この階層の数は、アプリケーションシナリオに基づいて変わり得る。
【００２０】
図１は、本発明の実施形態による多階層映像符号化装置の構成を示す図である。図１の実施形態は、３個の階層符号化のために元来の入力映像を２回ダウンコンバートする。この過程を通して、２つの映像は、元来の入力映像から生成される。２回ダウンコンバートされた映像は、基本階層映像であり、１回ダウンコンバートされた映像は、第２の階層映像であり、元来の入力映像は、第３の階層映像であることを仮定する。
【００２１】
この基本階層映像は、任意の標準映像コーデックにより符号化されることにより、基本階層ビット列を生成する。図１の符号化装置は、基本階層ビット列を復元し、基本階層ビット列のフォーマットアップコンバージョンを行うことにより求められた基本階層映像と第２の階層映像間の差である残差映像を符号化することにより第２の階層ビット列を生成する。また、この符号化装置は、第２の階層ビット列を復元し、この復元された第２の階層ビット列をこのアップコンバートされた基本階層映像と合成した後に、この合成された映像のフォーマットアップコンバージョンを実行することにより得られたアップコンバートされた第２の階層映像と第３の階層映像である元来の入力映像間の差である残差映像を符号化することにより第３の階層ビット列を生成する。第３の階層ビット列を生成するための工程を繰り返すことにより、第４の階層以上のビット列を生成することができる。以下、このような工程については、図１を参照して具体的に説明する。
【００２２】
図１の符号化装置は、入力映像（すなわち、元映像）を第１のフォーマットダウンコンバータ１１及び第２のフォーマットダウンコンバータ１３を用いて順次にダウンコンバートする。この工程を通して元映像から２つの映像が生成される。この入力映像を２回ダウンコンバートすることにより得られた映像、すなわち、第２のフォーマットダウンコンバータ１３から出力される映像は、基本階層映像である。この入力映像を１回ダウンコンバートすることにより得られた映像、すなわち、第１のフォーマットダウンコンバータ１１から出力される映像は、第２の階層映像である。元来の入力映像は、第３の階層映像である。基本階層符号化部１５は、基本階層映像を符号化することにより基本階層ビット列を生成する。ＶＣ−１及びＨ．２６４のような任意の標準映像コーデックは、基本階層符号化部１５として使用され得る。
【００２３】
残差符号化部２３は、残差映像を符号化することにより第２の階層ビット列を生成する。この残差映像は、基本階層ビット列を復元し、この復元された基本階層ビット列をフォーマットアップコンバートすることにより得られた映像と第２の階層映像間の差を意味する。基本階層復元部１７は、基本階層ビット列を復元し、このように復元された基本階層ビット列は、第１のフォーマットアップコンバータ１９でフォーマットアップコンバージョン工程を経る。第１の残差決定部２１は、フォーマットアップコンバージョン工程を通して得られたアップコンバートされた基本階層映像と第２の階層映像間の差を求めることにより残差映像を出力する。他の実施形態において、第１の残差決定部２１は、このフォーマットアップコンバージョン工程を通して得られたアップコンバートされた基本階層映像と第２の階層映像間の差を感知する感知部であり得る。以下では、第１の残差決定部は、感知部であり得る。
【００２４】
第２の階層復元部２５は、残差符号化部２３から出力される第２の階層ビット列を復元する。このように復元された第２の階層ビット列は、合成部３１で第１のフォーマットアップコンバータ１９から出力される映像と合成される。合成部３１の出力は、第２のフォーマットアップコンバータ３３でフォーマットアップコンバージョンを経る。第２の残差決定部２７は、フォーマットアップコンバージョン工程を通して得られたアップコンバートされた第２の階層映像と第３の階層映像である入力映像間の差を求めることにより残差を出力する。残差符号化部２９は、第２の残差決定部２７から出力される残差映像を符号化することにより第３の階層ビット列を生成する。図１の実施形態では、基本階層映像、第２の階層映像、及び第３の階層映像を含む多階層映像を符号化するための符号化装置の構成を図示し説明したが、同一の方法で４つ又はそれ以上の多階層ビット列を生成することもできる。
【００２５】
図２は、本発明の他の実施形態による多階層映像符号化装置の構成を示す図である。図２の符号化装置と図１の符号化装置間の差は、第３の階層ビット列に存在する。図１の場合には、第２の階層ビット列を復元し、この復元された第２の階層ビット列をこのアップコンバートされた基本階層映像と合成した後に、この合成された映像のフォーマットアップコンバージョン工程を実行することにより得られたアップコンバートされた第２の階層映像と第３の階層映像である入力映像間の差、すなわち、残差映像を符号化することにより第３の階層ビット列を生成する。しかしながら、図２の場合には、基本階層ビット列を復元し、この復元された基本階層ビット列のフォーマットアップコンバージョン工程を行うことにより得られたアップコンバートされた基本階層映像と入力映像間の差である第１の残差映像は、第２の階層ビット列を生成するための残差符号化部２３に入力され、第１の残差映像と第２の階層ビット列を復元することにより得られた第２の階層残差映像間の差である第２の残差映像が生成され、残差符号化部２９で第２の残差映像を符号化することにより第３の階層ビット列が生成される。
【００２６】
言い換えれば、図１の実施形態においては、フォーマット変換を通して様々なフォーマットの多階層映像符号化が可能であり、図２の実施形態においては、第２の階層と第３の階層間にフォーマット変換が存在せず、これらの階層間にＳＮＲ拡張性（scalability）だけが存在するという差がある。
【００２７】
以下、図２の多階層映像符号化装置について具体的に説明する。
【００２８】
図２を参照すると、第１のフォーマットダウンコンバータ１１は、入力映像をダウンコンバートすることにより基本階層映像を生成する。基本階層符号化部１５は、このダウンコンバートされた映像を符号化することにより基本階層ビット列を生成する。基本階層復元部１７は、この基本階層ビット列を復元する。フォーマットアップコンバータ１９は、この復元された基本階層ビット列をアップコンバートすることによりアップコンバートされた基本階層映像を出力する。第１の残差決定部２１は、このアップコンバートされた基本階層映像とこの入力映像間の差を計算することにより第１の残差映像を決定する。残差符号化部２３は、第１の残差映像を符号化することにより第２の階層ビット列を生成する。第２の階層復元部２５は、第２の階層の残差映像を復元する。第２の残差決定部２７は、この復元された第２の階層の残差映像とこの第１の残差映像間の差を計算することにより第２の残差映像を決定する。残差符号化部２９は、第２の残差映像を符号化することにより第３の階層ビット列を生成する。
【００２９】
３階層映像符号化が図示され説明されたが、４つ又はそれ以上の階層映像符号化も実現可能である。例えば、第ｎの階層ビット列を出力する残差符号化部は、第ｎの階層符号化部と呼ぶ。したがって、“第ｎの階層符号化部が第（ｎ−１）の残差映像を符号化することにより第ｎの階層ビット列を生成し、第ｋの階層符号化部が第（ｋ−１）の残差映像を符号化することにより第ｋの階層ビット列を生成することを説明することができる。例えば、ｎ＝｛２，．．．，ｋ−１｝、ｋは、４以上の整数である条件が必要である。このような条件で、多階層映像符号化装置が処理する多階層映像が４つの階層映像であると仮定する際に、ｎは、２及び３であることができるので、“第ｎの階層符号化部が第（ｎ−１）の残差映像を符号化することにより第ｎの階層ビット列を生成する”ということは、第２の階層符号化部及び第３の階層符号化部が存在することを意味する。
【００３０】
また、“第ｋの階層符号化部が第（ｋ−１）の残差映像を符号化することにより第ｋの階層ビット列を生成する”という表現は、最後の階層について説明した。最後の階層（この仮定の場合に第４の階層を意味する）は、下位階層映像の復元及びフォーマットアップコンバージョンなしに残差映像の符号化だけがなされる。これと同様に、図１の実施形態は、４つまたはそれ以上の階層映像符号化の場合を実現することもできる。
【００３１】
図３及び図４を参照して、本発明の実施形態による多階層映像復号化装置を説明する。本発明の多階層映像復号化装置が図１又は図２の多階層映像符号化装置だけではなく、残差映像を用いて任意の他の符号化装置により符号化された第ｎの階層ビット列を復号化することができることに留意すべきである。
【００３２】
図３は、本発明の実施形態による多階層映像復号化装置の構成を示す図である。図３の多層映像復号化装置は、基本階層ビット列をＶＣ−１及びＨ．２６４のような任意の標準映像コーデックを用いて復号化することにより基本階層映像を復元する。この復号化装置は、第２の階層ビット列を残差コーデックを用いて復号化した後に、この復号化された基本階層映像のフォーマットアップコンバージョンを行うことにより得られたアップコンバートされた基本階層映像にこの復号化された第２の階層の残差映像を合せることにより第２の階層映像を復号化する。また、この復号化装置は、第３の階層ビット列を残差コーデックを通して復号化した後に、この復号化された第２の階層映像のフォーマットアップコンバージョンを行うことにより得られたアップコンバートされた第２の階層映像にこの復号化された第３の階層の残差映像を合せることにより第３の階層映像を復号化する。このような方法で、この復号化装置は、４つまたはそれ以上の階層映像を復元し得る。このような工程は、図３を参照して具体的に説明する。
【００３３】
図３を参照すると、基本階層復号化部５４は、基本階層ビット列を復号化することにより基本階層映像を復元する。ＶＣ−１及びＨ．２６４のような任意の標準映像コーデックは、基本階層復号化部５４として使用され得る。残差復号化部５６は、第２の階層ビット列を復号化することにより残差映像を出力し、このような工程は、図１及び図２に示す符号化工程を参照して理解することができる。図１及び図２に従って、残差符号化部２３により生成される第２の階層ビット列は、残差決定部２１により決定された残差映像を符号化することにより得られる。したがって、この残差映像は、このような第２の階層ビット列を復号化することにより得られる。
【００３４】
残差復号化部５６は、第２の階層ビット列を復号化することにより第２の階層の残差映像を出力する。第２の階層映像復元部６２は、この第２の階層の残差映像を第１のフォーマットアップコンバータ６０を用いてこの復号化された基本階層映像のフォーマットアップコンバージョン工程を行うことにより得られるアップコンバートされた基本階層映像に合せることにより第２の階層映像を復元する。
【００３５】
残差復号化部５８は、第３の階層ビット列を復号化することにより第３の階層の残差映像を出力する。第３の階層映像復元部６６は、第３の階層の残差映像をアップコンバートされた第２の階層映像に合せることにより第３の階層映像を復元する。この第３の階層映像は、例えば、ＨｉＦｉ映像であり得る。このアップコンバートされた第２の階層映像は、第２のフォーマットアップコンバータ６４を用いて第２の階層映像のフォーマットアップコンバージョン工程を行うことにより得られる。４つまたはそれ以上の階層映像は、同様の方法で復元され得る。
【００３６】
図４は、本発明の他の実施形態による多階層映像復号化装置の構成を示す図である。図４の構成と図３の構成間の差は、第３の階層ビット列に存在する。図４の構成において、この第３の階層映像は、この復元された第２の階層映像を第３の階層ビット列を復元した第３の階層の残差映像に合せることにより復元される。この復元された第２の階層映像とこの復元された第３の階層映像間には、質の差が存在するが、フォーマットは同一である。
【００３７】
この復号化装置について、図４を参照して詳細に説明する。
【００３８】
図４の基本階層復号化部５４は、基本階層ビット列を復号化することにより基本階層映像を復元する。第２の階層の残差復号化部５６は、第２の階層ビット列を復号化することにより第２の階層の残差映像を出力する。第１のフォーマットアップコンバータ６０は、この基本階層映像をアップコンバートする。第２の階層映像復元部６２は、第２の階層の残差映像をこのアップコンバートされた基本階層映像に合せることにより第２の階層映像を復元する。第３の階層の残差復号化部５８は、第３の階層ビット列を復号化することにより第３の階層の残差映像を出力する。第３の階層映像復元部６６は、第３の階層の残差映像を復元された第２の階層映像に合せることにより第３の階層映像を復元する。
【００３９】
図４の実施形態は、３階層映像復号化を仮定した場合であるが、４つ又はそれ以上の階層映像復号化の場合を実現することもできる。例えば、第ｎの階層ビット列を復号化する残差復号化部は、第ｎの階層の残差復号化部と呼ぶ。したがって、“第ｎの階層の残留復号化部が第ｎの階層ビット列を復号化することにより第ｎの階層の残差映像を出力する”ことを説明することができる。例えば、ｎ＝｛３，．．．，ｋ｝、ここで、ｋは、４以上の整数である条件が必要である。このような条件で、ｎが３及び４であり得るので、“第ｎの階層の残差復号化部が第ｎの階層ビット列を復号化することにより第ｎの階層の残差映像を出力する”ということは、第３の階層の残差復号化部及び第４の階層の残差復号化部が存在することを意味する。これと同様に、図３の実施形態も４つ又はそれ以上の階層映像復号化の場合を実現することができる。
【００４０】
図５は、図１乃至図４の実施形態でのフォーマットアップコンバージョンに必要な映像変換順序を示す図である。図３の実施形態でのフォーマットアップコンバージョンは、階層間で異なる映像フォーマットを合せる工程である。拡張階層が下位階層に比べて高画質映像を表現するために、フォーマットアップコンバージョンの映像変換が必要である。階層間映像変換のためには、空間解像度変換（resolution  conversion）、ビット解像度変換（bit  depth  conversion）、カラー色差情報変換（chroma  conversion）、及びトーンマッピング（tone  mapping）方法を使用し得る。２つ以上の変換が同時になされ得る。すなわち、映像画質に影響を及ぼす重要度を考慮し、下位階層映像及び拡張階層映像の特性に従って、例えば、図５に示すように、ビット解像度変換１００＝＞空間解像度変換２００＝＞カラー色差情報変換３００＝＞トーンマッピング４００の順序で映像変換が行われ得る。他の例として、ビット解像度変換１００＝＞空間解像度変換２００＝＞カラー色差情報変換３００の順序で映像変換が行われ得る。また他の例として、ビット解像度変換１００＝＞カラー色差情報変換３００＝＞トーンマッピング４００の順序で映像変換が行われ得る。もう１つの例として、ビット解像度変換１００＝＞空間解像度変換２００＝＞トーンマッピング４００の順序で映像変換が行われ得る。
【００４１】
応用分野に基づいて映像変換の組合せが決定され得る。映像変換の順序は、できるだけ映像特性（すなわち、映像画質）を保持することができるように決定され得、映像変換の重要度に基づいて一定に保持され得る。
【００４２】
各変換について説明すると、ビット解像度変換１００は、映像を表現する画素の表現単位を変換するものである。例えば、基本階層、すなわち、下位階層の映像は、１つの画素を表現するのに８ビットが必要であるが、拡張階層、すなわち、上位階層の映像は、１つの画素を表現するのに１０ビット又は１２ビットを使用する。ビット解像度の増加は、映像の動的範囲（dynamic  range）を増加させることにより高画質の映像を表現することができるようにする。
【００４３】
ビット解像度変換１００の場合に、次の３つの方法の中の１つが選択され得る。すなわち、ビットシフティング（bit  shifting）基盤変換方法、ローパスフィルター（ＬＰＦ）基盤変換方法、及びトーンマッピング基盤変換方法を含む。このビットシフティング基盤変換方法は、単純にビットシフトを行うことによりビット解像度を変換する。このＬＰＦ基盤変換方法は、ビット解像度変換の間に雑音を除去する追加の効果を有し得る。このトーンマッピング基盤変換方法は、ビット解像度変換の間に線形マッピングではない非線形マッピングにより元来の映像に近い映像の復元を可能にする。
【００４４】
空間解像度変換２００は、映像のサイズを変換するのである。言い換えれば、空間解像度変換２００は、基本階層映像のサイズを拡張階層映像のサイズに変換するものである。基本階層映像がプログレッシブ（progressive）映像又はインターレース（interlace）映像である場合に、各拡張階層映像がプログレッシブ映像又はインターレース映像に変換される空間解像度変換２００がなされる。ビット解像度変換１００及び空間解像度変換２００がすべて実現される場合に、ビット解像度変換１００を行う際に選択可能な３種類の方法の中でこのビットシフティング基盤変換方法だけが使用される。その理由は、空間解像度変換２００の間に周辺画素を用いるフィルターが使用されるので、ビット解像度変換１００の間にＬＰＦ基盤変換を行う必要性が少なく、ビット解像度変換１００及び空間解像度変換２００を同時に実行することもあるためである。
【００４５】
カラー色差情報変換３００は、１つの映像を表現するカラー色差情報の拡張変換である。例えば、基本階層映像のカラー色差情報（chroma  sample）がＹＣｂＣｒ４：２：０である場合に、４つのＹ値、１つのＣｂ値、及び１つのＣｒ値は、４つの画素を示すのに必要とされる。拡張階層映像のカラー色差情報をＹＣｂＣｒ４：２：２に変換する場合に、４つのＹ値、２つのＣｂ値、及び２つのＣｒ値は、４つの画素を示すのに必要とされる。
【００４６】
トーンマッピング４００は、所定のビット解像度で線形マッピングでない非線形マッピングにより元来の映像に近い映像の復元を可能にする方法である。しかしながら、トーンマッピング４００は、ビット解像度変換１００、空間解像度変換２００、及びカラー色差情報変換３００の中の少なくとも１つを行う場合のみに使用されることができる。
【００４７】
図６は、復号化器が図５の映像変換工程を実行するために必要とされる情報を符号化器から受信すべきビット列シンタックス（syntax）の一例を示すもので、これは、ビット解像度変換１００、カラー色差情報変換３００、及びトーンマッピング４００が実行される工程の一例を示す。
【００４８】
例えば、提案された多階層符号化／復号化は、２階層符号化／復号化に基づく。また、この多階層符号化／復号化は、３つ又はそれ以上の階層符号化／復号化を意味し、２階層符号化／復号化は、残差映像の符号化及び復号化を行う２階層符号化／復号化を意味する。３階層符号化／復号化は、２階層符号化／復号化に階層符号化／復号化を１回以上付加することにより可能である。同一の方法で、４階層又は５階層符号化及び復号化も可能である。
【００４９】
以上、本発明を具体的な実施形態を参照して詳細に説明してきたが、本発明の範囲及び精神を逸脱することなく様々な変形が可能であるということは、当該技術分野における通常の知識を持つ者には明らかであり、本発明の範囲は、上述の実施形態に限定されるべきではなく、特許請求の範囲の記載及びこれと均等なものの範囲内で定められるべきである。
【図１】
0005406316.tif 000002
【図２】
0005406316.tif 000003
【図３】
0005406316.tif 000004
【図４】
0005406316.tif 000005
【図５】
0005406316.tif 000006
【図６】
0005406316.tif 000007