(57)【特許請求の範囲】
【請求項１】
下位階層エンコーダとフォーマットアップコンバータと残差決定部と残差エンコーダとを有する多階層画像符号化装置における、入力画像を階層別に符号化する多階層画像符号化方法であって、
前記下位階層エンコーダが、入力画像にフォーマットダウンコンバージョンを実行し、前記フォーマットダウンコンバートした入力画像を符号化して下位階層ビットストリームを生成するステップと、
前記フォーマットアップコンバータが、下位階層予測フラグが設定されているか否かに基づいて前記下位階層画像に適応的又は選択的に１次元予測フィルタを適用してフォーマットアップコンバージョンを実行し、フォーマットアップコンバートした画像を生成するステップと、
前記残差決定部が、前記入力画像と前記フォーマットアップコンバートした画像との間の残差画像を計算し、前記残差エンコーダが、前記計算された残差画像を符号化して上位階層ビットストリームを生成するステップと、
を有することを特徴とする多階層画像符号化方法。
【請求項２】
前記フォーマットアップコンバージョンを実行するステップは、
下位階層予測フラグが設定されている場合、前記下位階層画像の解像度が前記入力画像の解像度と同一であるか否かを決定するステップと、
前記下位階層画像の解像度が前記入力画像の解像度と同一である場合、前記下位階層画像に水平方向に前記１次元予測フィルタを適用して第１のフォーマットアップコンバージョンを実行するステップと、
前記下位階層画像の解像度が前記入力画像の解像度と異なる場合、前記下位階層画像に垂直方向に既定のフィルタを適用し、水平方向に代替フィルタを適用して第２のフォーマットアップコンバージョンを実行するステップと、
を有することを特徴とする請求項１に記載の多階層画像符号化方法。
【請求項３】
前記第１のフォーマットアップコンバージョン又は第２のフォーマットアップコンバージョンを実行するステップは、単純なビットシフトに基づいてビット深度アップコンバージョンを実行するステップを有することを特徴とする請求項２に記載の多階層画像符号化方法。
【請求項４】
入力画像を階層別に符号化する多階層画像符号化装置であって、
フォーマットダウンコンバートした入力画像を符号化して下位階層ビットストリームを生成する下位階層エンコーダと、
下位階層予測フラグが設定されているか否かに基づいて下位階層画像に適応的又は選択的に１次元予測フィルタを適用してフォーマットアップコンバージョンを実行し、フォーマットアップコンバートした画像を生成するフォーマットアップコンバータと、
前記入力画像と前記フォーマットアップコンバートした画像との間の残差画像を計算するように構成される残差決定部と、
前記計算した残差画像を符号化して上位階層ビットストリームを生成する残差エンコーダと、
を含むことを特徴とする多階層画像符号化装置。
【請求項５】
前記フォーマットアップコンバータは、下位階層予測フラグが設定されている場合、前記下位階層画像の解像度が前記入力画像の解像度と同一であるか否かを決定し、
前記フォーマットアップコンバータは、前記下位階層画像の解像度が前記入力画像の解像度と同一である場合、前記下位階層画像に水平方向に前記１次元予測フィルタを適用して第１のフォーマットアップコンバージョンを実行し、
前記フォーマットアップコンバータは、前記下位階層画像の解像度が前記入力画像の解像度と異なる場合、前記下位階層画像に垂直方向に既定のフィルタを適用し、水平方向に代替フィルタを適用して第２のフォーマットアップコンバージョンを実行することを特徴とする請求項４に記載の多階層画像符号化装置。
【請求項６】
前記フォーマットアップコンバータは、単純なビットシフトに基づいてビット深度コンバージョンを実行することを特徴とする請求項４に記載の多階層画像符号化装置。
【請求項７】
下位階層デコーダと残差デコーダとフォーマットアップコンバータと画像復元部とを有する多階層画像復号装置における、階層画像を復号する多階層画像復号方法であって、
前記下位階層デコーダが、下位階層ビットストリームを復号して下位階層画像を出力するステップと、
前記残差デコーダが、上位階層ビットストリームを復号して残差画像を出力するステップと、
前記フォーマットアップコンバータが、下位階層予測フラグが設定されているか否かに基づいて、前記下位階層画像に適応的又は選択的に１次元予測フィルタを適用してフォーマットアップコンバージョンを実行し、フォーマットアップコンバートした画像を生成するステップと、
前記画像復元部が、前記残差画像を前記フォーマットアップコンバートした画像に加えて上位階層画像を復元するステップと、
を有することを特徴とする多階層画像復号方法。
【請求項８】
前記フォーマットアップコンバージョンを実行するステップは、
下位階層予測フラグが設定されている場合、前記下位階層画像の解像度が前記残差画像の解像度と同一であるか否かを決定するステップと、
前記下位階層画像の解像度が前記残差画像の解像度と同一である場合、前記下位階層画像に水平方向に前記１次元予測フィルタを適用して第１のフォーマットアップコンバージョンを実行するステップと、
前記下位階層画像の解像度が前記残差画像の解像度と異なる場合、前記下位階層画像に垂直方向に既定のフィルタを適用し、水平方向に代替フィルタを適用して第２のフォーマットアップコンバージョンを実行するステップと、
を有することを特徴とする請求項７に記載の多階層画像復号方法。
【請求項９】
前記第１のフォーマットアップコンバージョン又は第２のフォーマットアップコンバージョンを実行するステップは、単純なビットシフトに基づいてビット深度アップコンバージョンを実行するステップを有することを特徴とする請求項７に記載の多階層画像復号方法。
【請求項１０】
階層画像を復号する多階層画像復号装置であって、
下位階層ビットストリームを復号して下位階層画像を出力する下位階層デコーダと、
上位階層ビットストリームを復号して残差画像を出力する残差デコーダと、
下位階層予測フラグが設定されているか否かに基づいて前記下位階層画像に適応的又は選択的に１次元予測フィルタを適用してフォーマットアップコンバージョンを実行し、フォーマットアップコンバートした画像を生成するフォーマットアップコンバータと、
前記残差画像を前記フォーマットアップコンバートした画像に加えて上位階層画像を復元するように構成される画像復元部と、
を含むことを特徴とする多階層画像復号装置。
【請求項１１】
前記フォーマットアップコンバータは、下位階層予測フラグが設定されている場合、前記下位階層画像の解像度が前記残差画像の解像度と同一であるか否かを決定し、
前記フォーマットアップコンバータは、前記下位階層画像の解像度が前記残差画像の解像度と同一である場合、前記下位階層画像に水平方向に前記１次元予測フィルタを適用して第１のフォーマットアップコンバージョンを実行し、
前記フォーマットアップコンバータは、前記下位階層画像の解像度が前記残差画像の解像度と異なる場合、前記下位階層画像に垂直方向に既定のフィルタを適用し、水平方向に代替フィルタを適用して第２のフォーマットアップコンバージョンを実行することを特徴とする請求項１０に記載の多階層画像復号装置。
【請求項１２】
前記フォーマットアップコンバータは、
単純なビットシフトに基づいてビット深度アップコンバージョンを実行することを特徴とする請求項１１に記載の多階層画像復号装置。
【請求項１３】
下位階層デコーダと残差デコーダとフォーマットアップコンバータと画像復元部とを有する多階層画像復号装置における、多階層画像の復号方法であって、
前記下位階層デコーダが、階層のビットストリームを復号し、前記階層の画像を出力するステップと、
前記残差デコーダが、上位階層ビットストリームを復号し、残差画像を出力するステップと、
前記フォーマットアップコンバータが、フラグが設定されているか否かに基づいて前記階層の画像にフィルタを適用して、アップコンバートした画像を生成するステップと、
前記画像復元部が、前記残差画像をアップコンバートした画像に加えて、上位階層画像を生成するステップと、
を有し、
前記フィルタを適用するステップは、
前記フラグが設定されている場合、前記階層の画像の解像度が前記残差画像の解像度と同一であるか否かを決定するステップと、
前記階層の画像の解像度が前記残差画像の解像度と同一である場合、前記階層の画像を水平方向に第１フィルタリングを実行するステップと、
前記階層の画像の解像度が前記残差画像の解像度と異なる場合、前記階層の画像を垂直方向に第２フィルタリングを実行し、水平方向に第３フィルタリングを実行するステップと、を有する
ことを特徴とする多階層画像復号方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、多様なネットワーク及びデバイス環境において高画質サービスを提供するために画像を符号化/復号する装置及び方法に関するもので、特に上位階層で発生する残差(residual)画像のダイナミックレンジを減少させるための多階層(multilayer)画像符号化/復号装置及び方法に関する。
【背景技術】
【０００２】
多階層画像符号化/復号は、ネットワークの多様な帯域幅、デバイスの多様な符号化能力、及びユーザーの制御によるサービス品質(ＱｏＳ)を満たすために提供される。そのため、エンコーダは、一度の符号化により多階層画像ビットストリームを発生させ、デコーダは、復号能力に従って多階層画像ビットストリームを復号する。空間的、時間的、及び信号対雑音比(ＳＮＲ)階層符号化は、このような多階層画像符号化/復号により実現され、アプリケーションシナリオに基づき、Ｎ個の階層の符号化/復号も可能である(ここで、Ｎ≧２)。例えば、基本階層は基本解像度の画像を符号化し、第１の上位階層はより高い解像度の画像を獲得するために追加的な符号化を実行し、(第１の上位階層より高い)第２の上位階層も同様により高い解像度の画像を獲得するために追加的な符号化を実行する。
【０００３】
従来の多階層画像符号化/復号装置は、上位階層の符号化/復号過程における下位階層画像を使用するとき、上位階層画像の解像度が下位階層画像の解像度と同一である場合に下位階層画像をコピーし、上位階層画像の解像度が下位階層画像の解像度と異なる場合には下位階層画像を上向きサンプリング/変換して使用する。このような方法で上位階層が下位階層画像を使用する場合、画像予測効率は、量子化誤りのような符号化影響が下位階層画像にそのまま反映される場合に上位階層で低下する可能性がある。したがって、残差画像のダイナミックレンジを減少させるための方案が要求される。
【発明の概要】
【発明が解決しようとする課題】
【０００４】
したがって、本発明は上記した従来技術の問題点に鑑みてなされたものであって、その目的は、上位階層で発生する残差画像のダイナミックレンジを減少させるための多階層画像符号化/復号装置及び方法を提供することにある。
【０００５】
本発明の他の目的は、下位階層予測フラグの設定によって下位階層画像に１次元(１-Ｄ)フィルタリングを実行するフォーマットアップコンバータを含む多階層画像符号化/復号装置及び方法を提供することにある。
【課題を解決するための手段】
【０００６】
上記のような目的を達成するために、本発明の一態様によれば、入力画像を階層別に符号化する多階層画像符号化方法が提供される。多階層画像符号化方法は、入力画像をフォーマットダウンコンバージョンを実行し、フォーマットダウンコンバートした入力画像を符号化して下位階層ビットストリームを生成するステップと、下位階層予測フラグが設定されているか否かに基づいて下位階層画像に適応的又は選択的に１次元(１-Ｄ)予測フィルタを適用してフォーマットアップコンバージョンを実行し、フォーマットアップコンバートした画像を生成するステップと、入力画像とフォーマットアップコンバートした画像との間の残差画像を計算し、計算された残差画像を符号化して上位階層ビットストリームを生成するステップとを有する。
【０００７】
本発明の他の態様によれば、入力画像を階層別に符号化する多階層画像符号化装置が提供される。多階層画像符号化装置は、フォーマットダウンコンバートした入力画像を符号化して下位階層ビットストリームを生成する下位階層エンコーダと、下位階層予測フラグが設定されているか否かに基づいて下位階層画像に適応的又は選択的に１次元(１-Ｄ)予測フィルタを適用してフォーマットアップコンバージョンを実行し、フォーマットアップコンバートした画像を生成するフォーマットアップコンバータと、入力画像とフォーマットアップコンバートした画像との間の残差画像を計算するように構成される残差決定部と、計算した残差画像を符号化して上位階層ビットストリームを生成する残差エンコーダとを含む。
【０００８】
また、本発明の他の態様によれば、階層画像を復号する多階層画像復号方法が提供される。多階層画像復号方法は、下位階層ビットストリームを復号して下位階層画像を出力するステップと、上位階層ビットストリームを復号して残差画像を出力するステップと、下位階層予測フラグが設定されているか否かに基づいて、下位階層画像に適応的又は選択的に１次元(１-Ｄ)予測フィルタを適用してフォーマットアップコンバージョンを実行し、フォーマットアップコンバートした画像を生成するステップと、残差画像をフォーマットアップコンバートした画像に加えて上位階層画像を復元するステップとを有する。
【０００９】
さらに、本発明の他の態様によれば、階層画像を復号する多階層画像復号装置が提供される。多階層画像復号装置は、下位階層ビットストリームを復号して下位階層画像を出力する下位階層デコーダと、上位階層ビットストリームを復号して残差画像を出力する残差デコーダと、下位階層予測フラグが設定されているか否かに基づいて下位階層画像に適応的又は選択的に１次元(１-Ｄ)予測フィルタを適用してフォーマットアップコンバージョンを実行し、フォーマットアップコンバートした画像を生成するフォーマットアップコンバータと、残差画像をフォーマットアップコンバートした画像に加えて上位階層画像を復元するように構成される画像復元部とを含む。
【００１０】
本発明による実施形態の上記及び他の特定と態様は、添付の図面と共に述べる以下の詳細な説明から、一層明らかになるはずである。
【図面の簡単な説明】
【００１１】
【図１】本発明の実施形態による多階層画像符号化装置の構成を示す図である。
【図２】本発明の実施形態による多階層画像復号装置の構成を示す図である。
【図３】図１及び図２のフォーマットアップコンバージョンのために必要な画像変換順序を示す図である。
【発明を実施するための形態】
【００１２】
以下、本発明の望ましい実施形態を添付の図面を参照して詳細に説明する。
【００１３】
以下の説明において、コーデックのタイプ(例えば、Ｈ.２６４及びＶＣ-１)のような特定詳細は、本発明のより包括的な理解を助けるために提供されるだけである。したがって、本発明の範囲及び趣旨を逸脱することなく、以下に説明される本発明の様々な変形及び変更が可能であることは、当該技術分野における通常の知識を持つ者には明らかである。なお、公知の機能または構成に関する具体的な説明は、明瞭性と簡潔性のために省略する。
【００１４】
説明の便宜上、本発明の実施形態では、一つの基本階層の画像と２つの上位階層の画像を含む３階層の画像を処理する多階層画像符号化/復号方式を包含する。ここで、３階層符号化は、３個のビットストリームを生成することを意味し、３階層復号は、３個の画像を復元することを意味する。階層の数は、アプリケーションシナリオによって定められ、いくらかの階層であり得る。
【００１５】
図１は、本発明の実施形態による多階層画像符号化装置の構成を示す。図１の実施形態において、３階層の符号化のために、元の入力画像は、２度にわたってダウンコンバートされる。この過程を通じて、２個の画像は、元の入力画像から生成される。２度のダウンコンバートした画像は基本階層画像であり、１度のダウンコンバートした画像は第２の階層画像であり、元の入力画像は第３の階層画像であると仮定する。
【００１６】
基本階層画像は、任意の標準ビデオコーデックを通じて符号化して基本階層ビットストリームを生成するために使用される。図１の符号化装置は、基本階層画像を復元し、フォーマットアップコンバージョンを実行して獲得されたアップコンバートした基本階層画像と第２の階層画像との間の差から残差画像を符号化して第２の階層ビットストリームを生成する。また、符号化装置は、第２の階層画像を復元してアップコンバータした基本階層画像と合成し、その後にフォーマットアップコンバージョンを実行して獲得したアップコンバートした第２の階層画像と元の入力画像(又は第３の階層画像)との差から残差画像を符号化して第３の階層ビットストリームを生成する。このような方法で、Ｎ階層のビットストリームが生成できる(ここで、Ｎ  ４)。このような過程は、図１を参照して詳細に説明する。
【００１７】
符号化装置は、入力画像(又は元の画像)を第１のフォーマットダウンコンバータ１１と第２のフォーマットダウンコンバータ１３により連続してダウンコンバートする。この過程を通じて、元の画像から２個の画像が生成される。入力画像から２度のダウンコンバートした画像、すなわち第２のフォーマットダウンコンバータ１３から出力される画像は、基本階層画像である。入力画像から一度のダウンコンバートした画像、すなわち第１のフォーマットダウンコンバータ１１から出力される画像は、第２の階層画像である。元の入力画像は、第３の階層画像である。基本階層ビットストリームは、基本階層エンコーダ１５で基本階層画像を符号化して生成される。基本階層エンコーダ１５は、ＶＣ-１及びＨ.２６４のような任意の標準ビデオコーデックを含むことができる。
【００１８】
残差エンコーダ２３は、残差画像を符号化して第２の階層ビットストリームを生成する。ここで、残差画像は、基本階層画像を復元し、フォーマットアップコンバージョンを実行して獲得したアップコンバートした基本階層画像と第２の階層画像との差である。基本階層復元部１７は、基本階層画像を復元し、復元された基本階層画像は、第１のフォーマットアップコンバータ１９でフォーマットアップコンバージョンが実行される。第１の残差決定部２１は、フォーマットアップコンバージョンが実行された画像、すなわちアップコンバートした画像と第２の階層画像との間の差を計算して残差画像を出力する。他の実施形態では、第１の残差決定部２１は、第２の階層画像とフォーマットアップコンバージョンが実行されたアップコンバートした基本階層画像との間の差を検出する検出部であり得る。ここで、第１の残差決定部２１は、検出部として理解できる。
【００１９】
第２の階層復元部２５は、残差エンコーダ２３から出力される第２の階層画像を復元する。この復元された第２の階層画像は、合成部３１で第１のフォーマットアップコンバータ１９から出力される画像を加える。合成部３１の出力は、第２のフォーマットアップコンバータ３３でフォーマットアップコンバートされる。第２の残差決定部２７は、フォーマットアップコンバージョンが実行されるアップコンバートした第２の階層画像と第３の階層画像(又は入力画像)との間の差を計算して残差画像を出力する。残差エンコーダ２９は、第２の残差決定部２７から出力される残差画像を符号化して第３の階層ビットストリームを生成する。図１の符号化装置は、例えば基本階層画像、第２の階層画像、及び第３の階層画像を含む多階層画像を符号化するが、この符号化装置は、同一の方法でＮ個の階層ビットストリームを生成することができる(ここで、Ｎ  ４)。
【００２０】
以下、図２を参照して本発明の実施形態による多階層画像復号装置について説明する。多階層画像復号装置は、図１に示した多階層画像符号化装置だけでなく残差画像を用いて符号化された階層別ビットストリームを復号できることに留意すべきである。
【００２１】
図２は、本発明の実施形態による多階層画像復号装置の構成を示す。図２の多階層画像復号装置は、基本階層ビットストリームをＶＣ-１及びＨ.２６４のような任意の標準ビデオコーデックを用いて復号して基本階層画像を復元する。復号装置は、第２の階層ビットストリームを残差コーデックを用いて復号し、復号され基本階層画像にフォーマットアップコンバージョンを実行して獲得したアップコンバートした基本階層画像に復号した第２の階層残差画像を加えることによって、第２の階層画像を復元する。また、復号装置は、第３の階層ビットストリームを残差コーデックを用いて復号し、このように復号された第３の階層残差画像を復号された第２の階層画像をフォーマットアップコンバートして獲得したアップコンバートした第２の階層画像に加えることによって第３の階層画像を復元する。このような方法で、復号装置は、Ｎ個の階層の画像を復元することができる(ここで、Ｎ  ４)。この過程については、図２を参照して詳細に説明する。
【００２２】
図２を参照すると、基本階層デコーダ５４は、基本階層ビットストリームを復号して基本階層画像を復元する。基本階層デコーダ５４は、ＶＣ-１及びＨ.２６４のような任意の標準ビデオコーデックを含むことができる。残差デコーダ５６は、第２の階層ビットストリームを復号して残差画像を出力する。ここで、第２の階層ビットストリームを復号して残差画像を出力することは、図１に示した符号化過程を参照して理解することができる。言い換えれば、図１を参照すると、残差エンコーダ２３により生成される第２の階層ビットストリームは、残差決定部２１により検出された残差画像を符号化して得られる。したがって、残差画像は、この第２の階層ビットストリームを復号して獲得することができる。
【００２３】
残差デコーダ５６は、第２の階層ビットストリームを復号して第２の階層残差画像を出力する。第２の階層画像復元部６２は、第１のフォーマットアップコンバータ６０により復号された基本階層画像にフォーマットアップコンバージョンを実行して得られたアップコンバートした基本階層画像に、第２の階層残差画像を加えて第２の階層画像を復元する。
【００２４】
残差デコーダ５８は、第３の階層ビットストリームを復号して第３の階層残差画像を出力する。第３の階層画像復元部６６は、第３の階層残差画像をアップコンバートした第２の階層画像に加えて第３の階層画像を復元する。このアップコンバートした第２の階層画像は、第２のフォーマットアップコンバータ６４により復号された第２の階層画像にフォーマットアップコンバージョンを実行して獲得される。このような方法で、Ｎ個の階層画像は復元することができる(ここで、Ｎ  ４)。
【００２５】
図３は、図１及び図２のフォーマットアップコンバージョンに必要な画像コンバージョンの順序を示す。
【００２６】
図２の実施形態において、フォーマットアップコンバージョンは、相互に異なる階層の画像のフォーマットを合わせる過程である。上位階層は下位階層に比べて高画質の画像を表現するため、フォーマットアップコンバージョンのフォーマットコンバージョンが要求される。階層間画像コンバージョンのために、ビット深度(bit depth)アップコンバージョン、解像度アップコンバージョン、カラー色差(chroma)情報アップコンバージョン、及びトーンマッピング方法が使用可能である。２つ以上のコンバージョンは、同時に実行され得る。ビット深度アップコンバージョンは、単純なビットシフト、スムージング(smoothing)、及びトーンマッピングのうちいずれか一つに基づいて実行される。
【００２７】
すなわち、画質に影響を及ぼす重要度を考慮して下位階層画像と上位階層画像の特性に基づき、画像コンバージョンは、図３に示すように、例えばビット深度アップコンバージョン３１０⇒解像度アップコンバージョン３３０⇒カラー色差情報アップコンバージョン３７０⇒追加トーンマッピング３９０の順に実行できる。
【００２８】
他の例として、画像コンバージョンは、ビット深度アップコンバージョン３１０  ⇒１次元フィルタ予測３５０⇒カラー色差情報アップコンバージョン３７０⇒追加トーンマッピング３９０の順に連続して実行することができる。もう一つの例として、画像コンバージョンは、ビット深度アップコンバージョン３１０⇒カラー色差情報アップコンバージョン３７０⇒追加トーンマッピング３９０の順に連続して実行することができる。さらに、他の例として、画像コンバージョンは、ビット深度アップコンバージョン３１０⇒解像度アップコンバージョン３３０⇒追加トーンマッピング３９０の順に連続して実行できる。上記例では説明されていないが、図３に示す画像コンバージョン順序は、他の実施形態によって変更可能である。
【００２９】
画像コンバージョンの組み合わせは、アプリケーションに従って決定され得る。画像コンバージョンの順序は、できる限り画像特性(画質)を維持するように決定され、この画像コンバージョンの順序は、画像コンバージョンの重要度に従って常に一定に維持することができる。
【００３０】
各コンバージョンについて説明すると、ビット深度アップコンバージョン３１０は、画像を表現する画素の表現単位を変換することである。例えば、基本階層(又は下位階層)の画像は、一つの画素を表現するために８ビットが必要である一方で、上位階層の画像は、一つの画素を表現するために１０ビット又は１２ビットが必要である。ビット深度の増加は、画像のダイナミックレンジを増加させて高画質の画像を表現することができる。
【００３１】
ビット深度アップコンバージョン３１０の場合において、次のような３つの方法の中で一つが選択され得る。３つの方法は、単純なビットシフト３１１によるコンバージョン方法、２Ｄ空間フィルタが使用されるスムージング３１３によるコンバージョン方法、及びトーンマッピング３１５によるコンバージョン方法を含む。単純なビットシフト３１１によるコンバージョン方法は、単純にビットシフトしてビット深度をコンバートすることである。スムージング３１３によるコンバージョン方法は、ビット深度をコンバートする場合に雑音を除去する追加的な効果を有することができる。トーンマッピング３１５によるコンバージョン方法は、ビット深度において線形でなく非線形のビット深度を変換して、元の画像に近い画像を復元可能にする。
【００３２】
カラー色差情報アップコンバージョン３７０は、一つの画像を表現するカラー色差情報を拡張することである。例えば、下位階層画像のカラー色差情報がＹＣｂＣｒ４：２：０である場合、４個のＹ値、１個のＣｂ値、及び１個のＣｒ値が４個の画像を表現するために必要である。上位階層画像のカラー色差情報がＹＣｂＣｒ４：２：２にコンバートされる場合、４個のＹ値、２個のＣｂ値、及び２個のＣｒ値が４個の画素を表現するために必要である。
【００３３】
追加トーンマッピング３９０は、与えられたビット深度を線形でなく非線形にコンバートして元の画像に近い画像を復元可能にする方法である。しかしながら、上位階層画像の解像度が下位階層画像の解像度と同一である場合、追加トーンマッピング３９０は、１次元予測フィルタが下位階層画像に適用されず、ビット深度アップコンバージョンがスムージングの単純なビットシフトである場合に適用可能である。また、追加トーンマッピング３９０は、上位階層画像の解像度が下位階層画像の解像度と異なる場合、又は１次元予測フィルタが適用される場合に選択的に適用され得る。
【００３４】
特に、本発明の実施例によるフォーマットアップコンバータは、上位階層で発生する残差画像のダイナミックレンジを減少させるために、下位階層から受信された下位階層画像に１次元予測フィルタを適用して１次元フィルタリングを実行する。このような１次元フィルタリングは、下記の＜表１＞のように、シーケンス階層のビットストリーム構文で下位階層予測フラグが予め設定されている場合(例えば、ＬＯＷＥＲ_ＬＡＹＥＲ_ＰＲＥＤ_ＦＬＡＧ==１)のみに実行される。＜表１＞は、多階層画像の符号化及び復号装置のフォーマットアップコンバータで画像コンバージョンを実行するのに必要な情報であるシーケンス階層のビットストリーム構文の一例を示し、下位階層予測フラグが予め設定されている場合における画像コンバージョン過程を示す。
【００３５】
【表１】
0005539592.tif 000002
0005539592.tif 000003
すなわち、本発明の実施形態によるフォーマットアップコンバータは、下位階層予測フラグがシーケンス階層のビットストリーム構文で予め設定されている場合(例えば、ＬＯＷＥＲ_ＬＡＹＥＲ_ＰＲＥＤ_ＦＬＡＧ==１)、解像度アップコンバージョン３３０又は１次元フィルタ予測３５０で１次元予測フィルタを適用して１次元フィルタリングを実行する。
【００３６】
復元画像の生成において、解像度アップコンバージョン３３０又は１次元フィルタ予測３５０がビット深度コンバージョン３１０と共に実行される場合、ビット深度アップコンバージョン３１０の単純なビットシフト３１１のみが使用される。これは、解像度コンバージョン及び１次元フィルタ予測に使用されるフィルタの除数(分母)を操作して同時に実行できるためである。
【００３７】
フォーマットアップコンバータのシーケンス階層のビットストリーム構文で下位階層予測フラグが予め設定されている場合(ＬＯＷＥＲ_ＬＡＹＥＲ_ＰＲＥＤ_ＦＬＡＧ==１)、上位階層画像の解像度と下位階層画像の解像度に基づいて解像度アップコンバージョン３３０又は１次元フィルタ予測３５０で１次元フィルタリングを実行する方法について詳細に説明する。
【００３８】
フォーマットアップコンバータは、上位階層画像の解像度が下位階層画像の解像度と同一である場合、下位階層で復元された画像を予測された上位階層画像に変換するために水平方向にのみ１次元フィルタを適用する。
【００３９】
フォーマットアップコンバータは、上位階層画像の解像度が下位階層画像の解像度と異なる場合、解像度アップコンバージョン過程で既定のフィルタを用いて垂直方向のアップコンバージョンを実行し、代替フィルタを用いて水平方向のアップコンバージョンを実行する。代替フィルタは、既定フィルタの係数と１次元フィルタの係数を畳み込み実行して生成された係数を有するフィルタである。フォーマットアップコンバータは、上位階層画像の解像度が下位階層画像の解像度と異なり、１次元フィルタが使用されない(例えば、ＬＯＷＥＲ_ＬＡＹＥＲ_ＰＲＥＤ_ＦＬＡＧ==０)場合、従来の方法で解像度アップコンバージョンのための既定のフィルタを水平及び垂直方向に適用して解像度アップコンバージョン３３０を実行する。２つの異なる方向のフィルタは、同一である。
【００４０】
その結果、本発明の実施形態による多階層画像符号化/復号装置において、フォーマットアップコンバータは、下位階層予測フラグが設定される場合、１次元フィルタ予測を実行し、それによって残差画像のダイナミックレンジ、計算量、及び複雑度を減少させ、モバイル環境のように低複雑度が要求されるアップリケーションで使用可能である。
【００４１】
本発明の実施形態による方法は、コンピュータ又はプロセッサにより多様な動作を実現するために、プログラム命令を含む非一時的なコンピュータ読み取り可能なメディア(ＣＤ  ＲＯＭ、ＲＡＭ(Random  Access  Memory)、ＲＯＭ(Read-Only  Memory)、フロッピー（登録商標）ディスク、ハードディスク、光磁気ディスクなど)においてコンピュータ読み取り可能なプログラムコードとして記録できる。
【００４２】
以上、本発明の詳細な説明においては具体的な実施形態に関して説明したが、特許請求の範囲の記載及びこれと均等なものに基づいて定められる本発明の範囲及び精神を逸脱することなく、形式や細部の様々な変更が可能であることは、当該技術分野における通常の知識を持つ者には明らかである。
【図１】
0005539592.tif 000004
【図２】
0005539592.tif 000005
【図３】
0005539592.tif 000006