(57)【要約】  本発明はイントラ予測をサポートする多階層構造を用いるビデオコーディングにおいて、イントラ予測から得られる差異信号（ｄｉｆｆｅｒｅｎｃｅ  ｓｉｇｎａｌ）の階層間重複性（ｉｎｔｅｒ−ｌａｙｅｒ  ｒｅｄｕｎｄａｎｃｙ）を減少させる方法および装置に関するものである。  複数の階層で形成されるビデオフレームをエンコーディングするビデオエンコーディング方法は、第１階層のブロックと、前記ブロックに対してイントラ予測された第１予測ブロック間の第１差異ブロックを求める段階と、前記第１階層のブロックと対応する第２階層のブロックと、前記第２階層のブロックに対してイントラ予測された第２予測ブロック間の第２差異ブロックを求める段階、および前記第１差異ブロックと前記第２差異ブロックとの間の最終差異ブロックを求める段階とを含む。
2009533938.tif 000002
【特許請求の範囲】
【請求項１】
複数の階層で形成されるビデオフレームをエンコーディングするビデオエンコーディング方法であって、
第１階層のブロックと、前記ブロックに対してイントラ予測された第１予測ブロック間の第１差異ブロックを求める段階と、
前記第１階層のブロックと対応する第２階層のブロックと、前記第２階層のブロックに対してイントラ予測された第２予測ブロック間の第２差異ブロックを求める段階、および
前記第１差異ブロックと前記第２差異ブロックとの間の最終差異ブロックを求める段階と、を含む、ビデオエンコーディング方法。
【請求項２】
前記ブロックは、
前記ビデオフレームを構成する所定のサイズのイメージ領域である、請求項１に記載のビデオエンコーディング方法。
【請求項３】
前記第１階層のブロックと前記第２階層のブロックは、同一な時間的位置および同一な空間的位置を有する、請求項１に記載のビデオエンコーディング方法。
【請求項４】
前記イントラ予測は、方向的イントラ予測であり、前記第１予測ブロックは、前記第１階層のブロックの周辺ピクセルから方向的イントラ予測によって生成されたブロックであり、前記第２予測ブロックは、前記第２階層のブロックの周辺ピクセルから方向的イントラ予測によって生成されたブロックである、請求項１に記載のビデオエンコーディング方法。
【請求項５】
前記周辺ピクセルは、
量子化および逆量子化を経て復元されたピクセルである、請求項４に記載のビデオエンコーディング方法。
【請求項６】
前記イントラ予測は、イントラベース予測であり、前記第１予測ブロックは、前記第２階層のブロックであり、前記第２予測ブロックは、前記第２階層ブロックと対応する第３階層のブロックである、請求項１に記載のビデオエンコーディング方法。
【請求項７】
前記第１予測ブロックとして用いられる第２階層のブロックおよび、前記第２予測ブロックとして用いられる第３階層のブロックは、量子化および逆量子化過程を経て復元されたブロックである、請求項６に記載のビデオエンコーディング方法。
【請求項８】
前記最終差異ブロックを量子化する段階をさらに含む、請求項１に記載のビデオエンコーディング方法。
【請求項９】
前記ビデオエンコーディング方法が前記第１差異ブロックと前記第２差異ブロックとの間の差異を求める段階を含むことを示すフラッグを設定する段階をさらに含む、請求項８に記載のビデオエンコーディング方法。
【請求項１０】
前記量子化された結果および前記フラッグを無損失符号化する段階をさらに含む、請求項９に記載のビデオエンコーディング方法。
【請求項１１】
入力されたビットストリームに含まれている第１階層の符号化されたデータから第１差異ブロックを復元する段階と、
前記ビットストリームに含まれている第２階層の符号化されたデータから最終差異ブロックを復元する段階と、
前記第１差異ブロックと前記最終差異ブロックを加算して第２差異ブロックを復元する段階と、
復元しようとするビデオフレームに含まれる第２階層のブロックに対する予測ブロックをイントラ予測によって生成する段階、および
前記生成された予測ブロックと前記復元された第２差異を加算することによって前記第２階層のブロックを復元する段階と、を含む、ビデオデコーディング方法。
【請求項１２】
前記ブロックは、
前記ビデオフレームを構成する所定のサイズのイメージ領域である、請求項１１に記載のビデオデコーディング方法。
【請求項１３】
前記イントラ予測は、方向的イントラ予測であり、前記予測ブロックは、前記第２階層のブロックの周辺ピクセルから方向的イントラ予測によって生成されたブロックである、請求項１１に記載のビデオデコーディング方法。
【請求項１４】
前記イントラ予測は、イントラベース予測であり、前記予測ブロックは、前記第２階層のブロックと対応する第１階層のブロックである、請求項１１に記載のビデオデコーディング方法。
【請求項１５】
前記第１階層のブロックと前記第２階層のブロックは、同一な時間的位置および同一な空間的位置を有する、請求項１４に記載のビデオデコーディング方法。
【請求項１６】
前記第１階層のブロックは、
前記ビットストリームに含まれている第３階層の符号化されたデータおよび前記復元された第１差異ブロックを加算して得られる、請求項１４に記載のビデオデコーディング方法。
【請求項１７】
前記ビットストリームが差異予測によって符号化されたことを表示するフラッグを判読する段階をさらに含む、請求項１１に記載のビデオデコーディング方法。
【請求項１８】
前記復元された第２階層のブロックを組み合わせて、前記復元しようとするビデオフレームを構成する段階をさらに含む、請求項１１に記載のビデオデコーディング方法。
【請求項１９】
前記第１差異ブロックを復元する段階および前記最終差異ブロックを復元する段階は、各々エントロピ復号化過程、逆量子化過程および逆変換過程と、を含む、請求項１１に記載のビデオデコーディング方法。
【請求項２０】
複数の階層で構成されるビデオフレームをエンコーディングするビデオエンコーダであって、
第１階層のブロックと、前記ブロックに対してイントラ予測された第１予測ブロック間の第１差異ブロックを求めるユニットと、
前記第１階層のブロックと対応する第２階層のブロックと、前記第２階層のブロックに対してイントラ予測された第２予測ブロックとの間の第２差異ブロックを求めるユニット、および
前記第１差異ブロックと前記第２差異ブロックとの間の最終差異ブロックを求めるユニットを含む、ビデオエンコーダ。
【請求項２１】
入力されたビットストリームに含まれている第１階層の符号化されたデータから第１差異ブロックを復元するユニットと、
前記ビットストリームに含まれている第２階層の符号化されたデータから最終差異ブロックを復元するユニットと、
前記第１差異ブロックと前記最終差異ブロックを加算して第２差異ブロックを復元するユニットと、
復元しようとするビデオフレームに含まれる第２階層のブロックに対する予測ブロックをイントラ予測によって生成するユニット、および
前記生成された予測ブロックと前記復元された第２差異を加算することによって前記第２階層のブロックを復元するユニットと、を含む、ビデオデコーダ。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、ビデオ圧縮方法に関し、より詳細には、イントラ予測をサポートする多階層構造を用いるビデオコーディングにおいて、イントラ予測から得られる差異信号（ｄｉｆｆｅｒｅｎｃｅ  ｓｉｇｎａｌ）の階層間重複性（ｉｎｔｅｒ−ｌａｙｅｒ  ｒｅｄｕｎｄａｎｃｙ）を減少させる方法および装置に関するものである。
【背景技術】
【０００２】
インターネットを含む情報通信技術が発達するにつれて文字、音声だけではなく画像通信が増加しつつある。既存の文字中心の通信方式では消費者の多様な欲求を充足させることができず、このため、文字、映像、音楽など多様な形態の情報を受容できるマルチメディアサービスが増加している。マルチメディアデータは、その量がぼう大であるため、大容量の格納媒体を必要とし、かつ伝送時に広い帯域幅を必要とする。したがって、文字、映像、オーディオを含むマルチメディアデータを伝送するためには圧縮コーディング技法を用いることが必須的である。
【０００３】
データを圧縮する基本的な原理はデータの重複（ｒｅｄｕｎｄａｎｃｙ）要素を除去する過程である。イメージで同一の色やオブジェクトが反復されるような空間的重複や、動画フレームで隣接フレームがほぼ変化のない場合やオーディオで同じ音が反復し続くような時間的重複、または人間の視覚および知覚能力が高い周波数に鈍感なことを考慮した心理視覚重複を除去することによってデータを圧縮することができる。
【０００４】
このようなビデオ圧縮技術に関して今までＭＰＥＧ−２，ＭＰＥＧ−４，Ｈ．２６４などの多様な標準が提示されてきた。のみならず、最近、ＭＰＥＧ  （Ｍｏｖｉｎｇ  Ｐｉｃｔｕｒｅ  Ｅｘｐｅｒｔｓ  Ｇｒｏｕｐ）とＩＴＵ  （Ｉｎｔｅｒｎａｔｉｏｎａｌ  Ｔｅｌｅｃｏｍｍｕｎｉｃａｔｉｏｎ  Ｕｎｉｏｎ）の共同作業グループ（ｗｏｒｋｉｎｇ  ｇｒｏｕｐ）であるＪＶＴ  （Ｊｏｉｎｔ  Ｖｉｄｅｏ  Ｔｅａｍ）ではＨ．２６４を基本として多階層（ｍｕｌｔｉ−ｌａｙｅｒ）形態でスケーラビリティを実現するための標準化作業（以下、ＳＶＣ（Ｓｃａｌａｂｌｅ  Ｖｉｄｅｏ  Ｃｏｄｉｎｇ）標準という）が進んでいる。
【０００５】
図１は、ＳＶＣ標準によるスケーラブルビデオコーディング方式の概念を示す図である。スケーラブルビデオコーディングの一例として、図１に図示された通り、基礎階層はＱＣＩＦ（Ｑｕａｒｔｅｒ  Ｃｏｍｍｏｎ  Ｉｎｔｅｒｍｅｄｉａｔｅ  Ｆｏｒｍａｔ）、１５Ｈｚ（フレーム率）に設定されて、第１向上階層はＣＩＦ（Ｃｏｍｍｏｎ  Ｉｎｔｅｒｍｅｄｉａｔｅ  Ｆｏｒｍａｔ）、３０ｈｚに、第２向上階層はＳＤ（Ｓｔａｎｄａｒｄ  Ｄｅｆｉｎｉｔｉｏｎ）、６０ｈｚに設定される。
【０００６】
このような多階層ビデオフレームをエンコーディングすることには階層間の関連性を用いることができるが、例えば、第１向上階層のビデオフレームのうちある領域１２は、基礎階層のビデオフレームのうち対応される領域１３からの予測によって効率的にエンコーディングされうる。同様に第２向上階層ビデオフレームのうちの領域１１は、前記第１向上階層の領域１２からの予測によって効率的にエンコーディングされうる。仮に、多階層ビデオにおいて各階層別に解像度が相異する場合には、前記予測を実行する前に基礎階層のイメージはアップサンプリングされる必要がある。
【０００７】
ＳＶＣ標準では、既存の単一階層で他の時間的位置のフレームを参照して（モーション補償）予測するインター予測（ｉｎｔｅｒ  ｐｒｅｄｉｃｔｉｏｎ）だけではなく、同一な時間的位置のフレームを参照して予測するイントラ予測（ｉｎｔｒａ  ｐｒｅｄｉｃｔｉｏｎ）をサポートする。前記イントラ予測には、予測しようとするフレーム内の他の領域を参照して予測する方向的イントラ予測（ｄｉｒｅｃｔｉｏｎａｌ  ｉｎｔｒａ  ｐｒｅｄｉｃｔｉｏｎ）と、予測しようとするフレームと同一な時間的位置を有する下位階層フレームを参照して予測するイントラベース予測（ｉｎｔｒａ  ｐｒｅｄｉｃｔｉｏｎ）（イントラＢＬ予測（ｉｎｔｒａ  ｂａｓｅ−ｌａｙｅｒ  ｐｒｅｄｉｃｔｉｏｎ）とも呼ばれる）をサポートする。
【０００８】
図２は、前記３つの予測方法を説明する概略図である。図２を参照すると、現在階層フレーム１のあるブロック４は、その周辺のブロックの情報を用いて方向的イントラ予測される。または、前記ブロック４は、現在階層フレーム１と他の時間的位置にあるフレーム２（以前フレームまたは以後フレーム）を用いてインター予測されることができる。また、前記ブロック４は、現在階層フレーム１と同一な時間的位置にある下位階層フレーム３で対応する領域６の情報を用いてイントラベース予測されることもできる。
【０００９】
一般的に、予測とは、コーディングしようとするフレームまたはブロック（コーディング対象）において、ビデオエンコーダとビデオデコーダですべて用いられる予測ブロックを減じることによってコーディングされる信号の複雑性を減らす過程を意味する。前記コーディング対象から予測ブロックを減じた結果を差異ブロック（ｄｉｆｆｅｒｅｎｃｅ  ｓｉｇｎａｌ）という。結局、図２においての３つの予測方法の差異は前記予測ブロックを如何に得るかとの方法の差異と見られる。
【００１０】
しかし、コーディング対象と予測ブロックが非常に類似の場合は問題がないが、両者間に多少差異がある場合には符号化効率が充分でないこともある。ＳＶＣ標準で用いる多階層フレーム構造の下では、実際の映像だけではなく、前記予測過程で生成される差異ブロック図階層間に強い関連性（ｃｏｒｒｅｌａｔｉｏｎ）を有する。したがって、このような階層間の関連性を考慮して差異ブロックをより一層圧縮できる方法を考案する必要がある。
【発明の開示】
【発明が解決しようとする課題】
【００１１】
本発明が解決しようとする課題は、ビデオエンコーダの圧縮効率およびビデオデコーダで再生される映像の画質を向上させる方法および装置を提供しようとするものである。
【００１２】
本発明の技術的課題は、以上で言及した技術的課題に制限されず、言及されていないまた他の技術的課題は次の記載から当業者に明確に理解できるであろう。
【課題を解決するための手段】
【００１３】
前記技術的課題を達成するために、複数の階層で形成されるビデオフレームをエンコーディングするビデオエンコーディング方法は、第１階層のブロックと、前記ブロックに対してイントラ予測された第１予測ブロック間の第１差異ブロックを求める段階と、前記第１階層のブロックと対応する第２階層のブロックと、前記第２階層のブロックに対してイントラ予測された第２予測ブロック間の第２差異ブロックを求める段階、および前記第１差異ブロックと前記第２差異ブロックとの間の最終差異ブロックを求める段階と、を含む
【００１４】
前記技術的課題を達成するためのビデオデコーディング方法は、入力されたビットストリームに含まれている第１階層の符号化されたデータから第１差異ブロックを復元する段階と、前記ビットストリームに含まれている第２階層の符号化されたデータから最終差異ブロックを復元する段階と、前記第１差異ブロックと前記最終差異ブロックを加算して第２差異ブロックを復元する段階と、復元しようとするビデオフレームに含まれる第２階層のブロックに対する予測ブロックをイントラ予測によって生成する段階、および前記生成された予測ブロックと前記復元された第２差異を加算することによって前記第２階層のブロックを復元する段階と、を含む。
【００１５】
前記技術的課題を達成するために複数の階層で形成されるビデオフレームをエンコーディングするビデオエンコーダは、第１階層のブロックと、前記ブロックに対してイントラ予測された第１予測ブロック間の第１差異ブロックを求めるユニットと、前記第１階層のブロックと対応する第２階層のブロックと、前記第２階層のブロックに対してイントラ予測された第２予測ブロックとの間の第２差異ブロックを求めるユニット、および前記第１差異ブロックと前記第２差異ブロックとの間の最終差異ブロックを求めるユニットを含む。
【００１６】
前記技術的課題を達成するためのビデオデコーダは、入力されたビットストリームに含まれている第１階層の符号化されたデータから第１差異ブロックを復元するユニットと、前記ビットストリームに含まれている第２階層の符号化されたデータから最終差異ブロックを復元するユニットと、前記第１差異ブロックと前記最終差異ブロックを加算して第２差異ブロックを復元するユニットと、復元しようとするビデオフレームに含まれる第２階層のブロックに対する予測ブロックをイントラ予測によって生成するユニット、および前記生成された予測ブロックと前記復元された第２差異を加算することによって前記第２階層のブロックを復元するユニットと、を含む。
【発明の効果】
【００１７】
前述した本発明によれば、ビデオエンコーダの圧縮効率を向上させられて、同一なビット率を有するビデオの再生画質を向上させられる。
【発明を実施するための最良の形態】
【００１８】
本発明ではイントラ予測によって生成された各階層別差異ブロックを再び予測（以下、差異予測という）する方法に関して開示ようとする。以下添付された図を参照して本発明による一実施形態を詳細に説明する。
【００１９】
前述した通り、イントラ予測は、方向的イントラ予測とイントラベース予測などのように符号化しようとするブロックと同一な時間的位置にあるフレーム上のイメージを用いて予測する技法を意味する。以下、本明細書では方向的イントラ予測に対して差異予測を適用した実施形態（以下、第１実施例という）と、イントラベース予測に対して差異予測を適用した実施形態（以下、第２実施例という）の順に説明する。以下本発明において、ブロックは、ビデオフレームに含まれるイメージ領域であって、４ｘ４，８ｘ８，１６ｘ１６など多様なサイズを有しうる。
【実施例１】
【００２０】
図３は、本発明の第１実施例による差異予測技法の概念を説明する図である。本実施形態の意図は現在階層フレーム３１のうちコーディングしようとするブロック３３をより効率的（圧縮的）に表現することである。
【００２１】
先ず、前記ブロック３３に対応する下位階層フレーム３２上のブロック３４に対する予測ブロック（予測信号）３６を生成する（Ｓ１）。前記予測ブロック３６は、前記ブロック３４に対する方向的イントラ予測によって求められる。そして、前記ブロック３４から前記予測ブロック３６を減じることによって差異ブロック３８を生成する（Ｓ２）。
【００２２】
同様に、現在階層フレームのブロック３３に対する予測ブロック（予測信号）３５を生成する（Ｓ３）。前記予測ブロック３５は、前記ブロック３３に対する方向的イントラ予測によって求められる。そして、前記ブロック３３から前記予測ブロック３５を減じることによって差異ブロック（差異信号）３７を生成する（Ｓ４）。
【００２３】
現在階層で生成された差異ブロック３７と下位階層で生成された差異ブロック３８は多くが高周波成分からなるオリジナルイメージとは異なるイメージであるが、前記高周波成分間にも相変らず重複性（イメージ間の類似性を意味する）が残っていることもある。
【００２４】
したがって、このような重複性を除去するために、現在階層で生成された差異ブロック３７から下位階層で生成された差異ブロック３８を再び減じて最終差異ブロック３９を生成する（Ｓ５）。前記減じる過程で多少でも存在する重複性も大部分が除去されうるものである。最後に、前記生成された最終差異ブロック３９は量子化される（Ｓ６）。
【００２５】
図４は、本発明の第１実施例によるビデオエンコーダ１００を図示するブロック図である。図４を参照すると、先に入力フレームは減算器１１５、方向的イントラ予測部１１０およびダウンサンプラ１０５に入力される。
【００２６】
ダウンサンプラ１０５は、解像度、フレーム率およびビット率のうち少なくとも一つを基準として前記入力フレームをダウンサンプリングする。例えば、ダウンサンプラ１０５は解像度面では入力フレームのサイズに１／２に変換したり、フレーム率面では入力フレームの数を１／２に変換したり、ビット栗面では入力フレームのビット率が１／２となるように変換することができる。このように、ダウンサンプラ１０５を経た出力は本来の入力フレームの下位階層フレームとなる。
【００２７】
ダウンサンプラ１０５での出力は減算器１５５および方向的イントラ予測部１５０に入力される。方向的イントラ予測部１５０は、下位階層で符号化しようとするブロック（図３の３４）に対する予測ブロックを、前記ブロック３４の周辺イメージを用いて（方向的イントラ予測によって）生成する。
【００２８】
方向的イントラ予測は、一つのブロック（４ｘ４ブロック）に対して上方向、左方向の隣接ピクセルを用いて定められた方向にコピーすることによって現在ブロックの値を予測する方法である。４×４ブロックに対する予測モードとして、ＳＶＣ標準では図１で図示するように合計９個のモードをサポートする。図５で、陰影で表示された領域はコーディングしようとするブロック３４の位置を示し、ＡからＭは、前記ブロック周辺のピクセルを示すが、それぞれのモードで前記ブロックに対する予測ブロックは矢印方向に内挿（ｉｎｔｅｒｐｏｌａｔｉｏｎ）または外挿（ｅｘｔｒａｐｏｌａｔｉｏｎ）されて求められる。
【００２９】
結局、方向的イントラ予測部１５０は図５のうち最適のモードを選択して該当モードによって予測ブロックを生成してこれを減算器１５５に提供する。減算器１５５は、前記ブロック３４から前記提供された予測ブロックを減じて第１差異ブロック（Ｄ１）を生成する。
【００３０】
同様に、方向的イントラ予測部１１０は、前記ブロック３４と対応する現在階層で符号化しようとするブロック（図３の３３）に対する予測ブロックを、前記ブロック３３の周辺イメージを用いて（方向的イントラ予測によって）生成する。減算器１１５は、前記ブロック３３から方向的イントラ予測部１１０によって生成された予測ブロックを減じて第２差異ブロック（Ｄ２）を生成する。
【００３１】
スイッチ１３５は、本発明による差異予測を用いるか否かによって減算器１２０に第１差異ブロック（Ｄ１）を提供したりその提供を遮断したりする。差異予測が用いられる場合には、減算器１２０は、第２差異ブロック（Ｄ２）から第１差異ブロック（Ｄ１）を減じて現在階層のブロック３３に対する最終差異ブロック（ＤＦ）を求める。
【００３２】
前記最終差異ブロック（ＤＦ）は、変換部１２５および量子化部１３０を経てエントロピ符号化部１４５に提供される。しかし、最終差異ブロック（ＤＦ）を構成するすべての値の一定のしきい値以下となる場合には、その値をすべて０と見なして、変換部１２５および量子化部１３０を経られないこともある。
【００３３】
変換部１２５は、前記最終差異ブロック（ＤＦ）に対して空間的変換を行い、変換係数を生成する。このような空間的変換法としてはＤＣＴ（Ｄｉｓｃｒｅｔｅ  Ｃｏｓｉｎｅ  Ｔｒａｎｓｆｏｒｍ）、ウェーブレット変換（ｗａｖｅｌｅｔ  ｔｒａｎｓｆｏｒｍ）などが用いられる。仮に、空間的変換でＤＣＴを用いる場合、前記変換係数はＤＣＴ係数を意味し、ウェーブレット変換を用いる場合、前記変換係数はウェーブレット係数を意味する。
【００３４】
量子化部１３０は、前記変換係数を量子化する。量子化（ｑｕａｎｔｉｚａｔｉｏｎ）とは、任意の実数値で表現される前記変換係数を一定区間に分けて離散値（ｄｉｓｃｒｅｔｅ  ｖａｌｕｅ）で示し、これを所定のインデックスに対応（ｍａｔｃｈｉｎｇ）させる作業を意味する。このような量子化方法ではスカラー量子化、ベクター量子化などがある。
【００３５】
一方、第１差異ブロック（Ｄ１）も同様に変換部１６０および量子化部１６５を経てエントロピ符号化部１４５に提供される。第１差異ブロック（Ｄ１）も最終差異ブロック（ＤＦ）と同様に、変換部１２５および量子化部１３０を経られないこともある。
【００３６】
フラッグ設定部１４０は、本発明による差異予測を用いるか否かを表示するフラッグ（１ビットフラッグ）を設定してエントロピ符号化部１４５に提供する。例えば、設定されたフラッグの値が１であれば差異予測を用いることを、０であれば差異予測を用いず従来の方法を用いることをそれぞれ意味することにすることができる。前記フラッグはマクロブロック、スライスまたはフレーム単位で設定される。
【００３７】
エントロピ符号化部１４５は、量子化部１３０および量子化部１６５によってそれぞれ量子化された変換係数（Ｑ２，Ｑ１）と、フラッグ設定部１４０によって設定されたフラッグ値（Ｆ）を無損失符号化してビットストリームを生成する。このような無損失符号化方法としては、算術符号化（ａｒｉｔｈｍｅｔｉｃ  ｃｏｄｉｎｇ）、可変長符号化（ｖａｒｉａｂｌｅ  ｌｅｎｇｔｈ  ｃｏｄｉｎｇ）などが用いられうる。
【００３８】
図４のビデオエンコーダ１００は、オープンループタイプ（ｏｐｅｎ−ｌｏｏｐ  ｔｙｐｅ）で実現されている。一般的に、ビデオエンコーダとビデオデコーダとの間のドリフトエラー（ｄｒｉｆｔ  ｅｒｒｏｒ）を減少させるため、ビデオエンコーダは両者間に対称的な構造、すなわち、クローズドループタイプ（ｃｌｏｓｅｄ−ｌｏｏｐ  ｔｙｐｅ）を用いる場合が多い。ビデオエンコーダ１００がクローズループタイプを有するためには、コーディングされるブロック３３，３４の方向的イントラ予測のために用いられる周辺イメージを図４のように原本フレームから得ず、量子化および逆量子化を経て復元されたフレームから得れば良い。
【００３９】
図６は、本発明の第１実施例によるビデオデコーダ２００の構成を図示するブロック図である。図６を参照すると、エントロピ復号化部２０５は入力されたビットストリームを無損失復号化して、現在階層の量子化係数（Ｑ２）、下位階層の量子化係数（Ｑ１）およびフラッグ（Ｆ）を抽出する。前記無損失復号化はエントロピ符号化部１４５での無損失符号化の逆の過程で行われる。
【００４０】
逆量子化部２５０は、下位階層の量子化係数（Ｑ１）を逆量子化する。このような逆量子化過程は量子化部１６５で実行される量子化過程の逆に該当し、所定のインデックスで表現される量子化係数と対応する実際係数（変換係数）を復元する過程である。
【００４１】
逆変換部２５５は、前記逆量子化された結果を逆変換して第１差異ブロック（Ｄ１’）を復元する。但し、復元された第１差異ブロック（Ｄ１’）は第１差異ブロック（Ｄ１）が量子化および逆量子化を経て生成されたものであるため、第１差異ブロック（Ｄ１）と正確に同じではない。以下、本明細書においてすべてのプライム符号（’）は復元されたデータであることを示し、これは本来のデータと完全に同一ではないこともあるとのを意味する。前記逆変換は、変換部１６０で実行される変換過程の逆に該当する。
【００４２】
フラッグ判読部２３５は、前記抽出されたフラッグ（Ｆ）を判読し、前記入力ビットストリームに差異予測が適用されたのか否かを判断する。仮に、差異予測が適用された場合であれば、スイッチ２４０は、復元された第１差異ブロック（Ｄ１’）を加算器２２０に提供する。
【００４３】
一方、逆量子化部２１０は、現在階層の量子化係数（Ｑ１）を逆量子化し、逆変換部２１５は、前記逆量子化された結果を逆変換し、第２差異ブロック（Ｄ２’）を復元する。
【００４４】
そうすると、加算器２２０は、前記復元された第２差異ブロック（Ｄ２’）と前記復元された第１差異ブロック（Ｄ１’）を加算して第２差異ブロック（Ｄ２’）を復元する。
【００４５】
方向的イントラ予測部２４５は、現在階層で復号化しようとするブロックに対する予測ブロックを、前記復号化しようとするブロックの周辺イメージを用いて（方向的イントラ予測によって）生成する。この時、前記周辺イメージは既に復元され、バッファ２３０に保存されているデータである。
【００４６】
加算器２２５は、復元された第２差異ブロック（Ｄ２’）および前記生成された予測ブロックを加算し、前記復号化しようとするブロックを復元してこれをバッファ２３０に保存する。バッファ２３０は、一つのフレームを構成する複数のブロックを保存しておき、そこから完全なフレームを復元する。
【実施例２】
【００４７】
図７は、本発明の第２実施例による差異予測技法の概念を説明する図である。
【００４８】
イントラベース予測は、２つの階層間からなり、その結果、１つの差異ブロックが生成される。本発明の第２実施例ではイントラベース予測結果、得られる差異ブロック間の重複性を再び除去するためのものであるため、第２実施例を適用するためには最小限３つの階層を必要とする。したがって、以下、本明細書ではビデオフレームが３つの階層で構成されるものを例えて説明するが、４つ以上の階層で構成されても良いことは当業者ならば、充分に理解できるものである。
【００４９】
図７で、先ず現在階層フレーム７１のブロック７４は差異予測によってコーディングされなければならないブロックである。前記ブロック７４は、第１下位階層フレーム７２のブロック７５および第２下位階層フレーム７３のブロック７６と時間的および空間的に互いに対応する。
【００５０】
先ず、第１下位階層のブロック７５は、それに対応する下位階層のブロック７６を予測信号にして予測される。すなわち、前記第１下位階層のブロック７５から前記対応するブロック７６を減じることによって第１差異ブロック７８を生成する（Ｓ１）。
【００５１】
同様に、現在階層のブロック７４はそれに対応する第１下位階層のブロック７５を予測信号にして予測される。すなわち、前記現在階層のブロック７４から前記対応するブロック７５を減じることによって第２差異ブロック７７を生成する（Ｓ２）。
【００５２】
そして、第１差異信号７８と第２差異信号７７の重複を除去するために、第２差異信号７７から第１差異信号７８を減ずることによって最終差異ブロック７９を生成する（Ｓ３）。最後に、前記生成された最終差異ブロック７９は量子化される（Ｓ４）。
【００５３】
図８は、本発明の第２実施例によるビデオエンコーダ３００の構成を図示するブロック図である。図８を参照すると、先ず入力フレームは減算器３１０およびダウンサンプラ３０５に入力される。
【００５４】
ダウンサンプラ３０５は、解像度、フレーム率およびビット率のうち少なくとも一つを基準として前記入力フレームを第１下位階層フレームのレベルにダウンサンプリングする。ダウンサンプラ３０５の出力は減算器３５０およびダウンサンプラ３４５に入力される。同様に、ダウンサンプラ３４５は、解像度、フレーム率およびビット率のうち少なくとも一つを基準として前記第１下位階層フレームを第２下位階層フレームのレベルにダウンサンプリングする。ダウンサンプラ３４５の出力は、減算器３５０および変換部３６５に提供される。
【００５５】
減算器３５０は、ダウンサンプラ３０５から提供される第１下位階層フレームのブロック（Ａ）から、ダウンサンプラ３４５から提供される第２下位階層フレームのブロック（Ｂ）を減じて第１差異ブロック（Ｄ１）を生成する。同様に、減算器３１０は、現在階層フレームでコーディングしようとするブロック（Ｏ）から、ダウンサンプラ３０５から提供される第１下位階層フレームのブロック（Ａ）を減じて第２差異ブロック（Ｄ２）を生成する。
【００５６】
スイッチ３３０は、本発明による差異予測を用いるか否かによって減算器３１５に第１差異ブロック（Ｄ１）を提供するか、その提供を遮断する。差異予測が用いられる場合には、減算器３１５は第２差異ブロック（Ｄ２）から第１差異ブロック（Ｄ１）を減じて現在階層のコーディングしようとするブロック（Ｏ）に対する最終差異ブロック（ＤＦ）を求める。
【００５７】
ダウンサンプラ３４５によって提供される第２下位階層フレームのブロック（Ｂ）は、変換部３６５および量子化部３７０を経てエントロピ符号化部３４０に提供されて（Ｑ０）、減算器３５０によって提供される第１差異ブロック（Ｄ１）は、変換部３５５および量子化部３６０を経てエントロピ符号化部３４０に提供され（Ｑ１）、前記求めた最終差異ブロック（ＤＦ）は、変換部３２０および量子化部３２５を経てエントロピ符号化部３４０に提供される（Ｑ２）。但し、変換部３２０，３５５，３６５に入力される値の大きさが小さい場合には変換部３２０，３５５，３６５および量子化部３２５，３６０，３７０を経られないこともあることは前述した通りである。
【００５８】
また、フラッグ設定部３３５は、本発明による差異予測を用いるか否かを表示するフラッグ（１ビットフラッグ）を設定してエントロピ符号化部３４０に提供する。
【００５９】
エントロピ符号化部３４０は、量子化部３２５，３６０，３７０によってそれぞれ量子化された変換係数（Ｑ２，Ｑ１，Ｑ０）と、フラッグ設定部３３５によって設定されたフラッグ値（Ｆ）を無損失符号化してビットストリームを生成する。
【００６０】
図８のビデオエンコーダ３００は、オープンループタイプ（ｏｐｅｎ−ｌｏｏｐ  ｔｙｐｅ）で実現されている。しかし、これはクローズループタイプになっても良い。これのためには、ビデオエンコーダ３００は減算器３１０でＡ代わりにＡの復元された映像（Ａ’）を用いて、減算器３５０でＢ代わりにＡの復元された映像（Ｂ’）を用いれば良いものである。
【００６１】
図９は、本発明の第２実施例によるビデオデコーダ４００の構成を図示するブロック図である。
【００６２】
図９を参照すると、エントロピ復号化部４０５は、入力されたビットストリームを無損失復号化して現在階層の量子化係数（Ｑ２）、第１下位階層の量子化係数（Ｑ１）、第２下位階層の量子化係数（Ｑ０）およびフラッグ（Ｆ）を抽出する。
【００６３】
フラッグ判読部４３５は、前記抽出されたフラッグ（Ｆ）を判読し、前記入力ビットストリームに差異予測が適用されたか否かを判断する。仮に、差異予測が適用された場合は、スイッチ４４０は復元された第１差異ブロック（Ｄ１’）を加算器４２０に提供する。
【００６４】
現在階層の量子化係数（Ｑ２）は、逆量子化部４１０および逆変換部４１５を経て最終差異ブロック（ＤＦ’）で復元されて、第１下位階層の量子化係数（Ｑ１）は、逆量子化部４４５および逆変換部４５０を経て第１差異ブロック（Ｄ１’）で復元され、第２下位階層の量子化係数（Ｑ０）は、逆量子化部４５５および逆変換部４６０を経、第２下位階層フレームのブロック（Ｂ’）で復元される。
【００６５】
加算器４６５は、復元された第２下位階層フレームのブロック（Ｂ’）と復元された第１差異ブロック（Ｄ１’）を加算することによって、第１下位階層フレームのブロック（Ａ’）を復元する。また、加算器４２０は、復元された最終差異ブロック（ＤＦ’）と復元された第１差異ブロック（Ｄ１’）を加算することによって第２差異ブロック（Ｄ２’）を復元する。そうすると、加算器４２５は、復元された第２差異ブロック（Ｄ２’）と第１下位階層フレームのブロック（Ａ’）を加算することによって現在階層フレームのブロック（Ｏ’）を復元してこれをバッファ４３０に保存する。
【００６６】
バッファ４３０は、一つのフレームを構成する複数のブロックを保存しておき、それらから完全なフレーム（現在階層フレーム）を復元する。
【００６７】
今まで図４，図６，図８および図９の各構成要素はメモリ上の所定領域で実行されるタスク、クラス、サブ  ルーチン、プロセス、オブジェクト、実行スレッド、プログラムのようなソフトウェア（ｓｏｆｔｗａｒｅ）や、ＦＰＧＡ（ｆｉｅｌｄ−ｐｒｏｇｒａｍｍａｂｌｅ  ｇａｔｅ  ａｒｒａｙ）やＡＳＩＣ（ａｐｐｌｉｃａｔｉｏｎ−ｓｐｅｃｉｆｉｃ  ｉｎｔｅｇｒａｔｅｄ  ｃｉｒｃｕｉｔ）のようなハードウェア（ｈａｒｄｗａｒｅ）で具現されることができ、また前記ソフトウェアおよびハードウェアの組み合わせで構成されることもできる。前記構成要素はコンピュータで判読可能な保存媒体に含まれていることもでき、複数のコンピュータにその一部が分散されて分布されることもできる。
【００６８】
以上添付された図面を参照し、本発明の実施形態について説明したが、本発明が属する技術分野における通常の知識を有する者は、本発明が、その技術的思想や必須の特徴を変更しない範囲で、他の具体的な形態において実施されうるとことを理解することができる。したがって、上記実施形態はすべての面で例示的なものであり、限定的でないと理解しなければならない。
【図面の簡単な説明】
【００６９】
【図１】ＳＶＣ標準によるスケーラブルビデオコーディング方式の概念を示す図である。
【図２】３つの予測方法を説明する概略図である。
【図３】本発明の第１実施例による差異予測技法の概念を説明する図である。
【図４】本発明の第１実施例によるビデオエンコーダを図示するブロック図である。
【図５】方向的イントラ予測モードによる予測ブロック生成方法を示す図である。
【図６】本発明の第１実施例によるビデオデコーダの構成を図示するブロック図である。
【図７】本発明の第２実施例による差異予測技法の概念を説明する図である。
【図８】本発明の第２実施例によるビデオエンコーダの構成を図示するブロック図である。
【図９】本発明の第２実施例によるビデオデコーダ４００の構成を図示するブロック図である。
【符号の説明】
【００７０】
１００，３００    ビデオエンコーダ
１０５，３０５，３４５    ダウンサンプラ
１１０，１５０，２４５    方向的イントラ予測部
１１５，１２０，１５５，３１０，３１５，３５０    減算器
１２５，１６０，３２０，３５５，３６５    変換部
１３０，１６５，３２５，３６０，３７０    量子化部
１３５，２４０，３３０，４４０    スイッチ
１４０，３３５    フラッグ設定部
１４５，３４０    エントロピ符号化部
２００，４００    ビデオデコーダ
２０５，４０５    エントロピ復号化部
２１０，２５０，４１０，４４５，４５５    逆量子化部
２１５，２５５，４１５，４５０，４６０    逆変換部
２２０，２２５，４２０，４２５，４６５    加算器
２３０，４３０    バッファ
２３５，４３５    フラッグ判読部
【図２】
2009533938.tif 000003
【図３】
2009533938.tif 000004
【図４】
2009533938.tif 000005
【図５】
2009533938.tif 000006
【図６】
2009533938.tif 000007
【図７】
2009533938.tif 000008
【図８】
2009533938.tif 000009
【図９】
2009533938.tif 000010
【図１】
2009533938.tif 000011
【国際調査報告】
2009533938.tif 000012
2009533938.tif 000013