(57)【要約】  本発明は、ビデオ圧縮方法に関し、より詳しくはビデオフレームの重複を効率的に除去するための予測方法、及びこれを利用したビデオ圧縮方法並びに装置に関するものである。  本発明による多階層基盤のビデオエンコーディング方法は、カレントイントラブロックの周辺イントラブロックのイメージから前記カレントイントラブロックに対するイントラ予測を行って予測差分を求めるステップと、カレントイントラブロックと対応する下位階層のイメージから前記カレントイントラブロックに対する予測を行って予測差分を求めるステップと、前記２つの予測差分のうち符号化効率がより高い方を選択するステップと、前記選択された予測差分を符号化するステップと、を含む。
2008522537.tif 000002
【特許請求の範囲】
【請求項１】
カレントイントラブロックの周辺イントラブロックのイメージから前記カレントイントラブロックに対するイントラ予測を行って予測差分を求めるステップと、
カレントイントラブロックと対応する下位階層のイメージから前記カレントイントラブロックに対する予測を行って予測差分を求めるステップと、
前記２つの予測差分のうち符号化効率がより高い方を選択するステップと、
前記選択された予測差分を符号化するステップと、を含む多階層基盤のビデオエンコーディング方法。
【請求項２】
イントラ予測は、８つの方向性を有するイントラ予測モードによって行われる請求項１に記載の多階層基盤のビデオエンコーディング方法。
【請求項３】
前記イントラブロックは、４×４ピクセルサイズを有する請求項１に記載の多階層基盤のビデオエンコーディング方法。
【請求項４】
前記イントラ予測は、前記８つのイントラ予測モードに、前記下位階層のイメージから予測差分を求めるステップの予測を追加して、全体的に９つのイントラ予測モードを有する請求項２に記載の多階層基盤のビデオエンコーディング方法。
【請求項５】
前記下位階層領域のイメージは、符号化された下位階層フレームを復号化して復元されるフレームのうち前記カレントイントラブロックに対応する領域のイメージを意味する請求項１に記載の多階層基盤のビデオエンコーディング方法。
【請求項６】
前記周辺イントラブロックのイメージは、符号化された周辺イントラブロックを復号化して復元されるイメージを意味する請求項１に記載の多階層基盤のビデオエンコーディング方法。
【請求項７】
前記符号化効率はレート歪みに基づく費用関数によって判断される請求項１に記載の多階層基盤のビデオエンコーディング方法。
【請求項８】
前記符号化するステップは、
前記選択された差分を空間的変換して変換係数を生成するステップと、
前記生成された変換係数を量子化して量子化係数を生成するステップと、
前記量子化係数を無損失符号化するステップと、を含む請求項１に記載の多階層基盤のビデオエンコーディング方法。
【請求項９】
イントラブロック別に修正イントラ予測モード、及びテクスチャデータを抽出するステップと、
前記テクスチャデータから前記イントラブロックの差分イメージを生成するステップと、
前記修正イントラ予測モードによって予め復元された周辺イントラブロック、または予め復元された対応する下位階層のイメージからカレントイントラブロックの予測イメージを生成するステップと、
前記生成された差分イメージ及び前記予測イメージを加算して前記カレントイントラブロックのイメージを復元するステップと、を含む多階層基盤のビデオデコーディング方法。
【請求項１０】
前記差分イメージを生成するステップは、
前記テクスチャデータを逆量子化するステップと、
前記逆量子化結果を逆空間的変換するステップと、を含む請求項９に記載の多階層基盤のビデオデコーディング方法。
【請求項１１】
前記修正イントラ予測モードは、８つの方向性を有するイントラ予測モードと、対応する下位階層の領域から予測するモードと、を含む請求項９に記載の多階層基盤のビデオデコーディング方法。
【請求項１２】
参照フレームのうちカレントモーションブロックと対応する領域のイメージから前記カレントモーションブロックに対する時間的予測を行って予測差分を求めるステップと、
前記カレントモーションブロックと対応する下位階層領域のイメージから前記カレントモーションブロックに対する予測を行って予測差分を求めるステップと、
前記２つの予測差分のうち符号化効率がより高い方を選択するステップと、
前記選択された予測差分を符号化するステップと、を含む多階層基盤のビデオエンコーディング方法。
【請求項１３】
前記モーションブロックは、階層的可変サイズブロック整合によって生成される請求項１２に記載の多階層基盤のビデオエンコーディング方法。
【請求項１４】
前記モーションブロックは、固定サイズブロック整合によって生成される請求項１２に記載の多階層基盤のビデオエンコーディング方法。
【請求項１５】
前記符号化効率はレート歪みに基づく費用関数によって判断される請求項１２に記載の多階層基盤のビデオエンコーディング方法。
【請求項１６】
前記下位階層領域のイメージは、符号化された下位階層フレームを復号化して復元されるフレームのうち前記カレントモーションブロックに対応する領域のイメージを意味する請求項１２に記載の多階層基盤のビデオエンコーディング方法。
【請求項１７】
前記参照フレームは、前記カレントモーションブロックと異なる時間的位置に存在するフレームを符号化した後、復号化して復元されるフレームを意味する請求項１２に記載の多階層基盤のビデオエンコーディング方法。
【請求項１８】
モーションブロック別に選択モード、モーションデータ、及びテクスチャデータを抽出するステップと、
前記テクスチャデータから前記モーションブロックの差分イメージを生成するステップと、
前記選択モードによって予め復元された参照フレームのうち対応する領域のイメージ、または予め復元された対応する下位階層のイメージのうち１つを選択するステップと、
前記生成された差分イメージ及び前記選択されたイメージを加算して、前記モーションブロックのイメージを復元するステップと、を含む多階層基盤のビデオデコーディング方法。
【請求項１９】
前記差分イメージを生成するステップは、
前記テクスチャデータを逆量子化するステップと、
前記逆量子化結果を逆空間的変換するステップと、を含む請求項１８に記載の多階層基盤のビデオデコーディング方法。
【請求項２０】
カレントイントラブロックの周辺イントラブロックのイメージから前記カレントイントラブロックに対するイントラ予測を行って予測差分を求めるユニットと、
カレントイントラブロックと対応する下位階層領域のイメージから前記カレントイントラブロックに対する予測を行って予測差分を求めるユニットと、
前記２つの予測差分のうち符号化効率がより高い方を選択するユニットと、
前記選択された予測差分を符号化するユニットと、を含む多階層基盤のビデオエンコーダ。
【請求項２１】
イントラブロック別に修正イントラ予測モード、及びテクスチャデータを抽出するユニットと、
前記テクスチャデータから前記イントラブロックの差分イメージを生成するユニットと、
前記修正イントラ予測モードによって予め復元された周辺イントラブロック、または予め復元された対応する下位階層のイメージからカレントイントラブロックの予測イメージを生成するユニットと、
前記生成された差分及び前記予測イメージを加算して、前記イントラブロックのイメージを復元するユニットと、を含む多階層基盤のビデオデコーダ。
【請求項２２】
カレントモーションブロックに対応する参照フレームのイメージを利用して、前記カレントモーションブロックに対する時間的予測を行って第１予測差分を求めるユニットと、
カレントモーションブロックに対応する下位階層領域のイメージを利用して、前記カレントモーションブロックに対する予測を行って第２予測差分を求めるユニットと、
前記第１予測差分及び第２予測差分のうち符号化効率がより高い方を選択するユニットと、
前記選択された予測差分を符号化するユニットと、を含む多階層基盤のビデオエンコーダ。
【請求項２３】
それぞれのモーションブロック別に選択モード、モーションデータ及びテクスチャデータを抽出するユニットと、
前記テクスチャデータから前記モーションブロックの差分イメージを生成するユニットと、
前記選択モードによって予め復元された下位階層イメージ及び前記モーションブロックに対応する予め復元された参照フレームのイメージのうち１つを選択するユニットと、
前記選択されたイメージを前記差分イメージに加算して、前記モーションブロックのイメージを復元するユニットと、を含む多階層基盤のビデオデコーダ。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、ビデオ圧縮方法に関し、より詳しくはビデオフレームの重複を効率的に除去するための予測方法、及びこれを利用したビデオ圧縮方法並びに装置に関するものである。
【背景技術】
【０００２】
インターネットを含む情報通信技術の発達につれて文字、音声だけでなく画像通信が増加している。既存の文字中心の通信方式では消費者の多様な欲求を充足させることができないため、文字、映像、音楽など多様な形態の情報を収容することができるマルチメディアサービスが増加している。マルチメディアデータはその量が膨大であるため、大容量の保存媒体を必要とし、伝送時に広い帯域幅を必要とする。したがって文字、映像、オーディオを含むマルチメディアデータを伝送するためには圧縮コーディング技法を使用するのが必須である。
【０００３】
データを圧縮する基本的な原理はデータの重複要素を除去する過程である。イメージで同じ色やオブジェクトが繰り返されるような空間的重複や動画フレームで隣接フレームがほとんど変化しない場合、及びオーディオで同じ音が引き続き繰り返されるような時間的重複、または人間の視覚及び知覚能力が高い周波数に鈍感なことを考慮した心理視覚の重複を除去することによってデータを圧縮することができる。
【０００４】
このような動画圧縮方法として最近、ＭＰＥＧ−４に比べて圧縮効率を一層向上させたＨ．２６４ないしＡＶＣに関する関心が高まっている。圧縮効率を向上させるためのスキームの１つとして、Ｈ．２６４は一フレーム内の空間的な類似性を除去するために、方向的イントラ予測を使用する。
【０００５】
方向的イントラ予測は１つのイントラブロックに対し上方向、左方向の隣接ピクセルを利用して決められた方向にコピーすることによって、カレントイントラブロックの値を予測し、その差分のみ符号化する方法である。
【０００６】
Ｈ．２６４において、カレントイントラブロックに対する予測ブロックは先コーディング順序を有する他のブロックを基盤として生成される。そして、前記カレントイントラブロックと前記予測ブロックを引いた値がコーディングされる。輝度成分に対して、予測ブロックはそれぞれの４×４ブロックまたは１６×１６マクロブロック単位で生成される。それぞれの４×４ブロックに対する選択可能な予測モードは９種類存在し、それぞれの１６×１６ブロックに対しては４種類存在する。Ｈ．２６４によるビデオエンコーダはそれぞれのブロックに対して、前記予測モードのうちカレントイントラブロックと予測ブロックとの差が最小になる予測モードを選択する。
【０００７】
前記４×４ブロックに対する予測モードとして、Ｈ．２６４では図１に示すように、総計８つの方向性を有するモード（０、１、３ないし８）と、隣接した８つのピクセルの平均値を使用するＤＣモード２を含む９種類の予測モードを使用する。
【０００８】
図２は前記９種類の予測モードを説明するためのラベリングの例を示す図面である。この場合、予めデコーディングされるサンプル（ＡないしＭ）を利用してカレントイントラブロックに対する予測ブロック（ａないしｐを含む領域）を生成する。ここでＥ、Ｆ、Ｇ、Ｈが予めデコーディングできない場合であれば、それらの位置にＤをコピーすることによってＥ、Ｆ、Ｇ、Ｈを仮想で生成することができる。
【０００９】
図３を参照して９種類の予測モードについて詳しく説明すれば、モード０の場合、予測ブロックのピクセルは上位サンプル（Ａ、Ｂ、Ｃ、Ｄ）を利用して垂直方向に外挿推定され、モード１の場合、左側サンプル（Ｉ、Ｊ、Ｋ、Ｌ）を利用して水平方向に外挿推定される。また、モード２の場合、予測ブロックのピクセルは上位サンプル（Ａ、Ｂ、Ｃ、Ｄ）及び左側サンプル（Ｉ、Ｊ、Ｋ、Ｌ）の平均で同一に代置される。
【００１０】
一方、モード３の場合、予測ブロックのピクセルは左下及び右上の間で４５°に内挿推定され、モード４の場合、右下方向に４５°に外挿推定される。また、モード５の場合、予測ブロックのピクセルは垂直から右方に約２６．６°（幅／高さ＝１／２）に外挿推定される。
【００１１】
一方、モード６の場合、予測ブロックのピクセルは水平から約２６．６°下方に外挿推定され、モード７の場合、垂直から左方に約２６．６°に外挿推定される。最後にモード８の場合、予測ブロックのピクセルは水平から約２６．６°上方に内挿推定される。
【００１２】
図３の矢印は各モードで予測方向を示す。モード３ないしモード８で予測ブロックのサンプルは予めデコーディングされる参照サンプルＡないしＭの加重平均から生成できる。例えば、モード４の場合、予測ブロックの右上段に位置するサンプル（ｄ）は下記数式１のように推定できる。ここで、ｒｏｕｎｄ（）関数は整数の位に四捨五入する関数である。
ｄ＝ｒｏｕｎｄ（Ｂ／４＋Ｃ／２＋Ｄ／４）  ・・・（１）
【００１３】
一方、輝度成分に対する１６×１６予測モデルには０、１、２、３の４種類のモードがある。モード０の場合、予測ブロックのピクセルは上位サンプル（Ｈ）から外挿推定され、モード１の場合、左側サンプル（Ｖ）から外挿推定される。そして、モード２の場合、予測ブロックのピクセルは上位サンプル（Ｈ）及び左側サンプル（Ｖ）の平均で計算される。最後に、モード３の場合、上位サンプル（Ｈ）及び左側サンプル（Ｖ）に適する線形「平面（ｐｌａｎｅ）」関数を利用する。このモードは輝度がスムーズに変わる領域により適する。
【００１４】
一方、このようにビデオコーディングの効率を向上させようとする努力と共に、多様なネットワーク環境に応じて伝送ビデオデータの解像度、フレーム率、及びＳＮＲを可変的に調節し得るようにする、すなわちスケーラビリティをサポートするビデオコーディング方法に関する研究も活発に進んでいる。
【００１５】
このようなスケーラブルビデオコーディング技術に関して、既にＭＰＥＧ−２１  ＰＡＲＴ−１３でその標準化作業を進行している。このようなスケーラビリティをサポートする方法のうち多階層基盤のビデオコーディング方法が有効な方式として認識されている。例えば、基礎階層、第１向上階層１、第２向上階層２を含む多階層を置き、それぞれの階層は互いに異なる解像度（ＱＣＩＦ、ＣＩＦ、２ＣＩＦ）、または互いに異なるフレーム率を有するように構成することができる。
【００１６】
このような多階層ビデオコーディングの特性によって、前記イントラ予測以外にもカレントフレーム１０と同じ時間的位置に存在する下位階層のテクスチャ情報を利用した予測方法（以下、「ＢＬ予測」という）を使用し得るようになった。ＢＬ予測モードは大半適度な予測性能を示すが、イントラ予測モードは良い性能を示したり悪い性能を示したりする場合もある。これによって既存のＨ．２６４標準ではマクロブロック別にイントラ予測モードとＢＬ予測モードのうち有利な方式を選択し、選択された方式にしたがって各マクロブロックを符号化する方式を提示している。
【００１７】
図４のようにフレーム内にある映像が存在し、前記映像はＢＬ予測モードがより適する領域（陰影領域）とイントラ予測モードがより適する領域（白色領域）に分けられると仮定する。図４で点線は４×４ブロックの境界を示し、実線はマクロブロックの境界を示す。
【００１８】
このような場合に既存のＨ．２６４方式を適用すれば、図５のようにマクロブロック別にイントラ予測モードで符号化されるものと選択されたマクロブロック１０ｂとＢＬ予測モードで符号化されるものと選択されたマクロブロック１０ａに分けられる。しかし、この結果は図４のようにマクロブロック内でも繊細なエッジを有する映像では適さない結果である。それは、１つのマクロブロック内でもイントラ予測モードが適する領域と、ＢＬ予測モードが適する領域が共存するためである。それにもかかわらず、マクロブロック単位として両者のモードのうち１つを任意に選択すれば、良い符号化性能を期待するのは難しい。
【発明の開示】
【発明が解決しようとする課題】
【００１９】
本発明は前記した問題点を鑑みて創案したものであって、マクロブロック単位より小さい領域単位としてイントラ予測モード及びＢＬ予測モードのうち有利なほうを選択する方法を提供することを目的とする。
【００２０】
また、本発明は既存のイントラ予測モードに前記ＢＬ予測モードを追加して統一した「修正イントラ予測モード」を提示することを目的とする。
【００２１】
さらに、本発明は時間的予測モードでもこのようなスキームを利用してモーションブロック別に、時間的差分を求めるモードとＢＬ予測モードのうち有利なほうを選択する方法を提供することをさらなる目的とする。
【課題を解決するための手段】
【００２２】
前記した目的を達成するために、本発明による多階層基盤のビデオエンコーディング方法は、カレントイントラブロックの周辺イントラブロックのイメージから前記カレントイントラブロックに対するイントラ予測を行って予測差分を求めるステップと、カレントイントラブロックと対応する下位階層のイメージから前記カレントイントラブロックに対する予測を行って予測差分を求めるステップと、前記２つの予測差分のうち符号化効率がさらに高い方を選択するステップと、前記選択された予測差分を符号化するステップとを含む。
【００２３】
前記目的を達成するために、本発明による多階層基盤のビデオデコーディング方法は、イントラブロック別に修正イントラ予測モード、及びテクスチャデータを抽出するステップと、前記テクスチャデータから前記イントラブロックの差分イメージを生成するステップと、前記修正イントラ予測モードによって予め復元された周辺イントラブロック、または予め復元された対応する下位階層のイメージからカレントイントラブロックの予測ブロックを生成するステップと、前記生成された差分イメージ及び前記予測ブロックを加算して前記カレントイントラブロックのイメージを復元するステップとを含む。
【００２４】
前記した目的を達成するために、本発明による多階層基盤のビデオエンコーディング方法は、参照フレームのうちカレントモーションブロックと対応する領域のイメージから前記カレントモーションブロックに対する時間的予測を行って予測差分を求めるステップと、前記カレントモーションブロックと対応する下位階層領域のイメージから前記カレントモーションブロックに対する予測を行って予測差分を求めるステップと、前記２つの予測差分のうち符号化効率がより高い方を選択するステップと、前記選択された予測差分を符号化するステップとを含む。
【００２５】
前記した目的を達成するために、本発明による多階層基盤のビデオデコーディング方法は、モーションブロック別に選択モード、モーションデータ、及びテクスチャデータを抽出するステップと、前記テクスチャデータから前記モーションブロックの差分イメージを生成するステップと、前記選択モードによって予め復元された参照フレームのうち対応する領域のイメージ、または予め復元された対応する下位階層のイメージのうち１つを選択するステップと、前記生成された差分イメージ及び前記選択されたイメージを加算して前記モーションブロックのイメージを復元するステップとを含む。
【００２６】
前記した目的を達成するために、本発明による多階層基盤のビデオエンコーダは、カレントイントラブロックの周辺イントラブロックのイメージから前記カレントイントラブロックに対するイントラ予測を行って予測差分を求めるユニットと、カレントイントラブロックと対応する下位階層領域のイメージから前記カレントイントラブロックに対する予測を行って予測差分を求めるユニットと、前記２つの予測差分のうち符号化効率がより高い方を選択するユニットと、前記選択された予測差分を符号化するユニットとを含む。
【００２７】
前記した目的を達成するために、本発明による多階層基盤のビデオデコーダは、イントラブロック別に修正イントラ予測モード、及びテクスチャデータを抽出するユニットと、前記テクスチャデータから前記イントラブロックの差分イメージを生成するユニットと、前記修正イントラ予測モードによって予め復元された周辺イントラブロック、または予め復元された対応する下位階層のイメージからカレントイントラブロックの予測ブロックを生成するユニットと、前記生成された差分及び前記予測ブロックを加算して前記イントラブロックのイメージを復元するユニットとを含む。
【発明の効果】
【００２８】
本発明によれば、入力されるビデオ特性に、より適する方式で多階層ビデオコーディングを行うことができる。また、本発明によれば多階層ビデオコーデックの性能を向上させることができる。
【発明を実施するための最良の形態】
【００２９】
以下、添付する図面を参照して本発明の好ましい実施形態を詳細に説明する。本発明の利点及び特徴、そしてそれらを達成する方法は添付する図面とともに詳細に後述する実施形態を参照すれば明確になる。しかし、本発明は以下に開示される実施形態に限定されず、相異なる多様な形態によって具現でき、単に本実施形態は本発明の開示を完全なものにし、本発明の属する技術分野における通常の知識を有する者に発明の範疇を完全に知らせるために提供するものであって、本発明は請求項の範疇によってのみ定義される。明細書全体にわたって同じ参照符号は同じ構成要素を示す。
【００３０】
図６は本発明によるイントラブロック（例えば、４×４ブロック）別にイントラ予測モードとＢＬ予測モードのうち有利な方式を選択した結果を示す図面である。図６を参照すれば、図５のように既存のＨ．２６４で提示する方法と比較すれば、両者のモードのうちより繊細な単位で選択を行うことができる。このような選択単位はマクロブロックより小さいサイズの単位を任意に選択することもできるが、イントラ予測モードを行うサイズに合わせるのがより好ましい。
【００３１】
既存のイントラ予測モードは輝度成分に対して４×４モード及び１６×１６モードが存在し、色差成分に対して８×８モードが存在する。このうち１６×１６モードを使用する場合には既にそのサイズがマクロブロックと同一であるので除外され、４×４モードと８×８モードに対して本発明を適用することができる。以下では、例えば４×４モードを基準にして本発明を説明する。
【００３２】
４×４ブロック単位でイントラ予測モードとＢＬ予測モードのうちから選択すると想定すれば、前記選択は結局４×４ブロック単位で行われるため、既存イントラ予測モードとＢＬ予測モードを別に区分する必要なく、ＢＬ予測モードを既存のイントラ予測モードのうち１つの細部モードとして追加することが考えられる。このように、ＢＬ予測モードをイントラ予測モードの１つの細部モードとして追加したものを本発明による「修正イントラ予測モード」という。
【００３３】
修正イントラ予測モードによるそれぞれの細部モードは下記表１のように表される。
【００３４】
【表１】
2008522537.tif 000003
【００３５】
既存のイントラ予測モードでモード２はＤＣモードであるが、表１によれば修正イントラ予測モードでは前記モード２をＢＬ予測モードに代替すると示されている。これは他の方向性を有するモードに比べてＤＣモードは方向性がないのでＤＣモードによって表現できるイントラブロックはＢＬ予測モードによって十分に表現できると推測されるためである。また、これは新しいモードを追加することによって生じるオーバーヘッドを防止するためでもある。
【００３６】
表１のように定義された修正イントラ予測モードは図７のように図式的に示すことができる。修正イントラ予測モードは既存の方向性を有する８つの予測モードと１つのＢＬ予測モードを含む。この場合、ＢＬ予測モードも下方（基礎階層方向）への方向性を有するものとみなされるので、修正イントラ予測モードは全体的に総計９つの方向的予測モードを有することになる。
【００３７】
しかし、必ずＤＣモードをＢＬ予測モードに代替可能とは言えないため、下記表２のように既存の予測モードをそのまま維持しつつＢＬ予測モードを「モード９」として追加することもできる。但し、本発明の以下の説明では表１の場合を基準に説明する。
【００３８】
【表２】
2008522537.tif 000004
【００３９】
図８は本発明の一実施形態によるビデオエンコーダ１０００の構成を示すブロック図である。ビデオエンコーダ１０００は大きく基礎階層エンコーダ１００と向上階層エンコーダ２００を含んで構成されるが、まず向上階層エンコーダ２００の構成について説明する。
【００４０】
ブロック分割部２１０は入力フレームを単位イントラブロックに分割する。前記単位イントラブロックはマクロブロックより小さい任意のサイズを有することができるが、本発明の実施形態では前記単位イントラブロックは４×４ピクセルサイズを有するものとして説明する。前記分割された単位イントラブロックは差分器２０５で入力される。
【００４１】
予測ブロック生成部２２０は逆空間的変換部２５１から提供される復元された向上階層ブロック及び基礎階層エンコーダ１００から提供される復元された基礎階層のイメージを利用して、修正イントラ予測モード各々に対してカレントイントラブロックの予測ブロックを生成する。前記復元された向上階層ブロックを利用して予測ブロックを生成する場合には図３で説明したような計算過程を利用する。但し、ＤＣモードをＢＬ予測モードに代替する場合は図３でＤＣモードは除外される。そして、前記復元された基礎階層のイメージを利用して予測ブロックを生成する場合には、前記復元された基礎階層のイメージを直接利用したり、または向上階層の解像度に合わせてアップサンプリングした後に予測ブロックとして利用したりする。
【００４２】
図９を参照すれば、予測ブロック生成部２２０はカレントイントラブロックの予測ブロック３２を生成するのにおいて、既に復元された周辺の向上階層ブロック３３、３４、３５、３６、特にカレントイントラブロックと隣接するピクセル情報を利用して、予測モード０、１、３ないし８各々に対して予測ブロックを生成する。そして、予測モード２に対しては既に復元された基礎階層のイメージ３１を直接利用したり（基礎階層及び向上階層の解像度が同じ場合）、または向上階層のアップサンプリングした後に予測ブロックとして利用したり（基礎階層及び向上階層の解像度が異なる場合）する。もちろん、復元された基礎階層のイメージを予測ブロックとして利用する前にブロックアーティファクトを多少減少させるために、非ブロック過程をさらに経ることもできるのは当業者には自明なことである。
【００４３】
差分器２０５はブロック分割部２１０から入力されたカレントイントラブロックから予測ブロック生成部２２０で生成された予測ブロックを差分することによって、前記カレントイントラブロックが有する重複性を除去する。
【００４４】
この後、前記差分した結果は空間的変換部２３１及び量子化部２３２を経て損失符号化され、さらにエントロピ符号化部２３３によって無損失符号化される。
【００４５】
空間的変換部２３１は差分器２０５によって時間的重複性が除去されたフレームに対して空間的変換を行う。このような空間的変換方法としては、ＤＣＴ、ウェーブレット変換などが使用できる。空間的変換の結果、変換係数が得られるが、空間的変換方法としてＤＣＴを使用する場合はＤＣＴ係数、ウェーブレット変換を使用する場合はウェーブレット係数が得られる。
【００４６】
量子化部２３２は空間的変換部２３１で求めた変換係数を量子化して量子化係数を生成する。量子化とは、任意の実数値で表される前記変換係数を一定区間に分けて不連続的な値で表わす作業をいう。このような量子化方法としては、スカラー量子化、ベクトル量子化などがあるが、このうち簡単なスカラー量子化方法は変換係数を量子化テーブルの該当値で割った後に整数の位に四捨五入する過程によって行われる。
【００４７】
一方、空間的変換方法としてウェーブレット変換を利用する場合には、量子化方法として主に埋め込み量子化方法を利用する。このような埋め込み量子化方法はしきい値を変更させて（１／２に変更）、そのしきい値を超える変換係数を優先して符号化する方式であって、空間的関連性を利用して効率的な量子化を行う。このような埋め込み量子化方法としては、ＥＺＷ、ＳＰＩＨＴ、ＥＺＢＣなどがある。
【００４８】
エントロピ符号化部２３３は量子化部２３２によって生成された量子化された係数と、モード選択部２４０によって選択された予測モードを無損失符号化して向上階層のビットストリームを生成する。このような無損失符号化方法としては、算術符号化、可変長符号化などが使用できる。
【００４９】
モード選択部２４０は修正イントラ予測モード各々に対してエントロピ符号化部２３３による無損失符号化を行った結果を比較して符号化効率がより高いモードを選択する。ここで符号化効率は与えられたビット率に対してより優れた画質を示すものを基準とすることができるが、このような基準としてレート歪みに基づく費用関数が主に利用される。前記費用関数の計算結果がより小さければ、より低い費用で符号化されるとみなされるため、修正イントラ予測モードの中から最小費用を示す予測モードを選択すれば良い。
【００５０】
前記費用関数での費用（Ｃ）は数式２で計算できる。ここで、Ｅは符号化されたビットをデコーディングして復元された信号と元信号との差を意味し、Ｂは各予測モードを行うのに所要されるビット量を意味する。また、λはラグランジュ係数であって、ＥとＢの反映比率を調節し得る係数を意味する。
Ｃ＝Ｅ＋λＢ  ・・・（２）
【００５１】
前記所要されるビット量は単にテクスチャデータに所要されるビットだけを意味するものと定義できるが、各予測モードとそれに対応するテクスチャデータに所要されるビット量と定義するのがより正確な方法である。それは、それぞれの予測モード別に割り当てられた予測モードの数字もエントロピ符号化部２３３によって符号化された結果は同一でないこともあり得、特に既存のＨ．２６４でも前記予測モードを周辺イントラブロックの予測モードからの推定によって、省略された結果だけを符号化するので推定の効率性によって符号化結果は異なり得るためである。
【００５２】
モード選択部２４０はこのようにブロック単位でモード選択を行った結果、図１０に示すように、マクロブロック１０を構成する各ブロック別に最適の予測モードをすべて決定するようになる。ここで、陰影ブロックはＢＬ予測モードを意味し、白色ブロックは既存の方向性を有するイントラ予測モードを意味する。
【００５３】
但し、本発明による修正イントラ予測モードが適用されるブロックの倍数はマクロブロックのサイズになるのが好ましいが、必ずしもこれに限定されず前記倍数とマクロブロックのサイズが一致しない場合、すなわち１つのフレームを任意に分割した領域を単位で本発明を適用することもできる。
【００５４】
モード選択部２４０はこのような比較、選択過程によって選択された予測モードをエントロピ符号化部２３３に伝達すれば、エントロピ符号化部２３３は前記修正イントラ予測モード各々に対して求めたビットストリームの中から前記選択された予測モードに該当するビットストリームを出力するようになる。
【００５５】
ビデオエンコーダ１０００がエンコーダ段とデコーダ段の間のドリフト誤差を減少させるために閉ループエンコーディングをサポートする場合には、ビデオエンコーダ１０００は逆量子化部２５２、逆空間的変換部２５１をさらに含むことができる。
【００５６】
逆量子化部２５２は量子化部２３２で量子化された係数を逆量子化する。このような逆量子化過程は量子化過程の逆に該当する過程である。
【００５７】
逆空間的変換部２５１は前記逆量子化結果を逆空間的変換して、カレントイントラブロックを復元し、これを予測ブロック生成部２２０に提供する。
【００５８】
一方、ダウンサンプラ１１０は入力フレームを基礎階層の解像度になるようにダウンサンプリングする。このようなダウンサンプラとしてはＭＰＥＧダウンサンプラ、ウェーブレットダウンサンプラ、その他多様なダウンサンプラを利用することができる。
【００５９】
基礎階層エンコーダ１００は前記ダウンサンプリングされた基礎階層フレームを符号化して基礎階層ビットストリームが生成される一方、前記符号化された結果をまた復号化する。前記復号化過程によって復元された基礎階層フレームのうち、向上階層のカレントイントラブロックに対応する領域のテクスチャ情報は予測ブロック生成部２２０に提供される。もちろん、基礎階層と向上階層の解像度が異なれば、予測ブロック生成部２２０に提供される前にアップサンプラ１２０によるアップサンプリング過程をさらに経なければならない。このようなアップサンプリング過程は前記ダウンサンプリング方式に対応する方式で行われるのが好ましいが、必ずしもこれに限定されない。
【００６０】
このような基礎階層エンコーダ１００も向上階層エンコーダ２００と同様な過程で動作できるが、これに限定されず基礎階層エンコーダ１００は従来のイントラ予測過程、時間的予測過程、その他、他の予測過程を含んで基礎階層フレームを符号化／復号化しても良い。
【００６１】
図１１は本発明の一実施形態によるビデオデコーダ２０００の構成を示すブロック図である。ビデオデコーダ２０００は大きく基礎階層デコーダ３００と向上階層デコーダ４００を含んで構成される。まず向上階層デコーダ４００の構成は次の通りである。
【００６２】
エントロピ復号化部４１１はエントロピ符号化方式の逆に無損失復号化を行って、各単位イントラブロック別に修正イントラ予測モード、及びテクスチャデータを抽出する。そして、前記予測モードは予測ブロック生成部４２０に提供し、テクスチャデータは逆量子化部４１２に提供する。
【００６３】
逆量子化部４１２はエントロピ復号化部４１１から伝達されたテクスチャデータを逆量子化する。逆量子化過程はエンコーダ１０００の量子化部２３２で行われた過程の逆に行われる。例えば、スカラー量子化の場合、前記テクスチャデータと対応する量子化テーブル（エンコーダ１０００で利用した量子化テーブルと同一）の値を掛ける方式で行われる。
【００６４】
逆空間的変換部４１３は空間的変換を逆に行って、前記逆量子化の結果、生成された係数からカレントイントラブロックの差分イメージを生成する。例えば、ビデオエンコーダ１０００段でウェーブレット方式によって空間的変換された場合には逆空間的変換部４１３は逆ウェーブレット変換を行い、ビデオエンコーダ段でＤＣＴ方式によって空間的変換された場合には逆ＤＣＴ変換を行う。
【００６５】
予測ブロック生成部４２０は復号化部４１１で提供された予測モードによって、加算器２１５から出力される既に復元されたカレントイントラブロックの周辺イントラブロックまたは基礎階層デコーダ３００で復元されたカレントイントラブロックに対応する基礎階層のイメージを利用して予測ブロックを生成する。例えば、モード０、１、３ないし８の場合には周辺イントラブロックから予測ブロックを生成し、モード２の場合には基礎階層のイメージから予測ブロックを生成することができる。
【００６６】
加算器２１５は逆空間的変換部４１３で提供される復元された差分ブロックと前記予測ブロックを加算することによって、カレントイントラブロックのイメージを復元する。加算器２１５の出力は予測ブロック生成部４２０及びブロック組立部４３０に入力される。
【００６７】
最後に、ブロック組立部４３０は前記復元された差分ブロックを組み立てて１つのフレームを復元する。
【００６８】
一方、基礎階層デコーダ３００は基礎階層ビットストリームから基礎階層フレームを復元する。前記復元された基礎階層フレームのうち、向上階層のカレントイントラブロックに対応する領域のテクスチャ情報は予測ブロック生成部４２０に提供される。もちろん、基礎階層と向上階層の解像度が異なれば予測ブロック生成部４２０に提供される前にアップサンプラ３１０によるアップサンプリング過程をさらに経なければならない。
【００６９】
このような基礎階層デコーダ３００も向上階層デコーダ４００と同様な過程で動作できるが、これに限定されず基礎階層デコーダ３００は従来のイントラ予測過程、時間的予測過程、その他、他の予測過程を含んで基礎階層フレームを復号化しても良い。
【００７０】
以上、ＢＬ予測モードをイントラ予測モードの１つのモードとして含ませる実施形態（第１実施形態）について説明した。以下では本発明の他の実施形態（第２実施形態）として、ＢＬ予測モードを時間的予測過程に含ませて使用する方式について説明する。図１２によれば、既存のＨ．２６４は各マクロブロックの時間的重複性を除去するために、階層的可変サイズブロック整合（ＨＶＳＢＭ）を利用する。まず、１つのマクロブロック１０は４つのモードを有するサブブロックに分割できる。すなわち、マクロブロック１０は１６×１６モード、８×１６モード、１６×８モード、及び８×８モードに分割できる。そして８×８サイズのサブブロックは４×８モード、８×４モード、及び４×４モードにさらに分割できる（分割できなければ８×８モードをそのまま使用する）。したがって、１つのマクロブロック１０は最大７種類のサブブロックの組み合わせで構成される。
【００７１】
１つのマクロブロック１０を構成する最適サブブロックの組み合わせの選択は、多様な組み合わせ可能な場合のうち最も費用が小さい場合を選択することによって行われる。マクロブロック１０を細分化するほどより正確なブロック整合が行われる反面、それだけモーションデータ（モーションベクトル、サブブロックモードなど）の数は増加するので、両者の間で最適の接合点を探すことができる。例えば、複雑な変化がない単純な背景イメージはより大きいサイズを有するサブブロックモードが選択される可能性が大きく、複雑で繊細なエッジが存在するイメージはより小さいサイズを有するサブブロックモードが選択される可能性が大きい。
【００７２】
本発明の第２実施形態は図１３のように前記最適のサブブロックの組み合わせで構成されたマクロブロック１０に対して、各サブブロック別に従来のようにそのまま時間的差分を求めるか、時間的差分を求める代りにＢＬ予測モードを適用するかを判断することを特徴とする。図１３でＩ１１は時間的差分を適用するサブブロックを、ＢＬ１２はＢＬ予測モードを適用するサブブロックの一例を示す。
【００７３】
１つのサブブロックに対して両者のいずれかを選択するために、下記数式３のようなレート歪みに基づく費用関数式を利用することができる。ここで、Ｃｉは時間的差分を適用する場合の費用を、ＣｂはＢＬ予測モードを適用する場合の費用を各々示す。そして、Ｅｉは時間的差分を適用するとき、元信号と復元された信号の差を、Ｂｉは時間的予測によるモーションデータ及び前記時間的差分で求められるテクスチャ情報を符号化するのに所要されるビット量を意味する。また、ＥｂはＢＬ予測モードを使用するとき、元信号と復元された信号の差を、ＢｂはＢＬ予測モードを示す情報及び前記ＢＬ予測モードによるテクスチャ情報を符号化するのに所要されるビット量を意味する。
Ｃｉ＝Ｅｉ＋λＢｉ
Ｃｂ＝Ｅｂ＋λＢｂ  ・・・（３）
【００７４】
数式３で前記Ｃｉ及びＣｂのうち小さい値に該当する方法をそれぞれのサブブロック別に選択すれば図１３のように表わすことができる。
【００７５】
一方、Ｈ．２６４標準では時間的予測（モーション推定及びモーション補償を含む）過程を行うのにおいて、前記のような階層的可変サイズブロック整合方法を利用するが、ＭＰＥＧなど他の標準では固定サイズブロック整合を利用する場合もある。本発明の第２実施形態はマクロブロックを可変ブロックに分割したり、または固定ブロックに分割したりすることにかかわらず、まず分割されたブロック各々に対してＢＬ予測モードを使用するか、または他の参照フレームとの差分を求めるかを選択するのが主眼点である。以下では前記可変サイズブロック、または固定サイズブロックなどモーションベクトルを求める基本単位となるブロックを「モーションブロック」という。
【００７６】
図１４は本発明の第２実施形態によるビデオエンコーダ３０００の構成を示すブロック図である。ビデオエンコーダ３０００は大きく基礎階層エンコーダ１００と向上階層エンコーダ５００を含んで構成されるが、まず向上階層エンコーダ５００の構成について説明する。
【００７７】
モーション推定部２９０は参照フレームを基準にカレントフレームのモーション推定を行ってモーションベクトルを求める。このようなモーション推定はマクロブロック単位で行われ、階層的可変ブロック整合アルゴリズム、または固定ブロック整合アルゴリズムなどによって行われる。ここでブロック整合とは、与えられたモーションブロックを参照フレームの特定探索領域内でピクセル単位で動作して、その誤差が最低になる場合の変位を動作ベクトルと推定することを意味する。モーション推定部２９０はモーション推定の結果、求められるモーションベクトル、モーションブロックの種類、参照フレーム番号などのモーション情報をエントロピ符号化部２３３に提供する。
【００７８】
モーション補償部２８０は前記求めたモーションベクトルを利用して、前記参照フレームに対してモーション補償を行ってモーション補償フレームを生成する。このようなモーション補償フレームは参照フレームのうちカレントフレームの各ブロックに対応するブロックで生成された仮想のフレームを意味する。前記モーション補償フレームはスイッチング部２９５に提供される。
【００７９】
スイッチング部２９５はモーション補償部２８０から提供されるモーション補償フレームと、基礎階層エンコーダ１００から提供される基礎階層フレームを受信して、モーションブロック単位で前記フレームのテクスチャを各々差分器２０５に提供する。もちろん、向上階層と基礎階層が同一でなければ、基礎階層エンコーダ１００で生成される基礎階層フレームはアップサンプラ１２０によってアップサンプリングされた後、スイッチング部２９５に提供されなければならない。
【００８０】
差分器２０５は入力フレームの所定のモーションブロック（カレントモーションブロック）からスイッチング部２９５で提供されるテクスチャを差分することによって、前記カレントモーションブロックが有する重複性を除去する。すなわち、差分器２０５はスイッチング部２９５で入力される信号に応じて、カレントモーションブロックとこれと対応するモーション補償フレームのモーションブロックとの差分（以下、第１予測差分という）を求め、かつカレントモーションブロックとこれと対応する基礎階層フレームの領域との差分（以下、第２予測差分という）を求める。
【００８１】
この後、前記第１予測差分及び第２予測差分は空間的変換部２３１及び量子化部２３２を経て損失符号化され、さらにエントロピ符号化部２３３によって無損失符号化される。
【００８２】
モード選択部２７０はエントロピ符号化部２３３によって符号化された第１予測差分及び第２予測差分のうち符号化効率がより高い方を選択する。このような選択基準の一例として、前記数式３の説明での判断方法を利用することができる。第１予測差分及び第２予測差分はいずれもモーションブロック単位で計算されたものであるので、モード選択部２７０は全体モーションブロックに対して前記選択を繰り返して行う。
【００８３】
モード選択部２７０はこのような比較、選択過程によって選択された結果（例えば、インデックス０または１で表わすことができる）をエントロピ符号化部２３３に伝達すれば、エントロピ符号化部２３３は前記選択された結果に該当するビットストリームを出力するようになる。
【００８４】
ビデオエンコーダ３０００がエンコーダ段とデコーダ段の間のドリフト誤差を減少させるために閉ループエンコーディングをサポートする場合には、ビデオエンコーダ３０００は逆量子化部２５２、逆空間的変換部２５１、及び加算器２１５をさらに含むことができる。加算器２１５はモーション補償部２８０から出力されるモーション補償フレームと逆空間的変換部２５１によって復元される差分フレームを加算して参照フレームを復元し、これをモーション推定部２９０に提供する。
【００８５】
一方、ダウンサンプラ１１０、アップサンプラ１２０、及び基礎階層エンコーダ１００の動作は第１実施形態と同様であるのでその説明を省略する。
【００８６】
図１５は本発明の一実施形態によるビデオデコーダ４０００の構成を示すブロック図である。ビデオデコーダ４０００は大きく基礎階層デコーダ３００と向上階層デコーダ６００を含んで構成される。
【００８７】
エントロピ復号化部４１１はエントロピ符号化方式の逆に無損失復号化を行って、各モーションブロック単位で選択モード、モーションデータ、及びテクスチャデータを抽出する。ここで選択モードとは、ビデオエンコーダ３０００でモーションブロック単位で計算される、時間的差分（第３予測差分）及び基礎階層との差分（第４予測差分）のうち選択された結果を示すインデックス（例えば、０または１と表わすことができる）を意味する。そして、エントロピ復号化部４１１は前記選択モードをスイッチング部４５０に、前記モーションデータをモーション補償部４４０に、前記テクスチャデータを逆量子化部４１２に各々提供する。
【００８８】
逆量子化部４１２はエントロピ復号化部４１１から伝達されたテクスチャデータを逆量子化する。逆量子化過程はエンコーダ（図１４の５００）の量子化部（図１４の２３２）で行われた過程の逆に行われる。
【００８９】
逆空間的変換部４１３は空間的変換を逆に行って、前記逆量子化の結果、生成された係数から前記モーションブロック別に差分イメージを生成する。
【００９０】
一方、モーション補償部４４０はエントロピ復号化部４１１から提供されるモーションデータを利用して、既に復元されたビデオフレームをモーション補償してモーション補償フレームを生成し、この中でカレントモーションブロックに該当するイメージ（第１イメージ）をスイッチング部４５０に提供する。
【００９１】
そして、基礎階層デコーダ３００は基礎階層ビットストリームから基礎階層フレームを復元し、この中でカレントモーションブロックに該当するイメージ（第２イメージ）をスイッチング部４５０に提供する。もちろん、この場合、必要時にアップサンプラ３１０によるアップサンプリング過程をさらに経ることもできる。
【００９２】
スイッチング部４５０は復号化部４１１から提供される選択モードによって、前記第１イメージと前記第２イメージのいずれかを選択し、これを予測ブロックとして加算器２１５に提供する。
【００９３】
加算器２１５は逆空間的変換部４１３から提供される生成された差分イメージとスイッチング部４５０によって選択されて前記予測ブロックを加算することによって、カレントモーションブロックに対するイメージを復元する。このような過程でモーションブロック別イメージを繰り返して復元すれば、結局１つのフレームを復元することができる。
【００９４】
以上、図８、図１１、図１４、及び図１５の各構成要素はソフトウェアまたはＦＰＧＡやＡＳＩＣのようなハードウェアを意味する。しかし、前記構成要素はソフトウェアまたはハードウェアに限定されずアドレッシング可能な保存媒体にあるように構成されることもでき、１つまたはそれ以上のプロセッサを実行させるように構成されることもできる。前記構成要素内で提供される機能はさらに細分化された構成要素によって具現でき、複数の構成要素を合わせて特定機能を行う１つの構成要素で具現することもできる。
【００９５】
以上、添付する図面を参照して本発明の実施形態を説明したが、本発明の属する技術分野における通常の知識を有する者は本発明がその技術的思想や必須的な特徴を変更せずに他の具体的な形態によって実施できることを理解することができる。したがって前述した実施形態はすべての面で例示的なものであって、限定的なものではないことを理解しなければならない。
【図面の簡単な説明】
【００９６】
【図１】既存Ｈ．２６４のイントラ予測モードを図式的に示す図面である。
【図２】図１のモードを説明するためのラベリングを示す図面である。
【図３】図１のイントラ予測モード各々をより詳しく説明する図面である。
【図４】入力映像の例を示す図面である。
【図５】既存方法により、両モードのうち１つを選択した結果を示す図面である。
【図６】本発明により、ブロック別に両モードのうち１つを選択した結果を示す図面である。
【図７】本発明による修正イントラ予測モードを図式的に示す図面である。
【図８】本発明の第１実施形態によるビデオエンコーダの構成を示すブロック図である。
【図９】修正イントラ予測モードで参照する領域を示す図面である。
【図１０】ブロック別に最適の予測モードを決定してマクロブロックを形成した例を示す図面である。
【図１１】本発明の第１実施形態によるビデオデコーダの構成を示すブロック図である。
【図１２】階層的可変ブロックサイズの整合例を図式的に示す図面である。
【図１３】モーションブロック別にモードを決定して構成したマクロブロックを示す図面である。
【図１４】本発明の第２実施形態によるビデオエンコーダの構成を示すブロック図である。
【図１５】本発明の第２実施形態によるビデオデコーダの構成を示すブロック図である。
【符号の説明】
【００９７】
１００  基礎階層エンコーダ
２００、５００  向上階層エンコーダ
３００  基礎階層デコーダ
４００、６００  向上階層デコーダ
１０００、３０００  ビデオエンコーダ
２０００、４０００  ビデオデコーダ
１１０  ダウンサンプラ
１２０  アップサンプラ
２０５  差分器
２１０  ブロック分割部
２１５  加算器
２２０  予測ブロック生成部
２３１  空間的変換部
２３２  量子化部
２３３  エントロピ符号化部
２４０、２７０  モード選択部
２５１  逆空間的変換部
２５２  逆量子化部
２８０  モーション補償部
２９０  モーション推定部
２９５  スイッチング部
３１０  アップサンプラ
４１１  エントロピ復号化部
４１２  逆量子化部
４１３  逆空間的変換部
４２０  予測ブロック生成部
４３０  ブロック組立部
４４０  モーション補償部
４５０  スイッチング部
【図１】
2008522537.tif 000005
【図２】
2008522537.tif 000006
【図３】
2008522537.tif 000007
【図４】
2008522537.tif 000008
【図５】
2008522537.tif 000009
【図６】
2008522537.tif 000010
【図７】
2008522537.tif 000011
【図８】
2008522537.tif 000012
【図９】
2008522537.tif 000013
【図１０】
2008522537.tif 000014
【図１１】
2008522537.tif 000015
【図１２】
2008522537.tif 000016
【図１３】
2008522537.tif 000017
【図１４】
2008522537.tif 000018
【図１５】
2008522537.tif 000019
【国際調査報告】
2008522537.tif 000020