(57)【要約】  本発明は、多階層ビデオコーディング時に階層間予測を行うために、基礎階層をより効率的にアップサンプリングする方法及び装置に関するものである。  本発明による多階層ビデオエンコーディング方法は、基礎階層フレームを符号化した後に復元するステップと、向上階層の第１ブロックに対応し、前記復元されたフレームに含まれる所定サイズの第２ブロックをＤＣＴアップサンプリングするステップと、前記第１ブロックと前記アップサンプリングの結果生成される第３ブロックとの差分を求めるステップと、前記差分を符号化するステップとからなる。
2008522536.tif 000002
【特許請求の範囲】
【請求項１】
基礎階層フレームを符号化した後に復元するステップと、
向上階層の第１ブロックに対応し、前記復元されたフレームに含まれる所定サイズの第２ブロックをＤＣＴアップサンプリングするステップと、
前記第１ブロックと前記アップサンプリングの結果生成される第３ブロックとの差分を求めるステップと、
前記差分を符号化するステップと、を含む多階層ビデオエンコーディング方法。
【請求項２】
前記サイズは、前記基礎階層フレームでのＤＣＴ変換単位と同一である請求項１に記載の多階層ビデオエンコーディング方法。
【請求項３】
前記サイズは、前記基礎階層フレームに対する時間的推定で使用するモーションブロックのサイズと同一である請求項１に記載の多階層ビデオエンコーディング方法。
【請求項４】
前記ＤＣＴアップサンプリングのステップは、
前記第２ブロックに対して前記第２ブロックサイズを変換単位とするＤＣＴ変換を行うステップと、
前記ＤＣＴ変換の結果生成されるＤＣＴ係数からなる第４ブロックにゼロ詰めを付加して、基礎階層に対する向上階層の解像度倍率だけ拡大した前記第３ブロックを生成するステップと、
前記第３ブロックに対して前記第３ブロックサイズを変換単位とする逆ＤＣＴ変換を行うステップと、を含む請求項１に記載の多階層ビデオエンコーディング方法。
【請求項５】
前記基礎階層フレームの符号化以前に適用されるダウンサンプリングはＤＣＴダウンサンプラを利用して行われる請求項１に記載の多階層ビデオエンコーディング方法。
【請求項６】
前記差分を符号化するステップは、
前記差分に対して所定変換単位のＤＣＴ変換を行ってＤＣＴ係数を生成するステップと、
前記ＤＣＴ係数を量子化して量子化係数を生成するステップと、
前記量子化係数を無損失符号化するステップとを含む請求項１に記載の多階層ビデオエンコーディング方法。
【請求項７】
基礎階層フレームを符号化した後、基礎階層の残余フレームを復元するステップと、
向上階層の残余フレームに含まれる第１残余ブロックに対応し、前記復元された基礎階層の残余フレームに含まれる所定サイズの第２ブロックをＤＣＴアップサンプリングするステップと、
前記第１ブロックと前記アップサンプリングの結果生成される第３ブロックとの差分を求めるステップと、
前記差分を符号化するステップと、を含む多階層ビデオエンコーディング方法。
【請求項８】
前記サイズは、前記基礎階層フレームでのＤＣＴ変換単位と同一である請求項７に記載の多階層ビデオエンコーディング方法。
【請求項９】
前記ＤＣＴアップサンプリングのステップは、
前記第２ブロックに対して前記第２ブロックサイズを変換単位とするＤＣＴ変換を行うステップと、
前記ＤＣＴ変換の結果生成されるＤＣＴ係数からなる第４ブロックにゼロ詰めを付加して、基礎階層に対する向上階層の解像度倍率だけ拡大した前記第３ブロックを生成するステップと、
前記第３ブロックに対して前記第３ブロックサイズを変換単位とする逆ＤＣＴ変換を行うステップと、を含む請求項７に記載の多階層ビデオエンコーディング方法。
【請求項１０】
前記差分を符号化するステップは、
前記差分に対して所定変換単位のＤＣＴ変換を行ってＤＣＴ係数を生成するステップと、
前記ＤＣＴ係数を量子化して量子化係数を生成するステップと、
前記量子化係数を無損失符号化するステップと、を含む請求項７に記載の多階層ビデオエンコーディング方法。
【請求項１１】
基礎階層フレームを符号化した後に逆量子化するステップと、
向上階層の第１ブロックに対応し、前記逆量子化されたフレームに含まれる所定サイズの第２ブロックをＤＣＴアップサンプリングするステップと、
前記第１ブロックと前記アップサンプリングの結果生成される第３ブロックとの差分を求めるステップと、
前記差分を符号化するステップと、を含む多階層ビデオエンコーディング方法。
【請求項１２】
前記ＤＣＴアップサンプリングのステップは、
第２ブロックにゼロ詰めを付加して、基礎階層に対する向上階層の解像度倍率だけ拡大した前記第３ブロックを生成するステップと、
前記第３ブロックに対して前記第３ブロックサイズを変換単位とする逆ＤＣＴ変換を行うステップと、を含む請求項１１に記載の多階層ビデオエンコーディング方法。
【請求項１３】
前記差分を符号化するステップは、
前記差分に対して所定変換単位のＤＣＴ変換を行ってＤＣＴ係数を生成するステップと、
前記ＤＣＴ係数を量子化して量子化係数を生成するステップと、
前記量子化係数を無損失符号化するステップと、を含む請求項１１に記載の多階層ビデオエンコーディング方法。
【請求項１４】
基礎階層ビットストリームから基礎階層フレームを復元するステップと、
向上階層ビットストリームから差異フレームを復元するステップと、
前記差異フレームの第１ブロックに対応し、前記復元された基礎階層フレームに含まれる所定サイズの第２ブロックをＤＣＴアップサンプリングするステップと、
前記第１ブロックと前記アップサンプリングの結果生成される第３ブロックを加算するステップと、を含む多階層ビデオデコーディング方法。
【請求項１５】
基礎階層ビットストリームから基礎階層フレームを復元するステップと、
向上階層ビットストリームから差異フレームを復元するステップと、
前記差異フレームの第１ブロックに対応し、前記復元された基礎階層フレームに含まれる所定サイズの第２ブロックをＤＣＴアップサンプリングするステップと、
前記第１ブロックと前記アップサンプリングの結果生成される第３ブロックを加算するステップと、
前記加算の結果生成される第４ブロック及びモーション補償フレームの中で前記第４ブロックと対応するブロックを加算するステップと、を含む多階層ビデオデコーディング方法。
【請求項１６】
基礎階層ビットストリームからテクスチャデータを抽出し、これを逆量子化するステップと、
向上階層ビットストリームから差異フレームを復元するステップと、
前記差異フレームの第１ブロックに対応し、前記逆量子化の結果に含まれる所定サイズの第２ブロックをＤＣＴアップサンプリングするステップと、
前記第１ブロックと前記アップサンプリングの結果生成される第３ブロックを加算するステップと、を含む多階層ビデオデコーディング方法。
【請求項１７】
基礎階層フレームを符号化した後に復元する手段と、
向上階層の第１ブロックに対応し、前記復元されたフレームに含まれる所定サイズの第２ブロックをＤＣＴアップサンプリングする手段と、
前記第１ブロックと前記アップサンプリングの結果生成される第３ブロックとの差分を求める手段と、
前記差分を符号化する手段と、を含む多階層ビデオエンコーダ。
【請求項１８】
基礎階層ビットストリームから基礎階層フレームを復元する手段と、
向上階層ビットストリームから差異フレームを復元する手段と、
前記差異フレームの第１ブロックに対応し、前記復元された基礎階層フレームに含まれる所定サイズの第２ブロックをＤＣＴアップサンプリングする手段と、
前記第１ブロックと前記アップサンプリングの結果生成される第３ブロックを加算する手段と、を含む多階層ビデオデコーダ。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、ビデオ圧縮に関し、より詳しくは多階層ビデオコーディング時に階層間予測を行うために、基礎階層をより効率的にアップサンプリングする方法及び装置に関するものである。
【背景技術】
【０００２】
インターネットを含む情報通信技術の発達につれて文字、音声だけでなく画像通信が増加している。既存の文字中心の通信方式では消費者の多様な欲求を充足させることができないため、文字、映像、音楽など多様な形態の情報を収容することができるマルチメディアサービスが増加している。マルチメディアデータはその量が膨大であるため、大容量の保存媒体を必要とし、伝送時に広い帯域幅を必要とする。したがって文字、映像、オーディオを含むマルチメディアデータを伝送するためには圧縮コーディング技法を使用するのが必須である。
【０００３】
データを圧縮する基本的な原理はデータの重複要素を除去する過程である。イメージで同じ色やオブジェクトが繰り返されるような空間的重複や動画フレームで隣接フレームがほとんど変化しない場合、及びオーディオで同じ音が引き続き繰り返されるような時間的重複、または人間の視覚及び知覚能力が高い周波数に鈍感なことを考慮した心理視覚の重複を除去することによってデータを圧縮することができる。一般的なビデオコーディング方法において、時間的重複はモーション補償に基づく時間的フィルタリングによって除去し、空間的重複は空間的変換によって除去する。
【０００４】
データの重複を除去した後、生成されるマルチメディアを伝送するためには伝送媒体を必要とするが、その性能は伝送媒体別に差がある。現在使用される伝送媒体は秒当たり数十メガビットのデータを伝送し得る超高速通信網から秒当たり３８４ｋｂｉｔの伝送速度を有する移動通信網などのように多様な伝送速度を有する。このような環境において、多様な速度の伝送媒体を支援するために、または伝送環境に応じてこれに適する伝送率でマルチメディアを伝送可能にする、すなわちスケーラビリティを有するデータコーディング方法がマルチメディア環境により適する。
【０００５】
このようなスケーラビリティとは、１つの圧縮されたビットストリームに対して、ビットレート、エラー率、システム資源などの条件に応じてデコーダ段またはプリデコーダ段で部分的にデコーディング可能にする符号化方式である。デコーダまたはプリデコーダはこのようなスケーラビリティを有するコーディング方式で符号化されたビットストリームの一部だけで、他の画質、解像度、またはフレームレートを有するマルチメディアシーケンスを復元することができる。
【０００６】
このようなスケーラブルビデオコーディングに関して、既にＭＰＥＧ−２１  ＰＡＲＴ−１３でその標準化作業を進行している。この中でも、多階層ビデオコーディング方法でスケーラビリティを具現しようとする多くの試みがあった。例えば、基礎階層、第１向上階層１、第２向上階層２の多階層を置き、それぞれの階層は互いに異なる解像度（ＱＣＩＦ、ＣＩＦ、２ＣＩＦ）、または互いに異なるフレームレートを有するように構成することができる。
【０００７】
図１は多階層構造を利用したスケーラブルビデオコーデックの一例を示している。まず基礎階層をＱＣＩＦ、１５Ｈｚ（フレームレート）で定義し、第１向上階層をＣＩＦ、３０ｈｚで、第２向上階層をＳＤ、６０ｈｚで定義する。
【０００８】
このような多階層ビデオフレームをエンコーディングするには階層間の関連性を利用することができるが、例えば第１向上階層のビデオフレームの中である領域１２は、基礎階層のビデオフレームの中で対応する領域１３からの予測によって効率的にエンコーディングされる。同様に、第２向上階層ビデオフレームの中の領域１１は前記第１向上階層の領域１２からの予測によって効率的にエンコーディングできる。
【０００９】
ところが、多階層ビデオにおいて各階層別に解像度が異なる場合には前記予測を行う前に基礎階層の対応する領域のイメージをアップサンプリングする必要がある。
【００１０】
図２は基礎階層から向上階層を予測するための従来のアップサンプリング過程を示す図面である。図２のように向上階層フレーム２０の現在ブロック４０は基礎階層フレーム１０の所定ブロック３０と対応する。このとき向上階層（ＣＩＦ）の解像度は基礎階層（ＱＣＩＦ）の２倍であるため、基礎階層フレーム１０のブロック３０は２倍だけアップサンプリングされる。従来にはこのようなアップサンプリング方法として、Ｈ．２６４で提供する半ピクセル補間法や双一次補間法（ｂｉ−ｌｉｎｅａｒ  ｉｎｔｅｒｐｏｌａｔｉｏｎ）などが使用された。しかし、このような従来のアップサンプリング方法は画質を滑らかにする効果があって、ある１つのイメージを拡大して観察する場合には視覚的に良い結果を得ることができるが、このような向上階層の予測のために使用する場合には却って問題になり得る。
【００１１】
アップサンプリングされたブロック３５をＤＣＴ変換して生成されるＤＣＴブロック３７は、現在ブロック４０をＤＣＴ変換して生成されるＤＣＴブロック４５とは不整合が生じ得るためである。すなわち、ＤＣＴブロック３７では元ブロック３０が有している低周波成分をうまく復元できず一部情報が損失されるため、空間的変換においてＤＣＴ変換を利用するＨ．２６４、ＭＰＥＧ−４のようなコーデックでは非効率になり得る。
【発明の開示】
【発明が解決しようとする課題】
【００１２】
本発明は前記問題点を鑑みて創案したもので、向上階層の予測のために提供される基礎階層の領域をアップサンプリングする場合、前記基礎階層領域の低周波成分を可能な限り保存することを目的とする。
【００１３】
また、本発明は向上階層に対する空間的変換としてＤＣＴ変換を使用する場合、前記変換と基礎階層に対するアップサンプリングの間に生じる不整合を減少させることを目的とする。
【課題を解決するための手段】
【００１４】
前記目的を達成するために、本発明による多階層ビデオエンコーディング方法は、基礎階層フレームを符号化した後に復元するステップと、向上階層の第１ブロックに対応し、前記復元されたフレームに含まれる所定サイズの第２ブロックをＤＣＴアップサンプリングするステップと、前記第１ブロックと前記アップサンプリングの結果生成される第３ブロックとの差分を求めるステップと、前記差分を符号化するステップとを含む。
【００１５】
前記目的を達成するために、本発明による多階層ビデオエンコーディング方法は、基礎階層フレームを符号化した後、基礎階層の残余フレームを復元するステップと、向上階層の残余フレームに含まれる第１残余ブロックに対応し、前記復元された基礎階層の残余フレームに含まれる所定サイズの第２ブロックをＤＣＴアップサンプリングするステップと、前記第１ブロックと前記アップサンプリングの結果生成される第３ブロックとの差分を求めるステップと、前記差分を符号化するステップとを含む。
【００１６】
前記目的を達成するために、本発明による多階層ビデオエンコーディング方法は、基礎階層フレームを符号化した後に逆量子化するステップと、向上階層の第１ブロックに対応し、前記逆量子化されたフレームに含まれる所定サイズの第２ブロックをＤＣＴアップサンプリングするステップと、前記第１ブロックと前記アップサンプリングの結果生成される第３ブロックとの差分を求めるステップと、前記差分を符号化するステップとを含む。
【００１７】
前記目的を達成するために、本発明による多階層ビデオデコーディング方法は、基礎階層ビットストリームから基礎階層フレームを復元するステップと、向上階層ビットストリームから差異フレームを復元するステップと、前記差異フレームの第１ブロックに対応し、前記復元された基礎階層フレームに含まれる所定サイズの第２ブロックをＤＣＴアップサンプリングするステップと、前記第１ブロックと前記アップサンプリングの結果生成される第３ブロックを加算するステップとを含む。
【００１８】
前記目的を達成するために、本発明による多階層ビデオデコーディング方法は、基礎階層ビットストリームから基礎階層フレームを復元するステップと、向上階層ビットストリームから差異フレームを復元するステップと、前記差異フレームの第１ブロックに対応し、前記復元された基礎階層フレームに含まれる所定サイズの第２ブロックをＤＣＴアップサンプリングするステップと、前記第１ブロックと前記アップサンプリングの結果生成される第３ブロックを加算するステップと、前記加算の結果生成される第４ブロック及びモーション補償フレームの中で前記第４ブロックと対応するブロックを加算するステップとを含む。
【００１９】
前記目的を達成するために、本発明による多階層ビデオデコーディング方法は、基礎階層ビットストリームからテクスチャデータを抽出し、これを逆量子化するステップと、向上階層ビットストリームから差異フレームを復元するステップと、前記差異フレームの第１ブロックに対応し、前記逆量子化の結果に含まれる所定サイズの第２ブロックをＤＣＴアップサンプリングするステップと、前記第１ブロックと前記アップサンプリングの結果生成される第３ブロックを加算するステップとを含む。
【００２０】
前記目的を達成するために、本発明による多階層ビデオエンコーダは、基礎階層フレームを符号化した後に復元する手段と、向上階層の第１ブロックに対応し、前記復元されたフレームに含まれる所定サイズの第２ブロックをＤＣＴアップサンプリングする手段と、前記第１ブロックと前記アップサンプリングの結果生成される第３ブロックとの差分を求める手段と、前記差分を符号化する手段とを含む。
【００２１】
前記目的を達成するために、本発明による多階層ビデオデコーダは、基礎階層ビットストリームから基礎階層フレームを復元する手段と、向上階層ビットストリームから差異フレームを復元する手段と、前記差異フレームの第１ブロックに対応し、前記復元された基礎階層フレームに含まれる所定サイズの第２ブロックをＤＣＴアップサンプリングする手段と、前記第１ブロックと前記アップサンプリングの結果生成される第３ブロックを加算する手段とを含む。
【発明の効果】
【００２２】
本発明によれば、向上階層の予測のために提供される基礎階層の領域をアップサンプリングする場合、前記基礎階層領域の低周波成分を可能な限り保存することができる。
また、本発明によれば、向上階層でＤＣＴ変換を使用する場合、前記変換と基礎階層に対するアップサンプリングの間に生じる不整合を減少させることができる。
【発明を実施するための最良の形態】
【００２３】
以下、添付する図面を参照して本発明の好ましい実施形態を詳細に説明する。
本発明の利点及び特徴、そしてそれらを達成する方法は添付する図面とともに詳細に後述する実施形態を参照すれば明確になる。しかし、本発明は以下に開示される実施形態に限定されず、相異なる多様な形態によって具現でき、単に本実施形態は本発明の開示を完全なものにし、本発明の属する技術分野における通常の知識を有する者に発明の範疇を完全に知らせるために提供するものであって、本発明は請求項の範疇によってのみ定義される。明細書全体にわたって同じ参照符号は同じ構成要素を示す。
【００２４】
図３は本発明で使用されるＤＣＴアップサンプリング過程を図式的に示す図面である。まず、基礎階層フレーム１０の対応するブロック３０をＤＣＴ変換する（Ｓ１）。ＤＣＴ変換の結果生成されるＤＣＴブロック３１にゼロ詰め（ｚｅｒｏ−ｐａｄｄｉｎｇ）を付加して現在ブロック４０のサイズに拡大したブロック５０を生成する（Ｓ２）。このようなゼロ詰め過程は図４に示すように、ブロック３０のＤＣＴ係数（ｙ００ないしｙ３３）は基礎階層に対する向上階層の解像度倍率だけ拡大したブロック５０の左上段にそのまま詰め、残り領域５５はすべて０で詰める過程からなる。
【００２５】
次に、前記拡大ブロックに対して該当サイズの逆ＤＣＴ変換を行う（Ｓ３）。前記逆ＤＣＴ変換の結果予測ブロック６０が生成され、この予測ブロック６０を利用して現在ブロック４０を予測（以下、階層間予測という）する（Ｓ４）。Ｓ１ステップで行われるＤＣＴ変換と、Ｓ３ステップで行われるＩＤＣＴ変換はその変換サイズが異なる。例えば、基礎階層のブロック３０が４×４ブロックであれば前記ＤＣＴ変換は４×４ＤＣＴ変換になり、Ｓ２ステップで２倍拡大すれば前記逆ＤＣＴ変換は８×８逆ＤＣＴ変換になる。
【００２６】
一方、本発明は図３のように基礎階層のＤＣＴブロックを単位として階層間予測を行うだけでなく、図５のようにＨ．２６４でモーション推定時に使用する階層的可変サイズモーションブロック単位で階層間予測を行うことも含む。もちろん、固定サイズのモーションブロック単位で予測を行うこともできる。以下、本発明の明細書では固定サイズまたは可変サイズにかかわらずモーション推定の単位、すなわちモーションベクトルを求める単位になるブロックを「モーションブロック」と定義する。
【００２７】
Ｈ．２６４では１つのマクロブロック９０を最適のモーションブロックモードに分割し、各モーションブロックに対してモーション推定及びモーション補償を行うスキームを使用する。本発明によれば、このように多様なモーションブロック単位でＤＣＴ変換過程（Ｓ１１）、ゼロ詰め過程（Ｓ１２）、及び逆ＤＣＴ変換過程（Ｓ１３）を行って予測ブロックを生成した後、生成された予測ブロックを利用して現在ブロックを予測することができる。
【００２８】
例えば、前記モーションブロックが８×４サイズのブロック７０の場合、まず前記ブロック７０に対して８×４ＤＣＴ変換を行う（Ｓ１１）。そして、前記ＤＣＴ変換の結果生成されるＤＣＴブロック７１にゼロ詰めを付加して１６×８サイズに拡大したブロック８０を生成する（Ｓ１２）。そして、前記拡大ブロック８０に対して１６×８逆ＤＣＴ変換を行って予測ブロック９０を生成する（Ｓ１３）。この後、前記予測ブロック９０を利用して現在ブロックを予測するようになる。
【００２９】
一方、本発明の実施形態は大きく３つに分けられる。第１実施形態は基礎階層で復元されたビデオフレームのうち所定ブロックをアップサンプリングして向上階層の現在ブロックを予測するのに使用する実施形態であり、第２実施形態は基礎階層で復元された時間的残余フレーム（以下、残余フレームという）のうち所定ブロックをアップサンプリングして向上階層の現在の時間的残余ブロック（以下、残余ブロックという）を予測するのに使用する実施形態である。そして、第３実施形態は基礎階層で行ったＤＣＴ変換結果をそのまま利用してアップサンプリングを行う実施形態である。
【００３０】
以下、本発明の明細書ではその意味を明確にするために、残余フレームは同一階層で時間的に異なる位置にあるフレームとの差分で定義し、差異フレームは階層間の予測によって現在階層フレームと同一時間的位置の下位階層フレームとの差分で定義する。したがって、残余フレームを構成する一部ブロックを残余ブロック、差異フレームを構成する一部ブロックを差分ブロックという。
【００３１】
図６は、本発明の第１実施形態によるビデオエンコーダ１０００の構成を示すブロック図である。ビデオエンコーダ１０００は大きくＤＣＴアップサンプラ９００、向上階層エンコーダ２００、及び基礎階層エンコーダ１００を含んで構成される。
【００３２】
まず、本発明の一実施形態によるＤＣＴアップサンプラ９００の構成を図７を参照して説明する。ＤＣＴアップサンプラ９００はＤＣＴ変換部９１０、ゼロ詰め部９２０、及び逆ＤＣＴ変換部９３０で構成される。図７で２つの入力（Ｉｎ１、ｉｎ２）が示されているが、第一実施形態では第１入力（Ｉｎ１）を利用する。
【００３３】
ＤＣＴ変換部９１０は基礎階層エンコーダ１００で復元されたビデオフレームのうち所定サイズのブロックのイメージを受信して前記サイズ（例えば、４×４）を単位としてＤＣＴ変換を行う。前記サイズはＤＣＴ変換部１２０のＤＣＴ変換単位と同一サイズであるのが好ましい。但し、これに限らず、モーションブロックとの整合を考慮して前記サイズをモーションブロックのサイズと同一にすることもできる。例えばＨ．２６４によれば、モーションブロックは１６×１６、１６×８、８×１６、８×８、８×４、４×８、または４×４サイズのうち１つを有することができる。
【００３４】
ゼロ詰め部９２０は前記ＤＣＴ変換の結果生成されるＤＣＴ係数を、基礎階層に対する向上階層の解像度倍率（例えば、２倍）だけ拡大したブロックの右上段に詰め、前記拡大したブロックの残り領域はすべて０で詰める。
【００３５】
最後に逆ＤＣＴ変換部９３０は前記ゼロ詰めの結果生成されるブロックに対して前記ブロックのサイズ（例えば、８×８）を変換単位とする逆ＤＣＴ変換を行う。このような逆ＤＣＴ変換の結果は向上階層エンコーダ２００に提供されるが、以下では向上階層エンコーダ２００の構成について説明する。
【００３６】
選択部２８０はＤＣＴアップサンプラ９００から伝達される信号と、モーション補償部２６０から伝達される信号のうち１つを選択して出力する。このような選択は階層間予測と時間的予測のうちより効率的な方を選択する過程で行われる。
【００３７】
モーション推定部２５０は入力ビデオフレームの中で、参照フレームを基準に現在フレームのモーション推定を行ってモーションベクトルを求める。このような動き推定のために広く使用されるアルゴリズムはブロックマッチングアルゴリズムである。すなわち、与えられたモーションブロックを参照フレームの特定探索領域内でピクセル単位で動き、その誤差が最低になる場合の変位を動きベクトルと推定するのである。モーション推定のために固定サイズのモーションブロックを利用することもできるが、階層的可変サイズブロックマッチング法（ＨＶＳＢＭ）による可変サイズを有するモーションブロックを利用してモーション推定を行うこともできる。モーション推定部２５０はモーション推定の結果求められるモーションベクトル、モーションブロックのモード、参照フレーム番号などのモーションデータをエントロピ符号化部２４０に提供する。
【００３８】
モーション補償部２６０は前記モーション推定部２５０で計算されたモーションベクトルを利用して、参照フレームに対してモーション補償を行って現在フレームに対する時間的予測フレームを生成する。
【００３９】
差分器２１５は現在入力フレーム信号から、前記選択部２８０で選択された信号を差分することによってビデオの時間的重複性を除去する。
【００４０】
ＤＣＴ変換部２２０は差分器２１５によって時間的重複性が除去されたフレームに対して、所定サイズのＤＣＴ変換を行ってＤＣＴ係数を生成する。ＤＣＴ変換は一例として下記＜数式１＞で計算できる。
【００４１】
【数１】
2008522536.tif 000003
【００４２】
但し、
【数２】
2008522536.tif 000004
であり、
【数３】
2008522536.tif 000005
である。
【００４３】
＜数式１＞でＹｘｙはＤＣＴ変換の結果生成される係数（以下、「ＤＣＴ係数」という）を意味し、ＸｉｊはＤＣＴ変換部１３０に入力されるブロックの画素値を意味し、Ｍ、ＮはＤＣＴ変換単位（Ｍ×Ｎ）を意味する。例えば８×８ＤＣＴ変換時にはＭ＝８、Ｎ＝８になる。
【００４４】
ＤＣＴ変換部２２０で変換単位はＤＣＴアップサンプラ９００での逆ＤＣＴ変換時の変換単位と一致し得るが、必ずしも一致する必要はない。
【００４５】
量子化部２３０は前記ＤＣＴ係数を量子化して量子化係数を生成する。ここで、量子化とは、任意の実数値で表される前記変換係数を一定区間に分けて不連続的な値で表わす作業を意味する。このような量子化方法としては、スカラー量子化、ベクトル量子化などが知られているが、ここではスカラー量子化を例として説明する。
【００４６】
スカラー量子化において、量子化結果生成される係数（以下、「量子化係数」という）Ｑｘｙは下記＜数式２＞で求められる。ここで、ｒｏｕｎｄ（．）は四捨五入関数を意味し、Ｓｘｙはステップサイズを意味する。前記ステップサイズはＭ×Ｎ量子化テーブルによって決められ、前記量子化テーブルはＪＰＥＧ、またはＭＰＥＧ標準で提供するものを利用することができるが、必ずしもこれに限られない。
【００４７】
【数４】
2008522536.tif 000006
【００４８】
ここで、ｘ＝０、…、Ｍ−１であり、ｙ＝０、…、Ｎ−１である。
【００４９】
エントロピ符号化部２４０は前記量子化係数と、モーション推定部２５０によって提供されるモーションデータを無損失符号化して出力ビットストリームを生成する。
【００５０】
このような無損失符号化方法としては、算術符号化、可変長符号化などが使用できる。
【００５１】
ビデオエンコーダ１０００がエンコーダ段とデコーダ段の間のドリフト誤差を減少させるための閉ループ方式を支援する場合には、逆量子化部２７１、及び逆ＤＣＴ変換部２７２をさらに含むことができる。
【００５２】
逆量子化部２７１は量子化部２３０で量子化された係数を逆量子化する。このような逆量子化過程は量子化過程の逆に該当する過程である。そして、逆ＤＣＴ変換部２７２は前記逆量子化の結果を逆ＤＣＴ変換し、これを加算器２２５に提供する。
【００５３】
加算器２２５は逆ＤＣＴ変換部２７２から提供された逆ＤＣＴ変換の結果と、モーション補償部２６０から提供されてフレームバッファ（図示せず）に保存された以前フレームを加算してビデオフレームを復元し、復元されたビデオフレームをモーション推定部２５０に参照フレームとして提供する。
【００５４】
一方、基礎階層エンコーダ１００はＤＣＴ変換部１２０、量子化部１３０、エントロピ符号化部１４０、モーション推定部１５０、モーション補償部１６０、逆量子化部１７１、逆ＤＣＴ変換部１７２、及びダウンサンプラ１０５を含んで構成される。
【００５５】
ダウンサンプラ１０５は元入力フレームを基礎階層の解像度でダウンサンプリングする。前記ダウンサンプリング方法は様々であるが、本発明で使用するＤＣＴアップサンプラ９００と整合されるようにＤＣＴダウンサンプラを利用するのが好ましい。前記ＤＣＴダウンサンプラは入力された映像ブロックに対してＤＣＴ変換を行った後、左上段の１／４領域のＤＣＴ係数のみ抽出して逆ＤＣＴ変換を行う。これによって、前記映像ブロックのスケールを１／２に減らすことができる。
【００５６】
ダウンサンプラ１０５以外の構成要素の基本的な動作は向上階層エンコーダ２００の対応する構成要素の動作と同様であり、その説明は省略する。
【００５７】
一方、本発明による階層間予測のためのアップサンプリングは完全な映像だけでなく、残余映像間にも適用できる。すなわち、時間的予測過程によって生成された向上階層の残余映像及びこれと対応する基礎階層の残余映像間に階層間予測を行うことができる。この場合、基礎階層の所定のブロックは向上階層の現在ブロックの予測に使用するためにアップサンプリングしなければならない。
【００５８】
このような本発明の第２実施形態によるビデオエンコーダ２０００の構成は図８に示される。第２実施形態の場合、ＤＣＴアップサンプラ９００は基礎階層の復元されたビデオフレームでなく、基礎階層の復元された残余フレームを入力とする。したがって、基礎階層エンコーダ１００の加算器１２５を通過する前の信号（復元された残余フレームの信号）が入力される。第２実施形態の場合も図７での入力はＩｎ１である。
【００５９】
ＤＣＴアップサンプラ９００は基礎階層エンコーダ１００で復元された残余フレームのうち所定サイズのブロックのイメージを受信して、図７の説明のようにＤＣＴ変換、ゼロ詰め、及び逆ＤＣＴ変換過程を行う。ＤＣＴアップサンプラ９００によってアップサンプリングされた信号は向上階層エンコーダ３００の第２差分器２３５に入力される。
【００６０】
以下では向上階層エンコーダ３００の構成を説明するが、図６と違う部分だけを中心に説明する。モーション補償部２６０によって提供される予測フレームは第１差分器２１５に入力され、第１差分器２１５は現在入力フレーム信号から前記予測フレーム信号を差分する。その結果、残余フレームが生成される。
【００６１】
そして、第２差分器２３５は前記残余フレームの中で対応するブロックから、前記ＤＣＴアップサンプラ９００から出力されるアップサンプリングされたブロックを差分し、その差分結果をＤＣＴ変換部２２０に提供する。
【００６２】
その他向上階層エンコーダ３００の構成要素の動作は図６と同様であり、その説明は省略する。そして、基礎階層エンコーダ１００は加算器１２５を通過する前、すなわち逆ＤＣＴ変換部１７２を経た後の信号をＤＣＴアップサンプラ９００に提供すること以外の構成要素の動作は図６と同様である。
【００６３】
一方、本発明の第３実施形態によって、基礎階層エンコーダ１００でＤＣＴ変換した結果をそのままＤＣＴアップサンプラ９００で利用し得る場合、ＤＣＴアップサンプラ９００ではＤＣＴ変換過程を省略することができる。このような場合は基礎階層エンコーダ１００で逆量子化された信号が時間的予測を経ない信号、すなわち逆ＤＣＴ変換を経れば直ちにビデオフレームが復元できる場合である。
【００６４】
図９は本発明の第３実施形態によるビデオエンコーダ３０００の構成を示したもので、時間的予測が適用されないフレームに対する逆量子化部１７１の出力をＤＣＴアップサンプラ９００が受けることを示している。
【００６５】
スイッチ１３５はモーション補償部１６０から差分器１１５に入力される信号パスを遮断または連結する役割をするが、現在フレームが時間的予測が適用されるフレームであれば前記信号パスを遮断し、現在フレームが時間的予測が適用されないフレームであれば前記信号パスを連結する。
【００６６】
本発明の第３実施形態は基礎階層で前記信号パスが遮断された場合、すなわち時間的予測が適用されず符号化されるフレームに対して適用される。この場合、入力フレームはダウンサンプラ１０５によってダウンサンプリング過程、ＤＣＴ変換部１２０によるＤＣＴ変換過程、量子化部１３０による量子化過程、及び逆量子化部１７１による逆量子化過程を経た後、ＤＣＴアップサンプラ９００に入力される。
【００６７】
ＤＣＴアップサンプラ９００は図７で前記逆量子化過程を経たフレームのうち所定ブロックの係数をＩｎ２で受信する。ゼロ詰め部９２０は前記所定ブロックの係数を、基礎階層に対する向上階層の解像度倍率だけ拡大したブロックの左上段に詰め、前記拡大したブロックの残り領域はすべて０で詰める。
【００６８】
そして、逆ＤＣＴ変換部９３０は前記ゼロ詰めの結果生成されるブロックに対して前記生成されたブロックのサイズを変換単位として逆ＤＣＴ変換を行う。このような逆ＤＣＴ変換の結果は向上階層エンコーダ２００の選択部２８０に提供される。この後、向上階層エンコーダ２００で行われる動作過程は図６の説明と同様であり、その説明は省略する。
【００６９】
このような本発明の第３実施形態のアップサンプリング過程は、基礎階層エンコーダ１００で行われたＤＣＴ変換の結果をそのまま利用することができて効率的である。
【００７０】
図１０はビデオエンコーダ１０００に対応するビデオデコーダ１５００構成の一例を示すブロック図である。ビデオデコーダ１５００は大きくアップサンプラ９００と、向上階層デコーダ５００と、基礎階層デコーダ４００とを含んで構成される。
【００７１】
ＤＣＴアップサンプラ９００の構成は基本的に図７と同一であり、基礎階層デコーダ４００から復元される基礎階層フレームをＩｎ１で受信する。ＤＣＴ変換部９１０は前記基礎階層フレームのうち所定サイズのブロックのイメージを受信し、前記サイズを単位としてＤＣＴ変換を行う。前記所定サイズはビデオエンコーダ１０００側でＤＣＴアップサンプリング時にＤＣＴ変換で使用したサイズと同一サイズにするのが好ましい。このようにビデオデコーダ１５００での復号化過程をビデオエンコーダ１０００での過程と整合させることによって、エンコーダ−デコーダ間に発生し得るドリフト誤差を減らすことができるようになる。
【００７２】
そして、ゼロ詰め部９２０は前記ＤＣＴ変換の結果生成されるＤＣＴ係数を、基礎階層に対する向上階層の解像度倍率だけ拡大したブロックの左上段に詰め、前記拡大したブロックの残り領域はすべて０で詰める。逆ＤＣＴ変換部９３０は前記ゼロ詰めの結果生成されるブロックに対して前記ブロックのサイズを変換単位とする逆ＤＣＴ変換を行う。このような逆ＤＣＴ変換の結果、すなわちＤＣＴアップサンプリングの結果は選択部５６０に提供される。
【００７３】
次に、向上階層デコーダ５００の構成について説明する。エントロピ復号化部５１０はエントロピ符号化方式の逆に無損失復号化を行ってモーションデータ、及びテクスチャデータを抽出する。そして、テクスチャデータは逆量子化部５２０に提供し、モーションデータはモーション補償部５５０に提供する。
【００７４】
逆量子化部５２０はエントロピ復号化部５１０から伝達されたテクスチャ情報を逆量子化する。このとき、ビデオエンコーダ１０００側で使用したものと同一量子化テーブルを利用する。逆量子化の結果生成される係数Ｙｘｙ’は下記＜数式３＞で計算できる。ここで計算されたＹｘｙ’が数学式１のＹｘｙと異なるのは数学式１でｒｏｕｎｄ（．）関数を利用した損失符号化を使用したためである。
【００７５】
【数５】
2008522536.tif 000007
【００７６】
次に、逆ＤＣＴ変換部５３０は前記逆量子化の結果、Ｙｘｙ’に対して逆ＤＣＴ変換を行う。このような逆ＤＣＴ変換の結果、Ｘｉｊ’は＜数式４＞で計算できる。逆ＤＣＴ変換の結果、差異フレームまたは残余フレームが復元される。
【００７７】
【数６】
2008522536.tif 000008
【００７８】
モーション補償部５５０はエントロピ復号化部５１０から提供されるモーションデータを利用して、既に復元されたビデオフレームをモーション補償してモーション補償フレームを生成し、その信号を選択部５６０に提供する。
【００７９】
そして、選択部５６０はＤＣＴアップサンプラ９００から伝達される信号と、モーション補償部５５０から伝達される信号のうち１つを選択して加算器５１５に出力する。逆ＤＣＴ変換の結果が差異フレームであればＤＣＴアップサンプラ９００から伝達される信号を出力し、残余フレームであればモーション補償部５５０から伝達される信号を出力する。
【００８０】
加算器５１５は前記逆ＤＣＴ変換部５３０から出力される信号に、前記選択部５６０で選択された信号を加算することによって向上階層のビデオフレームを復元する。
【００８１】
一方、基礎階層エンコーダ４００の構成要素も選択部５６０が存在しないことを除いては向上階層デコーダ５００の構成要素と同様の動作を行うため、その説明は省略する。
【００８２】
図１１はビデオエンコーダ２０００に対応するビデオデコーダ２５００の構成の一例を示すブロック図である。ビデオデコーダ２５００は大きくアップサンプラ９００と、向上階層デコーダ６００と、基礎階層デコーダ４００とを含んで構成される。
【００８３】
ＤＣＴアップサンプラ９００は図１０の説明と同様に、基礎階層デコーダ４００から復元される基礎階層フレームをＩｎ１（図７参照）で受信して、ＤＣＴアップサンプリングを行い、その結果を第１加算器５２５に提供する。
【００８４】
第１加算器５２５は逆ＤＣＴ変換部５３０から出力される信号、すなわち差分フレーム信号と、前記ＤＣＴアップサンプラ９００から提供される信号を加算する。このような加算の結果、残余フレーム信号が復元され、それはさらに第２加算器５１５に入力される。そして、第２加算器５１５は前記復元された残余フレーム信号とモーション補償部５５０から伝達される信号を加算することによって向上階層フレームを復元する。
【００８５】
その他構成要素の動作は図１０の説明と同様であり、その説明は省略する。
【００８６】
図１２はビデオエンコーダ３０００に対応するビデオデコーダ３５００の構成の一例を示すブロック図である。ビデオデコーダ３５００は大きくアップサンプラ９００と、向上階層デコーダ５００と、基礎階層デコーダ４００とを含んで構成される。
【００８７】
アップサンプラ９００は図１０とは違って逆量子化部４２０から出力される信号を受信してＤＣＴアップサンプリングを行う。この場合、アップサンプラ９００はＩｎ２（図７参照）で前記信号を受信してゼロ詰め過程から行う。
【００８８】
ゼロ詰め部９２０は逆量子化から伝達される所定ブロックに対する係数を、基礎階層に対する向上階層の解像度倍率だけ拡大したブロックの左上段に詰め、前記拡大したブロックの残り領域はすべて０で詰める。そして、逆ＤＣＴ変換部９３０は前記ゼロ詰めの結果生成される拡大ブロックに対して前記拡大ブロックのサイズを変換単位として逆ＤＣＴ変換を行う。このような逆ＤＣＴ変換の結果は向上階層デコーダ５００の選択部５６０に提供される。この後、向上階層デコーダ５００で行われる動作過程は図１０の説明と同様であり、その説明は省略する。
【００８９】
図１２の実施形態において、基礎階層で復元されるフレームは時間的予測が適用されないフレームであるため、復元のためにモーション補償部４５０によるモーション補償過程が要らず、したがってスイッチ４２５は現在開放されている。
【００９０】
以上、図６ないし図１２の各構成要素は、ソフトウェアまたはＦＰＧＡやＡＳＩＣのようなハードウェアを意味する。しかし、前記構成要素はソフトウェアまたはハードウェアに限定される意味ではなく、アドレシングできる格納媒体にあるように構成することができ、１つまたはそれ以上のプロセッサを実行させるように構成することもできる。前記構成要素内で提供される機能はさらに細分化された構成要素によって具現でき、複数の構成要素を組み合わせて特定の機能を行う１つの構成要素によって具現することもできる。
【００９１】
以上、添付する図面を参照して本発明の実施形態を説明したが、本発明の属する技術分野における通常の知識を有する者は本発明がその技術的思想や必須的な特徴を変更せずに他の具体的な形態によって実施できることを理解することができる。したがって前述した実施形態はすべての面で例示的なものであって、限定的なものではないことを理解しなければならない。
【図面の簡単な説明】
【００９２】
【図１】多階層構造を利用したスケーラブルビデオコーデックの一例を示す図面である。
【図２】基礎階層から向上階層を予測するための従来のアップサンプリング過程を示す図面である。
【図３】本発明で使用されるＤＣＴアップサンプリング過程を図式的に示す図面である。
【図４】ゼロ詰め過程の一例を示す図面である。
【図５】階層的可変サイズモーションブロック単位で階層間予測を行う例を示す図面である。
【図６】本発明の第１実施形態によるビデオエンコーダの構成を示すブロック図である。
【図７】本発明の一実施形態によるＤＣＴアップサンプラの構成を示すブロック図である。
【図８】本発明の第２実施形態によるビデオエンコーダの構成を示すブロック図である。
【図９】本発明の第３実施形態によるビデオエンコーダの構成を示すブロック図である。
【図１０】図６のビデオエンコーダに対応するビデオデコーダの構成の一例を示すブロック図である。
【図１１】図８のビデオエンコーダに対応するビデオデコーダの構成の一例を示すブロック図である。
【図１２】図９のビデオエンコーダに対応するビデオデコーダの構成の一例を示すブロック図である。
【符号の説明】
【００９３】
１００  基礎階層エンコーダ
２００  向上階層エンコーダ
３００  向上階層エンコーダ
４００  基礎階層デコーダ
５００  向上階層デコーダ
６００  向上階層デコーダ
９００  ＤＣＴアップサンプラ
９１０  ＤＣＴ変換部
９２０  ゼロ詰め部
９３０  逆ＤＣＴ変換部
１０００  ビデオエンコーダ
２０００  ビデオエンコーダ
３０００  ビデオエンコーダ
１５００  ビデオデコーダ
２５００  ビデオデコーダ
３５００  ビデオデコーダ
【図６】
2008522536.tif 000009
【図７】
2008522536.tif 000010
【図８】
2008522536.tif 000011
【図９】
2008522536.tif 000012
【図１０】
2008522536.tif 000013
【図１１】
2008522536.tif 000014
【図１２】
2008522536.tif 000015
【図１】
2008522536.tif 000016
【図２】
2008522536.tif 000017
【図３】
2008522536.tif 000018
【図４】
2008522536.tif 000019
【図５】
2008522536.tif 000020
【国際調査報告】
2008522536.tif 000021