(57)【特許請求の範囲】
【請求項１】
映像信号が一連の映像フレームの形態で提供され、減算による差分化、半画像の精度の動き補償予測、２次元変換符号化、量子化、エントロピー符号化を含む符号化法を利用して前記映像フレームのそれぞれに対応する一連の差分フレームに符号化されて提供され、前記符号化された映像信号を復号化する方法において、
前記各映像フレームは複数のマクロブロックに分割され、前記各マクロブロックは複数のサブブロックに分割され、前記各サブブロックは複数の画素に分割され、前記各差分フレームは複数の差分マクロブロックに分割され、前記差分マクロブロックは複数の差分サブブロックに分割され、前記差分サブブロックは複数の差分画素に分割され、前記各差分フレームの各差分マクロブロック、各差分サブブロック、各差分画素は、対応される映像フレームのマクロブロック、サブブロック、画素とそれぞれ対応され、前記各差分マクロブロックには、前記映像信号の以前映像フレームとの間において対応されるマクロブロックの動きを表す半画素単位動きベクトルが関連し、前記各差分画素は対応される前記画素と、前記以前フレームにおいて対応される半画素単位の画素との差分を示す、半画素単位の動き補償を遂行する映像信号の復号化方法であって、
前記差分フレームの各差分マクロブロックに対してエントロピー復号化および逆量子化、逆変換を行って、前記差分マクロブロックの差分画素を行優先サブブロック間のスキャニング方法と行優先サブブロック内のスキャニング方法を利用する第１の順序で復号化するステップと、
前記第１の順序で提供される前記差分マクロブロックの差分画素を、行優先サブブロック間のスキャニング方法と、列優先サブブロック内のスキャニング方法を利用する第２の順序でスキャニング順序変換して加算器に提供するステップと、
前記差分マクロブロックに関連した半画素単位動きベクトルによって、前記以前映像フレームの画素を前記第２の順序でアクセスし、前記差分マクロブロックに関連した半画素単位動きベクトルによって前記以前フレームの前記画素に対して補間を行い、前記補間を通じて得られる半画素単位マクロブロックの半画素単位の画素を前記第２の順序で加算器に提供するステップと、
前記スキャニング順序変換されて提供される差分マクロブロックの差分画素と、前記半画素単位マクロブロックの半画素単位の画素を加算して前記現在フレームの復元されたマクロブロックを形成するステップを含む、半画素単位の動き補償を遂行する映像信号の復号化方法。 
【発明の詳細な説明】
【０００１】
【産業上の利用分野】
本発明は符号化映像信号の復号化プロセスに関する。さらに詳しくは、符号化映像信号の復号化プロセスにおける半画素単位の動き補償(half-pixel motion compensation)方法に関する。
【０００２】
【従来の技術】
従来、離散化された画像信号の伝送は、アナログ信号より良好な画質を保持しうる。一連の映像フレームから構成された映像信号がディジタル形態で表現されるとき、とくに、高品質テレビジョンのばあい、相当の量のデータを伝送しなければならない。しかし、従来の伝送チャネルの使用可能の周波数帯域は制限されているので、多量のディジタルデータを伝送するためには伝送されるデータを圧縮して、その量を減らす必要がある。多様な圧縮技法のうち、確率的符号化技法と時間的、空間的圧縮技法を組み合わせたハイブリッド符号化技法が最も効率的であると知られている。
【０００３】
図４は、ハイブリッド符号化技法を用いたハイブリッド符号化器を示している。図４に示したように、ディジタル入力フレームからの各画素ブロックは減算器101 へ入力される。減算器101 において、各画素ブロックは以前フレームからの予測画素ブロックと画素単位で減算される。その結果、差分データブロックは２次元変換器102 で２次元変換アルゴリズムを用いて変換係数ブロックに変換される。また、各変換係数ブロックの変換係数は量子化器103 で量子化され、エントロピー符号化器104 でエントロピー符号化されて、伝送チャネルを通じて伝送される。または、符号化器100 においては、前記量子化された変換係数などを逆量子化および逆変換させる結果値を加算器107 で相応する予測画素ブロックの画素などと加えて、前記各画素ブロックが復元される。フレームメモリ108 は、このような復元された画素などを貯蔵して次の映像フレームの画素ブロックを予測するのに用いられる。同様に、図５に示された符号化器100 に対応する復号化器200 においても、エントロピー復号化器202 がエントロピー符号化されたデータを復号化して、逆量子化器203 および逆変換器204 がこれを逆量子化および逆変換し、加算器205 がその結果を相応する予測ブロックの画素と加算して、前記各画素ブロックを復元し、フレームメモリ206 に復元された画素を貯蔵する。
【０００４】
ハイブリッド符号化器100 の符号化効率は、動き補償またはその予測方法を用いて改善されうる。動き補償予測とは、現在フレームの各画素ブロックをこのブロックの現在フレームと以前フレームとのあいだの動きを推定に基づいて予測するプロセスである。このような推定された動きは、その動きベクトルで表現されうる。動きベクトルは水平成分と垂直成分から構成され、現在ブロックの位置を基準として、以前フレーム内における前記予測されたブロックの位置の水平および垂直オフセットを指す。
【０００５】
ISO/IEC   MPEG標準のような現在利用可能な幾つかの方法においては、より向上された符号化効率の動きベクトルを半画素単位で検出しうる（ビデオ  シュミレーションモデル  スリー、インターナショナル  オーガニゼーション  フォースタンダーディゼーション(Video Simulation Model Three,International Organization for Standardization) の、コーデッド  リプレゼンテーション  オブ  ピクチャー  アンド  オーディオ  インフォメーション(Coded Representation of picture and Audio Information) 、(1990 年、ISO-IEG/JJCI/SC2/WG8 MPEG90/041 参照) 。
【０００６】
半画素単位の動きベクトルは二つのステップで決定される。最初に、整数値を有する全画素単位の動きベクトルが決定される。そののち、決定された全画素単位の動きベクトルに基づいて、半画素単位動きベクトルが計算される。全画素単位または半画素単位の動きベクトルのうち、最も良好な予測結果を発生しうるものが最終半画素単位の動きベクトルと決定される。
【０００７】
このような半画素単位動きベクトルは、整数でない水平／垂直成分を有しうる。かかる方法において、動き補償予測に用いられる半画素単位ブロックは、半画素単位動きベクトルに基づいて、以前フレームの画素にアクセスし、半画素単位の動きベクトルが整数でない成分を有するばあい、前記以前フレームの画素に空間軸補間を行ってえられる（クナウアー(Knauer)らに付与された米国特許第5,134,477 号明細書およびヨーロッパ特許公開第0560577A2 号参照）。
【０００８】
半画素単位動きベクトルと、エントロピー符号化されたデータは、伝送チャネルを経て関連した復号化器200 へ伝送されて復号化器200 における動き補償予測に用いられる。
【０００９】
復号化器200 において、動き補償予測は通常マクロブロック単位で行われる。このばあい、たとえば、16×8 マクロブロックは、たとえば、4 ×4 画素から構成されるサブブロックに分割される。動き補償予測がマクロブロック単位で行われる理由は、符号化器100 が4 ×4 サブブロックに対して半画素単位動きベクトルの全セットを伝送チャネルで半画素単位動きベクトルのために割り当てられたビット容量内に符号化することができず、よって、4 ×4 のサブブロックを含む16×8 画素のマクロブロックに対して、一つの半画素単位動きベクトルを連関させるためである。
【００１０】
復号化器200 において、動き補償予測がマクロブロック単位で行われるばあい、逆変換器204 から発生する各々の差分マクロブロック内のサブブロックは、通常、行優先サブブロック間スキャニング順序で、加算器205 に提供される。すなわち、差分サブブロックは、図６に示されるように、水平方向に左から右へ、上から下へスキャニングされる。
【００１１】
また、各々の差分サブブロック内においては、画素が行優先サブブロック内スキャニング順序で加算器205 に提供される。すなわち、差分画素は、図７に示されるように、水平方向に左から右へ、上から下へスキャニングされる。
【００１２】
また、動き補償予測器206 からの各々の半画素単位マクロブロック間のサブブロックとこれらの画素は前述した行優先サブブロック間のスキャニング順序および行優先サブブロック内のスキャニング順序で加算器205 に提供される。前述したように、半画素単位マクロブロックは、前記差分マクロブロックと関連した半画素単位動きベクトルの制御によってフレームメモリ207 から以前フレームの画素をアクセスし、半画素単位動きベクトルが整数でない成分を有するばあい、前記以前フレームの画素に補間を行って予測される。
【００１３】
半画素単位動きベクトルが整数でない水平成分（たとえば、+0.5）を有するばあい、4 ×4 画素の大きさの半画素単位サブブロックを形成するためには、5 ×4 画素（前記半画素単位動きベクトルも整数でない垂直成分を有するばあいには5 ×5 画素）に対して補間を行わなければならないので、半画素単位マクロブロックの各々の半画素単位サブブロックを生成するためには、図８に示されるように、以前フレームから4 ×4 画素の大きさのサブブロックとこれに水平に隣接した4 画素の大きさの追加列にアクセスされなければならない。
【００１４】
各々の半画素単位サブブロックの画素を前述した行優先サブブロック内のスキャニング順序で生成するためには、前記4 ×4 画素大きさのサブブロックと4 画素の大きさの追加列が前述した行優先サブブロック内のスキャニング順序に相応する順序でアクセスされるばあい、前記4 画素の大きさの追加列は以前フレームから二回アクセスされうる。すなわち、図９に示されるように、前記半画素単位サブブロックの画素を生成するために、一回アクセスされ、前記半画素単位サブブロックに水平に隣接した半画素単位サブブロックに対してもう一回アクセスされる。
【００１５】
しかし、もし、前記4 ×4 画素大きさのサブブロックおよび４画素大きさの追加列が他の順序にアクセス可能である、すなわち、前記4 ×4 画素の大きさのサブブロックおよび4 画素の大きさの追加列の画素が、図３に示されたように、垂直的に上から下へ左から右へスキャンされれば、前記4 画素の大きさの追加列は、図３に示されるように、水平的に隣接した半画素単位サブブロックの形成のための補間にも直ちに用いられうるので、一回だけアクセスされるのみでよい。
【００１６】
したがって、本発明の主な目的は符号化された映像信号の復号化器プロセスにおいて、以前フレームに対するアクセス回数を出来るだけ減らしうる映像信号の復合化方法を提供することである。
【００１７】
【課題を解決するための手段】
本発明の映像信号の復号化方法は、映像信号が一連の映像フレームの形態で提供され、減算による差分化、半画像の精度の動き補償予測、２次元変換符号化、量子化、エントロピー符号化を含む符号化法を利用して前記映像フレームのそれぞれに対応する一連の差分フレームに符号化されて提供され、前記符号化された映像信号を復号化する方法において、
前記各映像フレームは複数のマクロブロックに分割され、前記各マクロブロックは複数のサブブロックに分割され、前記各サブブロックは複数の画素に分割され、前記各差分フレームは複数の差分マクロブロックに分割され、前記差分マクロブロックは複数の差分サブブロックに分割され、前記差分サブブロックは複数の差分画素に分割され、前記各差分フレームの各差分マクロブロック、各差分サブブロック、各差分画素は、対応される映像フレームのマクロブロック、サブブロック、画素とそれぞれ対応され、前記各差分マクロブロックには、前記映像信号の以前映像フレームとの間において対応されるマクロブロックの動きを表す半画素単位動きベクトルが関連し、前記各差分画素は対応される前記画素と、前記以前フレームにおいて対応される半画素単位の画素との差分を示す、半画素単位の動き補償を遂行する映像信号の復号化方法であって、
前記差分フレームの各差分マクロブロックに対してエントロピー復号化および逆量子化、逆変換を行って、前記差分マクロブロックの差分画素を行優先サブブロック間のスキャニング方法と行優先サブブロック内のスキャニング方法を利用する第１の順序で復号化するステップと、
前記第１の順序で提供される前記差分マクロブロックの差分画素を、行優先サブブロック間のスキャニング方法と、列優先サブブロック内のスキャニング方法を利用する第２の順序でスキャニング順序変換して加算器に提供するステップと、
前記差分マクロブロックに関連した半画素単位動きベクトルによって、前記以前映像フレームの画素を前記第２の順序でアクセスし、前記差分マクロブロックに関連した半画素単位動きベクトルによって前記以前フレームの前記画素に対して補間を行い、前記補間を通じて得られる半画素単位マクロブロックの半画素単位の画素を前記第２の順序で加算器に提供するステップと、
前記スキャニング順序変換されて提供される差分マクロブロックの差分画素と、前記半画素単位マクロブロックの半画素単位の画素を加算して前記現在フレームの復元されたマクロブロックを形成するステップを含む、半画素単位の動き補償を遂行するものである。
【００１８】
【実施例】
つぎに、本発明の実施例について図面を参照しながらより詳しく説明する。図７のハイブリッド符号化器と関連して用いられうる復号化器が図１に示されている。
【００１９】
ハイブリッド符号化器100 から符号化された映像信号は、一連の符号化された映像フレームの形態に復号化器700 に提供される。通常、各映像フレームは、第１のあらかじめ設定された大きさ( たとえば、16×8 画素の大きさ) を有する多数のマクロブロックに分割される。
【００２０】
各々のマクロブロックは、第２のあらかじめ設定された大きさ( たとえば、4 ×4)を有する多数のサブブロックから構成され、一つの半画素単位動きベクトルに関連する。
【００２１】
また、復号化器700 においては、動き補償の予測はマクロブロック単位で処理される。図１に示したように、ディマルチプレクサ701 は、符号化映像信号を受信したあと、その構成要素( たとえば、半画素単位動きベクトル、エントロピー符号化されたデータなど) を識別して復号化器700 の関連部分に伝送する。エントロピー符号化されたデータは、エントロピー復号化器702 で復号化され、逆量子化器703 および逆変換器704 により逆量子化および逆変換される。その結果、各々の差分マクロブロックのデータは、この差分マクロブロックに関連した半画素単位動きベクトルの制御下で動き補償予測器706 により提供された半画素単位マクロブロックと共に、加算器705 で加算される。
【００２２】
従来と同じように、逆変換器704 から各々の差分マクロブロック間の半画素のサブブロックは、行優先サブブロック内のスキャニングの順序で加算器705 に提供される。すなわち、差分サブブロックは、水平に左から右へ、上から下へ提供される。また、各々の動き補償予測器706 からの半画素単位マクロブロック内のサブブロックは前記行優先サブブロックの間のスキャニング順序で加算器705 に提供される。
【００２３】
しかし、本発明の方法によれば、各々の差分サブブロックまたは半画素単位サブブロック内の画素は、従来の行優先サブブロック内のスキャニングの順序とは異なる順序で提供される。
【００２４】
詳述すれば、各々の差分サブブロック内の画素は、本発明のスキャニングコンバータ708 を通じて、列優先サブブロック内のスキャニングの順序で加算器705 に提供される。すなわち、各々の差分サブブロック内の垂直に上から下へスキャニングされる画素は図２に示されるように、垂直に上から下へ、つぎに左から右へスキャンされる。
【００２５】
同時に、動き補償予測器706 においては、半画素単位動きベクトルが整数でない水平成分などを有するばあい、各々の半画素単位サブブロックを空間軸補間を行って生成するために必要な以前フレーム4 ×4 画素の大きさのサブブロックと4 画素の大きさの追加列がフレームメモリ707 から、図３に示したように、前記列優先サブブロック内のスキャニングの順序に対応する順序で提供されて、各々の半画素単位サブブロックの画素が前記列優先サブブロック内のスキャニング順序で加算器705 に提供される。図３と関連して説明したように、このような本発明の動き補償方法によれば、半画素単位サブブロックと、半画素単位マクロブロックを生成するために必要なフレームメモリアクセス回数が減少される。
【００２６】
【発明の効果】
本発明によれば、符号化された映像信号の復号化器プロセスにおいて、以前フレームに対するアクセス回数を出来るだけ減らすことができる。
【図面の簡単な説明】
【図１】本発明のハイブリッド符号化器と関連して用いられる復号化器を示した図である。
【図２】列優先サブブロック内のスキャニング順序を示した図である。
【図３】本発明の以前フレーム画素アクセスパターンを示す図である。
【図４】従来のハイブリッド符号化器を示したブロック図である。
【図５】図４のハイブリッド符号化器と関連して用いられる従来の復号化器を示した図である。
【図６】行優先サブブロック内のスキャニング順序を示した図である。
【図７】行優先サブブロック内のスキャニング順序を示した図である。
【図８】  8 ×8 画素の大きさの半画素単位サブブロックを形成するために、必要な以前フレーム画素を示す図である。
【図９】従来の以前フレーム画素アクセスパターンを示す図である。
【符号の説明】
７００  復号化器
７０１  ディマルチプレクサ
７０２  エントロピー復号化器
７０３  逆量子化器
７０４  逆変換器
７０５  加算器
７０７  フレームメモリ
７０６  動き補償予測器
７０８  スキャニングコンバータ
【図１】
0003686436.tif 000002
【図２】
0003686436.tif 000003
【図３】
0003686436.tif 000004
【図４】
0003686436.tif 000005
【図５】
0003686436.tif 000006
【図６】
0003686436.tif 000007
【図７】
0003686436.tif 000008
【図８】
0003686436.tif 000009
【図９】
0003686436.tif 000010