(57)【要約】  動きベクトル・トラッキングを利用した映像符号化方法及び装置が開示される。該映像符号化方法及び装置は、現在ピクチャの動き情報を利用して参照ピクチャの対応領域を決定し、決定された参照ピクチャの対応領域の動き情報を利用して他の参照ピクチャの対応領域を決定する動きベクトル・トラッキング過程を介して、現在ピクチャの予測に利用する複数枚の参照ピクチャを決定し、決定された複数枚の参照ピクチャの加重和を介して、現在ピクチャの予測値を生成することを特徴とする。
2010509800.tif 000002
【特許請求の範囲】
【請求項１】
映像符号化方法において、
現在ピクチャの現在ブロックが参照する参照ピクチャの対応領域の動きベクトル経路をトラッキングすることによって、前記現在ブロックの予測に利用する複数枚の参照ピクチャの対応領域を決定する段階と、
前記複数枚の参照ピクチャの対応領域の加重和を求めることによって、前記現在ブロックの予測ブロックを生成する段階と、
前記現在ブロックと予測ブロックとの差分を符号化する段階とを含む映像符号化方法。
【請求項２】
前記複数枚の参照ピクチャの対応領域を決定する段階は、
前記現在ブロックに対する動き予測を行い、前記現在ブロックに対応する第１参照ピクチャの対応領域を決定する段階と、
前記第１参照ピクチャの動きブロック境界に沿って、前記第１参照ピクチャの対応領域を分割する段階と、
前記分割された第１参照ピクチャの対応領域を具備する前記第１参照ピクチャの動きブロックの動きベクトルが指し示す第２参照ピクチャの対応領域を決定する段階とをさらに含むことを特徴とする請求項１に記載の映像符号化方法。
【請求項３】
前記第２参照ピクチャの対応領域を決定する段階は、
前記第１参照ピクチャの動きブロック境界に沿って分割された第１参照ピクチャの対応領域のうち、イントラ予測ブロックに含まれる対応領域に対し、前記イントラ予測ブロックの周辺動きブロックの動きベクトルを利用して前記イントラ予測ブロックの仮想動きベクトルを決定し、前記決定された仮想動きベクトルが指し示す第２参照ピクチャの対応領域を決定することを特徴とする請求項２に記載の映像符号化方法。
【請求項４】
前記イントラ予測ブロックの仮想動きベクトルは、
前記周辺動きブロックの動きベクトルの平均値または中間値のうち、一つを利用することを特徴とする請求項３に記載の映像符号化方法。
【請求項５】
前記参照ピクチャの対応領域の動きベクトル経路のトラッキングは、
前記現在ブロックの動きベクトルが指し示す第２参照ピクチャの対応領域を決定する段階を、（ｎ−１）番目の参照ピクチャの動きベクトルが指し示すｎ番目の参照ピクチャの対応領域まで遂行する段階を含み、ここで、ｎは３以上であり、前記ｎ番目の参照ピクチャは、（ｎ−１）番目の参照ピクチャの参照ピクチャであることを特徴とする請求項１に記載の映像符号化方法。
【請求項６】
前記参照ピクチャの対応領域の動きベクトル経路のトラッキングは、
前記ｎ番目の参照ピクチャの対応領域のうち、からイントラ予測されるブロックに含まれる対応領域の広さが所定臨界値以上である参照ピクチャまで行われることを特徴とする請求項５に記載の映像符号化方法。
【請求項７】
前記現在ブロックに対する予測ブロックを生成する段階は、
前記複数枚の参照ピクチャの対応領域の重み付けを決定する段階と、
前記複数枚の参照ピクチャの対応領域それぞれに前記重み付けを乗じ、各乗算の結果を加えることによって、前記現在ブロックに対する予測ブロックを生成する段階とを含むことを特徴とする請求項１に記載の映像符号化方法。
【請求項８】
前記重み付けは、
以前に処理された前記現在ブロックの周辺ブロックの画素と、前記現在ブロックの周辺ブロックの画素に対応する前記参照ピクチャの対応領域の周辺画素とを利用し、前記参照ピクチャの対応領域の周辺画素の加重和を介して予測された前記現在ブロックの周辺画素の予測値と前記現在ブロックの周辺画素の画素値との差が最小になる値に決定されることを特徴とする請求項７に記載の映像符号化方法。
【請求項９】
前記符号化の結果として生成されたビットストリームの所定領域に、前記複数枚の参照ピクチャを利用して予測符号化されたブロックを示す所定のフラグを挿入する段階をさらに含むことを特徴とする請求項１に記載の映像符号化方法。
【請求項１０】
前記複数枚の参照ピクチャの対応領域を決定する段階は、
前記第１参照ピクチャの動きブロック境界に沿って分割された第１参照ピクチャ対応領域のうち、イントラ予測ブロックに含まれる領域の広さが所定臨界値以上である場合、前記第１参照ピクチャの対応領域だけを前記現在ブロックの予測に利用する参照ピクチャの対応領域として決定し、
前記現在ブロックの予測ブロックを生成する段階は、
前記第１参照ピクチャの対応領域に所定の重み付けを乗じた値を、前記現在ブロックの予測ブロックに決定することを特徴とする請求項１に記載の映像符号化方法。
【請求項１１】
映像符号化装置において、
現在ブロックが参照する参照ピクチャの対応領域の動きベクトル経路をトラッキングすることによって、前記現在ブロックの予測に利用する複数枚の参照ピクチャの対応領域を決定する参照ピクチャ決定部と、
前記複数枚の参照ピクチャの対応領域の加重和を求めることによって、前記現在ブロックの予測ブロックを生成する加重予測部と、
前記現在ブロックと予測ブロックとの差分を符号化する符号化部とを備える映像符号化装置。
【請求項１２】
前記参照ピクチャ決定部は、
前記現在ブロックの動きベクトルが指し示す第１参照ピクチャの対応領域を、前記第１参照ピクチャの動きブロック境界に沿って分割し、前記分割された第１参照ピクチャの対応領域を具備する前記第１参照ピクチャの動きブロックの動きベクトルが指し示す第２参照ピクチャの対応領域を決定することを特徴とする請求項１１に記載の映像符号化装置。
【請求項１３】
前記参照ピクチャ決定部は、
前記第１参照ピクチャの動きブロック境界に沿って分割された第１参照ピクチャの対応領域のうち、イントラ予測ブロックに含まれる対応領域に対し、前記イントラ予測ブロックの周辺動きブロックの動きベクトルを利用して前記イントラ予測ブロックの仮想動きベクトルを決定し、前記決定された仮想動きベクトルが指し示す第２参照ピクチャの対応領域を決定することを特徴とする請求項１２に記載の映像符号化装置。
【請求項１４】
前記イントラ予測ブロックの仮想動きベクトルは、
前記周辺動きブロックの動きベクトルの平均値または中間値のうち、一つを利用することを特徴とする請求項１３に記載の映像符号化装置。
【請求項１５】
前記参照ピクチャ決定部は、
前記現在ブロックの動きベクトルが指し示す第２参照ピクチャの対応領域を決定する段階を、（ｎ−１）番目の参照ピクチャの動きベクトルが指し示すｎ番目の参照ピクチャの対応領域まで行い、ここで、ｎは３以上であり、前記ｎ番目の参照ピクチャは、（ｎ−１）番目の参照ピクチャの参照ピクチャであることを特徴とする請求項１１に記載の映像符号化装置。
【請求項１６】
前記参照ピクチャ決定部は、
前記ｎ番目の参照ピクチャの対応領域のうち、イントラ予測されるブロックに含まれる対応領域の広さが所定臨界値以上である参照ピクチャまで、前記トラッキングを遂行することを特徴とする請求項１５に記載の映像符号化装置。
【請求項１７】
前記加重予測部は、
前記複数枚の参照ピクチャの対応領域の重み付けを決定する重み付け計算部と、
前記複数枚の参照ピクチャの対応領域それぞれに前記重み付けを乗じ、前記乗算の結果を加えることによって、前記現在ブロックに対する予測ブロックを生成する予測ブロック生成部とを備えることを特徴とする請求項１１に記載の映像符号化装置。
【請求項１８】
前記重み付け計算部は、
以前に処理された前記現在ブロックの周辺ブロックの画素と、前記現在ブロックの周辺ブロックの画素に対応する前記参照ピクチャの対応領域の周辺画素とを利用し、前記参照ピクチャの対応領域の周辺画素の加重和を介して予測された前記現在ブロックの周辺画素の予測値と前記現在ブロックの周辺画素の画素値との差が最小になる値を前記重み付けに決定することを特徴とする請求項１７に記載の映像符号化装置。
【請求項１９】
前記符号化部は、
前記符号化の結果として生成されたビットストリームの所定領域に、前記複数枚の参照ピクチャを利用して予測符号化されたブロックを示す所定のフラグを挿入することを特徴とする請求項１１に記載の映像符号化装置。
【請求項２０】
前記参照ピクチャ決定部は、
前記第１参照ピクチャの動きブロック境界に沿って分割された第１参照ピクチャ対応領域のうち、イントラ予測ブロックに含まれる領域の広さが所定臨界値以上である場合、前記第１参照ピクチャの対応領域だけを前記現在ブロックの予測に利用する参照ピクチャの対応領域として決定し、
前記加重予測部は、
前記第１参照ピクチャの対応領域に所定の重み付けを乗じた値を、前記現在ブロックの予測ブロックに決定することを特徴とする請求項１１に記載の映像符号化装置。
【請求項２１】
映像復号化方法において、
入力されたビットストリームに備わった予測モード情報を判読し、復号化される現在ブロックの予測モードを判別する段階と、
前記判別の結果、複数枚の参照ピクチャの対応領域を利用して予測された前記現在ブロックに対し、前記ビットストリームに備わった前記現在ブロックの動きベクトルが指し示す参照ピクチャの対応領域と、前記参照ピクチャの対応領域の動きベクトル経路とをトラッキングすることによって、前記現在ブロックの予測に利用する複数枚の参照ピクチャの対応領域を決定する段階と、
前記複数枚の参照ピクチャの対応領域の加重和を求めることによって、前記現在ブロックの予測ブロックを生成する段階と、
前記生成された予測ブロックと、前記ビットストリームに備わった前記現在ブロックと予測ブロックとの差分値とを加え、前記現在ブロックを復号化する段階とを含む映像復号化方法。
【請求項２２】
前記複数枚の参照ピクチャの対応領域を判別する段階は、
前記現在ブロックの動きベクトルが指し示す第１参照ピクチャの対応領域を、前記第１参照ピクチャの動きブロック境界に沿って分割する段階と、
前記分割された第１参照ピクチャの対応領域を具備する前記第１参照ピクチャの動きブロックの動きベクトルが指し示す第２参照ピクチャの対応領域を決定する段階とをさらに含むことを特徴とする請求項２１に記載の映像復号化方法。
【請求項２３】
前記参照ピクチャの対応領域の動きベクトル経路のトラッキングは、
前記現在ブロックの動きベクトルが指し示す第２参照ピクチャの対応領域を決定する段階を、（ｎ−１）番目の参照ピクチャの動きベクトルが指し示すｎ番目の参照ピクチャの対応領域まで行い、ここで、ｎは３以上であり、前記ｎ番目の参照ピクチャは、（ｎ−１）番目の参照ピクチャの参照ピクチャであることを特徴とする請求項２１に記載の映像復号化方法。
【請求項２４】
前記現在ブロックに対する予測ブロックを生成する段階は、
以前に処理された前記現在ブロックの周辺ブロックの画素と、前記現在ブロックの周辺ブロックの画素に対応する前記参照ピクチャの対応領域の周辺画素とを利用し、前記参照ピクチャの対応領域の周辺画素の加重和を介して予測された前記現在ブロックの周辺画素の予測値と前記現在ブロックの周辺画素の画素値との差が最小になる値を前記複数枚の参照ピクチャの対応領域の重み付けに決定する段階と、
前記複数枚の参照ピクチャの対応領域に前記重み付けを乗じた後で加えることによって、前記現在ブロックに対する予測ブロックを生成する段階とを含むことを特徴とする請求項２１に記載の映像復号化方法。
【請求項２５】
映像復号化装置において、
入力されたビットストリームに備わった予測モード情報を判読し、復号化される現在ブロックの予測モードを判別する予測モード判別部と、
前記判別の結果、複数枚の参照ピクチャの対応領域を利用して予測された前記現在ブロックに対し、前記ビットストリームに備わった前記現在ブロックの動きベクトルが指し示す参照ピクチャの対応領域と、前記参照ピクチャの対応領域の動きベクトル経路とをトラッキングすることによって、前記現在ブロックの予測に利用する複数枚の参照ピクチャの対応領域を決定する参照ピクチャ決定部と、
前記複数枚の参照ピクチャの対応領域の加重和を求めることによって、前記現在ブロックの予測ブロックを生成する加重予測部と、
前記生成された予測ブロックと、前記ビットストリームに備わった前記現在ブロックと予測ブロックとの差分値とを加え、前記現在ブロックを復号化する復号化部とを備える映像復号化装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、映像の予測符号化及び復号化に係り、さらに具体的には、現在ピクチャの動きベクトル経路を連続的にトラッキングすることによって複数枚の参照ピクチャを決定し、決定された複数枚の参照ピクチャを利用し、現在ピクチャを予測符号化する映像符号化方法及び装置、その復号化方法及び装置に関する。
【背景技術】
【０００２】
動映像の符号化時には、映像シーケンス内の空間的冗長性及び時間的冗長性（redundancy）を除去することによって圧縮が行われる。時間的冗長性を除去するためには、現在符号化されるピクチャの前方または後方に位置した他のピクチャを参照ピクチャとして利用し、現在符号化されるピクチャの領域と類似した参照ピクチャの領域を検索し、現在符号化されるピクチャと参照ピクチャとの対応する領域間の動き量を検出し、該動き量に基づいて動き補償処理を行って得られる予測映像と現在符号化される映像との差分（residue）を符号化する。
【０００３】
ビデオピクチャは、一つまたはそれ以上のスライス単位にコーディングされる。ここで、１つのスライスは、１つのマクロブロックのみを含む場合もあり、１つのピクチャ全体が１つのスライスに符号化される場合もある。Ｈ．２６４標準案によれば、ビデオピクチャは、画面内の予測だけで符号化されるＩ（Intra）スライス、１枚の参照ピクチャの映像サンプルを利用した予測によって符号化されるＰ（Predictive）スライス、及び２枚の参照ピクチャの映像サンプルを利用した予測によって符号化されるＢ（Bi-predictive）スライス単位でコーディングされる。
【０００４】
従来、ＭＰＥＧ−２などでは、現在ピクチャの直前のピクチャ１枚、及び直後に出てくるピクチャ１枚を参照ピクチャとして利用する双方向予測（bi-directional  prediction）を行っていた。Ｈ．２６４／ＡＶＣ（Advanced  Video  Coding）では、かような双方向予測の概念を拡張し、現在ピクチャの直前及び直後のピクチャに限定せず、前後に関係なくして任意の２枚のピクチャを参照ピクチャとして利用できる。このように、前後に関係なくして任意の２枚のピクチャを参照ピクチャとして利用して予測されるピクチャを、双予測ピクチャ（Bi-predictive  picture、以下、「Ｂピクチャ」とする）と定義する。
【０００５】
図１は、Ｈ．２６４／ＡＶＣによって、Ｂピクチャとして符号化される現在ピクチャに備わったブロックの予測過程について説明するための図である。Ｈ．２６４／ＡＶＣによれば、Ｂピクチャ内のブロックは、ＭＢ  １のように、同じ方向の２枚の参照ピクチャＡ及びＢを利用したり、ＭＢ  ２のように、異なる方向の２枚の参照ピクチャＢ及びＣを利用したり、ＭＢ  ３のように、同一参照ピクチャＡ内の２枚の互いに異なる領域でサンプリングされた領域を利用したり、ＭＢ４やＭＢ５のように、任意の参照ピクチャＢまたはＤのみを利用して予測される。
【０００６】
一般的に、Ｂピクチャとしてコーディングされる映像データの符号化効率は、ＩピクチャやＰピクチャとしてコーディングされる映像データの符号化効率に比べてさらに高い。これは、Ｂピクチャは、２枚の参照ピクチャを利用するために１枚の参照ピクチャを利用するＰピクチャや、画面内の予測を利用するＩピクチャに比べ、現在映像データと類似した予測データを生成できる可能性が高いだけではなく、Ｂピクチャの場合、２枚の参照ピクチャの平均値を予測データとして利用するために、時間的に前後に位置するピクチャ間に誤差が発生するとしても、時間方向に平坦になった平均値を予測値として利用するようになり、一種の低周波フィルタリングを行ったように、視覚的に符号化歪曲がほとんど発生しない場合もあるためである。
【０００７】
Ｐピクチャに比べ、２枚の参照ピクチャを利用するＢピクチャの場合がさらに大きい符号化効率を有するように、さらに多数の参照ピクチャを利用するならば、符号化効率を向上させることができるにもかかわらず、各参照ピクチャごとに動き予測及び補償を行う場合、演算量が増加する限界によって、従来の映像圧縮標準案では、最大２枚までの参照ピクチャのみを利用している。
【発明の概要】
【発明が解決しようとする課題】
【０００８】
本発明は、前記のような問題点を解決するために案出されたものであり、現在ブロックの参照ピクチャの動きベクトル経路をトラッキングすることによって、さらに多くの参照ピクチャを現在ブロックの予測に利用して符号化効率を向上させる映像符号化方法及び装置、該復号化方法及び装置を提供するところに目的がある。
【課題を解決するための手段】
【０００９】
前記のような技術的課題を解決するために、本発明による映像符号化方法は、現在ブロックが参照する参照ピクチャの対応領域の動きベクトル経路をトラッキングすることによって、前記現在ブロックの予測に利用する複数枚の参照ピクチャの対応領域を決定する段階と、前記複数枚の参照ピクチャの対応領域の加重和を求めることによって、前記現在ブロックの予測ブロックを生成する段階と、前記現在ブロックと予測ブロックとの差分を符号化する段階とを含むことを特徴とする。
【００１０】
本発明による映像符号化装置は、現在ブロックが参照する参照ピクチャの対応領域の動きベクトル経路をトラッキングすることによって、前記現在ブロックの予測に利用する複数枚の参照ピクチャの対応領域を決定する参照ピクチャ決定部と、前記複数枚の参照ピクチャの対応領域の加重和を求めることによって、前記現在ブロックの予測ブロックを生成する加重予測部と、前記現在ブロックと予測ブロックとの差分を符号化する符号化部とを備えることを特徴とする。
【００１１】
本発明による映像復号化方法は、入力されたビットストリームに備わった予測モード情報を判読し、復号化される現在ブロックの予測モードを判別する段階と、前記判別の結果、複数枚の参照ピクチャの対応領域を利用して予測された前記現在ブロックに対し、前記ビットストリームに備わった前記現在ブロックの動きベクトルが指し示す参照ピクチャの対応領域と、前記参照ピクチャの対応領域の動きベクトル経路とをトラッキングすることによって、前記現在ブロックの予測に利用する複数枚の参照ピクチャの対応領域を決定する段階と、前記複数枚の参照ピクチャの対応領域の加重和を求めることによって、前記現在ブロックの予測ブロックを生成する段階と、前記生成された予測ブロックと、前記ビットストリームに備わった前記現在ブロックと予測ブロックとの差分値とを加え、前記現在ブロックを復号化する段階とを含むことを特徴とする。
【００１２】
本発明による映像復号化装置は、入力されたビットストリームに備わった予測モード情報を判読し、復号化される現在ブロックの予測モードを判別する予測モード判別部と、前記判別の結果、複数枚の参照ピクチャの対応領域を利用して予測された前記現在ブロックに対し、前記ビットストリームに備わった前記現在ブロックの動きベクトルが指し示す参照ピクチャの対応領域と、前記参照ピクチャの対応領域の動きベクトル経路とをトラッキングすることによって、前記現在ブロックの予測に利用する複数枚の参照ピクチャの対応領域を決定する参照ピクチャ決定部と、前記複数枚の参照ピクチャの対応領域の加重和を求めることによって、前記現在ブロックの予測ブロックを生成する加重予測部と、前記生成された予測ブロックと、前記ビットストリームに備わった前記現在ブロックと予測ブロックとの差分値とを加え、前記現在ブロックを復号化する復号化部とを備えることを特徴とする。
【発明の効果】
【００１３】
本発明によれば、さらに多数の参照ピクチャを利用して予測符号化を行うことによって、予測効率及び符号化効率を向上させることができる。
【図面の簡単な説明】
【００１４】
【図１】Ｈ．２６４／ＡＶＣによってＢピクチャとして符号化される現在ピクチャに備わったブロックの予測過程について説明するための図である。
【図２】本発明による映像符号化方法によって、現在ピクチャの予測に利用する複数枚の参照ピクチャを決定する過程の一例について説明した図である。
【図３】本発明による映像符号化方法によって、現在ピクチャの予測に利用する複数枚の参照ピクチャを決定する過程の他の例について説明した図である。
【図４】本発明による映像符号化方法によって、現在ピクチャの予測に利用する複数枚の参照ピクチャを決定する過程のさらに他の例について説明した図である。
【図５】本発明による映像符号化装置を示したブロック図である。
【図６】図５の動き補償部５０４の具体的な構成を示したブロック図である。
【図７】Ｈ．２６４／ＭＰＥＧ−４ＡＶＣの可変ブロックサイズ動き予測で利用される多様な大きさのブロックを示した図である。
【図８】可変ブロック動き予測された映像の一例を図示したイメージである。
【図９】本発明による映像符号化方法によって、動きブロック境界を基に分割された参照ピクチャの対応領域が参照する他の参照ピクチャの対応領域を決定するための過程について説明するための図である。
【図１０】本発明による映像符号化方法によって、動きブロック境界を基準に分割された参照ピクチャの対応領域が参照する他の参照ピクチャの対応領域を決定するための過程の他の例について説明するための図である。
【図１１】本発明による映像符号化方法において、参照ピクチャの対応領域に付与される重み付けを計算する過程について説明するための図である。
【図１２】本発明による映像符号化方法を示したフローチャートである。
【図１３】本発明による映像復号化装置の構成を示したブロック図である。
【図１４】本発明による映像復号化方法を示したフローチャートである。
【発明を実施するための形態】
【００１５】
以下、添付された図面を参照しつつ、本発明の望ましい実施形態について詳細に説明する。
【００１６】
本発明による映像符号化方法は、現在ピクチャの動きベクトルが指し示す参照ピクチャの動きベクトルを利用し、他の参照ピクチャの対応領域を継続的にトラッキングすることによって、現在ピクチャの予測に利用される複数枚の参照ピクチャを決定し、決定された参照ピクチャの加重和を介して、現在ピクチャの予測値を生成することを特徴とする。まず、図２ないし図４を参照し、本発明による映像符号化方法及び装置に適用される複数枚の参照ピクチャ決定過程について説明する。
【００１７】
図２は、本発明による映像符号化方法によって、現在ピクチャの予測に利用する複数枚の参照ピクチャを決定する過程の一例について説明した図である。
【００１８】
現在ピクチャの符号化対象になるブロック（以下、「現在ブロック」とする）２１に対して一般的な動き予測が行われ、現在ブロック２１と最も類似した参照ピクチャ１の対応領域２２、及び現在ブロック２１と参照ピクチャ１の対応領域２２との位置差を示す動きベクトルＭＶ１が決定された状態であると仮定する。また、現在ブロック２１は、Ｐピクチャ内に備わった１枚の参照ピクチャのみを参照する動きブロックであると仮定する。しかし本発明は、図２に図示されたように、１つの動きベクトルを有する動きブロックだけではなく、２個の動きベクトルを有するＢピクチャ内の動きブロックに対して動きベクトルそれぞれをトラッキングすることによっても適用されうる。
【００１９】
図２を参照するに、現在ブロック２１に対する動き予測の結果として生成される動きベクトルＭＶ１は、参照ピクチャ１で現在ブロック２１と最も誤差が少ない領域を示す。従来技術によれば、参照ピクチャ１の対応領域２２の値を現在ブロック２１の予測値に決定し、決定された予測値と現在ブロック２１の原画素値との差である剰余（residue）を符号化する。
【００２０】
本発明による映像符号化方法は、従来技術のように、現在ブロックの動きベクトルが指し示す参照ピクチャの対応領域だけではなく、参照ピクチャの対応領域が有する動き情報を利用し、参照ピクチャの対応領域の予測に利用された他の参照ピクチャの対応領域を現在ブロックの予測に利用する。図２を参照するに、現在ブロック２１に対応する参照ピクチャ１の対応領域２２が有する動きベクトルＭＶ２を利用し、参照ピクチャ１の対応領域２２の予測に利用された参照ピクチャ２の対応領域２３を決定する。また、参照ピクチャ２の対応領域２３の動きベクトルＭＶ３を利用し、参照ピクチャ２の対応領域２３の予測に利用された参照ピクチャ３の対応領域２４を決定する。参照ピクチャｎ−１の対応領域２５の動きベクトルＭＶｎは、参照ピクチャｎ−１の対応領域２５の予測に利用された参照ピクチャＡの対応領域２６を決定するのに利用される。後述するように、現在ブロックの動きベクトルが指し示す参照ピクチャの対応領域、及び参照ピクチャの対応領域が有する動きベクトルが指し示す他の参照ピクチャの対応領域をトラッキングし続ける過程は、イントラ予測されるブロックだけで構成される参照ピクチャまで遂行されるか、またはイントラ予測ブロックに含まれる対応領域の大きさが所定臨界値以上である参照ピクチャまで行われる。
【００２１】
このように本発明は、従来技術のように、現在ブロック２１が有する動きベクトルＭＶ１が指し示す参照ピクチャ１の対応領域２２だけではなく、参照ピクチャ１の対応領域２２の動きベクトルＭＶ２が指し示す参照ピクチャ２の対応領域２３、参照ピクチャ２の対応領域２３の動きベクトルＭＶ３が指し示す参照ピクチャ３の対応領域２４のように、現在ブロック２１の動きベクトルが指し示す参照ピクチャの対応領域の動きベクトル経路をトラッキングすることによって決定された複数枚の参照ピクチャの対応領域に、所定の重み付けを乗じた後で加算することによって、現在ブロック２１の予測ブロックを生成する。
【００２２】
図３は、本発明による映像符号化方法によって、現在ピクチャの予測に利用する複数枚の参照ピクチャを決定する過程の他の例について説明した図である。図３で、Ｉ０はＩピクチャ、Ｐ１及びＰ５はＰピクチャ、Ｂ２及びＢ３はＢピクチャであると仮定する。以下では、本発明によって、Ｂ２ピクチャに備わった現在ブロック３１の予測に利用される複数枚の参照ピクチャ対応領域を決定する過程について説明する。
【００２３】
図３を参照するに、Ｂ２ピクチャに備わった現在ブロック３１は、一般的な動き予測の結果、２個の動きベクトルＭＶ１，ＭＶ２を有すると仮定する。Ｂ２ピクチャに備わった現在ブロック３１のように、現在符号化される対象ブロックが２個の動きベクトルを有する場合には、それぞれの動きベクトルに対して参照ピクチャの対応領域の動きベクトル経路をトラッキングする過程を遂行することによって、複数枚の参照ピクチャの対応領域を決定する。すなわち、現在ブロック３１の第１動きベクトルＭＶ１が指し示すＰ１ピクチャの対応領域３３が有する動き情報を利用し、Ｐ１ピクチャの対応領域３３の予測に利用された他の参照ピクチャＩ０の対応領域３４を決定する。Ｉ０ピクチャの場合、イントラ予測されるブロックによってのみ構成されるＩピクチャであり、対応領域３４は、動き情報を有さないので、トラッキング過程は中断される。
【００２４】
同様に、現在ブロック３１の第２動きベクトルＭＶ２が指し示すＢ３ピクチャの対応領域３２の場合、Ｂ３ピクチャがＢピクチャであるので、対応領域３２も２個の動きベクトルを有する。この場合もまた、Ｂ３ピクチャの対応領域３２が有する２個の動きベクトルのうち、左側の動きベクトルをトラッキングし、Ｂ３ピクチャの対応領域３２の予測に利用されたＰ１ピクチャの対応領域４１、Ｐ１ピクチャの対応領域４１の予測に利用されたＩ０ピクチャの対応領域４２を決定する。また、Ｂ３ピクチャの対応領域３２が有する２個の動きベクトルのうち、右側の動きベクトルをトラッキングし、Ｂ３ピクチャの対応領域３２の予測に利用されたＰ５ピクチャの対応領域３８を決定する。前述のように、Ｂ３ピクチャの対応領域３２が有する２個の動きベクトルのうち、右側の動きベクトルを利用したトラッキング過程は、Ｉ０ピクチャのように、動き情報を有さないイントラ予測ピクチャまで行われるか、対応領域のうち、イントラ予測されるブロックに含まれる領域の広さが所定大きさ以上である参照ピクチャまで続けて行われる。
【００２５】
このように、現在ブロック３１の動きベクトルをトラッキングすることによって決定された複数枚の参照ピクチャの対応領域３２，３３，３４，３８にそれぞれ所定の重み付けを乗じた後で加算し、現在ブロック３１の予測ブロックを生成するよ。
【００２６】
図４は、本発明による映像符号化方法によって、現在ピクチャの予測に利用する複数枚の参照ピクチャを決定する過程のさらに他の例について説明した図である。図４では、映像符号化時のディレイを減らすために、現在ピクチャ以前に符号化されたピクチャだけを利用するという点を除き、前述の図３で説明した動きベクトル・トラッキング過程と類似している。Ｈ．２６４／ＡＶＣでは、現在ピクチャの直前または直後のピクチャに限定されずに、任意の方向の２枚の参照ピクチャを利用できるので、図４に図示されたように、前方向（forward）ピクチャだけを利用して予測符号化を行う場合もある。
【００２７】
図４を参照するに、現在ブロック４３が有する２個の動きベクトルＭＶ１，ＭＶ２をそれぞれトラッキングすることによって、現在ブロック４３の予測に利用される複数枚の参照ピクチャの対応領域４４，４５，４６，４７，４８，４９，５０，５１を決定できる。
【００２８】
以上で説明した通り、本発明による映像符号化方法及び装置は、現在ブロックの動きベクトルが指し示す参照ピクチャの対応領域だけではなく、参照ピクチャの対応領域が有する動き情報を利用し、参照ピクチャの対応領域の予測に利用された他の参照ピクチャの対応領域を現在ブロックの予測に利用する。また、現在ブロックまたは参照ピクチャの対応領域が２個の動きベクトルを有する場合には、各動きベクトルをトラッキングすることによって、参照ピクチャの対応領域を決定する。
【００２９】
図５は、本発明による映像符号化装置を示したブロック図である。以下では、説明の便宜のために、Ｈ．２６４／ＡＶＣによる映像符号化装置を中心に説明するが、本発明による映像符号化装置は、動き予測及び補償を利用する他の方式の映像コーディング方式にも適用されうる。図５を参照するに、映像符号化装置５００は、動き予測部５０２、動き補償部５０４、イントラ予測部５０６、変換部５０８、量子化部５１０、再整列部５１２、エントロピ・コーディング部５１４、逆量子化部５１６、逆変換部５１８、フィルタ５２０、フレームメモリ５２２及び制御部５２５を具備する。
【００３０】
動き予測部５０２は、現在ピクチャを所定大きさのブロック単位に分割し、以前に符号化された後で復元されてフレームメモリ５２２に保存された参照ピクチャの所定探索領域範囲内で、現在ブロックと最も類似した領域を探索する動き予測を行い、現在ブロックと参照ピクチャの対応領域との位置差である動きベクトルを出力する。
【００３１】
動き補償部５０４は、動きベクトルが指し示す参照ピクチャの対応領域情報を利用し、現在ブロックの予測値を生成する。特に、本発明による動き補償部５０４は、前述のように、現在ブロックが有する動きベクトルを継続的にトラッキングすることによって、複数枚の参照ピクチャの対応領域を決定し、決定された参照ピクチャの対応領域の加重和を介して現在ブロックの予測値を生成する。本発明による動き補償部５０４の具体的な構成及び動作については後述する。
【００３２】
イントラ予測部５０６は、現在ブロックの予測値を現在ピクチャ内で探すイントラ予測を行う。
【００３３】
インター予測、イントラ予測、または本発明による複数枚の参照ピクチャの対応領域を利用した予測方式によって、現在ブロックの予測ブロックが生成されれば、現在ブロックと予測ブロックとの誤差値である剰余が生成され、生成された剰余は、変換部５０８によって周波数領域に変換され、量子化部５１０で量子化される。エントロピ・コーディング部５１４は、量子化された剰余を符号化し、ビットストリームを出力する。
【００３４】
参照ピクチャを得るために量子化されたピクチャは、逆量子化部５１６と逆変換部５１８とによってさらに復元される。このように復元された現在ピクチャは、デブロッキング・フィルタリングを行うフィルタ５２０を経た後、フレームメモリ５２２に保存されていて、次のピクチャの予測時に利用される。
【００３５】
制御部５２５は、映像符号化装置５００の各構成要素を制御する一方、現在ブロックの予測モードを決定する。具体的に制御部５２５は、一般的なインター予測またはイントラ予測されたブロックと現在ブロックとのコスト、及び本発明によって複数枚の参照ピクチャの対応領域を利用して予測されたブロックと現在ブロックとのコストを比較し、最小コストを有する予測モードを決定する。ここで、コスト計算は、さまざまな方法によって行われうる。使われるコスト関数としては、ＳＡＤ（Sum  of  Absolute  Difference）、ＳＡＴＤ（Sum  of  Absolute  Transformed  Difference）、ＳＳＤ（Sum  of  Squared  Difference）、ＭＡＤ（Mean  of  Absolute  Difference）及びラグランジュ関数（Lagrange  function）などがある。ＳＡＤは、各４×４ブロック予測誤差（residue）値の絶対値を取ってその値を合わせた値である。ＳＡＴＤは、各４×４ブロックの予測誤差値にハダマード変換（Hadamard  transform）を適用して生成された係数の絶対値を取って加えた値である。ＳＳＤは、各４×４ブロック予測サンプルの予測誤差値を自乗して加えた値であり、ＭＡＤは、各４×４ブロック予測サンプルの予測誤差値に絶対値を取って平均を求めた値である。ラグランジュ関数は、コスト関数にビットストリーム長の情報を含めて作られた新しい関数である。
【００３６】
図６は、図５の動き補償部５０４の具体的な構成を示したブロック図である。図６を参照するに、動き補償部６００は、参照ピクチャ決定部６１０及び加重予測部６２０を備える。
【００３７】
参照ピクチャ決定部６１０は、動き予測部５０２で生成された現在ブロックの動きベクトルを利用して参照ピクチャの対応領域を決定し、決定された参照ピクチャの対応領域が有する動きベクトルの経路をトラッキングすることによって、現在ブロックの予測に利用する複数枚の参照ピクチャの対応領域を決定する。
【００３８】
加重予測部６２０は、決定された複数枚の参照ピクチャの対応領域の加重和を求めることによって、現在ブロックの予測ブロックを生成する。具体的に加重予測部６２０は、複数枚の参照ピクチャの対応領域の重み付けを決定する重み付け計算部６２１、及び複数枚の参照ピクチャの対応領域に重み付けを乗じた後で加えることによって、現在ブロックに対する予測ブロックを生成する予測ブロック生成部６２２を備える。
【００３９】
以下では、参照ピクチャ決定部６１０で、現在ブロックの予測に利用する複数枚の参照ピクチャの対応領域を決定する過程について具体的に説明する。
【００４０】
図７は、Ｈ．２６４／ＭＰＥＧ−４ＡＶＣの可変ブロックサイズ動き予測で利用される多様な大きさのブロックを示した図であり、図８は、可変ブロック動き予測された映像の一例を図示したものである。図７に図示されたように、マクロブロックは、四種の方法で分割されうる。すなわち、マクロブロックは、１つの１６×１６マクロブロック・パーティション、２つの１６×８パーティション、２つの８×１６パーティションまたは４つの８×８パーティションに分割されて動き予測されうる。また、８×８モードが選択されれば、マクロブロック内の４つの８×８サブマクロブロックは、それぞれ四種の方法でまた分割されうる。すなわち、８×８モードが選択された場合、各８×８ブロックは、１つの８×８サブマクロブロック・パーティション、２つの８×４サブマクロブロック・パーティション、２つの４×８サブマクロブロック・パーティションまたは４つの４×４サブマクロブロック・パーティションのうち、一つで分割される。各マクロブロック内で、かようなパーティションとサブマクロブロックとの非常に多数の組み合わせが可能である。マクロブロックを多様な大きさのサブブロックに分ける方法をツリー構造動き補償（tree  structured  motion  compensation）という。
【００４１】
図８を参照するに、映像で、エネルギーが低いブロックは、大サイズのパーティションに動き予測され、エネルギーが大きいブロックは、小サイズのパーティションに動き予測される。本発明について説明するにおいて、かようなツリー構造動き補償を利用し、現在ピクチャを分割するそれぞれの動きブロック間の境界を動きブロック境界と定義する。
【００４２】
前述のように、本発明による映像符号化方法によれば、現在ブロックの予測に利用する参照ピクチャの対応領域を決定するために、参照ピクチャの対応領域が有する動きベクトルを利用したトラッキングを遂行する。しかし、図８に図示されたように、参照ピクチャは、多様な大きさの動きブロックに分割されているので、現在ブロックに対応する参照ピクチャの対応領域は、正確に１つの動きブロックと一致せずに、複数個の動きブロックにわたって形成される場合がある。かような場合、参照ピクチャの対応領域内には、複数個の動きベクトルが存在する。このように、参照ピクチャの対応領域内に複数個の動きベクトルが存在する場合、動きベクトル経路をトラッキングする過程について説明する。
【００４３】
図９は、本発明による映像符号化方法によって、動きブロック境界を基準に分割された参照ピクチャの対応領域が参照する他の参照ピクチャの対応領域を決定するための過程について説明するための図である。
【００４４】
図９を参照するに、現在ブロック９０が有する動きベクトルＭＶ１が指し示す参照ピクチャ１の対応領域９１は、複数個の動きブロック（BLOCK）にわたって存在する。すなわち、現在ブロック９０に対応する参照ピクチャ１の対応領域９１は、いずれか１つの動きブロックとマッチングされるのではなく、ブロックＡ、ブロックＢ、ブロックＣ及びブロックＤにわたって存在する。このような場合、参照ピクチャ決定部６１０は、参照ピクチャ１の対応領域９１を参照ピクチャ１の動きブロック境界に沿って分割し、分割された参照ピクチャ１のサブ対応領域ａ，ｂ，ｃ，ｄを具備する参照ピクチャ１の各動きブロックの動きベクトルが指し示す参照ピクチャ２と参照ピクチャ３との対応領域を決定する。すなわち、参照ピクチャ決定部６１０は、分割されたａ領域が属するブロックＡが有する動きベクトルＭＶａを利用して参照ピクチャ２の対応領域ａ’９３を決定し、ｂ領域が属するブロックＢが有する動きベクトルＭＶｂを利用して参照ピクチャ２の対応領域ｂ’９４を決定し、ｃ領域が属するブロックＣが有する動きベクトルＭＶｃを利用し、参照ピクチャ３の対応領域ｃ’９６を決定し、ｄ領域が属するブロックＤが有する動きベクトルＭＶｄを利用し、参照ピクチャ３の対応領域ｄ’９５を決定する。
【００４５】
図９では、現在ブロック９０と対応する参照ピクチャ１の対応領域９１を部分的に含むブロックＡ，Ｂ，Ｃ，Ｄが参照ピクチャ２及び参照ピクチャ３を参照する場合を例示しているが、ブロックＡ，Ｂ，Ｃ，Ｄが参照する参照ピクチャが変更される場合にも、同様にブロックＡ，Ｂ，Ｃ，Ｄが有するモーションフィールド（motion  field）情報、すなわちブロックＡ，Ｂ，Ｃ，Ｄの動きベクトル及び参照ピクチャ情報を利用し、分割された参照ピクチャ１の対応領域に対応する他の参照ピクチャの対応領域を決定できる。
【００４６】
図１０は、本発明による映像符号化方法によって、動きブロック境界を基準に分割された参照ピクチャの対応領域が参照する他の参照ピクチャの対応領域を決定するための過程の他の例について説明するための図である。図１０を参照するに、現在ブロックに対する参照ピクチャの対応領域１００がブロックＡ，Ｂ１，Ｂ２，Ｃ，Ｄに部分的に含まれた場合には、前述のように、対応領域１００を参照ピクチャの動きブロック境界に沿って分割し、分割された各対応領域ａ，ｂ１，ｂ２，ｃ，ｄが属するブロックのモーションフィールド情報を利用し、他の参照ピクチャの対応領域を決定する。すなわち、参照ピクチャ決定部６１０は、ａ領域が属するブロックＡのモーションフィールド情報を利用し、ａ領域に対応する他の参照ピクチャの対応領域を決定し、Ｂ１領域が属するブロックＢ１のモーションフィールド情報を利用し、ｂ１領域に対応する他の参照ピクチャの対応領域を決定し、ｂ２領域が属するブロックＢ２のモーションフィールド情報を利用し、ｂ２領域に対応する他の参照ピクチャの対応領域を決定し、ｃ領域が属するブロックＣのモーションフィールド情報を利用し、ｃ領域に対応する他の参照ピクチャの対応領域を決定し、ｄ領域が属するブロックＤが有するモーションフィールド情報を利用し、ｄ領域に対応する他の参照ピクチャの対応領域を決定する。
【００４７】
前述の参照ピクチャ決定過程は、現在ブロックの動きベクトルが指し示す参照ピクチャの対応領域から、他の参照ピクチャの対応領域を決定するときだけではなく、決定された他の参照ピクチャの対応領域から、さらに他の参照ピクチャを決定するときに、同一に適用されうる。すなわち、動きベクトルを利用したトラッキング過程は、対応領域が動きベクトル情報を有する動きブロックを含んでいる場合には、続けて行われうる。ただし、対応領域が全部イントラ予測ブロックに属する場合、またはイントラ予測されるブロックに属する対応領域の広さが所定臨界値以上である場合には、それ以上のトラッキングを行わずに、現在対応する参照ピクチャだけまでトラッキングを行うことができる。例えば、ふたたび図９を参照するに、もし現在ブロック９０に対応する参照ピクチャ１の対応領域９１が属するブロックＡ，Ｂ，Ｃ，Ｄがいずれもイントラ予測ブロックである場合には、それ以上のトラッキングを行わずに、参照ピクチャ１の対応領域９１のみを現在ブロック９０の予測に利用する。もしブロックＡ，Ｂ，Ｃは動きベクトルを有する動きブロックであり、ブロックＤのみがイントラ予測ブロックであるとするとき、ブロックＤに属する対応領域ｄの広さが所定臨界値以上である場合、参照ピクチャ１の対応領域９１に所定の重み付けを乗じた値を現在ブロック９０の予測に利用する。トラッキング過程を遂行するか否かを判断する過程は、参照ピクチャから決定された他の参照ピクチャの対応領域についても同一に行われる。
【００４８】
一方、対応領域の一部がイントラ予測ブロックに含まれるが、イントラ予測ブロックに含まれる対応領域の広さが所定臨界値未満である場合には、続けて他の参照ピクチャの対応領域を決定するトラッキング過程を遂行する。このとき、イントラ予測ブロック周辺の動きブロックが有する動きベクトルを利用し、イントラ予測ブロックに仮想動きベクトルを割り当て、割り当てられた仮想動きベクトルが指し示す他の参照ピクチャの対応領域を決定できる。前述の例で、ブロックＡ，Ｂ，Ｃは動きベクトルＭＶａ，ＭＶｂ，ＭＶｃを有する動きブロックであり、ブロックＤのみイントラ予測ブロックであり、ブロックＤに属する対応領域ｄの広さが所定臨界値未満であると仮定するならば、トラッキング過程は中断されずに続く。かような場合、ブロックＡ，Ｂ，Ｃに属する対応領域ａ，ｂ，ｃについては、前述のようにブロックＡ，Ｂ，Ｃの動きベクトルＭＶａ，ＭＶｂ，ＭＶｃを利用して他の参照ピクチャの対応領域を決定し、ブロックＤに属する対応領域ｄについては、ブロックＤの周辺動きブロックＡ，Ｂ，Ｃが有する動きベクトルＭＶａ，ＭＶｂ，ＭＶｃの中間値（median）または平均値をブロックＤの仮想動きベクトルとして割り当て、仮想動きベクトルが指し示す他の参照ピクチャの対応領域を決定できる。
【００４９】
再び図６を参照するに、参照ピクチャ決定部６１０で、現在ブロックが有する動きベクトル経路をトラッキングし、複数枚の参照ピクチャの対応領域が決定されれば、重み付け計算部６２１は、それぞれの対応領域に付与される重み付けを計算する。
【００５０】
重み付け計算部６２１は、以前に処理された現在ブロックの周辺ブロックの画素と、現在ブロックの周辺ブロックの画素に対応する参照ピクチャの対応領域の周辺画素とを利用し、参照ピクチャの対応領域の周辺画素の加重和を介して予測された現在ブロックの周辺画素の予測値と、現在ブロックの周辺画素の画素値との差が最小になる値を重み付けに決定する。
【００５１】
図１１は、本発明による映像符号化方法において、参照ピクチャの対応領域に付与される重み付けを計算する過程について説明するための図である。図１１で、現在ブロックをＤｔ、現在ブロックＤｔに対応する参照ピクチャ（ｔ−１）の対応領域をＤｔ−１、対応領域Ｄｔ−１の各分割された領域ａ，ｂ，ｃ，ｄに対応する参照ピクチャ（ｔ−２）の対応領域をそれぞれＤｔ−２，ａ，Ｄｔ−２，ｂ，Ｄｔ−２，ｃ，Ｄｔ−２，ｄ（まとめて「Ｄｔ−２」とする）とし、Ｐｔを現在ブロックＤｔの予測ブロックであると仮定する。
【００５２】
重み付け計算部６２１は、参照ピクチャ単位で重み付けを付与する。すなわち、重み付け計算部６２１は、同じ参照ピクチャに属する対応領域に同じ重み付けを付与する。図１１で、参照ピクチャ（ｔ−１）の対応領域Ｄｔ−１に付与される重み付けをα、参照ピクチャ（ｔ−２）の対応領域Ｄｔ−２に付与される重み付けをβとすれば、現在ブロックＤｔの予測ブロックＰｔは、次の式（１）のように、参照ピクチャ（ｔ−１）の対応領域Ｄｔ−１と、参照ピクチャ（ｔ−２）の対応領域Ｄｔ−２との加重和として計算される。
【００５３】
【数１】
2010509800.tif 000003
参照ピクチャの対応領域に付与される重み付けα及びβは、多様なアルゴリズムを介して決定されうる。本発明では、現在ブロックＤｔと予測ブロックＰｔとの誤差を最小にする重み付けを利用する。現在ブロックＤｔと予測ブロックＰｔとの誤差（ＳＳＥ：Sum  of  Squared  Error）は、次の式（２）の通りである。
【００５４】
【数２】
2010509800.tif 000004
重み付けα及びβは、ＳＳＥをα及びβに対して偏微分したとき、０になる次の式（３）の偏微分方程式を計算することによって決定されうる。
【００５５】
【数３】
2010509800.tif 000005
式（３）の偏微分方程式を計算するために、現在ブロックの周辺ブロックの画素と、現在ブロックの周辺ブロックの画素に対応する参照ピクチャの対応領域の周辺画素とを利用する。これは、復号化部で以前に復号化された現在ブロックの周辺画素情報を利用して重み付けを決定することによって、別途に現在ブロックの予測に利用された重み付けを伝送せずとも、以前に処理された周辺画素データを基に重み付けを決定できるようにするためである。従って、本発明では、参照ピクチャの対応領域に割り当てられる重み付けを別途に伝送せずに、符号化部と復号化部とで以前に処理されたデータを利用して重み付けを計算して利用できるように、現在ブロックの周辺ブロックの画素と、現在ブロックの周辺ブロックの画素に対応する参照ピクチャの対応領域の周辺画素とを利用する。
【００５６】
図１１をまた参照するに、参照ピクチャ（ｔ−１）の対応領域Ｄｔ−１と、参照ピクチャ（ｔ−２）の対応領域Ｄｔ−２とを利用し、現在ブロックＤｔの予測ブロックＰｔを計算するように、現在ブロックＤｔの周辺ブロックの画素Ｎｔは、現在ブロックＤｔとの空間的位置を考慮し、参照ピクチャ（ｔ−１）の対応領域Ｄｔ−１の周辺画素Ｎｔ−１，ａ，Ｎｔ−１，ｂ，Ｎｔ−１，ｃと、参照ピクチャ（ｔ−２）の対応領域Ｄｔ−２の周辺画素Ｎｔ−２，ａ，Ｎｔ−２，ｂ，Ｎｔ−２，ｃとを利用して計算できる。この場合、現在ブロックＤｔの周辺ブロックの画素Ｎｔ、参照ピクチャ（ｔ−１）の対応領域Ｄｔ−１の周辺画素Ｎｔ−１及び参照ピクチャ（ｔ−２）の対応領域Ｄｔ−２の周辺画素Ｎｔ−２を利用して予測された周辺ブロック画素の予測値Ｎｔ’間のＳＳＥは、次の式（４）の通りである。
【００５７】
【数４】
2010509800.tif 000006
重み付け計算部６２１は、前記式（４）の誤差値ＳＳＥをα及びβに対して偏微分した後、偏微分した値が０になるα及びβを決定する。
【００５８】
一方、式（１）で、α及びβの値を正規化（normalization）してα＋β＝１とすれば、β＝１−αである。これを、式（１）に代入すれば、次の式（５）のようであり、この場合にＳＳＥは、式（６）の通りである。
【００５９】
【数５】
2010509800.tif 000007
式（６）の誤差値（ＳＳＥ）をαに対して偏微分し、
【００６０】
【数６】
2010509800.tif 000008
を満足するαの値は、次の式（７）の通りである。
【００６１】
【数７】
2010509800.tif 000009
前述のように、対応領域それぞれの重み付けを別途に伝送せずとも、重み付けを決定できるようにするために、現在ブロックＤｔの代わりに、以前に処理された周辺ブロックの画素Ｎｔを利用し、Ｄｔ−２の代わりにＮｔ−２，Ｄｔ−１の代わりにＮｔ−１を利用する。
【００６２】
一方、前述の重み付け決定過程は、さらに多くの参照ピクチャの対応領域を利用する場合にも、各参照ピクチャに重み付けを割り当て、現在ブロックと予測ブロックとの誤差値を最小にする重み付けを決定することによって遂行されうる。
【００６３】
すなわち、現在ブロックＤｔの予測に利用されるｎ枚（ｎは整数）の参照ピクチャの対応領域をそれぞれＤ１，Ｄ２，Ｄ３，…，Ｄｎとし、各対応領域に割り当てられる重み付けをＷ１，Ｗ２，Ｗ３，…，Ｗｎとすれば、現在ブロックＤｔの予測ブロックＰｔは、Ｐｔ＝Ｗ１＊Ｄ１＋Ｗ２＊Ｄ２＋Ｗ３＊Ｄ３＋…＋Ｗｎ＊Ｄｎを利用して計算される。各重み付けＷ１，Ｗ２，…，Ｗｎは、現在ブロックＤｔと予測ブロックＰｔとの誤差値の自乗であるＳＳＥを各重み付けを媒介変数として偏微分した後、偏微分した値が０になる値に決定される。前述のように、偏微分方程式を解くときの条件として、現在ブロックの周辺ブロックの画素と、これに対応する参照ピクチャの対応領域の周辺画素とを利用する。
【００６４】
再び図６を参照するに、予測ブロック生成部６２２は、式（１）のように、決定された重み付けを参照ピクチャの対応領域に乗じた後で加えることによって、現在ブロックの予測ブロックを生成する。
【００６５】
本発明による動き補償部５０４で、複数枚の参照ピクチャの対応領域を利用して予測された予測ブロックと現在ブロックとの差である剰余は、変換、量子化及びエントロピ符号化過程を経てビットストリームとして出力される。
【００６６】
一方、本発明による映像符号化方法によって符号化されるビットストリームのヘッダには、各ブロック単位で複数枚の参照ピクチャの対応領域を利用して予測されたことを示す１ｂｉｔのフラグ（flag）を付加できる。例えば、「０」は、従来技術によって符号化されたビットストリームを示し、「１」は、本発明によって符号化されたビットストリームを示すようにすることができる。
【００６７】
図１２は、本発明による映像符号化方法を示したフローチャートである。図１２を参照するに、段階１２１０で、現在ブロックが参照する参照ピクチャの対応領域の動きベクトル経路をトラッキングすることによって、現在ブロックの予測に利用する複数枚の参照ピクチャの対応領域を決定する。前述のように、参照ピクチャの対応領域が動きブロック境界を利用して分離された場合には、分離された各対応領域が属する動きブロックの動きベクトルを利用し、他の参照ピクチャの対応領域を決定する。
【００６８】
段階１２２０で、複数枚の参照ピクチャの対応領域に適用する重み付けを決定する。前述のように、対応領域の重み付けは、現在ブロックの周辺画素と、現在ブロックの周辺画素に対応する参照ピクチャの対応領域の周辺画素とを利用し、対応領域の周辺画素から予測される現在ブロックの周辺画素と原周辺画素との値の差を最小にする値に決定される。
【００６９】
段階１２３０で、参照ピクチャの対応領域と計算された重み付けとを乗じた値を合算し、現在ブロックの予測ブロックを生成する。
【００７０】
段階１２４０で、現在ブロックと予測ブロックとの差分値の剰余を変換、量子化及びエントロピ符号化し、ビットストリームを生成する。
【００７１】
図１３は、本発明による映像復号化装置の構成を示したブロック図である。図１３を参照するに、本発明による映像復号化装置１３００は、エントロピデコーダ１３１０、再整列部１３２０、逆量子化部１３３０、逆変換部１３４０、動き補償部１３５０、イントラ予測部１３６０及びフィルタ１３７０を具備する。
【００７２】
エントロピデコーダ１３１０及び再整列部１３２０は、圧縮されたビットストリームを受信してエントロピ復号化を行い、量子化された係数を生成する。逆量子化部１３３０及び逆変換部１３４０は、量子化された係数に対する逆量子化及び逆変換を行い、変換符号化係数、動きベクトル情報、予測モード情報などを抽出する。ここで、予測モード情報には、本発明による映像符号化方法によって、複数枚の参照ピクチャの対応領域を利用した加重和を介して、現在ブロックが符号化されているか否かを示すフラグが含まれうる。前述のように、現在ブロックの復号化に利用される複数枚の参照ピクチャの対応領域は、映像符号化方式と同一に復号化される現在ブロックの動きベクトル情報を利用して決定されうるので、現在ブロックの復号化に利用される参照ピクチャの対応領域情報を別途に伝送する必要がない。
【００７３】
イントラ予測部１３６０は、イントラ予測符号化された現在ブロックに対し、以前に復号化された現在ブロックの周辺ブロックを利用して予測ブロックを生成する。
【００７４】
動き補償部１３５０は、前述の図５の動き補償部５０４と同じ構成及び動作を有する。すなわち、動き補償部１３５０は、復号化される現在ブロックが前述の複数枚の参照ピクチャの対応領域の加重和を利用して予測符号化された場合、ビットストリームに備わった現在ブロックの動きベクトルを利用し、以前に復号化された参照ピクチャの対応領域をトラッキングすることによって、参照ピクチャの対応領域を決定し、各参照ピクチャの対応領域に付与する重み付けを計算した後、参照ピクチャの対応領域に重み付けを乗じた後で合算し、現在ブロックの予測ブロックを生成する。前述のように、参照ピクチャの対応領域の重み付けは、以前に復号化された現在ブロックの周辺画素と、現在ブロックの周辺画素に対応する参照ピクチャの対応領域の周辺画素とを利用して決定される。
【００７５】
動き補償部１３５０及びイントラ予測部１３６０では、生成された予測ブロックは、ビットストリームから抽出された現在ブロックと予測ブロックとの誤差値Ｄ’ｎと加えられ、復元された映像データｕＦ’ｎが生成される。ｕＦ’ｎは、フィルタ１３７０を経て、最終的に、現在ブロックに対する復号化が行われる。
【００７６】
図１４は、本発明による映像復号化方法を示したフローチャートである。図１４を参照するに、段階１４１０で、入力されたビットストリームに備わった予測モード情報を判読し、復号化される現在ブロックの予測モードを判別する。
【００７７】
段階１４２０で、復号化される現在ブロックが複数枚の参照ピクチャの対応領域を利用して予測されたと判別された場合、ビットストリームに備わった現在ブロックの動きベクトルが指し示す参照ピクチャの対応領域と、参照ピクチャの対応領域の動きベクトル経路とをトラッキングすることによって、現在ブロックの予測に利用する複数枚の参照ピクチャの対応領域を決定する。
【００７８】
段階１４３０で、以前に復号化された現在ブロックの周辺画素と、現在ブロックの周辺画素に対応する参照ピクチャの対応領域の周辺画素とを利用し、複数枚の参照ピクチャの対応領域に適用する重み付けを計算し、複数枚の参照ピクチャの対応領域の加重和を求めることによって、現在ブロックの予測ブロックを生成する。
【００７９】
段階１４４０で、生成された予測ブロックと、ビットストリームに備わった現在ブロックと予測ブロックとの差分値とを加えて現在ブロックを復号化する。
【００８０】
本発明はまた、コンピュータで読み取り可能な記録媒体にコンピュータで読み取り可能なコードとして具現することが可能である。コンピュータで読み取り可能な記録媒体は、コンピュータシステムによって読み取り可能なデータが保存されるあらゆる種類の記録装置を含む。コンピュータで読み取り可能な記録媒体の例としては、ＲＯＭ（Read-Only  Memory）、ＲＡＭ（Random-Access  Memory）、ＣＤ−ＲＯＭ、磁気テープ、フロッピー（登録商標）ディスク、光データ保存装置などがあり、またキャリアウェーブ（例えば、インターネットを介した伝送）の形態で具現されるものも含む。また、コンピュータで読み取り可能な記録媒体は、ネットワークに連結されたコンピュータシステムに分散され、分散方式でコンピュータで読み取り可能なコードが保存されて実行されうる。
【００８１】
以上、本発明についてその望ましい実施形態を中心に説明した。本発明が属する技術分野で当業者ならば、本発明の本質的な特性から外れない範囲で変形された形態で具現されうることを理解することができるであろう。従って、開示された実施形態は、限定的な観点ではなくして、説明的な観点から考慮されねばならない。本発明の範囲は、前述の説明ではなくして特許請求の範囲に示されており、それと同等な範囲内にあるあらゆる差異点は、本発明に含まれるものと解釈されるものである。
【図１】
2010509800.tif 000010
【図２】
2010509800.tif 000011
【図３】
2010509800.tif 000012
【図４】
2010509800.tif 000013
【図５】
2010509800.tif 000014
【図６】
2010509800.tif 000015
【図７】
2010509800.tif 000016
【図８】
2010509800.tif 000017
【図９】
2010509800.tif 000018
【図１０】
2010509800.tif 000019
【図１１】
2010509800.tif 000020
【図１２】
2010509800.tif 000021
【図１３】
2010509800.tif 000022
【図１４】
2010509800.tif 000023
【国際調査報告】
2010509800.tif 000024
2010509800.tif 000025