(57)【要約】本発明はビデオ圧縮の分野に、より詳細には、各フレームが任意の大きさのブロックに分割されるようなフレームの入力シーケンスに適用されるビデオエンコード法に関する。この方法は、現在のフレームの前記ブロックの少なくとも一部について：各フレームについてそれぞれの現在のもとのフレームおよび以前の再構築されたフレームから得られる、動き補償されたフレームをブロックベースで生成し、前記動き補償されたフレームから残差信号を生成し、前記の生成された残差信号のそれぞれをいわゆるマッチング追跡（MP）アルゴリズムを使ってアトムと呼ばれる符号化された辞書関数に分解し、現在のフレームのその他のブロックは他の符号化技術によって処理されるものとし、出力の符号化ビットストリームを生成するために前記アトムと前記動き補償ステップの間に決定された動きベクトルとを符号化するステップを有している。本発明によれば、前記方法は、前記MPアルゴリズムを使う際に、各ブロック形について特定の辞書がエンコード側で利用可能であるようになっている。もう一つの実装では、いくつかの特定の辞書を使うことも可能である。この第二の方策では、エンコード側でいくつかの辞書が利用可能な場合、どの辞書を使うべきかを示すために提供され、たとえばアトムレベル、ブロックレベル、マクロブロックレベルまたは映像レベルに置かれるフラグをある所定のレベルに置くためのビットストリームシンタックスが定義される。
2007502561.tif 000002
【特許請求の範囲】
【請求項１】
各フレームが任意の大きさのブロックに分割されるようなフレームの入力シーケンスに適用されるビデオエンコード方法であって、現在のフレームの前記ブロックの少なくとも一部について：
・各フレームについてそれぞれの現在のもとのフレームおよび以前の再構築されたフレームから得られる、動き補償されたフレームをブロックベースで生成し、
・前記動き補償されたフレームから残差信号を生成し、
・前記の生成された残差信号のそれぞれをいわゆるマッチング追跡（MP）アルゴリズムを使ってアトムと呼ばれる符号化された辞書関数に分解し、現在のフレームのその他のブロックは他の符号化技術によって処理されるものとし、
・出力の符号化ビットストリームを生成するために前記アトムと前記動き補償ステップの間に決定された動きベクトルとを符号化するステップを有しており、
当該方法がさらに、前記MPアルゴリズムを使う際に各ブロック形についてそれぞれ特定の辞書がエンコード側で利用可能であることを特徴とする方法。
【請求項２】
前記MPアルゴリズムを使う際、エンコード側でいくつかの辞書が利用可能であり、どの辞書を使うべきかを示すために提供されるフラグをある所定のレベルに置くためのビットストリームシンタックスが定義されていることを特徴とする、請求項１記載のビデオエンコード方法。
【請求項３】
前記フラグがアトムレベルに置かれることを特徴とする、請求項２記載の方法。
【請求項４】
前記フラグがブロックレベルに置かれることを特徴とする、請求項２記載の方法。
【請求項５】
前記フラグがマクロブロックレベルに置かれることを特徴とする、請求項２記載の方法。
【請求項６】
前記フラグが映像レベルに置かれることを特徴とする、請求項２記載の方法。
【請求項７】
各フレームが任意の大きさのブロックに分割されるようなフレームの入力シーケンスに適用されるビデオエンコード装置であって、現在のフレームの前記ブロックの少なくとも一部に対して次の手段、すなわち：
・各フレームについてそれぞれの現在のもとのフレームおよび以前の再構築されたフレームから得られる、動き補償されたフレームをブロックベースで生成する手段と、
・前記動き補償されたフレームから残差信号を生成する手段と、
・前記の生成された残差信号のそれぞれをアトムと呼ばれる符号化された辞書関数に分解するためにいわゆるマッチング追跡（MP）アルゴリズムを実行する手段であって、現在のフレームのその他のブロックは他の符号化技術によって処理されるものとする手段と、
・出力の符号化ビットストリームを生成するために前記アトムと前記動き補償ステップの間に決定された動きベクトルとを符号化する手段、
とを適用するものであって、当該装置が、前記MPアルゴリズムを使う際にいくつかの辞書が各ブロック形について一つずつエンコード側で利用可能であることを特徴とする装置。
【請求項８】
各フレームが任意の大きさのブロックに分割されるようなフレームの入力シーケンスに適用されるビデオエンコード方法であって、現在のフレームの前記ブロックの少なくとも一部について：
・各フレームについてそれぞれの現在のもとのフレームおよび以前の再構築されたフレームから得られる、動き補償されたフレームをブロックベースで生成し、
・前記動き補償されたフレームから残差信号を生成し、
・前記の生成された残差信号のそれぞれをいわゆるマッチング追跡（MP）アルゴリズムを使ってアトムと呼ばれる符号化された辞書関数に分解し、現在のフレームのその他のブロックは他の符号化技術によって処理されるものとし、
・出力の符号化ビットストリームを生成するために前記アトムと前記動き補償ステップの間に決定された動きベクトルとを符号化するステップを有しており、
各ブロック形についてそれぞれ特定の辞書がエンコード側で利用可能であることを特徴とする方法の実装によって生成される符号化されたビットストリームをデコードするためのビデオデコード方法であって：
・前記アトムおよび動きベクトルを復号し、
・MPアルゴリズムを使って残差信号を再構築し、
・前記再構築された信号と前記復号された動きベクトルから構築された予測信号とから前記入力シーケンスの前記もとのフレームに対応する出力再構築信号を生成する、
ステップを有しており、
当該デコード方法がさらに、エンコード側と同じ辞書がデコード側でも利用可能であり、各ブロック形についてそれぞれ一つの辞書があることを特徴とするビデオデコード方法。
【請求項９】
各フレームが任意の大きさのブロックに分割されるようなフレームの入力シーケンスに適用されるビデオエンコード方法であって、現在のフレームの前記ブロックの少なくとも一部について：
・各フレームについてそれぞれの現在のもとのフレームおよび以前の再構築されたフレームから得られる、動き補償されたフレームをブロックベースで生成し、
・前記動き補償されたフレームから残差信号を生成し、
・前記の生成された残差信号のそれぞれをいわゆるマッチング追跡（MP）アルゴリズムを使ってアトムと呼ばれる符号化された辞書関数に分解し、現在のフレームのその他のブロックは他の符号化技術によって処理されるものとし、
・出力の符号化ビットストリームを生成するために前記アトムと前記動き補償ステップの間に決定された動きベクトルとを符号化するステップを有しており、
各ブロック形についてそれぞれ特定の辞書がエンコード側で利用可能であることを特徴とする方法の実装によって生成される符号化されたビットストリームをデコードするためのビデオデコード装置であって、関係するブロックに対して次の手段、すなわち：
・前記アトムおよび動きベクトルを復号する手段と、
・MPアルゴリズムを実行して残差信号を再構築する手段と、
・前記再構築された信号と前記復号された動きベクトルから構築された予測信号とから前記入力シーケンスの前記もとのフレームに対応する出力再構築信号を生成する手段、
とを適用するものであり、
当該デコード装置がさらに、エンコード側と同じ辞書がデコード側でも利用可能であり、各ブロック形についてそれぞれ一つの辞書があることを特徴とするビデオデコード装置。
【請求項１０】
各フレームが任意の大きさのブロックに分割されるようなフレームの入力シーケンスに適用されるビデオエンコード装置であって、現在のフレームの前記ブロックの少なくとも一部に対して次の手段、すなわち：
・各フレームについてそれぞれの現在のもとのフレームおよび以前の再構築されたフレームから得られる、動き補償されたフレームをブロックベースで生成する手段と、
・前記動き補償されたフレームから残差信号を生成する手段と、
・前記の生成された残差信号のそれぞれをアトムと呼ばれる符号化された辞書関数に分解するためにいわゆるマッチング追跡（MP）アルゴリズムを実行する手段であって、現在のフレームのその他のブロックは他の符号化技術によって処理されるものとする手段と、
・出力の符号化ビットストリームを生成するために前記アトムと前記動き補償ステップの間に決定された動きベクトルとを符号化する手段、
とを適用するものであって、当該装置が、前記MPアルゴリズムを使う際に、いくつかの辞書が各ブロック形について一つずつエンコード側で利用可能であり、どの辞書を使うべきかを示すために提供されるフラグをある所定のレベルに置くためのビットストリームシンタックスが定義されていることを特徴とする装置。
【請求項１１】
前記フラグがアトムレベルに置かれることを特徴とする、請求項１０記載の装置。
【請求項１２】
前記フラグがブロックレベルに置かれることを特徴とする、請求項１０記載の装置。
【請求項１３】
前記フラグがマクロブロックレベルに置かれることを特徴とする、請求項１０記載の装置。
【請求項１４】
前記フラグが映像レベルに置かれることを特徴とする、請求項１０記載の装置。
【請求項１５】
各フレームが任意の大きさのブロックに分割されるようなフレームの入力シーケンスに適用されるビデオエンコード方法であって、現在のフレームの前記ブロックの少なくとも一部について：
・各フレームについてそれぞれの現在のもとのフレームおよび以前の再構築されたフレームから得られる、動き補償されたフレームをブロックベースで生成し、
・前記動き補償されたフレームから残差信号を生成し、
・前記の生成された残差信号のそれぞれをいわゆるマッチング追跡（MP）アルゴリズムを使ってアトムと呼ばれる符号化された辞書関数に分解し、現在のフレームのその他のブロックは他の符号化技術によって処理されるものとし、
・出力の符号化ビットストリームを生成するために前記アトムと前記動き補償ステップの間に決定された動きベクトルとを符号化するステップを有しており、
エンコード側で複数の辞書が、どの辞書を使うべきかを示すために提供されるフラグをある所定のレベルに置くために定義されているビットストリームシンタックスとともに利用可能であることを特徴とするビデオエンコード方法の実装によって生成される符号化ビットストリームをデコードするためのビデオデコード方法であって：
・前記アトムおよび動きベクトルを復号し、
・MPアルゴリズムを使って残差信号を再構築し、
・前記再構築された信号と前記復号された動きベクトルから構築された予測信号とから前記入力シーケンスの前記もとのフレームに対応する出力再構築信号を生成する、
ステップを有しており、
当該デコード方法がさらに、エンコード側と同じ辞書がデコード側でも利用可能であり、伝送されたフラグを読み、MPアルゴリズムを使う際に対応する辞書を選択するステップが設けられていることを特徴とするビデオデコード方法。
【請求項１６】
各フレームが任意の大きさのブロックに分割されるようなフレームの入力シーケンスに適用されるビデオエンコード方法であって、現在のフレームの前記ブロックの少なくとも一部について：
・各フレームについてそれぞれの現在のもとのフレームおよび以前の再構築されたフレームから得られる、動き補償されたフレームをブロックベースで生成し、
・前記動き補償されたフレームから残差信号を生成し、
・前記の生成された残差信号のそれぞれをいわゆるマッチング追跡（MP）アルゴリズムを使ってアトムと呼ばれる符号化された辞書関数に分解し、現在のフレームのその他のブロックは他の符号化技術によって処理されるものとし、
・出力の符号化ビットストリームを生成するために前記アトムと前記動き補償ステップの間に決定された動きベクトルとを符号化するステップを有しており、
エンコード側で複数の辞書が、どの辞書を使うべきかを示すために提供されるフラグをある所定のレベルに置くために定義されているビットストリームシンタックスとともに利用可能であることを特徴とするビデオエンコード方法の実装によって生成される符号化ビットストリームをデコードするためのビデオデコード装置であって、関係するブロックに対して次の手段、すなわち：
・前記アトムおよび動きベクトルを復号する手段と、
・MPアルゴリズムを実行して残差信号を再構築する手段と、
・前記再構築された信号と前記復号された動きベクトルから構築された予測信号とから前記入力シーケンスの前記もとのフレームに対応する出力再構築信号を生成する手段、
とを適用するものであり、
当該デコード装置がさらに、エンコード側と同じ辞書がデコード側でも利用可能であり、伝送されたフラグを読み、MPアルゴリズムを実行する際に対応する辞書を選択する手段を具備していることを特徴とするビデオデコード装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は一般にはビデオ圧縮に、より詳細にはたとえばMPEGファミリーのビデオ規格（MPEG-1、MPEG-2、MPEG-4）およびITU  H.26Xファミリー（H.261、H.263および拡張）に関するものである。より特定的には、本発明は、各フレームが任意の大きさのブロックに分割されるようなフレームの入力シーケンスに適用されるビデオエンコード法であって、現在のフレームの前記ブロックの少なくとも一部について：
・それぞれがそれぞれの現在のもとのフレームおよび以前の再構築されたフレームから得られる、ブロックベースで動き補償されたフレームを生成し、
・前記動き補償されたフレームから残差信号を生成し、
・前記の生成された残差信号のそれぞれをいわゆるマッチング追跡（MP:  matching  pursuit）アルゴリズムを使ってアトムと呼ばれる符号化された辞書関数に分解し、現在のフレームのその他のブロックは他の符号化技術によって処理されるものとし、
・出力の符号化ビットストリームを生成するために前記アトムと前記動き補償ステップの間に決定された動きベクトルとを符号化する、
ステップを有する方法に関する。
【０００２】
本発明はまた、対応するビデオデコード法ならびに前記エンコードおよびデコード法を実行するためのエンコードおよびデコード装置にも関する。
【背景技術】
【０００３】
現在のビデオ規格（ビデオ符号化のMPEG-4規格およびH.264勧告までとする）では、一つの輝度チャネルおよび二つの色度チャネルとして記述されるビデオは、各チャネルに適用される二つの符号化モードのおかげで圧縮できる：所与のチャネルにおいて各画像内でのピクセル（画素）の空間的な冗長性を利用する「イントラ」モード、および別個の画像（すなわちフレーム）の間の時間的な冗長性を利用する「インター」モードである。インターモードは動き補償処理に依拠することで、一つ（または複数）の画像から別の画像へのピクセルの動きをエンコードすることによって、ある画像を一つ（または複数）の以前にデコードされた画像から記述することを可能にしている。通例、符号化すべき現在の画像は独立したブロック（たとえば、大きさがMPEG-4では８×８または１６×１６ピクセル、H.264では４×４、４×８、８×４、８×８、８×１６、１６×８、１６×１６）に分割され、そのそれぞれに動きベクトルが割り当てられる（そのような動き記述は前記３つのチャネルで共通である）。次いで参照画像のピクセルブロックを各ブロックに対応する動きベクトルの集合に従って移動させることによって前記画像の予測を構築することができる。最後に、エンコードすべき現在の画像と動き補償による予測との間の差分すなわち残差信号はイントラモードで（メインレベルプロファイルでは、MPEG-4については８×８の離散コサイン変換（discrete  cosine  transform）――DCTともいう――を用いて、H.264については４×４のDCTを用いて）エンコードすることができる。
【０００４】
DCTはおそらく最も広く使われている変換であろう。その理由は、多様な符号化環境で、特に中・高ビットレートにおいて良好な圧縮効率を与えることである。しかし、低ビットレートでは、ハイブリッドの動き補償DCT構造は二つの理由から乱れのないシーケンスを再現できないことがある。まず、動き補償されたインター予測のグリッド構造が見えるようになってブロッキング乱れを生ずる。さらに、DCT基底関数のブロック端が画像グリッド中で見えるようになる。これは、量子化される係数が少なすぎる――そして量子化が粗すぎる――ためにこれらのブロッキング乱れを補償して、画像中のなめらかなオブジェクトを再構築することができないためである。
【０００５】
「マッチング追跡に基づく超低ビットレートでのビデオ符号化」、R・ネフ、A・ザクホル、『IEEE紀要：ビデオ技術回路・システム』、vol.7、１号、1997年2月、pp.158〜171という文献は、いわゆるマッチング追跡（MP）アルゴリズムに基づくビデオ圧縮アルゴリズムを含む新しい動き補償システムを記載している。マッチング追跡というのは10年ほど前に開発された技法である（「時間‐周波数辞書をもつマッチング追跡」、S・G・マラ、Z・チャン、『IEEE紀要：信号処理』、vol.41、12号、1993年12月、pp.3397〜3414という文献を参照）。この技術は、任意の関数または信号（たとえば画像、ビデオ、…）を基底関数の冗長な辞書に属する波形の線形結合に逐次的に分解する方法を与える。基底関数は時間領域でも周波数領域でも十分局在化されており、アトムと呼ばれる。時間−周波数アトムの一般的な族は、実数値であり連続微分可能な単一の関数g(t)∈L2(R)をスケール変換し、平行移動し、変調することによって生成できる。これらの辞書関数は、
gγ(t)∈G  (G＝辞書集合)          （１）
で指定することができる。ここで、γ（ガンマ）は特定の辞書要素（すなわちアトム）の一つ一つに対応付けられた添え字パラメータである。第一に引用した文献で説明されているように、関数gγ(t)が単位ノルムをもつ、すなわち〈gγ(t)  ,gγ(t)〉＝1とすると、一次元時間信号f(t)の分解は、次の内積の絶対値を最大にするようなγを選ぶことで始まる：
p＝〈f(t),  gγ(t)〉          （２）
ここで、pは信号f(t)の辞書関数gγ(t)への展開係数と呼ばれる。このとき、残差信号Rは
R(t)＝f(t)−p・gγ(t)          （３）
によって計算され、この残差信号がもとの信号f(t)と同じようにして展開される。アトムは、実はγk、pkの対それぞれに対して与えられた名である。ここで、kはマッチング追跡手順における反復の階数である。この反復手順（各段階nがγn、展開係数pnおよび残差Rnによって指定される辞書構造を与え、それが次の段階に渡される）の全M段階ののち、もとの信号f(t)はこうして得られた辞書要素の線形結合である信号f′(t)によって近似することができる。反復手順が停止するのは所定の条件、たとえば設定された数の展開係数が生成された、あるいは残差についての何らかのエネルギー閾値に達したといった条件が満たされたときである。
【０００６】
上述した第一の文献は前記MPアルゴリズムに基づく、低ビットレートでDCTより性能のよいシステムを記載したものだが、そこではもとの画像を最初に動き補償する際に重なりブロック動き補償と呼ばれる道具を使用する。これは予測／移動されたブロックどうしの境界を混合することによって（したがってブロックのエッジがなめらかになり、ブロックのグリッドが見えにくくなる）ブロッキング乱れを解消または軽減する。動き予測画像が形成されたのち、それがもとの画像から引き算されて動き残差が生成される。次いで前記残差が離散二次元（2D）領域に拡張されたMPアルゴリズムを使い、適切な基底辞書を選んで符号化される（前記辞書は、図１に示す二次元分離可能ガボール関数gの過剰決定集合からなる）。
【０００７】
このとき残差信号fはM個の辞書要素の線形結合によって再構築される。
【０００８】
f′＝Σpn′・gγn(t)          （４）
〔和はn＝1からMまで〕
もし辞書基底関数が単位ノルムをもてば、pn′は基底関数gγn(t)と逐次的に更新される残差との離散化された内積〈，〉、すなわち
pn＝〈f−Σpk′・gγk(t)，gγn(t)〉          （５）
〔和はk＝1からn−1まで〕
である。対（pn′，γn）がアトムである。当該文書の著者によって記述された文章では、画像中でのアトムの可能な位置については何の制限も課されていない。前記辞書集合をなす二次元ガボール関数はプロトタイプとなるガウス窓
w(t)＝21/4・exp(−πt2)          （６）
を用いて定義される。一次元（1D）離散ガボール関数は、スケール変換され、変調されたガウス窓として定義される。
【０００９】
【数１】
2007502561.tif 000003
ここで、i∈{0,1,...,N−1}である。定数Kαはgα(i)  が単位ノルムとなるように選ばれ、α＝(s,ξ,φ)は順に正のスケール、変調周波数、位相偏位からなる三項組である。そのような三項組αすべての集合をSとすると、当該辞書の二次元分離可能ガボール関数は次の形になる。
【００１０】
Gα,β(i,j)＝gα(i)gβ(j)            （８）
i,j∈{0,1,...,N−1}、α,β∈S
前記文書において一次元基底集合（すなわち辞書）をなすものとして示されている利用可能な辞書三項組および対応する大きさ（ピクセル数）の集合を、次の表１に示す。
【００１１】
【表１】
2007502561.tif 000004
このパラメータの集合を得るためには、動き残差画像のトレーニング集合を、ずっと大きなパラメータ三項組の集合から導出された辞書を使って分解した。この縮小した集合では、トレーニング画像にマッチした回数が最も多かった辞書要素を保持した。得られた辞書は、アトムの影響がアトムが存在するブロックの境界内に限定されない場合にアトムが動き残差画像の構造に自由にマッチできるよう特に設計された（ブロック制限なしでブロック分割画像中におかれたアトムの例を示す図２を参照）。
【００１２】
しかし、最近になって本出願人によって2003年8月5日に出願された欧州特許出願EP03300081.1（PHFR030085）において、図３に示すように、ブロック境界内に制限されたアトムを使ったハイブリッド動き補償符号化システムが提案された。より詳細には、前記特許出願において記載され、請求されている発明は、主として、
各フレームが任意の大きさのブロックに分割されるようなフレームの入力シーケンスに適用されるビデオエンコード方法であって、現在のフレームの前記ブロックの少なくとも一部について：
・各フレームについてそれぞれの現在のもとのフレームおよび以前の再構築されたフレームから得られる、動き補償されたフレームをブロックベースで生成し、
・前記動き補償されたフレームから残差信号を生成し、
・前記の生成された残差信号のそれぞれをいわゆるマッチング追跡（MP）アルゴリズムを使ってアトムと呼ばれる符号化された辞書関数に分解し、現在のフレームのその他のブロックは他の符号化技術によって処理されるものとし（上で使われている「前記ブロックの少なくとも一部」の語句は本発明の実装に関わるのが一部のブロックのこともあればすべてのブロックのこともあり、他のブロックはその他の技術によって処理され、そのために当該符号化システムを「ハイブリッド」と呼称するゆえんとなっている）、
・出力の符号化ビットストリームを生成するために前記アトムと前記動き補償ステップの間に決定された動きベクトルとを符号化するステップを有しており、
当該方法が、前記MPアルゴリズムを使う際にどのアトムも一度には一つのブロックBのみに作用し、そのブロック制限の結果、残差信号fの再構築が、次の2D空間領域演算：
gγn|B(i,j)＝gγn(i,j)    ピクセル(i,j)∈Bの場合
gγn|B(i,j)＝0          それ以外の（すなわち(i,j)がBに含まれない）場合
に従って添え字パラメータγnに対応するブロックBに制限された基底関数gγn|Bからなる辞書から得られるという事実が導かれることを特徴とする方法、に関係するものである。
【００１３】
この先の方法論の主要な利益は、残差信号のブロッキングのある構造をよりよくモデル化し、同じ符号化コストに対して辞書の多様性を向上させ、ブロック境界をまたぐ干渉が存在しないためMP変換とDCT変換とを交互に用いる可能性をもたらすことである（それはまた、ブロッキング乱れを限定するために重なり動き補償に頼る必要を回避する）。この先の実装を理解する上で有用な主たる要素を図４から図７を参照しつつ想起しておく。
【００１４】
図４に、複数の符号化エンジンを使ったハイブリッドビデオ符号化器を実装するビデオエンコード装置の単純化したブロック図が示されている。各符号化エンジンは所定の符号化技術を実装している。たとえば、符号化エンジン４１はイントラDCT符号化法を、第二の符号化器４２はインターDCT符号化法を、第三の符号化器４３はマッチング追跡アルゴリズムを実装するといった具合である。入力ビデオシーケンス（「ビデオ信号」）の各フレームはブロック分割器４４によって受信される。該ブロック分割器３４は、当該画像をさまざまな大きさの個々のブロックに分割し、現在のもとのブロックをどの符号化エンジンが処理するかを決定する。ブロック位置、ブロックサイズおよび選択された符号化エンジンを表す決定は次いで符号化手段４５によってビットストリーム中に挿入される。現在のもとの信号ブロックは次いで前記の選択された符号化エンジン（図４に示した前記状況ではエンジン４３）に転送される。
【００１５】
図５では、マッチング追跡符号化エンジンが示されている。符号化エンジン４３に割り当てられた入力ビデオシーケンスのもとの信号ブロックのそれぞれは、一方では動き補償手段５１によって受信されて動きベクトル決定に使われ（前記動きベクトルは慣習的にブロックマッチングアルゴリズムを使って求められる）、こうして得られたベクトルは動きベクトル符号化手段５２によって符号化される。符号化されたベクトルはマルチプレクサ５３（図では参照符号のみしか示していない）に届けられる。他方、減算器５４は出力として現在の画像とその予測との残差信号を与える。前記残差信号は次いでアトムに分解され（アトムの辞書は参照符号５７で示されている）、こうして決定された（モジュール５５）アトムのパラメータが符号化される（モジュール５６）。符号化された動きベクトルおよびアトムパラメータは次いでビットストリームを形成し、これが送信される。当該シーケンスの各フレームについて所定の条件が満たされるまで行われる。
【００１６】
エンコードエンジン５３は以下のステップを有する入力ビットストリームを符号化する方法を実行する。第一に、たいていの符号化構造と同様、入力シーケンスのもとのフレームが動き補償される（各フレームは以前に再構築されたフレームに基づいて動き補償され、前記動き補償ステップの間に決定された動きベクトルはのちの送信を考えて保存される）。次いで現在のフレームと対応する動き補償された予測との差分によって残差信号が生成される。前記残差信号のそれぞれは次いで二次元分離可能ガボール関数の集合からなる関数の辞書と比較され、添え字パラメータγn、展開係数p(n)、残差Rn(t)−p・gγ(t)によって指定される辞書構造gγ(t)が生成される。これがこの反復手順の次の段階に渡される。ひとたびアトムパラメータがみつかれば、それは（先に決定された動きベクトルと一緒に）符号化されることができる。こうして得られた符号化された信号はビットストリームをなしてデコーダに送られる。
【００１７】
引用している欧州特許出願に基づいて提案される技術的な解決は、アトムの影響をそのアトムが存在するブロックの境界内に限定することにある。このブロック制限は、アトムが同時には一つのブロックにしか作用せず、図３に示すように動き補償グリッドに限定されていることを意味している。このブロック制限によって信号マッチング追跡アルゴリズムは次のように修正を受ける。
【００１８】
動き補償後にM×Nピクセルの大きさのブロックB内で2D残差のMP分解を得たいとするとき、Bに制限されたMP辞書をG|Bと書くと、前記辞書の要素gγn|Bは関係式（９）および（１０）によって得られる。
【００１９】
gγn|B(i,j)＝gγn(i,j)  ピクセル(i,j)∈Bの場合          （９）
gγn|B(i,j)＝0        それ以外の（すなわち(i,j)がBに含まれない）場合  （１０）
この場合、gγn|Bは必ずしも単位ノルムでないので、pnは次のように重みをかけ直す必要がある。
【００２０】
【数２】
2007502561.tif 000005
上述したエンコード装置の好ましい実施形態は、ビットストリームを送信し、それは対応するデコード装置によって受信される。図６に、本発明に基づく複数の復号エンジンを使うハイブリッドビデオデコーダを実装するビデオデコード装置の単純化したブロック図が示されている。送信されたビットストリームは一方ではブロック分割復号器６４によって受信され、ブロック分割復号器６４は現在のブロック位置、ブロックサイズ、復号方法を復号する。復号方法が与えられて、ビットストリーム要素は次いで対応する復号エンジン――図６の場合には６１または６２または６３――に転送される。復号エンジンが今度は割り当てられたブロックを復号し、ビデオ信号の再構築されたブロックを出力する。利用可能な復号エンジンはたとえばイントラDCTブロック復号器６１、インターDCTブロック復号器６２、マッチング追跡ブロック復号器６３などである。
【００２１】
マッチング追跡復号エンジンの例はさらに図７に示されている。ビットストリーム要素はエントロピーデコーダ装置７１によって受信され、エントロピーデコーダ装置７１は復号されたアトムパラメータをアトム装置７２（アトムの辞書は参照符号７３で示されている）に転送する。アトム装置７２は、割り当てられたビデオブロック内の復号された位置におけるマッチング追跡関数を再構築して復号された残差信号を形成する。エントロピーデコーダ装置はまた動きベクトルを出力し、それが動き補償装置７４に入力されて以前に再構築されたビデオ信号から動き予測信号を形成する。動き予測および再構築された残差信号は次いで加算器７５で足し合わされてビデオ信号の再構築されたブロックを生成する。
【００２２】
上記において詳細に想起したこの先の方法論の利益は、一つのアトムが複数のブロックにまたがることができないため、アトムがブロック端における高周波の不連続性を扱う必要がないという事実にある。むしろ、アトムはブロック境界に適応されることができ、ブロックサイズに依存する辞書を設計することによってブロックサイズにさえ適応されることができる。さらに、MP効率を維持するための重なり動き補償がもはや必須ではないため、古典的な動き補償を使うことができる。しかし、そのような方法論では、辞書のアトムが任意の大きさのブロック内に制限される場合、モデル化すべき信号の構造に辞書がよく適応されているかどうかは確かではない。
【発明の開示】
【発明が解決しようとする課題】
【００２３】
したがって、マッチング追跡アルゴリズムをベースにし、かつ上に指摘した適応の問題を解決するビデオエンコード方法を提案することが本発明の目的の一つである。
【００２４】
この目的のため、本発明は、本記載の導入部において規定したようなビデオエンコード方法であって、さらに前記MPアルゴリズムを使う際に各ブロック形について特定の辞書がエンコード側で利用可能であるような方法に関する。
【００２５】
本発明に基づく方法のもう一つの実装では、前記MPアルゴリズムを使う際に、エンコード側でいくつかの辞書が利用可能であり、どの辞書を使うべきかを示すために提供されるフラグをある所定のレベルに置くためのビットストリームシンタックスが定義される。
【００２６】
本発明に基づく方法のこれら二つの実装を実行できるようにするビデオエンコード装置を提案することが本発明のもう一つの目的である。
【００２７】
前記ビデオエンコード方法および装置によって符号化された信号をデコードできるようにするビデオデコード方法および装置を提案することが本発明のさらなる目的である。
【００２８】
本発明についてこれから、例として付属の図面を参照しつつ説明する。
【発明を実施するための最良の形態】
【００２９】
マッチング追跡アルゴリズムを実装するビデオエンコード装置の単純化したブロック図は図５との関連で上に記載した。このエンコード装置は上述したのと同じ：
・入力シーケンスのもとのフレームを動き補償する
・現在のフレームと対応する前記動き補償された予測との差分によって残差信号を生成する、
・前記残差信号のそれぞれを二次元分離可能ガボール関数の集合からなる関数の辞書と比較する
・アトムパラメータが見出されたら、それらを（先に決定された動きベクトルとともに）符号化することができ、こうして得られた符号化された信号がビットストリームをなしてデコーダに送られる
ステップを有する、入力ビットストリームを符号化する方法を実行する。
【００３０】
本発明に基づいて提案される技術的方策は、ブロック形（たとえば４×４、４×８、８×４、８×８、８×１６、１６×８、１６×１６）一つ一つについて別個の辞書をもつことにある：エンコーダによって使用されるそのような規則があれば、ビデオデコーダは暗黙的にあるアトムがどの辞書を参照しているのかを知ることになる。
【００３１】
本発明のもう一つの実装によれば、技術的方策は、エンコード側およびデコード側の両方において利用可能ないくつかの辞書を提供し、エンコーダがデコーダにどの辞書を使うべきかを伝えることができるようにするビットストリームシンタックスを定義することにある：たとえば、符号語MP_dictionary_1はデコーダに次のアトムが第一の辞書を参照することを伝え、符号語MP_dictionary_2はデコーダに次のアトムが第二の辞書に切り換えるように伝える、などである。そのような符号語あるいはフラグは、たとえばアトムレベル、ブロックレベル、マクロブロックレベルまたは映像レベルに置かれる。
【図面の簡単な説明】
【００３２】
【図１】マッチング追跡アルゴリズムの実装において使われる二次元ガボール辞書の４００の基底関数を可視化して示す図である。
【図２】ブロック制限なしでブロック分割された画像中におかれたアトムの例を示す図である。
【図３】ブロック制限のあるマッチング追跡残差符号化で、アトムが動き補償が行われたグリッド内に制約され、同時には一つのブロックのみに作用する場合を示す図である。
【図４】ハイブリッドビデオエンコーダの例を示す図である。
【図５】MPアルゴリズムを実装するためのビデオ符号化器の例を示す図である。
【図６】本発明に基づくハイブリッドビデオデコーダの例を示す図である。
【図７】MPアルゴリズムを実装するビデオ復号装置の例を示す図である。
【図１】
2007502561.tif 000006
【図２】
2007502561.tif 000007
【図３】
2007502561.tif 000008
【図４】
2007502561.tif 000009
【図５】
2007502561.tif 000010
【図６】
2007502561.tif 000011
【図７】
2007502561.tif 000012
【国際調査報告】
2007502561.tif 000013
2007502561.tif 000014
2007502561.tif 000015