(57)【要約】本発明はビデオ圧縮の分野に、より詳細には、各フレームが任意の大きさのブロックに分割されるようなフレームの入力シーケンスに適用されるビデオエンコード法に関する。この方法は、現在のフレームの前記ブロックの少なくとも一部について：それぞれの現在のもとのフレームおよび以前の再構築されたフレームから得られる、動き補償されたフレームをブロックベースで生成し、前記動き補償されたフレームから残差信号を生成し、前記の生成された残差信号のそれぞれをマッチング追跡アルゴリズムを使ってアトムと呼ばれる符号化された辞書関数に分解し、現在のフレームのその他のブロックは他の符号化技術によって処理されるものとし、出力の符号化ビットストリームを生成するために前記アトムと前記動き補償ステップの間に決定された動きベクトルとを符号化するステップを有しており、どのアトムも一度には一つのブロックBのみに作用し、そのブロック制限の結果、残差信号fの再構築が、次の2D空間領域演算：gγn|B(i,j)＝gγn(i,j)（ピクセル(i,j)∈Bの場合）；gγn|B(i,j)＝0（それ以外の、すなわち(i,j)がBに含まれない場合）に従って添え字パラメータγnに対応するブロックBに制限された基底関数gγn|Bからなる辞書から得られるという事実が導かれるような方法である。
2007501555.tif 000002
【特許請求の範囲】
【請求項１】
各フレームが任意の大きさのブロックに分割されるようなフレームの入力シーケンスに適用されるビデオエンコード方法であって、現在のフレームの前記ブロックの少なくとも一部について：
・各フレームについてそれぞれの現在のもとのフレームおよび以前の再構築されたフレームから得られる、動き補償されたフレームをブロックベースで生成し、
・前記動き補償されたフレームから残差信号を生成し、
・前記の生成された残差信号のそれぞれをいわゆるマッチング追跡（MP）アルゴリズムを使ってアトムと呼ばれる符号化された辞書関数に分解し、現在のフレームのその他のブロックは他の符号化技術によって処理されるものとし、
・出力の符号化ビットストリームを生成するために前記アトムと前記動き補償ステップの間に決定された動きベクトルとを符号化するステップを有しており、
当該方法が、前記MPアルゴリズムを使う際にどのアトムも一度には一つのブロックBのみに作用し、そのブロック制限の結果、残差信号fの再構築が、次の2D空間領域演算：
gγn|B(i,j)＝gγn(i,j)    ピクセル(i,j)∈Bの場合
gγn|B(i,j)＝0          それ以外の（すなわち(i,j)がBに含まれない）場合
に従って添え字パラメータγnに対応するブロックBに制限された基底関数gγn|Bからなる辞書から得られるという事実が導かれることを特徴とする方法。
【請求項２】
各フレームが任意の大きさのブロックに分割されるようなフレームの入力シーケンスに適用されるビデオエンコード装置であって、現在のフレームの前記ブロックの少なくとも一部に適用され、
・各フレームについてそれぞれの現在のもとのフレームおよび以前の再構築されたフレームから得られる、動き補償されたフレームを動き補償ステップによってブロックベースで生成する手段と、
・前記動き補償されたフレームから残差信号を生成する手段と、
・前記の生成された残差信号のそれぞれをアトムと呼ばれる符号化された辞書関数に分解するためにいわゆるマッチング追跡（MP）アルゴリズムを実行する手段であって、現在のフレームのその他のブロックは他の符号化技術によって処理されるものとする手段と、
・関係する各ブロックについて出力の符号化ビットストリームを生成するために前記アトムと前記動き補償ステップの間に決定された動きベクトルとを符号化する手段とを有しており、
当該装置が、前記MPアルゴリズムを使う際にどのアトムも一度には一つのブロックBのみに作用し、そのブロック制限の結果、残差信号fの再構築が、次の2D空間領域演算：
gγn|B(i,j)＝gγn(i,j)    ピクセル(i,j)∈Bの場合
gγn|B(i,j)＝0          それ以外の（すなわち(i,j)がBに含まれない）場合
に従って添え字パラメータγnに対応するブロックBに制限された基底関数gγn|Bからなる辞書から得られるという事実が導かれることを特徴とする装置。
【請求項３】
辞書要素の離散化された内積pnが
【数１】
2007501555.tif 000006
として重みをかけ直されることを特徴とする、請求項２記載のビデオエンコード装置。
【請求項４】
請求項１記載のビデオエンコード方法によって符号化されたビットストリームに適用されるビデオデコード方法であって、関係するブロックについて：
・当該符号化ビットストリームに含まれる符号化されたアトムパラメータおよび動きベクトルを復号し、
・前記復号されたアトムパラメータから残差信号を再構築し、
・前記復号された動きベクトルから動き補償された信号を生成し、
・前記残差信号と前記動き補償された信号との和によって再構築されたブロックのビデオ信号を生成する、
ステップを有することを特徴とする方法。
【請求項５】
請求項２記載のビデオエンコード装置によって符号化されたビットストリームに適用されるビデオデコード装置であって、関係するブロックに適用され、
・当該符号化ビットストリームに含まれる符号化されたアトムパラメータおよび動きベクトルを復号する手段と、
・前記復号されたアトムパラメータから残差信号を再構築する手段と、
・前記復号された動きベクトルから動き補償された信号を生成する手段と、
・前記残差信号と前記動き補償された信号との和によって再構築されたブロックのビデオ信号を生成する手段、
とを有することを特徴とする装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は一般にはビデオ圧縮に、より詳細にはたとえばMPEGファミリーのビデオ規格（MPEG-1、MPEG-2、MPEG-4）およびITU  H.26Xファミリー（H.261、H.263および拡張）に関するものである。より特定的には、本発明は、各フレームが任意の大きさのブロックに分割されるようなフレームの入力シーケンスに適用されるビデオエンコード法であって、現在のフレームの前記ブロックの少なくとも一部について：
・それぞれがそれぞれの現在のもとのフレームおよび以前の再構築されたフレームから得られる、ブロックベースで動き補償されたフレームを生成し、
・前記動き補償されたフレームから残差信号を生成し、
・前記の生成された残差信号のそれぞれをいわゆるマッチング追跡（MP:  matching  pursuit）アルゴリズムを使ってアトムと呼ばれる符号化された辞書関数に分解し、現在のフレームのその他のブロックは他の符号化技術によって処理されるものとし、
・出力の符号化ビットストリームを生成するために前記アトムと前記動き補償ステップの間に決定された動きベクトルとを符号化する、
ステップを有する方法に関する。
【０００２】
本発明はまた、対応するビデオデコード法ならびに前記エンコードおよびデコード法を実行するためのエンコードおよびデコード装置にも関する。
【背景技術】
【０００３】
現在のビデオ規格（ビデオ符号化のMPEG-4規格およびH.264勧告までとする）では、一つの輝度チャネルおよび二つの色度チャネルとして記述されるビデオは、各チャネルに適用される二つの符号化モードのおかげで圧縮できる：所与のチャネルにおいて各画像内でのピクセル（画素）の空間的な冗長性を利用する「イントラ」モード、および別個の画像（すなわちフレーム）の間の時間的な冗長性を利用する「インター」モードである。インターモードは動き補償処理に依拠することで、一つ（または複数）の画像から別の画像へのピクセルの動きをエンコードすることによって、ある画像を一つ（または複数）の以前にデコードされた画像から記述することを可能にしている。通例、符号化すべき現在の画像は独立したブロック（たとえば、大きさがMPEG-4では８×８または１６×１６ピクセル、H.264では４×４、４×８、８×４、８×８、８×１６、１６×８、１６×１６）に分割され、そのそれぞれに動きベクトルが割り当てられる（そのような動き記述は前記３つのチャネルで共通である）。次いで参照画像のピクセルブロックを各ブロックに対応する動きベクトルの集合に従って移動させることによって前記画像の予測を構築することができる。最後に、エンコードすべき現在の画像と動き補償による予測との間の差分すなわち残差信号はイントラモードで（メインレベルプロファイルでは、MPEG-4については８×８の離散コサイン変換（discrete  cosine  transform）――DCTともいう――を用いて、H.264については４×４のDCTを用いて）エンコードすることができる。
【０００４】
DCTはおそらく最も広く使われている変換であろう。その理由は、多様な符号化環境で、特に中・高ビットレートにおいて良好な圧縮効率を与えることである。しかし、低ビットレートでは、ハイブリッドの動き補償DCT構造は二つの理由から乱れのないシーケンスを再現できないことがある。まず、動き補償されたインター予測のグリッド構造が見えるようになってブロッキング乱れを生ずる。さらに、DCT基底関数のブロック端が画像グリッド中で見えるようになる。これは、量子化される係数が少なすぎる――そして量子化が粗すぎる――ためにこれらのブロッキング乱れを補償して、画像中のなめらかなオブジェクトを再構築することができないためである。
【０００５】
「マッチング追跡に基づく超低ビットレートでのビデオ符号化」、R・ネフ、A・ザクホル、『IEEE紀要：ビデオ技術回路・システム』、vol.7、１号、1997年2月、pp.158〜171という文献は、いわゆるマッチング追跡（MP）アルゴリズムに基づくビデオ圧縮アルゴリズムを含む新しい動き補償システムを記載している。マッチング追跡というのは10年ほど前に開発された技法である（「時間‐周波数辞書をもつマッチング追跡」、S・G・マラ、Z・チャン、『IEEE紀要：信号処理』、vol.41、12号、1993年12月、pp.3397〜3414という文献を参照）。この技術は、任意の関数または信号（たとえば画像、ビデオ、…）を基底関数の冗長な辞書に属する波形の線形結合に逐次的に分解する方法を与える。基底関数は時間領域でも周波数領域でも十分局在化されており、アトムと呼ばれる。時間−周波数アトムの一般的な族は、実数値であり連続微分可能な単一の関数g(t)∈L2(R)をスケール変換し、平行移動し、変調することによって生成できる。これらの辞書関数は、
gγ(t)∈G  (G＝辞書集合)          （１）
で指定することができる。ここで、γ（ガンマ）は特定の辞書要素（すなわちアトム）の一つ一つに対応付けられた添え字パラメータである。第一に引用した文献で説明されているように、関数gγ(t)が単位ノルムをもつ、すなわち〈gγ(t) ,gγ(t)〉＝1とすると、一次元時間信号f(t)の分解は、次の内積の絶対値を最大にするようなγを選ぶことで始まる：
p＝〈f(t), gγ(t)〉          （２）
ここで、pは信号f(t)の辞書関数gγ(t)への展開係数と呼ばれる。このとき、残差信号Rは
R(t)＝f(t)−p・gγ(t)          （３）
によって計算され、この残差信号がもとの信号f(t)と同じようにして展開される。アトムは、実はγk、pkの対それぞれに対して与えられた名である。ここで、kはマッチング追跡手順における反復の階数である。この反復手順（各段階nがγn、展開係数pnおよび残差Rnによって指定される辞書構造を与え、それが次の段階に渡される）の全M段階ののち、もとの信号f(t)はこうして得られた辞書要素の線形結合である信号f′(t)によって近似することができる。反復手順が停止するのは所定の条件、たとえば設定された数の展開係数が生成された、あるいは残差についての何らかのエネルギー閾値に達したといった条件が満たされたときである。
【０００６】
上述した第一の文献は前記MPアルゴリズムに基づく、低ビットレートでDCTより性能のよいシステムを記載したものだが、そこではもとの画像を最初に動き補償する際に重なりブロック動き補償と呼ばれる道具を使用する。これは予測／移動されたブロックどうしの境界を混合することによって（したがってブロックのエッジがなめらかになり、ブロックのグリッドが見えにくくなる）ブロッキング乱れを解消または軽減する。動き予測画像が形成されたのち、それがもとの画像から引き算されて動き残差が生成される。次いで前記残差が離散二次元（2D）領域に拡張されたMPアルゴリズムを使い、適切な基底辞書を選んで符号化される（前記辞書は、図１に示す二次元分離可能ガボール関数gの過剰決定集合からなる）。
【０００７】
このとき残差信号fはM個の辞書要素の線形結合によって再構築される。
【０００８】
f′＝Σpn′・gγn(t)          （４）
〔和はn＝1からMまで〕
もし辞書基底関数が単位ノルムをもてば、pn′は基底関数gγn(t)と逐次的に更新される残差との離散化された内積〈，〉、すなわち
pn＝〈f−Σpk′・gγk(t)，gγn(t)〉          （５）
〔和はk＝1からn−1まで〕
である。対（pn′，γn）がアトムである。当該文書の著者によって記述された文章では、画像中でのアトムの可能な位置については何の制限も課されていない。前記辞書集合をなす二次元ガボール関数はプロトタイプとなるガウス窓
w(t)＝21/4・exp(−πt2)          （６）
を用いて定義される。一次元（1D）離散ガボール関数は、スケール変換され、変調されたガウス窓として定義される。
【０００９】
【数１】
2007501555.tif 000003
ここで、i∈{0,1,...,N−1}である。定数Kαはgα(i)が単位ノルムとなるように選ばれ、α＝(s,ξ,φ)は順に正のスケール、変調周波数、位相偏位からなる三項組である。そのような三項組αすべての集合をSとすると、当該辞書の二次元分離可能ガボール関数は次の形になる。
【００１０】
Gα,β(i,j)＝gα(i)gβ(j)            （８）
i,j∈{0,1,...,N−1}、α,β∈S
前記文書において一次元基底集合（すなわち辞書）をなすものとして示されている利用可能な辞書三項組および対応する大きさ（ピクセル数）の集合を、次の表１に示す。
【００１１】
【表１】
2007501555.tif 000004
このパラメータの集合を得るためには、動き残差画像のトレーニング集合を、ずっと大きなパラメータ三項組の集合から導出された辞書を使って分解した。この縮小した集合では、トレーニング画像にマッチした回数が最も多かった辞書要素を保持した。得られた辞書は、アトムの影響がアトムが存在するブロックの境界内に限定されない場合にアトムが動き残差画像の構造に自由にマッチできるよう特に設計された（ブロック制限なしでブロック分割画像中におかれたアトムの例を示す図２を参照）。
【００１２】
しかし、引用した文献において記載されている方法論はいくつかの限界がある。第一の限界は、ガボール辞書の連続的構造に関するものである。アトムは何らの制約なくあらゆるピクセル位置におくことができ、したがっていくつかの動き補償されたブロックにまたがることができるので、MPアルゴリズムは限られた数のなめらかなアトムで残差信号におけるブロッキング乱れを表現することはできない。ブロッキング乱れを限定するために何らかの種類の重なり動き推定を取り入れることが必要なのはこのためである。古典的なブロックベースの動き補償（すなわち、重なり窓なし）が使われる場合、なめらかな基底関数はブロッキング乱れを補償するために適切ではないこともありうる（実際、残差符号化変換の大きさを動き補償されたブロックの大きさに一致させたときに符号化の利得が得られることが最近示された）。第三に、符号化されたフレームにおいてイントラブロックとインターブロックとを組み合わせるのが難しい（引用した文献では、DCTイントラマクロブロックは存在しない。おそらくイントラモードとインターモードで符号化されたブロックの境界上の不連続性を避けるためと思われる。そのような不連続性があるとガボール基底関数のなめらかな構造ではうまくモデル化できないことになるのである）。
【発明の開示】
【発明が解決しようとする課題】
【００１３】
したがって、これらの限界が存在しなくなるようなビデオエンコード方法を提案することが本発明の目的の一つである。
【００１４】
この目的のため、本発明は本記載の導入部で規定したようなビデオエンコーディング法であって、さらに前記MPアルゴリズムを使う際にどのアトムも一度には一つのブロックBのみに作用し、そのブロック制限の結果、残差信号fの再構築が、次の2D空間領域演算：
gγn|B(i,j)＝gγn(i,j)    ピクセル(i,j)∈Bの場合
gγn|B(i,j)＝0          それ以外の（すなわち(i,j)がBに含まれない）場合
に従って添え字パラメータγnに対応するブロックBに制限された基底関数gγn|Bからなる辞書から得られるという事実が導かれるような方法に関する。
【００１５】
この方法論の主要な利益は、MPのアトムが動き補償されたブロックに制限されているという事実にある。それは残差信号のブロッキングのある構造をよりよくモデル化することを可能にし、暗黙的に同じ符号化コストに対して辞書の多様性を向上させ、ブロック境界をまたぐ干渉が存在しないためMP変換とDCT変換とを交互に用いる可能性をもたらす。それはまた、ブロッキング乱れを限定するために重なり動き補償に頼る必要を回避する。
【００１６】
前記エンコード方法を実行できるようにするビデオエンコード装置を提案することが本発明のもう一つの目的である。
【００１７】
前記ビデオエンコード方法および装置によって符号化された信号をデコードできるようにするビデオデコード方法および装置を提案することが本発明のさらなる目的である。
【００１８】
本発明についてこれから、例として付属の図面を参照しつつ説明する。
【発明を実施するための最良の形態】
【００１９】
図３に、複数の符号化エンジンを使ったハイブリッドビデオ符号化器を実装するビデオエンコード装置の単純化したブロック図が示されている。各符号化エンジンは所定の符号化技術を実装している。たとえば、符号化エンジン３１はイントラDCT符号化法を、第二の符号化器３２はインターDCT符号化法を、第三の符号化器３３はマッチング追跡アルゴリズムを実装するといった具合である。入力ビデオシーケンス（「ビデオ信号」）の各フレームはブロック分割器３４によって受信される。該ブロック分割器３４は、当該画像をさまざまな大きさの個々のブロックに分割し、現在のもとのブロックをどの符号化エンジンが処理するかを決定する。ブロック位置、ブロックサイズおよび選択された符号化エンジンを表す決定は次いで符号化手段３５によってビットストリーム中に挿入される。現在のもとの信号ブロックは次いで前記の選択された符号化エンジン（図３に示した前記状況ではエンジン３３）に転送される。
【００２０】
図４ではさらに、マッチング追跡符号化エンジンが単純化したブロック図として示される。符号化エンジン３３に割り当てられた入力ビデオシーケンスのもとの信号ブロックのそれぞれは、一方では動き補償手段４１によって受信されて動きベクトル決定に使われ（前記動きベクトルは慣習的にブロックマッチングアルゴリズムを使って求められる）、こうして得られたベクトルは動きベクトル符号化手段４２によって符号化される。符号化されたベクトルはマルチプレクサ４３（図では参照符号のみしか示していない）に届けられる。他方、減算器４４は出力として現在の画像とその予測との残差信号を与える。前記残差信号は次いでアトムに分解され（アトムの辞書は参照符号４７で示されている）、こうして決定された（モジュール４５）アトムのパラメータが符号化される（モジュール４６）。符号化された動きベクトルおよびアトムパラメータは次いでビットストリームを形成し、これが送信される。当該シーケンスの各フレームについて所定の条件が満たされるまで行われる。
【００２１】
エンコードエンジン３３は以下のステップを有する入力ビットストリームを符号化する方法を実行する。第一に、たいていの符号化構造と同様、入力シーケンスのもとのフレームが動き補償される（各フレームは以前に再構築されたフレームに基づいて動き補償され、前記動き補償ステップの間に決定された動きベクトルはのちの送信を考えて保存される）。次いで現在のフレームと対応する動き補償された予測との差分によって残差信号が生成される。前記残差信号のそれぞれは次いで二次元分離可能ガボール関数の集合からなる関数の辞書と比較され、添え字パラメータγn、展開係数p(n)、残差Rn(t)−p・gγ(t)によって指定される辞書構造gγ(t)が生成される。これがこの反復手順の次の段階に渡される。ひとたびアトムパラメータがみつかれば、それは（先に決定された動きベクトルと一緒に）符号化されることができる。こうして得られた符号化された信号はビットストリームをなしてデコーダに送られる。
【００２２】
本発明に基づいて提案される技術的な解決は、アトムの影響をそのアトムが存在するブロックの境界内に限定することにある。このブロック制限は、アトムが同時には一つのブロックにしか作用せず、図５に示すように動き補償グリッドに限定されていることを意味している。このブロック制限によって信号マッチング追跡アルゴリズムは次のように修正を受ける。
【００２３】
動き補償後にM×Nピクセルの大きさのブロックB内で2D残差のMP分解を得たいとするとき、Bに制限されたMP辞書をG|Bと書くと、前記辞書の要素gγn|Bは関係式（９）および（１０）によって得られる。
【００２４】
gγn|B(i,j)＝gγn(i,j)  ピクセル(i,j)∈Bの場合          （９）
gγn|B(i,j)＝0        それ以外の（すなわち(i,j)がBに含まれない）場合  （１０）
この場合、gγn|Bは必ずしも単位ノルムでないので、pnは次のように重みをかけ直す必要がある。
【００２５】
【数２】
2007501555.tif 000005
この方法論の利益は、一つのアトムが複数のブロックにまたがることができないため、アトムがブロック端における高周波の不連続性を扱う必要がないという事実にある。むしろ、アトムはブロック境界に適応されることができ、ブロックサイズに依存する辞書を設計することによってブロックサイズにさえ適応されることができる。さらに、MP効率を維持するための重なり動き補償がもはや必須ではないため、古典的な動き補償を使うことができる。
【００２６】
上述したエンコード装置の好ましい実施形態は、ビットストリームを送信し、それは対応するデコード装置によって受信される。図６に、本発明に基づく複数の復号エンジンを使うハイブリッドビデオデコーダを実装するビデオデコード装置の単純化したブロック図が示されている。送信されたビットストリームは一方ではブロック分割復号器６４によって受信され、ブロック分割復号器６４は現在のブロック位置、ブロックサイズ、復号方法を復号する。復号方法が与えられて、ビットストリーム要素は次いで対応する復号エンジン――図６の場合には６１または６２または６３――に転送される。復号エンジンが今度は割り当てられたブロックを復号し、ビデオ信号の再構築されたブロックを出力する。利用可能な復号エンジンはたとえばイントラDCTブロック復号器６１、インターDCTブロック復号器６２、マッチング追跡ブロック復号器６３などである。
【００２７】
マッチング追跡復号エンジンの例はさらに図７に示されている。これはMPアルゴリズムを実装するビデオデコード装置の例を示すものである。ビットストリーム要素はエントロピーデコーダ装置７１によって受信され、エントロピーデコーダ装置７１は復号されたアトムパラメータをアトム装置７２（アトムの辞書は参照符号７３で示されている）に転送する。アトム装置７２は、割り当てられたビデオブロック内の復号された位置におけるマッチング追跡関数を再構築して復号された残差信号を形成する。エントロピーデコーダ装置はまた動きベクトルを出力し、それが動き補償装置７４に入力されて以前に再構築されたビデオ信号から動き予測信号を形成する。動き予測および再構築された残差信号は次いで加算器７５で足し合わされてビデオ信号の再構築されたブロックを生成する。
【図面の簡単な説明】
【００２８】
【図１】マッチング追跡アルゴリズムの実装において使われる二次元ガボール辞書の４００の基底関数を可視化して示す図である。
【図２】ブロック制限なしでブロック分割された画像中におかれたアトムの例を示す図である。
【図３】本発明に基づくハイブリッドビデオエンコーダの例を示す図である。
【図４】MPアルゴリズムを実装するためのビデオ符号化器の例を示す図である。
【図５】ブロック制限のあるマッチング追跡残差符号化で、アトムが動き補償が行われたグリッド内に制約され、同時には一つのブロックのみに作用する場合を示す図である。
【図６】本発明に基づくハイブリッドビデオデコーダの例を示す図である。
【図７】MPアルゴリズムを実装するビデオ復号装置の例を示す図である。
【図１】
2007501555.tif 000007
【図２】
2007501555.tif 000008
【図３】
2007501555.tif 000009
【図４】
2007501555.tif 000010
【図５】
2007501555.tif 000011
【図６】
2007501555.tif 000012
【図７】
2007501555.tif 000013
【国際調査報告】
2007501555.tif 000014
2007501555.tif 000015
2007501555.tif 000016