(57)【要約】【課題】動画像列の動き補償予測の際に動きベクトルを求めるために、エイリシング低減補間フィルタリングが行われる方法をインプリメンテーションの複雑さが簡単になるように改良する。【解決手段】補間フィルタリングのために、非対称フィルタリングによってまたは参照画像ブロック内の画素の鏡像化によって、最大で、（Ｍ＋１）×（Ｍ＋１）の画素を含んでいる、参照画像のブロックがアクセスされなければならないように考慮される。【選択図】図５
2008252944.tif 000002
【特許請求の範囲】
【請求項１】
対象画像のそれぞれの画像ブロックに対して、予測のために利用される画像ブロックの、既に伝送された参照ブロックに対する位置を指示している動きベクトルを使用して動画像列の動き補償予測するための方法であって、
動きベクトルを求めるために、サブペル精度を有するエイリアシング低減フィルタリングを使用し、ここで補間のために、双線形補間の場合より多くの近隣画素が用いられ、
補間フィルタリングを、補間すべき中間画素値の場所位置に依存して次のように実施する、すなわち、Ｍ×Ｍ個の画素の画像ブロックの予測に対してフィルタリングのために、最大で、（Ｍ＋１）×（Ｍ＋１）個の画素を含んでいる、参照画像のブロックがアクセスされなければならないように実施する
方法。
【請求項２】
補間フィルタリングのために、場所適合形非対称ＦＩＲフィルタ構成を使用し、該フィルタ構成では、ブロックエッジの領域における中間画素の補間フィルタリングのために、現中間画素位置から出発してブロックエッジまでその都度すべての画素が考慮されかつ中間画素位置の向こう側にある画素は、全部で、補間のために前以て決められている画素数に達するまでの間だけ考慮される
請求項１記載の方法。
【請求項３】
補間フィルタリングのために、Ｎ個のフィルタエレメントのフィルタ長の場合、全部で、Ｎ／２個の種々異なった場所適応形フィルタを使用する
請求項１または２記載の方法。
【請求項４】
補間フィルタリングに対するフィルタ係数を、一度だけ固定するかまたは受信機に対する画像伝送の開始前に伝送する
請求項１から３までのいずれか１項記載の方法。
【請求項５】
動きベクトルを求めるために、多段階の補間方法を使用し、ここで
第１のサーチステップにおいてペル精度を有する動きベクトルが決定され、
第２のサーチステップにおいて補間フィルタリングによってハーフペル精度にある動きベクトルが決定されかつ
第３のサーチステップにおいて、補間フィルタリングを補間すべき中間画素値の場所位置に依存して１／４ペル精度において次のように実施する、すなわち、Ｍ×Ｍ個の画素の画像ブロックの予測に対してフィルタリングのために、最大で、（Ｍ＋１）×（Ｍ＋１）個の画素を含んでいる、参照画像のブロックがアクセスされなければならないように実施する
請求項１から４までのいずれか１項記載の方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、動きベクトルを使用して動画像列の動き補償予測するための方法であって、動きベクトルが、対象画像のそれぞれの画像ブロックに対して、予測のために利用される画像ブロックの、既に伝送された参照ブロックに対する位置を指示しているそういう形式の方法から出発している。
【背景技術】
【０００２】
ヨーロッパ特許第０５５８９２２Ｂ２号明細書から、フル・サーチ方法に従ってハーフペル精度での画像シーケンスにおける動き推定を改善するための方法が公知である。そこでは、第１のステップにおいてサーチ領域がフィルタリングされかつ第２のステップにおいて、画素ラスタの、１／４ペルだけのラスタシフトを可能にする付加的なデジタルフィルタを用いてマッチブロックがフィルタリングされる。この措置によって、動きベクトルフィールドの歪化を排除することができる。
【０００３】
"MPEG-4 Video Verification Model Version 8. 0", Stockholm, July 1997, MPEG 97/N1796 in ISO/IEC JTC1/SC29/WG11）には、動画像列のオブジェクト・ベースド符号化のためのエンコーダおよびデコーダが特定されている。対応する Working Draft Version 4. 0 において、ＭＰＥＧ９７／ＮＩ７９７の元にデコーダが特定されている。その際ビデオ・セッション（Video Session＝ＶＳ）内で、固定の大きさの矩形の画像はもはや符号化されずかつ受信機に伝送されずに、任意の形状および大きさを有していても構わないいわゆるビデオ・オブジェクト（VIDEO OBJECTS＝ＶＯ）が符号化されかつ伝送される。これらビデオ・オブジェクトをそれから更になお種々のビデオ・オブジェクトレイヤ（Video Object Layer＝ＶＯＬ）に分割して、例えばビデオ・オブジェクトの種々の解像度段階を表示することができるようにする。所定の時点での、カメラ画像面での所定のレイヤの結像は、ビデオ・オブジェクト・プレイン（VIDEO OBJECT PLANE＝ＶＯＰ）と表される。従って、ＶＯとＶＯＰとの間の関係は、固定の大きさの矩形の画像の伝送の場合の、画像列と画像との間の関係と等価である。
【０００４】
検証モデルにおける動き補償予測はいわゆるブロック毎の動きベクトルを用いて実施される。この場合これらベクトルは、対象画像の大きさ８×８ないし１６×１６の画素のそれぞれのブロックに対して、予測のために利用されるブロックの、既に伝送された参照画像での位置を指示している。その際動きベクトルの振幅解像度は１／２画素に制限されており、その際サンプリングラスタ間の画素（ハーフピクセル位置）はサンプリングラスタ上の画素（整数ピクセル位置）から双線形補間フィルタリングにより生成される（図１参照）。ここで＋は整数ピクセル位置を示しかつ○はハーフピクセル位置を示している。ハーフピクセル位置において補間された値ａ，ｂ，ｃおよびｄは次の式によって生じる：
ａ＝Ａ，ｂ＝（Ａ＋Ｂ）//２，ｃ＝（Ａ＋Ｃ）//２，
ｄ＝（Ａ＋Ｂ＋Ｃ＋Ｄ）//４、ここで//は丸められる整数除算を表すものである。
【０００５】
ＤＥ１９７３０３０５．６号において、予測信号の品質が改善され、ひいては符号化係数が改善されている、改善された画像信号を生成するための方法が提案された。その際画素サンプリングラスタの間の画素を生成するために、双線形の補間の場合より大きな局所的な近隣が考慮される。エイリシング低減補間フィルタリングにより、動きベクトルの解像度が高められ、ひいては予測ゲインが得られかつ符号化効率が向上される。そこでは、ＦＩＲフィルタ係数を符号化すべき信号に整合させかつそれぞれのビデオ・オブジェクトに対して別個に伝送することができ、このために符号化に対する一層の効率向上が可能になると同時に、方法のフレキシビリティが高められる。ＥＰ０５５８９２２Ｂ１号の解決法とは異なって、水平および垂直方向において１／４ペルの画素解像度を有する、中間位置に対する付加的なポリフェーズフィルタ構成を設計する必要はない。
【０００６】
そこでは、データ伝送速度を維持しておいて、ＭＰＥＧ１エンコーダの画像繰り返し周波数を２５Ｈｚから５０Ｈｚへ２倍にすることもできる。ＭＰＥＧ２エンコーダの場合、画質を維持しておいて、データ伝送速度を３０％までだけ低減することができる。
【特許文献１】ヨーロッパ特許第０５５８９２２Ｂ２号明細書
【特許文献２】ＤＥ１９７３０３０５．６号
【非特許文献１】"MPEG-4 Video Verification Model Version 8. 0", Stockholm, July 1997, MPEG 97/N1796 in ISO/IEC JTC1/SC29/WG11）
【発明の開示】
【発明が解決しようとする課題】
【０００７】
本発明の課題は、方法のインプリメンテーションの複雑さが低減される補間フィルタリング方法を提供することである。
【課題を解決するための手段】
【０００８】
この課題は本発明によれば、対象画像のそれぞれの画像ブロックに対して、予測のために利用される画像ブロックの、既に伝送された参照ブロックに対する位置を指示している動きベクトルを使用して動画像列の動き補償予測するための方法であって、動きベクトルを求めるために、サブペル精度を有するエイリアシング低減フィルタリングを使用し、ここで補間のために、双線形補間の場合より多くの近隣画素が用いられ、補間フィルタリングを、補間すべき中間画素値の場所位置に依存して次のように実施する、すなわち、Ｍ×Ｍ個の画素の画像ブロックの予測に対してフィルタリングのために、最大で、（Ｍ＋１）×（Ｍ＋１）個の画素を含んでいる、参照画像のブロックがアクセスされなければならないように実施する方法によって解決される。
【０００９】
これまで公知の方法に対して請求項１の特徴部分に記載の本発明の補間フィルタリングの決定的な利点は、方法のインプリメンテーションの複雑さが著しく低減されることである。それは殊に、参照画像に対するアクセスの際に、動き補償された予測のために必要とされるメモリ帯域幅に関してである。これまでこの場合に必要とされたメモリ帯域幅が、動きベクトルの1／２画素の振幅解像度にある双線形の補間に比べてほぼ係数３まで高かったとすれば、それは本発明の方法の場合これと同一である。他方において、改善された方法の利点、すなわちＤＥ１９７３０３０５．６号による動画像シーケンスの比較的効率のよい符号化は維持される。
【００１０】
本願発明においては、特別に開発された非対称のフィルタの使用が可能になる。
【００１１】
本発明の補間フィルタリングのために、Ｎ段のＦＩＲフィルタを使用することができる。
【００１２】
本発明の方法では、画像ブロックの予測のために必要である、参照画像の画素の数が低減される。これにより、ＤＥ１９７３０３０５．６号に記載の方法の複雑さは、殊に動きベクトルの１／２画素振幅解像度にある、本来使用される双線形の補間フィルタリングの複雑さに低減され、しかも改善された方法によって得られるゲインが著しく損なわれることはない。
【実施例】
【００１３】
次に図面に基づいて本発明の実施例を詳細に説明する。
【００１４】
説明の出発点となるのは、ＤＥ１９７３０３０５．６号に記載の方法である。この方法は、以下に説明するように、１／４ペル解像度に関して改善される。
【００１５】
この方法では、画像ブロックに対して動きベクトルが形成される。この場合動きベクトルは、対象画像のそれぞれの画像ブロックに対して予測のために利用される画像ブロックの、既に伝送された参照画像に対する位置を示すものである。
【００１６】
その際予測のための動きベクトルの決定は例えば、ＤＥ１９７３０３０５．６号に記載されているように３つの連続するステップにおいて行うことができる。
【００１７】
第１のサーチステップにおいて、従来の方法、例えばフル・サーチ・ブロック・マッチング法に従ってそれぞれの画像ブロックに対してペル精度を有する動きベクトルが決定される。この場合可能な動きの位置に対する誤差判断参照の最小値が求められかつ画像ブロックの動きを最もよく記述しているベクトルが選択される（ＥＰ０３６８１５１Ｂ１号）。
【００１８】
誤差判断に対するこのような最小値サーチにも基づいている第２のサーチステップにおいて、第１のステップにおいて求められた、ペル精度を有する動きベクトルから出発して、デジタル対称ＦＩＲ（finite impulse response-）フィルタを用いたエイリアシング低減補間フィルタによって改善された動きベクトルがサブペル精度において求められる。この場合解像度は第１のステップの場合より高く選択され、有利には、画素ラスタに関連して１／２画素の解像度が選択される。図２には、画素ラスタ間の画素ｂ，ｃおよびｄに対する補間パターンが示されている。これらの画素は、画素ラスタ上の近隣画素Ａ，Ｂ，Ｃ，Ｄ，Ｅ，Ｆ，Ｇ，Ｈから生じたものである。＋は整数ピクセル位置を示し、０はハーフピクセル位置を示す。ここで次式が成り立つ：
【数１】
2008252944.tif 000003
【００１９】
使用のＦＩＲ補間フィルタの構成は図３から明らかである。これは、それぞれの画素の位置σｐの後に、１，２，３…と重み付けられている係数への分岐を有しておりかつ出力側に加算装置１０を有している。上述した式から明らかであるように、サンプリングラスタ間の画素を生成するために、公知技術による双線形の補間の場合より大きな局所的な近隣が考慮される。その際補間フィルタ係数Ｃ０１，Ｃ０２，Ｃ０３，Ｃ０４は、補間誤差エネルギーが最小になるように決定される。係数は最小平均二乗誤差の公知の推定方法によって直接決定することができる。補間誤差エネルギーの最小化から、線形の連立方程式が得られる。その係数は直交原理から導出することができる。このようにして最適化された、ＦＩＲフィルタ係数のセットは、係数Ｃ０１＝１６１／２５６，Ｃ０２＝−４３／２５６，Ｃ０２３＝２３／２５６，Ｃ０４＝−８／２５６によって与えられている。
【００２０】
第３のステップにおいて、１／２ペル精度において決定された動きベクトルから出発して別の補間フィルタリングによって、一段と高められている解像度によって、有利には１／４ペル画素において８つの近隣画素に基づく局所的なサーチが実施される。既述のように、予測誤差が最小になる動きベクトルが選択される。
【００２１】
このための補間パターンは図４に示されている。整数画素位置はＸで特徴付けられており、ハーフ・ピクセル画素位置は小さな○によって示されかつ１／４ピクセル画素位置は−によって示されている。大きな○は１／２画素を有する最良の補正を表しかつ＋は１／４画素サーチ位置を表している。
【００２２】
第２のサーチステップからの１／２画素の解像度を有する画素ラスタに関してＦＩＲフィルタ係数Ｃ０１′＝１／２，Ｃ０２′＝０，Ｃ０３′＝０，Ｃ０４′＝０によって補間される。
【００２３】
同じ上に述べた補間技術が動き補償予測のために使用される。
【００２４】
エンコーダ内の処理が低減された画像フォーマットによって実施される（ＭＰＥＧ１エンコーダ内のＳＩＦフォーマットまたはＨ．２６３エンコーダにおけるＱ−ＣＩＦ）が、指示のために最初の入力フォーマット、例えばＭＰＥＧ−１におけるＣＣＩＲ６０１［１］またはＨ．２６３におけるＣＩＦが使用される場合、後処理として、局所的な補間フィルタリングが実施されなければならない。この目的のためにも、既述のエイリアシング補償補間フィルタリングを使用することができる。
【００２５】
１／４ペルの解像度を有するエイリアシング補償補間を活性化するために、画像伝送ビットストリーム中に活性化ビットを挿入することができる。
【００２６】
ビデオ・オブジェクトの予測のために、ビデオ・オブジェクトＶＯのそれぞれに対するフィルタ係数Ｃ０１ないしＣ０４およびＣ０１′ないしＣ０４′を別個に処理することができかつ画像伝送ビットストリームにそれぞれのビデオ・オブジェクトの伝送の開始時に挿入することができる。
【００２７】
動きベクトルの符号化のために、符号化すべき動きベクトル差の値領域を高められた解像度に整合することができる。
【００２８】
本発明により修正された補間フィルタリングでは、Ｎ段のエイリアシング低減ＦＩＲ（finite impulse response）のフィルタ構成の使用および動きベクトルの高められた振幅解像度は維持される。しかし画像ブロックの予測のために必要とされる、参照画像の画素数は低減される。
【００２９】
第１の実施例では、場所適合形非対称ＦＩＲフィルタ構成が使用される。
【００３０】
その際フィルタ構成の対称性は、補間すべき中間画素値の場所位置に依存して、Ｍ×Ｍの画素から成るブロックの予測に対してフィルタリングのために最大、（Ｍ＋１）×（Ｍ＋１）の大きさの、参照画像のブロックがアクセスされなければならないように選択される。場所適合性の原理は１次元の例に対して図５に示されている。
【００３１】
図５から明らかであるように、補間のために、対称性の理由から、Ｎのフィルタ長の場合、全部でＮ／２個の異なった場所適合形フィルタが必要である。相応のフィルタ係数は、一度だけ固定するかまたは画像伝送の開始前に受信機に一度だけ伝送することができる。
【００３２】
ブロックエッジＢの領域における中間画素Ｚの補間フィルタリングのために、現中間画素位置から出発してブロックエッジまでその都度すべての画素が考慮されかつ中間画素位置の向こう側にある画素は、全部で、補間のために前以て決められている画素数に達するまでの間だけ考慮される。
【００３３】
図５に図示の例では、中間画素Ｚに対する補間のために、フィルタ（Ｎ／２）−１の場合、中間画素Ｚの左側において２つの画素が評価されかつその右側において例えば６つの画素が評価される。フィルタ（Ｎ／２）−２の場合、左側において３つの画素が評価されかつその右側において５つの画素が評価される等々。
【００３４】
択一的な実施例において、Ｍ×Ｍの画素のブロックの予測の際に補間フィルタリングのために必要とされる、参照ブロック外にある画素は、参照ブロック内にある、補間フィルタリングに対する画素をブロックエッジに鏡像化することによって図６に示されているように生成される。
【００３５】
図６に示されているように、ブロックエッジＢの角で、画素は上方向にも左方向にも鏡像化される。その他の角でも相応のことが当てはまる。図６の実施例では、図２の対称的なフィルタ構成を１／４ペル精度にある動きベクトルの補間フィルタリングのために利用することができる。
【図面の簡単な説明】
【００３６】
【図１】整数ピクセル位置の画素から双線形補間フィルタリングによりハーフピクセル位置の画素を生成する様子を説明する略図である。
【図２】画素のサンプリングラスタの間の画素に対する補間スキーマを説明する図である。
【図３】補間のためのＦＩＲフィルタの構成を示す図である。
【図４】一層高い解像度を有する別の補間を示す図である。
【図５】Ｎ段階の位置適合非対称ＦＩＲフィルタを使用した補間フィルタリングを示す図である。
【図６】画像ブロック内にある画素の鏡像化を使用した補間フィルタリングを説明する図である。
【図１】
2008252944.tif 000004
【図２】
2008252944.tif 000005
【図３】
2008252944.tif 000006
【図４】
2008252944.tif 000007
【図５】
2008252944.tif 000008
【図６】
2008252944.tif 000009