(57)【特許請求の範囲】
【請求項１】
Ｉ，Ｐ及びＢタイプの画像を含み、表示の順序を考えた場合にＢタイプの画像の群が下界についてはＩ又はＰタイプの先行する画像で限られ上界についてはＰタイプの次の画像で限られる画像シーケンスを、最も最近符号化されたＩ又はＰ画像に置かれた同じ位置のマクロブロックが飛ばされた（スキップされた）場合は、符号化されるべき次のＢ画像に属するマクロブロックをゼロの動きベクトルを用いた前方向予測モードで（「前方向予測」）強制的に符号化する「スキップド・マクロブロック」符号化モードで符号化する、ビデオ符号化方法であって、
Ｂタイプの画像のブロック又はマクロブロックに割り当てられ、上記Ｂタイプの画像と上記Ｂタイプの画像の群を限るいずれかの画像の同じ位置のブロック又はマクロブロックとの相関を決める相関レベルを計算する段階と、
上記レベルを所定の閾値と比較する段階と、
Ｂタイプの画像の上記同じ位置のブロック又はマクロブロックに割り当てられた相関レベルが上記閾値よりも低い場合に、上界のＰタイプの画像のブロック又はマクロブロックの「スキップド・マクロブロック」符号化モードを防止する段階とを含むことを特徴とする方法。
【請求項２】
上界に対応するＰタイプの画像のマクロブロックの符号化のために、
上記符号化が「スキップド・マクロブロック」モードに適合するかを判定する前符号化段階と、
判定結果が肯定的であれば、Ｂタイプの各画像の同じ位置のマクロブロックについての相関レベルを計算する段階と、
得られたレベルを所定の閾値と比較する段階と、
上記レベルがＢタイプの画像の各マクロブロックの所定の閾値のよりも高い場合は「スキップド・マクロブロック」モードで、或いは、逆の場合はゼロの動きベクトルを用いた符号化モードで、現在のマクロブロックを符号化する段階とを含むことを特徴とする、請求項１記載の方法。
【請求項３】
上記相関レベルはパラメータＳＡＤに基づいて計算され、
パラメータＳＡＤは、
【数１】
0004128028.tif 000005
、但し、
ｉ，ｊ：マクロブロック中の画素の列及び行の添え字、
ｃｕｒ：２つの画像Ｉ又はＰとＰとの間に置かれるＢタイプの画像の添え字、
Ｂcur：異なる測定が実行される現在のタイプＢの画像、
ＩＰprev：表示の順序では先行するＩ又はＰタイプの画像、
ＳＡＤcur：差の絶対値の和、
と表わされる、請求項１又は２記載の方法。
【請求項４】
上記相関レベルはパラメータＳＡＤに基づいて計算され、
パラメータＳＡＤは、
【数２】
0004128028.tif 000006
、但し、
ｉ，ｊ：マクロブロック中の画素の列及び行の添え字、
ｃｕｒ：２つの画像Ｉ又はＰとＰとの間に置かれるＢタイプの画像の添え字、
Ｂcur：異なる測定が実行される現在のタイプＢの画像、
Ｐnext：表示の順序では次のＰタイプの画像、
ＳＡＤcur：差の絶対値の和、
と表わされる、請求項１又は２記載の方法。
【請求項５】
相関レベルを計算する基となるＢタイプの画像の群を限る一つの又は他の画像は、表示の順序では、Ｂタイプの画像の群に先行するＩ又はＰタイプのローカルに復号化された画像、又は、Ｂタイプの画像の群に続くＰタイプのローカルに復号化された画像であることを特徴とする、請求項１記載の方法。
【請求項６】
上記閾値は、ブロック或いはマクロブロックの量子化間隔又は、画像の平均量子化間隔の関数として予め決められることを特徴とする、請求項１記載の方法。
【請求項７】
Ｉ，Ｐ及びＢタイプの画像を含み、表示の順序を考えた場合にＢタイプの画像の群が下界についてはＩ又はＰタイプの先行する画像で限られ上界についてはＰタイプの次の画像で限られる画像シーケンスを、最も最近符号化されたＩ又はＰ画像に置かれた同じ位置のマクロブロックが飛ばされた（スキップされた）場合は、符号化されるべき次のＢ画像に属するマクロブロックをゼロの動きベクトルを用いた前方向予測モードで（「前方向予測」）強制的に符号化する「スキップド・マクロブロック」符号化モードで符号化する、ビデオ符号化装置であって、
Ｂタイプの画像のブロック又はマクロブロックに割り当てられ、上記Ｂタイプの画像と上記Ｂタイプの画像の群を限るいずれかの画像の同じ位置のブロック又はマクロブロックとの相関を決める相関レベルを計算する手段と、
上記レベルを所定の閾値と比較する手段と、
Ｂタイプの画像の上記同じ位置のブロック又はマクロブロックに割り当てられた相関レベルが上記閾値よりも低い場合に、上界のＰタイプの画像のブロック又はマクロブロックの「スキップド・マクロブロック」符号化モードを防止する手段とを含むことを特徴とするビデオ符号化装置。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は画像シーケンスのビデオ符号化の方法及び装置に関する。本発明は、特に、Ｂタイプの先行する画像の空間的・時間的内容に関してＰタイプの画像のマクロブロック（ＭＢ）の予測のモードを選択する方法及び装置に関連する。
【０００２】
技術分野は、ビデオ圧縮と、例えば、離散コサイン変換（ＤＣＴ）、変換された係数の量子化、動きの推定及び補償、固定長及び可変長の符号化といったアルゴリズムツールの前後関係に関する。符号化されるべき画像は、イントラタイプはインタータイプであり、インタータイプではＰ（予測）タイプ又はＢ（双方向予測）タイプである。
【０００３】
【従来の技術】
以下、画像、又は、ＭＰＥＧ４標準では必ずしも矩形でなくともよい画像エンティティを示す用語であるＶＯＰ（Video Object Plane）について区別なく説明するものとする。「同じ位置のマクロブロック」なる用語は、他の画像において空間的に同じ位置に置かれたマクロブロックを指すものとする。
【０００４】
ＭＰＥＧ標準においてＢタイプの画像即ちＢ画像に属するマクロブロックの予測モードの選択は、最後に符号化された予測された参照Ｐ画像の「同じ位置の」マクロブロックに適用される符号化モードに強く依存する。ビデオ符号化に関するＭＰＥＧ４標準ＩＳＯ／ＩＥＣ１４４９６−２は、スキップド・マクロブロック（skipped macroblock）（７．６．９．６章）に関する限り、最も最近復号化されたＩ又はＰのビデオオブジェクト平面（Ｉ−ＶＯＰ又はＰ−ＶＯＰ）に位置する同じ位置のマクロブロックが飛ばされれば、Ｂ画像に属するマクロブロックはゼロの動きベクトルを用いて前方向（forward）予測モード（「前方向予測」）で処理される。
【０００５】
言い替えれば、Ｐ画像のマクロブロックが飛ばされれば、即ち、符号化されなければ、表示の順序では、Ｂタイプの先行する画像に属する「同じ位置の」マクロブロックは、表示の順序では先行する参照画像を用いた特別な内挿モードによりゼロのベクトルを介して再構成されねばならない。
【０００６】
【発明が解決しようとする課題】
この概念は、画像シーケンスの内容はＩ又はＰのタイプの２つの画像の間の時間的な静止の度合いの最小に従うという原理から始まったものである。これは、従来のものとされうる内容（ＴＶシーン、映画、テレビ電話、テレビ会議）について成り立つ。一方、モンタージュ、ビデオクリップ、特殊効果の与えられた映画の場面の場合は、この静止の度合いには従わず、画像は先行する画像及び次の画像の内容に対して全く関係がなくなる可能性がある。結果として、この単独の画像がＢタイプである場合、最近符号化されたＰ画像中で対応するものが「スキップ」されている（飛ばされている）Ｂ画像のマクロブロックは、最初の情報とは無関係の情報と共に再構成される。視覚的に、結果は、瞬間的であるがひどいものとなり、マクロブロックの大きさの欠陥によって特徴付けられる。
【０００７】
図１は、Ｐ−ＶＯＰ（Ｐタイプの画像）中の符号化されていないマクロブロックについて生じうる問題を示す図である。画像シーケンスは、例えば４つの連続する画像ＶＯＰ１乃至ＶＯＰ４からなる。画像ＶＯＰ１及びＶＯＰ４はＰタイプ画像（Ｐ−ＶＯＰ）であり、画像ＶＯＰ２及びＶＯＰ３はＢタイプ画像（Ｂ−ＶＯＰ）である。最も最近復号化されたＰ−ＶＯＰはＶＯＰ４である。Ｂ−ＶＯＰ３が復号化されるとき、Ｐ−ＶＯＰ４の同じ位置のマクロブロックが符号化されてないかぎり、Ｐ−ＶＯＰ１のマクロブロックのうちの幾つかはそのままＢ−ＶＯＰ３へ複製され、Ｐ−ＶＯＰ４のこれらのマクロブロックは同様にＰ−ＶＯＰ１のマクロブロックに対する複製である。このように、このＢ−ＶＯＰには多くの黒いマクロブロックが現れる。
【０００８】
本発明は上述の欠点を軽減することを目的とする。
【０００９】
【課題を解決するための手段】
本発明は、Ｉ，Ｐ及びＢタイプの画像を含み、表示の順序を考えた場合にＢタイプの画像の群が下界についてはＩ又はＰタイプの先行する画像で限られ上界についてはＰタイプの次の画像で限られる画像シーケンスを、最も最近符号化されたＩ又はＰ画像に置かれた同じ位置のマクロブロックが飛ばされた（スキップされた）場合は、符号化されるべき次のＢ画像に属するマクロブロックをゼロの動きベクトルを用いた前方向予測モードで（「前方向予測」）強制的に符号化する「スキップド・マクロブロック」符号化モードで符号化する、ビデオ符号化方法であって、
Ｂタイプの画像のブロック又はマクロブロックに割り当てられ、Ｂタイプの画像とＢタイプの画像の群を限るいずれかの画像の同じ位置のブロック又はマクロブロックとの相関を決める相関レベルを計算する段階と、
レベルを所定の閾値と比較する段階と、
Ｂタイプの画像の同じ位置のブロック又はマクロブロックに割り当てられた相関レベルが閾値よりも低い場合に、上界のＰタイプの画像のブロック又はマクロブロックの「スキップド・マクロブロック」符号化モードを防止する段階とを含むことを特徴とする方法を提供することを目的とする。
【００１０】
本発明の実施例では、方法は、上界に対応するＰタイプの画像のマクロブロックの符号化のために、
符号化が「スキップド・マクロブロック」モードに適合するかを判定する前符号化段階と、
判定結果が肯定的であれば、Ｂタイプの各画像の同じ位置のマクロブロックについての相関レベルを計算する段階と、
得られたレベルを所定の閾値と比較する段階と、
レベルがＢタイプの画像の各マクロブロックの所定の閾値のよりも高い場合は「スキップド・マクロブロック」モードで、或いは、逆の場合はゼロの動きベクトルを用いた符号化モードで、現在のマクロブロックを符号化する段階とを含むことを特徴とする。
【００１１】
本発明の実施例では、相関レベルはパラメータＳＡＤに基づいて計算され、
パラメータＳＡＤは、
【００１２】
【数３】
0004128028.tif 000002
、但し、
ｉ，ｊ：マクロブロック中の画素の列及び行の添え字、
ｃｕｒ：２つの画像Ｉ又はＰとＰとの間に置かれるＢタイプの画像の添え字、
Ｂcur：異なる測定が実行される現在のタイプＢの画像、
ＩＰprev：表示の順序では先行するＩ又はＰタイプの画像、
ＳＡＤcur：差の絶対値の和、
と表わされる。
【００１３】
本発明の実施例では、相関レベルはパラメータＳＡＤに基づいて計算され、
パラメータＳＡＤは、
【００１４】
【数４】
0004128028.tif 000003
、但し、
ｉ，ｊ：マクロブロック中の画素の列及び行の添え字、
ｃｕｒ：２つの画像Ｉ又はＰとＰとの間に置かれるＢタイプの画像の添え字、
Ｂcur：異なる測定が実行される現在のタイプＢの画像、
Ｐnext：表示の順序では次のＰタイプの画像、
ＳＡＤcur：差の絶対値の和、
と表わされる。
【００１５】
本発明の実施例によれば、相関レベルを計算する基となるＢタイプの画像の群を限る一つの又は他の画像は、表示の順序では、Ｂタイプの画像の群に先行するＩ又はＰタイプのローカルに復号化された画像、又は、Ｂタイプの画像の群に続くＰタイプのローカルに復号化された画像である。
【００１６】
本発明はまた、画像のシーケンスの符号化のためにＭＰＥＧ４標準を用いる符号化装置であって、Ｐタイプの画像のマクロブロックの「スキップド・マクロブロック」符号化モードを、符号化の順序で、マクロブロック又は先行するＩ又はＰ画像の同じ位置のマクロブロックとＢタイプの次の画像の同じ位置のマクロブロックとの相関を測定した相関情報に基づいて防止する手段を含むことを特徴とする符号化装置を提供することを目的とする。
【００１７】
本発明の主な利点は、画像符号化の特定の条件下で欠陥のあるマクロブロックの出現を含む表示欠陥を防止することである。これにより、復号化された画像の復元の質は改善される。
【００１８】
【発明の実施の形態】
本発明の他の特徴及び利点は、制限的でない例として与えられ、添付の図面を参照に関して与えられる以下の説明から明らかとなろう。
【００１９】
図２は、上部に、復号化の順序、従って符号化の順序で一連の画像又は平面ＶＯＰを示し、下部に、表示の順序で一連の画像を示す図である。尚、最も最近復号化されたＰ−ＶＯＰ（Ｐタイプのオブジェクト平面）はそれが参照しているＢ−ＶＯＰの後に表示される。
【００２０】
図３は、参照番号３で示されるＢ−ＶＯＰの現在のマクロブロック１の復号化を図式的に示す図である。この復号化は、前に復号化された参照番号４で示されるＰ−ＶＯＰの同じ位置のマクロブロック２を考慮に入れる。同じ位置のマクロブロック２が符号化されない場合（「スキップド・マクロブロック」モード）、マクロブロック１は、同じ位置のマクロブロックの単純な「前方向」予測により、即ち、この同じ位置のマクロブロックの単純な複製によって構築される。参照番号３で示される画像は、例えば、図２の上部に示される画像の列のうちの第３の画像に対応し、参照番号４で示される画像は第２の画像に対応し、その場合、前方向予測は、第１の画像、即ち本例ではＩ−ＶＯＰから生ずる。
【００２１】
本発明は、Ｂタイプの画像の復元の欠陥を除去するよう、Ｐタイプの画像に属するマクロブロックの符号化モードの選択を条件的とするという考えに基づく。実際は、Ｂタイプの中間画像がそれらに並べて配置される一方又は両方の端の画像と時間的に相関があるかを確かめることによって行う。
【００２２】
Ｐ画像のレベルにおいて、マクロブロックが「スキップド・マクロブロック」モードの候補であるとき、表示即ち時間的な順序で、先行する各画像Ｂの同じ位置のマクロブロックについて、このマクロブロックと表示の順序で先行するＩ又はＰ画像の対応するマクロブロックとの間の差の絶対値の和ＳＡＤを計算する。ＳＡＤは、
【００２３】
【数５】
0004128028.tif 000004
、但し、
ｉ，ｊ：マクロブロック中の画素の列及び行の添え字、
ｃｕｒ：２つの画像Ｉ又はＰとＰとの間に置かれるＢタイプの画像の添え字、
Ｂcur：異なる測定が実行される現在のタイプＢの画像、
ＩＰprev：（表示の順序では）先行するＩ又はＰタイプの画像、
ＳＡＤcur：差の絶対値の和、
であるとする。
【００２４】
Ｂ画像のマクロブロックに対応するＳＡＤcurのうち、少なくとも１つが所与の閾値を超過し、従って相関のレベルが不十分であることを表わす場合、符号化されるべきＰ画像もマクロブロック、即ち「スキップド・マクロブロック」モードの候補は、強制的に「符号化」モードとされ、即ちそのベクトルが符号化され、ＤＣＴ係数の観点からの内容もまた同様とされる。特に量子化間隔が不変のままであれば、このマクロブロックは「スキップド・マクロブロック」モードでの符号化の可能性を生じさせた相関により一般的には空である。
【００２５】
逆の場合、即ち、ＳＡＤcurの全ての値が閾値以下であり、マクロブロックの相関を表わす場合、Ｐ画像のマクロブロックは「スキップド・マクロブロック」モードにあることが確かめられる。
【００２６】
Ｐ画像のマクロブロックの符号化を、即ち、「スキップ」されないことを強制することにより、画像Ｂのマクロブロックは同様に強制的に符号化モードとされ、従って「スキップ」されない。符号化は、これらのマクロブロックの実際の内容を考慮に入れ、表示の欠陥を防止する。
【００２７】
和ＳＡＤの計算は、もちろん１つの実施例として挙げたものであって、画像のブロック又はマクロブロック間の相関のレベル、即ち、画像間のブロック又はマクロオブロックの内容の変化を決める任意のパラメータは、本発明の範囲を逸脱することなく使用されうる。
【００２８】
マクロブロックの和ＳＡＤの計算は、ソース画像又は再構成された画像を考慮に入れて行われうる。計算は、例えば、
Ｂ画像と、表示の順序で、先行するソースのＩ又はＰ画像との間、
Ｂ画像と、表示の順序で、先行するソースのＩ又はＰ画像のローカルに復号化されたＩ又はＰ画像との間、
Ｂ画像と、表示の順序で、次のソースのＰ画像のローカルに復号化されたＰ画像、即ち以前に復号化されたものとの間、
Ｂ画像と、表示の順序で、次のソースのＰ画像との間で行われうる。
【００２９】
Ｂ画像のマクロブロックに割り当てられる相関レベルの評価は、実際には、このマクロブロックと先行するＩ又はＰ画像の同じ位置のマクロブロックとの間、又は、このマクロブロックと表示の順序で考えた場合は次のＰ画像の同じ位置のマクロブロックとの間のいずれかで実行されうる。後者の場合は、ＳＡＤを計算する式は、ＩＰprevが表示の順序では次のＰタイプの画像に対応するＰnextによって置き換えられている以外は同じである。
【００３０】
差の和の計算は、差の絶対値の和を計算する方法以外の方法でも実行されうる。従って、
差の平方の和、
マクロブロックを構成する４つの８＊８ブロックの夫々に見つけられる４つの最大誤差の和、を計算することが考えられる。もちろんこれらの例に限られるものではない。
【００３１】
従って、Ｐタイプの画像のマクロブロックを符号化するための符号化モードを決定する規準は、表示の順序で先行するＢタイプの画像を考慮に入れる。これは、Ｐタイプの２つの画像の間、又は、Ｉタイプの画像とＰタイプの画像との間にある全ての先行するＢタイプの画像を含む。
【００３２】
相関レベルの比較対象である閾値は、画像のブロック又はマクロブロックの符号化に使用される量子化間隔の関数として決定されうる。
【００３３】
従って、「スキップド・マクロブロック」モードの制限数を、例えば画像全体の平均量子化間隔といった量子化間隔の関数として増加させることが可能である。量子化間隔が小さいということは、符号化器が符号化の限界でない（バッファメモリが飽和状態ではない等）ことを示し、符号化の費用を減少させること、従って、「スキップド・マクロブロック」モードを使用することはあまり必要ではない。同様に、大きい量子化間隔を使用することにより、係数の符号化における分解能のためにブロック間の相関が減少し、従って、閾値は大きい量子化間隔に対しては減少されえ、「スキップド・マクロブロック」モードをトリガするためにあまり多くの相関を必要としない。
【００３４】
図４は、符号化選択を決定するための符号化処理を示す簡単なフローチャートを示す図である。
【００３５】
ステップ５において、符号化されるべき画像の添え字ｉのマクロブロックを受け取る。次のステップ６において、このマクロブロックに対して可能な符号化モードを計算し、特に、「スキップド・マクロブロック」モードで符号化されうるかを計算し、マクロブロックが属する画像のタイプを考慮に入れる。Ｐ画像以外の画像であるとき、又は、Ｐタイプの画像の場合は符号化のために「スキップド・マクロブロック」モードが可能でないときは、ステップ７に進み、標準に従ってマクロブロックの従来の符号化を行う。
【００３６】
Ｐタイプの画像であり、「スキップド・マクロブロック」モードが適用される場合は、ステップ８へ進む。ステップ８は、表示の順序では先行するＩ又はＰタイプの画像の同じ位置のマクロブロックと、表示の順序では先行するＢタイプの各画像の同じ位置のマクロブロックとの間の値ＳＡＤの計算を行う。次のステップ９において行われるテストにおいて、得られる値が所定の閾値よりも小さい場合、ステップ７に進み、ＭＰＥＧ４標準に従って「スキップド・マクロブロック」符号化が実際に行われる。ＳＡＤのうちの少なくとも１つがこの閾値よりも大きければ、ステップ１０へ進み、ゼロの動きベクトルを用いた符号化モードでマクロブロックの符号化を行う。
【００３７】
ステップ７又は１０で符号化された添え字ｉのマクロブロックは、画像の次のマクロブロックの符号化のために添え字ｉが１だけインクリメントされる次の処理ステップ、即ちステップ１１へ送られる。
【００３８】
本発明は、任意の種類のＭＰＥＧ４タイプの符号化器、又は、上述のアルゴリズムを行う処理回路又は手段を使用する装置に関する。
【００３９】
本発明は、例えばＭＰＥＧ４ビデオ符号化標準を用いるディジタル画像の伝送に適用される。
【図面の簡単な説明】
【図１】表示の欠陥を出現させる画像シーケンスの４つの画像の連続を示す図である。
【図２】種々の画像の復号化の順序及び表示の順序を示す図である。
【図３】現在のマクロブロックの復号化を示す図である。
【図４】符号化処理を簡単に示すフローチャートである。
【符号の説明】
５    マクロブロックを受け取る段階
６    マクロブロック符号化モードを計算する段階
７    従来のマクロブロック符号化を行う段階
８    ＳＡＤを計算する段階
９    ＳＡＤと閾値を比較する段階
１０    ゼロの動きベクトルを用いた符号化モードで符号化する段階
１１    添え字ｉをインクリメントする段階
【図１】
0004128028.tif 000007
【図２】
0004128028.tif 000008
【図３】
0004128028.tif 000009
【図４】
0004128028.tif 000010