(57)【要約】ビデオエンコーディングの計算上の複雑度は、ビデオフレームの領域をエンコードすべきか否かを決定することにより、あるいは、先のフレーム内の同じ領域に関して任意の動きが生じたか否かを計算する前にエンコーディングをスキップするか否かを決定することにより減少される。一実施形態において、領域のエンコーディングをスキップするか否かに関する決定は、領域内のピクセル値のエネルギの推定値及び／又は離散コサイン変換係数の推定値に基づいている。更なる実施形態において、決定は、領域がエンコードされない場合に生じる可能性が高い歪みの推定値に基づいている。
2006511113.tif 000002
【特許請求の範囲】
【請求項１】
ビデオ画像をエンコードする方法であって、
前記画像を複数の領域に分割するステップと、
前記領域のそれぞれが更なるステップによる処理を必要とするか否かを予測するステップと、
を備え、
前記予測するステップが、１つ以上の統計学的な尺度と、前記領域のそれぞれについての１つ以上の閾値とを比較することを備える方法。
【請求項２】
前記更なるステップが動き補償を含む、請求項１に記載の方法。
【請求項３】
前記更なるステップが変換処理を含む、請求項１または２に記載の方法。
【請求項４】
前記変換処理ステップが離散コサイン変換処理ステップである、請求項３に記載の方法。
【請求項５】
１つの領域が、重なり合わないマクロブロックである、請求項１〜４のいずれか一項に記載の方法。
【請求項６】
１つのマクロブロックが、ピクセルの１６×１６マトリクスである、請求項５に記載の方法。
【請求項７】
前記統計学的な尺度のうちの１つが、マクロブロックの一部または全てのピクセル値のエネルギの推定値が第１の所定の閾値よりも小さいか否かということである、請求項１〜６のいずれか一項に記載の方法。
【請求項８】
エネルギの前記推定値が、前記第１の閾値と比較される前に、量子化ステップサイズで割られる、請求項７に記載の方法。
【請求項９】
前記統計学的な尺度のうちの１つが、マクロブロックの１つ以上のサブブロックにおける特定の離散コサイン変換係数の値の推定値が第２の所定の閾値よりも小さいか否かということである、請求項１〜８のいずれか一項に記載の方法。
【請求項１０】
離散コサイン変換係数の前記値の推定が、
前記サブブロックを４つの等しいサブ領域に分割するステップと、
サブブロックの各サブ領域における残りのピクセル値の絶対差の合計を計算するステップであって、前記残りのピクセル値が、マクロブロックの対応するピクセル輝度値から差し引かれる対応する既にコード化されたピクセル輝度値であるステップと、
サブブロックの各領域毎に以下のような低周波離散コサイン変換係数を推定するステップであって、
Ｙ０１＝ａｂｓ（Ａ＋Ｃ−Ｂ−Ｄ）
Ｙ１０＝ａｂｓ（Ａ＋Ｂ−Ｃ−Ｄ）
Ｙ１１＝ａｂｓ（Ａ＋Ｄ−Ｂ−Ｃ）
Ｙ０１、Ｙ１０、Ｙ１１が、３つの低周波離散コサイン変換係数を表わし、Ａ、Ｂ、Ｃ、Ｄが、サブブロックの各領域の絶対差の合計を表わし、Ａが上左側角部であり、Ｂが上右側角部であり、Ｃが下左側角部であり、Ｄが下右側角部であるステップと、
全ての計算された推定値から、離散コサイン変換係数の推定値の最大値を選択するステップと、
を備える、請求項９に記載の方法。
【請求項１１】
前記統計学的な尺度が、マクロブロックのスキップに起因する歪みの推定値が第３の所定の閾値よりも小さいか否かということである、請求項１〜６のいずれか一項に記載の方法。
【請求項１２】
歪みの前記推定値が、前記マクロブロックに対する１つ以上の既にコード化されたマクロブロックの一部または全てのピクセル値から１つ以上の統計学的な尺度を得ることにより計算される、請求項１１に記載の方法。
【請求項１３】
歪みの前記推定値が、既にコード化されたマクロブロックに対するコード化されたマクロブロックの輝度値の絶対差の合計（ＳＡＥｎｏｓｋｉｐ）の推定値を、既にコード化されたマクロブロックに対するスキップされたマクロブロックの輝度値の絶対差の合計（ＳＡＥｓｋｉｐ）から差し引くことにより計算される、請求項１１〜１２に記載の方法。
【請求項１４】
ＳＡＥｎｏｓｋｉｐが、一定の値Ｋによって推定される、請求項１３に記載の方法。
【請求項１５】
ＳＡＥｎｏｓｋｉｐが、既にコード化されたマクロブロックの輝度値の絶対差の合計により推定され、または既にコード化されたマクロブロックが存在しない場合には一定の値Ｋにより推定される、請求項１３に記載の方法。
【請求項１６】
コンピュータで使用可能な媒体上で具現化されるコンピュータプログラムによって実行される、請求項１に記載の画像をエンコードする方法。
【請求項１７】
電気回路によって行なわれる、請求項１に記載の画像をエンコードする方法。
【発明の詳細な説明】
【発明の詳細な説明】
【０００１】
本発明は、ビデオエンコーダに関し、特に、ビデオをエンコードする際の計算の複雑度を減らすことに関する。
【０００２】
Ｈ２６３およびＭＰＥＧ−４等のビデオエンコーディング規格に基づくビデオエンコーダおよびデコーダ（ＣＯＤＥＣ）は、ビデオ圧縮技術において周知である。
【０００３】
これらの規格の発展により、質を僅かに低下させるだけで、更に狭い帯域幅にわたってビデオを送信できるようになってきた。しかしながら、デコーディング、更に具体的には、エンコーディングは、かなりの量の計算処理リソースを必要とする。携帯端末（ＰＤＡ）や携帯電話等のモバイル機器の場合、電力使用は、プロセッサ稼働率に密接に関連しており、したがって、バッテリ充電の寿命に関連している。バッテリ充電毎のモバイル機器の動作可能時間を増やすためには、モバイル機器における処理量を減らすことが望ましいことは言うまでもない。汎用パーソナルコンピュータにおいて、ＣＯＤＥＣは、処理リソースを他のアプリケーションと共有しなければならない。これにより、ドライブは、画質を落とすことなく処理稼働率を減らすことができ、したがって、電力の浪費を減らすことができた。
【０００４】
テレコン（テレビ会議）等の多くのビデオ用途において、カメラによって取得される領域の多くは静止している。これらの場合には、基準ビデオフレームから殆ど変更されていない領域をエンコードするために、パワーリソースまたはプロセッサリソースが不必要に使用される。
【０００５】
エンコーダ、例えばＨ２６３またはＭＰＥＧ−４シンプルプロファイル適合のエンコーダによりビデオ画像を処理するために必要な典型的なステップを一例として説明する。
【０００６】
第１のステップは、現在の画像のために基準画像が選択されることを要する。これらの基準画像は、重なり合わない複数のマクロブロックに分割される。各マクロブロックは４つの輝度ブロックと２つのクロミナンスブロックとを含んでおり、これらの各ブロックは８ピクセル×８ピクセルを構成している。
【０００７】
最大の計算時間を一般に要するエンコーディング処理のステップが、動き推定、高速離散コサイン変換（ＦＤＣＴ）、逆離散コサイン変換（ＩＤＣＴ）であることは周知である。
【０００８】
動き推定ステップは、現在の画像と１つ以上の基準画像との間の類似点を検索する。現在の画像のマクロブロック毎に検索が行なわれることにより、現在の画像内の現在のマクロブロックと最もよく適合する基準画像内の予測マクロブロックが特定される。予測マクロブロックは、現在のマクロブロックからの距離のオフセットを示す動きベクトル（ＭＶ）によって特定（識別）される。その後、予測マクロブロックは、予測エラー（ＰＥ）マクロブロックを形成するために、現在のマクロブロックから差し引かれる。このＰＥマクロブロックは、その後、離散コサイン変換される。離散コサイン変換は、空間領域からの画像を周波数領域に変換するとともに、スペクトルサブバンドに関連する係数から成るマトリクスを出力する。殆どの画像においては、信号エネルギの大部分が低周波にある。この低周波は、人間の眼が最も反応しやすい周波数である。その後、高速ＤＣＴマトリクスが量子化される。この量子化は、ＤＣＴ係数を量子化値で割り、その後、ＤＣＴ係数を最も近い整数へと四捨五入することを含む。これは、多くの高周波係数をゼロまで減少させるという効果を有し、画像に歪みを引き起こすステップである。一般に、量子化ステップサイズが大きければ大きいほど、画質が悪化する。量子化ステップ後のマトリクスからの値は、その後、「ジグザグ」走査により順序付けされる。これは、マトリクスの上左側角部から対角線上にマトリクスの下右側角部へと値を読み取ることを含む。これは、ストリームをエントロピーエンコーディングにより最終的にビットストリームに変換する前にストリームを効率的にランレベルエンコード（ＲＬＥ）できる複数のゼロを一緒にグループ化する傾向がある。他の「ヘッダー」データは、通常、この時点で加えられる。
【０００９】
ＭＶがゼロに等しく且つ量子化されたＤＣＴ係数が全てゼロに等しい場合には、マクロブロックのためのエンコードされたデータを、エンコードされたビットストリーム中に含める必要はない。その代わり、マクロブロックが「スキップされた」ことを示すためにヘッダー情報が含められる。
【００１０】
米国特許第６，１９２，１４８号は、エンコーディング処理のＤＣＴステップの前にマクロブロックがスキップされるべきか否かを予測するための方法を開示している。この方法は、ＭＶがゼロとして戻された場合にステップを動き推定後に終了するため、マクロブロックの輝度値の平均絶対差が第１の閾値よりも小さいか否か、また、マクロブロックのクロミナンス値の平均絶対差が第２の閾値よりも小さいか否かを決定する。
【００１１】
全てのエンコーディング処理において、動き推定、ＦＤＣＴ、ＩＤＣＴは、一般に、プロセッサ集約性が最も大きい。従来技術は、動き推定ステップ後にスキップされたブロックだけを予測するため、プロセッサ集約的とみなし得るステップをプロセス中に含む。
【００１２】
本発明は、動き推定ステップまたはＤＣＴステップを必要としないマクロブロックであり、スキップされるマクロブロックを予測するための方法を開示している。
【００１３】
本発明においては、ビデオ画像をエンコードする方法であって、
上記画像を複数の領域に分割するステップと、
上記各領域が更なるステップによる処理を必要とするか否かを予測するステップと、
を備え、
上記予測するステップは、１つ以上の統計学的な尺度と、各領域のための１つ以上の閾値とを比較することを備える方法を提供する。
【００１４】
したがって、本発明は、可能な場合にはプロセッサ集約的な演算を避けることにより、リソースの不必要な使用を回避する。
【００１５】
上記更なるステップは、動き補償ステップ及び／又は変換処理ステップを含むことが好ましい。
【００１６】
上記変換処理ステップは、離散コサイン変換処理ステップであることが好ましい。
【００１７】
１つの領域は、重なり合わないマクロブロックであることが好ましい。
【００１８】
１つのマクロブロックは、ピクセルの１６×１６マトリクスであることが好ましい。
【００１９】
上記統計学的な尺度のうちの１つは、マクロブロックの一部または全てのピクセル値のエネルギの推定値、かつ、随意的に量子化ステップサイズで割られる推定値が所定の閾値よりも小さいか否かかということであることが好ましい。
【００２０】
代わりに、あるいは、更に好ましくは、上記統計学的な尺度のうちの１つは、マクロブロックの１つ以上のサブブロックにおける特定の離散コサイン変換係数の値の推定値が第２の所定の閾値よりも小さいか否かかということである。
【００２１】
あるいは、上記統計学的な尺度のうちの１つは、マクロブロックのスキップに起因する歪みの推定値が所定の閾値よりも小さいか否かということである。
【００２２】
歪みの上記推定値は、上記マクロブロックに対する１つ以上の既にコード化されたマクロブロックの一部または全てのピクセル値から１つ以上の統計学的な尺度を得ることにより計算されることが好ましい。
【００２３】
歪みの上記推定値は、既にコード化されたマクロブロックに対するコード化されたマクロブロックの輝度値の絶対差の合計（ＳＡＥｎｏｓｋｉｐ）の推定値を、既にコード化されたマクロブロックに対するスキップされたマクロブロックの輝度値の絶対差の合計（ＳＡＥｓｋｉｐ）から差し引くことにより計算されてもよい。
【００２４】
ＳＡＥｎｏｓｋｉｐは、一定の値Ｋによって推定されてもよく、更に正確な方法においては既にコード化されたマクロブロックの輝度値の絶対差の合計により推定されてもよく、また、既にコード化されたマクロブロックが存在しない場合には一定の値Ｋにより推定されてもよい。
【００２５】
更に好ましくは、画像をエンコードする方法は、コンピュータで使用可能な媒体上で具現化されるコンピュータプログラムによって実行されてもよい。
【００２６】
更に好ましくは、画像をエンコードする方法は、電気回路によって行なわれてもよい。
【００２７】
離散コサイン変換係数の上記値の推定は、
上記サブブロックを４つの等しいサブ領域に分割するステップと、
サブブロックの各領域における残りのピクセル値の絶対差の合計を計算するステップであって、上記残りのピクセル値は、現在のピクセル輝度値から差し引かれる対応する基準（既にコード化された）ピクセル輝度値であるステップと、
サブブロックの各領域毎に以下のような低周波離散コサイン変換係数を推定するステップであって、
Ｙ０１＝ａｂｓ（Ａ＋Ｃ−Ｂ−Ｄ）
Ｙ１０＝ａｂｓ（Ａ＋Ｂ−Ｃ−Ｄ）
Ｙ１１＝ａｂｓ（Ａ＋Ｄ−Ｂ−Ｃ）
Ｙ０１、Ｙ１０、Ｙ１１は、３つの低周波離散コサイン変換係数を表わし、Ａ、Ｂ、Ｃ、Ｄは、サブブロックの各領域の絶対差の合計を表わし、Ａは上左側角部であり、Ｂは上右側角部であり、Ｃは下左側角部であり、Ｄは下右側角部であるステップと、
全ての計算された推定値から、離散コサイン変換係数の推定値の最大値を選択するステップと、
を含んでいてもよい。
【００２８】
ピクセル値とは、当分野では、カラーピクセルを形成する３つの成分、すなわち、輝度値および２つのクロミナンス値のうちのいずれかを示していることは言うまでもない。ある場合には、３つの成分値のうちの１つを示すため、「サンプル」値がピクセル値の代わりに使用され、また、これは、ピクセル値と置き換え可能であると見なされるべきである。
【００２９】
また、マクロブロックは、対象のフレーム内の特定のサイズのピクセルの任意の領域であってもよいことは言うまでもない。
【００３０】
以下、一例として、図面を参照しながら、本発明について説明する。
【００３１】
図１を参照すると、第１のステップ１０２は、ビデオシーケンス内の画像フレームを読み取るとともに、この画像フレームを重なり合わない複数のマクロブロック（ＭＢ）に分割する。各ＭＢは、４つの輝度ブロックと、２つのクロミナンスブロックとを含んでおり、各ブロックは８ピクセル×８ピクセルを構成している。ステップ１０４は、図２に示されるようにＭＢをエンコードする。
【００３２】
図２を参照すると、ＭＢエンコーディングプロセスが１０４で示されている。このプロセスでは、他の任意のステップの前に、決定ステップ２０２が行なわれる。
【００３３】
現在のＨ２６３エンコーディングプロセスは、これまでのところ、ビデオエンコーディングプロセスにおいて各ＭＢが一般に図２に示される順番で或いは異なる順番でステップ２０４〜ステップ２２６又はこれらと同等のプロセスを経由することを教示している。動き推定ステップ２０４は１つ以上の予測ＭＢを識別し、各予測ＭＢは、現在のＭＢからの距離のオフセット量を示すＭＶと基準画像の選択とによって画成される。動き補償ステップ２０６は、現在のＭＢから予測ＭＢを差し引いて、予測エラー（ＰＥ）ＭＢを形成する。ＭＶの値をエンコードする必要がある場合には（ステップ２０８）、随意的に予測ＭＢを参照してＭＶがエントロピーエンコードされる（ステップ２１０）。
【００３４】
その後、ＰＥ  ＭＢの各ブロックには、各ＰＥブロックのスペクトルサブバンドを表わす係数のブロックを出力する高速離散コサイン変換（ＦＤＣＴ）２１２が施される。その後、ＦＤＣＴブロックの係数は、量子化され（例えば、量子化ステップサイズで割ることにより）た後（ステップ２１４）、最も近い整数へと四捨五入される。これは、多くの係数をゼロまで減少させるという効果を有する。任意のゼロでない量子化された係数（Ｑｃｏｅｆｆ）が存在する場合（ステップ２１６）には、結果として得られるブロックがステップ２１８〜２２２によりエントロピーエンコードされる。
【００３５】
更なる予測のための復元画像を形成するために、量子化係数（Ｑｃｏｅｆｆ）は、再スケーリングされる（例えば、量子化ステップサイズを掛けることにより）（ステップ２２４）とともに、逆離散コサイン変換（ＩＤＣＴ）２２６を用いて変換される。ＩＤＣＴの後、復元されたＰＥ  ＭＢは、基準ＭＢに対して加えられ、更なる予測のために記憶される。
【００３６】
決定ステップ２２８は前のプロセスの出力を見るとともに、ＭＶがゼロに等しく且つ全てのＱｃｏｅｆｆがゼロである場合には、エンコードされた情報がビットストリームに書き込まれないが、その代わりにスキップＭＢ表示が書き込まれる。このことは、ＭＢが前回のＭＢと類似している或いは同一であると見なされることから、ＭＢをエンコードするために使用されてきた全ての処理時間が不要であったことを意味している。
【００３７】
本発明の一実施形態として、図２において、決定ステップ２０２は、現在のＭＢがスキップされる可能性が高いか否かを予測する。すなわち、決定ステップ２０２は、プロセスステップ２０２〜２２６の後にＭＢがコード化されないがその代わりにスキップ表示が書き込まれることを予測する。ＭＢがスキップされるであろうと決定ステップ２０２が予測すると、ＭＢは、ステップ２０４およびその後のプロセスステップへと移行しないが、スキップ情報がステップ２３２へと直接に送られる。
【００３８】
図３を参照すると、ＭＢをスキップさせる決定２０２のフローチャートが示されている。スキップされるＭＢは、ゼロのＭＶおよびＱｃｏｅｆｆを有している。これらの両方の条件は、現在のＭＢと基準フレーム中における当該ＭＢの位置との間に強力な類似性が存在する場合に満たされる可能性が高い。動き補償を行なうことなく現在のＭＢから基準ＭＢを差し引くことによって形成される残りのＭＢのエネルギは、以下の式によって与えられるゼロ変位を伴うＭＢの輝度部分における絶対差の合計（ＳＡＤ０ＭＢ）によって推定される。
【数１】
2006511113.tif 000003
ＣＣ（ｉ，ｊ）およびＣＰ（ｉ，ｊ）はそれぞれ、現在のフレーム内のＭＢからの輝度サンプル、および、基準フレーム内の同じ位置の輝度サンプルである。
【００３９】
また、ＳＡＤ０ＭＢと、ＭＢがスキップされる可能性との間の関係は、量子化ステップサイズによって決まる。これは、ステップサイズが大きくなると、一般に、スキップされたＭＢの割合が増大するからである。
【００４０】
第１の比較ステップ３０４では、計算値ＳＡＤ０ＭＢ（随意的に、量子化ステップサイズ（Ｑ）で割られる）３０２と第１の閾値との比較が行なわれる。計算値が第１の閾値よりも大きい場合には、ＭＢがステップ２０４に送られ、通常のエンコーディングプロセスに入る。計算値が第１の閾値よりも小さい場合には、第２の計算が行なわれる（ステップ３０６）。
【００４１】
ステップ３０６は残りのＭＢに関して更なる計算を行なう。各８×８輝度ブロックは４つの４×４ブロックに分割される。Ａ、Ｂ、Ｃ、Ｄ（式２）は各４×４ブロックのＳＡＤ値であり、Ｒ（ｉ，ｊ）は動き補償が無い残りのピクセル値である。
【数２】
2006511113.tif 000004
【００４２】
Ｙ０１、Ｙ１０、Ｙ１１（式３）は、３つの低周波ＤＣＴ係数ｃｏｅｆｆ（０，１），ｃｏｅｆｆ（１，０），ｃｏｅｆｆ（１，１）のそれぞれの大きさの複雑度が低い概算を行なう。これらの係数のいずれかが大きい場合には、ＭＢがスキップされない可能性が高い。したがって、各ブロックがスキップされる場合があるか否かを予測するためにＹ４×４ｂｌｏｃｋ（式４）が使用される。マクロブロックの輝度部分における最大値は、式５を使用して計算される。
【００４３】
【数３】
2006511113.tif 000005
【数４】
2006511113.tif 000006
【数５】
2006511113.tif 000007
【００４４】
Ｙ４×４ｍａｘの計算値は第２の閾値と比較される（ステップ３０８）。計算値が第２の閾値よりも小さい場合には、ＭＢがスキップされ、プロセスの次のステップは２３２である。計算値が第２の閾値よりも大きい場合には、ＭＢがステップ２０４およびその後のエンコーディングステップへ送られる。
【００４５】
これらのステップは、一般に、計算の複雑さに殆ど影響を与えない。ＳＡＤ０ＭＢは、通常、任意の動き補償アルゴリズムの第１のステップで計算されるため、余計な計算をする必要がない。また、ＭＢの各４×４−サンプルサブブロックにおけるＳＡＤの値を一緒に加えることによりＳＡＤ０ＭＢが計算される場合には、各４×４ブロックのＳＡＤ値（式２のＡ、Ｂ、Ｃ、Ｄ）が不利益無く計算されてもよい。
【００４６】
分類アルゴリズムの更なる計算要件は式３、４、５の演算であり、これらは一般に計算的に面倒ではない。
【００４７】
図４を参照すると、ＭＢ２０２をスキップさせる決定の更なる実施形態が記載されたフローチャートが示されている。
【００４８】
先の実施形態（図３）において、ＭＢ２０２をスキップさせる決定は、基準ＭＢに対して比較される現在のＭＢの輝度に基づいていた。この実施形態において、ＭＢ２０２をスキップさせる決定は、ＭＢのスキップに起因して生じる推定歪みに基づいている。
【００４９】
デコーダがＭＢをデコードすると、コード化された残りのデータは、デコードされるとともに、動き補償された基準フレームサプルに対して加えられ、これにより、デコードされたＭＢが生成される。当初の圧縮されていないＭＢデータに対するデコードされたＭＢの歪みは、平均２乗誤差（ＭＳＥ）によって推定することができる。当初の輝度サンプルｂｉｊと比較されるデコードされたＭＢの輝度サンプルａｉｊのためのＭＳＥは、以下によって与えられる。
【数６】
2006511113.tif 000008
【００５０】
ＭＳＥｎｏｓｋｉｐを、コード化されて送信されるマクロブロックのための輝度ＭＳＥとして画成するとともに、ＭＳＥｓｋｉｐを、スキップされる（コード化されない）ＭＢのための輝度ＭＳＥとして画成する。ＭＢがスキップされると、基準フレーム内における同じ位置のＭＢデータがデコーダによりその位置に挿入される。特定のＭＢ位置において、エンコーダは、ＭＢをコード化することを選択してもよく、あるいは、ＭＢをスキップさせることを選択してもよい。ＭＢのスキップまたはコーディング間の歪みの差ＭＳＥｄｉｆｆは、以下のように画成される。
【数７】
2006511113.tif 000009
【００５１】
ＭＳＥｄｉｆｆがゼロまたは低い値を有している場合には、ＭＢをコード化する「利益」は殆ど無く或いは全く無い。これは、ＭＢがスキップされる場合に非常に類似した復元結果が得られるからである。低い値のＭＳＥｄｉｆｆは、低い値のＭＳＥｓｋｉｐを有するＭＢを含む。この場合、基準フレーム内の同じ位置のＭＢが現在のＭＢにおいてうまくマッチする。また、低い値のＭＳＥｄｉｆｆは、高い値のＭＳＥｓｋｉｐを有するＭＢも含む。この場合、デコードされた復元されたＭＢは、量子化歪みに起因して、オリジナルのものと著しく異なっている。
【００５２】
ＭＢを選択的にスキップさせる目的は、計算を省くことである。ＭＳＥは一般にエンコーダで計算されず、そのため、式７を計算するために更なる計算コストが必要である。デコードされたＭＢの輝度サンプルにおける絶対誤差の合計（ＳＡＥ）は、以下によって与えられる。
【数８】
2006511113.tif 000010
【００５３】
ＳＡＥは、ＭＳＥとともに単調増加しており、そのため、ＭＳＥに対する歪みの適切な代わりの尺度である。したがって、ＭＢのスキップに起因する歪みの増大の推定値として、スキップされたＭＢとコード化されたＭＢとの間のＳＡＥの差である以下のようなＳＡＥｄｉｆｆが使用される。
【数９】
2006511113.tif 000011
【００５４】
ＳＡＥｓｋｉｐは、コード化されないＭＢと基準フレーム内の同じ位置の輝度データとの間の絶対誤差の合計である。これは、一般に、エンコーダにおける動き補償アルゴリズムの第１のステップとして計算され、一般にＳＡＥ００と称される。したがって、ＳＡＥｓｋｉｐは、各ＭＢの処理の初期の段階で簡単に利用できる。
【００５５】
ＳＡＥｎｏｓｋｉｐは、当初のコード化されていないＭＢと比較されるデコードされたＭＢのＳＡＥであり、一般的にはコーディング中またはデコーディング中に計算されない。また、ＭＢが実際にスキップされる場合にはＳＡＥｎｏｓｋｉｐを計算することができない。したがって、式９を計算するためには、ＳＡＥｎｏｓｋｉｐのためのモデルが必要である。
【００５６】
第１のモデルは以下の通りである。
ＳＡＥｎｏｓｋｉｐ＝Ｋ（Ｋは定数）
その後、ＳＡＥｄｉｆｆが以下のように計算される。
【数１０】
2006511113.tif 000012
【００５７】
このモデルは、計算的に簡単であるが、あまり正確ではない。これは、単純な線形傾向に合わない多くのＭＢが存在するからである。
【００５８】
他のモデルは以下の通りである。
ＳＡＥｎｏｓｋｉｐ（ｉ，ｎ）＝ＳＡＥｎｏｓｋｉｐ（ｉ，ｎ−１）
ここで、ｉは現在のＭＢ数であり、ｎは現在のフレームであり、ｎ−１は前回のコード化されたフレームである。
【００５９】
このモデルは、ＳＡＥｎｏｓｋｉｐを計算（コード化された各ＭＢ毎に１つの方程式の計算）するためにエンコーダを必要とするが、現在のＭＢにおけるＳＡＥｎｏｓｋｉｐの更に正確な推定値を与える。ＭＢ（ｉ，ｎ−１）がスキップされたＭＢである場合には、ＡＳＥｎｏｓｋｉｐ（ｉ，ｎ−１）を計算することができず、第１のモデルに戻る必要がある。
【００６０】
式９に基づき且つ前述したモデルを使用すると、ＭＢを選択的にスキップさせ従ってＭＢを処理しない２つのアルゴリズムは以下の通りである。
【００６１】
アルゴリズム（１）：
（ＳＡＥ００−Ｋ）＜Ｔである場合には、
現在のＭＢをスキップさせ、
そうでない場合には、
現在のＭＢをコード化する。
【００６２】
アルゴリズム（１）は、ＳＡＥｎｏｓｋｉｐのための簡単な近似を使用するが、簡単に実施できる。
【００６３】
アルゴリズム（２）：
（ＭＢ（ｉ，ｎ−１）がコード化された場合には、
ＳＡＥｎｏｓｋｉｐ｛推定｝＝ＳＡＥｎｏｓｋｉｐ（ｉ，ｎ−１）
そうでない場合には、
ＳＡＥｎｏｓｋｉｐ｛推定｝＝Ｋ
（ＳＡＥ００−ＳＡＥｎｏｓｋｉｐ｛推定｝）＜Ｔである場合には、
現在のＭＢをスキップさせ、
そうでない場合には、
現在のＭＢをコード化する。
【００６４】
アルゴリズム（２）は、ＳＡＥｎｏｓｋｉｐの更に正確な推定値を与えるが、スキップされていない各ＭＢのコーディング後にＳＡＥｎｏｓｋｉｐの計算および記憶を必要とする。両方のアルゴリズムにおいて、閾値パラメータＴは、スキップされたＭＢの割合を制御する。Ｔの値が高いと、スキップされるＭＢの数が増えるが、不正確にスキップされるＭＢに起因して歪みも増大する。
【００６５】
以上においては、本発明の範囲を逸脱することなく、予測の方法に対する改良および変更が加えられてもよい。
【００６６】
例えば、１つ以上の既にコード化されたマクロブロックの輝度値の絶対誤差の合計の組み合わせ又は加重組み合わせによってＳＡＥｎｏｓｋｉｐを推定することができる。また、２乗誤差または差異の合計などの統計学的な他の尺度（手段）によってＳＡＥｎｏｓｋｉｐを推定することができる。
【図面の簡単な説明】
【００６７】
【図１】ビデオ画像エンコーディング処理のフローチャートを示している。
【図２】マクロブロックエンコーディング処理のフローチャートを示している。
【図３】予測決定処理のフローチャートを示している。
【図４】他の予測決定処理のフローチャートを示している。
【図１】
2006511113.tif 000013
【図２】
2006511113.tif 000014
【図３】
2006511113.tif 000015
【図４】
2006511113.tif 000016
【国際調査報告】
2006511113.tif 000017
2006511113.tif 000018
2006511113.tif 000019