(57)【要約】動きベクトル情報のデータ転送速度を削減する過程において、動きベクトルは量子化され、量子化された値は圧縮、伝送され、さらに量子化誤差は、十分なチャネル容量が使用できるときはいつも伝送される。伝送されないときには、量子化誤差は伝送を受信するエンコーダで再現されてよい。適切な場合には、ベクトルは同等な速度値に変換され、一次変換を通して渡され、さらに必要とされるビット容量を削減する。
2004511978.tif 000002
【特許請求の範囲】
【請求項１】
ピクチャ信号を受信するステップと、該ピクチャ信号から、該ピクチャ信号の以後の符号化で使用するための、少なくとも動きベクトルを有する情報信号を形成するステップと、該動きベクトルを量子化するステップと、該量子化された動きベクトル値のそれぞれをさらに高い有意性を持つ部分と、さらに低い有意性を持つ部分に分割するステップと、低伝送チャネル容量では有意性が高い方の部分だけが送信されるように値を送信するステップと、送信されなかった有意性が低い方の部分を、該ピクチャ信号を活用する動きベクトル改良プロセスで再現するステップとを有することを特徴とするビデオ信号プロセス。
【請求項２】
さらに高い伝送チャネル容量では、有意性が高い方法の部分と有意性が低い方の部分の両方とも送信されるように値を送信することをさらに含むことを特徴とする請求項１に記載のプロセス。
【請求項３】
動きベクトルのそれぞれの成分を別々に量子化することをさらに有することを特徴とする請求項１または請求項２に記載のプロセス。
【請求項４】
チャネルが固定データチャネルであり、チャネルの現在使用可能な容量を決定し、現在使用可能な容量により可能となる場合に有意性が低い方の部分を送信するステップとをさらに有することを特徴とする前記請求項のいずれかに記載のプロセス。
【請求項５】
有意性が高い方の部分が多くのさらに有効なビットを有し、有意性が低い方の部分が多くのより有効ではないビットを有し、チャネルの現在使用可能な容量が可能にするほど多くのより有効ではないビットが送信されることを特徴とする請求項４に記載のプロセス。
【請求項６】
動きベクトルの成分が量子化され、該量子化された値が圧縮、送信され、十分なチャネル容量が使用できるときはいつでも量子化誤差がさらに送信されることを特徴とする動きベクトル情報のデータレートを削減するプロセス。
【請求項７】
チャネルが固定データチャネルであり、チャネルの現在使用可能な容量を決定し、現在使用可能な容量により可能となる場合に量子化誤差を送信するステップをさらに有する請求項６に記載のプロセス。
【請求項８】
量子化された値が多くのさらに有効なビットを有し、量子化誤差が多くのより有効ではないビットを有し、チャネルの現在使用可能な容量が可能とするほど多くのより有効ではないビットが送信されることを特徴とする請求項７に記載のプロセス。
【請求項９】
動きベクトルがランレングスコーディングを使用して圧縮されることを特徴とする前記請求項のいずれかに記載のプロセス。
【請求項１０】
動きベクトルが、量子化された動きベクトルの予想ランレングスを増加するように作られる走査パターンを使用して走査されることを特徴とする前記請求項のいずれかに記載のプロセス。
【請求項１１】
量子化ベクトルが発生頻度の降順でランレングス符号化することによって送信されることを特徴とする前記請求項のいずれかに記載のプロセス。
【請求項１２】
ベクトルの発生頻度がピクチャごとに別々に決定されることを特徴とする請求項１１に記載のプロセス。
【請求項１３】
各ベクトルの水平成分と垂直成分の両方とも、ベクトルの発生頻度を決定する上で考慮に入れられることを特徴とする請求項１１または請求項１２に記載のプロセス。
【請求項１４】
動きベクトルが、予想されるランレングスを増加するように作られる走査パターンを使用してランレングスコード化されることを特徴とする動きベクトル情報のデータレートを削減するプロセス。
【請求項１５】
ベクトルが発生頻度の降順でランレングス符号化することによって送信されることを特徴とする請求項１４に記載のプロセス。
【請求項１６】
ベクトルの発生頻度がピクチャごとに別々に決定されることを特徴とする請求項１５に記載のプロセス。
【請求項１７】
各ベクトルの水平成分と垂直成分の両方とも、ベクトルの発生頻度を決定する上で考慮に入れられることを特徴とする請求項１５または請求項１６に記載のプロセス。
【請求項１８】
動きベクトルが発生頻度の降順でラベルを付けられ、ランレングス符号化されることを特徴とする動きベクトル情報のデータレートを削減するプロセス。
【請求項１９】
動きベクトルラベルが、予想ランレングスを増加するように作られる走査パターンを使用してランレングス符号化されることを特徴とする請求項１８に記載のプロセス。
【請求項２０】
ベクトルの発生頻度がピクチャごとに別々に決定されることを特徴とする請求項１８または１９に記載のプロセス。
【請求項２１】
各ベクトルの水平成分と垂直成分の両方ともベクトルの発生頻度を決定する上で考慮に入れられることを特徴とする請求項２０に記載のプロセス。
【請求項２２】
動きベクトルの成分が、可変長エンコーダが後に続く空間変換を使用して、別々にまたは組み合わされて損失なく圧縮されることを特徴とする動きベクトル情報の平均データ転送速度を削減するプロセス。
【請求項２３】
変換が離散コサイン変換であることを特徴とする請求項２２に記載のプロセス。
【請求項２４】
受信されたピクチャ信号の各ピクチャの各領域に複数の動きピクチャがあり、各ベクトルが異なるコーディングモードと関連付けられ、ベクトルを同等な速度測度に変換することと、一次変換を速度測度に適用することとを有することを特徴とする動きベクトル情報の平均データ転送速度を削減するプロセス。
【請求項２５】
一次変換を適用するステップが、ピクチャの領域について測度の代表値を採取することと、代表値を測度に比較することを含むことを特徴とする請求項２４に記載のプロセス。
【請求項２６】
代表値が測度の１つであることを特徴とする請求項２５に記載のプロセス。
【請求項２７】
代表値が測度の平均であることを特徴とする請求項２５に記載のプロセス。
【請求項２８】
一次変換が予測及び予測誤差の集合を形成することに同等であることを特徴とする請求項２４に記載のプロセス。
【請求項２９】
動きベクトル情報入力が動きベクトルと選択された代表ベクトルの差異であり、代表ベクトルが別々に符号化されることを特徴とする前記請求項のいずれかに記載のプロセス。
【請求項３０】
代表ベクトルが入力ベクトルの関数として計算されることを特徴とする請求項２９に記載のプロセス。
【請求項３１】
代表ベクトルが、ベクトルメニューなどの外部で提供される情報の関数として計算されることを特徴とする請求項３０に記載のプロセス。
【請求項３２】
多くの候補ベクトルの識別及び特定の画素に対する前記候補ベクトルの１つまたは複数の予備的な割り当てを有する動き測定のプロセスから由来する動きベクトルを圧縮する方法であって、前記候補ベクトルを代表値の集合として定義するステップと、代表値の前記集合に関して割り当てられたベクトルを量子化するステップとを有することを特徴とする圧縮する方法。
【請求項３３】
ランレングスコード化する追加ステップを有することを特徴とする請求項３２に記載の方法。
【請求項３４】
代表値の前記集合に関して割り当てられたベクトルの量子化の誤差に気付く追加ステップと、あらゆるこのような量子化誤差をさらにコード化する追加ステップを有することを特徴とする請求項３２または請求項３３に記載の方法。
【請求項３５】
ピクチャ信号を受信する入力と、該ピクチャ信号から、該ピクチャ信号の以後の符号化で使用するための、少なくとも動きベクトルを有する情報信号を発生するための発生器と、動きベクトルを量子化する量子化装置と、該量子化された値のそれぞれを、さらに高い有意性を有する部分とさらに低い有意性を有する部分に分割する手段と、低伝送チャネル容量で、有意性が高い方の部分だけが送信されるように値を送信する手段とを有することを特徴とするビデオ信号プロセッサ。
【請求項３６】
チャネルの現在使用可能な容量を決定する手段をさらに有し、現在使用可能な容量によって可能となる場合に有意性が低い方の部分が送信されることを特徴とする請求項３５に記載のプロセッサ。
【請求項３７】
有意性が高い方の部分が多くのさらに有効なビットを有し、有意性が低い方の部分が多くのより有効ではないビットを有し、チャネルの現在使用可能な容量が可能にするほど多くのより有効ではないビットが送信されることを特徴とする請求項３６に記載のプロセッサ。
【請求項３８】
請求項３５から３７のいずれか１つのビデオプロセッサと、ピクチャ信号と情報信号を受信するように適合された下流プロセッサを有し、該下流プロセッサが、ピクチャ信号を活用する改良プロセスで、送信されなかった有意性が低い方の部分を再現するのに役立つ動きベクトルリファイナを有することを特徴とするシステム。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、例えばＭＰＥＧ−２とＭＰＥＧ−４のような動き補償ビデオ圧縮方式で使用される動きベクトルを含む動きベクトルを圧縮する方法に係わる。
【０００２】
ＭＰＥＧ−２圧縮の重要な特徴の１つが、すでに符号化、復号されている他のフレームまたはフィールドからビデオサンプルのブロックを予測する動き補償予測の使用である。元のサンプルよりむしろ予測誤差を送信することで、きわめて効率的な圧縮が達成される。予測プロセスは、各ブロックに動きベクトルを適用することにより予測されるピクチャと基準ピクチャの間の動きを補償する。次に、デコーダはエンコーダ内で行われた予測を再構築する必要があるため、圧縮されたビットストリームの一部としてそれらの動きベクタを送信する必要がある。動きベクトルの送信は、ビットレートで避けられないオーバヘッドを被る。ＭＰＥＧ−２規格では、このオーバヘッドは動きベクトルを圧縮することにより削減される。
【０００３】
ＭＰＥＧ−２規格の動きベクトル補償アルゴリズムは、隣接ブロック内の動きベクトル間に差異を形成することと、可変長コーディングを使用してこれらの差異を送信することの２つの要素から成り立っている。このアルゴリズムは、効率とＭＰＥＧ−２デコーダで得られる相対的に限られたハードウェアの複雑性の折衷案である。
【０００４】
動きベクトル補償の別の応用は、復号されたビデオ信号のＭＰＥＧ−２再符号化を助け、カスケーディングの機能的な障害を回避するために使用できるようにフォーマットされる、ＭＰＥＧ−２コーディングパラメータから構成されるデータストリームの圧縮バージョンを生成することにある。これに関してＷＯ第９８／０３０１７号が参照される。このようなデータストリームは、ここに情報ストリームと呼ばれる。一部のケースでは、使用できるチャネル容量が制限されている可能性があるため、情報ストリームの圧縮バージョンに対する要望がある。情報ストリームのビットレートを削減する１つの方法は、コーディングパラメータを送信するためにＭＰＥＧ−２シンタックス自体を使用することである。この場合、ビットレートをなおさらに削減する必要があることが判明することがあり、これはＷＯ第９９／３８３２７号に説明されるようにいくつかの動きベクトルを選択的に修正することにより行うことができる。
【０００５】
動きベクトルの圧縮に改良された技法を与えることが本発明の目的である。
【０００６】
したがって、本発明は、ある態様では、ピクチャ信号を受信するステップと、該ピクチャ信号から該ピクチャ信号の以降の符号化で使用するための、少なくとも１つの動きベクトルを有する情報信号を形成するステップと、該動きベクトルを量子化するステップと、該量子化された動きベクトル値のそれぞれをさらに高い有意性を持つ部分と、さらに低い有意性を持つ部分に分割するステップと、低伝送チャネル容量では有意性が高い方の部分だけが送信されるように該値を送信するステップと、ピクチャ信号を活用する動きベクトル改良プロセスで、送信されなかった有意性が低い方の部分を再現するステップとを有するビデオ信号プロセスにある。
【０００７】
有利なことに、プロセスは、より高い伝送チャネル容量では、有意性が高い部分と低い部分の両方とも送信されるように値を送信することを有する。プロセスが動きベクトルのそれぞれの成分を別々に量子化することを有することが適当である。
【０００８】
好ましくは、プロセスは、チャネルが固定データチャネルである場合、チャネルの現在使用可能な容量を決定し、現在使用可能な容量により可能な場合には有意性が低い方の部分を送信する追加ステップを有する。適当に、有意性が高い方の部分は多くのより有効なビットを有し、有意性が低い方の部分は多くのより有効ではないビットを有し、チャネルの現在使用可能な容量が可能にするのと同じくらい多くのより有効ではないビットが送信される。
【０００９】
別の態様では、本発明は、動きベクトル情報のデータ転送速度を削減するためのプロセスにあり、動きベクトルの成分は量子化され、該量子化された値は圧縮、送信され、量子化誤差は、さらに、十分なチャネル容量が使用できるときはいつでも送信される。
【００１０】
有利なことに、チャネルが固定データチャネルである場合、プロセスは、チャネルの現在使用可能な容量を決定し、現在使用可能な容量によって可能な場合には量子化誤差を送信する追加ステップを有する。
【００１１】
適当に、量子化された値は多くのより有効なビットを有し、量子化誤差は多くのより有効ではないビットを有し、チャネルの現在使用可能な容量が可能にするくらい多くのより有効ではないビットが送信される。
【００１２】
他の態様では、本発明は、ピクチャ内で水平に、及び少なくとも１つの追加の次元で好ましくは垂直に動きベクトルの相関性を利用する動きベクトルを圧縮するプロセスにある。
【００１３】
有利なことに、動きベクトルは、ランレングスコーディングを使用して圧縮される。好ましくは、動きベクトルは、量子化された動きベクトルの予想ランレングスを増加するように作られる走査パターンを使用して走査される。量子化されたベクトルが、発生頻度の降順でランレングス符号化により送信されるのが適当である。有利なことに、ベクトルの発生頻度は、ピクチャごとに別々に決定される。適当には、各ベクトルの水平成分と垂直成分の両方とも、ベクトルの発生頻度を決定する上で考慮に入れられる。
【００１４】
別の態様では、本発明は、動きベクトル情報のデータ転送速度を削減するプロセスにあり、動きベクトルは予想されるランレングスを増加するように作られる走査パターンを使用してランレングスコード化される。
【００１５】
好ましくは、ベクトルは、発生頻度の降順でランレングス符号化により送信される。さらに好ましくは、ベクトルの発生頻度はピクチャごとに別々に決定される。適当には、各ベクトルの水平成分と垂直成分の両方ともベクトルの発生頻度を決定する上で考慮に入れられる。
【００１６】
追加態様では、本発明は、動きベクトル情報のデータ転送速度を削減するプロセスにあり、動きベクトルは、発生頻度の降順でラベルが付けられ、ランレングス符号化される。好ましくは、動きベクトルラベルは、予想ランレングスを増加するように作られる走査パターンを使用してランレングス符号化される。ベクトルの発生頻度がピクチャごとに別々に決定されるのが適当である。好ましくは、各ベクトルの水平成分と垂直成分の両方とも、ベクトルの発生頻度を決定する上で考慮に入れられる。
【００１７】
依然として追加態様では、本発明は、動きベクトル情報の平均データ転送速度を削減するプロセスにあり、動きベクトルの成分は、別々にあるいは組み合わせて、可変長エンコーダが後に続く空間変換を使用して損失なく圧縮される。好ましくは、変換は離散コサイン変換である。
【００１８】
有利なことに、プロセスへの入力では出現しないベクトルの代わりに計算値が使用される。計算は隣接値の平均であってよいか、あるいは出力ビットレートの基準を最小限に抑えるアルゴリズムに従ってよい。
【００１９】
さらに追加の態様では、本発明は、動きベクトル情報の平均データ転送速度を削減するプロセスにあり、受信されたピクチャ信号中の各ピクチャの各領域に複数の動きベクトルがあり、それぞれのベクトルが異なるコーディングモードに関連付けられ、ベクトルを同等な速度測度に変換することと、一次変換を該速度測度に適用することとを有する。
【００２０】
好ましくは、一次変換を適用するステップは、ピクチャの領域について測度の代表値を採取することと、該代表値を該測度と比較することを含む。さらに好ましくは、該代表値は該測度の１つである。該代表値が該測度の平均となるのが適当である。
【００２１】
有利なことに、一次変換は、予測と予測誤差の集合を形成するのに同等である。
【００２２】
適当には、動きベクトル情報入力は、動きベクトルと選択された代表ベクトルの差異であり、代表ベクトルが別々に符号化される。好ましくは、代表ベクトルは入力ベクトルの関数として計算される。さらに好ましくは、代表ベクトルは、ベクトルメニューなどの外部で提供される情報の関数として計算される。
【００２３】
まだ別の態様では、本発明は、多くの候補ベクトルの識別及び前記候補ベクトルの１つまたは複数の特定的なピクチャ要素への予備的な割り当てを有する動き測定のプロセスに由来する動きベクトルを圧縮する方法にあり、方法は、前記候補ベクトルを代表値の集合として定義するステップと、前記代表値の集合に関して割り当てられたベクトルを量子化するステップとを有する。
【００２４】
好ましくは、方法は、ランレングスコード化する追加ステップを有する。適当には、方法は、代表値の前記集合に関して割り当てられたベクトルの量子化の誤差に気付く追加ステップと、さらにこのような量子化誤差をコード化する追加ステップを有する。
【００２５】
本発明の別の態様は、ピクチャ信号を受信する入力と、ピクチャ信号から、該ピクチャ信号の以降の符号化で使用するための、少なくとも動きベクトルを有する情報信号を発生する発生器と、動きベクトルを量子化する量子化装置と、量子化された値のそれぞれをさらに高い有意性を有する部分と、さらに低い優位性を有する部分に分割する手段と、低伝送チャネル容量で、有意性が高い方の部分だけが送信されるように値を送信する手段とを有するビデオ信号プロセッサを提供する。
【００２６】
好ましくは、プロセッサはチャネルの現在使用可能な容量を決定する手段を有し、現在使用可能な容量により可能である場合には有意性が低い方の部分が送信される。
【００２７】
適当には、有意性が高い方の部分は多くのさらに有効なビットを有し、有意性が低い方の部分は多くのより有効ではないビットを有し、チャネルの現在使用可能な容量が可能にするのと同じくらい多くのより有効ではないビットが送信される。
【００２８】
有利なことに、プロセッサはピクチャ信号と情報信号を受信するように適合された下流プロセッサをさらに有し、該下流プロセッサはピクチャ信号を活用する改良プロセスで、送信されなかった有意性が低い方の部分を再現するのに役立つ動きベクトルリファイナを有する。
【００２９】
本発明は、添付図面に関してここで一例として説明される。
【００３０】
さらに詳細に後述される本発明の第１実施形態による動きベクトル圧縮技法は、（単独で、及び他の組み合わせで便利である）以下の３つの処理ステップに基づいている。
【００３１】
・動きベクトルを量子化し、量子化されたベクトルが送信された後に十分な帯域幅が残っている場合にだけ量子化誤差を送信するステップ
・一定の量子化された動きベクトルの領域の二次元性質を考慮して、ランレングスを最大限にするようにランレングスコーディングのために動きベクトルを走査するステップ
・発生頻度の降順で量子化された動きベクトルの、またはそれらを表すラベルをランレングスコード化するステップ
図１を参照すると、第１のステップは、符号化されなければならない動きベクトルを量子化することである。これを行う最も簡略な方法は、ベクトルの各成分の２の補数表現から最下位ビットの固定数（例えば２）を削除することである。水平成分と垂直成分がそれぞれ９ビットで表される場合、量子化プロセスは、このようにして、ベクトルを合計１４ビットに削減するだろう。それから残りの１４ビットはここに説明される技法を使用して圧縮されるが、４つの最下位ビットは、チャネルに十分な容量が残っている場合に送信されるだろう。
【００３２】
第２のステップは量子化された動きベクトルを、ベクトルの予想ランレングスを最大限にすることを試行するように走査することである。考えられる走査パターンは以下を含む。
【００３３】
・ベクトルの直接ラスタ（行単位）走査
・犂耕体走査
・ブロックベース走査
・うず巻き走査
・ペアノ（Ｐｅａｎｏ）走査またはヒルバート（Ｈｉｌｂｅｒｔ）走査などの空間充填型曲線を使用する走査
これらのパターンの例は図２に図示されている。
【００３４】
適切に測定される場合、動きベクトルは、大部分のピクチャ題材について、ピクチャを横切り、下方へ円滑に変化する傾向がある。したがって、ベクトルが適切に量子化される場合、隣接ブロックの動きベクトルが同じ値を取るという相対的に高い蓋然性がある。したがって、水平に隣接するブロックと垂直に隣接するブロックの両方を結合する走査経路に沿ったランレングスコーディングがコーディングの効率を高める。
【００３５】
第３のステップは、発生頻度の降順で量子化された動きベクトルをランレングス符号化することである。この目的のため、ベクトルの水平成分と垂直成分がともに採取される。ベクトル値は、ピクチャ内での発生頻度に従って並べ替えられる。それから、最も頻繁なベクトルの発生が、例えば図３に図示される方法を使用するなど、ランレングスコーディングを使用する、選ばれた走査順序で送信される。それから、そのベクトルがリストから削除され、次に最も頻繁なベクトルの発生がランレングスコーディングを使用して同様に送信される。プロセスは以下の条件の１つまたは複数が満たされるまで繰り返され、選択はシステムの構成の問題である。
【００３６】
・リストから指定された数の最も頻繁なベクトルが処理された。
【００３７】
・指定された数の発生が送信された。
【００３８】
・リスト内の現在の要素で表されるベクトルの数が一定値を下回る。
【００３９】
次に、残りの量子化されたベクトルは、可変長コーディングまたは固定長コーディングのどちらかによってそれらが走査で発生する順序で伝送される。チャネル容量がこれらのベクトルに不十分であるとき、それらはビットストリームから省略される。しかしながら、本発明は、この問題がきわめてまれにしか発生しないときに使用することが意図される。
【００４０】
最後に、チャネルの容量に達するまで、量子化誤差はビット有意性の降順で送信される。チャネルの現在の占有は、通常は、ビットストリームが通過するバッファ内、及びチャネルがＭＳＢ（最上位ビット）データで完全に充填されていないときに送信される最下位ビット内でモニタされる。
【００４１】
図１は、システムの出力でのマルチプレクサを示すことが注意されるだろう。これは本発明自体の機能性の一助とはならず、単に出力が信号ビットフォームに形成されることを示すのに役立つにすぎない。
【００４２】
ビットストリームは下流でコーダによって受信される。ビットストリーム中の特定の点では、量子化された動きベクトルの最下位ビットが存在しない可能性がある。このような場合、ＬＳＢ（最下位ビット）は、改良プロセスで再現されてよい。このような改良は、通常は、動きベクトルの確度を改良する、または高めるためにＭＰＥＧ規格で利用されるプロセスなどの、ブロックのどちらかの側のある特定の誤差に対して垂直な方向で一致を検索することを含む一般的なブロック一致プロセスに類似しているだろう。しかしながら、ベクトルの最上位ビット（最初７個のビット）が通常は既知となるため、利用されるブロック一致は簡略化されてよい。このようにして、ＬＳＢ（最下位ビット）（残りの２個のビット）を再現するために、ブロック一致は、既知のＭＳＢ（最上位ビット）によって示される四分円内、つまり既知のベクトルより大きな、既知のベクトルの方向での値の検索だけを必要とする。
【００４３】
本発明には、その多様な態様において多くの重要な優位性がある。動きベクトル圧縮方式は、特に位相相関性が動き推定の方法として使用される場合でのように、特に入力ベクトルが高い空間相関性を有するときに非常に効率的である。方法は、最も重要な情報が最初に送信されるという点で拡張性がある。
【００４４】
動きベクトルビットレートを、１４個のＭＳＢ（最上位ビット）と４個のＬＳＢ（最下位ビット）に分割することは、言うまでもなく１つの代替策にすぎない。効率の順序でベクトルを別々にランレングスコード化する、説明されたプロセスには、最も頻繁ではないベクトルについての情報を最初に廃棄できるようにするという優位点がある。選ばれた走査経路に沿った量子化ベクトルの直接的なランレングスコーディングを含む他の方法が存在する。
【００４５】
本発明の追加の実施形態では、圧縮の代替方法は、通常８×８のブロック単位で動きベクトルを走査し、ＤＣＴ（離散コサイン変換）などの二次元変換を使用し、ベクトルを圧縮することである。
【００４６】
最初に図４を参照する。
【００４７】
ＭＰＥＧ−２規格に従って双方向に予測されるピクチャ（Ｂ−ピクチャ）内で動きベクトルを符号化していると仮定しよう。この場合、各マクロブロックには最高４個の動きベクトルがある。図は、プロセスがこれらの４個のベクトルに並列に適用されるのを示している。動きベクトルの水平成分と垂直成分は別々に処理され、並列に別個に符号化されてよいか、あるいはそれらは複素数の実部と虚部と見なされ、ともに符号化されてよいかのどちらである。
【００４８】
各入力ベクトルの行操作フォーマットは、最初に、例えば８×８ブロックを使うブロックベース走査に変換される。この段階でのベクトルの８×８の各ブロックが、８×８のマクロブロック、つまり元の画像の１２８×１２８ピクセルに相当する領域をカバーすることに注意する。
【００４９】
ＭＰＥＧ−２規格では、Ｂ−ピクチャ内の各マクロブロックに４個すべての動きブロックがあるわけではない。例えば、ある特定のマクロブロックは内部コード化され、ベクトルを有さないか、または１つのフレームベクトルだけを使用して前方予測されるか、あるいはそれとは正反対に、それは４個のベクトルで双方向にフィールド予測されてよい。ＤＣＴは、その６４の入力のそれぞれに１つの値を必要とするだろう。このような値が存在しない場合、補間値を計算することが必要になる。これは、例えば、単に隣接値を反復することによって、あるいは隣接値の平均または中央値を採取することによって実行できるだろう。
【００５０】
次に、方法は、変換、ジグザグ走査及び可変長コーディングの適用で標準的なＭＰＥＧ−２コーディングプロセスに従い、主要な相違点は、動きベクトル圧縮が損失なしとなることを意図されているために、量子化がないという点である。アルゴリズムの効率を最大限にするために、ジグザグ走査の形状と可変長コーダの設計の両方ともＭＰＥＧ−２規格から変えてよい。
【００５１】
順方向予測ピクチャ（Ｐ−ピクチャ）のケースでは、前記説明は当てはまるが、１マクロブロックあたり２個の動きベクトルしかない。すべてのケースで、復号プロセスは符号化プロセスの正反対であり、追加の説明を必要としない。
【００５２】
本発明のこの実施形態は、本発明の重要な優位点を提供する。それは動きベクトルを圧縮する効率的な方法を提供するが、最も計算集約的な処理ブロックはすでに標準的なＭＰＥＧ−２エンコーダ内で利用できる。
【００５３】
この方法の改善策は、各マクロブロックの４個の動きベクトルの相関性を利用することである。これを達成する一般的な方法が図５に図示される。
【００５４】
（Ｂピクチャ内の）ブロックごとに、４個のベクトルがあるだろう。つまり、それぞれｖ０とｖ１と表示される順方向フィールドベースのベクトルと逆方向フィールドベースのベクトル、及びｖ２とｖ３と表示される順方向フレームベースベクトルと逆方向フレームベースベクトルである。ここでは四分体と呼ばれるマクロブロックごとの４個のベクトルの集合は、それらのエントロピー、したがってそれらを符号化するために必要とされるビット数を削減するために一次変換を通過する。最初に、それぞれのベクトルが相当する速度を計算することによって、異なる時間間隔及びベクトルが形成される方向を補償することが必要である。したがって、変換された四分体のコーディングは、変位領域よりむしろ速度領域において実施される。
【００５５】
速度は以下のように計算される。時間枠はフィールド間の期間として採取される。したがって、順方向フィールドベース速度Ｖ０に成分ｘ０とｙ０があるとき、逆方向ベクトルは成分−ｘ１、−ｙ１を有するだろう。したがって、フレームベースのベクトルは（それらが時間的にさらに遠い余分なフィールドであるため）これらの値の２倍を有するだろう。したがって、
【００５６】
【数１】
2004511978.tif 000003
これでベクトルはすべて速度領域で表され、一次変換が適用される。四分体に適用される可能性のある変換は４×４マトリックス乗算として表現できる。ここで速度ｖｌと変換された速度ｚｊの間の適切な変換の２つの例が後述される。
【００５７】
例１
【数２】
2004511978.tif 000004
ここでは四分体の第１速度は予測として採取され、残りの３つのベクトルは第１速度に関して予測誤差として符号化される。
【００５８】
例２
【数３】
2004511978.tif 000005
第２例では、予測は４つの速度値の平均を採取することにより形成され、ベクトルの３つはその平均値に関して予測誤差として符号化される。
【００５９】
本発明のこれらの例の追加の変形が考えられる。例えば、８×８ＤＣＴ（離散コサイン変換）の代わりに以下の別の変換が使用される可能性がある。例えば、（ピクチャ全体を含むまでの）大きい方のブロックを有するＤＣＴ（離散コサイン変換）、離散フーリエ変換（ＤＦＴ）または技術で既知である他の一次変換である。空間変換及びベクトル四分体で使用される変換は、ただ１回の信号一次演算で結合されてよい。存在していない動きベクトルは、変換出力のエネルギーまたはエントロピー、つまり出力ビットレートのそれ以外の推定値を最小限に抑えるように計算されてよい。
【００６０】
マクロブロックより大きな（または小さな）尺度で利するためには、ベクトルを速度領域に変換する技法が利用されてよいことが理解されるだろう。
【００６１】
空間変換及びランレングスコーディング以外の技法も、ピクチャ内で水平に且つ垂直に動きベクトルの相関性を活用するために利用されてよいことも注意する必要がある。例えば、動きベクトルの二次元予測コーディングを利用することが便利だろう。
【００６２】
これまで説明されてきた方法は、ピクチャ内のベクトル間の相関性を利用しているが、予測ピクチャまたは以降のピクチャ内のベクトルは参照していない。これは、各ピクチャの情報が孤立することが必要とされる圧縮情報ストリームなどの用途では重要である。しかしながら、その独立性が必要とされない場合、方法は、動きベクトル間のフレーム間の差異を符号化することによって、あるいはフレーム間予測を必要とする他のなんらかの方法によって機能できる。再び、ベクトルは速度に応じて正規化できる。空間変換を必要としない方法を使用することが望ましい場合、動きベクトル相関性を水平に、垂直に且つ時間的に利用することは、動きベクトルの三次元予測コーディング方式で結合できる。
【００６３】
これまで説明された本発明の例は、任意の動き推定方式と組み合わせて使用できる。しかしながら、動き推定方式の選択は、本発明の効率にかなり関係するだろう。例えば、ＭＰＥＧ試験モデル［ＩＳＯ／ＩＥＯ、１９９６年情報技術――動画及び関連する音声情報の一般コーディング：ソフトウェアシミュレーション、国際規格ＩＳＯ／ＩＥＯ　１３８１８−５］などに説明されるようなブロック一致に基づいたいくつかの動き推定方式は、隣接するマクロブロック間に通常大きな変動を有する動きベクトルフィールドを生成する。このような方式は、ベクトルがＭＰＥＧ規格に従って符号化されるときに高い動きベクトルビットレートにつながることがあり、本発明によって提供されるさらに高い効率が使用される場合も、結果として生じるビットレートは依然として相対的に高くなる可能性がある。しかしながら、ピクチャシーケンスのきわめて相関する真の動きをより正確に測定する動き推定方式が使用されると、圧縮された動きベクトルのビットレートは、はるかに低くなる可能性がある。このような動き推定方式は位相相関［Ｌａｕ　Ｈ．及びＬｙｏｎ、Ｄ．の機能拡張されたスローモーション及び基準変換のための動き補償処理、ＩＢＣ、１９９２年アムステルダム、ＩＥＥＥ会議出版物番号第３５８号、６２−６６ページに説明される］であり、ベクトル追跡及びベクトル改良［Ｔｈｏｍａｓ、Ｇ及びＤａｎｃｅｒ、Ｓ、ＲＡＣＥ　‘ＣＯＵＧＡＲ’プロジェクト内でのＭＰＥＧコーディングのための改善された動き推定、ＩＢＣ、１９９５年アムステルダム、ＩＥＥ会議出版物番号第４１３号、２３８−２４３ページ］として知られる技法を介してＭＰＥＧコーディングに適用される。
【００６４】
ここで以下に、位相相関などの動き推定方式が使用されるときに特の適切である本発明の前記実施形態の追加の改善策の説明が行われる。位相相関技法の第１部分は、画像の大きな領域内のピクセルごとの速度を選択する、２つまたは３つの異なる速度だけを含む小さな「メニュー」を生成することである。これらの速度は、次にベクトル追跡及びベクトル改良のプロセスによってＭＰＥＧ符号化に適当なベクトルに変換される。通常、ＭＰＥＧベクトルは、元の位相相関メニューに対応する２−３の別個の速度の回りにクラスタ化されるようになる。
【００６５】
この改善された方法は、代表的なベクトルと実際のベクトルの間の残留誤差を符号化するために前記に説明されたＤＣＴ（離散コサイン変換）技法が後に続く、適当な代表速度を符号化するために周知のベクトル量子化技法を使用する。
【００６６】
改善された技法のブロック図は図６に図示されている。各ピクチャまたはピクチャ領域ごとに、代表ベクトルの集合が計算される。一般的なケースでは、これは、Ｌｉｎｄｅ−ＢｕｚＯ−Ｇｒｅｙアルゴリズム［Ｙ．Ｌｉｎｄｅ、Ａ．Ｂｕｚｏ及びＲ．Ｍ．Ｇｒａｙ「ベクトル量子化装置設計のためのアルゴリズム」、通信に関するＩＥＥＥ議事録、第ＣＯＭ−２８巻、第１番、８４ページ、９５ページ、１９８０年１月］などのベクトル量子化コードブック作成技法を使用する入力ベクトル自体を使用して行われる。ベクトルの起源が位相相関であることが知られている特定のケースでは、メニューベクトル自体を代表ベクトルの計算に使用できる。
【００６７】
それから、各ベクトルは代表ベクトルの集合と選ばれた最も近いベクトルに比較される。この段階の出力は、通常、ピクチャ内のオブジェクトまたは領域で一定であるため、ランレングス符号化技法を使用して効率的に符号化できる。一方、ベクトルの損失のない符号化を達成するために、選択された代表ベクトルが実際のベクトルから差し引かれ、その結果生じる誤差は既存のコーディングアルゴリズムを通して渡される。
【００６８】
この技法が、動きベクトルの空間変換とは関係なく利用されてよく、動き測定技法が―位相相関でのように―多くの候補ベクトルを識別してから、前記候補ベクトルの１個または複数を特定の画素に割り当てるために動作する特定の優位点を提供することが認識されるだろう。それらの画素はピクセルまたはブロックであってよい。割り当ては、実際のベクトルが確度を高めるために改良され、その場合、量子化誤差に気付き、さらに方式が損失ないままとなるようにさらにそれをコード化するオプションがあるという点で予備的であってよい。当業者は依然として他の変型を思い浮かべるだろう。
【００６９】
本発明が、例としてだけ説明され、種々の変型が本発明の範囲を逸脱することなく考えられることが理解される必要がある。
【図面の簡単な説明】
【図１】
図１は本発明のある実施形態を図解するブロック図である。
【図２】
図２は本発明で使用するための走査パターンの例を示す一連の図である。
【図３】
図３は本発明の追加態様を示すフローチャートである。
【図４】
図４は本発明の追加実施形態を示すブロック図である。
【図５】
図５は本発明の追加実施形態を示すブロック図である。
【図６】
図６は本発明の追加実施形態を示すブロック図である。
【図１】
2004511978.tif 000006
【図２】
2004511978.tif 000007
【図３】
2004511978.tif 000008
【図４】
2004511978.tif 000009
【図５】
2004511978.tif 000010
【図６】
2004511978.tif 000011
【国際公開パンフレット】
2004511978.tif 000012
2004511978.tif 000013
2004511978.tif 000014
2004511978.tif 000015
2004511978.tif 000016
2004511978.tif 000017
2004511978.tif 000018
2004511978.tif 000019
2004511978.tif 000020
2004511978.tif 000021
2004511978.tif 000022
2004511978.tif 000023
2004511978.tif 000024
2004511978.tif 000025
2004511978.tif 000026
2004511978.tif 000027
2004511978.tif 000028
2004511978.tif 000029
2004511978.tif 000030
2004511978.tif 000031
2004511978.tif 000032
2004511978.tif 000033
2004511978.tif 000034
2004511978.tif 000035
2004511978.tif 000036
2004511978.tif 000037
【国際公開パンフレット（コレクトバージョン）】
2004511978.tif 000038
【国際調査報告】
2004511978.tif 000039
2004511978.tif 000040
2004511978.tif 000041
2004511978.tif 000042
2004511978.tif 000043
2004511978.tif 000044