(57)【要約】ビデオ画像圧縮システムにおいて、１つ以上の予測フレームの画質を改良するための方法、システム及びコンピュータプログラムであって、各フレームは複数のピクセルを備える。特定種類のフレームのマクロブロックのピクチャ領域は、ある場合には、１つ以上の参照可能フレームへの参照により、別の場合には、２つ以上の参照可能フレームへの参照により、符号化される。かかる符号化は、不均等な重み付け等の補間を含んでもよい。ピクチャ領域のＤＣ値又はＡＣピクセル値も同様に、重み付けを用いて又は用いずに、補間されてもよい。可変数の双方向予測フレームを有するかかるフレームの符号パターンは、動的に決定される。フレームは、表示順序とは異なる配信順序にて、エンコーダからデコーダへ送信される。動きベクトル補償予測の間に、特定フレームのピクチャ領域にシャープ化及び／又はソフト化フィルタが適用される。
2006513592.tif 000002
【特許請求の範囲】
【請求項１】
ビデオ画像圧縮のための方法であって、
ピクチャ領域を含むフレームであって予測フレーム及び参照可能フレームを含むフレームのシーケンスを供給するステップと、
前記シーケンスにおける２つ以上の前の参照可能フレームへの参照により、少なくとも１つの予測フレームのピクチャ領域を符号化するステップと、
を備える方法。
【請求項２】
前記少なくとも１つの予測フレームが参照可能フレームを備える、
請求項１の方法。
【請求項３】
前記参照可能フレームが予測フレーム及びイントラフレームを備える、
請求項１の方法。
【請求項４】
前記予測フレームが、参照可能予測フレーム及び双方向予測フレームを備える、
請求項１の方法。
【請求項５】
前記少なくとも１つの予測フレームが双方向予測フレームを備える、
請求項４の方法。
【請求項６】
前記シーケンスにおける２つ以上の後の参照可能フレームへの参照により、双方向予測フレームのピクチャ領域を符号化するステップを更に備える、
請求項５の方法。
【請求項７】
前記２つ以上の前の参照可能フレームのうちの少なくとも１つを識別するステップを更に備える、
請求項１の方法。
【請求項８】
前記符号化するステップが、前記２つ以上の前の参照可能フレームから選択されたピクチャ領域の不均等な重み付けを用いて符号化するステップを備える、
請求項１の方法。
【請求項９】
前記不均等な重み付けを識別するステップを更に備える、
請求項８の方法。
【請求項１０】
前記不均等な重み付けが、１より大きい又は０より小さい重みを含む、
請求項８の方法。
【請求項１１】
前記フレームが、ピクチャ領域内に配置されたフレームを備えるとともに、
前記符号化するステップが、前記２つ以上の参照可能フレームに対応する不均等なピクセル値を用いて符号化するステップを備える、
請求項８の方法。
【請求項１２】
前記フレームのシーケンスが参照可能フレーム及び双方向予測フレームを含み、前記フレームの各々がマクロブロック内に配置されたピクセル値を含む、
請求項１の方法。
【請求項１３】
表示順序における１つ以上の予測フレームからの動きベクトルに基づく直接モード予測を用いて、双方向予測フレーム内の少なくとも１つのマクロブロックを決定するステップを更に備える、
請求項１２の方法。
【請求項１４】
前記符号化するステップが、前記２つ以上の前の参照可能フレームから選択されたピクチャ領域の不均等な重み付けを用いて符号化するステップを備える、
請求項１３の方法。
【請求項１５】
少なくとも１つの前記動きベクトルが、０より小さい又は１より大きいフレームスケール分数によりスケーリングされる、
請求項１４の方法。
【請求項１６】
ビデオ画像圧縮のための方法であって、
ピクチャ領域を含むフレームであって双方向予測（Ｂ）フレームと予測（Ｐ）フレーム及びイントラ（Ｉ）フレームを含む参照可能フレームとを含むフレームのシーケンスを供給するステップと、
少なくとも１つのＰフレームのピクチャ領域を、前記シーケンスにおける前の参照可能フレームであって少なくとも１つの中間の参照可能フレームだけ同Ｐフレームから隔てられている同前の参照可能フレームへの参照により、符号化するステップと、
を備える方法。
【請求項１７】
前記前の参照可能フレームを識別するステップと、
デコーダに前記識別結果の信号を送るステップと、を更に備える、
請求項１６の方法。
【請求項１８】
参照可能フレーム及び双方向予測フレームのシーケンスを有するビデオ画像圧縮システムにおいて可変数の双方向予測フレームを有するかかるフレームの符号のパターンを動的に決定するための方法であって、
参照可能フレームから始まり、少なくとも１つの直後の双方向予測フレームを有し、参照可能フレームに終わる、最初のシーケンスを選択するステップと、
前記最初のシーケンスの最後に参照可能フレームを追加し試験用シーケンスを作成するステップと、
前記試験用シーケンスを選択された評価基準に対して評価するステップと、
前記試験用シーケンスを評価するステップが満足される毎に、前記追加された参照可能フレームの前に双方向フレームを挿入するとともに、前記評価するステップを反復するステップと、
前記試験用シーケンスを評価するステップが満足されない場合、前記前の試験用シーケンスを現在の符号のパターンとして受け入れるステップと、
を含む方法。
【請求項１９】
選択された試験用シーケンスの前記フレームの少なくとも１つのピクチャ領域に対する補間混合比を決定するステップを更に備える、
請求項１８の方法。
【発明の詳細な説明】
【発明の詳細な説明】
【０００１】
関連出願の相互参照
本願は、２００１年７月１１日付けで出願された米国特許出願第０９／９０４,２０３号の一部継続出願であり、２００２年６月２８日付けで出願された米国一部継続出願第１０／１８７,３９５号に基づく優先権を主張するものである。
【技術分野】
【０００２】
本発明はビデオ圧縮に関し、詳細には、ＭＰＥＧ等の符号化及び復号化システムにおけるビデオ圧縮フレームの改良された補間に関する。
【背景技術】
【０００３】
ＭＰＥＧビデオ圧縮
ＭＰＥＧ−２及びＭＰＥＧ−４は、画像シーケンスをよりコンパクトな符号化データの形で表わす効率的な方法を提供するそれぞれのビデオシンタックスを定義する国際ビデオ圧縮標準規格である。符号化ビットの言語は、「シンタックス」である。例えば、僅かなトークンでサンプルの全ブロックを表すことができる（例えば、ＭＰＥＧ−２では６４サンプル）。両方のＭＰＥＧ標準規格には、復号化（再構成）処理も記述されており、符号化ビットを、コンパクトな表現から元のフォーマットの近似画像シーケンスへ写像する。例えば、符号化ビットストリーム内のフラグは、後続のビットを、離散コサイン変換（ＤＣＴ）アルゴリズムを用いて復号化する前に、予測アルゴリズムを用いて先に処理すべきかどうかを合図（通知）してもよい。復号化処理を含むアルゴリズムは、これらのＭＰＥＧ標準規格により定義されているセマンティックスにより規定されている。このシンタックスは、空間冗長性、時間冗長性、一様な動き、空間マスキング等の共通のビデオ特性を活用するように適用され得る。ＭＰＥＧデコーダは、入力されるデータストリームを解析し、復号化できなければならないが、データストリームが対応するＭＰＥＧシンタックスに準拠している限り、広く多様な可能なデータ構造及び圧縮技法を用いることができる（セマンティックスが整合性をもたないために、技術的には標準規格から逸脱することはあるが）。代替シンタックス内に必要なセマンティックスを持つことも可能である。
【０００４】
これらＭＰＥＧ標準規格は、イントラフレーム（フレーム内）及びインターフレーム（フレーム間）法を含む多様な圧縮法を用いる。ほとんどの映像シーンでは、動きが前景において生じている間、背景は比較的静止したままである。背景が動くこともあるが、多くのシーンは冗長であることが多い。これらＭＰＥＧ標準規格は、「イントラ」フレーム又は「Ｉフレーム」と呼ばれる基準フレームを作成することにより圧縮を開始する。Ｉフレームは、他のフレームを参照せずに圧縮されるので、フレーム全体の映像情報を含んでいる。Ｉフレームは、ランダムアクセスのためのエントリーポイントをデータビットストリームに提供するが、中程度にしか圧縮できない。Ｉフレームを表すデータは、１２から１５フレーム毎にビットストリームに配置されるのが普通である（状況によっては、Ｉフレーム間にもっと広い間隔を設けることも有用である）。従って、基準Ｉフレーム間にあるフレームの僅かな部分だけが、両側を挟むＩフレームと異なるので、その画像の差分だけが捕捉され、圧縮され、そして格納される。２種類のフレームが、かかる差分のために用いられる。即ち、予測フレーム（Ｐフレーム）及び双方向予測（又は、補間）フレーム（Ｂフレーム）である。
【０００５】
Ｐフレームは、一般に過去のフレーム（Ｉフレーム又は前のＰフレームのいずれか）を参照して符号化され、一般には後のＰフレームに参照されて用いられる。Ｐフレームはかなり高い圧縮を受ける。Ｂフレームは、最も高い圧縮量を提供するが、符号化されるために過去と未来の両方の参照フレームを必要とする。Ｐフレーム及びＩフレームは、Ｐフレーム又はＢフレームにより参照され得るので、「参照可能フレーム」である。
【０００６】
マクロブロックは、画像ピクセルからなる領域である。ＭＰＥＧ−２では、マクロブロックは、８×８のＤＣＴブロック４つを集めた１６×１６ピクセルであり、Ｐフレームについては１つの動きベクトル、Ｂフレームについては１つ又は２つの動きベクトルを伴う。Ｐフレーム内のマクロブロックは、イントラフレーム又はインターフレーム（予測）符号化のいずれかを用いて個別に符号化され得る。Ｂフレーム内のマクロブロックは、イントラフレーム符号化、順方向予測符号化、逆方向予測符号化、又は、順方向及び逆方向の両方向（即ち、双方向補間）予測符号化を用いて個別に符号化され得る。僅かに異なってはいるが類似の構造が、ＭＰＥＧ−４のビデオ符号化において用いられている。
【０００７】
符号化されると、ＭＰＥＧデータビットストリームは、Ｉ、Ｐ及びＢフレームのシーケンスを備える。シーケンスはＩ、Ｐ及びＢフレームのほとんどいかなるパターンを構成してもよい（それらの配置に多少の意味的制限はある）。しかしながら、産業上の実施においては、一定のフレームのパターン（例えば、ＩＢＢＰＢＢＰＢＢＰＢＢＰＢＢ）を有することが通常である。
【０００８】
動きベクトル予測
ＭＰＥＧ−２及びＭＰＥＧ−４（及びＨ．２６３等の類似の標準規格）においては、Ｂ型（双方向予測）フレームの使用が圧縮の効率に有利であることが分かっている。そのようなフレームの各マクロブロックに対する動きベクトルは、以下の３つの方法のいずれか１つにより予測され得る：
モード１：前のＩ又はＰフレームから順方向へ予測される（即ち、非双方向予測フレーム）。
モード２：後のＩ又はＰフレームから逆方向へ予測される。
モード３：後及び前のＩ又はＰフレームの両方から双方向に予測される。
【０００９】
モード１は、Ｐフレームに用いる順方向予測の方法と同一である。モード２は、後のフレームから逆方向に機能すること以外、同じ考え方である。モード３は、前及び後のフレームからの情報を組み合わせる補間のモードである。
【００１０】
これら３つのモードに加えて、ＭＰＥＧ−４は、Ｂフレームに対する第２の補間動きベクトル予測モード、即ち、後のＰフレームからの動きベクトル及びデルタ値を用いる直接モード予測もサポートする（同一の位置に配置されたＰのマクロブロックからの動きベクトルが８×８モードに分割される場合、１６×１６のマクロブロックに対して４つの動きベクトルがもたらされ、デルタは、Ｂフレーム内の４つの独立した動きベクトルのすべてに適用される）。後のＰフレームの動きベクトルは、前のＰ又はＩフレームを指し示す。ある比率を用いて後のＰフレームからの動きベクトルに重み付けをする。その比率は、後のＰ及び前のＰ（又はＩ）フレームに対する現在のＢフレームの相対的な時間の位置である。
【００１１】
図１は、従来技術によるフレーム及びＭＰＥＧ−４直接モードの動きベクトルの時系列である。ＭＰＥＧ−４直接モード（モード４）の概念は、中間にある各Ｂフレームにおけるマクロブロックの動きが、後続するＰフレームにおいて同じ位置を符号化するために用いられた動きに近くなりそうだということである。後のＰフレームのための対応する動きベクトル（ＭＶ）１０３から導き出される比例する動きベクトルに小さな補正をするために、デルタ（delta）が用いられる。図１においては、中間のＢフレーム１０４ａ、１０４ｂのそれぞれに対する動きベクトル１０１、１０２に、前のＰ又はＩフレーム１０５と後のＰフレーム１０６との間の「時間距離」の関数として与えられる比例した重み付けが示されている。対応する中間のＢフレーム１０４ａ、１０４ｂに割り当てられた動きベクトル１０１、１０２は、後のＰフレームに対する動きベクトル１０３を割り当てられた重み値（それぞれ、１／３及び２／３）倍し、デルタ値を加えたものに等しい。
【００１２】
ＭＰＥＧ−２の場合、Ｂフレームに対するすべての予測モードが符号化に際して検査され、各マクロブロックに対する最良の予測を見出すために比較される。良好な予測がなければ、そのマクロブロックは、「Ｉ」（「イントラ」）マクロブロックとして、独立した形で符号化される。符号化モードは順方向（モード１）、逆方向（モード２）及び双方向（モード３）の間の最良のモード若しくはイントラ符号化として選択される。ＭＰＥＧ−４の場合、イントラ符号化の選択は認められない。代わりに直接モードが第４の選択肢となる。さらに最良の符号化モードは、何らかの最良一致の基準に基づいて選択される。ＭＰＥＧ−２及びＭＰＥＧ−４の基準ソフトウエアエンコーダにおいては、ＤＣ一致（絶対差分和（Sum  of  Absolute  Difference）、即ち「ＳＡＤ」）を用いて最良の一致が決定される。
【００１３】
ＭＰＥＧにおいては、符号化されたデータビットストリームにおける連続するＢフレームの数は「Ｍ」パラーメータの値により決定される。Ｍ−１は各Ｐフレームと次のＰ（又はＩ）フレーム間のＢフレームの数である。したがって、Ｍ＝３の場合、図１にて示されるように、各Ｐ（又はＩ）フレーム間に２つのＢフレームがある。Ｐ（又はＩ）フレーム間の動きの変化の量が大きくなることが、Ｍの値、したがって連続するＢフレームの数に、主な制限を加えている。Ｂフレームの数をより多くすることは、Ｐ（又はＩ）フレーム間の時間がより長くなることを意味する。それゆえに、効率及び動きベクトルの符号化範囲の制約が中間にあるＢフレームの数の最終的な限界の原因となっている。
【００１４】
復号化されるＰフレームはそれぞれ次の後のＰフレームを予測するための開始点として用いられるので、Ｐフレームは動画ストリームとともに「変化のエネルギー（change  energy）」を順方向に運ぶということに注意することも重要である。しかしながら、Ｂフレームは使用後廃棄される。それゆえに、Ｂフレームを生成するために用いられるいかなるビットもそのフレームのためだけに用いられ、Ｐフレームと異なり、後のフレームの複合化を援助する補正を供給しない。
【発明の開示】
【００１５】
本発明は、各フレームが複数のピクセルを備えるビデオ画像圧縮システムにおいて１つ以上の予測フレームの画質を改良するための方法、システム及びコンピュータプログラムに向けられている。
【００１６】
一側面においては、本発明は、連続する双方向予測フレームを挟む非双方向予測フレームにおける対応するピクセル値の重み付けされた比として、各双方向予測フレームの各ピクセルの値を決定する。一実施例においては、重み付けされた比は、両側を挟む非双方向予測フレーム間の距離の関数である。他の実施例においては、重み付けされた比は、両側を挟む非双方向予測フレームのフレーム間距離と両側を挟む非双方向予測フレームの均等平均（equal  average）との混合された関数である。
【００１７】
本発明のもう一つの側面においては、線形空間又は元の非線形な表現とは異なる他の最適化された非線形空間における表現上で、ピクセル値の補間が実行される。
【００１８】
本発明の他の側面は、以下を包含するシステム、コンピュータプログラム及び方法を含む：
【００１９】
・ピクチャ領域を備える参照可能フレームのシーケンスを有するビデオ画像圧縮システムであって、少なくとも１つの予測フレームの少なくとも１つのピクチャ領域が、２つ以上の参照可能フレームへの参照により符号化されるシステム。
【００２０】
・ピクチャ領域を備える参照可能フレームのシーケンスを有するビデオ画像圧縮システムであって、少なくとも１つの予測フレームの少なくとも１つのピクチャ領域が、表示順序における１つ以上の参照可能フレームへの参照により符号化され、ここにおいて、少なくとも１つのかかる参照可能フレームが、前記少なくとも１つの予測フレームに表示順序において最も近い前の参照可能フレームではないシステム。
【００２１】
・マクロブロックを備える参照可能フレームのシーケンスを有するビデオ画像圧縮システムであって、少なくとも１つの予測フレーム内の少なくとも１つのマクロブロックが、２つ以上の参照可能フレームからの補間により符号化されるシステム。
【００２２】
・ピクチャ領域を備える参照可能フレーム及び双方向予測フレームのシーケンスを有するビデオ画像圧縮システムであって、少なくとも１つの双方向予測フレームの少なくとも１つのピクチャ領域が３つ以上の動きベクトルを含むように符号化され、かかる動きベクトルのそれぞれが少なくとも１つの参照可能フレームにおける対応するピクチャ領域を参照するシステム。
【００２３】
・ピクチャ領域を備える参照可能フレームのシーケンスを有するビデオ画像圧縮システムであって、少なくとも１つの予測フレームの少なくとも１つのピクチャ領域が、少なくとも２つの動きベクトルを含むように符号化され、かかる動きベクトルのそれぞれが、参照可能フレームにおける対応するピクチャ領域を参照し、ここで、かかる少なくとも１つの予測フレームのかかるピクチャ領域のそれぞれが、２つ以上の参照可能フレームからの補間により符号化されるシステム。
【００２４】
・ピクチャ領域を備える参照可能フレーム及び双方向予測フレームのシーケンスを有するビデオ画像圧縮システムであって、少なくとも１つの双方向予測フレームの少なくとも１つのピクチャ領域が、２つ以上の参照可能フレームからの選択されたピクチャ領域の不均等な重み付けとして符号化されるシステム。
【００２５】
・ピクチャ領域を備える参照可能フレーム及び双方向予測フレームのシーケンスを有するビデオ画像圧縮システムであって、少なくとも１つの双方向予測フレームの少なくとも１つのピクチャ領域が、２つ以上の参照可能フレームからの補間により符号化され、ここで、前記２つ以上の参照可能フレームのうちの少なくとも１つが表示順序において少なくとも１つの中間の参照可能フレームだけ前記双方向予測フレームから隔てられており、且つ、かかる少なくとも１つのピクチャ領域が、かかる少なくとも２つ以上の参照可能フレームの選択されたピクチャ領域の不均等な重み付けとして符号化されるシステム。
【００２６】
・ピクチャ領域を備える参照可能フレーム及び双方向予測フレームのシーケンスを有するビデオ画像圧縮システムであって、少なくとも１つの双方向予測フレームの少なくとも１つのピクチャ領域が、２つ以上の参照可能フレームからの補間により符号化され、ここで、前記２つ以上の参照可能フレームのうちの少なくとも１つが表示順序において少なくとも１つの中間の後の参照可能フレームだけ前記双方向予測フレームから隔てられているシステム。
【００２７】
・ピクチャ領域を備える参照可能フレーム及び双方向予測フレームのシーケンスを有するビデオ画像圧縮システムであって、少なくとも１つの双方向予測フレームの少なくとも１つのピクチャ領域が、２つ以上の参照可能フレームの選択されたピクチャ領域からの不均等な重み付けとして符号化されるシステム。
【００２８】
・マクロブロック内に配置されたピクセル値をそれぞれ備える予測フレーム及び双方向予測フレームのシーケンスを有するビデオ画像圧縮システムであって、双方向予測フレーム内の少なくとも１つのマクロブロックが、２つ以上の予測フレームからの動きベクトルに基づいて直接モード予測を用いて決定されるシステム。
【００２９】
・マクロブロック内に配置されたピクセル値をそれぞれ備える参照可能フレーム及び双方向予測フレームのシーケンスを有するビデオ画像圧縮システムであって、双方向予測フレーム内の少なくとも１つのマクロブロックが表示順序における１つ以上の予測フレームからの動きベクトルに基づいて直接モード予測を用いて決定され、ここにおいて、かかる１つ以上の予測フレームのうちの少なくとも１つが表示順序において前記双方向予測フレームの前にあるシステム。
【００３０】
・マクロブロック内に配置されたピクセル値をそれぞれ備える参照可能フレーム及び双方向予測フレームのシーケンスを有するビデオ画像圧縮システムであって、双方向予測フレーム内の少なくとも１つのマクロブロックが、１つ以上の予測フレームからの動きベクトルに基づいて直接モード予測を用いて決定され、ここにおいて、かかる１つ以上の予測フレームのうちの少なくとも１つが表示順序において前記双方向予測フレームの後にあるとともに少なくとも１つの中間の参照可能フレームだけ前記双方向予測フレームから隔てられているシステム。
【００３１】
・ＤＣ値を有する複数のピクチャ領域であってＡＣピクセル値をそれぞれ有するピクセルをそれぞれが備えるピクチャ領域を備えるフレームのシーケンスを有するビデオ画像圧縮システムであって、少なくとも１つのフレームの少なくとも１つのピクチャ領域の前記ＤＣ値及び前記ＡＣピクセル値のうちの少なくとも１つが、少なくとも１つの他のフレームからの対応するそれぞれのＤＣ値及びＡＣピクセル値の重み付けされた補間として決定されるシステム。
【００３２】
・ＤＣ値を有する複数のピクチャ領域であってＡＣピクセル値をそれぞれ有するピクセルをそれぞれが備えるピクチャ領域を備える参照可能フレームのシーケンスを有するビデオ画像圧縮システムであって、少なくとも１つの予測フレームの少なくとも１つのピクチャ領域の前記ＤＣ値及びＡＣピクセル値のうちの少なくとも１つが、２つ以上の参照可能フレームの対応するそれぞれのＤＣ値及びＡＣピクセル値から補間されるシステム。
【００３３】
・各フレームがＤＣ値を有する複数のピクチャ領域を備えるとともに、かかるピクチャ領域のそれぞれがＡＣピクセル値をそれぞれ有するピクセルを備えるビデオ画像圧縮システムにおいて一連の２つ以上の双方向予測中間フレームの画質を改良することであって、双方向予測中間フレームの各ピクチャ領域の前記ＡＣピクセル値を前記一連の双方向予測中間フレームを挟む参照可能フレームにおける対応するＡＣピクセル値の第１の重み付けされた比として決定することと、かかる双方向予測中間フレームの各ピクチャ領域の前記ＤＣ値を前記一連の双方向予測中間フレームを挟む参照可能フレームにおける対応するＤＣ値の第２の重み付けされた比として決定することと、のうちの少なくとも１つを含む。
最初の表現を有する複数のピクセルを備えるフレームのシーケンスを有するビデオ画像圧縮システムであって、少なくとも１つのフレームの前記ピクセルが、少なくとも２つの他のフレームの対応するピクセルから補間され、ここにおいて、前記少なくとも２つの他のフレームのかかる対応するピクセルが、異なる表現に変換されているうちに補間され、且つ、その結果として得られる補間されたピクセルが前記最初の表現に戻るように変換されるシステム。
【００３４】
・参照可能フレーム及び双方向予測フレームのシーケンスを有するビデオ画像圧縮システムにおいて可変数の双方向予測フレームを有するかかるフレームの符号のパターンを動的に決定することであって、参照可能フレームから始まり、少なくとも１つの直後の双方向予測フレームを有し、参照可能フレームに終わる、最初のシーケンスを選択することと、前記最初のシーケンスの最後に参照可能フレームを追加し試験用シーケンスを作成することと、試験用シーケンスを選択された評価基準に対して評価することと、前記試験用シーケンスを評価するステップが満足される毎に前記追加された参照可能フレームの前に双方向フレームを挿入するとともに、前記評価するステップを反復することと、前記試験用シーケンスを評価するステップが満足されない場合、前記前の試験用シーケンスを現在の符号のパターンとして受け入れることと、を含む。
【００３５】
・少なくとも１つの双方向予測フレームだけ隔てられた参照可能フレームのシーケンスを有するビデオ画像圧縮システムであって、かかる双方向予測フレームの数がかかるシーケンスにおいて変化し、且つ、少なくとも１つのかかる双方向予測フレームの少なくとも１つのピクチャ領域が少なくとも２つの参照可能フレームに対応するピクセル値の不均等な重み付けを用いて決定されるシステム。
【００３６】
・デコーダにより復号化するためにコーダにより符号化されたフレームのシーケンスを有するビデオ画像圧縮システムであって、少なくとも１つのフレームの少なくとも１つのピクチャ領域が２つ以上の他のフレームの重み付けされた補間に基づいており、かかる重み付けされた補間が前記コーダ及びデコーダが利用できる少なくとも１組の重みに基づいており、ここにおいて、かかる少なくとも１組の重みのうちの選択された１つのための指示が前記コーダからデコーダへ伝達され、１つ以上の現時点において有効な重みを選択するシステム。
【００３７】
・デコーダにより復号化するためにコーダにより符号化されたフレームのシーケンスを有するビデオ画像圧縮システムであって、少なくとも１つのフレームの少なくとも１つのピクチャ領域が２つ以上の他のフレームの重み付けされた補間に基づいており、かかる重み付けされた補間が少なくとも１組の重みに基づいており、ここにおいて、少なくとも１組の重みがデコーダへダウンロードされ、その後、かかる少なくとも１組の重みのうちの選択された１つのための指示が前記コーダからデコーダへ伝達され、１つ以上の現時点において有効な重みを選択するシステム。
【００３８】
・デコーダにより復号化するためにコーダにより符号化された参照可能フレームのシーケンスを有するビデオ画像圧縮システムであって、前記参照可能フレームのシーケンスにおける予測フレームが、復号化後のかかる予測フレームの表示順序とは異なる配信順序に従って、前記コーダにより前記デコーダへ送信されるシステム。
【００３９】
・ピクチャ領域内に配置されたピクセルを備える参照可能フレームのシーケンスを有するビデオ画像圧縮システムであって、少なくとも１つの予測フレームの少なくとも１つのピクチャ領域が２つ以上の参照可能フレームへの参照により符号化され、ここにおいて、かかるピクチャ領域のそれぞれがかかる２つ以上の参照可能フレームに対応するピクセル値の不均等な重み付けを用いて決定されるシステム。
【００４０】
・ピクチャ領域をそれぞれ備える予測フレーム、双方向予測フレーム及びイントラフレームのシーケンスを有するビデオ画像圧縮システムであって、シャープ化（sharpening）及びソフト化（softening）のフィルタ（filter）の組から選択された少なくとも１つのフィルタが、予測フレーム又は双方向予測フレームの動きベクトル補償予測の間に、かかる予測フレーム又は双方向予測フレームの少なくとも１つのピクチャ領域に適用されるシステム。
【００４１】
本発明の１つ以上の実施の形態の詳細を添付図面と以下の説明で述べる。本発明の他の特徴、目的、そして利点は、その説明と図面及び請求の範囲から明らかとなろう。なお、種々の図において同様な要素には同様な参照符号を付する。
【００４２】
詳細な説明
概観
本発明の一側面は、各Ｐ（又はＩ）フレーム間に２つのＢフレームを提供する３のＭ値を使用することが一般的であるという認識に基づいている。しかしながら、Ｍ＝２及びＭ＝４又はそれより大きな値もすべて有用である。Ｍ値（Ｂフレームの数足す１）はまたフレームレートと自然な関係を生じることに留意することは特に重要である。映画の速度である毎秒２４フレーム（２４ｆｐｓ）では、フレーム間の１／２４秒の時間距離は十分なフレーム間の画像の変化をもたらしうる。しかしながら、６０ｆｐｓや７２ｆｐｓあるいはそれより高いフレームレートでは、隣接するフレーム間の時間距離は相応して減少する。したがって、フレームレートが増大するにつれて、Ｂフレームの数を大きくする（即ちＭ値を大きくする）ことは、圧縮の効率に有用且つ有益である。
【００４３】
本発明のもう一つの側面は、ＭＰＥＧ−２及びＭＰＥＧ−４ビデオ圧縮が両方とも単純化し過ぎた補間法を利用しているとの認識に基づいている。例えば、モード３の場合には、あるフレームの各マクロブロックに対する双方向予測は、２つの対応する動きベクトルによって置換されるとき、後及び前のフレームのマクロブロックの均等平均である。この均等平均は、Ｍ値が２（即ち１つの中間Ｂフレーム）の場合には、前及び後のＰ（又はＩ）フレームから時間的に等しい距離にＢフレームがあるため、適切である。しかしながら、すべてのより大きなＭ値に対しては、対称中心にあるＢフレーム（即ちＭ＝４，６，８等の場合の真ん中のフレーム）だけが均等な重みを用いて最適に予測されることになる。同様に、ＭＰＥＧ−４直接モード４において、動きベクトルは比例するように重み付けされるとしても、各中間Ｂフレームに対する予測ピクセル値は前のＰ（又はＩ）フレーム及び後のＰフレームの対応するピクセルの均等な比となっている。
【００４４】
それゆえに、Ｍ＞２の場合、各Ｂフレームに対する予測ピクセル値に適切な比例した重み付けを適用することにより改良ができる。現在のＢフレームにおける各ピクセルに対する比例した重み付けは、前及び後のＰ（又はＩ）フレームに関する現在のＢフレームの相対的な位置に対応する。それゆえに、Ｍ＝３の場合、最初のＢフレームは、前のフレームの（動きベクトルが調整された）対応するピクセル値の２／３と、後のフレームの（動きベクトルが調整された）対応するピクセル値の１／３と、を用いる。
【００４５】
図２は、本発明の本側面によるフレーム及び比例したピクセルの重み付け値の時系列である。各中間Ｂフレーム２０１ａ、２０１ｂの各マクロブロック内のピクセル値は前のＰ又はＩフレームＡ及び次のＰ又はＩフレームＢの間の「距離」の関数として、より近しいＩ又はＰフレームによる重みを大きくしながら、重み付けされる。つまり、双方向予測Ｂフレームの各ピクセル値は、両側を挟む非双方向予測フレームＡ及びＢの対応するピクセル値の重み付けされた組み合わせである。Ｍ＝３の場合であるこの例においては、第１のＢフレーム２０１ａに対する重みは2/3Ａ＋1/3Ｂとなり、第２のＢフレーム２０１ｂに対する重みは1/3Ａ＋2/3Ｂとなる。従来のＭＰＥＧシステムで割り当てられる均等平均重みも示されている。各Ｂフレーム２０１ａ、２０１ｂに対するＭＰＥＧ−１、２及び４の重みは、（Ａ＋Ｂ）／２と等しい。
【００４６】
拡張されたダイナミックレンジ及びコントラストレンジへの適用
Ｍが２より大きいと、中間Ｂフレームにおけるピクセル値の比例した重み付けは、多くの場合、双方向（モード３）及び直接（モード４）符号化の効果を改良する。実例となるケースには、フェードアウトやクロスディゾルブのような一般的な映画やビデオの編集効果が含まれる。ＭＰＥＧ−２及びＭＰＥＧ−４の両方に対して、単純なＤＣ一致のアルゴリズム（DC  matching  algorithm）の使用及び一般的なＭ＝３（即ち２つの中間Ｂフレーム）の使用は、Ｂフレームに対する均等な比に帰着することとなるため、これらのビデオ効果の種類は、問題のある符号化の実例である。かかる場合の符号化は本発明による比例したＢフレームの補間を用いることにより改良される。
【００４７】
また、比例したＢフレームの補間は、拡張されたダイナミックレンジ及びコントラストレンジに対する符号化の効率の改良に直接的に適用される。画像符号化において通常起こることは、照明の変化である。これは、対象が次第に影（淡い影（soft  shadow）の端）の中に入る（あるいは外に出る）ときに起こる。対数の符号化表現が輝度に対して用いられる（例えば対数輝度Ｙにより具体化されるように）ならば、照明の輝度変化はＤＣオフセット量の変化になるだろう。照明の輝度が半分に落ちれば、ピクセル値はすべて等しい量だけ減少する。それゆえに、この変化を符号化するため、ＡＣ一致が見つけられるべきであり、かつ、符号化されたＤＣ差がその領域に適用されるべきである。Ｐフレーム内に符号化されているＤＣ差は、間にあるＢフレームのそれぞれにも同様に比例して適用されるべきである（本発明の譲受人へ譲渡された「圧縮画像の色度情報を改良するための方法及びシステム」（"Method  and  System  for  Improving  Compressed  Image  Chroma  Information”）と題する係属中の米国特許出願第０９／９０５，０３９号を参照のこと。対数符号化表現に関する追加情報として引用して本明細書に組み込む。）。
【００４８】
照明の変化に加えて、コントラストの変化も比例したＢフレームの補間による利益を得る。例えば、飛行機が雲や霞から飛び出し、観察者へ向かって移動するにつれて、そのコントラストは次第に増加する。このコントラストの増加は、対応するＰフレームの符号化されたマクロブロックにおけるＤＣＴのＡＣ係数において、振幅の増大として表される。この場合もやはり、中間にあるＢフレームのコントラストの変化は比例した補間（proportional  interpolation）により最もよく近似され、それゆえに、符号化の効率を改良することができる。
【００４９】
比例したＢフレームの補間の使用によるダイナミックレンジ及びダイナミックコントラストの符号化の効率における改良は、フレームレートが高くなり、Ｍ値が増大するにつれてますます重要になる。
【００５０】
時相階層化(temporal  layering)への高Ｍ値の適用
本発明の実施例を用いることは、符号化の効率を維持し又は増加させると同時に、Ｍ値従って両側を挟むＰ及び／又はＩフレーム間のＢフレームの数を増加させることを可能にする。かかる使用は、時相階層化を含む多くの応用に有益である。例えば、「先端的テレビのための時相及び解像度の階層化」（"Temporal  and  Resolution  Layering  for  Advanced  Television”）と題する米国特許第５，９８８，８６３号（本発明の譲受人へ譲渡され、引用して本明細書に組み込む。）においては、Ｂフレームは、階層化された時相の（フレーム）レートに適した構造であることが特筆されている。かかるレートの適応性は、利用可能な連続したＢフレームの数に関係する。例えば、Ｂフレームが１つ（Ｍ＝２）の場合、７２ｆｐｓのストリーム内においては、３６ｆｐｓの時相層を復号化することができ、又は、６０ｆｐｓストリーム内においては、３０ｆｐｓの時相層を復号化することができる。Ｂフレームが３つ（Ｍ＝４）の場合、７２ｆｐｓストリーム内において、３６ｆｐｓ及び１８ｆｐｓの両方の時相層を復号化することができ、６０ｆｐｓストリーム内において、３０ｆｐｓ及び１５ｆｐｓの両方の時相層を復号化することができる。１２０ｆｐｓストリーム内においてＭ＝１０を用いると、１２ｆｐｓ、２４ｆｐｓ及び６０ｆｐｓの時相層を復号化することができる。１４４ｆｐｓストリームとともにＭ＝４を用いても、７２ｆｐｓ及び３６ｆｐｓの時相層を復号化することができる。
【００５１】
「時相及び解像度の階層化の向上」（"Enhancements  to  Temporal  and  Resolution  Layering”）と題する係属中の米国特許出願第０９／５４５，２３３号（本発明の譲受人へ譲渡され、引用して本明細書に組み込む。）において記述されているように、すべてのＮ番目のフレームを取り出すことの改良として、１２０ｆｐｓ又は７２ｆｐｓの複数のフレームを復号化するとともに比例して混合し、２４ｆｐｓでのモーションブラー（motion  blur）特性を改良することができる。
【００５２】
「動き補償とフレームレート変換のためのシステムと方法」（"System  and  Method  for  Motion  Compensation  and  Frame  Rate  Conversion”）と題する係属中の米国特許出願第０９／４３５，２７７号（本発明の譲受人へ譲渡され、引用して本明細書に組み込む。）に記述されている方法を利用して、より高いフレームレートを合成することができる。例えば、７２ｆｐｓのカメラ原本（camera  original）を、動き補償のフレームレート変換とともに使用し、毎秒２８８フレームの実効的なフレームレートを作り出すことができる。Ｍ＝１２を用いれば、４８ｆｐｓ及び２４ｆｐｓの両方のフレームレートを得ることができるだけでなく、１４４ｆｐｓ、９６ｆｐｓ及び３２ｆｐｓ（そしてもちろん元の７２ｆｐｓ）等の他の有用なレートを得ることができる。この方法によるフレームレート変換は、整数倍であることを必要としない。例えば、１２０ｆｐｓの実効レートは、７２ｆｐｓの元データから生成され得、さらに、（Ｍ＝１０を用いると）６０ｆｐｓ及び２４ｆｐｓの両方のレートのための元データとしても用いられ得る。
【００５３】
それゆえに、Ｂフレーム補間の性能を最適化する際に時相階層化は利益をもたらす。上述した比例したＢフレームの補間は、より大きな数の連続したＢフレームをより効率的に機能せしめ、したがって、これらの受益を可能とする。
【００５４】
混合されたＢフレーム補間比
Ｂフレームのピクセル値に対する動き補償モード予測子として、均等平均重み付けが従来のシステムで用いられてきた１つの理由は、特定のＢフレームの前後にあるＰ（又はＩ）フレームがノイズを多く含み、従って、不十分な一致を表すかもしれないからである。均等な混合は、補間された動き補償ブロックにおいて、ノイズを最大限減少する。残差は量子化ＤＣＴ関数を用いて符号化される。もちろん、動き補償の比との一致が良好であるほど、要求される残差ビットは少なくなり、結果として得られる画質も高くなる。
【００５５】
影や霞に入ったり出たりする対象がある場合に、Ｍ＞２ならば、真の比はより良好な予測を提供する。しかしながら、明るさ及びコントラストが変化しないときは、均等重み付けはより良好な予測子となるかもしれない。なぜなら、動きベクトルに沿ってマクロブロックを順方向へ移動させる際の誤差が、逆方向へ移動するブロックからの誤差で平均化され、ゆえに、半分だけ各々における誤差が減少するからである。そうだとしても、Ｂフレームのマクロブロックは、離れたＰ（又はＩ）フレームよりも、より近くにあるＰ（又はＩ）フレームと、より強い相関関係を持ちそうである。
【００５６】
それゆえに、局所的なコントラスト又は明るさの変化があるような一定の状況においては、上述したように、Ｂフレームのマクロブロックのピクセル重み付けに対して（輝度及び色度の両方について）真の比を利用することが望ましい。他の状況においては、ＭＰＥＧ−２及びＭＰＥＧ−４と同様に、均等な比を利用することが、より最適なこともある。
【００５７】
本発明のもう一つの側面は、これら２つの比の技法（均等平均及びフレームの距離の比）の混合を、Ｂフレームのピクセル補間のために利用する。例えば、Ｍ＝３の場合には、１／３及び２／３の３／４を比とし、均等平均の１／４と組み合わせることで、２つの比は３／８と５／８になる。この技法は「混合因子」Ｆを用いて、一般化され、
Weight＝Ｆ・(FrameDistanceProportionalWeight)＋(１−Ｆ)・(EqualAverageWeight)
となる。実用的な混合因子Ｆの範囲は、完全な比例補間を示す１から、完全な均等平均を示す０までである（逆数をとってもよい）。
【００５８】
図３は、本発明の本側面によるフレーム並びに混合、比例及び均等ピクセル重み付け値の時系列である。各中間Ｂフレーム３０１ａ、３０１ｂの各マクロブロックのピクセル値は、前のＰ又はＩフレームＡと次のＰ又はＩフレームＢ間の「時間距離」の関数として、及び、ＡとＢの均等平均の関数として、重み付けされる。この例は、Ｍ＝３及び混合因子Ｆ＝３／４の場合であり、第１のＢフレーム３０１ａに対する混合された重み付けは5/8Ａ＋3/8Ｂ（即ち、比例した重み付けである2/3Ａ＋1/3Ｂの３／４倍に均等平均の重み付けである（Ａ＋Ｂ）／２の１／４倍を加えたもの）となる。同様に、第２のＢフレーム３０１ｂに対する重み付けは3/8Ａ＋5/8Ｂとなる。
【００５９】
混合因子Ｆの値は、完全な符号化の全体に対して、又は、各ＧＯＰ（group  of  picture）、Ｂフレームの範囲、各Ｂフレーム、あるいはＢフレーム内の各領域（例えば、可能な限り細かく、各マクロブロックあるいは８ｘ８モードでＰベクトルを用いるＭＰＥＧ−４直接モードの場合には、個別の８ｘ８動きブロックさえも含む）に対して設定され得る。
【００６０】
ビットの節約を促進するために、そして通常、混合比は各マクロブロックに伝えられるほど重要ではないという事実を反映し、混合の最適な使用は圧縮される画像の種類に関係するはずである。例えば、フェードしている画像、ディゾルブしている画像又は全体の明るさやコントラストが次第に変化している画像に対しては、混合因子Ｆを１かそれに近い値（即ち、比例した補間を選択すること）とすることが、一般的に最適である。かかる明るさやコントラストの変化がない連続する画像に対しては、２／３や１／２や１／３のようなより小さな混合因子値が最良の選択となり、それによって、いくらかの均等平均補間の利益と同様に、いくらかの比例補間の利益が保たれる。０から１の範囲内のすべての混合因子値は一般に有用であり、与えられたいかなるＢフレームに対しても、この範囲内のある特定の値が最適となる。
【００６１】
広いダイナミックレンジ及び広いコントラストレンジの画像に対しては、局所的な領域の特性に依存して、混合因子は局所的に決定され得る。しかしながら一般には、広い範囲の明るさやコントラストは、混合因子値が均等平均補間よりむしろ完全な比例補間を支持するように促す。
【００６２】
特定のシーンの種類から得られる知識を用いて、シーンの種類によって混合因子の表を作成するのではあるが、最適な混合因子は一般には経験的に決定される。例えば、画像変化特性の決定を使用し、フレーム又は領域に対する混合比を選択することができる。あるいは、Ｂフレームは多くの混合因子の候補（フレーム全体と領域のどちらかに対して）を用いて符号化され、同時に、それぞれが画質を最適化し（例えば最大信号雑音比（ＳＮＲ）によって決定される）、さらに、最も少ないビット数となるために評価され得る。これらの候補の評価を使用し、混合比の最良値を選択することができる。画像の変化の特性及び符号化の質／効率の両方の組み合わせも、使用され得る。
【００６３】
Ｂフレームのシーケンスの真ん中付近のＢフレーム又は低Ｍ値の結果得られるＢフレームは、算出される比がすでに均等平均に近くなるため、ほとんど比例補間による影響を受けない。しかしながら、高Ｍ値の場合、端に位置するＢフレームは、混合因子の選択により著しく影響を受ける。ここで留意すべきは、隣接する両方のＰ（又はＩ）フレームからの大きな比をすでに有するため均等平均から外れることによる利益が殆ど又はまったく得られないより中央近くの位置と比べて、これらの端の位置に対しては、均等平均をより多く利用するように混合因子を異ならせ得ることである。例えばＭ＝５の場合、１番目と４番目のＢフレームは、より多くの均等平均を混合するような混合因子Ｆを用いるが、２番目と３番目の真ん中にあるＢフレームは、厳密に２／５と３／５の均等平均な比を用いてもよい。比対平均の混合因子がシーケンスにおけるＢフレームの位置の関数として変化する場合、変化する混合因子の値は、圧縮されるビットストリーム中に又は付け足し情報として、デコーダに伝達される。
【００６４】
静的で一般的な混合因子が必要となる場合（値を伝達する方法の欠如による）、２／３が通常最適に近い値となり、エンコーダ及びデコーダの両方において、Ｂフレーム補間に対する静的な値として選択され得る。例えばＦ＝２／３を混合因子として用いると、Ｍ＝３の場合、次のフレームの比は７／１８（７／１８＝２／３＊１／３＋１／３＊１／２）及び１１／１８（１１／１８＝２／３＊２／３＋１／３＊１／２）となる。
【００６５】
線形補間
ビデオフレームのピクセル値は、一般に、元の画像情報を数値にマップする特定の表現にて格納される。かかるマッピングは、線形な又は非線形な表現をもたらす。例えば、圧縮に用いられる輝度値は非線形である。非線形表現の種々の形式の使用は、対数、指数（種々の冪に対する）及び黒補正を伴う指数（一般に、ビデオ信号に用いられる）を含む。
【００６６】
狭いダイナミックレンジにわたって、又は、すぐ近くの領域の補間に対しては、これらの近接する補間は区分的な線形補間を表すので、非線形表現は許容範囲にある。それゆえに、輝度の微小変化は、線形補間により妥当に近似される。しかしながら、広いダイナミックレンジと広いコントラストレンジの画像で生じるように輝度が大きく変化する場合、非線形信号を線形信号として取り扱うことは不正確となるだろう。通常のコントラストレンジの画像についてさえ、線形なフェード及びクロスディゾルブは線形補間により劣化され得る。フェードやクロスディゾルブの中には、非線形なフェード及びディゾルブ率を利用するものがあり、さらに複雑になる。
【００６７】
それゆえに、比例した混合又は単純な比例若しくは均等平均補間の使用に対するさらなる改良は、線形空間又は元の非線形な輝度表現と異なる他の最適化された非線形空間において表現されるピクセル値に対してかかる補間を実行することである。
【００６８】
このことを、例えば、最初に（前及び後のＰ（又はＩ）フレームからの）２つの非線形輝度信号を線形表現又は別の非線形表現に変換することにより、達成してもよい。それから、比例した混合を適用し、その後、逆変換を適用し、画像の元の非線形な輝度表現にて混合された結果が生成される。しかしながら、比の関数は輝度信号のより最適な表現上で実行されるだろう。
【００６９】
霞や曇りの変化と結びついたコントラストの変化において生じるように、色がフェードし又はより飽和しつつあるとき、この線形な又は非線形な変換を輝度に加えて色（色度）の値に有益に適用することも有用である。
【００７０】
実施例
図４は、コンピュータに実装可能な方法として本発明の例示的な実施形態を示すフローチャートである。
【００７１】
ステップ４００：ビデオ画像圧縮システムにおいてＢフレームを算出するための直接及び補間のモードに対して、元データ（例えば、ビデオ画像ストリーム）から入力されるシーケンスの両側を挟む少なくとも２つの非双方向予測フレームから導き出される、（１）フレームの距離の比又は（２）均等重み付けとフレームの距離の比との混合、のうちの１つを使用して、２つ以上の双方向予測中間フレームの入力されたシーケンスの各ピクセルに適用する補間値を決定する。
【００７２】
ステップ４０１：画像単位（例えば、ＧＯＰ（group  of  pictures）、フレームのシーケンス、シーン、フレーム、フレーム内の領域、マクロブロック、ＤＣＴブロック又は同様の有用なピクセルのグループ或いは選択されたピクセル）に対して補間値を最適化する。
補間値は、符号化セッションの全体に対して静的に設定されてもよいし、画像単位毎に動的に設定されてもよい。
【００７３】
ステップ４０２：更に、シーンの種類や符号化の簡潔さに関して、補間値を最適化する。例えば、補間値は、静的に設定されてもよく（２／３を比例に、かつ１／３を均等平均に）、均等平均に近いフレームに対しては比例的に設定され隣接するＰ（又はＩ）フレームの近くでは均等平均と混合させて設定されてもよく、フェード及びクロスディゾルブのようにシーン全体の特性に基づいて動的に設定されてもよく、局所的なコントラストレンジ及び局所的なダイナミックレンジのような局所的な画像領域の特性に基づいて動的に（かつ局所的に）設定されてもよく、符号化の性能（最大の符号化ＳＮＲ等）及び生成される最小の符号化ビットに基づいて動的に（かつ局所的に）設定されてもよい。
【００７４】
ステップ４０３：静的に補間値を決定しない場合は、デコーダに適切な比の量を伝達する。
【００７５】
ステップ４０４：任意で、各フレームに対する輝度（及び任意で色度）情報を線形あるいは別の非線形表現に変換し、更に、静的に補間値を決定しない場合は、その代替表現をデコーダに伝達する。
【００７６】
ステップ４０５：決定された補間値を用いて、比例ピクセル値を求める。
【００７７】
ステップ４０６：必要に応じて（ステップ４０４により）、元の表現に再変換する。
【００７８】
拡張されたＰフレーム参照
上述したように、従来技術のＭＰＥＧ−１、２及び４の圧縮方法においては、Ｐフレームは、前のＰ又はＩフレームを参照し、Ｂフレームは、最も近い前及び後のＰ及び／又はＩフレームを参照する。同じ技法は、低ビットレート圧縮技法を包含するＨ．２６１及びＨ．２６３の動き補償ＤＣＴ圧縮標準規格において用いられる。
【００７９】
開発途上のＨ．２６３＋＋及びＨ．２６Ｌの標準規格においては、Ｂフレームの参照は、現在のフレームを直接挟んでいないＰ又はＩフレームへの指示にまで拡張された。即ち、Ｂフレーム内のマクロブロックは、前のＰフレームの前の１つのＰ又はＩフレーム、又は後のＰフレームの後の１つのＰ又はＩフレームを指すことができた。マクロブロック毎に１つ以上のビットを用いて、前又は後のＰフレームをスキップすることを簡単に知らせることができる。概念的には、Ｂフレームにおける参照のために前のＰフレームを用いることは、記憶域を必要とするだけである。Ｈ．２６３＋＋又はＨ．２６Ｌの低ビットレートの符号化の使用の場合、このことにより、僅かな量のメモリが追加される。後のＰフレーム参照に関しては、未来のＰフレーム（場合により、Ｉフレーム）が、中間のＢフレームよりも前に復号化されるように、Ｐフレームの符号化の順序が、Ｂフレームの符号化に関して修正されなければならない。このように、符号化する順序も後のＰフレーム参照に関わる問題である。
【００８０】
Ｐフレーム型とＢフレーム型との間の主な差異は、（１）Ｂフレームは双方向的に参照される（マクロブロック毎に２つの動きベクトルまで）こと、（２）Ｂフレームは使用後に廃棄されること（このことは、時相階層化を提供するための復号化の間にＢフレームがスキップされ得ることも意味する）、及び（３）各Ｐフレームがそれぞれ後のＰフレームのための参照として使用されるために復号化されなければならないので、Ｐフレームは次への「足がかり」として用いられること、である。
【００８１】
本発明のもう一つの側面として、Ｐフレームは（Ｂフレームとは逆に）、１つ以上の前のＰ又はＩフレームを参照して復号化される（最も近い前のＰ又はＩフレームだけを参照する各Ｐフレームの場合を除く）。それゆえに、例えば、マクロブロック毎の２つ以上の動きベクトルであって、すべてが時間的に逆方向を指す（即ち、１つ以上の前に復号化されたフレームを指す）動きベクトルが、現在のＰフレームのために用いられてもよい。かかるＰフレームは、まだ「足がかり」の特徴を維持する。図５は、現在のＰフレーム５００による、２つの前のＰフレーム５０２、５０４及び前のＩフレーム５０６への複数の前方向参照の例を示す図である。
【００８２】
更に、かかるＰフレーム参照において、上述したようなマクロブロックの補間の概念を適用することが可能である。それゆえに、２つ以上の前のＰ又はＩフレームへの単一の参照を合図する（信号を送る）ことに加えて、かかるフレーム参照毎に１つの動きベクトルを用いて複数の前のＰ又はＩフレームの比を混合することも可能である。例えば、２つのフレーム参照を有するＢフレーム補間モードを使用する上記技法を適用し、Ｐフレームにおける任意のマクロブロックが、２つの動きベクトルを用いて、２つの前のＰフレーム、又は、１つの前のＰフレーム及び１つの前のＩフレーム、を参照することを可能にしてもよい。この技法は２つの動きベクトルの間に補間するが、両方の動きベクトルがともに時間的に逆方向を指すので、（Ｂフレーム補間と同様な）時間的に双方向ではない。メモリのコストの低下により、複数の前のＰ又はＩフレームをこのような同時参照のためにメモリ内に保持することは完全に実用的である。
【００８３】
このようなＰフレーム補間の適用に際しては、前の２つ以上のＰフレーム（及び任意で、１つの前のＩフレーム）の種々の有用な比を選択するとともにデコーダへ合図を送ることが建設的である。特に、フレームの均等混合は有用な混合の比の１つである。例えば、参照としての前のＰフレームが２つある場合、各Ｐフレームの均等な１／２の量が混合され得る。前のＰフレームが３つの場合、１／３の均等混合が利用され得る。
【００８４】
２つのＰフレームの他の有用な混合は、最も近い前のフレームの２／３及び最も遠い前のフレームの１／３である。前のＰフレームが３つの場合、他の有用な混合は、最も近い前のフレームの１／２、次に近い前のフレームの１／３及び最も遠い前のフレームの１／６である。
【００８５】
いずれの場合においても、複数の前のＰフレーム（及び任意で、１つのＩフレーム）の有用な混合の単純な組を利用することができ、エンコーダからデコーダへ簡単に合図を送ることができる。利用される特定の混合比は、画像単位に対する符号化の効率を最適化するために有用であれば何度でも選択され得る。多くの混合比は、所望の画像単位に適した時にいつでもデコーダへ伝達され得る少数のビットを用いて選択され得る。
【００８６】
本発明のもう一つの側面として、単一のＰフレーム参照を、最も近い前のＰ（又はＩ）フレームから、より「遠い」前のＰ（又はＩ）フレームに、切り替えて選択することも有用である。このように、Ｐフレームは、マクロブロック毎に（又は任意で、ＭＰＥＧ−４型の符号化においては８×８ブロック毎に）単一の動きベクトルを利用し、その参照が単一の特定の前のフレームを参照することを示すために１つ以上のビットを利用してもよい。このモードにおけるＰフレームのマクロブロックは、補間的ではない代わりに、可能な２つ、３つ、又はそれ以上の、参照のための前のＰ（又はＩ）フレームの選択肢から選択された前の選択フレームを参照する。例えば、２ビットの符号により、選り抜きの単一の参照フレームとしての４つまでの前のフレームのうちの１つを指定することができる。この２ビットの符号は任意の便利な画像単位にて変更され得る。
【００８７】
Ｂフレームの適応数
ＭＰＥＧ符号化においては、一定のパターンのＩ、Ｐ及びＢフレーム型を用いることが、典型的である。Ｐフレーム間のＢフレームの数は、一般的に、一定である。例えば、ＭＰＥＧ−２符号化においては、Ｐ（又はＩ）フレーム間に２つのＢフレームを用いることが、典型的である。図６Ａは、Ｉフレーム６００及び／又はＰフレーム６０２に挟まれたＢフレームの一定な数（即ち、２つ）を示す、典型的な従来技術のＭＰＥＧ−２符号化パターンの図である。
【００８８】
ＭＰＥＧ−４ビデオ符号化の標準規格は、概念的には、両側を挟むＩフレーム及び／又はＰフレームの間にあるＢフレームの数並びにＩフレーム間の距離の量が変化することを許容している。図６Ｂは、Ｉフレーム６００及び／又はＰフレーム６０２に挟まれたＢフレームの変化する数並びにＩフレーム間の変化する距離を示す、理論的に可能な従来技術のＭＰＥＧ−４ビデオ符号化パターンの図である。
【００８９】
理論的には、この適応性のある符号化構造を利用し、最も効率的なＢ及びＰフレームの符号化の形式を動画フレームに適合させることにより、符号化の効率を改善することができる。この適応性は、明確に許容されているが、ほとんど検討されておらず、かかる適応性のある構造におけるＢ及びＰフレームの配置を実際に決定するためのメカニズムも知られていない。
【００９０】
本発明のもう一つの側面は、本明細書にて記述される概念を、慣用される単純な一定の符号化パターンと同様に、この適応性のある符号化構造にも適用する。それゆえに、Ｂフレームは上記方法を用いて補間され、一方、Ｐフレームは２つ以上の前のＰ又はＩフレームを参照するとともに本記述に従って補間され得る。
【００９１】
特に、Ｂフレーム内のマクロブロックは、一定の構造の場合と同等に効率的に、適応性のある符号化構造に適した比例した混合を利用できる。比例した混合は、Ｂフレームが最も近い両側を挟むＰ又はＩフレームより更に離れたＰ又はＩフレームを参照する場合にも利用され得る。
【００９２】
同様に、Ｐフレームも、一定のパターンの構造の場合と同等に効率的に、この適応性のある符号化構造における２つ以上の前のＰ又はＩフレームを参照できる。更に、Ｐフレームが２つ以上の前のＰフレーム（加えて、任意で１つのＩフレーム）を参照する場合、かかるＰフレームにおけるマクロブロックに混合比を適用することができる。
【００９３】
（Ａ）適応性のある符号化パターンにおける配置の決定
以下の方法により、エンコーダは、利用される混合比及びフレームの符号化パターンの両方の効率を最適化できる。選択されたフレームの範囲に対して、多くの符号化パターン候補を検討し、（特定の基準に対して）最適な又は最適に近いパターンを決定することができる。図７は、検討可能な符号パターンの図である。Ｐ又はＩフレームに終わる最初のシーケンス７００は任意に選択され、追加のＰ及び／又はＢフレームを加えるための基礎として使用され、次いで、（後述するように）評価される。一実施の形態においては、Ｐフレームを最初のシーケンス７００に加えて、評価のために第１の試験用シーケンス７０２を作成する。評価が満足されれば、間にＢフレームを挿入し、第２の試験用シーケンス７０４を作成する。評価が満足される毎に、追加のＢフレームを挿入し、評価基準が満足されなくなるまで、次第に長くなる試験用シーケンス７０６〜７１２を作成する。満足されなくなった時点にて、直前の符号化シーケンスを受け入れる。新たなＰフレームを加えるとともに新たなＢフレームを挿入するための開始点として、前に受け入れられた符号化シーケンスの最後のＰフレームを用いて、この処理を繰り返す。
【００９４】
最適な又は最適に近い符号化パターンは、要求される符号化ビット数に対する符号化された画像の品質等の、種々の符号化特性の相反する条件を含むことが多い種々の評価基準に基づいて、選択され得る。一般的な評価基準は、（量子化パラメータが一定の試験における）使用される最小ビット数又は（ビットレートが一定の試験における）最良の信号対雑音比或いは両者の組み合わせを含む。
【００９５】
ＤＣ一致の指標を形成する絶対差分和（ＳＡＤ）を最小化することも一般的である。「ビデオ圧縮システムのための動き推定」（"Motion  Estimation  for  Video  Compression  Systems"）と題する係属中の米国特許出願第０９／９０４，１９２号（本発明の譲受人へ譲渡され、引用して本明細書に組み込む。）において記述されているように、ＡＣ一致基準も、特定の候補の一致の質の有用な指標である（特許出願には他の有用な最適化も記載されている）。それゆえに、すべてのマクロブロックの最良の一致を全体に蓄積したＡＣ及びＤＣの一致基準を検討し、各符号化パターン候補の全体的な一致の質を決定することができる。このＡＣ／ＤＣ一致技法は、フレームのパターン形式毎の符号化ビット数の推定とともに用いられる場合、信号対雑音比（ＳＮＲ）及び使用最小ビット数の試験を増補することができ、又は、取って代わることができる。Ｐフレームの場合よりも高い量子化パラメータ（ＱＰ）値を用いてＢフレーム内のマクロブロックを符号化することが典型的であり、このことは、品質（信号対雑音比として測定されることが多い）と、種々の符号化パターン候補内で用いられるビット数と、の両方に影響を与える。
【００９６】
（Ｂ）適応性のある符号化パターンにおける混合比の最適化
任意で、上記方法により決定された各パターン候補に対して、１つ以上の基準に関する適切性（例えば、最適な又は最適に近い混合比等）のために、混合比を試験してもよい。これは、例えば、最良の品質（最小のＳＮＲ）及び／又は効率（最小の使用ビット数）を試験することにより実行され得る。Ｐフレームにおける各マクロブロックのための１つ以上の前の参照の使用も同じ方法で決定され、各参照パターン候補及び混合比が試験されることにより、１つ以上のより適切な参照の組を決定することができる。
【００９７】
この次のステップ（図７のステップ７００）のための符号化パターンが選択されると、後続のステップ（ステップ７０２〜７１２）が種々の符号化パターン候補に対して試験され得る。このようにして、動画シーケンスのより効率的な符号化を決定することができる。このように、上記サブセクション（Ａ）において説明したように、効率を最適化／改善することができ、試験される符号化ステップ毎に混合最適化を適用することができる。
【００９８】
ＤＣ対ＡＣの補間
画像フレームの対数表現を用いる場合等の画像符号化の多くの場合、上記フレームピクセル値補間は、照度の変化を最適に符号化する。しかしながら、代替のビデオ「ガンマ曲線」、線形及び他の表現においては、ピクセルのＡＣ値に適用する補間混合因子とは異なる補間混合因子をＤＣ値に適用することが有用なこともある。図８は、ＡＣ補間とは異なるＤＣ補間による補間方法の一実施の形態を示すフローチャートである。第１及び第２の入力フレーム８０２、８０２’から選択された画像領域（通常はＤＣＴブロック又はマクロブロック）に対して、かかる各領域の平均ピクセル値を減算し８０４、８０４’、それにより、選択された領域におけるＡＣ値（即ち、残りの符号付きピクセル値）８０８、８０８’からＤＣ値（即ち、選択された領域全体の平均値）８０６、８０６’を分離することができる。次いで、（符号付き）ＡＣピクセル値８０８、８０８’に乗じるために用いられる補間重み付け８１４、８１４’とは異なる補間重み付け８１０、８１０’が、それぞれのＤＣ値８０６、８０６’に乗じられる。次いで、新たに補間されたＤＣ値８１２及び新たに補間されたＡＣ値８１６を組み合わせ８１８、選択された領域に対する新たな予測８２０を得ることができる。
【００９９】
本発明における他の補間値と同様に、適切な重み付けを画像単位毎にデコーダへ合図することができる。少数のビットにより、多くの補間値の間から選択することができ、更に、ピクセル値のＡＣ対ＤＣの側面の独立した補間を選択することもできる。
【０１００】
線形及び非線形の補間
補間は線形な重み付けされた平均値である。補間演算は線形であり、且つ、画像フレーム毎のピクセル値は（ビデオガンマ又は対数表現等の）非線形な形式にて表現されることが多いので、補間の処理を更に最適化することができる。例えば、特定のフレームのシーケンスのためのピクセルの補間及びＡＣ値から分離されたＤＣ値の補間が、線形なピクセルの表現を用いて最適になり又は最適に近くなることが多くある。しかしながら、他のフレームシーケンスに関しては、ピクセルが対数値として表現され又は他のピクセル表現になっている場合、かかる補間は、最適になり又は最適に近くなる。更に、Ｕ及びＶ（色度）の信号成分を補間するために最適な又は最適に近い表現は、Ｙ（輝度）信号成分に対して最適な又は最適に近い表現と異なることがある。従って、補間手順の一部として、ピクセルの表現を代替表現に変換することは、本発明の有用な側面である。
【０１０１】
図９は、代替表現を用いる輝度ピクセルの補間方法の一実施の形態を示すフローチャートである。最初の表現（例えば、ビデオガンマ又は対数）における輝度（Ｙ）ピクセルの領域又はブロックから始まり（ステップ９００）、ピクセルのデータを最初の表現とは異なる代替表現（例えば、線形、対数、ビデオガンマ）に変換する（ステップ９０２）。次いで、変換されたピクセル領域又はブロックを、上述したように補間し（ステップ９０６）、最初の表現に戻るように変換する（ステップ９０６）。その結果、補間されたピクセルの輝度値が得られる（ステップ９０８）。
【０１０２】
図１０は、代替表現を用いる色度ピクセルの補間方法の一実施の形態を示すフローチャートである。最初の表現（例えば、ビデオガンマ又は対数）における色度（Ｕ、Ｖ）ピクセルの領域又はブロックから始まり（ステップ１０００）、ピクセルのデータを最初の表現とは異なる代替表現（例えば、線形、対数、ビデオガンマ）に変換する（ステップ１００２）。次いで、変換されたピクセル領域又はブロックを、上述したように補間し（ステップ１００６）、最初の表現に戻るように変換する（ステップ１００６）。その結果、補間されたピクセルの色度値が得られる（ステップ１００８）。
【０１０３】
本発明の譲受人へ譲渡され、引用して本明細書に組み込まれる「圧縮画像色度情報を改良するための方法及びシステム」（"Method  and  System  for  Improving  Compressed  Image  Chroma  Information"）と題する米国特許出願第０９／９０５，０３９号の教示に従って、表現間の変換を実行してもよい。ここで留意すべきは、単純なルックアップテーブルを用いて代替表現の変換及びその逆変換を実行できることが多い、ということである。
【０１０４】
本発明の本側面の変形として、ＡＣ補間のための代替（線形又は非線形）表現空間は、ＤＣ補間の代替表現空間と異なっていてもよい。
【０１０５】
補間重み付けと同様に、選択された画像単位のそれぞれに対する少数のビットを用いることにより、輝度（Ｙ）及び色度（Ｕ及びＶ）のピクセル表現のそれぞれに対してどの代替補間表現が使用されることになっているかの選択をデコーダへ合図してもよい。
【０１０６】
マクロブロック毎の動きベクトルの数
ＭＰＥＧ−２においては、Ｐフレームにおける１６×１６マクロブロック毎に１つの動きベクトルが許容されている。Ｂフレームにおいては、ＭＰＥＧ−２は、１６×１６のマクロブロック毎に最大２つの動きベクトルを許容し、双方向補間モードに対応している。ＭＰＥＧ−４ビデオ符号化においては、Ｐフレームにおける１６×１６のマクロブロック毎に４つまでの動きベクトルが許容され、このことは、８×８ＤＣＴブロック毎に１つの動きベクトルが許容されることに対応している。ＭＰＥＧ−４のＢフレームにおいては、補間モードを用いる場合、１６×１６のマクロブロック毎に最大２つの動きベクトルが許容される。後の対応するＰフレームのマクロブロックが４つのベクトルを有する８×８モードに設定された場合、ＭＰＥＧ−４の直接モードにおける単一の動きベクトルデルタにより、４つの独立した「暗黙の」動きベクトルがもたらされ得る。これは、１６×１６のＢフレームのマクロブロックに持ち込まれる１つの動きベクトルデルタを、時間における距離に対してスケーリングした後（ＢフレームはＰフレームの前のＰ又はＩフレーム参照より時間的に近い）、次のＰフレームのマクロブロックからの対応する４つの独立した動きベクトルのそれぞれに加えることにより、達成される。
【０１０７】
本発明の一側面は、マクロブロック等のピクチャ領域毎の動きベクトルの数を増加させる選択肢を含む。例えば、Ｂフレームのマクロブロック毎に３つ以上の動きベクトルがあることが有益なこともあろう。追加のＰ又はＩフレームを参照するとともに、重み付けの合計において３つ以上の補間項を有することにより、これらを適用することができる。追加の動きベクトルを適用し、Ｂフレームのマクロブロックの８×８ＤＣＴブロックのための独立したベクトルを許容することもできる。また、４つの独立したデルタを使用し、後のＰフレームからの４つの８×８領域の動きベクトルのそれぞれに別々のデルタを適用することにより、直接モードの概念を拡張することができる。
【０１０８】
更に、ＰフレームをＢフレームの実装技法を用いて適合し、上記Ｂフレームの２つの補間項の技法を用いて補間モードにおける２つ以上の前のフレームを参照することができる。本技法は、３つ以上の前のＰ又はＩフレームへ容易に拡張され、その結果、重み付けの合計において３つ以上の項を有する補間がもたらされる。
【０１０９】
本発明の他の側面（例えば、ピクセルの表現及びＤＣ対ＡＣの補間方法）と同様に、特定の重み付けの合計は、画像単位毎に少数のビットを用いてデコーダへ伝達され得る。
【０１１０】
本発明の本側面の適用に際して、８×８ピクセルのＤＣＴブロックと、動きベクトルのフィールドと、の間の対応がＭＰＥＧ−２及びＭＰＥＧ−４の場合ほど厳密である必要はない。例えば、動きベクトルに対して、１６×１６、１６×８（ＭＰＥＧ−４のインターレースに用いるのみ）及び８×８以外の代替の領域サイズを用いることが有用であろう。かかる代替は、４×８、８×１２、８×１６、６×１２、２×８、４×８、２４×８、３２×３２、２４×２４、２４×１６、８×２４、３２×８、３２×４等の、任意数の有用な領域サイズを含んでいてもよい。少数のかかる有用なサイズを用いる場合、少数のビットにより、動きベクトルの領域のサイズと、ＤＣＴブロックのサイズと、の間の対応を、デコーダへ合図することができる。従来の８×８ＤＣＴブロックが使用されるシステムにおいては、動き補償の間の処理手続きを単純化するために、動きベクトルのフィールドへの対応の単純な組が有用である。本発明の譲受人へ譲渡され、引用して本明細書に組み込まれる「時相及び解像度の階層化の向上」（"Enhancements  to  Temporal  and  Resolution  Layering”）と題する係属中の米国特許出願第０９／５４５，２３３号において記述されているように、ＤＣＴブロックのサイズが８×８とは異なるシステムにおいては、動きベクトルのフィールドを特定する際、より高い適応性を達成することができる。ここで留意すべきは、動きベクトルの領域の境界がＤＣＴ領域の境界に対応する必要がない、ということである。実際は、動きベクトルの領域の縁部が(ＤＣＴブロックの縁部に一致するのではなく)ＤＣＴブロック内に収まるように動きベクトルの領域を定義することが有用であることが多い。
【０１１１】
動きベクトルのフィールドの適応性を拡張する概念は、本発明の補間の側面にも適用される。各ピクセルと、１つ以上の参照フレームへの１つ以上の動きベクトルと、の間の対応が特定されている限り、上記補間方法は、本発明のあらゆる一般性を用いて、有用な動きベクトルの完全な適応性に適用され得る。各動きベクトルに対応する領域のサイズは、Ｐフレームを用いる場合、各前のフレーム参照毎に異なっていてもよく、且つ、Ｂフレームを用いる場合、各前の及び将来のフレーム参照毎に異なっていてもよい。本発明の改良された補間方法を適用する場合において、動きベクトルに対する領域サイズが異なるとき、補間は共通の重複する領域を反映する。動きベクトル参照に対する共通の重複する領域は、ＤＣ及びＡＣのピクセル値を別々に補間する場合、ＤＣ項を決定する領域として利用され得る。
【０１１２】
図１１は、２つのＰフレーム１１０４、１１０６のそれぞれに対して固有の動きベクトルの領域サイズ１１００、１１０２を示す図である。本発明に従って補間値を計算する前に、動きベクトルの領域サイズの結合体１１０８を決定する。結合体１１０８は、動きベクトルが割り当てられると考えられる領域のすべてを定義する。
【０１１３】
従って、例えば、Ｂフレーム１１１２の４×４ＤＣＴ領域を前のＰフレーム１１０４へ逆方向に補間する際、結合体１１０８内の４×４領域１１１０は、前のＰフレームにおける８×１６領域１１１４に対応する動きベクトルを用いる。順方向に予測する場合、結合体１１０８内の領域１１１０は、次のＰフレームにおける４×１６領域１１１５に対応する動きベクトルを用いる。同様に、結合体１１０８内の領域１１１６の逆方向補間は、８×１６領域１１１４に対応する動きベクトルを用い、一方、同じ領域の順方向予測は、１２×１６領域１１１７に対応する動きベクトルを用いる。
【０１１４】
本発明の一実施の形態は、２つのステップを用いて、一般化された（即ち、不均一なサイズの）動きベクトルの補間を達成する。第１のステップは、図１１について説明したように、動きベクトルの共通の領域を決定する。これは、前又は後のフレーム参照のそれぞれに対する、ピクセルと、動きベクトルと、の間の対応（即ち、特定のピクセルの領域サイズ毎の動きベクトルの数）を確立する。第２のステップは、適切な補間方法及び各ピクセルの領域に対して有効な補間因子を利用する。最適な又は最適に近い動きベクトルの領域及び補間方法が特定され、すべてのピクセルのベクトル及び補間方法が完全に特定されることを保証することが、エンコーダの仕事である。これは、単一の特定された補間方法（参照フレームの距離のそれぞれに対する一定の比の混合等、従って、フレーム全体に対して特定される）を用いる一定の動きベクトルのパターン（各３２×８ブロックに対して１つの動きベクトル等、従って、フレーム全体に対して特定される）の場合に、非常に単純になり得る。この方法はまた、動きベクトルの領域サイズが局所的に変更され、且つ、前又は後のどのフレームが参照されるかによって領域サイズが異なる（例えば、最も近い前のフレームに対しては８×８ブロック及び次に近い前のフレームに対しては３２×８ブロック等）場合、非常に複雑にもなる。更に、補間方法はフレーム内で局所的に特定されてもよい。
【０１１５】
符号化の際、最適な又は最適に近いビットの使用を決定し、動きベクトルの領域の形状及びサイズを選択するとともに、最適な又は最適に近い補間方法を選択することが、エンコーダの仕事である。決定は、参照フレームの数及び距離を特定するためにも必要である。これらの細目は、多くの動きベクトルの領域サイズ候補、参照するためのフレーム候補及びかかる動きベクトルの領域のそれぞれに対する補間方法を、最適な又は最適に近い符号化が見出されるまで徹底的に試験することにより決定され得る。ブロック符号化後の最小のＳＮＲ又はブロック符号化後の一定の量子化パラメータ（ＱＰ）に対する最小のビット数を求めることにより、或いは、他の適切な指標の利用により、（選択された基準に関する）最適性を決定することができる。
【０１１６】
直接モードの拡張
ＭＰＥＧ−４におけるＢフレームのマクロブロックにて用いられる従来の直接モードは、動きベクトルの符号化に際して効率的であり、そのことは、単純な共通のデルタを用いる８×８ブロックモードの利点を提供する。直接モードは、前のＰフレームを参照する後のＰフレームからの対応する動きベクトル毎に、対応するマクロブロックの位置にて、時間における距離に基づいて重みを付ける。例えば、Ｍ＝３（即ち、中間のＢフレームが２つ）の場合、単純な線形補間により、第１のＢフレームは、後のＰフレームの動きベクトルの−２／３倍を使用し、かかるＰフレームに対するピクセルの補正値（offset）を決定するとともに、後のＰフレームの動きベクトルの１／３倍を使用し、前のＰフレームに対するピクセルの補正値を決定する。同様に、第２のＢフレームは、後のＰフレームの動きベクトルの−１／３倍を使用し、かかるＰフレームに対するピクセルの補正値を決定するとともに、後のＰフレームの動きベクトルの２／３倍を使用し、前のＰフレームに対するピクセルの補正値を決定する。直接モードにおいては、小さなデルタが各対応する動きベクトルに加算される。本発明のもう一つの側面として、この概念は、フレームスケール分数を決定するためにフレームの距離を考慮に入れることにより、１つ以上の前又は後のＰフレーム又はＩフレームを参照するＰフレームであって、ｎだけ離れた１つ以上のＰフレームを指すＢフレームの参照に拡張され得る。
【０１１７】
図１２は、１つ離れた後のＰフレームを参照する２つ離れた後のＰフレームからの距離の関数として決定されるＢフレームに対する補間重みを伴う、Ｐ及びＢフレームのシーケンスを示す図である。図示された例においては、Ｍ＝３であり、両側を挟むＰフレーム１２０４、１２０６間の、２つの連続するＢフレーム１２００、１２０２を示している。本例においては、次に最も近い後のＰフレーム１２０８（即ち、ｎ＝２）における同一の位置に配置された各マクロブロックは、中間の（即ち、最も近い）Ｐフレーム１２０４を指し、且つ、最初の２つのＢフレーム１２００、１２０２は、従来のＭＰＥＧにおけるように最も近い後のＰフレーム１２０４を参照するのではなく、次に最も近い後のＰフレーム１２０８を参照する。従って、第１のＢフレーム１２００に対しては、次に最も近い後のＰフレーム１２０８からの動きベクトルｍｖのフレームスケール分数５／３倍が、Ｐフレーム１２０８に対するピクセルの補正値として使用され、第２のＢフレーム１２０２は、同じ動きベクトルの４／３倍の補正値を使用する。
【０１１８】
Ｂフレームにより参照される最も近い後のＰフレームが、次に最も近い前のＰフレームを指す場合、再び、単純なフレームの距離を使用することにより適切なフレームスケール分数を取得し、動きベクトルに適用することができる。図１３は、２つ離れた前のＰフレームを参照する１つ離れた後のＰフレームからの距離の関数として決定されるＢフレームに対する補間重みを伴う、Ｐ及びＢフレームのシーケンスを示す図である。図示された例においては、Ｍ＝３であり、Ｂフレーム１３００、１３０２は最も近い後のＰフレーム１３０４を参照し、Ｐフレーム１３０４は２つ離れたＰフレーム１３０６を参照する。従って、第１のＢフレーム１３００に対しては、ピクセルの補正値は、フレームスケール分数２／６と、最も近い後のＰフレーム１３０４からの動きベクトルｍｖと、の積であり、第２のＢフレーム１３０２のピクセルの補正値は、フレームスケール分数１／６と、同じ動きベクトルと、の積である。なぜなら、最も近い後のＰフレーム１３０４の動きベクトルは、６フレーム離れた２つ離れた前のＰフレーム１３０６を指すからである。
【０１１９】
一般に、直接モードにおいてＢフレームが単一のＰフレームを参照する場合、フレームの距離の方法は、フレームスケール分数の分子を、そのＢフレームから、それに参照された又は「目標」Ｐフレームまでのフレームの距離に等しくなるように設定するとともに、分母を、目標Ｐフレームから、その目標Ｐフレームにより参照される他のＰフレームまでのフレームの距離と等しくなるように設定する。フレームスケール分数の符号は、Ｂフレームから後のＰフレームになされた測定に対しては負であり、Ｂフレームから前のＰフレームになされた測定に対しては正である。フレーム距離又はフレームスケール分数をＰフレームの動きベクトルに適用するこの単純な方法は、効率的な直接モードの符号化を達成できる。
【０１２０】
更に、本発明のもう一つの側面は、Ｐフレームの複数の補間された動きベクトルの参照に、直接モードを適用することを可能にする。例えば、Ｐフレームが最も近い及び次に最も近い前のＰフレームから補間された場合、本発明の本側面による直接モードの参照は、複数の参照の直接モードのＢフレームのマクロブロックのそれぞれのための補間された混合を許容する。一般に、Ｐフレームの２つ以上の動きベクトルは、適用される適切なフレームスケール分数を有し得る。次いで、後述するように、そのＰフレームを参照し又は目標とするＢフレームのそれぞれに対する対応する補間された重みとともにフレーム距離修正された２つ以上の動きベクトルを使用し、補間されるＢフレームのマクロブロックの動き補償を生成することができる。
【０１２１】
図１４は、後のＰフレームが前のＰフレームを参照する複数の動きベクトルを有する、Ｐ及びＢフレームのシーケンスを示す図である。本例においては、Ｂフレーム１４００は、後のＰフレームＰ３を参照する。次いで、このＰ３フレームは、対応する前のＰフレームＰ２、Ｐ１を参照する２つの動きベクトルｍｖ１及びｍｖ２を有する。本例においては、２つの重み付け項又はこれら重み付け項の組み合わせを用いて、Ｂフレーム１４００の各マクロブロックを直接モードにおいて補間することができる。
【０１２２】
Ｂフレーム１４００に対する各マクロブロックは、以下の混合として構成される：
・ｍｖ１のフレームスケール分数１／３だけ移動させられたフレームＰ２の対応するピクセル（次いで、ピクセルは、ある比例した重みｉを乗じられてもよい）に、ｍｖ１のフレームスケール分数−２／３だけ移動させられたフレームＰ３の対応するピクセル（次いで、ピクセルは、ある比例した重みｊを乗じられてもよい）を加えたもの。
・ｍｖ２のフレームスケール分数２／３（４／６）だけ移動させられたフレームＰ１の対応するピクセル（次いで、ピクセルは、ある比例した重みｋを乗じられてもよい）に、ｍｖ２のフレームスケール分数−１／３（−２／６）だけ移動させられたフレームＰ３の対応するピクセル（次いで、ピクセルは、ある比例した重みｌを乗じられてもよい）を加えたもの。
【０１２３】
すべての直接モードと同様に、動きベクトルのデルタをｍｖ１及びｍｖ２のそれぞれとともに利用することができる。
【０１２４】
本発明の本側面に従って、複数の前のＰフレームの場合と同じ補間の手順及び動きベクトルのフレームスケール分数の適用を用いて、Ｂフレームにおける直接モード予測のマクロブロックは、複数の後のＰフレームも参照できる。図１５は、最も近い後のＰフレームが前のＰフレームを参照する動きベクトルを有し、且つ、次に最も近い後のＰフレームが前のＰフレームを参照する複数の動きベクトルを有する、Ｐ及びＢフレームのシーケンスを示す図である。本例においては、Ｂフレーム１５００は２つの後のＰフレームＰ２、Ｐ３を参照する。Ｐ３フレームは、対応する前のＰフレームＰ２、Ｐ１を参照する２つの動きベクトルｍｖ１及びｍｖ２を有する。Ｐ２フレームは、前のＰフレームＰ１を参照する１つの動きベクトルｍｖ３を有する。本例においては、Ｂフレーム１５００の各マクロブロックは、３つの重み付け項を用いて直接モードにおいて補間される。この場合、動きベクトルのフレームスケール分数は、１より大きくてもよく、又は、−１より小さくてもよい。
【０１２５】
直接モードのＢフレームのマクロブロックの補間のこの形式に対する重み付けは、本明細書にて記述されているような補間の一般性を十分に利用できる。特に、重みのそれぞれ又は重みの組み合わせを試験し、種々の画像単位に対して最良の性能（例えば、品質対ビット数）を得ることができる。この改良された直接モードに対する補間の分数の組は、画像単位毎に少数のビットを用いて、デコーダに特定され得る。
【０１２６】
Ｂフレーム１５００に対する各マクロブロックは、以下の混合として構成される：
・ｍｖ１のフレームスケール分数−５／３だけ移動させられたフレームＰ３の対応するピクセル（次いで、ピクセルは、ある比例した重みｉを乗じられてもよい）に、ｍｖ１のフレームスケール分数−２／３だけ移動させられたフレームＰ２の対応するピクセル（次いで、ピクセルは、ある比例した重みｊを乗じられてもよい）を加えたもの。
・ｍｖ２のフレームスケール分数−５／６だけ移動させられたフレームＰ３の対応するピクセル（次いで、ピクセルは、ある比例した重みｋを乗じられてもよい）に、ｍｖ２のフレームスケール分数１／６だけ移動させられたフレームＰ１の対応するピクセル（次いで、ピクセルは、ある比例した重みｌを乗じられてもよい）を加えたもの。
・ｍｖ３のフレームスケール分数−２／３だけ移動させられたフレームＰ２の対応するピクセル（次いで、ピクセルは、ある比例した重みｍを乗じられてもよい）に、ｍｖ３のフレームスケール分数１／３だけ移動させられたフレームＰ１の対応するピクセル（次いで、ピクセルは、ある比例した重みｎを乗じられてもよい）を加えたもの。
【０１２７】
すべての直接モードと同様に、動きベクトルのデルタをｍｖ１、ｍｖ２及びｍｖ３のそれぞれとともに利用することができる。
【０１２８】
ここで留意すべきは、次に最も近い後のＰフレームが、Ｂフレーム候補を挟んでいる最も近いＰフレームを参照する場合に、直接符号化モードが特に有益になることが多い、ということである。
【０１２９】
ＭＰＥＧ−４におけるＢフレームの直接モード符号化は、後のＰフレームの動きベクトルを常に参照する。本発明のもう一つの側面によれば、Ｂフレームが前のＰフレームの同一の位置に配置されたマクロブロックの動きベクトルを参照することも可能であり、そのことが、直接モード符号化の参照の有益な選択となることもある。この場合において、最も近い前のＰフレームの動きベクトルが次に最も近い前のＰフレームを参照するとき、動きベクトルのフレームスケール分数は、１より大きくなる。図１６は、最も近い前のＰフレームが前のＰフレームを参照する動きベクトルを有する、Ｐ及びＢフレームのシーケンスを示す図である。本例においては、Ｂフレーム１６００は、１つ離れた前のＰフレームＰ２を参照する。フレームＰ２の動きベクトルｍｖは、次に前の（Ｂフレーム１６００に対して２つ離れた）ＰフレームＰ１を参照する。適切なフレームスケール分数が示されている。
【０１３０】
最も近い前のＰフレームを複数のベクトル及びフレームから補間する場合、図１４と併せて述べられた方法と類似の方法を適用し、動きベクトルのフレームスケール分数及び補間の重みを取得する。図１７は、最も近い前のＰフレームが前のＰフレームを参照する２つの動きベクトルを有する、Ｐ及びＢフレームのシーケンスを示す図である。本例においては、Ｂフレーム１７００は、前のＰフレームＰ３を参照する。前のＰ３フレームの１つの動きベクトルｍｖ１は、次に前のＰフレームＰ２を参照し、一方、第２の動きベクトルｍｖ２は、２つ離れた前のＰフレームＰ１を参照する。適切なフレームスケール分数が示されている。
【０１３１】
Ｂフレーム１７００に対する各マクロブロックは、以下の混合として構成される：
・ｍｖ１のフレームスケール分数１／３だけ移動させられたフレームＰ３の対応するピクセル（次いで、ピクセルは、ある比例した重みｉを乗じられてもよい）に、ｍｖ１のフレームスケール分数４／３だけ移動させられたフレームＰ２の対応するピクセル（次いで、ピクセルは、ある比例した重みｊを乗じられてもよい）を加えたもの。
・ｍｖ２のフレームスケール分数１／６だけ移動させられたフレームＰ３の対応するピクセル（次いで、ピクセルは、ある比例した重みｋを乗じられてもよい）に、ｍｖ２のフレームスケール分数７／６だけ移動させられたフレームＰ１の対応するピクセル（次いで、ピクセルは、ある比例した重みｌを乗じられてもよい）を加えたもの。
【０１３２】
（Ｂフレームに対して）前のＰフレームの動きベクトルが、次に最も近い前のＰフレームを指す場合、図１６におけるように、次に最も近い前のフレームだけを補間の参照として利用する必要はない。最も近い前のＰフレームが動き補償のためのより良い選択肢であることもある。この場合、最も近い前のＰフレームの動きベクトルは、ＢフレームからそのＰフレームまでのフレーム距離分数へ短縮される。図１８は、最も近い前のＰフレームが前のＰフレームを参照する動きベクトルを有する、Ｐ及びＢフレームのシーケンスを示す図である。本例においては、Ｍ＝３であり、第１のＢフレーム１８００は、最も近い前のＰフレームＰ２の動きベクトルｍｖを、１／３及び−２／３のフレーム距離分数倍して用いる。第２のＢフレーム１８０２は、２／３及び−１／３のフレーム距離分数を用いる（図示せず）。このような選択がデコーダへ合図され、図１６に示された場合と、この場合と、が区別される。
【０１３３】
他のすべての符号化モードと同様に、直接モードの使用は、他の利用可能な補間及び単一ベクトルの符号化モードに対するモード候補並びに参照フレームの試験を伴うことが好ましい。直接モードの試験に関しては、最も近い後のＰフレーム（及び、任意で、次に最も近い後のＰフレーム若しくは更に離れた後のＰフレーム及び／又は１つ以上の前のＰフレーム）を候補として試験することができ、且つ、少数のビット（典型的には１つ又は２つ）を使用し、デコーダにより用いられる直接モードのＰ参照のフレーム距離を特定することができる。
【０１３４】
拡張された補間値
Ｈ．２６１及びＨ．２６３の標準規格と同様に、ＭＰＥＧ−１、２及び４において特定されていることは、Ｂフレームが、動きベクトルにより移動させられるように、順方向に参照されるフレーム及び逆方向に参照されるフレームのピクセル値の均等な重み付けを用いることである。本発明のもう一つの側面は、Ｂフレームの符号化の効率を著しく改善できる種々の有用な不均等な重み付けの適用と、時間的に逆方向又は順方向の２つ以上の参照を含む３つ以上の参照へのかかる不均等な重み付けの拡張と、を含んでいる。本発明の本側面は、Ｐフレームのために参照及び補間される２つ以上のフレームのための方法も含んでいる。更に、２つ以上の参照が時間的に順方向を指す場合又は２つ以上の参照が時間的に逆方向を指す場合、１．０を超える重み付けと同様に負の重み付けを用いることが有用であるときがある。
【０１３５】
例えば、図１９は、３つのＰフレームＰ１、Ｐ２及びＰ３の場合であって、Ｐ３がＰ１及びＰ２のそれぞれにつき１つずつの２つの動きベクトルを用いて補間された参照を使用する場合を示すフレームのシーケンスである。例えば、Ｐ１及びＰ３の間のフレームの範囲にわたって、連続的な変化が生じている場合、Ｐ２−Ｐ１（即ち、Ｐ２に対する動きベクトルにより移動させられたフレームＰ２のピクセル値から、Ｐ１に対する動きベクトルにより移動させられたフレームＰ１のピクセル値を減じたもの）は、Ｐ３−Ｐ２と等しい。同様に、Ｐ３−Ｐ１は、Ｐ２−Ｐ１及びＰ３−Ｐ２の大きさの２倍である。このような場合、フレームＰ３に対するピクセル値を、以下の式により、Ｐ１及びＰ２から差分的に予測することができる。
Ｐ３＝Ｐ１＋２×（Ｐ２−Ｐ１）＝（２×Ｐ２）−Ｐ１
【０１３６】
この場合、Ｐ３に対する補間の重みは、Ｐ２に対して２．０であるとともに、Ｐ１に対して−１．０である。
【０１３７】
もう一つの例として、図２０は、４つのＰフレームＰ１、Ｐ２、Ｐ３及びＰ４の場合であって、Ｐ４がＰ１、Ｐ２及びＰ３のそれぞれにつき１つずつの３つの動きベクトルを用いて補間された参照を使用する場合を示すフレームのシーケンスである。それゆえに、Ｐ４は、Ｐ３、Ｐ２及びＰ１から予測されるので、３つの動きベクトル及び補間の重みが適用される。この場合において、このフレームの範囲にわたって連続的な変化が生じていたなら、Ｐ２−Ｐ１は、Ｐ３−Ｐ２及びＰ４−Ｐ３の両方に等しく、且つ、Ｐ４−Ｐ１は、３×（Ｐ２−Ｐ１）及び３×（Ｐ３−Ｐ２）の両方に等しいだろう。
【０１３８】
従って、本例の場合においては、Ｐ２及びＰ１に基づくＰ４の予測は以下となる：
Ｐ４＝Ｐ１＋３×（Ｐ２−Ｐ１）＝（３×Ｐ２）−（２×Ｐ１）  （重み３．０及び−２．０）
【０１３９】
Ｐ３及びＰ１に基づくＰ４の予測は以下となる：
Ｐ４＝Ｐ１＋３／２×（Ｐ３−Ｐ１）＝（３／２×Ｐ３）−（１／２×Ｐ１）  （重み１．５及び−０．５）
【０１４０】
Ｐ３及びＰ２に基づくＰ４の予測は以下となる：
Ｐ４＝Ｐ２＋２×（Ｐ３−Ｐ２）＝（２×Ｐ３）−Ｐ２  （重み２．０及び−１．０）
【０１４１】
しかしながら、Ｐ３及びＰ２を含むＰ４の最も近くの変化が、Ｐ１を含む予測より信頼できるＰ４の予測子である可能性が高いだろう。従って、Ｐ１を含む上記２項のそれぞれに１／４の重みを与え、Ｐ３及びＰ２だけを含む項に１／２の重みを与えることにより、次の結果が得られる：
１／２（２  Ｐ３−Ｐ２）＋１／４（３／２  Ｐ３−１／２  Ｐ１）＋１／４（３  Ｐ２−２  Ｐ１）＝（１＋３／８）Ｐ３＋１／４  Ｐ２−５／８  Ｐ１  （重み１．３７５、０．２５及び−０．６２５）
【０１４２】
従って、１．０より大きい及び０より小さい両方の重みを用いることが有用であるときがある。またある時には、あるフレームから次のフレームまでに雑音のような変動がある場合、０．０と１．０との間の穏やかな係数を有する正の重み付けされた平均が、Ｐ４のマクロブロック（又は他のピクセルの領域）の最良の予測子を生み出すこともある。例えば、図２０におけるＰ１、Ｐ２及びＰ３のそれぞれの１／３の均等な重み付けが、ある場合には、Ｐ４の最良の予測子を形成することもある。
【０１４３】
ここで留意すべきは、最良の一致の動きベクトルを適用し、本例における計算により利用されるＰ１、Ｐ２、Ｐ３等の領域を決定する、ということである。この一致は、ある場合には、ＡＣ一致が最良となることもあり、その結果、変動するＤＣ項をＡＣ係数を介して予測することができる。代替として、（絶対差分和等の）ＤＣ一致を用いる場合、ＡＣ係数の変化を予測できることが多い。他の場合においては、種々の形式の動きベクトルの一致は、種々の重み付けの混合を用いて最良の予測を形成する。一般に、特定の場合のための最良の予測子は、本明細書において述べられた方法を用いて、経験的に決定される。
【０１４４】
これらの技法は、時間的に逆方向又は順方向のいずれかを指す２つ以上の動きベクトルを有するＢフレームにも適用可能である。時間的に順方向を指す場合、Ｐフレームに対する上記係数のパターンは現在のＰフレームへ向けて正確に逆方向に予測するために逆にされる。本発明の本側面を用いて、順方向及び逆方向の両方向において２つ以上の動きベクトルを有することが可能であり、その結果、両方向において共に予測することができる。これらの種々の予測の適切に重み付けされた混合は、現在のＢフレームのマクロブロック（又は、他のピクセルの領域）を最良に予測する混合の重み付けを選択することにより、最適化され得る。
【０１４５】
図２１は、種々のＰフレームが種々の前のＰフレームを参照する１つ以上の動きベクトルを有する、Ｐ及びＢフレームのシーケンスを示し、且つ、特定のＢフレームによる順方向及び逆方向それぞれの参照に対して割り当てられる種々の重みａ〜ｅを示す図である。本例においては、Ｂフレーム２１００は、３つの前のＰフレーム及び２つの後のＰフレームを参照する。
【０１４６】
図２１に図示された例において、フレームＰ５は、この例が機能するために復号化される必要がある。復号化のために必要とされる順序（「配信順序（delivery  order）」）にてビットストリームにおけるフレームを並べることが有用であることもあり、それは、必ずしも表示する順序（「表示順序（display  order）」）ではない。例えば、周期性のある動き（例えば、物体の回転）を示すフレームのシーケンスにおいては、特定のＰフレームは、最も近い後のＰフレームよりも、離れたＰフレームに類似していることがある。図２２は、Ｐフレームのビットストリームの配信順序が表示順序とは異なる、Ｐ及びＢフレームのシーケンスを示す図である。本例においては、フレームＰ３は、フレームＰ４よりフレームＰ５に類似している。従って、Ｐ４の前にＰ５を配信するとともに符号化し、一方、Ｐ５の前にＰ４を表示することが有用である。好ましくは、各Ｐフレームは、かかるＰフレームをいつ廃棄することができるか（例えば、ビットストリーム順序でｎ個のフレームの終了又は表示順序でフレームＸの後）を、デコーダへ合図する（信号を送る）べきである。
【０１４７】
少数の選択肢の組から重み付けが選択される場合、どの重み付けが使用されることになっているかを少数のビットでデコーダへ合図することができる。本明細書にて述べられた他の重み付けのすべてと同様に、このデコーダへの合図（信号）は、画像単位毎に一度又は重み付けの変更が有用である復号化の処理の任意の他の時点にて、送られ得る。
【０１４８】
新たな重み付けの組をダウンロードすることも可能である。このように、少数の重み付けの組を所定の時間にて有効であるようにしてもよい。これにより、有効な重み付けの組のどれが復号化の処理における所定の時点にて使用されることになっているかを、少数のビットによりデコーダへ合図することができる。適切な重み付けの組を決定するために、多数の重み付けを符号化の間に試験することができる。小さなサブセットが高い効率を提供することが分かった場合、使用されるためにそのサブセットはデコーダへ合図され得る。サブセットの特定の要素は、このように、ほんの僅かなビットを用いてデコーダへ合図され得る。例えば、１０ビットは、１０２４のサブセットの要素のうちの１つを選択できる。更に、特定の小さなサブセットを変更し効率を維持すべき場合は、新たなサブセットをデコーダへ合図することができる。従って、エンコーダは、重み付けの組を更新するために必要とされるビット数に対する重み付けの組の要素の中から選択するために必要とされるビット数を、動的に最適化できる。更に、少数の短い符号を使用し、１／２、１／３、１／４等の一般的に有用な重み付けを合図することができる。このように、少数のビットを使用し、Ｐフレームにおける第Ｋ順方向ベクトルの予測（ここで、Ｋ＝１、２、３、．．．）、Ｂフレームにおける第Ｋ順方向ベクトル及び第Ｌ逆方向ベクトルの予測（ここで、Ｋ及びＬは、０、１、２、３、．．．から選択される）又はＰフレームにおける第Ｋ順方向ベクトル及び第Ｌ逆方向ベクトルの予測（ここで、Ｋ及びＬは、０、１、２、３、．．．から選択される）等に対する重み付けの組を、現在のＭ値（即ち、隣接するＰ（又はＩ）フレームに対するＢフレームの相対的な位置）の関数として、合図により知らせることができる。
【０１４９】
図２３は、割り当てられた重み付けを伴うＰ及びＢフレームのシーケンスを示す図である。Ｂフレーム２３００は、重みａ〜ｅを有し、その値は、Ｂフレームの重み付けの組２３０２の表から割り当てられる。Ｐフレーム２３０４は、重みｍ、ｎを有し、その値は、Ｐフレームの重み付けの組２３０６の表から割り当てられる。重み付けの一部は静的であり（即ち、デコーダに恒久的にダウンロードされ）、エンコーダにより合図を送られ得る。他の重み付けは動的にダウンロードされ、そして合図により知らされてもよい。
【０１５０】
これと同一の技法を使用し、ＤＣ補間対ＡＣ補間を選択するための重み付けの組を動的に更新してもよい。更に、（通常は非線形な表現にて表されるピクセル値の）通常の（線形な）補間対（代替の線形な又は非線形な表現の）変換された値の線形な補間を選択する符号の値を合図することができる。同様に、かかる符号の値は、かかる補間のどれをＡＣ又はＤＣの値に適用するか又は予測のＡＣ及びＤＣの部分を分離するかどうか、を合図できる。
【０１５１】
有効なサブセット化を使用し、現在使用中の重み付けの係数の組から選択するために必要なビット数を最小化することができる。例えば、１０２４個のダウンロードされた重み付けの組がデコーダにおいて保持されていたなら、おそらく、フレームのある特定の部分の間に１６個が有効である必要があろう。それゆえに、（１０２４個のうちの）１６個の重み付けの組のサブセットのうちのどれが有効であることになっているかを選択することにより、これら１６個の重み付けの組のどれが有効であるかを選択するために、４ビットの使用が必要とされるだけである。サブセットはまた、最も一般的なサブセットのための短い符号を用いて合図され、従って、少数のビットにより一般的に用いられるサブセットの中から選択され得る。
【０１５２】
ソフト化及びシャープ化
平均値の減算によりＡＣの信号からＤＣ成分を簡単に分離するのと同様に、動きベクトル補償される予測の間に他のフィルタリング操作を行うことも可能である。例えば、種々の高域通過（haigh-pass）フィルタ、帯域通過（band-pass）フィルタ及び低域通過（low-pass）フィルタを（マクロブロック等の）ピクセルの領域に適用し、種々の周波数帯域を抽出することができる。次いで、動き補償を実行するとき、これらの周波数帯域を修正することができる。例えば、ノイズの多い動画に関しては、画像をソフト化する（シャープネス（sharpness）を抑え、又は、僅かにぼかす）ために最高周波数をフィルタにより除去することが有用である場合が多い。よりソフトな画像のピクセルは、量子化用の急勾配の傾斜マトリクス（steeper  tilt  matrix）（現在のブロックにおける高周波数のノイズを傾斜マトリクス（tilt  matrix）が急勾配であるほど無視する）と組み合わせられると、通常、より効率的な符号化の方法を形成する。画像単位毎に量子化の傾斜マトリクスの変更を合図することは、既に可能である。また、輝度及び色度のためのユーザ定義の（custom）傾斜マトリクスをダウンロードすることも可能である。ここで留意すべきは、傾斜マトリクスが変更されてもされなくても、動き補償の効率は改善され得るという点である。しかしながら、動き補償の間に適用される傾斜マトリクス及びフィルタパラメータ（filter  parameter）の両方を変更することが最も効率的であることが多い。
【０１５３】
一般的な方法として、色度の符号化に対しては色度に特有の傾斜マトリクスとともに低減された解像度が用いられる。しかしながら、この場合（４：２：０符号化の垂直及び水平方向の１／２解像度又は４：２：２符号化の水平方向のみ１／２解像度等）、色度の符号化の解像度は静的である。動き補償の間に、画像単位毎に選択された動的なフィルタ処理を色度及び輝度の両方に（独立に又は直列に）適用することにより、符号化の効率を本発明の本側面により増大させることができる。
【０１５４】
「時相及び解像度の階層化の向上」（"Enhancements  to  Temporal  and  Resolution  Layering”）と題する米国特許出願第０９／５４５,２３３号（上記にて参照）においては、負のローブ（lobe）を有する改良された変位フィルタ（切断ｓｉｎｃ関数（truncated  sinc  function））の使用が記述されている。これらのフィルタは、動きベクトルの小数ピクセル部分の変位を実行する際、シャープネスを保つという利点を有する。整数のピクセルの変位点及び小数のピクセルの変位点の両方にて、マクロブロック（又は他の有用な画像領域）の一部は、シャープネスを減少又は増大させるフィルタを用いて、より最適に移動させられる。例えば、「フォーカス送り（rack  focus）」（フレームにおけるある物体が時間とともに焦点から外れていき、フレームの他の部分の焦点が合ってくる）に関しては、遷移は、シャープネス及びソフトネスの両方の変化のうちの１つである。それゆえに、画像におけるある領域にてシャープネスを増加させ、一方、他の領域にてシャープネスを減少させることがともに可能な動き補償のフィルタは、符号化の効率を改良できる。特に、ピクチャ領域が焦点から外れていく場合、シャープネスを減少させることが有益であり、そのことは、画像をソフト化し（それにより、より良好な一致を潜在的に生成し）、且つ、粒子（grain）及び／又はノイズを減少させる（それにより、おそらくは符号化の効率を改善できる）。画像の領域の焦点が合ってくるとき、最大のシャープネスを維持するか、場合によっては、大きな負のローブのフィルタ値を用いてシャープネスを増加させることが有益であろう。
【０１５５】
符号化の間に、色度のフィルタによる処理も、シャープネスの増加及び減少による利益を得る。例えば、Ｕ及び／又はＶのチャネルにおける全解像度を維持しながら、よりソフトな動き補償のフィルタを色度に対して用いることにより、４：２：０符号化（垂直及び水平方向の１／２解像度の色度）の符号化効率の利益の多くを獲得することができる。Ｕ及びＶチャネルにおける色の細度が高い場合だけ、最もシャープな変位フィルタを選択することが必要である。よりソフトなフィルタは、色調の強いノイズ又は粒子がある場合、より有益である。
【０１５６】
焦点の変化に加えて、あるフレームから次のフレームへのモーションブラー（motion  blur）の変化に向き及び量があることが一般的である。２４ｆｐｓの映画フィルムのフレームレートにおいては、簡単な会話シーンでさえも、あるフレームから次のフレームへのモーションブラーの著しい変化を有することがある。カメラのシャッターが開いている時間の間の唇の動きに完全に起因して、例えば、上唇はあるフレームにおいてぼやけていて、次のフレームにおいてシャープになることもある。このようなモーションブラーに関しては、動き補償の間にシャープ化及びソフト化（ブラー化（blurring））フィルタを用いるだけでなく、シャープ化及びソフト化に対する指向性の側面を用いることも有益であろう。例えば、動きの方向が決定されるならば、その方向に沿うソフト化又はシャープ化を使用し、画像の特徴の動き又は停止に対応させることができる。動き補償のために使用される動きベクトルは、それ自体が、任意の周囲のフレーム（又は、対応する領域）に対する特定フレーム（又は、フレーム内の領域）の動きの量及び動きの量の変化（即ち、モーションブラー）についての有用な情報の一部を提供できる。特に、モーションブラーがフレーム内のシャッターが開いている時間の間の動きに起因する限り、動きベクトルは、Ｐフレーム間の最良の動きの一致である。
【０１５７】
図２４は、時間に対するフレーム内の物体の位置のグラフである。カメラのシャッターはフレーム時間のある部分だけ開いている。シャッターが開いている間は、物体のどのような動きもぼけ（blur）を生じる。モーションブラーの量は、シャッターが開いている時間の間の位置の変化の量により示される。それゆえに、シャッターが開いている間の位置曲線２４００の傾斜が、モーションブラーの大きさである。
【０１５８】
モーションブラーの量及び動きの方向は、シャープネスの評価指標と、（画像の領域が一致する場合の）周囲の動きベクトルと、特徴のある汚れ検出と、フレームの領域の人が支援する指定と、の組み合わせからも決定され得る。フィルタは、決定されたモーションブラーの量及び動きの方向に基づいて選択され得る。例えば、決定されたモーションブラー及び方向に対する種々のフィルタのマッピングを経験的に決定することができる。
【０１５９】
本発明の他の側面と組み合わせられる場合、このように知的に適用されるフィルタにより、圧縮符号化の効率を著しく改善することができる。少数のかかるフィルタは、デコーダへ合図される少数のビットにより選択され得る。この場合もやはり、画像単位毎に一度又は復号化の処理における他の有用な時点にて、実行することができる。重み付けの組と同様に、動的に読み込まれるフィルタの組及び有効なサブセット化のメカニズムを使用し、フィルタパラメータの最も有益な組から選択するために必要とされるビット数を最小化することができる。
【０１６０】
実装
本発明は、ハードウエア若しくはソフトウエア又は両者の組み合わせ（例えば、プログラマブル・ロジック・アレー）において実装されていてもよい。特に規定のない限り、本発明の一部として含まれるアルゴリズムは、如何なる特定のコンピュータ又は他の装置と本質的に関連しない。特に、本明細書の教示に従って書かれたプログラムを有する各種の汎用マシンを用いることができ、あるいはより特化した装置（例えば、集積回路）を構成して特定の機能を実行すると更に便利になろう。このように、本発明は、１台以上のプログラマブルコンピュータシステム上の１つ以上のコンピュータプログラムに実装でき、各システムは、少なくとも１つのプロセッサ、少なくとも１つのデータ記憶システム（揮発性又は不揮発性メモリ及び／又は記憶素子を含む）、少なくとも１つの入力装置又はポート、及び少なくとも１つの出力装置又はポートを備える。プログラムコードを入力データに適用して本明細書で説明した機能を実行するとともに、出力情報を生成する。出力情報は、既知の方法で１台以上の出力装置に適用される。
【０１６１】
コンピュータシステムと通信するための、任意の所望するコンピュータ言語（機械語、アセンブリ言語、又は高レベル手続き型言語、論理型言語、又はオブジェクト指向プログラム言語を含む）にて、かかるプログラムをそれぞれ実装してもよい。いずれにしても、言語は、コンパイラ型言語でもインタープリタ型言語でもよい。
【０１６２】
本明細書で説明した手段を実行するためのコンピュータシステムにより、汎用又は特定用途のプログラマブルコンピュータにより可読な記憶媒体又は装置（例えば、固体メモリか媒体、又は磁気式か光学式媒体）が読み込まれる際に、コンピュータを構成するとともに操作するため、かかるコンピュータプログラムはそれぞれ、その記憶媒体又は装置に格納されるかダウンロードされることが好ましい。本発明のシステムは、コンピュータプログラムで構成されたコンピュータ可読の記憶媒体として実施されると考えられてもよく、その場合、そのように構成された記憶媒体は、コンピュータシステムを特定のかつ予め定義された方法で動作させて、本明細書で説明した機能を実行する。
【０１６３】
本発明の多くの実施の形態を説明してきた。それにもかかわらず、本発明の趣旨と範囲から逸脱することなく、多様な改変がなされるだろうことは言うまでもない。例えば、上記のステップの幾つかは順不同であってもよく、従って、説明したものと異なる順序で実行してもよい。よって、他の実施の形態は、以下の請求の範囲内にある。
【図面の簡単な説明】
【０１６４】
【図１】図１は、従来技術によるフレーム及びＭＰＥＧ−４直接モードの動きベクトルの時系列である。
【図２】図２は、本発明の本側面によるフレーム及び比例したピクセルの重み付け値の時系列である。
【図３】図３は、本発明の本側面によるフレーム並びに混合、比例及び均等ピクセル重み付け値の時系列である。
【図４】図４は、コンピュータに実装可能な方法として、本発明の例示的な実施形態を示すフローチャートである。
【図５】図５は、現在のＰフレームによる２つの前のＰフレーム及び前のＩフレームへの複数の前方向参照の例を示す図である。
【図６Ａ】図６Ａは、Ｉフレーム及び／又はＰフレームに挟まれたＢフレームの一定な数を示す、典型的な従来技術のＭＰＥＧ−２符号化パターンの図である。
【図６Ｂ】図６Ｂは、Ｉフレーム及び／又はＰフレームに挟まれたＢフレームの変化する数並びにＩフレーム間の変化する距離を示す、理論的に可能な従来技術のＭＰＥＧ−４ビデオ符号化パターンの図である。
【図７】図７は、符号パターンの図である。
【図８】図８は、ＡＣ補間とは異なるＤＣ補間による補間方法の１つの実施形態を示すフローチャートである。
【図９】図９は、代替表現を用いる輝度ピクセルの補間方法の１つの実施形態を示すフローチャートである。
【図１０】図１０は、代替表現を用いる色度ピクセルの補間方法の１つの実施形態を示すフローチャートである。
【図１１】図１１は、２つのＰフレームのそれぞれに対して固有の動きベクトルの領域サイズを示す図である。
【図１２】図１２は、１つ離れた後のＰフレームを参照する２つ離れた後のＰフレームからの距離の関数として決定されるＢフレームに対する補間重みを伴う、Ｐ及びＢフレームのシーケンスを示す図である。
【図１３】図１３は、２つ離れた前のＰフレームを参照する１つ離れた後のＰフレームからの距離の関数として決定されるＢフレームに対する補間重みを伴う、Ｐ及びＢフレームのシーケンスを示す図である。
【図１４】図１４は、後のＰフレームが前のＰフレームを参照する複数の動きベクトルを有する、Ｐ及びＢフレームのシーケンスを示す図である。
【図１５】図１５は、最も近い後のＰフレームが前のＰフレームを参照する動きベクトルを有し、且つ、次に最も近い後のＰフレームが前のＰフレームを参照する複数の動きベクトルを有する、Ｐ及びＢフレームのシーケンスを示す図である。
【図１６】図１６は、最も近い前のＰフレームが前のＰフレームを参照する動きベクトルを有する、Ｐ及びＢフレームのシーケンスを示す図である。
【図１７】図１７は、最も近い前のＰフレームが前のＰフレームを参照する２つの動きベクトルを有する、Ｐ及びＢフレームのシーケンスを示す図である。
【図１８】図１８は、最も近い前のＰフレームが前のＰフレームを参照する動きベクトルを有する、Ｐ及びＢフレームのシーケンスを示す図である。
【図１９】図１９は、３つのＰフレームＰ１、Ｐ２及びＰ３の場合であって、Ｐ３がＰ１及びＰ２のそれぞれにつき１つずつの２つの動きベクトルを用いて補間された参照を使用する場合を示すフレームのシーケンスである。
【図２０】図２０は、４つのＰフレームＰ１、Ｐ２、Ｐ３及びＰ４の場合であって、Ｐ４がＰ１、Ｐ２及びＰ３のそれぞれにつき１つずつの３つの動きベクトルを用いて補間された参照を使用する場合を示すフレームのシーケンスである。
【図２１】図２１は、種々のＰフレームが種々の前のＰフレームを参照する１つ以上の動きベクトルを有する、Ｐ及びＢフレームのシーケンスを示し、且つ、特定のＢフレームによる順方向及び逆方向それぞれの参照に対して割り当てられる種々の重みを示す図である。
【図２２】図２２は、Ｐフレームのビットストリームの順序が表示順序と異なる、Ｐ及びＢフレームのシーケンスを示す図である。
【図２３】図２３は、割り当てられた重み付けを伴うＰ及びＢフレームのシーケンスを示す図である。
【図２４】図２４は、時間に対するフレーム内の物体の位置のグラフである。
【図１】
2006513592.tif 000003
【図２】
2006513592.tif 000004
【図３】
2006513592.tif 000005
【図４】
2006513592.tif 000006
【図５】
2006513592.tif 000007
【図６Ａ】
2006513592.tif 000008
【図６Ｂ】
2006513592.tif 000009
【図７】
2006513592.tif 000010
【図８】
2006513592.tif 000011
【図９】
2006513592.tif 000012
【図１０】
2006513592.tif 000013
【図１１】
2006513592.tif 000014
【図１２】
2006513592.tif 000015
【図１３】
2006513592.tif 000016
【図１４】
2006513592.tif 000017
【図１５】
2006513592.tif 000018
【図１６】
2006513592.tif 000019
【図１７】
2006513592.tif 000020
【図１８】
2006513592.tif 000021
【図１９】
2006513592.tif 000022
【図２０】
2006513592.tif 000023
【図２１】
2006513592.tif 000024
【図２２】
2006513592.tif 000025
【図２３】
2006513592.tif 000026
【図２４】
2006513592.tif 000027
【国際調査報告】
2006513592.tif 000028