符号化されたビデオフレームではなくてスキップされたビデオフレームとなるビデオフレームを選択することと、スキップされたビデオフレームをビデオ復号器が内挿するのを補助する情報を生成することと、前記情報を符号化して、前記ビデオ復号器に対して送信されるようにすることと、を備える、ビデオ符号化方法。前記情報は、スキップされたビデオフレームを内挿する際に前記ビデオ復号器が用いる内挿式を指定する、請求項1に記載の方法。前記情報は、スキップされたビデオフレーム内の選択されたビデオブロックを内挿する際に前記ビデオ復号器が用いる様々な内挿式を指定する、請求項1に記載の方法。前記選択されたビデオブロックが、スキップされたビデオフレーム内の全てのビデオブロックより大幅に少ないビデオブロックを備え、これによって、符号化される情報の量を減少させる、請求項3に記載の方法。前記情報は、スキップされたビデオフレーム内の選択されたビデオブロックを内挿する際に前記ビデオ復号器によって用いられる、様々な内挿式を指定する式ラベルマップを含む、請求項1に記載の方法。ビデオフレーム内のビデオブロックに対する様々な内挿式の結果を評価することをさらに備え、前記情報を発生することは、スキップされたビデオフレーム内の選択されたビデオブロックの内挿の際に前記ビデオ復号器によって用いられるはずの特定の内挿式を指定する情報を、この結果に基づいて生成することを含む、請求項1に記載の方法。スキップされたビデオフレーム内のビデオブロックと、後続のビデオフレーム内の対応するビデオブロックとの間の差を決定することと、閾値を超える差を生じるビデオブロックを特定することと、をさらに備え、情報を生成することが、スキップされたビデオフレーム内の特定されたビデオブロックの内挿の際に前記ビデオ復号器が用いる特定の内挿式を指定する情報を生成することを含む、請求項1に記載の方法。前記情報は、スキップされたフレームと前のフレームとの間の運動を表す運動ベクトルを含む、請求項1に記載の方法。前記情報は、スキップされたフレームと、前のフレームと、後続のフレームとの間の差を表す差分フラグを含む、請求項1に記載の方法。前記差分フラグは、絶対差分和SADフラグと、隣のブロック同士間の相対的SAD値を示す方向性フラグとを含む、請求項9に記載の方法。スキップされていないビデオフレーム内で情報を符号化することをさらに備える、請求項1に記載の方法。意図的にスキップされたビデオフレームの内挿を補助する情報を受信することであって、この情報がビデオフレーム内で符号化されることと、この情報を適用して、スキップされたビデオフレームを内挿することと、を備える、ビデオ復号化方法。前記情報は、意図的にスキップされたビデオフレームの内挿に用いられる内挿式を指定し、前記方法は、意図的にスキップされたビデオフレームを内挿するために、指定された内挿式を適用することをさらに備える、請求項12に記載の方法。前記情報は、意図的にスキップされたビデオフレーム内の選択されたビデオブロックの内挿に用いられる様々な内挿式を指定し、前記方法は、意図的にスキップされたビデオフレーム内の選択されたビデオブロックを内挿するために、指定された内挿式を適用することをさらに備える、請求項12に記載の方法。選択されたビデオブロックが、意図的にスキップされたビデオフレーム内の全てのビデオブロックより大幅に少ないブロックを備え、これによって情報の量を減少させる、請求項14に記載の方法。前記情報は、意図的にスキップされたビデオフレーム内の選択されたビデオブロックの内挿に用いられる様々な内挿式を指定する式ラベルマップを含み、前記方法は、意図的にスキップされたビデオフレーム内の選択されたビデオブロックを内挿するために、指定された内挿式を適用することをさらに備える、請求項12に記載の方法。前記情報は、意図的にスキップされたビデオフレーム内の選択されたビデオブロックの内挿に用いられる内挿式を指定し、また、意図的にスキップされたビデオフレーム内の選択されたビデオブロックと、後続のビデオフレーム内の対応するビデオブロック間の差が閾値を超える、請求項12に記載の方法。前記情報は、意図的にスキップされたビデオフレームと、前のフレームと、後続のフレームとの間の運動を表す運動ベクトルを含み、前記方法は、意図的にスキップされたビデオフレームを内挿するために、運動ベクトルを適用することをさらに備える、請求項12に記載の方法。前記情報は、意図的にスキップされたビデオフレームと、前のフレームと、後続のフレームとの間の差を表す差分フラグを含み、前記方法は、意図的にスキップされたビデオフレームを内挿するために、差分フラグを適用することをさらに備える、請求項12に記載の方法。前記差分フラグは、絶対差分和SADフラグと、隣のブロック同士間の相対的SAD値を示す方向性フラグとを含む、請求項19に記載の方法。意図的にスキップされたビデオフレームを分析して、この意図的にスキップされたビデオフレームをビデオ復号器が内挿するのを補助する情報を生成する、分析ユニットと、前記情報をビデオフレーム内で符号化して、前記ビデオ復号器に対して送信されるようにするアセンブリユニットと、を備える、ビデオ符号器。前記情報は、意図的にスキップされたビデオフレームを内挿する際に前記ビデオ復号器が用いる内挿式を指定する、請求項21に記載のビデオ符号器。前記情報は、意図的にスキップされたビデオフレーム内の選択されたビデオブロックを内挿する際に前記ビデオ復号器が用いる様々な内挿式を指定する、請求項21に記載のビデオ符号器。前記選択されたビデオブロックが、意図的にスキップされたビデオフレーム内の全てのビデオブロックより大幅に少ないビデオブロックを備え、これによって、符号化される情報の量を減少させる、請求項23に記載のビデオ符号器。前記情報は、意図的にスキップされたビデオフレーム内の選択されたビデオブロックを内挿する際に前記ビデオ復号器によって用いられる様々な内挿式を指定する式ラベルマップを含む、請求項21に記載のビデオ符号器。前記分析ユニットは、ビデオフレーム内のビデオブロックに対する様々な内挿式の結果を評価して、意図的にスキップされたビデオフレーム内の選択されたビデオブロックの内挿の際に前記ビデオ復号器によって用いられるはずの特定の内挿式を指定する情報を、この結果に基づいて生成する、請求項21に記載のビデオ符号器。前記分析ユニットは、意図的にスキップされたビデオフレーム内のビデオブロックと、後続のビデオフレーム内の対応するビデオブロックとの間の差を決定し、閾値を超える差を生じるビデオブロックを特定し、意図的にスキップされたビデオフレーム内の特定されたビデオブロックの内挿の際に前記ビデオ復号器が用いる特定の内挿式を指定することを含む情報を生成する、請求項21に記載のビデオ符号器。前記情報は、意図的にスキップされたビデオフレームと、前のフレームと、後続のフレームとの間の運動を表す運動ベクトルを含む、請求項21に記載のビデオ符号器。前記情報は、意図的にスキップされたビデオフレームと、前のフレームと、後続のフレームとの間の差を表す差分フラグを含む、請求項21に記載のビデオ符号器。前記差分フラグは、絶対差分和SADフラグと、隣のブロック同士間の相対的SAD値を示す方向性フラグとを含む、請求項29に記載のビデオ符号器。意図的にスキップされたビデオフレームの内挿を補助する情報を受信し、前記情報がビデオフレーム内で符号化され、また、意図的にスキップされたビデオフレームを内挿するために、前記情報を適用する内挿ユニットを備える、ビデオ復号器。前記情報は、意図的にスキップされたビデオフレームを内挿する際に用いられる内挿式を指定する、請求項28に記載のビデオ復号器。前記情報は、意図的にスキップされたビデオフレーム内の選択されたビデオブロックを内挿する際に用いられる様々な内挿式を指定する、請求項28に記載のビデオ復号器。前記選択されたビデオブロックは、意図的にスキップされたビデオフレーム内の全てのビデオブロックより大幅に少ないビデオブロックを備え、これによって、前記情報の量を減少させる、請求項33に記載のビデオ復号器。前記情報は、意図的にスキップされたビデオフレーム内の選択されたビデオブロックを内挿する際に用いられる様々な内挿式を指定する式ラベルマップを含む、請求項31に記載のビデオ復号器。前記情報は、意図的にスキップされたビデオフレーム内の選択されたビデオブロックの内挿に用いられる内挿式を指定し、また、意図的にスキップされたビデオフレーム内の選択されたビデオブロックと、後続のビデオフレーム内の対応するビデオブロック間の差が閾値を超える、請求項31に記載のビデオ復号器。前記情報は、意図的にスキップされたビデオフレームと、前のフレームと、後続のフレームとの間の運動を表す運動ベクトルを含む、請求項31に記載のビデオ復号器。前記情報は、意図的にスキップされたビデオフレームと、前のフレームと、後続のフレームとの間の差を表す差分フラグを含む、請求項31に記載のビデオ復号器。前記差分フラグが、絶対差分和SADフラグと、隣のブロック同士間の相対的SAD値を示す方向性フラグとを含む、請求項38に記載のビデオ復号器。図1は、符号器補助式適応内挿技法を採用するように設定されたビデオ符号化/復号化システム10を示すブロック図である。図1に示すように、システム10は、送信チャネル15で接続されているビデオ符号器12とビデオ復号器14とを含んでいる。送信チャネル15は、有線式又は無線式の媒体である。システム10は、例えばビデオ電話通信のために、双方向ビデオ送信をサポートできる。したがって、往復的な符号化コンポーネント、復号化コンポーネント、多重化MUXコンポーネント及び逆多重化DEMUXコンポーネントが、チャネル15の両端に提供されてよい。一部の実施形態では、符号器システム12と復号器システム14が、ビデオストリーミング、ビデオ電話通信又は双方目的で装備されている無線モバイル端末などのビデオ通信デバイス内に実現されうる。システム10は、セッション始動プロトコルSIP、ITUのH.323基準、ITUのH.324基準又は他の基準に従ってビデオ電話通信をサポートできる。ビデオ符号器12は、MPEG-2、MPEG-4、ITUのH.263又はITUのH.264などのビデオ圧縮基準にしたがって符号化済みビデオデータを生成する。図1には示していないが、ビデオ符号器12及びビデオ復号器14は、それぞれオーディオ符号器及びオーディオ復号器と統合し、適切なMUX-DEMUXユニットを含み、これで、データストリームのオーディオ部分とビデオ部分を取り扱うようにしてもよい。このMUX-DEMUXユニットは、ITUのH.223マルチプレクサプロトコルや、ユーザデータグラムプロトコルUDPなどの他のプロトコルに適合するようにしてもよい。符号器12は、Pフレーム16とSフレーム情報18を符号化する。Pフレーム16は、ビデオ復号器14がビデオ情報のフレームを復号化して提示することを可能とさせる十分な情報を含む予測フレームである。Pフレームは、良好な忠実度で符号化される。特に、運動ベクトルと量子化された予測誤差とがPフレームに対して符号化される。Sフレームはスキップされたフレームであり、これを復号器14で内挿して、ビデオ情報のフレームを発生しなければならない。この開示にしたがって、符号器12は実際にはSフレームを符号化して送信することはない。そうする代わりに、符号器12は、低オーバヘッドのSフレーム情報18を生成して、ビデオ復号器14がSフレームを内挿するのを補助して、この情報をビデオフレーム中に符号化してビデオ復号器に対して送信されるようにする。このSフレーム情報は、専用のフレーム中に含めるか、又は送信Pフレームに付加してよい。Sフレームの内挿動作は、ビデオ復号器14でFRUC技法をサポートできる。図1の例では、ビデオ符号器12はフレーム処理ユニット20を含んでいるが、このユニットは、ビデオ情報の入力フレームF1、F2、F3を処理して、Pフレーム16又はSフレームの内挿を補助する情報を符号化すべきであるかどうか判定するように構成されている。F2はスキップされる予定のフレームを表し、フレームF1とF3はそれぞれ前のPフレームと後続のPフレームを表している。フレームF1、F2、F3の分析に基づいて、フレーム処理ユニット20はPフレームを符号化すべきかSフレーム情報18を符号化すべきか決定する。Sフレームの場合、フレーム処理ユニット20は、ビデオ復号器14がSフレームを内挿するのを補助する情報を生成する。この情報によって、復号器14は、内挿されたSフレーム中の視覚的な影響を軽減し、これによって視覚品質を改善することが可能となる。Sフレームはスキップされる、すなわち、復号器14には送信されないが、Sフレーム情報は、Sフレームの内容の内挿動作をサポートする。PフレームとSフレームの双方を取り扱うため、ビデオ復号器14は、標準の復号器22と補助式内挿復号器24とを含んでいる。標準復号器22は、標準の復号化技法を適用して、各々のPフレーム16を復号化する。しかしながら、補助式内挿復号器24は、ビデオ符号器12の補助に依存して、Sフレームを内挿する。特に、補助式内挿復号器24は、Sフレーム情報18を受信して、このSフレーム情報を適用して、スキップされたビデオフレームを内挿する。このSフレームの情報は、Sフレームのより正確な内挿をサポートするために選択された情報を含んでよく、これで、内挿されたビデオ情報中の視覚的な影響を軽減することが可能となるようにする。Sフレーム情報18は、例えば、Sフレームを内挿する際にビデオ復号器14によって用いられる特定の内挿式、又は選択された、Sフレーム内のビデオブロック、例えば、マクロブロックMBもしくはより小さいブロックに対して用いられる特定の内挿式を指定する情報を含んでよい。運動ベクトルの2つの集合、すなわち、Sフレームの後方BW運動ベクトルmv12と次のPフレームの前方FW運動ベクトルmv23とを得た後、ある内挿技法の集合を試験して、符号器12のところでSフレームを予測する。所与の応用分野に対する複雑さと帯域幅要件とに基づいて、一部の実施形態では、3つ以上の運動ベクトル集合を計算して送信することが可能である。続いて、符号器12が式に対応するラベルをピックアップして、この式をそれぞれのビデオブロックm、例えば、Sフレーム内の4×4、8×8又は16×16画素のブロックに対して送る。指定される内挿式は、用いることが可能な異なるいくつかの内挿式の内の1つである。しかしながら、ビデオ符号器12のフレーム処理ユニット20が、Sフレームの所望の品質レベルを満足する内挿結果又はSフレーム内の特定のビデオブロックを生じるものと期待される特定の内挿式を選択する。特定のフレームやビデオブロックに対しては特定のタイプの内挿式の方が、他のタイプの内挿式よりも効果的でありうる。逆に、一部のフレームやビデオブロックでは、容認可能な結果を達成する別の内挿式を適用することを必要とする特徴を有しうる。したがって、フレーム処理ユニット20は、所与のSフレーム内のビデオブロックが異なれば指定する内挿式も異なってよい。Sフレーム情報18は、補助式内挿復号器24に対して、Sフレーム内のビデオブロックを内挿するための適切な内挿式を適用するに十分な情報となる。このようにして、ビデオ符号器12は、復号器14がSフレームを内挿する際に補助する。内挿式に加えて、Sフレーム情報18は、ビデオ復号器18による内挿の品質を改善する際に有用な他の情報を含んでよい。例えば、Sフレーム情報18は、運動ベクトルと差分情報とをさらに含んでよい。これらの運動ベクトルは、スキップされたフレームと、前のフレームと、任意には後続のフレームとの間の運動を表している。この差分情報は、スキップされたフレームと、前のフレームと、後続のフレームとの間の差分、又はスキップされたフレームと、前のフレームと、後続のフレームとの内部のそれぞれ対応するビデオブロック同士間の差を示している。この差分情報はまた、絶対差分和SADsumofabsolutedifferenceフラグを含みうる。Sフレーム情報18が提示する帯域幅要件を軽減するため、フレーム処理ユニット20は、Sフレーム内の選択されたビデオブロックに対してだけ情報を送るように構成されうる。特に、フレーム処理ユニット20は、容認可能なビデオ品質を提供するために特定の内挿式を必要とするように思われるビデオブロックを特定できる。他のビデオブロックは、特定の内挿式を必要とすることなく正確に内挿されうる。一部の実施形態では、フレーム処理ユニット20は、Sビデオフレーム内のビデオブロックと、前のビデオフレームや、後続のビデオフレームや、双方のビデオフレーム内の対応するビデオブロックとの間の差を決定して、閾値を超える差を生じるようなビデオブロックを特定する。次に、フレーム処理ユニット20は、Sフレーム内の特定されたビデオブロックの内挿を実行する際にビデオ復号器14によって用いられる特定の内挿式を指定する情報を発生する。Sフレーム情報18は、このSフレーム情報専用のビデオフレーム内で符号化されてよく、Pフレーム16とは独立して送信される。代替例では、このSフレーム情報18を、復号器14に送信されるSフレームより前又は後のPフレーム16内に埋め込む。どちらの場合も、Sフレーム情報18の必要とする帯域幅は、Sフレームの実際の内容が必要とする帯域幅よりかなり少ない。したがって、システム10は、フレームをスキップすることによって得られる帯域幅の節約をうまく利用して、なおかつ、符号器補助式内挿によるビデオ品質の改善を達成することが可能である。ビデオ復号器14は、Sフレーム情報18を認識して利用する特別な構成であってよい。Sフレームの場合、マクロブロックMBモードはインターであるように強制される。復号器14はSフレームに対するマクロブロックモードインター判定を有するであろうため、マクロブロック判定ユニットは、内挿式とSADフラグとに関連するSフレーム情報18を送るために用いることが可能である。しかしながら、ビデオ復号器14がSフレーム情報18を使用する目的で備えられていない場合、この情報は無視することが可能であり、備わっていた場合にビデオ復号器によって適用されるデフォルト内挿技法にしたがって、内挿が進行することが可能である。図2は、Sフレーム情報18の一部として符号器12によって提供された運動ベクトルを用いて、復号器14のところで運動補償FRUC技法を適用する様子を示す図である。一般的に、ビデオ復号器14は、ビデオ符号器12によって提供されたSフレーム情報18を適用して、Sフレームを内挿し、FRUCをサポートする。一部の従来の復号器側FRUC技法では、復号器12は、フレームF1中のブロック30とフレームF3中の対応するブロック32との間を伸張する、ベクトルv13に依存している。フレームF1とF3は、内挿を必要とするSフレームF2=Ftにそれぞれ先行するt-1フレームと、後続するt1フレームである。F1、F2及びF3という専門語は、特定性を失うことなく、Ft-1、Ft及びFt1と一般化される。ベクトルv13は、一般的には、2分割1:2のフレームレート変換の場合されて、運動ベクトルv13/2と-v13/2となって、SフレームF2中の対応するブロック34を特定する。1:Nの変換の場合、これらの運動ベクトルはそれに対応した倍率となる。しかしながら、図2に示すように、結果として得られるブロック34は、SフレームF2中の実際の対応するブロック36とは実質的に異なっている。実際の運動ベクトル情報、すなわち、v12とv23がないと、復号器側でFRUCを実施するための実際のブロック36を確保することが困難となる。その結果、内挿されたフレーム品質は、実際の運動ベクトルv12とv23に対する推定運動ベクトルv13/2と-v13/2の精度に大きく依存する。この結果、復号器側でFRUCを実施したために、前方運動補償されたフレームだけを用いるとブロック化などの視覚的な好ましくない影響が入り込んだり、前方運動補償されたフレームと後方運動補償されたフレームの双方を用いるとぼやけたりする。これとは対照的に、Sフレーム情報18によって、ビデオ復号器14は、本開示にしたがって符号器補助式内挿技法を適用することが可能である。Sフレーム情報18は、実際の運動ベクトルと符号器側のところで決定された他の情報とを含んでよく、これで、復号器14によるSフレームF2の内挿が改善される。符号器12は、符号器処理によって得られた効果的な側の情報、すなわち、Sフレーム情報18を送ることによって、復号器14におけるフレームの内挿動作を改善することを可能とする。このようにして、ビデオ復号器14は、FRUC動作における運動推定が不正確なために引き起こされかねない様々な影響を軽減する。加えて、Sフレーム情報18によって、FRUC運動推定では通常必要とされる追加の処理を、ビデオ復号器14中では撤廃することが可能となり、この結果、実施上の複雑さが軽減される。図3は、図1に示すビデオ符号器12で使用されるフレーム処理ユニット20を示すブロック図である。図3に示すように、フレーム処理ユニット20は、フレームタイプ判定ユニット36と、Sフレーム分析ユニット38と、差分閾値ユニット40と、フレームアセンブリユニット42を含んでいる。Sフレーム分析ユニット38は、運動計算ユニット44と、差分ユニット46と、内挿選択ユニット48をさらに含んでいる。以下に説明するように、Sフレーム分析ユニット38は、Sフレーム情報18を生成して、復号器14が、改善された精度でSフレームを内挿するのを補助する。一般に、Sフレーム分析ユニット38は、Sフレームを分析して、運動ベクトル、差分情報及び内挿式選択を生成して、Sフレーム内のビデオブロックの内挿を効果的なものとする。フレームタイプ判定ユニット36は、入力ビデオ情報をPフレームとして符号化すべきかSフレームとして符号化すべきかを決定する。フレームをスキップするという判定は、部分的には、送信チャネル15図1上での帯域幅変換のための符号化された情報の全体量を減少させるように設計された、均一又は不均一フレームスキップ機能に基づいていてよい。例えば、フレームタイプ判定ユニット36は、毎n番目のフレームをスキップしてよい、又はダイナミックスキップ判定基準に基づいてフレームをスキップしてよい。一部の例では、フレームタイプ判定ユニット36は、偶数番号のフレームをスキップしてよい。どちらの場合も、フレームタイプ判定ユニット36は、このフレーム判定をフレームアセンブリユニット42に通信する。このフレームスキップ判定はまた、ピーク信号対雑音比PSNR又は、前の再構成されたフレームとの平均自乗誤差などの他の客観的な視覚品質測定値や、Pフレームの符号化のために費やされたバイト数と相関関係付けされた運動ベクトル長とに基づいていてよい。さらに図3に示すように、Sフレーム分析ユニット38は、運動ベクトルと、絶対差分和SADフラグと、式ラベルマップとを発生するが、これらは各々が、復号器14が内挿するのを補助するために符号器12によって提供されるSフレーム情報18の一部を形成する。運動計算ユニット44は、スキップされたSフレームF2内のビデオブロックと、先行するフレームF1及び後続のフレームF3内の対応するブロックとの間の運動を表す、運動ベクトルを生成する。したがって、スキップされたフレーム内の各々のビデオブロックは、1対の運動ベクトル、すなわち、後方BW運動ベクトルと前方FW運動ベクトルを特徴とする。これらの運動ベクトルは、内挿選択ユニット48が、Sフレーム内ビデオブロックに対する適切な内挿式を選択する際に補助するものである。差分ユニット46は、スキップされたフレーム内のビデオブロックと後続のフレーム内の対応するビデオブロックとの間の差を分析する。運動ベクトルはスキップされたフレームブロックと実質的に類似の前の又は後続のフレームブロックとの間で決定されてよいが、これら特定されたブロックはそれでも内容にかなりの差を示しうる。差分ユニット46は、この差を絶対差分和SAD計量値に基づいて決定しうる。このSAD計量値は、マクロブロック全体、例えば2~3画素幅のマクロブロックの4辺及び隣同士のマクロブロック間の境界について決定される。このSAD計量値が非常に大きければ、前のフレームではなくて将来のフレームを参照とすることが可能であるが、これは、内挿されたSフレームに物体が現れる可能性があるからである。差分ユニット46は、この差を復号器14が内挿するのを補助する差分フラグ、例えば、SADフラグとして表現する。内挿選択ユニット48は、異なる内挿式の集合をスキップされたフレーム内のビデオブロックに適用して、内挿精度という点で最も効果的な内挿式を特定する。特に、内挿選択ユニット48は、ビデオフレーム内の特定のビデオブロックに対する様々な内挿式の結果を評価する。この結果に基づいて、内挿選択ユニット48は、スキップされたビデオフレーム内の選択されたビデオブロックの内挿に際してビデオ復号器14によって用いられる特定の内挿式を指定する。このプロセスによって、Sフレーム内の様々なビデオブロックに対してこれに対応した様々な内挿式が選択されうる。動作に際して、内挿選択ユニット48は、Sフレーム内の特定のビデオブロックに対するBW運動ベクトルとFW運動ベクトルを運動計算ユニット44から受信する。内挿選択ユニット48はまた、SフレームF2内の実際のビデオブロックを受信する。これらの運動ベクトルを用いて、内挿選択ユニット48は、一連の様々な内挿式を適用して、これらの結果をSフレームF2内の実際のビデオブロックと比較する。このようにして、様々な内挿技術の集合を試験して、符号器12でSフレームを予測する。最良の結果を生じる内挿式が選択されたら、内挿選択ユニット48は、適用可能なビデオブロックに対する式ラベルを生成する。この式ラベルは、関連のビデオブロックに対して復号器14によって用いられる特定の内挿式を特定する。出力として、内挿選択ユニット48は、Sフレーム内の全てのビデオブロックに対する式ラベルを包含している式ラベルマップを生成する。このマップは、これら式ラベルを、Sフレーム内のビデオブロックに対応するロケーションに配置して、復号器14が処理しやすいようにする。復号器14でのフレームの内挿動作に対する一般的な式は次のように表すことが可能である。上の式1で、奇数番号のPフレームF1とF3を高い忠実度で、すなわち、運動ベクトルと予測誤差を用いて符号化し、他方、偶数番号のSフレームに対しては運動ベクトルと他の側情報だけが送られる。値xとyは2次元座標軸を表し、他方、α1、α2、α3及びα4は、重み付け係数を表している。スキップされたSフレームは、先行するフレームF1とSフレームF2間で推定されたFW運動ベクトルmv12を用いて、また、SフレームF2と後続するフレームF3間で推定されたBW運動ベクトルmv23を用いて、回復される。この重み付け係数αは、Σiαi=1という演算を受けて、画素の強度値を標準化された状態に保つ。上で検討したように、一部の内挿式は、Sフレーム内の特定のビデオブロックに対してはより効果的である。したがって、符号器補助式適応内挿の場合、内挿選択ユニット48は、様々な式を試験して、復号器側における、特定のSフレーム又はSフレーム内のビデオブロックの内挿にとってもっとも効果的な式を特定する。例として、次式が一般式1から誘導されて、復号器14での符号器補助式適応内挿目的で内挿選択ユニット48によって評価される。上の式は、mvabすなわち送信された運動ベクトルの代わりに、mvab’すなわち処理された運動ベクトルを用いて適用される。加えて、この式は、フレームベースや、マクロブロックベースや、より小さいブロックベース、例えば、8×8や4×4ベースで、受信済みの判定フラグに基づいて適用可能である。一般内挿式1から誘導された5つの内挿式例を上述したが、内挿式の数はこれ以上でも以下でも良い。例えば、更なる式を、重み付け係数を変化させることによって、又は、上述したように処理済みの運動ベクトルを用いることによって、一般内挿式1から生成することが可能である。更なる式は、また、より多くの参照や将来のフレーム、例えば、時点t-3やt3でのフレームを用いて生成することも可能である。内挿選択ユニット48が生成した式ラベルマップは、その全体が復号器14に送られる。特に、フレームアセンブリユニット42は、運動計算ユニット44が生成した運動ベクトルと、差分ユニット46が生成したSADフラグと、内挿選択ユニット48が生成した式ラベルマップ全体とを合成する。この場合、運動ベクトル、SADフラグ及び式ラベルマップが、復号器14が用いるSフレーム情報18を形成する。以下に説明するように、Sフレーム情報18は、特殊なタイプのPフレームとして送られたり、Pフレーム内のフィールドとして埋め込まれたりする。例えば、各々のSフレームは、残留誤差コーディングがない特定のタイプのPフレームとして符号化されるか、又は、いかなるビデオオブジェクト平面VOPヘッダもなしで側情報として符号化される。どちらの場合も、式ラベルマップは、符号化しなければならない情報のバイト数という形のかなりのオーバヘッドを必要としてよい。この理由により、式ラベルマップのサイズが減少しうるが、これについてはさらに詳述する。図4Aから図4Cは、適応内挿に際して補助となる式フラグと絶対差分和SADフラグとの生成を示す図である。特に、図4Aは内挿式フラグを示し、図4BはSフレームブロックの差分を定量化するSADフラグを示し、図4Cは最大の差を持つ隣のブロックを特定するSADフラグを示している。図4Aでは、フラグ1、2、3などは、これらフラグと関連するビデオブロックの内挿目的で復号器14によって用いられる特定の内挿式を特定する。図4Bでは、フラグL、M及びSは、所与のビデオブロックのSAD計量値が大きいか、中程度か、小さいかを示している。図4Cでは、フラグN、E、SEなどは、結果としてSAD計量値が大きい誤差となる隣のブロックを指す北、東、東南などの方向を示している。図4BのフラグはSAD計量値を分類しており、一方、図4Cのフラグは隣り合ったブロック中での相対的なSAD値を示す方向フラグとして作用している。復号器14は、図4Aから図4C中のフラグをSフレーム情報18として用いて、Sフレームの内挿動作を補助することが可能である。Sフレームの差成分にとって必要とされるバイト数は、帯域幅という点では重要なものとなりかねない。したがって、符号化される情報の量を減少させるためのある程度の努力が望ましい場合がある。下の表1に、Sフレームが特殊な場合のPフレームとして、すなわち、残留誤差がまったく送られない状態で符号化される場合の、標準のビデオ試験シーケンスに対するヘッダとマクロブロックデータとで費やされるバイト数を、ディジタルビデオ技術の当業者には周知の4半分共通中間quartercommonintermediateフォーマットQCIFサイズで示す。これらのビデオ試験シーケンスは名前によって特定されるが、ビデオ符号化技術の当業者にはなじみのあるものである。表1では、ビデオ試験シーケンスは全て、レート制御メカニズムを持つMPEG-4ベースのCODECによって48キロビット/秒kbpsで符号化される。全体のフレームレートは10フレーム/秒fpsであり、ここで、秒毎のフレームの半数が、本開示に記載されている方法を用いてSフレームとして符号化される。各々のSフレームに対する式ラベルマップを送るオーバヘッドは、費やされた全体のバイトには含まれないが、これについては本明細書の後半で説明する。表1に示すように、特殊Pフレーム中で側情報として送られる前方運動ベクトルの全体的な経費は、送信する必要があるオーバヘッドで3~25増加する。後方運動ベクトル、すなわち、-mv23は、Sフレーム情報の後で、後続のPフレームと一緒に送られる。合成されたオーバヘッド、すなわち、運動ベクトル、ヘッダ及びマクロブロックデータは、表1の最後の欄に示されている。標準の試験ビデオシーケンス毎のオーバヘッド増加は次の通り:アキヨ:3.4セールスマン:3.6沿岸警備:15車電話:18.5現場監督:25ステファン:20.6アキヨの場合などの低運動ビデオ試験シーケンスでは、運動ベクトルデータは、全体のSフレームパケットの小さい部分を占めている。運動ベクトル以外の場合では、定量化パラメータQP、マクロブロックタイプなどの他のデータを送る必要はない。したがって、この場合、運動ベクトルと式ラベルマップを含むSフレーム情報は、側情報として次のPフレームに添付して、マクロブロックモードや、マクロブロックレベルQPや、フレームレベルQPに起因する過度のオーバヘッドを回避すべきである。上記したように、Sフレームを個々のフレームとして送信すると、その結果、Sフレームの内挿には不必要なバイトを含む多くの数のバイトが消費されることになりかねない。個々のSフレーム中の半分以上のバイトが冗長であってよい。例えば、冗長情報の分量は、表1の2番目の欄の値と3番目の欄の値の差によって計算可能である。したがって、冗長なSフレーム情報の量を減少させることが望ましい場合がある。冗長情報の量を減少させる1つの有用な技法は、専用のSフレームを送るのではなく、上述したように、Pフレーム内のSフレーム情報を埋め込むことである。不必要な情報を送る代わりに、Sフレームを内挿する、したがって、再構築するために必要とされるSフレーム情報は、側情報としてSフレームに続くPフレームの最後に添付することが可能である。このようにしてオーバヘッドを減少させることが可能であるが、これは、Sフレームは常に、インターマクロブロックモードを用いており、したがって、モードの判定結果を送る必要がまったくない。加えて、予測エラーを送る必要がないため、QPやなんらかの追加情報を送る必要もまたない。したがって、Sフレーム情報は、次のPフレームに対する埋め込み添付物として送ることが可能である。図5は、符号器補助式適応内挿で用いられる埋め込みSフレーム情報18を担持しているPフレームを示す図である。Sフレーム情報18は、いかなるVOPヘッダもなしで側情報として符号化することが可能である。こうする代わりに、図5に示すように、Sフレーム情報18を特殊なPフレーム50内に埋め込むようにしてもよい。図5の例では、Pフレーム50は、Pフレームヘッダ52と、Pフレームエンド54と、Pフレーム情報56と、運動ベクトル58、SADフラグ60及び式ラベルマップ62を含むSフレーム情報18と、を含んでいる。Sフレーム情報18は、Pフレーム情報56の後に来るが、これを、備え付けられている復号器14が利用して、Sフレーム情報を取り扱ったり、又はこれを、このように備え付けられていない復号器で破棄したりするようにすることが可能である。Sフレーム情報18を符号化すると、その結果、オーバヘッドがかなり節約されることになりうる。運動ベクトルに関連するオーバヘッドに加えて、Sフレーム情報18内の式ラベルマップ62もまた、かなりのオーバヘッドを示す。例として、標準の車電話ビデオ試験シーケンス48kbpsのSフレームの場合、運動補償された予測だけを実行した場合、すなわち、運動ベクトルだけで予測残留誤差がまったくない場合、次の結果が得られる:フレーム番号:12フレームコーディング経費=127バイト運動補償された予測PSNR=30.103dB運動ベクトルサイズ=561ビット70.125バイトVOPヘッダ=54ビットマクロブロックスキップモード=14ビットVOPエンド=3ビット他のフラグとQP=384ビット例示目的のため、運動ベクトルと式ラベルマップだけが4×4のブロックに対して送られ、また、この式ラベルマップは1~3までの数値からなっており、これらの数値が、Sフレームの内挿のために4×4のブロックのそれぞれに対して選択される特定の式の数を決定するものと仮定する。図6は、上述したビデオフレーム、すなわち、車電話ビデオフレーム12に対する内挿式ラベルマップを示す図である。図6の式ラベルマップを運動ベクトルと共に用いて、Sフレームに対して運動補償された内挿を施すことが可能である。この例では、次のように1~3の数値で特定される異なる3つの内挿式がある。図6の式ラベルマップでは、式ラベル1を割り当てられた4×4のビデオブロックの総数は689であり、式ラベル2を割り当てられたブロックの総数は528であり、式ラベル3を割り当てられたブロックの数は367である。式ラベル1を01ビットで表し、式ラベル2を102ビットで表し、式ラベル3を112ビットで表すことが可能である。図6に示す式ラベルマップがなんら圧縮も処理もなしでそのまま送られると、結果として得られるオーバヘッドは次のようになる:689×1528×2367×2=2479~310バイト上記のオーバヘッドの数値は、式ラベルマップに対して最適化をまったく実行しなかった状況での最悪のシナリオである。この最悪の数値は、強い帯域幅制限を受ける一部の実用的な応用分野では容認不可能でありうる。しかしながら、式マップをもっとよく調べてみると、すぐ隣にある4×4のブロックの内の一部が同じ式ラベルを有していることが明らかである。したがって、同じ式ラベルを共有するブロックをグループ化して、合成されたより大きいブロックに対する共通の式ラベルを割り当てることが可能である。図6では、グループ化可能なブロックの例が参照数値64、66及び68で特定されている。図6の式ラベルマップ中の4×4のブロックを8×8のブロックと16×16のブロックとしてグループ化すると、次の統計が得られる。1.同じレベルを有する16×16のブロックの数=10式ラベル1を持つブロックが5つ、式ラベル2を持つブロックが3つ、式ラベル3を持つブロックが2つ。2.同じレベルマップを有する8×8のブロックの数=17516×16のブロックと異なるブロックがたった135であり、式ラベル1を持つ60のブロックと、式ラベル2を持つ44のブロックと、式ラベル3を持つ31のブロックを含んでいる。3.隣のブロックとのグループ化が不可能なグループ化されなかった4×4のブロックの数=884式ラベル1を持つブロックが295、式ラベル2を持つブロックが246、式ラベル3を持つブロックが43。図6の式マップに対する総バイト数は、共通の式ラベルを共有するブロックをグループ化した後では、次のように概略計算することが可能である。上記したように、式ラベルを共有するブロックをグループ化すると、その結果、オーバヘッドがかなり節約されることになりうる137バイト対310バイト。Sフレーム情報18中でブロックのグループ化は、実行可能であるとはいえ、ブロックの一部は16×16としてグループ化され、また一部が8×8としてグループ化されたことを、復号器14に対して信号通知するメカニズムを必要とする。例えば、Sフレーム情報18の式ラベルマップ内にフラグを挿入して、グループブロックの集合の始まりと、グループのタイプ、すなわち、16×16であるか8×8であるかを信号通知する。この方式は有用であるとはいえ、このグループ化フラグによって、上記の137バイトのオーバヘッドに対して更なるオーバヘッドを追加することになる。ブロックをグループ化する必要性と関連の信号通知の必要性とを回避するため、式ラベルマップによって生じるオーバヘッドを軽減する別の技法では、マップのサイズを減少させる可能性がある。特に、一部の実施形態では、式ラベルを、差分判定基準を満足する選択されたブロックに対してしか符号化しない可能性がある。例えば、図3を参照すると、差分閾値ユニット40は、式ラベルマップのサイズを減少させるためにある。このようにして、式ラベルを、スキップされたビデオフレーム内の全てのビデオブロックより大幅に少ないブロックを備える選択されたビデオブロックに対して送り、これによって、復号器14に対して送られる符号化された情報の量を減少させることが可能となる。差分閾値ユニット40は、前方運動補償された予測と後方運動補償された予測との間の相関関係を利用して、内挿を効果的にするために送られる式ラベルを必要とする特定のブロックを突き止める。この結果、差分閾値を超える選択されたビデオブロックに対する式ラベルしか含まない差分閾値マップが得られる。したがって、図6の式ラベルマップの代わりに、Sフレーム内の全てのビデオブロックに対する式ラベルを含んでいるわけではないが、ビデオブロックのサブ集合は含んでいるマップを用いる。前方予測と後方予測とは、符号器12と復号器14の双方で利用可能である。その結果、差分マップを送るに際して、更なる経費はかからない。動作に際して、差分閾値ユニット40は、FWとBWの運動ベクトルを得るが、これらは、参照フレームを前方運動補償する際と将来のPフレームを後方運動補償する際に用いられる。差分閾値ユニット40は、FW運動補償されたフレームとBW運動補償されたフレームとの間の差を計算して、差分マップDmap=ABSFW-BWを得るが、ここでABSは絶対値の略である。次に、差分閾値ユニット40は、この差分マップに対して閾値処理を施して、差が適用可能な閾値を超えている1つ又は複数の領域を生じさせる。この差分閾値処理された領域は、非連続であってよい。一例として、閾値が0~255の画素スケールで10という値であったりする。差分閾値ユニット40は、この閾値をSフレーム内のビデオブロックに対して適用して、内挿エラーを特に起こしやすいビデオブロックを特定する。この閾値は、Sフレーム内の全てのブロックに対して内挿ユニット48が出力した完全な式ラベルマップに適用してよい。こうする代わりに、この差分閾値を前もって適用しておいて、内挿選択ユニット48が、この差分閾値を満足するブロックに対する式ラベルマップしか生成しないようにすることも可能である。どちらの場合も、復号器14に対して送信するために実際に符号化された式ラベルマップは、サイズがかなり減少している。特に、閾値より大きい差を生じるブロックだけを式ラベルを付けるために選択し、これによって、帯域幅を節約する。Sフレーム中のビデオブロックのサブ集合を特定するために閾値が適用されると、差分閾値ユニット40は、閾値処理済みの差分マップを縮小して、より小さいマップを得る。この例によれば、この小さいマップでは、各々の画素値の代わりに、オリジナルの差分マップ中の対応する4×4の画素値の和が導入される。この縮小ステップは、差分マップのサイズが、式ラベルマップのサイズと合うように実行してもよい。Sフレーム内の4×4のブロックに対して式ラベルが送られるものと仮定して、この例における倍率を4に選ぶ。式ラベルマップのブロックサイズが変化すれば、縮小倍率もこれにしたがって調整することが可能である。縮小された閾値差分マップ中の各々のポイントに対して、差分閾値ユニット40は、適切な式ラベルを選択する。特に、差分閾値ユニット40は、内挿選択ユニット48が特定した式ラベルを縮小動作に先立って適切なビデオブロック用に選択する。一部の実施形態では、この閾値処理プロセスは反復プロセスである。例えば、適用閾値を超える過度のビデオブロック数を生じるフレームが存在する。これらの場合、閾値処理は、はじめは、帯域幅の節約が不十分という結果をもたらす。この理由により、差分閾値ユニット40は、縮小された閾値差分マップが大きすぎる場合に閾値を調整するように構成される。例として、差分閾値ユニット40は、差分閾値処理プロセスを最初に反復した後で式ラベルに対して費やされるバイトの合計数を計算するように構成される。このバイト総数が所定のレート制限値Rを超えると、差分閾値ユニット40は、この最初の反復で用いられる閾値を増大させ、新たに計算された閾値を用いて閾値処理プロセスを繰り返す。この閾値処理プロセスは、式ラベルに対して費やされるバイトの合計数がレート制限値R以下になるまで、所望しだいでは反復制限を受けるが、反復して継続される。この閾値処理プロセスが完了すると、差分閾値ユニット40は停止して、式ラベルマップをフレームアセンブリユニット42に渡す。フレームアセンブリユニット42は、式ラベルをラスタースキャン順序でパッキングして、Pフレーム50図5に埋め込まれているSフレーム情報18に含まれるようにする。差分閾値技法を標準の車電話ビデオシーケンスの12番目のフレームに対して適用すると、81バイトというサイズを持つ式ラベルマップパケットを得ることが可能である。例えば、式ラベルマップを用いて復号器側で得られた内挿されたフレームのPSNRは31.72dBとなるが、これは、300バイトの式マップの場合より0.2dB低い値であるが、目立った視覚的な相違とはならないようである。標準のビデオコーデックを用いて10fpsで車電話シーケンス全体を符号化する、すなわち、フレームをまったくスキップしないと、少し高いPSNR32.1dBとなるが、それでも個々のフレームは、幾分かの影響を示す傾向がある。フレームをスキップしないと、車電話シーケンスの12番目のフレームに対して10fpsで費やされる総バイト数は538バイトである。対照的に、本書に記載するように符号器補助式適応内挿法を用いて同じフレームに対して費やされる総バイト数は150バイトであり、これには、運動ベクトルに対する70バイトと、差分閾値処理された式ラベルマップに対する80バイトが含まれている。図7は、図1に示すようなビデオ復号器14で用いられる補助式内挿復号器24を示すブロック図である。図7に示すように、補助式内挿復号器24は、内挿ユニット68と、内挿されたSフレーム72を発生するように動作する内挿式選択ユニット70とを含んでいる。内挿ユニット68は、運動ベクトルという形態を持つSフレーム情報とSADフラグとを受信する。内挿選択ユニット70は、Sフレーム情報を式ラベルマップという形態で受信する。この式ラベルマップを用いて、内挿選択ユニット70は、フレーム又はフレーム内の個々のビデオブロックを内挿する目的で内挿ユニット68に用いられる、特定の内挿式を特定する。上述したように、式ラベルマップは差分閾値処理されてよい。この場合、内挿選択ユニット70は、フレーム内のビデオブロックのサブ集合に対する内挿式だけを特定できる。内挿ユニット68は、運動ベクトルと、SADフラグと、内挿選択ユニット70によって識別された内挿式とを適用して、内挿されたビデオブロックを生成する。式ラベルマップ中の識別されていないビデオブロックに対しては、内挿ユニット68は、特定的に選択された内挿式ではなくて標準の内挿式を適用する。どちらの場合も、結果は内挿されたSフレーム72である。図8は、スキップされたフレームを復号器14が内挿するのを補助する、情報の生成技法を示すフローチャートである。一般に、図8に示す技法は、符号器12によって実行されて、復号器14によるSフレームの符号器補助式適応内挿動作のためのSフレーム情報を生成する。図8に示すように、次に処理するビデオフレームがSフレームでない場合74、符号器12はPフレームを符号化する76。しかしながら、次に符号化するビデオフレームがSフレームであれば74、符号器12はSフレーム情報を生成する。特に、Sフレーム分析ユニット38の運動計算ユニット44は、先行するPフレームF1とSフレームF2との中の対応するビデオブロック間の前方FW運動ベクトルmv12を得て78、FW運動ベクトルを用いて一時的Sフレームを形成する79。この一時的Sフレームと次のPフレームF3を用いて、運動計算ユニット44は、後方BW運動ベクトルm23を生成する80。BW運動ベクトルm23を用い、また、予測エラーを追加して、次のPフレームを予測する。これで、Sフレームを、mv12と、先行するPフレームF1、mv23、後続のPフレームF3とを用いて内挿することが可能である。次に、内挿選択ユニット48は、FW運動ベクトルとBW運動ベクトルを用いて、フレーム内の個々のビデオブロックに対する異なる複数の内挿式を試験する81。この内挿式の結果に基づいて、内挿選択ユニット48は、最良の内挿式を選択して82、式ラベルをそれぞれのビデオブロックに割り当てる84。この最良の内挿式とは、試験された複数の内挿式の中でも、もっとも正確な内挿結果をもたらす特定の式のことである。式ラベルは、関連するビデオブロックの内挿目的で復号器14によって用いられるはずの特定の内挿式を特定する働きをする。このプロセスは、ブロックの最後に到達するまでSフレーム内の全てのブロックに対して反復して継続される86、88。こうする代わりに、一部の実施形態では、差分閾値処理を、式を試験する前に適用して、符号器補助式内挿の候補としてのブロックのサブ集合を特定する。いったん全てのブロックが処理されたら、内挿選択ユニット48は、式ラベルマップを渡して、Sフレームを、例えば、専用のSフレームとして又は、先行するもしくは後続のPフレームに埋め込まれているSフレーム情報として、符号化する90。FW運動ベクトルもまた、SADフラグと共にSフレーム情報に含まれる。しかしながら、BW運動ベクトルは、一般的にはSフレーム情報には含まれないが、これは、このようなベクトルは、Sフレームの後に来る次のPフレームから復号器側で得ることが可能であるからである。また、式ラベルマップが、別の閾値ユニット40によって処理されて、式ラベルマップが必要とするバイトの全体数を減少させてよい。Sフレーム情報がアセンブリされたら、本プロセスは次のフレームに進む92。図9は、スキップされたフレームを復号器14で内挿するに際して符号器12によって提供された情報を適用する様子を示すフローチャートである。図9に示すように、復号化されるはずの入力フレームがSフレームではない場合94、これは、通常の復号化プロセスを用いてPフレーム96として復号化される。しかしながら、この入力フレームがSフレーム94である場合、復号器14は、符号化されたビデオ情報中に提供されているSフレーム情報からFW運動ベクトル98を得て、また、次のPフレーム99を用いてBW運動ベクトルを得る。特に、BW運動ベクトルは、Sフレームの後に来るPフレームに対して推定された運動ベクトルから得られる。BW運動ベクトルは参照フレームを変更することによってSフレームに対して推定されうるが、BW運動ベクトルを送る経費は高い。この理由により、次のPフレームから得られたBW運動ベクトルmv23のマイナスバージョンを用いることが望ましい。復号器14は次に、Sフレーム情報が各々のビデオブロックに対して式ラベルを含んでいるかどうかを決定する100。ビデオブロックに対する式ラベルがない場合100、復号器14はデフォルト内挿式を適用して、ビデオブロックを内挿する102。しかしながら、Sフレーム情報がビデオフレームに対する式ラベルを含んでいれば、復号器14は、式ラベルで特定される内挿式を選択する104。次に、復号器14は、FWとBWの運動ベクトル及び選択された内挿式を用いた内挿によってブロックを生成する106。本プロセスは、Sフレーム中のブロックの最後に到達するまで反復して継続される108、110。復号化されたブロックに基づいて、復号器14は、復号化されたSフレームを生成し112、次のフレームに進む114。図10は、上述したように、スキップされたフレームを復号器12が内挿するのを補助する情報を生成する帯域幅節約技法を示すフローチャートである。図10に示すように、Sフレーム内のブロックに対するBWとFWの運動ベクトルを、様々な閾値ユニット40が受信する。また、このBW運動ベクトルはSフレームに続くフレームに対する後方運動補償のために用いられ、他方、このFW運動ベクトルはSフレームに先行するフレームに対する前方運動補償のために用いられる。差分閾値ユニット40は、BWとFWの運動補償されたフレーム間の差に対して差分閾値を適用して、閾値差分マップDMAPを生成する122。一部の実施形態では、この閾値処理された差分マップDMAPを、ビデオブロックサイズの係数で縮小して124、縮小されたマップDMAP_DSを生成する。いったん縮小された閾値差分マップDMAP_DSが得られたら、差分閾値ユニット40は、反復プロセスを開始して、式ラベルによって消費されるバイト数を容認可能レベルにまで減少させる。図10に示すように、差分閾値ユニット40は最初に、式ラベルに対して用いられるバイトの合計数を計算する126。このバイトの合計数がレート制限値R未満であれば128、式ラベルが割り当てられて130、結果得られる式ラベルマップがフレームアセンブリユニット42に対して、運動ベクトルやSADフラグなどの他のSフレーム情報と共に渡される。しかしながら、式ラベルが消費するバイトの合計数がレート制限値Rより大きく128、また、反復回数が適用可能反復制限値を超えていなければ132、差分閾値ユニット40は差分閾値を増大させ134、差分閾値処理プロセスを繰り返す。この反復は、バイトの合計数がレート制限値R以下になったり128、許容反復回数を超えたりする132まで繰り返される。どちらの場合も、次に、差分閾値ユニット40は、式ラベルを選択されたブロックに割り当て、この結果をフレームアセンブリユニット42に渡して符号化されるようにする。本開示に記載する技法では、Sフレーム内のブロックに対して運動推定を実行して、内挿結果の誤差に基づいて最良の内挿式をブロックごとに選ぶ。この技法によれば、双方向運動推定などの、より高度の複雑な運動推定アルゴリズムに対する必要性がない。加えて、複数の運動ベクトル集合や残留誤差を送る必要性がない。差分閾値処理によって、開示されている技法は、2×2画素という小さいブロックサイズを余分のオーバヘッドを必要とせずに可能とするが、この理由は、たとえ16×16のブロックに対して運動推定が可能であるとはいえ、式ラベルを、所望により2×2ブロックに対して送ることが可能であるからである。一般に、本開示に記載する符号器補助式適応内挿技法は、Sフレームに対する式ラベルマップや、運動ベクトルや、SADフラグなどの効果的な側情報を提供して、復号器での内挿を補助する。一部の実施形態では、これらの技法によって、式ラベルマップを、式情報に関連するオーバヘッド経費を軽減するような仕方で設定することが可能である。式ラベルマップを送るため、この余分の情報のオーバヘッド経費を軽減する方法が提案されている。本書に記載するこれらの技法は、新興のITUのH.264基準に対する新たなBフレームモードをサポートすることが可能であるということも考えられる。さらに、これらの技法は、均一にサンプリングされたフレームのスキップに用いられるだけではなく、不均一フレームスキップでも使用される。加えて、これらの技法は、フレームレートのアップ変換応用分野だけではなく、レート制御のためのフレームスキップにも用いられる。本書に記載する技法は、ハードウェア、ソフトウェア、ファームウェア、又はこれらの任意の組み合わせとして実施される。ソフトウェアとして実施されると、これらの技法は、部分的には、実行されたときに上述した方法の内の1つ以上を実行する命令を含むプログラムコードを備えるコンピュータ読み取り可能媒体によって、実現されてよい。この場合、このコンピュータ読み取り可能媒体は、同期式ダイナミックランダムアクセスメモリSDRAMなどのランダムアクセスメモリRAMと、リードオンリーメモリROM、不揮発式ランダムアクセスメモリNVRAM、電気的消去可能プログラム可能リードオンリーメモリEEPROM、フラッシュメモリ、磁気もしくは光データ記憶媒体などを備えていてよい。このプログラムコードは、1つ以上のディジタル信号プロセッサDSPなどの1つ以上のプロセッサや、汎用マイクロプロセッサや、特定用途向け集積回路ASICや、フイールドプログラム可能ロジックアレイFPGAや、他の同等の集積回路もしくはディスクリート論理回路などによって実行される。一部の実施形態では、本書に記載する機能性は、符号化及び復号化するように構成された専用のソフトウェアモジュール又はハードウェアユニットの内部に装備されたり、組み合わされたビデオ符号器/復号器CODECに組み込まれたりしている。様々な実施形態を説明した。これら及び他の実施形態は、添付の特許請求の範囲内にある。