(57)【要約】  インタレース・ビデオは、基本レイヤおよび上位レイヤという２つのレイヤでエンコードする。上位レイヤの動きベクトルのエンコードを最適化する方法を提案する。この方法は、動きベクトルをエンコードする様々な異なる方法を規定し、各方法の符号化コストを推定し、符号化コストが最低になる方法を選択することを含んでいる。上位レイヤの動きベクトルをエンコードする様々な方法を組み合わせることができる。基本レイヤからの動きベクトルを再利用してスケーリング・ファクタおよび更新ベクトルを得るか、もしくは新しい動きベクトルを計算する。前方予測、後方予測または両方向予測の何れかを使用する。１つのフレームを参照とみなしてもよいし、複数のフレームを参照とみなしてもよい。参照フレームは、上位レイヤ、基本レイヤまたはその両方から取ることができる。動きベクトル全体をエンコードするか、もしくは動きベクトルと対応するＢＬ動きベクトルの間の差分のみをエンコードする。
2007529175.tif 000002
【特許請求の範囲】
【請求項１】
ビデオ・フレームを基本レイヤ・フレームと上位レイヤ・フレームとに分離する動き補償予測符号化を用いてインタレース・ビデオのデータをエンコードする方法であって、
基本レイヤ・フレームを参照して、基本レイヤ・フレームの動き推定を実行して、第１の動きベクトルを生じるステップと、
上位レイヤ・フレームの動き推定を実行するステップであり、単一の上位レイヤ・フレームに対して様々な参照に基づく様々な第２の動きベクトルのセットを生成し、前記様々な参照が１つまたは複数の基本レイヤ・フレーム、１つまたは複数の上位レイヤ・フレーム或いはそれらの組合せであるステップと、
前記様々な第２の動きベクトルのセットのそれぞれについて、上位レイヤ・フレームのエンコードに必要なビット数に対応する、またはそれに等しい符号化コストを計算するステップと、
前記様々な第２の動きベクトルのセットのそれぞれについて、上位レイヤ・フレームと現在の第２の動きベクトルのセットおよび現在の参照に基づいて予測されるフレームとの間の差に基づく歪み値を推定するステップと、
低符号化コストと低歪みの間の最良の兼合いを実現する参照および第２の動きベクトルのセットを選択するステップと、
前記選択された参照の識別子を伝送するステップと、
を含む、前記方法。
【請求項２】
前記様々な第２の動きベクトルのセットのそれぞれの動きベクトル（ＭＶ３）について、第１の動きベクトルに属する参照動きベクトル（Ｖ）を選択し、スケーリング・ファクタおよび差分ベクトル（ＵＶ）を計算するステップを更に含み、前記スケーリング・ファクタおよび差分ベクトルが、符号化コストの計算および後続のステップに使用される、請求項１に記載の方法。
【請求項３】
動き補償予測符号化を用いる、インタレース・ビデオ・データのエンコーダであって、
ビデオ・フレームを基本レイヤ・フレームと上位レイヤ・フレームとに分離する手段（ＳＰ、ＳＦ１）と、
基本レイヤ・フレームのみを参照して、基本レイヤ・フレームの動き推定を実行し、第１の動きベクトル（ＭＶ１）を生じる手段（ＭＥ１）と、
上位レイヤ・フレームの動き推定を実行する手段（ＭＣＴＦ、ＭＥ２）であり、単一の上位レイヤ・フレームに対して様々な参照に基づく様々な第２の動きベクトルのセットを生成し、前記様々な参照が１つまたは複数の基本レイヤ・フレーム、１つまたは複数の上位レイヤ・フレーム或いはそれらの組合せである手段と、
前記様々な第２の動きベクトルのセットのそれぞれについて、上位レイヤ・フレームのエンコードに必要なビット数に対応する、またはそれに等しい符号化コストを計算する手段（ＣＴＬ）と、
前記様々な第２の動きベクトルのセットのそれぞれについて、上位レイヤ・フレームと現在の第２の動きベクトルのセットおよび現在の参照に基づいて予測されるフレームとの間の差に基づく歪み値を推定する手段（ＣＴＬ）と、
前記様々なタイプの動き推定に対応する前記推定した符号化コストおよび歪み値を記憶する手段（ＣＴＬ、ＭＥＭ）であり、記憶された各符号化コスト値および歪み値が、対応する第２の動きベクトルのセットの識別子と関連付けられる手段と、
前記様々なセットの第２の動きベクトルのセットの符号化コストを比較し、最小の符号化コストを実現する動きベクトル（ＭＶ２）を選択し、関連する動き推定を決定する手段（ＣＴＬ）と、
前記エンコードされたビデオ・データ・ストリームと共に、利用するエンコード・タイプを示す識別子（ＩＤ）を伝送する手段（ＣＴＬ）と、
を含む、前記エンコーダ。
【請求項４】
前記様々な第２の動きベクトルのセットのそれぞれと、前記第１の動きベクトルとの間で、スケーリング・ファクタおよび差分ベクトルを計算する手段（ＣＴＬ）を更に含み、前記差分ベクトルが、符号化コストの計算および後続のステップに使用される、請求項３に記載のエンコーダ。
【請求項５】
前記上位レイヤの動き推定が、前記第１の動きベクトルで初期化される、前記請求項の何れかに記載の方法またはエンコーダ。
【請求項６】
前記上位レイヤの動き推定が、後方予測、前方予測および両方向予測のうち少なくとも２つを含む、前記請求項の何れかに記載の方法。
【請求項７】
前記上位レイヤのフレームの動き推定において、単一のフレームを参照することもできるし、複数のフレームを参照することもできる、前記請求項の何れかに記載の方法。
【請求項８】
インタレース・ビデオ・データを生成するデコーダであって、
予測フレームの領域または予測フレーム全体の参照フレームを示す、動きベクトルまたは動きフィールドと関連付けられた識別子を受信する手段と、
前記識別子および前記動きベクトルに基づいて、予測フレームまたは予測フレーム内の領域を復号する手段と、
を含む、前記デコーダ。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、ビデオ圧縮方法に関する。特に、動き補償予測符号化を用いてインタレース・ビデオのデータをエンコード（ｅｎｃｏｄｅ：符号化）する方法に関する。
【背景技術】
【０００２】
様々なビデオ符号化アルゴリズムでは、動き補償予測符号化を使用して、伝送帯域幅を削減している。これは、動き補償時間フィルタリング（ＭＣＴＦ：Ｍｏｔｉｏｎ  Ｃｏｎｐｅｎｓａｔｅｄ  Ｔｅｍｐｏｒａｌ  Ｆｉｌｔｅｒｉｎｇ）と呼ばれる。このようなハイブリッド方式では、動き補償を用いて時間的冗長性を低減し、動き補償残差変換符号化（ｍｏｔｉｏｎ  ｃｏｍｐｅｎｓａｔｉｏｎ  ｒｅｓｉｄｕａｌ  ｔｒａｎｓｆｏｒｍ  ｃｏｄｉｎｇ）を用いて空間的冗長性を低減する。動き補償では、動き推定（ＭＥ：Ｍｏｔｉｏｎ  Ｅｓｔｉｍａｔｉｏｎ）を用いて、ある対象のあるピクチャ内での位置が別のピクチャ内での位置から移動したときに伝送されるデータ量を最小限に抑えるために使用される動きベクトル（ＭＶ：Ｍｏｔｉｏｎ  Ｖｅｃｔｏｒ）を生成する。次いで、動きベクトル（ＭＶ）をエンコードして、デコーダに伝送する。その後、デコーダは、参照ピクチャ内における当該対象の位置を突き止め、動きベクトルに従ってこの対象を移動させることができる。動き推定では、前方参照または後方参照或いは両方向参照の何れかを用いる。
【０００３】
例えば小型の携帯型ディスプレイなど新しいタイプのディスプレイは、空間的解像度および時間的解像度の低いプログレッシブ・ビデオ・シーケンスで済むが、例えばＨＤＴＶ（高精細度ＴＶ）受像機などその他のディスプレイは、高い空間的解像度と標準的な時間的解像度を有するインタレース・シーケンスを必要とする。しかし、ほとんどの標準精細度（ＳＤ）のビデオ素材はインタレース式である一方で、最近のスケーラブル・ビデオ符号化の研究は、プログレッシブ・ビデオの評価に集中している。幅広いスケーラビリティを実現する空間的且つ時間的にスケーラブルなインタレース・ビデオの伝送方法が、ヨーロッパ特許出願第ＥＰ０３２９０５０７号に記載されている。この方法は、ビデオ・フレーム・シーケンスを基本レイヤ（ＢＬ：Ｂａｓｅ  Ｌａｙｅｒ）および上位（拡張）レイヤ（ＥＬ：Ｅｎｈａｎｃｅｍｅｎｔ  Ｌａｙｅｒ）に分離することに基づく。
【発明の開示】
【０００４】
（発明の概要）
ビデオ・エンコードは、一般に、伝送データ・レートを最小限に抑えることを目的とする。例えば上述のデュアル（二重）レイヤ手法など、空間的且つ時間的にスケーラブルなインタレース・ビデオを生成するマルチ・レイヤ手法の場合、実際のビデオ・シーケンスによっては、更に別の可能な冗長性低減手段が存在することもある。本発明の目的は、これらの手段を活用することによって、インタレース・ビデオ、特にスケーラブルなインタレース・ビデオのエンコードの効率を改善させることである。
【０００５】
この問題を解決するのに適当な方法を、請求項１に開示する。この方法を利用するエンコーダを、請求項３に開示する。
【０００６】
本発明によれば、上位（拡張）レイヤ（ＥＬ）動きベクトルを選択してエンコードするフレキシブルな方法を利用することによって、エンコードに必要なビット量、いわゆる符号化コストを更に低減する。これにより、実際のビデオ・シーケンスに関するデータ・レートの最適化を可能にする適応手法が得られる。
【０００７】
本発明によるインタレース・ビデオのデータをエンコードする方法は、
ビデオ・フレームをＢＬとＥＬとに分離するステップと、
ＢＬフレームを参照して、ＢＬフレームの動き推定を実行して、第１の動きベクトルを生じるステップと、
ＢＬフレーム、ＥＬフレームまたはそれらの組合せを参照して、ＥＬフレームの動き推定を実行して、様々な第２の動きベクトルのセットを生成するステップと、
様々な第２の動きベクトルのセットについて、エンコードに必要なビット数に対応する、またはそれに等しい符号化コストを計算するステップと、
様々な第２の動きベクトルのセットのそれぞれについて、上位レイヤ・フレームと現在の第２の動きベクトルのセットおよび現在の参照に基づいて予測されるフレームとの間の差に基づく歪み値を推定するステップと、
低符号化コストと低歪みの間の最良の兼合いを実現する参照および第２の動きベクトルのセットを選択するステップと、
エンコードされたビデオ・データ・ストリームと共に、利用されるエンコード・タイプを示す識別子を伝送するステップとを含んでいる。例えば特定のＥＬフレームについて、最適なエンコードが単一のＢＬフレームを参照する前方予測に基づく場合には、この組合せに割り当てられた識別子を伝送して、この識別子が示す参照フレームに動きベクトルを適用することによってデコーダが当該ＥＬフレームを再生できるようにする。
【０００８】
低符号化コストと低歪みの間の最良の兼合いは、例えば、符号化コスト値および歪み値に重み係数を割り当て、これら２つの重み付けされた値を加算し、合計が最小となる組合せを選択することによって求めることができる。通常は、重み係数は１とすればよいが、例えば経験によって選択することもできる。
【０００９】
更に、本発明による方法は、様々な第２の動きベクトルのセットのそれぞれの動きベクトルについて、第１の動きベクトルに属する参照動きベクトルを選択し、スケーリング・ファクタおよび差分ベクトルを計算するステップを更に含み、スケーリング・ファクタおよび差分ベクトルは、符号化コストの計算および後続のステップ、並びに／またはその後の復号に使用される。
【００１０】
本発明によるエンコーダは、動き補償予測符号化を使用し、
ビデオ・フレームを基本レイヤ・フレームと上位レイヤ・フレームとに分離する手段と、
基本レイヤ・フレームを参照して、基本レイヤ・フレームの動き推定を実行し、第１の動きベクトルを生じる手段と、
上位レイヤ・フレームの動き推定を実行する手段であり、単一の上位レイヤ・フレームに対して様々な参照に基づく様々な第２の動きベクトルのセットを生成し、該様々な参照が１つまたは複数の基本レイヤ・フレーム、１つまたは複数の上位レイヤ・フレーム或いはそれらの組合せである手段と、
様々な第２の動きベクトルのセットのそれぞれについて、上位レイヤ・フレームのエンコードに必要なビット数に対応する、またはそれに等しい符号化コストを計算する手段と、
様々な第２の動きベクトルのセットのそれぞれについて、上位レイヤ・フレームと現在の第２の動きベクトルのセットおよび現在の参照に基づいて予測されるフレームとの間の差に基づく歪み値を推定する手段と、
様々なタイプの動き推定に対応する推定した符号化コストおよび歪み値を記憶する手段であり、記憶された各符号化コスト値および歪み値が、対応する第２の動きベクトルのセットの識別子と関連付けられる手段と、
様々なセットの第２の動きベクトルの符号化コストを比較し、最小の符号化コストを実現する動きベクトルを選択し、関連する動き推定を決定する手段と、
エンコードされたビデオ・データ・ストリームと共に、利用するエンコード・タイプを示す識別子を伝送する手段とを含んでいる。
【００１１】
インタレース・ビデオ・データを生成するデコーダは、予測フレームの領域または予測フレーム全体の参照フレームを示す、動きベクトルまたは動きフィールドと関連付けられた識別子を受信する手段と、識別子および動きベクトルに基づいて、予測フレームまたは予測フレーム内の領域を復号する手段とを含んでいる。
【００１２】
本発明によるエンコーダの一実施形態は、様々な第２の動きベクトルのセットのそれぞれと、第１の動きベクトルとの間で、スケーリング・ファクタおよび差分ベクトルを計算する手段を更に含み、差分ベクトルは、符号化コストの計算および後続のステップ、並びに／またはその後の復号に使用される。
【００１３】
本発明の一実施形態では、上位レイヤの動き推定は、第１の動きベクトルで初期化される。
【００１４】
本発明の一実施形態では、上位レイヤの動き推定は、後方予測、前方予測および両方向予測のうち少なくとも２つを含んでいる。
【００１５】
本発明の一実施形態では、上位レイヤのフレームの動き推定において単一のフレームを参照すると、別の実施形態では、複数のフレームを参照する。
【００１６】
本発明の更なる有利な実施形態は、従属請求項、以下の記述、および図面に開示されている。
【００１７】
添付の図面を参照して、本発明の例示的な実施形態について説明する。
【発明を実施するための最良の形態】
【００１８】
図１は、本発明により組み合わせることができる様々な動き予測モードの第１のタイプの原理を示す図である。この動き予測は、通常は同じフレーム群に属する幾つかのインタレース・フレームを基礎とする。これらのフレームを奇数フレームと偶数フレームに分ける。この例では、奇数フレームは上位レイヤ（ＥＬ）に属し、偶数フレームは基本レイヤ（ＢＬ）に属する。
【００１９】
奇数フレームである現在のＥＬフレームｎｏは、幾つかのピクセル・ブロックＰＢ１、…、ＰＢ３を含んでいる。動き推定では、これらのピクセル・ブロックのできるだけ多くについて、隣接フレームの１つにおける参照の位置を突き止めようとする。ここで、隣接フレームは、現在のフレームと同じパリティｓｐまたは反対のパリティｏｐを有する。従って、各方向に、同じレイヤ内の１つと、もう一方のレイヤ内の１つ、合計２つの隣接フレームが存在する。図１では、現在の奇数フレームｎｏの隣接フレームは、ＢＬに属する直前の偶数フレームｎｅ−１、ＥＬに属する直前の奇数フレームｎｏ−１、ＢＬに属する次の偶数フレームｎｅ、およびＥＬに属する次の奇数フレームｎｏ＋１である。
【００２０】
本発明による方法は、現在のフレームのブロックについて様々なタイプの動きベクトルを計算し、対応する符号化コストおよび歪み値を推定し、符号化コストと歪みの間の兼合いが最良となる動きベクトルを選択してエンコードすることを含んでいる。図１の第１のピクセル・ブロックＰＢ１については、後方動き推定の２通りの可能性が示されている。即ち、同じパリティｓｐを有する直前のフレームに基づいて行う場合と、反対のパリティｏｐを有する直前のフレームに基づいて行う場合である。別のピクセル・ブロックＰＢ２では、同じパリティｓｐを有する次のフレームまたは反対のパリティを有する次のフレームの何れかを参照として使用する、２通りの可能性を有する前方動き推定を使用する。更に別のピクセル・ブロックＰＢ３では、同じまたは反対のパリティを有する前または後のフレームを任意に組み合わせる（ｏｐ−ｏｐ、ｓｐ−ｏｐ、ｏｐ−ｓｐおよびｓｐ−ｓｐ）４通りの選択肢を有する、両方向動きベクトルを使用する。本発明によれば、上記の組合せの符号化コストを計算し、対応する歪み値を推定して、符号化コストと歪みの間の兼合いが最良となる組合せを選択してエンコードを行う。
【００２１】
従って、提案するアルゴリズムでは、レイヤ内／レイヤ間相関、即ち同じまたは反対のパリティを有するフィールド間の相関を利用する。一実施形態では、複数の参照フィールドを使用して、ＥＬを効率的に予測することができる。図２は、本発明によって組み合わせることができる様々な動き予測モードの第２のタイプの原理を示す図である。この動き予測は、規定量の前または後のフレームに基づいて行われるが、一度に複数のフレームを使用する。この手法は、複数参照と呼ばれる。例えば、現在の奇数フレームｎｏの第４の領域ＰＢ４は、先行する３つのフレーム（１つの奇数フレームｎｏ−１および２つの偶数フレームｎｅ−２、ｎｅ−１）の１つまたは複数を参照する。現在の奇数フレームｎｏの別の領域ＰＢ５は、後続の３つのフレーム（１つの奇数フレームｎｏ＋１および２つの偶数フレームｎｅ、ｎｅ＋１）の１つまたは複数を参照する。現在の奇数フレームｎｏの更に別の領域ＰＢ６は、隣接する６個のフレーム（前述の先行する３つのフレームおよび後続の３つのフレーム）の１つまたは複数を参照する。
【００２２】
一般に、動きベクトルのエンコードでは、「アプリオリ」および「アポステリオリ」と呼ばれる２つの異なる概念を利用する。「アプリオリ（ａ  ｐｒｉｏｒｉ：先験的な）」は、直前の基本レイヤの情報を利用することを意味し、初期設定として動きベクトルを再スケーリングし、周辺のフィールドの間でこの初期設定付近の探索を実行する。更に、この符号化ステップでは、選択されたＭＶまたは予測子に関連する各動きベクトルの残差部分のみを伝送すればよいということが有利に働いている。「アポステリオリ（ａ  ｐｏｓｔｅｒｉｏｒｉ：帰納的な）」は、基本レイヤの動き情報を考慮せずに、ＥＬ動き推定ステージを実行することを意味する。ただし、基本レイヤの動き情報を、ＥＬベクトルのエンコードに使用することもできる。
【００２３】
「アポステリオリ」概念では、後方、前方または両方向といった、様々な動きベクトル予測モードを使用する。同じレイヤ・フィールドまたは反対のレイヤ・フィールドで、最良の予測ベクトルを選択する。この選択は、図１と同様に、直接隣接するフィールドに限定する。この動作モードも「複数参照」にすることができる。即ち、図２に示すように、ベクトルの選択が隣接するフィールドに限定されない。図１および図２に示す方法に加えて、ＢＬからの動きベクトル情報を再利用することにより、ＢＬフィールドとＥＬフィールドの間の各動きベクトルの残差部分のみのエンコードが容易になる。この解決策の利点は、ＭＶ符号化コストが削減されることである。
【００２４】
「アプリオリ」概念では、基本レイヤ（ＢＬ）動きベクトルが利用可能であるものと想定する。この場合には、ＢＬ動きベクトルを使用して、上位（拡張）レイヤ（ＥＬ）動き推定プロセスを効率的に初期化することができる。これを図３に示す。この例では、奇数フレームｎｏ−２、ｎｏ−１、ｎｏ、ｎｏ＋１は、基本レイヤに使用するものと想定する。参照動きベクトルＶは、ＢＬ推定に属する。Ｖにより、パリティにかかわらず全てのフィールドの中で、幾つかの可能なＥＬの予測子を提供する。Ｖｉ＝βｉＶ、即ちＶｉとＶが共線であることにより、特定の予測子ｉが与えられる。ここで、βｉ∈Ｑであり、Ｑは有理数の集合である。このスケーリングによる方法は、「デュアル・プライム（ｄｕａｌ  ｐｒｉｍｅ）」手法と非常に類似している。この後者の方法を「直接モード」と結合することにより、Ｖから両方向ベクトルを推定することができ、これを使用して、更新ベクトルを加算することによって動きベクトルを構成する。ファクタβｉおよび更新ベクトルをエンコードする方が、ＭＶの別の表現を使用するよりも効率的に行うことができるので有利である。
【００２５】
本発明の方法の利点は、本発明の方法により、長くなる可能性があるフィルタをインタレース・ビデオ素材の処理に使用することが可能になることであり、これは当技術分野では知られていない。３つ以上のフレームをフィルタリングすることにより、動きベクトルの再利用の効率を高めることができる。例えば、対象が幾つかのフレームに亘って直線的に動く場合には、これら全てのフレームに対して同じ参照ベクトルＶを使用する。動きが厳密には直線でない場合には、図３に示すように、参照ＭＶを使用してより効率的なエンコードを行うことができる。ＢＬからの動きベクトル情報Ｖを再利用するときには、ＢＬフィールドとＥＬフィールドの間の各動きベクトルの残差部分のみをエンコードする。その利点は、ＭＶ符号化コストが削減されることである。図３では、ＢＬコロケートＭＶ（ＢＬ  ｃｏｌｌｏｃａｔｅｄ  ＭＶ）から予測子を補間している。例えば、フレームの特定領域において、ＢＬの２つのフレームｎｏ−２とｎｏ＋１の間で参照動きベクトルＶを計算する。当該特定領域内の様々なサブ領域について、共線値（ｃｏｌｌｉｎｅａｒ  ｖａｌｕｅ）βＶを使用し、更新ベクトルを加算して予測を調節することによって、予測子の初期化を行う。従って、最終的なＭＶは、それぞれのβおよび更新ベクトルの組合せで定義する。例えば、サブ領域ＰＢ９では、最終的な動きベクトルＭＶ３は、初期予測値ＩＶと更新ベクトルＵＶを加算することによって構成する。このアルゴリズムの性能は、ＢＬ動き情報の品質によって決まる。ＢＬ動き情報が良好なほど、アルゴリズムの有効性は高くなる。
【００２６】
図４は、ＢＬコロケートＭＶから予測子を補外することができる方法を示す図である。この場合、ＢＬ参照ベクトルＶ２は、連続したＢＬフィールドｎｏ−１とｎｏの間で計算される。これを使用して、ＥＬからのＭＶをＢＬ  ＭＶの関数として記述する。更新ベクトルを使用して、この予測を調節する。
【００２７】
本発明の一実施形態では、必要な処理パワーを最小限に抑えるために、計算の複雑さを考慮することもできる。
【００２８】
図５は、本発明による、スケーラブル・インタレース・ビデオのエンコーダの構造を示す図である。入力信号Ｉは、時間的解像度が２αＨｚであり、即ち毎秒２α個のフィールドまたは毎秒α個のフレームを有し、空間的解像度が２Ｍ×２Ｎである、即ち１つのフレームが２Ｍ個のピクセルをそれぞれ含む２Ｎ行のピクセル行を有する、または１つのフィールドが２Ｍ個のピクセルをそれぞれ含むＮ行のピクセル行を有する、インタレース・ビデオ・シーケンスである。分割ブロックＳＰは、フィールドが第１の分岐Ｆ１または第２の分岐Ｆ２に交互に送られるように、このシーケンスを分配する。第１の分岐Ｆ１は、ＢＬ情報およびＥＬ情報を生成するが、本明細書ではＢＬ分岐と呼ぶ。もう一方の分岐は、ＥＬ情報のみを生成するので、本明細書ではＥＬ分岐と呼ぶ。各分岐は、毎秒αフレームの時間的解像度および２Ｍ×Ｎピクセルの空間的解像度を有するビデオ・シーケンスを受信する。例えば、ＢＬシーケンスＦ１は偶数フィールドを含み、ＥＬシーケンスは奇数フィールドを含んでいる。分割ブロックＳＰは、分割変換を実行する。分割ブロックＳＰは、様々なフィルタを使用して、例えば低域／高域フィルタリングなど、より高度な処理を行うこともできる。
【００２９】
ＢＬ分岐は、ｘ軸に沿って、即ちライン内でＦ１シーケンスに対して空間的フィルタリングＳＦ１を実行し、Ｆ１の低周波数部分からＭ×Ｎピクセルの空間解像度を有するビデオ・シーケンスＬを生成し、Ｆ１の高周波数部分から空間解像度改善信号Ｈを生成する。簡単な例を挙げると、このフィルタリングは、例えばファクタ２またはその他のファクタの水平２段抽出（ｈｏｒｉｚｏｎｔａｌ  ｓｕｂｓａｍｐｌｉｎｇ）を行う低域フィルタＬＰＲおよび高域フィルタＨＰＲによって行うことができる。低解像度シーケンスＬは、時空間フィルタＳＴＦおよび動き推定（ＭＥ）ブロックＭＥ１に入力される。時空間フィルタＳＴＦは、動き補償時間変換、例えば２Ｄ＋ｔウェーブレット変換を実行する。このフィルタは、例えば長さ２のハール変換フィルタ、或いは長さ９および７または長さ５および３のドブシー・フィルタ（Ｄａｕｂｅｃｈｉｅｓ  ｆｉｌｔｅｒ）として実施する。ＭＥブロックＭＥ１は、以下の３つの働きをする動きベクトルＭＶ１を生成する。第１に、動きベクトルは、時空間フィルタリング・プロセスを最適化するために使用され、第２に、動きベクトルは、例えば逆フィルタリング・プロセスに使用するために受信機に伝送され、第３に、動きベクトルは、コーダのＥＬ分岐で使用される。
【００３０】
時空間フィルタＳＴＦの出力信号Ｐは伝送され、受信機は、この出力信号と動きベクトルＭＶ１とを結合して、例えばＭ×Ｎピクセル、αＨｚのプログレッシブ・モード・ビデオ・シーケンスを再生する。上述の実施態様では、このプログレッシブ・シーケンスが時間的解像度および空間的解像度に関してｘおよびｙの両方向にスケーラブルとなるように、時空間フィルタを設計することも可能である。このフィルタは、目標とするフレーム・レートまたはフォーマットに応じて、幾つかのフィルタリング・レベルを含み、例えばＭ′×Ｎ′の空間的解像度および／またはθαＨｚの時間的解像度を実現できるようにする。ここで、Ｍ′およびＮ′は、［０，Ｍ］［０，Ｎ］の範囲内であり、θ∈Ｑ０１であり、Ｑ０１は［０，１］の範囲内の有理数である。このフィルタリングは、様々な時空間周波数を送出することができ、例えばデータ・ストリーム内で１つにまとめるなどのフィッティング（ｆｉｔｔｉｎｇ）を行うことにより、基本レイヤが完全にスケーラブルになる。このブロックＳＴＦの出力Ｐは、元の２Ｍ×２Ｎフォーマットのサブ解像度であるＭ′×Ｎ′の解像度を有するプログレッシブ・シーケンスであり、本発明のシステムが生じる空間的および時間的解像度の最低レベルを表す。
【００３１】
ｘ軸に沿った高周波数フィールドを含む空間的解像度改善信号Ｈは上位レイヤＥＬに属し、高性能受信機は、この信号を使用して、ｘ方向により高い空間的解像度（元の解像度以下）を有するフレームを再構成する。
【００３２】
ＥＬ分岐は、Ｆ２シーケンスに対してＭＣＴＦを行う。また、ＥＬ分岐は、ＭＶを使用して、あるピクチャ内における対象の位置が別のピクチャ内の位置から移動したときに伝送されるデータの量を最小限に抑えるが、ＢＬとは異なり、ＥＬ分岐は、上述のように様々なＭＶのセット、即ち同じまたは反対のパリティを有するフィールドを比較することによって生成される複数のＭＶを使用する。例えば２つの連続した偶数フィールド間の動きは、対応する２つの奇数フィールド間の動きと非常によく似ている可能性が非常に高く、またその逆も言えるので、ＢＬ分岐のＭＥ１ブロックで生成されるＭＶ１ベクトルを使用することができるので有利である。更に、動きは、４つのフィールドのシーケンス内で変化する可能性もあるので、第２の動き推定ブロックＭＥ２においてインタレース・シーケンスＩから生成される、より良好な動きベクトルＭＶ２を使用すると有利であることもある。従って、どのＭＶのセットをＭＣＴＦに使用するかを判定するために、判定ブロックＣＴＬがＥＬ分岐に組み込まれる。判定ブロックＣＴＬは、当該ＥＬのＭＶエンコードの様々なオプションを評価し、それぞれの符号化コストを計算し、その結果生じる歪みを推定し、これらの値の重み付けおよび加算を行い、評価した各オプションの結果をメモリ素子ＭＥＭに記憶する。判定ブロックＣＴＬは、可能な全てのオプションの評価を行うと、最低値が得られたオプションを選択し、そのデータの出力を可能にする。従って、判定ブロックＣＴＬは、ＭＥブロックＭＥ１およびＭＥ２、ＭＣＴＦブロックＭＣＴＦ並びに字空間フィルタ・ブロックＳＴＦの出力を、制御バスＣＢを介して制御する。更に、判定ブロックＣＴＬは、選択したオプションの識別子ＩＤを伝送することができる。
【００３３】
動き補償時間フィルタリング・ブロックＭＣＴＦにより、フィルタリング済みＦ２フィールドＦＦ２、即ち元のＦ２フィールドよりコストの低いＦ２フィールドを生成することが可能になる。これらのフィルタリング済みフィールドＦＦ２は、入力されたＦ２フィールドと同じ空間的および時間的解像度を有する。伝送されるデータの量が減少するので、上述のＭＶを用いることにより符号化コストの削減が達成される。フィールド内およびフィールド間の相関を得るために、パリティとは無関係に複数のフィールドに亘ってＭＥおよび動き補償を実行する。後方、前方または両方向の何れの予測モードを使用することもでき、また複数参照フィールド・アルゴリズムを使用することもできる。ＭＶ符号化コストを削減し、推定の複雑さを軽減するために、目標の要件に応答して、基本レイヤからの動き情報を「アプリオリ」または「アポステリオリ」に使用する。
【００３４】
伝送する際には、通常は、得られたストリームを多重化して１つのビットストリームにする。上述のエンコード方法では、元のインタレース・ビデオ・シーケンスを２つのレイヤＢＬおよびＥＬに分解し、これにより、コーダ側並びにデコーダ側において、得られたビットストリームが様々な空間的および時間的解像度のレベルに対応できるようにしている。
【００３５】
上述のＥＬは、幾つかの解像度レベルを含むので、複数のレイヤとみなすこともできる。
【００３６】
ＢＬがＥＬデータを利用することはできないので、他方のレイヤに属するフレームを使用するというオプションは、ＥＬでは利用することができるが、ＢＬでは利用することができない。
【００３７】
受信後に、デコーダは、プログレッシブまたはインタレースの様々なレベルの時間的解像度で、また様々なレベルの空間的解像度で、信号をビデオ・シーケンスに変換する。デコーダは、識別子ＩＤを使用して、各ＥＬフレームまたはＥＬフレーム内の領域に対して、適切な予測ソースおよびＭＶを選択する。
【００３８】
ＢＬは、プログレッシブ・モードの入力ビデオ・ソースの完全にスケーラブルな記述を含んでいる。ここで、スケーラビリティは、空間的解像度、時間的解像度および画質を指す。ＥＬがＢＬと結合することにより、元の空間的解像度、時間的解像度およびＳＮＲ品質を得ることも含めて、元のインタレース・ビデオ素材を低コストでスケーラブルに再構成することが可能になる。
【００３９】
ビデオ符号化では、歪みは、一般にソース・ピクチャに対するエンコード・ピクチャの画質を測る尺度として理解されている。歪みは、例えばＳＳＤ（Ｓｕｍ  ｏｆ  Ｓｑｕａｒｅ  Ｄｉｆｆｅｒｅｎｃｅｓ）やＳＡＤ（Ｓｕｍ  ｏｆ  Ａｂｓｏｌｕｔｅ  Ｄｉｆｆｅｒｅｎｃｅｓ）など、客観的な基準を用いて推定する。歪みは、エンコード・ピクチャおよびデコード・ピクチャを実質的に計算する前に、中間ピクチャに基づいて推定する。
【００４０】
本発明の方法は、様々な画質のレイヤの動きベクトルを用いる全てのビデオ・エンコード方式に適用することができる。
【図面の簡単な説明】
【００４１】
【図１】後方予測、前方予測および両方向予測を示す図である。
【図２】複数参照予測を示す図である。
【図３】ＢＬコロケートＭＶによるＥＬ  ＭＶの補間を示す図である。
【図４】ＢＬコロケートＭＶによるＥＬ  ＭＶの補外を示す図である。
【図５】スケーラブル・インタレース・ビデオのエンコーダの構造を示す図である。
【図１】
2007529175.tif 000003
【図２】
2007529175.tif 000004
【図３】
2007529175.tif 000005
【図４】
2007529175.tif 000006
【図５】
2007529175.tif 000007
【手続補正書】
【提出日】平成18年12月8日(2006.12.8)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
ビデオ・フレームを基本レイヤ・フレームと上位レイヤ・フレームとに分離する動き補償予測符号化を用いてインタレース・ビデオのデータをエンコードする方法であって、
基本レイヤ・フレームを参照して、基本レイヤ・フレームの動き推定を実行して、第１の動きベクトルを生じるステップと、
上位レイヤ・フレームの動き推定を実行するステップであり、単一の上位レイヤ・フレームに対して様々な参照に基づく様々な第２の動きベクトルのセットを生成し、前記様々な参照が１つまたは複数の基本レイヤ・フレーム、１つまたは複数の上位レイヤ・フレーム或いはそれらの組合せであるステップと、
前記様々な第２の動きベクトルのセットのそれぞれについて、上位レイヤ・フレームのエンコードに必要なビット数に対応する、またはそれに等しい符号化コストを計算するステップと、
前記様々な第２の動きベクトルのセットのそれぞれについて、上位レイヤ・フレームと現在の第２の動きベクトルのセットおよび現在の参照に基づいて予測されるフレームとの間の差に基づく歪み値を推定するステップと、
低符号化コストと低歪みの間の最良の兼合いを実現する参照および第２の動きベクトルのセットを選択するステップであり、前記最良の兼合いを、符号化コスト値および歪み値に重み係数を割り当て、これら２つの重み付けされた値を加算し、合計が最小となる組合せを選択することによって求めるステップと、
前記選択された参照の識別子を伝送するステップと、
を含む、前記方法。
【請求項２】
前記様々な第２の動きベクトルのセットのそれぞれの動きベクトルについて、第１の動きベクトルに属する参照動きベクトルを選択し、スケーリング・ファクタおよび差分ベクトルを計算するステップを更に含み、前記スケーリング・ファクタおよび差分ベクトルが、符号化コストの計算および後続のステップに使用される、請求項１に記載の方法。
【請求項３】
前記上位レイヤの動き推定が、前記第１の動きベクトルで初期化される、請求項１または２に記載の方法。
【請求項４】
前記上位レイヤの動き推定が、後方予測、前方予測および両方向予測のうち少なくとも２つを含む、前記請求項のうちの一項に記載の方法。
【請求項５】
前記上位レイヤのフレームの動き推定において、単一のフレームを参照することもできるし、複数のフレームを参照することもできる、前記請求項のうちの一項に記載の方法。
【請求項６】
動き補償予測符号化を用いる、インタレース・ビデオ・データのエンコーダであって、
ビデオ・フレームを基本レイヤ・フレームと上位レイヤ・フレームとに分離する手段と、
基本レイヤ・フレームのみを参照して、基本レイヤ・フレームの動き推定を実行し、第１の動きベクトルを生じる手段と、
上位レイヤ・フレームの動き推定を実行する手段であり、単一の上位レイヤ・フレームに対して様々な参照に基づく様々な第２の動きベクトルのセットを生成し、前記様々な参照が１つまたは複数の基本レイヤ・フレーム、１つまたは複数の上位レイヤ・フレーム或いはそれらの組合せである手段と、
前記様々な第２の動きベクトルのセットのそれぞれについて、上位レイヤ・フレームのエンコードに必要なビット数に対応する、またはそれに等しい符号化コストを計算する手段と、
前記様々な第２の動きベクトルのセットのそれぞれについて、上位レイヤ・フレームと現在の第２の動きベクトルのセットおよび現在の参照に基づいて予測されるフレームとの間の差に基づく歪み値を推定する手段と、
前記様々なタイプの動き推定に対応する前記推定した符号化コストおよび歪み値を記憶する手段であり、記憶された各符号化コスト値および歪み値が、対応する第２の動きベクトルのセットの識別子と関連付けられる手段と、
前記様々なセットの第２の動きベクトルのセットの符号化コストを比較し、最小の符号化コストを実現する動きベクトルを選択し、関連する動き推定を決定する手段と、
前記エンコードされたビデオ・データ・ストリームと共に、利用するエンコード・タイプを示す識別子を伝送する手段と、
を含む、前記エンコーダ。
【請求項７】
前記様々な第２の動きベクトルのセットのそれぞれと、前記第１の動きベクトルとの間で、スケーリング・ファクタおよび差分ベクトルを計算する手段を更に含み、前記差分ベクトルが、符号化コストの計算および後続のステップに使用される、請求項６に記載のエンコーダ。
【請求項８】
前記上位レイヤの動き推定が、前記第１の動きベクトルで初期化される、請求項６または７に記載のエンコーダ。
【請求項９】
前記上位レイヤのフレームの動き推定において、単一のフレームを参照することもできるし、複数のフレームを参照することもできる、請求項６乃至８の一項に記載のエンコーダ。
【請求項１０】
インタレース・ビデオ・データを生成するデコーダであって、
予測フレームの動きベクトルまたは動きフィールドと関連付けられた、前記予測フレームの一部領域または前記予測フレーム全体の参照フレームを示す識別子を受信する手段であり、前記参照フレームが現在の予測フレームと同じパリティまたは反対のパリティを有する直前または直後のフレームである手段と、
前記識別子、前記示された参照フレームおよび前記動きベクトルまたは動きフィールドに基づいて、前記予測フレームまたは前記予測フレーム内の一部領域を復号する手段と、
を含む、前記デコーダ。
【請求項１１】
前記復号手段が、２つ以上の識別子に基づいて前記予測フレームまたは前記予測フレーム内の一部領域を復号し、前記２つ以上の識別子のそれぞれが、現在の予測フレームと同じパリティまたは反対のパリティを有する先行するフレームまたは後続のフレームである参照フレームを示す、請求項１０に記載のデコーダ。
【請求項１２】
インタレース・ビデオ・データを生成する方法であって、
予測フレームの動きベクトルまたは動きフィールドと関連付けられた、前記予測フレームの一部領域または前記予測フレーム全体の参照フレームを示す識別子を受信するステップであり、前記参照フレームが現在の予測フレームと同じパリティまたは反対のパリティを有する直前または直後のフレームであるステップと、
前記識別子、前記示された参照フレームおよび前記動きベクトルまたは動きフィールドに基づいて、前記予測フレームまたは前記予測フレーム内の一部領域を復号するステップと、
を含む、前記方法。
【請求項１３】
前記予測フレームまたは前記予測フレーム内の一部領域を復号する前記ステップが、２つ以上の識別子に基づいて行われ、前記２つ以上の識別子のそれぞれが、現在の予測フレームと同じパリティまたは反対のパリティを有する先行するフレームまたは後続のフレームである参照フレームを示す、請求項１２に記載の方法。
【国際調査報告】
2007529175.tif 000008
2007529175.tif 000009
2007529175.tif 000010