(57)【要約】  スケーラブルビデオ符号化において、損失または損傷した画像ブロックの、置換動きベクトルのような置換ブロック情報を導出する方法は、当該置換ブロック情報を導出するために、少なくとも現レイヤ内の隣接するブロック情報についての情報と、少なくとも１つの他のレイヤ内の対応及び／又は隣接するブロックについての情報とを組み合わせることを含む。
2009523345.tif 000002
【特許請求の範囲】
【請求項１】
スケーラブルビデオ符号化において画像ブロックのブロック情報を導出する方法であって、
符号化されたブロックデータが、精緻化のレベルが異なる複数のレイヤ内に提供され、
前記方法は、
少なくとも現レイヤ及び／又は現画像内の隣接するブロック情報についての情報と、
少なくとも１つの他のレイヤ及び／又は画像内の対応及び／又は隣接するブロックについての情報と
を組み合わせることであって、前記置換ブロック情報が導出される、組み合わせることを含む、方法。
【請求項２】
スケーラブルビデオ符号化において画像ブロックのブロック情報を導出する方法であって、
符号化されたブロックデータが、精緻化のレベルが異なる複数のレイヤ内に提供され、
前記方法は、
現レイヤ内の空間的に隣接するブロック、
現レイヤ内の時間的に隣接するブロック、
現フレームの第１の他のレイヤ内の対応するブロック、
現フレームの第２の他のレイヤ内の対応するブロック、
第１の他のレイヤにおける前記現フレームの対応するブロックに空間的に隣接するブロック、
第１の他のレイヤにおける前記現フレームの対応するブロックに時間的に隣接するブロック、
第２の他のレイヤにおける前記現フレームの対応するブロックに空間的に隣接するブロック、及び
第２の他のレイヤにおける前記現フレームの対応するブロックに時間的に隣接するブロック
のうちの少なくとも２つからの利用可能なブロック情報を組み合わせることであって、前記置換ブロック情報が導出される、組み合わせることを含む、方法。
【請求項３】
ブロックの動きベクトルを導出するための、請求項１又は２に記載の方法。
【請求項４】
現レイヤ及び／又は少なくとも１つの他のレイヤ内の、前記画像ブロックに隣接するブロックの動きベクトルの特性を分析することを含む、請求項３に記載の方法。
【請求項５】
少なくとも１つの他のレイヤにおいて、前記画像ブロックの動きベクトルに対する類似度に基づいて隣接するブロックの動きベクトルを選択することを含む、請求項４に記載の方法。
【請求項６】
多数決に基づいて動きベクトルの特性を選択することを含む、請求項４又は５に記載の方法。
【請求項７】
最大多数の値の動きベクトル特性を選択することを含む、請求項６に記載の方法。
【請求項８】
前記特性は方向及び／又は大きさを含む、請求項３〜７のいずれか一項に記載の方法。
【請求項９】
異なるレイヤからの１つ又は複数の選択された動きベクトルを組み合わせることを含む、請求項３〜８のいずれか一項に記載の方法。
【請求項１０】
現レイヤ内の隣接するブロックからの動きベクトルと、少なくとも１つの他のレイヤ内の対応及び／又は隣接するブロックからの動きベクトルとを組み合わせることを含む、請求項９に記載の方法。
【請求項１１】
現レイヤ内の隣接するブロックからの動きベクトルと、
少なくとも１つの他のレイヤ内の対応及び／又は隣接するブロックからの動きベクトルと
の平均を計算することを含む、請求項９又は１０に記載の方法。
【請求項１２】
前記平均の値に最も近い、前記平均化において使用される動きベクトルを、置換動きベクトルとして選択することを含む、請求項１１に記載の方法。
【請求項１３】
前記平均(average)は平均値(mean)である、請求項１２に記載の方法。
【請求項１４】
選択される動きベクトルに、前記組み合わせることのために重み付けすることをさらに含む、請求項３〜１３のいずれか一項に記載の方法。
【請求項１５】
同じレイヤ及び／又は少なくとも１つの他のレイヤ内の、前記画像ブロックに隣接するブロックの複数の動きベクトルを比較することと、
前記比較することに基づいて、前記組み合わせることのために、動きベクトルを選択及び／又は重み付けすることと
を含む、請求項３〜１３のいずれか一項に記載の方法。
【請求項１６】
スケーラブルビデオ符号化において画像ブロックの動きベクトルを導出する方法であって、
符号化されたブロックデータが、精緻化のレベルが異なる複数のレイヤ内に提供され、
前記方法は、同じレイヤ及び／又は少なくとも１つの他のレイヤ内の、前記画像ブロックに隣接するブロックの、選択及び／又は重み付けされた動きベクトルを使用し、
前記方法は、
ブロックサイズに基づいて前記動きベクトルを選択及び／若しくは重み付けすること、並びに／又は、同じレイヤ及び／若しくは少なくとも１つの他のレイヤ内の、前記画像ブロックに隣接するブロックの複数の動きベクトルを比較することと、
前記比較することに基づいて動きベクトルを選択及び／又は重み付けすることとを含む、方法。
【請求項１７】
前記選択及び／又は重み付けされた動きベクトルを組み合わせることであって、前記動きベクトルを導出する、組み合わせることを含む、請求項１６に記載の方法。
【請求項１８】
前記同じレイヤ及び／又は少なくとも１つの他のレイヤ内の、前記画像ブロックに隣接するブロックの複数の動きベクトル間の類似度を評価することと、
動きベクトルを、前記類似度に基づいて前記現レイヤ及び／又は少なくとも１つの他のレイヤから前記組み合わせることのために選択するか否かを判断することと
を含む、請求項３〜１５および１７のいずれか一項に記載の方法。
【請求項１９】
前記同じレイヤ及び／又は少なくとも１つの他のレイヤ内の、前記画像ブロックに隣接するブロックの複数の動きベクトル間の類似度を評価することと、
前記組み合わせることのために選択された動きベクトルを、前記類似度に基づいて重み付けすることと
を含む、請求項３〜１５、１７および１８のいずれか一項の方法。
【請求項２０】
前記類似度を評価するステップは、類似度値を計算することと、前記類似度値と少なくとも１つの閾値とを比較することとを含む、請求項１８又は１９に記載の方法。
【請求項２１】
前記現レイヤと、より粗いレイヤ内の動きベクトルを比較することと、
前記現レイヤ及び／又は前記より粗いレイヤからの動きベクトルを組み合わせることと
を含み、
前記組み合わせることにおいて、前記より粗いレイヤ内の動きベクトルの影響が、前記現レイヤ及び前記より粗いレイヤ内の動きベクトル間の前記類似度に直接的に関連する、請求項３〜１５および１７〜２０のいずれか一項に記載の方法。
【請求項２２】
より粗いレイヤ内の動きベクトルを比較することと、
前記現レイヤ及び／又は前記より粗いレイヤからの動きベクトルを組み合わせることと
を含み、
前記組み合わせることにおいて、前記より粗いレイヤ内の動きベクトルの影響が、前記より粗いレイヤ内の動きベクトル間の前記類似度に逆に関連する、請求項３〜１５および１７〜２０のいずれか一項に記載の方法。
【請求項２３】
前記組み合わせることのために、動きベクトルをブロックサイズに基づいて選択及び／又は重み付けすることを含む、請求項３〜１５および１７〜２２のいずれか一項に記載の方法。
【請求項２４】
前記現レイヤ内の複数のブロックは、前記より粗いレイヤ内の同じブロックに対応し、
前記方法は、前記より粗いレイヤ内の前記画像ブロックと同じ前記ブロックに対応する前記画像ブロックに隣接するブロックにより大きい影響を割り当てること（例えば、選択すること、重み付けすること、又は組み合わせること）を含む
請求項３〜２４のいずれか一項に記載の方法。
【請求項２５】
前記特性は、予測のタイプ（別のレイヤ、直前のフレーム又は次のフレームに関する予測等）を含む、請求項４〜７のいずれか一項に記載の方法。
【請求項２６】
動きベクトル情報の代わりに、他のブロック情報（予測モード又はブロック分割等）に適用される、請求項３〜２５のいずれか一項に記載の方法。
【請求項２７】
スケーラブルビデオ符号化において、画像ブロックの、損失または損傷した動きベクトル用に置換動きベクトルを導出する方法であって、
符号化されたブロックデータは、精緻化のレベルが異なる複数のレイヤ内に提供され、
前記方法は、前記画像ブロックのレイヤ内の隣接するブロックの動きベクトルを選択することであって、より下位のレイヤ内の対応するブロックの動きベクトルと類似する方向及び／又は大きさを有する動きベクトルを選択することを含む、方法。
【請求項２８】
スケーラブルビデオ符号化において画像ブロックの損失または損傷した動きベクトル用に置換動きベクトルを導出する方法であって、
符号化されたブロックデータは、精緻化のレベルが異なる複数のレイヤ内に提供され、
前記方法は、前記画像ブロックのレイヤ内の隣接する動きベクトルの評価（隣接する動きベクトルがゼロに近いか否か等）に基づいて、より下位のレイヤ内の対応するブロックの動きベクトルを使用するか否かを決めることを含む、方法。
【請求項２９】
スケーラブルビデオ符号化において画像ブロックの損失または損傷した動きベクトル用に置換動きベクトルを導出する方法であって、
符号化ブロックデータは、精緻化のレベルが異なる複数のレイヤ内に提供され、
前記方法は、より上位のレイヤの動きベクトルを参照することを含む、方法。
【請求項３０】
スケーラブルビデオ符号化において、画像ブロックの損失または損傷したブロック情報用に、モード又は分割の情報のような、置換ブロック情報を導出する方法であって、
符号化ブロックデータは、精緻化のレベルが異なる複数のレイヤ内に提供され、
前記方法は、前記画像のレイヤ内の隣接するブロックと、少なくとも１つの他のレイヤ内の隣接するブロック及び／又は対応するブロックのブロック情報とに基づく、方法。
【請求項３１】
現レイヤに対してより上位のレイヤを使用する、請求項１〜３０のいずれか一項に記載の方法。
【請求項３２】
前記ベースレイヤを使用する、請求項１〜３１のいずれか一項に記載の方法。
【請求項３３】
少なくとも２つのレイヤからの情報を使用して、動きベクトル情報のようなブロック情報を評価することをさらに含む、請求項１〜３２のいずれか一項に記載の方法。
【請求項３４】
画像ブロック内のエラーを隠蔽する方法であって、請求項１〜３３のいずれか一項に記載の方法を使用して導出されるブロック情報を使用することを含む、方法。
【請求項３５】
画像ブロック内のエラーを隠蔽する方法であって、
隣接するブロックがイントラ符号化されるか否かを判断することと、
この情報を使用することであって、１つ又は複数の隣接するブロックからの空間的予測／補間の使用をガイドする、使用することと
を含む、方法。
【請求項３６】
現レイヤ拡張が利用可能でないイントラ符号化ブロック用であって、現ブロックの空間的予測／補間用に使用される隣接するイントラ符号化ブロック用に、前記隣接するイントラ符号化ブロックのベースレイヤ表現のアップサンプリングが使用される、請求項３５に記載の方法。
【請求項３７】
前記補間されたブロックと、対応するブロックのアップサンプリングされたものとの比較に基づいて評価することをさらに含む、請求項３５に記載の方法。
【請求項３８】
スケーラブルビデオ符号化において画像ブロックの損失または損傷したブロック情報用に置換ブロック情報を評価する方法であって、
符号化されたブロックデータは、精緻化のレベルが異なる複数のレイヤ内に提供され、
前記方法は、少なくとも２つのレイヤからの情報を使用することを含む、方法。
【請求項３９】
少なくとも２つのレイヤからの情報を組み合わせることを含む、請求項３８に記載の方法。
【請求項４０】
ブロック境界歪みに基づくエラー測定値と、
置換ブロック情報を有するブロックと、より下位のレイヤの対応するブロックのアップサンプリングされたものとの比較に基づくエラー測定値と
の組み合わせを含む、請求項３９に記載の方法。
【請求項４１】
請求項１〜４０のいずれか一項に記載の方法を実行させるためのコンピュータプログラム。
【請求項４２】
請求項４１に記載のコンピュータプログラムを記憶するデータ記憶媒体。
【請求項４３】
請求項１〜４０のいずれか一項に記載の方法を実行するようになっている制御デバイス又は装置。
【請求項４４】
データ復号手段と、エラー検出手段と、動きベクトル推定器と、エラー隠蔽手段とを備える、請求項４３に記載の装置。
【請求項４５】
請求項４３又は４４に記載の装置を備える受信機であって、
通信システム用の、又は、記憶されているデータを検索するシステム用の、受信機。
【請求項４６】
携帯テレビ電話である、請求項４５に記載の受信機。
【発明の詳細な説明】
【技術分野】
【０００１】
圧縮ビデオのビットストリームの送信は、概して、チャネルエラーの影響を非常に受けやすい。例えば、符号化されたビデオのビットストリームに１つのビットエラーがあるだけで、画像の質に深刻な劣化が生じることがある。エラー訂正方式によって十分に訂正することができないビットエラーが送信中に発生する場合には、受信機において、破損した画像を隠蔽するためにエラーの検出及び隠蔽が必要とされる。
【０００２】
エラー隠蔽アルゴリズムは、受信画像の損傷を受けた部分を修復するように試みる。当該技術分野の技術水準の概説は、Yao Wang、Stephan Wenger、Jaingtao Wen、及びAggelos K. Kassaggelosによる「Error Resilient Video Coding Techniques」（IEEE Signal Processing Magazine, Vol. 17, Issue 4, pages 61-82, July 2001）において見ることができる。この技法は、空間的隠蔽及び時間的隠蔽の２つの大まかなクラスに分類することができる。空間的隠蔽では、欠損したデータが、隣接する空間的情報を使用して再構成されるのに対し、時間的隠蔽では、失われたデータが、時間的に隣接するフレーム内のデータから再構成される。
【０００３】
１つの単純な時間的隠蔽技法では、損傷を受けたブロックを直前のフレーム内の空間的に対応するブロックによって単に置換する。この方法はコピーアルゴリズムと呼ばれる。この方法では、動きが存在する領域では、隠蔽の質が悪化する可能性がある。損傷を受けたブロックを、動き補償されたブロックと置換することによって、大幅な改善を得ることができるが、これを行うには、正確な動きベクトルを回復する必要がある。
【０００４】
幾つかの動きベクトル回復技法が、損傷を受けたブロックを隠蔽するために以下のように広範に使用されている。
‐隣接するブロックの動きベクトルの「平均（Average）」によって得られる動き補償されたブロック
‐隣接するブロックの動きベクトルの「中央値（Median）」によって得られる動き補償されたブロック
‐W. Lam、A. R. Reibman、及びB. Liuによる「Recovery of lost or erroneously received motion vectors」（IEEE Proc. of Int. Conf. Acoustics, Speech, Signal Processing, pages 545-548, March 1992）に記載されている境界整合（boundary matching）アルゴリズム。候補動きベクトル（ＭＶ）の組から、各ＭＶが隠蔽に関して検査され、選択されるＭＶは、自身の境界と、隠蔽されるエリアの周りの上側、下側及び左側のマクロブロックから自身の境界に隣接する境界との間の平均２乗誤差を最小限に抑えるＭＶである。この計算のために使用される境界は、隣接する再構成されたマクロブロックの入手可能性に従って容易に調整することができる。
【０００５】
一般的に、中央値の方法（ベクトル中央値(Vector Median)としても知られる）は、候補ＭＶの組から失われたＭＶを推定するために使用される。ベクトル中央値は、全ての隣接する候補ベクトルからの最短距離を提供する。結果として、これは、欠損したブロックのＭＶを再構成するために隣接するＭＶのうちの１つを選択するには良い方法である。この方法の欠点は、計算コストが高いことであり、そのため、処理能力が制限されている用途、例えばビデオモバイル環境において使用する場合では、当該方法は実行できない。
【０００６】
本明細書に参照により援用される欧州特許出願第１３９５０６１号において提案される技法は、隣接するブロックのＭＶのうちの１つを選択するためにベクトル中央値よりも簡単なアルゴリズムを使用する。周りのブロックの動きベクトルの平均は、全ての周りの動きベクトルからの歪みを最小にする。しかし、周りの動きベクトルが互いに大幅に異なる方向を有する状況では、対向する方向のベクトル間の相殺によって、結果的に、隣接する候補ベクトルと比較すると小さい大きさを有する平均ベクトルが生じる可能性がある。欠損したベクトルが、平均と最も異なっているベクトルよりも平均ベクトルにより近い可能性はより高い。この議論に従って、この平均に最も近いベクトルが選択される。この方法を、平均最近傍（Nearest-to-Average）（Ｎ−ｔ−Ａ法）と呼ぶ。
【０００７】
スケーラブルビデオ符号化、特にＭＰＥＧ／ＩＴＵ−Ｔ  ＪＶＴ  ＳＶＣコーデック、及び幾つかのウェーブレットベースのビデオコーデックにおいて取り入れられる手法では、動きベクトルはスケーラブルに送信することができる。ビットストリームのベースレイヤは、動きベクトルの粗い表現を有するが、それは拡張レイヤにおいて精緻化する（refine）ことができる。特に、ＭＰＥＧ−４  ＡＶＣスケーラブルビデオ符号化の改正の現在の草案（共同草案４、ＪＶＴ書類番号ＪＶＴ−Ｑ２０１（Joint Draft 4, JVT document number JVT-Q201））では、マクロブロック符号化モードに従って、３つのオプションが利用可能である：
１．ＭＶ成分はベースレイヤと同じままにされる。
２．ＭＶ成分は、−１、０又は１によって精緻化される（４分の１画素単位）
３．ベースレイヤのＭＶに関係なく新しいＭＶが送信される。
【０００８】
スケーラブルビデオ符号化の多くの用途のシナリオでは、ベースレイヤは、拡張レイヤよりも強力なエラー保護を有すると予期される。したがって、特定のブロックの動きベクトルの精緻化(refinement)が失われても、その粗い表現は依然として利用可能である可能性が非常に高い。
【０００９】
Ghandi及びGhanbari による「Error concealment for SNR scalable video coding」（Signal Processing: Image Communication, 2005, in press）では、拡張レイヤにおけるエラー隠蔽は、以下の選択肢のうちの１つを選択することによって実行される。
１．隣接するＭＶに基づく現ＭＶの推定値を使用する、直前の拡張画像の動き補償されたブロック（前方）
２．対応するベースレイヤのブロック（上方）
３．対応するベースＭＶを使用する動き補償されたブロック（直接）
【００１０】
そして、これらの３つのオプションは検査され、最も低い境界歪み（Ｄ）を有するオプションが、欠損したブロックを置換するために選択される。ブロック境界歪みは以下のように定義される：
【００１１】
【数１】
2009523345.tif 000003
【００１２】
式中、ｃiは正確に受信された隣接するブロックの境界ピクセルであり、ｎiは置換ピクセルである（図１を参照されたい）。
【００１３】
スケーラブルビデオ符号化のシナリオにおいて動き回復に対処するエラー隠蔽アルゴリズムは比較的少ない。既存のエラー隠蔽技法は、非スケーラブルな概念の単純な拡張であるか、又は、ベースレイヤのＭＶ及び／若しくはテクスチャの単純なコピー及びスケーリングを使用しており、したがって、スケーラブルに符号化された動きベクトルに対して生じる可能性があるエラーパターンに対応するように最適に適合されていない。既存のエラー隠蔽技法は、特に、失われた動きベクトル及びブロックの符号化／分割モードを効率的に推定するために、全ての時間レイヤ、空間レイヤ及び品質レイヤ（quality layer）において入手可能な全ての情報を利用するわけではない。
【００１４】
本発明の態様は添付の特許請求の範囲において記載される。
【００１５】
第１の態様では、本発明は、スケーラブルビデオ符号化において画像ブロックのブロック情報を導出する方法であって、符号化されたブロックデータは、精緻化のレベルが異なる複数のレイヤ内に提供され、当該方法は、少なくとも現レイヤ及び／又は現画像内の隣接するブロック情報についての情報と、少なくとも１つの他のレイヤ及び／又は画像内の対応及び／又は隣接するブロックについての情報とを組み合わせることであって、上記置換ブロック情報が導出される、組み合わせることを含む、方法に関する。
【００１６】
ここで、隣接することは、空間的又は時間的に隣接することを意味する。現画像は、任意のレイヤ内の現画像を意味することができ、別の画像は、前の画像又は後の画像のような時間的に異なる画像を意味し、任意のレイヤ内の時間的に異なる画像を意味することもできる。
【００１７】
第２の態様では、本発明は、スケーラブルビデオ符号化において画像ブロックのブロック情報を導出する方法であって、符号化されたブロックデータは、精緻化のレベルが異なる複数のレイヤ内に提供され、当該方法は、現レイヤ内の空間的に隣接するブロック、現レイヤ内の時間的に隣接するブロック、現フレームの第１の他のレイヤ内の対応するブロック、現フレームの第２の他のレイヤ内の対応するブロック、第１の他のレイヤにおける現フレームの対応するブロックに空間的に隣接するブロック、第１の他のレイヤにおける現フレームの対応するブロックに時間的に隣接するブロック、第２の他のレイヤにおける現フレームの対応するブロックに空間的に隣接するブロック、及び第２の他のレイヤにおける現フレームの対応するブロックに時間的に隣接するブロックのうちの少なくとも２つからの利用可能なブロック情報を組み合わせることであって、上記置換ブロック情報が導出される、組み合わせることを含む、方法に関する。
【００１８】
本発明の幾つかの態様は、画像ブロックのブロック情報を導出することに関する。通常（必ずではないが）、このブロック情報は、失われたか又は損傷したブロック情報用の置換ブロック情報である。ブロック情報は、例えば動きベクトル情報、又は予測モード若しくはブロック分割の情報である。所定の画像ブロックのブロック情報は、上記画像ブロックに時間的に隣接するブロック、空間的に隣接するブロック、又は別のレイヤ内のブロックからの情報を使用して（すなわち、別のレイヤ内の対応するブロック、又は別のレイヤ内の対応するブロックに隣接するブロックのブロック情報を使用して）導出される。本明細書では、文脈から明らかに別に解釈される場合を除いて、動きベクトルという用語は、スケーラブル符号化におけるベースレイヤ上方のレイヤにおけるような、動きベクトルの精緻化(refinement)を含む。
【００１９】
本発明の実施の形態の根本的な特徴は、現レイヤの動きベクトルの推定値を形成する際に、全てのレイヤからの全ての利用可能な情報を組み合わせることである。以下の候補のうちの少なくとも幾つかが利用可能であると予期することができる。
‐現レイヤ内の空間的に隣接するブロックからのＭＶ
‐現レイヤ内の時間的に隣接するブロックからのＭＶ
‐（現レイヤのＭＶが利用可能でない現ブロック及び隣接するブロックのための）現フレーム内の粗い（ベース／より下位のレイヤの）ＭＶ
‐前のフレーム及び後のフレームからの粗い（ベース／より下位のレイヤの）ＭＶ
‐現フレーム内のより上位のレイヤからのＭＶの精緻化(refinement)
‐前のフレーム及び後のフレームからのより上位のレイヤからのＭＶの精緻化
【００２０】
現ＭＶの推定値は、隠蔽エラーの最小化を目的とする基準を使用して、利用可能な候補ＭＶのうちの幾つか又は全てを使用して形成される。
【００２１】
本発明の実施形態は、添付の図面を参照して説明される。
【発明を実施するための最良の形態】
【００２２】
本発明の実施形態について、携帯テレビ電話との関連で説明する。この実施形態では、第１の携帯電話のビデオカメラによって取り込まれた画像データが、第２の携帯電話に送信され、表示される。
【００２３】
図５は、携帯テレビ電話１の関連部分を概略的に示している。電話１は、データを送受信するトランシーバ２、受信したデータを復号する復号器４、及び受信した画像を表示するディスプレイ６を含む。また、この電話は、ユーザの画像を取り込むカメラ８及び取り込んだ画像を符号化する符号器１０も含む。
【００２４】
復号器４は、適切な符号化技法に従って受信データを復号するデータ復号器１２と、復号されたデータのエラーを検出するエラー検出器１４と、損傷を受けた動きベクトルを推定する動きベクトル推定器１６と、動きベクトル推定器の出力に従ってエラーを隠蔽するエラー隠蔽器１８とを含む。
【００２５】
以下に、本発明の実施形態によって、ディスプレイ６に受信した画像データを表示するために、受信した画像データを復号する方法を説明する。
【００２６】
第１の携帯電話のカメラ８によって取り込まれた画像データは、送信のため、適切な既知の技法を使用して符号化される。この技法は、例えばＭＰＥＧ−４技法のように、フレーム、マクロブロック及び動き補償を使用する。従来技術において既知であるように、データは、ベースレイヤ及び拡張レイヤの形態でスケーラブルに符号化される。その後、符号化されたデータは送信される。
【００２７】
画像データは、第２の携帯電話によって受信され、データ復号器１２によって復号される。従来技術のように、送信データに発生するエラーが、エラー検出器１４によって検出され、可能な場合には、エラー訂正方式を使用して訂正される。動きベクトルのエラーを訂正できない場合には、以下に説明するように、置換用の動きベクトルを導出するための推定方法が、動きベクトル推定器１６において適用される。
【００２８】
第１の実施態様は、従来技術から既知である平均最近傍法（Ｎ−ｔ−Ａ）において、粗いＭＶを追加の候補として追加することに基づく。
【００２９】
図２の上側部分は、上述のＮ−ｔ−Ａ法におけるＭＶ回復のために使用されるであろう、ＶE1〜ＶE6で示される現レイヤ内のＭＶの一例を示す。本発明の概念の本実施態様では、図２の下側部分におけるＶB0と示されるベースレイヤのＭＶが候補ＭＶの組に追加される。
【００３０】
図３において、Ｖ0は、候補ＭＶ：ＶE1〜ＶE6及びＶB0の平均である。この例では、Ｖ0に最も近いＭＶはＶE5である。したがって、ＶE5が、現レイヤ内の欠損したＭＶを置換するために選択される。
【００３１】
上記の例では、現ブロックの上方及び下方のブロックからの現レイヤ内のＭＶが正確に復号されたと仮定される。現レイヤ内のより多くのＭＶ（例えば左及び右の隣接するＭＶ）も、利用可能であれば予測のために使用することもできる。ベースレイヤからのより多くのＭＶ、現レイヤ内の他の画像、及び、より上位の拡張レイヤからの精緻化を含むＭＶも、候補の組に追加することができる。これは、現レイヤ内で利用可能なＭＶがより少ないか又は特に全くない場合、特に有用である。
【００３２】
以下では、上述した基本方式に対する可能な代替例及び拡張が記載される。代替的な候補選択方法を使用して、上記で略述したＮ−ｔ−Ａ法の代わりとすることができる。空間的隠蔽アルゴリズムを基本方式と組み合わせて使用することができる。よりレベルの高い動き拡張の使用は、代替的な候補選択方法として用いることも、Ｎ−ｔ−Ａアルゴリズム若しくは代替アルゴリズムの改善として用いることができる。
【００３３】
第２の実施態様では、候補選択は、ベースレイヤ内の現ブロックのＭＶの方向／大きさに基づく。ベースレイヤ内の現ブロックのＭＶと同様の方向／大きさを有する、空間的／時間的に隣接するブロックのＭＶの候補が選択される。候補ＭＶは、現レイヤ内のこの選択されたＭＶをベースレイヤ内のＭＶと組み合わせる（例えばこれら２つのＭＶの平均をとる）ことによってさらに変更することもできる。
【００３４】
第３の実施態様では、現レイヤ内のＭＶの精緻化についての情報は、候補選択プロセスをガイドするために使用される。例えば、現レイヤ内のＭＶの精緻化の全てが小さい（例えば０である）場合、現ブロックに対する精緻化も非常に小さい可能性が非常に高いため、ベースレイヤの動きベクトルを使用するように決定される。
【００３５】
第４の選択方法は、周りのブロックを見ることである。これらの隣接するブロックの最大多数(majority)がベースレイヤから自身の予測を得る場合、現ブロックのＭＶはベースレイヤからコピーされる。隣接するブロックの最大多数が前のフレームから自身の予測を得る場合、失われたＭＶは前のフレームを参照して推定される。ブロックの最大多数が次のフレームから自身の予測を得る場合、失われたＭＶは次のフレームを参照して推定される。この選択方法では、参照画像が選択されると、失われたＭＶは上記のように推定される。この推定されたＭＶを使用して、選択された参照画像（ベース画像、前の現画像、後の現画像等）のうちの１つを使用して失われたブロックが隠蔽される。
【００３６】
第５の実施態様では、異なる複数のレイヤ（特に、ベースレイヤ／より粗いレイヤ）からの情報が追加のエラー基準として使用される。この一例は、２ステップの選択アルゴリズムであり、第１のステップにおいてブロック境界マッチングを使用すること、及び、第２のステップにおいて、動き補償を、アップサンプリングされたベースレイヤのブロックと比較することから成る。この方式の一変形では、組み合わされたエラー測定値が、エラー境界測定値と、アップサンプリングされたベースレイヤのブロック及び動き補償されたブロックの間の差との加重平均に基づいて導入される。
【００３７】
第６の実施態様におけるように、より高い品質レベルによってもたらされる動きベクトルの精緻化（より上位のレイヤの動きベクトルの精緻化）を使用することも可能である。
【００３８】
精緻化情報の最も単純な使用は、拡張動きベクトルがシンタックス又は既知の符号器設定によって特定されている範囲外を向くことを許可せず、動きベクトルの可能な範囲を制限することである。これは、候補ＭＶのうち、次の拡張レイヤにおいて無効なＭＶを結果的に生じるものを、考慮の対象から外すことができることを意味する。
【００３９】
単純な制限と組み合わせて使用することができるより洗練された手法は、利用可能なＭＶの精緻化の特性を分析する。この分析は、ＭＶ拡張（MV enhancements）の主要な方向の単純な決定に基づいてもよく、より洗練された統計分析に基づいてもよい。そして、得られた情報は、候補ＭＶの中からの選択プロセスをガイドするために、単独で又は他の基準と組み合わせて使用される。例えば、ＭＶの精緻化が現ブロック位置に対して利用可能である場合、最も近い対応する精緻化(closest corresponding refinement)を有する候補動きベクトルが、現ブロックのＭＶの推定値として選択される。より洗練された一実施態様では、精緻化の近さは他の情報（例えば主クラスタに属する候補ＭＶの事前選択、ブロックエッジ（block edge）の差等）と組み合わせられる。
【００４０】
特別な場合として、ベースレイヤ内の失われた動きベクトルを回復するために、精緻化動きベクトル場の分析を使用することも可能である。一実施態様では、ベースレイヤ内の受信されたＭＶに対応する拡張レイヤ内のＭＶの精緻化と、失われたＭＶに対応する拡張レイヤ内のＭＶの精緻化との間の相関は、隠蔽のために使用されるベースレイヤのＭＶの選択をガイドするために使用される。
【００４１】
第７の実施態様は空間的隠蔽に関する。現レイヤ内の隣接するブロックがイントラ符号化される(intra coded)場合、失われたブロックは、エラー基準に従って、隠蔽のために、隣接する再構成されたブロックからイントラ予測／補間を使用することができる。多くの場合、エラーが生じるとき、同じ水平線における複数のブロックが破損する。このため、エラーが生じたブロックのすぐ上の行及びすぐ下の行からのブロック内に含まれる情報から破損したブロックを推定することが有利である。そのような補間の一例は図４に示されている。図４では、現ブロックのすぐ上にあるブロックとすぐ下にあるブロックとの間で補間が使用される。
【００４２】
そして、空間的予測／補間の使用に関する決定は適切なエラー測定値に基づく。これの一例は、推定された現ブロックと、そのブロックのアップサンプリングされたベースレイヤのものとの間の平均２乗誤差である。
【００４３】
上記に対する同様の概念を、マクロブロックモード、マクロブロック及びサブマクロブロックの分割情報の回復に適用することができる。
【００４４】
ブロックが失われると、そのブロックの情報（ブロックモード等）も失われる。周りのブロックモードが両方向予測を使用する場合、失われたブロックは両方向モードとして扱われ、その失われたＭＶは、前の拡張画像及び後の拡張画像からの両方向動き補償を使用して隠蔽される。
【００４５】
マクロブロックの片側（例えば右手側）においてマクロブロックの最大多数(majority)がイントラ符号化される場合、失われたマクロブロックは２つの部分に分割される。一方の部分では、隣接するイントラマクロブロックからの空間的隠蔽を使用して隠蔽が実行され、失われたマクロブロックの他方の部分は、周りの隣接するインターマクロブロックから失われたＭＶを推定することによって隠蔽される。
【００４６】
ＭＰＥＧ−４  ＡＶＣ／Ｈ．２６４では、動き推定及び動き補償のために、マクロブロックを多数の方法で分割することができる。分割モードは、１６×１６、１６×８、８×１６及び８×８である。各マクロブロックは、自身の分割モードに従って自身に割り当てられる２つ以上のＭＶを有することができる。１６×１６のブロックサイズの場合、１つのＭＶが必要とされ、１６×８及び８×１６の場合、２つのＭＶが必要とされ、８×８モードの場合、４つのＭＶが必要とされる。失われたＭＢのモードを推定するために、周りのマクロブロックのモードが検査される。例えばＭＶの最大多数が１６×８モードを有する場合、失われたマクロブロックのモードは１６×８モードを割り当てられる。したがって２つのＭＶが、失われたＭＶを隠蔽するために周りの隣接するＭＶから推定される必要がある。同様に、８×８の分割が使用される場合、８×８のブロックは、８×４、４×８及び４×４のサブブロックにさらに再分割することができる。これらのサブマクロブロック分割モードは、上述したマクロブロック分割モードと同様に回復することができる。
【００４７】
候補動きベクトルを選択するためのさらなる方法が以下に述べられる。ここで、候補動きベクトルは、例えば、上述したような又は従来技術の適切な方法を使用して、置換ブロック情報（置換動きベクトルや推定された動きベクトル等）を導出するために処理することができる。
【００４８】
第８の実施態様は閾値及び重みに関する。
【００４９】
現レイヤのすぐ下の情報は特に重要である可能性がある。例えば、２つのレイヤ（ベースレイヤと呼ばれるより下位のレイヤと、拡張レイヤと呼ばれるより上位のレイヤとを有する）の場合、拡張レイヤのブロック内の情報がベースレイヤ内の対応するブロックの情報に類似している可能性はより高い。
【００５０】
解決されるべき問題は、拡張レイヤ及びベースレイヤ内の周りのブロックのＭＶに応じて１つのブロックの動きベクトル（ＭＶ）をどのようにして予測するかということである。本実施態様は、推定されるＭＶに候補ＭＶが与える影響を制御する重みを求めることを含む。重みの値は、ベースレイヤのＭＶと拡張レイヤのＭＶとの間の類似度に基づいて求められる。
【００５１】
候補ＭＶに割り当てられる重みは、利用可能なＭＶ間の類似度に従って選択される。特に、本実施態様では、利用可能なＭＶ間の関係の２つの態様が考慮される。推定されるべき欠損又は損傷した動きベクトルを有する、「現ブロック」として表される所定のブロックに関して、以下が考慮される。
１．ベースレイヤ内の現ブロックのＭＶと、ベースレイヤ内の空間的に隣接するＭＶとの類似度
２．ベースレイヤ及び拡張レイヤ内の、空間的に隣接する同一のブロックのＭＶ間の類似度
【００５２】
特定の一実施態様では、類似度測定値は、２つの閾値によって画定される３つの範囲（大、中、小）内に分類される。類似度測定値が大きい場合、対応するブロック情報は大きい重みを割り当てられ、もう一方のブロック情報は小さい重みを割り当てられる。類似度測定値が中間範囲内にある場合、２つのカテゴリーのブロックからの情報は中程度の重みを割り当てられる。最後に、類似度測定値が小さい場合、対応するブロック情報のための重みはさらに減少し、もう一方のブロック情報のための重みはさらに増加する。
【００５３】
２つの態様が図６を参照して以下に説明される。図６は、ベースレイヤ及び拡張レイヤ内の現ブロックと、ベースレイヤ及び拡張レイヤ内の空間的に隣接するブロックとを示す。特に、空間的に隣接するブロックは、現ブロックの垂直上方にあるブロックであり、上側ブロックと表される。以下では、ベースレイヤ及び拡張レイヤ内の現ブロック及び上側ブロックは、現ベース（Current Base）、現拡張（Current Enhancement）、上側ベース（Top Base）及び上側拡張（Top Enhancement）と表される。
【００５４】
態様１の特定の一実施態様では、ベースレイヤ内の２つのブロック、すなわち上側ベース及び現ベースの動きベクトル（ＭＶ）が比較される。ＭＰＥＧ−４  ＳＶＣにおけるように、各ブロックは１６個までのサブブロックを有することができ、その結果、各ブロックの境界は、図６に示されているように、ブロック「現ベース」内のブロックａ、ｂ、ｃ及びｄのような最大４つのサブブロックを有することができる。そして、上側ベース内の各サブブロックのＭＶと、現ベースブロックの対応するサブブロックのＭＶとの間のユークリッド距離の合計が計算され、その結果、以下のような式（１）で定義される、２つの隣接するブロック間の距離測定値ＤｉｓｔＳが生じる。
【００５５】
【数２】
2009523345.tif 000004
【００５６】
式中、
【００５７】
【数３】
2009523345.tif 000005
【００５８】
及び
【００５９】
【数４】
2009523345.tif 000006
【００６０】
はそれぞれ、上側ベースブロック及び現ベースブロックのＭＶであり、各ＭＶはｘ成分及びｙ成分から成る。
【００６１】
測定値ＤｉｓｔＳが第１の閾値ＴＨ１未満であり、上側ベースブロック内のＭＶが現ベースブロック内のＭＶに非常に類似していることが示される場合、拡張レイヤ内のＭＶは、失われたＭＶとの高い相関を有する可能性がある。したがって、ベースレイヤ内のＭＶの重み係数は最小に保たれる。しかし、測定値ＤｉｓｔＳが第１の閾値ＴＨＳ１を超えるが、第２の閾値ＴＨＳ２未満である（ただし、ＴＨＳ２>ＴＨＳ１）場合、ベースレイヤの重み係数は増加する。最後に、測定値ＤｉｓｔＳがＴＨＳ２を超える場合、拡張レイヤのＭＶは、より小さい重みを割り当てられるか、場合によっては放棄され、ベースレイヤのＭＶのみが失われたＭＶを回復するために使用される。
【００６２】
第２の態様では、２つのレイヤのＭＶが比較される。式２において示されるように、ユークリッド距離ＤｉｓｔＬが、上側拡張ブロック内のサブブロックからのＭＶと、上側ベースブロック内のＭＶとを使用して計算される。
【００６３】
【数５】
2009523345.tif 000007
【００６４】
式中、
【００６５】
【数６】
2009523345.tif 000008
【００６６】
及び
【００６７】
【数７】
2009523345.tif 000009
【００６８】
はそれぞれ、上側拡張ブロック及び上側ベースブロックのＭＶである。
【００６９】
測定値ＤｉｓｔＬが、上記のように２つの閾値と比較される。しかし、ここでは、測定値ＤｉｓｔＬが第１の閾値ＴＨＬ１未満である場合、ベースレイヤのＭＶのみが、失われたＭＶの計算のために使用される（より一般的にはベースレイヤのＭＶは最も大きい重みと共に使用される）。ＤｉｓｔＬがＴＨＬ１を超えるが、ＴＨＬ２未満である（ただし、ＴＨＬ２>ＴＨＬ１）場合、ベースレイヤのＭＶに割り当てられる重みは減少し、拡張レイヤのＭＶに割り当てられる重みは増加する。ＤｉｓｔＬがＴＨＬ２よりも大きい場合、拡張レイヤのための重みはさらに増加し、ベースレイヤの重みはさらに減少する。
【００７０】
他の距離測定値を類似度測定値として使用することができる。
【００７１】
第１の態様及び第２の態様の両方では、推定されるＭＶを導出する際、例えば候補ＭＶを平均化する際又は他の類似の方法において、重みが使用される。代替的に、上述したように、重みは、ＭＶの候補の組からのＭＶを含むか又は排除するかを決定するために使用してもよく、その後、当該候補の組は、例えば上述した方法又は従来技術の方法を使用して、推定されるＭＶを導出するために処理される。
【００７２】
第１の手法（式１を参照されたい）では、類似度測定値はベースレイヤ内の空間的情報を含む。しかし、第２の手法（式２を参照されたい）では、類似度測定値は異なる複数のレイヤに関連する。
【００７３】
すなわち、大まかに言えば、第１の手法では、欠損又は損傷したＭＶを有する（拡張レイヤ内の）現ブロックに関して、ベースレイヤ内の現ブロックに隣接する１つ又は複数のブロックのＭＶがベースレイヤ内の現ブロックのＭＶに類似している場合、同じことが現拡張レイヤに当てはまり、したがってより大きい重みが拡張レイヤ内のＭＶに割り当てられると仮定するのが理に適っている。
【００７４】
第２の手法では、大まかに言えば、拡張レイヤ内の隣接するＭＶがベースレイヤ内の対応する隣接するＭＶに類似していない場合、拡張レイヤ内のＭＶが、より高い優先順位又はより大きい重み付けを与えられるが、拡張レイヤ内の隣接するＭＶがベースレイヤ内の対応する隣接するＭＶに類似している場合、ベースレイヤ内のＭＶが、より高い優先順位又はより大きい重み付けを与えられる。
【００７５】
第８の実施態様は空間的スケーラビリティに関する。
【００７６】
スケーラビリティでは、２つのレイヤ間での１対１のマッピングが必ずしも可能とは限らない。例えば、空間的スケーラビリティでは、ベースレイヤ内の１つのブロックが拡張レイヤ内の４つのブロックに対応し、１対多の対応を提供する。したがって、例えば、図７に示すように、拡張レイヤ内でそれぞれ２つの行がベースレイヤ内の１つの行に対応する。特に、例えば、図７の上側部分において示されている拡張レイヤ内のブロック１〜４は、ベースレイヤ内の単一のブロック（図示せず）に対応し、４つのブロックが２つの行、すなわち行２Ｎ（ブロック３及び４）及び行２Ｎ＋１（ブロック１及び２）において存在する。
【００７７】
ＭＰＥＧ−４  ＳＶＣでは、サイズが１６×１６ピクセルの最上レベルの各ブロック（マクロブロックと呼ばれる）は様々なサイズのサブブロックを有することができる。一般的に、サイズが１６×１６、１６×８、８×１６又は８×８の１つ、２つ及び４つのサブブロックが存在する。８×８のサブブロックは、４×４のサブ・サブブロックにさらに分割することができ、それらのそれぞれは異なるＭＶを有する。これは図７の下側部分において示されている。
【００７８】
空間的スケーラビリティにおけるブロックとサブブロックとの間の１対多の対応は、異なるレイヤ内のブロック間の関係についての多数の観察に基づいてＭＶ候補選択プロセスをより良くガイドするために使用することができる。
【００７９】
ベースレイヤのブロックのサイズが１６×１６である場合、拡張レイヤ内で対応する４つのブロックが１６×１６のモードである可能性が最も高い。この場合、拡張レイヤの奇数（２Ｎ＋１）行におけるブロック情報を推定するために、拡張レイヤの偶数行（２Ｎ）におけるブロック情報が奇数行のブロックに類似するであろう。これは、図８Ａを参照すると理解できる。図８Ａでは、示されるより粗いレイヤ内のブロック（Ａ）は１６×１６ブロックである。
【００８０】
この場合、これらの行における拡張レイヤのブロックはより高い順位を与えられる。同様の議論は８×１６のブロックに適用され、したがってそれらのブロックは同じように扱われる（図８Ｂを参照されたい；ブロックＡ１及びＡ２のそれぞれは８×１６である）。
【００８１】
一方、ベースレイヤのブロックサイズが１６×８である場合、拡張レイヤ内の偶数列（２Ｍ）におけるブロックが奇数列（２Ｍ＋１）におけるブロックに類似する可能性はより高い（図８Ｃを参照されたい；ブロックＡ１及びＡ２のそれぞれは１６×８である）。結果として、この状況では、偶数列（２Ｍ）におけるブロック情報を推定する場合、奇数列（２Ｍ＋１）における対応するブロックがより高い順位を与えられる。
【００８２】
最後に、ベースレイヤのブロックが８×８である場合、拡張レイヤ内の隣接するマクロブロック間で強い相関が存在するとは予期されない（図８Ｄを参照されたい；ブロックＡ１、Ａ２、Ａ３及びＡ４のそれぞれは８×８である）。
【００８３】
本発明の用途の例は、テレビ電話、テレビ会議、デジタルテレビ、デジタル高品位テレビ、携帯マルチメディア、放送、ビジュアルデータベース、対話型ゲームを含む。動画に関連して本発明が使用可能である他の用途は、移動ロボット工学、衛星画像、Ｘ線撮影のような生物医学技法、及び監視を含む。
【００８４】
本明細書では、用語「フレーム」は、フィルタリング、解像度の変更、アップサンプリング、ダウンサンプリングのような処理後のものを含む画像ユニットを表すために使用されるが、画像、フィールド、ピクチャ、又は画像、フレームのサブユニット若しくはサブ領域等のような他の類似の用語にも適用される。ピクセル及びブロック又はピクセルのグループといった用語は、適切であれば交換可能に使用することができる。本明細書では、画像という用語は、文脈から明らかである場合を除いて、画像全体又は画像の一領域を意味する。同様に画像の一領域は画像全体を意味することができる。画像は、フレーム又はフィールドを含み、静止画像、又はフィルム若しくはビデオのような画像のシーケンス内の画像、又は画像の関連するグループ内の画像に関する。
【００８５】
画像は、グレイスケール画像若しくはカラー画像、又は別のタイプのマルチスペクトル画像とすることができ、例えばＩＲ画像、ＵＶ画像若しくは他の電磁画像、又は音響画像等とすることができる。
【００８６】
本発明は好ましくは、適切な装置を使用して電気信号を処理することによって実施される。
【００８７】
本発明は、例えばソフトウェア及び／又はハードウェアの変更を適切に行ったコンピュータベースのシステムにおいて実施することができる。例えば、本発明は、コンピュータ又はその類似物を使用して実施することができる。このコンピュータ又はその類似物は、プロセッサ若しくは制御デバイスのような制御手段若しくは処理手段、メモリ、磁気記憶装置、ＣＤ、ＤＶＤ等のような画像記憶手段を含むデータ記憶手段、ディスプレイ若しくはモニタ若しくはプリンタのようなデータ出力手段、及び受信機のようなデータ入力手段、又はそのような構成要素と追加の構成要素とのあらゆる組み合わせを有する。本発明の態様は、ソフトウェア及び／若しくはハードウェアの形態又は特定用途向け装置において提供することができる。又は、チップのような特定用途向けモジュールを提供することができる。本発明の一実施形態による装置におけるシステムの構成要素は、他の構成要素から離れたところで提供することができる。
【図面の簡単な説明】
【００８８】
【図１】失われたブロック（ＭＢ）の境界ピクセルを示す図である。
【図２】ベースレイヤ及び拡張レイヤのフレームからの動きベクトルの候補を示す図である。
【図３】平均ＭＶ  Ｖ0に最も近い候補ＭＶの選択を示す図である。
【図４】空間的隠蔽のための上側ブロック（ＭＢ）及び下側ブロック（ＭＢ）の補間を示す図である。
【図５】携帯テレビ電話の概略ブロック図である。
【図６】ベースレイヤ及び拡張レイヤ内の隣接するブロックを示す図である。
【図７】空間的スケーラビリティ及びブロックモードの様々な態様を示す図である。
【図８Ａ】１つのブロックモードの場合のベースレイヤ及び拡張レイヤ内のブロック間の関係を示す図である。
【図８Ｂ】１つのブロックモードの場合のベースレイヤ及び拡張レイヤ内のブロック間の関係を示す図である。
【図８Ｃ】１つのブロックモードの場合のベースレイヤ及び拡張レイヤ内のブロック間の関係を示す図である。
【図８Ｄ】１つのブロックモードの場合のベースレイヤ及び拡張レイヤ内のブロック間の関係を示す図である。
【図１】
2009523345.tif 000010
【図２】
2009523345.tif 000011
【図３】
2009523345.tif 000012
【図４】
2009523345.tif 000013
【図５】
2009523345.tif 000014
【図６】
2009523345.tif 000015
【図７】
2009523345.tif 000016
【図８Ａ】
2009523345.tif 000017
【図８Ｂ】
2009523345.tif 000018
【図８Ｃ】
2009523345.tif 000019
【図８Ｄ】
2009523345.tif 000020
【国際調査報告】
2009523345.tif 000021
2009523345.tif 000022
2009523345.tif 000023
2009523345.tif 000024
2009523345.tif 000025