(57)【要約】符号化されたマクロブロックにおけるエラーが、デコーダに与えられるエラー隠蔽段階による復号化中に隠蔽される。エラー隠蔽段階により生成されるエラー隠蔽されたマクロブロックは、誤った画素値の拡散を回避するため、デコーダにより出力される前にデブロッキングフィルタによるデブロッキングフィルタリングを受ける。エラー隠蔽段階は、損失したマクロブロックの復元により人工的に生成される遷移の最大強度を強制するため、デブロッキングフィルタの強度を変更するエラー隠蔽技術に従ってデブロッキングフィルタを制御する。
2006513633.tif 000002
【特許請求の範囲】
【請求項１】
デブロッキングフィルタを有するＩＳＯ／ＩＴＵ  Ｈ．２６４に準拠した映像デコーダであって、
エラー隠蔽されたマクロブロックをデブロッキングすることにより誤った画素値の拡散を回避する前記デブロッキングフィルタに入力するためのエラー隠蔽されたマクロブロックを生成するため、以前に送信されたマクロブロックから画素値を推定することにより、欠落／損傷したデータを有するマクロブロックのエラーを隠蔽する復号されたマクロブロックを受け取るエラー隠蔽段階を有することを特徴とするデコーダ。
【請求項２】
請求項１記載のデコーダであって、
前記エラー隠蔽段階は、前記デブロッキングフィルタにより実行されるデブロッキングの強度をエラー隠蔽に従って変化させることを特徴とするデコーダ。
【請求項３】
請求項２記載のデコーダであって、
前記エラー隠蔽段階は、隠蔽されたマクロブロックとエラーのない（正確に受信された）マクロブロックとの間の遷移の境界強度を変更することにより、前記デブロッキングフィルタの強度を変更することを特徴とするデコーダ。
【請求項４】
請求項２記載のデコーダであって、
前記エラー隠蔽段階は、隠蔽されたマクロブロックのペア間の遷移の境界強度を変更することにより、前記デブロッキングフィルタの強度を変更することを特徴とするデコーダ。
【請求項５】
請求項２記載のデコーダであって、
前記エラー隠蔽段階は、隠蔽されたマクロブロックと正確に受け取られたマクロブロックとの間の前記デブロッキングフィルタの量子化パラメータ（ＱＰ）平均を変更することを特徴とするデコーダ。
【請求項６】
請求項２記載のデコーダであって、
前記エラー隠蔽段階は、隠蔽されたマクロブロックのペア間の前記デブロッキングフィルタの量子化パラメータ（ＱＰ）平均を変更することを特徴とするデコーダ。
【請求項７】
請求項３記載のデコーダであって、
前記エラー隠蔽段階は、隠蔽されたマクロブロックと正確に受け取られたマクロブロックとの間の前記デブロッキングフィルタの量子化パラメータ（ＱＰ）平均を変更することを特徴とするデコーダ。
【請求項８】
請求項４記載のデコーダであって、
前記エラー隠蔽段階は、隠蔽されたマクロブロックのペア間の前記デブロッキングフィルタの量子化パラメータ（ＱＰ）平均を変更することを特徴とするデコーダ。
【請求項９】
請求項２記載のデコーダであって、
前記エラー隠蔽段階は、前記デブロッキングフィルタのオフセット値Ａ及びＢのペアの各々を変化させることを特徴とするデコーダ。
【請求項１０】
請求項９記載のデコーダであって、
前記エラー隠蔽段階は、隠蔽されたマクロブロックとエラーのない（正確に受け取られた）マクロブロックとの間の遷移の境界強度を変更することにより、前記デブロッキングフィルタの強度を変更することを特徴とするデコーダ。
【請求項１１】
請求項９記載のデコーダであって、
前記エラー隠蔽段階は、隠蔽されたマクロブロックのペア間の遷移の境界強度を変更することにより、前記デブロッキングフィルタの強度を変更することを特徴とするデコーダ。
【請求項１２】
請求項９記載のデコーダであって、
前記エラー隠蔽段階は、隠蔽されたマクロブロックと正確に受け取られたマクロブロックとの間の前記デブロッキングフィルタの量子化パラメータ（ＱＰ）平均を変更することを特徴とするデコーダ。
【請求項１３】
請求項９記載のデコーダであって、
前記エラー隠蔽段階は、隠蔽されたマクロブロックのペア間の遷移の境界強度を変更することにより、前記デブロッキングフィルタの強度を変更することを特徴とするデコーダ。
【請求項１４】
請求項１０記載のデコーダであって、
前記エラー隠蔽段階は、隠蔽されたマクロブロックと正確に受け取られたマクロブロックとの間の前記デブロッキングフィルタの量子化パラメータ（ＱＰ）平均を変更することを特徴とするデコーダ。
【請求項１５】
請求項１０記載のデコーダであって、
前記エラー隠蔽段階は、隠蔽されたマクロブロックのペア間の遷移の境界強度を変更することにより、前記デブロッキングフィルタの強度を変更することを特徴とするデコーダ。
【請求項１６】
復号化されたマクロブロックにおける遷移をスムージングする方法であって、
復号化されたマクロブロックが欠落／損傷した画素値に起因するエラーを有するか検出するステップと、
前記エラーが検出された場合、エラー隠蔽されたマクロブロックを生成するため、以前に送信されたマクロブロックから欠落／損傷した画素値を推定することによりエラーを隠蔽するステップと、
エラー隠蔽アルゴリズムにより人工的に生成された遷移をスムージングするため、デブロッキングフィルタにより前記エラー隠蔽されたマクロブロックをフィルタリングするステップと、
から構成されることを特徴とする方法。
【請求項１７】
請求項１６記載の方法であって、さらに、
エラー隠蔽に従って前記デブロッキングフィルタにより実行される前記デブロッキングの強度を変化させるステップを有することを特徴とする方法。
【請求項１８】
請求項１７記載の方法であって、
前記デブロッキングフィルタの強度を変化させるステップは、隠蔽されたマクロブロックとエラーのない（正確に受け取られた）マクロブロックとの間の遷移の境界強度を変更することから構成されることを特徴とする方法。
【請求項１９】
請求項１７記載の方法であって、
前記デブロッキングフィルタの強度を変化させるステップは、隠蔽されたマクロブロックのペア間の遷移の境界強度を変更することから構成されることを特徴とする方法。
【請求項２０】
請求項１７記載の方法であって、さらに、
隠蔽されたマクロブロックと正確に受け取られたマクロブロックとの間の前記デブロッキングフィルタの量子化（ＱＰ）平均を変更するステップを有することを特徴とする方法。
【請求項２１】
請求項１７記載の方法であって、さらに、
隠蔽されたマクロブロックのペア間の前記デブロッキングフィルタの量子化（ＱＰ）平均を変更するステップを有することを特徴とする方法。
【請求項２２】
請求項１７記載の方法であって、
前記エラー隠蔽段階は、隠蔽されたマクロブロックと正確に受け取られたマクロブロックとの間の前記デブロッキングフィルタの量子化（ＱＰ）平均を変更することを特徴とする方法。
【請求項２３】
請求項１８記載の方法であって、さらに、
隠蔽されたマクロブロックのペア間の前記デブロッキングフィルタの量子化（ＱＰ）平均を変更するステップを有することを特徴とする方法。
【請求項２４】
請求項１７記載の方法であって、さらに、
前記デブロッキングフィルタのオフセット値Ａ及びＢのペアの各々を変化させるステップを有することを特徴とする方法。
【発明の詳細な説明】
【発明の詳細な説明】
【０００１】
［関連出願の相互参照］
本出願は、２００３年１月１０日に出願された米国仮特許出願第６０／４３９，３１２号に対する３５Ｕ．Ｓ．Ｃ．１１９（ｅ）の優先権を主張するものであり、その教示がここに含まれる。
［技術分野］
本発明は、データの欠落または損傷により生じるエラーを軽減するのにエラー隠蔽を実行する映像デコーダに関する。
［背景技術］
多くの場面において、映像ストリームは格納及び送信を容易にするため、圧縮（符号化）が行われる。しばしば、このような符号化された映像ストリームには、チャネルエラー及び／またはネットワーク混雑のため、送信中にデータ損失や損傷が発生する。復号されると、データの損失／損傷は、画素値の欠落として明らかにされる。このような欠落／損傷した画素値に起因するアーチファクトを抑制するため、デコーダは、同じ画像の他のマクロブロックや他の画像から推定することにより、このような欠落／損傷した画素値を「隠蔽」する。「隠蔽」という用語は、デコーダが欠落または損傷した画素値を実際に隠すものではないため、やや誤った名称である。
【０００２】
エラー隠蔽の重要性にも関わらず、大部分のデコーダは通常は、リアルタイムアプリケーションのため最もシンプルかつ高速な隠蔽アルゴリズムのみを実現する。大部分のリアルタイムアプリケーションでは、エラー隠蔽を実現するのに２つのアプローチがある。１つのアプローチは、正確に復号された近隣の１つをコピーすることにより、欠落したマクロブロックの置換を提案するものである。このアプローチは、再構成された画像に出現するブロッキングアーチファクトが顕著である低質のシステム上のアプリケーションにおいて検出される。第２のアプローチは、正確に復号された近隣のマクロブロックの境界上の画素値に基づき、欠落したマクロブロックのコンテンツを補間することによりブロッキングアーチファクトをスムージングしようとするものである。以下の２つのスキーム、（１）共通の平均値を有するマクロブロック／ブロック内部のすべての画素の置換と、（２）マクロブロック／ブロック境界への画素距離に基づく加重予測による各画素値の置換とが、後者のカテゴリに適合する。フラット領域と輪郭領域とを識別する基準がない場合、この隠蔽アプローチは、反対のアーチファクトを生成する再構成された画像をぼやけたものとする傾向がある。
【０００３】
従って、欠落／損傷した画素値の導出プロセスにより生成されるブロッキングアーチファクトを低減するとき、シンプルさと高パフォーマンスを実現する隠蔽アプローチが必要とされる。
［発明の概要］
本原理の好適な実施例によると、ＩＳＯ／ＩＴＵ  Ｈ．２６４映像圧縮規格に準拠した映像デコーダは、欠落／損傷した画素値を有する復号されたマクロブロックにエラーを隠蔽するエラー隠蔽段階を有する。このエラー隠蔽段階は、以前に送信されたエラーのないマクロブロックから欠落／損傷した画素値を推定することにより、そのようなエラー隠蔽を実行する。エラー隠蔽段階により生成されるマクロブロックは、エラー隠蔽プロセスの不正確さにより人工的に生成される遷移をデブロックするデコーダのデブロッキングフィルタに入力される。言い換えると、エラー隠蔽段階は、デブロッキングフィルタによるフィルタリングの前にエラー隠蔽を実行する。このようなアプローチの効果は２つある。第１に、デブロッキングフィルタを利用してエラー隠蔽方法の結果を向上させることにより、低い複雑さの要求により高いクオリティを達成することができる。第２に、デブロッキング前のエラー隠蔽は、エラーを有するブロックと性格に復号化されたブロックとの間の遷移をスムージングしようとするとき、エラー画素値の拡散を回避することができる。
【０００４】
本原理の他の特徴によると、エラー隠蔽段階は、デブロッキングフィルタのパラメータを変動させる。特に、エラー隠蔽段階は、損失したマクロブロックの復元により人工的に生成される遷移に対する最大フィルタ強度を強制するようデブロッキングフィルタのパラメータを変動させる。
［詳細な説明］
図１は、本原理によるエラー隠蔽を実現するＩＳＯ／ＩＴＵ  Ｈ．２６４圧縮規格に準拠した映像デコーダ１０のブロック図を示す。デコーダ１０は、Ｈ．２６４圧縮規格による上流のエンコーダ（図示せず）により圧縮（符号化）された映像信号を表す入力ビットストリームを受信するエントロピー復号化段階１２を含む。エントロピー復号化段階１２は、入力ストリームを復号し、（ａ）変換係数、（ｂ）動きベクトルと基準フレームインデックス、及び（ｃ）制御データを生成する。スケーリング／逆変換段階１４は、予測エラーを再生成するため、逆変換及びスケーリングのための変換係数を受信する。この予測エラーは、エンコーダのオリジナル画像と以前に送信されたデータに基づきデコーダにより取得可能な推定画像との間の差を反映している。スケーリング／逆変換段階１４により生成される予測エラーは、インターまたはイントラ予測により取得される推定画像との加算に対し加算ブロック１８にわたされる。
【０００５】
インター予測モードにより符号化された入力マクロブロックでは、動き補償段階１６は、入力ビットストリームにより送信された動きベクトルと基準フレームインデックスを含む入力情報とデコーダバッファに以前に格納された対応する基準フレームとから、推定画像を生成するのに利用される。動き補償段階１６からの出力は、再構成された画像を生成するため、スケーリング／逆変換段階１４により生成されるエラー予測と加算する加算ブロック１８にわたされる。加算ブロック１８から出力された再構成された画像の各マクロブロックは、当該マクロブロックが欠落または損傷画素値を有するか検出するエラー隠蔽段階２０にわたされる。当該マクロブロックが欠落または損傷した画素値を有する場合、エラー隠蔽段階２０は、欠落または損傷した画素値の代わりに、推定画素値に置換する。本原理によると、デブロッキングフィルタ２２は、隠蔽された画像に対し実行されるフィルタリングの強度を可変とする調整可能なパラメータを有する。デブロッキングフィルタ２２は、デコーダ１０の出力画像を生成する。この時点において、ビットストリームの基準画像としてマークされたこれらの画像は、動き補償ブロック１６への入力の１つとして用いられるよう基準フレームバッファに格納される。
【０００６】
イントラ予測モードにより符号化された入力マクロブロックでは、イントラ予測段階２４により、符号化された入力ビットストリームに対し送信されたイントラ予測モードに従い推定画像を生成する。このイントラ予測段階２４により生成された推定画像は、再構成された画像を生成するため、スケーリング／逆変換段階１４により生成されたエラー予測と加算する加算ブロック１８にわたされる。加算ブロックにより出力される各イントラ予測マクロブロックと同様に、加算ブロック１８により出力された各インター予測マクロブロックは、エラー隠蔽段階２０においてエラー隠蔽され、デブロッキングフィルタ２２によりデブロッキングされる。
【０００７】
図２は、エラー隠蔽から生じる遷移に対し最大フィルタリングを実現するため、デブロッキングフィルタ２２のパラメータを調整し、エラー隠蔽を実現する図１のデコーダ１０のエラー隠蔽段階２０により行われるステップをフローチャートにより示す。エラー隠蔽段階２０は、図２のステップ１００において、図１の加算ブロック１８から受け取った連続する各入力マクロブロックに対してエラー検出を実行することにより、エラー隠蔽を開始する。ステップ１２０においてエラーを検出しなければ、エラー隠蔽段階はエラー隠蔽プロセスを終了し（図２のステップ１２５）、訂正することなく、受信したマクロブロックをデブロッキングフィルタ２２に出力する。受信したマクロブロックにエラー隠蔽を実行しない場合、エラー隠蔽段階は、図１のデブロッキングフィルタ２２のパラメータを調節しない。
【０００８】
ステップ１２０において判断されるように、エラーが存在する場合、図１のエラー隠蔽段階２０は、図２のステップ１４０において、図１の加算ブロック１８から受信したマクロブロックがイントラ符号化されているか判断する。エラーを有するイントラ符号化ブロックは、ステップ１６０において空間エラー隠蔽を実行し、インター符号化ブロックはステップ１８０において時間隠蔽を行う。
【０００９】
空間エラー隠蔽には様々な手法が存在する。
・ブロックコピー（ＢＣ）
このアプローチによると、欠落／損傷したマクロブロックの置換が、それの正確に復号化された近隣の１つから取得される。
・画素領域補間（ＰＤＩ）
欠落／損傷したマクロブロックデータが、正確に復号化された近隣の境界における画素値から補間される。ＰＤＩを実現するのに２つのアプローチが存在する。例えば、あるマクロブロックの内部のすべての画素は、共通の平均値に補間することが可能である。あるいは、マクロブロック境界との画素距離に基づき、加重予測により各画素値が取得される。
・多方向補間（ＭＤＩ）
多方向補間技術は、エッジ方向の補間を提供するため、ＰＤＩ技術の改良版である。ＭＤＩの実現には、方向補間前に欠落／損傷した画素値の近隣の主輪郭の方向を推定することが求められる。
・最大スムース復元（ＭＳＲ）
離散コサイン変換（ＤＣＴ）領域では、低周波数要素がエラー隠蔽に利用され、画素とのスムースな結合を提供する。データ分割符号化が利用されるとき、損傷したマクロブロック／ブロック内部のすべてのデータを破棄する代わりに、ＭＳＲ技術は正確に受信したＤＣＴ係数を利用する。
・凸集合上の投影（ＰＯＣＳ）
当該技術によると、欠落／損傷した画素値を有するマクロブロックを包囲するより大きな領域の分類に基づき、適応的フィルタリングが高速フーリエ変換（ＦＦＴ）領域において実行される。このような適応的フィルタリングは、シャープ領域上のエッジフィルタを適用する一方、スムース領域に対するローパスフィルタリングが適用される。この手続きはフィルタリングの繰り返しを含むものであり、いくつかの事前的制約が処理画像に適用される。
【００１０】
上記技術に加えて、空間エラー隠蔽が以下のように効果的に実現することができる。特定された各マクロブロックに対し、少なくとも１つのイントラ予測モードが近隣マクロブロックから導出される。画像がＩＳＯ／ＩＴＵ  Ｈ．２６４映像圧縮規格に従い符号化されると、各マクロブロックの符号化に対し、（１）Ｉｎｔｒａ＿１６×１６タイプには、単一のイントラ予測モードがマクロブロック全体に導出され、（２）Ｉｎｔｒａ＿４×４タイプには、イントラ予測モードがマクロブロック内の４×４の画素の各サブマクロブロックに導出される、という２つのイントラ符号化タイプが利用可能である（この場合、符号化された各マクロブロックに１６のイントラ予測モードが存在する）。その後、導出されたイントラ予測モードが、欠落した画素値を生成するのに適用される。導出されたイントラ予測モードが欠落または損傷した画素値を推定するのに適用されるプロセスは、符号化作業を減少させるのに非符号化値を推定（予測）ため、復号化中に利用される導出プロセスに対応する。言い換えると、本技術は、空間エラー隠蔽のために符号化において通常用いられるイントラ予測モード情報を利用する。あるマクロブロックを参照する符号化データが損失または損傷しているとき、近隣のマクロブロックから導出されたイントラ予測モードが空間エラー隠蔽に対する最善の補間方向に関する重要な情報を提供することができる。空間エラー隠蔽にこのようなイントラ予測モードを利用することにより、同様の複雑さを有する従来の空間エラー隠蔽技術と比較して、かなり良好なパフォーマンスを実現することができる。
【００１１】
空間エラー隠蔽と対照的に、時間隠蔽は欠落した画素値を以前に送信したマクロブロックから推定するため、符号化された動き情報、すなわち、基準画像インデックスと動きベクトルの復元を試みる。同一のマクロブロックからの予測エラーの復元は、冗長性なく符号化される。空間隠蔽と異なり、時間隠蔽の基本は公開されているアルゴリズムのほとんどにおいて同一である。１以上の基準フレームの欠落したマクロブロックの欠落した動きベクトルを検索することは大きな計算量を要するため、典型的には、限定された候補群のみが考慮される。考慮される可能な動きベクトルは以下を含む。
・ゼロモーション：損失したブロックが２つの連続するフレーム間においてその位置を変位していないと仮定し、前のフレーム上の連結したブロックを単にコピーすることにより時間隠蔽を実行する。
・グローバルモーション：損失したブロックにはグローバルモーションが行われ、カメラ動きパラメータを推定することにより、ほとんどの場合に正確に近似されると仮定する。
・ローカルモーション：空間的に隣接したブロックの動きは高く相関すると仮定し、欠落したブロックの動きはそれの近隣に関して利用可能なローカル動き情報から復元することが可能である。
【００１２】
ステップ１６０の空間エラー隠蔽あるいはステップ１８０の時間隠蔽に従って、図１のエラー隠蔽段階２０は、損失したマクロブロックの復元により人工的に生成された遷移に対する最大強度フィルタリングを強制するため、図１のデブロッキングフィルタ２２のパラメータを調整する。Ｈ．２６４規格により規定されるように、デブロッキングフィルタ２２の強度は、４×４画素のブロック間の各エッジの特性に適応する。この適応化は以下のパラメータに応じて実行される。
・デコーダ１０において計算される境界強度（Ｂｓ）
・デブロッキングフィルタ２２による影響を受けるブロックペア間のデコーダ１０において計算される量子化パラメータ（ＱＰ）平均
・スライスヘッダにおいて送信されるフィルタオフセットＡとＢ
境界強度は０〜４の値をとり、２つの４×４画素ブロック間のエッジに適用されるフィルタリングの強度を指定するものである。Ｂｓ＝０のとき、当該エッジはフィルタリングされない。Ｂｓ＝４のとき、当該エッジは最も高いフィルタ強度によりスムージングされる。その他のパラメータ、すなわち、ＱＰ平均とフィルタオフセットＡとＢは、人工的遷移と実際の輪郭を区別する閾値を決定するのに一緒に利用される。これらのパラメータが大きな値をとることにより、フィルタリングされた遷移数が増える。
【００１３】
本原理によると、選択されたエラー隠蔽アルゴリズムは境界強度を変化させたり、あるいは計算後に所望の境界強度を返す入力パラメータの何れかを変化させる。強度の変更は、隠蔽されたブロックペア間のエッジ及び／または隠蔽されたブロックと正確に受信されたブロックとの間のエッジに対して実行することができる。最終的には、デブロッキングフィルタの強度をどの値まで増やすことが適当かということは、エラー隠蔽に対し選択された技術に依存する。
【００１４】
例示的な実施例では、（４）の最大境界強度が隠蔽されたブロックペア間のエッジに対し独立に選択された。エラー隠蔽技術はまた、ブロックペア間のＱＰ平均の値及び／または損傷したスライスのヘッダにおいて送信されたオフセット値を変更することが可能である。ＱＰ平均値の変更は、フィルタリングされた遷移の遷移数を増やすであろう。例示された実施例では、すべてのパラメータがそれらの最大値、すなわち、ＱＰ平均には５１、オフセットＡとＢには６に強制される。
【００１５】
以上、Ｈ．２６４に準拠したデコーダにおけるエラー隠蔽を実現し、実行されたエラー隠蔽のタイプに従ってデブロッキング強度を変更する技術が説明された。
【図面の簡単な説明】
【００１６】
【図１】図１は、本原理によるエラー隠蔽を提供するデコーダのブロック図を示す。
【図２】図２は、エラー隠蔽を実行するため図１のデコーダにより処理されるプロセスのフローチャートを示す。
【図１】
2006513633.tif 000003
【図２】
2006513633.tif 000004
【国際調査報告】
2006513633.tif 000005