(57)【要約】ビデオ処理システムは、複雑さ低減システムを有するデコーダと、デコーダの出力を処理する後処理システムを有し、後処理システムは、フレーム間の滑らかな視覚的移行を達成するようグループ・オブ・ピクチャ（ＧＯＰ）における一組のフレームを意図的にぼやけさせるフィルタを有する。
2005528856.tif 000002
【特許請求の範囲】
【請求項１】
複雑さ低減システムを有するデコーダと、
前記デコーダの出力を処理する後処理システムと、
を有するビデオ処理システムであって、
前記後処理システムは、フレーム間の滑らかな視覚的移行を達成するようグループ・オブ・ピクチャ（ＧＯＰ）における一組のフレームを意図的にぼやけさせるフィルタを有するシステム。
【請求項２】
前記複雑さ低減システムは、グレースフル・デグラデーションシステムを有する請求項１記載のビデオ処理システム。
【請求項３】
前記複雑さ低減システムは、埋め込みリサイジングシステムを有する請求項１記載のビデオ処理システム。
【請求項４】
前記後処理システムは、
前記後処理システムの複雑さをリソース使用量内に維持し、前記フィルタのカットオフ周波数を計算する制御器と、
前記フィルタによってぼやけさせられる前記ＧＯＰ内の前記一組のフレームを選択するフレーム選択器と、
を更に有する請求項１記載のビデオ処理システム。
【請求項５】
前記制御器は、式：Ｎ＝ｒ／（ｐ・ｆ・ｋ）に応じて、所与のリソース制約ｒに対して前記制御器が処理可能なフレーム数Ｎを計算し、ただし、ｐは、画像サイズであり、ｆは、フィルタ長であり、ｋは、フィルタ係数当たりの画素当たりに必要な計算リソースを表す定数である請求項４記載のビデオ処理システム。
【請求項６】
前記制御器は、式：Ｃ＝Ｃ０−（Ｓ・Ｎｒ）を用いて前記カットオフ周波数Ｃを推定し、
ただし、Ｃ０は、定数であり、Ｓは、前記ＧＯＰにおける第１のＩフレームのシャープネスを測定し、Ｎｒは、前記ＧＯＰにおける基準フレームの数である請求項４記載のビデオ処理システム。
【請求項７】
ぼやけさせるよう前記フレーム選択器によって選択される前記一組のフレームは、前記ＧＯＰにおける最初のＮ個のフレームを有する請求項５記載のビデオ処理システム。
【請求項８】
前記フィルタは、動的に生成される請求項４記載のビデオ処理システム。
【請求項９】
前記フィルタは、予め計算されたルックアップテーブルを有する請求項４記載のビデオ処理システム。
【請求項１０】
複雑さ低減されたビデオシーケンスにおける予測ずれを排除する方法であって、
利用可能な後処理リソースの量を決定する段階と、
前記利用可能なリソースに応じて処理可能な前記ビデオシーケンスにおけるフレーム数を決定する段階と、
前記ビデオシーケンスにおいて処理する一組のフレームを選択する段階と、
前記一組の選択されたフレームをフィルタリングする段階と、
を有し、
前記フィルタリングは、フレーム間の滑らかな視覚的移行を達成するよう前記一組のフレームをぼやけさせる方法。
【請求項１１】
前記フィルタリング段階の前に、前記ビデオシーケンスについてフィルタのカットオフ周波数を計算する更なる段階を有する請求項１０記載の方法。
【請求項１２】
前記カットオフ周波数Ｃは、式：Ｃ＝Ｃ０−（Ｓ・Ｎｒ）を用いて計算され、ただし、Ｃ０は、定数であり、Ｓは、前記ＧＯＰにおける第１のＩフレームのシャープネスを測定し、Ｎｒは、前記ＧＯＰにおける基準フレームの数である請求項１１記載の方法。
【請求項１３】
前記シャープネスＳは、前記ＧＯＰにおける前記第１のＩフレームの複数のＤＣＴブロックのそれぞれにおける非ゼロの離散コサイン変換（ＤＣＴ）係数の配置に基づいて計算される請求項１２記載の方法。
【請求項１４】
所与のリソース制限ｒに基づいて処理可能なビデオフレームの数Ｎは、式：Ｎ＝ｒ／（ｐ・ｆ・ｋ）によって計算され、ただし、ｐは、画像サイズであり、ｆは、フィルタ長であり、ｋは、フィルタ係数当たりの画素当たりに必要な計算リソースを表す定数である請求項１０記載の方法。
【請求項１５】
ぼやけさせるよう選択される前記一組のフレームは、前記ビデオシーケンスにおける最初のＮ個のフレームを有する請求項１４記載の方法。
【請求項１６】
複雑さ低減されたビデオシーケンスにおける予測ずれを排除する後処理システムであって、
利用可能な後処理リソースの量を受信し、前記利用可能なリソースに応じて処理可能な前記ビデオシーケンスにおけるフレーム数を決定する制御器と、
前記ビデオシーケンスにおける処理する一組のフレームを選択するフレーム選択器と、
前記一組のフレームをフィルタリングするフィルタと、
を有し、
前記フィルタリングは、フレーム間の滑らかな視覚的移行を達成するよう前記一組のフレームをぼやけさせるシステム。
【請求項１７】
前記制御器は、前記ビデオシーケンスについて前記フィルタのカットオフ周波数を計算する請求項１６記載の後処理システム。
【請求項１８】
前記カットオフ周波数Ｃは、式：Ｃ＝Ｃ０−（Ｓ・Ｎｒ）を用いて計算され、ただし、Ｃ０は、定数であり、Ｓは、前記ＧＯＰにおける第１のＩフレームのシャープネスを測定し、Ｎｒは、前記ＧＯＰにおける基準フレームの数である、請求項１７記載の後処理システム。
【請求項１９】
前記シャープネスＳは、前記ＧＯＰにおける前記第１のＩフレームの複数のＤＣＴブロックのそれぞれにおける非ゼロの離散コサイン変換（ＤＣＴ）係数の配置に基づいて計算される請求項１８記載の後処理システム。
【請求項２０】
前記制御器は、式：Ｎ＝ｒ／（ｐ・ｆ・ｋ）に応じて、所与のリソース制限ｒに基づいて処理可能なビデオフレームの数Ｎを計算し、ただし、ｐは、画像サイズであり、ｆは、フィルタ長であり、ｋは、フィルタ係数当たりの画素当たりに必要な計算リソースを表す定数である請求項１６記載の後処理システム。
【請求項２１】
前記フレーム選択器によってぼやけさせるよう選択される前記一組のフレームは、前記ビデオシーケンスにおける最初のＮ個のフレームを有する請求項２０記載の後処理システム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、一般的に、複雑さ低減システムを有するビデオデコーダに関わり、より具体的には、複雑さ低減によって引き起こされるビデオシャープネスのパルシングを低減する後処理システム及び方法に係る。
【背景技術】
【０００２】
機能の豊富なビデオ処理アプリケーションに対する需要が増加し続けるに従って、そのようなアプリケーションに関連付けられる計算リソースを管理する必要が現在の課題となっている。ビデオリソースを管理するシステムの１つの例は、複雑さが低減された復号化システムである。このようなシステムでは、デコーダ複雑さは、インループ（in-loop）処理技法を用いてかなり低減することが可能である。例えば、良好に設計された離散コサイン変換（ＤＣＴ）マスキングは、逆ＤＣＴ（ＩＤＣＴ）処理を単純化することができ、それにより、グレースフル・デグラデーションされたビデオ品質をもたらし、また、復号化複雑さを低減する。
【０００３】
更に、復号化ループ内にスケーリング機能を盛り込むスキームである埋め込みされたリサイジングは、低減された分解能のＩＤＣＴ及び動き補償から複雑さ及びメモリの節約を達成する。現在の複雑さ低減システムは、最も標準的なシーンシーケンスに対し十分なビデオ品質を供給しながら、ＣＰＵサイクルを３０％低減することができる。
【０００４】
周知であるように、複雑さ低減に対するトレードオフは、復号化ループ内へのデコーダエラーの導入である。特に、エラーは、次のフレーム内符号化、即ち、「Ｉ」フレームまで動き補償を介して伝播してしまう。その結果、ビデオ品質は、通常、グループ・オブ・ピクチャ（ＧＯＰ）内で次第に劣化し、結果として、予測のずれがもたらされる。
【０００５】
最も一般的な劣化は、シャープネスの損失であるので、典型的な予測ずれは、ビデオシャープネスのパルシングとして、即ち、幾つかの次第にぼやける画像の後にシャープな画像が続くことが定期的に発生することが視聴者によって見られる。予測に寄与する画像に対する保護を与えるフレームタイプ依存型処理といったような一部の技法は、予測ずれを低減することに役立つが、この技法は、ずれの問題を排除することはできない。予測パス内にエラーがある限り、予測ずれはある。
【発明の開示】
【発明が解決しようとする課題】
【０００６】
従って、複雑さが低減された復号化システムにおいて予測ずれに対処するために改善された技法が必要である。
【課題を解決するための手段】
【０００７】
本発明は、フレームからフレームに滑らかな品質移行を達成するようビデオシーケンスにおける画像を意図的にぼやけさせる複雑さ低減デコーダのための後処理システム及び方法を提供することによって、上述した問題及び他の問題に対処する。第１の面において、本発明は、複雑さ低減システムを有するデコーダと、そのデコーダの出力を処理する後処理システムを有し、後処理システムは、フレーム間の滑らかな視覚的移行を達成するようグループ・オブ・ピクチャ（ＧＯＰ）における一組のフレームを意図的にぼやけさせるフィルタを有するビデオ処理システムを提供する。
【０００８】
第２の面では、本発明は、複雑さ低減されたビデオシーケンスにおける予測ずれを排除する方法において、利用可能な後処理リソースの量を決定する段階と、その利用可能なリソースに応じて処理可能なビデオシーケンスにおけるフレーム数を決定する段階と、そのビデオシーケンスにおいて処理する一組のフレームを選択する段階と、一組の選択されたフレームをフィルタリングする段階を有し、フィルタリングは、フレーム間の滑らかな視覚的移行を達成するよう一組のフレームをぼやけさせる方法を提供する。
【０００９】
第３の面では、本発明は、複雑さ低減されたビデオシーケンスにおける予測ずれを排除する後処理システムにおいて、利用可能な後処理リソースの量を受信し、利用可能なリソースに応じて処理可能なビデオシーケンスにおけるフレーム数を決定する制御器と、ビデオシーケンスにおける処理するための一組のフレームを選択するフレーム選択器と、一組のフレームをフィルタリングするフィルタを有し、フィルタリングは、フレーム間の滑らかな視覚的移行を達成するよう一組のフレームをぼやけさせるシステムを提供する。
【発明を実施するための最良の形態】
【００１０】
本発明のこれらの及び他の特徴は、添付図面と共に本発明の様々な面の以下の詳細な説明から容易に理解することができるであろう。
【００１１】
図面を参照するに、図１は、複雑さ低減を与えることのできるＭＰＥＧ復号化システム１０を示す。具体的には、復号化システム１０は、入力ビットストリーム１４を復号化するために必要な計算上の複雑さを低減することのできる埋め込みされたリサイジングシステム１２を有する。尚、この復号化システム１０は、例示目的のみに示しており、他のタイプのＤＣＴ／動き推定に基づいた復号化システム（例えば、Ｈ．２６ｘファミリーデコーダ）及び／又は複雑さ低減システム（例えば、グレースフル・デグラデーションシステムシステム）も用いることができる。
【００１２】
上述したように、複雑さ低減のトレードオフは、予測ずれを結果としてもたらす復号化ループにおけるデコーダエラーの導入であることが知られている。本発明は、予測ずれの発生を阻止することによってではなく、むしろ、予測ずれで復号化されたシーケンスを視聴者にとって主観的に良好に見えるようにする後処理システムを与えることによって、上述の問題に対処する。
【００１３】
人間の視覚系は、しばしば、ぼやけた画像と後続のシャープな画像との間のコントラストであり、ぼやけた画像自体よりも視覚的に不快にさせる連続フレーム間のビデオ品質の急激な変化に敏感である。本発明は、ぼやけた画像の直後に続く１つ以上のシャープな画像を意図的にぼやけさせ、それにより、フレームからフレームに、また、ＧＯＰからＧＯＰに滑らかな品質移行があるようにすることによってこのことに対処する。
【００１４】
図２を参照するに、ビデオ処理システム２１は、ＭＰＥＧデコーダ１０及び後処理システム２０を有する。後処理システム２０は、ＭＰＥＧデコーダ１０からのフレーム及びブロック情報４０と、利用可能な後処理リソース３８を受信する制御器２４と、ＭＰＥＧデコーダ１０からビデオ２８を、制御器２４からデータを受信するフレーム選択器２６と、フレーム選択器２６から一組の選択されたフレーム３２を、制御器２４からデータを受信する低域通過フィルタ２２を有する。後処理システム２０の出力は、フィルタリングされた選択されたフレーム３２と低域通過フィルタ２２によってフィルタリングされていない非選択のフレーム３４を有するディスプレイ用のビデオシーケンス３６である。低域通過フィルタ２２は、画像をぼやけさせるために意図的に画像から高周波素子を除去する。
【００１５】
制御器２４は、２つの主な機能を有する。第１は、後処理システム２０は計算リソースを必要とするので、制御器２４は、後処理システム２０の計算上の複雑さを割当てられたリソース使用量内に維持することを担う。即ち、制御器２４は、利用可能な後処理リソース３８の量を超えることなく所与の時間間隔において処理可能なフレームの数を決定しなければならない。このことを達成する１つの例示的な方法は以下の通りである。低域通過フィルタ２２のフィルタリング複雑さが、画像サイズ「ｐ」とフィルタ長「ｆ」に正比例すると仮定すると、制御器２４は、以下の式によって、リソース使用量「ｒ」において制御器が処理可能なフレーム数Ｎを計算することができる：Ｎ＝ｒ／（ｐ・ｆ・ｋ）。ただし、ｋは、フィルタ係数当たりの画素当たりに必要な計算リソースを表す定数である。従って、（ｐ・ｆ・ｋ）は、１つのフレームをフィルタリングするのに必要な平均の複雑さを表す。
【００１６】
従って、例えば、利用可能なリソースが、毎秒１００万のサイクルであり、画像サイズは、１万画素であり、フィルタ長は４であり、ｋは１として選択される場合、システムは、毎秒２５フレームを処理可能である。一度計算されると、制御器２４は、この情報を、フレーム選択器２６及び／又は低域通過フィルタ２２に伝えることが可能である。
【００１７】
処理するフレーム数Ｎを決定することに加えて、制御器２４は、更に、低域通過フィルタ２２用のカットオフ周波数も決定しなければならない。カットオフ周波数は、シャープな画像をぼやけさせるためには十分に低いが、復号化処理によって既にぼやけている画像はぼやけさせないよう十分に高く選択されるべきである。１つの例示的な実施例では、カットオフ周波数は、以下のように選択される。
【００１８】
埋め込みされたリサイジングを有するＭＰＥＧ復号化では、シャープネスの損失の主な原因は、低減された解像度の基準フレームからの補間によることが認識されている。基準画像がシャープであるほど、補間によってより大きいシャープネス損失となる。更に、ＧＯＰ内に基準フレームが多いほど、ＧＯＰの終わりにおいてシャープネス損失がより多く蓄積される。従って、所望のカットオフ周波数Ｃは、以下のように推定されることが可能である：Ｃ＝Ｃ０−（Ｓ・Ｎｒ）。ただし、Ｃ０は、定数であり、Ｓは、ＧＯＰにおける第１のＩフレームのシャープネスを測定し、Ｎｒは、ＧＯＰ内の基準フレームの数である。従って、第１のＩフレームのシャープネス及び／又は基準フレームの画像が増加するに応じて、カットオフ周波数は低くなる。
【００１９】
上述した式を実施するために、最初のＩフレームのシャープネスを測定するシステムが設けられ得る。１つの例示的な実施例では、シャープネスは、ＤＣＴブロックの非ゼロ係数を試験することによって測定され得る。例えば、シャープネス「Ｓ」は、ＤＣＴブロックの非ゼロ係数を含む最大の「非ゼロ矩形」の平均長さ及び幅を有し得る。この実施は、図３を参照してより詳細に説明する。
【００２０】
図３は、ゼロ（白）係数及び非ゼロ（黒）係数を有する例示的な８×８ＤＣＴブロック３０を示す。非ゼロ係数のそれぞれを含むことのできる最も小さい矩形は、６×８の矩形３１（太線で示す）、即ち、Ｗ＝８及び高さＨ＝６の矩形である。フレーム内に１０００個のそのようなＤＣＴブロックがあると仮定すると、１０００個の「Ｗ」の値と、１０００個の「Ｈ」の値が得られる（各ブロックに対して１つのＷ値と１つのＨ値）。１０００個のＷ値の平均値（即ち、Ｗ’）と１０００個のＨ値の平均値（即ち、Ｈ’）が別々に計算され、それにより、そのフレームについての平均非ゼロ矩形（例えば、Ｗ’＝７．３２×Ｈ’＝６．０４）を得ることができる。平均非ゼロ矩形は、フレームのシャープネスを測定するために用いることが可能である。従って、所与のフレームに対して、各方向（即ち、Ｗ’を用いた水平方向、及び、Ｈ’を用いた垂直方向）におけるカットオフ周波数が、シャープネスを測定するのに用いられるよう利用可能である。同様に、フィルタ設計段階でも、１つのフィルタは、水平カットオフ周波数を用いる水平フィルタリングのために設計され、１つのフィルタは、垂直カットオフ周波数を用いる垂直フィルタリングのために設計される。
【００２１】
埋め込みされたリサイジングが関連するＭＰＥＧ復号化については、ＤＣＴブロックは、低減された分解能（例えば、４×４）であり得ることに注目されたい。リサイジングの場合、シャープネスＳは、低減された分解能のＤＣＴブロック内の平均非ゼロ矩形を有し得る。
【００２２】
フレーム選択器２６は、ぼやけさせる必要のあるＮ個のフレームを選択する。画像シャープネスは通常、ＧＯＰの終わりに向かって低下するので、フレーム選択器２６は、ＧＯＰのうちの最初のＮ個のフレームを選択するよう設計されることが可能である。選択されたフレームは、低域通過フィルタ２２に渡され、この低域通過フィルタは、これらのフレームをぼやけさせ、ぼやけさせたフレームをディスプレイ３６に転送する。選択されなかったフレーム（即ち、非選択フレーム３４）は、低域通過フィルタ２２を迂回し、フィルタリング無しで表示される。
【００２３】
低域通過フィルタ２２は、任意の既知の方法で実施可能である。例えば、所望のカットオフ周波数Ｃが与えられるに、低域通過フィルタ２２は、動的に生成されるか、又は、予め計算されたルックアップテーブルから得られる。例えば、３次スプライン及びカイザー窓設計といった既知のフィルタ設計方法を用いて、フィルタ係数を生成し得る。低域通過フィルタリング動作は、汎用媒体目的媒体プロセッサを有するハードウェアコプロセッサにおいて実行されることが可能である。このようなコプロセッサが利用可能でない場合、フィルタリングは、媒体プロセッサのＣＰＵコアによって実施されることが可能である。本願に記載したシステム、機能、メカニズム、方法、及びモジュールは、ハードウェア、ソフトウェア、又は、ハードウェア及びソフトウェアの組合せにおいて実施可能であることを理解するものとする。これらは、任意のタイプのコンピュータシステム、又は、本願に記載した方法を実行するよう適応される他の装置に実装され得る。ハードウェア及びソフトウェアの一般的な組合せは、ロードされて実行されると、本願に記載した方法を実行するようコンピュータシステムを制御するコンピュータプログラムを有する汎用コンピュータシステムであり得る。或いは、本発明の１つ以上の機能的タスクを実行するための特殊化されたハードウェアを有する特殊用途コンピュータを用いても良い。本発明は、本願に記載した方法及び機能の実施を可能にする全ての特徴を有し、コンピュータシステムにロードされると、これらの方法及び機能を実行することが可能であるコンピュータプログラムプロダクト内に埋め込まれることも可能である。本願のコンテキストにおいて、コンピュータプログラム、ソフトウェアプログラム、プログラム、プログラムプロダクト、又はソフトウェアは、情報処理機能を有するシステムに、特定の機能を、直ちに、又は、以下の（ａ）別の言語、コード、又は表記法への変換、及び／又は（ｂ）異なる材料形態での複製のいずれか又は両方の後に、行わせるための一組の命令の任意の言語、コード、又は表記法における任意の表現を意味する。
【００２４】
上述の本発明の好適な実施例の説明は、例示及び説明目的のために提示したものである。これらは、網羅的である又は本発明を開示された形態に制限することを意図するものではなく、明らかに多くの変更及び変形が、上述の教示内容に鑑みて可能である。このような当業者には明らかである変更及び変形は、本願の特許請求の範囲に含まれることを意図する。
【図面の簡単な説明】
【００２５】
【図１】本発明の複雑さスケーラブルデコーダシステムを示す図である。
【図２】本発明の後処理システムを有するＭＰＥＧ復号化システムを示す図である。
【図３】本発明のフレームシャープネススキームを示す図である。
【図１】
2005528856.tif 000003
【図２】
2005528856.tif 000004
【図３】
2005528856.tif 000005
【国際調査報告】
2005528856.tif 000006
2005528856.tif 000007
2005528856.tif 000008
2005528856.tif 000009