(57)【要約】      （修正有）【課題】画像シーケンスを表すビデオ信号のノイズレベルを評価する装置及び方法を提供する。【解決手段】装置は、動き補償補間手段２と、動き補償補間手段２によって動き補償された再帰型フィルタの出力ｒ（ｘ，ｙ，ｔ）を第１の入力で受信し、第２の入力でビデオ信号１０を受信する再帰型フィルタ１と、ビデオ信号１０と、前記動き補償補間手段２によって動き補償された前記再帰型フィルタ１の出力ｒ（ｘ，ｙ，ｔ）との差分を計算する計算手段９とを有する。装置は、前記差分とこの差分の範囲を定める最大閾値Ｓｃとに従ってビデオ信号１０のノイズレベルσを評価する手段４を有する。事前ビデオ圧縮ノイズ低減装置への適用。【選択図】図１
2005130494.tif 000002
【特許請求の範囲】
【請求項１】
画像シーケンスを表すビデオ信号のノイズレベルを評価する装置であって、
動き補償補間手段（２）と、
前記動き補償補間手段（２）によって動き補償された再帰型フィルタの出力（ｒ（ｘ，ｙ，ｔ））を第１の入力で受信し、第２の入力で前記ビデオ信号（１０）を受信する再帰型フィルタ（１）と、
前記ビデオ信号（１０）と、前記動き補償補間手段（２）によって動き補償された前記再帰型フィルタ（１）の前記出力（ｒ（ｘ，ｙ，ｔ））との差分を計算する計算手段（９）と、
を有する装置において、
前記差分とこの差分の範囲を定める最大閾値（Ｓｃ）とに従って前記ビデオ信号（１０）のノイズレベル（σ）を評価する手段（４）を有することを特徴とする装置。
【請求項２】
前記ノイズレベルを評価する手段は、前記ビデオ信号（１０）における画像の各ピクセル毎に、前記ピクセル値と動き補償された再帰型フィルタリング後の前記ピクセル値との差分を前記閾値と比較する手段（４）を有することを特徴とする請求項１に記載の装置。
【請求項３】
画像中心の多数のピクセルから成る作業ウィンドウを各画像毎に決定する手段（５）と、
ピクセル値と動き補償された再帰型フィルタリング後のピクセル値との差分が前記閾値未満である前記作業ウィンドウにおいて、各ピクセル毎に前記差分を累算する手段（６）と、
前に累算された前記差分を累算された差分の数で割ることによって平均ノイズレベル（σａｖｇ）を計算する手段（７）と、
を有する請求項１又は２に記載の装置。
【請求項４】
各画像の画像間及びフレーム内相関を測定する手段と、
前記平均ノイズレベル（σａｖｇ）と、前記画像間及びフレーム内相関とに従って、各フレーム毎に全体的なノイズレベルを計算する手段（８ａ）と、
前記フレームの前記全体的なノイズレベル（σｇｌｏｂ）と前記ピクセルの輝度（輝度閾値）とに従って、前記フレームの各ピクセル毎に局所的ノイズレベルを計算する手段（８ｂ）と、
を有することを特徴とする請求項３に記載の装置。
【請求項５】
前記閾値（Ｓｃ）は、前記再帰型フィルタ（１）のフィルタリングパラメータに関連することを特徴とする請求項１から４に記載の装置。
【請求項６】
画像シーケンスを表すビデオ信号のノイズレベルを評価する方法であって
、
動き補償補間ステップと、
再帰型フィルタの第１の入力で、補間手段によって動き補償された前記再帰型フィルタの出力を受信し、前記再帰型フィルタの第２の入力で前記ビデオ信号を受信する再帰型フィルタリングステップと、
前記ビデオ信号と、前記補間手段によって動き補償された前記再帰型フィルタの出力との差分の計算ステップと、
を有する方法において、
前記差分とこの差分を定める最大閾値とに従って前記ビデオ信号のノイズレベルを評価するステップを有することを特徴とする方法。
【請求項７】
請求項１から６に記載のノイズレベル評価装置を有するビデオ信号のノイズを低減する装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、ビデオ信号のノイズレベルを評価する装置及び方法に関し、並びにそのような装置を含むノイズ低減システム及び符号化システムに関する。
【背景技術】
【０００２】
ノイズの低減は、事前符号化ビデオ前処理において重要な要素である。それは、再帰型の時間領域フィルタリングに基づいており、その再帰率は、処理されるべき画像シーケンスのノイズレベルに応じて調整される。
【０００３】
従って、入力画像シーケンスに自動的に適応するフィルタリングシステムを得るために、ノイズレベルの評価が重要となる。
【０００４】
既知の方法において、動きが全くない状態では、時間ランダム特性のため、ノイズは２つの連続画像間のピクセル毎の差分を確定することによって検出することができる。画像におけるその差分の平均が、ノイズレベルの表示を構成する。
【０００５】
動きがある時には、ノイズレベルは、現在の画像と、動き推定器によって提供されたベクトル領域を用いて現在の画像に合うように再構成された前の画像との差分を計算することによって評価される。
【０００６】
しかしながら、そのような方法には、多くの欠点がある。
・画像シーケンスには動きがあるので、動きベクトルが推定エラーを起こし、低品質な画像の再構成を誘発し、ノイズレベルを多く評価してしまう。
・動きベクトル及びそれ故画像間の差分（移動したフレームの差分ＤＦＤ）には、画像の全周辺部にむらがあり、ノイズレベルの評価を誤ってしまう。
・ノイズレベルの評価は、ノイズのランダム特性に基づいており、それは常に信頼できるものではない。
【発明の開示】
【発明が解決しようとする課題】
【０００７】
本発明は、上記で説明した欠点を大幅に少なくすることによって、ソース画像と、１画像分遅延され且つノイズの優れた評価を得るために動き補償されたフィルタリング画像とのピクセル毎の差分を使用するローバストなノイズ評価装置に関する。
【課題を解決するための手段】
【０００８】
この目的のために、本発明は、画像シーケンスを表すビデオ信号のノイズレベルを評価する装置であって、
動き補償補間手段と、
動き補償補間手段によって動き補償された再帰型フィルタの出力を第１の入力で受信し、第２の入力でビデオ信号を受信する再帰型フィルタと、
ビデオ信号と、補間手段によって動き補償された再帰型フィルタの出力との差分を計算する計算手段と、
を有する装置を提案する。
【０００９】
本発明によると、装置は、前記差分とこの差分の範囲を定める最大閾値とに従ってビデオ信号のノイズレベルを評価する手段を有する。
【００１０】
この装置は、ビデオシーケンスにおけるノイズレベル評価をローバストにし、関連するノイズ低減器の性能を改善することができる。
【００１１】
好ましくは、ノイズレベルを評価する手段は、ビデオ信号における画像の各ピクセル毎に、前記ピクセル値と動き補償された再帰型フィルタリング後の前記ピクセル値との差分を前記閾値（Ｓｃ）と比較する手段を有する。
【００１２】
これは、ピクセル毎にノイズレベルの評価をより良くすることができ、フレームにぼかしを生成する全体的な評価を避けることができる。
【００１３】
好ましくは、装置は、
画像中心の多数のピクセルから成る作業ウィンドウを各画像毎に決定する手段と、
ピクセル値と動き補償された再帰型フィルタリング後のピクセル値との差分が前記閾値未満である作業ウィンドウにおいて、各ピクセル毎に前記差分を累算する手段と、
前に累算された差分を累算された差分の数で割ることによって平均ノイズレベル（σａｖｇ）を計算する手段とを有する。
【００１４】
そのような作業ウィンドウにより、画像の端周辺の潜在的な動きベクトル演算エラーと無関係にさせることによって、ノイズレベルの評価をより良くすることができる。
【００１５】
好ましい実施形態によると、装置は、
各画像の画像間及びフレーム内相関を測定する手段と、
平均ノイズレベルと、画像間及びフレーム内相関とに従って、各フレーム毎に全体的なノイズレベルを計算する手段と、
前記フレームの全体的なノイズレベルと前記ピクセルの輝度とに従って、前記フレームの各ピクセル毎に局所的ノイズレベルを計算する手段とを有する。
【００１６】
好ましくは、前記閾値は、前記再帰型フィルタのフィルタリングパラメータに関連する。
【００１７】
本発明はまた、画像シーケンスを表すビデオ信号のノイズレベルを評価する方法に関し、
動き補償補間ステップと、
再帰型フィルタの第１の入力で、補間手段によって動き補償された前記再帰型フィルタの出力を受信し、再帰型フィルタの第２の入力でビデオ信号を受信する再帰型フィルタリングステップと、
ビデオ信号と、補間手段によって動き補償された再帰型フィルタの出力との差分の計算ステップとを有する。
【００１８】
本発明によると、該方法は、前記差分とこの差分の範囲を定める最大閾値とに従って、ビデオ信号のノイズレベルを評価するステップを有する。
【００１９】
本発明は、添付の図面を参照して、何ら限定されることのない好ましい実施形態及び実施例を用いてより理解され且つ説明される。
【発明を実施するための最良の形態】
【００２０】
ビデオシーケンス１０  ｅ（ｘ，ｙ，ｔ）のローバストなノイズ評価を得るために、図１に示されているようなノイズ評価装置が利用される。優れたノイズ評価は、ノイズ低減器の性能を大幅に改善するのに利用できる。このために、ノイズ低減器は、再帰型フィルタ１を有する。使用され得る有効な再帰型フィルタの例が図２に示されている。
【００２１】
再帰型フィルタを含むノイズ低減方法は、効果的な操作を得るためにビデオシーケンスの画像の極めて強い時間相関を考慮する。従って、効果的なノイズの低減を遂行するためには、動き及び移動の概念が重要となる。このため、再帰型フィルタ１は動き補償補間手段２につながれている。
【００２２】
入力ビデオシーケンス１０のノイズレベルを評価する装置３は、σで示される評価ノイズレベル１２を再帰型フィルタ１に提供する。
【００２３】
ノイズ評価装置３は、比較手段４を有し、再帰型フィルタ１のフィルタリングの度合いに関連する閾値Ｓｃを入力として受信する。
【００２４】
例えば、５ポジションフィルタリング調整カーソル（カーソルポジション，cursor_position）があると仮定すると、Ｓｃは以下の値となる。
Ｓｃ＝１６＋カーソルポジション，１６は任意の設定値である。
【００２５】
比較手段４はまた、差分器９の出力を入力として受信する。差分器９は、入力ビデオ信号１０と動き補償されたフィルタリング出力１１ｒ（ｘ，ｙ，ｔ）との差分を計算する。
【００２６】
差分器９は、２つの信号間のピクセル毎の差分を計算する。
【００２７】
比較手段４は、差分器９から受信した差分を閾値Ｓｃと比較する。
【００２８】
ε＝ｅ（ｘ，ｙ，ｔ）−ｒ（ｘ，ｙ，ｔ）＜Ｓｃならば、比較手段４はεを妥当性検査手段５に送信する。
【００２９】
そうでなく、ε＝ｅ（ｘ，ｙ，ｔ）−ｒ（ｘ，ｙ，ｔ）≧Ｓｃならば、比較手段４は値「０」を妥当性検査手段５に送信する。
【００３０】
比較手段４は、このように、排除されるべきノイズに関係のない重大な値エラーを排除するために利用される。
【００３１】
妥当性検査手段は、装置のローバスト性を改善するために、画像のウィンドウだけに作用する。ビデオ信号が画像を表すので、動きベクトルは画像の端に位置するピクセルにしばしば欠点を生じさせる。従って、画像の真ん中に位置する画像のウィンドウに作用することは有効であり、端部周辺に位置するピクセルは無視される。
【００３２】
累算モジュール６は、妥当性検査モジュール５が保有する全ての差分を累算する。
【００３３】
モジュール７は、モジュール６によって累算されたその差分の合計（Σaccumulateddifferences）を、累算された差分の数（numberofaccumulateddifferences）で割ることによって評価された平均ノイズレベルσａｖｇを最初に計算する。その結果、Ａｖｇｄｉｆが得られる。
【数１】
2005130494.tif 000003
【００３４】
それから、この得られた第１ノイズレベルは目的の用途に適合し、フィルタリングの度合いに応じて作成される。
【数２】
2005130494.tif 000004
【００３５】
カーソルの値が増加するほど、評価ノイズレベルは増加し、より厳しい再帰型フィルタとなる。
【００３６】
好ましくは、この実施形態において、σａｖｇは、０．５から１５．５の間に制限される。
【００３７】
σａｖｇの値は、フレームに応じて変化するが、１つのフレームから次のフレームへの変動は、＋０．５又はマイナス２に制限される。従って、急激にσａｖｇの値を減らすことはできるが、振動効果を避けるために急激にそれを増やすことは難しい。
【００３８】
その結果、モジュール７は、全体的重み付けモジュール８ａに送信される評価ノイズレベルを出力に生成する。
【００３９】
モジュール７によって生成された平均ノイズレベルσａｖｇを修正するために、モジュール８ａによってそれが重み付けされ、全体的なノイズレベルσｇｌｏｂを生成する。これは、強い動き及び／又は高解像度のビデオ信号に特に有効である。
【００４０】
モジュール８ａは、画像レベルで全体的な重み付けを提供する。
【００４１】
画像間相関（ｃｏｒｒｉｎｔｅｒ）は、現在のフレームＴと前のフレームＴ−２とのピクセル毎の差分の総和をフレーム内のピクセルの数で割ったものに等しい。
【００４２】
フレーム内相関（ｃｏｒｒｉｎｔｒａ）は、フレームの現在の行とフレームの前の行とのピクセル毎の差分の総和をフレーム内のピクセルの数で割ったものに等しい。
【００４３】
従って、σａｖｇは、以下の式に従って、ノイズ低減装置１で現在処理されている画像シーケンス上で測定された画像間及びフレーム内相関に従って重み付けされる。
【数３】
2005130494.tif 000005
【００４４】
係数Ｋは、実例として以下の方法で計算される。
【数４】
2005130494.tif 000006
【００４５】
Ｃｏｒｒの値が２つの閾値Ｓ１とＳ２との間であるならば、Ｋは、値「１」と「２」との間を直線的に変化する。
【００４６】
閾値Ｓ１及びＳ２は、２つの典型的なビデオシーケンスに関連して選択される。
【００４７】
まず、大幅な動きがなく且つ低鮮明度の単純なビデオシーケンス：このシーケンスで計算される「Ｃｏｒｒ」の値がＳ１の値を与える。
【００４８】
次に、強い動きがあり且つ高鮮明度の複雑なビデオシーケンス：このシーケンスで計算される「Ｃｏｒｒ」の値がＳ２の値を与える。
【００４９】
以下の例を考える。
Ｃｏｒｒ＜Ｓ１ならば、Ｋ＝１
Ｃｏｒｒ＞Ｓ２ならば、Ｋ＝２
それにより、
単純なシーケンスに対しては、σｇｌｏｂ＝σａｖｇであり、
複雑なシーケンスに対しては、σｇｌｏｂ＝σａｖｇ／２であり、
これら２つの両極端の間に位置するビデオシーケンスに対しては、σｇｌｏｂ＝「Ｃｏｒｒ」の値によって重み付けされるσｇｌｏｂである。
【００５０】
局所的重み付けモジュール８ｂは、各ピクセル毎に局所的な重み付けを確立するために、σｇｌｏｂ及び輝度閾値を入力として受信する。実際には、低輝度エリアにおいて劣化に対する目の感度が低いという人間の視覚システムの特性を利用することによって、各ピクセルのレベルで局所的にノイズレベルの重み付けを確立することが有効である。
【００５１】
現在のピクセルの輝度値が閾値，輝度閾値未満であるならば、このピクセルに関する評価ノイズレベルは、より高い値に引き上げられる。
【００５２】
実例として、フレームで評価されたノイズレベルσｇｌｏｂは、例えば、前記ピクセルの局所的ノイズレベルσを得るために、各ピクセル毎に１．２５で局所的に重み付けされる。
【００５３】
図２は、図１で述べられたようなノイズ低減装置に使用される例示的な再帰型フィルタを表している。
【００５４】
図２に表されているようなノイズ低減フィルタ１は、動き補償再帰型フィルタリング装置の動き補償に関する欠点を修正するのに用いられる。
【００５５】
そのような装置は、動き補償によるエラーと本当のノイズとを区別するのに使用される。
【００５６】
装置１は、再帰型フィルタリングモジュール１３及びマルチプレクサ２１を有する。
【００５７】
特定のビデオシーケンスに含まれるノイズは、例えばＭＰＥＧ型のビデオ符号器の効率を低下させ、適度な符号率にもかかわらず粗末な表示品質をもたらす。
【００５８】
再帰型フィルタ１３は、好ましくは、ピクセルの配列（order）の粒度を有する。
【００５９】
ビデオ信号１０は画像を表すものであり、特定のピクセル数で構成される。各画像は、インターレースモードで符号化され、２つのフレームで構成される。画像の各ピクセルは、装置１３によってフィルタリングされる。
【００６０】
ビデオ信号１０は、減算器１９の入力で受信される。減算器１９は、その第２の入力でマルチプレクサ２１の出力ｍ（ｘ，ｙ，ｔ）を受信する。
【００６１】
再帰型フィルタ１３は、図１に示されているようなノイズ評価器によって確立されたフレームのフレームノイズレベル１２シグマ（σ）の評価を入力で受信する。
【００６２】
ノイズレベル（σ）は、再帰係数αを計算するのに使用される。
【００６３】
再帰係数αは、フレームにおけるノイズレベルσ、並びに、入力でのビデオ信号ｅ（ｘ，ｙ，ｔ）とマルチプレクサ２１の出力ｍ（ｘ，ｙ，ｔ）との間で計算されたエラー１８又は差分器１９の出力に従って、フィルタリングの効果を重み付けする。
【数５】
2005130494.tif 000007
【００６４】
係数αは、乗算器２０に送信される。
【００６５】
従って、以下が乗算器２０の出力で得られる。
α×ε＝α（ｅ（ｘ，ｙ，ｔ）−ｍ（ｘ，ｙ，ｔ））
【００６６】
加算器１５の出力で、ｆ（ｘ，ｙ，ｔ）が得られ、
ｆ（ｘ，ｙ，ｔ）＝α×ｅ（ｘ，ｙ，ｔ）＋（１−α）×ｍ（ｘ，ｙ，ｔ）である。
【００６７】
その後信号ｆ（ｘ，ｙ，ｔ）は、１フレームの遅延ｆ（ｘ，ｙ，ｔ−１）を経た後に動き補償補間手段２に送信される。補間手段２は、ｆ（ｘ，ｙ，ｔ−１）及び現在のフレームの移動ベクトル（ｄｘ，ｄｙ）から動き補償された出力ｒ（ｘ，ｙ，ｔ）を生成する。
【００６８】
その後動き補償された出力ｒ（ｘ，ｙ，ｔ）は、差分器２２に送信される。差分器２２はまた、ビデオ信号ｅ（ｘ，ｙ，ｔ）を入力として受信する。差分器２２は、信号ｇ（ｘ，ｙ，ｔ）を出力として生成する。
ｇ（ｘ，ｙ，ｔ）＝ｅ（ｘ，ｙ，ｔ）−ｒ（ｘ，ｙ，ｔ）
【００６９】
図２に示されている比較器２３は、ｇ（ｘ，ｙ，ｔ）及びノイズレベル閾値Ｓｅを入力として受信する。
【００７０】
閾値Ｓｅは、本発明によるノイズ低減装置が関連する最終用途によって決まる。それは、ノイズ低減器の効果と、ノイズ低減フィルタ出力のアーティファクトの状況との妥協を示している。
【００７１】
第１の実施形態において、閾値Ｓｅは、フィルタリングの厳しさの程度に直線的に関連している。
【００７２】
例えば、５ポジションフィルタリング調整カーソル（カーソルポジション）があると仮定すると、以下の値がＳｅに割り当てられる。
Ｓｅ＝１６＋カーソルポジション，１６は任意に設定された値である。
【００７３】
第２の実施形態において、Ｓｅは、ノイズレベルσに適応し、各フレーム毎にそれを変化させることができる。
【００７４】
第３の実施形態によると、閾値は、動的に且つ局所的に修正され、処理されている画像の特徴的なエリアに適応する。従って、動きエリアに対しては、アーティファクトのリスクは増加し、閾値Ｓｅの値がより低くなることが好ましい。低動きエリアに対しては、閾値はより高くなり得る。
【００７５】
マルチプレクサ２１は、閾値Ｓｅに応じて、ビデオ信号ｅ（ｘ，ｙ，ｔ）又は動き補償された出力ｒ（ｘ，ｙ，ｔ）を再帰型フィルタの入力に方向付ける。
【００７６】
マルチプレクサは、本当のノイズと補償エラーとを区別するのに使用される。
【００７７】
比較器２３は、マルチプレクサ２１に制御信号を生成する。
【００７８】
ｇ（ｘ，ｙ，ｔ）＞Ｓｅならば、マルチプレクサ２１に送られた制御信号は、ビデオ信号ｅ（ｘ，ｙ，ｔ）を再帰型フィルタ１３に送るようにマルチプレクサ２１に命令する。
【００７９】
ｇ（ｘ，ｙ，ｔ）＜Ｓｅならば、マルチプレクサ２１に送られた制御信号は、動き補償された出力ｒ（ｘ，ｙ，ｔ）を再帰型フィルタ１３に送るようにマルチプレクサ２１に命令する。
【図面の簡単な説明】
【００８０】
【図１】本発明の実施形態に従うノイズ評価装置に接続されるノイズ低減装置を表している。
【図２】ノイズ低減装置に使用され得る再帰型フィルタの実施形態を表している。
【符号の説明】
【００８１】
１  再帰型フィルタ、ノイズ低減フィルタ
２  動き補償補間手段
３  ノイズ評価装置
４  比較器
５  妥当性検査手段
６  累算
７  計算
８ａ  全体的重み付けモジュール
８ｂ  局所的重み付けモジュール
１０  ビデオ信号
１１  動き補償された出力
１２  ノイズレベル
１３  再帰型フィルタ
１４  遅延
１５  加算器
１８  エラー
１９  減算器
２０  乗算器
２１  マルチプレクサ
２２  差分器
２３  比較器
【図１】
2005130494.tif 000008
【図２】
2005130494.tif 000009
【外国語明細書】
2005130494.tif 000010
2005130494.tif 000011
2005130494.tif 000012
2005130494.tif 000013
2005130494.tif 000014
2005130494.tif 000015
2005130494.tif 000016
2005130494.tif 000017
2005130494.tif 000018
2005130494.tif 000019
2005130494.tif 000020
2005130494.tif 000021
2005130494.tif 000022
2005130494.tif 000023
2005130494.tif 000024
2005130494.tif 000025
2005130494.tif 000026
2005130494.tif 000027