(57)【要約】  ノイズを含む画像または画像シーケンスの符号化のためのノイズ低減方法が提供される。本方法は、エンコーダ（ＥＮＣ）により予測ループにおいてさらに用いられるべき、または、デコーダ（ＤＥＣ）の出力に送られるべき、復号化フレーム（ｇｑ［ｘ，ｙ］）または復号化ブロックを受け取るために、予測誤差（ｅｑ［ｘ，ｙ］）と予測フレーム2013517724.tif 000041または予測ブロックとを加算するステップと、この際、参照フレーム（ｇｑ［ｘ，ｙ］）または参照ブロック（ＦＲ）が個別の有用信号部分とノイズ信号部分とからなり、参照フレーム（ｇｑ［ｘ，ｙ］）または参照ブロック（ＦＲ）のノイズ信号部分を低減しまたは除去するために、専用のノイズ低減フィルタ（ＷＦ）のみにより、参照フレーム（ｇｑ［ｘ，ｙ］）または参照ブロック（ＦＲ）についてノイズ除去するステップと、を含む。
2013517724.tif 000002
【特許請求の範囲】
【請求項１】
ノイズを含む画像または画像シーケンスの符号化のためのノイズ低減方法であって、
エンコーダ（ＥＮＣ）により予測ループにおいてさらに用いられるべき、または、デコーダ（ＤＥＣ）の出力に送られるべき、復号化フレーム（ｇｑ［ｘ，ｙ］）または復号化ブロックを受け取るために、予測誤差（ｅｑ［ｘ，ｙ］）と予測フレーム
2013517724.tif 000034
または予測ブロックとを加算するステップと、この際、参照フレーム（ｇｑ［ｘ，ｙ］）または参照ブロック（ＦＲ）が個別の有用信号部分とノイズ信号部分とからなり、
前記参照フレーム（ｇｑ［ｘ，ｙ］）または参照ブロック（ＦＲ）の前記ノイズ信号部分を低減しまたは除去するために、専用のノイズ低減フィルタ（ＷＦ）のみにより、前記参照フレーム（ｇｑ［ｘ，ｙ］）または参照ブロック（ＦＲ）についてノイズ除去するステップと、
を含む、ことを特徴とする方法。
【請求項２】
前記予測フレーム
2013517724.tif 000035
または前記予測ブロックを受け取るために、動き補償要素（１８、３５）により、前記参照フレーム（ｇｑ［ｘ，ｙ］）または参照ブロック（ＦＲ）について動き補償する、請求項１記載の方法。
【請求項３】
前記参照フレーム（ｇｑ［ｘ，ｙ］）または前記参照ブロック（ＦＲ）を評価することによりノイズを推定するノイズ適応フィルタ（ＷＦ）を用いる、請求項１または２記載の方法。
【請求項４】
画素位置適応フィルタ（ＷＦ）を、前記参照フレーム（ｇｑ［ｘ，ｙ］）または前記参照ブロック（ＦＲ）の内容を考慮するノイズ低減フィルタとして用いる、請求項１から３のいずれか１項記載の方法。
【請求項５】
フィルタリング量が局所的な信号特性に依存している、請求項４記載の方法。
【請求項６】
前記参照フレーム（ｇｑ［ｘ，ｙ］）のノイズ除去を、予測ループ内で、前記エンコーダ（ＥＮＣ）によりさらに符号化されるべき予測誤差（ｅｑ［ｘ、ｙ］）に直接影響することなく行う、請求項１から５のいずれか１項記載の方法。
【請求項７】
ノイズ除去を、前記参照フレーム（ｇｑ［ｘ，ｙ］）の各色チャネルについて個別にまたはこれらの組み合わせについて行う、請求項１から６のいずれか１項記載の方法。
【請求項８】
現在のブロックおよび前記参照ブロック（ＦＲ）は１つのフレームのブロックまたは領域である、請求項１から７のいずれか１項記載の方法。
【請求項９】
前記参照フレーム（ｇｑ［ｘ，ｙ］）のみについてノイズ除去するために、前記エンコーダ（ＥＮＣ）および前記デコーダ（ＤＥＣ）の両方に同じ前記ノイズ低減フィルタを設ける、請求項１から８のいずれか１項記載の方法。
【請求項１０】
前記エンコーダ（ＥＮＣ）の前記ノイズ低減フィルタ（ＷＦ）のノイズ除去フィルタパラメタは、符号化ビットストリームの一部である、請求項９記載の方法。
【請求項１１】
前記エンコーダ（ＥＮＣ）の前記ノイズ低減フィルタ（ＷＦ）のノイズ除去フィルタパラメタを、前記デコーダ（ＤＥＣ）により推定し、前記デコーダ（ＤＥＣ）のノイズ低減フィルタ（ＷＦ）に送る、請求項９記載の方法。
【請求項１２】
前記エンコーダ（ＥＮＣ）により前記予測ループにおいてさらに用いられるべき予測誤差（ｅ［ｘ，ｙ］）を受け取るために、符号化されるべき現在フレーム（ｇ［ｘ，ｙ］）を前記予測フレーム
2013517724.tif 000036
または予測ブロックと比較し、この際、前記予測フレーム
2013517724.tif 000037
または予測ブロックはノイズ除去された信号部分のみからなる、請求項１から１１のいずれか１項記載の方法。
【請求項１３】
前記現在フレーム（ｇ［ｘ，ｙ］）と前記予測フレーム
2013517724.tif 000038
とを比較する前記比較手段（１０）から、符号化ビットストリーム（ＣＢ）を出力する出力（ＯＵＴ）への経路に配置された量子化要素（１２）をバイパスする、請求項１２記載の方法。
【請求項１４】
量子化パラメタが大きいほどノイズ除去が低くなり、かつ、その逆も成り立つように、ノイズ除去は前記量子化要素（１２）の量子化パラメタに関して適応的である、請求項１３記載の方法。
【請求項１５】
ノイズを含む画像または画像シーケンスの符号化のための、ノイズ低減のためのエンコーダであって、
エンコーダ（ＥＮＣ）による予測ループにおいてさらに用いられるべき、または、デコーダ（ＤＥＣ）の出力に送られるべき復号化フレーム（ｇｑ［ｘ，ｙ］）または復号化ブロックを受け取るために、予測誤差（ｅｑ［ｘ，ｙ］）と予測フレーム
2013517724.tif 000039
または予測ブロックとを加算するための第１の手段と、この際、参照フレーム（ｇｑ［ｘ，ｙ］）または参照ブロック（ＦＲ）が個別の有用信号部分とノイズ信号部分とからなり、
前記参照フレーム（ｇｑ［ｘ，ｙ］）または参照ブロック（ＦＲ）の前記ノイズ信号部分を低減または除去するために、専用のノイズ低減フィルタ（ＷＦ）のみにより、前記参照フレーム（ｇｑ［ｘ，ｙ］）または参照ブロック（ＦＲ）についてノイズ除去するための第２の手段と、
を備える、ことを特徴とするエンコーダ。
【請求項１６】
ノイズを含む画像または画像シーケンスの符号化のための、ノイズ低減のためのデコーダであって、
エンコーダ（ＥＮＣ）による予測ループにおいてさらに用いられるべき、または、デコーダ（ＤＥＣ）の出力に送られるべき復号化フレーム（ｇｑ［ｘ，ｙ］）または復号化ブロックを受け取るために、予測誤差（ｅｑ［ｘ，ｙ］）と予測フレーム
2013517724.tif 000040
または予測ブロックとを加算するための第３の手段と、この際、参照フレーム（ｇｑ［ｘ，ｙ］）または参照ブロック（ＦＲ）がそれぞれの有用信号部分とノイズ信号部分とからなり、
前記参照フレーム（ｇｑ［ｘ，ｙ］）または参照ブロック（ＦＲ）の前記ノイズ部分を低減または除去するために、専用のノイズ低減フィルタ（ＷＦ）のみにより、前記参照フレーム（ｇｑ［ｘ，ｙ］）または参照ブロック（ＦＲ）についてノイズ除去するための第４の手段と、
を備える、ことを特徴とするデコーダ。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、ノイズを含む画像または画像シーケンスの符号化のためのノイズ低減方法に関する。
【背景技術】
【０００２】
ビルの監視システム、工業生産および医療用途などの専門的な映像用途においては、非常に高品質の映像信号が求められる。これらの信号は空間方向および時間方向における非常に高い解像度を有することが多く、非圧縮データは非常に大きいものとなりうる。したがって、可能な限り映像情報の損失無く、これらの信号を圧縮することが重要である。最近の映像圧縮システムは画像間の時間相関を用いているが、これらは民生用の品質の用途のために最適化されている。
【０００３】
通常、物理的処理により取得される画像シーケンスは、この取得処理を通じて生じるノイズにより劣化されるものとみなすことができる。ノイズはセンサのノイズ、増幅器のノイズや量子化ノイズなどから生じうる。非常に高い品質において、いわゆるフレーム間符号化はいわゆるフレーム内符号化と比べて効率が低いことが見いだされている。中間フレームとは、１つ以上の隣接するフレームにより表される映像圧縮ストリーム内の１つのフレームである。この語の「中間」はフレーム間予測の使用を意味している。この種の予測はより高い圧縮率を実現するために、隣接フレーム間の時間的な冗長性利用しようとするものである。フレーム内符号化とは、様々なロスレスまたはロッシー圧縮技術が現在フレーム内にのみ含まれる情報に対して行われ、映像シーケンス内の他のいかなるフレームに対しても行われないことを意味する。換言すれば、時間的な処理は現在のピクチャまたはフレームの外では行われない。フレーム間符号化およびフレーム内符号化の効率が異なる理由は、映像エンコーダ／デコーダ内部の動き補償予測に影響する映像信号内の（付加的な）ノイズであると予測される。
【０００４】
符号化効率を向上するため、符号化に先だって、ノイズを含む画像シーケンスに異なるアルゴリズムを用いることができる。
【０００５】
このノイズのプリフィルタリングは、映像エンコーダ内部で行うこともできる。すなわち、ノイズを含む画像シーケンスの符号化に関するビットレートは、その主観的な品質が向上する一方で低くなる。しかし、フィルタリング処理によって誤差が入ってしまい、これは映像信号のロスレス圧縮には許されない。
【０００６】
ビットレート低減のための別のアプローチは、ロッシー符号化（encoded）映像データのループ内フィルタリングである。ロッシー符号化において、非ブロック化フィルタまたは量子化ノイズ除去フィルタにより、符号化効率および信号の視覚的品質は向上可能である。インパルスノイズ除去用のループ内ノイズ除去フィルタはビットレートを低下させ、主観的な品質を向上させる。
【発明の概要】
【発明が解決しようとする課題】
【０００７】
したがって、本発明の課題は、ノイズを含む画像シーケンスの符号化のための、ノイズ低減を向上する方法を提供することである。本発明の別の課題は、ノイズを含む画像シーケンスのロスレス符号化のためのノイズ低減を改善する方法を提供することである。本発明の他の課題は、ノイズを含む画像シーケンスの符号化のためのノイズ低減における改善を可能とするエンコーダおよびデコーダを提供することである。
【課題を解決するための手段】
【０００８】
上記課題は、請求項１に記載の方法、請求項１５に記載のエンコーダおよび請求項１６に記載のデコーダにより解決される。好ましい実施形態は従属請求項に記載されている。
【０００９】
本発明は、ノイズを含む画像または画像シーケンスの符号化のためのノイズ低減方法を提供する。本方法は、エンコーダにより予測ループにおいてさらに用いられるべき、または、デコーダの出力に送られるべき、復号化フレームまたは復号化ブロックを受け取るために、予測誤差と予測フレームまたは予測ブロックとを加算するステップを含み、この際、参照フレームまたは参照ブロックが個別の有用信号部分とノイズ信号部分とからなる。別のステップとして、本方法は、参照フレームまたは参照ブロックのノイズ信号部分を低減しまたは除去するために、専用のノイズ低減フィルタのみにより、参照フレームまたは参照ブロックについてノイズ除去するステップを含む。
【００１０】
ノイズを含む画像またはノイズを含む画像シーケンスの動き補償予測を向上するため、本発明に係る方法は、可能な限り関連詳細情報を維持しつつ、参照フレーム（既に再構成されたフレーム）内のノイズを最少化するという考えに基づいている。結果として、参照フレーム内のノイズをより少なくすることにより、より正確な動き予測が可能となる。さらに、差信号はより低いエネルギーを有し、したがって、符号化ビットストリームのビットレートの低減が導かれる。すなわち、フレーム予測のためのより良い参照フレームが生成される。本発明の別の利点はより高い圧縮効率が実現可能であることである。
【００１１】
本発明に係る専用のノイズ低減フィルタは、ノイズフィルタリングのために特別に設計されている。
【００１２】
好ましい実施形態では、予測フレームまたは予測ブロックを受け取るために、動き補償要素により、参照フレームまたは参照ブロックについて動き補償する。したがって、動き補償された参照フレームまたは参照ブロックは予測フレームまたは予測ブロックであり、これは予測子または予測子信号として当業者に知られている。
【００１３】
別の好ましい実施形態では、符号化されるべき現在フレームを評価することによりノイズを推定するノイズ適応フィルタが用いられる。現在フレームを評価することにより、適応フィルタはノイズの性質および統計的特性たとえばノイズの平均、分散、自己相関関数などを評価する。さらに、有用信号部分は映像／画像の内容、映像／画像の解像度、統計的特性などに関して分析される。この評価の後、ノイズ適応フィルタは符号化のための関連詳細情報を維持しつつ、できる限り多くのまたは適当なノイズを除去する。たとえば、暗いシーンは通常明るい画像／映像よりも多くのノイズを含んでいる。ノイズ適応フィルタの特性は、予測に用いられるべき参照フレームまたは参照ブロック内により多くのノイズが存在する場合の、より強いフィルタリングを示す。
【００１４】
さらに、画素位置適応フィルタを、参照フレームまたは参照ブロックの内容を考慮するノイズ低減フィルタとして用いることができる。特に、フィルタリング量が局所的な信号の特性に依存していてもよい。後者はエッジが効率的な映像圧縮のために保持されるべきことを意味している。たとえば、フィルタリングに関して異なるサイズを有する異なるフィルタ窓が用いられる。
【００１５】
好ましい実施形態では、ノイズ低減フィルタとして最小平均二乗誤差（ＭＭＳＥ）推定器（たとえば線形推定器としてのウイナーフィルタ）が用いられる。しかし、ノイズを低減するが画像の内容を保持する任意のフィルタを用いることができる。ノイズ低減フィルタが線形性を有するか非線形性を有するかは関係しない。
【００１６】
他の好ましい実施形態では、予測ループ内で、エンコーダによりさらに符号化（encode）されるべき予測誤差に直接影響することなく、参照フレームのノイズ除去を行う。予測ループ内のノイズ除去は時にはループ内ノイズ除去といわれる。この提案によれば、本方法をロッシー映像符号化だけでなくロスレス映像符号化にも適用することができる。
【００１７】
予測ループのバッファ内に参照フレームをバッファする前または後にノイズ除去が行われることがさらに好ましい。さらに、ループ内ノイズ除去フィルタは低いノイズレベルのために特別に用いることができる動き補償要素の後に挿入してもよい。
【００１８】
他の好ましい実施形態では、ノイズ除去を、参照フレームの各色チャネルについて個別にまたはこれらの組み合わせについて行う。
【００１９】
ロスレス符号化のため、現在フレームと参照フレームとを比較する比較手段から予測誤差およびフレームをそれぞれ出力する出力部への経路に配置された量子化要素はバイパスされる。
【００２０】
他の好ましい実施形態では、現在の符号化されるべきブロックおよび参照ブロックは１つのフレームのブロックまたは領域（すなわち１画素または複数ピクセルの量）である。したがって、符号化されるブロックはＩブロック（intra-coded block）と呼ばれる。
【００２１】
他の好ましい実施形態では、参照フレームのみについてノイズ除去するために、エンコーダおよびデコーダの両方に同じノイズ低減フィルタが設けられる。換言すれば、同じノイズ低減（除去）フィルタをデコーダに用いる必要がある。エンコーダのノイズ低減フィルタのノイズ除去フィルタパラメタは、符号化ビットストリームの一部である。ノイズ除去フィルタがエンコーダからデコーダに送られる場合、たとえばノイズ除去フィルタパラメタフラグが信号で送られてもよい。フィルタパラメタフラグが設定されない場合、たとえばデコーダは自身でフィルタパラメタ（またはフィルタパラメタの一部）を推定する。たとえば、ノイズの強さはエンコーダとデコーダとで同様に推定される。
【００２２】
他の好ましい実施形態では、エンコーダにより予測ループにおいてさらに用いられるべき予測誤差を受け取るために、エンコーダにおいて符号化されるべき現在フレームは予測フレームまたは予測ブロックと比較され、この際、予測フレームまたは予測ブロックは有用信号部分のみからなる（理想的なノイズフィルタリングの場合）。
【００２３】
他の好ましい実施形態では、量子化パラメタが大きいほど（すなわち量子化ステップのサイズが高いほど）ノイズ除去が低くなり、かつ、その逆も成り立つように、ノイズ除去は量子化要素の量子化パラメタに関して適応的である。ノイズを含む参照フレームの量子化が参照フレームのノイズ部分についてのノイズ低減能力を部分的に有するとき、ノイズ除去アルゴリズムは量子化要素の量子化パラメタに関して適応的である。
【００２４】
本発明は、エンコーダ（ＥＮＣ）による予測ループにおいてさらに用いられるべき、または、デコーダ（ＤＥＣ）の出力に送られるべき復号化フレーム（ｇｑ［ｘ，ｙ］）または復号化ブロックを受け取るために、予測誤差（ｅｑ［ｘ，ｙ］）と予測フレーム
2013517724.tif 000003
または予測ブロックとを加算するための第１の手段を備えるエンコーダを提供し、参照フレーム（ｇｑ［ｘ，ｙ］）または参照ブロック（ＦＲ）が個別の有用信号部分とノイズ信号部分とからなる。本エンコーダは、参照フレーム（ｇｑ［ｘ，ｙ］）または参照ブロック（ＦＲ）のノイズ信号部分を低減または除去するために、専用のノイズ低減フィルタ（ＷＦ）のみにより、参照フレーム（ｇｑ［ｘ，ｙ］）または参照ブロック（ＦＲ）についてノイズ除去するための第２の手段をさらに備える。
【００２５】
さらに、本発明は、エンコーダ（ＥＮＣ）による予測ループにおいてさらに用いられるべき、または、デコーダ（ＤＥＣ）の出力に送られるべき復号化フレーム（ｇｑ［ｘ，ｙ］）または復号化ブロックを受け取るために、予測誤差（ｅｑ［ｘ，ｙ］）と予測フレーム
2013517724.tif 000004
または予測ブロックとを加算するための第３の手段を備えるデコーダを提供し、この際、参照フレーム（ｇｑ［ｘ，ｙ］）または参照ブロック（ＦＲ）がそれぞれの有用信号部分とノイズ信号部分とからなる。本デコーダは、参照フレーム（ｇｑ［ｘ，ｙ］）または参照ブロック（ＦＲ）のノイズ部分を低減または除去するために、専用のノイズ低減フィルタ（ＷＦ）のみにより、参照フレーム（ｇｑ［ｘ，ｙ］）または参照ブロック（ＦＲ）についてノイズ除去するための第４の手段を備える。
【００２６】
本発明にかかる方法ならびにエンコーダおよびデコーダは、ソフトウェアにおいて実現されてもよく、コンピュータまたは処理ユニットにより実行されてもよい。
【００２７】
本発明について、図面を参照して以下でより詳細に説明する。
【図面の簡単な説明】
【００２８】
【図１】本発明に係るエンコーダの第１の実施形態を示す。
【図２】本発明に係るデコーダの第１の実施形態を示す。
【図３】フレーム間予測のための本発明に係る方法を用いる可能性について示す。
【図４Ａ】本発明に係るエンコーダの第２の実施形態を示す。
【図４Ｂ】本発明に係るデコーダ図の第２の実施形態を示す。
【図５Ａ】本発明に係るエンコーダ図の第３の実施形態を示す。
【図５Ｂ】本発明に係るデコーダ図の第３の実施形態を示す。
【図６Ａ】本発明に係るエンコーダ図の第４の実施形態を示す。
【図６Ｂ】本発明に係るデコーダ図の第４の実施形態を示す。
【発明を実施するための形態】
【００２９】
本発明について異なるエンコーダおよびデコーダのブロック図を参照して以下でより詳細に説明する。簡略化のため、ブロック図はある特定の時間点において観察されるものであり、このとき、ただ１つの現在フレームｇ［ｘ，ｙ］が符号化され、別の予測フレーム
2013517724.tif 000005
が利用可能である。
【００３０】
図１は、本発明の第１の実施形態に係る、ロッシー映像エンコーダＥＮＣのブロック図を示す。現在フレームｇ［ｘ，ｙ］および予測フレーム
2013517724.tif 000006
が比較手段１０に送られる。比較手段１０の出力において、予測誤差ｅ［ｘ，ｙ］が変換手段１１に送られる。Ｔブロックとして知られる変換手段１１は予測誤差ｅ［ｘ，ｙ］の任意のさらなる脱相関、すなわち、（ほぼ）ロスレスの可逆変換を表す。変換手段１１の出力は量子化手段１２に接続されており、ロスレス映像エンコーダを受け取るためにバイパスされまたはスキップされてもよい。量子化手段１２の出力は映像エンコーダ内のエントロピーエンコーダ１３に接続されている。エントロピーエンコーダ１３は符号化ビットストリームＣＢを出力する出力ＯＵＴに接続されている。
【００３１】
予測フレーム
2013517724.tif 000007
は予測ループの要素により供給される。予測ループは、変換されかつ場合により量子化された予測誤差ｅ［ｘ，ｙ］を逆変換させる変換手段１４からなる。最終的に、変換手段１４は逆変換された予測誤差ｅｑ［ｘ，ｙ］を加算手段１５の第１の入力に供給する。加算手段１５の第２の入力には、予測信号
2013517724.tif 000008
が供給される。加算手段１５の出力において、再構成された現在フレームである信号ｇｑ［ｘ，ｙ］がノイズたとえば付加的なノイズのフィルタリングのためのノイズ低減フィルタ１６に供給される。ノイズ低減フィルタ１６の出力は参照ピクチャバッファ１７に接続されている。参照ピクチャバッファ１７はエンコーダＥＮＣ内の動き推定および動き補償要素１８に接続されている。動き推定および動き補償要素１８の出力において、（動き補償された）参照フレーム
2013517724.tif 000009
が比較手段１０および加算手段１５に供給される。動き推定および動き補償要素１８はさらに現在フレームｇ［ｘ，ｙ］を受け取る。エントロピーエンコーダ１３は動き推定および動き補償要素１８およびノイズ低減フィルタ１６から制御情報を受け取る。
【００３２】
映像エンコーダＥＮＣ内の比較手段１０を用いた、現在フレームからの動き補償された参照フレーム（予測フレームともいう）の減算は、以下の式により示される。
【数１】
2013517724.tif 000010
式中、ｘおよびｙは位置座標であり、ｇ［ｘ，ｙ］は圧縮されるべき現在フレームを表し、
2013517724.tif 000011
は動き補償された参照フレームを示す予測信号であり、ｅ［ｘ，ｙ］は、変換と、場合により量子化と、エントロピー符号化（encoding）との後に図２に示すデコーダに送られるべき予測誤差である。画像シーケンスが独立な付加的なホワイトノイズにより劣化すると仮定して、信号は以下のように記述することができる。
【数２】
2013517724.tif 000012
式中、ｓｇおよび
2013517724.tif 000013
はそれぞれ信号の有用部分であり、ｎｇおよび
2013517724.tif 000014
はそれぞれ各信号のノイズ部分である。式（１）、（２）、（３）から、以下の式が導かれる。
【数３】
2013517724.tif 000015
【００３３】
式（４）から、予測誤差が２つの主要な成分からなることがわかる。ノイズを含まない現在フレームとノイズを含まない参照フレームとの間の相関が高いと、信号成分ｓｅ［ｘ，ｙ］は最少化される。しかし、現在フレームのノイズは一般に参照フレームのノイズから独立であるため、ノイズ成分ｎｅ［ｘ，ｙ］はより高くなる。付加的なホワイトガウスノイズの場合、誤差画像のノイズの分散はこれらの２つの画像の１つのノイズの分散の２倍まで高くなる。
【００３４】
特にロスレス符号化用途において、現在ピクチャのノイズ部分は符号化しなければならない。圧縮効率を向上するため、参照フレーム内のノイズは信号の有用部分を大きく劣化させることなく最少化する必要がある。これにより、符号化処理をロスレスに維持しつつ、予測誤差におけるノイズ量を最少化することができる。
【００３５】
（付加的な）ノイズのためのノイズ除去フィルタとして図１中に導入されているフィルタ１６は、ロッシー符号化用途に通常用いられる非ブロック化フィルタと同じ位置に、エンコーダの図中に配置されている。再構成画像を参照バッファ１７に保存する前に、以下で説明するノイズ除去アルゴリズムにより処理する必要がある。しかし、ノイズ低減フィルタ１６を用いたノイズ除去は参照バッファ１７にバッファした後に実行されてもよい。
【００３６】
ノイズ除去アルゴリズムは映像すなわち現在フレームｇ［ｘ，ｙ］に存在するノイズの性質に適応されている。符号化処理をロスレスに維持するために、同じ処理がデコーダＤＥＣにおいても用いられる。図２中、ロスレスデコーダＤＥＣの図が示されている。この図では、デコーダＤＥＣの入力ＩＮにおいて、符号化ビットストリームＣＢがエントロピーデコーダ２０に供給される。参照番号３１は加算手段３２に接続された変換手段を示す。変換手段３１に接続されている第１の入力において、誤差フレームｅｑ［ｘ，ｙ］が供給される。動き補償要素３５に接続されている比較手段３２の第２の入力において、予測フレーム
2013517724.tif 000016
が供給される。比較手段３２の出力は予測器ループに接続されている。予測器ループはエンコーダＥＮＣに用いられている同じノイズ低減フィルタ３３と、参照バッファ３４と、動き補償要素３５と、を有する。
【００３７】
エンコーダＥＮＣおよびデコーダＤＥＣのいずれにおいても、ノイズ低減要素１６および３３はそれぞれ出力ＯＵＴには接続されていない。したがって、出力信号（符号化ビットストリームおよび符号化（encoded）ビットストリームＥＢはノイズ低減フィルタにより影響されない。
【００３８】
デコーダＤＥＣにおいて、参照ピクチャは、参照ピクチャバッファ３４に保存される前に、まずノイズ除去される。量子化ノイズ除去フィルタまたは非ブロック化フィルタに対する主要な差は、ノイズフィルタが用いられる前に画像が表示されることである。そうでない場合、符号化（encoding）および復号化はロスレスとはなりえない。
【００３９】
参照フレーム内の（付加的な）ノイズの低減のために、適応最小二乗誤差推定器（たとえば線形推定器としての適応ウイナーフィルタ）アルゴリズムを用いることが好ましい。このフィルタはノイズを含む画像シーケンスとノイズを含まない画像シーケンスとの間の二乗誤差を最小化し、これがガウス処理用のウイナーフィルタの目的である。さらに、このフィルタは画像信号の局所統計量を用いることにより輪郭の平滑化を妨げ、このことは正確な動き補償にとって重要である。
【００４０】
異なるフィルタ（線形または非線形）の組の１つがエンコーダＥＮＣにおいてノイズ低減フィルタ１６として用いられる場合、同じ情報を用いるために、ノイズ低減フィルタおよびそのパラメタの選択がデコーダに信号として送られなければならない。非線形フィルタは通常、医用画像用途に用いられ、または、有用信号またはノイズ信号の性質に関するガウス仮定が正しくない場合。
【００４１】
以下、ノイズ除去アルゴリズムについてより詳細に説明する。ここで、一例として、ウイナーフィルタをノイズ低減フィルタとして用いる。
【００４２】
信号および付加的なノイズが非相関であり、一定であると見なされる局所領域において、ウイナーフィルタは以下のように表される。
【数４】
2013517724.tif 000017
式中、
2013517724.tif 000018
は、それぞれ信号ｆ［ｘ，ｙ］およびノイズｎ［ｘ，ｙ］のパワースペクトル密度である。ホワイトノイズの場合、パワースペクトル密度は
【数５】
2013517724.tif 000019
に簡略化される。
式中、
2013517724.tif 000020
はノイズ信号ｎ［ｘ，ｙ］の分散であり、これはスペースインバリアントであると仮定される。信号ｆ［ｘ，ｙ］は位置局所平均μｆ［ｘ，ｙ］とスペースバリアントな局所分散
2013517724.tif 000021
との和によりモデル化可能である。信号ｆ［ｘ，ｙ］がゼロ平均である場合、局所領域内のパワースペクトル密度は
【数６】
2013517724.tif 000022
に簡略化される。式中、
2013517724.tif 000023
は画像信号ｆ［ｘ，ｙ］の局所分散である。したがって、局所領域内のウイナーフィルタは下記式により表される。
【数７】
2013517724.tif 000024
【００４３】
一般に、信号ｆ［ｘ，ｙ］はゼロ平均ではなく、したがって、平均μｆ［ｘ，ｙ］はフィルタリングの前にｆ［ｘ，ｙ］から減算されなければならず、フィルタリングの後に再び加算されなければならない。フィルタリング処理は、下記式により表される。
【数８】
2013517724.tif 000025
【００４４】
ノイズ分散
2013517724.tif 000026
は既知である（すなわち取得処理から）と仮定される。ノイズがゼロ平均であるとみなされるとき、μｆ［ｘ，ｙ］はμｇ［ｘ，ｙ］と等しく、局所平均の推定は
【数９】
2013517724.tif 000027
に簡略化される。式中、Ｍは画像信号が一定とみなされる窓のサイズを表す。ノイズを含まない画像の局所分散の推定は、下記式により表される。
【数１０】
2013517724.tif 000028
式中、
2013517724.tif 000029
は劣化した画像ｇ［ｘ，ｙ］の局所分散である。
2013517724.tif 000030
の推定は下記式により表される。
【数１１】
2013517724.tif 000031
【００４５】
これらの式から、ノイズ低減が、局所信号およびノイズ分散に依存して、方形の窓における画素値を平均化することにより得られることが明らかである。
【００４６】
Ｍを変えてより大きな窓を選択することによりさらに高いノイズ低減が得られるが、有用信号部分がよりぼやけてしまう可能性もある。したがって、Ｍは圧縮に関する最適化パラメタとして見なすことができる。同様に、
2013517724.tif 000032
の変化も最適化パラメタと見なすことができる。
2013517724.tif 000033
を増大させることにより、より高いノイズ低減が得られる一方、有用信号部分はよりぼやけてしまう。
【００４７】
上述のように、エンコーダＥＮＣのノイズ低減フィルタ１６およびデコーダＤＥＣのノイズ低減フィルタ３３の主要な特性はノイズ、すなわちノイズの性質および統計的なノイズの特性たとえば平均、分散、自己相関関数への適応、ならびに、画像信号すなわち映像／画像内容、映像／画像解像度および統計的特性への適応である。エンコーダおよびデコーダ内のフィルタは、符号化および復号化に関する関連詳細情報を維持しつつ、ノイズをできるだけまたは適当に除く。これは、符号化されるべき入力データ中に多くのノイズが存在するほど、より強いフィルタリングが示される。一方で、ノイズフィルタリングの量は、局所的な信号特性に依存する。これはたとえば効率的な映像圧縮に関してエッジが保持されることを意味する。フィルタリングは、たとえばフィルタリングに関して異なるサイズを有する異なる窓を用いることにより、ノイズに適応し、画素位置にも適応する。
【００４８】
上述したループ内ノイズ除去は各色チャネルに個別に用いてもよい。また、全ての色チャネルの組み合わせにループ内ノイズ除去を用いてもよい。
【００４９】
図１および図２のエンコーダおよびデコーダ図においても、ループ内ノイズ除去フィルタ１６および３３が、アルゴリズムに影響することなく、参照フレームバッファ１７および３４の後に挿入されていてもよい。別の実施形態では、ループ内ノイズ除去フィルタ１６および３３は動き補償および動き制御要素１８および動き制御要素３５の後に挿入されてもよい。この実施形態は特にノイズレベルが低い場合に用いることができる。
【００５０】
上述のように、ロスレス符号化のために、量子化要素１２はたとえばバイパスされまたはスキップされる。こうすることにより、予測誤差ｅｑ［ｘ，ｙ］はｅ［ｘ，ｙ］となり、ｇｑ［ｘ，ｙ］はｇ［ｘ，ｙ］となる。
【００５１】
エンコーダＥＮＣにおいて、動き補償および動き補償要素１８を用いて副画素の計算を行ってもよい。アルゴリズムは補間ノイズ除去フィルタにより強化可能である。補間ノイズ除去フィルタはノイズ低減フィルタ１６から得られる。これは、同様の特性を用いて、補間フィルタ係数を適応的に計算することができる。結果として、補間は、エッジおよびエッジの保持に関して、ノイズに適応的でありかつ画素位置に適応的である。
【００５２】
ノイズ除去フィルタパラメタ（フィルタ特性、ノイズに関する情報および信号に関する情報）は既知であるかまたはエンコーダにおいて推定され、副情報としてデコーダに送られる。あるいは、いくつかのまたは全てのパラメタはデコーダ側において得られてもよい。フィルタパラメタの伝送は、ノイズ除去フィルタパラメタフラグにより信号で送られる。フィルタパラメタフラグが設定されないばあい、デコーダはフィルタパラメタを自身で推定する。
【００５３】
さらに、量子化ノイズが入力信号内のノイズをマスキングするとき、ノイズ除去アルゴリズムは図１のエンコーダの量子化要素１２の量子化パラメタに関して適応的であってもよい。量子化パラメタが大きいほどノイズ低減フィルタによるフィルタリングは少なくなり、また逆も成り立つ。
【００５４】
一般に、ノイズ推定器およびそのパラメタはエンコーダ側で選択可能である。この選択はデコーダに信号により信号として送ることができる。これはノイズの推定に用いられるアルゴリズムがデコーダ側で選択可能であることを意味する。上述のように、同じアルゴリズムがデコーダ側で用いられるべきである。
【００５５】
本発明に係る方法の工程について、フレーム間符号化を参照して説明したが、これにおいては、現在フレームおよび参照フレームは１つの画像シーケンスの異なる画像のフレームである。しかし、ノイズを含む画像シーケンスまたは単一画像の符号化のために、本方法はフレーム内符号化にも適用可能である。このことは図３に示されている。
【００５６】
図３には、単一画像のブロックＦＲの量（すなわち、１フレームの領域、すなわち画素の量）が示されている。各ブロックＦＲはすでに符号化（encoded）されている。ＦＲ’で示されるブロックは符号化（encoded）される予定のものである。各ブロックＦＲは複数の既に復号化されたサンプルＳを含む。ブロックＦＲ’内の予測されるべきサンプルはＳ’で示されている。圧縮効率を高めるため、サンプルＳの符号化（encoding）の後、これらは、上述のループ内ノイズ除去フィルタと同様の性質を有する一般的なノイズ除去フィルタによりノイズ除去される。どのフレーム内推定方法が選択されるかには関係しないことに留意すべきである。たとえば、推定されるべきブロック（ＦＲ’）の隣接画素からの方向推定を用いることができる。この場合、ノイズ除去されるべき参照ブロックはフレーム内符号化のために人工的に生成された予測信号である。
【００５７】
図４〜６は、本発明に係る方法を実行するデコーダおよびエンコーダの他の実施形態を示す。異なる用途すなわちノイズ除去、量子化ノイズ除去、非ブロック化および視覚的品質向上に関する上述のループ内フィルタリングは、異なる主要な独立のフィルタに分けられる。
【００５８】
図４Ａ中、ループ内フィルタは、圧縮フィルタ１９およびビジュアルフィルタ２０からなる。圧縮フィルタ１９はビットレートを低減するための最良の可能な予測子の生成に関与し、したがって、図１のノイズ低減フィルタ１６のような位置にある（いわゆるループ内フィルタ）。圧縮フィルタ１９は出力信号の視覚的品質に対して最適化されない。ループ外フィルタであるビジュアルフィルタ２０は、出力信号の主観的および／または客観的品質に関与する。したがって、ビジュアルフィルタ２０はその入力が加算手段１５に接続され、そして、その出力がエントロピーエンコーダ１３に接続されている。２つのフィルタ１９および２０は互いに独立に最適化可能である。
【００５９】
図４Ｂに示されているデコーダ側において、圧縮フィルタ３６は図２のノイズ低減フィルタ３３の位置におけるループ内フィルタ部分である。ビジュアルフィルタ３７はデコーダの出力に接続されており、ループ外フィルタである。
【００６０】
エンコーダを示す図５Ａおよびデコーダを示す図５Ｂの第３の実施形態において、ビジュアルフィルタは予測ループの一部であってよい。
【００６１】
図６Ａおよび６Ｂは、第２および第３の実施形態の組み合わせを示し、これにおいては、ビジュアルフィルタ２０ａおよび３７ａはそれぞれ予測ループ内に配置され、第２のビジュアルフィルタ２０ｂおよび３７ｂは予測ループの外側に配置されている。図４Ａおよび４Ｂの第二の実施形態にあるように、圧縮フィルタ１９および３６はそれぞれエンコーダおよびデコーダの予測ループ内に配置されている。この実施形態はビジュアルフィルタリングが予測のためのループ内フィルタリングを向上可能である場合に有利である。この場合、二重のフィルタリングを避けることができる。したがって、エンコーダおよびデコーダの複雑さは低減可能である。
【符号の説明】
【００６２】
１０  比較手段、  １１  変換手段、  １２  量子化手段、  １３  エントロピーエンコーダ、  １４  変換手段、  １５  加算手段、  １６  ノイズ低減フィルタ、  １７  参照ピクチャバッファ、  １８  動き推定および動き補償手段
【図１】
2013517724.tif 000042
【図２】
2013517724.tif 000043
【図３】
2013517724.tif 000044
【図４Ａ】
2013517724.tif 000045
【図４Ｂ】
2013517724.tif 000046
【図５Ａ】
2013517724.tif 000047
【図５Ｂ】
2013517724.tif 000048
【図６Ａ】
2013517724.tif 000049
【図６Ｂ】
2013517724.tif 000050
【国際調査報告】
2013517724.tif 000051
2013517724.tif 000052
2013517724.tif 000053