(57)【要約】【課題】符号化ノイズと残像ノイズの発生を好適に抑制できるノイズ除去装置および方法を提供する。【解決手段】ノイズ除去装置は、画像内の演算処理によってノイズを除去する２次元ノイズ除去手段（１０）と、２次元ノイズ除去手段によってノイズ除去された画像データを受けて、画像間の演算処理によってノイズを除去する３次元ノイズ除去手段（３０）と、２次元ノイズ除去手段のノイズ除去強度を決定する第１のノイズ除去強度決定手段（４５）と、３次元ノイズ除去手段のノイズ除去強度を決定する第２のノイズ除去強度決定手段（４７）とを備える。第２のノイズ除去強度決定手段（４７）は、２次元ノイズ除去手段（４５）のノイズ除去強度が高くなるほど、３次元ノイズ除去手段のノイズ除去強度が弱くなるように、３次元ノイズ除去手段のノイズ除去強度を設定する。【選択図】図１
2008283341.tif 000002
【特許請求の範囲】
【請求項１】
圧縮符号化された映像信号のノイズを除去する装置であって、
画像内の演算処理によってノイズを除去する２次元ノイズ除去手段と、
前記２次元ノイズ除去手段によってノイズ除去された映像信号を受けて、画像間の演算処理によってノイズを除去する３次元ノイズ除去手段と、
前記２次元ノイズ除去手段のノイズ除去強度を決定する第１のノイズ除去強度決定手段と、
前記３次元ノイズ除去手段のノイズ除去強度を決定する第２のノイズ除去強度決定手段とを備え、
前記第２のノイズ除去強度決定手段は、前記２次元ノイズ除去手段のノイズ除去強度が高くなるほど、前記３次元ノイズ除去手段のノイズ除去強度が低くなるように、前記３次元ノイズ除去手段のノイズ除去強度を設定する、
ことを特徴とするノイズ除去装置。
【請求項２】
画像信号の符号化ノイズを検出するノイズ検出手段をさらに備え、
前記第１のノイズ除去強度決定手段は、検出した符号化ノイズの量に応じて２次元ノイズ除去手段のノイズ除去強度を増加させる、
ことを特徴とする請求項１記載のノイズ除去装置。
【請求項３】
前記圧縮符号化された映像信号を復号するデコーダをさらに備えたことを特徴とする請求項１記載のノイズ除去装置。
【請求項４】
前記圧縮符号化された映像信号はＭＰＥＧストリームであることを特徴とする請求項１記載のノイズ除去装置。
【請求項５】
前記２次元ノイズ除去手段はブロックノイズを除去することを特徴とする請求項４記載のノイズ除去装置。
【請求項６】
圧縮符号化された映像信号のノイズを除去する方法であって、
画像内の演算処理によってノイズを除去する２次元ノイズ除去処理を実施するステップと、
前記２次元ノイズ除去処理によりノイズ除去された映像信号を受けて、画像間の演算処理によってノイズを除去する３次元ノイズ除去処理を実施するステップと、
前記２次元ノイズ除去処理のノイズ除去強度が高くなるほど、前記３次元ノイズ除去処理のノイズ除去強度が弱くなるように、前記３次元ノイズ除去処理のノイズ除去強度を設定するステップと
を含むことを特徴とするノイズ除去方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、圧縮符号化された映像信号のノイズ除去装置および方法に関する。
【背景技術】
【０００２】
デジタルテレビ放送では、映像信号をＭＰＥＧ符号化方法で圧縮符号化した圧縮ストリームデータを伝送することで、限られた伝送容量に大量および高品質な映像データを放送することが可能となっている。また、ＤＶＤレコーダなど映像信号を記録する際も映像信号をＭＰＥＧ符号化方法で圧縮してから記録することで、長時間、高画質な映像信号を記録することが可能である（非特許文献１参照）。しかしながら、より大量の映像データを伝送、あるいは記録するには、より高い圧縮率で圧縮符号化する必要があるため、圧縮符号化によって符号化ノイズが発生してしまうことは避けられない。
【０００３】
ＭＰＥＧ符号化ノイズとして、ブロックの筋が見えてしまうブロックノイズがよく知られている。さらに、各画像に発生した符号化ノイズの時間的な違いから画像にざらつきが見えるパルシングノイズも発生する。
【０００４】
ＭＰＥＧ符号化映像のノイズ除去方法は、画像内に発生した平面的ノイズを除去する２次元ノイズ除去処理（以下「２ＤＮＲ」という。）と、画像間に発生した時間的ノイズを除去する３次元ノイズ除去処理（以下「３ＤＮＲ」という。）とに大別される。
【０００５】
ブロックノイズ除去には２ＤＮＲの使用が、また、パルシングノイズ除去には３ＤＮＲの使用が効果的であり、２ＤＮＲと３ＤＮＲとを組み合わせてノイズ除去が行われる。
【０００６】
ノイズ除去は周波数的に高域成分を除去するローパスフィルタにより基本的に実施されるが、一律にローパスフィルタで処理してしまうと２ＤＮＲであれば画像ボケ、３ＤＮＲであれば動きに対して尾を引くような残像ノイズといった弊害が発生するため、それぞれ適応的にフィルタ処理される。
【０００７】
適応処理の例として、映像の動き量を検出して動きが小さい静止映像では３ＤＮＲを強くかけ、２ＤＮＲは弱めることが考案されている（例えば、特許文献１参照）。
【０００８】
また、映像の動き量とフレーム間の相関量を検出し、動き量とフレーム間相関量にしたがって、２ＤＮＲと３ＤＮＲを制御することで、動きのある映像に対しても残像ノイズの発生を抑制するとともにノイズを除去する方法が考案されている（例えば、特許文献２参照）。
【０００９】
また、映像を圧縮符号化する際に検出する動きベクトルによって、符号化処理前に実施するノイズ除去フィルタの強度を制御する方法が考案されている（例えば、特許文献３参照）。
【００１０】
さらに、映像の動きによって、２ＤＮＲによって処理された映像と３ＤＮＲによって処理された映像の合成比率を制御し、動きのある映像には３ＤＮＲの効果を抑制して２ＤＮＲの効果を強調する方法が考案されている（例えば、特許文献４参照）。
【００１１】
このように３ＤＮＲの場合、画像の動きを検出し、動きが小さいと強くし、動きが大きいと弱めることで、時間的ノイズを除去するとともに残像ノイズを抑制することが一般的である。
【００１２】
【特許文献１】特開平１１−６９２０２号公報
【特許文献２】特開２００３−３４８３８３号公報
【特許文献３】特開２００３−３３３３７０号公報
【特許文献４】特開２００５−１５０９０３号公報
【非特許文献１】ＩＳＯ／ＩＥＣ  １３８１８−２（ＭＰＥＧ２ビデオ）
【発明の開示】
【発明が解決しようとする課題】
【００１３】
動き検出は画素レベルの時間的変化量によって検出する。対象とする映像が高域成分を多く持った画像（シャープな映像）であればあるほど、画像内のレベル変化量が多くなり、それにともない画素の時間的レベル変化量も大きくなり、動きが検出されやすい傾向となる。つまり、高域成分を多く持った映像ほど実質的に動き検出感度が高くなる。これとは逆に高域成分の少ない画像（ぼけた映像）は画像内のレベル変化量が小さいために、これに伴い時間的レベル変化量も小さくなり、動きが検出されにくい傾向になる。つまり、高域成分の少ない映像は実質的に動き検出感度が低くなる。
【００１４】
２ＤＮＲは基本構成要素としてローパスフィルタを含むため、より多く発生したブロックノイズ等の符号化ノイズを除去するために２ＤＮＲを実施すると、高域成分が失われることは避けられない。３ＤＮＲは高域成分を多く持ったシャープな映像に対しては動き検出感度が高いので適応処理が有効になされ、残像ノイズを出すことなくノイズ除去を行うことができる。しかしながら、２ＤＮＲを強くかけたことにより高域成分が失われた映像に対しては、動き検出感度が低くなるため、３ＤＮＲが強く実施される傾向となり、残像ノイズがより発生しやすくなる。
【００１５】
以上のように、２ＤＮＲを強くかけると、符号化ノイズはより確実に除去されるが、その後の３ＤＮＲにより、残像ノイズの発生を招くという問題がある。
【００１６】
本発明は上記課題を解決すべくなされたものであり、その目的とするところは、符号化ノイズと残像ノイズの発生を好適に抑制できるノイズ除去装置および方法を提供することにある。
【課題を解決するための手段】
【００１７】
本発明の第１の態様において、圧縮符号化された映像信号のノイズを除去する装置が提供される。その装置は、画像内の演算処理によってノイズを除去する２次元ノイズ除去手段と、２次元ノイズ除去手段によってノイズ除去された映像信号を受けて、画像間の演算処理によってノイズを除去する３次元ノイズ除去手段と、２次元ノイズ除去手段のノイズ除去強度を決定する第１のノイズ除去強度決定手段と、３次元ノイズ除去手段のノイズ除去強度を決定する第２のノイズ除去強度決定手段とを備える。第２のノイズ除去強度決定手段は、２次元ノイズ除去手段のノイズ除去強度が高くなるほど、３次元ノイズ除去手段のノイズ除去強度が弱くなるように、３次元ノイズ除去手段のノイズ除去強度を設定する。
【００１８】
本発明の第２の態様において、圧縮符号化された映像信号のノイズを除去する方法が提供される。その方法では、画像内の演算処理によってノイズを除去する２次元ノイズ除去処理を実施する。２次元ノイズ除去処理によりノイズ除去された映像信号を受けて、画像間の演算処理によってノイズを除去する３次元ノイズ除去処理を実施する。２次元ノイズ除去処理のノイズ除去強度が高くなるほど、３次元ノイズ除去処理のノイズ除去強度が弱くなるように、３次元ノイズ除去処理のノイズ除去強度を設定する。
【発明の効果】
【００１９】
本発明によれば、２次元ノイズ除去処理をより強くかけるほど、３次元ノイズ除去処理の強度をより低く抑える。これにより、符号化ノイズが多く発生している場合、２次元ノイズ除去処理を強くかけて符号化ノイズを効果的に除去するとともに、３次元ノイズ除去処理の強度を低く抑えることで残像ノイズを抑制することできる。また、符号化ノイズが少ない場合は、２次元ノイズ除去処理を弱くかけることで高域の劣化を抑制するとともに、３次元ノイズ除去処理を強くかけることで、時間的ノイズを除去するとともに残像ノイズを抑制することができる。
【発明を実施するための最良の形態】
【００２０】
以下、添付の図面を参照して本発明の実施の形態について説明する。
以下に説明するノイズ除去装置は、２次元ノイズ除去処理（２ＤＮＲ）をより強くかけるほど、３次元ノイズ除去処理（３ＤＮＲ）の強度をより低く抑え、２次元ノイズ除去処理をより弱くするほど、３次元ノイズ除去処理の強度をより強くする。これにより、符号化ノイズが多い場合、符号化ノイズを効果的に除去するとともに、３次元ノイズ除去処理による残像ノイズを抑制できる。また、符号化ノイズが少ない場合、残像ノイズを効果的に抑制できる。以下、その詳細を説明する。
【００２１】
図１は本発明の実施の形態であるノイズ除去装置の構成を示すブロック図である。ＭＰＥＧデコーダ５はＭＰＥＧストリームを入力し、復号する。ノイズ除去装置は、ＭＰＥＧデコーダ５により復号された映像信号に対して画像（フレーム）内に発生した平面的ノイズを除去する２次元ノイズ除去部１０と、画像（フレーム）間に発生した時間的ノイズを除去する３次元ノイズ除去部３０とを備える。
【００２２】
さらに、ノイズ除去装置は、８×８画素または１６×１６画素からなるマクロブロック（以下「ブロック」という）の境界を検出するブロック境界検出部４１と、ブロックノイズの量を判定（検出）するブロックノイズ判定部４３と、２次元ノイズ除去処理（２ＤＮＲ）におけるノイズ除去の強度を決定する２ＤＮＲ強度決定部４５と、３次元ノイズ除去処理（３ＤＮＲ）におけるノイズ除去の強度を決定する３ＤＮＲ強度決定部４７とを含む。
【００２３】
以上のように構成されるノイズ除去装置の動作を以下に説明する。
【００２４】
２次元ノイズ除去部１０は乗算器１１〜１３と画素メモリ１５、１６を備える。２次元ノイズ除去部１０は、入力した連続する３画素の中で、最初と最後の画素の画素値に乗算器１１、１３により係数ｋ１を乗算し、中央の画素の画素値に乗算器１２により係数ｋ２を乗算し、それらの画素値を合算することで平面的ノイズを除去する。このようなノイズ除去方法は、画像内に発生した平面的ノイズを除去するための一般的な手法である。係数ｋ１、ｋ２の値はノイズ除去処理の強度を表す。すなわち、ｋ２の値がｋ１に比して大きいほど、付与されるノイズ除去処理の強度が小さく、ｋ１とｋ２の値の比が１に近いほど、付与されるノイズ除去処理の強度が大きいことを意味する。乗算器１１〜１３の係数ｋ１、ｋ２の値は２ＤＮＲ強度決定部４５により決定される。
【００２５】
３次元ノイズ除去部３０は、係数ｋ３を乗じる乗算器３３と、画像の動きを検出する動き判定部３５と、フレームメモリ３６とを備えている。３次元ノイズ除去部３０は、画像内の動きのない領域に対してのみ、３次元ノイズ除去処理を実施する。３次元ノイズ除去部３０は、現在入力したフレームの画素と、フレームメモリ３６により与えられる、その１つ前のフレームの画素との差分を計算し、その差分に乗算器３３により係数ｋ３を乗算する。そして、３次元ノイズ除去部３０は、係数ｋ３が乗じられた差分の値を、入力した画素値から減算することで、ノイズ除去を実施する。このようなノイズ除去方法は、画像内に発生した時間的ノイズを除去するための一般的な手法である。
【００２６】
ブロック境界検出部４１はブロックの境界を検出する。ブロックノイズ判定部４３は、ブロック境界検出部４１による検出結果を受けて、ブロックの境界であることが検出されたときに、そのブロック境界におけるブロックノイズの量を判定（検出）する。本実施形態では、図２に示すように、ブロックノイズ判定部４３はブロック境界の前後の画素値の差分をブロックノイズ（ｂｎ）として算出する。２ＤＮＲ強度決定部４５は、ブロックノイズ判定部４３により判定されたブロックノイズの大きさに応じて係数ｋ１、ｋ２の値を決定する。表１は、２ＤＮＲ強度決定部４５により決定される係数ｋ１、ｋ２の値を示したものである。表１の例では、２ＤＮＲの強度を４段階（強、中、弱、ＯＦＦ）に設定し、それぞれの段階で係数ｋ１、ｋ２の値を設定している。
【表１】
2008283341.tif 000003
【００２７】
３ＤＮＲ強度決定部４７は、２ＤＮＲ強度決定部４５による決定結果に基づき３次元ノイズ除去部３０のノイズ除去の強度を決定する。３次元ノイズ除去部３０におけるノイズ除去の強度は、係数ｋ３と、動き判定部３５における閾値ｍとにより決定される。
【００２８】
３次元ノイズ除去部３０の動き判定部３５は、動きが大きい画像に対しては３ＤＮＲを行わないようにするために、動きの量を判定するものである。具体的には、動き判定部３５は、フレーム間の画素値の差分と閾値ｍを比較し、その差分が閾値ｍより大きいときは、その画素に対しては３ＤＮＲを行わないようにスイッチ３７をオフする。よって、この閾値ｍの値を大きくすることで、３ＤＮＲが実施される頻度が高くなる。すなわち、３ＤＮＲをより強力に実施させたいときには、閾値ｍの値を大きくすればよい。
【００２９】
表２は、３ＤＮＲ強度決定部４７により決定される係数ｋ３と閾値ｍの値を示したものである。表２の例では、３ＤＮＲの強度を４段階（強、中、弱、ＯＦＦ）に設定し、それぞれの段階で係数ｋ３、ｍの値を設定している。なお、表２では、ｋ３とｍの２つのパラメータを変化させることで、３次元ノイズ除去の強度を変化させているが、ｋ３とｍのいずれかのパラメータのみを変化させることで、３次元ノイズ除去の強度を変化させてもよい。
【表２】
2008283341.tif 000004
【００３０】
ところで、背景技術で述べたように、ブロックノイズを除去するため２ＤＮＲを強くかけると、高域が劣化した映像になり、このような映像に対して動き検出感度が低くなる。これにより、３ＤＮＲが強く処理される傾向となり、残像ノイズがよりでやすくなるという課題があった。本発明では、この課題を解決すべく、３ＤＮＲの強度を２ＤＮＲの強度に応じて決定する。
【００３１】
具体的には、２ＤＮＲの強度を強くして２ＤＮＲを実施する場合は、３ＤＮＲの強度を弱くする。これにより、２ＤＮＲ実施後の高域が劣化した映像に対して３ＤＮＲを強く実施されることがなくなり、残像ノイズの発生を抑制できる。一方、２ＤＮＲの強度を弱くして２ＤＮＲを実施する場合は、３ＤＮＲの強度を強くして３ＤＮＲを実施する。これにより、２ＤＮＲの実施後であっても、高域があまり劣化されない映像に対しては、３ＤＮＲが強く実施され、パルシングノイズを除去できる。
【００３２】
表３は、本実施形態における、ブロックノイズに対する２次元ノイズ除去強度と３次元ノイズ除去強度の関係を示した図である。
【表３】
2008283341.tif 000005
【００３３】
同表に示すように、ブロックノイズ（ｂｎ）が小さいほど、２ＤＮＲの強度を弱くするとともに、３ＤＮＲの強度は強くする。一方、ブロックノイズ（ｂｎ）が大きいほど、２ＤＮＲの強度を強くするとともに、３ＤＮＲの強度を弱くする。このように、ブロックノイズに応じてノイズ除去の強度を変化させる場合に、その強度を２ＤＮＲの場合と３ＤＮＲの場合とで反対方向に変化させる。これにより、２ＤＮＲ実施後の高域が劣化した映像に対して３ＤＮＲを強く実施することによる残像ノイズの発生を抑制でき、高域が劣化していない場合にのみ、有効に３ＤＮＲを実施し、パルシングノイズを除去することができ、視認性上優れたノイズ除去が実現できる。
【産業上の利用可能性】
【００３４】
本発明にかかるノイズ除去装置およびノイズ除去方法は、３ＤＮＲのノイズ除去強度を２ＤＮＲのノイズ除去強度にしたがって従って制御し、視認性上優れたノイズ除去が実現できるため、高画質な記録再生が必要な録画再生装置、あるいは、限られた伝送レートの伝送路においても高画質な映像を伝送して再生するといった用途に適用できる。
【図面の簡単な説明】
【００３５】
【図１】本発明の実施の形態のノイズ除去装置の構成を示すブロック図
【図２】ブロックノイズを説明するための図
【符号の説明】
【００３６】
５  ＭＰＥＧデコーダ
１０  ２次元ノイズ除去部
３０  ３次元ノイズ除去部
３５  動き判定部
３６  フレームメモリ
４１  ブロック境界検出部
４３  ブロックノイズ判定部
４５  ２ＤＮＲ強度決定部
４７  ３ＤＮＲ強度決定部
【図１】
2008283341.tif 000006
【図２】
2008283341.tif 000007