(57)【要約】【課題】簡略なハードウェア構成で、効果的に映像信号のノイズを低減する。【解決手段】複数の画素により構成される映像に含まれるノイズを低減する方法を提供する。この方法では、補正対象画素ｂの画素値ｂを補正するために、当該補正対象画素ｂを中心として水平方向に隣接する複数の画素の画素値ａおよびｃを用いて、水平方向に沿ったフィルタリング処理を行う。水平方向以外の方向に沿ったフィルタリング処理は省く。フィルタリング処理に先立って、フィルタリング処理に用いる画素値のうち、当該画素値と補正対象画素の画素値との差の絶対値が所定のしきい値以上である画素値については、その画素値を前記補正対象画素の画素値で置き換えておく。【選択図】        図２
2004289497.tif 000002
【特許請求の範囲】
【請求項１】
複数の画素により構成される映像に含まれるノイズを低減する方法であって、
補正対象画素の画素値を補正するために、当該補正対象画素を中心として所定の方向に隣接する複数の画素の画素値を用いて、前記所定の方向に沿ったフィルタリング処理を行い、その他の方向に沿ったフィルタリング処理を省くことを特徴とするノイズ低減方法。
【請求項２】
前記フィルタリング処理に先立って、前記フィルタリング処理に用いる画素値のうち、当該画素値と前記補正対象画素の画素値との差の絶対値が所定のしきい値以上である画素値については、その画素値を前記補正対象画素の画素値で置き換えることを特徴とする請求項１に記載のノイズ低減方法。
【請求項３】
前記補正対象画素の画素値を補正するために、前記所定の方向に沿ったフィルタリング処理を複数回行い、
前記フィルタリング処理の回数が進むにつれて、より広い領域の画素の画素値を用いて前記フィルタリング処理を行うことを特徴とする請求項１または２に記載のノイズ低減方法。
【請求項４】
複数の画素により構成される映像に含まれるノイズを低減するためのノイズ低減装置であって、
補正対象画素の画素値を補正するために、当該補正対象画素を中心として所定の方向に隣接する複数の画素の画素値を用いて、前記所定の方向に沿ったフィルタリング処理を行うノイズ低減部を備え、
前記ノイズ低減部は、前記所定の方向のみに沿ったフィルタリング処理を行い、その他の方向に沿ったフィルタリング処理を省くことを特徴とするノイズ低減装置。
【請求項５】
前記ノイズ低減部は、前記フィルタリング処理に先立って、前記フィルタリング処理に用いる画素値のうち、当該画素値と前記補正対象画素の画素値との差の絶対値が所定のしきい値以上である画素値については、その画素値を前記補正対象画素の画素値で置き換えることを特徴とする請求項４に記載のノイズ低減装置。
【請求項６】
前記補正対象画素の画素値を補正するために、前記所定の方向に沿ったフィルタリング処理を複数回行うべく、複数の前記ノイズ低減部を備え、
より後段に置かれた前記ノイズ低減部において、より広い領域の画素の画素値を用いた前記フィルタリング処理が行われることを特徴とする請求項４または５に記載のノイズ低減装置。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、ノイズ低減技術に関し、とくに、複数の画素により構成される映像に含まれるノイズを低減する方法および装置に関する。
【０００２】
【従来の技術】
インターネットの急速な普及に伴い、膨大なデータがネットワークを介してやり取りされるようになった。インフラの整備が進み、静止画や動画など、データサイズの大きな映像データを高速に伝送することが可能になってきている。現状では、映像データは、ＪＰＥＧ（Ｊｏｉｎｔ  Ｐｉｃｔｕｒｅ  Ｅｘｐｅｒｔ  Ｇｒｏｕｐ）やＭＰＥＧ（Ｍｏｖｉｎｇ  Ｐｉｃｔｕｒｅ  Ｅｘｐｅｒｔ  Ｇｒｏｕｐ）などの方式で圧縮して伝送するのが一般的である。
【０００３】
ＪＰＥＧやＭＰＥＧ等の圧縮方式において、圧縮率を高くした場合、高周波成分を含んだ映像や、エッジ近辺の濃度の平坦な領域に、モスキートノイズと呼ばれるノイズが発生することがある。従来から、このようなモスキートノイズを低減する技術が提案されている（たとえば、特許文献１参照）。
【０００４】
【特許文献１】
特開平８−１４９４７１号公報
【特許文献２】
特開２００１−２４５１７９号公報
【０００５】
【発明が解決しようとする課題】
装置の小型化、軽量化、低コスト化、などの観点からは、ノイズ低減のためのハードウェア構成をできる限り簡略化することが望ましい。十分なノイズ低減効果を担保しつつ、ハードウェア構成を最小限に抑える技術の開発は、今後も続けられるべきである。
【０００６】
本発明はこうした状況に鑑みてなされたものであり、その目的は、ノイズを低減するためのハードウェア構成を低減する技術の提供にある。本発明の別の目的は、効果的にノイズを低減する技術の提供にある。
【０００７】
【課題を解決するための手段】
本発明のある態様は、ノイズ低減方法に関する。このノイズ低減方法は、複数の画素により構成される映像に含まれるノイズを低減する方法であって、補正対象画素の画素値を補正するために、当該補正対象画素を中心として所定の方向に隣接する複数の画素の画素値を用いて、所定の方向に沿ったフィルタリング処理を行い、その他の方向に沿ったフィルタリング処理を省くことを特徴とする。フィルタリング処理を行う方向を限定することにより、回路規模を抑え、装置の小型化、軽量化、低コスト化に寄与することができる。
【０００８】
フィルタリング処理に先立って、フィルタリング処理に用いる画素値のうち、当該画素値と補正対象画素の画素値との差の絶対値が所定のしきい値以上である画素値については、その画素値を補正対象画素の画素値で置き換えてもよい。これにより、エッジ部分を保存し、輪郭がぼやける現象を抑制することができる。
【０００９】
補正対象画素の画素値を補正するために、所定の方向に沿ったフィルタリング処理を複数回行い、フィルタリング処理の回数が進むにつれて、より広い領域の画素の画素値を用いてフィルタリング処理を行ってもよい。前段のフィルタリング処理により補正された画素値を用いて、より広い領域でフィルタリング処理を行うことにより、より効果的にノイズを低減することができる。
【００１０】
本発明の別の態様は、ノイズ低減装置に関する。このノイズ低減装置は、複数の画素により構成される映像に含まれるノイズを低減するためのノイズ低減装置であって、補正対象画素の画素値を補正するために、当該補正対象画素を中心として所定の方向に隣接する複数の画素の画素値を用いて、所定の方向に沿ったフィルタリング処理を行うノイズ低減部を備え、ノイズ低減部は、所定の方向のみに沿ったフィルタリング処理を行い、その他の方向に沿ったフィルタリング処理を省くことを特徴とする。
【００１１】
ノイズ低減部は、所定のタップ長を有するデジタルフィルタにより実現されてもよい。フィルタ係数は、補正対象画素に近いほど重みが大きくなるように設定されてもよい。
【００１２】
ノイズ低減部は、フィルタリング処理に先立って、フィルタリング処理に用いる画素値のうち、当該画素値と補正対象画素の画素値との差の絶対値が所定のしきい値以上である画素値については、その画素値を補正対象画素の画素値で置き換えてもよい。補正対象画素の画素値を補正するために、所定の方向に沿ったフィルタリング処理を複数回行うべく、複数のノイズ低減部を備え、より後段のノイズ低減部において、より広い領域の画素の画素値を用いたフィルタリング処理が行われてもよい。
【００１３】
なお、以上の構成要素の任意の組合せ、本発明の表現を方法、装置、システム、記録媒体、コンピュータプログラムなどの間で変換したものもまた、本発明の態様として有効である。
【００１４】
【発明の実施の形態】
（第１の実施の形態）
図１は、実施の形態に係るノイズ低減装置１０の構成を示す。ノイズ低減装置１０は、ＭＰＥＧ形式で符号化された映像信号をデコードするＭＰＥＧデコーダ２０と、デコードされた映像信号のノイズを低減するためのフィルタリング処理を行うノイズ低減部３０とを備える。これらの構成は、ハードウエア的には、任意のコンピュータのＣＰＵ、メモリ、その他のＬＳＩで実現でき、ソフトウエア的にはメモリにロードされたプログラムなどによって実現されるが、ここではそれらの連携によって実現される機能ブロックを描いている。したがって、これらの機能ブロックがハードウエアのみ、ソフトウエアのみ、またはそれらの組合せによっていろいろな形で実現できることは、当業者には理解されるところである。
【００１５】
ＭＰＥＧデコーダ２０に、ＭＰＥＧ形式で符号化された映像信号が入力されると、ＭＰＥＧデコーダ２０は、この映像信号を、たとえば８×８画素の大きさのブロック単位でデコードし、復号映像を得る。このとき、前述のように、モスキートノイズなどのノイズが発生する可能性があるので、ノイズ低減処理を施すべく、復号映像をノイズ低減部３０に出力する。
【００１６】
ノイズ低減部３０は、入力された映像信号に対して、水平ライン方向にフィルタリング処理を施し、映像信号のノイズを低減する。本実施の形態では、ノイズ低減部３０の回路規模の増大を抑えるため、水平方向にのみフィルタリング処理を行い、垂直方向には行わない。ノイズ低減部３０は、垂直方向のみにフィルタリング処理を行ってもよく、その場合、水平方向にはフィルタリング処理を行わない。つまり、所定の１次元方向にのみフィルタリング処理を施す。これにより、回路規模を縮小し、装置の小型化やコスト低減に寄与することができる。
【００１７】
ノイズ低減部３０は、ある画素の画素値を補正する際に、その補正対象画素を中心として水平方向に隣接する複数の画素の画素値を用いて、デジタルフィルタリング処理を行う。ここで、エッジ部分を単純に平滑化してしまうと、エッジがぼやける現象が発生する可能性がある。本実施の形態のノイズ低減部３０は、このような現象の発生を抑えるために、単に平滑化のためのフィルタリング処理を行うのではなく、フィルタリング処理に用いる画素の画素値が補正対象画素の画素値から所定のしきい値以上外れている場合、その画素値を補正対象画素の画素値に置き換えてからフィルタリング処理を行う。すなわち、近接する画素の画素値が所定のしきい値以上異なる場合は、エッジ部分であると判断して、エッジが保存されるように前処理を行う。これにより、フィルタリング処理によりエッジ部分がぼやける現象を抑えることができる。
【００１８】
図２は、３タップフィルタによるノイズ低減処理について説明するための図である。この例では、たとえば、補正対象画素ｂの画素値ｂを補正するときに、左右に隣接する画素の画素値ａおよびｃと、自身の画素値ｂとを用いて、（１  ２１）／４の３タップフィルタによりフィルタリング処理を行う。図２には、このフィルタをソフトウェアにより実現した場合のプログラムのソースコードが示される。まず、補正後の画素値ｂ’を算出するための変数「ｆｌｔ＿ｖａｌ」が０に初期化される。つづいて、参照画素ａについて、その画素値ａと補正対象画素ｂの画素値ｂとの差の絶対値が、所定のしきい値ＴＨ３よりも小さければ、ａにフィルタ計数１を乗じた値を「ｆｌｔ＿ｖａｌ」に加算し、差の絶対値がしきい値ＴＨ３よりも小さければ、ａの画素値をｂに置き換え、ｂにフィルタ計数１を乗じた値を「ｆｌｔ＿ｖａｌ」に加算する。つづいて、補正対象画素ｂの画素値ｂにフィルタ計数２を乗じた値を「ｆｌｔ＿ｖａｌ」に加算する。つづいて、参照画素ｃについて、その画素値ｃと補正対象画素ｂの画素値ｂとの差の絶対値が、所定のしきい値ＴＨ３よりも小さければ、ｃにフィルタ計数１を乗じた値を「ｆｌｔ＿ｖａｌ」に加算し、差の絶対値がしきい値ＴＨ３よりも小さければ、ｃの画素値をｂに置き換え、ｂにフィルタ計数１を乗じた値を「ｆｌｔ＿ｖａｌ」に加算する。こうして、補正対象画素ｂを中心とした３画素の画素値を、補正対象画素に近いほど重みが大きくなるように設定されたフィルタ係数により加重加算した値が「ｆｌｔ＿ｖａｌ」に代入される。最後に、「ｆｌｔ＿ｖａｌ」の値を４で除して、補正対象画素ｂの補正後の画素値ｂ’を得る。ここで、図２に示したソースコードでは、まず「ｆｌｔ＿ｖａｌ」に２を加えてから４で除しているが、これは、除算結果を四捨五入するための処理である。
【００１９】
図３は、図２に示したノイズ低減処理をハードウェアにより実現したノイズ低減部３０の回路構成を示す。ノイズ低減部３０は、入力される画素値を１クロック分遅延させる遅延回路３２Ａおよび３２Ｂと、入力された２つの画素値の差を算出し、その差に基づいてスイッチ３６に切替信号を出力する差分計算回路３４Ａおよび３４Ｂと、差分計算回路３４から供給された切替信号に基づいてフィルタ回路３８に供給する画素値を切り替えるスイッチ３６Ａおよび３６Ｂと、入力された画素値に対してデジタルフィルタリング処理を行うフィルタ回路３８とを含む。
【００２０】
図３に示した例において、差分計算回路３４Ａは、補正対象画素ｂの画素値ｂと参照画素ｃの画素値ｃの差を算出し、その差の絶対値が所定のしきい値ＴＨ３よりも小さければ、スイッチ３６Ａに、画素値ｃを選択すべき旨の切替信号を出力し、その差の絶対値が所定のしきい値ＴＨ３よりも大きければ、スイッチ３６Ａに、画素値ｂを選択すべき旨の切替信号を出力する。差分計算回路３４Ｂは、補正対象画素ｂの画素値ｂと参照画素ａの画素値ａについて、同様の処理を行う。スイッチ３６Ａは、差分計算回路３４Ａから供給される切替信号に基づいて、フィルタ回路３８に画素値ａまたは画素値ｂを切り替えて供給する。スイッチ３６Ｂも同様に、差分計算回路３４Ｂから供給される切替信号に基づいて、フィルタ回路３８に画素値ｃまたは画素値ｂを切り替えて供給する。フィルタ回路３８は、（１  ２  １）／４の３タップフィルタであり、入力された３つの画素値に対してフィルタリング処理を行い、補正後の画素値ｂ’を出力する。
【００２１】
図４は、７タップフィルタによるノイズ低減処理について説明するための図である。この例では、たとえば、補正対象画素ｄの画素値を補正するときに、左右に隣接する３画素ずつの画素値ａ、ｂ、ｃ、ｅ、ｆ、およびｇと、自身の画素値ｄとを用いて、（１  ２  ３  ４  ３  ２  １）／１６の７タップフィルタによりフィルタリング処理を行う。図４には、このフィルタをソフトウェアにより実現した場合のプログラムのソースコードが示される。処理の流れは、図２に示した３タップフィルタの場合と同様である。
【００２２】
図５は、図４に示したノイズ低減処理をハードウェアにより実現したノイズ低減部３０の回路構成を示す。ノイズ低減部３０の各構成の動作は、図３に示した３タップフィルタの場合と同様である。図５の例では、フィルタ回路３８は、（１  ２  ３  ４  ３  ２  １）／１６の７タップフィルタであり、入力された７つの画素値に対してフィルタリング処理を行い、補正後の画素値ｄ’を出力する。
【００２３】
上述したように、本実施の形態のノイズ低減部によれば、１次元方向のみにフィルタリング処理を行うので、ハードウェアの構成を簡略化することができ、また、処理時間を短縮することができる。また、フィルタリング処理に先立って、エッジ強調のための補正処理を行うので、輪郭を保存しつつ、ノイズを低減することができる。
【００２４】
（第２の実施の形態）
第１の実施の形態では、水平方向に１回のフィルタリング処理を行うノイズ低減方法について説明したが、本実施の形態では、水平方向に２回のフィルタリング処理を行う。すなわち、補正対象画素の画素値を補正するときに、まず、補正対象画素を中心とする狭い領域の画素を用いてフィルタリング処理を行い、つづいて、補正対象画素の画素値をフィルタリング処理により補正された補正後の画素値に置き換え、補正対象画素を中心としたより広い領域の画素を用いてフィルタリングを行う。これにより、さらに効果的にノイズを低減することができる。
【００２５】
図６は、複数段のフィルタによるノイズ低減処理について説明するための図である。図６に示した例では、３タップフィルタと７タップフィルタによる２段階のノイズ低減処理を行う。たとえば、補正対象画素ｄの画素値を補正するときに、まず、左右に隣接する画素の画素値ｃおよびｅと、自身の画素値ｄとを用いて、（１  ２  １）／４の３タップフィルタによりフィルタリング処理を行う。そして、フィルタリング処理により補正された画素値ｄ’と、左右に隣接する３画素ずつの画素値ａ、ｂ、ｃ、ｅ、ｆ、およびｇとを用いて、（１  ２  ３  ４  ３  ２  １）／１６の７タップフィルタによりフィルタリング処理を行う。
【００２６】
図６に示したノイズ低減処理をハードウェアにより実現する場合、図３に示した３タップフィルタによるノイズ低減回路と、図５に示した７タップフィルタによるノイズ低減回路を組み合わせればよい。すなわち、図３に示したノイズ低減回路が画素ｄの補正後の画素値ｄ’を算出したときに、補正後の画素値ｄ’が図５に示したノイズ低減回路に画素値ｄとして入力されるように、両者を接続すればよい。図６には、２回のフィルタリング処理を行う例について説明したが、フィルタリング処理を３回以上行ってもよい。フィルタリング処理の回数は、処理すべき画像に応じて可変に制御されてもよい。
【００２７】
以上、本発明を実施の形態をもとに説明した。この実施の形態は例示であり、それらの各構成要素や各処理プロセスの組合せにいろいろな変形例が可能なこと、またそうした変形例も本発明の範囲にあることは当業者に理解されるところである。
【００２８】
実施の形態では、３タップフィルタと７タップフィルタを用いた例について説明したが、フィルタのタップ長は任意でよく、装置の仕様や処理すべき画像の種類などに応じて定められてもよい。フィルタのタップ長は、処理すべき画像に応じて可変に制御されてもよい。
【００２９】
【発明の効果】
本発明によれば、簡略な構成で、効果的に映像信号のノイズを低減する技術を提供することができる。
【図面の簡単な説明】
【図１】実施の形態に係るノイズ低減装置の構成を示す図である。
【図２】３タップフィルタによるノイズ低減処理について説明するための図である。
【図３】図２に示したノイズ低減処理をハードウェアにより実現したノイズ低減部の回路構成を示す図である。
【図４】７タップフィルタによるノイズ低減処理について説明するための図である。
【図５】図４に示したノイズ低減処理をハードウェアにより実現したノイズ低減部の回路構成を示す図である。
【図６】複数段のフィルタによるノイズ低減処理について説明するための図である。
【符号の説明】
１０  ノイズ低減装置、  ２０  ＭＰＥＧデコーダ、  ３０  ノイズ低減部、３２  遅延回路、  ３４  差分計算回路、  ３６  スイッチ、  ３８  フィルタ回路。
【図１】
2004289497.tif 000003
【図２】
2004289497.tif 000004
【図３】
2004289497.tif 000005
【図４】
2004289497.tif 000006
【図５】
2004289497.tif 000007
【図６】
2004289497.tif 000008