(57)【要約】【課題】テクスチャ部を損なわずに、エッジ部に発生するモスキートノイズを効果的に十分に除去する。【解決手段】エッジ検出部１は、例えば、画像信号を一次微分することにより、エッジ検出信号を求め、フィルタ部２に供給する。フィルタ部２は、エッジ検出信号を平滑化し、平滑化信号を変化検出部３に出力する。変化検出部３は、平滑化信号の変化量を求め、その変化量を、画像のエッジの程度を表すエッジ信号として、ノイズ除去フィルタ部４に供給する。ノイズ除去フィルタ部４は、エッジ信号に基づいて、画像信号からエッジ部に生じているモスキートノイズを除去する。本発明は、例えば、画像からモスキートノイズを除去するノイズ除去装置に適用できる。【選択図】      図２
2004336651.tif 000002
【特許請求の範囲】
【請求項１】
画像信号を処理する信号処理装置において、
前記画像信号からエッジを検出し、その検出結果を表すエッジ検出信号を出力するエッジ検出手段と、
前記エッジ検出信号を平滑化する平滑化手段と、
前記平滑化手段において平滑化された前記エッジ検出信号の変化量を求め、その変化量を、前記画像信号におけるエッジの程度を表すエッジ信号として出力する変化量算出手段と
を備えることを特徴とする信号処理装置。
【請求項２】
前記エッジ信号に基づいて、前記画像信号からノイズを除去するノイズ除去手段をさらに備える
ことを特徴とする請求項１に記載の信号処理装置。
【請求項３】
画像信号を処理する信号処理方法において、
前記画像信号からエッジを検出し、その検出結果を表すエッジ検出信号を出力するエッジ検出ステップと、
前記エッジ検出信号を平滑化する平滑化ステップと、
前記平滑化ステップにおいて平滑化された前記エッジ検出信号の変化量を求め、その変化量を、前記画像信号におけるエッジの程度を表すエッジ信号として出力する変化量算出ステップと
を含むことを特徴とする信号処理方法。
【請求項４】
画像信号を、コンピュータに処理させるプログラムにおいて、
前記画像信号からエッジを検出し、その検出結果を表すエッジ検出信号を出力するエッジ検出ステップと、
前記エッジ検出信号を平滑化する平滑化ステップと、
前記平滑化ステップにおいて平滑化された前記エッジ検出信号の変化量を求め、その変化量を、前記画像信号におけるエッジの程度を表すエッジ信号として出力する変化量算出ステップと
を含むことを特徴とするプログラム。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、信号処理装置および方法、並びにプログラムに関し、特に、例えば、画像におけるエッジ部とテクスチャ部とを精度良く区別し、テクスチャ部の画質を損なわずに、エッジ部に発生する圧縮ノイズ（モスキートノイズ）を効果的に十分に除去できるようにした信号処理装置および方法、並びにプログラムに関する。
【０００２】
【従来の技術】
例えば、ＭＰＥＧ（Ｍｏｖｉｎｇ  Ｐｉｃｔｕｒｅ  Ｅｘｐｅｒｔｓ  Ｇｒｏｕｐ）などにおいては、画像信号をブロック化し、各ブロックをＤＣＴ（Ｄｉｓｃｒｅｔｅ  Ｃｏｓｉｎｅ  Ｔｒａｎｓｆｏｒｍ）処理する。このため、ＭＰＥＧエンコードされた画像信号をデコードすると、そのデコード画像においては、原理的に、エッジ周辺部に、モスキートノイズが発生する。モスキートノイズは、画像のエッジ周辺部に現れるため、モスキートノイズを除去するには、画像からエッジ部を検出する必要がある。
【０００３】
このため、モスキートノイズを除去する、従来のノイズ除去装置では、例えば、単なる一次微分や二次微分によるエッジ検出や、ソーベルオペレータを用いたソーベルフィルタなどによるエッジ検出が行われている（例えば、特許文献１）。
【０００４】
図１は、ある画像５１のある水平ラインの画素値を、横軸を画素の位置とするとともに、縦軸を画素値として示している。なお、図１（後述する図８においても同様）では、各画素の水平方向の中心位置に、各画素の画素値をプロットし、さらに、画素値の変化を明確にするため、隣接する画素の画素値（を表す点）を直線で結んである。また、図１では、その左側の画素から、１からのシーケンシャルな番号を付して、各画素を表してある。
【０００５】
画像５１は、画素♯１乃至画素♯１０からなる信号レベル（画素値）がほとんど変化しない平坦部ｂ、画素♯１１および♯１２からなる信号レベルが急に変化するエッジ本体部ａ、並びに画素♯１３乃至画素♯２１からなる有意なテクスチャ部（例えば、模様があるなどして、信号レベルの変化がある程度存在する部分）ｃを有している。
【０００６】
ここで有意なテクスチャ部ｃでは、平坦部ｂよりも信号レベルが大きく変化しているが、エッジ本体部ａにおける場合ほどは変化していない。
【０００７】
例えば、二次微分によるエッジ検出では、画像５１の二次微分が演算され、その結果得られる二次微分値を閾値処理することにより、エッジが検出される。
【０００８】
即ち、二次微分によるエッジ検出では、二次微分値の大きさ（絶対値）が、ある閾値より大の部分が検出され、その部分がエッジ部として検出される。
【０００９】
モスキートノイズは、エッジ本体部ａを含むその周辺であるエッジ部５３に生じるので、そのエッジ部５３をフィルタリングすることにより、モスキートノイズを除去（低減）することができる。
【００１０】
【特許文献１】
特開平７−２３１４５０号公報
【００１１】
【発明が解決しようとする課題】
ところで、図１において波形５２は、画像５１の二次微分値を示している。平坦部ｂでは、信号レベルの変化がほとんどないため、二次微分値５２の大きさは、小さくなる。これに対して、エッジ本体部ａや有意なテクスチャ部ｃでは、信号レベルの変化がある程度以上であるため、二次微分値５２の大きさは、大きくなる。
【００１２】
このため、二次微分値５２を閾値処理することによりエッジ検出を行う場合には、エッジ本体部ａのみならず有意なテクスチャ部ｃも、エッジとして検出され、エッジ本体部ａと有意なテクスチャ部ｃとを精度良く区別することができないことがあった。
【００１３】
さらに、その結果、モスキートノイズを除去するためのフィルタリング時に、エッジ本体部ａの他に、有意なテクスチャ部ｃもフィルタリングされ、有意なテクスチャ部ｃの画質の劣化が生じ、また、エッジ部５３に発生するモスキートノイズを効率的に除去することができないことがあった。
【００１４】
本発明はこのような状況に鑑みてなされたものであり、エッジ部と有意なテクスチャ部とを精度良く区別して、エッジ部を検出し、さらには、例えば、エッジ部に発生するモスキートノイズを効果的に十分に除去するようにすること等ができるようにするものである。
【００１５】
【課題を解決するための手段】
本発明の信号処理装置は、画像信号からエッジを検出し、その検出結果を表すエッジ検出信号を出力するエッジ検出手段と、エッジ検出信号を平滑化する平滑化手段と、平滑化手段において平滑化されたエッジ検出信号の変化量を求め、その変化量を、画像信号におけるエッジの程度を表すエッジ信号として出力する変化量算出手段とを備えることを特徴とする。
【００１６】
本発明の信号処理方法は、画像信号からエッジを検出し、その検出結果を表すエッジ検出信号を出力するエッジ検出ステップと、エッジ検出信号を平滑化する平滑化ステップと、平滑化ステップにおいて平滑化されたエッジ検出信号の変化量を求め、その変化量を、画像信号におけるエッジの程度を表すエッジ信号として出力する変化量算出ステップとを含むことを特徴とする。
【００１７】
本発明のプログラムは、画像信号からエッジを検出し、その検出結果を表すエッジ検出信号を出力するエッジ検出ステップと、エッジ検出信号を平滑化する平滑化ステップと、平滑化ステップにおいて平滑化されたエッジ検出信号の変化量を求め、その変化量を、画像信号におけるエッジの程度を表すエッジ信号として出力する変化量算出ステップとを含むことを特徴とする。
【００１８】
本発明の信号処理装置、信号処理方法、およびプログラムにおいては、画像信号からエッジを検出し、その検出結果を表すエッジ検出信号を出力し、エッジ検出信号を平滑化し、平滑化されたエッジ検出信号の変化量を求め、その変化量を、画像信号におけるエッジの程度を表すエッジ信号として出力する。
【００１９】
【発明の実施の形態】
以下に本発明の実施の形態を説明するが、請求項に記載の構成要件と、発明の実施の形態における具体例との対応関係を例示すると、次のようになる。この記載は、請求項に記載されている発明をサポートする具体例が、発明の実施の形態に記載されていることを確認するためのものである。従って、発明の実施の形態中には記載されているが、構成要件に対応するものとして、ここには記載されていない具体例があったとしても、そのことは、その具体例が、その構成要件に対応するものではないことを意味するものではない。逆に、具体例が構成要件に対応するものとしてここに記載されていたとしても、そのことは、その具体例が、その構成要件以外の構成要件には対応しないものであることを意味するものでもない。
【００２０】
さらに、この記載は、発明の実施の形態に記載されている具体例に対応する発明が、請求項に全て記載されていることを意味するものではない。換言すれば、この記載は、発明の実施の形態に記載されている具体例に対応する発明であって、この出願の請求項には記載されていない発明の存在、すなわち、将来、分割出願されたり、補正により追加される発明の存在を否定するものではない。
【００２１】
請求項１に記載の信号処理装置は、画像信号からエッジを検出し、その検出結果を表すエッジ検出信号を出力するエッジ検出手段（例えば、図２のエッジ検出部１）と、エッジ検出信号を平滑化する平滑化手段（例えば、図２のフィルタ部２）と、平滑化手段において平滑化されたエッジ検出信号の変化量を求め、その変化量を、画像信号におけるエッジの程度を表すエッジ信号として出力する変化量算出手段（例えば、図２の変化検出部３）とを備えることを特徴とする。
【００２２】
請求項２に記載の信号処理方法は、エッジ信号に基づいて、画像信号からノイズを除去するノイズ除去手段（例えば、図２のノイズ除去フィルタ部４）をさらに備えることを特徴とする。
【００２３】
図２は、本発明を適用したノイズ除去装置の一実施の形態の構成例を示すブロック図である。ノイズ除去装置は、エッジ検出部１、フィルタ部２、変化検出部３、およびノイズ除去フィルタ部４から構成される。
【００２４】
エッジ検出部１には、入力信号としての、例えばＭＰＥＧデコードされた画像信号が入力され、エッジ検出部１は、入力信号としての画像信号からエッジを検出し、フィルタ部２に、そのエッジの検出結果を表すエッジ検出信号を出力するようになされている。なお、エッジ検出部１としては、例えば、一次微分や二次微分、ソーベルオペレータによるエッジ検出を行う従来のエッジ検出装置その他を利用することができる。
【００２５】
フィルタ部２は、エッジ検出部１から出力されるエッジ検出信号を平滑化し、その平滑化結果としての平滑化信号を変化検出部３に出力するようになされている。なお、フィルタ部２は、例えば、ＬＰＦ（Ｌｏｗ  Ｐａｓｓ  Ｆｉｌｔｅｒ）で構成することができる。
【００２６】
変化検出部３は、フィルタ部２から出力される平滑化信号の変化量を検出し、その変化量を、入力信号としての画像信号におけるエッジの程度を表すエッジ信号として、ノイズ除去フィルタ部４に出力するようになされている。
【００２７】
ノイズ除去フィルタ部４には、変化検出部３から出力されるエッジ信号の他、入力信号としての画像信号が入力される。ノイズ除去フィルタ部４は、変化検出部３からのエッジ信号に基づいて所定の演算を行い、これにより、画像信号からモスキートノイズを除去し、出力信号としての画像信号を出力するようになされている。
【００２８】
図３は、図２のノイズ除去装置の処理（画像処理）を説明するフローチャートである。
【００２９】
図２のノイズ除去装置には、例えば、ＭＰＥＧデコードされた画像信号が入力信号として供給され、その画像信号は、エッジ検出部１とノイズ除去フィルタ部４に供給される。図３の画像処理は、入力信号としての画像信号が、エッジ検出部１とノイズ除去フィルタ部４に供給されると開始される。
【００３０】
ステップＳ１において、エッジ検出部１は、そこに供給される画像信号からエッジ検出を行い、そのエッジ検出結果としてのエッジ検出信号を、フィルタ部２に出力し、ステップＳ２に進む。
【００３１】
ステップＳ２において、フィルタ部２は、エッジ検出部１から供給されるエッジ検出信号を、例えばＬＰＦによってフィルタリングすることにより平滑化し、その結果得られる平滑化信号を変化検出器３に出力して、ステップＳ３に進む。
【００３２】
ステップＳ３において、変化検出部３は、フィルタ部２から供給される平滑化信号の変化量を算出し、その変化量をエッジ信号として、ノイズ除去フィルタ部６に出力して、ステップＳ４に進む。ここで、平滑化信号の変化量としては、例えば、その平滑化信号の分散を採用することができる。変化検出部３は、入力信号である画像信号を構成する各画素について、その画素に対応する平滑化信号の分散を求め、エッジ信号として出力する。
【００３３】
ステップＳ４において、ノイズ除去フィルタ部４は、そこに供給される入力信号としての画像信号と変化検出部３により出力されたエッジ信号に基づいて所定の演算を行い、その演算結果をモスキートノイズを除去した画像信号として出力する。そして、ステップＳ４からＳ１に戻り、以下、同様の処理が繰り返される。
【００３４】
なお、図３の処理は、ノイズ除去装置に供給される画像信号を構成する各画素を、例えばラスタスキャン順に、順次、注目画素として、その注目画素を対象に行われ、ノイズ除去装置に画像信号が供給されなくなると、終了する。
【００３５】
図４は、図２のノイズ除去装置で処理される信号の波形を模式的に示している。
【００３６】
波形（画像信号）Ｔ１は、入力信号としての画像信号におけるある水平ラインの信号波形（各画素の画素値）を示している。図４において波形Ｔ１は、ａで示されるエッジ本体部、ｂで示される平坦部、ｃで示される有意なテクスチャ部、およびｄで示されるエッジ周辺部（エッジ本体部ａの境界周辺）を有している。モスキートノイズは、エッジ部、特に、エッジ周辺部ｄに発生する。
【００３７】
波形Ｔ２およびＴ３は、エッジ検出部１による画像信号Ｔ１を対象としたエッジ検出結果としての信号波形を示している。即ち、いま、エッジ検出部１が、画像信号Ｔ１を一次微分し、その一次微分結果の絶対値を、エッジ検出信号として出力するものとすると、波形Ｔ２は、波形Ｔ１の一次微分結果を示し、波形Ｔ３は、波形Ｔ２の絶対値であるエッジ検出信号を示す。エッジ検出信号Ｔ３は、平坦部ｂでは小さな振幅となるが、エッジ本体部ａおよびエッジ周辺部ｄ、さらには有意なテクスチャ部ｃでも大きな振幅となる。このため、例えば、エッジ検出信号Ｔ３だけによってエッジ部を検出するとすれば、エッジ本体部ａおよびエッジ周辺部ｄの他、有意なテクスチャ部ｃも、エッジ部として検出されるおそれがある。
【００３８】
波形Ｔ４は、フィルタ部２においてエッジ検出信号Ｔ３を平滑化することにより得られる平滑化信号の波形を示している。フィルタ部２では、エッジ検出信号Ｔ３から高周波成分が除去される。従って、エッジ本体部ａおよびエッジ周辺部ｄでは、エッジ検出信号Ｔ３の振幅が大であるため、平滑化信号Ｔ４は、ある程度大きな変化を有するものとなる。また、有意なテクスチャ部ｃでは、エッジ検出信号Ｔ３の振幅は、エッジ本体部ａおよびエッジ周辺部ｄほど大ではないため、平滑化信号Ｔ４は、それほど大きく変化しないものとなる。なお、平坦部ｂでは、平滑化信号Ｔ４は、ほとんど変化がないものとなる。
【００３９】
波形Ｔ５は、変化検出部３において求められる平滑化信号Ｔ４の変化量としての、例えば分散の波形、即ち、エッジ信号を示している。エッジ信号Ｔ５は、平滑化信号Ｔ４の変化量であるから、平滑化信号Ｔ４がほとんど変化しない平坦部ｂや、それほど大きく変化しない有意なテクスチャ部ｃでは、０あるいは０に近い値となるが、平滑化信号Ｔ４がある程度大きく変化するエッジ本体部ａおよびエッジ周辺部ｄ、即ち、エッジ部では、大きな値となる。
【００４０】
エッジ検出信号Ｔ３は、上述したように、エッジ本体部ａおよびエッジ周辺部ｄだけでなく、テクスチャ部ｃでも、ある程度大きな値となるため、エッジ検出信号Ｔ３によって、画像信号Ｔ１におけるエッジ部を判断したのでは、エッジ本体部ａおよびエッジ周辺部ｄだけでなく、テクスチャ部ｃも、誤って、エッジと判断されることになる。
【００４１】
これに対して、エッジ信号Ｔ５では、エッジ本体部ａおよびエッジ周辺部ｄでのみ大きな値となり、テクスチャ部ｃでは小さな値となる。従って、エッジ信号Ｔ５に基づき、画像信号Ｔ１におけるエッジ部を判断することにより、エッジ部であるエッジ本体部ａおよびエッジ周辺部ｄを、テクスチャ部ｃと明確に区別して、エッジ部を検出することができる。
【００４２】
図５は、図２のエッジ検出部１の構成例を示すブロック図である。エッジ検出部１は、例えば、水平エッジ検出部１１、比較部１２、および垂直エッジ検出部１３から構成されている。
【００４３】
水平エッジ検出部１１と垂直エッジ検出部１３には、入力信号としての画像信号が入力される。そして、水平エッジ検出部１１は、そこに入力される画像信号の水平方向のエッジ（水平エッジ）を検出し、その検出結果を表すエッジ検出信号（以下、適宜、水平エッジ検出信号という）を比較部１２に出力する。
【００４４】
一方、垂直エッジ検出部１３は、そこに入力される画像信号の垂直方向のエッジ（垂直エッジ）を検出し、その検出結果を表すエッジ検出信号（以下、適宜、垂直エッジ検出信号という）を比較部１２に出力する。
【００４５】
なお、水平エッジ検出部１１と垂直エッジ検出部１３は、画像信号を構成する各画素について、エッジ検出信号を出力する。
【００４６】
比較部１２は、画像信号を構成する各画素ごとに、水平エッジ検出部１１から供給される水平エッジ検出信号と、垂直エッジ検出部１３から供給される垂直エッジ検出信号を比較し、値の大きい方を、最終的なエッジ検出信号としてフィルタ部２に出力する。
【００４７】
なお、エッジ検出部１では、エッジを水平方向と垂直方向に分けずに、二次元フィルタ等によって検出することが可能である。
【００４８】
また、エッジ検出部１では、水平エッジ検出信号と垂直エッジ検出信号との合成値（例えば、平均値）などを、最終的なエッジ検出信号として採用することが可能である。
【００４９】
図６は、図５の水平エッジ検出部１１の構成例を示すブロック図である。水平エッジ検出部１１は、微分部２１と絶対値化部２２とから構成されている。
【００５０】
微分部２１は、そこに供給される画像信号を構成する画素を、例えばラスタスキャン順に、順次、注目画素とし、その注目画素における画素値の水平方向の微分値を求める。即ち、微分部２１は、例えば、注目画素とその左または右隣の画素との画素値の差分を演算し、その差分を、注目画素における水平方向の微分値として、絶対値化部２２に出力する。
【００５１】
絶対値化部２２は、微分部２１から出力される微分値の絶対値をとり、その絶対値を、水平エッジ検出信号として、図５の比較部１２に供給する。
【００５２】
なお、図５の垂直エッジ検出部１３も、図６の水平エッジ検出部１１と同様に構成される。但し、垂直エッジ検出部１３を構成する微分部２１は、注目画素における画素値の垂直方向の微分値を求め、絶対値化部２２に供給する。
【００５３】
また、図６の実施の形態では、一次微分によって、エッジ検出を行うようにしたが、エッジ検出は、その他、例えば、二次微分などによって行うことも可能である。
【００５４】
図７は、図２のフィルタ部２の構成例を示すブロック図である。フィルタ部２は、例えば、水平ローパスフィルタ部３１と垂直ローパスフィルタ部３２とから構成されている。
【００５５】
水平ローパスフィルタ部３１は、エッジ検出部１から供給されるエッジ検出信号の水平方向の高周波数成分をカットし、垂直ローパスフィルタ部３２に出力する。
【００５６】
垂直ローパスフィルタ部３２は、水平ローパスフィルタ部３１から出力された信号の垂直方向の高周波数成分をカットし、その結果得られる信号を、平滑化信号として変化検出部３に出力する。
【００５７】
以上のようにして、フィルタ部２では、エッジ検出信号を平滑化した平滑化信号が出力される。
【００５８】
なお、フィルタ部２は、例えば、水平方向と垂直方向の高周波数成分を同時にカットする二次元のローパスフィルタで構成することも可能である。
【００５９】
ここで、フィルタ部２において、エッジ検出信号の高周波数成分がカットされることにより、図４で説明した平滑化信号Ｔ４が得られる。
【００６０】
即ち、エッジ検出信号Ｔ３（図４）は、エッジ本体部ａおよびエッジ周辺部ｄにおいて、振幅が大きく変動し、テクスチャ部ｃでは、振幅が小さく変動するものとなる。このようなエッジ検出信号Ｔ３が、フィルタ部２に供給され、その高周波数成分がカットされると、エッジ本体部ａおよびエッジ周辺部ｄはＡＣ（Ａｌｔｅｒｎａｔｉｎｇ  Ｃｕｒｒｅｎｔ）成分を有し、テクスチャ部ｃは、ほぼＤＣ（Ｄｉｒｅｃｔ  Ｃｕｒｒｅｎｔ）成分からなる平滑化信号Ｔ４が得られる。
【００６１】
エッジ検出信号Ｔ３は、エッジ本体部ａおよびエッジ周辺部ｄでもテクスチャ部ｃでも、ある程度の大きな値となる。一方、平滑化信号Ｔ４は、エッジ本体部ａおよびエッジ周辺部ｄでは、変化量の大きなものとなるが、テクスチャ部ｃでは、ほとんど変化のないものとなる。従って、平滑化信号Ｔ４の変化量によれば、エッジ本体部ａおよびエッジ周辺部ｄとテクスチャ部ｃとを精度良く区別することができる。
【００６２】
そこで、変化検出部３は、フィルタ部２により入力される平滑化信号の変化量としての、例えば、分散を計算し、その分散値Ｖをエッジ信号として、ノイズ除去フィルタ部４に出力する。変化検出部３において得られるエッジ信号としての分散値Ｖは、フィルタ部２から出力される平滑化信号の信号レベルの変化が大きい場合は大となり、信号レベルの変化が小さい場合は小となる。即ち、エッジ信号は、エッジ本体部ａおよびエッジ周辺部ｄでは、値が大になり、テクスチャ部ｃでは（平坦部ｂでも）、値が小となる。
【００６３】
よって、エッジ信号によれば、エッジ本体部ａおよびエッジ周辺部ｄとテクスチャ部ｃとを確実に区別することができる。ここで、エッジ信号は、その値が大であるほど、エッジ部である可能性（程度）が高いことを表す。
【００６４】
なお、変化検出部３では、分散の他、画像信号を構成する各画素について、その画素に近傍する画素との平滑化信号の差分絶対値の平均値や、各画素における平滑化信号の微分値などを、平滑化信号の変化量として、求めることが可能である。
【００６５】
ここで、本件発明者による実験によれば、変化検出部３において分散を求め
る場合には、フィルタ部２を設けずにノイズ除去装置を構成しても、フィルタ部２を設けた場合に近い精度で、エッジ本体部ａおよびエッジ周辺部ｄとエッジ本体部ａでないその他の画素とを区別することができた。一方、変化検出部３において微分値を求める場合には、フィルタ部２を設けずにノイズ除去装置を構成すると、エッジ本体部ａおよびエッジ周辺部ｄとエッジ本体部ａでないその他の画素とを区別する精度が劣化する実験結果が得られた。
【００６６】
図８は、ある画像５１について、図２のノイズ除去装置で得られるエッジ信号５４を示している。なお、図８における画像５１の波形は、図１における場合と同一であるため、その説明は省略する。また、図８においては、図１における場合と同様に、画像５１の二次微分値５２を図示してある。
【００６７】
画像５１からは、波形５４で示すエッジ信号が得られる。
【００６８】
エッジ信号５４は、エッジ本体部ａおよびエッジ周辺部ｄであるエッジ部５３において大きな値となっている。即ち、エッジ信号５４は、エッジ本体部ａである画素♯１１および♯１２を中心として大きな値をとり、その左または右方向では次第に値が小さくなっている。そして、エッジ信号５４は、有意なテクスチャ部ｃおよび平坦部ｂでは限りなく０に近い値となっている。従って、エッジ信号５４によれば、エッジ部５３と平坦部ｂおよびテクスチャ部ｃとを精度良く区別して検出することができる。
【００６９】
図９は、図１のノイズ除去フィルタ部４の第１の構成例を示すブロック図である。図９では、ノイズ除去フィルタ部４は、例えば、ＬＰＦ部４１と混合部４２とから構成されている。
【００７０】
ＬＰＦ部４１と混合部４２には、入力信号としての画像信号が供給される。ＬＰＦ部４１は、そこに供給される画像信号を構成する画素を、例えばラスタスキャン順に、順次、注目画素として、その注目画素（の画素値）を、ＬＰＦでフィルタリングし、そのフィルタリング信号を混合部４２に出力する。
【００７１】
ここで、ＬＰＦ部４１において画像信号がフィルタリングされることにより、その画像信号に生じているモスキートノイズが除去（低減）される。
【００７２】
混合部４２には、入力信号としての画像信号の他、変化検出部３から出力されたエッジ信号Ｖと、ＬＰＦ部４１の出力が入力される。混合部４２は、変化検出器３から出力されたエッジ信号Ｖに対応して無次元量であるパラメータαを設定し、そのパラメータαに基づき、入力信号としての画像信号を構成する画素のうちの注目画素の画素値と、その注目画素に対応するＬＰＦ部４１の出力とを用いて演算を行い、その演算結果を、注目画素のノイズ除去結果として出力する。
【００７３】
即ち、混合部４２は、パラメータαを、注目画素の元の画素値と、注目画素に対応するＬＰＦ部４１の出力との混合比として、両者を混合し、その結果得られる混合値を、注目画素の新たな画素値（ノイズ除去結果）として出力する。
【００７４】
具体的には、注目画素の元の画素値をＸｎと表すとともに、注目画素に対応するＬＰＦ部４１の出力（注目画素のフィルタリング結果）をＸｎ´と表すこととすると、混合部４２は、式Ｚｎ＝αＸｎ´＋（１−α）Ｘｎにしたがって、注目画素の新たな画素値Ｚｎを求める。
【００７５】
図１０は、図９のＬＰＦ部４１でのフィルタリングに用いられるタップ係数の例を示している。
【００７６】
図１０のタップ係数によれば、注目画素の画素値に４／１６が乗算され、注目画素の上下左右それぞれに隣接する画素の画素値に２／１６が乗算され、注目画素の左上、左下、右上、右下それぞれに隣接する画素の画素値に１／１６が乗算され、それらの乗算結果の総和が、フィルタリング結果として出力される。
【００７７】
図１１は、図９の混合部４２において、エッジ信号Ｖに基づいて設定されるパラメータαを示している。
【００７８】
図１１によれば、パラメータαは、エッジ信号Ｖが大であるほど、つまり、エッジである程度が大であるほど、０乃至１の範囲で大になっている。
【００７９】
図９の混合部４２では、上述したように、式Ｚｎ＝αＸｎ´＋（１−α）Ｘｎにしたがって、注目画素の画素値Ｘｎと、注目画素のフィルタリング結果Ｘｎ´とが混合され、注目画素の新たな画素値Ｚｎが求められる。
【００８０】
従って、パラメータαが大である画素、即ち、エッジ信号Ｖが大きく、エッジである程度が大である画素については、その画素のフィルタリング結果Ｘｎ´の重み大きくして、その画素の元の画素値Ｘｎとフィルタリング結果Ｘｎ´とが混合される。その結果、モスキートノイズが生じるエッジ部の画素については、フィルタリング結果Ｘｎ´の割合が高い画素値、即ち、モスキートノイズが除去された画素値が、新たな画素値Ｚｎとして得られる。
【００８１】
一方、パラメータが小である画素、即ち、エッジ信号Ｖが小さい、平坦部や有意なテクスチャ部の画素については、その画素の元の画素値Ｘｎの重みを大きくして、その画素値Ｘｎと、フィルタリング結果Ｘｎ´とが混合される。その結果、平坦部や有意なテクスチャ部の画素については、元の画素値の割合が高い画素値、即ち、特に、有意なテクスチャ部のディテール（ｄｅｔａｉｌ）を維持した画素値が、新たな画素値Ｚｎとして得られる。
【００８２】
従って、有意なテクスチャ部の画質を損なわずに、モスキートノイズを効果的に除去することができる。
【００８３】
図１２は、図２のノイズ除去フィルタ部４の第２の構成例を示す図である。図１２では、ノイズ除去フィルタ部４は、ε利得供給部６１とεフィルタ部６２とから構成されている。
【００８４】
ε利得供給部６１は、変化検出部３から出力されるエッジ信号Ｖに応じてεフィルタ部６２のパラメータであるεを設定し、そのパラメータεをεフィルタ部６２に出力する。
【００８５】
ここで、図１３は、ε利得供給部６１において、エッジ信号Ｖに基づいて設定されるパラメータεを示す図である。ε利得供給部６１は、エッジ信号Ｖに応じて図１２の曲線Ｌ１またはＬ２で示すようにパラメータεを設定する。曲線Ｌ１またはＬ２のいずれによっても、エッジ信号Ｖが大きければ、それに応じて大きいパラメータεの値が設定される。なお、曲線Ｌ１では、パラメータεは、図１１のパラメータαと同様に、エッジ信号Ｖが増加すると増加する。一方、曲線Ｌ２では、パラメータεは、エッジ信号Ｖが０からある値までの範囲内の値であるときは０であり、エッジ信号Ｖがある値を越えると増加する。
【００８６】
図１２に戻り、εフィルタ部６２には、ε利得供給部６１から出力されたパラメータεと入力信号としての画像信号が入力される。εフィルタ部６２は、入力された画像信号に対してパラメータεの値に基づき所定の演算処理を実行し、その結果を注目画素の新しい画素値として出力する。即ち、εフィルタ部６２は、そこに供給される画像信号を構成する各画素を、例えばラスタスキャン順に、順次、注目画素とし、その注目画素を、その注目画素に対応するパラメータεに応じてフィルタリングする。
【００８７】
εフィルタ部６２は、パラメータεの値が大きい値であるほど、平滑化される度合いが高く（即ち、鈍りが生じやすく）、パラメータεの値が小さい値であるほど、平滑化される度合いが低く（即ち、鈍りが生じにくく）なるように信号を平滑化するフィルタリング処理を実行する。
【００８８】
図１４は、εフィルタ部６２のフィルタリング処理を説明する図である。εフィルタ部６２では、例えば、図１４Ａに示される急峻なエッジを有する入力信号としての画像信号が、図１４Ｂに示されるような信号に平滑化される。
【００８９】
以下に、εフィルタ部６２が実行する平滑化処理（フィルタリング処理）の詳細について説明する。εフィルタ部６２は、注目画素を、その注目画素の近傍にある近傍画素を用いてローパスフィルタリングするが、その際に近傍画素の画素値がパラメータεに応じて設定される。即ち、注目画素Ｐｎの画素値Ｘｎを中心とするεの範囲内に近傍画素Ｐｍの画素値Ｘｍがない場合、近傍画素Ｐｍの画素値Ｘｍを注目画素Ｐｎの画素値Ｘｎに置き換えてローパスフィルタリングが行われ、近傍画素Ｐｍの画素値Ｘｍがεの範囲内にある場合、その近傍画素Ｐｍの画素値Ｘｍをそのまま用いてローパスフィルタリングが行われる。
【００９０】
即ち、εフィルタ部６２は、注目画素Ｐｎの画素値Ｘｎと注目画素Ｐｎの近傍画素Ｐｍの画素値Ｘｍとの差の絶対値｜Ｘｎ−Ｘｍ｜をε／２と比較する。そして、εフィルタ部６２は、絶対値｜Ｘｎ−Ｘｍ｜がε／２よりも大きい（または以上である）と判断した場合には、近傍画素Ｐｍの画素値Ｘｍを注目画素Ｐｎの画素値Ｘｎに置き換え、注目画素Ｐｎについてローパスフィルタ処理（ローパスフィルタリング）を行う。
【００９１】
一方、εフィルタ部６２は、絶対値｜Ｘｎ−Ｘｍ｜がε／２以下（または未満）と判断した場合には、近傍画素の画素値Ｘｍをそのまま用いて、注目画素Ｐｎについてローパスフィルタ処理を行う。
【００９２】
従って、εフィルタ部６２によれば、注目画素の画素値に近い値の画素値のみを用いて、注目画素がローパスフィルタリングされる。その結果、εフィルタ部６２においては、例えば、入力信号としての画像信号に微少なノイズが含まれる場合には、そのノイズが除去されたフィルタリング結果が得られる。さらに、εフィルタ部６２においては、例えば、入力信号としての画像信号に、急峻なエッジが含まれている場合には、そのエッジの形状を維持したフィルタリング結果が得られる。
【００９３】
図１２のノイズ除去フィルタ部４では、上述したように、注目画素がエッジである程度が大であるとパラメータεも大とされ、エッジである程度が小であると、パラメータεも小とされる。
【００９４】
従って、図１２のεフィルタ部６２では、エッジ部の画素については、パラメータεが大となり、その画素周辺の画素の画素値をそのまま用いてローパスフィルタリングが行われ易くるので、そのエッジ部に生じるモスキートノイズを除去することができる。また、図１２のεフィルタ部６２では、平坦部や有意なテクスチャ部の画素については、パラメータεが小となり、その画素周辺の画素の画素値を、注目画素の画素値に置き換えてローパスフィルタリングが行われ易くなるので、特に、有意なテクスチャ部のディテールを維持したフィルタリング結果を得ることができる。
【００９５】
なお、εフィルタ部６２で実行されるフィルタリング処理のタップ数は、特に限定されるのもではなく、また、ユーザの要求に応じた任意の値とすることが可能である。
【００９６】
以上のように、エッジ検出信号を平滑化した平滑化信号の変化量であるエッジ信号に応じてフィルタリング処理を行うことにより、有意なテクスチャ部のディテールを損なわずに、モスキートノイズを効果的に十分に除去することができる。
【００９７】
上述した一連の処理は、ハードウェアにより実行させることもできるが、ソフトウェアにより実行させることもできる。
【００９８】
上述した一連の処理をソフトウェアで実行させる場合、信号処理装置は、例えば、図１５に示されるようなパーソナルコンピュータなどとして構成することが可能である。
【００９９】
図１５において、ＣＰＵ（Ｃｅｎｔｒａｌ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ）７１は、ＲＯＭ（Ｒｅａｄ  Ｏｎｌｙ  Ｍｅｍｏｒｙ）７２に記憶されているプログラム、または記憶部７８からＲＡＭ（Ｒａｎｄｏｍ  Ａｃｃｅｓｓ  Ｍｅｍｏｒｙ）７３にロードされたプログラムに従って各種の処理を実行する。
【０１００】
ＲＡＭ７３にはまた、ＣＰＵ７１が各種の処理を実行する上において必要なデータなども適宜記憶される。
【０１０１】
ＣＰＵ７１、ＲＯＭ７２、およびＲＡＭ７３は、バス７４を介して相互に接続されている。このバス７４にはまた、入出力インタフェース７５も接続されている。
【０１０２】
入出力インタフェース７５には、キーボード、マウスなどよりなる入力部７６、ディスプレイなどよりなる出力部７７、ハードディスクなどより構成される記憶部７８、および通信部７９が接続されている。
【０１０３】
入出力インタフェース７５にはまた、必要に応じてドライブ８０が接続され、磁気ディスク８１、光ディスク８２、光磁気ディスク８３、或いは半導体メモリ８４が適宜装着され、それらから読み出されたコンピュータプログラムが、必要に応じて記憶部７８にインストールされる。
【０１０４】
一連の処理をソフトウエアにより実行させる場合には、そのソフトウエアを構成するプログラムが、専用のハードウエアに組み込まれているコンピュータ、または、各種のプログラムをインストールすることで各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどに、プログラム格納媒体からインストールされる。
【０１０５】
コンピュータにインストールされ、コンピュータによって実行可能な状態とされるプログラムを格納するプログラム格納媒体は、図１５に示すように、磁気ディスク８１（フロッピディスクを含む）、光ディスク８２（ＣＤ−ＲＯＭ（Ｃｏｍｐａｃｔ  Ｄｉｓｋ−Ｒｅａｄ  Ｏｎｌｙ  Ｍｅｍｏｒｙ）、ＤＶＤ（Ｄｉｇｉｔａｌ  Ｖｅｒｓａｔｉｌｅ  Ｄｉｓｋ）を含む）、光磁気ディスク８３、もしくは半導体メモリ８４などよりなるパッケージメディア、または、プログラムが一時的もしくは永続的に格納されるＲＯＭ７２や、記憶部７８を構成するハードディスクなどにより構成される。プログラム格納媒体へのプログラムの格納は、必要に応じてルータ、モデムなどのインタフェースを介して、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の通信媒体を利用して行われる。
【０１０６】
なお、本明細書において、プログラム格納媒体に格納されるプログラムを記述するステップは、記載された順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理をも含むものである。
【０１０７】
また、本明細書において、システムとは、複数の装置により構成される装置全体を表すものである。
【０１０８】
なお、本実施の形態では、エッジ信号に基づいて、モスキートノイズを除去するようにしたが、エッジ信号は、モスキートノイズの除去の他、例えば、画像をオブジェクト符号化する場合のオブジェクトの抽出などに利用することが可能である。
【０１０９】
また、本実施の形態では、ＭＰＥＧデコードされた画像信号を処理するようにしたが、その他の画像信号を対象として処理を行うことも可能である。
【０１１０】
【発明の効果】
以上のように、本発明によれば、エッジ部とテクスチャ部とを明確に区別することができる。
【図面の簡単な説明】
【図１】従来の画像信号とその二次微分の信号レベルを説明する図である。
【図２】本発明を適用したノイズ除去装置の一実施の形態の構成を示すブロック図である。
【図３】ノイズ除去装置の動作を説明するフローチャートである。
【図４】ノイズ除去装置で得られる信号の波形を示す図である。
【図５】エッジ検出部１の構成例を示すブロック図である。
【図６】水平エッジ検出部１１（垂直エッジ検出部１３）の構成例を示すブロック図である。
【図７】フィルタ部２の構成例を示すブロック図である。
【図８】変化検出部３において得られる信号の波形を説明する図である。
【図９】ノイズ除去フィルタ部４の第１の構成例を示すブロック図である。
【図１０】ＬＰＦ部４１のタップ係数の一実施の形態を示す図である。
【図１１】エッジ信号Ｖとパラメータαとの関係を示す図である。
【図１２】ノイズ除去フィルタ部４の第２の構成例を示すブロック図である。
【図１３】エッジ信号Ｖとパラメータεとの関係を示す図である。
【図１４】εフィルタ部６２の処理を説明する図である。
【図１５】本発明を適用したノイズ除去装置を実現するコンピュータの構成例を示すブロック図である。
【符号の説明】
１  エッジ検出部，  ２  フィルタ部，  ３  変化検出部，  ４  ノイズ除去フィルタ部，  １１  水平エッジ検出部，  １２  比較部，  １３  垂直エッジ検出部，  ２１  微分部，  ２２  絶対値化部，  ３１  水平ローパスフィルタ部，  ３２  垂直ローパスフィルタ部，  ４１  ＬＰＦ部，  ４２  混合部，  ６１  ε利得供給部，  ６２  εフィルタ部，  ７１  ＣＰＵ，  ７２  ＲＯＭ，  ７３  ＲＡＭ，  ７４  バス，  ７５  入出力インターフェース，  ７６  入力部，  ７７  出力部，  ７８  記憶部，  ７９  通信部，  ８０  ドライブ，  ８１  磁器ディスク，  ８２  光ディスク，  ８３  光磁器ディスク，  ８４  半導体メモリ
【図１】
2004336651.tif 000003
【図２】
2004336651.tif 000004
【図３】
2004336651.tif 000005
【図４】
2004336651.tif 000006
【図５】
2004336651.tif 000007
【図６】
2004336651.tif 000008
【図７】
2004336651.tif 000009
【図８】
2004336651.tif 000010
【図９】
2004336651.tif 000011
【図１０】
2004336651.tif 000012
【図１１】
2004336651.tif 000013
【図１２】
2004336651.tif 000014
【図１３】
2004336651.tif 000015
【図１４】
2004336651.tif 000016
【図１５】
2004336651.tif 000017