(57)【要約】【課題】この発明は、モスキートノイズを低減できると同時にエッジ部分を保存できるようになるモスキートノイズ除去方法を提供することを目的とする。【解決手段】各水平ライン毎に水平方向のフィルタリング処理を行う際には、その水平ラインに含まれる中央画素以外の画素のうち、当該画素の画素値と中央画素の画素値との差の絶対値が第１の閾値以上であるものについては、その画素値を中央画素の画素値に置き換えた後にフィルタリング処理を行い、各水平ラインの中央画素からなる垂直ラインに対して、各水平ラインの中央画素に対する補正値を用いて、垂直方向のフィルタリング処理を行う際には、その垂直ラインに含まれる中央画素以外の画素のうち、当該画素に対する補正値と中央画素に対する補正値との差の絶対値が第２の閾値以上であるものについては、その補正値を中央画素に対する補正値に置き換えた後にフィルタリング処理を行う。【選択図】　図１
2004007399.tif 000002
【特許請求の範囲】
【請求項１】
補正対象画素を中心とする縦Ｍ画素、横Ｎ画素（Ｍ，Ｎは奇数の自然数）の領域内において、各水平ラインそれぞれに対して、その水平ラインに含まれる画素の画素値を用いて、水平方向のフィルタリング処理を行うことにより、各水平ラインの中央画素に対する補正値を求めた後、各水平ラインの中央画素からなる垂直ラインに対して、各水平ラインの中央画素に対する補正値を用いて、垂直方向のフィルタリング処理を行うことにより、補正対象画素に対する補正値を算出するモスキートノイズ除去方法であって、
各水平ライン毎に水平方向のフィルタリング処理を行う際には、その水平ラインに含まれる中央画素以外の画素のうち、当該画素の画素値と中央画素の画素値との差の絶対値が第１の閾値以上であるものについては、その画素値を中央画素の画素値に置き換えた後にフィルタリング処理を行い、
各水平ラインの中央画素からなる垂直ラインに対して、各水平ラインの中央画素に対する補正値を用いて、垂直方向のフィルタリング処理を行う際には、その垂直ラインに含まれる中央画素以外の画素のうち、当該画素に対する補正値と中央画素に対する補正値との差の絶対値が第２の閾値以上であるものについては、その補正値を中央画素に対する補正値に置き換えた後にフィルタリング処理を行うことを特徴とするモスキートノイズ除去方法。
【請求項２】
フィルタリング対象の映像信号が復号化された後の映像信号であり、水平方向および垂直方向のフィルタリング処理を行うにあたって、復号化時に用いられた量子化スケールが大きいほど、中央画素以外の画素が中央画素値に置き換えられにくくなるように、復号化時に用いられた量子化スケールに基づいて、上記第１の閾値および第２の閾値が制御されることを特徴とする請求項１に記載のモスキートノイズ除去方法。
【請求項３】
補正対象画素が静止領域であるか否かを判別し、静止領域であると判別された場合には、フィルタリング処理を行うことなく、補正対象画素の画素値をそのまま出力させるようにしたことを特徴とする請求項１および２のいずれかに記載のモスキートノイズ除去方法。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
この発明は、モスキートノイズ除去方法に関する。
【０００２】
【従来の技術】
ＪＰＥＧ、ＭＰＥＧ等の圧縮方式において圧縮率を高くした場合に、高周波成分を含んだ映像やエッジ部分にモスキートノイズと呼ばれるノイズが発生する可能性がある。
【０００３】
【発明が解決しようとする課題】
この発明は、モスキートノイズを低減できると同時にエッジ部分を保存できるようになるモスキートノイズ除去方法を提供することを目的とする。
【０００４】
【課題を解決するための手段】
請求項１に記載の発明は、補正対象画素を中心とする縦Ｍ画素、横Ｎ画素（Ｍ，Ｎは奇数の自然数）の領域内において、各水平ラインそれぞれに対して、その水平ラインに含まれる画素の画素値を用いて、水平方向のフィルタリング処理を行うことにより、各水平ラインの中央画素に対する補正値を求めた後、各水平ラインの中央画素からなる垂直ラインに対して、各水平ラインの中央画素に対する補正値を用いて、垂直方向のフィルタリング処理を行うことにより、補正対象画素に対する補正値を算出するモスキートノイズ除去方法であって、各水平ライン毎に水平方向のフィルタリング処理を行う際には、その水平ラインに含まれる中央画素以外の画素のうち、当該画素の画素値と中央画素の画素値との差の絶対値が第１の閾値以上であるものについては、その画素値を中央画素の画素値に置き換えた後にフィルタリング処理を行い、各水平ラインの中央画素からなる垂直ラインに対して、各水平ラインの中央画素に対する補正値を用いて、垂直方向のフィルタリング処理を行う際には、その垂直ラインに含まれる中央画素以外の画素のうち、当該画素に対する補正値と中央画素に対する補正値との差の絶対値が第２の閾値以上であるものについては、その補正値を中央画素に対する補正値に置き換えた後にフィルタリング処理を行うことを特徴とする。
【０００５】
請求項２に記載の発明は、請求項１に記載のモスキートノイズ除去方法において、フィルタリング対象の映像信号が復号化された後の映像信号であり、水平方向および垂直方向のフィルタリング処理を行うにあたって、復号化時に用いられた量子化スケールが大きいほど、中央画素以外の画素が中央画素値に置き換えられにくくなるように、復号化時に用いられた量子化スケールに基づいて、上記第１の閾値および第２の閾値が制御されることを特徴とする。
【０００６】
請求項３に記載の発明は、請求項１乃至２に記載のモスキートノイズ除去方法において、補正対象画素が静止領域であるか否かを判別し、静止領域であると判別された場合には、フィルタリング処理を行うことなく、補正対象画素の画素値をそのまま出力させるようにしたことを特徴とする。
【０００７】
【発明の実施の形態】
以下、図面を参照して、この発明の実施の形態について説明する。
【０００８】
〔１〕モスキートノイズ除去回路の全体的な構成の説明
図１は、モスキートノイズ除去回路の構成を示している。
【０００９】
ＭＰＥＧデコーダ１には、ＭＰＥＧ符号化が行われた映像信号が入力される。ＭＰＥＧデコーダ１は、入力映像信号を８×８画素の大きさのブロック単位でＭＰＥＧ復号化することにより、復号画像を得る。上述したように、復号画像にモスキートノイズが発生する可能性がある。
【００１０】
ＭＰＥＧデコーダ１から出力される復号映像信号は、モスキートノイズ低減回路２に送られ、モスキートノイズ低減処理が行われる。
【００１１】
〔２〕モスキートノイズ低減回路２についての説明
【００１２】
図２を参照して、モスキートノイズ低減回路２によって行われるモスキートノイズ低減処理について説明する。
【００１３】
図２において、丸印（〇）は、奇数フィールドの画素を示し、三角印（△）は偶数フィールドの画素を示している。
【００１４】
モスキートノイズ低減処理は、基本的には、フィールド内での補正対象画素を中心とする３×３画素の領域内でのフィルタリング処理である。あるフィールドでの画素Ｅを補正対象画素とすると、補正対象画素を中心とする３×３画素の領域内には、Ａ〜Ｉの９つの画素が存在する。
【００１５】
原則的には、（１　２　１）／／４の３タップフィルタを用いて、次の手順で平滑化のためのフィルタリングを行う。記号／／は、四捨五入を行う割算を表している。
【００１６】
▲１▼　上側の水平ライン上の３画素Ａ、Ｂ、Ｃの画素値Ａ、Ｂ、Ｃから、その中央の画素Ｂの補正値Ｂ’を次式（１）に示すフィルタリングにより求める。
【００１７】
Ｂ’＝（Ａ＋Ｂ＊２＋Ｃ）／／４
＝（Ａ＋Ｂ＊２＋Ｃ＋２）＞＞２　　…（１）
【００１８】
Ｘ＞＞Ｙにおける記号＞＞は、ＸをＹビットだけ右にシフトすることを表している。
【００１９】
▲２▼　中央の水平ライン上の３画素Ｄ、Ｅ、Ｆの画素値Ｄ、Ｅ、Ｆから、その中央の画素Ｅの補正値Ｅ’を次式（２）に示すフィルタリングにより求める。
【００２０】
Ｅ’＝（Ｄ＋Ｅ＊２＋Ｆ）／／４
＝（Ｄ＋Ｅ＊２＋Ｆ＋２）＞＞２　　…（２）
【００２１】
▲３▼　下側の水平ライン上の３画素Ｇ、Ｈ、Ｉの画素値Ｇ、Ｈ、Ｉから、その中央の画素Ｈの補正値Ｈ’を次式（３）に示すフィルタリングにより求める。
【００２２】
Ｈ’＝（Ｇ＋Ｈ＊２＋Ｉ）／／４
＝（Ｇ＋Ｈ＊２＋Ｉ＋２）＞＞２　　…（３）
【００２３】
▲４▼　上記▲１▼▲２▼▲３▼で求められたＢ’、Ｅ’、Ｈ’から、補正対象画素Ｅの最終的な補正値Ｅ”を次式（４）に示すフィルタリングにより求める。
【００２４】
Ｅ”＝（Ｂ’＋Ｅ’＊２＋Ｈ’／／４
＝（Ｂ’＋Ｅ’＊２＋Ｈ’＋２）＞＞２　　…（４）
【００２５】
ただし、上記▲１▼〜▲４▼のフィルタリングには、次のような例外がある。つまり、上記▲１▼〜▲４▼のフィルタリングに用いられる３つの画素値群毎に、その中央の画素の画素値（Ｘで総称することにする）と他の画素の画素値（Ｙで総称することにする）との絶対差分値ｄｉｆｆ１〜ｄｉｆｆ８を算出し、算出した絶対差分値が所定の閾値ｔｈ１（請求項１における第１の閾値および第２の閾値に相当する）以上である場合には、上記他の画素Ｙの画素値を上記中央の画素の画素値Ｘに置き換えた後に、フィルタリングを行う。なお、閾値ｔｈ１は請求項１における第１の閾値および第２の閾値に相当する。
【００２６】
各絶対差分値ｄｉｆｆ１〜ｄｉｆｆ８は次式（５）のように定義される。
【００２７】
ｄｉｆｆ１＝｜Ｂ−Ａ｜
ｄｉｆｆ２＝｜Ｂ−Ｃ｜
ｄｉｆｆ３＝｜Ｅ−Ｄ｜
ｄｉｆｆ４＝｜Ｅ−Ｆ｜
ｄｉｆｆ５＝｜Ｈ−Ｇ｜
ｄｉｆｆ６＝｜Ｈ−Ｉ｜
ｄｉｆｆ７＝｜Ｅ’−Ｂ’｜
ｄｉｆｆ８＝｜Ｅ’−Ｈ’｜　　　　　　　…（５）
【００２８】
そして、ｄｉｆｆｉ　（ｉ＝１，２，…，８）＝｜Ｘ−Ｙ｜≧ｔｈ１である場合には、フィルタリング処理において、Ｙの代わりに中央のＸを使用する。これは、差分値｜Ｘ−Ｙ｜が大きい場合には、エッジである可能性が高いため、フィルタリング効果を少なくするためである。なお、閾値ｔｈ１としては、画素値が８ビットデータである場合には、たとえば、１０（十進数）に設定される。
【００２９】
例えば、ｄｉｆｆ１＝｜Ｂ−Ａ｜≦ｔｈ１である場合には、上記▲１▼のフィルタリング処理において、Ａの代わりに中央のＢを使用する。また、　ｄｉｆｆ７＝｜Ｅ’−Ｂ’｜≦ｔｈ１である場合には、上記▲４▼のフィルタリング処理において、Ｂ’の代わりに中央のＥ’を使用する。
【００３０】
このような例外処理を行うことにより、モスキートノイズを低減できると同時にエッジ部分を保存できるようになる。
【００３１】
図３は、Ｂ’を算出するための回路の構成例を示している。
【００３２】
今、この回路に画素Ｃの画素値が入力されているとすると、遅延器１１から画素Ｂの画素値Ｂが出力され、遅延器１２から画素Ａの画素値Ａが出力される。
【００３３】
差分算出部１３は、｜Ｂ−Ｃ｜を算出するとともに、｜Ｂ−Ｃ｜が閾値ｔｈ１以上か否かを判別し、｜Ｂ−Ｃ｜が閾値ｔｈ１より小さい場合には第１の切替制御信号をスイッチ１５に出力し、｜Ｂ−Ｃ｜が閾値ｔｈ１以上である場合には第２の切替制御信号をスイッチ１５に出力する。
【００３４】
差分算出部１４は、｜Ｂ−Ａ｜を算出するとともに、｜Ｂ−Ａ｜が閾値ｔｈ１以上か否かを判別し、｜Ｂ−Ａ｜が閾値ｔｈ１より小さい場合には第１の切替制御信号をスイッチ１６に出力し、｜Ｂ−Ａ｜が閾値ｔｈ１以上である場合には第２の切替制御信号をスイッチ１６に出力する。
【００３５】
スイッチ１５には、画素値ＣとＢとが入力している。差分算出部１３から第１の切替制御信号が送られてきている場合には（｜Ｂ−Ｃ｜＜ｔｈ１）、スイッチ１５は画素値Ｃを選択して出力し、差分算出部１３から第２の切替制御信号が送られてきている場合には（｜Ｂ−Ｃ｜≧ｔｈ１）、スイッチ１５は画素値Ｂを選択して出力する。
【００３６】
スイッチ１６には、画素値ＡとＢとが入力している。差分算出部１４から第１の切替制御信号が送られてきている場合には（｜Ｂ−Ａ｜＜ｔｈ１）、スイッチ１６は画素値Ａを選択して出力し、差分算出部１４から第２の切替制御信号が送られてきている場合には（｜Ｂ−Ａ｜≧ｔｈ１）、スイッチ１６は画素値Ｂを選択して出力する。
【００３７】
フィルタ回路１７には、スイッチ１５の出力（画素値ＣｏｒＢ）と、画素値Ｂと、スイッチ１６の出力（画素値ＡｏｒＢ）とが入力している。フィルタ回路１７は、これらの３つの入力画素値に基づいて、上記式（１）で表されるフィルタリングを行って、補正値Ｂ’を出力する。
【００３８】
図４は、例外処理を伴うモスキートノイズ低減処理を行った場合の具体例を示している。図４において、太い破線は原画像を示し、実線はノイズ処理前の画像を示し、細い破線は、例外処理を伴うモスキートノイズ低減処理を行った後の画像を示している。
【００３９】
図５は、例外処理を行わずに原則的なモスキートノイズ低減処理を行った場合の具体例を示している。図５において、太い破線は原画像を示し、実線はノイズ処理前の画像を示し、細い破線は例外処理を行わずに原則的なモスキートノイズ低減処理を行った後の画像を示している。
【００４０】
図６は、原画像と、例外処理を伴うモスキートノイズ低減処理を行った後の画像と、例外処理を行わずに原則的なモスキートノイズ低減処理を行った後の画像を示している。図６において、破線は原画像を示し、鎖線は例外処理を伴うモスキートノイズ低減処理を行った後の画像を示し、破線は例外処理を行わずに原則的なモスキートノイズ低減処理を行った後の画像を示している。
【００４１】
図４〜図６からわかるように、例外処理を行わずに原則的なモスキートノイズ低減処理を行った場合には、モスキートノイズを低減できるがエッジ部分がぼけてしまう。これに対して、例外処理を伴うモスキートノイズ低減処理を行った場合には、モスキートノイズを低減できると同時にエッジ部分を保存できるようになる。
【００４２】
〔３〕第１変形の説明
【００４３】
図７は、モスキートノイズ除去回路の全体的な構成を示している。
【００４４】
図７のモスキートノイズ除去回路では、図１のモスキートノイズ除去回路と比べて、モスキートノイズ低減回路２Ａが異なっている。
【００４５】
このモスキートノイズ低減回路２Ａには、ＭＰＥＧデコーダ１からデコード時に用いられた量子化スケール（ＱＳ：Ｑｕａｎｔｉｚｅｒ　Ｓｃａｌｅ）が入力されている。モスキートノイズ低減回路２Ａは、図１のモスキートノイズ低減回路２と同様な処理を行ってモスキートノイズを低減させるが、以下の点において、図１のモスキートノイズ低減回路２と異なっている。
【００４６】
上述したように、上記式（１）〜（４）に対応する上記▲１▼〜▲４▼のフィルタリングには、例外がある。つまり、上記▲１▼〜▲４▼のフィルタリングに用いられる３つの画素値群毎に、その中央の画素の画素値（Ｘで総称する）と他の画素の画素値（Ｙで総称する）との絶対差分値ｄｉｆｆ１〜ｄｉｆｆ８（上記式（５）参照）を算出し、算出した絶対差分値が閾値ｔｈ１以上である場合には、上記他の画素Ｙの画素値を上記中央の画素の画素値Ｘに置き換えた後に、フィルタリングを行っている。
【００４７】
図７のモスキートノイズ低減回路２Ａでは、ｄｉｆｆｉ　（ｉ＝１，２，…，８）と比較される閾値ｔｈ１の値が、ＭＰＥＧデコーダ１から送られてくる量子化スケールによって制御される点が図１のモスキートノイズ低減回路２と異なっている。
【００４８】
閾値ｔｈ１は、例えば、図８に示す量子化スケールと閾値ｔｈ１との関係に基づいて、制御される。つまり、量子化スケールＱＳが０＜ＱＳ≦１２の範囲においては、閾値ｔｈ１は一定値、この例では４に制御される。量子化スケールＱＳが１２＜ＱＳ≦２８の範囲においては、閾値ｔｈ１は、量子化スケールＱＳが大きくなるほど大きくなる。この例では、量子化スケールＱＳが１２≦ＱＳ≦２８の範囲においては、ｔｈ１＝（ＱＳ−４）／２という関係を有しており、閾値ｔｈ１は約４〜１２の範囲で変化する。そして、量子化スケールＱＳが２８より大きい場合には、閾値ｔｈ１は一定値、この例では１２に制御される。
【００４９】
このように閾値ｔｈ１を量子化スケールに応じて制御すると、量子化スケールが大きい場合には閾値ｔｈ１が大きくなるので、上記▲１▼〜▲４▼の各フィルタリングに用いられる３つの画素値群における中央の画素値Ｘと他の画素の画素値Ｙの差｜Ｘ−Ｙ｜が大きくても、他の画素の画素値Ｙが中央の画素の画素値Ｘに置き換えられにくくなる。反対に、量子化スケールが小さい場合には閾値値ｔｈ１は小さいため、上記▲１▼〜▲４▼の各フィルタリングに用いられる３つの画素値群における中央の画素値Ｘと他の画素の画素値Ｙの差｜Ｘ−Ｙ｜が小さくても、他の画素の画素値Ｙが中央の画素の画素値Ｘに置き換えられやすくなる。
【００５０】
量子化スケールが大きくなると、モスキートノイズが発生しやすくなる。したがって、閾値ｔｈ１を上記のように量子化スケールに応じて制御すると、量子化スケールが大きくモスキートノイズが発生しやすい部分では、フィルタ効果が大きくなり、画像のぼけは大きくなるがノイズ低減効果が高くなる。一方、量子化スケールが小さくモスキートノイズが発生しにくい部分では、フィルタ効果が小さくなり、画像がぼけるのを抑制できる。
【００５１】
〔４〕第２変形例の説明
【００５２】
上記実施の形態では、各画素毎にモスキートノイズ低減処理を行っているが、静止領域については、モスキートノイズ低減処理を行わないようにするようにしてもよい。
【００５３】
つまり、図９において、補正対象画素Ｅが静止領域であるか否かを判定し、当該補正対象画素Ｅが静止領域である場合には、当該補正対象画素Ｅに対してはモスキートノイズ低減処理を行わないようにする。
【００５４】
補正対象画素Ｅが静止領域であるか否かの判定方法には、次の２つの方法がある。
【００５５】
（１）第１方法
現フィールドの補正対象画素Ｅの画素値をＥとし、１フレーム前（２フィールド前）の当該補正対象画素Ｅと同じ画素位置に対する画素値をｏｌｄＥとすると、次式（６）の条件を満たす場合には、現フィールドの補正対象画素Ｅが静止領域であると判定する。
【００５６】
｜Ｅ−ｏｌｄＥ｜＜ｔｈ２　　　　…（６）
【００５７】
画素値が８ビットデータである場合には、閾値ｔｈ２としては、たとえば、２（十進数）が設定される。
【００５８】
（２）第２方法
【００５９】
図９において、現フィールドの補正対象画素Ｅの画素値をＥとし、画素Ｅと画素Ｂとの間の画素Ｊの画素値Ｊを１フィールド前の画素Ｊの画素値とし、画素Ｅと画素Ｈとの間の画素Ｋの画素値Ｋを１フィールド前の画素Ｋの画素値とすると、次式（７）の条件を満たす場合には、現フィールドの補正対象画素Ｅが静止領域であると判定する。
【００６０】
｜（Ｊ＋Ｋ）／２）−Ｅ｜＜ｔｈ２　　　　…（７）
【００６１】
【発明の効果】
この発明によれば、モスキートノイズを低減できると同時にエッジ部分を保存できるようになる。
【図面の簡単な説明】
【図１】モスキートノイズ除去回路の構成を示すブロック図である。
【図２】モスキートノイズ低減回路２によって行われるモスキートノイズ低減処理を説明するための模式図である。
【図３】Ｂ’を算出するための回路の構成例を示すブロック図である。
【図４】例外処理を伴うモスキートノイズ低減処理を行った場合の具体例を示す模式図である。
【図５】例外処理を行わずに原則的なモスキートノイズ低減処理を行った場合の具体例を示す模式図である。
【図６】原画像と、例外処理を伴うモスキートノイズ低減処理を行っ後の画像と、例外処理を行わずに原則的なモスキートノイズ低減処理を行った後の画像を示す模式図である。
【図７】モスキートノイズ除去回路の他の構成例を示すブロック図である。
【図８】量子化スケールと閾値ｔｈ１との関係を示すグラフである。
【図９】変形例を説明するための模式図である。
【符号の説明】
１　ＭＰＥＧデコーダ
２、２Ａ　モスキートノイズ低減回路
【図１】
2004007399.tif 000003
【図２】
2004007399.tif 000004
【図３】
2004007399.tif 000005
【図４】
2004007399.tif 000006
【図５】
2004007399.tif 000007
【図６】
2004007399.tif 000008
【図７】
2004007399.tif 000009
【図８】
2004007399.tif 000010
【図９】
2004007399.tif 000011