(57)【要約】【課題】高いノイズ除去効果を維持しながらも微細なテクスチャ部分のボケ感の抑制を可能とする符号化ノイズ除去装置を提供する。【解決手段】入力映像信号の各水平位置から（ｍ×ｎ）個の入力映像信号を出力するエッジブロック抽出手段１２と、エッジブロック情報抽出手段１３と、エッジブロック情報拡張手段１４と、エッジブロック拡張情報と予め設定されている基準閾値とに基づいて平滑化閾値を演算する閾値演算手段１５と、入力映像信号の（ｘ×ｙ）個の入力映像信号を出力する平滑化ブロック抽出手段１６と、（ｘ×ｙ）個の入力映像信号と閾値演算手段１５の出力信号である平滑化閾値とにより平滑化する平滑化手段１７と、を具備する。【選択図】        図１
2004282442.tif 000002
【特許請求の範囲】
【請求項１】
入力映像信号を予め指定されている任意の水平走査期間垂直方向に遅延させて得られるｎライン分の各信号のそれぞれについて、各水平位置から水平方向に予め指定されている任意のｍ個の画素を切り出し、（ｍ×ｎ）個の入力映像信号を出力するエッジブロック抽出手段と、該エッジブロック抽出手段からの出力信号である（ｍ×ｎ）個の入力映像信号を演算し、エッジブロック情報を抽出するエッジブロック情報抽出手段と、該エッジブロック情報抽出手段からの出力信号であるエッジブロック情報を任意に拡張し、エッジブロック拡張情報を出力するエッジブロック情報拡張手段と、該エッジブロック情報拡張手段の出力信号であるエッジブロック拡張情報と予め設定されている基準閾値とに基づいて平滑化閾値を演算する閾値演算手段と、前記入力映像信号を予め指定されている任意の水平走査期間垂直方向に遅延させて得られるｙライン分の各信号のそれぞれについて、各水平位置から水平方向に予め指定されている任意のｘ個の画素を切り出し、（ｘ×ｙ）個の入力映像信号を出力する平滑化ブロック抽出手段と、該平滑化ブロック抽出手段からの出力信号である（ｘ×ｙ）個の入力映像信号と、前記閾値演算手段の出力信号である平滑化閾値とにより平滑化する平滑化手段と、を具備することを特徴とする符号化ノイズ除去装置。
【請求項２】
請求項１に記載の符号化ノイズ除去装置において、
上記エッジブロック情報抽出手段において生成されるエッジブロック情報が、上記（ｍ×ｎ）個の入力映像信号の平均値を算出する手段と、（ｍ×ｎ）個のそれぞれと前記平均値との差分を算出する手段と、前記平均値との差分を絶対値化する手段と、前記絶対値化された平均値との差分の合計値を算出する手段と、前記絶対値化された平均値との差分の合計値と予め指定されているエッジ閾値との比較手段とにより生成されることを特徴とする符号化ノイズ除去装置。
【請求項３】
請求項１に記載の符号化ノイズ除去装置において、
上記エッジブロック情報拡張手段において生成されるエッジブロック拡張情報が、上記エッジブロック情報を任意に垂直方向にブロック単位で遅延させて得られるＮラインブロック単位分の各信号のそれぞれについて、各水平位置から水平方向に予め指定されている任意のＭブロック単位個のエッジブロック情報を切り出して（Ｍ×Ｎ）個のエッジブロック情報を切り出す手段と、切り出されたブロック単位の中心のエッジブロック情報とその周辺のエッジブロック情報との演算手段により生成されることを特徴とする符号化ノイズ除去装置。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、符号化ノイズ除去装置に関し、ブロック分割して、直交変換・量子化・符号化された符号化データを復号し、逆量子化・逆直交変換して得られる復号画像に生じる符号化ノイズを除去し、画質改善を図るものである。
【０００２】
【従来の技術】
画像をディジタル信号で記録又は伝送する場合、その情報量の多さ故に圧縮符号化するのが一般的であり、現在、最も普及した圧縮符号化方式としてＤＣＴ（Ｄｉｓｃｒｅｔｅ  Ｃｏｓｉｎｅ  Ｔｒａｎｓｆｏｒｍ）符号化方式が知られている。このＤＣＴ符号化方式は、画像を複数個のブロックに分割し、ブロック毎にＤＣＴにより周波数変換し、その結果得られた直流成分の係数データと、複数個の交流成分の係数データを出現確率に応じてビット長の異なるエントロピー符号、例えばハフマンコードに変換し、視覚的冗長な周波数成分大幅に削減し情報量を圧縮しようとするものである。
【０００３】
記録又は伝送の為の圧縮率が、画像の持つ情報量に対して適当な範囲である場合、圧縮により情報量の削減を行なっても画像の劣化を感じさせない。しかしながら、記録又は伝送の為の圧縮率が低い場合や複雑な画像の場合、濃淡変化の大きな輪郭やエッジ近傍にモスキートノイズと呼ばれる特徴的な劣化が生じる。
【０００４】
上記のようなノイズを除去する方法としてエッジ保存型平滑化フィルタが有効であり、εフィルタが知られている（例えば、非特許文献１参照）。次に示す（１）式はεフィルタの演算式である。
【式１】
2004282442.tif 000003
ここで、Ｎは平滑化に用いる画素数を規定する整数、Ｃ（ｐ、ｑ）はスケールファクタである。中心画素値をｘ（ｉ、ｊ）を、その隣接画素値ｘ（ｉ＋ｐ、ｊ＋ｑ）を用いて平滑化してノイズを除去するが、中心画素値と隣接画素値との差の絶対値が閾値εよりも大きい場合、その隣接画素値は平滑化には用いない。このフィルタは輪郭やエッジに相当する大きな濃淡変化部分は、閾値εを超えている為フィルタがかからず保存され、ノイズによる閾値ε以下の濃淡変化部分はフィルタにより平滑化されノイズ除去される。
【０００５】
しかし、εフィルタはノイズ除去に効果がある一方で、画像中の全てのブロックに一定の閾値で適応すると、閾値が大きい場合、ノイズ除去効果は高いが画像本来の微細なテクスチャ部分にボケ感を生じさせ画質を劣化させる。又、閾値が小さい場合、微細なテクスチャ部分のボケ感は抑制できるがノイズ除去効果が低下する。
【０００６】
上記の課題を解決する方法としてノイズ除去対象画素を中心として中心画素交差値や中心近傍画素交差値を用いて閾値εを選択する技術も開示されている（特許文献１参照）。
【０００７】
【特許文献１】
特開平９−２４７６７４号公報
【非特許文献１】
信学論（Ａ）、ｖｏｌ．Ｊ６５−Ａ  、ｐｐ．２９７−３０４，１９８２年、「ε−分離非線形ディジタルフィルタとその応用」
【０００８】
【発明が解決しようとする課題】
しかしながら、前述の特許文献１に記載されている従来例において、閾値εは選択されてはいるものの、微細なテクスチャ部分にもフィルタがかかるため多少なりともボケ感を生じさせたり、選択する範囲によっては本来ノイズ除去されるべき箇所において小さい閾値εが選択されることもあり、ノイズ除去効果が低くなるという問題点を有している。
【０００９】
本発明は、かかる状況に鑑みてなされたものであり、高いノイズ除去効果を維持しながらも微細なテクスチャ部分のボケ感の抑制を可能とする符号化ノイズ除去装置を提供することを目的とするものである。
【００１０】
【課題を解決するための手段】
第１の発明は、入力映像信号を予め指定されている任意の水平走査期間垂直方向に遅延させて得られるｎライン分の各信号のそれぞれについて、各水平位置から水平方向に予め指定されている任意のｍ個の画素を切り出し、（ｍ×ｎ）個の入力映像信号を出力するエッジブロック抽出手段と、該エッジブロック抽出手段からの出力信号である（ｍ×ｎ）個の入力映像信号を演算し、エッジブロック情報を抽出するエッジブロック情報抽出手段と、該エッジブロック情報抽出手段からの出力信号であるエッジブロック情報を任意に拡張し、エッジブロック拡張情報を出力するエッジブロック情報拡張手段と、該エッジブロック情報拡張手段の出力信号であるエッジブロック拡張情報と予め設定されている基準閾値とに基づいて平滑化閾値を演算する閾値演算手段と、前記入力映像信号を予め指定されている任意の水平走査期間垂直方向に遅延させて得られるｙライン分の各信号のそれぞれについて、各水平位置から水平方向に予め指定されている任意のｘ個の画素を切り出し、（ｘ×ｙ）個の入力映像信号を出力する平滑化ブロック抽出手段と、前記平滑化ブロック抽出手段からの出力信号である（ｘ×ｙ）個の入力映像信号と、前記閾値演算手段の出力信号である平滑化閾値とにより平滑化する平滑化手段と、を具備している符号化ノイズ除去装置である。
【００１１】
第２の発明は、上記第１の発明の符号化ノイズ除去装置において、上記エッジブロック情報抽出手段において生成されるエッジブロック情報が、上記（ｍ×ｎ）個の入力映像信号の平均値を算出する手段と、（ｍ×ｎ）個のそれぞれと前記平均値との差分を算出する手段と、前記平均値との差分を絶対値化する手段と、前記絶対値化された平均値との差分の合計値を算出する手段と、前記絶対値化された平均値との差分の合計値と予め指定されているエッジ閾値との比較手段により生成される符号化ノイズ除去装置である。
【００１２】
第３の発明は、上記第１の発明の符号化ノイズ除去装置において、上記エッジブロック情報拡張手段において生成されるエッジブロック拡張情報が、上記エッジブロック情報を任意に垂直方向にブロック単位で遅延させて得られるＮラインブロック単位分の各信号のそれぞれについて、各水平位置から水平方向に予め指定されている任意のＭブロック単位個のエッジブロック情報を切り出して（Ｍ×Ｎ）個のエッジブロック情報を切り出す手段と、切り出されたブロック単位の中心のエッジブロック情報とその周辺のエッジブロック情報との演算手段により生成される符号化ノイズ除去装置である。
【００１３】
【発明の実施の形態】
本発明の実施の形態を説明する。
本発明の符号化ノイズ除去装置の実施形態について、図面に基づいて以下に説明する。図１は、実施形態１の符号化ノイズ除去装置の構成の一例を示す機能ブロック構成図である。図２は、実施形態１におけるエッジブロック情報拡張回路の一例で用いられる（３×３）の領域を説明するための模式図である。
【００１４】
実施形態１を説明する。図１は、本実施形態の符号化ノイズ除去装置の構成に関する一例を示す機能ブロック構成図である。本実施形態における符号化ノイズ除去装置は、エッジブロック抽出回路１２と、エッジブロック情報抽出回路１３と、エッジブロック情報拡張回路１４と、閾値演算回路１５と、平滑化ブロック抽出回路１６と、平滑化回路１７とが、図１のごとく接続され構成されている。
【００１５】
入力端子１１から入力される入力映像信号は、エッジブロック抽出回路１２と平滑化ブロック抽出回路１６へ供給される。エッジブロック抽出回路１２はエッジ判定する為のブロックを出力し、エッジブロック情報抽出回路１３へ供給される。エッジブロック情報抽出回路１３は、エッジブロック情報を抽出しエッジブロック情報拡張回路１４へ供給する。エッジブロック情報拡張回路１４は、エッジブロック情報を拡張し閾値演算回路１５へ供給する。閾値演算回路１５は、エッジブロック情報拡張回路１４から供給される拡張されたエッジブロック情報と、予め設定されている基準閾値と、により平滑化閾値を演算し、平滑化回路１７へ供給する。平滑化ブロック抽出回路１６は、平滑化回路１７が必要とするブロックを出力して供給する。平滑化回路１７は、平滑化ブロック抽出回路１６の出力と、閾値演算回路１５で演算された平滑化閾値とにより平滑化して符号化ノイズ成分が除去された出力映像信号を生成し、出力端子１８から出力する。
【００１６】
以上のように構成された各構成要素は、以下のように動作している。入力端子１１から入力される入力映像信号は、エッジブロック抽出回路１２へ入力され、入力されてきた映像信号と例えば（ｎ−１）水平走査期間垂直方向に遅延させた遅延ライン上の遅延映像信号とのｎラインから、それぞれのラインに対して水平方向にｍ個の画素を切り出し、（ｍ×ｎ）個の画素の入力領域からなる（ｍ×ｎ）個の領域入力映像信号を出力する。
【００１７】
エッジブロック情報抽出回路１３は、前述のエッジブロック抽出回路１２から出力される（ｍ×ｎ）個の領域入力映像信号から平均値を算出し、得られた平均値と各画素との差分値を算出し、更にその差分を絶対値化したものを加算合計し予め設定したエッジ閾値との比較により当該ブロックにエッジが含まれているか否かを判定する回路である。前述の加算合計値は、エッジが含まれている場合には比較的大きくなり、エッジが含まれず平坦な場合には比較的小さくなるので、適切なエッジ閾値を設定し比較することでエッジが含まれるブロックと含まれていないブロックを判別することが可能である。最終的に当該ブロックにエッジが含まれていると判定された場合「１」を、当該ブロックにエッジが含まれていないと判定された場合「０」をエッジブロック情報として出力する。
【００１８】
エッジブロック情報拡張回路１４は、前述のエッジブロック情報抽出回路１３から出力されるエッジブロック情報をその周辺のエッジブロック情報により補正し拡張する回路である。例えば（ｍ×ｎ）ブロック単位で垂直方向にＮブロックライン単位遅延させた遅延ブロックラインの各信号ブロックのそれぞれについて各水平位置から水平方向にＭブロック単位個のエッジブロック情報を切り出し（Ｍ×Ｎ）個のエッジブロック情報を切り出す。切り出された（Ｍ×Ｎ）個のエッジブロック情報を論理和演算し、それを中心部分のエッジブロック拡張情報として出力する。すなわち中心部分のエッジブロック情報が「０」で、周辺部分にエッジブロック情報が「１」の箇所があった場合、中心部分のエッジブロック情報が「１」となりエッジブロック情報が拡張される。一例として（３×３）の例を図２に示す。当該ブロックを中心として参照する周辺のブロックは１〜８で示される８ブロックであり、この場合９個のエッジブロック情報の論理和演算により中心部分のエッジブロック情報が演算され、エッジブロック拡張情報として出力されることになる。
【００１９】
このエッジブロック情報の拡張は、本来符号化される時、近傍のエッジブロックと同一ブロックにて符号化圧縮処理されたものが、伝送系等で一旦アナログ信号にされ再びディジタル信号にされた様な時、符号化時と異なる解像度で映像信号が入力され、この場合符号化時にはエッジが含まれるブロックであった箇所が、偶然にもエッジが含まれない領域でエッジブロック情報抽出の為の（ｍ×ｎ）ブロックが設定され、当該領域がエッジと判定されずにノイズ除去処理されない場合があることを抑止し、符号化ノイズの発生するブロックを的確に捕える効果がある。
【００２０】
閾値演算回路１５は、前述のエッジブロック情報拡張回路１４から出力されるエッジブロック拡張情報と予め設定してある基準閾値から平滑化閾値を演算するもので、エッジブロック拡張情報が「１」のときは「基準閾値」を、エッジブロック拡張情報が「０」のときは「０」を選択的に平滑化閾値として出力する。すなわち、エッジが含まれるブロック及びエッジが含まれるブロックを拡張したブロックは平滑化が行なわれるが、エッジが含まれないブロックは平滑化を行なわないことになる。
【００２１】
一方、平滑化ブロック抽出回路１６は平滑化回路１７が必要とする平滑化ブロックを出力するもので、入力端子１１から入力される入力映像信号を水平走査期間垂直方向に遅延させた遅延ライン上の遅延映像信号とのｙラインから、それぞれのラインに対して水平方向にｘ個の画素を切り出し、（ｘ×ｙ）個の画素の入力領域からなる（ｘ×ｙ）個の領域入力映像信号を出力する。
【００２２】
平滑化回路１７は前述の閾値演算回路１５から供給される平滑化閾値と平滑化ブロック抽出回路１６から供給される平滑化ブロックから前述の（式１）で示される平滑化演算を行ない、符号化ノイズが目立つエッジ部分及びその近傍のノイズは除去し、その他の微細なテクスチャ部分等は平滑化が行なわれずに保存され出力端子１８から出力される。
【００２３】
なお前述のエッジブロック拡張回路１４は、エッジブロック情報が周辺部１箇所以上「１」の時、中心部を「１」へ補正し拡張していたが、周辺部の「１」と「０」との比率から決定してもよい。又、拡張された部分のエッジブロック情報の出力を「１」としていたが、「２」を出力するようにして閾値演算回路１５により拡張されたエッジブロックの平滑化閾値を拡張される前のエッジブロックすなわち「１」の平滑化閾値と異なる値を設定するようにしてもよい。又、閾値演算回路１５は、エッジブロック以外の部分の平滑化閾値設定を「０」としたが、「０」以外の値を設定するようにしてもよい。
【００２４】
以上に説明したように、本発明に係わる符号化ノイズ除去装置によれば、以下のような作用効果がもたらされる。平滑化によるノイズ除去は、画像中の全てのブロックに一定の平滑化閾値で適応すると、平滑化閾値が大きい場合、ノイズ除去効果は高いが画像本来の微細なテクスチャ部分にボケ感を生じ画質を劣化させる。又、平滑化閾値が小さい場合、微細なテクスチャ部分のボケ感は抑制できるがノイズ除去効果が低下する。又、平滑化閾値を選択するようにしても微細なテクスチャ部分にもフィルタがかかるため多少なりともボケ感を生じたり、本来ノイズ除去されるべき箇所において小さい平滑化閾値εが選択されることもあり、ノイズ除去効果が低くなるという問題点があったが、本発明によればエッジブロック部分及びそのエッジブロック部分を拡張した部分とその他の部分とで平滑化の為の閾値をそれぞれ設定することで、高いノイズ除去効果を維持しながらも微細なテクスチャ部分のボケ感の抑制を可能とするものである。
【００２５】
【発明の効果】
本発明によれば、高いノイズ除去効果を維持しながらも微細なテクスチャ部分のボケ感の抑制を可能とする符号化ノイズ除去装置を得ることができる。
【図面の簡単な説明】
【図１】実施形態１の符号化ノイズ除去装置の構成の一例を示す機能ブロック構成図。
【図２】実施形態１におけるエッジブロック情報拡張回路の一例で用いられる（３×３）の領域を説明するための模式図。
【符号の説明】
１１  入力端子
１２  エッジブロック抽出回路
１３  エッジブロック情報抽出回路
１４  エッジブロック情報拡張回路
１５  閾値演算回路
１６  平滑化ブロック抽出回路
１７  平滑化回路
１８  出力端子
【図１】
2004282442.tif 000004
【図２】
2004282442.tif 000005