(57)【要約】【課題】エッジ強調等の処理を行う画像処理方法に関し、平滑化処理とエッジ強調処理とを含み、画質向上を図る。【解決手段】入力画像の単一又は複数の画素毎に平坦度合い又は急峻度合いを示す値を算出する過程と、平坦度合い又は急峻度合いを示す値を基にフィルタ係数を求める過程と、求めたフィルタ係数により画素に対するフィルタリング処理を行う過程とを含み、平坦度合い又は急峻度合いを示す値が、平坦部分を示す時に平滑化フィルタの処理を行う係数、急峻部分を示す時にエッジ強調フィルタの処理を行う係数として求め、平坦部分と急峻部分との中間部分は、平滑化フィルタの係数からエッジ強調フィルタの係数に連続的に変化する係数として求め、且つ復号化されたマクロブロック毎に量子化ステップの値を抽出し、量子化ステップの値が大きくなるに従ってエッジ強調の強度を小さくなるように制限する処理過程を有する。【選択図】図１
2010193515.tif 000002
【特許請求の範囲】
【請求項１】
入力された画像の単一又は複数の画素毎に平坦度合い又は急峻度合いを示す値を算出する過程と、
前記平坦度合い又は急峻度合いを示す値を基にフィルタ係数を求める過程と、
該過程により求めた前記フィルタ係数により前記画素に対するフィルタリング処理を行う過程とを含み、
前記フィルタ係数を求める過程に於いて、前記平坦度合い又は急峻度合いを示す値が、平坦部分を示す時に平滑化フィルタの処理を行う係数として求め、急峻部分を示す時にエッジ強調フィルタの処理を行う係数として求め、前記平坦部分と前記急峻部分との中間部分を示す時に前記平滑化フィルタの係数から前記エッジ強調フィルタの係数に連続的に変化する係数として求める過程を有し、且つ復号化されたマクロブロック毎に量子化ステップの値を抽出し、抽出した該量子化ステップの値が大きくなるに従ってエッジ強調の強度を小さくなるように制限する処理過程を有する
ことを特徴とする画像処理方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、静止画や動画等の画像の美化を図るフィルタ処理を含む画像処理方法に関する。
【背景技術】
【０００２】
人物や風景等を含む一般的な画像について、エッジ（境界）部分の特性をそのまま維持して、平坦部分は、より一層平坦化することにより、例えば、人物の顔の輪郭や目又は口の周りのシャープさを保存したまま、しわや、しみ等を除去して、画像全体の美化を図る手段が提案されている。
【０００３】
又動画像符号化伝送等に於いては、復号化した画像中に存在するブロックノイズやモスキートノイズを除去する為のフィルタ処理の適用が提案されている。このブロックノイズを消去する目的としてデブロッキングフィルタが知られているが、このフィルタによってはモスキートノイズを消去することができない。
【０００４】
又画素毎にその周辺の画像情報を用いて適応的にフィルタリングを行い、高画質化を図る場合には、低域フィルタ（平滑化フィルタ）、原画、高域フィルタ（エッジ強調フィルタ）の出力を切替えることが提案されている。その場合、切替える為の閾値設定手段を容易には実現できないことから、エッジ領域等に於いて不必要なボケや画像の乱れが発生する欠点がある。
【０００５】
従来、人物の顔の画像中の、例えば、しわ、しみ、肌荒れ等を修正することを目的として、図８に示すイプシロンフィルタによる画像処理手段が提案されている（例えば、特許文献１参照）。同図に於いて、１１１は差分検出部、１１２は閾値判定部、１１３は乗算部、１１４は加算部を示し、差分検出部１１１により、入力画素の座標ｍ，ｎの注目画素Ｘｍ，ｎとその周囲の８個の画素との差分をそれぞれ求め、閾値判定部１１２に於いてそれぞれの差分値の絶対値と閾値ＴＨとを比較し、差分値の絶対値が閾値ＴＨより小さい、例えば、Δｍ−１，ｎ−１，Δｍ−１，ｎ，Δｍ，ｎ＋１，Δｍ＋１，ｎ，Δｍ＋１，ｎ＋１  が得られた場合を示し、乗算部１１３に於いて所定の係数Ａｉ，ｊ（ｉ＝１，０，−１，  ｊ＝１，０，−１）をそれぞれ乗算し、加算部１１４に於いて、それぞれの乗算値と注目画素とを加算して出力画素とする。従って、画像のエッジ部分については原画のエッジ状態を保持し、平坦部分を更に平滑化することにより、しわやしみ等の好ましくない部分を除去した画像とすることができる。
【０００６】
又図９に示すＲＴＦ（Ｒｉｐｐｌｅ  Ｔｒｉｍｍｅｄ  Ｆｉｌｔｅｒ）と称されるフィルタを用いてテレビジョン画像の人物の顔の中のしわ等の不要な成分を低減する手段が提案されている（例えば、特許文献２参照）。同図に於いて、１２１〜１２３はそれぞれ１水平走査線分の遅延回路、１２４は加重加算回路、１２５，１２７は減算回路、１２６は係数を記憶したメモリ（ＲＯＭ）を示す。
【０００７】
入力画像信号Ｘｋ，ｉが初段の遅延回路１２１に入力されて順次遅延回路１２２，１２３により遅延され、点線で囲む部分のそれぞれの遅延出力信号を加重加算回路１２４に入力し、遅延出力信号に係数を乗算して加算する。この加重加算回路１２４の出力信号は、入力画像信号を低域フィルタ処理した信号に相当する。この出力信号と、遅延回路１２２の出力信号とを減算回路１２５に入力して差分を求め、この差分をアドレスとしてメモリ１２６から係数を読出して減算回路１２７に入力し、遅延回路１２２の出力信号から減算することにより、所望の画像信号を得ることができる。
【０００８】
又画像の輪郭のぼけの問題やノイズの問題をそれぞれ単独で処理して、見やすい画像を得ることを目的として、図１０に示す画像処理装置が知られている（例えば、特許文献３参照）。同図に於いて、１３１は画像入力部、１３２は画像処理部、１３３は画素抽出部、１３４は画像選択スイッチ（ＳＷ１，ＳＷ２，ＳＷ３）、１３５は画像統合部、１３６は画像出力部を示す。
【０００９】
又画像処理部１３２は、平滑化部２２１とエッジ強調部２２２とディレイ調整部２２３，２２４，２２５とを含む構成を有し、画素抽出部１３３は、エッジ画素抽出部２３１と、輪郭抽出部２３２と、ノイズ画素抽出部２３３と、非エッジ画素抽出部２３４と、輪郭面積算出部２３５と、ディレイ調整部２３６〜２３９とを含む構成を有し、画像統合部１３５は、セレクタ２５１〜２５３と、画像合成部２５４とを含む構成を有する。
【００１０】
画像処理部１３２は、平滑化部２３１によりノイズを除去したノイズ除去画像信号と、エッジ強調部２３２によりエッジを強調したエッジ強調画像信号と、無処理の画像信号とを画像統合部１３５に入力する。又画素抽出部１３３は、輪郭画素抽出部２３２により抽出した輪郭画素と、ノイズ画素抽出部２３３により抽出したノイズ画素と、非エッジ画素抽出部２３４により抽出した非エッジ画素とを画像統合部１３５に入力する。
【００１１】
画像統合部１３５のセレクタ２５１〜２５３には、画像処理部１３２からの無処理画像信号と、ノイズ除去画像信号と、エッジ強調画像信号とがそれぞれ入力され、又画素抽出部１３３からの輪郭画素がセレクタ２５１に、又ノイズ画素がセレクタ２５２に、又非エッジ画素がセレクタ２５３にそれぞれ入力されて、それらの画素が“１”で、且つ画像選択スイッチＳＷ１〜ＳＷ３による無処理画像とノイズ除去画像とエッジ強調画像との何れかの選択制御により、入力された無処理画像信号とノイズ除去画像信号とエッジ強調画像信号との何れかを、画像合成部２５４に入力して画像合成を行うものである。それにより、ノイズ画素に対してエッジ強調処理が行われたり、或いは、エッジ画素に対してノイズ除去処理が行われたりすることがなく、ノイズ除去処理とエッジ強調処理とを単独で行うことができる。
【先行技術文献】
【特許文献】
【００１２】
【特許文献１】特開２０００−１０５８１５号公報
【特許文献２】特開２０００−２９５４９７号公報
【特許文献３】特開平７−１５２９０８号公報
【発明の概要】
【発明が解決しようとする課題】
【００１３】
従来の例えば図８に示すイプシロンフィルタを用いた画像処理手段は、しわや、しみ等の細かい顔の中の不要な成分を除去することが可能であるが、エッジ部分については、現画像のエッジ状態を保存することしかできず、エッジ強調処理を実現することができない問題がある。又積和演算の中に判定処理を含む為、演算量が過大となる問題がある。更に、注目画素とその周辺画素との差分を閾値と比較する処理を含む為、グラデーションのある画像領域では、フィルタリング効果が少なく、不安定な処理となる問題がある。
【００１４】
又前述の図９に示すＲＴＦを用いた場合、前述のイプシロンフィルタを用いた場合に比較して演算量を低減することができるが、ノイズ除去に対する効果は、フィルタ切替えを行った部分で不連続な特性となり、この点では前述のイプシロンフィルタを用いた場合に比較して劣る問題がある。
【００１５】
又前述の図１０に示す従来例に於いては、画像の平坦部分では平滑化処理を行い、エッジ部分ではエッジ強調処理を行うことにより、細かなノイズ成分を平坦化して、見やすい画像を生成することができるが、セレクタ２５１〜２５３による選択処理の為の閾値設定を適切に行う必要があり、この閾値設定が適切でない場合、エッジ部分や画像中の細かな領域で不均一な画素を出力することになる。それにより、例えば、高域強調された画素に、平滑化された画素が混在したり、逆に、平滑化された画素に、エッジ強調された画素が混在して、画質改善ができない問題がある。又演算量も多いものとなるから、高速処理が困難である問題もある。
【課題を解決するための手段】
【００１６】
本発明の画像処理方法は、入力された画像の単一又は複数の画素毎に平坦度合い又は急峻度合いを示す値を算出する過程と、前記平坦度合い又は急峻度合いを示す値を基にフィルタ係数を求める過程と、該過程により求めた前記フィルタ係数により前記画素に対するフィルタリング処理を行う過程とを含み、前記フィルタ係数を求める過程に於いて、前記平坦度合い又は急峻度合いを示す値が、平坦部分を示す時に平滑化フィルタの処理を行う係数として求め、急峻部分を示す時にエッジ強調フィルタの処理を行う係数として求め、前記平坦部分と前記急峻部分との中間部分を示す時に前記平滑化フィルタの係数から前記エッジ強調フィルタの係数に連続的に変化する係数として求める過程を有し、且つ復号化されたマクロブロック毎に量子化ステップの値を抽出し、抽出した該量子化ステップの値が大きくなるに従ってエッジ強調の強度を小さくなるように制限する処理過程を有する。
【発明の効果】
【００１７】
入力画像の単一又は複数の画素毎に平坦度合い又は急峻度合いを示す値、例えば、エッジ強度を求め、この値に従って、平滑化フィルタ、全域通過フィルタ、エッジ強調フィルタの特性が連続的に変化するフィルタ係数を求めることにより、不連続点を含まない状態で、画像の平滑化とエッジ強調との処理を実行することが可能であり、従って、美化処理した画像を得ることができる。又通常の２次元線形フィルタリング処理とエッジ量演算処理とフィルタ係数算出処理で済み、フィルタ係数算出処理は、フィルタ係数をテーブル化することができるから、演算は２次元フィルタリング処理によるものが殆どとなり、従来のイプシロンフィルタやフィルタ切替えによる画像強調手段に比較して演算量の削減が可能となる。又マクロブロック毎の量子化ステップを参照して、フィルタリング特性を制御することにより、ブロックノイズが発生している可能性が高くなるに従って、エッジ強調の強度を制御して、ブロックノイズやモスキートノイズを平滑化処理して低減し、画質を向上させることができる。
【図面の簡単な説明】
【００１８】
【図１】本発明の実施例の画像処理装置の要部説明図である。
【図２】本発明の実施例のフィルタ構成の要部説明図である。
【図３】フィルタ係数の配置説明図である。
【図４】フィルタ係数の変化の説明図である。
【図５】フィルタ係数とフィルタ特性との関係説明図である。
【図６】画像伝送システムの説明図である。
【図７】画像伝送システムの説明図である。
【図８】従来例の説明図である。
【図９】従来例の説明図である。
【図１０】従来例の説明図である。
【発明を実施するための形態】
【００１９】
本発明の画像処理方法は、入力された画像の単一又は複数の画素毎に平坦度合い又は急峻度合いを示す値を算出する過程と、平坦度合い又は急峻度合いを示す値を基にフィルタ係数を求める過程と、この過程により求めたフィルタ係数により、画素に対するフィルタリング処理を行う過程とを含み、前記フィルタ係数を求める過程に於いて、平坦度合い又は急峻度合いを示す値が、平坦部分を示す時に平滑化フィルタの処理を行う係数として求め、急峻部分を示す時にエッジ強調フィルタの処理を行う係数として求め、平坦部分と急峻部分との中間部分を示す時に、平滑化フィルタの係数からエッジ強調フィルタの係数に連続的に変化する係数として求める過程を有し、且つ復号化されたマクロブロック毎に量子化ステップの値を抽出し、抽出した量子化ステップの値が大きくなるに従ってエッジ強調の強度を小さくなるように制限する処理過程を含むものである。
【実施例１】
【００２０】
図１は、本発明の実施例の要部説明図であり、１はマスク走査部、２はエッジ量演算部、３はフィルタ係数演算部、４は２次元フィルタ演算部を示す。マスク走査部１に対する入力画像Ｘｉ，ｊをフィルタ処理して出力画像Ｙｉ，ｊを得るもので、マスク走査部１は、フィルタ構成に対応した例えば３×３のマスク走査構成とすることができる。又エッジ量演算部２は、単一又は複数の画素毎に、平坦度合い又は急峻度合いを算出するもので、以下急峻度合いとしてのエッジ量（エッジ強度）を算出する場合について説明する。即ち、マスク走査部１からの単一又は複数の画素毎に、入力画像Ｘｉ，ｊのエッジ量を算出し、フィルタ係数演算部３に入力し、フィルタ係数を求めて２次元フィルタ演算部４に入力し、マスク走査部１からの画像信号に対してフィルタ処理し、出力画像Ｙｉ，ｊを得るものである。
【００２１】
又入力画像をＸｍ，ｎ、出力画像をＹｍ，ｎとし、フィルタ係数をＷｉ，ｊとすると、一般的な正規化された出力が得られる２次元フィルタは、
Ｙｍ，ｎ＝（ΣＷｉ，ｊ＊Ｘｍ＋ｉ，ｎ＋ｊ）／ΣＷｉ，ｊ                  ・・・（１）
と表すことができる。
【００２２】
正規化された出力が得られる条件としては、ΣＷｉ，ｊの値が一定となるように予めフィルタバンクに設定しておくことにより、除算が不要となるから、演算量の削減が可能となり、この条件下で重み係数の絶対値として、低域フィルタ、全域通過フィルタ、高域強調フィルタを形成することができる。
【００２３】
複数のフィルタ係数の中から画素毎に係数を変更する手段としては、画素毎の周辺エッジ量によって切替える手段を適用することが一般的である。例えば、エッジ強度を求める為の演算としては、
ラプラシアン
ＥＰｉ，ｊ＝｜Ｘｉ，ｊ−（Ｘｉ−１，ｊ−１＋Ｘｉ−１，ｊ＋Ｘｉ−１，ｊ＋１＋Ｘｉ，ｊ−１＋Ｘｉ，ｊ＋１＋Ｘｉ＋１，ｊ−１＋Ｘｉ＋１，ｊ＋Ｘｉ，ｊ＋１）／８｜                    ・・・（２）
ロバーツオペレータ
ＥＰｉ，ｊ＝｜Ｘｉ，ｊ−Ｘｉ＋１，ｊ＋１｜＋｜Ｘｉ，ｊ＋１−Ｘｉ＋１，ｊ｜  ・・・（３）
上下方向のエッジ強度
ＥＰｉ，ｊ＝｜Ｘｉ−１，ｊ−Ｘｉ＋１，ｊ｜＋｜Ｘｉ，ｊ−１−Ｘｉ，ｊ＋１｜  ・・・（４）
を使用することができる。
【００２４】
係数の制約条件として、３×３マスク２次元フィルタで、ΣＷｍ，ｎ＝４とした場合の平滑化フィルタと、全域通過フィルタと、エッジ強調フィルタとの例を下記に示す。
【００２５】
全域通過フィルタ
Ｗｉ，ｊ＝｛０，０，０，０，４，０，０，０，０｝
平滑化フィルタ
Ｗｉ，ｊ＝｛０，１，０，１，０，１，０，１，０｝
Ｗｉ，ｊ＝｛１，０，１，０，１，０，１，０，１｝
高域強調フィルタ
Ｗｉ，ｊ＝｛０，−１，０，−１，８，−１，０，−１，０｝
Ｗｉ，ｊ＝｛−１，−１，−１，−１，１２，−１，−１，−１，−１｝
【００２６】
ここで、全域通過フィルタと平滑化フィルタと高域強調フィルタとのそれぞれの係数に注目すると、
Ｗｉ，ｊ＝｛０，０，０，０，４，０，０，０，０｝
Ｗｉ，ｊ＝｛０，１，０，１，０，１，０，１，０｝
Ｗｉ，ｊ＝｛０，−１，０，−１，８，−１，０，−１，０｝
の組合せの場合、（ｉ，ｊ）＝（１，０），（０，１），（２，１），（１，２）の個所が同一係数であり、係数全体の総和のＣ＝ΣＷｉ，ｊであることが条件となる。
【００２７】
中心以外の非０の係数をＢ、中心の係数をＡとすると、係数に対する拘束条件は、
Ｃ＝ΣＷｉ，ｊ＝Ａ＋４Ｂ
となる（尚、Ｃは周波数０Ｈｚに於ける出力を正規化する為の係数）。
【００２８】
平坦部にスムージングを行い、境界部分にエッジ強調を行う為には、ＥＰｍ，ｎの値が大きい場合は、Ｂの値が負の値であり、ＥＰｍ，ｎの値が０に近い場合は、Ｂの値が正の値となり、中域では、Ｂ＝０となることが望ましい。これらの条件を持つ値としてＢを計算する為に、例えば、
Ｂ＝ｍａｘ（ｍｉｎ（α（Ｌ−ＥＰ（ｍ，ｎ）），Ｅ），Ｆ）      ・・・（５）
を用いることができる。尚、Ｅは係数Ｂの上限値、Ｆは係数Ｂの下限値、αは平滑化フィルタとエッジ強調フィルタとの切替えの度合いを示す。又Ｌは全域通過としたい領域を示す。
【００２９】
図２は、図１に於けるマスク走査部１を３×３マスク構成とした場合の画像処理装置のフィルタ構成の要部を示し、図１と同一符号は同一部分を示す。又マスク走査部１のＬ−Ｄはラインバッファ、Ｄは画素記憶部であり、３×３＝９個の出力信号を２次元フィルタ演算部４に入力する。又エッジ量演算部２のＳＵＢＡＢＳは差分の絶対値算出部、＋は加算部を示す。又フィルタ係数演算部３は、フィルタ係数をテーブル化したフィルタ係数ＲＯＭにより構成した場合を示す。又２次元フィルタ演算部４のＭは乗算部、＋は加算部を示す。
【００３０】
エッジ量演算部２は、マスク走査部１からの出力画素の差分の絶対値を求めて、平坦度合い又は急峻度合いを示すエッジ量を求めて、フィルタ係数演算部３に入力する。このフィルタ係数演算部３は、エッジ量をアドレスとしてフィルタ係数を読出すフィルタ係数ＲＯＭとした場合を示し、読出したフィルタ係数は、前述の係数Ａ，Ｂから構成され、２次元フィルタ演算部４に入力する。この２次元フィルタ演算部４は、マスク走査部１からの出力信号に対してフィルタ係数による積和演算を行い、フィルタ係数に従って、平滑化フィルタと全域通過フィルタと高域通過フィルタ（エッジ強調フィルタ）との特性を連続的に変更して、平坦部分は平滑化して滑らかな画像とし、急峻部分はエッジ強調により明確な画像とし、その他はそのままの画像とし、それらの間は連続的に遷移する状態の画像とするものである。
【００３１】
図３は、フィルタ係数の配置説明図であり、同図の（Ａ），（Ｂ）は、３×３のエッジ検出フィルタの係数の例を示し、（Ａ）はロバーツ（Ｒｏｂｅｒｔｓ）エッジ検出フィルタの係数配置を示す。又（Ｂ）は水平方向及び垂直方向のエッジ検出フィルタの係数配置を示す。又同図の（Ｃ），（Ｄ）は、３×３の適応フィルタ係数配置の説明図であり、（Ｃ）は隣接４点からのフィルタリングを行う場合の係数配置を示し、（Ｄ）は隣接８点からのフィルタリングを行う場合の係数配置を示す。
【００３２】
図４は、フィルタ係数の変化の説明図であり、エッジ強度の絶対値｜ＥＰ｜に対する係数Ｂの変化を示し、Ｅは係数Ｂの上限値、Ｆは係数Ｂの下限値、Ｌは全域通過の領域を示す。同図の（Ａ）は、｜ＥＰ｜が小さい時は、係数Ｂを上限値Ｅとし、｜ＥＰ｜が大きい時は、係数Ｂを下限値Ｆとし、｜ＥＰ｜がそれらの間の値の時に、｜ＥＰ｜の値に対応して、係数Ｂが、０を通過して連続的に変化するように制御した場合を示す。この時、係数Ａは、Ｃ＝ΣＷｉ，ｊの条件により、
Ａ＝Ｃ−４Ｂ
として求めることができる。
【００３３】
このような係数Ａ，Ｂを有するフィルタは、
Ｗｉ，ｊ＝｛０，Ｂ，０，Ｂ，Ａ，Ｂ，０，Ｂ，０｝
となり、ＥＰ＜Ｌの範囲では平滑化フィルタ、ＥＰ＝Ｌの周辺では全域通過フィルタ、ＥＰ＞Ｌの範囲では高域強調（エッジ強調）フィルタとして動作して、画像処理を実行することができる。又係数Ｂは、図示のように上限値Ｅから下限値Ｆに連続的に変化する。
【００３４】
又図４の（Ｂ）は、高域強調フィルタとして動作する場合に、エッジ強度の絶対値が大きくなるに従って係数Ｂを下限値Ｅから次第に０に変化させ、エッジ強調大からエッジ強調小に変化するフィルタ特性とした場合を示す。即ち、エッジ強度の絶対値が大きい急峻な輪郭の領域の強調度合いを低くし、少し急峻な領域に対しては、より急峻な領域となるように処理して画質を向上させることができる。
【００３５】
又図４の（Ｃ）は、エッジ強度の絶対値が大きい時に、係数Ｂを下限値Ｆより大きい値の（ａ），（ｂ），（ｃ），（ｄ）の値に制限する場合を示し、平滑化処理は、（Ａ），（Ｂ）に示す場合と同様であるが、エッジ強調処理の度合いを制限することができる。この制限は、入力画像の性質に従って段階的或は連続的に選択することができるものであり、又画像伝送システムに於けるポストフィルタとして適用することができる。
【００３６】
又１次元のフィルタＷｉ，ｊ＝｛Ｂ，Ａ，Ｂ｝について、係数Ａ，Ｂに対する拘束条件として、Ａ＝Ｃ−２Ｂ、且つＣ＝１とし、係数Ｂを、１，０．５，０，−１の４種類に変更すると、それぞれ平滑化フィルタ、全域通過フィルタ、エッジ強調（弱）フィルタ、エッジ強調（強）フィルタとなる。この特性の変化について、Ｗｉ，ｊ＝｛Ｂ，Ａ，Ｂ｝をフーリエ変換して周波数特性により表すと、図５に示すものとなる。即ち、係数Ａ＝３，Ｂ＝−１の場合は、周波数が高い程、出力が大きくなるエッジ強調フィルタ、係数Ａ＝２，Ｂ＝−０．５の場合は、エッジ強調（弱）フィルタ、係数Ａ＝１，Ｂ＝０の場合は、周波数が変化しても出力が一定の全域通過フィルタ、係数Ａ＝−１，Ｂ＝１の場合は、周波数が高い程、出力が小さくなる平滑化フィルタの特性となる。尚、係数は正規化されており、従って、周波数０Ｈｚに於ける出力は１．０である。このように、係数の制御により、平滑化フィルタ（ローパスフィルタ）と高域強調フィルタ（ハイパスフィルタ）の特性の切替えを円滑に行うことができる。
【００３７】
前述のように、対象画素周辺のエッジ強度を求め、このエッジ強度からフィルタ係数を求め、このフィルタ係数を用いて２次元フィルタ処理を行うことにより、画像の中の平坦な部分に対しては平滑化処理を実施し、エッジ強度の大きい境界部分に対してはエッジ強調処理を実施するものである。即ち、対象画素周辺のエッジ強度に従って、平滑化フィルタと、全域通過フィルタと、エッジ強調フィルタとの特性を連続的に変化させることが可能となり、且つ、比較的シンプルな処理であるから、ソフトウェア処理の場合に高速演算が可能となり、又ハードウェア規模については、従来例に比較して小さくすることが可能となる。
【００３８】
又本発明の画像処理に於けるフィルタリング処理は、通常の２次元線形フィルタリング処理と、エッジ量計算処理と、エッジ量からのフィルタ係数の計算処理とを含むものであり、フィルタ係数の計算処理は、図２に示すように、フィルタ係数ＲＯＭ等によるテーブル化することができるから、従来のイプシロンフィルタを用いた場合や、フィルタ切替えによる手段に比較して、演算量の削減により高速演算が可能となる。
【００３９】
図６は、画像伝送システムの説明図であり、２１はテレビカメラ、２２はエンコーダ（ＥＮＣＯＤＥＲ）、２３はデコーダ（ＤＥＣＯＤＥＲ）、２４はポストフィルタ（Ｐ〜ＳＴ−ＦＩＬＴＥＲ）、２５は表示装置（ＤＩＳＰ）を示す。テレビカメラ２１とエンコーダ２２とによる送信側から画像伝送方式に従った符号化方式により符号化した符号化画像信号を送信する。受信側では、デコーダ２３により符号化画像信号を復号化し、ポストフィルタ２４により、前述の本発明の実施例によるフィルタリング処理を行って、表示装置２５により画像を表示する。従って、画像の平坦部分は平滑化処理され、境界部分はエッジ強調処理されて、表示装置２５に表示される。
【００４０】
図７は、画像伝送システムの説明図であり、３１はテレビカメラ、３２はプレフィルタ、３３はデコーダ、３４はエンコーダ、３５はポストフィルタを示し、受信側の表示装置は図示を省略している。送信側のプレフィルタ３２によりテレビカメラ３１による画像信号に対して、前述の実施例によりエッジ強調処理等を施し、デコーダ３３により符号化して送信する。受信側では、エンコーダ３４により復号化し、ポストフィルタ３５により、ブロックノイズやモスキートノイズを除去する。即ち、このポストフィルタ３５は、例えば、図４の（Ｃ）に示すようにエッジ強度により変化する係数Ｂを用いて画像処理する特性とし、低レート伝送に於いて発生し易いブロックノイズや、強調したエッジ周辺で発生し易いモスキートノイズを除去して、見やすい画像を表示することができる。
【００４１】
又画像の符号化単位のマクロブロック毎に決定される量子化ステップの値が大きく、低ビットレートで伝送する場合、隣接するマクロブロックとの間に、ブロックノイズが発生する可能性が高くなる。このブロックノイズが発生している領域に対して、前述のエッジ強調処理を含むフィルタリング処理を施すと、ブロックノイズ部分に存在するエッジ成分を強調処理することになり、画質が劣化する。そこで、復号化マクロブロック毎の量子化ステップの値を基に、エッジ強調特性をリアルタイムに変更する。即ち、前述の図４の（Ｃ）に示すように、量子化ステップの値が大きくなるに従って、係数Ｂの負（下限値Ｆ側）の値を（ａ），（ｂ），（ｃ）のように制限し、最終的には、（ｄ）に示すように、エッジ強調を行わない特性とし、ブロックノイズが発生する可能性が高い場合でも、ブロックノイズ除去フィルタとしての特性として復号処理することができる。
【符号の説明】
【００４２】
１  マスク走査部
２  エッジ量演算部
３  フィルタ係数演算部
４  ２次元フィルタ演算部
【図１】
2010193515.tif 000003
【図２】
2010193515.tif 000004
【図３】
2010193515.tif 000005
【図４】
2010193515.tif 000006
【図５】
2010193515.tif 000007
【図６】
2010193515.tif 000008
【図７】
2010193515.tif 000009
【図８】
2010193515.tif 000010
【図９】
2010193515.tif 000011
【図１０】
2010193515.tif 000012