(57)【要約】      （修正有）【課題】周波数変換及び非可逆圧縮符号化を行なうことにより生成された画像ストリームを復号した復号画像データに含まれる、モスキートノイズ等のノイズ発生部分を検出し削除する。【解決手段】水平エッジ強度測定器１００および垂直エッジ強度測定器１０１により得られたエッジ強度に基づいて、ノイズを除去すべきブロックを特定するためのノイズ除去フラグを算出するノイズ除去フラグ算出器１０３と、算出されたノイズ除去フラグを格納するノイズ除去フラグメモリ１０４と、入力した現フレームのエッジ強度と、格納された直前フレームのエッジ強度及びノイズ除去フラグに基づいて、ノイズ除去を施すフィルタを制御する制御信号を出力するフィルタ強度算出器１０６と、その制御信号に応じて入力フレームに対するフィルタリング処理を行うフィルタ１０７とを有する。【選択図】図１
2010177926.tif 000002
【特許請求の範囲】
【請求項１】
非可逆符号化により生成された画像ストリームを復号した復号画像データのノイズ成分を除去する画像処理装置であって、
入力フレームのブロックの水平エッジの強度を測定する水平エッジ強度測定手段と、
前記入力フレームのブロックの垂直エッジの強度を測定する垂直エッジ強度測定手段と、
前記水平エッジ強度測定手段及び前記垂直エッジ強度測定手段により測定された水平及び垂直のエッジ強度を格納するエッジ強度格納手段と、
前記エッジ強度格納手段に格納した前記水平及び垂直のエッジ強度に基づいて、ノイズを除去すべきブロックを特定するためのノイズ除去フラグを算出するノイズ除去フラグ算出手段と、
前記ノイズ除去フラグ算出手段で算出されたノイズ除去フラグを格納するノイズ除去フラグ格納手段と、
入力した現フレームのエッジ強度と前記エッジ強度格納手段に格納された直前フレームのエッジ強度及び前記ノイズ除去フラグに基づいて、ノイズ除去を施すフィルタを制御する制御信号を出力するフィルタ制御手段と、
前記フィルタ制御手段からの前記制御信号に応じて前記入力フレームに対するフィルタリング処理を行うフィルタ手段と
を有することを特徴とする画像処理装置。
【請求項２】
前記ノイズ除去フラグ算出手段は、
前記エッジ強度格納手段に格納された各ブロックのエッジ強度を算出する手段と、
前記算出されたエッジ強度が所定値よりも大きい第１ブロックと、当該第１ブロックに隣接し、前記第１ブロックのエッジ強度よりも所定値より小さいエッジ強度を有する第２ブロックを求める手段とを有し、
前記ノイズ除去フラグは、前記第２ブロックを特定する情報であることを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記フィルタ制御手段は、
前記水平エッジ強度測定手段と前記垂直エッジ強度測定手段により測定された現フレームのブロックのエッジ強度と、前記エッジ強度格納手段に格納された直前フレームの、前記現フレームのブロックに対応するブロックのエッジ強度との差分と、フィルタ強度の強度乗数との積に基づいてフィルタの強度を算出し、前記ノイズを除去すべきブロックに対する前記制御信号を出力することを特徴とする請求項１又は２に記載の画像処理装置。
【請求項４】
前記ブロックのエッジ強度は、当該ブロックの水平エッジ強度と垂直エッジ強度との和であることを特徴とする請求項１乃至３のいずれか１項に記載の画像処理装置。
【請求項５】
前記差分に対応して前記フィルタ強度乗数を記憶するフィルタ強度乗数テーブルを更に有し、前記フィルタ制御手段は前記フィルタ強度乗数テーブルを参照して前記フィルタ強度乗数を取得することを特徴とする請求項３に記載の画像処理装置。
【請求項６】
前記エッジ強度格納手段は、１フレーム分の水平及び垂直のエッジ強度を格納するバンクを少なくとも２つ有するバンク構成のメモリを有し、一方のバンクにエッジ強度を格納しながら他方のバンクからエッジ強度の読み出しが可能であるように構成されていることを特徴とする請求項１乃至５のいずれか１項に記載の画像処理装置。
【請求項７】
前記ノイズ除去フラグ格納手段は、１フレーム分のノイズ除去フラグを格納するバンクを少なくとも２つ有するバンク構成のメモリを有し、一方のバンクにノイズ除去フラグを格納しながら他方のバンクからノイズ除去フラグの読み出しが可能であるように構成されていることを特徴とする請求項１乃至６のいずれか１項に記載の画像処理装置。
【請求項８】
非可逆符号化により生成された画像ストリームを復号した復号画像データのノイズ成分を除去する画像処理装置としてコンピュータを機能させるために、当該コンピュータを、請求項１乃至７のいずれか１項に記載の画像処理装置として記憶させるためのプログラム。
【請求項９】
請求項８に記載のプログラムを記憶した、コンピュータにより読み取り可能な記憶媒体。
【請求項１０】
非可逆符号化により生成された画像ストリームを復号した復号画像データのノイズ成分を除去する画像処理装置の画像処理方法であって、
入力フレームのブロックの水平エッジの強度を測定する水平エッジ強度測定工程と、
前記入力フレームのブロックの垂直エッジの強度を測定する垂直エッジ強度測定工程と、
前記水平エッジ強度測定工程及び前記垂直エッジ強度測定工程で測定された水平及び垂直のエッジ強度を格納するエッジ強度格納工程と、
前記エッジ強度格納工程で格納した前記水平及び垂直のエッジ強度に基づいて、ノイズを除去すべきブロックを特定するためのノイズ除去フラグを算出するノイズ除去フラグ算出工程と、
前記ノイズ除去フラグ算出工程で算出されたノイズ除去フラグを格納するノイズ除去フラグ格納工程と、
入力した現フレームのエッジ強度と前記エッジ強度格納工程で格納された直前フレームのエッジ強度及び前記ノイズ除去フラグに基づいて、ノイズ除去を施すフィルタを制御する制御信号を出力するフィルタ制御工程と、
前記フィルタ制御工程で出力された前記制御信号に応じて前記入力フレームに対するフィルタリング処理を行うフィルタ工程と
を有することを特徴とする画像処理装置の画像処理方法。
【請求項１１】
前記ノイズ除去フラグ算出工程は、
前記エッジ強度格納工程で格納された各ブロックのエッジ強度を算出する工程と、
前記算出されたエッジ強度が所定値よりも大きい第１ブロックと、当該第１ブロックに隣接し、前記第１ブロックのエッジ強度よりも所定値より小さいエッジ強度を有する第２ブロックを求める工程とを有し、
前記ノイズ除去フラグは、前記第２ブロックを特定する情報であることを特徴とする請求項１０に記載の画像処理装置の画像処理方法。
【請求項１２】
前記フィルタ制御工程は、
前記水平エッジ強度測定工程と前記垂直エッジ強度測定工程で測定された現フレームのブロックのエッジ強度と、前記エッジ強度格納工程で格納された直前フレームの、前記現フレームのブロックに対応するブロックのエッジ強度との差分と、フィルタ強度の強度乗数との積に基づいてフィルタの強度を算出し、前記ノイズを除去すべきブロックに対する前記制御信号を出力することを特徴とする請求項１０又は１１に記載の画像処理装置の画像処理方法。
【請求項１３】
前記ブロックのエッジ強度は、当該ブロックの水平エッジ強度と垂直エッジ強度との和であることを特徴とする請求項１０乃至１２のいずれか１項に記載の画像処理装置の画像処理方法。
【請求項１４】
前記差分に対応して前記フィルタ強度乗数を記憶するフィルタ強度乗数テーブルを更に有し、前記フィルタ制御工程は前記フィルタ強度乗数テーブルを参照して前記フィルタ強度乗数を取得することを特徴とする請求項１２に記載の画像処理装置の画像処理方法。
【請求項１５】
前記エッジ強度格納工程は、１フレーム分の水平及び垂直のエッジ強度を格納するバンクを少なくとも２つ有するバンク構成のメモリに格納し、一方のバンクにエッジ強度を格納しながら他方のバンクからエッジ強度の読み出しが可能であることを特徴とする請求項１０乃至１４のいずれか１項に記載の画像処理装置の画像処理方法。
【請求項１６】
前記ノイズ除去フラグ格納工程は、１フレーム分のノイズ除去フラグを格納するバンクを少なくとも２つ有するバンク構成のメモリに格納し、一方のバンクにノイズ除去フラグを格納しながら他方のバンクからノイズ除去フラグの読み出しが可能であることを特徴とする請求項１０乃至１５のいずれか１項に記載の画像処理装置の画像処理方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、例えばＭＰＥＧ（Moving Picture Experts Group）方式などにより、非可逆圧縮符号化された画像データを復号した画像に含まれるノイズ部分を検出して除去する画像処理装置及びその方法に関するものである。
【背景技術】
【０００２】
従来、画像の符号化方式として、フレーム内符号化方式であるMotion JPEGやDigital Video等の符号化方式、フレーム間予測符号化を用いたＨ．２６１，Ｈ．２６３，ＭＰＥＧ−１，ＭＰＥＧ−２が知られている。また近年ではＨ．２６４等の符号化方式が採用されている。これらの符号化方式は、ＩＳＯ（国際標準化機構）やＩＴＵ（国際電気通信連合）によって国際標準化されている。
【０００３】
符号化方式で代表的なＭＰＥＧ−２は非可逆符号化と呼ばれ、符号化画像データを復号しても完全に元の画像データに戻らない。これは符号化時に、ＤＣＴ変換の後に量子化を行うことに起因している。これら符号化方式は、画像信号の統計的な性質を利用し、その信号に含まれる冗長性を取り除くことで情報量の削減を図っている。即ち、人間の視覚は画像の高周波成分に鈍感であるため、その高周波成分を粗く量子化して冗長性を削除し、高い符号化効率を得るようにしている。
【０００４】
しかし、この種のＤＣＴ変換を行なう非可逆符号化では、高域成分を制限することによってデータ圧縮を行っているために、画像のエッジ部、または動物体の周囲でモスキートノイズと呼ばれるノイズが発生し、復元した画像の画質劣化の原因となっている。このモスキートノイズを低減する方法が従来から提案されている。例えば、入力画像信号のエッジ部を検出し、ノイズ除去フィルタによって、画像信号のエッジ部をフィルタリング処理して、モスキートノイズを低減し画像信号を得る方法が提案されている。その一例として、特許文献１には、動きベクトル検出後、水平、垂直エッジ検出をして、その後それぞれの次元でフィルタを施すことが提案されている。
【特許文献１】特開平１０−１３７１８号公報
【発明の開示】
【発明が解決しようとする課題】
【０００５】
しかしながら上記従来の技術では、画像信号中のモスキートノイズの有無に関係無く、画像信号のエッジ部分でモスキートノイズ除去のフィルタリング処理が行われるため、モスキートノイズが発生していない部分では画像を劣化させてしまう。また、細かなエッジが含まれるテクスチャの領域があった場合、この領域をエッジと誤って判断し、テクスチャの情報を削除して画質を劣化させる結果となっていた。
【０００６】
これら問題点は、周波数変換及び非可逆圧縮符号化された画像データを復号した画像データに含まれる、モスキートノイズ等のノイズ発生部分を正確に検出することなく、画像信号のエッジ部にノイズ除去処理を施してしまうことに起因していた。更に、ノイズ除去処理の後にインターレース信号をプログレシブ信号へ変換するＩＰ変換等の処理がある場合は、その処理へ悪影響を与えないようにノイズを除去する必要がある。言い換えれば、インターレースの情報を維持しつつノイズを除去しなくてならない。
【０００７】
本発明の目的は、上述した従来の問題点を解決することにある。
【０００８】
本願発明の目的は、周波数変換及び非可逆圧縮符号化を行なうことにより生成された画像ストリームを復号した復号画像データに含まれる、モスキートノイズ等のノイズ発生部分を検出し削除することにより、上述の問題点を解決することにある。
【課題を解決するための手段】
【０００９】
上記目的を達成するために本発明の一態様に係る画像処理装置は以下のような構成を備える。即ち、
非可逆符号化により生成された画像ストリームを復号した復号画像データのノイズ成分を除去する画像処理装置であって、
入力フレームのブロックの水平エッジの強度を測定する水平エッジ強度測定手段と、
前記入力フレームのブロックの垂直エッジの強度を測定する垂直エッジ強度測定手段と、
前記水平エッジ強度測定手段及び前記垂直エッジ強度測定手段により測定された水平及び垂直のエッジ強度を格納するエッジ強度格納手段と、
前記エッジ強度格納手段に格納した前記水平及び垂直のエッジ強度に基づいて、ノイズを除去すべきブロックを特定するためのノイズ除去フラグを算出するノイズ除去フラグ算出手段と、
前記ノイズ除去フラグ算出手段で算出されたノイズ除去フラグを格納するノイズ除去フラグ格納手段と、
入力した現フレームのエッジ強度と前記エッジ強度格納手段に格納された直前フレームのエッジ強度及び前記ノイズ除去フラグに基づいて、ノイズ除去を施すフィルタを制御する制御信号を出力するフィルタ制御手段と、
前記フィルタ制御手段からの前記制御信号に応じて前記入力フレームに対するフィルタリング処理を行うフィルタ手段と
を有することを特徴とする。
【００１０】
上記目的を達成するために本発明の一態様に係る画像処理装置の画像処理方法は以下のような工程を備える。即ち、
非可逆符号化により生成された画像ストリームを復号した復号画像データのノイズ成分を除去する画像処理装置の画像処理方法であって、
入力フレームのブロックの水平エッジの強度を測定する水平エッジ強度測定工程と、
前記入力フレームのブロックの垂直エッジの強度を測定する垂直エッジ強度測定工程と、
前記水平エッジ強度測定工程及び前記垂直エッジ強度測定工程で測定された水平及び垂直のエッジ強度を格納するエッジ強度格納工程と、
前記エッジ強度格納工程で格納した前記水平及び垂直のエッジ強度に基づいて、ノイズを除去すべきブロックを特定するためのノイズ除去フラグを算出するノイズ除去フラグ算出工程と、
前記ノイズ除去フラグ算出工程で算出されたノイズ除去フラグを格納するノイズ除去フラグ格納工程と、
入力した現フレームのエッジ強度と前記エッジ強度格納工程で格納された直前フレームのエッジ強度及び前記ノイズ除去フラグに基づいて、ノイズ除去を施すフィルタを制御する制御信号を出力するフィルタ制御工程と、
前記フィルタ制御工程で出力された前記制御信号に応じて前記入力フレームに対するフィルタリング処理を行うフィルタ工程と
を有することを特徴とする。
【発明の効果】
【００１１】
本発明によれば、周波数変換及び非可逆圧縮符号化を行なうことにより生成された画像ストリームを復号した復号画像データに含まれるノイズ発生部分を検出して、そのノイズを除去できる。
【発明を実施するための最良の形態】
【００１２】
以下、添付図面を参照して本発明の好適な実施形態を詳しく説明する。尚、以下の実施形態は特許請求の範囲に係る本発明を限定するものでなく、また本実施形態で説明されている特徴の組み合わせの全てが本発明の解決手段に必須のものとは限らない。
【００１３】
図１は、本発明の実施形態に係る画像処理装置の主要部の構成を示すブロック図である。尚、本実施形態に係る画像処理装置は、非可逆符号化により生成された画像ストリームを復号した復号画像データを入力し、その入力フレームのノイズ成分を除去することを目的とする。ここでは画像データの処理の単位を４×４画素とし、これを対象ブロック（以下、ブロック）と称する。
【００１４】
水平エッジ強度測定器１００は、輝度信号の１ブロックを入力し、水平のエッジ強度を測定する。本実施形態では、処理単位のブロックの画素に対するエッジ強度をＳｏｂｅｌフィルタの累積値とする。
【００１５】
図２（Ａ）（Ｂ）は、本実施形態で用いるＳｏｂｅｌフィルタのオペレータの一例を示す図である。
【００１６】
図２において、（Ａ）は、水平Ｓｏｂｅｌフィルタのオペレータの一例を示し、（Ｂ）は、垂直Ｓｏｂｅｌフィルタのオペレータの一例を示す。
【００１７】
垂直エッジ強度測定器１０１は、輝度信号の１ブロックを入力し、垂直のエッジ強度を測定する。エッジ強度メモリ（エッジ強度格納部）１０２は、水平エッジ強度測定器１００と垂直エッジ強度測定器１０１とで測定した水平と垂直のエッジ強度をそれぞれ１フレーム分だけ格納する。尚、このエッジ強度メモリ１０２は２バンク構成であり、１バンクに対し入力すると同時に他方のバンクで出力することが可能である。尚、このバンクの切り替えは１フレーム処理毎に行う。
【００１８】
ノイズ除去フラグ算出器１０３は、エッジ強度メモリ１０２に格納されたエッジ強度から、ノイズ除去対象となる領域を特定するノイズ除去フラグを算出する。ノイズ除去フラグメモリ（ノイズ除去フラグ格納部）１０４は、ノイズ除去フラグ算出器１０３で算出されたノイズ除去フラグを１フレーム分だけ格納する。尚、ノイズ除去フラグメモリ１０４は２バンク構成であり、１バンクに対し入力すると同時にもう１バンクでは出力することが可能である。このバンクの切り替えは１フレーム処理毎に行う。フィルタ強度乗数テーブル１０５は、後述するエッジ強度変化値からフィルタ強度乗数を参照する。
【００１９】
図３は、エッジ強度変化値とフィルタ強度乗数の関係例を示す図である。
【００２０】
この曲線では、エッジ強度変化値が低い場合にフィルタ強度を強くする傾向となっている。
【００２１】
フィルタ強度算出器（フィルタ制御部）１０６は、現在のフレームの水平及び垂直エッジ強度と、直前のフレームのエッジ強度と、直前のフレームのノイズ除去フラグ、そして外部から入力するフィルタ強度基本乗数から後述するフィルタの強度を算出する。尚、現在のフレームの水平及び垂直エッジ強度は、水平エッジ強度測定器１００及び垂直エッジ強度測定器１０１から得られる。また直前のフレームのエッジ強度は、エッジ強度メモリ１０２から得られ、直前のフレームのノイズ除去フラグは、ノイズ除去フラグメモリ１０４に格納されている。そしてフィルタの強度の算出に際しては、フィルタ強度乗数テーブル１０５が参照される。
【００２２】
フィルタ１０７は、フィルタ強度算出器１０６からの制御信号により、フレーム内の２次元（以降２Ｄと称す）フィルタリング処理を実行するフィルタである。尚、本実施形態では、このフィルタ１０７は、εフィルタを使用する。
【００２３】
図４は、このεフィルタの一例を示す図である。
【００２４】
このフィルタ処理では、中心画素ｆ（ｘ，ｙ）とその近傍画素ｆ（ｘ＋ｉ，ｙ＋ｊ），（ｘ，ｙ＝−Ｍ，...，０，１，...，Ｍ）の差分値を計算し、その絶対値がεよりも大きい場合は、その近傍の画素の値を中心画素の値に置き換えて平滑化処理を行う。その結果、ｇ（ｘ，ｙ）ではエッジ成分を保護し、小振幅の高調波であるノイズを平滑化して抑制することができる。このεフィルタについての詳細は下記文献にゆだねる。
【００２５】
［文献  原島博ほか「ε−分離非線形ディジタルフィルタとその応用」電子情報通信学会  昭５７−論１４６〔Ａ−３６〕  昭和５７年４月］
次に図１の画像処理装置の主要部の動作を図５〜図８のフローチャートを参照して説明する。尚、本実施形態では、先頭フレームとそれ以外のフレームで処理を切り替えるものとする。
【００２６】
図５は、先頭フレームの処理を説明するフローチャートである。
【００２７】
まずステップＳ１で、水平エッジ強度測定器１００により水平エッジの強度を測定する。またステップＳ２で、垂直エッジ強度測定器１０１により垂直エッジの強度を測定する。そしてステップＳ３で、水平エッジの強度及び垂直エッジの強度値をエッジ強度メモリ１０２へ格納する。尚、水平エッジの強度と垂直エッジの強度を測定する順序はこれに限らず、先に垂直エッジの強度を測定しても、これらを並行して行っても良い。
【００２８】
次にステップＳ４に進み、エッジ強度メモリ１０２に格納されたエッジ強度に基づいて、ノイズ除去フラグ算出器１０３によりノイズ除去フラグのマップを作成する。そしてステップＳ５で、その算出したノイズ除去フラグのマップを除去フラグメモリ１０４へ格納する。次にステップＳ６に進み、エッジ強度メモリ１０２、ノイズ除去フラグメモリ１０４のバンクを切り替え、次のフレームでは、その格納したバンクで読み出し、もう一方のバンクに格納する準備をする。
【００２９】
以上説明した処理により、先頭フレームでは、２つのマップへの格納処理のみを行い、ノイズ除去処理は行わない。
【００３０】
次に先頭フレーム以降の通常フレームでの処理を図６のフローチャートを用いて記述する。
【００３１】
図６は、先頭フレーム以降のフレームの処理を説明するフローチャートである。
【００３２】
図６のステップＳ１１〜Ｓ１３の処理は、図５のステップＳ１〜Ｓ３と同じであるため、その説明を省略する。
【００３３】
こうしてステップＳ１３で、現在のフレームのエッジ強度をエッジ強度メモリ１０２へ格納した後、ステップＳ１４で、エッジ強度メモリ１０３に格納された直前のフレームのブロック毎のエッジ強度を取得する。またステップＳ１５で、ノイズ除去フラグメモリ１０４に格納された直前のフレームのブロック毎のノイズ除去フラグを取得する。
【００３４】
次にステップＳ１６に進み、これら直前のフレームの２つのマップ情報から、水平フィルタ、垂直フィルタの強度を算出する。そしてステップＳ１７で、制御信号によりフィルタ１０７を制御してノイズ除去のためのフィルタリング処理を実行する。次にステップＳ１８に進み、ノイズ除去フラグマップを生成する。
そしてステップＳ１９，Ｓ２０では、前述の図５のステップＳ５，Ｓ６と同様に、算出したノイズ除去フラグのマップをノイズ除去フラグメモリ１０４へ格納し、エッジ強度メモリ１０２、ノイズ除去フラグメモリ１０４のバンクを切り替える。
【００３５】
次に、ノイズ除去フラグのマップの生成方法について図７を用いて記述する。
【００３６】
図７は、本実施形態に係るノイズ除去フラグのマップの生成方法を説明するフローチャートである。
【００３７】
まずステップＳ３１で、既に格納された直前のフレームの水平、垂直エッジ強度を加算し、直前のフレームのエッジ強度を算出する。次にステップＳ３２に進み、その測定して格納されたエッジ強度マップから、所定値ＥＰ１よりもエッジ強度の大きいブロック（第１ブロック）を抽出する。次にステップＳ３３に進み、そのエッジ強度が大きいブロックに隣接する周辺の８ブロックのエッジ強度を測定する。次にステップＳ３４に進み、それら周囲８ブロックにおいて、所定値ＥＰ２よりもエッジ強度が低いブロック（第２ブロック）を、エッジ強度の大きいブロックを含めない拡張ブロック領域と判定する。次にステップＳ３５に進み、こうして求めた拡張ブロック領域を、ノイズ除去フラグがオンのブロックとし、それ以外のブロックをノイズ除去フラグがオフのブロックとしてノイズ除去フラグメモリ１０４へ格納する。またノイズ除去フラグがオンのブロックに対し、拡張したブロックのエッジ強度と拡張元のブロックのエッジ強度の差分値を格納する。
【００３８】
次に、フィルタ１０７の強度算出方法について、図８を用いて記述する。
【００３９】
図８は、本実施形態に係るフィルタ１０７の強度算出方法を説明するフローチャートである。ここでの処理の対象となるブロックは、ノイズ除去フラグがオンのブロックである。
【００４０】
まずステップＳ４１で、既にエッジ強度メモリ１０２に格納された直前のフレームの各ブロックの水平、垂直エッジ強度を加算し、直前のフレームの各ブロックのエッジ強度を算出する。またステップＳ４２で、水平エッジ強度測定器１００，垂直エッジ強度測定器１０１から出力される現在のフレームの対応するブロックの水平、垂直エッジ強度を加算し、現在のフレームの対応するブロックのエッジ強度を算出する。次にステップＳ４３に進み、その算出した直前のフレームのブロックのエッジ強度と現在のフレームの対応するブロックのエッジ強度変化値ＤＥを算出し、乗数テーブルを用いた演算を行って、そのブロックに対するフィルタ強度を算出する。
【００４１】
フィルタ強度＝ＤＥ×Ｗ（ＤＥ）×ＷＤ
なお、ここでエッジ強度変化値ＤＥは、（直前フレームエッジ強度）−（現フレームエッジ強度）を示す。Ｗ（ＤＥ）は、ＤＥ時のフィルタ強度乗数を示し、ＷＤは、外部入力のフィルタ強度基本乗数を示す。尚、このフィルタ強度は、予め定められた最低値、最大値を超えない値となる。
【００４２】
図９は、具体的な直前のフレームのエッジ領域の拡張例（Ａ）と、現在のフレームのノイズ除去対象ブロックを決定するまでの例（Ｂ）を説明する図である。
【００４３】
図９（Ａ）の直前のフレームでは、規定値ＥＰ１よりもエッジ強度が高いブロック９００を選定する。そしてエッジ強度が極度に低下している、エッジ強度が規定値ＥＰ２以下のブロック９０１へ領域を拡張する。そして、これら９０１で示すブロックを、これ以降の処理の対象ブロックとする。
【００４４】
次に図９（Ｂ）においても同様に、規定値ＥＰ１よりもエッジ強度が高いブロック９１０を選定する。そしてエッジ強度が極度に低下している、エッジ強度が規定値ＥＰ２以下のブロック９１１へ領域を拡張する。次に、直前のフレームのエッジ強度と現在のフレームのエッジ強度とを比較し、その差がＴＨ１以下であれば、ノイズ除去対象のブロック領域とする（９１１で示すブロックの中で斜線が付されたブロック）。一方で、その差がＴＨ１よりも大きくエッジ強度が高くなる、もしくは低下した場合にはノイズ除去対象ブロックから除外する（９１１で示すブロックの中で「×」印が付されたブロック）。
【００４５】
尚、前述の実施形態では、処理の対象ブロックを４×４画素としたが、８×４，４×８，８×８画素等の別のサイズでもかまわない。
【００４６】
またエッジ強度測定器１００，１０１内の処理で、Ｓｏｂｅｌフィルタを用いたが、そのほかの微分フィルタでもかまわない。
【００４７】
またフィルタ１０７はεフィルタを用いたが、そのほかのエッジ保存型フィルタでもかまわない。
【００４８】
更に、ノイズ除去フラグ算出器１０３における閾値ＥＰ１，ＥＰ２は、フレーム毎に可変に設定してもかまわない。
【００４９】
以上説明したように本実施形態によれば、画像データに含まれるモスキートノイズのような符号化ノイズの発生部分を的確に検出することができ、且つ、水平と２Ｄフィルタを適応的に切り替えることで、インターレース信号の状態を維持しつつ、ノイズ除去処理を施すことができる簡便な手段を提供するものである。
【００５０】
＜その他の実施形態＞
図１０は、前述した実施形態に係る画像処理装置のハードウェア構成を説明するブロック図である。
【００５１】
１０００はコンピュータ全体の制御、及び種々の処理を行う中央演算装置（ＣＰＵ）である。メモリ１００１は、この画像処理装置の動作制御に必要なオペレーティングシステム（ＯＳ）、ソフトウエア、データ、演算に必要な記憶領域を提供するメモリである。また、ＣＰＵ１０００が各種の制御処理を行う際のワークエリアとしても用いられる。よって、上述したフローチャートの各処理ステップは、このメモリ１００１に記憶されたプログラムとＣＰＵ１０００との協働により実現される。システムバス１００２は、ＣＰＵ１０００と各部とを接続し、それらの間でデータや制御信号などをやりとりする。１００３は各種ソフトウエアを蓄積する記憶装置で、例えばハードディスクなどである。１００４は動画像データを蓄積する記憶装置で、例えばハードディスクやＭＯ等が含まれる。表示部１００５は、画像やメッセージなどを表示するのに使用される。通信インターフェース１００７は、通信回路１００８を介してデータの送受信を行っており、装置外部のＬＡＮ、公衆回線、無線回線、放送電波等と接続されている。操作部１００６は、この画像処理装置を起動したり、各種条件を設定したりするのに使用される。
【００５２】
メモリ１００１には、この画像処理装置全体の動作を制御し、各種ソフトウエアを動作させるためのＯＳやソフトウエアを格納し、画像データを読み込むエリア、各種演算のパラメータ等を格納しておくワーキングエリアが存在する。
【００５３】
このような構成において、処理に先立ち、操作部１００６から記憶装置１００４に蓄積されている動画像データから符号化する動画像データを選択し、コンピュータの起動が指示される。すると記憶装置１００３に格納されているソフトウエアがバス１００２を介してメモリ１００１に展開され、ソフトウエアが起動される。そしてＣＰＵ１０００による記憶装置１００４に格納されている動画像データの符号化動作は、図５から図８に示したフローチャートに従ったプログラムコード（前述のソフトウエア）が実行されることになる。
【００５４】
以上の説明により、本実施形態におけるコンピュータは、上述の実施形態におけるノイズ除去を実現する装置として機能する。
【００５５】
以上説明したように本実施形態によれば、動画像符号化装置及びその方法において、画像データに含まれるモスキートノイズのような符号化ノイズの発生部分を的確に検出できる。そして本来の画像が持つテクスチャを保持し、ノイズ発生部分に対してのみノイズ除去処理を施すことができる。
【００５６】
以上、本発明の実施形態について詳述したが、本発明は、複数の機器から構成されるシステムに適用しても良いし、また一つの機器からなる装置に適用しても良い。
【００５７】
なお、本実施形態ではＤＣＴ変換について説明したが、これに限定されず、高周波と低周波に分離するような直交変換、例えばアダマール変換やフーリエ変換のような他の直交変換と量子化を組合せた符号化でも同様の効果を得ることができる。
【００５８】
なお、本実施形態ではＭＰＥＧのようなフレーム間符号化を行う符号化方式を例にとって説明したが、これに限定されない。例えば、Ｍｏｔｉｏｎ ＪＰＥＧ符号化方式のように連続して符号化される符号化方式に適応してもかまわない。また、Ｍｐｔｉｏｎ ＪＰＥＧ符号化方式では符号化をＲＧＢのそれぞれに対して行うことも可能であり、対象信号は輝度信号に限定されない。
【００５９】
なお、本実施形態ではフレーム単位の処理で説明を行ったが、これに限定されず、インターレース画像であればフィールド単位の処理でもかまわない。
【００６０】
なお、本発明は、前述した実施形態の機能を実現するソフトウエアのプログラムを、システム或いは装置に直接或いは遠隔から供給し、そのシステム或いは装置のコンピュータが該供給されたプログラムを読み出して実行することによっても達成され得る。その場合、プログラムの機能を有していれば、形態は、プログラムである必要はない。
【００６１】
従って、本発明の機能処理をコンピュータで実現するために、該コンピュータにインストールされるプログラムコード自体も本発明を実現するものである。つまり、本発明のクレームでは、本発明の機能処理を実現するためのコンピュータプログラム自体も含まれる。その場合、プログラムの機能を有していれば、オブジェクトコード、インタプリタにより実行されるプログラム、ＯＳに供給するスクリプトデータ等、プログラムの形態を問わない。
【００６２】
プログラムを供給するための記憶媒体としては、様々なものが使用できる。例えば、フロッピー（登録商標）ディスク、ハードディスク、光ディスク、光磁気ディスク、ＭＯ、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、ＣＤ−ＲＷ、磁気テープ、不揮発性のメモリカード、ＲＯＭ、ＤＶＤ（ＤＶＤ−ＲＯＭ，ＤＶＤ−Ｒ）などである。
【００６３】
その他、プログラムの供給方法としては、クライアントコンピュータのブラウザを用いてインターネットのホームページに接続し、該ホームページからハードディスク等の記憶媒体にダウンロードすることによっても供給できる。その場合、ダウンロードされるのは、本発明のコンピュータプログラムそのもの、もしくは圧縮され自動インストール機能を含むファイルであってもよい。また、本発明のプログラムを構成するプログラムコードを複数のファイルに分割し、それぞれのファイルを異なるホームページからダウンロードすることによっても実現可能である。つまり、本発明の機能処理をコンピュータで実現するためのプログラムファイルを複数のユーザに対してダウンロードさせるＷＷＷサーバも、本発明のクレームに含まれるものである。
【００６４】
また、本発明のプログラムを暗号化してＣＤ−ＲＯＭ等の記憶媒体に格納してユーザに配布する形態としても良い。その場合、所定の条件をクリアしたユーザに対し、インターネットを介してホームページから暗号化を解く鍵情報をダウンロードさせ、その鍵情報を使用することにより暗号化されたプログラムが実行可能な形式でコンピュータにインストールされるようにする。
【００６５】
また、コンピュータが、読み出したプログラムを実行することによって、前述した実施形態の機能が実現される形態以外の形態でも実現可能である。例えば、そのプログラムの指示に基づき、コンピュータ上で稼動しているＯＳなどが、実際の処理の一部または全部を行ない、その処理によっても前述した実施形態の機能が実現され得る。
【００６６】
更に、記憶媒体から読み出されたプログラムが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書き込まれるようにしてもよい。この場合、その後で、そのプログラムの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるＣＰＵなどが実際の処理の一部または全部を行ない、その処理によって前述した実施形態の機能が実現される。
【図面の簡単な説明】
【００６７】
【図１】本発明の実施形態に係る画像処理装置の主要部の構成を示すブロック図である。
【図２】本実施形態で用いるＳｏｂｅｌフィルタのオペレータの一例を示す図である。
【図３】エッジ強度変化値とフィルタ強度乗数の関係例を示す図である。
【図４】本実施形態に係るεフィルタの一例を示す図である。
【図５】本発明の実施形態１に係る画像処理装置の先頭フレームに対する処理を説明するフローチャートである。
【図６】本発明の実施形態１に係る画像処理装置の先頭フレーム以降のフレームの処理を説明するフローチャートである。
【図７】本実施形態に係るノイズ除去フラグマップの生成方法を説明するフローチャートである。
【図８】本実施形態に係るフィルタの強度算出方法を説明するフローチャートである。
【図９】具体的な直前のフレームのエッジ領域の拡張例（Ａ）と、現在のフレームのノイズ除去対象ブロックを決定するまでの例（Ｂ）を説明する図である。
【図１０】本実施形態に係る画像処理装置のハードウェア構成を説明するブロック図である。
【符号の説明】
【００６８】
１００  水平エッジ強度測定器
１０１  垂直エッジ強度測定器
１０２  エッジ強度メモリ
１０３  ノイズ除去フラグ算出器
１０４  ノイズ除去フラグメモリ
１０５  フィルタ強度乗数テーブル
１０６  フィルタ強度算出器
１０７  フィルタ
【図１】
2010177926.tif 000003
【図２】
2010177926.tif 000004
【図３】
2010177926.tif 000005
【図４】
2010177926.tif 000006
【図５】
2010177926.tif 000007
【図６】
2010177926.tif 000008
【図７】
2010177926.tif 000009
【図８】
2010177926.tif 000010
【図９】
2010177926.tif 000011
【図１０】
2010177926.tif 000012