(57)【特許請求の範囲】
【請求項１】
画像データを処理するデータ処理装置において、
前記画像データを構成する画素ごとに、画素値の散らばりの度合いを表す分散情報を計算する分散情報計算手段と、
前記分散情報を平滑化し、平滑化値を出力する平滑化手段と、
前記画像データを構成する画素のうちの、注目している注目画素を含む、前記注目画素の周辺に位置する画素の前記平滑化値の変化量を計算する変化量計算手段と、
前記変化量のヒストグラムを計算するヒストグラム計算手段と、
前記ヒストグラムに基づいて、前記注目画素が属する領域を判定し、その領域を表す領域情報を出力する領域判定手段と、
前記領域情報と前記平滑化値とに基づいて、前記画像データを構成する画素ごとに、ノイズ除去処理のパラメータを決定するパラメータ決定手段と、
前記画素ごとに決定された前記パラメータに基づき、前記画像データに前記ノイズ除去処理を施すノイズ除去手段と
を備えることを特徴とするデータ処理装置。
【請求項２】
前記判定手段は、前記画素が属する領域が、エッジ領域、テクスチャ領域、またはフラット領域のうちのいずれであるかを判定する
ことを特徴とする請求項１に記載のデータ処理装置。
【請求項３】
画像データを処理するデータ処理方法において、
前記画像データを構成する画素ごとに、画素値の散らばりの度合いを表す分散情報を計算する分散情報計算ステップと、
前記分散情報を平滑化し、平滑化値を出力する平滑化ステップと、
前記画像データを構成する画素のうちの、注目している注目画素を含む、前記注目画素の周辺に位置する画素の前記平滑化値の変化量を計算する変化量計算ステップと、
前記変化量のヒストグラムを計算するヒストグラム計算ステップと、
前記ヒストグラムに基づいて、前記注目画素が属する領域を判定し、その領域を表す領域情報を出力する領域判定ステップと、
前記領域情報と前記平滑化値とに基づいて、前記画像データを構成する画素ごとに、ノイズ除去処理のパラメータを決定するパラメータ決定ステップと、
前記画素ごとに決定された前記パラメータに基づき、前記画像データに前記ノイズ除去処理を施すノイズ除去ステップと
を含むことを特徴とするデータ処理方法。
【請求項４】
画像データを処理するデータ処理をコンピュータに実行させるプログラムにおいて、
前記画像データを構成する画素ごとに、画素値の散らばりの度合いを表す分散情報を計算する分散情報計算ステップと、
前記分散情報を平滑化し、平滑化値を出力する平滑化ステップと、
前記画像データを構成する画素のうちの、注目している注目画素を含む、前記注目画素の周辺に位置する画素の前記平滑化値の変化量を計算する変化量計算ステップと、
前記変化量のヒストグラムを計算するヒストグラム計算ステップと、
前記ヒストグラムに基づいて、前記注目画素が属する領域を判定し、その領域を表す領域情報を出力する領域判定ステップと、
前記領域情報と前記平滑化値とに基づいて、前記画像データを構成する画素ごとに、ノイズ除去処理のパラメータを決定するパラメータ決定ステップと、
前記画素ごとに決定された前記パラメータに基づき、前記画像データに前記ノイズ除去処理を施すノイズ除去ステップと
を含むことを特徴とするプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、データ処理装置およびデータ処理方法、並びにプログラムに関し、特に、例えば、画像データからモスキートノイズを効果的に除去することができるデータ処理装置およびデータ処理方法、並びにプログラムに関する。
【背景技術】
【０００２】
例えば、画像データを圧縮するMPEG（Moving Picture Experts Group）などの圧縮方式で、画像データを圧縮するエンコーダは、画像データをブロック化し、各ブロックをDCT（Discrete Cosine Transform）処理する。このため、デコーダが、MPEG方式でエンコードされた画像データをデコードすると、デコードされた画像データにおいては、原理的に、画像データ（画像）のエッジの周辺部分にモスキートノイズが発生する。
【０００３】
モスキートノイズを除去する従来のノイズ除去装置は、一般に、画像データの画素値の変化を検出し、画素値の変化が大きければエッジであると判定する。そして、ノイズ除去装置は、エッジの周辺部分以外の部分に対するフィルタリングよりも平滑化の度合いが高くなるように、画像データのエッジの周辺部分をフィルタリングする。これにより、画像データのエッジの周辺部分に発生するモスキートノイズが、画像データから除去される。
【０００４】
なお、画素値の変化が急峻なエッジを保存したまま、エッジ以外の部分の画像データを増幅させる非線形平滑フィルタを使用して、画像データのコントラストを向上させる装置が開示されている（例えば、特許文献１参照）。
【特許文献１】特開２００１−２９８６２１号公報
【発明の開示】
【発明が解決しようとする課題】
【０００５】
しかしながら、従来のノイズ除去装置では、画像データに、エッジと有意なテクスチャ（例えば、模様があるなどして、画像データの画素値の変化がある程度存在する部分）とがある場合に、エッジと有意なテクスチャとを適切に判別することが困難であった。即ち、従来のノイズ除去装置では、ある程度大きな画素値の変化が検出されたときに、その画素値の変化がエッジによるものなのか、有意なテクスチャによるものなのかを適切に判別することが困難であった。例えば、従来のノイズ除去装置は、有意なテクスチャによる画素値の変化を検出したときであっても、エッジであると判定することがあった。
【０００６】
このように、エッジと有意なテクスチャとの判別が適切に行われない場合、ノイズ除去装置は、エッジの周辺部分と有意なテクスチャ（の周辺部分）とを、同様の平滑化の度合いでフィルタリングする。その場合、例えば、有意なテクスチャの画質が劣化することや、エッジの周辺部分のモスキートノイズが十分に除去されないことがある。
【０００７】
本発明は、このような状況に鑑みてなされたものであり、画像データからモスキートノイズを効果的に除去することができるようにするものである。
【課題を解決するための手段】
【０００８】
本発明のデータ処理装置は、画像データを構成する画素ごとに、画素値の散らばりの度合いを表す分散情報を計算する分散情報計算手段と、分散情報を平滑化し、平滑化値を出力する平滑化手段と、画像データを構成する画素のうちの、注目している注目画素を含む、注目画素の周辺に位置する画素の平滑化値の変化量を計算する変化量計算手段と、変化量のヒストグラムを計算するヒストグラム計算手段と、ヒストグラムに基づいて、注目画素が属する領域を判定し、その領域を表す領域情報を出力する領域判定手段と、領域情報と平滑化値とに基づいて、画像データを構成する画素ごとに、ノイズ除去処理のパラメータを決定するパラメータ決定手段と、画素ごとに決定されたパラメータに基づき、画像データにノイズ除去処理を施すノイズ除去手段とを備えることを特徴とする。
【０００９】
本発明のデータ処理方法は、画像データを構成する画素ごとに、画素値の散らばりの度合いを表す分散情報を計算する分散情報計算ステップと、分散情報を平滑化し、平滑化値を出力する平滑化ステップと、画像データを構成する画素のうちの、注目している注目画素を含む、注目画素の周辺に位置する画素の平滑化値の変化量を計算する変化量計算ステップと、変化量のヒストグラムを計算するヒストグラム計算ステップと、ヒストグラムに基づいて、注目画素が属する領域を判定し、その領域を表す領域情報を出力する領域判定ステップと、領域情報と平滑化値とに基づいて、画像データを構成する画素ごとに、ノイズ除去処理のパラメータを決定するパラメータ決定ステップと、画素ごとに決定されたパラメータに基づき、画像データにノイズ除去処理を施すノイズ除去ステップとを含むことを特徴とする。
【００１０】
本発明のプログラムは、画像データを構成する画素ごとに、画素値の散らばりの度合いを表す分散情報を計算する分散情報計算ステップと、分散情報を平滑化し、平滑化値を出力する平滑化ステップと、画像データを構成する画素のうちの、注目している注目画素を含む、注目画素の周辺に位置する画素の平滑化値の変化量を計算する変化量計算ステップと、変化量のヒストグラムを計算するヒストグラム計算ステップと、ヒストグラムに基づいて、注目画素が属する領域を判定し、その領域を表す領域情報を出力する領域判定ステップと、領域情報と平滑化値とに基づいて、画像データを構成する画素ごとに、ノイズ除去処理のパラメータを決定するパラメータ決定ステップと、画素ごとに決定されたパラメータに基づき、画像データにノイズ除去処理を施すノイズ除去ステップとを含むことを特徴とする。
【００１１】
本発明のデータ処理装置およびデータ処理方法、並びにプログラムにおいては、画像データを構成する画素ごとに、画素値の散らばりの度合いを表す分散情報が計算され、分散情報が平滑化された平滑化値が出力される。また、画像データを構成する画素のうちの、注目している注目画素を含む、注目画素の周辺に位置する画素の平滑化値の変化量が計算され、その変化量のヒストグラムが計算され、そのヒストグラムに基づいて、注目画素が属する領域が判定されて、その領域を表す領域情報が出力される。そして、領域情報と平滑化値とに基づいて、画像データを構成する画素ごとにノイズ除去処理のパラメータが決定され、画素ごとに決定されたパラメータに基づき、画像データにノイズ除去処理が施される。
【発明の効果】
【００１２】
本発明によれば、画像データからモスキートノイズを効果的に除去することができる。
【発明を実施するための最良の形態】
【００１３】
以下に本発明の実施の形態を説明する。
【００１９】
以下、本発明を適用した具体的な実施の形態について、図面を参照しながら詳細に説明する。
【００２０】
図１は、本発明を適用したノイズ除去装置の一実施の形態の構成例を示すブロック図である。
【００２１】
図１において、ノイズ除去装置１０には、分散計算部１１、ローパスフィルタ１２、領域判定部１３、閾値決定部１４、および非線形平滑フィルタ１５が設けられている。
【００２２】
分散計算部１１および非線形平滑フィルタ１５は、入力データとしての画像データをノイズ除去装置１０に入力するための端子（図示せず）に接続されており、分散計算部１１はまた、ローパスフィルタ１２に接続されている。また、ローパスフィルタ１２は、領域判定部１３および閾値決定部１４に接続されている。領域判定部１３は、閾値決定部１４に接続されており、閾値決定部１４は、非線形平滑フィルタ１５に接続されている。そして、非線形平滑フィルタ１５は、出力データとしての画像データをノイズ除去装置１０から出力するための端子（図示せず）に接続されている。
【００２３】
分散計算部１１には、入力データとしての画像データが、例えば、１フレーム（フィールド）単位で入力される。画像データは、例えば、MPEG方式でエンコードされた画像データがデコードされたものである。分散計算部１１は、１フレームの画像データを構成する画素ごとに、画素値の散らばりの度合いを表す分散情報としての、例えば、分散Ｖを計算し、ローパスフィルタ１２に供給する。
【００２４】
ローパスフィルタ１２は、分散計算部１１からの分散Ｖを平滑化する。ローパスフィルタ１２は、分散Ｖを平滑化することにより得られる平滑化値LPF（Ｖ）を、領域判定部１３および閾値決定部１４に供給する。
【００２５】
領域判定部１３は、ローパスフィルタ１２からの平滑化値LPF（Ｖ）に基づいて、画像データを構成する各画素について、画素が属する領域が、画素値が急峻に変化するエッジを構成する領域か、若しくはエッジの周辺の領域であるエッジ領域、物体表面の模様などの画素値の変化がある程度存在する領域であるテクスチャ領域、画素値の変化がほとんどない領域であるフラット領域、または、その他の領域のうちのいずれであるかを判定する領域判定処理を行う。
【００２６】
領域判定部１３は、領域判定処理を行った結果得られる領域情報を閾値決定部１４に供給する。なお、領域情報は、画像データを構成する画素のうちの、注目している注目画素が属する領域が、エッジ領域、テクスチャ領域、フラット領域、または、その他の領域のいずれであるかを表す情報である。
【００２７】
閾値決定部１４は、ローパスフィルタ１２からの平滑化値LPF（Ｖ）と、領域判定部１３からの領域情報とに基づいて、非線形平滑フィルタ１５が行うノイズ除去処理のパラメータである閾値εを決定し、非線形平滑フィルタ１５に供給する。閾値εは、エッジ領域、テクスチャ領域、フラット領域、または、その他の領域のそれぞれに対応するように決定される。
【００２８】
非線形平滑フィルタ１５は、閾値決定部１４からの閾値εに基づき、入力データとしての画像データにノイズ除去処理を施す。即ち、非線形平滑フィルタ１５は、閾値決定部１４からの閾値εの値に基づく度合いで平滑化がされるように、画像データをフィルタリングする。例えば、非線形平滑フィルタ１５は、閾値εが大きな値であれば、高い平滑化の度合いで画像データをフィルタリングし、また、閾値εが小さな値であれば、低い平滑化の度合いで画像データをフィルタリングする。
【００２９】
上述のように、閾値εは、エッジ領域、テクスチャ領域、フラット領域、または、その他の領域のそれぞれに対応するように決定される。従って、非線形平滑フィルタ１５は、エッジ領域、テクスチャ領域、フラット領域、または、その他の領域のそれぞれに対応するような平滑化の度合いで画像データをフィルタリングする。
【００３０】
非線形平滑フィルタ１５は、上述のようなフィルタリングをノイズ除去処理として行うことにより、入力データとしての画像データからモスキートノイズを除去し、出力データとしての画像データを出力する。
【００３１】
次に、図２を参照して、図１の分散計算部１１による分散Ｖの計算について説明する。
【００３２】
分散計算部１１は、画像データを構成する画素を、例えば、ラスタスキャン順に、順次、注目画素として選択（注目）し、注目画素について、画素値の散らばりの度合いを表す分散情報としての、例えば、分散を求める。
【００３３】
即ち、分散計算部１１は、例えば、図２に示すように、注目画素を中心とする縦×横が３×３画素の画素値の分散を、式（１）にしたがい、注目画素についての分散として求める。
【００３４】
【数１】
0004635779.tif 000002
・・・（１）
【００３５】
ここで、式（１）において、Ｖは、注目画素についての分散を表す。また、Ｎは、注目画素についての分散Ｖを求めるのに用いる画素（画素値）の数を表し、図２の実施の形態では、９画素である。さらに、ｐiは、注目画素についての分散Ｖを求めるのに用いるＮ画素のうちのｉ番目の画素の画素値を表し、aveは、Ｎ画素の画素値の平均値(ｐ1＋ｐ2＋…＋ｐN)/Ｎを表す。
【００３６】
分散計算部１１は、ラスタスキャン順に、注目画素を順次変えて、分散Ｖを順次計算し、画像データを構成する全画素について分散Ｖを求める。
【００３７】
なお、分散情報としては、式（１）で求められる分散Ｖの他、例えば、式（２）で求められる値、その他、画素値の散らばりの度合いを表す値を採用することができる。
【００３８】
【数２】
0004635779.tif 000003
・・・（２）
【００３９】
次に、図３は、図１の分散計算部１１に入力される画像データ（非線形平滑フィルタ１５でのフィルタリングの対象となる画像データ）、分散計算部１１により得られる分散Ｖ、および、ローパスフィルタ１２により得られる平滑化値LPF（Ｖ）の波形を模式的に示す図である。
【００４０】
図３において、波形Ｔ1は、分散計算部１１に入力される入力データとしての画像データにおける、ある水平（垂直）ラインの画素値の波形である。波形Ｔ1には、画素値の変化が急峻なエッジの範囲ａ、画素値の変化がある程度存在するテクスチャの範囲ｂ、および画素値の変化がほとんどないフラットの範囲ｃが存在する。
【００４１】
波形Ｔ2は、波形Ｔ1（画像データ）を対象として分散計算部１１で求められる分散Ｖの波形である。分散Ｖは、波形Ｔ1の散らばりの度合い（変化の度合い）が大きければ大の値を示し、波形Ｔ1の散らばりの度合いが小さければ小の値を示す。従って、波形Ｔ2は、図３に示すように、範囲ａおよびその近傍において、波形Ｔ1のエッジによる画素値の変化の影響を受けて大きく変化する凸形状となり、範囲ｂおよびその近傍において、波形Ｔ1のテクスチャによる画素値の変化の影響を受けてある程度の大きさで変化する波形状となる。
【００４２】
波形Ｔ3は、ローパスフィルタ１２が波形Ｔ2（分散Ｖ）を平滑化することで得られる平滑化値LPF（Ｖ）の波形である。波形Ｔ3は、図３に示すように、波形Ｔ2を鈍らせた形状となる。即ち、波形Ｔ3は、範囲ａよりある程度広い範囲ｄにおいて、ある程度の大きさの傾斜を有する凸形状となり、範囲ｂより若干広い範囲ｅにおいて、範囲ｄにおける傾斜よりも小さな傾斜を有する凸形状となり、範囲ｄおよび範囲ｅ以外の範囲ｆにおいて、傾斜のない平坦な形状となる。
【００４３】
次に、図４は、図１の領域判定部１３の構成例を示すブロック図である。
【００４４】
図４において、領域判定部１３には、メモリ２１、水平差分計算部２２、垂直差分計算部２３、水平ヒストグラム計算部２４、垂直ヒストグラム計算部２５、水平方向領域判定部２６、および垂直方向領域判定部２７が設けられている。
【００４５】
メモリ２１には、図１のローパスフィルタ１２から平滑化値LPF（Ｖ）が供給される。メモリ２１は、ローパスフィルタ１２からの平滑化値LPF（Ｖ）のうちの、注目画素を含む、注目画素の周辺に位置する画素の平滑化値LPF（Ｖ）を記憶する。
【００４６】
即ち、領域判定部１３には、ローパスフィルタ１２から平滑化値LPF（Ｖ）が供給され、領域判定部１３では、画像データを構成する画素が、例えば、ラスタスキャン順に、注目画素として選択される。メモリ２１は、ローパスフィルタ１２から供給される平滑化値LPF（Ｖ）のうちの、注目画素を含む、注目画素の周辺に位置する画素の平滑化値LPF（Ｖ）を記憶する。
【００４７】
水平差分計算部２２は、注目画素について、メモリ２１に記憶された平滑化値LPF（Ｖ）の水平方向の変化量を計算し、水平ヒストグラム計算部２４に供給する。
【００４８】
垂直差分計算部２３は、注目画素について、メモリ２１に記憶された平滑化値LPF（Ｖ）の垂直方向の変化量を計算し、垂直ヒストグラム計算部２５に供給する。
【００４９】
水平ヒストグラム計算部２４は、水平差分計算部２２から供給される注目画素についての水平方向の変化量のヒストグラムを計算（作成）する。即ち、水平ヒストグラム計算部２４は、水平差分計算部２２から供給される注目画素についての水平方向の変化量を対象として、値が第１の範囲、第２の範囲、第３の範囲の変化量それぞれの度数hist(1)，hist(2)，hist(3)からなるヒストグラムを求める。水平ヒストグラム計算部２４は、注目画素ごとについて求めた度数hist(1)，hist(2)，hist(3)からなるヒストグラムを水平方向領域判定部２６に供給する。
【００５０】
垂直ヒストグラム計算部２５は、垂直差分計算部２３から供給される注目画素についての垂直方向の変化量を対象として、水平ヒストグラム計算部２４と同様に、度数hist(1)，hist(2)，hist(3)からなるヒストグラムを求め、垂直方向領域判定部２７に供給する。
【００５１】
水平方向領域判定部２６には、注目画素が属する領域を判定するための閾値th1，th2，th3が、あらかじめ与えられている。水平方向領域判定部２６は、水平ヒストグラム計算部２４からの注目画素についてのヒストグラムの度数hist(1)，hist(2)，hist(3)と、閾値th1，th2，th3とに基づいて、注目画素が属する領域を判定する。即ち、水平方向領域判定部２６は、注目画素が属する領域が、エッジ領域、テクスチャ領域、またはフラット領域、または、その他の領域のうちのいずれであるかを判定し、その判定結果、つまり、注目画素が属する領域を表す領域情報を出力する。
【００５２】
垂直方向領域判定部２７は、水平方向領域判定部２６と同様に、垂直ヒストグラム計算部２５からの注目画素についてのヒストグラムの度数hist(1)，hist(2)，hist(3)に基づき、注目画素が属する領域を判定し、その判定結果として、領域情報を出力する。
【００５３】
次に、図５は、図４のメモリ２１の記憶内容を示す図である。図５を参照し、図４の水平差分計算部２２と垂直差分計算部２３による変化量の計算について説明する。
【００５４】
図５は、メモリ２１が記憶する画素の平滑化値C[i](j)を示している。メモリ２１は、画像データを構成する画素のうちの、例えば、注目画素（の平滑化値）C[3](0)を中心として、横×縦が７×５画素の、合計で３５個の画素（の平滑化値）C[i](j)を記憶する。つまり、メモリ２１は、注目画素C[3](0)を中心として、垂直方向に５行（i=1〜5）の範囲、および水平方向に７列（j＝-3〜3）の範囲に位置する画素の平滑化値C[i](j)、即ち、平滑化値C[1](-3)乃至平滑化値C[5](3)を記憶する。
【００５５】
ここで、上述したように、注目画素について、メモリ２１に平滑化値が記憶される、注目画素を中心とする７×５画素の領域を、注目領域という。
【００５６】
水平差分計算部２２は、例えば、式（３）の差分値（差分絶対値）diff[i](j)を、注目領域の画素の水平方向の変化量として計算する。
【００５７】
diff[i](j)＝｜C[i](j)−C[i](0)｜ , （i=1〜5 , j＝-3〜3）
・・・（３）
【００５８】
式（３）を計算することで、水平差分計算部２２は、３０個の水平方向の差分値diff[i](j)を出力する。具体的には、水平差分計算部２２は、１行目（i=1）について、平滑化値C[1](0)と、平滑化値C[1](-3)、平滑化値C[1](-2)、平滑化値C[1](-1)、平滑化値C[1](1)、平滑化値C[1](2)、平滑化値C[1](3)それぞれとの差分値を計算し、６個の水平方向の差分値diff[1](-3)、差分値diff[1](-2)、差分値diff[1](-1)、差分値diff[1](1)、差分値diff[1](2)、差分値diff[1](3)を出力する。
【００５９】
水平差分計算部２２は、２行目（i=2）についても同様に、平滑化値C[2](0)と、平滑化値C[2](-3)、平滑化値C[2](-2)、平滑化値C[2](-1)、平滑化値C[2](1)、ｄ平滑化値C[2](2)、平滑化値C[2](3)それぞれとの差分値を計算し、６個の水平方向の差分値diff[2](-3)、差分値diff[2](-2)、差分値diff[2](-1)、差分値diff[2](1)、差分値diff[2](2)、差分値diff[2](3)を出力し、以下、同様に、３行目乃至５行目（i=3〜5）について、各６個の水平方向の差分値を出力する。従って、水平差分計算部２２は、１行乃至５行についての３０個の水平方向の差分値diff[i](j)を出力する。
【００６０】
また、垂直差分計算部２３は、例えば、式（４）の差分値（差分絶対値）diff[i](j)を、注目領域の画素の垂直方向の変化量として計算する。
【００６１】
diff[i](j)＝｜C[i](j)−C[3](j)｜ , （i=1〜5 , j＝-3〜3）
・・・（４）
【００６２】
式（４）を計算することで、垂直差分計算部２３は、２８個の垂直方向の差分値diff[i](j)を出力する。水平差分計算部２２について説明した場合と同様に、垂直差分計算部２３は、各列ごとに４個の垂直方向の差分値diff[i](j)を出力し、１列乃至７列についての２８個の垂直方向の差分値diff[i](j)を出力する。
【００６３】
なお、図５には、メモリ２１に記憶される注目領域が５×７画素である例が示されているが、メモリ２１に記憶される注目領域は、５×７画素に限られるものではない。注目領域のサイズ、特に縦のサイズは、例えば、非線形平滑フィルタ１５でのフィルタリングの対象とする画像データが圧縮されるときに行われたDCT処理のブロックサイズに基づいて決定することができる。
【００６４】
次に、図６を参照し、図４の水平ヒストグラム計算部２４と垂直ヒストグラム計算部２５で求められる変化量のヒストグラムについて説明する。
【００６５】
図６は、横軸に変化量をとり、縦軸に度数をとったヒストグラムを示している。図６のヒストグラムにおいて、横軸の左から右方向に向かって、変化量の値は増加する。また、横軸は、変化量の値が大きい範囲から順に、第１の範囲、第２の範囲、第３の範囲に３分割されている。
【００６６】
図５で説明したように、水平ヒストグラム計算部２４には、水平差分計算部２２から３０個の水平方向の変化量（としての差分値）が供給され、水平ヒストグラム計算部２４は、水平方向の変化量のヒストグラムを計算する。即ち、水平ヒストグラム計算部２４は、水平差分計算部２２からの３０個の水平方向の変化量に基づき、第１の範囲の変化量の度数hist(1)、第２の範囲の変化量の度数hist(2)、第３の範囲の変化量の度数hist(3)をそれぞれ求め、その３つの度数hist(1)，hist(2)，hist(3)からなる３分割の水平方向のヒストグラムを得る。
【００６７】
なお、図６において、横軸の第１乃至第３の範囲は同一の大きさになっているが、異なる大きさであってもよい。また、第１乃至第３の範囲は、例えば、多くの画像データを用いてシミュレーションを行うことによって決定することができる。さらに、第１乃至第３の範囲は、例えば、ユーザの操作などに応じて変更することができる。
【００６８】
また、垂直ヒストグラム計算部２５は、水平ヒストグラム計算部２４と同様に、垂直差分計算部２３から供給される２８個の垂直方向の変化量に基づき、第１の範囲の変化量の度数hist(1)、第２の範囲の変化量の度数hist(2)、第３の範囲の変化量の度数hist(3)をそれぞれ求め、その３つの度数hist(1)，hist(2)，hist(3)からなる３分割の垂直方向のヒストグラムを得る。
【００６９】
次に、図７を参照して、図４の水平方向領域判定部２６と垂直方向領域判定部２７が行う、注目画素が属する領域を判定する領域判定処理について説明する。
【００７０】
上述したように、水平方向領域判定部２６には、領域を判定するための閾値th1，th2，th3が、あらかじめ与えられており、注目画素についての水平方向のヒストグラムの度数hist(1)，hist(2)、およびhist(3)が、水平ヒストグラム計算部２４から供給される。
【００７１】
水平方向領域判定部２６は、度数hist(1)と閾値th1とを比較し、さらに、必要に応じて度数hist(2)と閾値th2との比較や、度数hist(3)と閾値th3との比較を行い、これらの比較結果に基づいて、注目画素が属する領域が、エッジ領域、テクスチャ領域、フラット領域、または、その他の領域のうちのいずれであるかを判定する。
【００７２】
即ち、例えば、図７に示すように、「hist(1)＞th1」が真（１）であれば、水平方向領域判定部２６は、注目画素が属する領域がエッジ領域であると判定する。また、「hist(1)＞th1」が偽（０）で、かつ、「hist(2)＞th2」が真（１）であれば、水平方向領域判定部２６は、注目画素が属する領域がテクスチャ領域であると判定する。
【００７３】
また、「hist(1)＞th1」および「hist(2)＞th2」が偽（０）で、かつ、「hist(3)＞th3」が真（１）であれば、水平方向領域判定部２６は、注目画素が属する領域がフラット領域であると判定する。また、「hist(1)＞th1」、「hist(2)＞th2」、および「hist(3)＞th3」がいずれも偽（else）であれば、水平方向領域判定部２６は、注目画素が属する領域が、エッジ領域、テクスチャ領域、およびフラット領域のいずれでもない（あるいは、いずれであるかが不明な）、その他の領域であると判定する。
【００７４】
なお、「hist(1)＞th1」が真（１）であれば、「hist(2)＞th2」および「hist(3)＞th3」が真であるか偽であるかにかかわらず、注目画素が属する領域はエッジ領域であると判定されるので、図７の表のエッジ領域の行であって「hist(2)＞th2」および「hist(3)＞th3」の列である升目には、「×」（don't care）が記載されている。同様に、「hist(1)＞th1」が偽（０）で、かつ、「hist(2)＞th2」が真（１）であれば、「hist(3)＞th3」が真であるか偽であるかにかかわらず、注目画素が属する領域はテクスチャ領域であると判定されるので、図７の表のテクスチャ領域の行であって「hist(3)＞th3」の列である升目には、「×」が記載されている。
【００７５】
また、垂直方向領域判定部２７には、水平方向領域判定部２６と同様に、領域を判定するための閾値th1，th2，th3が、あらかじめ与えられており、垂直方向領域判定部２７は、垂直ヒストグラム計算部２５からの注目画素についての垂直方向のヒストグラムの度数hist(1)，hist(2)，hist(3)に基づいて、注目画素が属する領域が、エッジ領域、テクスチャ領域、フラット領域、または、その他の領域のうちのいずれであるかを判定する。
【００７６】
以上のように、水平方向領域判定部２６では、画像データを、いわば水平方向に沿って見た場合の、注目画素が属する領域が判定され、垂直方向領域判定部２７では、画像データを、垂直方向に沿って見た場合の、注目画素が属する領域が判定される。
【００７７】
なお、水平方向領域判定部２６と垂直方向領域判定部２７とで、領域を判定するための閾値th1，th2，th3は、同じ値であってもよいし、異なる値であってもよい。
【００７８】
ここで、上述の図３を参照して、図４の領域判定部１３に入力される平滑化値LPF（Ｖ）と、水平方向領域判定部２６による注目画素が属する領域（領域の種類）の判定との関係について説明する。
【００７９】
上述したように、図３の波形Ｔ3は、ローパスフィルタ１２により得られる平滑化値LPF（Ｖ）の波形であり、そのうちの注目画素を中心とする範囲の部分が注目領域としてメモリ２１に記憶される。水平差分計算部２２は、波形Ｔ3のうちの、メモリ２１に注目領域として記憶された範囲を対象として変化量を計算し、水平ヒストグラム計算部２４は、その変化量のヒストグラムを得る。
【００８０】
波形Ｔ3は、範囲ｄにおいて、ある程度の大きさの傾斜を有しているので、範囲ｄと一部または全部が重複する範囲を注目領域として計算される変化量のヒストグラムでは、大きな変化量の度数hist(1)が大の値になる。
【００８１】
また、波形Ｔ3は、範囲ｅにおいて、範囲ｄにおける傾斜よりも小さな傾斜を有しているので、範囲ｅと一部または全部が重複する範囲を注目領域として計算される変化量のヒストグラムでは、度数hist(1)が小の値になり、中程度の変化量の度数hist(2)が大の値になる。
【００８２】
また、波形Ｔ3は、範囲ｆにおいて傾斜がないので、範囲ｆのみを含む範囲を注目領域として計算される変化量のヒストグラムでは、度数hist(1)および度数hist(2)が小の値になり、小さい変化量の度数hist(3)が大の値になる。
【００８３】
水平方向領域判定部２６は、以上のような変化量のヒストグラムの性質（特性）に基づき、図７の表のように、注目画素が属する領域を判定する。従って、水平方向領域判定部２６では、エッジの範囲ａを含むエッジ周辺の範囲ｄより若干広い範囲における画素が属する領域がエッジ領域と判定され、テクスチャの範囲ｂを含む範囲ｅより若干広い範囲における画素が属する領域がテクスチャ領域と判定され、フラットの範囲ｃより狭い範囲ｆにおける画素が属する領域がフラット領域と判定される。
【００８４】
次に、図８は、図１の閾値決定部１４の構成例を示すブロック図である。
【００８５】
図８において、閾値決定部１４には、水平方向パラメータ選択部３１、垂直方向パラメータ選択部３２、水平方向閾値決定部３３、および垂直方向閾値決定部３４が設けられている。
【００８６】
水平方向パラメータ選択部３１には、図４の水平方向領域判定部２６から注目画素についての水平方向の領域情報（注目画素が属する領域が、エッジ領域、テクスチャ領域、フラット領域、またはその他の領域のいずれであるかを表す情報）が供給される。水平方向パラメータ選択部３１は、水平方向の領域情報に基づき、水平方向閾値決定部３３が閾値εを決定するための、注目画素についての水平方向の決定用パラメータを選択（決定）し、水平方向閾値決定部３３に供給する。
【００８７】
垂直方向パラメータ選択部３２は、図４の垂直方向領域判定部２７から供給される注目画素についての垂直方向の領域情報に基づき、垂直方向閾値決定部３４が閾値εを決定するための、注目画素についての垂直方向の決定用パラメータを選択し、垂直方向閾値決定部３４に供給する。
【００８８】
水平方向閾値決定部３３には、水平方向パラメータ選択部３１から水平方向の決定用パラメータが供給されるとともに、図１のローパスフィルタ１２から平滑化値LPF（Ｖ）が供給される。水平方向閾値決定部３３は、水平方向パラメータ選択部３１からの注目画素についての水平方向の決定用パラメータと、ローパスフィルタ１２からの注目画素についての平滑化値LPF（Ｖ）とに基づいて、注目画素についての水平方向の閾値εを決定して出力する。
【００８９】
垂直方向閾値決定部３４は、垂直方向パラメータ選択部３２からの、注目画素についての垂直方向の決定用パラメータと、ローパスフィルタ１２からの注目画素についての平滑化値LPF（Ｖ）とに基づいて、注目画素についての垂直方向の閾値εを決定して出力する。
【００９０】
次に、図９を参照して、図８の水平方向パラメータ選択部３１から水平方向閾値決定部３３に供給される水平方向の決定用パラメータについて説明するとともに、水平方向閾値決定部３３による水平方向の閾値εの決定について説明する。
【００９１】
図９は、平滑化値LPF（Ｖ）と閾値εとの関係を示す閾値決定曲線を表している。図９において、横軸は平滑化値LPF（Ｖ）を、縦軸は閾値εを、それぞれ示しており、横軸の左から右方向に向かって平滑化値LPF（Ｖ）の値は増加し、縦軸の下から上方向に向かって閾値εの値は増加する。
【００９２】
水平方向閾値決定部３３は、水平方向パラメータ選択部３１からの注目画素についての決定用パラメータに基づいて、図９に示した、閾値決定曲線Ｌ1，Ｌ2，Ｌ3のうちのいずれかを、閾値εを決定するのに用いる閾値決定曲線に決定し、その閾値決定曲線と、図１のローパスフィルタ１２からの注目画素の平滑化値LPF（Ｖ）とに基づいて、注目画素をフィルタリングするときのパラメータとしての閾値εを決定する。
【００９３】
ここで、平滑化値LPF（Ｖ）と閾値εとの関係を示す閾値決定曲線は、例えば、変数(パラメータ)Ｅ，Ｆ，Ｍによって特定される曲線である。即ち、閾値決定曲線は、例えば、図９に示すように、平滑化値LPF（Ｖ）がＦ以下である場合に、閾値εが０のまま一定であり、平滑化値LPF（Ｖ）がＦより大でＥより小さい場合に、閾値εが平滑化値LPF（Ｖ）に比例して増加し、平滑化値LPF（Ｖ）がＥ以上である場合に、閾値εがＭ（＞０）のまま一定である曲線である。
【００９４】
水平方向パラメータ選択部３１から水平方向閾値決定部３３に対しては、例えば、閾値決定曲線を特定する変数Ｅ，Ｆ，Ｍが決定用パラメータとして供給される。また、例えば、変数Ｆの代わりに、閾値εが平滑化値LPF（Ｖ）に比例して増加する傾きｋを決定用パラメータとしてもよい。
【００９５】
図９には、決定用パラメータＥ，Ｆ，Ｍが、それぞれ、決定用パラメータＥ1，Ｆ1，Ｍ1である場合の閾値決定曲線Ｌ1と、決定用パラメータＥ，Ｆ，Ｍが、それぞれ、決定用パラメータＥ2，Ｆ2，Ｍ2である場合の閾値決定曲線Ｌ2と、決定用パラメータＥ，Ｆ，Ｍが、それぞれ、決定用パラメータＥ3，Ｆ3，Ｍ3である場合の閾値決定曲線Ｌ3とが示されている。
【００９６】
水平方向パラメータ選択部３１は、例えば、決定用パラメータ（の値）と領域情報とを対応付けて記憶しており、図４の水平方向領域判定部２６から供給される水平方向の領域情報に対応付けられている決定用パラメータを選択する。
【００９７】
例えば、水平方向パラメータ選択部３１は、エッジ領域を表す領域情報と、決定用パラメータＥ1，Ｆ1，Ｍ1とを対応付けて記憶しており、水平方向領域判定部２６からの領域情報がエッジ領域を表している場合、決定用パラメータＥ1，Ｆ1，Ｍ1を選択する。また、水平方向パラメータ選択部３１は、テクスチャ領域を表す領域情報と、決定用パラメータＥ2，Ｆ2，Ｍ2とを対応付けて記憶しており、水平方向領域判定部２６からの領域情報がテクスチャ領域を表している場合、決定用パラメータＥ2，Ｆ2，Ｍ2を選択する。
【００９８】
また、水平方向パラメータ選択部３１は、フラット領域を表す領域情報と、決定用パラメータＥ3，Ｆ3，Ｍ3とを対応付けて記憶しており、水平方向領域判定部２６からの領域情報がフラット領域を表している場合、決定用パラメータＥ3，Ｆ3，Ｍ3を選択する。さらに、水平方向パラメータ選択部３１は、その他の領域を表す領域情報を、例えば、決定用パラメータＥ3，Ｆ3，Ｍ3と対応付けて記憶しており、水平方向領域判定部２６からの領域情報がその他の領域を表している場合も、決定用パラメータＥ3，Ｆ3，Ｍ3を選択する。
【００９９】
ここで、図９において、閾値決定曲線Ｌ1，Ｌ2，Ｌ3の決定用パラメータＥは、Ｅ1，Ｅ2，Ｅ3の順で大きく、閾値決定曲線Ｌ1，Ｌ2，Ｌ3の決定用パラメータＦは、Ｆ1，Ｆ2，Ｆ3の順で大きく、閾値決定曲線Ｌ1，Ｌ2，Ｌ3の決定用パラメータＭは、Ｍ1，Ｍ2，Ｍ3の順で小さくなる関係になっている。
【０１００】
従って、注目画素が属する領域がエッジ領域である場合、閾値決定曲線Ｌ1にしたがい、注目画素の平滑化値LPF（Ｖ）が小の値Ｆ1以下であれば、閾値εは０に決定される。さらに、注目画素の平滑化値LPF（Ｖ）が小の値Ｆ1から小の値Ｅ1までの範囲の値であれば、閾値εは、平滑化値LPF（Ｖ）に比例した大の値に決定され、注目画素の平滑化値LPF（Ｖ）が小の値Ｅ1以上であれば、閾値εは、大の値Ｍ1に決定される。
【０１０１】
また、注目画素が属する領域がテクスチャ領域である場合、閾値決定曲線Ｌ2にしたがい、注目画素の平滑化値LPF（Ｖ）が小の値Ｆ1よりも大きい中の値Ｆ2以下であれば、閾値εは０に決定される。さらに、注目画素の平滑化値LPF（Ｖ）が、小の値Ｆ1よりも大きい中の値Ｆ2以上で、かつ小の値Ｅ1よりも大きい中の値Ｅ2以下の範囲の値であれば、閾値εは、平滑化値LPF（Ｖ）に比例した中の値に決定され、注目画素の平滑化値LPF（Ｖ）が中の値Ｅ2以上であれば、閾値εは、大の値Ｍ1よりも小さい中の値Ｍ2に決定される。
【０１０２】
また、注目画素が属する領域がフラット領域またはその他の領域である場合、閾値決定曲線Ｌ3にしたがい、注目画素の平滑化値LPF（Ｖ）が中の値Ｆ2よりも大きい大の値Ｆ3以下であれば、閾値εは０に決定される。さらに、注目画素の平滑化値LPF（Ｖ）が、中の値Ｆ2よりも大きい大の値Ｆ3以上で、かつ中の値Ｅ2よりも大きい大の値Ｅ3以下の範囲の値であれば、閾値εは、平滑化値LPF（Ｖ）に比例した小の値に決定され、注目画素の平滑化値LPF（Ｖ）が大の値Ｅ3以上であれば、閾値εは、中の値Ｍ2よりも小さい小の値Ｍ3に決定される。
【０１０３】
このように、水平方向閾値決定部３３は、注目画素が属する領域が、エッジ領域、テクスチャ領域、フラット領域、または、その他の領域のいずれであるかを表す領域情報と、注目画素の平滑化値LPF（Ｖ）とに基づいて、注目画素についての水平方向の閾値（ノイズ除去処理としての水平方向のフィルタリングのパラメータ）εを決定する。
【０１０４】
即ち、大雑把に言えば、水平方向閾値決定部３３は、注目画素が属する領域が、エッジ領域であれば、大の値の閾値εを、注目画素が属する領域が、テクスチャ領域であれば、中の値の閾値εを、注目画素が属する領域が、フラット領域またはその他の領域であれば、小の値の閾値εを、それぞれ決定する。また、水平方向閾値決定部３３は、注目画素の平滑化値LPF（Ｖ）が大であるほど、大の値の閾値εを決定する。
【０１０５】
垂直方向閾値決定部３４（図８）も、垂直方向パラメータ選択部３２からの注目画素の領域情報と、ローパスフィルタ１２（図１）からの注目画素の平滑化値LPF（Ｖ）とに基づき、水平方向閾値決定部３３と同様にして、注目画素についての垂直方向の閾値（ノイズ除去処理としての垂直方向のフィルタリングのパラメータ）εを決定する。
【０１０６】
そして、非線形平滑フィルタ１５（図１）は、水平方向閾値決定部３３からの注目画素についての水平方向の閾値ε、および垂直方向閾値決定部３４からの注目画素についての垂直方向の閾値εに基づいて、注目画素をフィルタリングする。例えば、非線形平滑フィルタ１５は、直列に接続された２段階のεフィルタを有しており、例えば、１段目のεフィルタによって、水平方向閾値決定部３３からの注目画素についての水平方向の閾値εに基づいて注目画素を水平方向にフィルタリングし、２段目のεフィルタによって、１段目のεフィルタが出力する注目画素を、垂直方向閾値決定部３４からの注目画素についての垂直方向の閾値εに基づいて注目画素を垂直方向にフィルタリングする。
【０１０７】
ここで、非線形平滑フィルタ１５が有するεフィルタについて簡単に説明する。εフィルタは、画像データを構成する画素のうちの、注目画素のフィルタリング（ローパスフィルタリング）に用いる、注目画素の近傍にある近傍画素の画素値を、閾値εに応じて設定する。
【０１０８】
図１０は、εフィルタによるフィルタリングを説明する図である。近傍画素Ｐｍの画素値Ｘｍが、注目画素Ｐｎの画素値Ｘｎを中心とする閾値εの範囲内にない場合、εフィルタは、近傍画素Ｐｍの画素値Ｘｍを注目画素Ｐｎの画素値Ｘｎに置き換え、注目画素Ｐｎのフィルタリングに用いる。一方、近傍画素Ｐｍの画素値Ｘｍが閾値εの範囲内にある場合、εフィルタは、その近傍画素Ｐｍの画素値Ｘｍをそのまま用い、注目画素Ｐｎをフィルタリングする。
【０１０９】
従って、εフィルタによれば、注目画素の画素値に近い値の画素値（閾値εの範囲内の画素値）のみを用いて、注目画素がフィルタリングされる。その結果、εフィルタにおいては、例えば、入力データとしての画像データに微少なノイズが含まれる場合には、そのノイズが除去されたフィルタリング結果が得られる。さらに、εフィルタにおいては、例えば、入力データとしての画像データに、急峻なエッジが含まれている場合には、そのエッジの形状を維持したフィルタリング結果が得られる。
【０１１０】
また、εフィルタによれば、入力データとしての画像データをフィルタリングする際に、閾値εを大きな値にすると平滑化の度合いが高くなり、閾値εを小さな値にすると平滑化の度合いが低くなる。
【０１１１】
このようなεフィルタを有する非線形平滑フィルタ１５によって、図９を参照して説明したように決定される閾値εに基づき、画像データがフィルタリングされることにより、エッジの形状を維持したまま、エッジの周辺部分に発生するモスキートノイズが除去される。
【０１１２】
次に、図１１は、図１のノイズ除去装置１０が画像データのモスキートノイズを除去する処理を説明するフローチャートである。
【０１１３】
入力データとしての１フレームの画像データがノイズ除去装置１０の分散計算部１１と非線形平滑フィルタ１５に入力され、ステップＳ１１において、分散計算部１１は、画像データの画素ごとに分散Ｖを計算する。分散計算部１１は、分散Ｖをローパスフィルタ１２に供給し、ステップＳ１２に進む。
【０１１４】
ステップＳ１２において、ローパスフィルタ１２は、分散計算部１１からの画像データの分散Ｖを平滑化し、平滑化値LPF（Ｖ）を、領域判定部１３および閾値決定部１４に供給する。
【０１１５】
ローパスフィルタ１２から平滑化値LPF（Ｖ）が供給されると、ステップＳ１３において、領域判定部１３は、ローパスフィルタ１２からの平滑化値LPF（Ｖ）に基づき、画像データを構成する各画素について、領域判定処理を行う。領域判定部１３は、領域判定処理を行った結果得られる領域情報を閾値決定部１４に供給し、ステップＳ１４に進む。
【０１１６】
ステップＳ１４において、閾値決定部１４は、ローパスフィルタ１２からの平滑化値LPF（Ｖ）と、領域判定部１３からの領域情報とに基づいて、非線形平滑フィルタ１５が行うノイズ除去処理のパラメータである閾値εを、画素ごとに決定して非線形平滑フィルタ１５に供給する閾値決定処理を行う。
【０１１７】
ステップＳ１４の処理後、ステップＳ１５に進み、非線形平滑フィルタ１５は、閾値決定部１４からの閾値εに基づき、入力データとしての画像データにノイズ除去処理を施す。即ち、非線形平滑フィルタ１５は、閾値決定部１４からの閾値εの値に基づく度合いで平滑化がされるように、画像データをフィルタリングし、画像データに含まれるモスキートノイズその他のノイズを除去する。非線形平滑フィルタ１５は、モスキートノイズ等を除去した画像データを出力データとして出力し、処理を終了する。
【０１１８】
なお、図１１の処理は、ノイズ除去装置１０に１フレームの画像データが供給されるごとに、その画像データを対象として繰り返し行われる。
【０１１９】
次に、図１２は、図１１のステップＳ１３における領域判定処理を説明するフローチャートである。図１２では、領域判定部１３（図４）のうちの、水平差分計算部２２、水平ヒストグラム計算部２４、および水平方向領域判定部２６によって水平方向に行われる領域判定処理を説明する。
【０１２０】
領域判定部１３は、ノイズ除去装置１０に供給された画像データを構成する画素を、順次、注目画素とし、領域判定処理を行う。即ち、領域判定処理では、図１のローパスフィルタ１２から領域判定部１３に供給された平滑化値LPF（Ｖ）のうちの、注目画素を含む、注目画素の周辺に位置する７×５画素、つまり、注目領域の７×５画素（図５）の平滑化値LPF（Ｖ）が、メモリ２１（図４）に記憶される。
【０１２１】
そして、ステップＳ２１において、水平差分計算部２２は、図５で説明したように、注目領域の水平方向の変化量としての差分値を計算して水平ヒストグラム計算部２４に供給し、ステップＳ２２に進む。
【０１２２】
ステップＳ２２において、水平ヒストグラム計算部２４は、図６で説明したように、水平差分計算部２２からの水平方向の変化量についてのヒストグラムを計算し、３つの度数hist(1)，hist(2)，hist(3)からなるヒストグラムを水平方向領域判定部２６に供給する。
【０１２３】
ステップＳ２２の処理後、ステップＳ２３に進み、水平方向領域判定部２６は、水平ヒストグラム計算部２４からの度数hist(1)と、あらかじめ与えられている閾値th1とを比較し、度数hist(1)が閾値th1より大きい（または以上である）か否かを判定する。
【０１２４】
ステップＳ２３において、水平方向領域判定部２６が、度数hist(1)が閾値th1より大きいと判定した場合、ステップＳ２４に進み、水平方向領域判定部２６は、注目画素が属する領域がエッジ領域であることを表す水平方向の領域情報を、閾値決定部１４（図１）に供給して処理を終了する。
【０１２５】
一方、ステップＳ２３において、水平方向領域判定部２６が、度数hist(1)が閾値th1以下であると判定した場合、ステップＳ２５に進む。
【０１２６】
ステップＳ２５において、水平方向領域判定部２６は、水平ヒストグラム計算部２４からの度数hist(2)と、あらかじめ与えられている閾値th2とを比較し、度数hist(2)が閾値th2より大きい（または以上である）か否かを判定する。
【０１２７】
ステップＳ２５において、水平方向領域判定部２６が、度数hist(2)が閾値th2より大きいと判定した場合、ステップＳ２６に進み、水平方向領域判定部２６は、注目画素が属する領域がテクスチャ領域であることを表す水平方向の領域情報を、閾値決定部１４に供給して処理を終了する。
【０１２８】
一方、ステップＳ２５において、水平方向領域判定部２６が、度数hist(2)が閾値th2以下であると判定した場合、ステップＳ２７に進む。
【０１２９】
ステップＳ２７において、水平方向領域判定部２６は、水平ヒストグラム計算部２４からの度数hist(3)と、あらかじめ与えられている閾値th3とを比較し、度数hist(3)が閾値th3より大きい（または以上である）か否かを判定する。
【０１３０】
ステップＳ２７において、水平方向領域判定部２６が、度数hist(3)が閾値th3より大きいと判定した場合、ステップＳ２８に進み、水平方向領域判定部２６は、注目画素が属する領域がフラット領域であることを表す水平方向の領域情報を、閾値決定部１４に供給して処理を終了する。
【０１３１】
一方、ステップＳ２７において、水平方向領域判定部２６が、度数hist(3)が閾値th3以下であると判定した場合、ステップＳ２９に進み、水平方向領域判定部２６は、注目画素が属する領域が、その他の領域であることを表す水平方向の領域情報を、閾値決定部１４に供給して処理を終了する。
【０１３２】
なお、以上の説明は、水平差分計算部２２、水平ヒストグラム計算部２４、および水平方向領域判定部２６によって水平方向に行われる領域判定処理についてのものであるが、垂直差分計算部２３、垂直ヒストグラム計算部２５、および垂直方向領域判定部２７によっても同様の領域判定処理が垂直方向に行われ、垂直方向の領域情報が閾値決定部１４に供給される。
【０１３３】
次に、図１３は、図１１のステップＳ１４における閾値決定処理を説明するフローチャートである。図１３では、閾値決定部１４（図８）のうちの、水平方向パラメータ選択部３１および水平方向閾値決定部３３によって水平方向に行われる閾値決定処理を説明する。
【０１３４】
図４の水平方向領域判定部２６から図８の水平方向パラメータ選択部３１に、注目画素の水平方向の領域情報が供給されると、ステップＳ３１において、水平方向パラメータ選択部３１は、水平方向領域判定部２６からの水平方向の領域情報に基づいて、閾値決定曲線を決定するための決定用パラメータを選択する。
【０１３５】
例えば、図９を参照して説明したように、水平方向パラメータ選択部３１は、水平方向領域判定部２６からの水平方向の領域情報がエッジ領域を表している場合、決定用パラメータＥ1，Ｆ1，Ｍ1を選択する。また、水平方向パラメータ選択部３１は、水平方向領域判定部２６からの水平方向の領域情報がテクスチャ領域を表している場合、決定用パラメータＥ2，Ｆ2，Ｍ2を選択する。また、水平方向パラメータ選択部３１は、水平方向領域判定部２６からの水平方向の領域情報がフラット領域またはその他の領域を表している場合、決定用パラメータＥ3，Ｆ3，Ｍ3を選択する。
【０１３６】
水平方向パラメータ選択部３１は、決定用パラメータを水平方向閾値決定部３３に供給して、ステップＳ３２に進む。
【０１３７】
ステップＳ３２において、水平方向閾値決定部３３は、水平方向パラメータ選択部３１からの決定用パラメータに基づき、閾値εの決定に用いる閾値決定曲線を決定し、その閾値決定曲線において、図１のローパスフィルタ１２から供給される注目画素の平滑化値LPF（Ｖ）に対応する値を、注目画素の水平方向の閾値εとして決定する。
【０１３８】
そして、水平方向閾値決定部３３は、図１の非線形平滑フィルタ１５に水平方向の閾値εを供給し、処理を終了する。
【０１３９】
なお、以上の説明は、水平方向パラメータ選択部３１および水平方向閾値決定部３３によって水平方向に行われる閾値決定処理についてのものであるが、垂直方向パラメータ選択部３２および垂直方向閾値決定部３４によっても、図８の垂直方向パラメータ選択部３２からの決定用パラメータに基づき、同様の閾値決定処理が垂直方向に行われ、その閾値決定処理によって得られる注目画素の垂直方向の閾値εが非線形平滑フィルタ１５に供給される。
【０１４０】
以上のように、領域判定処理による判定結果としての領域情報に基づき、閾値決定処理により閾値εを決定することで、非線形平滑フィルタ１５では、画像データの各画素が属する領域に適した閾値εによるフィルタリングであって、かつ、各画素の近傍の画素値のばらつき（散らばり）の度合いに応じた閾値εによるフィルタリングが行われ、その結果、画像データに含まれるモスキートノイズ等を効果的に除去することができる。
【０１４１】
即ち、従来より、モスキートノイズを除去する方法としては、例えば、一次微分や、ソーベルフィルタを利用したフィルタリングを行う方法があるが、この方法では、エッジ領域とテクスチャ領域とを適切に分離してフィルタリングを行うことが難しかった。これに対して、図１のノイズ除去装置１０によれば、エッジ領域、テクスチャ領域、フラット領域を適切に分離して、そのエッジ領域、テクスチャ領域、フラット領域の各領域に応じた閾値決定曲線により、画素値の散らばりの度合いに応じて、動的に、閾値εを決定するので、効果的にノイズを除去することができる。
【０１４２】
具体的には、エッジ領域に属する画素については、図９を参照して説明したように、閾値決定曲線Ｌ1にしたがい、閾値εは、比較的大の値に決定されるので、非線形平滑フィルタ１５は、高い平滑化の度合いでエッジ領域（例えば、図３の範囲ｄに対応する画像データの範囲）の画素をフィルタリングする。従って、画像データのエッジの周辺部分に発生するモスキートノイズを除去することができる。
【０１４３】
また、テクスチャ領域に属する画素については、閾値決定曲線Ｌ2にしたがい、閾値εは、エッジ領域に属する画素についての閾値εよりも小さい中の値に決定されるので、非線形平滑フィルタ１５は、エッジ領域の画素の平滑化の度合いよりも低い平滑化の度合いで、テクスチャ領域（例えば、図３の範囲ｅに対応する画像データの範囲）の画素をフィルタリングする。従って、テクスチャとしての画素値の微細な変化を保存すること、例えば、物体表面の模様などの画質の劣化を防止することができる。
【０１４４】
また、フラット領域に属する画素については、閾値決定曲線Ｌ3にしたがい、閾値εは、テクスチャ領域に属する画素についての閾値εよりも小さい小の値に決定されるので、非線形平滑フィルタ１５は、テクスチャ領域の画素の平滑化の度合いよりも低い平滑化の度合いで、フラット領域（例えば、図３の範囲ｆに対応する画像データの範囲）の画素をフィルタリングする。従って、フラット領域に存在する微細なノイズを除去することができる。
【０１４５】
次に、図１のノイズ除去装置１０では、注目画素の分散情報として縦×横が３×３画素の画素値の分散Ｖを用いて、水平方向の処理（上述の領域判定処理（図１２）、閾値決定処理（図１３）、およびノイズ除去処理のうち水平方向に行われる処理）および垂直方向の処理（上述の領域判定処理（図１２）、閾値決定処理（図１３）、およびノイズ除去処理のうち垂直方向に行われる処理）の両方が行われるが、注目画素については、水平方向の分散情報と垂直方向の分散情報とをそれぞれ求め、水平方向の分散情報を用いて水平方向の処理を行うとともに、垂直方向の分散情報を用いて垂直方向の処理を行うことができる。
【０１４６】
図１４は、本発明を適用したノイズ除去装置の他の実施の形態の構成例を示すブロック図である。
【０１４７】
図１４において、ノイズ除去装置５０には、水平分散計算部５１、垂直分散計算部５２、水平ローパスフィルタ５３、垂直ローパスフィルタ５４、水平領域判定部５５、垂直領域判定部５６、水平閾値決定部５７、垂直閾値決定部５８、水平非線形平滑化フィルタ５９、および垂直非線形平滑化フィルタ６０が設けられている。
【０１４８】
水平分散計算部５１および垂直分散計算部５２には、図１の分散計算部１１と同様に、入力データとしての画像データが入力され、水平分散計算部５１は、注目画素についての水平方向の分散情報としての、例えば、水平方向の分散ＶHを計算し、垂直分散計算部５２は、注目画素についての垂直方向の分散情報としての、例えば、垂直方向の分散ＶVを計算する。
【０１４９】
このとき、水平分散計算部５１と垂直分散計算部５２とは、それぞれ異なる数の画素（画素値）を用いて分散を求めることができる。水平分散計算部５１は、注目画素を中心とする水平方向の、例えば、５画素（tap）を用い、上述の式（１）にしたがい、注目画素についての水平方向の分散ＶHを計算する。垂直分散計算部５２は、注目画素を中心とする垂直方向の、例えば、３画素（tap）を用い、上述の式（１）にしたがい、注目画素についての垂直方向の分散ＶVを計算する。なお、水平方向の分散ＶHと垂直方向の分散ＶVとは、同一の数の画素を用いて求めることもできる。
【０１５０】
そして、水平分散計算部５１は、注目画素についての水平方向の分散ＶHを水平ローパスフィルタ５３に供給し、垂直分散計算部５２は、注目画素についての垂直方向の分散ＶVを垂直ローパスフィルタ５４に供給する。
【０１５１】
水平ローパスフィルタ５３は、水平分散計算部５１からの注目画素についての水平方向の分散ＶHを水平方向に平滑化する。水平ローパスフィルタ５３は、注目画素についての水平方向の分散ＶHを水平方向に平滑化することにより得られる注目画素についての水平方向の平滑化値LPF（ＶH）を、水平領域判定部５５および水平閾値決定部５７に供給する。
【０１５２】
垂直ローパスフィルタ５４は、垂直分散計算部５２からの注目画素についての垂直方向の分散ＶVを垂直方向に平滑化する。垂直ローパスフィルタ５４は、注目画素についての垂直方向の分散ＶVを垂直方向に平滑化することにより得られる注目画素についての垂直方向の平滑化値LPF（ＶV）を、垂直領域判定部５６および垂直閾値決定部５８に供給する。
【０１５３】
水平領域判定部５５は、図４のメモリ２１、水平差分計算部２２、水平ヒストグラム計算部２４、および水平方向領域判定部２６（いずれも図示せず）が設けられる点で、図４の領域判定部１３と共通する。但し、水平領域判定部５５は、垂直差分計算部２３、垂直ヒストグラム計算部２５、および垂直方向領域判定部２７が設けられていない点で、図４の領域判定部１３と相違する。
【０１５４】
そして、水平領域判定部５５は、領域判定部１３と同様に、水平ローパスフィルタ５３からの注目画素についての水平方向の平滑化値LPF（ＶH）に基づいて、画像データを構成する各画素について、画素が属する領域が、エッジ領域、テクスチャ領域、フラット領域、またはその他の領域のうちのいずれであるかを判定する水平方向の領域判定処理を行う。そして、水平領域判定部５５は、水平方向の領域判定処理を行った結果、注目画素についての水平方向の領域情報を水平閾値決定部５７に供給する。
【０１５５】
垂直領域判定部５６は、図４のメモリ２１、垂直差分計算部２３、垂直ヒストグラム計算部２５、および垂直方向領域判定部２７（いずれも図示せず）が設けられる点で、図４の領域判定部１３と共通する。但し、垂直領域判定部５６は、水平差分計算部２２、水平ヒストグラム計算部２４、および水平方向領域判定部２６が設けられていない点で、図４の領域判定部１３と相違する。
【０１５６】
そして、垂直領域判定部５６は、図４の領域判定部１３と同様に、垂直ローパスフィルタ５４からの注目画素についての垂直方向の平滑化値LPF（ＶV）に基づいて、画像データを構成する各画素について、画素が属する領域が、エッジ領域、テクスチャ領域、フラット領域、またはその他の領域のうちのいずれであるかを判定する垂直方向の領域判定処理を行う。そして、垂直領域判定部５６は、垂直方向の領域判定処理を行った結果、注目画素についての垂直方向の領域情報を垂直閾値決定部５８に供給する。
【０１５７】
水平閾値決定部５７は、図８の水平方向パラメータ選択部３１および水平方向閾値決定部３３（いずれも図示せず）が設けられる点で、図８の閾値決定部１４と共通する。但し、水平閾値決定部５７は、垂直方向パラメータ選択部３２および垂直方向閾値決定部３４が設けられていない点で、図８の閾値決定部１４と相違する。
【０１５８】
そして、水平閾値決定部５７は、図８の閾値決定部１４と同様に、水平ローパスフィルタ５３からの注目画素についての水平方向の平滑化値LPF（ＶH）と、水平領域判定部５５からの注目画素についての水平方向の領域情報とに基づいて、注目画素についての水平方向の閾値εを決定し、水平非線形平滑化フィルタ５９に供給する。
【０１５９】
垂直閾値決定部５８は、図８の垂直方向パラメータ選択部３２および垂直方向閾値決定部３４（いずれも図示せず）が設けられる点で、図８の閾値決定部１４と共通する。但し、垂直閾値決定部５８は、水平方向パラメータ選択部３１および水平方向閾値決定部３３が設けられていない点で、図８の閾値決定部１４と相違する。
【０１６０】
そして、垂直閾値決定部５８は、図８の閾値決定部１４と同様に、垂直ローパスフィルタ５４からの注目画素についての垂直方向の平滑化値LPF（ＶV）と、垂直領域判定部５６からの注目画素についての垂直方向の領域情報とに基づいて、注目画素についての垂直方向の閾値εを決定し、垂直非線形平滑化フィルタ６０に供給する。
【０１６１】
水平非線形平滑化フィルタ５９には、入力データとしての画像データが供給されるとともに、水平閾値決定部５７から注目画素についての水平方向の閾値εが供給される。水平非線形平滑化フィルタ５９は、例えば、εフィルタであり、水平閾値決定部５７からの注目画素についての水平方向の閾値εに基づく度合いで注目画素の平滑化がされるように、画像データを水平方向にフィルタリングして垂直非線形平滑化フィルタ６０に供給する。
【０１６２】
垂直非線形平滑化フィルタ６０には、水平非線形平滑化フィルタ５９が水平方向にフィルタリングした画像データが供給されるとともに、垂直閾値決定部５８から注目画素についての垂直方向の閾値εが供給される。垂直非線形平滑化フィルタ６０は、例えば、εフィルタであり、垂直閾値決定部５８からの注目画素についての垂直方向の閾値εに基づく度合いで注目画素の平滑化がされるように、画像データを垂直方向にフィルタリングする。
【０１６３】
以上のように、ノイズ除去装置５０では、入力データとしての画像データから、注目画素についての水平方向の分散ＶHと垂直方向の分散ＶVとがそれぞれ求められ、水平方向の分散ＶHを用いて水平方向の処理が行われ、垂直方向の分散ＶVに基づいて垂直方向の処理が行われる。
【０１６４】
このように、水平方向の処理に水平方向の分散ＶHを用いるとともに、垂直方向の処理に垂直方向の分散ＶVを用いることにより、図１のノイズ除去装置１０のように、水平方向の処理と垂直方向の処理に同じ分散Ｖを用いる場合より、水平方向のフィルタリングに適した水平方向の閾値ε、および垂直方向のフィルタリングに適した垂直方向の閾値εを得ることができる。
【０１６５】
例えば、細線どうしが交差する交点付近の画素においては、水平方向の分散ＶHと垂直方向の分散ＶVとが異なる傾向が高く、ノイズ除去装置５０によれば、特に、細線どうしが交差する交点付近をフィルタリングする場合、水平方向のフィルタリングに適した水平方向の閾値ε、および垂直方向のフィルタリングに適した垂直方向の閾値εで、フィルタリングすることができ、図１のノイズ除去装置１０における場合よりも、より効果的にノイズを除去することができる。
【０１６６】
なお、ノイズ除去装置１０や５０では、注目画素についての領域情報に基づき、ノイズ除去処理のパラメータとして、εフィルタで使用される閾値εを決定するようにしたが、ノイズ除去処理のパラメータとしては、その他、例えば、ノイズ除去処理としてのフィルタリングを行うフィルタのタップ係数を求める（決定する）こともできる。
【０１６７】
また、本実施の形態においては、ノイズ除去処理を行う非線形平滑化フィルタとして、εフィルタを用いたが、非線形平滑化フィルタには、その他のフィルタ、例えば、平滑化されるノイズのレベルを閾値で制御することができるフィルタ（以下、適宜、Ｍフィルタという）を用いることができる。なお、Ｍフィルタの詳細については、例えば、特開２００４−２８９６０７号公報に記載されている。
【０１６８】
Ｍフィルタは、例えば、注目画素をフィルタリングするとき、注目画素を含む周辺の画素を、複数の種類のタップ係数を用いて加重平均することで複数の種類の平滑化値を求め、注目画素の画素値と加重平均に用いた画素の画素値との差分値を所定の閾値と比較した結果に基づいて、複数の種類の平滑化値に対する重みを算出し、この重みに従って複数の種類の平滑化値を合成する。このように、閾値に基づく重みに従って複数の種類の平滑化値を合成することで、Ｍフィルタでは、平滑化されるノイズのレベルを閾値で制御することができる。
【０１６９】
このようなＭフィルタにおいて、注目画素についての領域情報に基づいて決定される閾値を用いることにより、エッジ領域、テクスチャ領域、フラット領域の各領域に応じた閾値に基づく重みに従って複数の種類の平滑化値が合成され、各領域に応じたノイズ除去処理をすることができる。
【０１７０】
なお、ノイズ除去装置１０や５０では、例えば、MPEG方式でエンコードされた画像データがデコードされた動画像（のデータ）や、JPEG方式でエンコードされた画像データがデコードされた静止画像（のデータ）など、動画像であるか静止画像であるかを問わず、ノイズ除去処理の対象とすることができる。
【０１７１】
次に、上述した一連の処理は、ハードウエアにより行うこともできるし、ソフトウェアにより行うこともできる。一連の処理をソフトウェアによって行う場合には、そのソフトウェアを構成するプログラムが、汎用のコンピュータ等にインストールされる。
【０１７２】
そこで、図１５は、上述した一連の処理を実行するプログラムがインストールされるコンピュータの一実施の形態の構成例を示している。
【０１７３】
コンピュータは、CPU（Central Processing Unit）１０１、ROM（Read Only Memory）１０２、RAM(Random Access Memory)１０３、内部バス１０４、入出力インターフェース１０５、入力部１０６、出力部１０７、記憶部１０８、通信部１０９、およびドライブ１１０を備える。
【０１７４】
CPU１０１、ROM１０２、およびRAM１０３は、内部バス１０４を介して相互に接続されている。この内部バス１０４にはまた、入出力インターフェース１０５も接続されている。
【０１７５】
CPU１０１は、ROM１０２に記憶されているプログラム、または、RAM１０３にロードされたプログラムに従って各種の処理を実行する。RAM１０３にはまた、CPU１０１が各種の処理を実行する上で必要なデータなどが適宜記憶される。
【０１７６】
入出力インターフェース１０５には、キーボード、マウスなどよりなる入力部１０６、LCD（Liquid Crystal Display）、CRT（Cathode Ray Tube）などよりなる出力部１０７、ハードディスクなどより構成される記憶部１０８、モデム、ターミナルアダプタ、その他の通信インターフェースなどより構成される通信部１０９、およびドライブ１１０が接続されている。
【０１７７】
ドライブ１１０には、磁気ディスク、光ディスク、光磁気ディスク、あるいは半導体メモリなどよりなる記録媒体１１１が適宜装着される。
【０１７８】
CPU１０１によって実行されるプログラムは、ROM１０２や記憶部１０８に予め記憶（記録）しておくことができる。また、プログラムを記録した記録媒体１１１を、いわゆるパッケージソフトウエアとして提供することができ、プログラムは、記録媒体１１１からドライブ１１０によって読み出され、記憶部１０８にインストールされる。また、プログラムを、ダウンロードサイトから、ディジタル衛星放送用の人工衛星を介して、通信部１０９に無線で転送し、または、LAN(Local Area Network)やインターネットといったネットワークを介して、通信部１０９に有線で転送して提供することができ、プログラムは、通信部１０９から記憶部１０８に供給されてインストールされる。
【０１７９】
このように構成されるコンピュータは、ユーザによって入力部１０６が操作されることにより、記憶部１０８に記憶されている画像データを出力部１０７で再生させる指令が入力されると、それに従って、ROM１０２に記憶されているプログラム、または、記憶部１０８からRAM１０３にロードされたプログラムを、CPU１０１に実行させる。
【０１８０】
これにより、CPU１０１は、上述したフローチャートにしたがった処理、あるいは上述したブロック図の構成により行われる処理を行う。そして、CPU１０１は、その処理結果としてのノイズが除去された画像データ（画像）を、入出力インターフェース１０５を介して、出力部１０７に表示させる。
【０１８１】
なお、上述のフローチャートを参照して説明した各処理は、必ずしもフローチャートとして記載された順序に沿って時系列に処理する必要はなく、並列的あるいは個別に実行される処理（例えば、並列処理あるいはオブジェクトによる処理）も含むものである。
【０１８２】
また、プログラムは、１のコンピュータにより処理されるものであっても良いし、複数のコンピュータによって分散処理されるものであっても良い。さらに、プログラムは、遠方のコンピュータに転送されて実行されるものであっても良い。
【図面の簡単な説明】
【０１８３】
【図１】本発明を適用したノイズ除去装置の一実施の形態の構成例を示すブロック図である。
【図２】分散計算部１１による分散Ｖの計算を説明する図である。
【図３】画像データ、分散Ｖ、および平滑化値LPF（Ｖ）の波形を模式的に示す図である。
【図４】領域判定部１３の構成例を示すブロック図である。
【図５】メモリ２１の記憶内容を示す図である。
【図６】水平ヒストグラム計算部２４で求められる変化量のヒストグラムを説明する図である。
【図７】水平方向領域判定部２６と垂直方向領域判定部２７が行う、注目画素が属する領域を判定する処理を説明する図である。
【図８】閾値決定部１４の構成例を示すブロック図である。
【図９】閾値決定曲線を示す図である。
【図１０】εフィルタによるフィルタリングを説明する図である。
【図１１】ノイズ除去装置１０の処理を説明するフローチャートである。
【図１２】領域判定処理を説明するフローチャートである。
【図１３】閾値決定処理を説明するフローチャートである。
【図１４】本発明を適用したノイズ除去装置の他の実施の形態の構成例を示すブロック図である。
【図１５】ノイズ除去装置を実現するプログラムがインストールされるコンピュータの一実施の形態の構成例を示すブロック図である。
【符号の説明】
【０１８４】
１０  ノイズ除去装置，  １１  分散計算部，  １２  ローパスフィルタ，１３  領域判定部，  １４  閾値決定部，  １５  非線形平滑フィルタ，  ２１  メモリ，  ２２  水平差分計算部，  ２３  垂直差分計算部，  ２４  水平ヒストグラム計算部，  ２５  垂直ヒストグラム計算部，  ２６  水平方向領域判定部，  ２７  垂直方向領域判定部，  ３１  水平方向パラメータ選択部，  ３２  垂直方向パラメータ選択部，  ３３  水平方向閾値決定部，  ３４  垂直方向閾値決定部，  １０１  CPU，  １０２  ROM，  １０３  RAM，  １０４  内部バス，  １０５  入出力インターフェース，  １０６  入力部，  １０７  出力部，  １０８  記憶部，  １０９  通信部，  １１０  ドライブ，  １１１  記録媒体
【図１】
0004635779.tif 000004
【図２】
0004635779.tif 000005
【図３】
0004635779.tif 000006
【図４】
0004635779.tif 000007
【図５】
0004635779.tif 000008
【図６】
0004635779.tif 000009
【図７】
0004635779.tif 000010
【図８】
0004635779.tif 000011
【図９】
0004635779.tif 000012
【図１０】
0004635779.tif 000013
【図１１】
0004635779.tif 000014
【図１２】
0004635779.tif 000015
【図１３】
0004635779.tif 000016
【図１４】
0004635779.tif 000017
【図１５】
0004635779.tif 000018