(57)【要約】【課題】画素の連続性や相関性を損なうことなく、エッジ以外の部分を平滑化する。【解決手段】水平処理方向成分画素抽出部３１は、入力された画像信号SIの注目画素と、その水平処理方向成分画素を抽出する。垂直処理方向成分画素抽出部３４が、入力された画像信号SIの注目画素と、その垂直処理方向成分画素を抽出する。閾値設定部３６は、注目画素と、その垂直処理方向成分画素より閾値を設定する。非線形平滑化処理部３２は、水平処理方向成分画素を用いて、設定された閾値に基づいて、注目画素を水平方向に非線形平滑化処理し、画像信号SF-Hを生成する。Flatレート計算部３５は、垂直処理方向成分画素を用いて、注目画素の垂直方向のFlatレートを計算する。混合部３３は、画像信号SIと画像信号SF-Hとを、Flatレートを用いて混合し、注目画素に水平方向平滑化処理を行った画像信号SNL-Hを出力する。【選択図】図３
2007128206.tif 000002
【特許請求の範囲】
【請求項１】
連続的に配置されている信号のレベルを調整する信号処理装置において、
連続的に配置されている前記信号を、順次、注目信号に指定する指定手段と、
前記指定手段によって指定された前記注目信号の近傍信号と、前記注目信号との差分絶対値に基づいて、第１の閾値を設定する設定手段と、
前記指定手段によって指定された前記注目信号を基準として、第１の方向に連続的に配置されている前記信号のなかから複数の近傍信号を処理信号として抽出する処理信号抽出手段と、
前記注目信号と各処理信号との差分である処理差分と、前記第１の閾値との比較結果に基づいて、前記注目信号と前記複数の処理信号を加重平均して平滑化信号を演算する演算手段と、
前記処理差分と前記第１の閾値よりも小さな第２の閾値との比較結果に基づいて、前記平滑化信号と前記注目信号との第１の混合比を計算する第１の混合比計算手段と、
前記第１の混合比計算手段により計算された前記第１の混合比に基づいて、前記平滑化信号、および、前記注目信号を混合し、第１の混合信号を生成する第１の混合手段と、
前記指定手段によって指定された前記注目信号を基準として、第２の方向に連続的に配置されている前記信号のなかから複数の近傍信号を参照信号として抽出する参照信号抽出手段と、
前記注目信号と各参照信号との差分である参照差分に基づいて、前記混合信号と前記注目信号との第２の混合比を計算する第２の混合比計算手段と、
前記第２の混合比計算手段により計算された前記第２の混合比に基づいて、前記第１の混合信号、および、前記注目信号を混合し、第２の混合信号を生成する第２の混合手段と
を含む信号処理装置。
【請求項２】
前記信号は、画像を構成する画素の画素値である
請求項１に記載の信号処理装置。
【請求項３】
前記設定手段は、
前記参照信号と前記注目信号との差分絶対値を算出する差分絶対値算出手段をさらに備え、
前記参照信号と前記注目信号との差分絶対値のうち、最大となる差分絶対値に基づいて、第１の閾値を設定する
請求項１に記載の信号処理装置。
【請求項４】
前記設定手段は、
前記参照信号および前記注目信号のうち、最大となる参照信号または注目信号を抽出する最大信号抽出手段と、
前記参照信号および前記注目信号のうち、最小となる参照信号または注目信号を抽出する最小信号抽出手段とをさらに備え、
前記参照信号および前記注目信号のうち、最大となる参照信号または注目信号と、最小となる参照信号または注目信号との差分絶対値に基づいて、第１の閾値を設定する
請求項１に記載の信号処理装置。
【請求項５】
前記設定手段は、
前記注目信号の位置から見て前記第２の方向に対して順方向側に配置される前記参照信号と前記注目信号との差分絶対値を算出する順方向算出手段と、
前記注目信号の位置から見て前記第２の方向に対して逆方向側に配置される前記参照信号と前記注目信号との差分絶対値を算出する逆方向算出手段とをさらに備え、
前記順方向算出手段により算出された差分絶対値の最大値、または、前記逆方向算出手段により算出された差分絶対値の最大値のうち、いずれか小さい方の値に基づいて、第１の閾値を設定する
請求項１に記載の信号処理装置。
【請求項６】
前記設定手段は、
前記注目信号の位置から見て前記第２の方向に対して順方向側に配置される前記参照信号および前記注目信号のうちの最大値を抽出する順方向最大信号抽出手段と、
前記注目信号の位置から見て前記第２の方向に対して順方向側に配置される前記参照信号および前記注目信号のうちの最小値を抽出する順方向最小信号抽出手段と、
前記順方向最大信号抽出手段により抽出された最大値と、前記順方向最小信号抽出手段により抽出された最小値との差分絶対値を算出する順方向差分絶対値算出手段と、
前記注目信号の位置から見て前記第２の方向に対して逆方向側に配置される前記参照信号および前記注目信号のうちの最大値を抽出する逆方向最大信号抽出手段と、
前記注目信号の位置から見て前記第２の方向に対して逆方向側に配置される前記参照信号および前記注目信号のうちの最小値を抽出する逆方向最小信号抽出手段と、
前記逆方向最大信号抽出手段により抽出された最大値と、前記逆方向最小信号抽出手段により抽出された最小値との差分絶対値を算出する逆方向差分絶対値算出手段とをさらに備え、
前記順方向差分絶対値算出手段により算出された差分絶対値、または、前記逆方向差分絶対値算出手段により算出された差分絶対値のうち、いずれか小さい方の値に基づいて、第１の閾値を設定する
請求項１に記載の信号処理装置。
【請求項７】
前記設定手段は、
前記注目信号の位置から見て複数の方向別に設定されるブロック毎に、前記ブロック内の各画素と前記注目画素との差分絶対値を算出し、最大値を出力するブロック差分絶対値算出手段を備え、
前記ブロック差分絶対値算出手段により算出された最大値のうち最小となる、前記ブロックの最大値に基づいて、第１の閾値を設定する
請求項１に記載の信号処理装置。
【請求項８】
前記設定手段は、
前記注目信号と、その近傍の各画素との差分絶対値を算出する近傍差分絶対値算出手段と、
前記近傍差分絶対値算出手段により算出された各画素と前記注目画素との差分絶対値に基づいて、ヒストグラムを生成するヒストグラム生成手段とを備え、
前記ヒストグラムにより頻度が最小となる差分絶対値に基づいて、第１の閾値を設定する
請求項１に記載の信号処理装置。
【請求項９】
連続的に配置されている信号のレベルを調整する信号処理方法において、
連続的に配置されている前記信号を、順次、注目信号に指定する指定ステップと、
前記指定ステップの処理によって指定された前記注目信号の近傍信号と、前記注目信号との差分絶対値に基づいて、第１の閾値を設定する設定ステップと、
前記指定ステップの処理で指定された前記注目信号を基準として、第１の方向に連続的に配置されている前記信号のなかから複数の近傍信号を処理信号として抽出する処理信号抽出ステップと、
前記注目信号と各処理信号との差分である処理差分と、前記第１の閾値との比較結果に基づいて、前記注目信号と前記複数の処理信号を加重平均して平滑化信号を演算する演算ステップと、
前記処理差分と前記第１の閾値よりも小さな第２の閾値との比較結果に基づいて、前記平滑化信号と前記注目信号との第１の混合比を計算する第１の混合比計算ステップと、
前記第１の混合比計算ステップの処理で計算された前記第１の混合比に基づいて、前記平滑化信号、および、前記注目信号を混合し、第１の混合信号を生成する第１の混合ステップと、
前記指定ステップの処理で指定された前記注目信号を基準として、第２の方向に連続的に配置されている前記信号のなかから複数の近傍信号を参照信号として抽出する参照信号抽出ステップと、
前記注目信号と各参照信号との差分である参照差分に基づいて、前記混合信号と前記注目信号との第２の混合比を計算する第２の混合比計算ステップと、
前記第２の混合比計算ステップの処理で計算された前記第２の混合比に基づいて、前記第１の混合信号、および、前記注目信号を混合し、第２の混合信号を生成する第２の混合ステップと
を含む信号処理方法。
【請求項１０】
連続的に配置されている信号のレベルを調整するためのプログラムであって、
連続的に配置されている前記信号を、順次、注目信号に指定する指定ステップと、
前記指定ステップの処理によって指定された前記注目信号の近傍信号と、前記注目信号との差分絶対値に基づいて、第１の閾値を設定する設定ステップと、
前記指定ステップの処理で指定された前記注目信号を基準として、第１の方向に連続的に配置されている前記信号のなかから複数の近傍信号を処理信号として抽出する処理信号抽出ステップと、
前記注目信号と各処理信号との差分である処理差分と、前記第１の閾値との比較結果に基づいて、前記注目信号と前記複数の処理信号を加重平均して平滑化信号を演算する演算ステップと、
前記処理差分と前記第１の閾値よりも小さな第２の閾値との比較結果に基づいて、前記平滑化信号と前記注目信号との第１の混合比を計算する第１の混合比計算ステップと、
前記第１の混合比計算ステップの処理で計算された前記第１の混合比に基づいて、前記平滑化信号、および、前記注目信号を混合し、第１の混合信号を生成する第１の混合ステップと、
前記指定ステップの処理で指定された前記注目信号を基準として、第２の方向に連続的に配置されている前記信号のなかから複数の近傍信号を参照信号として抽出する参照信号抽出ステップと、
前記注目信号と各参照信号との差分である参照差分に基づいて、前記混合信号と前記注目信号との第２の混合比を計算する第２の混合比計算ステップと、
前記第２の混合比計算ステップの処理で計算された前記第２の混合比に基づいて、前記第１の混合信号、および、前記注目信号を混合し、第２の混合信号を生成する第２の混合ステップと
を含むコンピュータが読み取り可能なプログラムが記録されている記録媒体。
【請求項１１】
連続的に配置されている信号のレベルを調整するためのプログラムであって、
連続的に配置されている前記信号を、順次、注目信号に指定する指定ステップと、
前記指定ステップの処理によって指定された前記注目信号の近傍信号と、前記注目信号との差分絶対値に基づいて、第１の閾値を設定する設定ステップと、
前記指定ステップの処理で指定された前記注目信号を基準として、第１の方向に連続的に配置されている前記信号のなかから複数の近傍信号を処理信号として抽出する処理信号抽出ステップと、
前記注目信号と各処理信号との差分である処理差分と、前記第１の閾値との比較結果に基づいて、前記注目信号と前記複数の処理信号を加重平均して平滑化信号を演算する演算ステップと、
前記処理差分と前記第１の閾値よりも小さな第２の閾値との比較結果に基づいて、前記平滑化信号と前記注目信号との第１の混合比を計算する第１の混合比計算ステップと、
前記第１の混合比計算ステップの処理で計算された前記第１の混合比に基づいて、前記平滑化信号、および、前記注目信号を混合し、第１の混合信号を生成する第１の混合ステップと、
前記指定ステップの処理で指定された前記注目信号を基準として、第２の方向に連続的に配置されている前記信号のなかから複数の近傍信号を参照信号として抽出する参照信号抽出ステップと、
前記注目信号と各参照信号との差分である参照差分に基づいて、前記混合信号と前記注目信号との第２の混合比を計算する第２の混合比計算ステップと、
前記第２の混合比計算ステップの処理で計算された前記第２の混合比に基づいて、前記第１の混合信号、および、前記注目信号を混合し、第２の混合信号を生成する第２の混合ステップと
を含む処理をコンピュータに実行させるプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、信号処理装置および方法、記録媒体、並びにプログラムに関し、特に、画像を構成する画素の急峻なエッジを保持したままで、当該エッジ以外の部分を平滑化する際、画素の連続性や相関性を損なうことなく、当該エッジ以外の部分を平滑化できるようにした信号処理装置および方法、記録媒体、並びにプログラムに関する。
【背景技術】
【０００２】
従来、ビデオカメラにおいては、CCD(Charge Coupled Device)，CMOS（Complementary Metal-Oxide Semiconductor）などの撮像素子により撮像された画像のコントラスト（明暗の差）および鮮鋭度（境界の明確さ）を向上させる方法として、階調変換によるコントラスト強調方法や画像中の高域成分のコントラストを強調する高域成分強調方法が考えられている。
【０００３】
コントラスト強調方法としては、画像の各画素に対して、その画素レベルを所定の入出力関係を持つ関数（以下、これをレベル変換関数と称する）で変換するトーンカーブ調整や、画素レベルの頻度分布に応じてレベル変換関数を適応的に変化させるヒストグラムイコライゼーションと呼ばれる方法が提案されている。
【０００４】
高域成分強調方法としては、画像からエッジを抽出し、抽出したエッジを強調するいわゆる輪郭強調を行うアンシャープマスクと呼ばれる方法が提案されている。
【０００５】
しかしながら、コントラスト強調方法においては、画像の全ダイナミックレンジ（最大レベルと最小レベルの差）のうち一部の輝度域しかコントラストを向上させることができない問題があることに加えて、トーンカーブ調整の場合には画像の最明部と最暗部において、またヒストグラムイコライゼーションの場合には頻度分布の少ない輝度域付近において、逆にコントラストが低下するという問題があった。さらに高域成分強調方法においては、画像の高域成分のコントラストのみが強調され、これにより画像のエッジ付近が不自然に強調され、画質が劣化してしまうという問題点があった。
【０００６】
そこで、従来の画像信号処理装置として、入力画像データのうち画素値の変化が急峻なエッジを保存した状態で、そのエッジ以外の部分を増幅することにより、エッジ以外の部分を強調する方法が提案されている（例えば、特許文献１参照）。
【０００７】
すなわち、従来の画像信号処理装置は、入力された画像信号（画素値）を、εフィルタを用いて信号の構造成分のみを抽出すると共に、入力信号から構造成分の差分である振幅成分のみを生成し、振幅成分のみを増幅させ、最終的に構造成分と増幅された振幅成分とを加算して出力するようにしていた。ここでεフィルタとは、所定の閾値ε1よりも大きいエッジ、急峻なエッジを挟んで僅かに変動する画像信号が入力された場合、エッジのみが抽出された画像信号に変換して出力するものである。
【０００８】
εフィルタは、入力画像の各画素を順次、注目画素Ｃに決定し、注目画素Ｃを中心として水平方向に連続する複数の近傍画素（例えば、注目画素Ｃの左側に隣接して配置される２画素Ｌ２，Ｌ１および、右側に隣接して配置されるＲ１，Ｒ２）からなるタップを設定し、以下に示す式（１）のように、注目画素Ｃおよび複数の近傍画素の画素値を、タップ係数（例えば、｛１，２，３，２，１｝）を用いて加重平均して、注目画素Ｃに対応する変換結果Ｃ’として出力する。
Ｃ’＝（１×Ｌ２＋２×Ｌ１＋３×Ｃ＋２×Ｒ１＋１×Ｒ２）／９
・・・（１）
【０００９】
ただし、近傍画素と注目画素Ｃとの画素値の差分絶対値が、所定の閾値ε1よりも大きい近傍画素（例えば、近傍画素Ｒ２がＲ２＞ε1の場合）については、画素値を注目画素Ｃのものと置換して計算するようにする。すなわち、以下の式（２）が計算される。
Ｃ’＝（１×Ｌ２＋２×Ｌ１＋３×Ｃ＋２×Ｒ１＋１×Ｃ）／９
・・・（２）
【００１０】
尚、εフィルタにより平滑化された画像信号は、特に、画像信号の構造成分とも称される。
【００１１】
入力される画像信号（εフィルタに対する入力と同一のもの）から、εフィルタにより処理された画像信号が減算されることにより、画像信号の構造成分以外の僅かに変動している画像信号が抽出されて増幅されることになる。尚、構造成分以外の僅かに変動している画像信号の成分は、特に、画像信号の振幅成分とも称される。増幅されて出力される構造成分以外の部分からなる画像信号と、εフィルタから出力される画像信号の構造成分とが加算され、この加算結果が、急峻なエッジが保持された状態で、そのエッジ以外の部分が増幅されている画像信号となる。
【００１２】
ところで、εフィルタでは、例えば、画素値の変化に急峻なエッジが存在しても、そのサイズが所定の閾値ε1よりも小さい場合、εフィルタから出力される変換後の画像信号は、平滑化されてしまい、急峻なエッジがなくなってしまうので、特に微小なエッジで構成された単純なパターン画像等で著しく画質の劣化が生じてしまうという課題があった。
【００１３】
そこで、連続的に配置されている信号を、順次、注目信号に指定し、指定された注目信号を基準として、連続的に水平方向、または、垂直方向に配置されている信号のなかから複数の近傍信号を決定し、注目信号と各近傍信号との差分を演算し、差分が第１の閾値より小さい近傍信号と、注目信号とを加重平均して平滑化信号を演算し、注目信号と各近傍信号との差分を演算し、差分と第１の閾値よりも小さな第２の閾値と比較して、第２の閾値よりも大きな値があるか否かにより、注目信号の近傍に微小エッジが存在するか否かを判定し、判定結果に基づいて、平滑化信号または注目信号の一方を選択することが提案されている。
【００１４】
しかしながら、以上の手法では、水平方向または垂直方向の方向成分に対して独立に処理がなされることになるため、適切な構造成分の抽出が困難となる場合があった。
【００１５】
そこで、処理方向とは異なる方向成分(参照方向)の情報を用いることにより、処理方向に対して信号が平坦（flat）であるか否かを判別することにより、平滑化処理を行うか行わないかを切り替えて出力するものや、その平坦さの度合いに応じて、平滑化処理を行った場合の信号と、平滑化処理を行わなかった場合の信号との中間値となる信号を出力するものが提案されている。
【００１６】
【特許文献１】特開２００１−２９８６２１号公報
【発明の開示】
【発明が解決しようとする課題】
【００１７】
しかしながら、上述したような手法を用いた場合、図1の上段で示されるような信号を処理する場合、仮にε1を図１の上段で示すように設定したとき（注目画素Ｃは×印で示される位置であるものとする）、平坦さの程度によって平滑化処理を変化させると、図１の中段で示されるように、エッジが保存できない信号に変換されてしまうことがあった。また、平坦さの程度によって平滑化処理しないようにする場合、平滑化処理しない信号が多く発生すると、図１の下段で示されるような、入力信号に対してほぼ変化のない信号が出力されることになってしまうことがあった。
【００１８】
また、平坦さの程度により、平滑化処理を行った信号と平滑化処理を行わなかった信号とを混合するような処理をするようにしたとしても、図1の中段及び下段で示されるような信号の中間的な信号となるため、エッジを保存したままエッジ以外を平滑化することが十分にできないことがあった。
【００１９】
本発明はこのような状況に鑑みてなされたものであり、特に、画像を構成する画素の急峻なエッジを保持したままで、当該エッジ以外の部分を平滑化する際、画素の連続性や相関性を損なうことなく、当該エッジ以外の部分を平滑化できるようにするものである。
【課題を解決するための手段】
【００２０】
本発明の第１の側面の信号処理装置は、連続的に配置されている信号のレベルを調整する信号処理装置であって、連続的に配置されている前記信号を、順次、注目信号に指定する指定手段と、前記指定手段によって指定された前記注目信号の近傍信号と、前記注目信号との差分絶対値に基づいて、第１の閾値を設定する設定手段と、前記指定手段によって指定された前記注目信号を基準として、第１の方向に連続的に配置されている前記信号のなかから複数の近傍信号を処理信号として抽出する処理信号抽出手段と、前記注目信号と各処理信号との差分である処理差分と、前記第１の閾値との比較結果に基づいて、前記注目信号と前記複数の処理信号を加重平均して平滑化信号を演算する演算手段と、前記処理差分と前記第１の閾値よりも小さな第２の閾値との比較結果に基づいて、前記平滑化信号と前記注目信号との第１の混合比を計算する第１の混合比計算手段と、前記第１の混合比計算手段により計算された前記第１の混合比に基づいて、前記平滑化信号、および、前記注目信号を混合し、第１の混合信号を生成する第１の混合手段と、前記指定手段によって指定された前記注目信号を基準として、第２の方向に連続的に配置されている前記信号のなかから複数の近傍信号を参照信号として抽出する参照信号抽出手段と、前記注目信号と各参照信号との差分である参照差分に基づいて、前記混合信号と前記注目信号との第２の混合比を計算する第２の混合比計算手段と、前記第２の混合比計算手段により計算された前記第２の混合比に基づいて、前記第１の混合信号、および、前記注目信号を混合し、第２の混合信号を生成する第２の混合手段とを含む。
【００２１】
前記信号は、画像を構成する画素の画素値とすることができる。
【００２２】
前記設定手段には、前記参照信号と前記注目信号との差分絶対値を算出する差分絶対値算出手段をさらに設けるようにさせることができ、前記参照信号と前記注目信号との差分絶対値のうち、最大となる差分絶対値に基づいて、第１の閾値を設定させるようにすることができる。
【００２３】
前記設定手段には、前記参照信号および前記注目信号のうち、最大となる参照信号または注目信号を抽出する最大信号抽出手段と、前記参照信号および前記注目信号のうち、最小となる参照信号または注目信号を抽出する最小信号抽出手段とをさらに設けるようにさせることができ、前記参照信号および前記注目信号のうち、最大となる参照信号または注目信号と、最小となる参照信号または注目信号との差分絶対値に基づいて、第１の閾値を設定させるようにすることができる。
【００２４】
前記設定手段には、前記注目信号の位置から見て前記第２の方向に対して順方向側に配置される前記参照信号と前記注目信号との差分絶対値を算出する順方向算出手段と、前記注目信号の位置から見て前記第２の方向に対して逆方向側に配置される前記参照信号と前記注目信号との差分絶対値を算出する逆方向算出手段とをさらに設けるようにさせることができ、前記順方向算出手段により算出された差分絶対値の最大値、または、前記逆方向算出手段により算出された差分絶対値の最大値のうち、いずれか小さい方の値に基づいて、第１の閾値を設定させるようにすることができる。
【００２５】
前記設定手段には、前記注目信号の位置から見て前記第２の方向に対して順方向側に配置される前記参照信号および前記注目信号のうちの最大値を抽出する順方向最大信号抽出手段と、前記注目信号の位置から見て前記第２の方向に対して順方向側に配置される前記参照信号および前記注目信号のうちの最小値を抽出する順方向最小信号抽出手段と、前記順方向最大信号抽出手段により抽出された最大値と、前記順方向最小信号抽出手段により抽出された最小値との差分絶対値を算出する順方向差分絶対値算出手段と、前記注目信号の位置から見て前記第２の方向に対して逆方向側に配置される前記参照信号および前記注目信号のうちの最大値を抽出する逆方向最大信号抽出手段と、前記注目信号の位置から見て前記第２の方向に対して逆方向側に配置される前記参照信号および前記注目信号のうちの最小値を抽出する逆方向最小信号抽出手段と、前記逆方向最大信号抽出手段により抽出された最大値と、前記逆方向最小信号抽出手段により抽出された最小値との差分絶対値を算出する逆方向差分絶対値算出手段とをさらに設けるようにさせることができ、前記順方向差分絶対値算出手段により算出された差分絶対値、または、前記逆方向差分絶対値算出手段により算出された差分絶対値のうち、いずれか小さい方の値に基づいて、第１の閾値を設定させるようにすることができる。
【００２６】
前記設定手段には、前記注目信号の位置から見て複数の方向別に設定されるブロック毎に、前記ブロック内の各画素と前記注目画素との差分絶対値を算出し、最大値を出力するブロック差分絶対値算出手段を設けるようにさせることができ、前記ブロック差分絶対値算出手段により算出された最大値のうち最小となる、前記ブロックの最大値に基づいて、第１の閾値を設定させるようにすることができる。
【００２７】
前記設定手段には、前記注目信号と、その近傍の各画素との差分絶対値を算出する近傍差分絶対値算出手段と、前記近傍差分絶対値算出手段により算出された各画素と前記注目画素との差分絶対値に基づいて、ヒストグラムを生成するヒストグラム生成手段とを設けるようにさせることができ、前記ヒストグラムにより頻度が最小となる差分絶対値に基づいて、第１の閾値を設定させるようにすることができる。
【００２８】
本発明の一側面の信号処理方法は、連続的に配置されている信号のレベルを調整する信号処理方法であって、連続的に配置されている前記信号を、順次、注目信号に指定する指定ステップと、前記指定ステップの処理によって指定された前記注目信号の近傍信号と、前記注目信号との差分絶対値に基づいて、第１の閾値を設定する設定ステップと、前記指定ステップの処理で指定された前記注目信号を基準として、第１の方向に連続的に配置されている前記信号のなかから複数の近傍信号を処理信号として抽出する処理信号抽出ステップと、前記注目信号と各処理信号との差分である処理差分と、前記第１の閾値との比較結果に基づいて、前記注目信号と前記複数の処理信号を加重平均して平滑化信号を演算する演算ステップと、前記処理差分と前記第１の閾値よりも小さな第２の閾値との比較結果に基づいて、前記平滑化信号と前記注目信号との第１の混合比を計算する第１の混合比計算ステップと、前記第１の混合比計算ステップの処理で計算された前記第１の混合比に基づいて、前記平滑化信号、および、前記注目信号を混合し、第１の混合信号を生成する第１の混合ステップと、前記指定ステップの処理で指定された前記注目信号を基準として、第２の方向に連続的に配置されている前記信号のなかから複数の近傍信号を参照信号として抽出する参照信号抽出ステップと、前記注目信号と各参照信号との差分である参照差分に基づいて、前記混合信号と前記注目信号との第２の混合比を計算する第２の混合比計算ステップと、前記第２の混合比計算ステップの処理で計算された前記第２の混合比に基づいて、前記第１の混合信号、および、前記注目信号を混合し、第２の混合信号を生成する第２の混合ステップとを含む。
【００２９】
本発明の一側面の記録媒体は、連続的に配置されている信号のレベルを調整するためのプログラムであって、連続的に配置されている前記信号を、順次、注目信号に指定する指定ステップと、前記指定ステップの処理によって指定された前記注目信号の近傍信号と、前記注目信号との差分絶対値に基づいて、第１の閾値を設定する設定ステップと、前記指定ステップの処理で指定された前記注目信号を基準として、第１の方向に連続的に配置されている前記信号のなかから複数の近傍信号を処理信号として抽出する処理信号抽出ステップと、前記注目信号と各処理信号との差分である処理差分と、前記第１の閾値との比較結果に基づいて、前記注目信号と前記複数の処理信号を加重平均して平滑化信号を演算する演算ステップと、前記処理差分と前記第１の閾値よりも小さな第２の閾値との比較結果に基づいて、前記平滑化信号と前記注目信号との第１の混合比を計算する第１の混合比計算ステップと、前記第１の混合比計算ステップの処理で計算された前記第１の混合比に基づいて、前記平滑化信号、および、前記注目信号を混合し、第１の混合信号を生成する第１の混合ステップと、前記指定ステップの処理で指定された前記注目信号を基準として、第２の方向に連続的に配置されている前記信号のなかから複数の近傍信号を参照信号として抽出する参照信号抽出ステップと、前記注目信号と各参照信号との差分である参照差分に基づいて、前記混合信号と前記注目信号との第２の混合比を計算する第２の混合比計算ステップと、前記第２の混合比計算ステップの処理で計算された前記第２の混合比に基づいて、前記第１の混合信号、および、前記注目信号を混合し、第２の混合信号を生成する第２の混合ステップとを含むコンピュータが読み取り可能なプログラムが記録されている。
【００３０】
本発明の一側面のプログラムは、連続的に配置されている信号のレベルを調整するためのプログラムであって、連続的に配置されている前記信号を、順次、注目信号に指定する指定ステップと、前記指定ステップの処理によって指定された前記注目信号の近傍信号と、前記注目信号との差分絶対値に基づいて、第１の閾値を設定する設定ステップと、前記指定ステップの処理で指定された前記注目信号を基準として、第１の方向に連続的に配置されている前記信号のなかから複数の近傍信号を処理信号として抽出する処理信号抽出ステップと、前記注目信号と各処理信号との差分である処理差分と、前記第１の閾値との比較結果に基づいて、前記注目信号と前記複数の処理信号を加重平均して平滑化信号を演算する演算ステップと、前記処理差分と前記第１の閾値よりも小さな第２の閾値との比較結果に基づいて、前記平滑化信号と前記注目信号との第１の混合比を計算する第１の混合比計算ステップと、前記第１の混合比計算ステップの処理で計算された前記第１の混合比に基づいて、前記平滑化信号、および、前記注目信号を混合し、第１の混合信号を生成する第１の混合ステップと、前記指定ステップの処理で指定された前記注目信号を基準として、第２の方向に連続的に配置されている前記信号のなかから複数の近傍信号を参照信号として抽出する参照信号抽出ステップと、前記注目信号と各参照信号との差分である参照差分に基づいて、前記混合信号と前記注目信号との第２の混合比を計算する第２の混合比計算ステップと、前記第２の混合比計算ステップの処理で計算された前記第２の混合比に基づいて、前記第１の混合信号、および、前記注目信号を混合し、第２の混合信号を生成する第２の混合ステップとを含む処理をコンピュータに実行させる。
【００３１】
本発明の第１の側面の信号処理装置および方法、並びにプログラムにおいては、連続的に配置されている信号のレベルが調整されるものであって、連続的に配置されている前記信号が、順次、注目信号に指定され、指定された前記注目信号の近傍信号と、前記注目信号との差分絶対値に基づいて、第１の閾値が設定され、指定された前記注目信号を基準として、第１の方向に連続的に配置されている前記信号のなかから複数の近傍信号が処理信号として抽出され、前記注目信号と各処理信号との差分である処理差分と、前記第１の閾値との比較結果に基づいて、前記注目信号と前記複数の処理信号が加重平均されて平滑化信号が演算され、前記処理差分と前記第１の閾値よりも小さな第２の閾値との比較結果に基づいて、前記平滑化信号と前記注目信号との第１の混合比が計算され、計算された前記第１の混合比に基づいて、前記平滑化信号、および、前記注目信号が混合され、第１の混合信号が生成され、指定された前記注目信号を基準として、第２の方向に連続的に配置されている前記信号のなかから複数の近傍信号が参照信号として抽出され、前記注目信号と各参照信号との差分である参照差分に基づいて、前記混合信号と前記注目信号との第２の混合比が計算され、計算された前記第２の混合比に基づいて、前記第１の混合信号、および、前記注目信号が混合され、第２の混合信号が生成される。
【００３２】
本発明の信号処理装置は、独立した装置であっても良いし、信号処理を行うブロックであっても良い。
【発明の効果】
【００３３】
本発明によれば、画像を構成する画素の急峻なエッジを保持したままで、エッジ以外の部分を平滑化する際、画素の連続性や相関性を損なうことなく、エッジ以外の部分を平滑化することが可能となる。
【発明を実施するための最良の形態】
【００３４】
以下に本発明の実施の形態を説明するが、本明細書に記載の発明と、発明の実施の形態との対応関係を例示すると、次のようになる。この記載は、本明細書に記載されている発明をサポートする実施の形態が本明細書に記載されていることを確認するためのものである。従って、発明の実施の形態中には記載されているが、発明に対応するものとして、ここには記載されていない実施の形態があったとしても、そのことは、その実施の形態が、その発明に対応するものではないことを意味するものではない。逆に、実施の形態が発明に対応するものとしてここに記載されていたとしても、そのことは、その実施の形態が、その発明以外の発明には対応しないものであることを意味するものでもない。
【００３５】
さらに、この記載は、本明細書に記載されている発明の全てを意味するものではない。換言すれば、この記載は、本明細書に記載されている発明であって、この出願では請求されていない発明の存在、すなわち、将来、分割出願されたり、補正により出現、追加される発明の存在を否定するものではない。
【００３６】
即ち、本発明の一側面の信号処理装置は、連続的に配置されている信号を、順次、注目信号に指定する指定手段（例えば、図３の水平方向平滑化処理部２２）と、指定手段によって指定された前記注目信号の近傍信号と、前記注目信号との差分絶対値に基づいて、第１の閾値を設定する設定手段（例えば、図３の閾値設定部３６）と、指定手段によって指定された注目信号を基準として、第１の方向に連続的に配置されている信号のなかから複数の近傍信号を処理信号として抽出する処理信号抽出手段（例えば、図３の水平処理方向成分画素抽出部３１）と、注目信号と各処理信号との差分である処理差分と、第１の閾値との比較結果に基づいて、注目信号と複数の処理信号を加重平均して平滑化信号を演算する演算手段（例えば、図５の非線形フィルタ５１）と、処理差分と第１の閾値よりも小さな第２の閾値との比較結果に基づいて、平滑化信号と注目信号との第１の混合比を計算する第１の混合比計算手段（例えば、図５の混合比検出部５３）と、第１の混合比計算手段により計算された第１の混合比に基づいて、平滑化信号、および、注目信号を混合し、第１の混合信号を生成する第１の混合手段（例えば、図５の混合部５２）と、指定手段によって指定された注目信号を基準として、第２の方向に連続的に配置されている信号のなかから複数の近傍信号を参照信号として抽出する参照信号抽出手段（例えば、図３の垂直参照方向成分画素抽出部３４）と、注目信号と各参照信号との差分である参照差分に基づいて、混合信号と注目信号との第２の混合比を計算する第２の混合比計算手段（例えば、図３のFlatレート計算部３５）と、第２の混合比計算手段により計算された第２の混合比に基づいて、第１の混合信号、および、注目信号を混合し、第２の混合信号を生成する第２の混合手段（例えば、図３の混合部３３）とを含むことを特徴とする。
【００３７】
前記設定手段には、前記参照信号と前記注目信号との差分絶対値を算出する差分絶対値算出手段（例えば、図６の差分絶対値算出部７１）をさらに設けるようにさせることができ、前記参照信号と前記注目信号との差分絶対値のうち、最大となる差分絶対値に基づいて、第１の閾値を設定させるようにすることができる。
【００３８】
前記設定手段には、前記参照信号および前記注目信号のうち、最大となる参照信号または注目信号を抽出する最大信号抽出手段（例えば、図２０の最大値抽出部８１）と、前記参照信号および前記注目信号のうち、最小となる参照信号または注目信号を抽出する最小信号抽出手段（例えば、図２０の最小値抽出部８２）とをさらに設けるようにさせることができ、前記参照信号および前記注目信号のうち、最大となる参照信号または注目信号と、最小となる参照信号または注目信号との差分絶対値に基づいて、第１の閾値を設定させるようにすることができる。
【００３９】
前記設定手段には、前記注目信号の位置から見て前記第２の方向に対して順方向側に配置される前記参照信号と前記注目信号との差分絶対値を算出する順方向算出手段（例えば、図２５の第１方向差分絶対値算出部１１１）と、前記注目信号の位置から見て前記第２の方向に対して逆方向側に配置される前記参照信号と前記注目信号との差分絶対値を算出する逆方向算出手段（例えば、図２５の第２方向差分絶対値算出部１１２）とをさらに設けるようにさせることができ、前記順方向算出手段により算出された差分絶対値の最大値、または、前記逆方向算出手段により算出された差分絶対値の最大値のうち、いずれか小さい方の値に基づいて、第１の閾値を設定させるようにすることができる。
【００４０】
前記設定手段には、前記注目信号の位置から見て前記第２の方向に対して順方向側に配置される前記参照信号および前記注目信号のうちの最大値を抽出する順方向最大信号抽出手段（例えば、図２２の最大値抽出部９１）と、前記注目信号の位置から見て前記第２の方向に対して順方向側に配置される前記参照信号および前記注目信号のうちの最小値を抽出する順方向最小信号抽出手段（例えば、図２２の最小値抽出部９２）と、前記順方向最大信号抽出手段により抽出された最大値と、前記順方向最小信号抽出手段により抽出された最小値との差分絶対値を算出する順方向差分絶対値算出手段（例えば、図２２の差分絶対値算出部９３）と、前記注目信号の位置から見て前記第２の方向に対して逆方向側に配置される前記参照信号および前記注目信号のうちの最大値を抽出する逆方向最大信号抽出手段（例えば、図２２の最大値抽出部９４）と、前記注目信号の位置から見て前記第２の方向に対して逆方向側に配置される前記参照信号および前記注目信号のうちの最小値を抽出する逆方向最小信号抽出手段（例えば、図２２の最小値抽出部９５）と、前記逆方向最大信号抽出手段により抽出された最大値と、前記逆方向最小信号抽出手段により抽出された最小値との差分絶対値を算出する逆方向差分絶対値算出手段（例えば、図２２の差分絶対値算出部９６）とをさらに設けるようにさせることができ、前記順方向差分絶対値算出手段により算出された差分絶対値、または、前記逆方向差分絶対値算出手段により算出された差分絶対値のうち、いずれか小さい方の値に基づいて、第１の閾値を設定させるようにすることができる。
【００４１】
前記設定手段には、前記注目信号の位置から見て複数の方向別に設定されるブロック毎に、前記ブロック内の各画素と前記注目画素との差分絶対値を算出し、最大値を出力するブロック差分絶対値算出手段（例えば、図２８のブロック差分絶対値算出部１３１−１乃至１３１−８）を設けるようにさせることができ、前記ブロック差分絶対値算出手段により算出された前記ブロックの最大値に基づいて、第１の閾値を設定させるようにすることができる。
【００４２】
前記設定手段には、前記注目信号と、その近傍の各画素との差分絶対値を算出する近傍差分絶対値算出手段（例えば、図３１の差分絶対値算出部１４１）と、前記近傍差分絶対値算出手段により算出された各画素と前記注目画素との差分絶対値に基づいて、ヒストグラムを生成するヒストグラム生成手段（例えば、図３１のヒストグラム生成部１４２）とを設けるようにさせることができ、前記ヒストグラムにより頻度が最小となる差分絶対値に基づいて、第１の閾値を設定させるようにすることができる。
【００４３】
本発明の一側面の信号処理方法およびプログラムは、連続的に配置されている信号を、順次、注目信号に指定する指定ステップ（例えば、図８のフローチャートのステップＳ１１の処理）と、指定ステップの処理によって指定された注目信号の近傍信号と、注目信号との差分絶対値に基づいて、第１の閾値を設定する設定ステップ（例えば、図８のフローチャートのステップＳ１４の処理）と、指定ステップの処理で指定された注目信号を基準として、第１の方向に連続的に配置されている信号のなかから複数の近傍信号を処理信号として抽出する処理信号抽出ステップ（例えば、図８のフローチャートのステップＳ１２の処理）と、注目信号と各処理信号との差分である処理差分と、第１の閾値との比較結果に基づいて、注目信号と複数の処理信号を加重平均して平滑化信号を演算する演算ステップ（例えば、図１１のフローチャートのステップＳ３２の処理）と、処理差分と第１の閾値よりも小さな第２の閾値との比較結果に基づいて、平滑化信号と注目信号との第１の混合比を計算する第１の混合比計算ステップ（例えば、図１１のフローチャートのステップＳ３３の処理）と、第１の混合比計算ステップの処理で計算された第１の混合比に基づいて、平滑化信号、および、注目信号を混合し、第１の混合信号を生成する第１の混合ステップ（例えば、図１１のフローチャートのステップＳ３６の処理）と、指定ステップの処理で指定された注目信号を基準として、第２の方向に連続的に配置されている信号のなかから複数の近傍信号を参照信号として抽出する参照信号抽出ステップ（例えば、図８のフローチャートのステップＳ１３の処理）と、注目信号と各参照信号との差分である参照差分に基づいて、混合信号と注目信号との第２の混合比を計算する第２の混合比計算ステップ（例えば、図８のフローチャートのステップＳ１７の処理）と、第２の混合比計算ステップの処理で計算された第２の混合比に基づいて、第１の混合信号、および、注目信号を混合し、第２の混合信号を生成する第２の混合ステップ（例えば、図８のフローチャートのステップＳ１８の処理）とを含むことを特徴とする。
【００４４】
図２は、本発明を適用した画像のエッジ部分を残しつつ、それ以外の領域のコントラストや鮮鋭度を強調し、さらに、処理方向に応じて生じる不自然な強調処理を抑制するようにした強調処理装置の一実施の形態の構成を示す図である。
【００４５】
バッファ２１は、入力されてくる画像信号を一時的に記憶し、後段の水平方向平滑化処理部２２に供給する。水平方向平滑化処理部２２は、注目画素に対して水平方向に配置される近傍の画素と注目画素を使用して、注目画素に対して水平方向に非線形平滑化処理を施し、バッファ２３に供給する。バッファ２３は、水平方向平滑化処理部２２より供給されてくる画像信号を一時的に記憶し、順次、垂直方向平滑化処理部２４に供給する。垂直方向平滑化処理部２４は、注目画素に対して垂直方向に配置される近傍の画素と注目画素を使用して、注目画素に対して非線形平滑化処理を施し、バッファ２５に供給する。バッファ２５は、垂直方向平滑化処理部２４より供給される、垂直方向に非線形平滑化された画素からなる画像信号を一時的に記憶し、後段の図示せぬ装置に出力する。
【００４６】
次に、図３を参照して、水平方向平滑化処理部２２の詳細な構成について説明する。
【００４７】
水平処理方向成分画素抽出部３１は、バッファ２１に記憶されている画像信号の各画素より注目画素を順次設定すると共に、注目画素に対応する、非線形平滑化処理に必要な画素を抽出し、非線形平滑化処理部３２に出力する。より具体的には、水平処理方向成分画素抽出部３１は、注目画素に対して、水平方向に左右に隣接するそれぞれ２画素を水平処理方向成分画素として抽出し、抽出した４画素と注目画素のそれぞれの画素値を非線形平滑化処理部３２に供給する。尚、抽出する水平処理方向成分画素の画素数は、注目画素に対して左右に隣接する２画素ずつに限るものではなく、水平方向に隣接している画素であればよく、例えば、注目画素の左右に隣接する３画素ずつであってもよいし、さらには、注目画素に対して左方向に隣接する１画素と、右方向に隣接する３画素とするようにしても良い。
【００４８】
非線形平滑化処理部３２は、水平処理方向成分画素抽出部３１より供給された注目画素とその左右のそれぞれに隣接する２画素である水平処理方向成分画素とを用いて、閾値設定部３６より供給される閾値ε2に基づいて、注目画素を非線形平滑化処理し、混合部３３に供給する。尚、非線形平滑化処理部３２の構成については、図５を参照して後述する。また、ここで、水平方向に非線形平滑化処理するとは、注目画素に対して水平方向に隣接する複数の画素により、注目画素を非線形平滑化する処理である。同様にして、後述する垂直方向に非線形平滑化処理するとは、注目画素に対して垂直方向に隣接する複数の画素により、注目画素を非線形平滑化する処理である。
【００４９】
垂直参照方向成分画素抽出部３４は、バッファ２１に記憶されている画像信号の各画素より注目画素を順次設定すると共に、注目画素に対応する、非線形平滑化処理に必要な画素が配置されている方向と異なる垂直方向に隣接する画素を抽出し、Flatレート計算部３５および閾値設定部３６に出力する。より具体的には、垂直参照方向成分画素抽出部３４は、注目画素に対して、垂直方向の上下に隣接する２画素を垂直参照方向成分画素として抽出し、抽出した４画素と注目画素のそれぞれの画素値をFlatレート計算部３５および閾値設定部３６に供給する。尚、抽出する垂直参照方向成分画素の画素数は、注目画素に対して上下に隣接する２画素ずつに限るものではなく、垂直方向に隣接している画素であればよく、例えば、注目画素の上下に隣接する３画素ずつであってもよいし、さらには、注目画素に対して上方向に隣接する１画素と、下方向に隣接する３画素とするようにしても良い。
【００５０】
Flatレート計算部３５は、垂直参照方向成分画素抽出部３４より供給されてくる注目画素と、垂直参照方向成分画素とのそれぞれの画素値の差分絶対値を求めて、その差分絶対値の最大値をFlatレートとして混合部３３に供給する。ここで、垂直方向のFlatレートは、注目画素と垂直参照方向成分画素との画素値の差分絶対値の変化を示したものであり、Flatレートが大きいとき、注目画素近傍の画素の画素値の変化が大きく、垂直方向に画素間の相関が小さい、平坦ではない画像（画素値の変化が大きいFlatではない画像）であることを示し、逆に、Flatレートが小さいとき、注目画素近傍の画素の画素値の変化が小さく、垂直方向に画素間の相関が大きい、平坦な画像（画素値の変化が小さいFlatな画像）であることを示している。
【００５１】
混合部３３は、Flatレート計算部３５より供給される垂直方向のFlatレートに基づいて、非線形平滑化処理された注目画素と、未処理の注目画素の画素値を混合し、水平方向平滑化処理された画素として後段のバッファ２３に出力する。
【００５２】
閾値設定部３６は、注目画素に対応する、非線形平滑化処理に必要な画素が配置されている方向と異なる垂直方向に隣接する画素を用いて、非線形平滑化処理部３２における非線形平滑化処理に必要な閾値ε2を設定して非線形平滑化処理部３２に供給する。尚、閾値設定部３６の構成については、図６を参照して詳細を後述する。
【００５３】
次に、図４を参照して、垂直方向平滑化処理部２４の詳細な構成について説明する。
【００５４】
垂直方向平滑化処理部２４は、基本的に上述した水平方向平滑化処理部２２の構成における水平方向の処理と垂直方向の処理を入れ替えたものである。すなわち、垂直処理方向成分画素抽出部４１は、バッファ２３に記憶されている画像信号の各画素より注目画素を順次設定すると共に、注目画素に対応する、非線形平滑化処理に必要な画素を抽出し、非線形平滑化処理部４２に出力する。より具体的には、垂直処理方向成分画素抽出部４１は、注目画素に対して、垂直方向に上下に隣接するそれぞれ２画素からなる垂直処理方向成分画素を抽出し、抽出した４画素と注目画素のそれぞれの画素値を非線形平滑化処理部４２に供給する。尚、抽出する垂直処理方向成分画素の画素数は、注目画素に対して上下に隣接する２画素ずつに限るものではなく、垂直方向に隣接している画素であればよく、例えば、注目画素の上下に隣接する３画素ずつであってもよいし、さらには、注目画素に対して上方向に隣接する１画素と、下方向に隣接する３画素とするようにしても良い。
【００５５】
非線形平滑化処理部４２は、垂直処理方向成分画素抽出部４１より供給された注目画素とその上下のそれぞれに隣接する２画素である垂直処理方向成分画素とを用いて、閾値設定部４６より供給される閾値ε2に基づいて、注目画素を垂直方向に非線形平滑化処理し、混合部４３に供給する。非線形平滑化処理部４２の構成は、非線形平滑化処理部３２と同様の構成であり、その詳細については、図５を参照して後述する。
【００５６】
水平参照方向成分画素抽出部４４は、バッファ２３に記憶されている画像信号の各画素より注目画素を順次設定すると共に、注目画素に対応する、非線形平滑化処理に必要な画素が配置されている方向と異なる水平方向に隣接する画素を抽出し、Flatレート計算部４５および閾値設定部４６に出力する。より具体的には、水平参照方向成分画素抽出部４４は、注目画素に対して、水平方向の左右に隣接する２画素ずつを抽出し、抽出した４画素と注目画素のそれぞれの画素値をFlatレート計算部４５および閾値設定部４６に供給する。尚、抽出する画素数は、注目画素に対して水平に隣接する２画素ずつに限るものではなく、水平方向に隣接している画素であればよく、例えば、注目画素の水平に隣接する３画素ずつであってもよいし、さらには、注目画素に対して左方向に隣接する１画素と、右方向に隣接する３画素とするようにしても良い。
【００５７】
Flatレート計算部４５は、水平参照方向成分画素抽出部４４より供給されてくる注目画素と、注目画素に対して左右のそれぞれに隣接する２画素のそれぞれの画素値の差分絶対値を求めて、その差分絶対値の最大値をFlatレートとして混合部４３に供給する。
【００５８】
混合部４３は、Flatレート計算部４５より供給される水平方向のFlatレートに基づいて、非線形平滑化処理された注目画素と、未処理の注目画素の画素値を混合し、水平方向平滑化処理された画素として後段のバッファ２５に出力する。
【００５９】
閾値設定部４６は、注目画素に対応する、非線形平滑化処理に必要な画素が配置されている方向と異なる水平方向に隣接する画素を用いて、非線形平滑化処理部３２における非線形平滑化処理に必要な閾値ε2を設定して非線形平滑化処理部４２に供給する。尚、閾値設定部４６の構成については、閾値設定部３６と同様であり、その詳細については、図６を参照して詳細を後述する。
【００６０】
次に、図５を参照して、非線形平滑化処理部３２の詳細な構成について説明する。
【００６１】
この非線形平滑化処理部３２の非線形フィルタ５１は、入力される画像信号ＳIを構成する画素の変動のうち、そのサイズが閾値設定部３６より供給されてくる閾値ε2よりも大きい急峻なエッジを保持すると共に、エッジ以外の部分を平滑化し、平滑化した画像信号SLPF-Hを混合部５２に出力する。
【００６２】
混合比検出部５３は、閾値設定部３６より供給されてくる閾値ε2よりも十分に小さい閾値ε3を求め、この閾値ε3に基づいて、入力される画像信号ＳIを構成する画素の変動の中の微小な変化を検出し、検出結果を用いて、混合比を計算し、混合部５２に供給する。
【００６３】
混合部５２は、平滑化処理された画像信号SLPF-Hと平滑化されていない入力された画像信号SIを、混合比検出部５３より供給される混合比に基づいて、混合し、非線形平滑化された画像信号SF-Hとして出力する。
【００６４】
非線形フィルタ５１のLPF（Low Pass Filter）６１は、制御信号発生部６２より供給される制御信号および閾値設定部３６より供給されてくる閾値ε2に基づいて、注目画素と、その水平方向の左右に隣接する２画素である水平処理方向成分画素との画素値を用いて、注目画素を平滑化して、平滑化された画像信号SLPF-Hを混合部５２に出力する。制御信号発生部６２は、注目画素と、水平処理方向成分画素との画素値の差分絶対値を算出し、その算出結果に基づいてLPF６１を制御する制御信号を発生し、LPF６１に供給する。尚、非線形フィルタ５１としては、例えば、上述した従来のεフィルタを用いるようにしてもよい。
【００６５】
次に、図６を参照して、閾値設定部３６の構成について説明する。
【００６６】
差分絶対値算出部７１は、注目画素と、非線形平滑化処理に必要な画素が配置されている方向と異なる垂直方向に隣接する各画素との差分絶対値を求めて、閾値決定部７２に供給する。閾値決定部７２は、差分絶対値算出部７１より供給されてくる差分絶対値のうち、最大となるものに所定のマージンを加算した値を閾値ε2として決定し、非線形平滑化処理部３２に供給する。尚、閾値設定部４６については、閾値設定部３６と同様の構成となるため、図示を省略するものとするが、閾値設定部４６においては、差分絶対値算出部７１は、注目画素と、非線形平滑化処理に必要な画素が配置されている方向と異なる水平方向に隣接する各画素との差分絶対値を求めて閾値決定部７２に供給することになる。
【００６７】
次に、図７のフローチャートを参照して、図２の強調処理装置１１による画像強調処理について説明する。
【００６８】
ステップＳ１において、水平方向平滑化処理部２２は、バッファ２１に、順次記憶されていく画像信号を用いて、水平方向平滑化処理を実行する。
【００６９】
ここで、図８のフローチャートを参照して、水平方向平滑化処理部２２による水平方向平滑化処理について説明する。
【００７０】
ステップＳ１１において、水平方向平滑化処理部２２の水平処理方向成分画素抽出部３１は、ラスタスキャン順に注目画素を設定する。同時に、垂直参照方向成分画素抽出部３４も、同様にラスタスキャン順に注目画素を設定する。尚、注目画素の設定順序は、ラスタスキャン順以外の順序であってもよいが、水平処理方向成分画素抽出部３１により設定される注目画素と、垂直参照方向成分画素抽出部３４により設定される注目画素とが同一となるように設定される必要がある。
【００７１】
ステップＳ１２において、水平処理方向成分画素抽出部３１は、注目画素と共に、注目画素に対して水平方向（左右方向）に２画素ずつ隣接する近傍画素である水平処理方向成分画素からなる合計５画素の画素値をバッファ２１より抽出して非線形平滑化処理部３２に出力する。例えば、図９で示されるような場合、画素Ｌ２，Ｌ１，Ｃ，Ｒ１，Ｒ２が、注目画素および水平処理方向成分画素として抽出される。尚、図９においては、画素Ｃは、注目画素であり、画素Ｌ２，Ｌ１が、注目画素Ｃの左側に隣接する２画素の水平処理方向成分画素であり、画素Ｒ１，Ｒ２が注目画素Ｃの右側に隣接する２画素の水平処理方向成分画素である。
【００７２】
ステップＳ１３において、垂直参照方向成分画素抽出部３４は、注目画素と共に、注目画素に対して垂直方向（上下方向）に２画素ずつ隣接する近傍画素である垂直参照方向成分画素からなる合計５画素の画素値をバッファ２１より抽出してFlatレート計算部３５および閾値設定部３６に出力する。例えば、図９で示されるような場合、画素U２，U１，Ｃ，D１，D２が、注目画素および垂直参照方向成分画素として抽出される。尚、図９においては、画素Ｃは、注目画素であり、画素U２，U１が、注目画素Ｃの上側に隣接する２画素の垂直参照方向成分画素であり、画素D１，D２が注目画素Ｃの下側に隣接する２画素の垂直参照方向成分画素である。
【００７３】
ステップＳ１４において、閾値設定部３６は、閾値設定処理を実行する。
【００７４】
ここで、図１０のフローチャートを参照して、閾値設定処理について説明する。
【００７５】
ステップＳ２１において、差分絶対値算出部７１は、注目画素と、垂直参照方向画素との画素値の差分絶対値を求めて、閾値決定部７２に供給する。例えば、図９の場合、注目画素は、画素Ｃであり、垂直参照方向画素は、画素U２，U１，Ｄ１，Ｄ２であるので、差分絶対値算出部７１は、｜Ｃ−Ｕ２｜，｜Ｃ−Ｕ１｜，｜Ｃ−Ｄ２｜，｜Ｃ−Ｕ１｜を算出し、閾値決定部７２に供給する。
【００７６】
ステップＳ２２において、閾値決定部７２は、差分絶対値算出部７１より供給されてくる差分絶対値のうち、最大値となる差分絶対値を閾値ε2に決定し、非線形平滑化処理部３２に供給する。したがって、図９の場合、閾値決定部７２は、｜Ｃ−Ｕ２｜，｜Ｃ−Ｕ１｜，｜Ｃ−Ｄ２｜，｜Ｃ−Ｕ１｜の最大値を検索し、その最大値に所定のマージンを加算して閾値ε2として設定する。ここで、マージンを加算するとは、例えば、１０％のマージンを加算する場合、差分絶対値の最大値×1.1を閾値ε2として設定することである。
【００７７】
ここで、図８のフローチャートの説明に戻る。
【００７８】
ステップＳ１４において、閾値設定処理が終了すると、ステップＳ１５において、非線形平滑化処理部３２は、水平処理方向成分画素抽出部３１より供給された注目画素と水平処理方向成分画素に基づいて、注目画素に非線形平滑化処理を施す。
【００７９】
ここで、図１１のフローチャートを参照して、非線形平滑化処理部３２による非線形平滑化処理について説明する。
【００８０】
ステップＳ３１において、非線形フィルタ５１の制御信号発生部６２は、注目画素と、水平処理方向成分画素との画素値の差分絶対値を計算する。すなわち、図９の場合、制御信号発生部６２は、注目画素Ｃと、水平方向に隣接する各近傍画素である水平処理方向成分画素Ｌ２，Ｌ１，Ｒ１，Ｒ２との画素値の差分絶対値｜Ｃ−Ｌ２｜，｜Ｃ−Ｌ１｜，｜Ｃ−Ｒ１｜，｜Ｃ−Ｒ２｜を計算する。
【００８１】
ステップＳ３２において、ローパスフィルタ６１は、制御信号発生部６２により計算された各差分絶対値と閾値設定部３６により設定された閾値ε2と比較して、この比較結果に対応して、入力される画像信号ＳIに非線形フィルタリング処理を施す。より具体的には、ローパスフィルタ６１は、例えば、式（１）のように、注目画素Ｃおよび水平処理方向成分画素の画素値を、タップ係数を用いて加重平均して、注目画素Ｃに対応する変換結果Ｃ’を平滑化された画像信号SLPF-Hとして混合部５２に出力する。ただし、注目画素Ｃの画素値との差分絶対値が、所定の閾値ε2よりも大きい水平処理方向成分画素については、画素値を注目画素Ｃの画素値と置換して加重平均するようにする（例えば、式（２）で示されるように演算する）。
【００８２】
ステップＳ３３において、混合比検出部５３は、微小エッジ判定処理を実行し、微小なエッジが存在するか否かを判定する。
【００８３】
ここで、図１２のフローチャートを参照して、微小エッジ判定処理について説明する。
【００８４】
ステップＳ４１において、混合比検出部５３は、それぞれ閾値設定部６１より供給されてきた閾値ε2に基づいて、微小なエッジの有無を検出するために必要とされる閾値ε3を求める。より具体的には、閾値ε3は、閾値ε2に対して十分に小さな値であることが条件（ε3≪ε2）であるので、例えば、閾値ε2に対して、十分に小さい係数を乗じることにより得られた値を閾値ε3として設定する。
ステップＳ４２において、混合比検出部５３は、注目画素と、各水平処理方向成分画素との画素値の差分絶対値を算出し、各差分絶対値が全て、閾値ε3（≪ε2）よりも小さいか否かを判定し、その判定結果に基づいて、微小なエッジが存在するか否かを判定する。
【００８５】
すなわち、例えば、図９で示したように、混合比検出部５３は、注目画素Ｃと、水平方向に隣接する各水平処理方向成分画素Ｌ２，Ｌ１，Ｒ１，Ｒ２との画素値の差分絶対値を算出し、各差分絶対値が全て、閾値ε3よりも小さいか否かを判定し、各差分絶対値が全て閾値ε3よりも小さいと判定した場合、近傍画素と注目画素との画素値に変化がないものとみなし、ステップＳ４４に進み、注目画素の近傍には、微小なエッジが存在しないものと判定する。
【００８６】
一方、ステップＳ４２において、算出された差分絶対値のうち、１つでも閾値ε3以上のものがあると判定された場合、ステップＳ４３に進み、混合比検出部５３は、注目画素の左右の一方側の水平処理方向成分画素と注目画素との差分絶対値が全て閾値ε3よりも小さく、かつ、注目画素の左右の他方側の水平処理方向成分画素と注目画素との差分絶対値が全て閾値ε3以上であって、かつ、注目画素の左右の他方側の水平処理方向成分画素と注目画素との各差分の正負が一致しているか否かを判定する。
【００８７】
すなわち、注目画素Ｃの左右の一方側の水平処理方向成分画素が、例えば、図９の画素Ｌ２，Ｌ１であり、注目画素Ｃの左右の他方側の水平処理方向成分画素が、図９の画素Ｒ２，Ｒ１である場合、混合比検出部５３は、注目画素Ｃの左右の一方側の水平処理方向成分画素と注目画素Ｃとの差分絶対値が全て閾値ε3よりも小さく、かつ、注目画素Ｃの左右の他方側の水平処理方向成分画素Ｒ１，Ｒ２と注目画素Ｃとの差分絶対値が全て閾値ε3以上であって、かつ、注目画素Ｃの左右の他方側の水平処理方向成分画素Ｒ１，Ｒ２と注目画素Ｃとの各差の正負が一致しているか否かを判定する。
【００８８】
例えば、上記の条件が満たされていると判定された場合、ステップＳ４４において、混合比検出部５３は、注目画素の近傍に、微小なエッジが存在すると判定する。
【００８９】
一方、ステップＳ４３において、上記条件を満たしていないと判定された場合、ステップＳ４５において、混合比検出部５３は、注目画素の近傍には、微小なエッジが存在しないと判定する。
【００９０】
例えば、注目画素Ｃと水平処理方向成分画素Ｌ２，Ｌ１，Ｒ１，Ｒ２の関係が図１３に示すような場合、注目画素Ｃと左側の水平処理方向成分画素Ｌ２，Ｌ１の差分絶対値｜Ｌ２−Ｃ｜，｜Ｌ１−Ｃ｜が閾値ε3よりも小さく、かつ、注目画素Ｃと右側の水平処理方向成分画素Ｒ１，Ｒ２の差分絶対値｜Ｒ１−Ｃ｜，｜Ｒ２−Ｃ｜が閾値ε3以上であり、かつ、注目画素Ｃと右側の水平処理方向成分画素Ｒ１，Ｒ２の差（Ｒ１−Ｃ），（Ｒ２−Ｃ）の符号が一致する（いまの場合、ともに正）ので、注目画素Ｃの近傍に微小なエッジが存在すると判定される。
【００９１】
また、例えば、注目画素Ｃと水平処理方向成分画素Ｌ２，Ｌ１，Ｒ１，Ｒ２の関係が図１４に示すような場合、注目画素Ｃと左側の水平処理方向成分画素Ｌ２，Ｌ１の差分絶対値｜Ｌ２−Ｃ｜，｜Ｌ１−Ｃ｜が閾値ε3よりも小さく、かつ、注目画素Ｃと右側の水平処理方向成分画素Ｒ１，Ｒ２の差分絶対値｜Ｒ１−Ｃ｜，｜Ｒ２−Ｃ｜が閾値ε3以上ではあるが、かつ、注目画素Ｃと右側の水平処理方向成分画素Ｒ１，Ｒ２の差（Ｒ１−Ｃ），（Ｒ２−Ｃ）の符号が一致しない（いまの場合、それぞれ正、負）ので、注目画素Ｃの近傍に微小なエッジが存在しないと判定される。
【００９２】
さらに、例えば、注目画素Ｃと水平処理方向成分画素Ｌ２，Ｌ１，Ｒ１，Ｒ２の関係が図１５に示すような場合、注目画素Ｃの左右いずれの側も、注目画素Ｃと水平処理方向成分画素の差分絶対値が全て閾値ε3よりも小さいわけではないので、注目画素Ｃの近傍に微小なエッジが存在しないと判定される。
【００９３】
このようにして、注目画素の近傍に微小なエッジが存在するか否かが判定された後、処理は図１１のステップＳ３４に戻る。
【００９４】
ステップＳ３３の処理が終了すると、ステップＳ３４において、混合比検出部５３は、ステップＳ３３における微小エッジ判定処理による判定結果が、「注目画素Ｃの近傍に微小なエッジが存在する」であるか否かを判定する。例えば、微小エッジ判定処理による判定結果が、「注目画素Ｃの近傍に微小なエッジが存在する」である場合、ステップＳ３５において、混合比検出部５３は、水平方向に非線形フィルタリング処理された画像信号SLPF-Hと入力された画像信号SIの混合比であるMixレートMr-Hを最大MixレートMr-H maxとして混合部５２に出力する。尚、最大MixレートMr-H maxは、MixレートMr-Hの最大値、すなわち、画素値のダイナミックレンジの最大値と最小値の差分絶対値である。
【００９５】
ステップＳ３６において、混合部５２は、混合比検出部５３より供給されるMixレートMr-Hに基づいて、入力される画像信号SIと非線形フィルタ５１により非線形平滑化処理された画像信号SLPF-Hとを混合し、非線形平滑化された画像信号SF-Hとしてバッファ２３に出力する。より詳細には、混合部５２は、以下の式（３）を演算して、入力される画像信号SIと非線形フィルタにより非線形平滑化された画像信号SLPF-Hとを混合する。
【００９６】
ＳF-H＝SI×Mr-H／Mr-H max＋SLPF-H×（１−Mr-H／Mr-H max）
・・・（３）
ここで、Mr-Hは、Mixレートであり、Mr-H maxは、MixレートMr-Hの最大値、すなわち、画素値の最大値と最小値の差分絶対値である。
【００９７】
式（３）で示されるように、MixレートMr-Hが大きければ、非線形フィルタ５１により処理された画像信号SLPF-Hの重みが小さくなり、入力された処理されていない画像信号SIの重みが大きくなる。逆に、MixレートMr-Hが小さければ、すなわち、水平方向に隣接する画素間の画素値の差分絶対値が小さいほど、非線形フィルタにより処理された画像信号SLPF-Hの重みが大きくなり、入力された処理されていない画像信号の重みが小さくなる。
【００９８】
従って、微小エッジが検出された場合、MixレートMr-Hは最大MixレートMr-H maxとなるので、実質的に入力された画像信号SIが、そのまま出力されることになる。
【００９９】
一方、ステップＳ３４において、「微小エッジが存在しない」と判定された場合、ステップＳ３７において、混合比検出部５３は、注目画素と、各水平処理方向成分画素との画素値の差分絶対値をそれぞれ計算し、計算した各差分絶対値のうちの最大値を混合比である、MixレートMr-Hとして求め、混合部５２に出力し、その処理は、ステップＳ３６に進む。
【０１００】
すなわち、図９の場合、混合比検出部５３は、注目画素Ｃと、各水平処理方向成分画素Ｌ２，Ｌ１，Ｒ１，Ｒ２との画素値の差分絶対値｜Ｃ−Ｌ２｜，｜Ｃ−Ｌ１｜，｜Ｃ−Ｒ１｜，｜Ｃ−Ｒ２｜を計算し、計算した各差分絶対値のうちの最大値を混合比であるMixレートMr-Hとして求め、混合部５２に出力する。
【０１０１】
すなわち、微小エッジが存在しない場合、注目画素と各水平処理方向成分画素との画素値の差分絶対値の最大値に応じて、非線形フィルタリング処理された画像信号SLPF-Hと、入力された画像信号SIとが混合されて、非線形平滑化処理された画像信号SF-Hが生成され、微小エッジが存在した場合、入力された画像信号SIがそのまま出力される。
【０１０２】
結果として、非線形平滑化処理部３２においては、閾値ε3を基準として微小エッジが検出されることになるので、微小エッジが存在する部分については、非線形平滑化処理が施されないようにすると共に、エッジが存在しない部分についても、その差分絶対値の大きさに応じて非線形平滑化処理が施された画素値と、入力された画像信号とを混合するようにしたので、特に、微小なエッジで構成された単純なパターン画像等で著しく画質の劣化が生じてしまうという事態を抑止することが可能になる。
【０１０３】
ここで、図８のフローチャートの説明に戻る。
【０１０４】
ステップＳ１６において、Flatレート計算部３５は、注目画素と、注目画素に対して垂直方向に隣接する各垂直参照方向成分画素との画素値の差分絶対値をそれぞれ計算する。すなわち、図９の場合、Flatレート計算部３５は、注目画素Ｃと、垂直方向に隣接する各垂直参照方向成分画素U２，U１，D１，D２との画素値の差分絶対値｜Ｃ−U２｜，｜Ｃ−U１｜，｜Ｃ−D１｜，｜Ｃ−D２｜を計算する。
【０１０５】
ステップＳ１７において、Flatレート計算部３５は、注目画素と、注目画素に対して垂直方向に隣接する各垂直参照方向成分画素との差分絶対値のうち、最大値となる差分絶対値を求めて、これをFlatレートFr-Vとして混合部３３に供給する。
【０１０６】
ステップＳ１８において、混合部３３は、Flatレート計算部３５より供給されるFlatレートFr-Vに基づいて、入力される画像信号SIと非線形平滑化処理部３２により非線形平滑化処理された画像信号SF-Hとを混合し、水平処理平滑化処理された画像信号SNL-Hとしてバッファ２３に出力する。より詳細には、混合部３３は、以下の式（４）を演算して、入力される画像信号SIと非線形平滑化処理部３２により非線形平滑化処理された画像信号SF-Hとを混合する。
【０１０７】
ＳNL-H＝SF-H×Fr-V／Fr-H max＋SI×（１−Fr-V／Fr-V max）
・・・（４）
ここで、Fr-Vは、垂直方向のFlatレートであり、Fr-V maxは、垂直方向のFlatレートFr-Vの最大値、すなわち、画素値のダイナミックレンジの最大値と最小値の差分絶対値である。FlatレートFr-Vは、垂直参照方向成分画素と注目画素との差分絶対値の最大値であるので、その値が小さいほど、注目画素と、注目画素に垂直方向に隣接する垂直参照方向成分画素の領域では、画素値の変化が小さく、視覚的にも色の変化が小さいため、見た目に平坦な状態（Flatな状態）であると言える。逆に、FlatレートFr-Vが大きいと言うことは、注目画素と、注目画素に垂直方向に隣接する垂直参照方向成分画素の領域では、画素間の変化が大きく、見た目にも平坦ではない状態（Flatではない状態）であることが示される。
【０１０８】
このため、式（４）で示されるように、FlatレートFr-Vが大きければ、非線形平滑化処理部３２により非線形平滑化処理された画像信号SF-Hの重みが増し、入力された処理されていない画像信号SIの重みが小さくなる。逆に、FlatレートFr-Vが小さければ、すなわち、垂直方向の画素間の画素値の差分絶対値が小さいほど、非線形平滑化処理部３２により非線形平滑化処理された画像信号SF-Hの重みが小さくなり、入力された処理されていない画像信号SIの重みが大きくなる。
【０１０９】
ステップＳ１８において、水平処理方向成分画素抽出部３１は、全ての画素を注目画素として処理したか、すなわち、未処理の画素が存在するか否かを判定し、例えば、全ての画素を注目画素として処理していない、すなわち、未処理画素が存在すると判定した場合、その処理は、ステップＳ１１に戻る。そして、ステップＳ１８において、全ての画素が注目画素として処理された、すなわち、未処理画素が存在しないと判定された場合、その処理は、終了し、図７のステップＳ１の処理が終了する。尚、垂直参照方向成分画素抽出部３４も、同様に、全ての画素を注目画素として処理したか、すなわち、未処理の画素が存在するか否かを判定し、いずれにおいても、未処理画素が存在しないと判定された場合にのみ、その処理を終了させるようにしても良い。
【０１１０】
結果として、注目画素に対して垂直方向に隣接する垂直参照方向成分画素との画素値の差分絶対値より求められる垂直方向のFlatレートFr-Vに応じて、水平方向に非線形平滑化処理された画像信号SF-Hと、入力された画像信号SIとが混合されることにより、垂直方向に相関が強い、すなわち、垂直方向のFlatレートFr-Vが小さく、垂直方向の相関が強い場合、入力された画像信号SIの重みを大きくし、逆に、垂直方向のFlatレートFr-Vが大きく、垂直方向の相関が弱い場合、水平方向に非線形フィルタリング処理された画像信号SF-Hの重みを大きくすることにより、エッジを意識しつつ、処理方向に応じた（非線形平滑化処理に使用する近傍画素が、注目画素に対して水平方向に隣接する画素であるか、または、垂直方向に隣接する画素であるかに応じた）不自然な処理を抑制することが可能となる。
【０１１１】
尚、以上においては、混合に際しては、FlatレートFr-Vをそのまま重み係数として画素値に乗じる例について説明してきたが、その他のFlatレートに応じた重み係数を非線形フィルタリング処理された画像信号SF-Hと入力された画像信号SIのそれぞれに乗じて混合するようにしても良い。すなわち、例えば、図１６で示されるように、FlatレートFr-Vに応じて設定される重み係数W1，W2を用いて、以下の式（５）を用いて混合するようにしても良い。
【０１１２】
ＳNL-H＝SI×W1＋SF-H×W2
・・・（５）
【０１１３】
ここで、W2は水平方向に非線形フィルタリング処理された画像信号SF-Hの重み係数であり、W1は入力された画像信号SIの重み係数である。また、（W1＋W2）は、重み係数の最大値Wmax（＝１）である。
【０１１４】
すなわち、図１６においては、FlatレートFr-HがFr1より小さい範囲（Fr-V＜Fr1）では、重み係数W1は、重み係数の最大値Wmaxであり、重み係数W2は0である。FlatレートFr-VがFr1より以上で、かつ、Fr2以下の範囲（Fr1≦Fr-V≦Fr2）では、重み係数W1は、FlatレートFr-Vに比例して減少し、重み係数W2は、FlatレートFr-Vに比例して増大して、かつ、（W1＋W2）は、重み係数の最大値Wmax（＝１）となるように設定されている。さらに、FlatレートFr-VがFr2より大きい範囲（Fr2≦Fr-V）では、重み係数W1は０であり、重み係数W2は重み係数の最大値Wmaxである。
【０１１５】
結果として、エッジの有無を正確に意識して、画像を非線形平滑化することが可能となる。尚、Fr1＝Fr2となる場合、FlatレートFr-Vが、Fr1（＝Fr2）であるときを閾値として、出力される画像信号が、入力された画像信号SIか、または、非線形平滑化処理された画像信号SF-Hのいずれかが、切替えられて出力されることになる。
【０１１６】
また、上述した図８のフローチャートにおけるステップＳ１４の処理である、閾値設定処理により、例えば、図１７の上部で示されるような矩形波があり、注目画素が図中のバツ印であった場合、図１７の下部で示されるように、垂直参照方向画素の波形に基づいて、閾値ε2の大きさを設定することにより、図１８の上部で示されるように閾値を設定することが可能となるため、図１７の上部で示されるように矩形波の画素値の変化よりも大きいことにより、図１の中段で示されるような波形に変化してしまうといった問題を解消し、図１８の下部で示されるよに、矩形波を維持しつつ、振幅成分のみを平滑化することが可能となる。
【０１１７】
ここで、図７のフローチャートに戻る。
【０１１８】
以上のように、ステップＳ１において、水平方向平滑化処理部２２は、水平方向平滑化処理により生成された画像信号ＳNL-Hをバッファ２３に順次記憶させる。
【０１１９】
ステップＳ２において、垂直方向平滑化処理部２４は、バッファ２３に、順次記憶されている、水平方向平滑化処理されている画像信号ＳNL-Hを用いて、垂直方向平滑化処理を実行する。ここで、図１９のフローチャートを参照して、垂直方向平滑化処理について説明する。尚、垂直方向平滑化処理は、水平方向平滑化処理における処理の水平方向の処理と、垂直方向の処理とを入れ替えた処理であり、処理内容そのものは同様のものである。また、閾値設定処理についても、注目画素に対して垂直方向に隣接する画素から水平方向に隣接する画素と、注目画素とを用いる以外の点については、同様の処理であるので、その説明は省略する。
【０１２０】
すなわち、ステップＳ５１において、垂直方向平滑化処理部２４の垂直処理方向成分画素抽出部４１は、ラスタスキャン順に注目画素を設定する。同時に、水平参照方向成分画素抽出部４４も、同様にラスタスキャン順に注目画素を設定する。尚、注目画素の設定順序は、ラスタスキャン順以外の順序であってもよいが、垂直処理方向成分画素抽出部４１により設定される注目画素と、水平参照方向成分画素抽出部４４により設定される注目画素とが同一となるように設定される必要がある。
【０１２１】
ステップＳ５２において、垂直処理方向成分画素抽出部４１は、注目画素と共に、注目画素に対して垂直方向（上下方向）に２画素ずつ隣接する近傍画素である水平参照方向成分画素からなる合計５画素の画素値をバッファ２３より抽出して非線形平滑化処理部４２に出力する。例えば、図９で示されるような場合、画素Ｕ２，Ｕ１，Ｃ，Ｄ１，Ｄ２が、注目画素および水平参照方向成分画素として抽出される。
【０１２２】
ステップＳ５３において、水平参照方向成分画素抽出部４４は、注目画素と共に、注目画素に対して水平方向（左右方向）に２画素ずつ隣接する近傍画素である水平参照方向成分画素からなる合計５画素の画素値をバッファ２３より抽出してFlatレート計算部４５に出力する。例えば、図９で示されるような場合、画素Ｌ２，Ｌ１，Ｃ，Ｒ１，Ｒ２が、注目画素および水平参照方向成分画素として抽出される。
【０１２３】
ステップＳ５４において、閾値設定部４６は、閾値設定処理を実行する。
【０１２４】
ステップＳ５５において、非線形平滑化処理部４２は、垂直処理方向成分画素抽出部４１より供給された注目画素と垂直処理方向成分画素に基づいて、注目画素に非線形平滑化処理を施す。尚、ステップＳ５５における非線形平滑化処理については、図８のステップＳ１５における非線形平滑化処理と、水平方向と垂直方向の関係が入れ替わるのみで、その他の処理については同様であるので、その説明は省略するものとする。従って、この処理により、非線形平滑化処理部４２は、垂直方向に非線形平滑化処理された画像信号ＳF-Vを混合部４３に出力する。
【０１２５】
ステップＳ５６において、Flatレート計算部４５は、注目画素と、注目画素に対して水平方向に隣接する各水平参照方向成分画素との画素値の差分絶対値をそれぞれ計算する。すなわち、図９の場合、Flatレート計算部４５は、注目画素Ｃと、水平方向に隣接する各水平参照方向成分画素Ｌ２，Ｌ１，Ｒ１，Ｒ２との画素値の差分絶対値｜Ｃ−Ｌ２｜，｜Ｃ−Ｌ１｜，｜Ｃ−Ｒ１｜，｜Ｃ−Ｒ２｜を計算する。
【０１２６】
ステップＳ５７において、Flatレート計算部４５は、注目画素と、注目画素に対して水平方向に隣接する各水平参照方向成分画素との差分絶対値のうち、最大値となる差分絶対値を求めて、これをFlatレートFr-Hとして混合部４３に供給する。
【０１２７】
ステップＳ５８において、混合部４３は、Flatレート計算部４５より供給されるFlatレートFr-Hに基づいて、入力される水平方向平滑化処理部２２により水平方向非線形平滑化処理された画像信号SNL-Hと非線形平滑化処理部４２により非線形平滑化処理された画像信号SF-Vとを混合し、垂直方向の近接画素と用いて平滑化された画像信号SOをバッファ２５に出力する。より詳細には、混合部４３は、以下の式（６）を演算して、入力される水平方向非線形平滑化処理されている画像信号SNL-Hと非線形平滑化処理部４２により垂直方向に非線形平滑化処理された画像信号SF-Vとを混合する。
【０１２８】
ＳO＝SF-V×Fr-H／Fr-H max＋SNL-H×（１−Fr-H／Fr-H max）
・・・（６）
ここで、Fr-Hは、水平方向のFlatレートであり、Fr-H maxは、FlatレートFr-Hの最大値、すなわち、画素値のダイナミックレンジの最大値と最小値の差分絶対値である。FlatレートFr-Hは、水平方向に隣接する各水平参照方向成分画素と注目画素との差分絶対値の最大値であるので、その値が小さいほど、注目画素と、注目画素に水平方向に隣接する近傍画素の領域では、画素値の変化が小さく、視覚的にも色の変化が小さいため、見た目に平坦な状態（Flatな状態）であると言える。逆に、FlatレートFr-Hが大きいと言うことは、注目画素と、注目画素に垂直方向に隣接する水平参照方向成分画素の領域では、画素間の変化が大きく、見た目にも平坦ではない状態（Flatではない状態）であることが示される。
【０１２９】
このため、式（６）で示されるように、FlatレートFr-Hが大きければ、非線形平滑化処理部４２により垂直方向に非線形平滑化処理された画像信号SF-Vの重みが増し、水平方向平滑化処理された画像信号SNL-Hの重みが小さくなる。逆に、FlatレートFr-Hが小さければ、すなわち、水平方向の画素間の画素値の差分絶対値が小さいほど、非線形平滑化処理部３２により垂直方向に非線形平滑化処理された画像信号SF-Vの重みが小さくなり、入力された水平方向に非線形平滑化処理されている画像信号SNL-Hの重みが大きくなる。
【０１３０】
ステップＳ５９において、垂直処理方向成分画素抽出部４１は、全ての画素を注目画素として処理したか、すなわち、未処理の画素が存在するか否かを判定し、例えば、全ての画素を注目画素として処理していない、すなわち、未処理画素が存在すると判定した場合、その処理は、ステップＳ５１に戻る。そして、ステップＳ５９において、全ての画素が注目画素として処理された、すなわち、未処理画素が存在しないと判定された場合、その処理は、終了し、図７のステップＳ２の処理が終了する。尚、水平参照方向成分画素抽出部４４も、同様の処理に、全ての画素を注目画素として処理したか、すなわち、未処理の画素が存在するか否かを判定し、いずれにおいても、未処理画素が存在しないと判定された場合にのみ、その処理を終了させるようにしても良い。
【０１３１】
結果として、注目画素に対して水平方向に隣接する水平参照方向成分画素との画素値の差分より求められるFlatレートFr-Hに応じて、垂直方向に平滑化処理された画像信号SF-Vと入力された画像信号SNL-Hとが混合されることにより、水平方向に相関が強い、すなわち、水平方向のFlatレートFr-Hが小さく、水平方向の相関が強い場合、入力された水平方向線形平滑化処理された画像信号SNL-Hの重みを大きくし、水平方向のFlatレートFr-Hが大きく、水平方向の相関が弱い場合、垂直方向に非線形フィルタリング処理された画像信号SF-Vの重みを大きくすることにより、エッジを意識しつつ、処理方向に応じた（非線形平滑化処理に使用する近傍画素が、注目画素に対して水平方向に隣接する画素であるか、または、垂直方向に隣接する画素であるかに応じた）不自然な処理を抑制することが可能となる。
【０１３２】
尚、以上においては、混合に際しては、FlatレートFr-Hをそのまま重み係数として画素値に乗じる例について説明してきたが、その他のFlatレートFr-Hに応じた重み係数を平滑化処理された画像信号SF-Vと入力された水平方向平滑化処理された画像信号SNL-Hのそれぞれに乗じて混合するようにしても良い。すなわち、上述した水平方向平滑化処理における図１６で示されるように、FlatレートFr-Hに応じて設定される重み係数W1，W2を用いていた場合と同様に、以下の式（７）のようにして、垂直方向平滑化処理された画像信号SOを求めるようにしても良い。
【０１３３】
ＳO＝SNL-H×W11＋SF-V×W12
・・・（７）
【０１３４】
ここで、W12は垂直方向に平滑化処理された画像信号SF-Vの重み係数であり、W11は入力された水平方向平滑化処理された画像信号SNL-Hの重み係数である。また、（W11＋W12）は、重み係数の最大値Wmax（＝１）である。
【０１３５】
結果として、エッジの有無を正確に意識して生成される画像を非線形平滑化することが可能となる。
【０１３６】
ここで、図７のフローチャートの説明に戻る。
【０１３７】
ステップＳ２において、垂直方向平滑化処理が実行されると、ステップＳ３において、次の画像が入力されたか否かが判定され、次の画像が入力されたと判定された場合、その処理は、ステップＳ１に戻り、それ以降の処理が繰り返される。ステップＳ３において、次の画像が入力されていない、すなわち、画像信号が終了したと判定された場合、その処理は、終了する。
【０１３８】
以上の処理により、水平方向平滑化処理と垂直方向平滑化処理のそれぞれで、処理方向に応じた不自然な平滑化処理を、Flatレートを求めて、Flatレートに応じて、非線形平滑化された画像信号と、非線形平滑化処理されていない画像信号を混合するようにしたので、画像のエッジ部分を残し、処理方向に応じて生じる不自然な強調処理を抑制しつつ、エッジ以外の領域のコントラストや鮮鋭度を強調することが可能となる。
【０１３９】
また、非線形平滑化処理に用いる閾値ε2を処理方向に対して垂直方向の画素（参照方向画素）を用いて設定するようにしたので、構造成分を維持したまま、振幅成分のみを強調することが可能となるので、図１で説明したような、矩形波形を崩したり、強調処理を行えないといった問題を解消し、エッジ以外の領域のコントラストや鮮鋭度を強調することが可能となる。
【０１４０】
以上においては、閾値設定処理において、注目画素と、参照方向画素との差分絶対値のうち、最大となるものを閾値ε2に設定するようにしていたが、閾値はこれに限るものではなくその他の方法で設定するようにしてもよい。閾値ε2は、例えば、注目画素および参照方向成分画素のうち、最大値と最小値とを求めて、それらの差分絶対値により設定するようにしてもよい。
【０１４１】
図２０は、閾値ε2を、注目画素および垂直参照方向成分画素のうち、最大値と最小値との差分絶対値により設定するようにした閾値設定部３６の構成を示している。
【０１４２】
最大値抽出部８１は、注目画素および垂直参照方向成分画素のいずれか最大値となる画素の画素値を抽出し、閾値決定部８３に供給する。
【０１４３】
最小値抽出部８２は、注目画素および垂直参照方向成分画素のいずれか最小値となる画素の画素値を抽出し、閾値決定部８３に供給する。
【０１４４】
閾値決定部８３は、最大値抽出部８１より供給されてくる注目画素および垂直参照方向成分画素のうちで、画素値が最大となる画素の画素値と、最小値抽出部８２より供給されてくる注目画素および垂直参照方向成分画素のうちで、画素値が最小となる画素の画素値との差分絶対値を求めて、所定のマージンを加算して閾値ε2に設定し、非線形平滑化処理部３２に供給する。
【０１４５】
次に、図２１のフローチャートを参照して、図２０の閾値設定部３６による閾値設定処理について説明する。
【０１４６】
ステップＳ７１において、最大値抽出部８１は、注目画素および垂直参照方向成分画素のいずれか最大値となる画素の画素値を抽出し、閾値決定部８３に供給する。すなわち、図９の場合、注目画素および垂直参照方向成分画素は、画素Ｕ２，Ｕ１，Ｃ，Ｄ１，Ｄ２であるので、最大値抽出部８１は、画素Ｕ２，Ｕ１，Ｃ，Ｄ１，Ｄ２の画素値のうち、最大値となる画素の画素値を抽出して閾値決定部８３に供給する。
【０１４７】
ステップＳ７２において、最小値抽出部８２は、注目画素および垂直参照方向成分画素のいずれか最小値となる画素の画素値を抽出し、閾値決定部８３に供給する。すなわち、図９の場合、注目画素および垂直参照方向成分画素は、画素Ｕ２，Ｕ１，Ｃ，Ｄ１，Ｄ２であるので、最小値抽出部８２は、画素Ｕ２，Ｕ１，Ｃ，Ｄ１，Ｄ２の画素値のうち、最小値となる画素の画素値を抽出して閾値決定部８３に供給する。
【０１４８】
ステップＳ７３において、式位置決定部８３は、最大値抽出部８１より供給されてくる注目画素および垂直参照方向成分画素のうちで、画素値が最大となる画素の画素値と、最小値抽出部８２より供給されてくる注目画素および垂直参照方向成分画素のうちで、画素値が最小となる画素の画素値との差分絶対値を求めて、所定のマージンを加算して閾値ε2に設定し、非線形平滑化処理部３２に供給する。
【０１４９】
以上のように、注目画素および垂直参照方向成分画素における最大値と最小値との差分絶対値に基づいて閾値ε2が設定されることにより、構造成分を維持しつつ、振幅成分のみを平滑化することが可能となる。尚、閾値設定部４６は、閾値設定部３６において処理された注目画素および垂直参照方向成分画素に代えて、注目画素および水平参照方向成分画素が処理されることになるのみであり、その処理は、同様であるので、その説明は省略するものとする。
【０１５０】
以上においては、注目画素と参照方向成分画素との最大値と最小値との差分絶対値に基づいて閾値ε2が設定される例について説明してきたが、例えば、注目画素および参照方向成分画素のうち、注目画素を境界として2方向に存在する画素の画素値の最大値と最小値と差分絶対値のうち、小さい方の値に基づいて、閾値ε2を設定するようにしてもよい。
【０１５１】
図２２は、注目画素および参照方向成分画素のうち、注目画素を境界として2方向に存在する画素の画素値の最大値と最小値との差分絶対値のうち、小さい方の値に基づいて、閾値ε2を設定するようにした閾値設定部３６の構成例を示している。
【０１５２】
第１方向最大値抽出部９１は、注目画素および垂直参照方向成分画素のうち、注目画素および注目画素より上部の方向に隣接している垂直参照方向成分画素の画素値の最大値を抽出して差分絶対値算出部９３に供給する。尚、図２２においては、第1方向とは注目画素に対して上部の方向を示し、第２方向とは下部の方向を示す。
【０１５３】
第１方向最小値抽出部９２は、注目画素および垂直参照方向成分画素のうち、注目画素および注目画素より上部の方向に隣接している垂直参照方向成分画素の画素値の最小値を抽出して差分絶対値算出部９３に供給する。
【０１５４】
第２方向最大値抽出部９４は、注目画素および垂直参照方向成分画素のうち、注目画素および注目画素より下部の方向に隣接している垂直参照方向成分画素の画素値の最大値を抽出して差分絶対値算出部９６に供給する。
【０１５５】
第２方向最小値抽出部９５は、注目画素および垂直参照方向成分画素のうち、注目画素および注目画素より下部の方向に隣接している垂直参照方向成分画素の画素値の最小値を抽出して差分絶対値算出部９６に供給する。
【０１５６】
差分絶対値算出部９３は、第１方向最大値抽出部９１より供給されてくる注目画素を含む注目画素よりも上部の方向に存在する画素の最大値と、第１方向最小値抽出部９２より供給されてくる注目画素を含む注目画素よりも上部の方向に存在する画素の最小値との差分絶対値を算出して閾値決定部９７に供給する。
【０１５７】
差分絶対値算出部９６は、第２方向最大値抽出部９４より供給されてくる注目画素を含む注目画素よりも下部の方向に存在する画素の最大値と、第２方向最小値抽出部９５より供給されてくる注目画素を含む注目画素よりも下部の方向に存在する画素の最小値との差分絶対値を算出して閾値決定部９７に供給する。
【０１５８】
閾値決定部９７は、差分絶対値算出部９３，９６より、それぞれに供給されてくる差分絶対値のうち、小さい方の値にマージンを加算して、閾値ε2として決定し、非線形平滑化処理部３２に供給する。
【０１５９】
次に、図２３のフローチャートを参照して、図２２の閾値設定部３６による閾値設定処理について説明する。
【０１６０】
ステップＳ９１において、第１方向最大値抽出部９１は、注目画素および垂直参照方向成分画素のうち、注目画素および注目画素より上部の方向に隣接している垂直参照方向成分画素の画素値の最大値を抽出して差分絶対値算出部９３に供給する。すなわち、例えば、図９における場合、第１方向最大値抽出部９１は、注目画素Ｃと、注目画素Ｃよりも上部の方向に隣接する垂直参照方向成分画素Ｕ２，Ｕ１を抽出し、画素値Ｃ，Ｕ１，Ｕ２のうち、最大値となる画素値を差分絶対値算出部９３に供給する。
【０１６１】
ステップＳ９２において、第１方向最小値抽出部９２は、注目画素および垂直参照方向成分画素のうち、注目画素および注目画素より上部の方向に隣接している垂直参照方向成分画素の画素値の最小値を抽出して差分絶対値算出部９３に供給する。すなわち、例えば、図９における場合、第１方向最小値抽出部９２は、注目画素Ｃと、注目画素Ｃよりも上部の方向に隣接する垂直参照方向成分画素Ｕ２，Ｕ１を抽出し、画素値Ｃ，Ｕ１，Ｕ２のうち、最小値となる画素値を差分絶対値算出部９３に供給する。
【０１６２】
ステップＳ９３において、差分絶対値算出部９３は、第１方向最大値抽出部９１より供給されてくる注目画素を含む注目画素よりも上部の方向に存在する画素の最大値と、第１方向最大値抽出部９２より供給されてくる注目画素を含む注目画素よりも上部の方向に存在する画素の最小値との差分絶対値を算出して閾値決定部９７に供給する。すなわち、図９における場合、差分絶対値算出部９３は、第１方向最大値抽出部９１より供給されてくる画素値Ｃ，Ｕ１，Ｕ２の最大値と、第１方向最小値抽出部９２より供給されてくる画素値Ｃ，Ｕ１，Ｕ２の最小値との差分絶対値を求めて閾値決定部９７に供給する。
【０１６３】
ステップＳ９４において、第２方向最大値抽出部９４は、注目画素および垂直参照方向成分画素のうち、注目画素および注目画素より下部の方向に隣接している垂直参照方向成分画素の画素値の最大値を抽出して差分絶対値算出部９６に供給する。すなわち、例えば、図９における場合、第２方向最大値抽出部９４は、注目画素Ｃと、注目画素Ｃよりも下部の方向に隣接する垂直参照方向成分画素Ｄ２，Ｄ１を抽出し、画素値Ｃ，Ｄ１，Ｄ２のうち、最大値となる画素値を差分絶対値算出部９６に供給する。
【０１６４】
ステップＳ９５において、第２方向最小値抽出部９５は、注目画素および垂直参照方向成分画素のうち、注目画素および注目画素より下部の方向に隣接している垂直参照方向成分画素の画素値の最小値を抽出して差分絶対値算出部９６に供給する。すなわち、例えば、図９における場合、第２方向最小値抽出部９５は、注目画素Ｃと、注目画素Ｃよりも下部の方向に隣接する垂直参照方向成分画素Ｄ２，Ｄ１を抽出し、画素値Ｃ，Ｄ１，Ｄ２のうち、最小値となる画素値を差分絶対値算出部９６に供給する。
【０１６５】
ステップＳ９６において、差分絶対値算出部９６は、第２方向最大値抽出部９４より供給されてくる注目画素を含む注目画素よりも下部の方向に存在する画素の最大値と、第２方向最小値抽出部９５より供給されてくる注目画素を含む注目画素よりも下部の方向に存在する画素の最小値との差分絶対値を算出して閾値決定部９７に供給する。すなわち、図９における場合、差分絶対値算出部９６は、第２方向最大値抽出部９４より供給されてくる画素値Ｃ，Ｄ１，Ｄ２の最大値と、第２方向最小値抽出部９５より供給されてくる画素値Ｃ，Ｄ１，Ｄ２の最小値との差分絶対値を求めて閾値決定部９７に供給する。
【０１６６】
ステップＳ９７において、閾値決定部９７は、差分絶対値算出部９３，９６より、それぞれに供給されてくる差分絶対値のうち、小さい方の値にマージンを加算して、閾値ε2として決定し、非線形平滑化処理部３２に供給する。
【０１６７】
以上の処理により、注目画素にエッジが存在する場合、注目画素の画素値に近い近傍画素のみを使用して閾値を設定することが可能となる。すなわち、図２４で示されるように、注目画素Ｃを含めて、その下部である画素Ｄ１，Ｄ２が白色の画素値であって、注目画素Ｃより上部の画素Ｕ１，Ｕ２が黒色の画素値であるような場合、注目画素Ｃは、画素値としては画素Ｄ１，Ｄ２に近い値となる。したがって、画素Ｃ，Ｕ１，Ｕ２のうちの最大値と最小値との差分絶対値と、画素Ｃ，Ｄ１，Ｄ２のうちの最大値と最小値との差分絶対値とを比較すれば、画素Ｃ，Ｄ１，Ｄ２のうちの最大値と最小値との差分絶対値の方が小さくなり、この値が閾値ε2に設定される。結果として、注目画素Ｃに近い画素値のみを使って閾値ε2を設定することができるので、構造成分のみを正確に抽出することができ、振幅成分のみを正確に平滑化することが可能となる。尚、閾値設定部４６は、閾値設定部３６において処理された注目画素および垂直参照方向成分画素に代えて、注目画素および水平参照方向成分画素が処理されることになるのみであり、その処理は、同様であるので、その説明は省略するものとする。
【０１６８】
以上においては、注目画素を基準に参照方向成分画素を分けた上で、それらの中での最大値と最小値との差分絶対値に基づいて閾値を設定するようにしてきたが、例えば、注目画素を基準に参照方向成分画素を分けた上で、それらの中で各画素について、注目画素との差分絶対値に基づいて閾値ε2を設定するようにしてもよい。
【０１６９】
図２５は、注目画素を基準に参照方向成分画素を分けた上で、それらの中で各画素について、注目画素との差分絶対値に基づいて閾値ε2を設定するようにした閾値設定部３６の構成を示している。
【０１７０】
第１方向差分絶対値算出部１１１は、注目画素と、注目画素より上部に隣接して配置される各垂直参照方向成分画素との差分絶対値を算出し、その中で、最大値となる差分絶対値を閾値決定部１１３に供給する。
【０１７１】
第２方向差分絶対値算出部１１２は、注目画素と、注目画素より下部に隣接して配置される各垂直参照方向成分画素との差分絶対値を算出し、その中で、最大値となる差分絶対値を閾値決定部１１３に供給する。
【０１７２】
閾値決定部１１３は、第１方向差分絶対値算出部１１１および第２方向差分絶対値算出部１１２より供給される差分絶対値のうち、小さい方の値にマージンを加算して、閾値ε2として設定し、非線形平滑化処理部３２に供給する。
【０１７３】
次に、図２５の閾値設定部３６による閾値設定処理について説明する。
【０１７４】
ステップＳ１１１において、第１方向差分絶対値算出部１１１は、垂直方向成分画素抽出部３４より供給されてくる画素のうち、注目画素と、注目画素より上部に隣接して配置される各垂直参照方向成分画素との差分絶対値を算出し、その中で、最大値となる差分絶対値を閾値決定部１１３に供給する。すなわち、例えば、図９の場合、第１方向差分絶対値算出部１１１は、注目画素Ｃと、注目画素Ｃに対して上部に配置される画素Ｕ１，Ｕ２との各差分絶対値｜Ｃ−Ｕ１｜，｜Ｃ−Ｕ２｜を計算すると共に、それらの最大値を求めて、閾値決定部１１３に供給する。
【０１７５】
ステップＳ１１２において、第２方向差分絶対値算出部１１２は、垂直方向成分画素抽出部３４より供給されてくる画素のうち、注目画素と、注目画素より下部に隣接して配置される各垂直参照方向成分画素との差分絶対値を算出し、その中で、最大値となる差分絶対値を閾値決定部１１３に供給する。すなわち、例えば、図９の場合、第２方向差分絶対値算出部１１２は、注目画素Ｃと、注目画素Ｃに対して上部に配置される画素Ｄ１，Ｄ２との各差分絶対値｜Ｃ−Ｄ１｜，｜Ｃ−Ｄ２｜を計算すると共に、それらの最大値を求めて、閾値決定部１１３に供給する。
【０１７６】
ステップＳ１１３において、閾値決定部１１３は、第１方向差分絶対値算出部１１１および第２方向差分絶対値算出部１１２より供給される差分絶対値のうち、小さい方の値にマージンを加算して、閾値ε2として設定し、非線形平滑化処理部３２に供給する。
【０１７７】
以上の処理により、注目画素にエッジが存在する場合、注目画素の画素値に近い近傍画素のみを使用して、注目画素を基準とした閾値を設定することが可能となる。尚、閾値設定部４６は、閾値設定部３６において処理された注目画素および垂直参照方向成分画素に代えて、注目画素および水平参照方向成分画素が処理されることになるのみであり、その処理は、同様であるので、その説明は省略するものとする。
【０１７８】
ところで、以上においては、注目画素を基準として、処理方向に対して垂直方向に存在する画素を用いて閾値を設定する例について説明してきたが、注目画素近傍の画素を注目画素に対して垂直方向に限定することなく使用するようにしてもよく、例えば、注目画素を基点とした8方向の画素ブロックの相関の高さにより設定するようにしてもよい。
【０１７９】
図２７は、注目画素を基点とした８方向の相関により閾値を設定するようにした水平方向平滑化処理部２２の構成を示している。尚、図２７において、図３における水平方向平滑化処理部２２の構成と同一の構成については、同一の符号を付しており、その説明は、適宜省略するものとする。
【０１８０】
図２７の水平方向平滑化処理部２２において、図３と異なるのは、閾値設定部３６に代えて、閾値設定部１２１を設けた点である。
【０１８１】
閾値設定部１２１は、入力される画像の全ての画素について、注目画素を基準にして、上下垂直方向、左右水平方向、左右上下の斜め方向について、画素ブロック毎に、各画素と注目画素との差分絶対値を求めて、各画素ブロックにおける最大値のうち、最小となる差分絶対値に基づいて、閾値ε2を求める。
【０１８２】
次に、図２８を参照して、閾値設定部１２１の一実施の形態の構成について説明する。
【０１８３】
ブロック差分絶対値１３１−１乃至１３１−８は、それぞれ図２９で示されるような、画素ブロック毎に各画素と注目画素との差分絶対値を求め、その最大値を閾値決定部１３２に供給する。
【０１８４】
画素ブロックとは、例えば、図２９で示される画素ブロックＢ１乃至Ｂ８である。画素ブロックＢ１は、注目画素に対して垂直上方のテクスチャの有無を検出するための画素ブロックであり、図２９においては、例えば、画素Ｃ，Ｕ１，Ｕ２，Ｐ１乃至Ｐ１０，Ｐ１４，Ｐ１５の１４画素で構成される。また、画素ブロックＢ２は、注目画素に対して右斜め上方のテクスチャの有無を検出するための画素ブロックであり、図２９においては、例えば、画素Ｃ，Ｕ１，Ｕ２，Ｒ１，Ｒ２，Ｐ４，Ｐ９，Ｐ１０，Ｐ１５乃至Ｐ１７の１１画素で構成される。さらに、画素ブロックＢ３は、注目画素に対して水平右側のテクスチャの有無を検出するための画素ブロックであり、図２９においては、例えば、画素Ｃ，Ｒ１，Ｒ２，Ｐ１０，Ｐ１１，Ｐ１５乃至Ｐ１７，Ｐ１９，Ｐ２３乃至Ｐ２５，Ｐ３０，Ｐ３１の１４画素で構成される。また、画素ブロックＢ４は、注目画素に対して右斜め下方のテクスチャの有無を検出するための画素ブロックであり、図２９においては、例えば、画素Ｃ，Ｄ１，Ｄ２，Ｒ１，Ｒ２，Ｐ２３乃至Ｐ２５，Ｐ２９，Ｐ３０，Ｐ３５の１１画素で構成される。
【０１８５】
画素ブロックＢ５は、注目画素に対して垂直下方のテクスチャの有無を検出するための画素ブロックであり、図２９においては、例えば、画素Ｃ，Ｄ１，Ｄ２，Ｐ２２，Ｐ２３，Ｐ２７乃至Ｐ３６の１４画素で構成される。また、画素ブロックＢ６は、注目画素に対して左斜め下方のテクスチャの有無を検出するための画素ブロックであり、図２９においては、例えば、画素Ｃ，Ｄ１，Ｄ２，Ｌ１，Ｌ２，Ｐ２０乃至Ｐ２２，Ｐ２７，Ｐ２８，Ｐ３３の１１画素で構成される。さらに、画素ブロックＢ７は、注目画素に対して水平左側のテクスチャの有無を検出するための画素ブロックであり、図２９においては、例えば、画素Ｃ，Ｌ１，Ｌ２，Ｐ６，Ｐ７，Ｐ１２乃至Ｐ１４，Ｐ１８，Ｐ２０乃至Ｐ２２，Ｐ２６，Ｐ２７の１４画素で構成される。また、画素ブロックＢ８は、注目画素に対して左斜め上方のテクスチャの有無を検出するための画素ブロックであり、図２９においては、例えば、画素Ｃ，Ｕ１，Ｕ２，Ｌ１，Ｌ２，Ｐ２，Ｐ７，Ｐ８，Ｐ１２乃至Ｐ１４の１１画素で構成される。
【０１８６】
閾値決定部１３２は、ブロック差分絶対値１３１−１乃至１３１−８より供給されてくる差分絶対値のうち、最小となる差分絶対値に、マージンを加算した値を閾値ε2として設定し、非線形平滑化処理部３２に供給する。
【０１８７】
次に、図３０のフローチャートを参照して、図２８の閾値設定部３６による閾値設定処理について説明する。
【０１８８】
ステップＳ１３１において、ブロック差分絶対値算出部１３１−１乃至１３１−８は、それぞれの画素ブロックの各画素と注目画素との差分絶対値を求め、さらに、それらの最大値を閾値決定部１３２に供給する。
【０１８９】
すなわち、図２９の場合、ブロック差分絶対値算出部１３１−１は、画素ブロックＢ１の｜Ｃ−Ｕ１｜，｜Ｃ−Ｕ２｜，｜Ｃ−Ｐ１｜乃至｜Ｃ−Ｐ１０｜，｜Ｃ−Ｐ１４｜，｜Ｃ−Ｐ１５｜を求め、これらのうち、最大値を閾値決定部１３２に供給する。
【０１９０】
また、ブロック差分絶対値算出部１３１−２は、画素ブロックＢ２の｜Ｃ−Ｕ１｜，｜Ｃ−Ｕ２｜，｜Ｃ−Ｒ１｜，｜Ｃ−Ｒ２｜，｜Ｃ−Ｐ４｜，｜Ｃ−Ｐ９｜，｜Ｃ−Ｐ１０｜，｜Ｃ−Ｐ１５｜乃至｜Ｃ−Ｐ１７｜を求め、これらのうち、最大値を閾値決定部１３２に供給する。
【０１９１】
さらに、ブロック差分絶対値算出部１３１−３は、画素ブロックＢ３の｜Ｃ−Ｒ１｜，｜Ｃ−Ｒ２｜，｜Ｃ−Ｐ１０｜，｜Ｃ−Ｐ１１｜，｜Ｃ−Ｐ１５｜乃至｜Ｃ−Ｐ１７｜，｜Ｃ−Ｐ１９｜，｜Ｃ−Ｐ２３｜乃至｜Ｃ−Ｐ２５｜，｜Ｃ−Ｐ３０｜，｜Ｃ−Ｐ３１｜を求め、これらのうち、最大値を閾値決定部１３２に供給する。
【０１９２】
また、ブロック差分絶対値算出部１３１−４は、画素ブロックＢ４の｜Ｃ−Ｄ１｜，｜Ｃ−Ｄ２｜，｜Ｃ−Ｒ１｜，｜Ｃ−Ｒ２｜，｜Ｃ−Ｐ２３｜乃至｜Ｃ−Ｐ２５｜，｜Ｃ−Ｐ２９｜，｜Ｃ−Ｐ３０｜，｜Ｃ−Ｐ３５｜を求め、これらのうち、最大値を閾値決定部１３２に供給する。
【０１９３】
さらに、ブロック差分絶対値算出部１３１−５は、画素ブロックＢ５の｜Ｃ−Ｄ１｜，｜Ｃ−Ｄ２｜，｜Ｃ−Ｐ２２｜，｜Ｃ−Ｐ２３｜，｜Ｃ−Ｐ２７｜乃至｜Ｃ−Ｐ３６｜を求め、これらのうち、最大値を閾値決定部１３２に供給する。
【０１９４】
また、ブロック差分絶対値算出部１３１−６は、画素ブロックＢ６の｜Ｃ−Ｄ１｜，｜Ｃ−Ｄ２｜，｜Ｃ−Ｌ１｜，｜Ｃ−Ｌ２｜，｜Ｃ−Ｐ２０｜乃至｜Ｃ−Ｐ２２｜，｜Ｃ−Ｐ２７｜，｜Ｃ−Ｐ２８｜，｜Ｃ−Ｐ３３｜を求め、これらのうち、最大値を閾値決定部１３２に供給する。
【０１９５】
さらに、ブロック差分絶対値算出部１３１−７は、画素ブロックＢ７の｜Ｃ−Ｌ１｜，｜Ｃ−Ｌ２｜，｜Ｃ−Ｐ６｜，｜Ｃ−Ｐ７｜，｜Ｃ−Ｐ１２｜乃至｜Ｃ−Ｐ１４｜，｜Ｃ−Ｐ１８｜，｜Ｃ−Ｐ２０｜乃至｜Ｃ−Ｐ２２｜，｜Ｃ−Ｐ２６｜，｜Ｃ−Ｐ２７｜を求め、これらのうち、最大値を閾値決定部１３２に供給する。
【０１９６】
また、ブロック差分絶対値算出部１３１−８は、画素ブロックＢ８の｜Ｃ−Ｕ１｜，｜Ｃ−Ｕ２｜，｜Ｃ−Ｌ１｜，｜Ｃ−Ｌ２｜，｜Ｃ−Ｐ２｜，｜Ｃ−Ｐ７｜，｜Ｃ−Ｐ８｜，｜Ｃ−Ｐ１２｜乃至｜Ｃ−Ｐ１４｜を求め、これらのうち、最大値を閾値決定部１３２に供給する。
【０１９７】
ステップＳ１３２において、閾値決定部１３２は、ブロック差分絶対値算出部１３１−１乃至１３１−８より供給されてくる、各ブロックにおける差分絶対値の最大値のうち、最小となる最大値に、マージンを加算した値を閾値ε2として設定し、非線形平滑化処理部３２に供給する。すなわち、差分絶対値が最小となるブロックの画素は、注目画素に対して最も相関が高く、注目画素に跨るテクスチャが存在する可能性が高いとみなすため、そのブロックの差分絶対値の最大値が最小となる値が閾値ε2として設定される。
【０１９８】
以上の処理により、注目画素に対してテクスチャの存在する可能性の高い方向に応じた、注目画素の近傍の画素により閾値が設定されることになるので、構造成分を維持しつつ、振幅成分を平滑化することが可能となる。尚、以上においては、注目画素に対して8方向のテクスチャの存在する画素ブロックの画素値により閾値ε2を設定していたが、それ以外の数の方向のテクスチャの存在する可能性を考慮して閾値を設定するようにしてもよい。
【０１９９】
尚、以上においては、注目画素に対してテクスチャの存在する方向に対応する画素ブロックの各画素と注目画素との画素値の差分絶対値を閾値として設定する例について説明してきたが、例えば、注目画素に対する方向に関わらず、差分絶対値の分布に基づいて、閾値を設定するようにしてもよい。
【０２００】
図３１は、注目画素と、注目画素近傍の画素の画素値との差分絶対値のヒストグラムにより、差分絶対値の分布に基づいて、閾値を設定するようにした閾値設定部１２１の構成例を示している。
【０２０１】
差分絶対値算出部１４１は、入力される全ての画素を注目画素としたとき、注目画素の近傍画素と、注目画素との差分絶対値を求めて、ヒストグラム生成部１４２に供給する。
【０２０２】
ヒストグラム生成部１４２は、差分絶対値を横軸に頻度を縦軸にしたヒストグラムを生成し、閾値決定部１４３に供給する。
【０２０３】
閾値決定部１４３は、ヒストグラム生成部１４２より供給されてくるヒストグラムに基づいて、閾値ε2を設定し、非線形平滑化処理部３２に供給する。
【０２０４】
次に、図３２のフローチャートを参照して、図３１の閾値設定部１２１による閾値設定処理について説明する。
【０２０５】
ステップＳ１４１において、差分絶対値算出部１４１は、入力される全ての画素を注目画素としたとき、注目画素の近傍画素と、注目画素との差分絶対値を求めて、ヒストグラム生成部１４２に供給する。このとき、近傍画素については、例えば、注目画素を中心とした、11画素×11画素の範囲などである。
【０２０６】
ステップＳ１４２において、ヒストグラム生成部１４２は、差分絶対値を横軸に頻度を縦軸にしたヒストグラムを生成し、閾値決定部１４３に供給する。この処理により、例えば、図３３で示されるように、ピークＰ１，Ｐ２が発生するようなヒストグラムなどが生成される。
【０２０７】
ステップＳ１４３において、閾値決定部１４３は、ヒストグラム生成部１４２より供給されてくるヒストグラムに基づいて、閾値ε2を設定し、非線形平滑化処理部３２に供給する。より具体的には、例えば、図３３で示されるようなヒストグラムが供給されてきた場合、閾値決定部１４３は、ピークＰ１，Ｐ２近傍の差分絶対値を持つ画素が多く分布し、それらの画素によりエッジが存在するものとみなし、ピークＰ１，Ｐ２間の頻度の低い、例えば、差分絶対値Ｂｔを閾値ε2として設定する。
【０２０８】
以上の処理により、差分絶対値の頻度に基づいて、エッジの存在する差分絶対値の分布に基づいて、閾値ε2を設定することができるので、構造成分を維持しつつ、振幅成分のみを平滑化することが可能となる。
【０２０９】
尚、以上においては、水平方向平滑化処理部２２における閾値設定部１２１について説明してきたが、垂直方向平滑化処理部２４においても、図３４で示されるように同様の構成からなる閾値設定部１５１が設けられているが、閾値設定部１２１における水平方向および垂直方向との関係が入れ替わるのみは、同様の処理がなされるのみであるので、その説明は省略する。
【０２１０】
尚、以上においては、水平方向平滑化処理の後、垂直方向平滑化処理が施される場合の例について説明してきたが、垂直方向平滑化処理の後、水平方向平滑化処理が施されるようにしてもよい。また、水平方向平滑化処理か、または、垂直方向平滑化処理のいずれかの処理のみを画像信号に施すだけでも、それぞれの処理で、処理方向に応じたFlatレートを求めるようにしているので、画像のエッジ部分を残し、処理方向に応じて生じる不自然な強調処理を抑制しつつ、エッジ以外の領域のコントラストや鮮鋭度を強調することが可能となる。
【０２１１】
また、以上の非線形平滑化処理部３２においては、注目画素と、注目画素に対する水平処理方向成分画素を用いて非線形平滑化処理を行う例について説明してきたが、例えば、非線形平滑化処理において、水平処理方向成分画素と共に垂直参照方向成分画素を用いるようにしても良い。図３５は、水平処理方向成分画素と共に垂直参照方向成分画素を用いるようにした水平方向平滑化処理部２２の構成を示している。図３５において、図３と対応する構成については、同一の符号を付すものとし、その説明は適宜省略するものとする。
【０２１２】
図３５の水平方向平滑化処理部２２において、図３の水平方向平滑化処理部２２と異なるのは非線形平滑化処理部３２に代えて、非線形平滑化処理部１６１を設け、混合部３３を削除して、Flatレート計算部３５により計算されたFlatレートFr-Vを非線形平滑化処理部１６１に供給するようにしたことである。非線形平滑化処理部１６１は、基本的には、非線形平滑化処理部３２と同様の機能を有するものであるが、さらに、非線形平滑化処理において、水平処理方向成分画素と共に、垂直参照方向成分画素抽出部３４より供給される垂直参照方向成分画素を用いるようにした点が異なる。
【０２１３】
次に、図３６を参照して、非線形平滑化処理部１６１の詳細な構成について説明する。尚、図３６の非線形平滑化処理部１６１の構成において、図５の非線形平滑化処理部３２の構成と対応する構成については、同一の符号を付しており、その説明は適宜省略するものとする。
【０２１４】
図３６の非線形平滑化処理部１６１の構成において、図５の非線形平滑化処理部３２の構成と異なるのは、制御信号発生部６２に代えて、制御信号発生部１７１を設けた点である。制御信号発生部１７１は、基本的な機能は、制御信号発生部６２と同様であるが、水平処理方向成分画素に加えて、Flatレート計算部３５より供給されるFlatレートFr-Vを用いて制御信号を発生させる点で異なる。
【０２１５】
次に、図３７のフローチャートを参照して、図３５の水平方向平滑化処理部２２による非線形平滑化処理について説明する。尚、図３７のフローチャートにおけるステップＳ１５３乃至Ｓ１５７の処理は、図１１のフローチャートにおけるステップＳ３３乃至Ｓ３７の処理と同様であるので、その説明は省略する。
【０２１６】
ステップＳ１５１において、非線形フィルタ５１の制御信号発生部６２は、注目画素と、水平処理方向成分画素との画素値の差分絶対値を計算する。
【０２１７】
ステップＳ１５２において、ローパスフィルタ６１は、制御信号発生部１７１により計算された注目画素Ｃと、複数の水平処理方向成分画素の画素値との各差分絶対値と所定の閾値ε2と比較して、この比較結果に対応して、閾値ε2よりも大きい場合、Ｃに置き換える第１の処理を実行した後、第１の処理が施された各画素に対してFlatレート計算部３５より供給されてくるFlatレートFr-vを考慮して、画像信号ＳIに非線形フィルタリング処理を施す。
【０２１８】
より具体的には、例えば、注目画素Cを中心として左右２画素の画像信号が信号L2，L1，C，R1，R2であった場合、LPF６１は、制御信号発生部１７１により発生される制御信号に基づいて、注目画素Cの画素値との差分が閾値よりも大きいとき、Cに置き換える処理を施し、注目画素を中心として左右に２画素ずつの水平方向の信号L2’，L1’，C，R1’，R2’を生成するものとする。さらに、LPF６１は、各信号L2’，L1’，C，R1’，R2’に対して、FlatレートFr-Vを考慮した処理を施す。
【０２１９】
すなわち、例えば、信号L2’の場合、FlatレートFr-Vを考慮した処理により得られる信号L2”は、以下の式（８）を計算することにより求められる。
【０２２０】
L2”=WC×C+WL2×L2’
・・・（８）
【０２２１】
ここで、式（８）において、WL2とWCは、上述した式（５）における重みと同様のものであり、WCがW1に、WL2がW2にそれぞれ対応する(WL2＋WC＝１)ものである。従って、FlatレートFr-vが小さい場合、重みWCが最大値(＝１)となり、信号L2”はＣとなる（L2”=C）。
【０２２２】
また、画素の信号に対しても同様の処理が施されるので、信号L1’，R1’，R2’のそれぞれは、以下の式（９）乃至式（１１）で示されるような式により計算される。
【０２２３】
L1”=WC×C+WL1×L1’
・・・（９）
【０２２４】
R1”=WC×C+WR1×R1’
・・・（１０）
【０２２５】
R2”=WC×C+WR2×R2’
・・・（１１）
【０２２６】
ここで求められる重みは、何れも注目画素Cの垂直方向のFlatレートFr-Vが用いられるので、実質的に、WL2=WL1=WR2=WR1となる。よって、FlatレートFr-vが、所定の閾値より小さい場合、L1”=C，R1”=C，R2”=Cとなる．
【０２２７】
結果として、このような場合、LPF６１は、式（１）を用いて、以下の式（１２）を演算することにより水平方向平滑化処理を行う。
【０２２８】
C’=(１×C＋２×C＋３×C＋２×C＋１×C)/９
＝  C
・・・（１２）
【０２２９】
結果として、FlatレートFr-vが小さい場合、入力された画像信号がそのまま出力されることになる。逆にFlatレートFr-vが大きい場合、式(１)のように水平方向の画素の値に基づいてフィルタリング処理された値を用いる。
【０２３０】
以上のように、非線形平滑化処理においてFlatレートを考慮して処理を行うことが可能であるので、後段の混合部３３を削除することが可能となる（結果として、非線形平滑化処理部１６１より出力される信号SF-H＝水平方向平滑化処理部２２から出力される信号SNL-Hとなる）。
【０２３１】
以上の処理により、注目画素の水平方向の相関のみならず、垂直方向の相関も考慮した非線形フィルタリング処理を実現することで、さらに、エッジを意識しつつ、処理方向に応じた不自然な処理を抑制することが可能となる。
【０２３２】
尚、図３６においては、非線形平滑化処理部１６１の構成として、制御信号発生部１７１が、水平処理方向成分画素に加えて、垂直参照方向成分画素をも考慮した非線形フィルタリング処理をする例について説明してきたが、微小エッジを検出する際に水平処理方向成分画素に加えて、垂直参照方向成分画素を使用するようにしても良い。
【０２３３】
図３８は、MixレートMr-Hを計算する際に水平処理方向成分画素に加えて、垂直参照方向成分画素を使用するようにした非線形平滑化処理部１６１の構成を示している。尚、図３８の非線形平滑化処理部１６１の構成において、図５の非線形平滑化処理部３２の構成と対応する構成については、同一の符号を付しており、その説明は適宜省略するものとする。
【０２３４】
図３８の非線形平滑化処理部１６１の構成において、図５の非線形平滑化処理部３２の構成と異なるのは、混合比検出部５３に代えて、混合比検出部１８１を設けた点である。混合比検出部１８１は、基本的な機能は、混合比検出部５３と同様であるが、水平処理方向成分画素に加えて、Flatレート計算部３５より供給されるFlatレートFr-Vを用いてMixレートMr’-Hを求める。
【０２３５】
次に、図３９のフローチャートを参照して、図３８の非線形平滑化処理部１６１による微小エッジ判定処理を説明する。尚、図３９のフローチャートにおけるステップＳ１７１乃至Ｓ１７６の処理は、図１１のフローチャートにおけるステップＳ３１乃至Ｓ３６の処理と同様であるので、その説明は省略する。
【０２３６】
ステップＳ１７７において、混合比検出部１８１は、注目画素と、各水平処理方向成分画素とのそれぞれの画素値の差分絶対値をそれぞれ計算し、計算した各差分絶対値のうちの最大値を混合比である、MixレートMr-H（MixレートMr-Hは、ステップＳ３５，Ｓ３７における処理と同様の手法により求められる）を求めた後、FlatレートFr-Vを用いてMixレートMr’-Hを求め、混合部５２に出力する。
【０２３７】
より詳細には、混合比検出部１８１は、以下の式（１３）を演算することにより、FlatレートFr-Vを用いてMixレートMr’-Hを求める。
【０２３８】
Mr’-H＝WA×Mr-Hmax+WB×Mr-H
・・・（１３）
【０２３９】
ここで、重みWAとWBは、それぞれ式（５）における重みW1とW2に相当する。また、MixレートMr-HmaxはMixレートMr-Hの最大値である。FlatレートFr-Vが小さい場合MixレートMr’-H＝Mr-H maxとなり、大きい場合はMr-H'＝Mr-Hとなる。従って、例えば、FlatレートFr-Vが小さい場合、式(３)の結果から、信号SF-H=SIとなり、入力された信号SIがそのまま出力されることになる。
【０２４０】
以上の処理により、非線形平滑化処理部の混合部の時点で垂直方向の情報を付加することが可能となり、注目画素に対応する水平処理方向成分画素のみならず、垂直参照方向成分画素をも考慮してMixレートMr-Hを設定することが可能となるので、より自然に非線形フィルタリング処理された画像信号SLPF-Hと、入力された画像信号SIとを混合することが可能となり、結果として、エッジを意識しつつ、処理方向に応じた不自然な処理を抑制することが可能となる。
【０２４１】
同様にして、垂直方向平滑化処理部２４においても同様に垂直処理方向成分画素のみならず、水平参照方向成分画素を用いるようにしても良い。図４０は、垂直処理方向成分画素のみならず、水平参照方向成分画素を用いるようにした垂直方向平滑化処理部２４の構成を示している。尚、図４０の垂直方向平滑化処理部２４の構成において、図４の非線形平滑化処理部２４の構成と対応する構成については、同一の符号を付しており、その説明は適宜省略するものとする。
【０２４２】
図４０の垂直方向平滑化処理部２４において、図４の垂直方向平滑化処理部２４と異なるのは非線形平滑化処理部４２に代えて、非線形平滑化処理部１９１を設け、混合部３３を削除して、Flatレート計算部４５により計算されたFlatレートFr-Hを非線形平滑化処理部１９１に供給するようにしたことである。非線形平滑化処理部１９１は、基本的には、非線形平滑化処理部４２と同様の機能を有するものであるが、さらに、非線形平滑化処理において、垂直処理方向成分画素と共に、Flatレート計算部４５より供給されるFlatレートFr-Hを用いるようにした点が異なる。
【０２４３】
尚、非線形平滑化処理部１９１の構成は、図３６，図３８で示される非線形平滑化処理部１６１における水平方向の処理を垂直方向の処理にしている点以外は同様であるので、その説明は省略する。また、処理についても、水平方向の処理と垂直方向の処理とが入れ替わっている点以外は同様であるので、その説明は省略する。また、以上においては、閾値設定部３６，４６を用いた場合について説明してきたが、例えば、図４１で示されるように、非線形平滑化処理部１６１を使用する際、閾値設定部３６に代えて閾値設定部１２１を用いるようにしてもよいことは言うまでもない。さらに、同様にして、例えば、図４２で示されるように、非線形平滑化処理部１９１を使用する際、閾値設定部４６に代えて閾値設定部１５１を設けるようにしてもよい。いずれにおいても、閾値設定処理については、上述したものと同様であるので、その説明は省略する。
【０２４４】
本発明の信号処理装置および方法、並びにプログラムによれば、連続的に配置されている信号を、順次、注目信号に指定し、指定された注目信号の近傍信号と、注目信号との差分絶対値に基づいて、第１の閾値を設定し、指定した注目信号を基準として、第１の方向に連続的に配置されている信号のなかから複数の近傍信号を処理信号として抽出し、注目信号と各処理信号との差分である処理差分と、第１の閾値との比較結果に基づいて、注目信号と複数の処理信号を加重平均して平滑化信号を演算し、処理差分と第１の閾値よりも小さな第２の閾値との比較結果に基づいて、平滑化信号と注目信号との第１の混合比を計算し、計算した第１の混合比に基づいて、平滑化信号、および、注目信号を混合し、第１の混合信号を生成し、指定した注目信号を基準として、第２の方向に連続的に配置されている信号のなかから複数の近傍信号を参照信号として抽出し、注目信号と各参照信号との差分である参照差分に基づいて、混合信号と注目信号との第２の混合比を計算し、計算した第２の混合比に基づいて、第１の混合信号、および、注目信号を混合し、第２の混合信号を生成するようにしたので、画像を構成する画素の急峻なエッジを保持したままで、エッジ以外の部分を平滑化する際、画素の連続性や相関性を損なうことなく、エッジ以外の部分を平滑化することが可能となる。
【０２４５】
上述した一連の処理は、ハードウェアにより実行させることもできるが、ソフトウェアにより実行させることもできる。一連の処理をソフトウェアにより実行させる場合には、そのソフトウェアを構成するプログラムが、専用のハードウェアに組み込まれているコンピュータ、または、各種のプログラムをインストールすることで、各種の機能を実行させることが可能な、例えば汎用のパーソナルコンピュータなどに記録媒体からインストールされる。
【０２４６】
図４３は、図２の強調処理装置１１の電気的な内部構成をソフトウェアにより実現する場合のパーソナルコンピュータの一実施の形態の構成を示している。パーソナルコンピュータのCPU２０１は、パーソナルコンピュータの全体の動作を制御する。また、CPU２０１は、バス２０４および入出力インタフェース２０５を介してユーザからキーボードやマウスなどからなる入力部２０６から指令が入力されると、それに対応してROM(Read Only Memory)２０２に格納されているプログラムを実行する。あるいはまた、CPU２０１は、ドライブ２１０に接続された磁気ディスク２２１、光ディスク２２２、光磁気ディスク２２３、または半導体メモリ２２４から読み出され、記憶部２０８にインストールされたプログラムを、RAM(Random Access Memory)２０３にロードして実行する。これにより、上述した図２の強調処理装置１１の機能が、ソフトウェアにより実現されている。さらに、CPU２０１は、通信部２０９を制御して、外部と通信し、データの授受を実行する。
【０２４７】
プログラムが記録されている記録媒体は、図４３に示すように、コンピュータとは別に、ユーザにプログラムを提供するために配布される、プログラムが記録されている磁気ディスク２２１（フレキシブルディスクを含む）、光ディスク２２２（CD-ROM(Compact Disc-Read Only Memory)，DVD（Digital Versatile Disk）を含む）、光磁気ディスク２２３（MD（Mini-Disc）を含む）、もしくは半導体メモリ２２４などよりなるパッケージメディアにより構成されるだけでなく、コンピュータに予め組み込まれた状態でユーザに提供される、プログラムが記録されているROM２０２や、記憶部２０８に含まれるハードディスクなどで構成される。
【０２４８】
尚、本明細書において、記録媒体に記録されるプログラムを記述するステップは、記載された順序に沿って時系列的に行われる処理は、もちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理を含むものである。
【図面の簡単な説明】
【０２４９】
【図１】図１のεフィルタの問題点を説明するための図である。
【図２】本発明を適用した強調処理装置の一実施の形態の構成を示すブロック図である。
【図３】図２の水平方向平滑化処理部の構成を示すブロック図である。
【図４】図２の垂直方向平滑化処理部の構成を示すブロック図である。
【図５】図３の非線形平滑化処理部の構成を示すブロック図である。
【図６】図３の閾値設定部の構成を示すブロック図である。
【図７】画像強調処理を説明するフローチャートである。
【図８】図２の画像強調装置による水平方向平滑化処理を説明するフローチャートである。
【図９】図２の画像強調装置による水平方向平滑化処理を説明する図である。
【図１０】図６の閾値設定部による閾値設定処理を説明するフローチャートである。
【図１１】図２の画像強調装置による非線形平滑化処理を説明するフローチャートである。
【図１２】図２の画像強調装置による微小エッジ判定処理を説明するフローチャートである。
【図１３】図２の画像強調装置による微小エッジ判定処理を説明する図である。
【図１４】図２の画像強調装置による微小エッジ判定処理を説明する図である。
【図１５】図２の画像強調装置による微小エッジ判定処理を説明する図である。
【図１６】図２の画像強調装置による重みの設定方法のその他の方法を説明する図である。
【図１７】図６の閾値設定処理により設定される閾値による平滑化の効果を説明する図である。
【図１８】図６の閾値設定処理により設定される閾値による平滑化の効果を説明する図である。
【図１９】図２の画像強調装置による垂直方向平滑化処理を説明する図である。
【図２０】図３の閾値設定部のその他の構成を示すブロック図である。
【図２１】図２０の閾値設定部による閾値設定処理を説明するフローチャートである。
【図２２】図３の閾値設定部のさらにその他の構成を示すブロック図である。
【図２３】図２２の閾値設定部による閾値設定処理を説明するフローチャートである。
【図２４】図２２の閾値設定部による閾値設定処理による効果を説明する図である。
【図２５】図３の閾値設定部のさらにその他の構成を示すブロック図である。
【図２６】図２５の閾値設定部による閾値設定処理を説明するフローチャートである。
【図２７】図２の水平方向平滑化処理部のその他の構成を示すブロック図である。
【図２８】図２７の閾値設定部の構成を示すブロック図である。
【図２９】図２７の閾値設定部の構成を説明する図である。
【図３０】図２７の閾値設定部による閾値設定処理を説明するフローチャートである。
【図３１】図２７の閾値設定部のその他の構成を示すブロック図である。
【図３２】図３１の閾値設定部による閾値設定処理を説明するフローチャートである。
【図３３】図３１の閾値設定部による閾値設定処理を説明する図である。
【図３４】図２の垂直方向平滑化処理部のその他の構成を示すブロック図である。
【図３５】図２の水平方向平滑化処理部のその他の構成を示すブロック図である。
【図３６】図３５の非線形平滑化処理部の構成を示すブロック図である。
【図３７】図３６の非線形平滑化処理部を備えた画像強調装置による非線形平滑化処理を説明するフローチャートである。
【図３８】図３５の非線形平滑化処理部のその他の構成を示すブロック図である。
【図３９】図３８の非線形平滑化処理部を備えた画像強調装置による非線形平滑化処理を説明するフローチャートである。
【図４０】図２の垂直方向平滑化処理部のその他の構成を示すブロック図である。
【図４１】図２の水平方向平滑化処理部のさらにその他の構成を示すブロック図である。
【図４２】図２の垂直方向平滑化処理部のさらにその他の構成を示すブロック図である。
【図４３】媒体を説明する図である。
【符号の説明】
【０２５０】
１１  強調処理装置，  ２２  水平方向平滑化処理部，  ２４  垂直方向平滑化処理部，  ３１  水平処理方向成分画素抽出部，  ３２  非線形平滑化処理部，  ３３  混合部，  ３４  垂直参照方向成分画素抽出部，  ３５  Flatレート計算部，  ３６  閾値設定部，  ４１  垂直処理方向成分画素抽出部，  ４２  非線形平滑化処理部，  ４３  混合部，  ４４  水平参照方向成分画素抽出部，  ４５  Flatレート計算部，  ４６  閾値設定部，  ５１  非線形フィルタ，  ５２  混合部，  ５３  混合比検出部，  ６１  LPF，  ６２  制御信号発生部，  ７１  差分絶対値算出部，  ７２  閾値決定部，  ８１  最大値抽出部，  ８２  最小値抽出部，  ８３  閾値決定部，  ９１  最大値抽出部，  ９２  最小値抽出部，  ９３  差分絶対値算出部，  ９４  最大値抽出部，  ９５  最小値抽出部，  ９６  差分絶対値算出部，  ９７  閾値決定部，  １１１  第１方向差分絶対値算出部，  １１２  第２方向差分絶対値算出部，  １１３  閾値決定部，  １２１  閾値設定部，  １３１−１乃至１３１−８  ブロック差分絶対値算出部，  １３２  閾値決定部，  １４１  差分絶対値算出部，  １４２  ヒストグラム生成部，  １４３  閾値決定部，  １５１  閾値設定部，  １６１  非線形平滑化処理部，  １７１  制御信号発生部，  １８１  混合比検出部，  １９１  非線形平滑化処理部
【図１】
2007128206.tif 000003
【図２】
2007128206.tif 000004
【図３】
2007128206.tif 000005
【図４】
2007128206.tif 000006
【図５】
2007128206.tif 000007
【図６】
2007128206.tif 000008
【図７】
2007128206.tif 000009
【図８】
2007128206.tif 000010
【図９】
2007128206.tif 000011
【図１０】
2007128206.tif 000012
【図１１】
2007128206.tif 000013
【図１２】
2007128206.tif 000014
【図１３】
2007128206.tif 000015
【図１４】
2007128206.tif 000016
【図１５】
2007128206.tif 000017
【図１６】
2007128206.tif 000018
【図１７】
2007128206.tif 000019
【図１８】
2007128206.tif 000020
【図１９】
2007128206.tif 000021
【図２０】
2007128206.tif 000022
【図２１】
2007128206.tif 000023
【図２２】
2007128206.tif 000024
【図２３】
2007128206.tif 000025
【図２４】
2007128206.tif 000026
【図２５】
2007128206.tif 000027
【図２６】
2007128206.tif 000028
【図２７】
2007128206.tif 000029
【図２８】
2007128206.tif 000030
【図２９】
2007128206.tif 000031
【図３０】
2007128206.tif 000032
【図３１】
2007128206.tif 000033
【図３２】
2007128206.tif 000034
【図３３】
2007128206.tif 000035
【図３４】
2007128206.tif 000036
【図３５】
2007128206.tif 000037
【図３６】
2007128206.tif 000038
【図３７】
2007128206.tif 000039
【図３８】
2007128206.tif 000040
【図３９】
2007128206.tif 000041
【図４０】
2007128206.tif 000042
【図４１】
2007128206.tif 000043
【図４２】
2007128206.tif 000044
【図４３】
2007128206.tif 000045