(57)【要約】【課題】  エッジ以外の部分を平滑化する際、画素の連続性や相関性を損なうことなく、エッジ以外の部分を平滑化する。【解決手段】  水平処理方向成分画素抽出部３１は、入力された画像信号SIの注目画素と、その水平処理方向成分画素を抽出する。垂直処理方向成分画素抽出部３４が、入力された画像信号SIの注目画素と、その垂直処理方向成分画素を抽出する。非線形平滑化処理部３２は、水平処理方向成分画素を用いて、注目画素を水平方向に非線形平滑化処理し、画像信号SF-Hを生成する。Flatレート計算部３５は、垂直処理方向成分画素を用いて、注目画素の垂直方向のFlatレートを計算する。混合部３３は、入力された画像信号SIと水平方向に非線形平滑化処理された画像信号SF-Hとを、Flatレートを用いて混合し、注目画素に水平方向平滑化処理を行った画像信号SNL-Hを出力する。【選択図】  図１２
2005340900.tif 000002
【特許請求の範囲】
【請求項１】
連続的に配置されている信号のレベルを調整する信号処理装置において、
連続的に配置されている前記信号を、順次、注目信号に指定する指定手段と、
前記指定手段によって指定された前記注目信号を基準として、第１の方向に連続的に配置されている前記信号のなかから複数の近傍信号を処理信号として抽出する処理信号抽出手段と、
前記注目信号と各処理信号との差分である処理差分と、第１の閾値との比較結果に基づいて、前記注目信号と前記複数の処理信号を加重平均して平滑化信号を演算する演算手段と、
前記処理差分と前記第１の閾値よりも小さな第２の閾値との比較結果に基づいて、前記平滑化信号と前記注目信号との第１の混合比を計算する第１の混合比計算手段と、
前記第１の混合比計算手段により計算された前記第１の混合比に基づいて、前記平滑化信号、および、前記注目信号を混合し、第１の混合信号を生成する第１の混合手段と、
前記指定手段によって指定された前記注目信号を基準として、第２の方向に連続的に配置されている前記信号のなかから複数の近傍信号を参照信号として抽出する参照信号抽出手段と、
前記注目信号と各参照信号との差分である参照差分に基づいて、前記混合信号と前記注目信号との第２の混合比を計算する第２の混合比計算手段と、
前記第２の混合比計算手段により計算された前記第２の混合比に基づいて、前記第１の混合信号、および、前記注目信号を混合し、第２の混合信号を生成する第２の混合手段と
を含むことを特徴とする信号処理装置。
【請求項２】
前記信号は、画像を構成する画素の画素値である
ことを特徴とする請求項１に記載の信号処理装置。
【請求項３】
連続的に配置されている信号のレベルを調整する信号処理方法において、
連続的に配置されている前記信号を、順次、注目信号に指定する指定ステップと、
前記指定ステップの処理で指定された前記注目信号を基準として、第１の方向に連続的に配置されている前記信号のなかから複数の近傍信号を処理信号として抽出する処理信号抽出ステップと、
前記注目信号と各処理信号との差分である処理差分と、第１の閾値との比較結果に基づいて、前記注目信号と前記複数の処理信号を加重平均して平滑化信号を演算する演算ステップと、
前記処理差分と前記第１の閾値よりも小さな第２の閾値との比較結果に基づいて、前記平滑化信号と前記注目信号との第１の混合比を計算する第１の混合比計算ステップと、
前記第１の混合比計算ステップの処理で計算された前記第１の混合比に基づいて、前記平滑化信号、および、前記注目信号を混合し、第１の混合信号を生成する第１の混合ステップと、
前記指定ステップの処理で指定された前記注目信号を基準として、第２の方向に連続的に配置されている前記信号のなかから複数の近傍信号を参照信号として抽出する参照信号抽出ステップと、
前記注目信号と各参照信号との差分である参照差分に基づいて、前記混合信号と前記注目信号との第２の混合比を計算する第２の混合比計算ステップと、
前記第２の混合比計算ステップの処理で計算された前記第２の混合比に基づいて、前記第１の混合信号、および、前記注目信号を混合し、第２の混合信号を生成する第２の混合ステップと
を含むことを特徴とする信号処理方法。
【請求項４】
連続的に配置されている信号のレベルを調整するためのプログラムであって、
連続的に配置されている前記信号を、順次、注目信号に指定する処理を制御する指定制御ステップと、
前記指定制御ステップの処理で指定された前記注目信号を基準とした、第１の方向に連続的に配置されている前記信号のなかから複数の近傍信号の処理信号としての抽出を制御する処理信号抽出制御ステップと、
前記注目信号と各処理信号との差分である処理差分と、第１の閾値との比較結果に基づいた、前記注目信号と前記複数の処理信号を加重平均した平滑化信号の演算を制御する演算制御ステップと、
前記処理差分と前記第１の閾値よりも小さな第２の閾値との比較結果に基づいた、前記平滑化信号と前記注目信号との第１の混合比の計算を制御する第１の混合比計算制御ステップと、
前記第１の混合比計算制御ステップの処理で計算された前記第１の混合比に基づいた、前記平滑化信号、および、前記注目信号の混合による、第１の混合信号の生成を制御する第１の混合制御ステップと、
前記指定制御ステップの処理で指定された前記注目信号を基準とした、第２の方向に連続的に配置されている前記信号のなかから複数の近傍信号の参照信号としての抽出を制御する参照信号抽出制御ステップと、
前記注目信号と各参照信号との差分である参照差分に基づいた、前記混合信号と前記注目信号との第２の混合比の計算を制御する第２の混合比計算制御ステップと、
前記第２の混合比計算制御ステップの処理で計算された前記第２の混合比に基づいた、前記第１の混合信号、および、前記注目信号の混合による、第２の混合信号の生成を制御する第２の混合制御ステップと
を含むことを特徴とするコンピュータが読み取り可能なプログラムが記録されている記録媒体。
【請求項５】
連続的に配置されている信号のレベルを調整するためのプログラムであって、
連続的に配置されている前記信号を、順次、注目信号に指定する処理を制御する指定制御ステップと、
前記指定制御ステップの処理で指定された前記注目信号を基準とした、第１の方向に連続的に配置されている前記信号のなかから複数の近傍信号の処理信号としての抽出を制御する処理信号抽出制御ステップと、
前記注目信号と各処理信号との差分である処理差分と、第１の閾値との比較結果に基づいた、前記注目信号と前記複数の処理信号を加重平均した平滑化信号の演算を制御する演算制御ステップと、
前記処理差分と前記第１の閾値よりも小さな第２の閾値との比較結果に基づいた、前記平滑化信号と前記注目信号との第１の混合比の計算を制御する第１の混合比計算制御ステップと、
前記第１の混合比計算制御ステップの処理で計算された前記第１の混合比に基づいた、前記平滑化信号、および、前記注目信号の混合による、第１の混合信号の生成を制御する第１の混合制御ステップと、
前記指定制御ステップの処理で指定された前記注目信号を基準とした、第２の方向に連続的に配置されている前記信号のなかから複数の近傍信号の参照信号としての抽出を制御する参照信号抽出制御ステップと、
前記注目信号と各参照信号との差分である参照差分に基づいた、前記混合信号と前記注目信号との第２の混合比の計算を制御する第２の混合比計算制御ステップと、
前記第２の混合比計算制御ステップの処理で計算された前記第２の混合比に基づいた、前記第１の混合信号、および、前記注目信号の混合による、第２の混合信号の生成を制御する第２の混合制御ステップと
を含む処理をコンピュータに実行させることを特徴とするプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、信号処理装置および方法、記録媒体、並びにプログラムに関し、特に、画像を構成する画素の急峻なエッジを保持したままで、当該エッジ以外の部分を平滑化する際、画素の連続性や相関性を損なうことなく、当該エッジ以外の部分を平滑化できるようにした信号処理装置および方法、記録媒体、並びにプログラムに関する。
【背景技術】
【０００２】
従来、ビデオカメラにおいては、CCD(Charge Coupled Device)，CMOS（Complementary Metal-Oxide Semiconductor）などの撮像素子により撮像された画像のコントラスト（明暗の差）および鮮鋭度（境界の明確さ）を向上させる方法として、階調変換によるコントラスト強調方法や画像中の高域成分のコントラストを強調する高域成分強調方法が考えられている。
【０００３】
コントラスト強調方法としては、画像の各画素に対して、その画素レベルを所定の入出力関係を持つ関数（以下、これをレベル変換関数と称する）で変換するトーンカーブ調整や、画素レベルの頻度分布に応じてレベル変換関数を適応的に変化させるヒストグラムイコライゼーションと呼ばれる方法が提案されている。
【０００４】
高域成分強調方法としては、画像からエッジを抽出し、抽出したエッジを強調するいわゆる輪郭強調を行うアンシャープマスクと呼ばれる方法が提案されている。
【０００５】
しかしながら、コントラスト強調方法においては、画像の全ダイナミックレンジ（最大レベルと最小レベルの差）のうち一部の輝度域しかコントラストを向上させることができない問題があることに加えて、トーンカーブ調整の場合には画像の最明部と最暗部において、またヒストグラムイコライゼーションの場合には頻度分布の少ない輝度域付近において、逆にコントラストが低下するという問題があった。さらに高域成分強調方法においては、画像の高域成分のコントラストのみが強調され、これにより画像のエッジ付近が不自然に強調され、画質が劣化してしまうという問題点があった。
【０００６】
そこで、従来、図１に示すように構成される画像信号処理装置により、入力画像データのうち画素値の変化が急峻なエッジを保存した状態で、そのエッジ以外の部分を増幅することにより、エッジ以外の部分を強調する方法が存在する（例えば、特許文献１）。
【０００７】
図１に示された画像信号処理装置において、入力された画像信号（画素値）は、εフィルタ１、および減算部２に入力される。εフィルタ１は、所定の閾値ε1よりも大きいエッジ、例えば、図２Ａに示されるような急峻なエッジを挟んで僅かに変動する画像信号が入力された場合、図２Ｂに示されるようなエッジのみが抽出された画像信号に変換して、減算部２および加算部４に出力する。
【０００８】
εフィルタ１の具体的な処理について、図３および図４を参照して説明する。εフィルタ１は、入力画像の各画素を順次、注目画素Ｃに決定し、図３に示すように、注目画素Ｃを中心として水平方向に連続する複数の近傍画素（いまの場合、４画素Ｌ２，Ｌ１，Ｒ１，Ｒ２）からなるタップを設定し、次式（１）のように、注目画素Ｃおよび複数の近傍画素の画素値を、タップ係数（例えば、｛１，２，３，２，１｝）を用いて加重平均して、注目画素Ｃに対応する変換結果Ｃ’として出力する。
Ｃ’＝（１×Ｌ２＋２×Ｌ１＋３×Ｃ＋２×Ｒ１＋１×Ｒ２）／９
・・・（１）
【０００９】
ただし、図４に示すように、注目画素Ｃの画素値との差分が、所定の閾値ε1よりも大きい近傍画素（図４の場合、近傍画素Ｒ２）については、画素値を注目画素Ｃのものと置換して計算するようにする。すなわち、図４の場合、次式（２）が計算される。
Ｃ’＝（１×Ｌ２＋２×Ｌ１＋３×Ｃ＋２×Ｒ１＋１×Ｃ）／９
・・・（２）
【００１０】
尚、εフィルタ１により平滑化された画像信号は、特に、画像信号の構造成分とも称される。
【００１１】
図１に戻る。減算部２は、前段から入力される画像信号（εフィルタ１に対する入力と同一のもの）から、εフィルタ１から入力される画像信号を減算することにより、画像信号の構造成分以外の僅かに変動している画像信号を抽出して増幅部３に出力する。増幅部３は、減算部２の出力を増幅して加算部４に出力する。尚、構造成分以外の僅かに変動している画像信号の成分は、特に、画像信号の振幅成分とも称される。加算部４は、増幅部３から出力される構造成分以外の部分が増幅されている画像信号と、εフィルタ１から入力される画像信号の構造成分を加算する。この加算結果が、急峻なエッジが保持された状態で、そのエッジ以外の部分が増幅されている画像信号となっている。
【００１２】
ところで、図１に示された画像信号処理装置のεフィルタ１では、例えば、図５に示されるように、画素値の変化に急峻なエッジが存在しても、そのサイズが所定の閾値ε1よりも小さい場合、εフィルタ１から出力される変換後の画像信号は、図６に示すように平滑化されてしまい、急峻なエッジがなくなってしまうので、特に微小なエッジで構成された単純なパターン画像等で著しく画質の劣化が生じてしまうという課題があった。
【００１３】
そこで、連続的に配置されている信号を、順次、注目信号に指定し、指定された注目信号を基準として、連続的に水平方向、または、垂直方向に配置されている信号のなかから複数の近傍信号を決定し、注目信号と各近傍信号との差分を演算し、差分が第１の閾値より小さい近傍信号と、注目信号とを加重平均して平滑化信号を演算し、注目信号と各近傍信号との差分を演算し、差分と第１の閾値よりも小さな第２の閾値と比較して、第２の閾値よりも大きな値があるか否かにより、注目信号の近傍に微小エッジが存在するか否かを判定し、判定結果に基づいて、平滑化信号または注目信号の一方を選択することが提案されている。
【００１４】
【特許文献１】特開２００１−２９８６２１号公報
【発明の開示】
【発明が解決しようとする課題】
【００１５】
しかしながら、以上の手法では、水平方向または垂直方向の方向成分に対して独立に処理がなされることになるため、適切な構造成分の抽出が困難となる場合がある。例えば、図７で示されるような画像のように、横方向の太線（右上がりの斜線の領域）上に縦方向の太線（左上がりの斜線の領域）が入った画像などである。すなわち、図７のような画像の信号に水平方向に独立で上述したような、非線形平滑化処理を行った場合（注目画素を注目画素に対して水平方向に隣接する画素からなる信号を用いて非線形平滑化処理した場合）、例えば、破線Line1においては、注目画素が図８中のバツ印で示されているとすると、画素値の変化は、図８で示されるようなものとなる。すなわち、図８の左部においては、縦方向の太線の部分では近傍画素との画素値の差が閾値ε1内に収まらないので、図８右上部で示される構造成分として扱われる結果、平滑化処理が施されないことになる。従って、縦方向の太線上の画素の画素値は変化しないことになる。尚、図８右下部は、入力信号の振幅成分を示しており、振幅成分と構造成分の和が入力された画像信号である。
【００１６】
これに対して、破線Line2においては、縦方向の太線の部分は、図９の左部で示されるように、近傍の画素（横方向の太線上の画素）との画素値の差が閾値ε1内に収まることになるので、図９右下部で示される振幅成分として扱われることにより、平滑化処理が施されることになる。従って、縦方向の太線上の画素の画素値は変化する。このため、本来は、画素値が一定であるはずの縦方向の太線上の画素の画素値が横方向の画素の画素値により、余分な画素値の変動が生じてしまう結果、図１０で示される格子状の領域は、縦方向の同一の画素値からなる太線として示されているべきはずであるにもかかわらず、若干黒めに強調されてしまうという課題があった。尚、図９右上部は、入力された画像信号の構造成分を示している。
【００１７】
本発明はこのような状況に鑑みてなされたものであり、特に、画像を構成する画素の急峻なエッジを保持したままで、当該エッジ以外の部分を平滑化する際、画素の連続性や相関性を損なうことなく、当該エッジ以外の部分を平滑化できるようにするものである。
【課題を解決するための手段】
【００１８】
本発明の信号処理装置は、連続的に配置されている信号を、順次、注目信号に指定する指定手段と、指定手段によって指定された注目信号を基準として、第１の方向に連続的に配置されている信号のなかから複数の近傍信号を処理信号として抽出する処理信号抽出手段と、注目信号と各処理信号との差分である処理差分と、第１の閾値との比較結果に基づいて、注目信号と複数の処理信号を加重平均して平滑化信号を演算する演算手段と、処理差分と第１の閾値よりも小さな第２の閾値との比較結果に基づいて、平滑化信号と注目信号との第１の混合比を計算する第１の混合比計算手段と、第１の混合比計算手段により計算された第１の混合比に基づいて、平滑化信号、および、注目信号を混合し、第１の混合信号を生成する第１の混合手段と、指定手段によって指定された注目信号を基準として、第２の方向に連続的に配置されている信号のなかから複数の近傍信号を参照信号として抽出する参照信号抽出手段と、注目信号と各参照信号との差分である参照差分に基づいて、混合信号と注目信号との第２の混合比を計算する第２の混合比計算手段と、第２の混合比計算手段により計算された第２の混合比に基づいて、第１の混合信号、および、注目信号を混合し、第２の混合信号を生成する第２の混合手段とを含むことを特徴とする。
【００１９】
前記信号は、画像を構成する画素の画素値とするようにすることができる。
【００２０】
本発明の信号処理方法は、連続的に配置されている信号を、順次、注目信号に指定する指定ステップと、指定ステップの処理で指定された注目信号を基準として、第１の方向に連続的に配置されている信号のなかから複数の近傍信号を処理信号として抽出する処理信号抽出ステップと、注目信号と各処理信号との差分である処理差分と、第１の閾値との比較結果に基づいて、注目信号と複数の処理信号を加重平均して平滑化信号を演算する演算ステップと、処理差分と第１の閾値よりも小さな第２の閾値との比較結果に基づいて、平滑化信号と注目信号との第１の混合比を計算する第１の混合比計算ステップと、第１の混合比計算ステップの処理で計算された第１の混合比に基づいて、平滑化信号、および、注目信号を混合し、第１の混合信号を生成する第１の混合ステップと、指定ステップの処理で指定された注目信号を基準として、第２の方向に連続的に配置されている信号のなかから複数の近傍信号を参照信号として抽出する参照信号抽出ステップと、注目信号と各参照信号との差分である参照差分に基づいて、混合信号と注目信号との第２の混合比を計算する第２の混合比計算ステップと、第２の混合比計算ステップの処理で計算された第２の混合比に基づいて、第１の混合信号、および、注目信号を混合し、第２の混合信号を生成する第２の混合ステップとを含むことを特徴とする。
【００２１】
本発明の記録媒体のプログラムは、連続的に配置されている信号を、順次、注目信号に指定する処理を制御する指定制御ステップと、指定制御ステップの処理で指定された注目信号を基準とした、第１の方向に連続的に配置されている信号のなかから複数の近傍信号の処理信号としての抽出を制御する処理信号抽出制御ステップと、注目信号と各処理信号との差分である処理差分と、第１の閾値との比較結果に基づいた、注目信号と複数の処理信号を加重平均した平滑化信号の演算を制御する演算制御ステップと、処理差分と第１の閾値よりも小さな第２の閾値との比較結果に基づいた、平滑化信号と注目信号との第１の混合比の計算を制御する第１の混合比計算制御ステップと、第１の混合比計算制御ステップの処理で計算された第１の混合比に基づいた、平滑化信号、および、注目信号の混合による、第１の混合信号の生成を制御する第１の混合制御ステップと、指定制御ステップの処理で指定された注目信号を基準とした、第２の方向に連続的に配置されている信号のなかから複数の近傍信号の参照信号としての抽出を制御する参照信号抽出制御ステップと、注目信号と各参照信号との差分である参照差分に基づいた、混合信号と注目信号との第２の混合比の計算を制御する第２の混合比計算制御ステップと、第２の混合比計算制御ステップの処理で計算された第２の混合比に基づいた、第１の混合信号、および、注目信号の混合による、第２の混合信号の生成を制御する第２の混合制御ステップとを含むことを特徴とする。
【００２２】
本発明のプログラムは、連続的に配置されている信号を、順次、注目信号に指定する処理を制御する指定制御ステップと、指定制御ステップの処理で指定された注目信号を基準とした、第１の方向に連続的に配置されている信号のなかから複数の近傍信号の処理信号としての抽出を制御する処理信号抽出制御ステップと、注目信号と各処理信号との差分である処理差分と、第１の閾値との比較結果に基づいた、注目信号と複数の処理信号を加重平均した平滑化信号の演算を制御する演算制御ステップと、処理差分と第１の閾値よりも小さな第２の閾値との比較結果に基づいた、平滑化信号と注目信号との第１の混合比の計算を制御する第１の混合比計算制御ステップと、第１の混合比計算制御ステップの処理で計算された第１の混合比に基づいた、平滑化信号、および、注目信号の混合による、第１の混合信号の生成を制御する第１の混合制御ステップと、指定制御ステップの処理で指定された注目信号を基準とした、第２の方向に連続的に配置されている信号のなかから複数の近傍信号の参照信号としての抽出を制御する参照信号抽出制御ステップと、注目信号と各参照信号との差分である参照差分に基づいた、混合信号と注目信号との第２の混合比の計算を制御する第２の混合比計算制御ステップと、第２の混合比計算制御ステップの処理で計算された第２の混合比に基づいた、第１の混合信号、および、注目信号の混合による、第２の混合信号の生成を制御する第２の混合制御ステップとを含む処理をコンピュータに実行させることを特徴とする。
【００２３】
本発明の信号処理装置および方法、並びにプログラムにおいては、連続的に配置されている信号が、順次、注目信号に指定され、指定された注目信号を基準として、第１の方向に連続的に配置されている信号のなかから複数の近傍信号が処理信号として抽出され、注目信号と各処理信号との差分である処理差分と、第１の閾値との比較結果に基づいて、注目信号と複数の処理信号が加重平均されて平滑化信号が演算され、処理差分と第１の閾値よりも小さな第２の閾値との比較結果に基づいて、平滑化信号と注目信号との第１の混合比が計算され、計算された第１の混合比に基づいて、平滑化信号、および、注目信号が混合され、第１の混合信号が生成され、指定された注目信号を基準として、第２の方向に連続的に配置されている信号のなかから複数の近傍信号が参照信号として抽出され、注目信号と各参照信号との差分である参照差分に基づいて、混合信号と注目信号との第２の混合比が計算され、計算された第２の混合比に基づいて、第１の混合信号、および、注目信号が混合され、第２の混合信号が生成される。
【００２４】
本発明の信号処理装置は、独立した装置であっても良いし、信号処理を行うブロックであっても良い。
【発明の効果】
【００２５】
本発明によれば、画像を構成する画素の急峻なエッジを保持したままで、エッジ以外の部分を平滑化する際、画素の連続性や相関性を損なうことなく、エッジ以外の部分を平滑化することが可能となる。
【発明を実施するための最良の形態】
【００２６】
以下に本発明の実施の形態を説明するが、本明細書に記載の発明と、発明の実施の形態との対応関係を例示すると、次のようになる。この記載は、本明細書に記載されている発明をサポートする実施の形態が本明細書に記載されていることを確認するためのものである。従って、発明の実施の形態中には記載されているが、発明に対応するものとして、ここには記載されていない実施の形態があったとしても、そのことは、その実施の形態が、その発明に対応するものではないことを意味するものではない。逆に、実施の形態が発明に対応するものとしてここに記載されていたとしても、そのことは、その実施の形態が、その発明以外の発明には対応しないものであることを意味するものでもない。
【００２７】
さらに、この記載は、本明細書に記載されている発明の全てを意味するものではない。換言すれば、この記載は、本明細書に記載されている発明であって、この出願では請求されていない発明の存在、すなわち、将来、分割出願されたり、補正により出現、追加される発明の存在を否定するものではない。
【００２８】
即ち、本発明の信号処理装置は、連続的に配置されている信号を、順次、注目信号に指定する指定手段（例えば、図１２の水平方向平滑化処理部２２）と、指定手段によって指定された注目信号を基準として、第１の方向に連続的に配置されている信号のなかから複数の近傍信号を処理信号として抽出する処理信号抽出手段（例えば、図１２の水平処理方向成分画素抽出部３１）と、注目信号と各処理信号との差分である処理差分と、第１の閾値との比較結果に基づいて、注目信号と複数の処理信号を加重平均して平滑化信号を演算する演算手段（例えば、図１４の非線形フィルタ５１）と、処理差分と第１の閾値よりも小さな第２の閾値との比較結果に基づいて、平滑化信号と注目信号との第１の混合比を計算する第１の混合比計算手段（例えば、図１４の混合比検出部５３）と、第１の混合比計算手段により計算された第１の混合比に基づいて、平滑化信号、および、注目信号を混合し、第１の混合信号を生成する第１の混合手段（例えば、図１４の混合部５２）と、指定手段によって指定された注目信号を基準として、第２の方向に連続的に配置されている信号のなかから複数の近傍信号を参照信号として抽出する参照信号抽出手段（例えば、図１２の垂直参照方向成分画素抽出部３４）と、注目信号と各参照信号との差分である参照差分に基づいて、混合信号と注目信号との第２の混合比を計算する第２の混合比計算手段（例えば、図１２のFlatレート計算部３５）と、第２の混合比計算手段により計算された第２の混合比に基づいて、第１の混合信号、および、注目信号を混合し、第２の混合信号を生成する第２の混合手段（例えば、図１２の混合部３３）とを含むことを特徴とする。
【００２９】
本発明の信号処理方法は、連続的に配置されている信号を、順次、注目信号に指定する指定ステップ（例えば、図１６のフローチャートのステップＳ１１の処理）と、指定ステップの処理で指定された注目信号を基準として、第１の方向に連続的に配置されている信号のなかから複数の近傍信号を処理信号として抽出する処理信号抽出ステップ（例えば、図１６のフローチャートのステップＳ１２の処理）と、注目信号と各処理信号との差分である処理差分と、第１の閾値との比較結果に基づいて、注目信号と複数の処理信号を加重平均して平滑化信号を演算する演算ステップ（例えば、図１８のフローチャートのステップＳ３２の処理）と、処理差分と第１の閾値よりも小さな第２の閾値との比較結果に基づいて、平滑化信号と注目信号との第１の混合比を計算する第１の混合比計算ステップ（例えば、図１８のフローチャートのステップＳ３３の処理）と、第１の混合比計算ステップの処理で計算された第１の混合比に基づいて、平滑化信号、および、注目信号を混合し、第１の混合信号を生成する第１の混合ステップ（例えば、図１８のフローチャートのステップＳ３６の処理）と、指定ステップの処理で指定された注目信号を基準として、第２の方向に連続的に配置されている信号のなかから複数の近傍信号を参照信号として抽出する参照信号抽出ステップ（例えば、図１６のフローチャートのステップＳ１３の処理）と、注目信号と各参照信号との差分である参照差分に基づいて、混合信号と注目信号との第２の混合比を計算する第２の混合比計算ステップ（例えば、図１６のフローチャートのステップＳ１６の処理）と、第２の混合比計算ステップの処理で計算された第２の混合比に基づいて、第１の混合信号、および、注目信号を混合し、第２の混合信号を生成する第２の混合ステップ（例えば、図１６のフローチャートのステップＳ１７の処理）とを含むことを特徴とする。
【００３０】
図１１は、本発明を適用した画像のエッジ部分を残しつつ、それ以外の領域のコントラストや鮮鋭度を強調し、さらに、処理方向に応じて生じる不自然な強調処理を抑制するようにした強調処理装置の一実施の形態の構成を示す図である。
【００３１】
バッファ２１は、入力されてくる画像信号を一時的に記憶し、後段の水平方向平滑化処理部２２に供給する。水平方向平滑化処理部２２は、注目画素に対して水平方向に配置される近傍の画素と注目画素を使用して、注目画素に対して水平方向に非線形平滑化処理を施し、バッファ２３に供給する。バッファ２３は、水平方向平滑化処理部２２より供給されてくる画像信号を一時的に記憶し、順次、垂直方向平滑化処理部２４に供給する。垂直方向平滑化処理部２４は、注目画素に対して垂直方向に配置される近傍の画素と注目画素を使用して、注目画素に対して非線形平滑化処理を施し、バッファ２５に供給する。バッファ２５は、垂直方向平滑化処理部２４より供給される、垂直方向に非線形平滑化された画素からなる画像信号を一時的に記憶し、後段の図示せぬ装置に出力する。
【００３２】
次に、図１２を参照して、水平方向平滑化処理部２２の詳細な構成について説明する。
【００３３】
水平処理方向成分画素抽出部３１は、バッファ２１に記憶されている画像信号の各画素より注目画素を順次設定すると共に、注目画素に対応する、非線形平滑化処理に必要な画素を抽出し、非線形平滑化処理部３２に出力する。より具体的には、水平処理方向成分画素抽出部３１は、注目画素に対して、水平方向に左右に隣接するそれぞれ２画素を水平処理方向成分画素として抽出し、抽出した４画素と注目画素のそれぞれの画素値を非線形平滑化処理部３２に供給する。尚、抽出する水平処理方向成分画素の画素数は、注目画素に対して左右に隣接する２画素ずつに限るものではなく、水平方向に隣接している画素であればよく、例えば、注目画素の左右に隣接する３画素ずつであってもよいし、さらには、注目画素に対して左方向に隣接する１画素と、右方向に隣接する３画素とするようにしても良い。
【００３４】
非線形平滑化処理部３２は、水平処理方向成分画素抽出部３１より供給された注目画素とその左右のそれぞれに隣接する２画素である水平処理方向成分画素とを用いて、注目画素を非線形平滑化処理し、混合部３３に供給する。尚、非線形平滑化処理部３２の構成については、図１４を参照して後述する。また、ここで、水平方向に非線形平滑化処理するとは、注目画素に対して水平方向に隣接する複数の画素により、注目画素を非線形平滑化する処理である。同様にして、後述する垂直方向に非線形平滑化処理するとは、注目画素に対して垂直方向に隣接する複数の画素により、注目画素を非線形平滑化する処理である。
【００３５】
垂直参照方向成分画素抽出部３４は、バッファ２１に記憶されている画像信号の各画素より注目画素を順次設定すると共に、注目画素に対応する、非線形平滑化処理に必要な画素が配置されている方向と異なる垂直方向に隣接する画素を抽出し、Flatレート計算部３５に出力する。より具体的には、垂直参照方向成分画素抽出部３４は、注目画素に対して、垂直方向の上下に隣接する２画素を垂直参照方向成分画素として抽出し、抽出した４画素と注目画素のそれぞれの画素値をFlatレート計算部３５に供給する。尚、抽出する垂直参照方向成分画素の画素数は、注目画素に対して上下に隣接する２画素ずつに限るものではなく、垂直方向に隣接している画素であればよく、例えば、注目画素の上下に隣接する３画素ずつであってもよいし、さらには、注目画素に対して上方向に隣接する１画素と、下方向に隣接する３画素とするようにしても良い。
【００３６】
Flatレート計算部３５は、垂直参照方向成分画素抽出部３４より供給されてくる注目画素と、垂直参照方向成分画素とのそれぞれの画素値の差分絶対値を求めて、その差分絶対値の最大値をFlatレートとして混合部３３に供給する。ここで、垂直方向のFlatレートは、注目画素と垂直参照方向成分画素との画素値の差分絶対値の変化を示したものであり、Flatレートが大きいとき、注目画素近傍の画素の画素値の変化が大きく、垂直方向に画素間の相関が小さい、平坦ではない画像（画素値の変化が大きいFlatではない画像）であることを示し、逆に、Flatレートが小さいとき、注目画素近傍の画素の画素値の変化が小さく、垂直方向に画素間の相関が大きい、平坦な画像（画素値の変化が小さいFlatな画像）であることを示している。
【００３７】
混合部３３は、Flatレート計算部３５より供給される垂直方向のFlatレートに基づいて、非線形平滑化処理された注目画素と、未処理の注目画素の画素値を混合し、水平方向平滑化処理された画素として後段のバッファ２３に出力する。
【００３８】
次に、図１３を参照して、垂直方向平滑化処理部２４の詳細な構成について説明する。
【００３９】
垂直方向平滑化処理部２４は、基本的に上述した水平方向平滑化処理部２２の構成における水平方向の処理と垂直方向の処理を入れ替えたものである。すなわち、垂直処理方向成分画素抽出部４１は、バッファ２３に記憶されている画像信号の各画素より注目画素を順次設定すると共に、注目画素に対応する、非線形平滑化処理に必要な画素を抽出し、非線形平滑化処理部４２に出力する。より具体的には、垂直処理方向成分画素抽出部４１は、注目画素に対して、垂直方向に上下に隣接するそれぞれ２画素からなる垂直処理方向成分画素を抽出し、抽出した４画素と注目画素のそれぞれの画素値を非線形平滑化処理部４２に供給する。尚、抽出する垂直処理方向成分画素の画素数は、注目画素に対して上下に隣接する２画素ずつに限るものではなく、垂直方向に隣接している画素であればよく、例えば、注目画素の上下に隣接する３画素ずつであってもよいし、さらには、注目画素に対して上方向に隣接する１画素と、下方向に隣接する３画素とするようにしても良い。
【００４０】
非線形平滑化処理部４２は、垂直処理方向成分画素抽出部４１より供給された注目画素とその上下のそれぞれに隣接する２画素である垂直処理方向成分画素とを用いて、注目画素を垂直方向に非線形平滑化処理し、混合部４３に供給する。非線形平滑化処理部４２の構成は、非線形平滑化処理部３２と同様の構成であり、その詳細については、図１４を参照して後述する。
【００４１】
水平参照方向成分画素抽出部４４は、バッファ２３に記憶されている画像信号の各画素より注目画素を順次設定すると共に、注目画素に対応する、非線形平滑化処理に必要な画素が配置されている方向と異なる水平方向に隣接する画素を抽出し、Flatレート計算部４５に出力する。より具体的には、水平参照方向成分画素抽出部４４は、注目画素に対して、水平方向の左右に隣接する２画素ずつを抽出し、抽出した４画素と注目画素のそれぞれの画素値をFlatレート計算部４５に供給する。尚、抽出する画素数は、注目画素に対して水平に隣接する２画素ずつに限るものではなく、水平方向に隣接している画素であればよく、例えば、注目画素の水平に隣接する３画素ずつであってもよいし、さらには、注目画素に対して左方向に隣接する１画素と、右方向に隣接する３画素とするようにしても良い。
【００４２】
Flatレート計算部４５は、水平参照方向成分画素抽出部４４より供給されてくる注目画素と、注目画素に対して左右のそれぞれに隣接する２画素のそれぞれの画素値の差分絶対値を求めて、その差分絶対値の最大値をFlatレートとして混合部４３に供給する。
【００４３】
混合部４３は、Flatレート計算部４５より供給される水平方向のFlatレートに基づいて、非線形平滑化処理された注目画素と、未処理の注目画素の画素値を混合し、水平方向平滑化処理された画素として後段のバッファ２５に出力する。
【００４４】
次に、図１４を参照して、非線形平滑化処理部３２の詳細な構成について説明する。
【００４５】
この非線形平滑化処理部３２の非線形フィルタ５１は、入力される画像信号ＳIを構成する画素の変動のうち、そのサイズが閾値ε1よりも大きい急峻なエッジを保持すると共に、エッジ以外の部分を平滑化し、平滑化した画像信号SLPF-Hを混合部５２に出力する。
【００４６】
混合比検出部５３は、入力される画像信号ＳIを構成する画素の変動の中の微小な変化に基づいて、混合比を計算し、混合部５２に供給する
【００４７】
混合部５２は、平滑化処理された画像信号SLPF-Hと平滑化されていない入力された画像信号SIを、混合比検出部５３より供給される混合比に基づいて、混合し、非線形平滑化された画像信号SF-Hとして出力する。
【００４８】
非線形フィルタ５１のLPF（Low Pass Filter）６１は、制御信号発生部６２より供給される制御信号に基づいて、注目画素と、その水平方向の左右に隣接する２画素である水平処理方向成分画素との画素値を用いて、注目画素を平滑化して、平滑化された画像信号SLPF-Hを混合部５２に出力する。制御信号発生部６２は、注目画素と、水平処理方向成分画素との画素値の差分絶対値を算出し、その算出結果に基づいてLPF６１を制御する制御信号を発生し、LPF６１に供給する。尚、非線形フィルタ５１としては、例えば、上述した従来のεフィルタ１を用いるようにしてもよい。
【００４９】
次に、図１５のフローチャートを参照して、図１１の強調処理装置１１による画像強調処理について説明する。
【００５０】
ステップＳ１において、水平方向平滑化処理部２２は、バッファ２１に、順次記憶されていく画像信号を用いて、水平方向平滑化処理を実行する。
【００５１】
ここで、図１６のフローチャートを参照して、水平方向平滑化処理部２２による水平方向平滑化処理について説明する。
【００５２】
ステップＳ１１において、水平方向平滑化処理部２２の水平処理方向成分画素抽出部３１は、ラスタスキャン順に注目画素を設定する。同時に、垂直参照方向成分画素抽出部３４も、同様にラスタスキャン順に注目画素を設定する。尚、注目画素の設定順序は、ラスタスキャン順以外の順序であってもよいが、水平処理方向成分画素抽出部３１により設定される注目画素と、垂直参照方向成分画素抽出部３４により設定される注目画素とが同一となるように設定される必要がある。
【００５３】
ステップＳ１２において、水平処理方向成分画素抽出部３１は、注目画素と共に、注目画素に対して水平方向（左右方向）に２画素ずつ隣接する近傍画素である水平処理方向成分画素からなる合計５画素の画素値をバッファ２１より抽出して非線形平滑化処理部３２に出力する。例えば、図１７で示されるような場合、画素Ｌ２，Ｌ１，Ｃ，Ｒ１，Ｒ２が、注目画素および水平処理方向成分画素として抽出される。尚、図１７においては、画素Ｃは、注目画素であり、画素Ｌ２，Ｌ１が、注目画素Ｃの左側に隣接する２画素の水平処理方向成分画素であり、画素Ｒ１，Ｒ２が注目画素Ｃの右側に隣接する２画素の水平処理方向成分画素である。
【００５４】
ステップＳ１３において、垂直参照方向成分画素抽出部３４は、注目画素と共に、注目画素に対して垂直方向（上下方向）に２画素ずつ隣接する近傍画素である垂直参照方向成分画素からなる合計５画素の画素値をバッファ２１より抽出してFlatレート計算部３５に出力する。例えば、図１７で示されるような場合、画素U２，U１，Ｃ，D１，D２が、注目画素および垂直参照方向成分画素として抽出される。尚、図１７においては、画素Ｃは、注目画素であり、画素U２，U１が、注目画素Ｃの上側に隣接する２画素の垂直参照方向成分画素であり、画素D１，D２が注目画素Ｃの下側に隣接する２画素の垂直参照方向成分画素である。
【００５５】
ステップＳ１４において、非線形平滑化処理部３２は、水平処理方向成分画素抽出部３１より供給された注目画素と水平処理方向成分画素に基づいて、注目画素に非線形平滑化処理を施す。
【００５６】
ここで、図１８のフローチャートを参照して、非線形平滑化処理部３２による非線形平滑化処理について説明する。
【００５７】
ステップＳ３１において、非線形フィルタ５１の制御信号発生部６２は、注目画素と、水平処理方向成分画素との画素値の差分絶対値を計算する。すなわち、図１７の場合、制御信号発生部６２は、注目画素Ｃと、水平方向に隣接する各近傍画素である水平処理方向成分画素Ｌ２，Ｌ１，Ｒ１，Ｒ２との画素値の差分絶対値｜Ｃ−Ｌ２｜，｜Ｃ−Ｌ１｜，｜Ｃ−Ｒ１｜，｜Ｃ−Ｒ２｜を計算する。
【００５８】
ステップＳ３２において、ローパスフィルタ６１は、制御信号発生部６２により計算された各差分絶対値と所定の閾値ε2と比較して、この比較結果に対応して、入力される画像信号ＳIに非線形フィルタリング処理を施す。より具体的には、ローパスフィルタ６１は、例えば、式（１）のように、注目画素Ｃおよび水平処理方向成分画素の画素値を、タップ係数を用いて加重平均して、注目画素Ｃに対応する変換結果Ｃ’を平滑化された画像信号SLPF-Hとして混合部５２に出力する。ただし、注目画素Ｃの画素値との差分絶対値が、所定の閾値ε2よりも大きい水平処理方向成分画素については、画素値を注目画素Ｃの画素値と置換して加重平均するようにする（例えば、式（２）で示されるように演算する）。
【００５９】
ステップＳ３３において、混合比検出部５３は、微小エッジ判定処理を実行し、微小なエッジが存在するか否かを判定する。
【００６０】
ここで、図１９のフローチャートを参照して、微小エッジ判定処理について説明する。
【００６１】
ステップＳ４１において、混合比検出部５３は、注目画素と、各水平処理方向成分画素との画素値の差分絶対値を算出し、各差分絶対値が全て、閾値ε3（≪ε2）よりも小さいか否かを判定し、その判定結果に基づいて、微小なエッジが存在するか否かを判定する。
【００６２】
すなわち、例えば、図１７で示したように、混合比検出部５３は、注目画素Ｃと、水平方向に隣接する各水平処理方向成分画素Ｌ２，Ｌ１，Ｒ１，Ｒ２との画素値の差分絶対値を算出し、各差分絶対値が全て、閾値ε3よりも小さいか否かを判定し、各差分絶対値が全て閾値ε3よりも小さいと判定した場合、近傍画素と注目画素との画素値に変化がないものとみなし、ステップＳ４４に進み、注目画素の近傍には、微小なエッジが存在しないものと判定する。
【００６３】
一方、ステップＳ４１において、算出された差分絶対値のうち、１つでも閾値ε3以上のものがあると判定された場合、ステップＳ４２に進み、混合比検出部５３は、注目画素の左右の一方側の水平処理方向成分画素と注目画素との差分絶対値が全て閾値ε3よりも小さく、かつ、注目画素の左右の他方側の水平処理方向成分画素と注目画素との差分絶対値が全て閾値ε3以上であって、かつ、注目画素の左右の他方側の水平処理方向成分画素と注目画素との各差分の正負が一致しているか否かを判定する。
【００６４】
すなわち、注目画素Ｃの左右の一方側の水平処理方向成分画素が、例えば、図１７の画素Ｌ２，Ｌ１であり、注目画素Ｃの左右の他方側の水平処理方向成分画素が、図１７の画素Ｒ２，Ｒ１である場合、混合比検出部５３は、注目画素Ｃの左右の一方側の水平処理方向成分画素と注目画素Ｃとの差分絶対値が全て閾値ε3よりも小さく、かつ、注目画素Ｃの左右の他方側の水平処理方向成分画素Ｒ１，Ｒ２と注目画素Ｃとの差分絶対値が全て閾値ε3以上であって、かつ、注目画素Ｃの左右の他方側の水平処理方向成分画素Ｒ１，Ｒ２と注目画素Ｃとの各差の正負が一致しているか否かを判定する。
【００６５】
例えば、上記の条件が満たされていると判定された場合、ステップＳ４３において、混合比検出部５３は、注目画素の近傍に、微小なエッジが存在すると判定する。
【００６６】
一方、ステップＳ４２において、上記条件を満たしていないと判定された場合、ステップＳ４４において、混合比検出部５３は、注目画素の近傍には、微小なエッジが存在しないと判定する。
【００６７】
例えば、注目画素Ｃと水平処理方向成分画素Ｌ２，Ｌ１，Ｒ１，Ｒ２の関係が図２０に示すような場合、注目画素Ｃと左側の水平処理方向成分画素Ｌ２，Ｌ１の差分絶対値｜Ｌ２−Ｃ｜，｜Ｌ１−Ｃ｜が閾値ε3よりも小さく、かつ、注目画素Ｃと右側の水平処理方向成分画素Ｒ１，Ｒ２の差分絶対値｜Ｒ１−Ｃ｜，｜Ｒ２−Ｃ｜が閾値ε3以上であり、かつ、注目画素Ｃと右側の水平処理方向成分画素Ｒ１，Ｒ２の差（Ｒ１−Ｃ），（Ｒ２−Ｃ）の符号が一致する（いまの場合、ともに正）ので、注目画素Ｃの近傍に微小なエッジが存在すると判定される。
【００６８】
また、例えば、注目画素Ｃと水平処理方向成分画素Ｌ２，Ｌ１，Ｒ１，Ｒ２の関係が図２１に示すような場合、注目画素Ｃと左側の水平処理方向成分画素Ｌ２，Ｌ１の差分絶対値｜Ｌ２−Ｃ｜，｜Ｌ１−Ｃ｜が閾値ε3よりも小さく、かつ、注目画素Ｃと右側の水平処理方向成分画素Ｒ１，Ｒ２の差分絶対値｜Ｒ１−Ｃ｜，｜Ｒ２−Ｃ｜が閾値ε3以上ではあるが、かつ、注目画素Ｃと右側の水平処理方向成分画素Ｒ１，Ｒ２の差（Ｒ１−Ｃ），（Ｒ２−Ｃ）の符号が一致しない（いまの場合、それぞれ正、負）ので、注目画素Ｃの近傍に微小なエッジが存在しないと判定される。
【００６９】
さらに、例えば、注目画素Ｃと水平処理方向成分画素Ｌ２，Ｌ１，Ｒ１，Ｒ２の関係が図２２に示すような場合、注目画素Ｃの左右いずれの側も、注目画素Ｃと水平処理方向成分画素の差分絶対値が全て閾値ε3よりも小さいわけではないので、注目画素Ｃの近傍に微小なエッジが存在しないと判定される。
【００７０】
このようにして、注目画素の近傍に微小なエッジが存在するか否かが判定された後、処理は図１８のステップＳ３４に戻る。
【００７１】
ステップＳ３３の処理が終了すると、ステップＳ３４において、混合比検出部５３は、ステップＳ３３における微小エッジ判定処理による判定結果が、「注目画素Ｃの近傍に微小なエッジが存在する」であるか否かを判定する。例えば、微小エッジ判定処理による判定結果が、「注目画素Ｃの近傍に微小なエッジが存在する」である場合、ステップＳ３５において、混合比検出部５３は、水平方向に非線形フィルタリング処理された画像信号SLPF-Hと入力された画像信号SIの混合比であるMixレートMr-Hを最大MixレートMr-H maxとして混合部５２に出力する。尚、最大MixレートMr-H maxは、MixレートMr-Hの最大値、すなわち、画素値のダイナミックレンジの最大値と最小値の差分絶対値である。
【００７２】
ステップＳ３６において、混合部５２は、混合比検出部５３より供給されるMixレートMr-Hに基づいて、入力される画像信号SIと非線形フィルタ５１により非線形平滑化処理された画像信号SLPF-Hとを混合し、非線形平滑化された画像信号SF-Hとしてバッファ２３に出力する。より詳細には、混合部５２は、以下の式（３）を演算して、入力される画像信号SIと非線形フィルタにより非線形平滑化された画像信号SLPF-Hとを混合する。
【００７３】
ＳF-H＝SI×Mr-H／Mr-H max＋SLPF-H×（１−Mr-H／Mr-H max）
・・・（３）
ここで、Mr-Hは、Mixレートであり、Mr-H maxは、MixレートMr-Hの最大値、すなわち、画素値の最大値と最小値の差分絶対値である。
【００７４】
式（３）で示されるように、MixレートMr-Hが大きければ、非線形フィルタ５１により処理された画像信号SLPF-Hの重みが小さくなり、入力された処理されていない画像信号SIの重みが大きくなる。逆に、MixレートMr-Hが小さければ、すなわち、水平方向に隣接する画素間の画素値の差分絶対値が小さいほど、非線形フィルタにより処理された画像信号SLPF-Hの重みが大きくなり、入力された処理されていない画像信号の重みが小さくなる。
【００７５】
従って、微小エッジが検出された場合、MixレートMr-Hは最大MixレートMr-H maxとなるので、実質的に入力された画像信号SIが、そのまま出力されることになる。
【００７６】
一方、ステップＳ３４において、「微小エッジが存在しない」と判定された場合、ステップＳ３７において、混合比検出部５３は、注目画素と、各水平処理方向成分画素との画素値の差分絶対値をそれぞれ計算し、計算した各差分絶対値のうちの最大値を混合比である、MixレートMr-Hとして求め、混合部５２に出力し、その処理は、ステップＳ３６に進む。
【００７７】
すなわち、図１７の場合、混合比検出部５３は、注目画素Ｃと、各水平処理方向成分画素Ｌ２，Ｌ１，Ｒ１，Ｒ２との画素値の差分絶対値｜Ｃ−Ｌ２｜，｜Ｃ−Ｌ１｜，｜Ｃ−Ｒ１｜，｜Ｃ−Ｒ２｜を計算し、計算した各差分絶対値のうちの最大値を混合比であるMixレートMr-Hとして求め、混合部５２に出力する。
【００７８】
すなわち、微小エッジが存在しない場合、注目画素と各水平処理方向成分画素との画素値の差分絶対値の最大値に応じて、非線形フィルタリング処理された画像信号SLPF-Hと、入力された画像信号SIとが混合されて、非線形平滑化処理された画像信号SF-Hが生成され、微小エッジが存在した場合、入力された画像信号SIがそのまま出力される。
【００７９】
結果として、非線形平滑化処理部３２においては、閾値ε3を基準として微小エッジが検出されることになるので、微小エッジが存在する部分については、非線形平滑化処理が施されないようにすると共に、エッジが存在しない部分についても、その差分絶対値の大きさに応じて非線形平滑化処理が施された画素値と、入力された画像信号とを混合するようにしたので、特に、微小なエッジで構成された単純なパターン画像等で著しく画質の劣化が生じてしまうという事態を抑止することが可能になる。
【００８０】
ここで、図１６のフローチャートの説明に戻る。
【００８１】
ステップＳ１５において、Flatレート計算部３５は、注目画素と、注目画素に対して垂直方向に隣接する各垂直参照方向成分画素との画素値の差分絶対値をそれぞれ計算する。すなわち、図１７の場合、Flatレート計算部３５は、注目画素Ｃと、垂直方向に隣接する各垂直参照方向成分画素U２，U１，D１，D２との画素値の差分絶対値｜Ｃ−U２｜，｜Ｃ−U１｜，｜Ｃ−D１｜，｜Ｃ−D２｜を計算する。
【００８２】
ステップＳ１６において、Flatレート計算部３５は、注目画素と、注目画素に対して垂直方向に隣接する各垂直参照方向成分画素との差分絶対値のうち、最大値となる差分絶対値を求めて、これをFlatレートFr-Vとして混合部３３に供給する。
【００８３】
ステップＳ１７において、混合部３３は、Flatレート計算部３５より供給されるFlatレートFr-Vに基づいて、入力される画像信号SIと非線形平滑化処理部３２により非線形平滑化処理された画像信号SF-Hとを混合し、水平処理平滑化処理された画像信号SNL-Hとしてバッファ２３に出力する。より詳細には、混合部３３は、以下の式（４）を演算して、入力される画像信号SIと非線形平滑化処理部３２により非線形平滑化処理された画像信号SF-Hとを混合する。
【００８４】
ＳNL-H＝SF-H×Fr-V／Fr-H max＋SI×（１−Fr-V／Fr-V max）
・・・（４）
ここで、Fr-Vは、垂直方向のFlatレートであり、Fr-V maxは、垂直方向のFlatレートFr-Vの最大値、すなわち、画素値のダイナミックレンジの最大値と最小値の差分絶対値である。FlatレートFr-Vは、垂直参照方向成分画素と注目画素との差分絶対値の最大値であるので、その値が小さいほど、注目画素と、注目画素に垂直方向に隣接する垂直参照方向成分画素の領域では、画素値の変化が小さく、視覚的にも色の変化が小さいため、見た目に平坦な状態（Flatな状態）であると言える。逆に、FlatレートFr-Vが大きいと言うことは、注目画素と、注目画素に垂直方向に隣接する垂直参照方向成分画素の領域では、画素間の変化が大きく、見た目にも平坦ではない状態（Flatではない状態）であることが示される。
【００８５】
このため、式（４）で示されるように、FlatレートFr-Vが大きければ、非線形平滑化処理部３２により非線形平滑化処理された画像信号SF-Hの重みが増し、入力された処理されていない画像信号SIの重みが小さくなる。逆に、FlatレートFr-Vが小さければ、すなわち、垂直方向の画素間の画素値の差分絶対値が小さいほど、非線形平滑化処理部３２により非線形平滑化処理された画像信号SF-Hの重みが小さくなり、入力された処理されていない画像信号SIの重みが大きくなる。
【００８６】
ステップＳ１８において、水平処理方向成分画素抽出部３１は、全ての画素を注目画素として処理したか、すなわち、未処理の画素が存在するか否かを判定し、例えば、全ての画素を注目画素として処理していない、すなわち、未処理画素が存在すると判定した場合、その処理は、ステップＳ１１に戻る。そして、ステップＳ１８において、全ての画素が注目画素として処理された、すなわち、未処理画素が存在しないと判定された場合、その処理は、終了し、図１５のステップＳ１の処理が終了する。尚、垂直参照方向成分画素抽出部３４も、同様に、全ての画素を注目画素として処理したか、すなわち、未処理の画素が存在するか否かを判定し、いずれにおいても、未処理画素が存在しないと判定された場合にのみ、その処理を終了させるようにしても良い。
【００８７】
結果として、図７の破線Line２上の縦方向の太線上の注目画素に対して処理を施すような場合、注目画素に対して垂直方向に隣接する垂直参照方向成分画素との画素値の差分絶対値より求められる垂直方向のFlatレートFr-Vに応じて、水平方向に非線形平滑化処理された画像信号SF-Hと、入力された画像信号SIとが混合されることにより、垂直方向に相関が強い、すなわち、垂直方向のFlatレートFr-Vが小さく、垂直方向の相関が強い場合、入力された画像信号SIの重みを大きくし、逆に、垂直方向のFlatレートFr-Vが大きく、垂直方向の相関が弱い場合、水平方向に非線形フィルタリング処理された画像信号SF-Hの重みを大きくすることにより、エッジを意識しつつ、処理方向に応じた（非線形平滑化処理に使用する近傍画素が、注目画素に対して水平方向に隣接する画素であるか、または、垂直方向に隣接する画素であるかに応じた）不自然な処理を抑制することが可能となる。従って、例えば、垂直方向に縦の太線上に図１０で示される平滑化処理により生じる格子状の領域のような不自然な画像信号の発生を抑制することが可能となる。
【００８８】
尚、以上においては、混合に際しては、FlatレートFr-Vをそのまま重み係数として画素値に乗じる例について説明してきたが、その他のFlatレートに応じた重み係数を非線形フィルタリング処理された画像信号SF-Hと入力された画像信号SIのそれぞれに乗じて混合するようにしても良い。すなわち、例えば、図２３で示されるように、FlatレートFr-Vに応じて設定される重み係数W1，W2を用いて、以下の式（５）を用いて混合するようにしても良い。
【００８９】
ＳNL-H＝SI×W1＋SF-H×W2
・・・（５）
【００９０】
ここで、W2は水平方向に非線形フィルタリング処理された画像信号SF-Hの重み係数であり、W1は入力された画像信号SIの重み係数である。また、（W1＋W2）は、重み係数の最大値Wmax（＝１）である。
【００９１】
すなわち、図２３においては、FlatレートFr-HがFr1より小さい範囲（Fr-V＜Fr1）では、重み係数W1は、重み係数の最大値Wmaxであり、重み係数W2は0である。FlatレートFr-VがFr1より以上で、かつ、Fr2以下の範囲（Fr1≦Fr-V≦Fr2）では、重み係数W1は、FlatレートFr-Vに比例して減少し、重み係数W2は、FlatレートFr-Vに比例して増大して、かつ、（W1＋W2）は、重み係数の最大値Wmax（＝１）となるように設定されている。さらに、FlatレートFr-VがFr2より大きい範囲（Fr2≦Fr-V）では、重み係数W1は０であり、重み係数W2は重み係数の最大値Wmaxである。
【００９２】
結果として、エッジの有無を正確に意識して、画像を非線形平滑化することが可能となる。尚、Fr1＝Fr2となる場合、FlatレートFr-Vが、Fr1（＝Fr2）であるときを閾値として、出力される画像信号が、入力された画像信号SIか、または、非線形平滑化処理された画像信号SF-Hのいずれかが、切替えられて出力されることになる。
【００９３】
ここで、図１５のフローチャートに戻る。
【００９４】
以上のように、ステップＳ１において、水平方向平滑化処理部２２は、水平方向平滑化処理により生成された画像信号ＳNL-Hをバッファ２３に順次記憶させる。
【００９５】
ステップＳ２において、垂直方向平滑化処理部２４は、バッファ２３に、順次記憶されている、水平方向平滑化処理されている画像信号ＳNL-Hを用いて、垂直方向平滑化処理を実行する。尚、垂直方向平滑化処理は、水平方向平滑化処理における処理の水平方向の処理と、垂直方向の処理とを入れ替えた処理であり、処理内容そのものは同様のものである。
【００９６】
すなわち、ステップＳ５１において、垂直方向平滑化処理部２４の垂直処理方向成分画素抽出部４１は、ラスタスキャン順に注目画素を設定する。同時に、水平参照方向成分画素抽出部４４も、同様にラスタスキャン順に注目画素を設定する。尚、注目画素の設定順序は、ラスタスキャン順以外の順序であってもよいが、垂直処理方向成分画素抽出部４１により設定される注目画素と、水平参照方向成分画素抽出部４４により設定される注目画素とが同一となるように設定される必要がある。
【００９７】
ステップＳ５２において、垂直処理方向成分画素抽出部４１は、注目画素と共に、注目画素に対して垂直方向（上下方向）に２画素ずつ隣接する近傍画素である水平参照方向成分画素からなる合計５画素の画素値をバッファ２３より抽出して非線形平滑化処理部４２に出力する。例えば、図１７で示されるような場合、画素Ｕ２，Ｕ１，Ｃ，Ｄ１，Ｄ２が、注目画素および水平参照方向成分画素として抽出される。
【００９８】
ステップＳ５３において、水平参照方向成分画素抽出部４４は、注目画素と共に、注目画素に対して水平方向（左右方向）に２画素ずつ隣接する近傍画素である水平参照方向成分画素からなる合計５画素の画素値をバッファ２３より抽出してFlatレート計算部４５に出力する。例えば、図１７で示されるような場合、画素Ｌ２，Ｌ１，Ｃ，Ｒ１，Ｒ２が、注目画素および水平参照方向成分画素として抽出される。
【００９９】
ステップＳ５４において、非線形平滑化処理部４２は、垂直処理方向成分画素抽出部４１より供給された注目画素と垂直処理方向成分画素に基づいて、注目画素に非線形平滑化処理を施す。尚、ステップＳ５４における非線形平滑化処理については、図１６のステップＳ１４における非線形平滑化処理と、水平方向と垂直方向の関係が入れ替わるのみで、その他の処理については同様であるので、その説明は省略するものとする。従って、この処理により、非線形平滑化処理部４２は、垂直方向に非線形平滑化処理された画像信号ＳF-Vを混合部４３に出力する。
【０１００】
ステップＳ５５において、Flatレート計算部４５は、注目画素と、注目画素に対して水平方向に隣接する各水平参照方向成分画素との画素値の差分絶対値をそれぞれ計算する。すなわち、図１７の場合、Flatレート計算部４５は、注目画素Ｃと、水平方向に隣接する各水平参照方向成分画素Ｌ２，Ｌ１，Ｒ１，Ｒ２との画素値の差分絶対値｜Ｃ−Ｌ２｜，｜Ｃ−Ｌ１｜，｜Ｃ−Ｒ１｜，｜Ｃ−Ｒ２｜を計算する。
【０１０１】
ステップＳ５６において、Flatレート計算部４５は、注目画素と、注目画素に対して水平方向に隣接する各水平参照方向成分画素との差分絶対値のうち、最大値となる差分絶対値を求めて、これをFlatレートFr-Hとして混合部４３に供給する。
【０１０２】
ステップＳ５７において、混合部４３は、Flatレート計算部４５より供給されるFlatレートFr-Hに基づいて、入力される水平方向平滑化処理部２２により水平方向非線形平滑化処理された画像信号SNL-Hと非線形平滑化処理部４２により非線形平滑化処理された画像信号SF-Vとを混合し、垂直方向の近接画素と用いて平滑化された画像信号SOをバッファ２５に出力する。より詳細には、混合部４３は、以下の式（６）を演算して、入力される水平方向非線形平滑化処理されている画像信号SNL-Hと非線形平滑化処理部４２により垂直方向に非線形平滑化処理された画像信号SF-Vとを混合する。
【０１０３】
ＳO＝SF-V×Fr-H／Fr-H max＋SNL-H×（１−Fr-H／Fr-H max）
・・・（６）
ここで、Fr-Hは、水平方向のFlatレートであり、Fr-H maxは、FlatレートFr-Hの最大値、すなわち、画素値のダイナミックレンジの最大値と最小値の差分絶対値である。FlatレートFr-Hは、水平方向に隣接する各水平参照方向成分画素と注目画素との差分絶対値の最大値であるので、その値が小さいほど、注目画素と、注目画素に水平方向に隣接する近傍画素の領域では、画素値の変化が小さく、視覚的にも色の変化が小さいため、見た目に平坦な状態（Flatな状態）であると言える。逆に、FlatレートFr-Hが大きいと言うことは、注目画素と、注目画素に垂直方向に隣接する水平参照方向成分画素の領域では、画素間の変化が大きく、見た目にも平坦ではない状態（Flatではない状態）であることが示される。
【０１０４】
このため、式（６）で示されるように、FlatレートFr-Hが大きければ、非線形平滑化処理部４２により垂直方向に非線形平滑化処理された画像信号SF-Vの重みが増し、水平方向平滑化処理された画像信号SNL-Hの重みが小さくなる。逆に、FlatレートFr-Hが小さければ、すなわち、水平方向の画素間の画素値の差分絶対値が小さいほど、非線形平滑化処理部３２により垂直方向に非線形平滑化処理された画像信号SF-Vの重みが小さくなり、入力された水平方向に非線形平滑化処理されている画像信号SNL-Hの重みが大きくなる。
【０１０５】
ステップＳ５８において、垂直処理方向成分画素抽出部４１は、全ての画素を注目画素として処理したか、すなわち、未処理の画素が存在するか否かを判定し、例えば、全ての画素を注目画素として処理していない、すなわち、未処理画素が存在すると判定した場合、その処理は、ステップＳ５１に戻る。そして、ステップＳ５８において、全ての画素が注目画素として処理された、すなわち、未処理画素が存在しないと判定された場合、その処理は、終了し、図１５のステップＳ２の処理が終了する。尚、水平参照方向成分画素抽出部４４も、同様の処理に、全ての画素を注目画素として処理したか、すなわち、未処理の画素が存在するか否かを判定し、いずれにおいても、未処理画素が存在しないと判定された場合にのみ、その処理を終了させるようにしても良い。
【０１０６】
結果として、注目画素に対して水平方向に隣接する水平参照方向成分画素との画素値の差分より求められるFlatレートFr-Hに応じて、垂直方向に平滑化処理された画像信号SF-Vと入力された画像信号SNL-Hとが混合されることにより、水平方向に相関が強い、すなわち、水平方向のFlatレートFr-Hが小さく、水平方向の相関が強い場合、入力された水平方向線形平滑化処理された画像信号SNL-Hの重みを大きくし、水平方向のFlatレートFr-Hが大きく、水平方向の相関が弱い場合、垂直方向に非線形フィルタリング処理された画像信号SF-Vの重みを大きくすることにより、エッジを意識しつつ、処理方向に応じた（非線形平滑化処理に使用する近傍画素が、注目画素に対して水平方向に隣接する画素であるか、または、垂直方向に隣接する画素であるかに応じた）不自然な処理を抑制することが可能となる。
【０１０７】
尚、以上においては、混合に際しては、FlatレートFr-Hをそのまま重み係数として画素値に乗じる例について説明してきたが、その他のFlatレートFr-Hに応じた重み係数を平滑化処理された画像信号SF-Vと入力された水平方向平滑化処理された画像信号SNL-Hのそれぞれに乗じて混合するようにしても良い。すなわち、上述した水平方向平滑化処理における図２３で示されるように、FlatレートFr-Hに応じて設定される重み係数W1，W2を用いていた場合と同様に、以下の式（７）のようにして、垂直方向平滑化処理された画像信号SOを求めるようにしても良い。
【０１０８】
ＳO＝SNL-H×W11＋SF-V×W12
・・・（７）
【０１０９】
ここで、W12は垂直方向に平滑化処理された画像信号SF-Vの重み係数であり、W11は入力された水平方向平滑化処理された画像信号SNL-Hの重み係数である。また、（W11＋W12）は、重み係数の最大値Wmax（＝１）である。
【０１１０】
結果として、エッジの有無を正確に意識して生成される画像を非線形平滑化することが可能となる。
【０１１１】
ここで、図１５のフローチャートの説明に戻る。
【０１１２】
ステップＳ２において、垂直方向平滑化処理が実行されると、ステップＳ３において、次の画像が入力されたか否かが判定され、次の画像が入力されたと判定された場合、その処理は、ステップＳ１に戻り、それ以降の処理が繰り返される。ステップＳ３において、次の画像が入力されていない、すなわち、画像信号が終了したと判定された場合、その処理は、終了する。
【０１１３】
以上の処理により、水平方向平滑化処理と垂直方向平滑化処理のそれぞれで、処理方向に応じた不自然な平滑化処理を、Flatレートを求めて、Flatレートに応じて、非線形平滑化された画像信号と、非線形平滑化処理されていない画像信号を混合するようにしたので、画像のエッジ部分を残し、処理方向に応じて生じる不自然な強調処理を抑制しつつ、エッジ以外の領域のコントラストや鮮鋭度を強調することが可能となる。
【０１１４】
尚、以上においては、水平方向平滑化処理の後、垂直方向平滑化処理が施される場合の例について説明してきたが、垂直方向平滑化処理の後、水平方向平滑化処理が施されるようにしてもよい。また、水平方向平滑化処理か、または、垂直方向平滑化処理のいずれかの処理のみを画像信号に施すだけでも、それぞれの処理で、処理方向に応じたFlatレートを求めるようにしているので、画像のエッジ部分を残し、処理方向に応じて生じる不自然な強調処理を抑制しつつ、エッジ以外の領域のコントラストや鮮鋭度を強調することが可能となる。
【０１１５】
また、以上の非線形平滑化処理部３２においては、注目画素と、注目画素に対する水平処理方向成分画素を用いて非線形平滑化処理を行う例について説明してきたが、例えば、非線形平滑化処理において、水平処理方向成分画素と共に垂直参照方向成分画素を用いるようにしても良い。図２５は、水平処理方向成分画素と共に垂直参照方向成分画素を用いるようにした水平方向平滑化処理部２２の構成を示している。図２５において、図１２と対応する構成については、同一の符号を付すものとし、その説明は適宜省略するものとする。
【０１１６】
図２５の水平方向平滑化処理部２２において、図１２の水平方向平滑化処理部２２と異なるのは非線形平滑化処理部３２に代えて、非線形平滑化処理部７１を設け、混合部３３を削除して、Flatレート計算部３５により計算されたFlatレートFr-Vを非線形平滑化処理部７１に供給するようにしたことである。非線形平滑化処理部７１は、基本的には、非線形平滑化処理部３２と同様の機能を有するものであるが、さらに、非線形平滑化処理において、水平処理方向成分画素と共に、垂直参照方向成分画素抽出部３４より供給される垂直参照方向成分画素を用いるようにした点が異なる。
【０１１７】
次に、図２６を参照して、非線形平滑化処理部７１の詳細な構成について説明する。尚、図２６の非線形平滑化処理部７１の構成において、図１４の非線形平滑化処理部３２の構成と対応する構成については、同一の符号を付しており、その説明は適宜省略するものとする。
【０１１８】
図２６の非線形平滑化処理部７１の構成において、図１４の非線形平滑化処理部３２の構成と異なるのは、制御信号発生部６２に代えて、制御信号発生部８１を設けた点である。制御信号発生部８１は、基本的な機能は、制御信号発生部６２と同様であるが、水平処理方向成分画素に加えて、Flatレート計算部３５より供給されるFlatレートFr-Vを用いて制御信号を発生させる点で異なる。
【０１１９】
次に、図２７のフローチャートを参照して、図２５の水平方向平滑化処理部２２による非線形平滑化処理について説明する。尚、図２７のフローチャートにおけるステップＳ７３乃至Ｓ７７の処理は、図１８のフローチャートにおけるステップＳ３３乃至Ｓ３７の処理と同様であるので、その説明は省略する。
【０１２０】
ステップＳ７１において、非線形フィルタ５１の制御信号発生部６２は、注目画素と、水平処理方向成分画素との画素値の差分絶対値を計算する。
【０１２１】
ステップＳ７２において、ローパスフィルタ６１は、制御信号発生部８１により計算された注目画素Ｃと、複数の水平処理方向成分画素の画素値との各差分絶対値と所定の閾値ε2と比較して、この比較結果に対応して、閾値ε2よりも大きい場合、Ｃに置き換える第１の処理を実行した後、第１の処理が施された各画素に対してFlatレート計算部３５より供給されてくるFlatレートFr-vを考慮して、画像信号ＳIに非線形フィルタリング処理を施す。
【０１２２】
より具体的には、例えば、注目画素Cを中心として左右２画素の画像信号が信号L2，L1，C，R1，R2であった場合、LPF６１は、制御信号発生部８１により発生される制御信号に基づいて、注目画素Cの画素値との差分が閾値よりも大きいとき、Cに置き換える処理を施し、注目画素を中心として左右に２画素ずつの水平方向の信号L2’，L1’，C，R1’，R2’を生成するものとする。さらに、LPF６１は、各信号L2’，L1’，C，R1’，R2’に対して、FlatレートFr-Vを考慮した処理を施す。
【０１２３】
すなわち、例えば、信号L2’の場合、FlatレートFr-Vを考慮した処理により得られる信号L2”は、以下の式（８）を計算することにより求められる。
【０１２４】
L2”＝WC×C+WL2×L2’
・・・（８）
【０１２５】
ここで、式（８）において、WL2とWCは、上述した式（５）における重みと同様のものであり、WCがW1に、WL2がW2にそれぞれ対応する(WL2＋WC＝１)ものである。従って、FlatレートFr-vが小さい場合、重みWCが最大値(＝１)となり、信号L2”はＣとなる（L2”＝C）。
【０１２６】
また、画素の信号に対しても同様の処理が施されるので、信号L1’，R1’，R2’のそれぞれは、以下の式（９）乃至式（１１）で示されるような式により計算される。
【０１２７】
L1”＝WC×C+WL1×L1’
・・・（９）
【０１２８】
R1”＝WC×C+WR1×R1’
・・・（１０）
【０１２９】
R2”＝WC×C+WR2×R2’
・・・（１１）
【０１３０】
ここで求められる重みは、何れも注目画素Cの垂直方向のFlatレートFr-Vが用いられるので、実質的に、WL2＝WL1＝WR2＝WR1となる。よって、FlatレートFr-vが、所定の閾値より小さい場合、L1”＝C，R1”＝C，R2”＝Cとなる．
【０１３１】
結果として、このような場合、LPF６１は、式（１）を用いて、以下の式（１２）を演算することにより水平方向平滑化処理を行う。
【０１３２】
C’＝(１×C＋２×C＋３×C＋２×C＋１×C)/９
＝  C
・・・（１２）
【０１３３】
結果として、FlatレートFr-vが小さい場合、入力された画像信号がそのまま出力されることになる。逆にFlatレートFr-vが大きい場合、式(１)のように水平方向の画素の値に基づいてフィルタリング処理された値を用いる。
【０１３４】
以上のように、非線形平滑化処理においてFlatレートを考慮して処理を行うことが可能であるので、後段の混合部３３を削除することが可能となる（結果として、非線形平滑化処理部７１より出力される信号SF-H＝水平方向平滑化処理部２２から出力される信号SNL-Hとなる）。
【０１３５】
以上の処理により、注目画素の水平方向の相関のみならず、垂直方向の相関も考慮した非線形フィルタリング処理を実現することで、さらに、エッジを意識しつつ、処理方向に応じた不自然な処理を抑制することが可能となる。
【０１３６】
尚、図２６においては、非線形平滑化処理部７１の構成として、制御信号発生部８１が、水平処理方向成分画素に加えて、垂直参照方向成分画素をも考慮した非線形フィルタリング処理をする例について説明してきたが、微小エッジを検出する際に水平処理方向成分画素に加えて、垂直参照方向成分画素を使用するようにしても良い。
【０１３７】
図２８は、MixレートMr-Hを計算する際に水平処理方向成分画素に加えて、垂直参照方向成分画素を使用するようにした非線形平滑化処理部７１の構成を示している。尚、図２８の非線形平滑化処理部７１の構成において、図１４の非線形平滑化処理部３２の構成と対応する構成については、同一の符号を付しており、その説明は適宜省略するものとする。
【０１３８】
図２８の非線形平滑化処理部７１の構成において、図１４の非線形平滑化処理部３２の構成と異なるのは、混合比検出部５３に代えて、混合比検出部９１を設けた点である。混合比検出部９１は、基本的な機能は、混合比検出部５３と同様であるが、水平処理方向成分画素に加えて、Flatレート計算部３５より供給されるFlatレートFr-Vを用いてMixレートMr’-Hを求める。
【０１３９】
次に、図２９のフローチャートを参照して、図２８の非線形平滑化処理部７１による微小エッジ判定処理を説明する。尚、図２９のフローチャートにおけるステップＳ８１乃至Ｓ８６の処理は、図１８のフローチャートにおけるステップＳ３１乃至Ｓ３６の処理と同様であるので、その説明は省略する。
【０１４０】
ステップＳ８７において、混合比検出部９１は、注目画素と、各水平処理方向成分画素とのそれぞれの画素値の差分絶対値をそれぞれ計算し、計算した各差分絶対値のうちの最大値を混合比である、MixレートMr-H（MixレートMr-Hは、ステップＳ３５，Ｓ３７における処理と同様の手法により求められる）を求めた後、FlatレートFr-Vを用いてMixレートMr’-Hを求め、混合部５２に出力する。
【０１４１】
より詳細には、混合比検出部９１は、以下の式（１３）を演算することにより、FlatレートFr-Vを用いてMixレートMr’-Hを求める。
【０１４２】
Mr’-H＝WA×Mr-Hmax+WB×Mr-H
・・・（１３）
【０１４３】
ここで、重みWAとWBは、それぞれ式（５）における重みW1とW2に相当する。また、MixレートMr-HmaxはMixレートMr-Hの最大値である。FlatレートFr-Vが小さい場合MixレートMr’-H＝Mr-H maxとなり、大きい場合はMr-H'＝Mr-Hとなる。従って、例えば、FlatレートFr-Vが小さい場合、式(３)の結果から、信号SF-H＝SIとなり、入力された信号SIがそのまま出力されることになる。
【０１４４】
以上の処理により、非線形平滑化処理部の混合部の時点で垂直方向の情報を付加することが可能となり、注目画素に対応する水平処理方向成分画素のみならず、垂直参照方向成分画素をも考慮してMixレートMr-Hを設定することが可能となるので、より自然に非線形フィルタリング処理された画像信号SLPF-Hと、入力された画像信号SIとを混合することが可能となり、結果として、エッジを意識しつつ、処理方向に応じた不自然な処理を抑制することが可能となる。
【０１４５】
同様にして、垂直方向平滑化処理部２４においても同様に垂直処理方向成分画素のみならず、水平参照方向成分画素を用いるようにしても良い。図３０は、垂直処理方向成分画素のみならず、水平参照方向成分画素を用いるようにした垂直方向平滑化処理部２４の構成を示している。尚、図３０の垂直方向平滑化処理部２４の構成において、図１３の非線形平滑化処理部２４の構成と対応する構成については、同一の符号を付しており、その説明は適宜省略するものとする。
【０１４６】
図３０の垂直方向平滑化処理部２４において、図１３の垂直方向平滑化処理部２４と異なるのは非線形平滑化処理部４２に代えて、非線形平滑化処理部１０１を設け、混合部３３を削除して、Flatレート計算部４５により計算されたFlatレートFr-Hを非線形平滑化処理部１０１に供給するようにしたことである。非線形平滑化処理部１０１は、基本的には、非線形平滑化処理部４２と同様の機能を有するものであるが、さらに、非線形平滑化処理において、垂直処理方向成分画素と共に、Flatレート計算部４５より供給されるFlatレートFr-Hを用いるようにした点が異なる。
【０１４７】
尚、非線形平滑化処理部１０１の構成は、図２６，図２８で示される非線形平滑化処理部７１における水平方向の処理を垂直方向の処理にしている点以外は同様であるので、その説明は省略する。また、処理についても、水平方向の処理と垂直方向の処理とが入れ替わっている点以外は同様であるので、その説明は省略する。
【０１４８】
本発明の信号処理装置および方法、並びにプログラムによれば、連続的に配置されている信号を、順次、注目信号に指定し、指定した注目信号を基準として、第１の方向に連続的に配置されている信号のなかから複数の近傍信号を処理信号として抽出し、注目信号と各処理信号との差分である処理差分と、第１の閾値との比較結果に基づいて、注目信号と複数の処理信号を加重平均して平滑化信号を演算し、処理差分と第１の閾値よりも小さな第２の閾値との比較結果に基づいて、平滑化信号と注目信号との第１の混合比を計算し、計算した第１の混合比に基づいて、平滑化信号、および、注目信号を混合し、第１の混合信号を生成し、指定した注目信号を基準として、第２の方向に連続的に配置されている信号のなかから複数の近傍信号を参照信号として抽出し、注目信号と各参照信号との差分である参照差分に基づいて、混合信号と注目信号との第２の混合比を計算し、計算した第２の混合比に基づいて、第１の混合信号、および、注目信号を混合し、第２の混合信号を生成するようにしたので、画像を構成する画素の急峻なエッジを保持したままで、エッジ以外の部分を平滑化する際、画素の連続性や相関性を損なうことなく、エッジ以外の部分を平滑化することが可能となる。
【０１４９】
上述した一連の処理は、ハードウェアにより実行させることもできるが、ソフトウェアにより実行させることもできる。一連の処理をソフトウェアにより実行させる場合には、そのソフトウェアを構成するプログラムが、専用のハードウェアに組み込まれているコンピュータ、または、各種のプログラムをインストールすることで、各種の機能を実行させることが可能な、例えば汎用のパーソナルコンピュータなどに記録媒体からインストールされる。
【０１５０】
図３１は、図１１の強調処理装置１１の電気的な内部構成をソフトウェアにより実現する場合のパーソナルコンピュータの一実施の形態の構成を示している。パーソナルコンピュータのCPU２０１は、パーソナルコンピュータの全体の動作を制御する。また、CPU２０１は、バス２０４および入出力インタフェース２０５を介してユーザからキーボードやマウスなどからなる入力部２０６から指令が入力されると、それに対応してROM(Read Only Memory)２０２に格納されているプログラムを実行する。あるいはまた、CPU２０１は、ドライブ２１０に接続された磁気ディスク２２１、光ディスク２２２、光磁気ディスク２２３、または半導体メモリ２２４から読み出され、記憶部２０８にインストールされたプログラムを、RAM(Random Access Memory)２０３にロードして実行する。これにより、上述した図１１の強調処理装置１１の機能が、ソフトウェアにより実現されている。さらに、CPU２０１は、通信部２０９を制御して、外部と通信し、データの授受を実行する。
【０１５１】
プログラムが記録されている記録媒体は、図３１に示すように、コンピュータとは別に、ユーザにプログラムを提供するために配布される、プログラムが記録されている磁気ディスク２２１（フレキシブルディスクを含む）、光ディスク２２２（CD-ROM(Compact Disc-Read Only Memory)，DVD（Digital Versatile Disk）を含む）、光磁気ディスク２２３（MD（Mini-Disc）を含む）、もしくは半導体メモリ２２４などよりなるパッケージメディアにより構成されるだけでなく、コンピュータに予め組み込まれた状態でユーザに提供される、プログラムが記録されているROM２０２や、記憶部２０８に含まれるハードディスクなどで構成される。
【０１５２】
尚、本明細書において、記録媒体に記録されるプログラムを記述するステップは、記載された順序に沿って時系列的に行われる処理は、もちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理を含むものである。
【図面の簡単な説明】
【０１５３】
【図１】画像内の急峻なエッジを保存した状態でエッジ以外の部分を強調する画像信号処理装置の構成例を示すブロック図である。
【図２】図１のεフィルタに入力される画像信号と、出力される画像信号を示す図である。
【図３】図１のεフィルタで用いられるタップの一例を示す図である。
【図４】図１のεフィルタの動作を説明するための図である。
【図５】図１のεフィルタの問題点を説明するための図である。
【図６】図１のεフィルタの問題点を説明するための図である。
【図７】図１のεフィルタの問題点を説明するための図である。
【図８】図１のεフィルタの問題点を説明するための図である。
【図９】図１のεフィルタの問題点を説明するための図である。
【図１０】図１のεフィルタの問題点を説明するための図である。
【図１１】本発明を適用した強調処理装置の一実施の形態の構成を示すブロック図である。
【図１２】図１１の水平方向平滑化処理部の構成を示すブロック図である。
【図１３】図１１の垂直方向平滑化処理部の構成を示すブロック図である。
【図１４】図１２の非線形平滑化処理部の構成を示すブロック図である。
【図１５】画像強調処理を説明するフローチャートである。
【図１６】図１１の画像強調装置による水平方向平滑化処理を説明するフローチャートである。
【図１７】図１１の画像強調装置による水平方向平滑化処理を説明する図である。
【図１８】図１１の画像強調装置による非線形平滑化処理を説明するフローチャートである。
【図１９】図１１の画像強調装置による微小エッジ判定処理を説明するフローチャートである。
【図２０】図１１の画像強調装置による微小エッジ判定処理を説明する図である。
【図２１】図１１の画像強調装置による微小エッジ判定処理を説明する図である。
【図２２】図１１の画像強調装置による微小エッジ判定処理を説明する図である。
【図２３】図１１の画像強調装置による重みの設定方法のその他の方法を説明する図である。
【図２４】図１１の画像強調装置による垂直方向平滑化処理を説明する図である。
【図２５】図１１の水平方向平滑化処理部のその他の構成を示すブロック図である。
【図２６】図２５の非線形平滑化処理部の構成を示すブロック図である。
【図２７】図２６の非線形平滑化処理部を備えた画像強調装置による非線形平滑化処理を説明するフローチャートである。
【図２８】図２５の非線形平滑化処理部のその他の構成を示すブロック図である。
【図２９】図２８の非線形平滑化処理部を備えた画像強調装置による非線形平滑化処理を説明するフローチャートである。
【図３０】図１１の垂直方向平滑化処理部のその他の構成を示すブロック図である。
【図３１】媒体を説明する図である。
【符号の説明】
【０１５４】
１１  強調処理装置，  ２２  水平方向平滑化処理部，  ２４  垂直方向平滑化処理部，  ３１  水平処理方向成分画素抽出部，  ３２  非線形平滑化処理部，  ３３  混合部，  ３４  垂直参照方向成分画素抽出部，  ３５  Flatレート計算部，  ４１  垂直処理方向成分画素抽出部，  ４２  非線形平滑化処理部，  ４３  混合部，  ４４  水平参照方向成分画素抽出部，  ４５  Flatレート計算部，  ５１  非線形フィルタ，  ５２  混合部，  ５３  混合比検出部，  ６１  LPF，  ６２  制御信号発生部，  ７１  非線形平滑化処理部，  ８１  制御信号発生部，  ９１  混合比検出部，  １０１  非線形平滑化処理部
【図１】
2005340900.tif 000003
【図２】
2005340900.tif 000004
【図３】
2005340900.tif 000005
【図４】
2005340900.tif 000006
【図５】
2005340900.tif 000007
【図６】
2005340900.tif 000008
【図７】
2005340900.tif 000009
【図８】
2005340900.tif 000010
【図９】
2005340900.tif 000011
【図１０】
2005340900.tif 000012
【図１１】
2005340900.tif 000013
【図１２】
2005340900.tif 000014
【図１３】
2005340900.tif 000015
【図１４】
2005340900.tif 000016
【図１５】
2005340900.tif 000017
【図１６】
2005340900.tif 000018
【図１７】
2005340900.tif 000019
【図１８】
2005340900.tif 000020
【図１９】
2005340900.tif 000021
【図２０】
2005340900.tif 000022
【図２１】
2005340900.tif 000023
【図２２】
2005340900.tif 000024
【図２３】
2005340900.tif 000025
【図２４】
2005340900.tif 000026
【図２５】
2005340900.tif 000027
【図２６】
2005340900.tif 000028
【図２７】
2005340900.tif 000029
【図２８】
2005340900.tif 000030
【図２９】
2005340900.tif 000031
【図３０】
2005340900.tif 000032
【図３１】
2005340900.tif 000033