(57)【要約】【課題】ノイズを抑制して鮮鋭性を向上させる画像処理を可能にする。【解決手段】画像処理システム１００は、処理対象画素の近傍にあり、その処理対象画素を含まない所定領域における画素（信号値Ｐ１〜Ｐ１６）間の信号値の差の絶対値和又はＰ１〜Ｐ１６の分散値に基づいて、フィルタ強度の異なる複数の空間フィルタから、当該処理対象画素に対する鮮鋭性強調処理に用いる空間フィルタが選択（決定）される。また、処理対象画像にエッジが含まれている場合、そのエッジの方向に合わせて異方性を有する空間フィルタが選択される。【選択図】            図４
2004318423.tif 000002
【特許請求の範囲】
【請求項１】
入力画像に鮮鋭性強調処理を施して出力する画像処理方法において、
画像処理対象画素の近傍にあり、当該処理対象画素を含まない所定領域に存在する画素の情報から、当該所定領域の画像特性情報を導出する導出工程と、
前記導出された画像特性情報に基づいて、前記処理対象画素に対して前記鮮鋭性強調処理を施す画像処理工程と、
を含むことを特徴とする画像処理方法。
【請求項２】
前記画像特性情報には、前記所定領域における画素間の信号値の差の絶対値の和、当該所定領域における各画素の信号値の分散、当該各画素の信号値の標準偏差のうちの少なくとも一つが含まれることを特徴とする請求項１に記載の画像処理方法。
【請求項３】
前記画像特性情報に基づいて、画像エッジの方向と、画像エッジの強調度合いの関係が互いに異なる複数の空間フィルタの中から、前記鮮鋭性強調処理に用いる空間フィルタを選択するフィルタ選択工程を含み、
前記画像処理工程において、前記選択された空間フィルタを用いて前記鮮鋭性強調処理が行われることを特徴とする請求項１又は２に記載の画像処理方法。
【請求項４】
入力画像に鮮鋭性強調処理を施して出力する画像処理方法において、
画像処理対象画素の近傍の所定領域に存在する画素の情報から、当該所定領域の画像特性情報を導出する導出工程と、
前記導出された画像特性情報に基づいて、画像エッジの方向と、画像エッジの強調度合いの関係が異なる複数の空間フィルタの中から、前記鮮鋭性強調処理に用いる空間フィルタを選択するフィルタ選択工程と、
前記選択された空間フィルタを用いて、前記処理対象画素に対して前記鮮鋭性強調処理を施す画像処理工程と、
を含むことを特徴とする画像処理方法。
【請求項５】
前記導出工程において、処理対象の画像を多重解像度変換し、当該多重解像度変換により生成された複数の分解画像から、前記画像特性情報が導出されることを特徴とする請求項４に記載の画像処理方法。
【請求項６】
前記導出工程において、前記多重解像度変換の少なくとも第２レベル以降の画像分解過程において、二項ウェーブレット変換が用いられ、当該二項ウェーブレット変換により生成された複数の分解画像から、前記画像特性情報として、当該画像に含まれるエッジに関する情報が導出されることを特徴とする請求項５に記載の画像処理方法。
【請求項７】
前記導出工程において、前記所定領域内で前記画像処理対象画素から略等距離に位置する複数画素の信号値のばらつきの程度を示す情報が、前記画像特性情報として導出されることを特徴とする請求項３又は４に記載の画像処理方法。
【請求項８】
入力画像に鮮鋭性強調処理を施して出力する画像処理装置において、
画像処理対象画素の近傍にあり、当該処理対象画素を含まない所定領域に存在する画素の情報から、当該所定領域の画像特性情報を導出する導出部と、
前記導出された画像特性情報に基づいて、前記処理対象画素に対して前記鮮鋭性強調処理を施す画像処理部と、
を備えることを特徴とする画像処理装置。
【請求項９】
前記画像特性情報には、前記所定領域における画素間の信号値の差の絶対値の和、当該所定領域における各画素の信号値の分散、当該各画素の信号値の標準偏差のうちの少なくとも一つが含まれることを特徴とする請求項８に記載の画像処理装置。
【請求項１０】
前記画像特性情報に基づいて、画像エッジの方向と、画像エッジの強調度合いの関係が互いに異なる複数の空間フィルタの中から、前記鮮鋭性強調処理に用いる空間フィルタを選択するフィルタ選択部を備え、
前記画像処理部は、前記選択された空間フィルタを用いて前記鮮鋭性強調処理を行うことを特徴とする請求項８又は９に記載の画像処理装置。
【請求項１１】
入力画像に鮮鋭性強調処理を施して出力する画像処理装置において、
画像処理対象画素の近傍の所定領域に存在する画素の情報から、当該所定領域の画像特性情報を導出する導出部と、
前記導出された画像特性情報に基づいて、画像エッジの方向と、画像エッジの強調度合いの関係が異なる複数の空間フィルタの中から、前記鮮鋭性強調処理に用いる空間フィルタを選択するフィルタ選択部と、
前記選択された空間フィルタを用いて、前記処理対象画素に対して前記鮮鋭性強調処理を施す画像処理部と、
を備えることを特徴とする画像処理装置。
【請求項１２】
前記導出部は、処理対象の画像を多重解像度変換し、当該多重解像度変換により生成された複数の分解画像から、前記画像特性情報を導出することを特徴とする請求項１１に記載の画像処理装置。
【請求項１３】
前記導出部は、前記多重解像度変換の少なくとも第２レベル以降の画像分解過程において二項ウェーブレット変換を用い、当該二項ウェーブレット変換により生成された複数の分解画像から、前記画像特性情報として、当該画像に含まれるエッジに関する情報を導出することを特徴とする請求項１２に記載の画像処理装置。
【請求項１４】
前記導出部は、前記所定領域内で前記画像処理対象画素から略等距離に位置する複数画素の信号値のばらつきの程度を示す情報を、前記画像特性情報として導出することを特徴とする請求項１０又は１１に記載の画像処理装置。
【請求項１５】
画像処理を実行するためのコンピュータに、
画像処理対象画素の近傍にあり、当該処理対象画素を含まない所定領域に存在する画素の情報から、当該所定領域の画像特性情報を導出する導出機能と、
前記導出された画像特性情報に基づいて、前記処理対象画素に対して前記鮮鋭性強調処理を施す画像処理機能と、
を実現させるための画像処理プログラム。
【請求項１６】
前記画像特性情報には、前記所定領域における画素間の信号値の差の絶対値の和、当該所定領域における各画素の信号値の分散、当該各画素の信号値の標準偏差のうちの少なくとも一つが含まれることを特徴とする請求項１５に記載の画像処理プログラム。
【請求項１７】
前記画像特性情報に基づいて、画像エッジの方向と、画像エッジの強調度合いの関係が互いに異なる複数の空間フィルタの中から、前記鮮鋭性強調処理に用いる空間フィルタを選択するフィルタ選択機能を実現させ、
前記画像処理機能を実現させる際に、前記選択された空間フィルタを用いて前記鮮鋭性強調処理を行うことを特徴とする請求項１５又は１６に記載の画像処理プログラム。
【請求項１８】
画像処理を実行するためのコンピュータに、
画像処理対象画素の近傍の所定領域に存在する画素の情報から、当該所定領域の画像特性情報を導出する導出機能と、
前記導出された画像特性情報に基づいて、画像エッジの方向と、画像エッジの強調度合いの関係が異なる複数の空間フィルタの中から、前記鮮鋭性強調処理に用いる空間フィルタを選択するフィルタ選択機能と、
前記選択された空間フィルタを用いて、前記処理対象画素に対して前記鮮鋭性強調処理を施す画像処理機能と、
を実現させるための画像処理プログラム。
【請求項１９】
前記導出機能を実現させる際に、処理対象の画像を多重解像度変換し、当該多重解像度変換により生成された複数の分解画像から、前記画像特性情報を導出することを特徴とする請求項１８に記載の画像処理プログラム。
【請求項２０】
前記導出機能を実現させる際に、前記多重解像度変換の少なくとも第２レベル以降の画像分解過程において二項ウェーブレット変換を用い、当該二項ウェーブレット変換により生成された複数の分解画像から、前記画像特性情報として、当該画像に含まれるエッジに関する情報を導出することを特徴とする請求項１９に記載の画像処理プログラム。
【請求項２１】
前記導出機能を実現させる際に、前記所定領域内で前記画像処理対象画素から略等距離に位置する複数画素の信号値のばらつきの程度を示す情報を、前記画像特性情報として導出することを特徴とする請求項１７又は１８に記載の画像処理プログラム。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、画像処理方法、画像処理装置及び画像処理プログラムに関する。
【０００２】
【従来の技術】
近年、現像済みの写真フィルムをフィルムスキャナで読み取ることによって取得された画像情報、デジタルスチルカメラによる撮影によって取得された画像情報等に対して適宜画像処理を施し、プリント出力したりＣＤ−Ｒ等の記録メディアに出力したりする技術が普及している。画像処理には様々な種類があるが、特に頻繁に用いられる処理の一つに、画像の鮮鋭感を増強する鮮鋭性強調処理がある。鮮鋭性強調処理は、主に画像の微細構造を強調する処理であり、画像のシャープネス不足を補うことができる有用な技術である。
【０００３】
一般に、画像には、程度の差はあれ、若干のノイズ成分が混在している。これは、銀塩フィルムの粒状、ＣＣＤセンサの各種電気ノイズ、信号処理系で付加される各種ノイズが主な要因であるが、これらのノイズを完全にゼロとすることは実質的に不可能である。前述の鮮鋭性強調処理は、これらのノイズも強調してしまう性質があり、シャープな画像は、粒状が目立ったり、電気ノイズが目立ったりする場合が多い。
【０００４】
そこで、画像に含まれるノイズ成分を抑えつつ、鮮鋭性を強調することができる各種の画像処理方法が提案され、利用されてきた。そのような画像処理方法の一例として、特許文献１には、鮮鋭性強調の効果に上限を設け、強いノイズが過剰に増強されないようにする手法、２種類のノイズフィルタを鮮鋭性強調に先立って施すことによって鮮鋭性強調処理の前にノイズを除去する手法等が開示されている。
【０００５】
【特許文献１】
特開２００２−２６２０９４号公報
【０００６】
【発明が解決しようとする課題】
しかしながら、ノイズ処理によって除去されたノイズ成分の中には、若干ではあるが、微細な画像信号が含まれる場合もあるため、ノイズフィルタの効果を強くしていくと、画像のディテールが不足してしまうという問題があった。特に、パルスノイズのような孤立点ノイズは、非常に強い信号値として現れる場合があり、画像の中で目立つ存在であるが、このような強いノイズを除去するためには、それだけノイズ除去効果の強いノイズフィルタが必要となるため、画像のディテールが大きく損なわれてしまう。また、特許文献１のように、鮮鋭性強調の効果に上限をもたせる手法は、鮮鋭性強調の効果が弱くなってしまうという問題があった。このように、従来の画像処理では、粒状感を抑えて鮮鋭感を向上させるある程度の効果は得られるものの、粒状感の抑制と鮮鋭感の向上という相反する要素を十分にコントロールできているとはいえなかった。
【０００７】
本発明の課題は、ノイズを抑制して鮮鋭性を向上させる画像処理を可能にすることである。
【０００８】
【課題を解決するための手段】
上記課題を解決するため、請求項１に記載の発明は、
入力画像に鮮鋭性強調処理を施して出力する画像処理方法において、
画像処理対象画素の近傍にあり、当該処理対象画素を含まない所定領域に存在する画素の情報から、当該所定領域の画像特性情報を導出する導出工程と、
前記導出された画像特性情報に基づいて、前記処理対象画素に対して前記鮮鋭性強調処理を施す画像処理工程と、
を含むことを特徴としている。
【０００９】
請求項８に記載の発明は、入力画像に鮮鋭性強調処理を施して出力する画像処理装置において、
画像処理対象画素の近傍にあり、当該処理対象画素を含まない所定領域に存在する画素の情報から、当該所定領域の画像特性情報を導出する導出部と、
前記導出された画像特性情報に基づいて、前記処理対象画素に対して前記鮮鋭性強調処理を施す画像処理部と、
を備えることを特徴としている。
【００１０】
請求項１５に記載の発明は、画像処理を実行するためのコンピュータに、
画像処理対象画素の近傍にあり、当該処理対象画素を含まない所定領域に存在する画素の情報から、当該所定領域の画像特性情報を導出する導出機能と、
前記導出された画像特性情報に基づいて、前記処理対象画素に対して前記鮮鋭性強調処理を施す画像処理機能と、を実現させる。
【００１１】
請求項１、８、１５に記載の発明によれば、処理対象画素を含まない周辺領域の画素の状況に基づいて鮮鋭性強調処理を行うことにより、孤立点等、画像処理上、目立ちやすい画像ノイズの強調を抑え、ノイズ感の少ない画像を得ることができる。
【００１２】
請求項２に記載の発明は、請求項１に記載の画像処理方法において、
前記画像特性情報には、前記所定領域における画素間の信号値の差の絶対値の和、当該所定領域における各画素の信号値の分散、当該各画素の信号値の標準偏差のうちの少なくとも一つが含まれることを特徴としている。
【００１３】
請求項９に記載の発明は、請求項８に記載の画像処理装置において、
前記画像特性情報には、前記所定領域における画素間の信号値の差の絶対値の和、当該所定領域における各画素の信号値の分散、当該各画素の信号値の標準偏差のうちの少なくとも一つが含まれることを特徴としている。
【００１４】
請求項１６に記載の発明は、請求項１５に記載の画像処理プログラムにおいて、前記画像特性情報には、前記所定領域における画素間の信号値の差の絶対値の和、当該所定領域における各画素の信号値の分散、当該各画素の信号値の標準偏差のうちの少なくとも一つが含まれることを特徴としている。
【００１５】
請求項２、９、１６に記載の発明によれば、画像特性情報を容易に導出できるとともに、高性能な画像処理を実現することができる。
【００１６】
請求項３に記載の発明は、請求項１又は２に記載の画像処理方法において、
前記画像特性情報に基づいて、画像エッジの方向と、画像エッジの強調度合いの関係が互いに異なる複数の空間フィルタの中から、前記鮮鋭性強調処理に用いる空間フィルタを選択するフィルタ選択工程を含み、
前記画像処理工程において、前記選択された空間フィルタを用いて前記鮮鋭性強調処理が行われることを特徴としている。
【００１７】
請求項１０に記載の発明は、請求項８又は９に記載の画像処理装置において、前記画像特性情報に基づいて、画像エッジの方向と、画像エッジの強調度合いの関係が互いに異なる複数の空間フィルタの中から、前記鮮鋭性強調処理に用いる空間フィルタを選択するフィルタ選択部を備え、
前記画像処理部は、前記選択された空間フィルタを用いて前記鮮鋭性強調処理を行うことを特徴としている。
【００１８】
請求項１７に記載の発明は、請求項１５又は１６に記載の画像処理プログラムにおいて、前記画像特性情報に基づいて、画像エッジの方向と、画像エッジの強調度合いの関係が互いに異なる複数の空間フィルタの中から、前記鮮鋭性強調処理に用いる空間フィルタを選択するフィルタ選択機能を実現させ、
前記画像処理機能を実現させる際に、前記選択された空間フィルタを用いて前記鮮鋭性強調処理を行うことを特徴としている。
【００１９】
請求項３、１０、１７に記載の発明によれば、画像特性情報に応じて、鮮鋭性強調に用いる空間フィルタを選ぶようにしたことにより、画像中の各々の領域に応じたより好ましい鮮鋭性強調効果を得ることができる。
【００２０】
請求項４に記載の発明は、入力画像に鮮鋭性強調処理を施して出力する画像処理方法において、
画像処理対象画素の近傍の所定領域に存在する画素の情報から、当該所定領域の画像特性情報を導出する導出工程と、
前記導出された画像特性情報に基づいて、画像エッジの方向と、画像エッジの強調度合いの関係が異なる複数の空間フィルタの中から、前記鮮鋭性強調処理に用いる空間フィルタを選択するフィルタ選択工程と、
前記選択された空間フィルタを用いて、前記処理対象画素に対して前記鮮鋭性強調処理を施す画像処理工程と、
を含むことを特徴としている。
【００２１】
請求項１１に記載の発明は、入力画像に鮮鋭性強調処理を施して出力する画像処理装置において、
画像処理対象画素の近傍の所定領域に存在する画素の情報から、当該所定領域の画像特性情報を導出する導出部と、
前記導出された画像特性情報に基づいて、画像エッジの方向と、画像エッジの強調度合いの関係が異なる複数の空間フィルタの中から、前記鮮鋭性強調処理に用いる空間フィルタを選択するフィルタ選択部と、
前記選択された空間フィルタを用いて、前記処理対象画素に対して前記鮮鋭性強調処理を施す画像処理部と、を備えることを特徴としている。
【００２２】
請求項１８に記載の発明は、画像処理を実行するためのコンピュータに、
画像処理対象画素の近傍の所定領域に存在する画素の情報から、当該所定領域の画像特性情報を導出する導出機能と、
前記導出された画像特性情報に基づいて、画像エッジの方向と、画像エッジの強調度合いの関係が異なる複数の空間フィルタの中から、前記鮮鋭性強調処理に用いる空間フィルタを選択するフィルタ選択機能と、
前記選択された空間フィルタを用いて、前記処理対象画素に対して前記鮮鋭性強調処理を施す画像処理機能と、を実現させる。
【００２３】
請求項４、１１、１８に記載の発明によれば、画像特性情報に応じて、鮮鋭性強調に用いる空間フィルタを用いることができるため、画像中の各々の領域に応じた好ましい鮮鋭性強調効果を得ることができる。
【００２４】
請求項５に記載の発明は、請求項４に記載の画像処理方法において、
前記導出工程において、処理対象の画像を多重解像度変換し、当該多重解像度変換により生成された複数の分解画像から、前記画像特性情報が導出されることを特徴としている。
【００２５】
請求項１２に記載の発明は、請求項１１に記載の画像処理装置において、
前記導出部は、処理対象の画像を多重解像度変換し、当該多重解像度変換により生成された複数の分解画像から、前記画像特性情報を導出することを特徴としている。
【００２６】
請求項１９に記載の発明は、請求項１８に記載の画像処理プログラムにおいて、前記導出機能を実現させる際に、処理対象の画像を多重解像度変換し、当該多重解像度変換により生成された複数の分解画像から、前記画像特性情報を導出することを特徴としている。
【００２７】
請求項５、１２、１９に記載の発明によれば、多重解像度変換から生成される分解画像を用いて画像特性情報を導出することにより、画像の大局的な構造を考慮した画像特性情報を得ることができる。
【００２８】
請求項６に記載の発明は、請求項５に記載の画像処理方法において、
前記導出工程において、前記多重解像度変換の少なくとも第２レベル以降の画像分解過程において、二項ウェーブレット変換が用いられ、当該二項ウェーブレット変換により生成された複数の分解画像から、前記画像特性情報として、当該画像に含まれるエッジに関する情報が導出されることを特徴としている。
【００２９】
請求項１３に記載の発明は、請求項１２に記載の画像処理装置において、
前記導出部は、前記多重解像度変換の少なくとも第２レベル以降の画像分解過程において二項ウェーブレット変換を用い、当該二項ウェーブレット変換により生成された複数の分解画像から、前記画像特性情報として、当該画像に含まれるエッジに関する情報を導出することを特徴としている。
【００３０】
請求項２０に記載の発明は、請求項１９に記載の画像処理プログラムにおいて、前記導出機能を実現させる際に、前記多重解像度変換の少なくとも第２レベル以降の画像分解過程において二項ウェーブレット変換を用い、当該二項ウェーブレット変換により生成された複数の分解画像から、前記画像特性情報として、当該画像に含まれるエッジに関する情報を導出することを特徴としている。
【００３１】
請求項６、１３、２０に記載の発明によれば、多重解像度変換として二項ウェーブレット変換を用いることで、より精度の高い画像特性情報を得ることができ、高性能な画像処理が実現できる。
【００３２】
請求項７に記載の発明は、請求項３又は４に記載の画像処理方法において、
前記導出工程において、前記所定領域内で前記画像処理対象画素から略等距離に位置する複数画素の信号値のばらつきの程度を示す情報が、前記画像特性情報として導出されることを特徴としている。
【００３３】
請求項１４に記載の発明は、請求項１０又は１１に記載の画像処理装置において、前記導出部は、前記所定領域内で前記画像処理対象画素から略等距離に位置する複数画素の信号値のばらつきの程度を示す情報を、前記画像特性情報として導出することを特徴としている。
【００３４】
請求項２１に記載の発明は、請求項１７又は１８に記載の画像処理プログラムにおいて、
前記導出機能を実現させる際に、前記所定領域内で前記画像処理対象画素から略等距離に位置する複数画素の信号値のばらつきの程度を示す情報を、前記画像特性情報として導出することを特徴としている。
【００３５】
請求項７、１４、２１に記載の発明によれば、複雑な計算をすることなく画像特性情報を得ることができるため、容易に空間フィルタを選択することができ、ノイズ感の少ない鮮鋭性強調効果を容易に得ることができる。
【００３６】
【発明の実施の形態】
以下、図を参照して本発明の実施の形態を詳細に説明する。
【００３７】
［第１の実施の形態］
まず、構成を説明する。
図１に、本発明の第１の実施の形態に係る画像処理システム１００の構成を示す。画像処理システム１００は、図１に示すように、画像処理部１、画像取得部２、指示入力部３、表示部４、銀塩露光プリンタ５、ＩＪ（Ｉｎｋ−Ｊｅｔ）プリンタ６、画像書込部７、画像ストレージ部８により構成される。
【００３８】
画像処理部１は、マイクロコンピュータにより構成され、ＲＯＭ（Ｒｅａｄ  Ｏｎｌｙ  Ｍｅｍｏｒｙ）等の記憶部（図示略）に記憶されている画像処理プログラム等の各種制御プログラムと、ＣＰＵ（Ｃｅｎｔｒａｌ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ）（図示略）との協働により、画像処理システム１００を構成する各部の動作を制御する。以下、画像処理部１による制御動作について説明する。
【００３９】
画像処理部１は、指示入力部３からの入力信号（指令情報）に基づいて、画像取得部２により取得された画像信号に対して、各種の画像処理を施す。画像処理部１により実行される画像処理としては、明るさ調整、色調調整、コントラスト調整、彩度調整、鮮鋭性調整、粒状性調整、覆い焼き処理、露光アンダー補正等がある。
【００４０】
画像処理部１は、本発明において、処理対象画素の近傍にあり、当該処理対象画素を含まない所定領域に存在する複数の画素の情報から、当該所定領域の画像特性を求め、その画像特性に基づいて、処理対象画素に対して鮮鋭性強調処理を施す（図７参照）。画像特性には、前記所定領域における画素間の信号値の差の絶対値の和、当該所定領域における各画素の信号値の分散、当該各画素の信号値の標準偏差のうちの少なくとも一つが含まれる（図４及び図５参照）。
【００４１】
画像処理部１は、鮮鋭性強調処理に際し、所定領域の画像特性に基づいて、フィルタ強度の異なる複数の空間フィルタから、鮮鋭性強調処理に用いる空間フィルタを選択（決定）する。鮮鋭性強調処理の詳細及び空間フィルタの選択法の詳細については、後で説明する。
【００４２】
また、画像処理部１は、画像処理された画像信号に対して出力形態に応じた変換処理（色変換）を施して出力する。画像処理部１の出力先としては、表示部４、銀塩露光プリンタ５、ＩＪプリンタ６、画像書込部７、画像ストレージ部８等がある。
【００４３】
画像取得部２は、反射原稿スキャナ２１、透過原稿スキャナ２２、メディアドライバ２３、情報通信Ｉ／Ｆ２４により構成される。
【００４４】
反射原稿スキャナ２１は、光源、ＣＣＤ（Ｃｈａｒｇｅｄ−Ｃｏｕｐｌｅｄ  Ｄｅｖｉｃｅ）、Ａ／Ｄコンバータ等により構成され、原稿台に載置された、原稿（写真プリント、書画、各種の印刷物）に光源からの光を照射し、その反射光をＣＣＤにより電気信号（アナログ信号）に変換し、Ａ／Ｄコンバータにより、このアナログ信号をデジタル信号に変換することによって、デジタル画像信号を取得する。透過原稿スキャナ２２は、現像済みのネガフィルム、ポジフィルム等の透過原稿を読み取り、デジタル画像信号を取得する。
【００４５】
メディアドライバ２３は、ＣＤ−Ｒ、メモリスティック（登録商標）、スマートメディア（登録商標）、コンパクトフラッシュ（登録商標）、マルチメディアカード（登録商標）、ＳＤメモリカード（登録商標）、ＰＣカード等の各種のメディアが装着可能な構成となっており、これらのメディアに記録されたデジタル画像信号を読み込む。
【００４６】
情報通信Ｉ／Ｆ２４は、ＬＡＮ（Ｌｏｃａｌ  Ａｒｅａ  Ｎｅｔｗｏｒｋ）やインターネット等の通信ネットワークに接続されたコンピュータと、画像処理システム１００とを接続するためのインターフェースであり、通信ネットワークを介して接続された他のコンピュータから、撮像画像を表す画像信号やプリント命令信号を受信する。
【００４７】
指示入力部３は、キーボードやマウス等を備え、キーボード、マウスの操作による操作信号を画像処理部１のＣＰＵに出力する。また、指示入力部３は、表示部４の表示画面上を覆うように重畳して設けられたタッチパネル（接触センサー）を備える。タッチパネルは、電磁誘導式、磁気歪式、感圧式等の読み取り原理でタッチ指示された座標を検出し、検出した座標を位置信号として画像処理部１のＣＰＵに出力する。
【００４８】
表示部４は、ＬＣＤ（Ｌｉｑｕｉｄ  Ｃｒｙｓｔａｌ  Ｄｉｓｐｌａｙ）等から構成される表示画面を有し、画像処理部１のＣＰＵにより入力される表示制御信号に従って、所要の表示を行う。
【００４９】
銀塩露光プリンタ５は、画像処理部１により生成された画像信号から、露光用画像情報を生成し、生成された露光用画像情報に基づいて、感光材料に画像の露光を行い、露光された感光材料を現像処理して乾燥させ、出力する。ＩＪプリンタ６は、画像処理部１により生成された画像信号に基づいて、インクジェット方式によりプリント出力する。画像書込部７は、各種のメディアが装着可能な構成となっており、画像処理部１により生成された画像信号を、装着されたメディアに記録する。
【００５０】
画像ストレージ部８は、画像処理部１により処理された画像信号を保存する。画像ストレージ部８に保存された画像信号は、画像ソースとして再利用可能である。
【００５１】
〈鮮鋭性強調処理〉
図２及び図３を参照して、画像処理部１により実行される鮮鋭性強調処理について説明する。本第１の実施の形態（及び後述の第２の実施の形態）では、鮮鋭性強調処理に用いる空間フィルタの計算領域のサイズが５×５画素であるものとする。図２（ａ）に、実際の画像信号の信号値（Ｐ１１〜Ｐ５５）を示し、図２（ｂ）に、鮮鋭性強調処理に用いる空間フィルタのフィルタ係数（ｆ１〜ｆ６）を示す。
【００５２】
フィルタ計算領域の中央に位置する画素（信号値＝Ｐ３３）を鮮鋭性強調処理対象の画素とすると、処理後の信号値Ｐ３３´は、図２（ｂ）に示すフィルタ係数を用いて、次の（１）式のように表される。
【数１】
2004318423.tif 000003
ここで、Ｃｄｉｖは、空間フィルタの強度を調整する係数で、Ｃｄｉｖの値が大きいほど空間フィルタの効果が弱くなる。また、フィルタ係数ｆ１〜ｆ６には、以下の（２）式に示す関係が成り立つ。
【数２】
2004318423.tif 000004
フィルタ係数ｆ１〜ｆ６に（２）式に示す関係が成り立っていると、Ｐ１１〜Ｐ５５の値が全て同一の場合、ｆ｛Ｘ＝０｝＝０（即ち、Ｐ３３’＝Ｐ３３）となるようにｆ｛Ｘ｝が設定されている。
【００５３】
鮮鋭性強調処理で用いられるＬＵＴ（Ｌｏｏｋ  Ｕｐ  Ｔａｂｌｅ）は、（１）式に示す関数ｆ｛Ｘ｝として表される。図３は、関数ｆ｛Ｘ｝をグラフ表示したものである。図３において、横軸Ｘは、ＬＵＴによる変換前の信号値の積和計算値（（１）式の｛｝の中）であり、縦軸ｆ｛Ｘ｝は、ＸをＬＵＴにより変換した後の値である。ｆ｛Ｘ｝の正の領域は、処理対象画素が、ｆ｛Ｘ｝の作用で明るくなる領域で、ｆ｛Ｘ｝の負の領域は、処理対象画素が、ｆ｛Ｘ｝の作用で暗くなる領域である。
【００５４】
図３において、Ｘ＝０付近の領域Ｗ１では、変換後の値が０となっている。これは、微小な元信号の変化に鮮鋭性強調の効果が現れないようにするためで、例えば、デジタル画像信号の最小ピット変化にフィルタが感応しないようにして、コンピュータグラフィックのグラデーション表現を滑らかにしたり、若干の重量ノイズが存在する場合に、これらのノイズを強調しないようにする効果がある。
【００５５】
また、図３において、ＸがＸ１以上の領域Ｗ２、ＸがＸ２以下の領域Ｗ３においても、変換後の値ｆ｛Ｘ｝が変化しない領域がある。これは、電気的に発生する孤立点ノイズ等の強いノイズが、極端に増強されるのを防ぐ効果があり、特に強い鮮鋭性強調効果を得たい場合に有効である。
【００５６】
領域Ｗ２におけるｆ｛Ｘ｝の値をＺ１、領域Ｗ３におけるｆ｛Ｘ｝の値を−Ｚ２（Ｚ１、Ｚ２＞０）とすると、Ｚ１＞Ｚ２とするのが好ましい。これは特に、ネガ型銀塩感光材料にデジタル露光して画像形成する場合に好ましい形態である。即ち、感光材料に露光する際には、若干の光の漏れ、散乱によるにじみが発生するものであり、光を受けて色素を発色させて画像形成するタイプの記録材料では、光にじみによって、白の微細構造が黒の微細構造よりつぶれやすいという性質がある。そのため、ｆ｛Ｘ｝の正の領域の制限値Ｚ１を高く設定すれば、白の微細構造に対する強調効果が大きくなる。また、ｆ｛Ｘ｝の負の領域の制限値−Ｚ２を低く設定すれば、黒の微細構造の過剰な強調が抑制され、バランスのとれた鮮鋭性強調効果を得ることができる。
【００５７】
〈フィルタの強度〉
次に、本第１の実施の形態の鮮鋭性強調処理において使用される空間フィルタの強度について説明する。以下、図２（ｂ）において、ｆ１＝２４、ｆ２〜ｆ６＝−１とし、Ｃｄｉｖ＝２０となるフィルタを空間フィルタαとする。また、ｆ１＝２４、ｆ２〜ｆ６＝−１とし、Ｃｄｉｖ＝１０となるフィルタを空間フィルタβとする。更に、ｆ１＝２４、ｆ２〜ｆ６＝−１とし、Ｃｄｉｖ＝５となるフィルタを空間フィルタγとする。空間フィルタα、β、γは、フィルタ係数は共通であるが、Ｃｄｉｖの値が異なる。また、ｆ１＝４８、ｆ２〜ｆ６＝−２とし、Ｃｄｉｖ＝１０となるフィルタを空間フィルタδとする。
【００５８】
空間フィルタβのＣｄｉｖは、空間フィルタαのＣｄｉｖの２分の１になっていることから、空間フィルタβの場合、式（１）の右辺第二項の値は、空間フィルタαの場合の２倍になる。従って、空間フィルタβのフィルタ強度は、空間フィルタαの２倍の強度となる。同様に、空間フィルタγのＣｄｉｖは、空間フィルタβのＣｄｉｖの半分になっていることから、空間フィルタγのフィルタ強度は、空間フィルタβの２倍となる。空間フィルタδの場合、Ｃｄｉｖの値は、空間フィルタβと同一であるが、フィルタ係数が空間フィルタβの２倍になっている。従って、空間フィルタδの場合、式（１）の右辺第二項の値は、空間フィルタβの場合の２倍になる。従って、空間フィルタδのフィルタ強度は、空間フィルタβの２倍となる。
【００５９】
本第１の実施の形態における鮮鋭性強調処理では、フィルタ強度の異なる３種類（強、中、弱）の空間フィルタを用いるものとし、それぞれ、「強いフィルタ」、「中程度のフィルタ」、「弱いフィルタ」と呼ぶことにする。例えば、フィルタ係数が共通でＣｄｉｖが異なる空間フィルタα、β、γの中では、空間フィルタαは「弱いフィルタ」に対応し、空間フィルタβは「中程度のフィルタ」に対応し、空間フィルタγは「強いフィルタ」に対応することになる。
【００６０】
〈フィルタ選択法〉
次に、本第１の実施の形態における空間フィルタの選択法（フィルタ強度の選択法）について説明する。本第１の実施の形態では、処理対象画素を含まず、処理対象画素の近傍（周辺）領域に位置する特定の画素（以下、「サンプリング点」と称す）の情報に基づいて、空間フィルタの強度を決定する。
【００６１】
まず、図４を参照して、フィルタ選択法▲１▼について説明する。図４（ａ）に示すように、処理対象画素周辺であって処理対象画素を含まない１６個の画素をサンプリング点とし、これらサンプリング点の信号値をＰ１〜Ｐ１６とする。また、図４（ｂ）に示すように、空間フィルタを選択する上での指標となる画像特性情報（以下、「周辺評価」と称す）として、サンプリング点における隣接画素の信号値差の絶対値和Ｉａ又はサンプリング点の信号値の分散値Ｉｂを用いる。即ち、Ｉａ及びＩｂは、それぞれ、（３）式、（４）式のようになる。
【数３】
2004318423.tif 000005
ここで、（４）式におけるＰ０は、サンプリング点が含まれる領域内の画素の信号値の平均値である。
【００６２】
算出されたＩａ（又はＩｂ）の値に応じて、周辺評価の評価基準を４段階（Ａ、Ｂ、Ｃ、Ｄ）に区分し、その評価値に応じて、鮮鋭性強調処理に使用する空間フィルタを選択する。図４（ｃ）に、周辺評価値と、使用する空間フィルタとの関係を示す。図４（ｃ）に示すように、周辺評価の指標Ｉａ（又はＩｂ）が「非常に小さい」場合を評価Ａとし、周辺評価の指標が「やや小さい」場合を評価Ｂとし、周辺評価の指標が「やや大きい」場合を評価Ｃとし、周辺評価の指標が「非常に大きい」場合を評価Ｄとする。例えば、周辺評価の指標として、式（３）に示すＩａを用いるものとし、Ｉａの大きさを区分するための値を、ｇ１、ｇ２、ｇ３（ｇ１≪ｇ２≪ｇ３）とすると、ｇ１＞Ｉａの場合、評価Ａとし、ｇ１≦Ｉａ＜ｇ２の場合、評価Ｂとし、ｇ２≦Ｉａ＜ｇ３の場合、評価Ｃとし、ｇ３≦Ｉａの場合、評価Ｄとすることができる。
【００６３】
図４（ｃ）に示すように、周辺評価がＡ（非常に小さい）の場合、処理対象画素の周辺の信号変化がほとんどないことから、鮮鋭性空間フィルタを作用させない。周辺評価がＢ（やや小さい）の場合は、鮮鋭性空間フィルタとして、弱いフィルタ（空間フィルタα）を選択し、周辺評価がＣ（やや大きい）の場合は、中程度のフィルタ（空間フィルタβ）を選択し、周辺評価がＤ（非常に大きい）の場合は、強いフィルタ（空間フィルタγ）を選択する。
【００６４】
なお、図４に示すフィルタ選択法▲１▼では、サンプリング点における隣接画素の信号値差の絶対値和Ｉａ又はサンプリング点の信号値の分散値Ｉｂに基づいて、周辺評価値（Ａ、Ｂ、Ｃ、Ｄ）を決定するようにしたが、サンプリング点の信号値の標準偏差に基づいて、評価値を決定するようにしてもよい。
【００６５】
また、鮮鋭性強調処理に使用する空間フィルタを選択する上でのサンプリング点の採り方、周辺評価の評価基準は、図４に示したフィルタ選択法▲１▼に限定されない。例えば、画像採取解像度、プリント時のプリント出力解像度、画像拡大率、画像再現、観察ＭＴＦ（Ｍｏｄｕｌａｔｉｏｎ  Ｔｒａｎｓｆｅｒ  Ｆｕｎｃｔｉｏｎ）に関係のあるパラメータに応じて、サンプリング数及びサンプリング点を決定するようにしてもよい。以下、図５を参照して、フィルタ選択法の変形例（フィルタ選択法▲２▼）について説明する。
【００６６】
図５（ａ）に示すように、処理対象画素周辺であって処理対象画素を含まない１６個の画素をサンプリング点とし、これらサンプリング点の信号値をＰ１〜Ｐ１６とする。また、図５（ｂ）に示すように、周辺評価の指標を３つに分ける（指標１〜指標３）。
【００６７】
指標１は、１６個のサンプリング点のうち、処理対象画素に一番近い４つの画素における隣接画素の信号値差の絶対値和Ｉ１ａ又はこれら４つの画素の信号値の分散値Ｉ１ｂを用いる。指標２は、１６個のサンプリング点のうち、処理対象画素に２番面に近い４つの画素における隣接画素の信号値差の絶対値和Ｉ２ａ又はこれら４つの画素の信号値の分散値Ｉ２ｂを用いる。指標３は、１６個のサンプリング点のうち、処理対象画素から一番離れている８つの画素における隣接画素の信号値差の絶対値和Ｉ３ａ又はこれら４つの画素の信号値の分散値Ｉ３ｂを用いる。即ち、指標１におけるＩ１ａ、Ｉ１ｂ、指標２におけるＩ２ａ、Ｉ２ｂ、指標３におけるＩ３ａ、Ｉ３ｂは、以下の（５）式〜（１０）式のようになる。
【数４】
2004318423.tif 000006
ここで、（６）式、（８）式及び（１０）式におけるＰ０は、サンプリング点が含まれる領域内の画素の信号値の平均値である。
【００６８】
フィルタ選択法▲２▼では、指標１〜指標３の値に応じて、周辺評価の評価基準を４段階（Ａ’、Ｂ’、Ｃ’、Ｄ’）に区分し、その評価値に応じて、鮮鋭性強調処理に使用する空間フィルタを選択する。図５（ｃ）に、周辺評価値と、使用する空間フィルタとの関係を示す。図５（ｃ）に示すように、指標１が閾値未満である場合を評価Ａ’とし、指標１が閾値以上で指標２、３が閾値未満である場合を評価Ｂ’とし、指標１及び指標２が閾値以上で指標３が閾値未満である場合を評価Ｃ’とし、全指標が閾値以上である場合を評価Ｄ’とする。
【００６９】
図５（ｃ）に示すように、周辺評価がＡ’の場合、処理対象画素の直近の信号変化がほとんどないことから、鮮鋭性空間フィルタを作用させない。周辺評価がＢ’の場合は、鮮鋭性空間フィルタとして、弱いフィルタ（空間フィルタα）を選択し、周辺評価がＣ’の場合は、中程度のフィルタ（空間フィルタβ）を選択し、周辺評価がＤ’の場合は、強いフィルタ（空間フィルタγ）を選択する。
【００７０】
なお、図５に示すフィルタ選択法▲２▼においても、サンプリング点における隣接画素の信号値差の絶対値和Ｉ１ａ〜Ｉ３ａ又はサンプリング点の信号値の分散値Ｉ１ｂ〜Ｉ３ｂに基づいて、周辺評価値（Ａ’、Ｂ’、Ｃ’、Ｄ’）を決定するようにしたが、サンプリング点の信号値の標準偏差に基づいて評価値を決定するようにしてもよい。
【００７１】
次に、本第１の実施の形態における動作を説明する。
まず、図６のフローチャートを参照して、画像処理システム１００において実行される画像処理全体の流れについて説明する。
【００７２】
まず、反射原稿スキャナ２１、透過原稿スキャナ（フィルムスキャナ）２２、その他のメディアデバイス等から取得された画像情報（画像信号）に対し、入力属性に応じた入力色変換が施される（ステップＳ１）。ステップＳ１における入力色変換は、例えば、フィルム透過光量をセンサが受け取ってデジタル信号化した信号値を、視覚信号値や、光学濃度値等、画像信号として意味のある単位系へと変換する処理や、各々の分光特性に応じて表現されている色調を、標準的な色空間に整合させる処理を含む。
【００７３】
次いで、取得された画像信号に対し、画像判定が行われる（ステップＳ２）。これは、取得された画像信号が、目的にそぐわない明るさ、色調を有している場合に、以降のユーザ調整が容易に実施できるよう、予め正解に近い階調調整量を自動的に求める処理である。ここで、求められる階調調整量は、オペレータによる追加の調整分と統合され、色、明るさ調整、コントラスト調整のパラメータで表記される。
【００７４】
自動及びオペレータ操作により、色、明るさ、コントラストが調整された画像信号は、表示部４の表示画面に表示され、オペレータにより、画面表示された画像の評価が実施される（ステップＳ３）。画像評価において、調整を指示するキーが押下された場合、更に、画像信号に対する調整が必要であると判断され（ステップＳ４；ＮＯ）、ステップＳ２に戻り、再度、当該画像信号に対し、自動及びオペレータ操作による、色、明るさ、コントラスト調整が施される。
【００７５】
指示入力部３からのキー操作等により、画像評価がＯＫと判断されると（ステップＳ４；ＹＥＳ）、必要に応じて、処理対象の画像信号に対して、画像の拡大／縮小処理（ステップＳ５）、ノイズ除去処理（ステップＳ６）、鮮鋭性強調処理が施される（ステップＳ７、図７で詳述）。また、当該画像信号に対して、画像回転、貼り付け合成処理等が施され、加工仕上がり画像情報が得られる（ステップＳ８）。
【００７６】
なお、画像の拡大／縮小、ノイズ除去処理、画像回転、貼り付け合成処理等は、その処理の内容に応じて処理順序が異なる。また、実際の画像処理システム１００では、画像を表示画面に表示してコントラスト等を調整する段階において、大きな本画像は用いず、プレビュー用の小さな画像を用意し、評価ＯＫとなった場合に改めて本画像に対する処理を行うようにする。
【００７７】
加工された画像信号を実際にプリント出力する際には、当該画像信号に対し、プリント出力機器の特性に応じた色空間への階調変換処理が施され（ステップＳ９）、指示された出力機器に出力され（ステップＳ１０）、本画像処理が終了する。
【００７８】
次に、図７のフローチャートを参照して、図６のステップＳ７における鮮鋭性強調処理について説明する。なお、以下のフローチャートでは、図４に示すフィルタ選択法▲１▼が適用される場合を示すが、図５に示すフィルタ選択法▲２▼を用いても、図７と同様の処理が行われる。
【００７９】
まず、図４に示すフィルタ選択法▲１▼で示したように、処理対象画素の近傍におけるＩａ又はＩｂが算出され、算出されたＩａ又はＩｂに基づいて、周辺評価値（Ａ、Ｂ、Ｃ、Ｄ）が導出される（ステップＳ１０１）。次いで、ステップＳ１０１において導出された評価値から、処理対象画素に、鮮鋭性強調処理が必要であるか否かが判定される（ステップＳ１０２）。
【００８０】
ステップＳ１０２において、周辺評価値がＡである場合、鮮鋭性強調処理は不要と判定され（ステップＳ１０２；ＮＯ）、現在、処理対象となっている画素が、処理順で最終の画素（終端部の画素）であるか否かが判定される（ステップＳ１０６）。
【００８１】
ステップＳ１０６において、処理対象画素が最終画素であると判定された場合（ステップＳ１０６；ＹＥＳ）、本鮮鋭性強調処理が終了する。ステップＳ１０６において、処理対象画素が最終画素でないと判定された場合（ステップＳ１０６；ＮＯ）、ステップＳ１０１に移行し、次に処理対象となる画素に対する周辺評価値が導出される。
【００８２】
ステップＳ１０２において、周辺評価値が、Ｂ、Ｃ、Ｄのうちの何れか一つであった場合、鮮鋭性強調処理が必要と判定され（ステップＳ１０２；ＹＥＳ）、評価値に応じて、鮮鋭性強調処理で使用する空間フィルタ（強いフィルタ、中程度のフィルタ、弱いフィルタ）が決定される（ステップＳ１０３）。
【００８３】
次いで、処理対象画素に対して、ステップＳ１０３において決定された空間フィルタによる鮮鋭性強調処理が行われる（ステップＳ１０４）。鮮鋭性強調処理が終了すると、当該鮮鋭性強調処理が施された画素が、処理順で最終の画素であるか否か、即ち、鮮鋭性強調処理が全て終了したか否かが判定される（ステップＳ１０５）。
【００８４】
ステップＳ１０５において、鮮鋭性強調処理が全て終了していないと判定された場合（ステップＳ１０５；ＮＯ）、ステップＳ１０１に移行し、次に処理対象となる画素に対する周辺評価値が導出される。ステップＳ１０５において、鮮鋭性強調処理が全て終了したと判定された場合（ステップＳ１０５；ＹＥＳ）、本鮮鋭性強調処理が終了する。
【００８５】
以上のように、本第１の実施の形態における画像処理部１によれば、処理対象画素を含まない周辺領域の画素の状況に基づいて鮮鋭性強調処理を施すようにしたことにより、孤立点等、画像処理上、目立ちやすい画像ノイズの強調を抑制しつつ、鮮鋭性を強調することができる。即ち、処理対象画素自身が孤立点ノイズであった場合にも、その周辺評価値には、処理対象画素自身の値が含まれないため、必要以上に強い鮮鋭性強調で、ノイズを目立たせる可能性が非常に低くなる。従って、例えば、人物画像に対する鮮鋭性強調を行う場合、肌のフラット域に強い鮮鋭性強調をかけることによって、肌の再現が荒れてしまう副作用を防止しながら、顔の輪郭、髪の毛などの画像構造を有している部分には十分な鮮鋭性強調による効果が得られる。
【００８６】
［第２の実施の形態］
次に、本発明の第２の実施の形態について説明する。上述の第１の実施の形態では、処理対象を含まない周辺領域にあるサンプリング画素における隣接画素の信号値の差の絶対値和や、サンプリング画素の信号値の分散値に基づいて周辺評価値を導出し、その評価値に基づいて空間フィルタを選択するようにしたが、本第２の実施の形態では、当該絶対値和又は分散値に加え、周辺領域のエッジの方向を評価することによって、空間フィルタを選択するものである。
【００８７】
まず、第２の実施の形態における構成を説明する。本第２の実施の形態における画像処理システムの構成は、上述の第１の実施の形態において図１に示した画像処理システム１００と同一ゆえ、同一符号を付し、その図示を省略する。以下の構成説明では、第１の実施の形態における画像処理システム１００と異なる部分（画像処理部１）について説明する。
【００８８】
第２の実施の形態における画像処理部１は、処理対象画素の近傍の所定領域に含まれるエッジを検出し、検出されたエッジに基づいて、鮮鋭性強調処理に用いる空間フィルタの特性（等方性、異方性）を選択（決定）し、選択された特性を有する空間フィルタを用いて、処理対象画素に対して鮮鋭性強調処理を施す（図１０参照）。以下、空間フィルタの特性について説明する。
【００８９】
〈フィルタの特性〉
次に、本第２の実施の形態の鮮鋭性強調処理において使用される空間フィルタの特性について説明する。図８に、本第２の実施の形態において使用される空間フィルタの例を示す。
【００９０】
図８（ａ）は、図２（ｂ）において、ｆ１＝２４、ｆ２〜ｆ６＝−１としたフィルタであり、上述の第１の実施の形態において使用された空間フィルタα、β、γを示す。図８（ａ）に示す空間フィルタα、β、γは、各方向のフィルタ係数が同一の値であることから、処理対象画素の回りの各方向に均一に（等方的に）作用するものである。一方、図８（ｂ）に示す空間フィルタεと、図８（ｃ）に示す空間フィルタζは、方向によってフィルタ係数の値が異なることから、方向によって強調効果が異なる異方性を有する。
【００９１】
各空間フィルタによる強調効果の概念図を、図８（ｄ）、図８（ｅ）及び図８（ｆ）に示す。図８（ｄ）〜（ｆ）において、各線の太さが、強調効果の大きさを表している。例えば、空間フィルタα、β、γは、図８（ｄ）に示すように、強調効果は各方向で均一である。一方、空間フィルタεは、図８（ｅ）に示すように、処理対象画素の上下方向に伸びるエッジを特に強調する。また、空間フィルタζは、処理対象画素の斜め方向に伸びるエッジを特に強調する。空間フィルタεと空間フィルタζは、一方向を特に強調することができることから、これらの空間フィルタを用いて、画像中のエッジを強調することができる。空間フィルタα、ε、ζの特性（等方性、異方性）を、それぞれ、図８（ｇ）、（ｈ）、（ｉ）に示すパターンで表すことにする。図８（ｈ）及び図８（ｉ）において、矢印の方向は、エッジ方向と直交する方向である。
【００９２】
次に、図９に示す人物画像を参照して、空間フィルタの使用例について説明する。図９には、画像の各領域に応じて使用されるフィルタが示されている。図９において、髪の毛、顔の輪郭等、明確な方向性のあるエッジに対しては、その方向に直交する方向に対し、そのエッジを強調するための異方的な空間フィルタが用いられる。また、シャツの部分のように、方向性の乏しいエッジが存在する領域は、等方的な空間フィルタが用いられる。更に、頬の部分等、局所的にフラットな領域については、空間フィルタを作用させない。
【００９３】
なお、本第２の実施の形態においても、第１の実施の形態と同様に、処理対象画素の周辺評価に応じて、空間フィルタの強度を決定することができる。図４（ｃ）及び図５（ｃ）に示すように、Ｃｄｉｖの値に応じて、「弱いフィルタ」、「中程度のフィルタ」、「強いフィルタ」が設定される。例えば、図８（ｂ）に示すフィルタ係数を有する空間フィルタεのうち、Ｃｄｉｖが２０のフィルタを「弱いフィルタ」とし、Ｃｄｉｖが１０のフィルタを「中程度のフィルタ」とし、Ｃｄｉｖが５のフィルタを「強いフィルタ」とすることができる。
【００９４】
次に、本第２の実施の形態における動作を説明する。本第２の実施の形態における画像処理全体の流れは、第１の実施の形態において図６に示したフローチャートと同一であるため、その説明を省略する。以下、図１０のフローチャートを参照して、本第２の実施の形態における鮮鋭性強調処理について説明する。なお、以下のフローチャートでは、フィルタの強度を決定する際、第１の実施の形態において図４に示したフィルタ選択法▲１▼が適用される場合を示すが、図５に示すフィルタ選択法▲２▼を用いても、図１０と同様の処理が行われる。
【００９５】
まず、図４のフィルタ選択法▲１▼で示したように、処理対象画素の近傍におけるＩａ又はＩｂが算出され、算出されたＩａ又はＩｂに基づいて、周辺評価値（Ａ、Ｂ、Ｃ、Ｄ）が導出される（ステップＳ２０１）。次いで、ステップＳ２０１において導出された評価値から、処理対象画素に、鮮鋭性強調処理が必要であるか否かが判定される（ステップＳ２０２）。
【００９６】
ステップＳ２０２において、周辺評価値がＡである場合、鮮鋭性強調処理は不要と判定され（ステップＳ２０２；ＮＯ）、現在、処理対象となっている画素が、処理順で最終の画素（終端部の画素）であるか否かが判定される（ステップＳ２０９）。
【００９７】
ステップＳ２０９において、処理対象画素が最終画素であると判定された場合（ステップＳ２０９；ＹＥＳ）、本鮮鋭性強調処理が終了する。ステップＳ２０９において、処理対象画素が最終画素でないと判定された場合（ステップＳ２０９；ＮＯ）、ステップＳ２０１に移行し、次に処理対象となる画素に対する周辺の評価値が導出される。
【００９８】
ステップＳ２０２において、周辺評価値が、Ｂ、Ｃ、Ｄのうちの何れか一つであった場合、鮮鋭性強調処理が必要と判定され（ステップＳ２０２；ＹＥＳ）、評価値に応じて、鮮鋭性強調処理で使用する空間フィルタの強度（強、中、弱）が決定される（ステップＳ２０３）。
【００９９】
次いで、処理対象画素近傍のエッジの検出作業が開始され（ステップＳ２０４）、実際にエッジが検出されたか否かが判定される（ステップＳ２０５）。エッジの検出方法は、既存の各種の方法を利用することができる。例えば、空間フィルタによる計算領域のサイズが、５×５画素であったとすると、これよりも大きなサイズの異方性を有するフィルタ（例えば、９×９画素のフィルタ）を各方向で用意する。そして、処理対象画素に対して、その各方向毎に用意されたフィルタによる演算を実行し、強調効果が最も大きなフィルタに対応する方向をエッジの方向とすることができる。
【０１００】
ステップＳ２０５において、エッジが検出されなかった場合（ステップＳ２０５；ＮＯ）、使用する空間フィルタとして等方的フィルタが選択され（ステップＳ２０６）、当該処理対象画素に対し、ステップＳ２０３で決定された強度を有する等方的フィルタによる鮮鋭性強調処理が施される（ステップＳ２０７）。
【０１０１】
ステップＳ２０５において、処理対象画素に対応するエッジが検出された場合（ステップＳ２０５；ＹＥＳ）、使用する空間フィルタとして、その検出されたエッジの方向に合わせた異方性を有するフィルタが選択され（ステップＳ２１０）、当該処理対象画素に対し、ステップＳ２０３で決定された強度を有し、かつ、ステップＳ２１０で選択された異方性を有するフィルタによる鮮鋭性強調処理が施される（ステップＳ２０７）。
【０１０２】
鮮鋭性強調処理が終了すると、当該鮮鋭性強調処理が施された画素が、処理順で最終の画素であるか否か、即ち、鮮鋭性強調処理が全て終了したか否かが判定される（ステップＳ２０８）。ステップＳ２０８において、鮮鋭性強調処理が全て終了していないと判定された場合（ステップＳ２０８；ＮＯ）、ステップＳ２０１に移行し、次に処理対象となる画素に対する周辺評価値が導出される。ステップＳ２０８において、鮮鋭性強調処理が全て終了したと判定された場合（ステップＳ２０８；ＹＥＳ）、本鮮鋭性強調処理が終了する。
【０１０３】
なお、処理対象画素近傍のエッジを検出して、フィルタ特性（等方性、異方性）を選択する方法は、上述の方法に限定されない。以下、図１１及び図１２を参照して、フィルタ特性選択法の他の例について説明する。
【０１０４】
図１１（ａ）に示すように、フィルタ処理の処理対象画素を中心に、ほぼ等距離にある１６個の画素をサンプリング点とし、これらのサンプリング点の信号値をＰ１〜Ｐ１６とする。また、図１１（ｂ）に示すように、フィルタ特性を選択する上での指標を４つ設ける（指標１〜指標４）。
【０１０５】
図１１（ｂ）に示すように、指標１の計算内容は、Ｐ１〜Ｐ３の隣接間差の絶対値和と、Ｐ９〜Ｐ１１の隣接間差の絶対値和との和Ｉ１である。指標２の計算内容は、Ｐ３〜Ｐ５の隣接間差の絶対値和と、Ｐ１１〜Ｐ１３の隣接間差の絶対値和との和Ｉ２である。指標３の計算内容は、Ｐ５〜Ｐ７の隣接間差の絶対値和と、Ｐ１３〜Ｐ１５の隣接間差の絶対値和との和Ｉ３である。指標４の計算内容は、Ｐ７〜Ｐ９の隣接間差の絶対値和と、Ｐ１５、Ｐ１６、Ｐ１の隣接間差の絶対値和との和Ｉ４である。即ち、指標１〜指標４は、以下の（１１）式〜（１４）式のようになる。
【数５】
2004318423.tif 000007
【０１０６】
指標１〜指標４の値に応じて、鮮鋭性強調処理に使用するフィルタの特性（等方性、異方性）を選択する。図１２に、指標の状態と、フィルタ特性を示すパターン（図８（ｇ）、（ｈ）、（ｉ）参照）との関係を示す。指標１〜指標４のうち、指標１のみが予め設定された閾値以上である場合、縦方向を強調する異方性フィルタを用いる。指標１〜指標４のうち、指標２のみが予め設定された閾値以上である場合、斜め（右上がり）方向を強調する異方性フィルタを用いる。指標１〜指標４のうち、指標３のみが予め設定された閾値以上である場合、横方向を強調する異方性フィルタを用いる。指標１〜指標４のうち、指標４のみが予め設定された閾値以上である場合、斜め（右下がり）方向を強調する異方性フィルタを用いる。閾値以上の指標が存在しない場合、等方的なフィルタを用いる。別の選択法としては、例えば、指標１〜指標４のうち、最も大きい指標（最大指標とする）を抽出し、次に、残りの３指標の平均値を算出して、最大指標を平均値で割ったものを方向性指標値として用いることもできる。この場合、方向性指標値が、予め設定された閾値より小さい場合は、方向性が認められないので、等方的なフィルタを使用し、方向性指標値が、予め設定された閾値より大きい場合は、最大指標に対応した方向を強調する異方性フィルタを用いるようにする。
【０１０７】
なお、図１２では、図１１（ｂ）に示した指標１〜４を、エッジ検出に用いる場合を示したが、これらの指標を、第１の実施の形態と同様に、フィルタの強度を決定する場合に利用してもよい。このようにすると、同一の指標を、フィルタ強度の決定及びエッジ検出に用いることができ、画像処理を効率的に実行することが可能になる。
【０１０８】
以上のように、本第２の実施の形態における画像処理部１によれば、処理対象画素周辺のエッジを検出し、エッジ方向に適した空間フィルタを用いて鮮鋭性強調処理を行うようにしたため、画像中の各領域に応じた、好ましい線再現性を有する鮮鋭性強調効果を得ることができる。
【０１０９】
エッジが存在する場合に、異方性フィルタを用いて鮮鋭性強調処理を行うことで、エッジと直交する方向には鮮鋭性強調が強く施されるため、画像中の線構造が強く表現される。また、エッジの流れる方向の鮮鋭性強調は弱くなるか、フィルタ係数の設定の仕方によっては、例えば、図８（ｂ）において、中央部のフィルタ係数を２０から８に、その上下のフィルタ係数を２から８にすると、鮮鋭性が低下、即ち平滑化されるため、エッジの流れる方向の粒状感が抑制され、滑らかな画像表現が可能になる。
【０１１０】
また、エッジが存在する場合、鮮鋭性強調の方向が特定されるため、エッジ強調に必要なフィルタの係数を、等方的なフィルタを利用する場合よりも全体的に小さく設定することができるため、粒状感が一層抑制され、滑らかな画像を得ることが可能になる。
【０１１１】
特に、図１１に示すように、処理対象画素から略等距離に位置する複数の画素をサンプリング点とし、サンプリング点の各方向における信号値の変化によってエッジを検出することにより、簡易な計算でエッジを検出することができる。
【０１１２】
なお、画像中のエッジ方向を評価する方法（エッジ検出方法）は、上述に限定されない。解析的にエッジ方向を評価する方法として、例えば、多重解像度変換を用いることができる。以下、多重解像度変換について説明する。
【０１１３】
〈多重解像度変換〉
多重解像度変換とは、ウェーブレット変換、完全再構成フィルタバンク、ラプラシアンピラミッド等に代表される手法の総称をいい、１回の変換操作により入力信号を低周波帯域成分信号と高周波帯域成分信号に分解し、得られた低周波帯域成分信号に対して同様の変換操作を行い、周波数帯域が異なる複数の信号からなる多重解像度信号を得るものである。得られた多重解像度信号を加工せずにそのまま逆多重解像度変換した場合、元の信号が再構成される。こうした手法については、例えば、Ｇ．  Ｓｔｒａｎｇ  ａｎｄ  Ｔ．  Ｎｇｕｙｅｎ，“Ｗａｖｅｌｅｔ  ａｎｄ  Ｆｉｌｔｅｒ  Ｂａｎｋｓ”、Ｗｅｌｌｅｓｌｅｙ−Ｃａｍｂｒｉｄｇｅ  Ｐｒｅｓｓ（邦訳  Ｇ．ストラング、Ｔ．グエン共著、「ウェーブレット解析とフィルタバンク」、培風館）に詳細な解説がなされている。
【０１１４】
ここでは、多重解像度変換の代表例として、ウェーブレット変換の概要を説明する。ウェーブレット変換とは、図１３に例示されるような有限範囲で振動するウェーブレット関数（下記式（１５））を用いて、入力信号ｆ（ｘ）に対するウェーブレット変換係数〈ｆ、ψａ，ｂ〉を、下記式（１６）のように求めることにより、下記式（１７）で示されるウェーブレット関数の総和に分解する変換である。
【数６】
2004318423.tif 000008
【数７】
2004318423.tif 000009
【数８】
2004318423.tif 000010
【０１１５】
上記式（１５）〜（１７）において、ａはウェーブレット関数のスケールを表し、ｂはウェーブレット関数の位置を示す。図１３に例示するように、スケールａの値が大きいほどウェーブレット関数ψａ，ｂ（ｘ）の周波数は小さくなり、位置ｂの値に従ってウェーブレット関数ψａ，ｂ（ｘ）が振動する位置が移動する。従って、上記式（１７）は、入力信号ｆ（ｘ）を、種々のスケールと位置を有するウェーブレット関数ψａ，ｂ（ｘ）の総和に分解することを意味している。
【０１１６】
このようなウェーブレット変換の中で、本発明の「画像サイズが減少する方式の多重解像度変換」として、直交ウェーブレット（ｏｒｔｈｏｇｏｎａｌ  ｗａｖｅｌｅｔ）変換、双直交ウェーブレット（ｂｉｏｒｔｈｏｇｏｎａｌ  ｗａｖｅｌｅｔ）変換が知られている。以下、直交ウェーブレット・双直交ウェーブレットの変換計算の概要を説明する。
【０１１７】
直交ウェーブレット変換及び双直交ウェーブレット変換のウェーブレット関数は、下記式（１８）のように定義される。
【数９】
2004318423.tif 000011
但し、ｉは自然数である。
【０１１８】
式（１８）と式（１５）を比べると、直交ウェーブレット変換、双直交ウェーブレット変換においては、スケールａの値が２のｉ乗で離散的に定義され、また位置ｂの最小移動単位が２ｉで離散的に定義されていることがわかる。このｉの値はレベルと呼ばれる。
【０１１９】
レベルｉを有限な上限Ｎまでに制限すると、入力信号ｆ（ｘ）は、下記式（１９）〜（２１）のように表される。
【数１０】
2004318423.tif 000012
【数１１】
2004318423.tif 000013
【数１２】
2004318423.tif 000014
【０１２０】
式（１９）の第２項は、レベル１のウェーブレット関数ψ１，ｊ（ｘ）の総和で表せない残差の低周波帯域成分を、レベル１のスケーリング関数φ１，ｊ（ｘ）の総和で表したものである。スケーリング関数はウェーブレット関数に対応して適切なものが用いられる（段落番号０１１３に記載の文献を参照）。式（１９）に示すレベル１のウェーブレット変換によって、入力信号ｆ（ｘ）＝Ｓ０は、レベル１の高周波帯域成分Ｗ１と低周波帯域成分Ｓ１に信号分解されたことになる。
【０１２１】
ウェーブレット関数ψｉ，ｊ（ｘ）の最小移動単位は２ｉゆえ、入力信号Ｓ０の信号量に対して、高周波帯域成分Ｗ１と低周波帯域成分Ｓ１の信号量は各々１／２となり、高周波帯域成分Ｗ１と低周波帯域成分Ｓ１の信号量の総和は、入力信号Ｓ０の信号量と等しくなる。レベル１の低周波帯域成分Ｓ１は、式（２０）でレベル２の高周波帯域成分Ｗ２と低周波帯域成分Ｓ２に分解され、以下同様にレベルＮ迄の変換を繰り返すことで、入力信号Ｓ０は、式（２１）に示すように、レベル１〜Ｎの高周波帯域成分の総和と、レベルＮの低周波帯域成分の和に分解される。
【０１２２】
ここで、式（２０）で示す１レベルのウェーブレット変換は、図１４に示すようなフィルタ処理で計算できることが知られている。図１４において、ＬＰＦはローパスフィルタ、ＨＰＦはハイパスフィルタを示している。ローパスフィルタＬＰＦとハイパスフィルタＨＰＦのフィルタ係数は、ウェーブレット関数に応じて適切に定められる（段落番号０１１３に記載の文献を参照）。図１４において、２↓は、信号を１つおきに間引くダウンサンプリングを示す。
【０１２３】
図１４に示すように、入力信号Ｓｎ−１を、ローパスフィルタＬＰＦとハイパスフィルタＨＰＦで処理して、信号を１つおきに間引くことにより、入力信号Ｓｎ−１を、高周波帯域成分Ｗｎと低周波帯域成分Ｓｎに分解することができる。
【０１２４】
画像信号のような２次元信号における１レベルのウェーブレット変換は、図１５に示すようなフィルタ処理で計算される。図１５において、ＬＰＦｘ、ＨＰＦｘ、２↓ｘはｘ方向の処理を示し、ＬＰＦｙ、ＨＰＦｙ、２↓ｙは、ｙ方向の処理を示す。まず、入力信号Ｓｎ−１をｘ方向のローパスフィルタＬＰＦｘ、ハイパスフィルタＨＰＦｘによりフィルタ処理を行い、ｘ方向にダウンサンプリングする。これにより、入力信号Ｓｎ−１は、低周波帯域成分ＳＸｎと高周波帯域成分ＷＸｎに分解される。低周波帯域成分ＳＸｎと高周波帯域成分ＷＸｎの各々に対して、ｙ方向のローパスフィルタＬＰＦｙ、ハイパスフィルタＨＰＦｙによるフィルタ処理を行い、ｙ方向にダウンサンプリングする。
【０１２５】
この１レベルのウェーブレット変換により、低周波帯域成分Ｓｎ−１は、３つの高周波帯域成分Ｗｖｎ、Ｗｈｎ、Ｗｄｎと、１つの低周波帯域成分Ｓｎに分解される。分解で生成されるＷｖｎ、Ｗｈｎ、Ｗｄｎ、Ｓｎの各々の信号量は、分解前のＳｎ−１に比べて縦横ともに１／２となるため、分解後の４成分の信号量の総和は、分解前のＳｎ−１の信号と等しくなる。
【０１２６】
入力信号Ｓ０が３レベルのウェーブレット変換で信号分解される過程を模式的に図１６に示す。図１６に示すように、レベル数が大きくなるにつれて、ダウンサンプリングにより画像信号が間引かれ、分解画像が小さくなっていくことがわかる。
【０１２７】
また、図１７に示すように、分解によって生成したＷｖｎ，  Ｗｈｎ，  Ｗｄｎ，  Ｓｎに対し、フィルタ処理で計算されるウェーブレット逆変換を施すことにより、分解前の信号Ｓｎ−１を完全再構成できることが知られている。図１７において、ＬＰＦ’は、逆変換用のローパスフィルタ、ＨＰＦ’は、逆変換用のハイパスフィルタを示している。また、２↑は、信号に１つおきにゼロを挿入するアップサンプリング処理を示す。また、ＬＰＦ’ｘ、ＨＰＦ’ｘ、２↑ｘは、ｘ方向の処理を示し、ＬＰＦ’ｙ、ＨＰＦ’ｙ、２↑ｙはｙ方向の処理を示す。
【０１２８】
図１７に示すように、Ｓｎをｙ方向にアップサンプリング処理及びローパスフィルタＬＰＦ’ｙによるフィルタ処理を施すことにより得られる信号と、Ｗｈｎをｙ方向におけるアップサンプリング処理及びハイパスフィルタＨＰＦ’ｙによるフィルタ処理を施すことにより得られる信号とを加算してＳＸｎを得る。これと同様にして、ＷｖｎとＷｄｎからＷＸｎを生成する。
【０１２９】
さらに、ＳＸｎをｘ方向においてアップサンプリング処理及びローパスフィルタＬＰＦ’ｘによるフィルタ処理を施すことにより得られる信号と、ＷＸｎをｘ方向においてアップサンプリング処理及びハイパスフィルタＨＰＦ’ｘによるフィルタ処理を施すことにより得られる信号とを加算することにより、分解前の信号Ｓｎ−１を再構成することができる。
【０１３０】
ウェーブレット逆変換の際に用いられるフィルタは、直交ウェーブレット変換の場合には変換する際に用いた係数と同じ係数のフィルタが使用される。双直交ウェーブレット変換の場合には、変換に用いた係数とは異なる係数のフィルタが逆変換の際に使用される（段落番号０１１３に記載の文献を参照）。
【０１３１】
本発明で利用する二項ウェーブレット（Ｄｙａｄｉｃ  Ｗａｖｅｌｅｔ）変換については、上述の非特許文献１、”Ｃｈａｒａｃｔｅｒｉｚａｔｉｏｎ  ｏｆ  ｓｉｇｎａｌｓ  ｆｒｏｍ  ｍｕｌｔｉｓｃａｌｅ  ｅｄｇｅｓ”  ｂｙ  Ｓ．Ｍａｌｌａｔ  ａｎｄ  Ｓ．Ｚｈｏｎｇ，  ＩＥＥＥ  Ｔｒａｎｓ．  Ｐａｔｔｅｒｎ  Ａｎａｌ．  Ｍａｃｈｉｎｅ  Ｉｎｔｅｌ．  １４  ７１０  （１９９２）、“Ａ  ｗａｖｅｌｅｔ  ｔｏｕｒ  ｏｆ  ｓｉｇｎａｌ  ｐｒｏｃｅｓｓｉｎｇ  ２ｅｄ．”  ｂｙ  Ｓ．Ｍａｌｌａｔ，  Ａｃａｄｅｍｉｃ  Ｐｒｅｓｓ  に詳細な説明がある。以下、二項ウェーブレット変換の概要を説明する。
【０１３２】
二項ウェーブレット変換で用いられるウェーブレット関数は下記式（２２）のように定義される。
【数１３】
2004318423.tif 000015
但し、ｉは自然数である。
【０１３３】
直交ウェーブレット変換、双直交ウェーブレット変換のウェーブレット関数は、上述のように、レベルｉにおける位置の最小移動単位が２ｉで離散的に定義されていたのに対し、二項ウェーブレット変換は、レベルｉにかかわらず位置の最小移動単位が一定である。この相違により、二項ウェーブレット変換は、下記の特徴を有する。
【０１３４】
第一の特徴として、下記式（２３）に示す１レベルの二項ウェーブレット変換で生成する、高周波帯域成分Ｗｉと低周波帯域成分Ｓｉの各々の信号量は、変換前の信号Ｓｉ−１と同一である。
【数１４】
2004318423.tif 000016
このように、二項ウェーブレット変換は、双直交・直交ウェーブレット変換と異なり、変換後の画像サイズは元画像より減少しない。
【０１３５】
二項ウェーブレット変換の第二の特徴として、スケーリング関数φｉ，ｊ（ｘ）とウェーブレット関数ψｉ，ｊ（ｘ）の間に、下記の関係式（２４）が成立する。
【数１５】
2004318423.tif 000017
従って、二項ウェーブレット変換で生成する、高周波帯域成分Ｗｉは、低周波帯域成分Ｓｉの１階微分（勾配）で表される。
【０１３６】
二項ウェーブレット変換の第三の特徴として、ウェーブレット変換のレベルｉに応じて定められた係数γｉ（上述の二項ウェーブレットに関する参考文献を参照）を高周波帯域成分に乗じたＷｉ・γｉ（以下、これを補正済高周波帯域成分と称す）について、入力信号の信号変化の特異性（ｓｉｎｇｕｌａｒｉｔｙ）に応じて、該変換後の補正済高周波帯域成分Ｗｉ・γｉの信号強度のレベル間の関係が一定の法則に従う。
【０１３７】
図１８に、入力信号Ｓ０の波形と、ウェーブレット変換により得られる各レベルの補正済高周波帯域成分の波形を示す。図１８において、（ａ）は入力信号Ｓ０を示し、（ｂ）はレベル１の二項ウェーブレット変換により得られる補正済高周波帯域成分Ｗ１・γ１を示し、（ｃ）はレベル２の二項ウェーブレット変換により得られる補正済高周波帯域成分Ｗ２・γ２を示し、（ｄ）はレベル３の二項ウェーブレット変換により得られる補正済高周波帯域成分Ｗ３・γ３を示し、（ｅ）はレベル４の二項ウェーブレット変換により得られる補正済高周波帯域成分Ｗ・γ４を示す。
【０１３８】
各レベルにおける信号強度の変化を見ると、（ａ）において、“１”や“４”に示すなだらかな（微分可能な）信号変化に対応する補正済高周波帯域成分Ｗｉ・γｉは、（ｂ）→（ｅ）に示すようにレベル数ｉが増大するほど信号強度が増大する。
【０１３９】
入力信号Ｓ０において、“２”に示すステップ状の信号変化に対応する補正済高周波帯域成分Ｗｉ・γｉは、レベル数ｉに関わらず信号強度が一定となる。入力信号Ｓ０において、“３”に示すδ関数状の信号変化に対応する補正済高周波帯域成分Ｗｉ・γｉは、（ｂ）→（ｅ）に示すように、レベル数ｉが増大するほど信号強度が減少する。
【０１４０】
二項ウェーブレット変換における第四の特徴として、画像信号のような２次元信号における１レベルの二項ウェーブレット変換の方法は、上述の直交ウェーブレット変換や双直交ウェーブレット変換と異なり、図１９に示す方法で行われる。
【０１４１】
図１９に示すように、１レベルの二項ウェーブレット変換により、入力信号Ｓｎ−１を、ｘ方向のローパスフィルタ及びｙ方向のローパスフィルタで処理することにより、低周波帯域成分Ｓｎが得られる。また、入力信号Ｓｎ−１を、ｘ方向のハイパスフィルタで処理することにより、高周波帯域成分Ｗｘｎが得られる。更に、入力信号Ｓｎ−１を、ｙ方向のハイパスフィルタで処理することにより、もう一つの高周波帯域成分Ｗｙｎが得られる。
【０１４２】
このように、１レベルの二項ウェーブレット変換により、入力信号Ｓｎ−１は、２つの高周波帯域成分Ｗｘｎ、Ｗｙｎと、１つの低周波帯域成分Ｓｎに分解される。２つの高周波帯域成分Ｗｘｎ、Ｗｙｎは、低周波帯域成分Ｓｎの２次元における変化ベクトルＶｎのｘ成分とｙ成分に相当する。変化ベクトルＶｎの大きさＭｎと偏角Ａｎは下記式（２５）及び（２６）で与えられる。
【数１６】
2004318423.tif 000018
【数１７】
2004318423.tif 000019
【０１４３】
また二項ウェーブレット変換で得られた２つの高周波帯域成分Ｗｘｎ、Ｗｙｎと１つの低周波帯域成分Ｓｎに、図２０に示す二項ウェーブレット逆変換を施すことにより、変換前の信号Ｓｎ−１を再構成することができる。すなわち、Ｓｎをｘ方向のローパスフィルタＬＰＦｘ及びｙ方向のローパスフィルタＬＰＦｙで処理することにより得られる信号と、Ｗｘｎをｘ方向のハイパスフィルタＨＰＦｘ及びｙ方向のローパスフィルタＬＰＦｙで処理することにより得られる信号と、Ｗｙｎをｘ方向のローパスフィルタＬＰＦｘ及びハイパスフィルタＨＰＦｙで処理することにより得られる信号と、を加算することによって、二項ウェーブレット変換前の信号Ｓｎ−１を得ることができる。
【０１４４】
次に、図２１のブロック図に基づいて、入力信号Ｓ０に対してｎレベルの二項ウェーブレット変換を行い、得られた高周波帯域成分、低周波帯域成分に対して何らかの画像処理（図２１では「編集」と記述。）を行った後に、ｎレベルの二項ウェーブレット逆変換を行って出力信号Ｓ０’を得るまでの方法について説明する。
【０１４５】
入力信号Ｓ０に対するレベル１の二項ウェーブレット変換によって、入力信号Ｓ０は、２つの高周波帯域成分Ｗｘ１、Ｗｙ１と低周波帯域成分Ｓ１に分解される。レベル２のウェーブレット変換によって、レベル１の二項ウェーブレット変換で得られた低周波帯域成分Ｓ１は、更に２つの高周波帯域成分Ｗｘ２、Ｗｙ２と低周波帯域成分Ｓ２に分解される。この様な分解操作をレベルｎまで繰り返すことにより、入力信号Ｓ０は、複数の高周波帯域成分Ｗｘ１、Ｗｘ２、…、Ｗｘｎ、Ｗｙ１、Ｗｙ２、…、Ｗｙｎと、１つの低周波帯域成分Ｓｎとに分解される。
【０１４６】
このようにして得られた高周波帯域成分Ｗｘ１、Ｗｘ２、…、Ｗｘｎ、Ｗｙ１、Ｗｙ２、…、Ｗｙｎ、低周波帯域成分Ｓｎに対して画像処理（編集）が行われ、高周波帯域成分Ｗｘ１’、Ｗｘ２’、…、Ｗｘｎ’、Ｗｙ１’、Ｗｙ２’、…、Ｗｙｎ’、低周波帯域成分Ｓｎ’が得られる。
【０１４７】
そして、これら高周波帯域成分Ｗｘ１’、Ｗｘ２’、…、Ｗｘｎ’、Ｗｙ１’、Ｗｙ２’、…、Ｗｙｎ’、低周波帯域成分Ｓｎ’に、二項ウェーブレット逆変換が施される。すなわち、画像処理（編集）後のレベルｎにおける２つの高周波帯域成分Ｗｘｎ’、Ｗｙｎ’と低周波帯域成分Ｓｎ’から、画像処理後のレベルｎ−１の低周波帯域成分Ｓｎ−１’が構成される。このような操作を繰り返し、画像処理後のレベル２における２つの高周波帯域成分Ｗｘ２’、Ｗｙ２’と低周波帯域成分Ｓ２’から、画像処理後のレベル１の低周波帯域成分Ｓ１’が構成される。この低周波帯域成分Ｓ１’と、画像処理後のレベル１における２つの高周波帯域成分Ｗｘ１’、Ｗｙ１’から、画像信号Ｓ０’が構成される。
【０１４８】
なお、図２１において用いられる各フィルタのフィルタ係数は二項ウェーブレット変換に応じて適切に定められる。また二項ウェーブレット変換においては、レベル毎に用いるフィルタのフィルタ係数が異なる。レベルｎにおいて使用するフィルタ係数は、レベル１のフィルタの各係数の間に２ｎ−１−１個のゼロを挿入したものが用いられる。
【０１４９】
また、図２１では、二項ウェーブレット変換により得られた高周波帯域成分と最終レベルの低周波低域成分の画像に対して画像処理（編集）を行う例を示しているが、必要に応じて、二項ウェーブレット逆変換後に合成された低周波帯域成分の画像に対して画像処理を行うようにしてもよい。更に、二項ウェーブレット変換途中の低周波帯域成分の画像に対して画像処理を行うようにしてもよい。
【０１５０】
次に、図２２のフローチャートを参照して、ウェーブレット変換を用いてエッジを検出する場合の鮮鋭性強調処理について説明する。
【０１５１】
まず、鮮鋭処理対象の画像のサイズが評価され（ステップＳ３０１）、画像サイズが予め設定された値（所定値）より大きいか否かが判定される（ステップＳ３０２）。画像サイズを評価するのは、例えば、高解像度のプリンタに画像を出力する場合、画像サイズが非常に大きくなるが、その場合の画像構造の評価には、あまり細部の構造を必要としない場合が多く、そこに費やされる無駄な画像処理時間を軽減するためである。
【０１５２】
ステップＳ３０２において、画像サイズが所定値より小さいと判定された場合（ステップＳ３０２；ＮＯ）、処理対象の画像に、二項ウェーブレット変換が施される（ステップＳ３０３）。二項ウェーブレットが必要なレベルをｎレベルとすると、ステップＳ３０３では、レベル１、レベル２、…、レベルｎの順番で二項ウェーブレット変換が施される。ステップＳ３０３における各レベルでの二項ウェーブレット変換により生成された分解画像から、エッジ情報としてのベクトルデータ（（２５）式及び（２６）式）が取得され、保存される。
【０１５３】
各レベルにおいて取得されたベクトルデータ（（２５）式及び（２６）式）から、エッジが検出される（ステップＳ３０４）。ここで、（２５）式は、エッジの強さを表し、（２６）式は、エッジの方向を示す。次いで、ステップＳ３０４におけるエッジ検出により取得されたエッジ情報（エッジの強さ、エッジの方向）から、画像内の各画素に施される空間フィルタが選択（決定）される（ステップＳ３０５）。エッジに基づく空間フィルタの選択方法は、例えば、図８〜図１２において示した方法を用いることができる。
【０１５４】
エッジ検出、フィルタの選択が行われる一方で、ステップＳ３０３の各レベルの二項ウェーブレット変換によって生じた高周波成分と、残差成分（レベルｎの低周波成分）に対し、各種の画像（編集）処理が施される（ステップＳ３０８）。次いで、レベル毎に編集された画像（分解画像）に対し、ウェーブレット逆変換が施され（ステップＳ３０９）、元のサイズの画像になる。
【０１５５】
次いで、ウェーブレット逆変換後の画像に対し、ステップＳ３０５で選択された空間フィルタによる鮮鋭性強調処理が施され（ステップＳ３１０）、本鮮鋭性強調処理が終了する。
【０１５６】
ステップＳ３０２において、所定値より大きいと判定された場合（ステップＳ３０２；ＹＥＳ）、処理対象の画像に、レベル１の双直交ウェーブレット変換が施される（ステップＳ３０６）。画像サイズが大きすぎる場合に双直交ウェーブレット変換を用いるのは、双直交ウェーブレット変換では、変換により画像のサイズが小さくなることによる。
【０１５７】
次いで、レベル１の双直交ウェーブレット変換により生じた低周波成分に対し、レベル２からレベルｎまでの二項ウェーブレット変換が施される（ステップＳ３０７）。レベル２以降を二項ウェーブレット変換に切り替えるのは、二項ウェーブレット変換の方が、高精度の情報が取得できることによる。ステップＳ３０７における各レベルでの二項ウェーブレット変換により生成された分解画像から、エッジ情報としてのベクトルデータ（（２５）式及び（２６）式）が取得され、保存される。
【０１５８】
各レベルにおいて取得されたベクトルデータ（（２５）式及び（２６）式）から、エッジが検出される（ステップＳ３０４）。ここで、（２５）式は、エッジの強さを表し、（２６）式は、エッジの方向を示す。次いで、ステップＳ３０４におけるエッジ検出により取得されたエッジ情報（エッジの強さ、エッジの方向）に基づいて、画像内の各画素に施される空間フィルタが選択（決定）される（ステップＳ３０５）。エッジに基づく空間フィルタの選択方法は、例えば、図８〜図１２において示した方法を用いる。
【０１５９】
エッジ検出、フィルタの選択が行われる一方で、ステップＳ３０７の各レベルの二項ウェーブレット変換によって生じた高周波成分と、残差成分（レベルｎの低周波成分）に対し、各種の画像（編集）処理が施される（ステップＳ３０８）。次いで、レベル毎に編集された画像（分解画像）、レベル１の双直交ウェーブレット変換によって生じた高周波成分に対し、ウェーブレット逆変換が施され（ステップＳ３０９）、元のサイズの画像になる。
【０１６０】
次いで、ウェーブレット逆変換後の画像に対し、ステップＳ３０５で選択された空間フィルタによる鮮鋭性強調処理が施され（ステップＳ３１０）、本鮮鋭性強調処理が終了する。
【０１６１】
図２２のフローチャートで示したように、二項ウェーブレット変換を用いることにより、容易にエッジ情報を取得することができるが、上述のウェーブレット変換の説明から明らかなように、二項ウェーブレット変換は、計算量が非常に多く、エッジを検出するためだけの利用には適さない。しかしながら、二項ウェーブレット変換により生成された分解画像から得られる情報は、各種の高度な画像処理に応用することができる。
【０１６２】
例えば、二項ウェーブレット変換により得られるエッジの構造と、その強さ、性質を評価して、シーン分割、被写体パターン抽出等の作業に利用することができる。また、二項ウェーブレット変換により得られるこれらの情報を応用して、主用被写体の判別、重要度の認識、高度な覆い焼き的処理の実現が可能になる。このような高度な画像処理機能を搭載した画像処理システムであれば、副情報として、容易にエッジ情報を得ることができる。
【０１６３】
なお、上記各実施の形態における記述内容は、本発明の趣旨を逸脱しない範囲で適宜変更可能である。
【０１６４】
【発明の効果】
請求項１、８、１５に記載の発明によれば、処理対象画素を含まない周辺領域の画素の状況に基づいて鮮鋭性強調処理を行うことにより、孤立点等、画像処理上、目立ちやすい画像ノイズの強調を抑え、ノイズ感の少ない画像を得ることができる。
【０１６５】
請求項２、９、１６に記載の発明によれば、画像特性情報を容易に導出できるとともに、高性能な画像処理を実現することができる。
【０１６６】
請求項３、１０、１７に記載の発明によれば、画像特性情報に応じて、鮮鋭性強調に用いる空間フィルタを選ぶようにしたことにより、画像中の各々の領域に応じたより好ましい鮮鋭性強調効果を得ることができる。
【０１６７】
請求項４、１１、１８に記載の発明によれば、画像特性情報に応じて、鮮鋭性強調に用いる空間フィルタを用いることができるため、画像中の各々の領域に応じた好ましい鮮鋭性強調効果を得ることができる。
【０１６８】
請求項５、１２、１９に記載の発明によれば、多重解像度変換から生成される分解画像を用いて画像特性情報を導出することにより、画像の大局的な構造を考慮した画像特性情報を得ることができる。
【０１６９】
請求項６、１３、２０に記載の発明によれば、多重解像度変換として二項ウェーブレット変換を用いることで、より精度の高い画像特性情報を得ることができ、高性能な画像処理が実現できる。
【０１７０】
請求項７、１４、２１に記載の発明によれば、複雑な計算をすることなく画像特性情報を得ることができるため、容易に空間フィルタを選択することができ、ノイズ感の少ない鮮鋭性強調効果を容易に得ることができる。
【図面の簡単な説明】
【図１】本発明に係る画像処理システム１００の構成を示すブロック図である。
【図２】鮮鋭性強調処理で用いられる空間フィルタの処理内容を説明するための図である。
【図３】鮮鋭性強調処理で用いられるＬＵＴを関数ｆ｛Ｘ｝で示す図である。
【図４】本発明の第１の実施の形態におけるフィルタ選択法の一例（フィルタ選択法▲１▼）を説明するための図である。
【図５】第１の実施の形態におけるフィルタ選択法の変形例（フィルタ選択法▲２▼）を説明するための図である。
【図６】画像処理システム１００において実行される画像処理全体の流れを示すフローチャートである。
【図７】図６のステップＳ７における鮮鋭性強調処理を示すフローチャートである。
【図８】本発明で使用される空間フィルタの特性を説明するための図である。
【図９】図８で示す空間フィルタの適用例を示す図である。
【図１０】本発明の第２の実施の形態における鮮鋭性強調処理を示すフローチャートである。
【図１１】本発明の第２の実施の形態におけるフィルタ選択法の一例を説明するための図である。
【図１２】本発明の第２の実施の形態におけるフィルタ選択法の一例を説明するための図である。
【図１３】第２の実施の形態の変形例において、画像信号のエッジ検出に用いられるウェーブレット関数を示す図である。
【図１４】１レベルのウェーブレット変換のフィルタ処理を示すシステムブロック図である。
【図１５】２次元信号における１レベルのウェーブレット変換のフィルタ処理を示すシステムブロック図である。
【図１６】入力信号Ｓ０が、３レベルのウェーブレット変換により信号分解される過程を示す模式図である。
【図１７】ウェーブレット逆変換のフィルタ処理により、分解前の信号を再構成する方法を示すシステムブロック図である。
【図１８】入力信号Ｓ０の波形と、ウェーブレット変換により得られる各レベルの補正済高周波帯域成分Ｗ・γの波形を示す図である。
【図１９】２次元信号における１レベルの二項ウェーブレット変換のフィルタ処理を示すシステムブロック図である。
【図２０】２次元信号における１レベルの二項ウェーブレット逆変換のフィルタ処理を示すシステムブロック図である。
【図２１】入力信号Ｓ０に対する二項ウェーブレット変換から、画像処理が施された信号Ｓ０’を得るまでの処理を示すシステムブロック図である。
【図２２】第２の実施の形態の変形例における鮮鋭性強調処理を示すフローチャートである。
【符号の説明】
１    画像処理部
２    画像取得部
２１  反射原稿スキャナ
２２  透過原稿スキャナ
２３  メディアドライバ
２４  情報通信Ｉ／Ｆ
３    指示入力部
４    表示部
５    銀塩露光プリンタ
６    ＩＪプリンタ
７    画像書込部
８    画像ストレージ部
１００  画像処理システム
【図１】
2004318423.tif 000020
【図２】
2004318423.tif 000021
【図３】
2004318423.tif 000022
【図４】
2004318423.tif 000023
【図５】
2004318423.tif 000024
【図６】
2004318423.tif 000025
【図７】
2004318423.tif 000026
【図８】
2004318423.tif 000027
【図９】
2004318423.tif 000028
【図１０】
2004318423.tif 000029
【図１１】
2004318423.tif 000030
【図１２】
2004318423.tif 000031
【図１３】
2004318423.tif 000032
【図１４】
2004318423.tif 000033
【図１５】
2004318423.tif 000034
【図１６】
2004318423.tif 000035
【図１７】
2004318423.tif 000036
【図１８】
2004318423.tif 000037
【図１９】
2004318423.tif 000038
【図２０】
2004318423.tif 000039
【図２１】
2004318423.tif 000040
【図２２】
2004318423.tif 000041